如何防止TensorFlow分配GPU內(nèi)存的全部？我在一個(gè)共享計(jì)算資源的環(huán)境中工作，也就是說(shuō)，我們有幾臺(tái)服務(wù)器機(jī)器，每個(gè)服務(wù)器都配備了幾個(gè)Nvidia Titan X GPU。對(duì)于中小型型號(hào)，12 GB的土衛(wèi)六X通常足以讓2-3人同時(shí)在同一個(gè)GPU上進(jìn)行訓(xùn)練。如果模型足夠小，單個(gè)模型不能充分利用土衛(wèi)六X的所有計(jì)算單元，那么與一個(gè)接一個(gè)的訓(xùn)練過(guò)程相比，這實(shí)際上會(huì)導(dǎo)致加速。即使在對(duì)GPU的并發(fā)訪問(wèn)確實(shí)減慢了單個(gè)培訓(xùn)時(shí)間的情況下，仍然可以靈活地讓多個(gè)用戶同時(shí)在GPU上運(yùn)行。TensorFlow的問(wèn)題是，默認(rèn)情況下，當(dāng)GPU啟動(dòng)時(shí)，它會(huì)在GPU上分配全部可用內(nèi)存。即使對(duì)于一個(gè)小的兩層神經(jīng)網(wǎng)絡(luò)，我看到12 GB的土衛(wèi)六X已經(jīng)用完了。是否有辦法使TensorFlow只分配，例如，4GB的GPU內(nèi)存，如果一個(gè)人知道這個(gè)數(shù)量足夠一個(gè)給定的模型？
3 回答
千萬(wàn)里不及你
TA貢獻(xiàn)1784條經(jīng)驗(yàn) 獲得超9個(gè)贊
tf.Sessiontf.GPUOptionsconfig
# Assume that you have 12GB of GPU memory and want to allocate ~4GB:gpu_options = tf.GPUOptions(per_process_gpu_memory_fraction=0.333)sess = tf.Session(config=tf.ConfigProto(gpu_options=gpu_options))
per_process_gpu_memory_fraction
汪汪一只貓
TA貢獻(xiàn)1898條經(jīng)驗(yàn) 獲得超8個(gè)贊
Deep Learning with TensorFlow
在某些情況下，進(jìn)程只需要分配可用內(nèi)存的子集，或者只在進(jìn)程需要時(shí)增加內(nèi)存使用量。TensorFlow提供 兩種配置會(huì)話中控制此操作的選項(xiàng)。第一個(gè)是 allow_growth選項(xiàng)，它嘗試根據(jù)運(yùn)行時(shí)分配的GPU內(nèi)存，它開(kāi)始分配很少的內(nèi)存，并且隨著會(huì)話的運(yùn)行和需要更多的GPU內(nèi)存，我們擴(kuò)展了TensorFlow進(jìn)程所需的GPU內(nèi)存區(qū)域。
1)允許增長(zhǎng)：(更靈活)
config = tf.ConfigProto()config.gpu_options.allow_growth = Truesession = tf.Session(config=config, ...)
per_process_gpu_memory_fractioneach
2)分配固定內(nèi)存:
40%
config = tf.ConfigProto()config.gpu_options.per_process_gpu_memory_fraction = 0.4session = tf.Session(config=config, ...)
注：
添加回答
舉報(bào)
0/150
提交
取消