神經(jīng)網(wǎng)絡(luò)中epoch與iteration是不相等的

batchsize：中文翻譯為批大小（批尺寸）。在深度學(xué)習(xí)中，一般采用SGD訓(xùn)練，即每次訓(xùn)練在訓(xùn)練集中取batchsize個樣本訓(xùn)練；

iteration：中文翻譯為迭代，1個iteration等于使用batchsize個樣本訓(xùn)練一次；一個迭代 = 一個正向通過+一個反向通過

epoch：迭代次數(shù)，1個epoch等于使用訓(xùn)練集中的全部樣本訓(xùn)練一次；一個epoch = 所有訓(xùn)練樣本的一個正向傳遞和一個反向傳遞

舉個例子，訓(xùn)練集有1000個樣本，batchsize=10，那么：訓(xùn)練完整個樣本集需要：100次iteration，1次epoch。

擴展資料

神經(jīng)網(wǎng)絡(luò)工作原理

人工神經(jīng)網(wǎng)絡(luò)首先要以一定的學(xué)習(xí)準則進行學(xué)習(xí)，然后才能工作?，F(xiàn)以人工神經(jīng)網(wǎng)絡(luò)對于寫“A”、“B”兩個字母的識別為例進行說明，規(guī)定當“A”輸入網(wǎng)絡(luò)時，應(yīng)該輸出“1”，而當輸入為“B”時，輸出為“0”。

所以網(wǎng)絡(luò)學(xué)習(xí)的準則應(yīng)該是：如果網(wǎng)絡(luò)作出錯誤的判決，則通過網(wǎng)絡(luò)的學(xué)習(xí)，應(yīng)使得網(wǎng)絡(luò)減少下次犯同樣錯誤的可能性。首先，給網(wǎng)絡(luò)的各連接權(quán)值賦予(0，1)區(qū)間內(nèi)的隨機值，將“A”所對應(yīng)的圖象模式輸入給網(wǎng)絡(luò)。

網(wǎng)絡(luò)將輸入模式加權(quán)求和、與門限比較、再進行非線性運算，得到網(wǎng)絡(luò)的輸出。在此情況下，網(wǎng)絡(luò)輸出為“1”和“0”的概率各為50%，也就是說是完全隨機的。這時如果輸出為“1”(結(jié)果正確)，則使連接權(quán)值增大，以便使網(wǎng)絡(luò)再次遇到“A”模式輸入時，仍然能作出正確的判斷。

普通計算機的功能取決于程序中給出的知識和能力。顯然，對于智能活動要通過總結(jié)編制程序?qū)⑹掷щy。

人工神經(jīng)網(wǎng)絡(luò)也具有初步的自適應(yīng)與自組織能力。在學(xué)習(xí)或訓(xùn)練過程中改變突觸權(quán)重值，以適應(yīng)周圍環(huán)境的要求。同一網(wǎng)絡(luò)因?qū)W習(xí)方式及內(nèi)容不同可具有不同的功能。人工神經(jīng)網(wǎng)絡(luò)是一個具有學(xué)習(xí)能力的系統(tǒng)，可以發(fā)展知識，以致超過設(shè)計者原有的知識水平。

通常，它的學(xué)習(xí)訓(xùn)練方式可分為兩種，一種是有監(jiān)督或稱有導(dǎo)師的學(xué)習(xí)，這時利用給定的樣本標準進行分類或模仿；另一種是無監(jiān)督學(xué)習(xí)或稱無為導(dǎo)師學(xué)習(xí)，這時，只規(guī)定學(xué)習(xí)方式或某些規(guī)則，則具體的學(xué)習(xí)內(nèi)容隨系統(tǒng)所處環(huán)境 （即輸入信號情況）而異，系統(tǒng)可以自動發(fā)現(xiàn)環(huán)境特征和規(guī)律性，具有更近似人腦的功能。

神經(jīng)網(wǎng)絡(luò)就像是一個愛學(xué)習(xí)的孩子，您教她的知識她是不會忘記而且會學(xué)以致用的。我們把學(xué)習(xí)集（Learning Set）中的每個輸入加到神經(jīng)網(wǎng)絡(luò)中，并告訴神經(jīng)網(wǎng)絡(luò)輸出應(yīng)該是什么分類。在全部學(xué)習(xí)集都運行完成之后，神經(jīng)網(wǎng)絡(luò)就根據(jù)這些例子總結(jié)出她自己的想法，到底她是怎么歸納的就是一個黑盒了。

之后我們就可以把測試集（Testing Set）中的測試例子用神經(jīng)網(wǎng)絡(luò)來分別作測試，如果測試通過（比如80%或90%的正確率），那么神經(jīng)網(wǎng)絡(luò)就構(gòu)建成功了。我們之后就可以用這個神經(jīng)網(wǎng)絡(luò)來判斷事務(wù)的分類了。

神經(jīng)網(wǎng)絡(luò)是通過對人腦的基本單元——神經(jīng)元的建模和聯(lián)接，探索模擬人腦神經(jīng)系統(tǒng)功能的模型，并研制一種具有學(xué)習(xí)、聯(lián)想、記憶和模式識別等智能信息處理功能的人工系統(tǒng)。神經(jīng)網(wǎng)絡(luò)的一個重要特性是它能夠從環(huán)境中學(xué)習(xí)，并把學(xué)習(xí)的結(jié)果分布存儲于網(wǎng)絡(luò)的突觸連接中。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)是一個過程，在其所處環(huán)境的激勵下，相繼給網(wǎng)絡(luò)輸入一些樣本模式，并按照一定的規(guī)則（學(xué)習(xí)算法）調(diào)整網(wǎng)絡(luò)各層的權(quán)值矩陣，待網(wǎng)絡(luò)各層權(quán)值都收斂到一定值，學(xué)習(xí)過程結(jié)束。然后我們就可以用生成的神經(jīng)網(wǎng)絡(luò)來對真實數(shù)據(jù)做分類。

batchsize：中文翻譯為批大?。ㄅ叽纾?。在深度學(xué)習(xí)中，一般采用SGD訓(xùn)練，即每次訓(xùn)練在訓(xùn)練集中取batchsize個樣本訓(xùn)練；
iteration：中文翻譯為迭代，1個iteration等于使用batchsize個樣本訓(xùn)練一次；
一個迭代 = 一個正向通過+一個反向通過
epoch：迭代次數(shù)，1個epoch等于使用訓(xùn)練集中的全部樣本訓(xùn)練一次；
一個epoch = 所有訓(xùn)練樣本的一個正向傳遞和一個反向傳遞
舉個例子，訓(xùn)練集有1000個樣本，batchsize=10，那么：
訓(xùn)練完整個樣本集需要：
100次iteration，1次epoch。