（1）對(duì)于深度神經(jīng)網(wǎng)絡(luò)，中間的隱層的輸出必須有一個(gè)激活函數(shù)。否則多個(gè)隱層的作用和沒(méi)有隱層相同。這個(gè)激活函數(shù)不一定是sigmoid，常見的有sigmoid、tanh、relu等。
（2）對(duì)于二分類問(wèn)題，輸出層是sigmoid函數(shù)。這是因?yàn)閟igmoid函數(shù)可以把實(shí)數(shù)域光滑的映射到[0,1]空間。函數(shù)值恰好可以解釋為屬于正類的概率（概率的取值范圍是0~1）。另外，sigmoid函數(shù)單調(diào)遞增，連續(xù)可導(dǎo)，導(dǎo)數(shù)形式非常簡(jiǎn)單，是一個(gè)比較合適的函數(shù)
（3）對(duì)于多分類問(wèn)題，輸出層就必須是softmax函數(shù)了。softmax函數(shù)是sigmoid函數(shù)的推廣

1.新建一個(gè)m文件，把function函數(shù)復(fù)制進(jìn)去；然后保存（名稱應(yīng)該是自動(dòng)生成的，即為sinh.m，不過(guò)最好不要用和系統(tǒng)中的文件一樣的名稱，可以先help查看一下matlab是否有和sinh重復(fù)的名稱，若有的話，得把function函數(shù)改個(gè)名稱），保存的地址為當(dāng)前工作目錄。

2.在命令窗口調(diào)用function函數(shù)：

sinh(5)

The tanh activation usually works better than sigmoid activation function for hidden units because the mean of its output is closer to zero, and so it centers the data better for the next layer.
tanh函數(shù)的輸出更利于下一層神經(jīng)元的處理，尤其是數(shù)據(jù)的集中化；
不過(guò)在一些二分類的場(chǎng)景，還是sigmod更適合作為輸出層