当神经网络以softmax为输出层类型时，求出网络输出层的局部梯度

更新时间2018-07-16 04:19:33

(局部梯度：此处定义为性能函数对该层的输入求偏导)

（1）对于深度神经网络，中间的隐层的输出必须有一个激活函数。否则多个隐层的作用和没有隐层相同。这个激活函数不一定是sigmoid，常见的有sigmoid、tanh、relu等。
（2）对于二分类问题，输出层是sigmoid函数。这是因为sigmoid函数可以把实数域光滑的映射到[0,1]空间。函数值恰好可以解释为属于正类的概率（概率的取值范围是0~1）。另外，sigmoid函数单调递增，连续可导，导数形式非常简单，是一个比较合适的函数
（3）对于多分类问题，输出层就必须是softmax函数了。softmax函数是sigmoid函数的推广