激活函数 作用 （1）让多层感知机成为真正的多层，否则等价于一层 （2）引入非线性，使网络可以逼近任意非线性函数（万能逼近定理，universal approximator） 神经网络因为在万能逼近定理当中，证明了只需要一层的多层感知机，加上激活函数，就可以逼近任意的非线性函数。 激活函数需要具备以下几点性质： 1.连续并可导（允许少数点上不可导）…

多层感知机 多层感知机（Multi Layer Perceptron，MLP）： 定义：单层神经网络基础上引入一个或多个隐藏层，使神经网络有多个网络层，因而得名多层感知机。 多层感知机的前向传播 无激活函数，网络退化为单层网络，因此隐藏层加入激活函数，可避免网络退化

人工神经元：人类神经元中抽象出来的数学模型 1904年研究出人类神经元 imports operations outputs 1943年心理学家W.S.McCulloch和数理逻辑学家W.Pitts研究出人工神经元，称为M-P模型 weight权重 sum求和 Threshold激活函数function function输出2种状态，达到阈值后输出…