激活函数 作用 （1）让多层感知机成为真正的多层，否则等价于一层 （2）引入非线性，使网络可以逼近任意非线性函数（万能逼近定理，universal approximator） 神经网络因为在万能逼近定理当中，证明了只需要一层的多层感知机，加上激活函数，就可以逼近任意的非线性函数。 激活函数需要具备以下几点性质： 1.连续并可导（允许少数点上不可导）…

多层感知机 多层感知机（Multi Layer Perceptron，MLP）： 定义：单层神经网络基础上引入一个或多个隐藏层，使神经网络有多个网络层，因而得名多层感知机。 多层感知机的前向传播 无激活函数，网络退化为单层网络，因此隐藏层加入激活函数，可避免网络退化

一、基础 Python 基础 1.编程基础 2.机器学习库 数学基础 1.矩阵计算 2.概率论、信息论 二、机器学习 吴恩达《机器学习》作业班 机器学习算法工程师训练营（必修） 周志华的《机器学习》西瓜书训练营 李航《统计学习方法》训练营（必修） 三、神经网络 神经网络基础知识 神经网络与多层感知机 人工神经元和人工神经网络 多层感知机 [激活函数…