sigid,
tanh
等激活函数,使得神经网络可以学习复杂的关系。
整个过程可以层层推进,直到输出层最终给出结果。
2。
为什么单层感知机不够?(国王的错误决策)
想象国王直接让一群初级顾问(单层感知机)做最终决策,那会发生什么?
他们只能依据简单的标准,比如:
?
“谁的力量最强?”
?
“谁的智慧最高?”
但如果候选人需要同时具备力量+智慧+忠诚+勇气,单层感知机就无能为力了。因为它只能学习线性关系,而无法组合多个因素进行复杂决策。
数学上,单层感知机只能表示线性可分问题,但现实世界的很多问题是非线性的。例如:
?
逻辑异或(xor)问题:单层感知机无法解决,因为它不是线性可分的。
?
图像识别:不能仅靠像素的亮度判断物体,需要多层特征提取。
?
自然语言处理:单个词的出现不够,需要理解语境关系。
这就是为什么国王需要多层顾问(mlp)——多层神经网络可以逐步提取复杂特征,使得最终决策更加准确!
3。
mlp
如何学习?(国王的顾问如何改进决策)
国王知道自己的顾问系统有缺陷,于是决定引入一套学习机制,让顾问们通过经验不断优化决策。
(1)前向传播(forward
propagation)
国王向顾问们提交候选人名单,每个顾问按照自己擅长的领域打分,然后层层传递,最终大祭司给出决策。
数学上,这就是:
1。
每一层计算:
2。
通过激活函数: