1.Rosenblatt感知器

Rosenblatt感知器是第一次实现完整算法描述和数学证明的神经元模型:

其结构主要包括:
(1)输入

(2)权重

(3)独立偏置项b
(4)加权求和函数

(5)激活函数

在以上结构中实现的是一次前向传播,若预测结果与真实标签不一致,则
(6)计算预测结果与真实值间的误差

(7)引入学习率α控制参数调整步长,更新权重系数

(8)更新独立偏置系数

在达到预设的最大迭代次数或者误差小于某个阈值、权重更新量小于某个阈值之前,上述步骤不断重复迭代,由此不断调整权重和偏置,使得感知器的输出能够尽可能接近真实标签,从而实现对输入数据的分类。

Rosenblatt感知器概念的提出显然具备里程碑式的意义,其在非线性可分问题上的局限性,既是神经网络研究20年漫长寒冬的根源,也促使后来的研究者引入非线性激活函数,提出梯度下降等概念,使得神经网络从简单的线性分类器进化成为能够处理复杂非线性问题的强大模型。