感知机（Perceptron）-1958
The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain 提出了感知机模型，这是最早的神经网络原型，开启了用可学习参数进行模式识别的思路。
编码主义与连接主义
作者认为，要理解高级有机体的知觉、泛化、回忆和思维，必须回答三个问题：（1）物理世界的信息如何被生物系统感知？（2）信息以什么形式存储或记忆？（3）存储的信息如何影响识别和行为？论文主要关注后两个问题。 对于记忆存储，存在两种对立观点： （1）编码图像观：内部编码表征图像，编码和外部图像存在对应关系，记忆类似于内存电荷或者布线图 （2）连接主义观：记忆由中枢神经系统中新连接或通路的形成；信息储存在连接、关联或对特定反应的偏好中 对于问题3，新刺激出现时，编码图像观对新的输入需要对比已存储的内容进行对比。连接主义则沿着已有的通路激活反应。
作者归纳了连接主义5条假设。 （1）接线假设：出生时脑内连接个体不同，大体随机，遗传只给最少约束。 （2）可塑假设：神经一起活动后，连接概率会持久改变。 （3）归类假设：刺激见多了，相似刺激倾向激活同一群细胞，不相似的分到不同群细胞。 （4）强化假设：正强化或负强化会促进、阻碍正在形成的连接。 （5）相似性假设：相似不是刺激固有属性，而由知觉系统和环境共同决定，并决定世界如何被分类。
感知机模型
感知机被设计为一个简化的神经网络模型，主要包含： S点：感觉单元，如视网膜上的光感受器，采用全或无反应。 A单元：关联单元，接收来自 S 点的随机连接，具有阈值；若兴奋与抑制的代数和达到阈值，则全或无放电。 R单元：响应单元，接收来自 A 单元的随机连接，并可与 A 单元形成反馈。 典型结构为：视网膜 S → 投影区 A₁ → 关联区 A₂ → 响应 R。 对于R对A₂单元的连接，有2种观点，分别是激励性或抑制性连接。R单元被激活后，（1）R会激励支持自己的A单元；（2）R会抑制那些不支持自己的A单元，从而切断竞争响应的输入，使不同响应不能同时存在，只能有一个胜出。论文为了易于分析，采用观点2。
学习机制与价值动态
学习的核心是改变A单元的价值V。活动通常增加 A 单元的价值，使其输出更有效。
论文比较了三种价值动态系统：
α系统：活动单元获得价值增量并长期保持。新增的V永远不会减少，这样比较简单，但容易失控：活动多的细胞会无限变强，噪声和偶然活动也会被永久积累。
β系统：每个源集以恒定速率获得总增益，增量按活动比例分配；但净价值不断增长，会放大统计差异，导致性能较差。净价值不断增长，会放大统计差异，导致性能较差。早期某个单元稍微活跃一点，其增长速度具备累计性，后续就会多分到价值，最后造成富者越富。
γ系统：活动单元从同源集的非活动单元夺取价值，源集总价值恒定；性能较好，且源集的均值判别与总和判别等价。
响应分为两个阶段：前优势期中部分 A 单元被激活；随后进入后后优势期，某个响应成为主导，抑制其他响应。若该响应被强化，再次出现相同刺激时它更容易胜出，即发生学习。
学习机制与价值动态
学习的核心是改变 A 单元的价值V。活动通常增加 A 单元的价值，使其输出更有效。论文比较了三种价值动态系统：
- α 系统：活动单元获得价值增量并长期保持。
- β 系统：每个源集以恒定速率获得总增益，增量按活动比例分配；但净价值不断增长，会放大统计差异，导致性能较差。
- γ 系统：活动单元从同源集的非活动单元夺取价值，源集总价值恒定；性能较好，且均值判别与总和判别等价。
响应分为两个阶段：主导期中部分 A 单元被激活；随后进入后主导期，某个响应成为主导，抑制其他响应。若该响应被强化，再次出现相同刺激时它更容易胜出，即发生学习。
数学分析与学习曲线
论文用概率论而非符号逻辑来分析系统。关键变量包括：
\(P_a\)：给定刺激激活 A 单元的比例；
\(P_c\)：一个 A 单元对刺激 \(S_1\) 响应后，也对 \(S_2\) 响应的条件概率；
\(P_r\)：在两个备选响应中做出正确选择的概率；
\(P_\theta\)：对未见过刺激正确泛化的概率。
学习性能近似为 \(P = P(N_{a_r}>0)\cdot \phi(Z)\)
其中 Z 由若干系数 \(c_1,c_2,c_3,c_4\) 和训练刺激数决定。这些系数取决于物理参数：每个 A 单元的兴奋连接数 x、抑制连接数 y、阈值 \(\theta\)、A 单元与 R 单元连接比例 \(\omega\)、A 单元数 \(N_A\)、R 单元数 \(N_R\) 等。
理想环境与分化环境
- 理想环境：刺激为随机点集合，没有内在相似类别。此时 \(c_1=0\)，泛化概率 \(P_\theta\) 不优于随机水平 0.5；随着学习刺激数增加，正确反应概率 \(P_r\) 会退化到随机水平。系统只能死记具体刺激，不能真正泛化。
- 分化环境：刺激来自不同类别，如方形、圆形等。此时 \(c_1\neq 0\)，学习曲线出现非随机渐近线。若满足
[ P_{e12} < P_a < P_{e11} ] 则系统性能优于随机，且 \(P_r\) 与 \(P_\theta\) 趋近同一渐近线。增加 A 单元数量可使渐近线接近 1，即简单图形辨别错误可忽略。
扩展与限制
论文还讨论了：
- 二值系统：可施加正负强化，相当于奖励与惩罚，使感知机能够进行试错学习。
- 二值编码：用少量二元响应表示多个刺激类别，提高效率。
- 时间模式：若刺激留下暂时痕迹，感知机可识别速度、声音序列等。
- 轮廓敏感投影区：可提高性能。
- 自发概念形成：若 A 单元价值按幅度衰减，系统可在自动强化下自发区分两类刺激。
- 选择性注意与回忆：通过源集交叠，可实现“命名左边物体”等选择性反应。
- 局限：感知机擅长具体刺激的识别与关联，但在关系判断和高阶抽象上存在根本困难，如“正方形左边的物体”“圆形之前出现的图案”等。
主要结论与意义
论文最后总结了感知机的性质：
- 随机连接系统可在随机环境中学会具体刺激—反应关联；
- 但在理想随机环境中，随学习刺激增多，正确率退化到随机水平，且无泛化基础；
- 在分化环境中，若刺激类内相似性高于类间相似性，则学习和泛化可优于随机，并随 A 单元数增加趋近于 1；
- 记忆是分布式的：去掉部分 A 单元不会严重破坏某一特定联想，而是普遍降低所有已学关联；
- 可从六个基本物理参数预测学习、辨别和泛化行为；
- 该理论在简洁性、可验证性和解释力上优于当时许多行为主义学习理论，并试图在神经生理学与心理学之间建立定量桥梁。
总体而言，这篇论文提出了以统计可分性为核心的感知机理论，用随机连接、阈值单元、价值变化和概率分析来解释信息存储、学习、泛化及认知组织，是神经网络和机器学习历史上的奠基性文献。
缺陷与发展
单层感知机只能解决线性分类问题，无法解决XOR。解决方案是多层感知机和核方法。多层感知机（MLP，Multilayer Perceptron）通过引入隐藏层和非线性激活函数，拟合非线性边界，以传播学习训练。核方法则把数据隐式映射到高维空间，在高维用超平面的线性分类器解决非线性问题。