机器学习理论基础
信息论-1948
A Mathematical Theory of Communication 信息论的开山之作，提出了信息熵、信道容量等核心概念，为后来所有基于概率的机器学习方法奠定了数学基础。
感知机-1958
The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain 提出了感知机模型，这是最早的神经网络原型，开启了用可学习参数进行模式识别的思路。
PAC学习理论-1984
A Theory of the Learnable 提出了PAC（Probably Approximately Correct）学习理论，首次为“什么是可学习的”给出了严格的数学框架，是计算学习理论的基石。
反向传播-1986
Learning Representations by Back-Propagating Errors 系统阐述了反向传播算法，使多层神经网络的训练成为可能，是深度学习最重要的算法基础之一。
支持向量机-1995
Support-Vector Networks 支持向量机（SVM）的原始论文，提出了基于最大间隔的分类方法和核技巧，在深度学习兴起之前长期占据分类任务的主导地位。
随机森林-2001
Random Forests 随机森林的原始论文，通过集成多棵决策树并引入随机性来提升泛化能力，至今仍是表格数据上最强的基线方法之一。
Adam优化器-2014
Adam: A Method for Stochastic Optimization 提出了Adam优化器，基于自适应估计低阶矩实现高效的随机梯度优化，已成为深度学习训练中使用最广泛的优化算法。
批归一化-2015
Batch Normalization: Accelerating Deep Network Training 提出批归一化技术，通过规范化每层输入分布来加速训练并允许使用更大的学习率，极大地提升了深层网络的训练稳定性。
XGBoost-2016
XGBoost: A Scalable Tree Boosting System 提出了高度优化的梯度提升树系统XGBoost，在效率和精度上均达到当时最优，在Kaggle竞赛和工业界广泛使用。
深度学习架构
AlexNet-2012
ImageNet Classification with Deep Convolutional Neural Networks 在ImageNet竞赛中以大幅优势夺冠，证明了深度CNN在大规模视觉任务上的威力，被视为深度学习革命的起点。
VGGNet-2014
Very Deep Convolutional Networks for Large-Scale Image Recognition 通过堆叠3×3小卷积核构建了16–19层的深层网络，证明了网络深度对视觉任务的关键作用。
GoogLeNet-2015
Going Deeper with Convolutions 提出了Inception模块，通过多尺度卷积并行提取特征，在增加网络深度的同时控制了计算量，获得CVPR 2015最佳论文。
ResNet-2015
Deep Residual Learning for Image Recognition 提出了残差连接（skip connection），使训练超过百层甚至千层的网络成为可能，解决了深层网络的退化问题，是深度学习架构设计中最具影响力的贡献之一。
Transformer-2017
Attention Is All You Need 提出了完全基于自注意力机制的Transformer架构，摒弃了循环和卷积结构，实现了高效的并行计算，是BERT、GPT等现代大模型的直接基础。
自然语言处理
神经概率语言模型-2003
A Neural Probabilistic Language Model 首次将神经网络引入语言建模，用低维连续向量表示词汇，开创了分布式词表示的研究方向。
Word2Vec-2013
Efficient Estimation of Word Representations in Vector Space 提出了CBOW和Skip-gram两种高效的词向量训练方法，使词嵌入成为NLP的标准工具。
Seq2Seq-2014
Sequence to Sequence Learning with Neural Networks 提出了编码器-解码器框架，用两个RNN实现序列到序列的映射，成为机器翻译等任务的基础架构。
BERT-2018
BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding 提出了双向Transformer预训练+微调框架，在多项NLP任务上取得突破性成绩，确立了预训练-微调范式。
GPT-2-2019
Language Models are Unsupervised Multitask Learners 展示了大规模无监督语言模型的多任务学习能力，验证了“足够大的语言模型本身就是多任务学习器”这一重要假设。
GPT-3-2020
Language Models are Few-Shot Learners 展示了1750亿参数的语言模型通过上下文学习即可完成多种任务，无需微调，揭示了大模型的涌现能力。
计算机视觉
LeNet-5-1998
Gradient-Based Learning Applied to Document Recognition 提出了经典的卷积神经网络LeNet-5用于手写数字识别，奠定了CNN的基本结构（卷积层+池化层+全连接层）。
SIFT-2004
Distinctive Image Features from Scale-Invariant Keypoints 提出了SIFT特征提取算法，通过尺度空间极值检测和方向直方图构建尺度不变的局部特征，在传统CV时代长期是图像匹配的标准方法。
R-CNN-2014
Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation 将CNN引入目标检测，通过区域提议+CNN分类的流程大幅提升了检测精度，开启了深度学习目标检测的时代。
YOLO-2016
You Only Look Once: Unified, Real-Time Object Detection 提出了单阶段目标检测框架，将检测任务转化为回归问题，实现了实时检测，在速度和精度之间取得了新的平衡。
ViT-2021
An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 将Transformer直接应用于图像分类，将图像分割为patch后作为序列输入，证明了纯注意力架构在视觉任务上同样有效。
生成模型
GAN-2014
Generative Adversarial Nets 提出了生成对抗网络，通过生成器和判别器的对抗训练来学习数据分布，开创了生成模型的新范式。
VAE-2014
Auto-Encoding Variational Bayes 提出了变分自编码器，将变分推断与神经网络结合，实现了可学习的概率生成模型，提供了具有结构化隐空间的生成方法。
DDPM-2020
Denoising Diffusion Probabilistic Models 提出了去噪扩散概率模型，通过学习逐步去噪过程来生成高质量样本，成为当前图像生成（如Stable Diffusion、DALL·E）的核心技术路线。
强化学习
DQN-2015
Human-Level Control through Deep Reinforcement Learning 将深度神经网络与Q-learning结合，在49款Atari游戏上达到人类水平，开创了深度强化学习的先河。
PPO-2017
Proximal Policy Optimization Algorithms 提出了PPO算法，通过裁剪策略更新幅度来保证训练稳定性，成为深度强化学习中最广泛使用的策略优化算法，也是RLHF中微调语言模型的核心算法。