人工智能 & 深度学习 — 从零开始的完整学习路线
#AI · #深度学习 · #NLP · #神经网络 · #机器学习 · #Transformer · #LLM · #Agent · #RAG
本模块综合自四本经典教材：Ian Goodfellow《Deep Learning》、Jurafsky & Martin《Speech and Language Processing (3rd ed.)》、Aston Zhang 等《动手学深度学习》(d2l.ai) 以及 Stanford CS224n 课程讲义，覆盖从数学基础到 LLM Agent 工程的完整知识体系。面向零基础初学者，每一节都从直觉出发，逐步深入数学推导和代码实现。
人工智能发展脉络
mermaid
timeline
title 从符号主义到大模型：AI 七十年演进
1950s
: 符号主义 AI：图灵测试、逻辑推理、专家系统
1980s
: 机器学习：决策树、SVM、统计学习
2006
: 深度学习元年：Hinton 深度信念网络
2012
: AlexNet 在 ImageNet 夺冠：CNN 崛起
2013
: Word2Vec：词嵌入革命
2014
: Seq2Seq + Attention：机器翻译飞跃
2017
: Transformer 诞生："Attention Is All You Need"
2018
: BERT / GPT-1：预训练时代开启
2020
: GPT-3 / Scaling Law：涌现能力被发现
2022
: ChatGPT / InstructGPT：RLHF 对齐
2023
: LLaMA / Mistral / Qwen：开源 LLM 爆发
2024
: Agent / RAG / MCP 协议：LLM 工程化
2025
: o4-o5 / DeepSeek-R2：推理模型元年＋合成数据规模化
2026
: GPT-5.6 / Claude Fable：原生多模态＋Computer Use＋无限上下文三大范式
| 范式 | 核心思想 | 代表技术 | 致命缺陷 |
|---|---|---|---|
| 符号主义 | 知识 = 规则 + 逻辑推理 | 专家系统、知识图谱 | 规则无法穷举、不擅长感知 |
| 机器学习 | 从数据中学习模式 | SVM、随机森林、XGBoost | 需要人工特征工程 |
| 深度学习 | 端到端自动学习特征 | CNN、RNN、Transformer | 需要海量标注数据 |
| 预训练 + 微调 | 先在大数据上学，再到小任务上调 | BERT、GPT-2 | 仍需标注微调数据 |
| 大模型 (LLM) | 一个模型解决所有任务 | GPT-5.6、LLaMA 4、Claude Fable | 幻觉、可控性、成本 |
核心洞察：AI 的每次范式跃迁，本质上都是在"减少对人类先验知识的依赖"。从规则 → 特征 → 架构 → 数据 → 规模，越来越"让数据自己说话"。
学习路线图
mermaid
graph TD
subgraph "第一阶段：数学与编程基础"
M1["📐 线性代数<br/>矩阵/向量/特征值"] --> M2["📈 微积分与优化<br/>梯度/链式法则/Jacobian"]
M2 --> M3["📊 线代进阶<br/>特征值/SVD/PCA"]
M3 --> M4["🎲 概率与统计学习<br/>熵/交叉熵/MLE/MAP"]
M4 --> M5["🐍 Python 与 PyTorch<br/>Tensor/Autograd/nn.Module"]
end
subgraph "第二阶段：经典神经网络"
M5 --> N1["🧠 感知机 → MLP<br/>前向传播/激活函数"]
N1 --> N2["🔄 反向传播<br/>链式法则/自动微分"]
N2 --> N3["⚡ 优化器<br/>SGD/Adam/AdamW"]
N3 --> N4["🖼️ CNN<br/>卷积/池化/残差网络"]
N4 --> N5["🛡️ 正则化<br/>Dropout/BN/初始化"]
N5 --> N6["🔁 完整训练循环<br/>DataLoader → 训练 → 验证"]
end
subgraph "第三阶段：NLP 与序列建模"
N6 --> T1["📝 词嵌入<br/>Word2Vec/GloVe/fastText"]
T1 --> T2["🔗 RNN/LSTM/GRU<br/>序列建模"]
T2 --> T2B["🔍 Seq2Seq + Attention<br/>Bahdanau/Luong"]
end
subgraph "第四阶段：Transformer 核心"
T2B --> T3["🎯 Transformer<br/>自注意力/多头/位置编码"]
T3 --> T4["🤖 预训练模型<br/>BERT/GPT/T5/LLaMA"]
end
subgraph "第五阶段：LLM 工程实践"
T4 --> L1["📖 LLM 理论<br/>Scaling Law/RLHF/DPO"]
L1 --> E1["🖥️ 本地部署<br/>量化/硬件加速"]
L1 --> E2["🤖 AI Agent<br/>ReAct/工具调用"]
L1 --> E3["🗄️ RAG<br/>向量检索/知识库"]
L1 --> E4["📝 Prompt 工程<br/>模板/评测"]
end
classDef stage1 fill:#ffffff,stroke:#2563eb,stroke-width:2px,color:#1f2937;
classDef stage2 fill:#ffffff,stroke:#ef4444,stroke-width:2px,color:#1f2937;
classDef stage3 fill:#ffffff,stroke:#0ea5e9,stroke-width:2px,color:#1f2937;
classDef stage4 fill:#ffffff,stroke:#f59e0b,stroke-width:2px,color:#1f2937;
classDef stage5 fill:#ffffff,stroke:#10b981,stroke-width:2px,color:#1f2937;
class M1,M2,M3,M4,M5 stage1;
class N1,N2,N3,N4,N5,N6 stage2;
class T1,T2,T2B stage3;
class T3,T4 stage4;
class L1,E1,E2,E3,E4 stage5;📚 详细学习内容
| 阶段 | 内容 | 文档 |
|---|---|---|
| 第零阶段 | 数学预备知识：函数、导数、概率、贝叶斯 | math-foundations |
| 第一阶段 | 数学与编程基础：线性代数、微积分、PyTorch | math-programming |
| 第二阶段 | 经典神经网络：MLP、CNN、反向传播、正则化 | classic-neural-networks |
| 第三阶段 | NLP 与序列建模：词嵌入、RNN/LSTM、Attention | nlp-sequence-models |
| 第四+五阶段 | Transformer 核心 & LLM 工程实践 | llm-engineering |
以上各阶段均从直觉出发，逐步深入数学推导和代码实现，适合零基础按顺序学习。
深入学习路线
mermaid
graph LR
ROOT((AI 深度学习路线))
ROOT --- MATH[数学基础]
ROOT --- CLASSIC[经典网络]
ROOT --- SEQ[序列模型]
ROOT --- TRANS[Transformer 核心]
ROOT --- PRE[预训练大模型]
ROOT --- ENG[工程专题]
MATH --- M1[线性代数]
MATH --- M2[微积分与优化]
MATH --- M3[概率与统计学习]
CLASSIC --- C1[感知机 → MLP]
CLASSIC --- C2[反向传播]
CLASSIC --- C3[优化器]
CLASSIC --- C4[CNN 卷积网络]
CLASSIC --- C5[正则化技术]
CLASSIC --- C6[完整训练循环]
SEQ --- S1[RNN / LSTM / GRU]
SEQ --- S2[Seq2Seq + Attention]
TRANS --- T1[自注意力机制]
TRANS --- T2[多头注意力]
TRANS --- T3[位置编码]
PRE --- P1[BERT / GPT 对比]
PRE --- P2[Scaling Law]
PRE --- P3[SFT / RLHF / DPO]
ENG --- E1[本地 LLM 硬件加速]
ENG --- E2[AI Agent 架构]
ENG --- E3[RAG 检索增强]
ENG --- E4[Prompt 工程]
classDef root fill:#ffffff,stroke:#2563eb,stroke-width:2.5px,color:#0f172a;
classDef math fill:transparent,stroke:#4f6ef7,stroke-width:2.5px,color:#0f172a;
classDef classic fill:transparent,stroke:#67d9ea,stroke-width:2.5px,color:#0f172a;
classDef seq fill:transparent,stroke:#9ca3af,stroke-width:2.5px,color:#0f172a;
classDef trans fill:transparent,stroke:#9ca3af,stroke-width:2.5px,color:#0f172a;
classDef pre fill:transparent,stroke:#9ca3af,stroke-width:2.5px,color:#0f172a;
classDef eng fill:transparent,stroke:#9ca3af,stroke-width:2.5px,color:#0f172a;
classDef mathLeaf fill:transparent,stroke:#6d86ff,stroke-width:2px,color:#0f172a;
classDef classicLeaf fill:transparent,stroke:#7de3ef,stroke-width:2px,color:#0f172a;
classDef neutralLeaf fill:transparent,stroke:#b8bec8,stroke-width:2px,color:#0f172a;
class ROOT root;
class MATH math;
class CLASSIC classic;
class SEQ seq;
class TRANS trans;
class PRE pre;
class ENG eng;
class M1,M2,M3 mathLeaf;
class C1,C2,C3,C4,C5,C6 classicLeaf;
class S1,S2,T1,T2,T3,P1,P2,P3,E1,E2,E3,E4 neutralLeaf;| 专题 | 核心问题 | 详细文档 |
|---|---|---|
| 🧠 深入 | Transformer 完整推导 | Transformer 深度详解 |
| 🖥️ 部署 | 本地 LLM 硬件加速 | Local LLM 与硬件加速 |
| 🔧 微调 | 模型微调与对齐 | 模型微调与对齐 |
| ⚡ 推理 | 推理服务与性能优化 | 推理服务与性能优化 |
| 🤖 Agent | AI Agent 架构 | AI Agent 架构与工程化 |
| 🗄️ RAG | 检索增强生成 | RAG 检索增强生成 |
| 📝 Prompt | Prompt 工程与评测 | Prompt 工程与模型评测 |
| 🔧 实战 | 构建完整的 Wiki Agent | 构建实战 Wiki AI Agent |
参考资源
- 《Deep Learning》Goodfellow, Bengio & Courville — https://www.deeplearningbook.org/
- 《动手学深度学习》Aston Zhang et al. — https://zh.d2l.ai/
- 《Speech and Language Processing (3rd ed.)》Jurafsky & Martin — https://web.stanford.edu/~jurafsky/slp3/
- Stanford CS224n: NLP with Deep Learning — https://web.stanford.edu/class/cs224n/
- Attention Is All You Need (Vaswani et al., 2017)
- Scaling Laws for Neural Language Models (Kaplan et al., 2020)
- Training Language Models to Follow Instructions (InstructGPT, Ouyang et al., 2022)
- Direct Preference Optimization (Rafailov et al., 2023)
登录后即可发表评论 👇