TL;DR
Andrej Karpathy(前特斯拉AI总监、OpenAI创始成员)做了个神经网络课程,从零开始手撸代码,一路搞到GPT。不讲虚的,全是实战。你要是会Python和高中数学,就能跟着学。
为什么值得看?
先说重点:这课程跟市面上那些"21天精通深度学习"完全不是一回事。
Karpathy这人什么来头?特斯拉Autopilot的AI负责人,OpenAI创始团队成员,斯坦福PhD。他讲课的特点就是——不装。
别人教神经网络,上来就扔一堆公式,搞得像在背咒语。他不一样,直接带你写代码,一行一行解释为什么这么写。你写完了,神经网络也就懂了。
课程大纲与学习路径
整个课程8个模块。建议按顺序学习,每节课都为你准备了详细的图文笔记。
第一阶段:地基篇
01. Micrograd - 手撸一个AI大脑
一句话价值:不用PyTorch,纯Python手写一个自动求导引擎,理解"梯度"到底是什么。
- 视频时长:2小时25分钟
- 核心概念:反向传播、计算图、导数是敏感度
02. Makemore - 语言模型入门
一句话价值:用统计学方法(bigram)训练一个能生成名字的AI,打破"AI就是魔法"的迷信。
- 视频时长:1小时57分钟
- 核心概念:概率统计、最大似然估计、训练循环
第二阶段:进阶篇
03. MLP - 多层感知机
一句话价值:开始搭建真正的神经网络,让AI学会"寻找规律"而不是"死记硬背"。
- 视频时长:1小时15分钟
- 核心概念:Embedding向量、全连接层、过拟合
04. BatchNorm - 解决训练崩盘
一句话价值:揭秘为什么深层网络那么难训练,以及BatchNorm这个"神药"是怎么救命的。
- 视频时长:1小时55分钟
- 核心概念:梯度消失/爆炸、Kaiming初始化、Batch Normalization
05. 反向传播 - 徒手写梯度
一句话价值:抛弃自动求导,手推每一个算子的梯度。这是成为AI高手的必经之路(痛并快乐着)。
- 视频时长:1小时55分钟
- 核心概念:链式法则、矩阵求导、交叉熵损失
第三阶段:大模型篇
06. WaveNet - 神经网络大升级
一句话价值:引入卷积和树状结构,让AI看得更远(上下文更长),为Transformer打基础。
- 视频时长:56分钟
- 核心概念:卷积神经网络、空洞卷积、分层融合
07. GPT - 从零实现ChatGPT
一句话价值:终极一战!从零复现Attention Is All You Need,亲手造一个能写莎士比亚剧本的GPT。
- 视频时长:1小时56分钟
- 核心概念:Self-Attention、Transformer架构、多头注意力
08. Tokenizer - 为什么AI不识数
一句话价值:揭秘GPT的"翻译官"(分词器),理解为什么AI会犯一些低级拼写错误。
- 视频时长:2小时13分钟
- 核心概念:BPE算法、UTF-8编码、词表构建
学完能干什么?
说实话,学完这个课程,你不会立刻变成AI专家。但你会获得:
- 真正理解神经网络:不是背公式,是知道每一层在干什么
- 能看懂论文:Transformer、GPT这些论文,你能看懂在说啥
- 能写代码:从零实现一个语言模型,不是调API
- 知道坑在哪:训练不收敛、梯度爆炸这些问题,你见过也解决过
适合谁学?
适合:
- 会Python
- 记得高中数学(求导、矩阵乘法)
- 想真正搞懂神经网络,不是只会调API
不适合:
- 完全不会编程
- 想速成(这课程得花时间啃)
- 只想用现成工具,不关心原理
怎么学?
Karpathy建议按顺序学,因为后面的课程会用到前面的知识。
每节课都有配套代码,建议边看边写。别只看视频,一定要自己敲一遍代码。
课程还有个Discord社区,遇到问题可以去问。
课程链接
官网:https://karpathy.ai/zero-to-hero.html
所有视频都在YouTube上,免费看。
我的看法
这课程最大的优点是实在。
不吹牛,不画饼,就是带你一行行写代码。你写完了,神经网络也就懂了。
Karpathy讲课有个特点:他会告诉你"为什么这么设计",而不是"这么写就对了"。这种理解深度,是看十本教材都学不来的。
如果你想真正搞懂神经网络,而不是只会调sklearn和PyTorch的API,这课程值得花时间。
就这样。