2026-01-04 · AI
32
AI · 2026-01-04

Karpathy神经网络零基础课程:从零手撸到GPT

TL;DR

Andrej Karpathy(前特斯拉AI总监、OpenAI创始成员)做了个神经网络课程,从零开始手撸代码,一路搞到GPT。不讲虚的,全是实战。你要是会Python和高中数学,就能跟着学。


为什么值得看?

先说重点:这课程跟市面上那些"21天精通深度学习"完全不是一回事。

Karpathy这人什么来头?特斯拉Autopilot的AI负责人,OpenAI创始团队成员,斯坦福PhD。他讲课的特点就是——不装

别人教神经网络,上来就扔一堆公式,搞得像在背咒语。他不一样,直接带你写代码,一行一行解释为什么这么写。你写完了,神经网络也就懂了。


课程大纲与学习路径

整个课程8个模块。建议按顺序学习,每节课都为你准备了详细的图文笔记

第一阶段:地基篇

01. Micrograd - 手撸一个AI大脑

一句话价值:不用PyTorch,纯Python手写一个自动求导引擎,理解"梯度"到底是什么。
- 视频时长:2小时25分钟
- 核心概念:反向传播、计算图、导数是敏感度

02. Makemore - 语言模型入门

一句话价值:用统计学方法(bigram)训练一个能生成名字的AI,打破"AI就是魔法"的迷信。
- 视频时长:1小时57分钟
- 核心概念:概率统计、最大似然估计、训练循环

第二阶段:进阶篇

03. MLP - 多层感知机

一句话价值:开始搭建真正的神经网络,让AI学会"寻找规律"而不是"死记硬背"。
- 视频时长:1小时15分钟
- 核心概念:Embedding向量、全连接层、过拟合

04. BatchNorm - 解决训练崩盘

一句话价值:揭秘为什么深层网络那么难训练,以及BatchNorm这个"神药"是怎么救命的。
- 视频时长:1小时55分钟
- 核心概念:梯度消失/爆炸、Kaiming初始化、Batch Normalization

05. 反向传播 - 徒手写梯度

一句话价值:抛弃自动求导,手推每一个算子的梯度。这是成为AI高手的必经之路(痛并快乐着)。
- 视频时长:1小时55分钟
- 核心概念:链式法则、矩阵求导、交叉熵损失

第三阶段:大模型篇

06. WaveNet - 神经网络大升级

一句话价值:引入卷积和树状结构,让AI看得更远(上下文更长),为Transformer打基础。
- 视频时长:56分钟
- 核心概念:卷积神经网络、空洞卷积、分层融合

07. GPT - 从零实现ChatGPT

一句话价值:终极一战!从零复现Attention Is All You Need,亲手造一个能写莎士比亚剧本的GPT。
- 视频时长:1小时56分钟
- 核心概念:Self-Attention、Transformer架构、多头注意力

08. Tokenizer - 为什么AI不识数

一句话价值:揭秘GPT的"翻译官"(分词器),理解为什么AI会犯一些低级拼写错误。
- 视频时长:2小时13分钟
- 核心概念:BPE算法、UTF-8编码、词表构建


学完能干什么?

说实话,学完这个课程,你不会立刻变成AI专家。但你会获得:

  1. 真正理解神经网络:不是背公式,是知道每一层在干什么
  2. 能看懂论文:Transformer、GPT这些论文,你能看懂在说啥
  3. 能写代码:从零实现一个语言模型,不是调API
  4. 知道坑在哪:训练不收敛、梯度爆炸这些问题,你见过也解决过

适合谁学?

适合
- 会Python
- 记得高中数学(求导、矩阵乘法)
- 想真正搞懂神经网络,不是只会调API

不适合
- 完全不会编程
- 想速成(这课程得花时间啃)
- 只想用现成工具,不关心原理


怎么学?

Karpathy建议按顺序学,因为后面的课程会用到前面的知识。

每节课都有配套代码,建议边看边写。别只看视频,一定要自己敲一遍代码。

课程还有个Discord社区,遇到问题可以去问。


课程链接

官网:https://karpathy.ai/zero-to-hero.html

所有视频都在YouTube上,免费看。


我的看法

这课程最大的优点是实在

不吹牛,不画饼,就是带你一行行写代码。你写完了,神经网络也就懂了。

Karpathy讲课有个特点:他会告诉你"为什么这么设计",而不是"这么写就对了"。这种理解深度,是看十本教材都学不来的。

如果你想真正搞懂神经网络,而不是只会调sklearn和PyTorch的API,这课程值得花时间。

就这样。


参考链接

目录 最新
← 左侧翻上一屏 · 右侧翻下一屏 · 中间唤出菜单