我最早注意到“andrej-karpathy-skills”这个标签，是在GitHub上翻到某个用卡帕西系列视频做索引的仓库。第一反应是这名字起得取巧，点进去却发现它其实戳中了一个一直存在但很少被讲透的痛点：AI领域不缺资料，缺的是一套按认知难度排好序、能让人从零手写并真正理解核心原理的实操路径。卡帕西这些年做的教学项目，从micrograd到nanoGPT，表面上是一个个独立仓库，实际上是一条刻意设计过的学习链。这篇就围绕这套“技能树”聊聊我自己的拆解、复现经历，以及踩过的坑。
1. 先看全貌：这套技能树的源头和定位
先说清楚事情背景。Andrej Karpathy（下文简称卡帕西）是OpenAI创始成员之一，后来做过特斯拉AI高级总监，但他在开发者社区影响力最大的贡献，其实是那一系列“从零开始”的教学项目。所谓“andrej-karpathy-skills”，在社区里通常指的不是某个官方仓库，而是人们对他公开教学项目、代码库以及视频课程中体现出来的工程能力与授课思路的统称。很多人把它整理成清单，当作一条深度理解大语言模型内部机制的路线图。
顺着这个标签在GitHub上搜，会看到大量相关仓库：有把他视频的Python笔记重新整理成文档的，有把他的micrograd、nanoGPT用其他框架重写的，还有纯纯把自己的学习笔记改成Repo的。这种现象本身就说明一个问题：卡帕西的项目天然适合当作“学习单元”来处理，因为每个仓库的规模都控制得极好，代码量少则一两百行，多则两三千行，但知识点密度极高。
如果用一句话概括这套技能的核心定位，我认为是：不依赖黑盒API，用最朴素的代码把深度学习的核心机制还原出来。市面上大多数课程教的是怎么调用工具，卡帕西的路径教的是这些工具内部的数学和工程原理。所以它的目标受众非常明确：想理解大模型工作方式而不只是会用的人，想进入LLM底层研究或做高性能推理开发的人，以及被各种框架封装搞到麻了的自学者。
2. 技能图谱拆解：从反向传播到大语言模型
2.1 micrograd：反向传播的最小可复现单元
micrograd是卡帕西最早出圈的教学项目之一。整个仓库核心代码不到200行，实现了一个微型自动求导引擎。做过深度学习的人都知道，反向传播是模型训练的基石，但想真正吃透它，大多数框架的源码复杂度实在劝退。micrograd的精妙之处在于：它用一套极简的标量运算图，实现了完整的反向传播机制。
我第一次照着视频手敲micrograd时，印象最深的不是数学公式，而是卡帕西反复强调的一个点：每个节点只需要保存两个东西——输出值对自身输入的梯度，以及局部计算关系。这个思路一展开，后续所有关于Tensor、计算图、自动微分的概念全部变得具体起来。它的工程意义在于，让你意识到反向传播不是某种深度学习专用魔法，而是一套可拆解、可逐节点验证的链式法则。
从技能学习的角度看，micrograd的价值不亚于一次“元修炼”。因为当你亲手构建计算图并实现了backward过程之后，再去读PyTorch的autograd文档，会发现所有概念都有落点：叶子节点、非叶子节点、梯度累积、hook机制，这些抽象概念突然变得亲和起来。我的建议是，不要只满足于跑通代码，而是要把每个节点的grad属性变化画在纸上，配合手算验证。
2.2 makemore：自回归语言模型的入门钥匙
如果说micrograd解决的是“梯度从哪来”，那makemore解决的就是“字符级别的语言模型是怎么自回归的”。这个项目本质上是一个字符级语言模型系列教程，从最简单的bigram模型开始，逐步过渡到MLP、RNN，最后抵达Transformer的简化实现。每个阶段都配有详尽的解释，而且数据集全部采用真实文本，哪怕只是预测下一个字符，也能感受到模型确实在“学”到某种语言学模式。
字符级模型容易被轻视，因为如今流行的都是大参数模型，好像字符级任务太初级。但我个人体会到，makemore的核心价值恰恰在于“小”。正因为输入空间小、词汇表只有几十个字符，训练速度快，你可以在几分钟内反复迭代各种模型结构，直观感受到每层网络对损失值的贡献。这种即时反馈是学习阶段最宝贵的信号，能帮助建立“模型容量”“过拟合”“温度采样”等一系列关键直觉。
实操上有一个重点：卡帕西在makemore里使用了一种非常优雅的trick——把字符序列转成整数索引，然后通过嵌入层映射成稠密向量。这一步看起来平平无奇，实际上就是把离散符号变成连续空间向量的标准操作。理解了它，后面再看位置编码、词嵌入、上下文窗口等概念，就都是在同一棵树的不同分支上了。
2.3 nanoGPT：从零训练GPT的极简路径
nanoGPT是这套技能树的高潮部分。它用大约300行Python代码，实现了完整的GPT训练与推理流程。我先声明一下：nanoGPT不是玩具，它是一个可以在单张消费级显卡上训练出合理质量语言模型的完整实现。虽然它去掉了数据并行、张量并行等工业级优化，但它完整保留了GPT的架构精髓：自注意力机制、多头注意力、残差连接、层归一化、位置编码、因果掩码，一个都不少。
我第一次把nanoGPT训练到loss稳定下降时，有一种“原来GPT就是这么回事”的通透感。但回头复盘，我认为nanoGPT最值得学习的不是代码本身，而是卡帕西对“结构化”和“可读性”的追求。一个能跑通的GPT实现，可以写得非常晦涩，但他选择了教科书级别的清晰。这意味着你在读代码时，每一步都能对应到《Attention Is All You Need》论文中的某个公式。这种“论文—代码—运行结果”的三角互证关系，是自学最稀缺的体验。
值得提醒的是，很多人跳过了前面micrograd和makemore直接看nanoGPT，结果被多头注意力的维度变换绕得头晕。我建议务必按顺序来，因为nanoGPT里的很多实现细节，其实是前两个项目概念的复用和升维。比如自注意力中的Q、K、V矩阵，如果充分理解过嵌入层和权重矩阵的概念，就不难接受它只是相似度匹配的机械操作。
2.4 tokenization与多层感知机：容易忽略的基石
顺着技能树继续延伸，还有两个“不起眼但致命”的组件：tokenization（分词器）和MLP（多层感知机）。很多人训练完nanoGPT后，觉得分词不就是调个BPE库吗？但卡帕西在视频里偏偏单独花一大节讲tokenization，因为他认为这是大模型流程中最容易被忽略、却又影响数据质量最深的环节。一旦分词边界切错了，整个语义空间都会被扭曲，模型性能天花板直接受限。
MLP则更基础，但它是一切模型都在使用的“万能函数逼近器”。在nanoGPT的代码里，Feed-Forward Network就是两层MLP加非线性激活函数。深入理解MLP的权重矩阵形状变化、初始化策略、激活函数选择，能帮你后面理解一切架构设计的动机。我踩过的坑是：过早把注意力放在“新模块”上，忽视了MLP这种“老模块”的理论细节，结果调试模型时经常因为初始化或量化问题陷入困惑。
3. 实操路线：如何用这套技能完成能力跃迁
3.1 复现导向的学习节奏
过滤掉表层意义后，这套技能最核心的实践方式就是“复现”。复现不是抄代码，而是先看视频建立整体印象，再照着思路不看答案自己实现，最后对比卡帕西的代码找出差异。我试过几轮之后，发现这种学习节奏的效率远高于“看视频做笔记”。因为动手写的时候，你会被迫面对“只知道大概但说不清细节”的模糊地带，而这些模糊地带恰恰是知识体系中的薄弱环节。
具体操作上，我建议把每个项目拆成三个层级：第一层，读懂核心思路和网络结构；第二层，关闭代码，凭记忆和推导重构实现；第三层，对比参考代码，调试行为差异。这样一轮下来，不仅掌握了代码结构，还顺带强化了读写能力、调试能力和算法直觉。
3.2 代码阅读与“白板推演”结合
复现过程中最容易犯的错误是“只跑代码不推公式”。我吃过大亏：有一次照着nanoGPT调参，以为把学习率降低就能减少loss波动，结果根本没用。后来静下心在白板上把注意力矩阵的维度推了一遍，才发现是序列长度变化导致缩放因子被错误复用。这就是典型的代码能跑但原理不清的坑。
所以我的建议是，每阅读完一段核心实现，就在白板上画出张量形状变化图，并标出每一步对应的数学公式。比如线性层的输入形状是[Batch, SeqLen, EmbedDim]，输出是[Batch, SeqLen, HiddenDim]，这一步对应的是$$y = xW^T + b$$。把这种对应关系打磨到位，后面阅读论文、迁移项目都会快很多。
3.3 项目式输出的落地建议
纯粹跟练容易陷入“学习又忘了”的循环，我个人的经验是用项目式输出倒逼内化。读完nanoGPT后，可以尝试二次开发：修改分词策略、改用别的数据集、加一个简单的采样交互界面。这些改动看起来不大，但能逼着你真正理解数据流与控制流。做完一个改动后，把结果写成技术笔记或开源成小仓库，这就把输入型学习变成了输出型创造。
4. 常见问题与避坑经验
4.1 硬件门槛并非主要障碍
很多人一看到“训练GPT”就担心硬件不够，这种情况可以分开看：如果目标是把micrograd、makemore完整跑通，普通笔记本CPU就完全足够。nanoGPT呢，如果只做字符级训练和推理，中等CPU也能跑，只是慢一些。真正需要GPU的是你尝试把它扩展到更大语料或更长序列的时候。
我的建议是，先别急着上GPU云服务器，先用小规模数据在本地跑通全流程。等到确实需要调参或跑更大模型时，再租卡也不迟。很多基础问题在CPU上暴露得更明显，比如数值稳定性、梯度消失等，反而更有学习价值。
4.2 卡在数学推导怎么办
卡帕西项目的数学门槛是渐进的。micrograd只需要懂链式法则和偏导，makemore稍微涉及到矩阵乘法和softmax，nanoGPT则要处理注意力公式、残差网络、层归一化。如果你在某个环节卡住，最好的策略不是硬啃公式，而是退回上一层项目把对应概念彻底搞懂。比如注意力卡住，就先回顾makemore里面的多层感知机实现；层归一化卡住，就翻回micrograd感受数值稳定性对训练的影响。
不要害怕数学，但也不要被数学吓退。卡帕西的厉害之处就是，他总能用代码把公式翻译成可运行的过程。跟着代码体验一遍“数值是如何流动的”，很多所谓数学问题其实就变成了工程问题。
4.3 从“看懂”到“能改”的跨越
这是90%自学者会止步的地方。看懂卡帕西的代码是一回事，能自己改造和扩展又是另一回事。我的经验是，刻意给自己设置“不按原计划走”的任务：比如给nanoGPT加入top-k采样，给makemore换一种激活函数，甚至是把micrograd扩展成支持矩阵运算的版本。这些任务没有现成答案，必须靠推理和实验解决，一旦解决，能力提升是几何级的。
5. 我的实操体会与扩展思考
5.1 学习过程最容易被低估的三个细节
第一个细节是“键盘敲代码”确实比“复制粘贴代码”更有价值。别嫌麻烦，手敲会逼你注意每一个括号和维度。第二个细节是视频要配合笔记看，但笔记要写成“给自己讲一遍”的形式，不是摘抄卡帕西的话。第三个细节是每个项目跑完，保存一份当时的运行日志和心得，后面编写项目描述或复盘时会非常省力。
5.2 技能树之外的延展方向
这套技能树练完之后，自然会有几个延伸方向。一个方向是往工程化走：读PyTorch源码的autograd、分布式数据并行、混合精度训练，逐渐补齐工业级训练所需能力。另一个方向是往研究和算法走：读原始Transformer论文、Llama、Mistral等开源模型的技术报告，对照nanoGPT代码找到改进点。还可以往推理和部署走：用ONNX、TensorRT或vLLM等工具把训练好的小模型部署到实际环境，把推理延迟优化到极致。
这些方向没有一个能离得开你在基础技能树里建立的“从原理出发”的直觉。所以哪怕你觉得nanoGPT代码已经过时，它仍然是理解新模型架构的最佳起点之一。卡帕西的技能树不是终点，但它是很值得走的一段路。
