1. 课程缘起：为什么我们需要这样一份NLP课程大纲？
在人工智能领域，自然语言处理（NLP）无疑是近年来最火热、发展最迅猛的方向之一。从智能客服到机器翻译，从情感分析到内容生成，NLP技术正以前所未有的深度融入我们的数字生活。然而，技术的快速迭代也带来了一个显著的问题：知识体系庞杂，学习路径模糊。初学者面对海量的论文、层出不穷的框架和复杂的数学公式，常常感到无从下手，陷入“只见树木，不见森林”的困境。
正是在这样的背景下，一份由顶尖学者梳理的、系统性的课程大纲显得尤为珍贵。西湖大学张岳老师的NLP课程大纲，正是这样一份被众多学习者和从业者奉为“宝藏”的学习路线图。它并非简单的知识点罗列，而是一个经过深思熟虑、结构严谨的知识体系构建。这份大纲的价值在于，它清晰地勾勒出了从NLP基础概念到前沿研究的完整脉络，回答了“学什么”、“按什么顺序学”以及“学到什么程度”这三个核心问题。对于希望系统入门NLP的学生、希望夯实理论基础的在职工程师，或是希望了解NLP全貌的研究者而言，这份大纲都提供了一个极佳的“导航仪”。
2. 课程总览：张岳老师NLP课程的核心框架与设计哲学
张岳老师的NLP课程大纲，其核心设计哲学可以概括为“夯实基础、贯通脉络、紧跟前沿、注重实践”。整个课程不是孤立地讲解一个个算法模型，而是致力于构建一个相互关联、层层递进的知识网络。
课程通常被设计为一个学期的内容，大致可以分为四个紧密衔接的模块：
- 基础模块：奠定基石。这部分会深入讲解NLP的基本任务（如分词、词性标注、句法分析）、经典的概率图模型（如隐马尔可夫模型HMM、条件随机场CRF）以及最基础的神经网络模型。其目的是让学习者建立对语言形式化表示和基础建模方法的坚实理解。
- 核心模块：聚焦表示学习。这是课程的重中之重，详细剖析从静态词向量（Word2Vec, GloVe）到动态上下文表示（ELMo, GPT, BERT）的演进逻辑。重点会放在循环神经网络（RNN）及其变体（LSTM, GRU）的架构、原理、训练难题（如梯度消失/爆炸）以及它们在序列建模中的应用。
- 进阶与应用模块：打通理论与落地。在掌握了核心的表示能力后，课程会转向具体的NLP任务，如机器翻译（引入经典的Seq2Seq with Attention模型）、文本分类、情感分析、问答系统等。这部分会强调如何将前面学到的表示模型适配到具体任务中，并介绍相关的评估指标。
- 前沿与专题模块：拓展视野。课程会涉及预训练语言模型（PLM）的深入原理、Prompt Learning、大模型（LLM）的基础知识以及一些当前的研究热点。同时，也会设置如“NLP新闻处理”这样的专题，探讨NLP技术在实际新闻生产、分类、摘要中的应用与挑战。
这个框架的巧妙之处在于，它遵循了人类认知和技能发展的自然规律：先建立稳固的基础概念和工具，再学习核心的“发动机”（表示学习），然后驾驶这辆“车”去解决实际问题，最后展望未来的道路。每一个后续模块都以前一个模块为基石，避免了知识点的跳跃和断层。
3. 从基础概念到RNN架构：理解序列建模的“第一性原理”
课程的开篇，必然会直面NLP的根源性问题：如何让计算机“理解”人类语言？这引出了基础概念部分。我们会讨论语言的离散性、歧义性和组合性。形式语言与自动机理论会简要提及，以建立语言的形式化思维。紧接着，课程会迅速切入统计自然语言处理的核心——n元语言模型（N-gram）。通过计算一个词序列出现的概率，我们首次让机器拥有了对语言流畅度的初步判断能力。这里会详细推导最大似然估计（MLE）和平滑技术（如加一平滑、Good-Turing平滑），因为这是理解后续所有概率模型的基础。
然而，N-gram模型的缺陷显而易见：数据稀疏和无法捕捉长距离依赖。这就顺理成章地引入了神经网络模型。课程会从最简单的前馈神经网络开始，讲解其如何用于文本分类（如词袋模型输入），从而过渡到词嵌入的概念。Word2Vec的Skip-gram和CBOW模型会被深入剖析，包括负采样和层次Softmax这两种关键的训练技巧。理解词嵌入，是理解“词义即其上下文”这一分布假说的关键。
有了词作为分布式表示的基础，我们面对的核心挑战变成了如何处理可变长度的序列数据。这就是循环神经网络（RNN）登场的时刻。课程会详细拆解RNN的基本单元结构：在每一个时间步，网络不仅接收当前的输入，还接收上一个时间步的隐藏状态，从而理论上具备了记忆之前所有历史信息的能力。
注意：很多初学者会混淆“时间步”在NLP中的含义。在文本序列里，一个时间步通常对应一个词或一个字。RNN是按顺序“阅读”整个句子的。
我们会用数学公式清晰地展示RNN的前向传播过程：h_t = f(W_{hh} * h_{t-1} + W_{xh} * x_t + b_h)y_t = g(W_{hy} * h_t + b_y)其中，h_t是当前隐藏状态，x_t是当前输入，y_t是当前输出。f和g是激活函数。
然而，经典的简单RNN面临著名的梯度消失/爆炸问题。在反向传播通过时间（BPTT）算法中，梯度需要沿着时间步连续相乘。当权重矩阵的特征值小于1时，梯度会指数级衰减到零（消失）；大于1时，则会指数级增长（爆炸）。这意味着RNN难以学习到长距离的依赖关系。
为了解决这个问题，课程会重点介绍两种革命性的RNN变体：长短期记忆网络（LSTM）和门控循环单元（GRU）。LSTM通过引入“细胞状态”和三个门控结构（输入门、遗忘门、输出门），精巧地实现了信息的长期保存和选择性更新。我们会详细分析每一个门的计算公式和物理意义：
- 遗忘门：决定从细胞状态中丢弃哪些信息。
f_t = σ(W_f · [h_{t-1}, x_t] + b_f) - 输入门：决定哪些新信息将被存入细胞状态。
i_t = σ(W_i · [h_{t-1}, x_t] + b_i),\tilde{C}_t = tanh(W_C · [h_{t-1}, x_t] + b_C) - 细胞状态更新：
C_t = f_t * C_{t-1} + i_t * \tilde{C}_t - 输出门：基于细胞状态，决定输出什么。
o_t = σ(W_o · [h_{t-1}, x_t] + b_o),h_t = o_t * tanh(C_t)
GRU则可以看作是LSTM的简化版本，它将遗忘门和输入门合并为一个“更新门”，并混合了细胞状态和隐藏状态，参数更少，训练速度往往更快。
实操心得：在初步实现RNN/LSTM时，一个常见的坑是张量维度的对齐。特别是在处理批量数据时，输入x的维度是(batch_size, sequence_length, embedding_dim)，而初始隐藏状态h0的维度是(num_layers, batch_size, hidden_size)。很多框架（如PyTorch）要求sequence_length在第一维，而有些数据预处理默认不是这样。务必在训练前打印出关键张量的形状进行确认。另一个经验是，对于中等长度的文本（如几十到几百个词），LSTM和GRU的表现差异不大，GRU因其简洁性往往是首选。但当序列非常长，且对长期记忆要求极高时，LSTM的理论优势可能更明显。
4. 从Seq2Seq到Attention机制：NLP任务的通用范式演进
掌握了RNN系列模型后，我们就拥有了处理序列的强大工具。课程的下一个关键跃迁，是学习如何用这些工具解决NLP中的核心任务，其中最具代表性的就是机器翻译。这催生了序列到序列模型的经典范式。
Seq2Seq模型通常由一个编码器和一个解码器组成，两者都是RNN（通常是LSTM或GRU）。编码器负责将源语言句子（如中文）压缩成一个固定长度的上下文向量（即最后一个隐藏状态），这个向量被期望包含了整个句子的语义信息。然后，解码器以这个上下文向量为初始状态，开始逐个生成目标语言（如英文）的词。
然而，最初的Seq2Seq模型有一个根本性缺陷：将整个输入序列的信息压缩到一个固定维度的向量中，就像试图把一本长篇小说总结成一句话，必然会丢失大量细节，尤其是对于长句子，性能下降严重。
2015年，注意力机制的提出彻底改变了这一局面。注意力机制的核心思想是：在解码器生成每一个目标词的时候，不应该“平均地”看待编码器所有时间步的信息，而应该“有侧重地”回顾编码器的不同部分。它为解码器的每一步动态计算一个与编码器所有隐藏状态的加权和，作为该步的上下文向量。
课程会详细推导注意力权重的计算过程：
- 计算对齐分数：对于解码器当前状态
s_t和编码器每一个状态h_i，计算一个分数e_{ti} = score(s_t, h_i)。常用的score函数有点积、加性（通过一个前馈网络）等。 - 归一化权重：使用Softmax函数将对齐分数归一化为权重：
α_{ti} = exp(e_{ti}) / Σ_j exp(e_{tj})。 - 计算上下文向量：
c_t = Σ_i α_{ti} * h_i。 - 解码器将
c_t与自身的输入结合，产生当前步的输出。
注意力机制不仅极大提升了机器翻译的质量，更重要的是，它提供了一种可解释的“对齐”视角（注意力权重图可以可视化模型在生成某个词时关注了源句子的哪些部分），并且其思想被后续几乎所有NLP模型所吸收，成为基石中的基石。
实操心得：实现注意力机制时，一个性能上的优化点是矩阵化计算。避免使用循环逐个计算解码器状态与所有编码器状态的对齐分数，而是将编码器所有状态堆叠成矩阵H，一次性计算所有分数。例如，在点积注意力中，如果解码器状态s_t形状为(batch_size, hidden_size)，编码器状态H形状为(batch_size, src_len, hidden_size)，我们可以将s_t扩展为(batch_size, 1, hidden_size)，然后使用torch.bmm进行批量矩阵乘法，一次性得到所有e_{ti}。这能带来显著的训练加速。
5. Transformer与预训练语言模型：当代NLP的基石
如果说注意力机制是一个强大的工具，那么Transformer模型则是将这个工具发挥到极致、并完全摒弃RNN的划时代架构。张岳老师的课程必然会花大量篇幅深入解析Transformer，因为它是BERT、GPT等所有现代预训练模型的骨架。
Transformer完全基于自注意力机制和前馈神经网络，并行处理整个序列，解决了RNN无法并行计算的瓶颈。课程会拆解其核心组件：
- 自注意力：让序列中的每个词同时与序列中的所有词计算注意力，从而捕获丰富的上下文信息。公式为
Attention(Q, K, V) = softmax(QK^T / √d_k) V。其中Q（查询）、K（键）、V（值）均来自同一输入序列的不同线性变换。 - 多头注意力：将模型的能力划分为多个“头”，每个头在不同的表示子空间里学习关注不同的信息，最后将结果拼接起来，增强了模型的表达能力。
- 位置编码：由于Transformer没有循环结构，它需要显式地注入序列的顺序信息。课程会讲解正弦余弦位置编码公式及其特性。
- 编码器-解码器结构：Transformer也沿用此结构，但编码器和解码器都由多层相同的层堆叠而成，每层包含多头注意力和前馈网络。
在透彻理解Transformer之后，课程便自然过渡到预训练语言模型。其核心范式是“预训练+微调”：首先在大规模无标注文本语料上，通过设计一个“预训练任务”来训练一个通用的语言表示模型；然后，针对具体的下游任务（如分类、问答），用少量标注数据对这个预训练模型进行微调。
课程会重点对比两大主流预训练范式：
- 自编码模型（以BERT为代表）：在预训练阶段，随机掩盖输入句子中的一些词（Masked Language Model, MLM），让模型预测被掩盖的词。这种方式让模型能够同时利用被掩盖词左右两侧的上下文，获得“深层双向”的表示能力。BERT在2018年横空出世，在11项NLP任务上刷新了记录。
- 自回归模型（以GPT为代表）：在预训练阶段，模型被训练来根据上文预测下一个词（传统语言模型任务）。这种方式是单向的，从左到右生成文本。GPT系列模型通过不断扩大模型规模和数据量，展现出了惊人的生成能力。
实操心得：在使用预训练模型（如Hugging Face Transformers库）时，一个至关重要的细节是Tokenizer与模型的一致性。不同的预训练模型有自己对应的分词器和词汇表。如果你用BERT的tokenizer去处理文本，然后试图输入给一个GPT结构的模型，一定会出错。务必确保from_pretrained加载的模型和tokenizer是配套的。此外，对于中文任务，虽然原始BERT提供了中文预训练权重，但在专业领域（如医学、法律），使用在该领域语料上继续预训练过的模型（领域自适应预训练）通常会获得更好的效果。
6. 前沿探索与大模型初窥：Prompt Learning与LLM基础
课程的尾声部分，会引领学习者眺望NLP的最前沿。其中一个重要方向就是Prompt Learning。传统的“预训练-微调”范式需要为每个下游任务准备标注数据并更新所有或部分模型参数。而Prompt Learning试图将下游任务“重塑”成预训练阶段见过的任务形式。
例如，对于一个情感分类任务，传统微调是在句子前加一个[CLS]标记，然后用它的输出对应一个分类器。而在Prompt Learning中，我们可能会设计一个模板：“[输入句子]总的来说，这是一条[MASK]的评论。” 然后让预训练好的MLM模型去预测[MASK]位置应该填“积极”还是“消极”这个词。通过这种方式，我们更直接地激发了模型在预训练中获得的知识，特别是在标注数据极少（少样本学习）的场景下，这种方法显示出巨大优势。
课程也会初步探讨大语言模型的基本概念。这不仅仅是模型参数量的增大（从亿级到千亿、万亿），更带来了能力的质变，即涌现能力。当模型规模超过某个临界点后，它会表现出在较小模型上看不到的新能力，如复杂的推理、指令遵循和代码生成。这部分内容会介绍LLM的核心技术，如：
- 缩放定律：模型性能与模型大小、数据量、计算量之间的可预测关系。
- 指令微调与对齐：如何让大模型理解并遵循人类的指令（Instruction Tuning），以及如何使其输出符合人类价值观（RLHF，基于人类反馈的强化学习）。
- 上下文学习：仅通过提供几个任务示例（Few-shot）或任务描述（Zero-shot），而不更新模型参数，就能让模型完成新任务。
实操心得：对于Prompt Learning，设计一个有效的Prompt（提示模板）更像是一门艺术而非科学。它需要你对任务和模型都有深刻的理解。一个实用的技巧是进行Prompt自动化搜索或集成，例如使用不同表述的多个Prompt，然后对模型预测的结果进行集成（投票或平均），这通常比单一Prompt更稳定。对于初步接触LLM的开发者，建议从OpenAI的API或开源模型如LLaMA、ChatGLM的轻量级版本开始，先熟悉其对话、补全、总结等基础能力的使用模式，理解其输入输出的格式和限制，再考虑更复杂的应用或微调。
7. 专题实践：以“NLP新闻处理”为例的完整项目流
理论需要与实践结合。课程通常会设置一个像“NLP新闻处理”这样的专题项目，来串联多个知识点。这不仅仅是一个简单的文本分类，而是一个模拟真实场景的微型管道。
一个完整的新闻处理流程可能包括以下步骤，每个步骤都对应着课程中学到的核心知识：
- 新闻爬取与原始语料构建：使用爬虫框架（如Scrapy）从新闻网站获取原始HTML。这里涉及文本提取（如使用
readability库或newspaper3k）、去重、编码处理等基础数据工程。 - 文本预处理与清洗：对原始文本进行清洗，包括去除HTML标签、特殊字符、停用词过滤、繁体转简体等。中文还需要进行分词（使用Jieba、HanLP等工具），这是后续所有分析的基础。
- 新闻文本分类：这是核心任务之一。我们可以将其构建为一个多分类问题（如政治、经济、体育、娱乐）。
- 传统方法实践：首先，可以尝试使用TF-IDF特征 + 机器学习模型（如朴素贝叶斯、支持向量机SVM）。这能让我们直观理解特征工程的重要性。
- 深度学习方法实践：接着，使用课程中学到的模型。例如，用Word2Vec或GloVe词向量作为输入，搭建一个TextCNN（卷积神经网络）或BiLSTM模型。这里可以对比不同模型架构的效果。
- 预训练模型微调：最后，使用BERT等预训练模型进行微调。这是当前的主流方法，通常能获得最好的效果。我们需要将新闻文本处理成BERT的输入格式（添加
[CLS]和[SEP]标记，进行分词和ID转换），然后在预训练模型后接一个简单的分类层进行训练。
- 关键信息抽取：除了分类，我们可能还想从新闻中抽取关键信息，如时间、地点、人物、组织机构等。这可以建模为命名实体识别任务。同样，可以从基于CRF的传统方法，过渡到使用BiLSTM-CRF模型，再到使用微调BERT序列标注模型。
- 新闻摘要生成：这是一个典型的文本生成任务。对于较短的摘要，可以尝试抽取式摘要（如TextRank算法，基于图模型计算句子重要性）。对于生成式摘要，就需要用到Seq2Seq with Attention模型，或者直接使用预训练的生成式模型（如BART、T5、PEGASUS），它们本身就是在摘要任务上预训练的。
- 情感倾向分析：分析新闻评论或新闻报道本身的情感倾向（正面、负面、中性）。这本质上是一个文本分类任务，可以复用第3步的模型架构，只是标签不同。
- 系统集成与可视化：将以上模块集成到一个简单的Web应用（如使用Flask或Streamlit）中，实现上传新闻文本或URL，自动返回分类结果、关键实体、摘要和情感分析。使用ECharts等库进行结果可视化。
实操心得：在这样一个综合项目中，最大的挑战往往是数据的不平衡与噪声。新闻类别分布可能极不均衡（比如体育新闻远多于科技新闻），这需要在数据采样（过采样少数类、欠采样多数类）或损失函数（使用带权重的交叉熵损失）上做处理。此外，爬取的新闻数据噪声很大，标题和正文可能混杂了记者信息、广告、无关链接等，设计鲁棒的清洗规则需要反复迭代。另一个关键点是评估指标的选择：对于分类任务，不能只看准确率，在类别不平衡时，精确率、召回率和F1-score（尤其是宏平均F1）更具参考价值。对于摘要任务，则常用ROUGE分数来评估与参考摘要的重合度。
通过这样一个从数据获取到模型部署的完整项目实践，学习者能够将课程中分散的知识点串联起来，深刻理解每个技术环节在真实问题中的作用与局限，从而真正获得解决实际NLP问题的能力。这份由张岳老师课程大纲所启发的学习路径，其最终价值正是体现在这种从理论到实践的贯通之中。
