别再死记硬背Attention公式了！用Python+GRU手把手复现一个Hierarchical Attention Network

用Python+GRU实战层次注意力网络：从零构建文本分类模型

当你第一次听说Hierarchical Attention Network（HAN）时，是不是也被那些层层嵌套的注意力机制绕晕了？别担心，今天我们不谈枯燥的数学公式，直接动手用PyTorch从零实现一个完整的HAN模型。我会带你一步步拆解这个"套娃"式的神经网络结构，让你真正理解模型是如何像剥洋葱一样，从单词到句子再到段落，逐层聚焦关键信息的。

1. 理解HAN的核心架构

想象你在阅读一篇技术文档：首先你会关注每个句子中的关键词，然后找出段落中的核心句子，最后综合各段主旨理解全文。HAN正是模拟了这种人类阅读的层次化认知过程。让我们先看看它的三大核心组件：

• 词级编码与注意力：处理单个句子中的单词关系
• 句级编码与注意力：分析段落中句子间的关系
• 文档级表示：综合所有段落信息生成最终特征

class HierarchicalAttentionNetwork(nn.Module): def __init__(self, vocab_size, embed_dim, gru_units): super().__init__() self.word_attention = WordLevelAttention(vocab_size, embed_dim, gru_units) self.sentence_attention = SentenceLevelAttention(gru_units) def forward(self, document): # 文档 → 句子 → 单词 的层次处理 pass

提示：实际实现时我们会发现，HAN的层次结构天然适合处理长文本，这也是它在文本分类任务中表现出色的关键原因。

2. 构建词级注意力层

词级处理是HAN的第一道关卡。这里我们使用双向GRU来捕获单词的上下文信息，然后用注意力机制突出重要词汇。

2.1 实现词编码器

class WordLevelAttention(nn.Module): def __init__(self, vocab_size, embed_dim, gru_units): super().__init__() self.embedding = nn.Embedding(vocab_size, embed_dim) self.gru = nn.GRU(embed_dim, gru_units, bidirectional=True) self.attention_proj = nn.Linear(2*gru_units, gru_units) self.context_vector = nn.Parameter(torch.randn(gru_units)) def forward(self, sentences): # sentences形状: (batch_size, max_sent_len, max_word_len) batch_size = sentences.size(0) # 嵌入层 embedded = self.embedding(sentences) # (batch, sent, word, embed) # 双向GRU处理 gru_out, _ = self.gru(embedded.view(-1, embedded.size(2), embedded.size(3))) gru_out = gru_out.view(batch_size, -1, 2*gru_units) # 合并batch和句子维度 # 计算注意力权重 u = torch.tanh(self.attention_proj(gru_out)) # (batch*sent, words, gru_units) attn_weights = torch.softmax(u @ self.context_vector, dim=1) # 加权求和得到句子向量 sentence_vectors = (attn_weights.unsqueeze(2) * gru_out).sum(dim=1) return sentence_vectors

2.2 可视化词注意力

理解注意力机制最直观的方式就是可视化。我们可以用Matplotlib绘制热力图，观察模型在不同类别文本上关注的词汇：

def plot_word_attention(text, model, tokenizer): tokens = tokenizer.tokenize(text) inputs = tokenizer.encode(text, return_tensors="pt") # 获取注意力权重 with torch.no_grad(): outputs = model(inputs) attn_weights = model.word_attention.last_attention plt.figure(figsize=(10,2)) sns.heatmap(attn_weights.cpu().numpy(), xticklabels=tokens, cmap="YlOrRd") plt.title("Word-level Attention Heatmap")

注意：实践中会发现停用词往往获得较高注意力权重，这是HAN的一个常见问题。解决方法是在预处理时保留有实际意义的停用词（如"not"），或使用注意力修正技巧。

3. 实现句级注意力层

有了句子向量后，我们需要在段落级别再次应用相同的注意力逻辑。

3.1 句编码器实现

class SentenceLevelAttention(nn.Module): def __init__(self, gru_units): super().__init__() self.gru = nn.GRU(2*gru_units, gru_units, bidirectional=True) self.attention_proj = nn.Linear(2*gru_units, gru_units) self.context_vector = nn.Parameter(torch.randn(gru_units)) def forward(self, document): # document形状: (batch_size, num_sentences, 2*gru_units) batch_size = document.size(0) # 双向GRU处理 gru_out, _ = self.gru(document.transpose(0,1)) # (sentences, batch, 2*units) gru_out = gru_out.transpose(0,1) # (batch, sentences, 2*units) # 计算句子注意力 u = torch.tanh(self.attention_proj(gru_out)) attn_weights = torch.softmax(u @ self.context_vector, dim=1) # 加权得到文档向量 document_vector = (attn_weights.unsqueeze(2) * gru_out).sum(dim=1) return document_vector

3.2 调试技巧

在实现过程中，我经常遇到以下问题及解决方法：

1. 维度不匹配：特别是在处理双向GRU的输出时

   • 检查batch_first参数设置
   • 使用.view()和.transpose()调整维度顺序

2. 注意力权重过于均匀：

   • 尝试不同的上下文向量初始化方式
   • 在投影层后添加LayerNorm

3. 长文本处理效率低：

   • 对文档进行分段处理
   • 使用动态padding减少计算量

4. 完整HAN模型集成

现在我们将各组件组装成完整的HAN模型，并添加分类头：

class HANClassifier(nn.Module): def __init__(self, vocab_size, embed_dim, gru_units, num_classes): super().__init__() self.han = HierarchicalAttentionNetwork(vocab_size, embed_dim, gru_units) self.classifier = nn.Linear(2*gru_units, num_classes) def forward(self, x): # x形状: (batch, sentences, words) doc_vector = self.han(x) # (batch, 2*gru_units) return self.classifier(doc_vector)

训练时的一些实用技巧：

• 学习率调度：由于HAN较深，建议使用ReduceLROnPlateau
• 梯度裁剪：防止RNN层的梯度爆炸
• 早停机制：监控验证集损失

optimizer = torch.optim.Adam(model.parameters(), lr=0.001) scheduler = torch.optim.lr_scheduler.ReduceLROnPlateau(optimizer, 'min') criterion = nn.CrossEntropyLoss() for epoch in range(epochs): model.train() for batch in train_loader: optimizer.zero_grad() outputs = model(batch.text) loss = criterion(outputs, batch.label) loss.backward() torch.nn.utils.clip_grad_norm_(model.parameters(), 0.5) optimizer.step() val_loss = evaluate(model, val_loader) scheduler.step(val_loss)

5. 实战文本分类任务

让我们在AG News数据集上测试HAN的表现。与普通TextCNN和LSTM相比，HAN在长文本上的优势明显：

实现数据加载器的关键代码：

from torchtext.legacy import data TEXT = data.Field(tokenize='spacy', lower=True) LABEL = data.LabelField(dtype=torch.long) train_data, test_data = datasets.AG_NEWS.split( (TEXT, LABEL), root='./data' ) TEXT.build_vocab(train_data, max_size=25000) LABEL.build_vocab(train_data) train_loader, valid_loader = data.BucketIterator.splits( (train_data, test_data), batch_size=32, sort_key=lambda x: len(x.text), device=device )

在实现过程中，我发现几个提升HAN性能的实用技巧：

1. 嵌入层预训练：使用GloVe或Word2Vec预训练词向量
2. 层次Dropout：在词级和句级分别应用不同比率的Dropout
3. 注意力温度：在softmax前对注意力分数进行缩放
4. 混合精度训练：显著减少显存占用

# 混合精度训练示例 scaler = torch.cuda.amp.GradScaler() with torch.cuda.amp.autocast(): outputs = model(batch.text) loss = criterion(outputs, batch.label) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()

经过多次实验，我发现HAN特别适合以下场景：

• 长文档分类（如新闻分类、法律文书分析）
• 需要解释性的应用（通过注意力权重分析决策依据）
• 多粒度语义理解任务