【CLIP论文阅读】：基于自然语言监督的通用视觉预训练范式-编程实验室

论文信息

标题：Learning Transferable Visual Models From Natural Language Supervision
会议：ICML 2021
单位：OpenAI
代码：https://github.com/OpenAI/CLIP
论文：https://arxiv.org/pdf/2103.00020.pdf

一、引言：传统CV的“题库思维”困局

想象一下：你花了3个月标注了1000类猫的图像，训练出一个准确率99%的猫品种分类器，结果老板突然说“再加100类狗”，你是不是想原地辞职？这就是传统计算机视觉（CV）的核心痛点——模型只能识别训练时见过的固定类别，换个任务就得重新标注、重新训练。

传统CV模型就像只会背题库的学生：它们在ImageNet这张“1000题大试卷”上考了满分，但遇到试卷外的题目（比如识别“一只戴着墨镜的柯基在冲浪”）就直接懵了。它们学习的不是“什么是狗”这个语义概念，而是“ImageNet里狗的像素长什么样”这种虚假相关性。

有没有一种模型，能像人类一样，通过看文字描述就能学会识别新东西？2021年OpenAI提出的CLIP（Contrastive Language-Image Pre-training，对比语言-图像预训练）给出了答案。它用4亿对互联网上的图文数据训练，实现了零样本迁移（通俗解释：训练时从没见过某个任务的任何样本，直接就能做这个任务），在30多个CV任务上吊打传统监督模型，彻底改变了CV的发展方向。

二、CLIP的核心思想：让图像和文字“说同一种语言”

CLIP的思路简单到离谱：既然人类能通过文字描述理解图像，那为什么不让模型也这么做？它的核心目标是学习一个共同的嵌入空间，让语义相似的图像和文本在这个空间里离得近，语义不同的离得远。

整个过程分为三步，如图1所示：

图1 CLIP整体工作流程（来源：论文Figure 1）

对比预训练：输入一批图文对，让模型学会判断哪张图配哪句话
生成零样本分类器：把目标类别的名称转成文本（比如“一张猫的照片”），用文本编码器生成对应的嵌入向量，这些向量就是分类器的权重
零样本预测：把待分类图像输入图像编码器得到嵌入向量，和所有文本嵌入计算相似度，相似度最高的就是预测类别

这个设计有多巧妙？传统模型的分类器是固定的（1000类就是1000个权重），而CLIP的分类器是用自然语言动态生成的。你想识别什么，只要写一句话就行，完全不需要重新训练模型。

三、模型架构与核心公式详解

3.1 双塔架构

CLIP采用经典的双塔架构（通俗解释：两个独立的编码器，分别处理图像和文本，最后把它们的输出映射到同一个空间）：

图像编码器：可以是ResNet或者Vision Transformer（ViT），负责把图像转成固定长度的特征向量
文本编码器：基于Transformer的语言模型，负责把文本转成同样长度的特征向量

3.2 核心对比损失公式

CLIP的灵魂是对称交叉熵损失，它让正确的图文对相似度最大化，错误的对相似度最小化。公式如下：

L = 1 2 ( L i + L t ) \mathcal{L} = \frac{1}{2} \left( \mathcal{L}_i + \mathcal{L}_t \right)L=21(Li+Lt)

其中：

L i \mathcal{L}_iLi：图像到文本的交叉熵损失（给定图像，预测对应的文本）
L t \mathcal{L}_tLt：文本到图像的交叉熵损失（给定文本，预测对应的图像）

单个方向的损失计算如下：

L i = − 1 N ∑ i = 1 N log ⁡ exp ⁡ ( I i ⋅ T i τ ) ∑ j = 1 N exp ⁡ ( I i ⋅ T j τ ) \mathcal{L}_i = -\frac{1}{N} \sum_{i=1}^N \log \frac{\exp \left( \frac{I_i \cdot T_i}{\tau} \right)}{\sum_{j=1}^N \exp \left( \frac{I_i \cdot T_j}{\tau} \right)}Li=−N1i=1∑Nlog∑j=1Nexp(τIi⋅Tj)exp(τIi⋅Ti)

公式符号全解释：

N NN：一个批次（batch）里的图文对数量
I i I_iIi：第i ii张图像经过编码器和线性投影后的归一化嵌入向量
T i T_iTi：第i ii段文本经过编码器和线性投影后的归一化嵌入向量
I i ⋅ T i I_i \cdot T_iIi⋅Ti：两个向量的点积，等价于余弦相似度（因为已经归一化）
τ \tauτ：可学习的温度参数（通俗解释：控制相似度分布的“尖锐程度”，τ \tauτ越小，模型越关注最相似的负样本，训练越严格）
分子：正确图文对的相似度
分母：第i ii张图像和所有N NN个文本的相似度之和

通俗理解：这个损失就像一个配对游戏。对于每张图像，模型要从N NN个文本里找出它的“真命天子”。损失值越小，说明模型找对的概率越高。对称损失意味着不仅要“图找文”，还要“文找图”，双向监督让模型学得更稳。

四、关键技术细节：为什么CLIP能成？

4.1 超大高质量数据集：WIT

CLIP的成功首先归功于4亿对高质量图文数据，作者把它命名为WIT（WebImageText）。构建方法很聪明：

收集维基百科中出现次数≥100次的50万个单词作为基础查询词
用这些查询词在互联网上搜索图文对，每个查询词最多保留2万对
最终得到4亿对数据，总词量和训练GPT-2的WebText数据集相当

为什么不用现成的数据集？论文里对比了YFCC100M（1亿张图），但过滤后只剩1500万对高质量数据，而且标注稀疏。WIT的规模是它的27倍，覆盖了更广泛的视觉概念。

4.2 对比学习比生成式学习效率高4倍

作者一开始尝试了生成式目标（让模型根据图像生成文本），但发现效率极低。如图2所示：

图2 不同预训练目标的零样本效率对比（来源：论文Figure 2）

基于Transformer的生成式模型：学习速度最慢，比词袋模型慢3倍
词袋预测模型：比生成式快3倍
CLIP的对比学习模型：比词袋模型再快4倍，总共快12倍！

原因分析：生成式任务要求模型预测文本的每个单词，难度极大；而对比任务只需要判断“这张图和这句话配不配”，是一个简单的二分类问题，模型能更快学到核心的语义对齐关系。

4.3 模型缩放：越大越强

CLIP训练了8个不同大小的模型，从最小的ResNet-50到最大的ViT-L/14@336px。作者发现零样本性能和计算量呈平滑的对数线性关系——计算量每翻一倍，性能就稳定提升。这和GPT系列的缩放规律完全一致，证明了自然语言监督的可扩展性。

五、震撼的实验结果：零样本吊打传统模型

5.1 里程碑式的零样本ImageNet准确率

最震撼的结果来自ImageNet零样本分类。之前最好的零样本模型Visual N-Grams只能达到11.5%的准确率，而CLIP直接干到了76.2%，和原始ResNet-50的全监督准确率持平！

模型	aYahoo	ImageNet	SUN
Visual N-Grams	72.4	11.5	23.0
CLIP	98.4	76.2	58.5

表1 CLIP与Visual N-Grams的零样本准确率对比（来源：论文Table 1）

这意味着什么？CLIP不需要用ImageNet的128万张标注图像训练，只需要用自然语言描述“一张{类别}的照片”，就能达到和全监督模型一样的效果。这彻底打破了“CV必须依赖大规模标注数据”的铁律。

5.2 27个数据集的全面对比

作者在27个不同的CV任务上测试了CLIP，包括OCR、动作识别、细粒度分类、地理定位等。结果如图3所示：

图3 零样本CLIP与ResNet50线性探针在27个数据集的性能对比（来源：论文Figure 5）

亮点分析：

✅CLIP赢了16个数据集：在OCR（SST2、Hateful Memes）、动作识别（Kinetics700、UCF101）、细粒度汽车分类（Stanford Cars）等任务上大幅领先
✅STL-10数据集达到99.3%准确率：创造了新的SOTA，而且是零样本！
❌CLIP输了11个数据集：在计数（CLEVRCounts）、卫星图像（EuroSAT、RESISC45）、医学图像（PatchCamelyon）、交通标志（GTSRB）等任务上表现较差

有趣的失败案例：CLIP在MNIST手写数字数据集上只有88%的准确率，甚至不如直接在原始像素上训练的逻辑回归（92.5%）。原因很简单：WIT数据集里几乎没有手写数字的图像，CLIP从来没见过这种“奇怪的数字写法”。这说明CLIP的泛化能力不是万能的，它仍然依赖训练数据的分布。

5.3 零样本≈4-shot监督学习

作者还对比了零样本CLIP和在CLIP特征上训练的few-shot线性分类器。结果发现：零样本CLIP的性能相当于4-shot线性分类器，而且接近16-shot的最佳结果。

这意味着：用自然语言告诉模型“这是什么”，比给它看4张标注图像还要有效。人类的语言果然是最高效的知识传递方式！

六、鲁棒性：分布偏移下的王者

传统CV模型有一个致命弱点：对分布偏移极其敏感。比如把ImageNet里的狗换成卡通狗、素描狗，模型的准确率就会暴跌。而CLIP在这方面表现惊人，如图4所示：

图4 零样本CLIP与ResNet101在自然分布偏移下的性能对比（来源：论文Figure 13）

ResNet101在ImageNet上准确率76.2%，但在ImageNet-R（艺术风格的ImageNet）上只有37.7%，暴跌38.5%
零样本CLIP在ImageNet上准确率76.2%，在ImageNet-R上仍然有88.9%，反而提升了12.7%！

原因分析：传统模型学习的是ImageNet里的虚假相关性（比如“狗总是出现在草坪上”），而CLIP学习的是语义概念本身。不管狗是照片、卡通还是素描，只要它符合“狗”这个语义概念，CLIP就能识别出来。

七、局限性与社会影响

7.1 技术局限性

CLIP虽然强大，但也有明显的短板：

抽象任务能力弱：比如计数、空间推理（“球在盒子左边”）
细粒度分类差：区分不同品种的花、飞机型号等
分布外数据泛化差：比如MNIST手写数字、医学图像
需要大量计算：最大的ViT-L/14模型需要256张V100训练12天

7.2 社会影响

CLIP是一把双刃剑：

正面影响：降低了CV的门槛，让普通人不用标注数据就能开发CV应用；推动了通用视觉模型的发展
负面影响：
- 社会偏见：论文里发现CLIP会把黑人图像更容易分类成“罪犯”“小偷”，把女性更容易分类成“保姆”“家庭主妇”
- 滥用风险：可以被用于无监督监控、大规模人脸识别等侵犯隐私的场景

作者在论文里用了整整一章讨论这些问题，呼吁社区关注AI的伦理和安全。

八、核心代码实现

下面是CLIP核心对比损失的Python实现，完全对应论文里的伪代码：

importnumpyasnpdefclip_loss(image_embeddings,text_embeddings,temperature):""" CLIP对称交叉熵损失实现 参数: image_embeddings: 图像嵌入，形状为[N, d]，N是批次大小，d是嵌入维度 text_embeddings: 文本嵌入，形状为[N, d] temperature: 温度参数τ，可学习的标量 返回: loss: 平均损失值 """# 步骤1：对嵌入向量进行L2归一化（这样点积就等于余弦相似度）image_embeddings=image_embeddings/np.linalg.norm(image_embeddings,axis=1,keepdims=True)text_embeddings=text_embeddings/np.linalg.norm(text_embeddings,axis=1,keepdims=True)# 步骤2：计算所有图文对的相似度矩阵，形状为[N, N]logits=np.dot(image_embeddings,text_embeddings.T)*np.exp(temperature)# 步骤3：生成标签，正确的配对是对角线元素（第i张图对应第i段文本）labels=np.arange(logits.shape[0])# 步骤4：计算图像到文本的损失和文本到图像的损失defcross_entropy(logits,labels,axis):# 先计算softmaxexp_logits=np.exp(logits-np.max(logits,axis=axis,keepdims=True))probs=exp_logits/np.sum(exp_logits,axis=axis,keepdims=True)# 再计算交叉熵return-np.mean(np.log(probs[np.arange(len(labels)),labels]))loss_i=cross_entropy(logits,labels,axis=1)# 图找文loss_t=cross_entropy(logits.T,labels,axis=1)# 文找图# 步骤5：返回平均损失return(loss_i+loss_t)/2# 测试代码if__name__=="__main__":N=32# 批次大小d=512# 嵌入维度image_emb=np.random.randn(N,d)text_emb=np.random.randn(N,d)temp=np.log(0.07)# 初始温度0.07，和论文一致loss=clip_loss(image_emb,text_emb,temp)print(f"CLIP损失值:{loss:.4f}")