文章目录
- KTO方法的理论基础
- 损失函数设计原理
- 数据效率优势
- 实现关键步骤
KTO方法的理论基础
KTO（Kahneman-Tversky Optimization）的核心思想源于行为经济学的前景理论。该理论指出人类决策时对收益和损失存在非对称心理反应，表现为损失厌恶（loss aversion）效应。传统RLHF依赖二元偏好对数据，而KTO通过量化这种心理差异，实现单样本绝对标注下的有效优化。
损失函数设计原理
KTO的损失函数包含两个关键组成部分：
- 收益项：处理被标注为"好"的样本时，采用凸函数形式增强模型输出与标注的一致性
- 损失项：处理"坏"样本时使用更陡峭的惩罚曲线，反映人类对负面结果的强烈规避倾向
数学表达为：
L K T O = E [ w ( y ) ( 1 − σ ( β Δ ( y ) ) ) ] \mathcal{L}_{KTO} = \mathbb{E}[w(y)(1-\sigma(\beta \Delta(y)))]LKTO=E[w(y)(1−σ(βΔ(y)))]
其中Δ ( y ) \Delta(y)Δ(y)表示样本评分与参考值的偏差，w ( y ) w(y)w(y)是方向敏感权重函数。
数据效率优势
相比传统偏好学习方法，KTO具有显著优势：
- 无需构建偏好对y w > y l y_w > y_lyw>yl，直接利用原始单样本标注
- 支持从部分标注、噪声标注等弱监督数据中学习
- 对标注一致性的要求降低30-50%，实践中标注成本可减少40%以上
实现关键步骤
模型训练时需注意：
- 参考值设定建议采用模型当前输出的移动平均
- 温度系数β \betaβ需通过验证集调整，典型值区间为0.1-0.3
- 损失项权重通常设为收益项的2-3倍以匹配损失厌恶系数
实验数据显示，在相同标注预算下，KTO相比DPO等方法的胜率提升达15-20%，且在长文本生成等复杂任务中优势更为明显。
https://github.com/ContextualAI/HALOs
classDummyKTOTrainer(UnpairedPreferenceTrainer):"""A fake version of KTO (not the actual one!) meant to introduce you to the HALOs repo."""defloss(self,policy_chosen_logps:torch.FloatTensor,policy_rejected_logps:torch.FloatTensor,reference_chosen_logps:torch.FloatTensor,reference_rejected_logps:torch.FloatTensor)->Tuple[torch.FloatTensor,torch.FloatTensor,torch.FloatTensor]:chosen_KL=(policy_chosen_logps-reference_chosen_logps).mean().clamp(min=0)rejected_KL=(policy_rejected_logps-reference_rejected_logps).mean().clamp(min=0)chosen_logratios=(policy_chosen_logps-reference_chosen_logps)rejected_logratios=(policy_rejected_logps-reference_rejected_logps)losses=torch.cat((1-F.sigmoid(self.config.loss.beta*(chosen_logratios-chosen_KL)),1-F.sigmoid(self.config.loss.beta*(rejected_KL-rejected_logratios))),0)chosen_rewards=self.config.loss.beta*(policy_chosen_logps-reference_chosen_logps).detach()rejected_rewards=self.config.loss.beta*(policy_rejected_logps-reference_rejected_logps).detach()returnlosses,chosen_rewards,rejected_rewards
)
