news 2026/6/26 6:10:12

软标签蒸馏中KL散度和CE的解释

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
软标签蒸馏中KL散度和CE的解释

真实分布 P (先以硬标签为例)

有一个样本 x(比如一张猫狗图片)

它的真实标签是:

经过独热编码后:

猫 = [1, 0, 0]
狗 = [0, 1, 0]
鸟 = [0, 0, 1]

预测分布 Q—— 模型(神经网络)输出的 softmax

[0.7, 0.2, 0.1]

CE函数公式:

代入:

KL散度公式:

  • KL = 0 → 两分布完全相同

  • KL > 0 → 预测分布偏离真实分布

  • KL 衡量:"用 Q 代替 P 会损失多少信息"

如果教师模型不采用硬标签,采用软标签:比如[0.8,0.1,0.1]

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/26 6:10:03

巴西开闸,iOS 支付规则进入碎片化时代

如果你做的是 iOS 出海,最近最值得盯的不是某个新 API,而是 App Store 的商业规则正在按国家拆开。截至 2026 年 6 月 21 日,Apple 已在开发者支持页说明:作为与巴西竞争监管机构 CADE 协议的一部分,iOS 26.5 起&#…

作者头像 李华
网站建设 2026/6/26 6:09:18

正定函数视角:C*-单群如何约束冯·诺依曼代数结构

1. 项目概述:当算子代数遇上群论最近在整理一些算子代数与群论交叉领域的老笔记,翻到一个挺有意思的话题,就是如何从“正定函数”这个工具切入,去理解冯诺依曼代数在特定群作用下的结构限制性,以及它与“C*-单群”这个…

作者头像 李华
网站建设 2026/6/26 6:08:02

后端接口开发横向实测:大模型生成接口文档与单元测试的效能对比

做后端开发的朋友应该都有过这种体验:花半小时写完核心接口逻辑,转头要补规范的接口文档、写全覆盖的单元测试,硬生生耗掉两三个小时。文档要对齐团队格式、单测要覆盖边界异常,全是耗时间却又不能省的体力活。之前我试过单独用不…

作者头像 李华
网站建设 2026/6/26 6:07:39

计算机毕业设计之jsp基于ssm的医疗设备运维管理系统

随着新经济的需求和新技术的发展,特别是网络技术的发展,如果可以建立起医疗设备运维管理系统,可以改变传统线下管理方式,在过去的时代里都使用传统的方式实行,既花费了时间,又浪费了精力。在信息如此发达的…

作者头像 李华
网站建设 2026/6/26 6:04:55

洗后干燥怎么护理

洗澡后身体发干,不一定是身体乳用得不够多。很多时候,问题从清洁阶段就开始了:热水、反复搓洗、偏强的清洁感叠加在一起,洗完很干净,却也容易出现紧绷、发涩、局部粗糙更明显的观感。想让洗后肤感更舒服,思…

作者头像 李华