news 2026/5/1 10:30:21

全期望公式在DDIM中的应用实例

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
全期望公式在DDIM中的应用实例

全期望公式将问题分解为条件情形简化计算,在分层随机性、重复试验问题中非常有效。

其核心思想是先计算条件期望作为随机变量Y的函数,再对Y 取期望。

这里先探索全期望公式的应用示例,然后进一步探索其在DDIM推导中的所起的作用。

所用示例参考和修改自网络资料。

1 全期望公式

全期望公式(也称“塔定律”)是概率论中的重要定理,表述为:

对于随机变量X和Y,

其中,外层期望是对随机变量Y的分布取的,的期望等于其条件期望的期望。

在给定另一个随机变量的条件下,公式变为:

这里,内层期望是对X给定Y和Z下的条件期望,外层期望是对Y给定Z下的分布取的。

1.1 离散随机变量示例

设Y为离散随机变量:

在给定Y下,X的条件分布为:

- 若Y=1,X可能取 1 或 2,即P(X=1|Y=1)=0.5, P(X=2|Y=1)=0.5;

- 若Y=2,X可能取 2 或 3,即P(X=2|Y=2)=0.5, P(X=3|Y=2)=0.5。

求E[X]。

1)直接法

先求X的边缘分布,具体为

因为X可能取1、2或3。

X=1,P(X=1|Y=1)=P(X=1, Y=1)/P(Y=1), P(Y=1) = 0.6, P(X=1|Y=1)=0.5,因此 P(X=1, Y=1) = 0.3

又因为X=1时,Y只能取1,所以P(X=1, Y=2) = 0

所以,P(X=1) = P(X=1, Y=1) + P(X=1, Y=2) = P(X=1, Y=1) = 0.3

X=2,P(X=2|Y=1) = P(X=2, Y=1)/P(Y=1), 故P(X=2, Y=1) = P(X=2|Y=1) P(Y=1) = 0.5 * 0.6 = 0.3

P(X=2|Y=2) = P(X=2, Y=2)/P(Y=2), 故P(X=2, Y=2) = P(X=2|Y=2) /P(Y=2) = 0.5 * 0.4 = 0.2

故P(X=2) = P(X=2, Y=1) + P(X=2, Y=2) = 0.5

X=3, P(X=3|Y=2)=P(X=3, Y=2)/P(Y=2),故P(X=3, Y=2) = P(X=3|Y=2) P(Y=2) = 0.5 * 0.4 = 0.2

所以 E(X) = 1 * P(X=1) + 2 * P(X=2) + 3 * P(X=3) = 1 * 0.3 + 2 * 0.5 + 3 * 0.2 = 1.9

得E[X] = 1.9。

2)全期望公式:

计算条件期望:

E[X|Y=1] = 1 * P(X=1|Y=2) + 2 * P(X=2|Y=1) + 3 * P(X=3|Y=1) = 0.5 + 2 * 0.5 + 0 = 1.5

E[X|Y=2] = 1 * P(X=1|Y=2) + 2 * P(X=2|Y=2) + 3 * P(X=3|Y=2) = 0 + 2 * 0.5 + 3 * 0.5 = 2.5

对Y取期望:

E(X) = E(X|Y=1) * P(Y=1) + E(X|Y=2) * P(Y=2) = 1.5 * 0.6 + 2.5 * 0.4 = 1.9

1.2 连续随机变量示例

,且给定时,


由全期望公式:

因为

1.3 经典问题示例

这里采用矿工逃生问题示例。

矿工有三个门可选(等概率):
- 门1:3小时到达地面;
- 门2:5小时返回原点;
- 门3:7小时返回原点。
每次选择独立,求逃出时间的期望

设Y为第一次选择的门:

-

-(返回后重试)

-(返回后重试)

由全期望公式:

解得:

整理得(小时)。

1.4 条件期望作为随机变量


设Y为掷骰子的点数(1到6等概率),定义X为在给定Y下从二项分布中生成的数:若Y=y,则,求

已知二项分布的期望为,故

又因为

由全期望公式可得如下结论。

2 DDIM推导中具体应用

全期望公式在DDIM中,主要用来由定义的边缘分布与DDPM一致。

2.1 变量对应关系说明


-
-
-

应用全期望公式:

具体含义说明如下

给定的期望,等于:
1. 先固定,求的条件期望(这是的函数)
2. 再对这个函数关于在给定下的分布求期望

2.2 具体计算步骤

已知条件分布:

其中:

第一步:内层条件期望

第二步:外层期望

需要计算

已知的分布:

因此:

计算外层期望:

2.3 计算结论解释

应用DDIM后,依然得到:

这正是DDPM中的期望。

这说明无论取何值,只要条件分布按上述形式定义,边缘分布的均值就与DDPM一致。

这个等式允许间接计算边缘分布的矩,而无需显式地写出边缘分布的密度函数。

通过将的生成过程分解为两步(先由生成,再由生成)。

可以利用已知的简单分布()和设计的条件分布来计算复杂的边缘分布特性。

类似地,对于方差

使用全方差公式(Law of Total Variance):

- 第一项:条件方差的期望 =

- 第二项:条件期望的方差 =

相加得:,也与DDPM一致。

2.4 全期望公式作用总结

全期望公式在DDIM推导中起到了关键作用。

1)连接了条件分布和边缘分布,通过中间变量架起了桥梁

2)简化了计算,避免了对联合分布直接积分求边缘分布的复杂计算

3)验证了构造的正确性,证明了无论如何选择,只要条件分布按特定形式定义,边缘分布就能保持与DDPM一致

这正是DDIM能够设计非马尔可夫前向过程而保持训练目标不变的理论基础。

reference

---

SD稳定扩散模型理论基础的探索

https://blog.csdn.net/liliang199/article/details/156280004

DDIM扩散模型改进采样策略的推理探索

https://blog.csdn.net/liliang199/article/details/156433365

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/5/1 4:45:52

HunyuanOCR对内存带宽敏感吗?显存占用实测数据

HunyuanOCR对内存带宽敏感吗?显存占用实测数据 在当前AI多模态系统快速演进的背景下,OCR技术早已不再是简单的“图像转文字”工具。面对日益复杂的文档理解、跨语言翻译和结构化信息提取需求,传统级联式OCR方案逐渐暴露出推理延迟高、部署繁琐…

作者头像 李华
网站建设 2026/4/28 4:42:40

Arduino IDE离线安装包下载方法详解(含资源链接)

如何优雅地离线安装 Arduino IDE?一文搞定下载、部署与实战技巧 你有没有遇到过这样的场景:在教室里准备给 50 台电脑装 Arduino IDE,结果每台机子都卡在“正在下载 AVR 工具链”;或者你在工厂车间调试设备,手头只有工…

作者头像 李华
网站建设 2026/5/1 7:31:33

24l01话筒多点对一点传输实现:完整示例

用 nRF24L01 打造多点无线麦克风系统:从采样到汇聚的完整实践你有没有遇到过这样的场景?会议室里需要多个角落同时拾音,但布线复杂、成本高;工厂车间要实时监听不同区域的语音报警,却受限于设备移动性;或是…

作者头像 李华
网站建设 2026/5/1 7:28:47

通过树莓派4b引脚功能图实现远程设备启停:操作指南

用树莓派4B实现远程设备启停:从引脚图到实战控制 你有没有想过,只用一个几十块钱的树莓派,就能在办公室一键打开家里的电风扇?或者在出差途中远程关闭忘记关掉的热水器?这并不是科幻电影的情节——借助 树莓派4B的GP…

作者头像 李华
网站建设 2026/4/21 7:35:15

快速理解usb_burning_tool刷机工具如何进入烧录态

一文搞懂如何让设备成功进入 usb_burning_tool 烧录模式你有没有遇到过这样的情况:电脑已经装好了usb_burning_tool,固件也准备齐全,配置文件也没错——可工具就是“看不见”你的设备?反复插拔 USB、换线、重试十几遍,…

作者头像 李华
网站建设 2026/5/1 8:42:21

应用——C语言基础知识1

一、基本概念 1. C语言开发环境是什么?什么平台,什么编辑器,什么编译器? 回答: 平台:主要使用Linux/UNIX系统,Windows和嵌入式系统也常用 编辑器:常用Vim、VS Code、Sublime Text…

作者头像 李华