Open-Sora 视频自编码器（Video DC-AE）实战指南：从压缩原理到训练与推理配置全解析

Open-Sora 视频自编码器（Video DC-AE）实战指南：从压缩原理到训练与推理配置全解析

【免费下载链接】Open-SoraOpen-Sora: Democratizing Efficient Video Production for All项目地址: https://gitcode.com/GitHub_Trending/op/Open-Sora

导读

本文围绕 Open-Sora 仓库中的 docs/ae.md 文档展开，系统讲解项目自研的视频自编码器Video DC-AE（基于 DC-AE 架构、面向视频的深度压缩自编码器）的设计动机、训练与推理完整流程，以及训练/推理配置文件的逐项解读。读完本文，你将掌握：Video DC-AE 相比 HunyuanVideo VAE 在时空压缩比上的优势与 token 数量削减原理、如何用 8 卡启动从零训练与带判别器的两阶段训练、如何用官方或自训练权重做视频重建推理，以及 spatial/temporal tiling（分块编码）机制的核心参数与调优方法。

一、Video DC-AE 是什么：压缩比与 token 优势

1.1 设计动机：大幅提升 AE 压缩比

在文生视频 / 图生视频的扩散模型管线中，视频自编码器（AE）负责把高分辨率、长帧数的原始视频压缩为紧凑的隐空间表示（latent），扩散模型在该隐空间上进行去噪，最后由解码器还原为视频。隐空间 token 的多少直接决定了扩散模型训练与推理的开销。

受 SANA（arxiv 2410.10629）启发，Open-Sora 的目标是大幅提升 AE 的压缩比。为此，项目提出了基于 DC-AE（MIT Han Lab 的高效视觉自编码器）架构的视频自编码器，命名为Video DC-AE，其压缩能力为：

• 时间维度 4x 压缩；
• 空间维度 32x32 压缩（即 H 和 W 各 32 倍）。

作为对照，Tencent HunyuanVideo 的 VAE 压缩比为4x8x8（时间 4 倍、空间各 8 倍）。Video DC-AE 在空间压缩比上显著更高，因此在相同 patch size 的前提下，扩散模型侧的 token 长度整体减少16x，从而同时大幅提升训练与推理速度。

说明：token 削减 16x 的推导基于"假设相同 patch sizes"这一前提，原文明确注明了该假设条件。

1.2 模型命名与源码对应

模型名dc-ae-f32t4c128直接编码了核心超参数：f32（空间压缩 32x）、t4（时间压缩 4x）、c128（隐空间通道数 128）。该配置在 opensora/models/dc_ae/models/dc_ae.py 的dc_ae_f32工厂函数中硬编码为结构化配置：

"time_compression_ratio=4 " "spatial_compression_ratio=32 " "encoder.block_type=[ResBlock,ResBlock,ResBlock,EViTS5_GLU,EViTS5_GLU,EViTS5_GLU] " "encoder.width_list=[128,256,512,512,1024,1024] encoder.depth_list=[2,2,2,3,3,3] " "encoder.norm=rms3d encoder.is_video=True " "decoder.width_list=[128,256,512,512,1024,1024] decoder.depth_list=[3,3,3,3,3,3] " "encoder.temporal_downsample=[False,False,False,True,True,False] " "decoder.temporal_upsample=[False,False,False,True,True,False] " "latent_channels=128"

从上述源码结构可以看出：编码器/解码器均为 6 级残差阶段，前 3 级使用ResBlock+ RMS 3D 归一化，后 3 级替换为带GLUMBConv的高效EViTS5_GLU块；时间下采样只发生在第 4、5 两级（对应temporal_downsample=[False,False,False,True,True,False]），配合InterpolateConv上采样实现 4x 时间压缩。值得注意的另一点是：Video DC-AE没有变分（variational）组件，因此训练损失中不包含 KL 项（详见后文损失配置）。

二、数据准备（Data Preparation）

训练与推理共用的数据集准备流程，请参考仓库内的 docs/train.md#prepare-dataset 一节，其中包含完整的 pexels 45k 数据集下载与解压命令、三个 csv 文件（pexels_45k.csv/pexels_45k_necessary.csv/pexels_45k_score.csv）的用途说明，以及用scripts/cnv/meta.py把原始 csv 处理成训练所需格式的方法。

如果使用自定义数据集，只需在训练或推理命令中追加参数：

--dataset.data_path <your_data_path>

自定义数据集 csv 至少需要包含以下列（对应 docs/train.md 中的说明）：

path,text,num_frames,height,width,aspect_ratio,resolution,fps

仓库自带的训练配置 configs/vae/train/video_dc_ae.py 默认使用datasets/pexels_45k_necessary.csv作为数据源，并将fps_max限制为 24。

三、模型训练：两阶段完整流程

3.1 训练规模与总体策略

官方训练设定为：在 8 张 GPU 上从零开始训练约 3 周。整个训练采用两阶段策略：

1. 第一阶段：只用重建损失 + 感知损失训练 Video DC-AE 本体（无判别器）；
2. 第二阶段：模型基本收敛后，引入判别器，从 checkpoint 继续训练，加入生成对抗损失提升重建质量。

3.2 第一阶段：纯重建训练

启动 8 卡训练命令：

torchrun --nproc_per_node 8 scripts/vae/train.py configs/vae/train/video_dc_ae.py

对应的训练入口是 scripts/vae/train.py，它基于 ColossalAI 的Booster构建分布式训练环境。基线训练配置 configs/vae/train/video_dc_ae.py 中值得关注的默认项包括：

3.3 第二阶段：加入判别器继续训练

当模型接近收敛后，使用带判别器的配置 configs/vae/train/video_dc_ae_disc.py，并通过--model.from_pretrained指定第一阶段的 checkpoint 继续训练：

torchrun --nproc_per_node 8 scripts/vae/train.py configs/vae/train/video_dc_ae_disc.py --model.from_pretrained <model_ckpt>

该配置通过_base_ = ["video_dc_ae.py"]继承第一阶段全部配置，并在此基础上叠加判别器相关设置：

discriminator = dict( type="N_Layer_discriminator_3D", from_pretrained=None, input_nc=3, n_layers=5, conv_cls="conv3d" ) disc_lr_scheduler = dict(warmup_steps=0) gen_loss_config = dict( gen_start=0, disc_weight=0.05, ) disc_loss_config = dict( disc_start=0, disc_loss_type="hinge", ) optim_discriminator = dict( cls="HybridAdam", lr=1e-4, eps=1e-8, weight_decay=0.0, adamw_mode=True, betas=(0.9, 0.98), )

其中判别器实现位于 opensora/models/vae/discriminator.py：NLayerDiscriminator3D是一个3D PatchGAN 判别器（pix2pix 风格的 3D 扩展），默认ndf=64、n_layers=5、dropout=0.30，卷积层使用stride=2逐步下采样（第二层起时间维 stride 为 1、空间维为 2），最终输出单通道 logits 图。

训练循环（见 scripts/vae/train.py）中，生成器与判别器交替更新：先生成器前向 +GeneratorLoss反向传播更新生成器，再对真实视频与重建视频分别计算判别器 logits，用DiscriminatorLoss更新判别器，两个优化器与学习率调度器相互独立。

3.4 可选：wandb 在线监控

如果拥有 wandb 账号并希望在线追踪训练进度，追加标志：

--wandb True

对应训练脚本中会以cfg.get("wandb_project", "Open-Sora")初始化项目（基线配置中wandb_project = "dcae"），并周期性同步 loss 曲线与梯度范数等指标。

四、推理：视频重建（Inference）

4.1 权重获取

推理前先按 README.md#model-download 中的模型下载指引获取对应权重；也可以使用自己训练的模型，通过以下标志指定：

--model.from_pretrained <your_model_ckpt_path>

推理脚本 scripts/vae/inference.py 也支持--ckpt_path覆盖model.from_pretrained。推理过程中会对每个样本执行encode → decode，并把原始视频与重建视频分别保存到<save_dir>/orig与<save_dir>/recn子目录（通过save_sample以fps配置的帧率写出），同时累计统计隐特征 z 的逐通道均值与方差并周期性打印。

4.2 使用 Video DC-AE 重建

torchrun --nproc_per_node 1 --standalone scripts/vae/inference.py configs/vae/inference/video_dc_ae.py --save-dir samples/dcae

对应的推理配置 configs/vae/inference/video_dc_ae.py 完整内容如下：

dtype = "bf16" batch_size = 1 seed = 42 dataset = dict( type="video_text", transform_name="resize_crop", fps_max=16, data_path="datasets/pexels_45k_necessary.csv", ) bucket_config = { "512px_ar1:1": {96: (1.0, 1)}, } model = dict( type="dc_ae", model_name="dc-ae-f32t4c128", from_pretrained="./ckpts/F32T4C128_AE.safetensors", from_scratch=True, use_spatial_tiling=True, use_temporal_tiling=True, spatial_tile_size=256, temporal_tile_size=32, tile_overlap_factor=0.25, ) save_dir = "samples/video_dc_ae"

注意：推理配置默认按512px、96 帧的 bucket 采样数据进行重建，这已经超出模型训练时的 256px/32 帧——正是依靠下文的分块（tiling）机制才能无退化地处理更大尺寸的输入。

4.3 使用 HunyuanVideo VAE 重建

Open-Sora 同时把 HunyuanVideo 的 VAE 集成进仓库，可用如下命令推理：

torchrun --nproc_per_node 1 --standalone scripts/vae/inference.py configs/vae/inference/hunyuanvideo_vae.py --save-dir samples/hunyuanvideo_vae

对应配置 configs/vae/inference/hunyuanvideo_vae.py 的关键差异点包括：

model = dict( type="hunyuan_vae", from_pretrained="./ckpts/hunyuan_vae.safetensors", in_channels=3, out_channels=3, layers_per_block=2, latent_channels=16, scale_factor=0.476986, shift_factor=0, use_spatial_tiling=True, use_temporal_tiling=True, time_compression_ratio=4, )

HunyuanVideo VAE 为 16 通道隐空间，并带有scale_factor/shift_factor归一化参数；其推理 bucket 为 512px、97 帧（"512px_ar1:1": {97: (1.0, 1)}）。该模型实现在 opensora/models/hunyuan_vae 目录下。

五、配置文件逐项解读（Config Interpretation）

所有 AE 相关配置统一放在configs/vae/目录下，分为训练配置（configs/vae/train）与推理配置（configs/vae/inference）两类。训练配置遵循与扩散模型相同的配置规则，详见 docs/train.md 中的 Config 一节。

5.1 损失配置（Loss Config）

由于 Video DC-AE 基于 DC-AE 架构、没有变分组件，训练损失仅由**重建损失（reconstruction loss）与感知损失（perceptual loss）**组成。实验表明，感知损失权重取0.5效果较好：

vae_loss_config = dict( perceptual_loss_weight=0.5, # weigh the perceptual loss by 0.5 kl_loss_weight=0, # no KL loss )

对照 opensora/models/vae/losses.py 中VAELoss的实现可以更精确地理解这两个参数：

• 重建损失为像素级 L1 距离：recon_loss = l1(video, recon_video)（输入与重建帧均按(b t) c h w展平后计算）；
• 感知损失由冻结的LPIPS网络计算：perceptual_loss = self.perceptual_loss_fn(video, recon_video)，权重由perceptual_loss_weight控制；
• 二者合并为 NLL 损失：nll_loss = recon_loss + perceptual_loss * perceptual_loss_weight，并经可学习的logvar归一化；
• 由于 DC-AE 非变分模型，posterior为None，KL 项恒为 0，kl_loss_weight=0与之对应。

后续阶段加入判别器后，AE 的训练损失额外包含生成器（generator）损失，且使用了较小的权重 0.05：

gen_loss_config = dict( gen_start=0, # include generator loss from step 0 onwards disc_weight=0.05, # weigh the loss by 0.05 )

GeneratorLoss（见 opensora/models/vae/losses.py）的生成器对抗项为g_loss = -mean(logits_fake)，并通过calculate_adaptive_weight依据生成器最后一层（model.get_last_layer()，即解码器 project_out 的卷积权重）上 NLL 损失与生成器损失的梯度范数比，动态计算自适应权重d_weight = ||nll_grads|| / (||g_grads|| + 1e-4)，再乘以disc_weight与gen_start门控因子。gen_start=0表示从第 0 步起就启用生成器损失。

判别器从零开始训练，其损失为简单的hinge 损失：

disc_loss_config = dict( disc_start=0, # update the discriminator from step 0 onwards disc_loss_type="hinge", # the discriminator loss type )

DiscriminatorLoss实现于 opensora/models/vae/losses.py，支持三种类型：hinge（mean(ReLU(1 - real)) + mean(ReLU(1 + fake))的 hinge 形式）、vanilla（softplus 形式）与wgan-gp（WGAN 形式）；disc_start=0意味着判别器从第 0 步就开始更新。

5.2 数据桶配置（Data Bucket Config）

官方使用32 帧的 256px 视频训练 Video DC-AE：

bucket_config = { "256px_ar1:1": {32: (1.0, 1)}, }

5.3 训练更长帧数或更高分辨率

如果训练更长帧数或更高分辨率，可以在推理时相应增大spatial_tile_size与temporal_tile_size，且不会降低 AE 性能（详见下文 Inference Config）。这带来的好处是推理（例如训练扩散模型时的 AE 前向）速度更快，代价是 AE 训练变慢。

例如把帧数提升到96 帧（4 的倍数即可，但官方一般推荐使用 32 的倍数）：

bucket_config = { "256px_ar1:1": {96: (1.0, 1)}, } grad_checkpoint = True

或训练更高分辨率如512px：

bucket_config = { "512px_ar1:1": {32: (1.0, 1)}, } grad_checkpoint = True

注意：此时必须开启梯度检查点（grad_checkpoint = True）以避免 OOM。scripts/vae/train.py中通过set_grad_checkpoint(model)启用，DC-AE 编码器/解码器各阶段在forward中经auto_grad_checkpoint包装，从而以重计算换取显存。

此外，判别器训练时若开启了grad_checkpoint，需要额外传入--model.disc_off_grad_ckpt True，或在配置中直接设置：

grad_checkpoint = True model = dict( disc_off_grad_ckpt = True, # set to true if your `grad_checkpoint` is True )

这样做的目的是确保自适应损失计算（adaptive loss）在最后一层有梯度——从 opensora/models/dc_ae/models/dc_ae.py 的 Decoder 实现可以看到，disc_off_grad_ckpt会令解码器project_out走普通前向而非梯度检查点包装（x = self.project_out(x)），从而保证get_last_layer()处可获得用于自适应加权的梯度。

5.4 推理配置（Inference Config）

AE 推理中，Open-Sora 把 HunyuanVideo 的tiling（分块）机制复刻到了 Video DC-AE上，可通过以下配置开启：

model = dict( ..., use_spatial_tiling=True, use_temporal_tiling=True, spatial_tile_size=256, temporal_tile_size=32, tile_overlap_factor=0.25, ..., )

默认情况下空间 tiling 与时间 tiling 均开启，以获得最佳性能。由于 Video DC-AE 只在 256px、32 帧的视频上训练过，因此spatial_tile_size应设为256、temporal_tile_size应设为32；如果你用自己的数据、以其他分辨率或时长训练了 Video DC-AE，可以按需调整这两个值。

从源码 opensora/models/dc_ae/models/dc_ae.py 可以验证 tiling 的实现细节：

• DCAEConfig中 tiling 相关默认值正是use_spatial_tiling=False、use_temporal_tiling=False、spatial_tile_size=256、temporal_tile_size=32、tile_overlap_factor=0.25；
• 构造时会校验spatial_tile_size必须能被空间压缩比 32 整除、temporal_tile_size必须能被时间压缩比 4 整除，并据此计算隐空间侧的 tile 尺寸（spatial_tile_latent_size = spatial_tile_size // 32等）；
• 编码/解码入口encode/decode按"时间维度超过temporal_tile_size则走temporal_tiled_encode，否则空间维度超过spatial_tile_size则走spatial_tiled_encode"的优先级选择分块路径；
• 分块时相邻 tile 之间有overlap（步长为tile_size * (1 - tile_overlap_factor)），重叠区域在隐空间侧通过blend_v/blend_h/blend_t做线性渐变融合，避免 tile 边界出现接缝伪影。

由此也印证了 5.3 节"训练更大分辨率/更长帧数后推理时调大 tile size 不降性能"的原理：tiling 让模型始终以训练时见过的 256px×32 帧窗口为单位进行编解码，再拼接融合成完整大视频。

输出样本的保存目录可以用命令行--save_dir <your_dir>指定，也可以在配置中设置，例如：

save_dir = "./samples"

六、结语与后续阅读

Video DC-AE 是 Open-Sora 高效视频生成管线的基础设施之一：通过 4x（时间）×32x32（空间）的高压缩比，把扩散模型的 token 数整体减少 16x，从底层加速训练与推理；配合复刻自 HunyuanVideo 的时空 tiling 机制，使得仅在 256px×32 帧上训练的模型也能无损重建更大、更长的视频。本文所涉及的核心代码与配置均可按以下路径在仓库中进一步研读：

• 模型实现：opensora/models/dc_ae/models/dc_ae.py（DC-AE 编码器/解码器、tiling 与 blend 逻辑）
• 损失实现：opensora/models/vae/losses.py（VAELoss、GeneratorLoss、DiscriminatorLoss）
• 判别器实现：opensora/models/vae/discriminator.py（3D PatchGAN）
• 训练/推理入口：scripts/vae/train.py、scripts/vae/inference.py
• 配置文件：configs/vae/train 与 configs/vae/inference
• 数据准备与通用训练规则：docs/train.md
• 模型下载：README.md

【免费下载链接】Open-SoraOpen-Sora: Democratizing Efficient Video Production for All项目地址: https://gitcode.com/GitHub_Trending/op/Open-Sora