摘要：通用型机器人策略如今已能执行多种操作技能，但评估并提升其处理陌生物体和指令的能力仍面临重大挑战。严格的性能评估需要进行大量真实场景测试，而系统性优化则需依赖带有专家标注的修正数据——这两个过程均耗时漫长、成本高昂且难以规模化实施。世界模型为此提供了具有前景且可扩展的解决方案，它能够使策略在想象空间内运行。然而，关键难点在于构建一个能有效处理与通用型机器人策略进行多步骤交互的可控世界模型。这要求该模型需支持多视角预测、精细动作控制以及一致性的长时程交互能力，而这正是现有研究尚未实现的目标。本文通过引入一种可控的多视角世界模型，在评估和提升通用型机器人策略的指令执行能力方面取得重要进展。我们的模型采用姿态条件记忆检索机制确保长时程一致性，并通过帧级动作调控实现精准的动作控制。基于droid数据集（包含95,000条轨迹和564个场景）训练后，该模型能在新型场景及不同摄像头位置下持续生成时空一致的运动轨迹，持续时间超过20秒。我们证明，我们的方法无需实际部署机器人即可准确评估策略性能。此外，通过在模型中合成成功的运动轨迹并将其用于监督微调，该方法可使策略成功率提升44.7%。
结论：我们推出了Ctrl-World——一款专为机器人操作设计的可控世界模型，该模型完全支持在模型内部进行闭环策略评估与优化。在Ctrl-World中测试的策略展现出与现实世界高度一致的指令执行行为：经过生成数据训练后，预训练机器人策略对新指令的成功率从38.7%提升至83.4%。尽管成果令人鼓舞，但仍存在重要挑战：我们的模型在涉及精确交互或长时程推理的任务中易出现失败，且性能对初始观测数据敏感；随着视频数据骨架模型的物理精度和连贯性不断提升（Ball 等，2025； Agarwal 等，2025），这些局限性有望逐步缓解。此外，本实验主要聚焦于提升指令执行能力，我们认为当前模型精度尚不足以显著改善其他方面表现（如对已见过指令的低级成功率）。通过迭代策略部署与微调来改进模型，是极具前景的研究方向。展望未来，我们相信生成式世界模型将彻底改变机器人技能习得方式，不仅实现可扩展的策略评估，还能使机器人既能从真实环境经验中学习，也能高效安全地从生成数据中获取知识。
