第16篇：CreamFL《Multimodal Federated Learning via Contrastive Representation Ensemble》多模态联邦学习

第一部分：收录基本信息

- 论文标题：MULTIMODAL FEDERATED LEARNING VIA CONTRASTIVE REPRESENTATION ENSEMBLE（基于对比表征集成的多模态联邦学习）

  - 收录会议：ICLR 2023（国际表征学习会议，顶会）

- 发布版本：arXiv:2302.08888v3 [cs.LG]，2023年5月6日

- 作者及单位：Qiying Yu等，涉及清华大学人工智能研究院、滑铁卢大学、卡内基梅隆大学、上海人工智能实验室

- 核心方向：多模态联邦学习，聚焦异构场景下的模型训练与知识迁移

第二部分：解决的问题

现有针对多模态数据的联邦学习方法均依赖于单模态层面的模型聚合，这就要求服务器与客户端针对每种模态采用相同的模型架构。这不仅在模型复杂度和数据容量上限制了全局模型的性能，更无从谈及任务的多样性。

论文主要解决多模态联邦学习（Multimodal FL）中的异构性与模型漂移问题，具体包括：

（1）客户端模态与模型异构

①不同客户端可能只拥有单一模态（仅图像 / 仅文本），也可能是多模态

②客户端模型结构、参数规模、任务目标 不一致

③