当Yann LeCun还担任Meta首席AI科学家时，他提出了联合嵌入预测架构（JEPA），这一架构本质上是教导AI推断缺失数据的含义，而非数据本身。
换句话说，当处理数据空白时，模型学习预测缺失部分所代表的含义，而不是试图猜测和重建其精确数值。
以图像为例，当某些部分被遮蔽而其他部分可见时，JEPA会将可见和被遮蔽的区域嵌入到共享空间中（因此称为联合嵌入），让模型从可见的上下文推断被遮蔽区域的表示，而不是推测被隐藏的确切内容。
Meta在2023年发布名为I-JEPA的模型时这样解释道：
自从LeCun的原始JEPA研究发表以来，这一架构已成为探索"世界模型"领域的基础，这与大语言模型和GPT系统的Token预测重点有所不同。
事实上，LeCun最近甚至离开了Meta，创办了一家完全专注于世界模型的公司，他认为这才是通向AGI的真正道路。
回到当前研究。几个月前发表的论文《JETS：用于医疗保健行为数据的自监督联合嵌入时间序列基础模型》最近被NeurIPS的一个研讨会接受。
该研究将JEPA的联合嵌入方法适应于不规则多变量时间序列，比如长期可穿戴设备数据，其中心率、睡眠、活动和其他测量数据在时间上出现不一致或存在大量空白。
研究显示：
有趣的是，只有15%的参与者拥有标记的医疗历史用于评估，这意味着在传统监督学习方法中，85%的数据将无法使用。相反，JETS首先通过自监督预训练从完整数据集中学习，然后在标记子集上进行微调。
为了使整个系统运作，他们将数据制作成对应于日期、数值和指标类型的三元组。
这使他们能够将每个观测值转换为Token，然后经过掩码处理、编码，并通过预测器（用于预测缺失补丁的嵌入）。
完成这些后，研究人员将JETS与其他基线模型（包括基于Transformer架构的JETS早期版本）进行比较，并使用AUROC和AUPRC这两个AI区分阳性和阴性病例能力的标准度量进行评估。
JETS在高血压方面达到了86.8%的AUROC，房扑为70.5%，慢性疲劳综合征为81%，病窦综合征为86.8%等。当然，它并非总是获胜，但优势相当明显，如下所示：
值得强调的是，AUROC和AUPRC严格来说不是准确率指标。它们是显示模型对可能病例进行排序或优先级分配能力的指标，而不是预测正确的频率。
总的来说，这项研究提出了一种有趣的方法，最大化那些可能被认为不完整或不规律数据的洞察和救生潜力。在某些情况下，健康指标仅在0.4%的时间内被记录，而其他指标在99%的每日读数中出现。
这项研究还强化了这样一个观念：在探索Apple Watch等普通可穿戴设备已经收集的数据方面，新型模型和训练技术具有很大前景，即使它们并非100%的时间都在佩戴。
Q&A
Q1：JETS模型是什么？它有什么特殊功能？
A：JETS是一种自监督联合嵌入时间序列基础模型，专门用于处理医疗保健行为数据。它的特殊功能是能够处理不规则、不完整的可穿戴设备数据，通过预测缺失数据的含义而非精确数值来进行疾病检测。
Q2：JETS在疾病检测方面表现如何？
A：JETS在多种疾病检测方面表现优异，高血压检测的AUROC达到86.8%，房扑为70.5%，慢性疲劳综合征为81%，病窦综合征为86.8%。这些指标显示了模型在区分阳性和阴性病例方面的强大能力。
Q3：为什么JETS能够处理不完整的数据？
A：JETS基于JEPA架构，采用联合嵌入预测方法，学习推断缺失数据的含义而非重建精确数值。即使只有15%的参与者有标记医疗历史，模型也能通过自监督预训练利用85%的未标记数据，然后在标记数据上微调。
