2025年5月13日，欧宝app官方网站下载生命健康智能感知团队在人工智能领域国际权威期刊《Information Fusion》（IF 14.8，中科院一区Top期刊）上在线发表题为“BioCross: A cross-modal framework for unified representation of multi-modal biosignals with heterogeneous metadata fusion”的研究论文，该研究提出了多模态生理信号模型(BioCross)，将个人的基本信息（年龄、性别、昼夜节律等）与心电信号、脉搏波信号、动脉血压信号等多生理信号融合，为准确评估高低血压、室性心动过速、心力衰竭等心血管疾病带来重要价值。该论文通讯作者为刘成良教授和金衍瑞助理教授，第一作者为博士研究生王梦潇。本研究是生命健康智能感知团队继在CELL子刊《Cell Reports Medicine》和Nature子刊《Communications Medicine》上发表后的又一重要研究成果。

        论文链接：https://doi.org/10.1016/j.inffus.2025.103302

1  内容摘要

人体的生理状态通过各种生理反应表现出来，其中最典型的反应之一是心血管疾病，对人类生命构成重大威胁。根据世界卫生组织（WHO）的数据，心血管疾病约占全球死亡总数的32%。这些疾病具有多因素特性，需要综合考虑多种生理和环境变量。例如，心力衰竭是一种以急性加重为特征的慢性疾病，需要对多个生理参数进行持续监测；室性心动过速也与临床上的低血压状况相关。对多模态生理信号的持续监测有助于及早发现病情恶化的迹象，并促进及时干预。为此，生命健康智能感知团队开发了国际首款动态心电血压二合一系统，连续监测个人的心电和血压信号，尤其适合高风险患者（如高血压、心力衰竭患者）。能够捕捉到短暂但危险的异常事件，为及时干预提供依据。

图 1   基于动态心电血压二合一仪的心脏病智能分析系统

 相比于单一模态，多模态生理信号能够更全面地反映心脏疾病的生理状态。然而，在多传感器健康数据融合过程中，仍面临着缺乏统一的多模态表示、异构数据融合以及对缺失模态的适应性等挑战。为了解决上述问题，我们提出了一种针对生理信号的自监督跨模态表示学习模型，涵盖心电图（ECG）、光电容积脉搏波（PPG）以及动脉血压（ABP）等信号。首先，我们设计了一种掩码融合策略，将其融入变分自编码器架构，以在高斯潜空间中对不同模态进行对齐，从而有效表征多传感器生理数据。其次，我们引入基于频域的注意力机制，用于融合生理信号与元数据信息，包括昼夜节律、年龄和性别等。第三，我们采用专家乘积技术，以实现可组合的模态输入，从而应对模态缺失的问题。

图 2   模型架构及应用流程

 模型在模态对齐中习得的跨模态表示能力，可用于模态生成、表型分析以及下游不良事件诊断等任务，并在最新的大规模MIMIC-IV数据集上进行了实验。结果显示，所提出模型在模态生成方面相比基线方法提升了7.7%；在表型分析中，对收缩压和舒张压的相关性估计均达到约0.9，如图 3所示。在下游诊断任务中，所提出模型不仅可以改善只有心电图情况下的单模态预测性能，还能最大程度融合多模态信息，在高血压性心衰和室性心动过速等疾病上均优于现有的表示学习基准模型，能够更好地捕捉复杂的生理状态，如表 1所示。总体而言，本研究所提出的方法能够深度融合多模态信息，改善单一模态的诊断不足，在居家监测与院内的动态监护中均具有重要的应用前景。

图 3   跨模态生成及表型分析结果

 表 1 BioCross模型在多模态联合诊断上的表现

      第一作者     王梦潇

      欧宝app官方网站下载机械与动力工程学院2022级博士研究生，入选博士生“致远荣誉计划”,获欧宝app官方网站下载SMC高田奖学金等荣誉。主要研究领域为医疗人工智能、生理信号处理及多模态表示等,参与国家重点研发计划、上海市人工智能重大专项等各类科研课题多项。所开发的深度学习算法应用于多导联心电信号诊断系统。