陈庆超团队取得迁移学习理论方法研究进展-北京大学健康医疗大数据国家研究院

陈庆超团队取得迁移学习理论方法研究进展

时间：2025-12-25 10:41:58来源：点击数：

2025年，北京大学健康医疗大数据国家研究院陈庆超助理教授团队于人工智能权威期刊，IEEE Transactions on Pattern Analysis and Machine Intelligence（TPAMI, 中国科学院一区，IF:18.6）发表了三篇关于提升人工智能模型适应性与泛化性的方法学论文，分别从（1）特征证据、（2）预训练数据、（3）网络架构的角度，系统揭示了智能模型在跨域迁移中的理论机制，延续并拓展了主导15年的二元迁移学习理论，提出了原创的三元迁移学习理论。该系列研究将为智能医学图像分析模型的跨设备跨中心迁移部署、智能医学系统的部署与落地提供理论与技术支撑。

论文1：Evidential Multi-Source-Free Unsupervised Domain Adaptation

在特征证据层面，提出原创的证据计算理论与方法，为可信决策提供理论与方法工具。在多源自适应与迁移学习任务中，核心挑战在于如何有效聚合多个源模型的知识并将其适配至目标域。现有方法通常面临两个挑战：一是对多源模型的聚合停留在粗粒度的域级别，导致结果欠优；二是基于局部结构的语义传播过程存在风险，可能引入噪声。为此，我们提出一种基于证据学习的创新方法，该方法通过形式化两种不确定性度量：证据预测不确定性与证据邻域不确定性，分别应对上述挑战。两个模块被集成于统一的证据聚合与自适应框架中。实验证明，该框架在三个公认的多源无源域自适应基准测试中，均取得了当前最优的性能表现。该研究将为无监督域自适应迁移学习方法在真实开放场景中的稳健应用提供理论方法支撑。

论文2：Incorporating Pre-Training Data Matters in Unsupervised Domain Adaptation

在预训练数据层面，使用预训练模型权重进行初始化已成为处理各类下游任务的实际标准，然而，预训练对自适应过程本身的影响却长期被忽视。该研究延续并拓展了主导15年的二元迁移学习理论，提出了原创的三元迁移学习理论，构建并揭示了“预训练域-源域-目标域”的内在统计关联，提出适配方法并划定了该范式下更小的泛化误差界，从一个全新的视角深入探讨了迁移学习与模型自适应问题。据此提出了TriDA 的新型框架，该框架通过将预训练数据引入自适应过程，有效维护了预训练知识，并提升了误差上界，同时适用于常规无监督域自适应与无源域自适应两种场景。为提升效率，我们还为预训练数据设计了精选策略，并在自适应过程中无法获取原始预训练数据时，提供了使用合成图像的解决方案。在多个基准测试中TriDA均取得了领先的性能。该研究不仅为迁移学习与自适应学习提供了新的理论基础工具，也进一步推动了预训练模型在开放场景中的可靠应用。

论文3：Selection, Ensemble, and Adaptation: Advancing Multi-Source-Free Domain Adaptation via Architecture Zoo

在网络架构层面，研究团队提出了一种Zoo-MSFDA的新问题设置，突破传统多源域自适应方法对模型架构一致性的限制，允许融合多源异构模型，丰富了可迁移的知识来源。同时，该研究从理论层面分析了网络结构与“次优模型主导”风险的关系，确立了模型自适应选择的两个原则：可迁移性原则与多样性原则。为提升异构模型融合的泛化性，该研究提出了一种无需目标标签和源数据的可迁移性估计方法，并构建了“选择-集成-适应”的一体化框架，涵盖模型筛选、融合与适配的全流程。实验表明，该研究提出的方法框架显著提升了图像分类任务的跨域适应性能，在可迁移性评估方面也达到了当前最优水平。

（文章期刊截图）