多模态学习 | ViLab

Salient Diagnostic Value Perception For Preoperative Posterior Fossa Tumor Diagnosis

Sun, 03 May 2026 00:00:00 +0000

本文提出显著诊断价值感知方法（SDVP），用于后颅窝肿瘤的术前准确诊断。该方法整合MRI影像与放射学报告，从三个互补视角学习关键诊断线索：通过对抗性样本内对比学习增强跨中心与设备差异的鲁棒性；借助知识增强的样本内对比学习提取专家引导的样本特异性特征；并在干净MRI样本上进行监督式类间对比学习以强化类别特征。

祝贺实验室 2 项科研成果发表在ICASSP 2026！

Sun, 03 May 2026 00:00:00 +0000

热烈祝贺陈政同学、吴小满同学！近期，实验室共有 2 项科研成果正式发表。

Salient Diagnostic Value Perception For Preoperative Posterior Fossa Tumor Diagnosis

祝贺陈政同学！该论文已发表在 ICASSP 2026。

作者： Zheng Chen、Peng Li、Zheyu Zhang、Siying Wu、Jing Zhang、Cuiling Hu、Yunwei Ou、Xiaoyan Sun
发表载体： ICASSP
发表时间： 2026年5月3日
相关链接： 论文链接

论文介绍

SSCM: A Spatial-Semantic Consistent Model for Multi-Contrast MRI Super-Resolution

祝贺吴小满同学！该论文已发表在 ICASSP 2026。

作者： Xiaoman Wu、Lubin Gan、Siying Wu、Jing Zhang、Yunwei Ou、Xiaoyan Sun
发表载体： ICASSP
发表时间： 2026年5月3日
相关链接： 论文链接 · PDF

论文介绍

本文提出空间语义一致模型（SSCM），用于多对比度磁共振成像超分辨率。该方法通过动态空间扭曲模块实现对比度间空间对齐，利用语义感知令牌聚合块建模长程依赖，并结合空间-频率融合块恢复高频细节，从而在结构差异和运动干扰下保持解剖结构的空间语义一致性。实验表明SSCM在效率和性能上优于现有方法。

Enhancing zero-shot brain tumor subtype classification via fine-grained patch-text alignment

Mon, 27 Oct 2025 00:00:00 +0000

本文提出细粒度补丁对齐网络（FG-PAN），用于脑肿瘤亚型的零样本分类。该方法包含局部特征细化模块，通过建模代表性补丁间的空间关系增强视觉特征；以及细粒度文本描述生成模块，利用大语言模型生成病理感知的类别语义原型。通过对齐细粒度视觉与语义特征，并引入坐标感知聚合机制，FG-PAN在整张病理切片级别实现了更准确的亚型判别，缓解了标注数据稀缺和形态差异细微带来的挑战。

MeDKCoOp: Dual Knowledge-guided Graph Prompt Learning for Biomedical Vision-Language Models

Mon, 27 Oct 2025 00:00:00 +0000

本文提出MeDKCoOp，一种面向生物医学视觉语言模型的双知识引导图提示学习方法。该方法系统整合医学领域知识，从文本与视觉分支提取专门知识并构建图结构表示，通过知识引导的关系转移实现跨模态融合，并动态优化可学习提示，以增强CLIP等模型在医学下游任务中的适应能力。实验表明其在多个生物医学基准上取得优异性能。

祝贺实验室科研成果发表于 Expert Systems with Applications 130161！

Mon, 27 Oct 2025 00:00:00 +0000

热烈祝贺甘鲁斌同学！论文《Enhancing zero-shot brain tumor subtype classification via fine-grained patch-text alignment》已发表在 Expert Systems with Applications 130161。

Enhancing zero-shot brain tumor subtype classification via fine-grained patch-text alignment

祝贺甘鲁斌同学！该论文已发表在 Expert Systems with Applications 130161。

作者： Lubin Gan、Jing Zhang、Linhao Qu、Yijun Wang、Siying Wu、Xiaoyan Sun
发表载体： Expert Systems with Applications 130161
发表时间： 2025年10月27日
相关链接： 论文链接 · PDF

论文介绍

Enhancing Visual Question Answering Via Clustered In-Context Sequence Configuration

Sun, 14 Sep 2025 00:00:00 +0000

本文针对多模态大语言模型在多模态上下文学习中的演示序列配置问题，提出一种基于聚类的上下文配置方法。该方法自适应地对候选数据进行分组，并从每个簇中选取演示样本，以增强序列内多样性并保持语义一致性，从而减少高相似演示带来的归纳偏置，使模型更关注演示的主要意图。在OK-VQA、VQAv2、VizWiz和TextVQA四个视觉问答基准上的实验验证了其有效性。

祝贺实验室科研成果发表于 ICIP 2025！

Sun, 14 Sep 2025 00:00:00 +0000

热烈祝贺贺子龙同学！论文《Enhancing Visual Question Answering Via Clustered In-Context Sequence Configuration》已发表在 ICIP。

Enhancing Visual Question Answering Via Clustered In-Context Sequence Configuration

祝贺贺子龙同学！该论文已发表在 ICIP。

作者： Zilong He、Yijun Pan、Hebei Li、Feipeng Ma、Yansong Peng、Siying Wu、Xiaoyan Sun
发表载体： ICIP
发表时间： 2025年9月14日
相关链接： 论文链接 · PDF

论文介绍

MMSupcon: An image fusion-based multi-modal supervised contrastive method for brain tumor diagnosis

Thu, 28 Aug 2025 00:00:00 +0000

本文针对脑肿瘤多模态MRI诊断中融合策略受限于样本稀缺的问题，提出多模态监督对比学习方法MMSupcon。该方法通过多模态医学图像融合生成信息丰富的样本，并设计多模态监督对比损失，引导模型有效整合互补模态信息，提升诊断准确性。

祝贺实验室科研成果发表于 Artificial Intelligence in Medicine！

Thu, 28 Aug 2025 00:00:00 +0000

热烈祝贺王浩宇同学！论文《MMSupcon: An image fusion-based multi-modal supervised contrastive method for brain tumor diagnosis》已发表在 Artificial Intelligence in Medicine。

祝贺王浩宇同学！该论文已发表在 Artificial Intelligence in Medicine。

作者： Haoyu Wang、Jing Zhang、Siying Wu、Haoran Wei、Xun Chen、Yunwei Ou、Xiaoyan Sun
发表载体： Artificial Intelligence in Medicine
发表时间： 2025年8月28日
相关链接： 论文链接

论文介绍

Incomplete multi-modal brain tumor segmentation via learnable sorting state space model

Tue, 10 Jun 2025 00:00:00 +0000

本文提出一种可学习排序状态空间模型（LS3M），用于不完整多模态脑肿瘤分割。该方法基于Mamba架构高效建模长距离依赖，并引入可微置换矩阵，根据模态特定特征对输入序列进行动态重排序，从而保留3D脑MRI中关键的空间归纳偏置与长程语义相关性。LS3M能够充分利用可用模态信息，提升分割性能。

祝贺实验室科研成果发表于 CVPR 2025！

Tue, 10 Jun 2025 00:00:00 +0000

热烈祝贺张哲宇同学！论文《Incomplete multi-modal brain tumor segmentation via learnable sorting state space model》已发表在 CVPR。

祝贺张哲宇同学！该论文已发表在 CVPR。

作者： Zheyu Zhang、Yayuan Lu、Feipeng Ma、Yueyi Zhang、Huanjing Yue、Xiaoyan Sun
发表载体： CVPR
发表时间： 2025年6月10日
相关链接： 论文链接 · PDF

论文介绍

Multi-modal diffusion network with controllable variability for medical image segmentation

Tue, 03 Dec 2024 00:00:00 +0000

本文提出一种具有可控变异性的多模态扩散分割网络（MMDSN），用于医学图像分割。该方法通过医学文本注释实现多模态条件控制，增强视觉语义表示的一致性，并建立视觉与语言之间的对应关系。同时，MMDSN 在潜在高斯空间中对多个时间步的不确定性分布进行约束，从而控制每个去噪时间步的变异性，减少扩散模型随机采样带来的分割偏差。在 Qata-Covid19 等数据集上的实验验证了其有效性。

Asymmetric event-guided video super-resolution

Mon, 28 Oct 2024 00:00:00 +0000

本文首次提出非对称事件引导的视频超分辨率任务，针对事件相机与RGB相机难以严格标定的实际场景，构建了非对称事件引导视频超分辨率网络（AsEVSRN）。该网络通过专门设计的事件特征利用与跨模态融合机制，充分发挥事件相机高时间分辨率优势，有效提升视频超分辨率性能，拓展了事件相机在双摄手机、无人机等新兴高分辨率设备上的应用潜力。

Event-assisted low-light video object segmentation

Sun, 16 Jun 2024 00:00:00 +0000

本文针对低光照条件下视频目标分割（VOS）性能严重下降的问题，提出一种利用事件相机数据辅助分割的新框架。该方法包含两个关键模块：自适应跨模态融合（ACMF）模块，用于提取并融合图像与事件模态特征以抑制噪声干扰；事件引导记忆匹配（EGMM）模块，用于修正低光下查询帧与记忆帧之间的相似度计算误差。实验表明，该方法在合成和真实低光数据集上均能显著提升分割精度，生成更准确的目标掩码。

Multi-modal generative embedding model

Wed, 29 May 2024 00:00:00 +0000

本文提出多模态生成嵌入模型MM-GEM，将生成与嵌入两种目标统一于单个大语言模型中，实现每个模态仅需一个模型。通过引入PoolAggregator提升效率并支持细粒度嵌入与生成。实验表明，生成与嵌入目标并不显著冲突，模型在跨模态检索、零样本分类和图像描述等任务上表现优异，同时具备区域级描述生成与检索能力，并在长文本图像检索中取得显著提升。

Tmformer: Token merging transformer for brain tumor segmentation with missing modalities

Sun, 24 Mar 2024 00:00:00 +0000

本文提出 TMFormer，一种用于缺失模态脑肿瘤分割的 Token 合并 Transformer。该方法通过提取并合并可用模态为更紧凑的 token 序列，解决现有方法以零图填充缺失模态带来的特征偏差与冗余计算问题。其核心包括单模态 Token 合并块（UMB）和多模态 Token 合并块（MMB），分别增强单模态表示并缓解多模态融合偏差。在 BraTS 2018 和 2020 数据集上的实验表明，TMFormer 在缺失模态场景下优于现有方法。

Anatomical consistency distillation and inconsistency synthesis for brain tumor segmentation with missing modalities

Mon, 01 Jan 2024 00:00:00 +0000

本文提出ACDIS框架，用于解决脑肿瘤分割中MRI模态缺失的问题。通过解剖一致性蒸馏将多模态图像中的共享解剖结构迁移至单模态表示，并利用模态特征合成块生成模态特定特征，从而增强单模态图像在特定区域的组织表现。该方法有效缓解了模态缺失带来的性能下降，提升了分割精度。

Text-Only Image Captioning with Multi-Context Data Generation.

Sun, 01 Jan 2023 00:00:00 +0000

本文针对仅使用文本数据训练图像描述模型的任务，提出一种多上下文数据生成方法。通过构造多样化的文本上下文，生成合成图像-描述训练对，使模型学习跨模态对齐与语义描述能力，减少对真实图像标注的依赖。实验表明该方法在多个图像描述基准上取得有效性能，为数据稀缺场景下的多模态学习提供了新思路。