祝贺实验室 2 项科研成果发表在ICASSP 2026！
热烈祝贺陈政同学、吴小满同学，2 项科研成果正式发表！
查看内容 ↗Explore / 内容索引
多模态学习
Salient Diagnostic Value Perception For Preoperative Posterior Fossa Tumor Diagnosis
本文提出显著诊断价值感知方法（SDVP），用于后颅窝肿瘤的术前准确诊断。该方法整合MRI影像与放射学报告，从三个互补视角学习关键诊断线索：通过对抗性样本内对比学习增强跨中心与设备差异的鲁棒性；借助知识增强的样本内对比学习提取专家引导的样本特异性特征；并在干净MRI样本上进行监督式类间对比学习以强化类 …
查看内容 ↗祝贺实验室科研成果发表于 Expert Systems with Applications 130161！
热烈祝贺甘鲁斌同学，一项科研成果正式发表！
查看内容 ↗MeDKCoOp: Dual Knowledge-guided Graph Prompt Learning for Biomedical Vision-Language Models
本文提出MeDKCoOp，一种面向生物医学视觉语言模型的双知识引导图提示学习方法。该方法系统整合医学领域知识，从文本与视觉分支提取专门知识并构建图结构表示，通过知识引导的关系转移实现跨模态融合，并动态优化可学习提示，以增强CLIP等模型在医学下游任务中的适应能力。实验表明其在多个生物医学基准上取得优 …
查看内容 ↗Enhancing zero-shot brain tumor subtype classification via fine-grained patch-text alignment
本文提出细粒度补丁对齐网络（FG-PAN），用于脑肿瘤亚型的零样本分类。该方法包含局部特征细化模块，通过建模代表性补丁间的空间关系增强视觉特征；以及细粒度文本描述生成模块，利用大语言模型生成病理感知的类别语义原型。通过对齐细粒度视觉与语义特征，并引入坐标感知聚合机制，FG-PAN在整张病理切片级别实 …
查看内容 ↗祝贺实验室科研成果发表于 ICIP 2025！
热烈祝贺贺子龙同学，一项科研成果正式发表！
查看内容 ↗Enhancing Visual Question Answering Via Clustered In-Context Sequence Configuration
本文针对多模态大语言模型在多模态上下文学习中的演示序列配置问题，提出一种基于聚类的上下文配置方法。该方法自适应地对候选数据进行分组，并从每个簇中选取演示样本，以增强序列内多样性并保持语义一致性，从而减少高相似演示带来的归纳偏置，使模型更关注演示的主要意图。在OK-VQA、VQAv2、VizWiz …
查看内容 ↗祝贺实验室科研成果发表于 Artificial Intelligence in Medicine！
热烈祝贺王浩宇同学，一项科研成果正式发表！
查看内容 ↗MMSupcon: An image fusion-based multi-modal supervised contrastive method for brain tumor diagnosis
本文针对脑肿瘤多模态MRI诊断中融合策略受限于样本稀缺的问题，提出多模态监督对比学习方法MMSupcon。该方法通过多模态医学图像融合生成信息丰富的样本，并设计多模态监督对比损失，引导模型有效整合互补模态信息，提升诊断准确性。
查看内容 ↗祝贺实验室科研成果发表于 CVPR 2025！
热烈祝贺张哲宇同学，一项科研成果正式发表！
查看内容 ↗Incomplete multi-modal brain tumor segmentation via learnable sorting state space model
本文提出一种可学习排序状态空间模型（LS3M），用于不完整多模态脑肿瘤分割。该方法基于Mamba架构高效建模长距离依赖，并引入可微置换矩阵，根据模态特定特征对输入序列进行动态重排序，从而保留3D脑MRI中关键的空间归纳偏置与长程语义相关性。LS3M能够充分利用可用模态信息，提升分割性能。
查看内容 ↗Multi-modal diffusion network with controllable variability for medical image segmentation
本文提出一种具有可控变异性的多模态扩散分割网络（MMDSN），用于医学图像分割。该方法通过医学文本注释实现多模态条件控制，增强视觉语义表示的一致性，并建立视觉与语言之间的对应关系。同时，MMDSN 在潜在高斯空间中对多个时间步的不确定性分布进行约束，从而控制每个去噪时间步的变异性，减少扩散模型随机采 …
查看内容 ↗Asymmetric event-guided video super-resolution
本文首次提出非对称事件引导的视频超分辨率任务，针对事件相机与RGB相机难以严格标定的实际场景，构建了非对称事件引导视频超分辨率网络（AsEVSRN）。该网络通过专门设计的事件特征利用与跨模态融合机制，充分发挥事件相机高时间分辨率优势，有效提升视频超分辨率性能，拓展了事件相机在双摄手机、无人机等新兴高 …
查看内容 ↗Event-assisted low-light video object segmentation
本文针对低光照条件下视频目标分割（VOS）性能严重下降的问题，提出一种利用事件相机数据辅助分割的新框架。该方法包含两个关键模块：自适应跨模态融合（ACMF）模块，用于提取并融合图像与事件模态特征以抑制噪声干扰；事件引导记忆匹配（EGMM）模块，用于修正低光下查询帧与记忆帧之间的相似度计算误差。实验表 …
查看内容 ↗Multi-modal generative embedding model
本文提出多模态生成嵌入模型MM-GEM，将生成与嵌入两种目标统一于单个大语言模型中，实现每个模态仅需一个模型。通过引入PoolAggregator提升效率并支持细粒度嵌入与生成。实验表明，生成与嵌入目标并不显著冲突，模型在跨模态检索、零样本分类和图像描述等任务上表现优异，同时具备区域级描述生成与检索 …
查看内容 ↗Tmformer: Token merging transformer for brain tumor segmentation with missing modalities
本文提出 TMFormer，一种用于缺失模态脑肿瘤分割的 Token 合并 Transformer。该方法通过提取并合并可用模态为更紧凑的 token 序列，解决现有方法以零图填充缺失模态带来的特征偏差与冗余计算问题。其核心包括单模态 Token 合并块（UMB）和多模态 Token 合并 …
查看内容 ↗Anatomical consistency distillation and inconsistency synthesis for brain tumor segmentation with missing modalities
本文提出ACDIS框架，用于解决脑肿瘤分割中MRI模态缺失的问题。通过解剖一致性蒸馏将多模态图像中的共享解剖结构迁移至单模态表示，并利用模态特征合成块生成模态特定特征，从而增强单模态图像在特定区域的组织表现。该方法有效缓解了模态缺失带来的性能下降，提升了分割精度。
查看内容 ↗Text-Only Image Captioning with Multi-Context Data Generation.
本文针对仅使用文本数据训练图像描述模型的任务，提出一种多上下文数据生成方法。通过构造多样化的文本上下文，生成合成图像-描述训练对，使模型学习跨模态对齐与语义描述能力，减少对真实图像标注的依赖。实验表明该方法在多个图像描述基准上取得有效性能，为数据稀缺场景下的多模态学习提供了新思路。
查看内容 ↗