本文提出显著诊断价值感知方法(SDVP),用于后颅窝肿瘤的术前准确诊断。该方法整合MRI影像与放射学报告,从三个互补视角学习关键诊断线索:通过对抗性样本内对比学习增强跨中心与设备差异的鲁棒性;借助知识增强的样本内对比学习提取专家引导的样本特异性特征;并在干净MRI样本上进行监督式类间对比学习以强化类别特征。
本文针对脑肿瘤多模态MRI诊断中融合策略受限于样本稀缺的问题,提出多模态监督对比学习方法MMSupcon。该方法通过多模态医学图像融合生成信息丰富的样本,并设计多模态监督对比损失,引导模型有效整合互补模态信息,提升诊断准确性。
本文针对细粒度动作识别中类间差异小、类内差异大的挑战,提出了一种语义感知的后期监督对比学习方法。该方法通过后期监督对比学习策略,有效减少了对比学习所需的训练轮次,降低了计算成本;同时引入语义距离建模,在调整特征表示时显式考虑细粒度动作之间的语义关系,从而提升判别能力。实验表明该方法在多个细粒度动作识别基准上取得了优越性能。
本文提出注意力引导的对比掩码图像建模方法(ACoMIM),融合对比学习与掩码图像建模两种自监督范式,并利用视觉Transformer的注意力机制提升表征能力。该方法包含两个预训练任务:一是根据注意力引导预测掩码区域的特征,二是比较掩码图像与未掩码图像的全局特征。两个任务相互补充,有效缓解了图像信息稀疏与分布不均的问题,在多种下游任务上验证了方法的有效性。
本文针对多模态情感分析中文本模态与情感标签之间存在的虚假关联问题,提出了一种名为PriSA的新框架。该框架首先通过优先跨模态融合方法,利用文本模态引导计算跨模态相关性;随后引入距离感知对比学习,利用情感标签之间的距离信息进一步计算混合模态相关性;最终基于混合模态相关性和判别性类内特征识别情感信息。实验表明该方法能有效缓解文本虚假关联带来的影响,提升多模态情感分析性能。