本文提出注意力引导的对比掩码图像建模方法(ACoMIM),融合对比学习与掩码图像建模两种自监督范式,并利用视觉Transformer的注意力机制提升表征能力。该方法包含两个预训练任务:一是根据注意力引导预测掩码区域的特征,二是比较掩码图像与未掩码图像的全局特征。两个任务相互补充,有效缓解了图像信息稀疏与分布不均的问题,在多种下游任务上验证了方法的有效性。