自监督学习 | ViLab https://vilab.team/tag/%E8%87%AA%E7%9B%91%E7%9D%A3%E5%AD%A6%E4%B9%A0/ 自监督学习 Hugo Blox Builder (https://hugoblox.com)en-usSun, 08 Oct 2023 00:00:00 +0000 https://vilab.team/media/icon_hu2896232876136423579.png 自监督学习 https://vilab.team/tag/%E8%87%AA%E7%9B%91%E7%9D%A3%E5%AD%A6%E4%B9%A0/ Attention-guided contrastive masked image modeling for transformer-based self-supervised learning https://vilab.team/publication/attention-guided-contrastive-masked-image-modeling-for-trans/ Sun, 08 Oct 2023 00:00:00 +0000 https://vilab.team/publication/attention-guided-contrastive-masked-image-modeling-for-trans/ <p>本文提出注意力引导的对比掩码图像建模方法（ACoMIM），融合对比学习与掩码图像建模两种自监督范式，并利用视觉Transformer的注意力机制提升表征能力。该方法包含两个预训练任务：一是根据注意力引导预测掩码区域的特征，二是比较掩码图像与未掩码图像的全局特征。两个任务相互补充，有效缓解了图像信息稀疏与分布不均的问题，在多种下游任务上验证了方法的有效性。</p>