Xiaoyan Sun | ViLab

Token-Wise Attention-Guided Semantic Quality Assessment for Compressed Visual Features

Mon, 29 Jun 2026 00:00:00 +0000

本文针对协作与分布式智能系统中压缩中间特征的语义质量评估问题，提出了一种基于Token级注意力引导的评估方法。该方法利用原始与重建Token之间的内在对应关系，在Token层面进行质量度量，以减少跨Token干扰；同时通过注意力机制区分不同Token对下游任务的重要性，从而更准确地反映压缩特征的语义效用。实验表明，该方法在多种特征编解码器上均优于传统相似性度量，具有良好的鲁棒性。

Holo-World: Unified Camera, Object and Weather Control for Video World Model

Thu, 18 Jun 2026 00:00:00 +0000

本文提出Holo-World，一种统一的视频世界模型，可从单张图像出发，联合控制相机运动、物体动态和天气状态。作者构建了HoloStateData数据集，将多样视频转换为统一控制样本；并提出统一场景适配器，将世界保持与天气迁移分解到不同参数子空间，利用渲染背景、几何缓冲和物体控制维持场景结构，同时建模天气相关外观与粒子效果。场景-天气分解CFG进一步分别引导场景和天气残差，增强目标天气效果。实验表明，Holo-World在保持精确控制的同时，实现了优于视频到视频基线的天气状态生成。

Salient Diagnostic Value Perception For Preoperative Posterior Fossa Tumor Diagnosis

Sun, 03 May 2026 00:00:00 +0000

本文提出显著诊断价值感知方法（SDVP），用于后颅窝肿瘤的术前准确诊断。该方法整合MRI影像与放射学报告，从三个互补视角学习关键诊断线索：通过对抗性样本内对比学习增强跨中心与设备差异的鲁棒性；借助知识增强的样本内对比学习提取专家引导的样本特异性特征；并在干净MRI样本上进行监督式类间对比学习以强化类别特征。

SSCM: A Spatial-Semantic Consistent Model for Multi-Contrast MRI Super-Resolution

Sun, 03 May 2026 00:00:00 +0000

本文提出空间语义一致模型（SSCM），用于多对比度磁共振成像超分辨率。该方法通过动态空间扭曲模块实现对比度间空间对齐，利用语义感知令牌聚合块建模长程依赖，并结合空间-频率融合块恢复高频细节，从而在结构差异和运动干扰下保持解剖结构的空间语义一致性。实验表明SSCM在效率和性能上优于现有方法。

Facm: Flow-anchored consistency models

Mon, 20 Apr 2026 00:00:00 +0000

本文针对连续时间一致性模型（CM）训练不稳定的问题，指出其根源在于捷径目标导致瞬时速度场被灾难性遗忘。为此提出流锚定一致性模型（FACM），以流匹配任务作为动态锚点，并设计扩展时间间隔策略统一优化、解耦两个任务，实现稳定且架构无关的训练。在ImageNet 256×256上，蒸馏LightningDiT模型取得NFE=2时FID 1.32、NFE=1时FID 1.70的SOTA结果；同时提出内存高效的Chain-JVP，将FACM扩展到140亿参数的Wan 2.2模型，加速文本到图像推理至2-8步。

ReactID: Synchronizing Realistic Actions and Identity in Personalized Video Generation

Mon, 20 Apr 2026 00:00:00 +0000

本文提出ReactID框架，旨在协调个性化视频生成中身份一致性与动作真实性的矛盾。针对主体-视频对齐不精确、训练不稳定、细粒度动作建模不足三大挑战，从数据、训练和动作建模三方面协同改进：构建高精度标注的ReactID-Data数据集；设计由易到难的渐进式训练课程；提出基于时间线的条件机制，通过主体感知交叉注意力和时间自适应RoPE，将子动作与特定主体绑定并嵌入时间坐标，从而生成更自然、可控的视频。

Seeing the unseen: Zooming in the dark with event cameras

Sat, 14 Mar 2026 00:00:00 +0000

本文提出RetinexEVSR，首个事件驱动的低光视频超分辨率框架。该框架利用高对比度事件信号与Retinex先验，通过双向跨模态融合策略，有效整合噪声事件数据与退化RGB帧中的有用信息。其中，照明引导事件增强模块利用Retinex模型导出的光照图逐步细化事件特征，抑制低光伪影并保留高对比度细节；事件引导反射率增强模块则通过多尺度融合机制动态恢复反射率细节。实验表明，该方法在三个数据集上达到最优性能，在SDSD基准上相比先前事件方法提升2.95 dB，并减少65%运行时间。

RiO-DETR: DETR for Real-time Oriented Object Detection

Tue, 10 Mar 2026 00:00:00 +0000

本文提出RiO-DETR，一种面向实时旋转目标检测的DETR框架。针对方向语义依赖、角度周期性和搜索空间扩大等挑战，设计了内容驱动的角度估计、旋转校正正交注意力、解耦周期细化以及定向密集O2O机制，在保持实时效率的同时提升角度收敛速度与检测精度。在DOTA-1.0、DIOR-R和FAIR-1M-2.0上的实验表明，该方法实现了新的速度-精度平衡。

EvTexture++: Event-Driven Texture Enhancement for Video Super-Resolution

Mon, 02 Feb 2026 00:00:00 +0000

本文提出EvTexture++，一种事件驱动的视频超分辨率纹理增强框架。与以往将事件用于运动估计不同，该方法利用事件的高频时空细节显式恢复纹理，通过定制纹理增强分支和迭代纹理增强模块，逐步挖掘高时间分辨率事件信息，实现纹理区域的渐进细化，从而生成更精确、细节更丰富的高分辨率视频。该框架还可作为即插即用模块提升现有VSR模型性能。

Dome-DETR: DETR with density-oriented feature-query manipulation for efficient tiny object detection

Mon, 27 Oct 2025 00:00:00 +0000

本文提出 Dome-DETR，一种面向微小物体检测的高效框架。针对现有方法特征利用不充分和计算成本高的问题，引入轻量级密度聚焦提取器（DeFE）生成紧凑前景掩码，并基于掩码的窗口注意力稀疏化（MWAS）将计算资源集中于关键区域。同时提出渐进自适应查询初始化（PAQI），自适应调节查询分布，提升检测效率与精度。

DT-UFC: Universal large model feature coding via peaky-to-balanced distribution transformation

Mon, 27 Oct 2025 00:00:00 +0000

本文首次系统研究大模型通用特征编码问题，旨在降低分布式部署中的传输与存储开销。针对不同模型提取特征分布差异显著（如DINOv2特征高度集中、SD3特征分散均匀）导致压缩效率低、跨模型泛化难的问题，提出一种从峰值分布到平衡分布的变换方法，实现通用且高效的特征压缩与传输。

Enhancing zero-shot brain tumor subtype classification via fine-grained patch-text alignment

Mon, 27 Oct 2025 00:00:00 +0000

本文提出细粒度补丁对齐网络（FG-PAN），用于脑肿瘤亚型的零样本分类。该方法包含局部特征细化模块，通过建模代表性补丁间的空间关系增强视觉特征；以及细粒度文本描述生成模块，利用大语言模型生成病理感知的类别语义原型。通过对齐细粒度视觉与语义特征，并引入坐标感知聚合机制，FG-PAN在整张病理切片级别实现了更准确的亚型判别，缓解了标注数据稀缺和形态差异细微带来的挑战。

MeDKCoOp: Dual Knowledge-guided Graph Prompt Learning for Biomedical Vision-Language Models

Mon, 27 Oct 2025 00:00:00 +0000

本文提出MeDKCoOp，一种面向生物医学视觉语言模型的双知识引导图提示学习方法。该方法系统整合医学领域知识，从文本与视觉分支提取专门知识并构建图结构表示，通过知识引导的关系转移实现跨模态融合，并动态优化可学习提示，以增强CLIP等模型在医学下游任务中的适应能力。实验表明其在多个生物医学基准上取得优异性能。

Dash: 4d hash encoding with self-supervised decomposition for real-time dynamic scene rendering

Sun, 19 Oct 2025 00:00:00 +0000

本文提出DASH，一种实时动态场景渲染框架，采用4D哈希编码结合自监督分解。针对现有平面基动态高斯溅射方法因低秩假设导致特征重叠和渲染质量差的问题，DASH通过自监督分解机制分离动态与静态组件，无需人工标注或预计算掩码，并引入多分辨率4D哈希编码器对动态元素进行显式表示，避免低秩约束，从而减少哈希冲突和冗余，实现高质量实时渲染。

Efficient spiking point mamba for point cloud analysis

Sun, 19 Oct 2025 00:00:00 +0000

本文提出 Spiking Point Mamba (SPM)，这是首个将 Mamba 引入三维点云分析的脉冲神经网络。针对直接适配 Mamba 时存在的时序动态不匹配和脉冲引起的信息损失问题，作者设计了层次动态编码 (HDE) 以增强动态时序建模，并提出 Spiking Mamba Block (SMB) 来学习跨时间步特征并减少脉冲信息丢失。此外，采用非对称 SNN 训练策略进一步提升性能。SPM 可作为高效骨干网络，适用于点云分类、部件分割与重建等任务。

Hybrid Vision Transformer and Convolutional Neural Network for Super-Resolution Image Quality Assessment

Sun, 19 Oct 2025 00:00:00 +0000

本文针对超分辨率图像质量评估（SRIQA）任务，提出一种结合视觉Transformer（ViT）与卷积神经网络（CNN）的混合无参考评估模型。该方法利用ViT提取非局部特征，并通过多阶段自注意力处理图像令牌，再将其重塑为特征图，由CNN编码映射为质量分数，从而同时捕捉局部与非局部信息，克服了传统全参考指标依赖真实图像且可靠性不足的问题。

Vquala 2025 challenge on image super-resolution generated content quality assessment: Methods and results

Sun, 19 Oct 2025 00:00:00 +0000

This paper presents the ISRGC-Q Challenge, built upon the Image Super-Resolution Generated Content Quality Assessment (ISRGen-QA) dataset, and organized as part of the Visual Quality Assessment (VQualA) Competition at the ICCV 2025 Workshops. Unlike existing Super-Resolution Image Quality Assessment (SR-IQA) datasets, ISRGen-QA places a greater emphasis on SR images generated by the latest generative approaches, including Generative Adversarial Networks (GANs) and diffusion models. The primary goal of this challenge is to analyze the unique artifacts introduced by modern super-resolution techniques and to evaluate their perceptual quality effectively. A total of 108 participants registered for the challenge, with 4 teams submitting valid solutions and fact sheets for the final testing phase. These submissions demonstrated state-of-the-art (SOTA) performance on the ISRGen-QA dataset. The …

Enhancing Visual Question Answering Via Clustered In-Context Sequence Configuration

Sun, 14 Sep 2025 00:00:00 +0000

本文针对多模态大语言模型在多模态上下文学习中的演示序列配置问题，提出一种基于聚类的上下文配置方法。该方法自适应地对候选数据进行分组，并从每个簇中选取演示样本，以增强序列内多样性并保持语义一致性，从而减少高相似演示带来的归纳偏置，使模型更关注演示的主要意图。在OK-VQA、VQAv2、VizWiz和TextVQA四个视觉问答基准上的实验验证了其有效性。

MMSupcon: An image fusion-based multi-modal supervised contrastive method for brain tumor diagnosis

Thu, 28 Aug 2025 00:00:00 +0000

本文针对脑肿瘤多模态MRI诊断中融合策略受限于样本稀缺的问题，提出多模态监督对比学习方法MMSupcon。该方法通过多模态医学图像融合生成信息丰富的样本，并设计多模态监督对比损失，引导模型有效整合互补模态信息，提升诊断准确性。

Semamil: Semantic reordering with retrieval-guided state space modeling for whole slide image classification

Fri, 01 Aug 2025 00:00:00 +0000

本文针对全切片图像分类中多实例学习忽略上下文、Transformer计算复杂、状态空间模型打乱语义顺序的问题，提出SemaMIL方法。该方法包含语义重排模块，通过可逆置换将语义相似的图像块聚类排列；以及语义引导检索状态空间模块，选择代表性查询子集调整状态空间参数，实现高效全局建模。在四个WSI数据集上验证了方法的有效性。

Create anything anywhere: Layout-controllable personalized diffusion model for multiple subjects

Mon, 30 Jun 2025 00:00:00 +0000

Diffusion models have significantly advanced text-to-image generation, laying the foundation for the development of personalized generative frameworks. However, existing methods lack precise layout controllability and overlook the potential of dynamic features of reference subjects in improving fidelity. In this work, we propose Layout-Controllable Personalized Diffusion (LCP-Diffusion) model, a novel framework that integrates subject identity preservation with flexible layout guidance in a tuning-free approach. Our model employs a Dynamic-Static Complementary Visual Refining module to comprehensively capture the intricate details of reference subjects, and introduces a Dual Layout Control mechanism to enforce robust spatial control across both training and inference stages. Extensive experiments validate that LCP-Diffusion excels in both identity preservation and layout controllability. To the best of our …

Incomplete multi-modal brain tumor segmentation via learnable sorting state space model

Tue, 10 Jun 2025 00:00:00 +0000

本文提出一种可学习排序状态空间模型（LS3M），用于不完整多模态脑肿瘤分割。该方法基于Mamba架构高效建模长距离依赖，并引入可微置换矩阵，根据模态特定特征对输入序列进行动态重排序，从而保留3D脑MRI中关键的空间归纳偏置与长程语义相关性。LS3M能够充分利用可用模态信息，提升分割性能。

D-FINE: Redefine regression task of DETRs as fine-grained distribution refinement

Thu, 01 May 2025 00:00:00 +0000

D-FINE是一种实时目标检测器，通过重新定义DETR中的边界框回归任务实现高精度定位。其核心包含细粒度分布细化（FDR）和全局最优定位自蒸馏（GO-LSD）。FDR将回归从预测固定坐标改为迭代细化概率分布，提供细粒度中间表示；GO-LSD通过自蒸馏将定位知识从最终层传递到浅层，并简化深层残差预测。在COCO上达到54.0%/55.8% AP，124/78 FPS，预训练后达57.1%/59.3% AP，超越现有实时检测器，并显著提升多种DETR模型性能。

Efficient event-based semantic segmentation via exploiting frame-event fusion: A hybrid neural network approach

Fri, 11 Apr 2025 00:00:00 +0000

本文提出一种高效的混合神经网络框架，用于事件相机语义分割。该框架包含处理事件流的脉冲神经网络（SNN）分支和处理帧图像的人工神经网络（ANN）分支，并设计了自适应时间加权（ATW）注入器、事件驱动稀疏（EDS）注入器和通道选择融合（CSF）模块，以充分融合帧与事件的互补时空信息。在DDD17-Seg、DSEC-Semantic和M3ED-Semantic数据集上取得了最先进精度，并在DSEC-Semantic上降低63%能耗。

Event-enhanced blurry video super-resolution

Fri, 11 Apr 2025 00:00:00 +0000

In this paper, we tackle the task of blurry video super-resolution (BVSR), aiming to generate high-resolution (HR) videos from low-resolution (LR) and blurry inputs. Current BVSR methods often fail to restore sharp details at high resolutions, resulting in noticeable artifacts and jitter due to insufficient motion information for deconvolution and the lack of high-frequency details in LR frames. To address these challenges, we introduce event signals into BVSR and propose a novel event-enhanced network, Ev-DeblurVSR. To effectively fuse information from frames and events for feature deblurring, we introduce a reciprocal feature deblurring module that leverages motion information from intra-frame events to deblur frame features while reciprocally using global scene context from the frames to enhance event features. Furthermore, to enhance temporal consistency, we propose a hybrid deformable alignment module that fully exploits the complementary motion information from inter-frame events and optical flow to improve motion estimation in the deformable alignment process. Extensive evaluations demonstrate that Ev-DeblurVSR establishes a new state-of-the-art performance on both synthetic and real-world datasets. Notably, on real data, our method is 2.59 dB more accurate and 7.28× faster than the recent best BVSR baseline FMA-Net.

Spiking point transformer for point cloud classification

Fri, 11 Apr 2025 00:00:00 +0000

本文提出Spiking Point Transformer（SPT），首个基于Transformer的脉冲神经网络框架，用于三维点云分类。SPT设计队列驱动采样直接编码，在降低计算成本的同时保留关键支撑点；并引入混合动力学积分发放神经元（HD-IF），模拟选择性神经元激活，减少对特定人工神经元的过度依赖。在多个真实与合成点云基准上取得领先结果，理论能耗较ANN对应模型降低至少6.4倍。

Hierarchical Task-aware Temporal Modeling and Matching for few-shot action recognition

Tue, 01 Apr 2025 00:00:00 +0000

本文针对少样本动作识别中训练样本稀缺且视频结构复杂的问题，提出分层任务感知时间建模与匹配方法（HTTMM）。该方法通过分层结构充分建模时空特征，并利用任务感知机制增强对关键运动模式的感知，从而提升查询样本与支持样本之间的匹配效果。在多个基准数据集上的实验验证了其有效性，尤其适用于需要局部运动感知的细粒度动作分类任务。

Semantic-aware late-stage supervised contrastive learning for fine-grained action recognition

Wed, 08 Jan 2025 00:00:00 +0000

本文针对细粒度动作识别中类间差异小、类内差异大的挑战，提出了一种语义感知的后期监督对比学习方法。该方法通过后期监督对比学习策略，有效减少了对比学习所需的训练轮次，降低了计算成本；同时引入语义距离建模，在调整特征表示时显式考虑细粒度动作之间的语义关系，从而提升判别能力。实验表明该方法在多个细粒度动作识别基准上取得了优越性能。

Enhancing Visual Tracking by Leveraging High-frequency Information within Event Signals

Wed, 01 Jan 2025 00:00:00 +0000

Traditional object trackers struggle in degraded scenarios, lacking sufficient appearance details of moving targets for precise tracking. Recent trackers have integrated highfrequency event signals to assist tracking. However, they neglect the high-temporalresolution motion information inherent in events, limiting their performance especially in occlusion and background clutter. To address these challenges, we propose HFTrack, a novel tracker designed to fully leverage the spatio-temporal high-frequency information within event signals, thereby enhancing the tracking performance. Specifically, we introduce a frequency-based feature enhancement module, which enriches the frame feature with high-frequency components from events in frequency space, capturing detailed appearance information of moving targets. Additionally, we propose a spatio-temporal information decoder with an auto-regressive temporal query, integrating both historical motion cues from events and enhanced spatial features for robust target localization. Experimental results demonstrate that our HFTrack significantly outperforms existing trackers, showcasing its strong ability to track the target under challenging conditions.

Visual perception by large language model’s weights

Mon, 16 Dec 2024 00:00:00 +0000

Existing Multimodal Large Language Models (MLLMs) follow the paradigm that perceives visual information by aligning visual features with the input space of Large Language Models (LLMs) and concatenating visual tokens with text tokens to form a unified sequence input for LLMs. These methods demonstrate promising results on various vision-language tasks but are limited by the high computational effort due to the extended input sequence resulting from the involvement of visual tokens. In this paper, instead of input space alignment, we propose a novel parameter space alignment paradigm that represents visual information as model weights. For each input image, we use a vision encoder to extract visual features, convert features into perceptual weights, and merge the perceptual weights with LLM’s weights. In this way, the input of LLM does not require visual tokens, which reduces the length of the input sequence and greatly improves efficiency. Following this paradigm, we propose VLoRA with the perceptual weights generator. The perceptual weights generator is designed to convert visual features to perceptual weights with low-rank property, exhibiting a form similar to LoRA. The experimental results show that our VLoRA achieves comparable performance on various benchmarks for MLLMs, while significantly reducing the computational costs for both training and inference. Code and models are released at\url {https://github. com/FeipengMa6/VLoRA}.

Feature compression with 3d sparse convolution

Sun, 08 Dec 2024 00:00:00 +0000

本文面向视频编码与机器（VCM）中的特征压缩任务，指出现有方法未充分利用特征的维度与稀疏性。研究发现特征具有低空间维度、高通道维度的特点，传统基于2D卷积的下采样方式并不适用，因此提出采用3D卷积进行特征压缩；同时利用特征的稀疏性引入稀疏卷积，以降低模型复杂度。作者在多种网络结构和输入特征上验证了所提方法的有效性，为特征压缩提供了新思路。

Perceptual image compression with conditional diffusion transformers

Sun, 08 Dec 2024 00:00:00 +0000

本文提出一种基于条件扩散模型的感知图像压缩方法，旨在解决现有生成式压缩方法性能提升有限和模型复杂度高的问题。方法采用扩散Transformer作为解码器，并利用Swin Transformer实现高效架构，以增强生成能力；同时引入多尺度特征融合模块，为解码器提供更丰富的信息特征。实验结果表明该方法在感知图像压缩任务上取得了优越的性能。

Multi-modal diffusion network with controllable variability for medical image segmentation

Tue, 03 Dec 2024 00:00:00 +0000

本文提出一种具有可控变异性的多模态扩散分割网络（MMDSN），用于医学图像分割。该方法通过医学文本注释实现多模态条件控制，增强视觉语义表示的一致性，并建立视觉与语言之间的对应关系。同时，MMDSN 在潜在高斯空间中对多个时间步的不确定性分布进行约束，从而控制每个去噪时间步的变异性，减少扩散模型随机采样带来的分割偏差。在 Qata-Covid19 等数据集上的实验验证了其有效性。

Asymmetric event-guided video super-resolution

Mon, 28 Oct 2024 00:00:00 +0000

本文首次提出非对称事件引导的视频超分辨率任务，针对事件相机与RGB相机难以严格标定的实际场景，构建了非对称事件引导视频超分辨率网络（AsEVSRN）。该网络通过专门设计的事件特征利用与跨模态融合机制，充分发挥事件相机高时间分辨率优势，有效提升视频超分辨率性能，拓展了事件相机在双摄手机、无人机等新兴高分辨率设备上的应用潜力。

Optimized decoupled structure with non-local attention for deep image compression

Sun, 27 Oct 2024 00:00:00 +0000

本文针对学习型图像压缩中的解耦框架，该框架将样本重建与熵解码分离，实现极快解码，并成为JPEG AI验证模型的核心。然而其分析/合成变换仅由堆叠卷积构成，缺乏数据相关性建模能力。作者引入非局部注意力机制增强变换网络，使模型兼具解耦架构的快速解码优势与非局部注意力的强变换能力，提升了压缩性能。

Semantic-enhanced point-box joint prompting for video object segmentation

Sun, 27 Oct 2024 00:00:00 +0000

本文提出基于SAM的语义增强点框联合提示框架SAM-SPB，用于视频对象分割。该框架通过点跟踪分支维持对象局部结构信息，并利用语义感知的基于记忆的框跟踪分支跨帧传播对象语义一致性，从而结合局部与全局线索实现鲁棒分割。在主流VOS基准上取得了领先性能，验证了点框联合提示相比仅用点提示的优势。

Event-adapted video super-resolution

Sun, 29 Sep 2024 00:00:00 +0000

Introducing event cameras into video super-resolution (VSR) shows great promise. In practice, however, integrating event data as a new modality necessitates a laborious model architecture design. This not only consumes substantial time and effort but also disregards valuable insights from successful existing VSR models. Furthermore, the resource-intensive process of retraining these newly designed models exacerbates the challenge. In this paper, inspired by the recent success of parameter-efficient tuning in reducing the number of trainable parameters of a pre-trained model for downstream tasks, we introduce the Event AdapTER (EATER) for VSR. EATER efficiently utilizes knowledge of VSR models at the feature level through two lightweight and trainable components: the event-adapted alignment (EAA) unit and the event-adapted fusion (EAF) unit. The EAA unit aligns multiple frames based on the event …

Event-based head pose estimation: Benchmark and method

Sun, 29 Sep 2024 00:00:00 +0000

本文针对传统RGB方法在剧烈运动和极端光照下头部姿态估计困难的问题，引入事件相机的高时间分辨率与高动态范围优势。作者构建了两个大规模事件头部姿态数据集，包含282个序列，覆盖不同分辨率与场景；并提出事件头部姿态估计网络EV-HPE，设计了事件时空融合模块和事件运动感知注意力模块，有效结合事件流时空信息，提升姿态估计精度与鲁棒性。

Ee-mllm: A data-efficient and compute-efficient multimodal large language model

Wed, 21 Aug 2024 00:00:00 +0000

Recent advancements in Multimodal Large Language Models (MLLMs) have demonstrated satisfactory performance across various vision-language tasks. Current approaches for vision and language interaction fall into two categories: self-attention-based and cross-attention-based methods. However, both approaches present inherent limitations, forcing a trade-off between data and computational efficiency. To address this issue, we introduce the Data-$\textbf{E}$fficient and Compute-$\textbf{E}$fficient $\textbf{MLLM}$ ($\textbf{EE-MLLM}$). Specifically, we modify the original self-attention mechanism in MLLM to a composite attention mechanism. This mechanism has two key characteristics: 1) eliminating the computational overhead of self-attention among visual tokens to achieve $\textbf{compute efficiency}$, and 2) reusing the weights from each layer of LLM to facilitate effective vision-language modality alignment for $\textbf{data efficiency}$. As a result, EE-MLLM significantly outperforms Flamingo with limited training data, and reduces the prefilling time to 79 ms on an H800 GPU, compared to LLaVA’s 277 ms. To further investigate the efficiency of EE-MLLM, we present a training-free variant named EE-MLLM-F, which reduces the computation cost of self-attention-based method without additional training. Experimental results demonstrate the effectiveness of EE-MLLM across a range of benchmarks, including general-purpose datasets like MMBench and SeedBench, as well as fine-grained tasks such as TextVQA and DocVQA.

A micro-expression recognition system with event cameras

Mon, 15 Jul 2024 00:00:00 +0000

本文提出了一种基于事件相机的微表情识别系统。针对微表情持续时间短、幅度微弱、难以用传统相机捕捉的问题，系统利用事件相机的高时间分辨率特性，设计了事件增强运动提取器（EEME）以放大细微运动，并引入事件引导注意力（EGA）聚焦关键面部区域，从而提升微表情识别的准确性与鲁棒性。该系统为情感计算领域提供了有效工具。

Estme: Event-driven spatio-temporal motion enhancement for micro-expression recognition

Mon, 15 Jul 2024 00:00:00 +0000

本文针对微表情识别中动作幅度小、持续时间短、难以捕捉的问题，提出了一种事件驱动的时空运动增强网络。该方法引入事件相机捕获的高时间分辨率事件信号，设计事件增强运动提取模块以增强细微运动细节，并利用事件引导注意力模块聚焦特定区域的微小变化，从而获取更精确的空间特征。在合成和真实数据集上的实验结果表明，该方法在微表情识别任务上具有优越性能。

Advancing presurgical non-invasive molecular subgroup prediction in medulloblastoma using artificial intelligence and MRI signatures

Mon, 08 Jul 2024 00:00:00 +0000

本文构建了涵盖中国和美国13个中心934例髓母细胞瘤患者的国际分子特征数据库，利用人工智能和MRI影像特征实现术前无创的分子亚型预测。通过交叉验证、外部验证和连续验证，证明了模型作为通用分子诊断分类器的有效性，并通过对MRI特征的详细分析，从影像学角度深化了对髓母细胞瘤的理解，为临床管理提供了低成本、可推广的替代路径。

Task navigator: Decomposing complex tasks for multimodal large language models

Mon, 17 Jun 2024 00:00:00 +0000

本文提出一种名为 Task Navigator 的框架，利用大语言模型作为导航器，将复杂多模态任务逐步分解为更易处理的子问题，并引导多模态大语言模型按步骤求解。该方法无需重新训练模型，而是系统化地调用 MLLM 已有的多种能力，如 OCR、识别、推理等，从而提升复杂任务的处理效果。作者还构建了包含数学推理、嵌入式文本问答和视觉规划等任务的基准，验证了框架的有效性。

Event-assisted low-light video object segmentation

Sun, 16 Jun 2024 00:00:00 +0000

本文针对低光照条件下视频目标分割（VOS）性能严重下降的问题，提出一种利用事件相机数据辅助分割的新框架。该方法包含两个关键模块：自适应跨模态融合（ACMF）模块，用于提取并融合图像与事件模态特征以抑制噪声干扰；事件引导记忆匹配（EGMM）模块，用于修正低光下查询帧与记忆帧之间的相似度计算误差。实验表明，该方法在合成和真实低光数据集上均能显著提升分割精度，生成更准确的目标掩码。

Microcinema: A divide-and-conquer approach for text-to-video generation

Sun, 16 Jun 2024 00:00:00 +0000

本文提出 MicroCinema，一种简洁而有效的文本生成视频框架。它采用分而治之策略，将任务分解为文本生成图像和图像与文本联合生成视频两个阶段，从而充分利用现有文本到图像模型的强大能力，生成逼真且细节丰富的图像，并让视频模型更专注于运动动态的学习。为高效实现该策略，文章设计了外观注入网络和外观噪声先验，以增强外观保持和视频连贯性，在多个基准上取得了优越性能。

Scene adaptive sparse transformer for event-based object detection

Sun, 16 Jun 2024 00:00:00 +0000

本文针对事件相机目标检测中Transformer计算成本过高的问题，提出场景自适应稀疏Transformer（SAST）。该方法通过窗口-令牌协同稀疏化与场景特定稀疏优化，在保持低计算量的同时实现高检测性能，并能根据场景复杂度自适应调整稀疏程度，有效平衡了检测精度与效率。

Deep multi-threshold spiking-UNet for image processing

Fri, 14 Jun 2024 00:00:00 +0000

本文提出Spiking-UNet，将脉冲神经网络与U-Net架构相结合用于图像处理任务。针对脉冲传播导致的信息损失问题，设计多阈值脉冲神经元以增强信息传递能力；同时采用基于预训练U-Net的转换与微调训练策略，有效解决了训练难题。在图像分割和去噪等任务上验证了所提方法的有效性。

Multi-modal generative embedding model

Wed, 29 May 2024 00:00:00 +0000

本文提出多模态生成嵌入模型MM-GEM，将生成与嵌入两种目标统一于单个大语言模型中，实现每个模态仅需一个模型。通过引入PoolAggregator提升效率并支持细粒度嵌入与生成。实验表明，生成与嵌入目标并不显著冲突，模型在跨模态检索、零样本分类和图像描述等任务上表现优异，同时具备区域级描述生成与检索能力，并在长文本图像检索中取得显著提升。

Semi-supervised medical image segmentation via dynamic pseudo-label refinement

Mon, 27 May 2024 00:00:00 +0000

本文提出一种基于动态伪标签优化的半监督医学图像分割框架。针对双视角方法易丢失重要数据且伪标签不准确的问题，设计分层伪标签生成（HPLG）与动态伪标签校正（DPLC）两个互补模块，按可靠性生成分层像素级伪标签，并利用双视角的一致性与差异进行动态修正，从而提升分割性能与标签质量。

Understanding of facial features in face perception: insights from deep convolutional neural networks

Tue, 09 Apr 2024 00:00:00 +0000

Introduction

Image captioning with multi-context synthetic data

Sun, 24 Mar 2024 00:00:00 +0000

本文提出一种基于多上下文合成数据的图像描述生成方法（ICSD）。针对现有合成数据仅能生成单一视角、上下文有限的问题，利用大语言模型从语料中提取同一场景的多视角描述并压缩为多上下文句子，再通过扩散模型生成复杂图像，仅用合成图像-文本对训练描述模型。在MSCOCO、Flickr30k和NoCaps等数据集上取得领先性能。

Tmformer: Token merging transformer for brain tumor segmentation with missing modalities

Sun, 24 Mar 2024 00:00:00 +0000

本文提出 TMFormer，一种用于缺失模态脑肿瘤分割的 Token 合并 Transformer。该方法通过提取并合并可用模态为更紧凑的 token 序列，解决现有方法以零图填充缺失模态带来的特征偏差与冗余计算问题。其核心包括单模态 Token 合并块（UMB）和多模态 Token 合并块（MMB），分别增强单模态表示并缓解多模态融合偏差。在 BraTS 2018 和 2020 数据集上的实验表明，TMFormer 在缺失模态场景下优于现有方法。

Anatomical consistency distillation and inconsistency synthesis for brain tumor segmentation with missing modalities

Mon, 01 Jan 2024 00:00:00 +0000

本文提出ACDIS框架，用于解决脑肿瘤分割中MRI模态缺失的问题。通过解剖一致性蒸馏将多模态图像中的共享解剖结构迁移至单模态表示，并利用模态特征合成块生成模态特定特征，从而增强单模态图像在特定区域的组织表现。该方法有效缓解了模态缺失带来的性能下降，提升了分割精度。

Panacea: Panoramic and controllable video generation for autonomous driving

Mon, 01 Jan 2024 00:00:00 +0000

本文提出Panacea，一种面向自动驾驶场景的全景可控视频生成方法。该方法通过创新的4D注意力机制和两阶段生成流程，有效解决了生成视频中的时间与跨视角一致性问题；同时引入ControlNet框架，利用鸟瞰图（BEV）布局对生成内容进行精细控制。在nuScenes数据集上的实验表明，Panacea能够生成高质量的多视角驾驶视频，为BEV感知任务提供丰富的训练数据增强，推动自动驾驶感知技术的发展。

Attention-guided contrastive masked image modeling for transformer-based self-supervised learning

Sun, 08 Oct 2023 00:00:00 +0000

本文提出注意力引导的对比掩码图像建模方法（ACoMIM），融合对比学习与掩码图像建模两种自监督范式，并利用视觉Transformer的注意力机制提升表征能力。该方法包含两个预训练任务：一是根据注意力引导预测掩码区域的特征，二是比较掩码图像与未掩码图像的全局特征。两个任务相互补充，有效缓解了图像信息稀疏与分布不均的问题，在多种下游任务上验证了方法的有效性。

Video super-resolution via event-driven temporal alignment

Sun, 08 Oct 2023 00:00:00 +0000

本文提出一种事件驱动的双向视频超分辨率框架（EBVSR），利用事件相机的高时间分辨率特性捕捉非线性运动，并设计事件辅助的时间对齐模块，以补充光流法在快速光照变化下的不足。同时构建基于事件的帧合成模块，通过双向跨模态融合增强网络对光照变化的鲁棒性。在合成和真实数据上的实验验证了该方法在视频超分辨率任务中的有效性。

Eoformer: Edge-oriented transformer for brain tumor segmentation

Sun, 01 Oct 2023 00:00:00 +0000

本文提出边缘导向Transformer（EoFormer），用于脑肿瘤MRI图像分割。该方法采用CNN-Transformer混合编码器，CNN提取局部低级特征，Transformer建模长距离依赖以生成全局高级特征；解码器集成边缘导向Sobel与Laplacian锐化模块，增强边缘信息。同时引入高效注意力与重参数化技术，提升特征表示能力与分割精度。

Get: Group event transformer for event-based vision

Sun, 01 Oct 2023 00:00:00 +0000

本文提出一种基于分组的事件视觉Transformer骨干网络GET，用于事件相机视觉任务。GET将事件按时间戳和极性分组为Group Token，并在特征提取过程中解耦时空信息与极性信息。通过事件双自注意力模块和分组Token聚合模块，实现空间与时间-极性信息的有效通信与整合，充分利用事件数据特性，提升事件视觉任务性能。

Learned rate-distortion cost prediction for ultrafast screen content intra coding

Tue, 18 Jul 2023 00:00:00 +0000

本文面向实时屏幕内容通信中的超快编码需求，提出基于学习的率失真代价预测方法。该方法不再通过实际编码计算RD代价，而是构建神经网络分别预测帧内预测、调色板及普通IBC模式的RD代价，并对IBC merge模式结合运动补偿与线性回归进行预测。利用预测结果生成分区-模式映射集，从而显著降低H.265/HEVC SCC扩展的编码复杂度，在保持编码效率的同时实现超快屏幕内容帧内编码。

Multimodal sentiment analysis with preferential fusion and distance-aware contrastive learning

Mon, 10 Jul 2023 00:00:00 +0000

本文针对多模态情感分析中文本模态与情感标签之间存在的虚假关联问题，提出了一种名为PriSA的新框架。该框架首先通过优先跨模态融合方法，利用文本模态引导计算跨模态相关性；随后引入距离感知对比学习，利用情感标签之间的距离信息进一步计算混合模态相关性；最终基于混合模态相关性和判别性类内特征识别情感信息。实验表明该方法能有效缓解文本虚假关联带来的影响，提升多模态情感分析性能。

Better and faster: Adaptive event conversion for event-based object detection

Mon, 26 Jun 2023 00:00:00 +0000

本文针对事件相机目标检测任务，提出高效事件表示Hyper Histogram，充分保留事件极性与时间信息；设计自适应事件转换模块AEC，基于事件密度通过自适应队列将事件流转换为超直方图，并适配现有帧基检测器；还提出事件增强方法Shadow Mosaic，提升样本多样性与泛化能力。在YOLOv5、Deformable-DETR和RetinaNet上验证，在1Mpx、Gen1和MVSEC-NIGHTL21数据集上取得显著优势，且推理速度快。

Deep spiking-unet for image processing

Sun, 01 Jan 2023 00:00:00 +0000

本文提出一种深度脉冲U-Net架构，将脉冲神经网络的生物合理性与U-Net的多尺度特征提取能力相结合，用于图像处理任务。通过脉冲神经元替代传统激活函数，在保持图像处理性能的同时显著降低计算能耗，为低功耗边缘端图像处理提供了新思路。

Text-Only Image Captioning with Multi-Context Data Generation.

Sun, 01 Jan 2023 00:00:00 +0000

本文针对仅使用文本数据训练图像描述模型的任务，提出一种多上下文数据生成方法。通过构造多样化的文本上下文，生成合成图像-描述训练对，使模型学习跨模态对齐与语义描述能力，减少对真实图像标注的依赖。实验表明该方法在多个图像描述基准上取得有效性能，为数据稀缺场景下的多模态学习提供了新思路。

Dual progressive prototype network for generalized zero-shot learning

Fri, 01 Jan 2021 00:00:00 +0000

本文提出一种双渐进原型网络用于广义零样本学习。该方法通过渐进式地学习可见类和不可见类的原型表示，并利用双分支结构建模视觉特征与语义特征之间的映射，有效缓解了零样本学习中的领域偏移和投影偏差问题。在多个标准基准数据集上的实验验证了所提方法的有效性。

Task-independent knowledge makes for transferable representations for generalized zero-shot learning

Fri, 01 Jan 2021 00:00:00 +0000

本文针对广义零样本学习（GZSL）中可见类与未见类之间的表示偏差问题，提出利用任务无关知识来学习可迁移的视觉表示。通过在大规模辅助数据上预训练或引入外部知识，使模型捕获与类别标签无关的通用特征，从而提升对未见类别的识别能力。在多个基准数据集上验证了方法的有效性。

Uncertainty-aware label rectification for domain adaptive mitochondria segmentation

Fri, 01 Jan 2021 00:00:00 +0000

本文提出一种不确定性感知的标签修正方法，用于域自适应线粒体分割。针对跨域场景下伪标签噪声导致的监督偏差问题，通过不确定性估计识别并修正不可靠标签，从而提升模型在目标域上的分割性能。在电子显微镜线粒体分割任务上验证了该方法的有效性。

VAE^ 2: Preventing Posterior Collapse of Variational Video Predictions in the Wild

Fri, 01 Jan 2021 00:00:00 +0000

本文针对野外视频预测中变分模型的后验坍缩问题，提出VAE^2方法。通过设计有效的潜在变量建模与训练机制，避免解码器忽略潜在码，从而增强模型对复杂动态场景的表征能力，提升视频预测的长期一致性与运动建模精度。实验表明该方法在多个视频预测基准上取得了优越性能。

Enriching optical flow with appearance information for action recognition

Wed, 01 Jan 2020 00:00:00 +0000

本文提出一种利用外观信息丰富光流表示的动作识别方法。通过将RGB外观特征与光流特征进行融合，增强运动表征的判别能力，从而提升视频动作识别的准确率。该方法在多个基准数据集上验证了有效性，表明外观信息能够有效补充光流在动作识别中的不足。

Posterior-guided neural architecture search

Wed, 01 Jan 2020 00:00:00 +0000

本文提出一种后验引导的神经架构搜索方法，利用后验分布信息指导架构搜索过程，以更高效地探索候选架构空间。该方法通过建模架构的后验概率，将搜索导向更有前景的区域，从而在降低计算成本的同时提升最终模型的性能。相关工作在图像分类等基准任务上验证了其有效性，为自动化机器学习中的架构搜索提供了新思路。

Spatiotemporal fusion in 3D CNNs: A probabilistic view

Wed, 01 Jan 2020 00:00:00 +0000

本文从概率视角重新审视三维卷积神经网络中的时空融合机制，提出了一种统一的概率建模框架，以刻画空间与时间信息在卷积过程中的交互关系。通过将时空融合视为潜在变量条件下的概率推断问题，该方法能够更有效地捕捉视频数据中的动态依赖，并提升模型在动作识别等视频理解任务上的表现。