Dong Liu | ViLab

DT-UFC: Universal large model feature coding via peaky-to-balanced distribution transformation

Mon, 27 Oct 2025 00:00:00 +0000

本文首次系统研究大模型通用特征编码问题，旨在降低分布式部署中的传输与存储开销。针对不同模型提取特征分布差异显著（如DINOv2特征高度集中、SD3特征分散均匀）导致压缩效率低、跨模型泛化难的问题，提出一种从峰值分布到平衡分布的变换方法，实现通用且高效的特征压缩与传输。

Feature compression with 3d sparse convolution

Sun, 08 Dec 2024 00:00:00 +0000

本文面向视频编码与机器（VCM）中的特征压缩任务，指出现有方法未充分利用特征的维度与稀疏性。研究发现特征具有低空间维度、高通道维度的特点，传统基于2D卷积的下采样方式并不适用，因此提出采用3D卷积进行特征压缩；同时利用特征的稀疏性引入稀疏卷积，以降低模型复杂度。作者在多种网络结构和输入特征上验证了所提方法的有效性，为特征压缩提供了新思路。

Perceptual image compression with conditional diffusion transformers

Sun, 08 Dec 2024 00:00:00 +0000

本文提出一种基于条件扩散模型的感知图像压缩方法，旨在解决现有生成式压缩方法性能提升有限和模型复杂度高的问题。方法采用扩散Transformer作为解码器，并利用Swin Transformer实现高效架构，以增强生成能力；同时引入多尺度特征融合模块，为解码器提供更丰富的信息特征。实验结果表明该方法在感知图像压缩任务上取得了优越的性能。

Learned rate-distortion cost prediction for ultrafast screen content intra coding

Tue, 18 Jul 2023 00:00:00 +0000

本文面向实时屏幕内容通信中的超快编码需求，提出基于学习的率失真代价预测方法。该方法不再通过实际编码计算RD代价，而是构建神经网络分别预测帧内预测、调色板及普通IBC模式的RD代价，并对IBC merge模式结合运动补偿与线性回归进行预测。利用预测结果生成分区-模式映射集，从而显著降低H.265/HEVC SCC扩展的编码复杂度，在保持编码效率的同时实现超快屏幕内容帧内编码。