Holo-World: Unified Camera, Object and Weather Control for Video World Model
本文提出Holo-World，一种统一的视频世界模型，可从单张图像出发，联合控制相机运动、物体动态和天气状态。作者构建了HoloStateData数据集，将多样视频转换为统一控制样本；并提出统一场景适配器，将世界保持与天气迁移分解到不同参数子空间，利用渲染背景、几何缓冲和物体控制维持场景结构，同时建 …
查看内容 ↗Explore / 内容索引
扩散模型
祝贺实验室科研成果发表于 ICLR 2026！
热烈祝贺李蔚同学，一项科研成果正式发表！
查看内容 ↗祝贺实验室科研成果发表于 ICLR 2026！
热烈祝贺彭岩松同学，一项科研成果正式发表！
查看内容 ↗ReactID: Synchronizing Realistic Actions and Identity in Personalized Video Generation
本文提出ReactID框架，旨在协调个性化视频生成中身份一致性与动作真实性的矛盾。针对主体-视频对齐不精确、训练不稳定、细粒度动作建模不足三大挑战，从数据、训练和动作建模三方面协同改进：构建高精度标注的ReactID-Data数据集；设计由易到难的渐进式训练课程；提出基于时间线的条件机制，通过主体感 …
查看内容 ↗Facm: Flow-anchored consistency models
本文针对连续时间一致性模型（CM）训练不稳定的问题，指出其根源在于捷径目标导致瞬时速度场被灾难性遗忘。为此提出流锚定一致性模型（FACM），以流匹配任务作为动态锚点，并设计扩展时间间隔策略统一优化、解耦两个任务，实现稳定且架构无关的训练。在ImageNet 256×256上，蒸 …
查看内容 ↗Perceptual image compression with conditional diffusion transformers
本文提出一种基于条件扩散模型的感知图像压缩方法，旨在解决现有生成式压缩方法性能提升有限和模型复杂度高的问题。方法采用扩散Transformer作为解码器，并利用Swin Transformer实现高效架构，以增强生成能力；同时引入多尺度特征融合模块，为解码器提供更丰富的信息特征。实验结果表明该方法在 …
查看内容 ↗Multi-modal diffusion network with controllable variability for medical image segmentation
本文提出一种具有可控变异性的多模态扩散分割网络（MMDSN），用于医学图像分割。该方法通过医学文本注释实现多模态条件控制，增强视觉语义表示的一致性，并建立视觉与语言之间的对应关系。同时，MMDSN 在潜在高斯空间中对多个时间步的不确定性分布进行约束，从而控制每个去噪时间步的变异性，减少扩散模型随机采 …
查看内容 ↗Microcinema: A divide-and-conquer approach for text-to-video generation
本文提出 MicroCinema，一种简洁而有效的文本生成视频框架。它采用分而治之策略，将任务分解为文本生成图像和图像与文本联合生成视频两个阶段，从而充分利用现有文本到图像模型的强大能力，生成逼真且细节丰富的图像，并让视频模型更专注于运动动态的学习。为高效实现该策略，文章设计了外观注入网络和外观噪声 …
查看内容 ↗Image captioning with multi-context synthetic data
本文提出一种基于多上下文合成数据的图像描述生成方法（ICSD）。针对现有合成数据仅能生成单一视角、上下文有限的问题，利用大语言模型从语料中提取同一场景的多视角描述并压缩为多上下文句子，再通过扩散模型生成复杂图像，仅用合成图像-文本对训练描述模型。在MSCOCO、Flickr30k和NoCaps等数据 …
查看内容 ↗Panacea: Panoramic and controllable video generation for autonomous driving
本文提出Panacea，一种面向自动驾驶场景的全景可控视频生成方法。该方法通过创新的4D注意力机制和两阶段生成流程，有效解决了生成视频中的时间与跨视角一致性问题；同时引入ControlNet框架，利用鸟瞰图（BEV）布局对生成内容进行精细控制。在nuScenes数据集上的实验表明，Panacea能够 …
查看内容 ↗