Vision Intelligence Laboratory
中国科学技术大学 视觉智能实验室隶属于类脑智能技术及应用国家工程实验室
探索我们的研究研究内容
类脑计算 / Event vision
如何捕捉传统相机错过的瞬间？
高速运动、低照度与强光变化，会给传统相机的视觉感知带来挑战。事件相机通过异步记录亮度变化，提供细粒度的时间信息。我们围绕事件信号的表示、重建与理解展开研究，探索高效、低时延的视觉感知方法。
- 事件表征与高效建模
- 面向稀疏、异步的事件流，研究自适应分组、分层聚合与特征选择，在保留关键运动信息的同时控制计算开销。
- 帧事件融合与视觉重建
- 结合图像的空间细节与事件的时间信息，研究视频超分辨率、低照度增强及复杂运动下的细节恢复。
- 面向任务的事件理解
- 围绕目标检测与语义分割，探索稀疏事件特征与多模态信息的融合，支持复杂场景中的目标识别与区域解析。
研究路径
- 异步事件流
- 时空特征建模
- 重建与场景理解
通用视觉感知 / Visual perception
如何让机器在开放环境中稳定感知？
真实环境中的目标具有不同的尺度、姿态与类别，光照、遮挡和场景变化也持续考验模型的适应能力。我们以目标检测、图像分割与三维理解为核心，结合高效网络与视觉基础模型，探索可泛化的视觉感知方法。
- 目标检测与精准定位
- 面向多尺度、密集与旋转目标，研究细粒度定位和实时检测方法，兼顾复杂背景下的识别精度与运行效率。
- 场景分割与开放感知
- 研究语义、实例与全景分割，结合视觉语言预训练及自监督学习，探索开放类别识别与跨域迁移。
- 高效模型与三维表征
- 结合点云分析、目标跟踪与深度估计，研究空间结构和时序关系的表达，探索高效的三维场景理解。
研究路径
- 图像与点云
- 通用特征学习
- 目标与场景感知
视频理解 / Video understanding
如何从连续画面中理解行为与意图？
视频不仅包含单帧中的物体与场景，还承载着随时间展开的动作、交互和语义。我们连接视觉、语言与动作信息，研究长时序内容的理解与可控生成，并探索如何将多模态认知用于复杂任务分解与具身交互。
- 多模态与时空理解
- 融合画面、文本与语音，研究时空特征及跨模态语义关联，支持行为识别、视频问答与内容检索。
- 可控视频生成
- 围绕文本驱动与场景可控的视频生成，探索分阶段建模和扩散方法，关注长时内容的连贯性与生成质量。
- 任务分解与具身探索
- 将复杂多模态任务拆解为可执行的子问题，探索视觉语言动作模型，连接指令理解、空间交互与任务规划。
研究路径
- 连续画面与语言
- 时空语义关联
- 理解与生成
视频编码 / Visual compression
如何用更少的比特传递更丰富的视觉？
图像与视频的传输既要节省带宽，也要保留供人观看和机器分析的有效信息。我们围绕端到端编码、生成式压缩与语义特征编码，研究码率、重建质量和计算开销之间的权衡，探索面向人机协同的视觉表示。
- 端到端压缩与高效编码
- 联合优化视觉表示、概率建模与重建网络，探索高保真、低时延的编码架构，提高有限码率下的信息利用效率。
- 生成式重建与感知质量
- 利用扩散模型等生成式方法恢复图像纹理与细节，研究低码率下的感知质量，以及不同图像域中的压缩适应性。
- 面向机器的特征编码
- 从像素压缩拓展到大模型特征与语义信息压缩，在降低传输开销的同时，关注下游视觉任务所需的信息保留。
研究路径
- 视觉信号
- 紧凑表示与编码
- 重建与智能分析
生物医学图像 / Biomedical imaging
如何将多模态影像转化为可靠的医学信息？
不同医学影像提供互补信息，也存在标注有限、模态缺失和数据差异等挑战。我们围绕医学图像分割、跨模态融合与医学视觉语言模型，结合解剖结构和领域知识，探索可靠的影像分析及诊断辅助方法。
- 医学分割与结构解析
- 围绕器官、组织与病灶的精细分割，研究有限标注条件下的特征学习，帮助提取影像中的解剖结构与异常区域。
- 缺失模态与跨模态融合
- 结合多模态影像的互补特征，研究模态缺失时的表示学习与信息融合，关注数据不完整条件下的分析可靠性。
- 医学知识与视觉语言建模
- 将医学领域知识融入图结构与提示学习，探索影像和文本的关联建模，并研究基于影像特征的疾病分型预测。
研究路径
- 多模态影像
- 结构与知识融合
- 影像解析与辅助评估
MeDKCoOp: Dual Knowledge-guided Graph Prompt Learning for Biomedical Vision-Language Models
Incomplete multi-modal brain tumor segmentation via learnable sorting state space model
Advancing presurgical non-invasive molecular subgroup prediction in medulloblastoma using artificial intelligence and MRI signatures
从感知到理解
Perception → Understanding
