Research

研究方向

团队聚焦智能视觉信息处理与传输技术,围绕视觉感知、智能编码、三维计算与人工智能视觉应用形成四条相互协同的研究主线。

Overview

智能视觉信息处理与传输

智能媒体编码实验室聚焦于智能视觉信息处理与传输技术,围绕视觉数据的感知、压缩、计算、传输与呈现,形成四个主要研究方向:视觉感知建模、智能视觉编码与通信、三维视觉编码与计算、人工智能及其视觉应用。各方向相互支撑,贯通从视觉质量理解、媒体高效表达,到沉浸式内容处理与智能视觉系统构建的完整技术链路。

视觉感知建模 智能视觉编码与通信 三维视觉编码与计算 人工智能视觉应用

Direction 01

视觉感知建模

围绕人类视觉系统的生理与心理感知规律,研究从视觉机理分析到可计算感知模型的统一建模方法。面向图像、视频与三维点云,开展图像质量评价(IQA)、视频质量评价(VQA)和点云质量评价研究,重点关注压缩失真、传输退化与沉浸式观看条件下的主客观质量表征与预测,并将感知模型用于编码参数优化、资源分配和用户体验提升。

视觉机理与建模 图像质量评价(IQA) 视频质量评价(VQA) 点云质量评价
人眼视觉感知机制
人眼视觉感知机制
点云主观和客观质量评价流程图
点云主观和客观质量评价流程图

Direction 02

智能视觉编码与通信

面向人眼观看与机器分析对视觉信息表达的不同需求,研究图像、视频及多模态视觉数据的高效压缩与可靠传输。重点开展学习型图像编码(LIC)、神经视频编码(NVC)和面向机器视觉的图像压缩研究,并探索感知驱动的率失真优化、语义特征编码、自适应码率控制以及复杂网络环境下的视觉通信,实现感知、编码与通信的协同设计。

学习型图像编码(LIC) 神经视频编码(NVC) 面向机器视觉的图像压缩 感知—编码—通信协同
视频编码优化框架
视频编码优化框架
传统/端到端视频压缩框架
传统/端到端视频压缩框架

Direction 03

三维视觉编码与计算

面向三维场景和沉浸式媒体的高效表示、传输与交互,研究三维视频、点云、光场及多视角视频的采集、编码、增强、重建与渲染。重点探索点云几何与属性联合压缩、动态三维内容的时空建模、虚拟现实(VR)与增强现实(AR)内容处理,以及 3D 高斯表示与编码,为六自由度(6DoF)沉浸式体验、实时直播和远程交互提供技术支撑。

三维视频 点云编码与增强 VR / AR 3D 高斯
3D视频编码框架
3D 视频编码框架
VR视频直播系统
VR 视频直播系统

Direction 04

人工智能及其视觉应用

研究人工智能驱动的视觉内容分析、理解、生成与交互方法,重点开展复杂退化条件下的图像增强与修复、长短时视频理解与生成、视觉—语言跨模态建模,以及面向真实场景的智能视觉系统研发。结合生成式人工智能与视觉基础模型,推动相关技术在智慧城市、工业检测、遥感分析和沉浸式媒体等场景中的应用。

图像增强与修复 视频理解与生成 视觉—语言建模 智能视觉系统
人工智能技术的前沿应用
人工智能技术的前沿应用
智能视频分析
智能视频分析

招生与招聘

团队长期招收博士、硕士研究生以及博士后。欢迎对研究方向感兴趣的优秀本科生加入实验室。

博士研究生 硕士研究生 博士后 本科生科研

联系方式

欢迎围绕智能视觉编码、视觉质量评价、三维媒体、VR/AR 和人工智能视觉应用开展交流合作。

zhangyun2@mail.sysu.edu.cn