新型视频语义编码技术白皮书（2024年）-中移智库

1 新型视频语义编码 技术白皮书 （2024 年） 发布单位：中移智库 编制单位：中国移动通信研究院 新一代移动信息通信技术国家工程研究中心未转曲· 编制说明 参编单位及人员 中国移动通信研究院：喻炜、杨蕾、郭勐、赵丽丽 北京大学：马思伟、贾川民 中兴通讯股份有限公司：黄成、李秋婷 · 前 言 随着 5G 和人工智能技术的发展，视频编码技术迎来了新的机遇。同时，新型视频内容（VR 视频、全景视频、自由视点视频等）相继涌现，给数据的存储和传输带来了全新挑战。新机遇带来新挑战，从而引发新型技术需求。在此背景下，视频语义编码技术将基于视频内容和语义特征进行编码，同时追求信号保真度、感知自然性和语义质量，有望突破传统视频编码方法的性能瓶颈，成为助推视频产业高质量发展的新动能。 本白皮书旨在提出视频语义编码技术架构，介绍了视频语义编码技术背景、典型应用场景和相关技术方案，总结梳理了标准化进展，并对未来技术发展趋势进行展望。 本白皮书的版权归中国移动所有，未经授权，任何单位或个人不得复制或拷贝本建议之部分或全部内容。 中国移动 新型视频语义编码技术白皮书（2024） 1 目 录 1. 视频编码技术总体发展态势 ............................................................................................... 2 2. 视频编码技术发展概述 ....................................................................................................... 5 2.1 视频编码..................................................................................................................... 5 2.2 基于语义通信的编码传输......................................................................................... 7 3. 视频语义编码传输关键技术 ............................................................................................. 10 3.1 视觉感知编码........................................................................................................... 11 3.1.1 JND 编码 ................................................................................................... 12 3.1.2 ROI 编码 ................................................................................................... 12 3.2 生成式编码............................................................................................................... 13 3.3 跨模态编码............................................................................................................... 15 3.4 机器视觉编码........................................................................................................... 16 3.5 编码数据传输........................................................................................................... 16 3.5.1 媒体封装 ................................................................................................... 17 3.5.2 流媒体传输 ............................................................................................... 18 4. 标准化进展及建议 ............................................................................................................. 20 4.1 AI 视频编码 ................................................................................................................ 21 4.2 VR 视频编码 .............................................................................................................. 22 4.3 多视点视频编码 ......................................................................................................... 23 4.4 面向机器的视频编码 ................................................................................................. 23 5. 总结与展望 ......................................................................................................................... 25 缩略语列表 ...............................................................