​AVS3支持下的8K内容生产和传输应用实践

news/2024/7/17 21:27:30

AVS标准经过20年发展,到AVS3这一代实现了国产标准从跟跑到领跑的突破。博雅睿视团队深度参与AVS3标准制定,开发的8K AVS3实时、离线编解码设备有力支持了我国8K超高清视频产业的落地和推广。

本次分享将会分为三个部分,第一部分重点介绍AVS标准的发展历程以及AVS3标准的现状和最新进展;第二部分重点介绍8K直播、点播、内容生产整条链路当中的一些关键技术、挑战和我们的一些落地思路与实践经验;第三部分分享一下未来几年博雅睿视在8K超高清领域重点关注的技术和市场方向以及AVS生态建设方面的计划和思考。

文/韩巍

编辑/LiveVideoStack

大家好,我今天分享的题目是:AVS3支持下的8K内容生产和传输应用实践。众所周知,目前国内8K产业缺乏内容、缺做内容的人去丰富内容。于是我们做了8K的超分、增强,从而弥补内容的缺失。

我是来自博雅睿视的韩巍。博雅睿视是北京大学视频与视觉国家工程研究中心孵化的一个技术成果转化公司,主要致力于我国的视频编解码标准、AVS的产业化和国际化。AVS标准在高文院士的带领下做了20年,共三代四个标准,并且都成为国标、行标,其中AVS2是军标,在IEEE是国际标准。同时在今年7月,AVS3成为了欧洲DVB在超高清领域的推荐标准。

使用MPEG-2、H.264、H.265会面临高昂的专利费问题,因此出于国家战略和产业安全的需要,从2002年就开始推动我国自主知识产权的视频编解码标准的建设。 

今天的内容分为三个部分:

ce313c3ed5609c0ed2f3924bc151760a.png

-01-

AVS标准发展历程及AVS3最新进展

首先介绍AVS标准的发展历程及AVS3最新进展。

d939a1c793588821a3d3c0154c7cbeda.png

我国自2001年加入WTO以后成为了全球最大的DVD出口国,但是很多DVD在出海上岸的时候会由于使用了MPEG-2、H.264等视频编码标准被收取高昂的专利费。

香山会议是科技部和中科院每年在香山举办的关于中国重大科技发展的会议。在2002年3月的香山会议中,工信部针对DVD事件提出必须要做一个我国自己的视频编码标准,从而抗衡美国的MPEG-2和H.264。

944981b662305f20f1b7c9201de2d947.png

AVS标准是依据美国的MPEG-2和H.264提出的。最早的是MPEG-2,由日本的索尼、美国贝尔实验室、哥伦比亚大学、飞利浦等联合提出,这个编解码标准推动了全球音视频的基本发展。之后韩国、德国在90年代后期对该领域大量投入关键技术研发,产生了264这代标准。

DVD事件推动了香山会议之后,陆续又发生了MP3出口专利事件、机顶盒专利事件和数字电视标准事件。例如,全球的电视机面板出口我国占70%,如果瞄准厂家收专利费,HEVC至少有三个专利池,每个专利池至少收1.5美金,这对我们产业来讲是非常大的一个威胁。

整个与标准相关的产业市场从2002年到2006年大概5,000亿,到2008年有9,000亿,到2018年以后是万亿以上。如果我国能有自己的标准甚至出口,这将是一个巨大的产业。因此,建立我国自己的标准既是为了保证我国战略国家产业的安全,也是为了能把我国的标准、产业推出去从而获得利润,这是非常有意义的事情。 

8ad0d491ff7c07a2c2eda54a69beaf5a.png

AVS标准在AVS工作组成立的时候就有一个非常好的设计。前因是,MPEG组织现在已经散了,其中的公司太多导致没有统一的意见。他们专利费的收取是H系列标准在推广过程中产生很大阻力的一个原因。

因此我们在设计的时候,一开始就由AVS工作组制作标准,参与制作标准的包括了很多高校,例如北大、浙大、中科院计算所,以及产业,例如海康、字节、阿里、腾讯、咪咕等。

另外,成立AVS专利池委员会,各个组织加入我们贡献专利的时候,必须通过签署协议统一收费标准且用一个专利池收费。目前承诺整个产业链上只收一次费,只收终端芯片,一次只收1元人民币。这相比H.265更加规则和低廉,有助于整个生态在国际上推广。

同时成立了AVS产业联盟,包括了国内将近200家的科研院所和企业,共同推动整个标准的落地和产业化,这是非常大的一个优势。 

36b5fc9002610bfaadce5b15b2e9b20f.png

AVS是怎么炼成的呢?2002年8月在北京举行第一次会议,成立AVS;在2003年12月的第七次会议上制定完成AVS1的标准;后来央视要把AVS作为广电强制标准的时候,我们做了一版AVS+,AVS+对标264的压缩效率;2012年9月在桂林的第42次会议上启动AVS2,对标265;2015年,第五十五次会议时AVS2发布,AVS2和H.265压缩效率相当,但时间上晚了好几年。后来AVS2是广电的强标、国标,也进到了军标,另外AVS2也进入到了IEEE,是国际标准。

2018年启动AVS3的制定,面向8K,这类似于现在做5G和锂电池一样。以前一直是跟跑和追赶,我们希望这次能在266标准推出之前做出来,因此在十几个月以后的2019年1月,AVS3制定完成,共审议技术提案约6000项,输出文档2000多项。

2019年3月,AVS3标准发布。我们实验室是和海思、广科院共建,于是同年9月,在荷兰IBC发布第一颗解码芯片Hi3796CV300。至此,我们从标准到产业都打开局面,赶在了266之前。

虽然我们在4K高清以下的领域并不占优,但在超高清领域,我们第一次站在了美国标准之前。这也和我国的战略安全有关,全球的面板出口量我国占比达50%-70%,这种高功耗、劳动密集型产业一定不是长久之计,将来可能会转移向越南、印度等劳动力成本更低的国家。如果不顺势开发产业链,那么好不容易积累起来的技术优势就会荡然无存。

ab3b8cdb3444e31adec32ef6f7c6666f.png如图所示,AVS支撑了国内高清频道等重大应用

图中是AVS3标准制定的过程和一些关键成果,以及部分主要成员在封闭开发时期的合影,包括高文院士,马思伟教授等。

c3211a28e470821222b56fa75707d73b.png

AVS3从技术标准制定到芯片面市用时18个月,集合多方力量,制定了技术标准、芯片终端和系统应用,形成完整的生态和应用体系。

2bc19079840ccea577d6537797a515c0.png

AVS3是面向8K的,所以压缩效率要够。图为30年间视频编码领域的压缩效率演变。

e7a8f904268ce2e2113d8cc8b2802659.png

AVS3和HEVC/H.265相比,超高清视频压缩性能YUV综合提升超过36%。

20c16cf2175b73611127ef2a1a711f4a.png

融合智能编码后,在同等条件下,压缩性能再度提升超过44%。和VVC/H.266相比,提升超过8%。

20c6071670f9e71e2edc01846b019fc8.png图为AVS标准国际化的进展

中国音视频产业从技术落后到快速发展,以北大为代表的一批学术科研力量带动了中国音视频的发展,大量软硬件人才纷纷投入对于音视频产业发展的热忱。

724d5a59c0bfeea2effee51deb2d338c.png

学术突破带动了企业兴起。除了AVS之外,可以看到在H.266/VVC提案单位中,中国面孔占50%以上,迸发出了蓬勃的力量。

-02-

AVS3支持下的8K应用实践

caa19bf6237176aa8a1d5de73c50697c.png

针对于超高清视频产业的发展,各国都有制定相应的规划,以应对产业竞争,抢占制高点。

0e5969fa99c595710e1452baecaaf194.png

e5cd9d281a9a5cf478dd796c5492ce83.png图为AVS3标准制定后,在8K超高清视频产业所做的一些案例

6682284b76702b1ea88b742d31c12754.png

在AVS支持首次8K冬奥直播时,博雅睿视支持解决了8K AVS3编码码率控制问题,其CPU+GPU方案帮助歌华王城8K转播服务,并完成电影博物馆冬奥开幕式8K解码转播任务。

6b2aa665462d9eabf4c6915938fbde67.png

博雅睿视研发的基于x86架构的AVS全系列实时编解码系统,支持了央视冬奥会的超高清直播转播。 

59f3ee4aaa10ccf69a1a9768098ebceb.png

217a903319d72f5c9b77d36c27b7c150.png

2021年5月,工信部联合广电总局、央视等单位,组织开展“百城千屏”8K超高清视频落地推广活动,AVS3为其提供助力。

363a8129d18e0e327d45c5ae4ff5b360.png

图为8K大屏的逻辑架构图。依广电总局要求,户外大屏必须考虑信息发布安全要求,信号不能以直播方式播放。图文等信息都会以加密文件形式下发,前端信源通过素材管理,再信息发布到大屏。

9b0d59057028372e7d96d0a3fb28d43c.png

如图所示,高清视频文件经过存储系统,到超分离线转码,给到信息发布系统。直播信号会经过IP矩阵,调度到8K转码收录系统,再进入信息发布系统。信息发布系统的内容通过IP专线传输至大屏端的8K接收解码器,进行控制播放。

另外,8K大屏的信号会进行一路降分辨率转码,通过回传编码器,做特征提取,以防止播放内容被篡改。

8cbd787bf07a9effa91b7ebf9d2b4fd6.png

大量设备集中在播控中心,实现信息发布、信号调度、内容及信源监控、内容收录、8K内容生产和智能AI审核等功能。

9f95e4824886e2ef92ce79cf6962bf03.png图为8K超高清直播遇到的一些难题和对应的解决方案

070f2c2dae6485a22fad17d5cbdd900f.png

GPU适合并行运算,但熵解码是线性的,放在CPU中比较合适。其他的可以在GPU中并行,例如反变换、帧间预测、Deblock、SAO、ALF等,利用GPU多核并行。最后把重构信息异步拷贝至CPU。

dcbe29cb8527f5841430914242fb0cd8.png图为AVS3 8K实时编码器的两种服务器方案

cf383b3564a3e23649275b434a0d6bee.pngAVS3 8K实时解码器的三种方案及配置

-03-

未来几年技术演进和生态建设的思路

8b3945f77a86c0f4c570ee4990053bc2.png

传统编码的难题,现有框架下编码工具的提炼成本越来越高,而单项技术平均压缩效率提升从90年代的20%降为如今的不足1%。

如图中有图所示,AVS3和VVC分别使用36项和34项工具,而其中超过1%的分别只有7项和8项。 

e292e6781ca74f72abfc5425de4ddb27.png

但视频编码需求依然旺盛。8K内容原始数据量60Gbps,压缩码率希望是100Mbps以下,如何解决?

沉浸交互式视频有多个维度的数据,如分辨率、位宽、帧率、立体、压缩比等。传统编码对智能分析处理的支撑不足。

以上需求,都表示我们需要更高效更智能的编码方法。 

4aa6351b8a1bc6ad63b84e2eaa5d1c47.png

全神经网络编码可能是一个探索的方向。对未来编码器的需求有几个方向:

1.直接依据视觉失真优化编码码率;2.简化编解码开发;

3.计算高度并行;4.能在已部署硬件上高效运行;5.可下载更新。

4381b7a96d89678c278978500f825ff0.png

AVS3的第二个阶段正是朝着这个方向在发展。融合AI技术,目前AVS3性能超过VVC 7%,未来目标是比其提升20%。 

3efe180bbad61537cf1e5eb57a38a0d9.png

整体来讲,智能编码会随着数据丰富度、算力提升向前发展。智能编码的未来趋向是为智能媒体应用定义相应的数据格式,提供更高效的数据接口。

03ed2fa64da6ee77bd8ba4b4335378e6.png

AVS3从技术上可对标H.266,时间上还早一些,但为什么生态没有做起来?在一些低延时、低功耗场景,没有芯片结合就较难有深入的发展和探索。目前的计划是四年发布3颗AVS3编解码芯片。

78587555907350d91dc4c64cae857808.png图为AVS3生态建设计划

以上就是我的分享,谢谢!


dbc4673f5ee47a51555f2cdc25beafd3.png

扫描图中二维码或点击“阅读原文 

查看更多LiveVideoStackCon 2023上海站精彩话题


http://lihuaxi.xjx100.cn/news/1267703.html

相关文章

Vue.js 现代前端开发的利器

Vue.js: 现代前端开发的利器 作者:阿发家的阿花 引言 在当今的前端开发领域,Vue.js已经成为最受欢迎的JavaScript框架之一。它的简洁性、灵活性和强大的功能使其成为许多开发者首选的工具。本文将介绍Vue.js的核心概念、主要特点以及为什么它在现代前端…

【干货】Android系统定制基础篇:第八部分(增加以太网设置菜单、支持多摄像头、替换默认签名)

一、增加以太网设置菜单 Android 系统设置默认并没有以太网相关设置项,但以太网功能是支持的,因此我们仅仅需要增加设置界面即可。以太网设置界面如下: 修改 diff --git a/packages/apps/Settings/AndroidManifest.xml b/packages/apps/Se…

为什么数据库字段建议设置为NOT NULL?

目录 一、性能 二、开发的友好性 三、聚合函数不准确 四、null与其它值计算 五、distinct、group by、order by的问题 六、索引问题 七、其它问题 一、性能 如果查询中包含可为null的列,对MYSQL来说更难优化,因为可为null的列使得索引、索引统计…

安装虚幻引擎

1、下载和安装 Epic Games启动程序。 下载地址:https://www.unrealengine.com/zh-CN/download 进入网站你可以看到下载信息和推荐系统要求等: 点击“下载启动程序”即可下载,或者直接点击下载链接:https://epicgames-download1.ak…

曲终

引 记录研究生三年。 跨专业这个路子太艰辛了,赶紧走下来掉了层皮。 研一 研一上 我一个研一跨专业的菜鸡经历了以下心路历程。 压力,挫败感,周围人好强……可能这就是成长吧。 从9月入学开始学Python,numpy、pytorch等一系列框…

MySQL——存储过程与存储函数

MySQL从5.0版本开始支持存储过程和存储函数。存储过程和函数能够将复杂的SQL逻辑封装在一起,应用程序无须关注存储过程和函数内部复杂的SQL逻辑,而只需要简单地调用存储过程和函数即可。 1. 存储过程概述 1.1 理解 含义:存储过程的英文是 S…

【Flutter】包管理(5)Flutter 中 Hive 的详细使用说明

文章目录 一、前言二、Hive 包的版本号三、深入理解 Hive1. Hive 的工作原理2. Hive 的数据类型四、Hive 的高级使用1. Hive 中的 BoxCollections2. Hive 中的事务处理3. Hive 中的对象存储五、Hive 在 Flutter 中的应用1. Hive 和 Flutter 的集成2. 在 Flutter 中使用 Hive 进…

TDEngine 调优 - 高速查询及插入

TDEngine 调优 - 高速查询及插入 一、基本参数二、TDEngine大数据核心2.1 vnode分片2.1.1 表分布不均匀2.1.2 vnode分布不均匀2.2 时间段分区 三、数据库性能优化3.1 数据文件3.1.1 maxrows 和 minrows3.1.2 数据的保留策略duration\days 3.2 磁盘IO - vgroups3.3 性能优化实战…