H.266(VVC)行业发展现状
H.266,即VVC,已于2020年6月完成标准化工作,其标准号为Rec. ITU-T H.266 and ISO/IEC 23090-3,标准将在2020年11月正式开始生效。H.266最显著的特点就是其相比起它前一代的标准,即ITU-T and ISO/IEC High Efficiency Video Coding (HEVC),标准号Rec. ITU-T H.265 and ISO/IEC 23008-2,有近50%的压缩性能的提升,而相比起更早的标准H.264/MPEG-4 AVC standard (Rec. ITU-T H.264 and ISO/IEC 14496-10) 更是有4倍的压缩性能提升,节省了更多的储存空间,网络带宽,同样的带宽,我们可以传输更多的视频,更多的频道,我们也可以传输更高分辨率的视频,更高帧率的视频,更高质量的视频,可以更好地应对出现由于以下技术带来的更高的对视频的要求,如UHD(ultra high definition), HDR(high dynamic range ),WCG(wide color gamut),HFR(high frame rate ),逐帧扫描的faster refresh rates,
开源VVC相关代码
- 最重要的肯定是官方的参考模型,JVET在标准化制定的过程中,一直更新的VTM,VVC Test Mode, 它包含encoder和decoder,但是作为参考软件,顾名思义,其只能作为参考,即作为开发自家的codec的一个参考(codebase),是为了给熟悉标准的人而准备的,软件内部实现了VVC的所有的内容,非常的庞杂,并没有经过深度的优化,所以不适合作为商用。代码可以在其官方Gitlab上找到
2. InterDigital公司开发了一款多线程VVC的decoder,这个decoder在多线程上做的优化比起单线程的VTM(Oct. 2020)来,有6到10倍速度的提升。因为是基于VTM做得优化,所以其也支持所有VTM的特性。我看了下gitlab,如果我没猜错的话,分支中后缀带MT的应该就是
3. Fraunhofer HHI发布的一款VVC编解码器,VVenC和VVdeC,完全开源,与2020年9月发布,现在参与的人数还不是很多,大部分是机构内部人员在开发,它支持很多特性,有
- multithreading operation
- single-pass rate control
- perceptual QP adaptation
- motion-compensated temporal filtering (MCTF)
软件定义了4套preset来定义速度与质量之间的平衡,分别为
- slow
- medium
- fast
- faster
四种预设中,从主观质量上来说,对于4K,UHD,SDR的测试视频,medium设置的质量就可以匹敌VTM的质量了(VTM的MCTF和QP Adaption关闭,VVenC打开这两者,且VTM和VVenC均关闭码控),且编码时间上VVenC超过VTM 100+倍。代码可以从
找到。
4. Friedrich–Alexander University 大学开发了一款VTM analyzer,作为VTM的一款插件(add-on),它统计在解码一个VVC流的时候,流中使用了哪些Tools和block的编码模式。可以给分析VVC的流一定的帮助。
Software Decoder
1. Sharp 开发了一个VVC的decoder,截至至2020年6月,报告的结果,CTC中的4K UHD视频,可以达到60fps,码率可达到40Mbps
2. 腾讯 O266dec, 腾讯的软解有做SIMD和多线程的优化,而且于2020年10月基于FFMPEG/VLC开发了一个VVC的播放器,腾讯的O266解码器,测试CTC视频,相比起VTM,单线程情况下,有三倍的速度提升,8线程情况下有20倍速度提升,解码UHD视频最高可达到60fps、40Mbps,解码Full HD最高可达到200fps,
2020年12月,发布了移动平台的经过ARM和Neon优化的decoder,在苹果的Apple A14 处理器上(iPhone 12Pro)单线程的情况下,能达到解码8比特1080p CTC测试流超过50fps,多线程的情况下,能超100fps,甚至对于8比特 4K UHD 采用Random Access,可以达到30fps的解码速度。
3. 阿里巴巴的Ali266 decoder,阿里的VVC decoder是一款针对移动端的decoder,有对多线程,ARM 汇编,cache,memory进行优化,对于8bit 720p,1080p,(2-4线程可以达到60fps)4K可以达到实时解码(关闭ALF)。2021年4月,新Ali266,在打开ALF和CCALF的情况下,CTC测试流Class A/B,8线程情况下,可以比CTC快15倍。
4. 快手KwaiDec,2020年4月发布,声称全面支持main profile的所有VVC tools,在安卓平台,单线程解码2K视频达到33fps,是VTM decoder 的4.1倍,在IOS平台,KwaiDec解码2K CTC视频,单线程达到94fps,4.78倍于VTM-11.0
5. 字节跳动BVC,支持多平台,Android,IOS,Linux/MacOS, Windows,专为移动平台做了特别优化,解码4K,8bit CTC视频,单线程平均达到22fps,10倍之于VTM-11.0,开6线程的话,可以达到55fps,解码2K,8bit CTC视频,单线程平均86fps,8.8倍之于VTM-11.0
Software Encoder
1. 字节跳动BVC encoder,于2021年4月发布,支持大部分VVC tools,同时加入了Scene Change detection,rate control和多线程,
比特流分析工具
1. Elecard StreamEye 和 StreamAnalyzer 均于2020年上半年发布
2. ViCueSoft 也于2020年下半年发布了 VQ Analyzer bitstream analysis
Encoding Products and Services
1. KDDI Research: a real-time VVC encoder with 4K @60 fps capability in September 2020
2. Ateme launched support for VVC in its Titan family of products, and demonstrated the technology in an OTT channel launched in November 2020
3. Bitmovin, in partnership with Fraunhofer HHI based on VVencC as described in item 3), announced support of VVC in its video encoding platform in November 2020