JPEG2000、JPEG-XS、H.26X等编解码技术哪种最受欢迎?
视频编解码器已经成为AV行业中一个非常令人困惑的部分。除了首字母缩略词的代号语言外,还需考虑在局域网(LAN)和广域网(WAN)上传输的几种高延迟和低延迟编解码器。
之所以使用编解码器,是因为我们已经过渡到数字媒体(1和0指令)来捕获、编辑、存储和传送视频和音频。因为我们可以对视频和音频进行采样和数字化,所以我们可以利用从一帧视频或音频到下一帧的冗余;因此,我们可以简单地复制和重复像素以减小文件大小。或者,我们可以以较低的分辨率从每个帧中采样信息,理论上这一过程在信号再现时不会被注意到。
如前所述,存在两种编解码器:高延迟和低延迟版本。当在WAN通过视频传输视频或录制到各种媒体时,高延迟编解码器用于最大化带宽利用率。“高延迟”意味着从视频进入编码器到退出的时间间隔相当长。对于流式传输,可能需要几秒钟。相反,“低延迟”表示相同时间间隔很短。
但是,为什么会有延迟呢?编解码器硬件和软件分析传入视频流,并从一帧到下一帧中寻找时间和空间的变化。编解码器将创建一系列视频帧,众所周知的一组图片(GOP),由两个内编码或I帧(也称为关键帧)记录,且还包含双向(B)和向后和向前做出压缩决策的预测(P)帧。
这需要时间才能完成。这导致广播的等待时间为1.5秒,直播则为10秒到20秒。
GOP越长,压缩率越高(50:1至100:1);尽管这减少了带宽需求,但增加了延迟。较短的GOP降低了压缩率,从而增加了带宽需求并减少了延迟。利用GOP的编解码器属于运动图像专家组(MPEG)类别,主要的示例是MPEG2(用于广播和有线传输),AVC H.264(用于通过WAN和蓝光进行视频流传输)和HEVC H.265(用于4K流,超高清蓝光和8K)。
如果带宽不是问题,但延迟是一个问题,我们将改用联合图像专家组(JPEG)编解码器。对于JPEG,没有GOP。相反,每一帧都包含所有图片信息,类似于翻转电影。但是,可以在每个帧内执行一些光压缩(帧内压缩),并且完成此操作对图像质量有显著影响。
我们通过使用数码相机,非常熟悉JPEG。其中一个变量JPEG2000,被用于压缩和传输数字电影内容,其压缩率仅限于6:1。另一个较新的版本JPEG-XS,即所谓的“夹层”编解码器,可以实现12:1以上的压缩率。两种编解码器都以非常低的延迟来执行此操作,但是它们比MPEG编解码器需要更高的带宽。因此,我们无法在WAN上使用它们,但它们适用于LAN上的信号传输。
因此,这里变得令人困惑。 H.264于2003年发布,可处理全高清(1920×1080)压缩;在2013年,H.265伴随着4K和超高清面世。现在,我们在传输线缆中增加了几个新的高延迟编解码器,以提高压缩效率并处理更高的分辨率,例如8K(7680×4320像素,或每个视频帧中的33MP),其未压缩比特率几乎为48Gb每秒,拥有10位4:2:2颜色分辨率!
在WAN编解码器家族中,基本视频编码(EVC)提供了用于流式传输和顶置(OTT)的替代视频编解码器,并且其流传输性能声称等同于高效视频编码(HEVC)。多功能视频编解码器(VVC)特别关注诸如高动态范围(HDR),高帧率(HFR)视频,360度视频和8K UHD-2视频等应用。低复杂度增强视频编码(LCEVC)为现有的基于MPEG的视频编解码器提供了增强的压缩效率。
这是首字母缩写词,粗略地检查,这是很多冗余。我们没有足够的空间来整理每个编解码器之间的所有差异,但是我们关注的是VVC,它的效率似乎比HEVC至少高40%。
但是,与用于HEVC的编码器和解码器相比,VVC编码器和解码器要复杂得多。为什么?原因是MPEG系列中的所有这些下一代编解码器都是软件密集型的,它们全部五个都使用更大的编码块大小,并且它们需要超快速的中央处理器(CPU)和足够的内存来分析和压缩视频流。实际的硬件只有几块芯片,这就是为什么解码器可以内置在从虚拟现实(VR)头戴式耳机到下一代移动电话的原因。
在我们的行业中,我们更有可能采用基于JPEG的编解码器在TCP/IP LAN上传输视频并替换基于硬件的交换机。但是,我们也将使用基于MPEG的编解码器将内容流式传输到远程位置,这种情况下延迟问题无关紧要。目前,JPEG2000,JPEG-XS和H.264仍然是AV应用程序中最受欢迎的编解码器,而HEVC的使用却很少。
原因之一是许可成本,这就是Google为何为YouTube推出VP9编解码器(免版税)的原因,以及为什么几年前几家公司在CES上联合起来宣布用于WAN的免版税AV-1编解码器的原因。从那以后并没有什么进展。人们可能会想知道,如果没有钱赚,谁愿意帮助开发编解码器。现在,我们看到了对人工智能(AI)的关注,以分析复杂的视频流并作出压缩决定。可以肯定的是,下一代编解码器将广泛使用AI,因此需要更多的内存和更快的CPU。
展望未来,知识产权使用费和许可仍然是编解码器采用的问题。此外,随着对编解码器的进一步研究和发展,不断向更高的分辨率,更宽的色域(WCG)和HFR过渡,确保我们不会停滞不前。讽刺的是,也许我们仍然在广播电视中使用1995年的MPEG2编解码器。虽然已有17年历史的H.264编解码器在显著看来算得上是古董了,但仍在不断更新(实际上,自推出以来就有26种)。