抖音视频分辨率和帧率(探秘HDR:西瓜、抖音是如何做到让视频的画质堪比影院大片的?)

根据下面两张图片,你能分辨出哪个是短视频,哪个是电影图片吗?





如果你辨别有困难,不要怀疑自己。从技术参数上来说,右边来自西瓜视频的图像,在画质上确实堪比院线大片。

不仅是西瓜视频,现在, Tik Tok和字节跳动的子公司山达基也可以制作和播放电影质量的视频。这是怎么做到的?


首先认识一下HDR


视频质量有五个要素:分辨率、位深、帧率、色域和亮度。其中,分辨率影响图像细节的精细程度(即清晰度),位深影响色彩层次的精细程度,帧率反映视频动作的流畅程度,色域表示视频能够表现的色彩范围,亮度表示人眼能够感知的最暗和最亮物体之间的差异范围。一般来说,这五个方面的技术参数越高,视觉表现越好。



影响视频质量的五个因素


目前分辨率、位深、色域、帧率等技术已经比较成熟,亮度已经成为决定视频表现力的关键因素。

不难理解,视觉影像是光影的艺术。以前我们习惯认为视频和图片不如真实的风景生动。主要原因是技术无法真实地还原自然的真实光影。

目前,业界普遍采用高动态范围成像(HDRI或HDR)技术来解决这一问题。

在计算机图形和电影摄影中,HDR是一组用于实现比普通数字图像技术更大曝光动态范围(即更大的明暗差异)的技术。动态范围成像的目的是正确地表示从直射阳光到真实世界中最暗阴影的如此大范围的亮度。

与SDR(标准动态范围图像)相比,HDR图像可以展现更多的明暗细节和更丰富的色彩,可以最大程度的还原真实场景





从iPhone12开始,HDR拍摄逐渐成为一种潮流。目前,越来越多的设备(iOS、Android、专业相机)已经开始支持HDR拍摄。

在播放方面,HDR视频得到了广泛的应用。HDR视频播放已经得到国外YouTube和网飞,国内平台如西瓜视频和Tik Tok 的支持。

然而,在创作层面,HDR视频的剪辑和合成仍然面临着不小的技术挑战。


字节跳动如何实现全链路支持HDR


HDR标准中有很多协议,再加上各种色域的影响。在不同格式的视频混合的场景中,如果处理不慎,生成的视频颜色和亮度跳变会出现不协调的情况。另外,在不支持HDR显示的硬件中,如果一般也采用HDR处理模式,会出现曝光过度的情况。即使对于HDR视频,由于技术差异,显示的图像质量也大不相同。例如,由于位深度不足,某些场景可能会出现明显的色彩渐变和分层。在短视频从编辑、发布到消费的整个链接过程中,如何根据硬件和视频条件还原原生HDR视频的色彩和亮度,是目前HDR视频处理的难点。让我们谈谈如何在字节跳动解决这些难题。

视频编辑链接:

与主要的HDR标准兼容

有许多HDR标准,以及许多扩展标准,适用于不同的应用场景。常见的主要有:

HLG:HLG的全称是混合对数伽马,是由英国BBC和日本NHK电视台联合开发的高动态范围HDR标准。HLG不需要元数据,可以向后兼容SDR。与HDR10相比,即使在现有的SDR显示设备上,HLG图像也可以明亮生动地呈现出来。

HDR10:HDR 10的全称是HDR 10媒体档案,由美国消费电子协会于2016年出版。该标准建议使用2020 color 空,感知量化器(PQ),比特深度为10比特,在本文中用PQ表示。

杜比视界(Dolby Vision):杜比视界(Dolby Vision),中文名称为杜比视界(Dolby Vision),是美国杜比实验室(Dolby Laboratories)推出的画质技术,通过增加亮度和扩大动态范围来改善图像效果。它可以提高视频信号的保真度,使图像看起来非常逼真,但主要用于影院场景。

以下是日常生活中更容易接触到的HDR标准——HLG和PQ。







HLG和PQ的线性光变曲线:

一般HLG视频的亮度峰值是1000尼特,而PQ的亮度峰值可以达到10000尼特。对于视频创作平台,只有兼容上述HDR标准的算法才能真正支持HDR视频创作。

以上介绍了主流的HDR标准,高质量的HDR视频编辑必须解决以下问题:

支持10位深度的视频解码和渲染

HDR视频不一定要10位深,但是10位深可以让视频表现出更好的色彩层次精细度,尤其是在纯色背景下。这就需要将传统的8位深链接改造为10位深链接,开启全链接的10位HDR,让HDR视频在全链接编辑中不损失准确性,保持最佳效果。

字节跳动智能创意团队通过改革渲染环节,支持10位深度渲染。在视频处理的整个环节中,减少了精度的损失,最大程度的还原了真实的原始视频效果。





8位深度



10位深度



抖音视频分辨率

8位深度


支持色域

除了位深,为了兼容各种色域视频的混合裁剪,字节跳动的智能创作团队支持更多的色域转换,比如常见的BT709、显示器P3、BT2020等等。



支持色调映射的转换

色调映射的转换是HDR支持的重点。HDR视频显示的主要流程如下:



由于HDR要求亮度显示,而主流显示器大多达不到显示HDR亮度的标准,所以需要通过色调映射算法将超出的部分映射到对应显示器的范围,而不是直接丢弃。





色调映射算法对图片的最终渲染效果起着关键作用。如果算法兼容性差,会出现颜色偏差、细节丢失等问题。字节跳动的智能创作团队通过反复对比调整各种场景,优化了色调映射的算法,使得无论是SDR转换成HDR还是HDR格式相互转换,最终都能呈现出最接近原生相机的HDR效果。



原始视频




字节跳动自学的色调映射效应



一个app的色调映射效果


因为平台上有很多类型的视频源(比如传统的SDR、HLG、PQ等。),对不同色域的视频做混合编辑时,如果不兼容不同色域,会出现以下情况:




原始视频



不兼容的混合剪切视频



兼容视频

支持特效素材HDR

传统材料基本上是基于sRGB的色域来设计的。在HDR视频场景下,直接套用BT2020的色域,必然会出现色彩不匹配的问题。

目前,网上有很多关于Tik Tok和西瓜的资料。但是,仅仅使用上述色调映射将SDR素材实时转换为HDR素材并不能完全解决所有素材的效果问题,甚至转换后的效果还不如以前。所以我们也采用了材质再设计的方式,对色调映射效果不好的材质进行再设计。字节跳动智能创作团队也是业内首家支持特效材质HDR效应的团队。通过这些措施,我们可以看到Tik Tok和西瓜添加特效时最真实的HDR效应。

目前,西瓜视频、Tik Tok和剪贴已经解决了HDR视频剪辑的上述问题。以Tik Tok为例,Tik Tok的视频编辑能力在很多不同色域的视频混合、单HDR视频显示效果、色调映射算法调教等方面都达到了行业领先水平:



Tik Tok剪辑后的HDR效应



传统SDR


视频消费链接:

由于HDR视频播放需要屏幕能够支持的亮度,所以在消费环节最大的技术调整就是兼容性。使用字节跳动的色调映射方法,不支持HDR视频亮度的屏幕也可以显示更好的颜色。



HDR效应



不支持HDR的手机玩HDR

值得一提的是,目前,字节跳动在业内率先实现了在多个平台(Windows、MacOS、iOS、Android)、西瓜、剪刀、Tik Tok(开放测试中)的多个服务中,同一套解决方案/代码可以同时支持HDR视频的所有链路。以上能力已经免费向用户开放。

苹果个人计算机






Windows操作系统






随着HDR视频序幕的拉开,相信在不久的将来,HDR直播将会普及开来。创作者可以用更真实的效果展示自己的作品,给视频用户带来一个多彩的新世界。


字节跳动智能创作团队


智能创意团队(intelligent creative team)是字节跳动音视频的创新技术和业务中心,涵盖计算机视觉、图形、语音、拍摄和编辑、特效、客户端和服务器工程等技术领域。,并在部门内部实现前沿算法-工程系统-产品全链路闭环,旨在以多种形式向公司内部各业务线和外部合作客户提供行业前沿的内容理解、内容创作、交互体验和消费能力以及行业解决方案。

目前,智能创意团队已经通过字节跳动的火山引擎向企业开放了技术能力和服务。

您可以还会对下面的文章感兴趣

使用微信扫描二维码后

点击右上角发送给好友