颠覆体验:你的“视角”很重要。

11月3日-4日，2021腾讯数字生态大会在武汉中国光谷科技会展中心举行。在今年的大会入口处，一个由腾讯云用6万块积木搭建的6米高logo格外醒目，成为热门打卡点。用户得到的不再仅仅是一张静态的“游客照”，而是一段可以在终端自由切换视角的视频，似乎开启了王者荣耀“自由视角”在现实生活中的辉煌——而这一特殊体验环节的背后，也是腾讯多媒体实验室/自主研发的自由视角。

“对于许多客户来说，行业数字化是一个过于复杂的过程。腾讯云希望实现自由组合，像积木一样即插即用，帮助客户‘化繁为简，以小博大’，”积木云项目负责人之一、多媒体实验室业务负责人Jeff告诉36Kr，“这就是我们策划这样一个打卡体验的原因。自由视角背后的原理非常复杂，它适应很多场景。不过这样的专属亲身体验可以更简单直接的感受到自由视角的魅力，也有机会让大家想象它未来更大的魅力和前景应用。”

一条没人走过的路

早在2018年，在腾讯杰出科学家刘山博士的带领下，腾讯多媒体实验室就开始了沉浸式媒体(包括自由视角、VR/AR等)的研发工作。).作为一项提升用户沉浸式体验的技术，起初，自由视角在国内似乎关注度不高。

当时VR/AR领域被热了好几年，因为还是无法给用户带来更好的沉浸式体验，人气一落千丈。投资机构和科技公司都没有清楚地意识到建立沉浸式体验的价值。2018年VR/AR领域融资总额不到2017年下半年的一半。

相比VR技术，自由视角的技术难度更大。VR是固定的观察者位置，从中心向四周看，模拟人在特定位置转头的观察体验。另一方面，自由视角则相反，从四周向中心看，即观察者可以通过转动头部来改变视角，也可以通过改变位置来切换视角。更多的视角自由度意味着需要更多的数据和更复杂的算法，因此自由视角在技术上更具挑战性。

虽然自由视角技术的概念仍处于早期阶段，但腾讯多媒体实验室已经发现了这项技术背后的巨大潜力，并开始作为沉浸式媒体产品线的一部分进行研发。同时，实验室标准组还深度参与了国际自由视角相关技术的国际国内标准制定。

2020年，5G技术将逐步进入商用阶段，5G的建设和应用将继续推进。5G作为新一代移动通信技术，相比4G在传输速率和资源利用率上有了很大的提升。高可靠、低时延的5G技术满足了自由视角对网络带宽的要求。随着显示技术的发展和成熟，自由视角再次登上舞台。

经过三年的技术打磨，在2021年的腾讯数字生态大会上，腾讯多媒体实验室研发的端到端自由视角解决方案“亮相”，为“全真互联”这个火热的概念迈出了实际的一步。

黑客帝国是如何从电影变成现实的

我相信很多80、90后最初关于科幻的概念都来自于《黑客帝国》系列电影。基努·里维斯饰演的电影主角尼奥(Neo)俯身躲避子弹时似乎处于静止状态，360度旋转的全景场景20年来令人印象深刻。

它最早由《黑客帝国》视觉特效总监约翰·盖特(John Gatt)应用，通过多个摄像头快速、连续地捕捉拍摄目标，并对拍摄内容进行处理。2013年风靡全国的韩剧《来自星星的你》中暂停时的全景透视也运用了这种方法。这也是自由视角技术的最初雏形。

(黑客帝国拍摄场景的摄像机位置设置，下图以侧滑的形式呈现)

(《来自星星的你》拍摄现场的相机位置设置，上图为侧滑呈现)

自由视角的技术链条较长，大致可以分为图像数据采集、网络传输、处理分析、客户端显示等几个环节。由于需要实现实时视角切换，自由视角在技术实现难度上优于后期制作时间充足的电影拍摄:

现实中的自由视角模式和《王者荣耀》等游戏中的自由视角模式最大的区别在于需要采集实时图像。在图像数据采集过程中，需要在被摄对象周围等距离放置摄像设备，以保证能够从多个角度捕捉到被摄对象的图像信息。由于需要实现显示时的实时切换，自由视角对摄像头终端的同步性要求极高。如果几十个甚至上百个终端设备返回的数据之间存在时间差，就很难在固定的时间点整合图像信息，给后续的图像渲染带来很大困难，从而无法平滑切换。

在网络传输环节，由于终端设备数量多，单个设备采集的数据量大，保证终端采集的数据能够高质量、高速度地传输到数据处理中心是最大的难点。随着5G技术的普及和6G技术时代的到来，自由视角在网络传输中的困难正逐渐被克服。

“面对漫长的技术链条和众多关键节点的技术难题，腾讯多媒体实验室为了保证用户在应用自由观看技术时的完整流畅体验，从端到端、从编解码器到上层都选择了纯自研的解决方案。”多媒体实验室专家介绍。

从采集传输，到云端处理、图片拼接，再到图像渲染展示，腾讯都实现了技术突破，全流程保证了自由视角的体验质量。在图片采集和传输过程中，该解决方案通过算法高效地保证了摄像头信号的高效同步。在图片处理和渲染过程中，腾讯多媒体实验室下大力气对镜头间的图片失真进行了校准和优化，利用深度学习对多张图片进行自动校准、匹配和拼接。结合视角预测、预加载优化等多种算法，该方案实现了多视角的实时切换。同时，根据不同的应用场景，腾讯自由视图解决方案提供了不同的具体优化算法，使得个性化场景下的处理效果更好；在显示方面，腾讯自研播放器还可以提供自由视角的辅助，多种技术的结合可以为用户提供低延迟、高质量的视频观看体验。

未来随着硬件技术的进一步发展和迭代，腾讯将继续把更低成本、端到端的自由观看技术推向专注于临场感和沉浸感的各种场景，如现场活动、演唱会、直播活动、在线教学等。，让沉浸式体验走进生活，从而给游戏、影视制作、社交、多人协作等各个领域带来新的变革和深远的影响。

“超宇宙”很远，整个真相在当下是互联的

虽然今年的“元宇宙”热潮看似概念多于实质，但追求沉浸式的“全真互联”技术是未来互联网技术的共识发展方向。马在2020年底为腾讯年度特刊《三观》撰写的序言中，提到了“全真互联网”的概念。

未来，随着人们对更沉浸、更自由的“真实”观看体验的需求越来越大，自由视角的技术将成为很多场景下的首选甚至必须。比如在线演唱会现场，自由视角可以让观众在不出门的情况下，获得比vip座位更接近舞台、比现场座位更自由的视角，这将大大提升观看体验，降低观众参与和欣赏演出的成本，实现千里之外，如同身临其境，从而实现更加原汁原味、立体逼真的舞台视听录制。

在“全真互联”时代，腾讯作为国内音视频领域的领导者，在沉浸式相关技术的研究上一直走在前列，并稳步前行。在支持产品研发的同时，腾讯多媒体实验室专家还积极参与了多媒体领域20多项国际国内标准的制定。目前已有500多项专利技术被多项国际标准采用，为中国企业赢得了国际声誉。

当然，自由视角的技术只是腾讯迈向“全真互联”的一小步。未来，腾讯多媒体实验室将能够不断优化和迭代技术，推动“自由视角”等提升用户体验的沉浸式多媒体技术的创新，提出更好的解决方案，推动“全真互联网”在更多应用场景的落地，为用户、开发者和合作伙伴提供更有效的服务和支持。