萧源于寺
量子报道|微信官方账号QbitAI

说起短视频特效，你可能第一时间会想到“Tik Tok特效”。

是的，Tik Tok的特效似乎总是很火爆，像是用一段视频让你“回到三岁”:

△视频来源@ Sunny

或者另一个动作打破了次元壁，PDD就变好了:

事实上，国内外有许多与AI相关的特效技术，但在手机上运行后，Tik Tok是最受欢迎的一个。

类似的特效，背后的AI技术其实是接近的，但是Tik Tok做出来的特效是逼真的，流畅的，有爆发力的。

Tik Tok特效常青树的秘诀是什么？

一个特效的想法是无法预料的，但是渲染效果和操作时间可以打磨到极致。

其中，渲染效果取决于CV(计算机视觉)+CG(计算机图形学)算法的改进，而运算时间取决于模型的优化。

对于计算机来说，CV算法可以让它准确地“理解”一张照片中的内容。从特效的拟合程度到实时跟踪的准确性，再到整个图像的分辨率提升和风格变化，都属于CV算法的范畴。

合成菠萝、老照片高清还原等贴脸效果，或者“重返三岁”、“漫画脸”等整体画风的迁移，都属于CV算法的职责。

Tik Tok使用的CV算法基本靠自己研究。仅CVPR 2021一次峰会，就有14篇论文被字节跳动合作选中，涉及NAS、图像恢复、行为识别等方向。，同时在运动目标检测、细粒度图像识别、视频分类等比赛中获得冠军。

先说CG算法，可以让电脑做出货真价实的特效，再结合CV算法，贴在图片或者视频上。

像常见的PBR算法，只渲染“基础习题”；电影《Tik Tok》中常用的粒子系统也将用于手机特效。除此之外，还有透明材质和高光效果...比2D贴纸更接近真实场景。

△3D渲染与2D程序火焰效果对比

但无论CV算法还是CG算法，模型越大，渲染效果越好。

影视行业甚至有一种说法:“一个1秒的顶级特效，如果用专业渲染算法实现，可能需要连续渲染50天。”

这种特效模式永远无法满足用户的实时拍摄需求，更别说流畅度了。

但据火山引擎技术专家杨辉介绍，Tik Tok 5MB的渲染效果可以达到与虚幻引擎相同的效果。

是的，为了保证特效的流畅运行，Tik Tok的特效模型被严格限制在5MB，方便用户实时使用。

这个5MB包含了所有的文件，包括模型、地图、动画、特效和逻辑触发机制。

自研渲染引擎和云渲染技术的结合，背后是极致的计算时间。

在渲染工具方面，Tik Tok没有选择Unity或unreal engine进行特效制作，而是针对短视频和AR开发了轻量级渲染引擎。

自研引擎侧重于增强短视频拍摄所需的特效算法，省略了一些游戏专属、短视频不需要的特效，以保证渲染效果。

同时，为了使用更好的特效渲染算法，Tik Tok开发了云渲染技术，将原本由手机硬件计算的特效放到服务器上进行计算，然后将效果实时传输给用户。

这样，原本GPU级别计算量的渲染效果，现在可以在手机上实时完成，效果提升也很明显。

比如渲染算法中的粒子系统，只有用GPU计算才能起到更好的作用(烟花特效)。相比之下，CPU计算出来的粒子系统效果就更细了(控雨效果):

△2021年烟花特效vs vs 2018年控雨特效

然而，尖端的CV+CG算法和自主开发的工具只是Tik Tok特效的一部分秘密。之所以能频频爆款，与其成熟的输出流程和覆盖场景的全面产业化体系分不开。

一方面，根据Tik Tok和火山引擎联合发布的《Tik Tok特效数据报告》，2021年上半年，平均每天在Tik Tok平台上有超过100次的特效爆炸，平均每5个用户提交的作品中就有1个使用了特效。

这意味着Tik Tok已经有能力精简特效制作。同时，这些特效的质量足够五分之一的投稿使用(目前Tik Tok日活用户已达6亿)。

这也使得特效的设计更加容易。在Tik Tok把特效变成“创意生产线”之前，特效设计师并不是一个“低门槛”的职业。据抖音爆炸的设计者杨宇介绍，他原本是一名后期电影艺术家，但他在Tik Tok成功成为一名特效艺术家，身边也有越来越多的同行正在加入这一职业。

另一方面，特效技术在Tik Tok的应用场景早已触及各行各业，不仅仅是Tik Tok APP。

汽车行业，AR看车特效；美妆行业，用特效来AR试妆；在传统媒体行业，数字人技术被用来制作虚拟主持人和虚拟客服...

△AR试妆

可以预见，Tik Tok特效不再是原本用于短视频的特效，而正在逐渐成为一种“创意数字内容”。

圆圈的Tik Tok特效已经成为《字节增长的秘密》中另一个不可或缺的重要布局。

现在，字节跳动把它们都公之于众了——通过火山引擎。

是的，就像字节管理能力的“井喷”产物，字节技术能力的井喷带来了火山引擎。

作为曾经在byte使用过的技术平台，火山引擎不仅“储存”了Tik Tok所有特效背后的算法技术能力，还囊括了特效从制作、品控到落地的所有工程技术。

在 的制作中，为了加快制作速度，降低技术门槛，Bytes将Tik Tok特效背后的算法技术改成了各种模块化组件。

比如Tik Tok把常用的CV和CG算法做成组件后，设计师只需要拖动阅读条或者按下按钮就可以在特效中使用这个功能。

在算法制作过程中，包括训练到推理，Tik Tok全部采用自主研发的推理框架和训练平台，保证APP最合适的运行速度。

在质量审核中，特效设计会对其效果进行评级，足够合格才能上线；同时，字节内部成立了专门的创新团队，保证算法的前沿性和创新性，设计出更多能够满足设计师需求的组件(很多顶尖论文都出自这里)。

落地，Tik Tok还会考虑用户体验，以及客户在不同场景下的定制需求。

例如，Tik Tok采取了不同手机性能分级策略、优化运行速度等技术措施，将系统崩溃率降至十万分之一。

同时采用资源分配等技术，保证用户无需更新软件即可使用新的特效。面对不同的场景，Tik Tok特效也能适应不同的分辨率、界面类型和机型。

这一切，加上前沿的算法技术，构成了Tik Tok特效成功的秘诀。

7月28日，火山引擎和Tik Tok联合宣布，将向客户开放数万张Tik Tok特效。

这意味着字节跳动正在提供Tik Tok特效的所有优势，包括算法和道具资源，为更多的人享受这一综合结果提供技术服务。

目前很多企业级产品，如知球帝、心机APP，已经在使用火山引擎作为业务增长技术。

未来，火山引擎还计划进一步引入端云协作和多人互动等最新技术，提升用户和客户的特效体验。

可以想象，更精良的特效和更多的互动技术将成为Tik Tok未来的发展方向。

同时，特效技术的发展也将进一步给各行业带来更多惊喜。

以影视行业和游戏行业为例，这两项技术可以大大降低视频的后期制作和游戏美术的成本，比如给角色添加马赛克或者制作智能地图，都不需要手动逐帧调整，算法可以自动完成这些步骤。

所以开放你所有的成长技术，字节怕同行竞争吗？

杨辉说，不怕:

随着时间的推移，任何新技术的进入门槛都会越来越低。我们能做的不是打价格战，而是扩大和更新技术，保证自己的竞争力。

从这个角度来看，字节跳动的增长技术真的没有秘密。

结束-

量子QBITAI头条号签约

关注我们，第一时间了解前沿科技动态。