一个热门的AI项目今天凌晨被网友安利上线。

听说可以带你环游世界，让AngelaBaby拍更多电视剧。

这是什么情况？？

仔细一看，原来是一款AI视频抠图神器，一大早就冲上了GitHub热搜榜。

据官方介绍，这款AI神器可以让视频处理变得非常简单和专业，可以实现逼真不违和的合成效果，不会出现“绿屏”。

果然只有AI才能实现农民工的“环游世界”。

其实已经有很多视频地图AI了，但是这一个真的让人觉得很惊艳。先来看看，演示demo。

能不能看到道路背景和大海背景的视频，哪个是AI合成的？

连撩起的头发都看不出任何破绽。

而且就算疯狂跳舞也不影响合成效果。

再来看看背后的抠图细节，不仅精确到头发，就连漂浮的碎发也是如此。......

动态特效也是如此，疯狂摇头也能实时捕捉细节。

这个超级AI抠图神器来自香港城市大学和商汤科技的联合研究团队，博士生张汉科是第一篇论文。

接下来我们来看看背后的技术原理。

目标分解网络

关键是这个AI采用了轻量级的目标分解网络(MODNET)，可以平滑地处理来自不同背景的单一输入图像的动态人像。

简单来说，它的功能就是视频人像抠图。

我们知道有些影视作品，尤其是古装剧，必须对人物背景进行后期处理。为了达到逼真的合成效果，拍摄时通常使用“绿屏”作为背景。因为绿屏可以让高质量的Alpha mask实时提取图像或视频中的人物。

另外，如果没有绿屏，通常的技术手段是光照处理，即使是用预定义的三分图作为自然光照算法的输入。这种方法将大致生成三个位图:确定(不透明)前景、确定(透明)背景和其间的未知(不透明)区域。

手动注释三个位图不仅开销大，而且深度相机的精度可能会降低。因此，针对上述缺点，研究者提出了目标分解网络MODNet。

如图所示，MODNet由三个相互依赖的分支S、D和f组成，它们使用一个低分辨率分支预测人类语义(SP)，一个高分辨率分支关注纵向边界细节(DP)，最后一个融合分支预测阿尔法物质(α P)。

详情如下:

语义估计:使用MobileNetV2实验评估架构，通过编码器(即MODNet的低分辨率分支)提取高层语义。

细节预测:处理前景人像周围的过渡区域，以I、S(I)和S的低层特征作为输入。同时对其卷积层数、通道数和输入分辨率进行了优化。

语义-细节融合(Semantic-Detail Fusion):一个结合了语义和细节的CNN模块，它对S(I)进行上采样以匹配D(I，S(I))的形状，然后连接S(I)和D(I，S(I))以预测最终的α P。

此外，基于上述底层框架，本研究还提出了自我监控策略SOC(子目标一致性)和帧延迟处理方法OFD(单帧延迟)。

其中，SOC策略可以保证MODNet架构处理未标记数据时输出子目标之间的一致性；当执行肖像键控视频任务时，OFD方法可以预测平滑视频序列中的阿尔法掩模。如下图:

[35]

在实验评估之前，研究人员创建了一个摄影肖像基准数据集ppm-100(摄影肖像抠图)。

它包含了100个不同背景的精心注释的肖像图像。为了保证样本的多样性，PPM-100还定义了几个分类规则来平衡样本类型，比如是否包括整个人体；图像背景是否模糊；是否持有其他对象。图:

PPM-100中的样本具有丰富的背景和人物姿态。所以可以看作是一个全面的标杆。

那么让我们来看看实验结果:

图中显示MODNet在MSE(均方误差)和MAD(均值)上优于其他没有Trimap的方法。虽然其性能不如基于三分图的DIM，但如果将MODNet修改为基于三分图的方法——即如果使用三分图作为输入，其性能将优于基于三分图的DIM，这再次说明MODNet的架构是优越的。

此外，研究人员还进一步证明了MODNet在模型规模和执行效率上的优势。

其中，模型大小以参数总数衡量，执行效率以NVIDIA GTX1080 Ti GPU上超过PPM-100的平均参考时间来体现(输入图像裁剪为512×512)。结果如下:

上图显示MODNet的推理时间为15.8ms(63fps)，是FDMPA(31fps)的两倍。MODNet虽然参数比FDMPA多一点，但性能明显更好。

需要注意的是，参数越少并不意味着推理速度越快，因为模型可能有更大的特征映射或者耗时机制，比如注意机制。

总之，MODNet提出了一种简单、快速、有效实时人像抠图处理方法。该方法只以RGB图像为输入，实现了场景变化下的Alpha mask预测。此外，由于SOC和OFD的提出，MODNet在实际应用中受域转移的影响较小。

遗憾的是，这种方法无法处理复杂的服装和模糊的运动视频，因为这些内容并不包含在训练数据集中。下一阶段，研究人员将尝试通过添加子目标(如光流估计)来解决运动模糊下的视频抠图问题。

更多论文可在https://arxiv.org/pdf/2011.11961.pdf.找到

参考链接:

https://www.youtube.com/watch? v = pqj 3 br hx 3 LC & amp；feature=youtu.be

https://github.com/ZHKKKe/MODNet

https://synced review . com/2020/11/26/do-we-really-need-green-screens-for-high-quality-real-time-human-matting/

https://www . Reddit . com/r/machine learning/comments/k1 sttd/r _ do _ we _ really _ need _ green _ screens _ for _ high quality/

雷锋网雷锋网雷锋网