小法子奥菲寺

量子|微信官方账号QbitAI

渲染一个头发细密，皮肤有皱纹的3D龙珠有多复杂？

经典款NeRF至少需要100张同一台相机从特定距离拍摄的手工照片。

但是现在，一个新的AI模型只需要40 张无限来源的网络图片，就可以渲染出整个手工制作的图像！

对这些照片的拍摄角度、距离、亮度没有要求，但还原出来的图片可以很清晰，没有伪影:

你甚至可以估算素材，从任何角度重新打磨:

名为NeROIC的AI模型是南加州大学和Snap团队玩的新把戏。

有网友欣喜若狂:

不同角度的照片可以渲染3D模型，快进到只用照片制作电影...

有网友趁机火了博NFT(手动狗头)

那么，NeROIC究竟是如何在只有任意2D输入的情况下获得物体的3D形状和属性的呢？

在介绍这个模型之前，我们需要简单回顾一下NeRF。

NeRF提出了一种叫做神经辐射场的方法，用5D矢量函数来表示连续的场景，其中用五个参数分别表示空之间的点的坐标位置(x，y，z)和视角方向(θ，φ)。

然而，NeRF有一些问题:

这次NeROIC针对这两个方面进行了优化:

它主要由两个网络组成，包括深度提取网络(A)和渲染网络(C)。

首先用深度提取网络提取物体的各种参数。

为了实现无限的输入场景，我们需要让AI先学会从不同的背景中抠图。然而，由于AI对相机位置的不准确估计，在抠图的图像中总是存在以下伪像(左):

所以深度提取网络引入了相机参数，让AI可以学习如何估计相机的位置，也就是图片中的网友是从哪个角度拍照的，距离有多远，挖出来的图片离真实效果有多近(GT):

同时设计了一种新的算法来估计物体表面的法线，保持了关键细节，消除了几何噪声的影响(法线即模型表面的线条随着光照条件的变化而变化，从而影响光照渲染效果)；

最后，渲染网络使用提取的参数渲染3D对象的效果。

具体来说，本文提出了一种结合颜色预测、神经网络和参数模型的方法，用于计算颜色和预测最终的法线。

其中NeROIC的实现框架是用PyTorch搭建的，训练中使用了4块NVIDIA Tesla V100显卡。

训练时，深度提取网络需要6~13小时，渲染网络需要2~4小时。

至于用于训练NeROIC的数据集，主要有三个部分:

从互联网(部分商品来自网购平台，即亚马逊和淘宝)、书呆子，以及作者本人拍摄的图像(牛奶、电视、模特)，平均每个物体收集到40张照片。

那么，这样的模式效果如何呢？

首先，本文对NeROIC和NeRF进行了比较。

从视觉效果来看，无论是物体渲染细节还是清晰度，NeROIC都比NeRF好。

具体来说，峰值信噪比(PSNR)和结构相似度(SSIM)表明深度抽取网络的“抠图”技术相当不错，优于NeRF:

同时，论文还测试了渲染模型在更多场景下的效果，证明不会出现伪像等。：

还能产生新的角度，重新打光的效果也不错。例如，这是在室外场景:

室内场景的照明是另一种效果:

作者还试图将照片数量减少到20张甚至10张，并训练NeRF和NeROIC。

结果表明，即使数据集不足，NeROIC的效果仍优于NeRF。

但也有网友表示作者没有给出玻璃或半透明材质的渲染效果:

对于AI来说，重建透明或半透明的物体确实是一项复杂的任务。代码出来后可以试试效果。

据作者称，该守则仍在编写中。网友调侃:“也许会在首脑会议上或者演讲结束后发布”。

第一篇论文是匡郑飞，目前在南加州大学读博，师从中国著名计算机图形学教授李浩。

他毕业于清华大学计算机系，曾在胡世民教授的绘图团队担任助理研究员。

本文为他在Snap公司实习期间所作，其余作者均来自Snap团队。

也许以后只需要几个网友“卖家秀”就可以了，到时候我们就真的可以在家尝试VR云了。

地址:
https://arxiv.org/ABS/2201.02533

项目地址:
https://formyfamily.github.io/neronic/

参考链接:
[1]https://Zheng Fei Kuang . com/
[2]https://ningding 97 . github . io/fevnerd/
[3]https://Twitter.com/Ben _弗恩1486705623186112520
[4]https://Twitter . com/AK 92501/status/1480353151748386824

结束-

量子QBITAI头条号签约

关注我们，第一时间了解前沿科技动态。