IM电竞 IM电竞appIM电竞 IM电竞appIM电竞 IM电竞app16世纪的米开朗基罗重生了！英伟达团队提出Neuralangelo，从2D视频重建3D大规模场景，将5.5米大卫雕像完美复刻。

　　快看，Neuralangelo「复刻」出3D版的著名雕像大卫，大理石的细节、纹理栩栩如生。

　　IM电竞 电子竞技平台

　　要知道，收藏在佛罗伦萨美术学院的大卫雕像，仅身高3.96米，加上基座都有5.5米。

　　它甚至可以重建一栋建筑物的内外部结构，屋顶瓦片、玻璃窗格、还有各种细节都一一再现。

　　来自英伟达和约翰霍普金斯大学的研究人员提出的新型AI模型，利用神经网络重建3D物体。

　　特别是，Neuralangelo可以从手机视频，无人机拍摄的视频重建「高保真的大规模场景」。

　　那岂不是未来，就能轻易地把一座城市、甚至外太空的视频，变成一个沉浸式的世界，再装进游戏去体验。

　　甚至，还有人称，苹果XR技术，再加上Neuralangelo，就能创造「new worlds」了。

　　以前的AI模型在重建3D场景时，往往难以准确捕捉到重复的纹理模式、均匀的颜色以及强烈的色彩变化。

　　为此，团队提出了一个将多分辨率3D哈希网格的表征能力和神经表面渲染相结合的全新方法——Neuralangelo。

　　去年，英伟达研究人员曾创造了一种新工具3D MoMa，将照片变成3D物体易如反掌。

　　NeuralAngelo建立在这一概念的基础上，允许导入更大、更详细的空间和对象。而它特别之处在于，可以准确捕捉重复的纹理模式、同质的颜色和强烈的颜色变化。

　　通过采用「即时神经图形基元」，也就是NVIDIA Instant NeRF技术的核心，Neuralangelo由此可以捕捉更细微的细节。

　　即使没有辅助深度，Neuralangelo也能有效地从多视图图像中恢复密集3D表面结构，其保真度显著超过了以往的方法，使得能够从RGB视频捕捉中重建详细的大规模场景。

　　NeuralAngelo模型是在多分辨率哈希编码，以及基于SDF的体积渲染上进行构建。

　　IM电竞 电子竞技平台

　　通过使用与哈希网格空间分辨率匹配的步长的数值梯度，可以优化超越局部单元。与解析梯度相比，数值梯度对SDF起到了平滑操作的作用。

　　通过逐步减小数值梯度的步长，并启用更高分辨率的哈希网格，优化的效果可以更好地恢复大面积的光滑表面和精细的几何细节。这种学习过程能够逐步提高细节的层次感。

　　· 首先，模型会从2D视频中选择几帧从不同角度拍摄的物体/场景的画面，并由此「看到」其深度、大小和形状。这个过程就像雕塑艺术家一开始会从多个角度构图那样。

　　· 然后，模型会创建一个粗糙的3D场景表征，就像艺术家开始凿刻主体的形状。

　　· 最后，模型会优化渲染以提高细节的清晰度，就像艺术家通过精心地修饰来模仿织物或人形的纹理。

　　在DPU基准定性比较中， Neuralangelo产生更准确和更高保真度的表面。

　　IM电竞 电子竞技平台

　　如下是Neuralangelo在DTU数据集中的定量结果，模型获得了很好的重建精度和图像合成质量。

　　在不同的从粗糙到精细优化方案定性比较中，当使用分析梯度AG和AG+P，物体粗糙表面还有伪影。

　　最终的结果是一个可以在虚拟现实应用、数字孪生或机器人开发中使用的3D物体或大规模场景。

　　英伟达表示，Neuralangelo将复杂材料的纹理，包括屋顶瓦片的粗糙度、大理石的光滑度，从2D视频转化为3D物体的能力，显著超越了以往的方法。

　　英伟达研究部高级主任、论文作者Ming-Yu Liu对这项研究的意义给出了畅想：

　　「Neuralangelo提供的3D重建能力将给创作者带来巨大好处，帮助他们在数字世界中重建真实世界。这个工具最终将使开发人员能够将精细的物体——不论是小型雕像，还是大型建筑——导入视频游戏或工业数字孪生的虚拟环境中。

　　创意的专业人士可以将这些3D对象导入到设计应用中，进一步编辑，以供艺术、电子游戏开发、机器人技术和工业数字孪生等领域使用。