在虚拟现实领域，快速创建定制虚拟人物并实现与其互动是一个普遍的应用场景。然而，以往的方法在快速重建高保真3D数字人体和实时渲染之间往往难以平衡。在这项研究中，提出了Human101，这是一个新颖的框架，能够在仅一视角视频中以100秒的训练时间生成高保真的动态3D人体模型，并以100+ FPS的速度进行渲染。
与以往的基于NeRF的管道不同，Human101巧妙地应用了人体中心的前向高斯动画方法，通过调整3D高斯的参数来提高渲染速度。实验证明，该方法在每秒帧数上取得了显著的增长，同时提供可比较或更高的渲染质量。
为解决传统方法中存在的渲染速度慢和收敛速度慢的问题，Human101采用了更实用和改进的方法。首先，采用光栅化渲染管线，取代传统的体素渲染方法，以提高渲染速度。其次，选择了一种更易于优化的表示方法，即3D高斯，从而将优化时间降低到几分钟。
Human101特色包括:
创新地采用3D高斯散点技术，为详细和准确的人体建模提供了高效的明确表示。引入了规范人体初始化方法，显著提高了模型的收敛速度和视觉细节表达。 提出了一种包括人体中心的前向高斯动画和样本点+反向脱皮体渲染的变形方法，与传统的耗时的逆向脱皮框架不同，实现了实时快速重建和渲染动态人体。 在推断阶段，相较于先前的神经人体表示，实现了渲染速度的约10.8倍提升（对于512×512分辨率的图像为100+ FPS），同时确保了可比较或更高的渲染质量和更高的图像分辨率。Human101通过引入创新的技术和实用的方法，成功地解决了单视角视频中快速建模和实时渲染之间的矛盾，为实时交互应用和沉浸式虚拟现实体验提供了可行的解决方案。
项目体验网址:https://top.aibase.com/tool/human101
论文网址:https://arxiv.org/pdf/2312.15258.pdf