【笔记】深蓝学院NeRF系列分享

本文主要是关于深蓝学院NeRF系列分享的一些随手笔记。

1、课程链接

分享课程链接：深蓝学院——神经辐射场（NeRF）系列分享

2、基于NeRF的三维内容生成

1. 三维物体的基本属性主要涉及到物体的 形状、材质和光照。
2. 渲染：三维物体/空间以 2D 形式表达； 三维重建： 反渲染的过程。
3. 计算机图形学与计算机视觉偏重点的不同： 图形学的重点在渲染过程，视觉的重点在反渲染的过程。

1. 反渲染中的三个关键问题：

   1. What shape representations to use?

      1. Mesh、 Point cloud、Occupancy field、Signed distance field.

      

   2. What appearance representation to use?

      1. Material texture map and environmental lighting：将贴图和环境灯光分离，优点是 具有较强的操作性、编辑性，缺点是 实现难度大，相对的计算资源需求更大。
      2. Radiance field：神经辐射场表示，优点 实现较为简单，缺点是 编辑性较差。

      

   3. What rendering operator to use?

      1. Ray tracing rendering.

      

2. NeRF的 shape 和 appearance:

   1. shape：是一种 soft opacity field 可以理解为一种 雾(fog)，也就是论文中的 $\sigma$ .
   2. appearance：使用 MLP 网络训练得到。