AppZ99's Blog

本文是近期阅读 3D Gaussian Splatting SLAM 相关论文的精度笔记。

本文主要关注各个 GS-SLAM 的实现方法。

一、GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting

摘要翻译

本文中，我们介绍了GS-SLAM，一种首先使用3D高斯表达的SLAM系统。它有助于更好地平衡效率和精度。以最近其他使用神经隐式表达的SLAM方法相比，我们的方法使用了实时可微分的抛洒渲染管线，它可以打打加快荼毒优化和RGB-D重渲染。具体来说，我们提出了一种自适应扩展策略，该策略添加新的或删除带有噪声的3D高斯，以有效的地重建新的观测场景几何结构并改进先前观测区域的建图。这个策略对于扩展3D高斯表达以重建整个场景而不是现有方法的合成静态物体是至关重要的。此外，在位姿跟踪线程中，我们设计了一种有效的由粗到精的技术去选择可靠的3D高斯表达来优化相机位姿，从而减少了运行时间并实现了鲁棒的估计。与Replica、TUM-RGBD数据集上现有的SOTA实时方法相比，我们的方法实现了具有竞争力的性能。源代码将会很快发布。

方法介绍

Overview

本文章是关于GAMES101课程的笔记。

课程链接：GAMES101-现代计算机图形学入门-闫令琪

一、影子映射（Shadow Mapping）

算法核心： 光源估计深度与相机重映射的深度是否相等？

本文章是关于GAMES101课程的笔记。

课程链接：GAMES101-现代计算机图形学入门-闫令琪

一、曲线（Curves）

贝塞尔曲线： 重复对切线进行线性插值得到光滑曲线。

本文章是关于GAMES101课程的笔记。

课程链接：GAMES101-现代计算机图形学入门-闫令琪

一、Blinn-Phong 反射模型

环境光照输入：

• 镜面高光
• 漫反射
• 环境照明

本文章是关于GAMES101课程的笔记。

课程链接：GAMES101-现代计算机图形学入门-闫令琪

一、图形学中的采样伪影

1. 造成锯齿缺陷的原因：信号变换太快（高频），但是采样速度太慢。
2. 反锯齿的想法：先模糊后采样。

先模糊后采样：

本文是近期阅读 NeRF + SLAM 相关论文的精读笔记。

1、iNeRF: Inverting Neural Radiance Fields for Pose Estimation

摘要翻译

我们提出了 iNeRF，这是一个通过反转一个神经辐射场（NeRF）来执行无网格位姿估计的框架。NeRF 已经被证实在新视图合成任务重令人震撼的效果——合成真实场景或物体的逼真新颖的新视图。在这项工作中，我们研究了我们是否可以通过 NeRF 将合成分析应用于无网格，仅有 RGB 的 6自由度位姿估计——给定图像，找到相机相对于三维物体或场景的平移和旋转。我们的方法假设在训练和测试期间是没有可用的物体网格模型的。从初始位姿估计开始，我们使用梯度下降法去最小化从 NeRF 中渲染的像素和观察图像中的像素之间的残差。我们首先研究1）如何在 iNeRF的位姿优化过程中采样射线以收集梯度信息；2）不同批量大小的射线如何影响在合成数据集上的 iNeRF。随后，我们展示了对于 LLFF 数据集的复杂真实世界下，iNeRF 可以通过估计新视图的相机姿态将这些图像用作 NeRF 的额外训练数据集来改进 NeRF。最后，我们展示了 iNeRF 可以通过反转从单个视图推断的 NeRF模型，对 RGB 图像执行类别级的对象姿态估计，包括训练期间未看到的物体实例。

本文是近期阅读NeRF + LiDAR SLAM 相关论文的精读笔记。

1、LiDAR-NeRF: Novel LiDAR View Synthesis via Neural Radiance Fields

摘要翻译

我们引入了一种新的任务，即激光雷达传感器的新视图合成。虽然传统的基于模型的带有风格转移神经网络的激光雷达模拟器可以应用于渲染新视图，但由于渲染器依赖于显式的 3D 重建和利用游戏引擎，其忽略了 LiDAR 点的重要属性，因此它们未能产生准确和逼真的 LiDAR 模式。据我们所知，我们提出了第一个可微的端到端激光雷达渲染框架 LiDAR-NeRF，利用神经辐射场（NeRF）来促进几何和 3D 点属性的联合学习，从而应对这一挑战。然而，简单地使用 NeRF 并不能取得令人满意的结果，因为它只关注学习单个像素而忽略局部信息，特别是在低纹理区域，导致几何性较差。为此，我们通过引入结构正则化方法来保留局部结构细节来解决这个问题。为了评估我们方法的有效性，我们建立了一个以物品为中心的多视图 LiDAR 数据集，称为 NeRF-MVL 。它包含从多个 LiDAR 传感器捕获的 360 度视点看到的 9 个类别物体的观察数据。我们在场景级数据集KITTI-360以及在我们的对象级 NeRF-MVL 上进行广泛的实验的结果表明，我们的 LiDAR-NeRF 显著优于基于模型的算法。

本书是关于 Multiple View Geometry in Computer Vision （计算机视觉中的多视图几何）中的随笔记录。

零、序章

计算机视觉的基本问题： 根据若干幅世界景物的图像求得对真实世界景物结构的理解。

几何与变换群： 各种几何的本质是描述几何元素在不同变换群下的不变量。

马颂德序言： 这本书对我国长期从事相关数学领域研究的认识也值得一度，计算机视觉涉及的数学，量大面广，是一个典型的数学工作者可有用武之地的领域，但比起其他国家来说，我国的数学家们基本不介入一些有相当实用背景的新兴学科，学科不能交叉，创新从何而来？

一、第一章：2D射影几何和变换

1.1、平面几何

几何与代数： 几何可以代数化，几何理论可以从代数的观点进行推导。

几何中采用代数的显著优点： 这种方法推导出的结果更容易产生算法以及实际的计算方法。

本文主要是对《代码随想录》中数据结构部分的知识点做简要的笔记。

1、数组

1.1、数组理论基础

概念： 数组是存放在连续内存空间上的相同类型数据的集合。

注意：

• 数组下标从 0 开始；
• 数组内存空间的地址是连续的。

本文主要关于深蓝学院系列课程——基于图像的三维重建的笔记。

课程链接 基于图像的三维重建

1、纹理图像的自动创建

1.1、基础知识

纹理贴图： 同一三维模型采用不同纹理图案进行渲染。