SLAM、3DGS、nerf、雷达、视觉等融合的论文

​ 3D Gaussian Splatting（3DGS）技术在三维重建和SLAM（同步定位与建图）任务中均有应用，但两者的目标和要求存在差异，导致3DGS在这两类任务中的应用有所不同。

三维重建中的3DGS：

• 目标：生成高精度、高分辨率的三维模型，注重细节和视觉质量。
• 特点：
  • 精度要求高：需要捕捉场景的细微细节，确保模型的真实性和完整性。
  • 时间要求相对宽松：可以接受较长的处理时间，以换取更高的模型质量。
  • 数据获取：通常使用多视角图像或深度传感器，获取丰富的场景信息。

SLAM建图中的3DGS：

• 目标：实现机器人或设备在未知环境中的实时定位和地图构建，强调实时性和鲁棒性。
• 特点：
  • 实时性要求高：需要快速处理传感器数据，实时更新位姿和地图信息。
  • 鲁棒性要求高：必须在动态或复杂环境中保持稳定的性能。
  • 计算资源受限：通常在嵌入式系统或移动设备上运行，计算资源有限。

3DGS在两者中的应用差异：

• 数据处理：
  • 三维重建：可以离线处理大量数据，采用复杂的算法提高模型质量。
  • SLAM建图：需要在线处理传感器数据，算法需优化以满足实时性要求。
• 模型表示：
  • 三维重建：可能采用高密度的3D高斯分布，捕捉细节。
  • SLAM建图：可能采用稀疏或分层的3D高斯分布，平衡精度和计算效率。
• 优化策略：
  • 三维重建：可以进行全局优化，追求最优解。
  • SLAM建图：通常采用增量式优化，快速更新位姿和地图。

​ 总的来说，3DGS在三维重建任务中侧重于高精度和高质量的模型生成，而在SLAM建图任务中则强调实时性、鲁棒性和计算效率，因此，在应用3DGS技术时，需要根据具体任务的需求，对算法和实现方式进行相应的调整和优化。

1、基于高斯泼溅（3DGS）的SLAM

1.1 Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting

**Gaussian-SLAM [CVPR’2024开源]**（阿姆斯特丹大学）:

1.2 SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM

**SplaTAM [CVPR’2024开源]**（CMU&MIT）:

---

对比总结：

变化总结：

1、把经典高斯的各向异性变为各向同性，降低了复杂度

2、把球谐函数从48维降维为3维

3、协方差各向异性对性能提升很小，但是时间和内存明显增大

初始化：

1、GS-SLAM：把当前的第一帧的图像运用下采样，用一半的图像的深度图打到3D空间去初始化很多个高斯椭球。

2、SplamTAM：直接把第一帧全部的像素去打到3D空间，全用来生成高斯椭球。

3、Gaussian Splatting SLAM：也是直接把第一帧全部的像素去打到3D空间，全用来生成高斯椭球，但是它兼容单目模式。根据单目模式和RGB-D模式，它有不同的高斯初始化位置和协方差。有深度图的时候，其实就是直接一个反投影的过程，如果没有深度图，其实就是这个它的3D高斯的初值就是整个的一个中值，然后它的协方差会设置的比较大，因为他认为这个深度图渲染的没有那么好。

4、Gaussian-SLAM：这个初始化完成的比较多，因为它隔一段时间他要就要去新建一个子图，当这个相机旋转的角度超过一定阈值，或者平移超过一定阈值的时候，它就会新建一个子图，然后对于每一个子图，还有每一个子图内的第一帧，它会初始化很多个3D高斯点云。比如去均匀采样60万个点，打到3D空间，然后呢去计算整个RGB图像它的梯度，然后再去对这个图像内梯度比较高的点去采样，得到5万个点再打到3D空间，然后去做一个高斯的初始化。

跟踪过程：

1、GS-SLAM：只用了一个光度损失，没有用深度损失，但是他的跟踪精度还行，主要是因为他用的这个由粗到精的跟踪策略。比如他第一阶段用一半的像素去渲染、去做跟踪，去获得一个比较粗糙的位置，然后用这个比较粗糙的位置去剔除掉一些浮动的质量不太好的高斯，再用剩下的质量比较好的高斯再次做渲染，得到一个比较精确的位置，我感觉他这个精度提升的来源，就是在于这个由粗到精的跟踪策略。

2、SplamTAM：这一块就是用的一个光度损失，还有一个深度损失。他用了这个可见区域，它就是只去渲染在当前图像中可以被观测到的这些像素，然后去做光度损失和深度损失。

3、Gaussian Splatting SLAM：它分为单目模式和RGB-D模式，对于单目模式它就只使用了一个光度损失。

4、Gaussian-SLAM：整体来说也是用的光度损失和深度损失，但是他前面加了两个mask，然后一个mask呢就是有点像SplamTAM，他们这样的一个可见性，这是一个可见区域的mask。然后第二个就是一个深度误差了，他认为深度误差过大的话是重建不安全的，所以也就不去做跟踪了。

高斯增加和减少的过程：

关键帧的选择：

地图更新的过程：

缺点和限制：

1.3 GS-SLAM: Dense Visual SLAM with 3D Gaussian Splatting

**GS-SLAM：利用3D高斯的稠密视觉SLAM[CVPR’2024开源]**（上海AI Lab、港科大、复旦）

开源地址：https://gs-slam.github.io/

利用3D高斯的稠密视觉SLAM_哔哩哔哩_bilibili

摘要：在本文中，我们介绍了 GS-SLAM，它首先在同步定位和地图构建 （SLAM） 系统中利用 3D 高斯表示。它有助于在效率和准确性之间取得更好的平衡。与最近采用神经隐式表示的 SLAM 方法相比，我们的方法利用了实时可微分的 splatting 渲染管道，为映射优化和 RGB-D 渲染提供了显着的加速。具体来说，我们提出了一种自适应扩展策略，添加新的或删除嘈杂的 3D 高斯，以有效地重建新的观察到的场景几何图形并改进以前观察到的区域的映射。此策略对于扩展 3D 高斯表示以重建整个场景至关重要，而不是在现有方法中合成静态对象。此外，在姿态跟踪过程中，设计了一种有效的粗到精技术来选择可靠的 3D 高斯表示来优化摄像机姿态，从而缩短运行时间并进行稳健估计。与现有的最先进的实时方法相比，我们的方法在 Replica、TUM-RGBD 数据集上实现了有竞争力的性能。

---

1.4 SplaTAM: Splat, Track & Map 3D Gaussians for Dense RGB-D SLAM

SplaTAM [CVPR’2024开源]（CMU&MIT）:

开源地址：https://spla-tam.github.io/

Splatam：用于稠密RGB-D SLAM的3D高斯的溅射、跟踪和建图_哔哩哔哩_bilibili

摘要：密集同步定位和地图构建 （SLAM） 对于机器人和增强现实应用至关重要。但是，当前方法经常受到它们表示场景的非体积或隐式方式的阻碍。这项工作介绍了 SplaTAM，这种方法首次利用显式体积表示，即 3D 高斯，从单个未定姿态的 RGB-D 相机实现高保真重建，超越了现有方法的能力。SplaTAM 采用一个简单的在线跟踪和映射系统，该系统专为基础的高斯表示量身定制。它利用轮廓遮罩优雅地捕捉场景密度的存在。与以前的表示相比，这种组合具有多种优势，包括快速渲染和密集优化、快速确定区域是否以前已绘制过地图，以及通过添加更多高斯进行结构化地图扩展。大量实验表明，与现有方法相比，SplaTAM 在相机姿态估计、地图构建和新颖视图合成方面的性能提高了 2 倍，为更具沉浸感的高保真 SLAM 应用铺平了道路。

---

1.5 Gaussian Splatting SLAM[CVPR’2024开源]（帝国理工）

开源地址：https://rmurai.co.uk/projects/GaussianSplattingSLAM/

它的RGB-D模式定位精度最高，一点几厘米

定位精度最低的是SplaTAM

摘要：我们介绍了 3D 高斯飞溅在单目 SLAM 中的首次应用，这是视觉 SLAM 最基本但最困难的设置。我们的方法以 3fps 实时运行，使用高斯作为唯一的 3D 表示，统一了准确、高效的跟踪、映射和高质量渲染所需的表示。我们的方法专为具有挑战性的单目相机而设计，当外部深度传感器可用时，我们的方法可以无缝扩展到 RGB-D SLAM。需要多项创新才能从实时摄像机持续重建具有高保真度的 3D 场景。首先，为了超越原始的 3DGS 算法，该算法需要来自离线的结构光 （SfM） 系统的准确姿势，我们使用针对 3D 高斯的直接优化来制定 3DGS 的相机跟踪，并表明这可以通过广泛的收敛范围实现快速和稳健的跟踪。其次，通过利用高斯的显式性质，我们引入了几何验证和正则化来处理增量 3D 密集重建中出现的歧义。最后，我们引入了一个完整的 SLAM 系统，该系统不仅在新颖的视图合成和轨迹估计方面取得了最先进的结果，而且可以重建微小甚至透明的物体。

• 1、表达方式是平滑的、连续的、可微的

• 2、高效的，可以在1080P分辨率下得到200fps的效果

• 本文的贡献：
  
  * 导出相机姿态相对于3D高斯地图的解析雅可比矩阵(se3 lie 组) 
  
  * 引入新高斯形状正则化以确保几何一致性，我们发现这对于增量重建是重要的。 
  
  * 新颖的高斯资源分配和裁剪方法，以保持几何纯净，并使得摄像机跟踪准确。
  
  * 低内存，高精度，高效率
  

  

  

  

  

---

1.6 Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting

Gaussian-SLAM [CVPR’2024开源]（阿姆斯特丹大学）:

渲染质量最好

arXiv开源：高斯-SLAM：基于高斯喷溅的逼真密集 SLAM — Gaussian-SLAM: Photo-realistic Dense SLAM with Gaussian Splatting

摘要：

​ 我们提出了一种能够以逼真方式重建现实场景的第一种神经网络 RGBD SLAM 方法。

​ 尽管现代 SLAM 方法在合成数据集上取得了令人印象深刻的成果，但它们仍然在现实世界数据集上遇到困难。我们的方法利用 3D 高斯作为场景表示的主要单元，以克服先前方法的局限性。我们观察到，经典 3D 高斯在单目设置中难以使用：它们无法编码准确的几何形状，并且难以通过单视图顺序监督进行优化。通过将经典 3D 高斯扩展到编码几何形状，并设计新颖的场景表示及其增长和优化手段，我们提出了一种 SLAM 系统，能够在不牺牲速度和效率的情况下重建和渲染现实世界数据集。

​ 我们表明高斯-SLAM 可以重建并以逼真的方式渲染现实场景。我们在常见的合成和现实世界数据集上评估了我们的方法，并将其与其他最先进的 SLAM 方法进行了比较。最后，我们证明，我们获得的最终 3D 场景表示可以通过高效的 Gaussian Splatting 渲染实时渲染。

---

2 多传感器融合的SLAM结合高斯泼溅（3DGS）

结合雷达、惯性、相机的SLAM融合3DGS

2.1（Gaussian-LIC: Photo-realistic LiDAR-Inertial-Camera SLAM with 3D Gaussian Splatting）未开源

2.2 MM-Gaussian: 3D Gaussian-based Multi-modal Fusion for Localization and Reconstruction in Unbounded Scenes

（MM-Gaussian：基于3D高斯的多模态融合，用于无界场景中的定位和重建）未开源

1.7 MM3DGS SLAM: Multi-modal 3D Gaussian Splatting for SLAM Using Vision, Depth, and Inertial Measurements

（MM3DGS SLAM：使用视觉、深度和惯性测量的多模态3D高斯泼溅SLAM）开源