SLAM、3DGS、nerf、雷达、视觉等融合的论文
3D Gaussian Splatting(3DGS)技术在三维重建和SLAM(同步定位与建图)任务中均有应用,但两者的目标和要求存在差异,导致3DGS在这两类任务中的应用有所不同。
三维重建中的3DGS:
目标:生成高精度、高分辨率的三维模型,注重细节和视觉质量。
特点:
精度要求高:需要捕捉场景的细微细节,确保模型的真实性和完整性。
时间要求相对宽松:可以接受较长的处理时间,以换取更高的模型质量。
数据获取:通常使用多视角图像或深度传感器,获取丰富的场景信息。
SLAM建图中的3DGS:
目标:实现机器人或设备在未知环境中的实时定位和地图构建,强调实时性和鲁棒性。
特点:
实时性要求高:需要快速处理传感器数据,实时更新位姿和地图信息。
鲁棒性要求高:必须在动态或复杂环境中保持稳定的性能。
计算资源受限:通常在嵌入式系统或移动设备上运行,计算资源有限。
3DGS在两者中的应用差异:
数据处理:
三维重建:可以离线处理大量数据,采用复杂的算法提高模型质量。
SLAM建图:需要在线处理传感器数据,算法需优化以满足实时性要求。
模型表示:
三维重建:可能采用高密度 ...
SLAM基础知识学习
1、从滤波器谈SLAM
滤波器核心思想:
2、环境表达地图:环境表达
3、SLAM的数学表达状态表达:
F是矩阵,$x_{k}$是当前估计,$x_{k-1}$是上一刻的估计,$G*w$是噪声
估计+观测,对估计和观测的差值做补偿,称为传感器的融合
4、欧式坐标系和刚体姿态表示
OXYZ默认为世界坐标系,Ouvw默认为本体坐标系
$R$为旋转矩阵:
$C$是cos的简化表达,$S$是sin的简化表达
R3LIVE环境配置及运行
1、VMware安装VMware安装包:https://www.123pan.com/s/g520Vv-Dg2id
VMware虚拟机-Ubuntu设置共享文件夹(超详细):VMware虚拟机-Ubuntu设置共享文件夹(超详细)_vmware ubuntu共享文件夹-CSDN博客
鱼香ROS一键安装:ubuntu系统安装ROS(简单版)
ubuntu 下 opencv的安装以及配置(亲测有效):
ubuntu 下 opencv的安装以及配置(亲测有效)_ubuntu安装opencv-CSDN博客
2、R3live 环境配置R3live源代码github链接:hku-mars/r3live:稳健、实时、RGB 颜色、LiDAR-Inertial-Visual 紧密耦合状态估计和映射包
R3LIVE公开数据集:r3live_shared_bags - OneDrive
2.1 R3live使用Livox HAP + Realsnese d435i调试记录:
R3live 使用Livox HAP + Realsnese d435i调试记录_livox和d435i时间同步-CS ...
FAST-LIVO2重点总结分析
FAST-LIVO2重点总结分析FAST-LIVO2是一种直接法的LIVO框架,可以在实时重建地图的同时,实现快速、准确和鲁棒的状态估计。FAST-LIVO2能够在严峻的LiDAR和/或视觉退化情况下,仍然保持高精度的定位。
速度的提升归因于在高效的ESIKF内使用原始的LiDAR、惯性和相机测量数据,并进行惯序更新。在图像更新中,采用了逆向求导公式和基于稀疏块的图像对齐,进一步提高了效率。
准确度的提升则得益于使用(甚至精优化)来自LiDAR点的平面先验,以提高图像对齐的精度。此外,使用了一个单一的voxel map来同时管理地图点和观测到的高分辨率图像测量。体素地图结构支持几何构建和更新、视觉地图点的生成和更新以及参考图像块的更新。
鲁棒性的提升则归因于实时估算曝光时间,能够有效应对环境光照变化,同时使用按需体素光线投射来应对LiDAR的近距离盲区。FAST-LIVO2的效率和精度在大量公开数据集上进行了评估,而每个系统模块的鲁棒性和有效性则在私有数据集上进行了测试。
1、顺序更新策略 顺序更新策略是在FAST-LIVO2系统中用于融合不同传感器数据(激光雷达、视觉和 ...
公路病害检测
610e54adfd580b587c0bbd59721346a94ed17a10e5b294ca54d0625cc90b5a40f98a48b03b338400672a460cd16d45a647c640d0e9051de96fa5df60607d73f1f2b161201dd8d291d19f185d3e170e4e09889175307aa96ae0219936d52aa577c1f7f8245c39296d3e64e4728c2c19f7ad8238996483cc4989c2f04c0d84e0dda6e728550b1ed68471299669d387c969b26a251b5273b5108e0dd999e37ed59fadf3b88998379f6be0d4840e181aa10cd8f81891485d5295b410e963eba8e353dfd7a18750f97bf1081500fc46fd044d4a68f3be659ebe93be577500707feaedbf5d8a5fe63760dcb369d4c82afb50f0de7ba2109ac1d5442 ...
激光雷达-惯性-视觉融合算法
激光雷达-惯性-视觉融合算法1、激光雷达为什么狭窄空间里雷达会严重退化?1. 多路径反射现象狭窄空间中的墙壁、天花板和其他障碍物会导致激光束发生多次反射。激光雷达依赖光束从物体表面反射回接收器来计算距离,但在狭窄空间内,光束可能在不同的表面之间反复反射,导致接收到的信号失真,甚至产生虚假距离。这种多路径效应让雷达难以精确识别物体的位置和形状,影响建图和定位的精度。
2. 视野受限LiDAR的工作原理是通过发射激光束并收集其反射信息来构建周围环境的点云。狭窄空间限制了激光束的发射角度和范围,导致视野受限,LiDAR难以获取足够的信息来生成精确的环境模型。这种空间受限会导致点云数据稀疏,使得LiDAR在局部环境的特征提取和匹配变得困难。
3. 距离测量误差增大激光雷达通常设计用于测量较远的距离,但在狭窄空间内,物体与雷达之间的距离可能非常近。当激光雷达的探测距离接近其最小有效测量距离时,测量精度可能会下降。此外,狭窄空间中的复杂几何结构(如弯曲的墙壁或狭窄的缝隙)会导致反射光束的强度变化,从而影响距离测量的准确性。
4. 遮挡和缺少特征狭窄空间往往具有较多的遮挡物,如柱子、家具、墙壁等。这 ...
专利写作素材及经验总结
610e54adfd580b587c0bbd59721346a92e45b99994eed21044e0b3906f959430bca299a30a367b5f6846132e80b0ae1370341e5f19396feebcb25c4808215de2bd8ad58e1b38780f995b4057ac78bf007835988937b6cdcb61b9a014b001249eae45d0acdc18f4525a420fd8b2f9fa5e08fc39a9b6c28523d0e2dece43fbf9c5a599b0fc1ed903c8ebbd205469b174b01d34c316ddf501247ddeb211ddaa3456380831404c9f00f431ed67b0ae0a2c423ba7e3ac0f1fb34ad7f0a9138dbd14421c8cba2d4d1a6c80d7f083b7633d6a00a61f83b20dccd6159b9879eb1e8cea4e39902abeec3c0358f750f8a53822110e9958d9feaea8c6201 ...
三维重建
1、传统三维重建(SFM-MVS)2、三维重建基础知识2.1 几何体表达方式:
3、生成式AI融合三维重建
基于优化的方法
基于新视角生成
基于前馈网络生成
3DGS原理分析
1. 三维高斯泼溅(3DGS)1.1 3DGS原理分析3D Gaussian Splatting for Real-Time Radiance Field Rendering原文:
论文地址:https://arxiv.org/abs/2308.04079
项目主页:https://repo-sam.inria.fr/fungraph/3d-gaussian-splatting/
整体流程:【新芽结业汇报】DIP、NeRF 与 3DGS:自监督式图像处理及3D场景渲染_哔哩哔哩_bilibili
三维高斯的优点:
球谐函数:
球谐函数特点:
总结:
抛雪球(splatting):
可微光栅化:
参数优化:
自适应密度控制机制:
与其他改进nerf效果比较:
结论:
1.2 3DGS原理分析(另一个up主)
BliBli [意の茗]【论文讲解】用点云结合3D高斯构建辐射场,成为快速训练、实时渲染的新SOTA!
建议看这里的3D高斯分布概率密度函数的推导,视频里的有点问题:
多元/多维高斯/正态分布概率密度函数推导 (Derivation ...
无人机倾斜摄影融合贴近摄影
无人机倾斜摄影融合贴近摄影1. 前言
倾斜摄影和贴近摄影是两种不同的摄影方式,它们在获取场景信息的方式和用途上有所不同。倾斜摄影是一种从多个角度拍摄场景的摄影方式,可以获取到场景的全方位信息,适用于大规模场景的快速建模和三维重建。而贴近摄影则是一种近距离拍摄场景的摄影方式,可以获取到场景的细节信息,适用于精细场景的建模和三维重建。
2. 相关论文
桂电建交学院中文核心:贴近和倾斜摄影互融在拱桥表观病害检测的应用
实验采用以贴近摄影技术为主,倾斜摄影技术为辅的“先整体后局部”高分辨率影像数据采集方案,构建了拱形桥梁精细化实景三维模型;基于精细化实景三维模型成果对拱形桥梁进行非接触式快速检测,获取裂缝、锈蚀、变形等表观病害的位置和尺寸信息,并在模型中标注凸显,便于病害隐患精准排查及维修,最终建立拱形桥梁检测的病害信息三维模型电子档案,实现病害发展时空追溯。
2.1 传统检测方法与新方法
人工检测方法:是指通过人工观察和测量来检测桥梁病害的方法。这种方法需要桥梁技术人员对桥梁结构有深入的了解,并且需要花费大量的时间和精力来观察和测量桥梁的各个部分。这种方法虽然可以获取到详细的病害信息 ...