前面内容:
一. 器件选型心得(系统设计)--1_goldqiu的博客-CSDN博客
一. 器件选型心得(系统设计)--2_goldqiu的博客-CSDN博客
二. 多传感器时间同步方案(时序闭环)--1
三. 多传感器标定方案(空间同步)--1_goldqiu的博客-CSDN博客
三. 多传感器标定方案(空间同步)--2
三. 多传感器标定方案(空间同步)--3
四. 点云着色(真彩点云)方案
在对多传感器进行了时间上的同步和空间上的标定后,尤其是雷达和相机的时空同步,要如何对这个同步效果进行验证呢?
一个比较好的方法就是给点云着色,也就是生成真彩点云。其原理就是利用雷达和相机的变换矩阵,将相机像素平面的点转换到三维空间中,其中和雷达点重合的点赋予RGB三通道颜色;也就是点云的信息除了X、Y、Z、intensity、timestamp,还多了R、G、B三个值;一些三维显示软件或工具能够显示这种带色彩信息的点云。这种带有色彩信息的点云被称为真彩点云,带有更多的信息,方便建模。甚至如果对图像进行了语义的分类,转换过去还能使点云带有语义信息;能够将语义信息和雷达点云带有的深度、强度信息结合起来,这样的多源信息融合也就更丰富。
同样,我们还能检测时空同步的精度和效果,如果没有同步好,那么点云颜色就会错位。
在上班的时候,我们做了用于测绘的实时真彩点云生成,如下:
香港大学火星实验室的r3live和FAST-LIVO框架都实现了实时生成真彩点云的效果,而且效果很不错:
https://github.com/hku-mars/r3live
https://github.com/hku-mars/FAST-LIVO
参考之前的博客:
goldqiu:二十二.香港大学火星实验室R3LIVE框架跑官方数据集
这里还分享一个真彩点云的开源项目:
https://github.com/kahowang/Livox_Color_View_And_Mpping
他的工作是:
Livox_Color_View:调用 camera lidar 的外参结果,进行实时单帧点云上色显示。
FastLio2_Color_Mapping:订阅FastLio2 输出的/Odometry信息,进行地图上色。
简单来说就是提供了一个简单的显示工具,方便来检验相机雷达时空同步的效果;单帧点云上色显示用来检验相机雷达外参标定的效果;地图上色显示用来检验相机雷达外参标定和时间同步的效果,但他用软同步的效果也不赖。
最后分享一个我们团队的工作:
其中:
这里其实就是将分类后的图像(分成三块,安全、一般安全、不安全区域)的点变换到雷达点上,使雷达点带有RGB信息,同时这个RGB也是带有一定的语义信息,或者说是通行性信息。
可以看到着色后的雷达点其实还是在yaw角上有一定的错位的,这说明没有标定好。(ps:这是我们去年的实验截图)