一种在玻璃环境下多传感器融合的机器人建图方法

本发明属于图像处理的，具体涉及一种基于在玻璃环境下多传感器融合的机器人建图方法。

背景技术：

1、随着机器人和传感器技术的高速发展，移动机器人的应用场景逐渐从无人化工厂转移到生活服务业中，其中，slam(simultaneous localization and mapping)技术是移动机器人领域的核心技术之一，即同步地进行自身定位与环境地图的构建，结合路径规划技术能够实现移动机器人的自主导航，定位、建图和路径规划均依赖于机器人搭载的外部传感器对周围环境进行实时感知，其中定位、建图是路径规划的基础。

2、移动机器人广泛采用的传感器主要有超声波传感器、视觉相机和激光传感器，超声波能够正确测量与透明玻璃的距离，视觉相机能够检测出透明玻璃的整体轮廓，激光雷达以测量精度高、抗干扰能力强以及响应速度快、生产激光雷达的成本正在逐步降低等优点成为使用更为广泛的主流slam方案，而得到了广泛的应用。

3、尽管如此，该技术目前还存在以下缺陷：

4、并非所有物体都能够被激光雷达感知，激光雷达因其自身的物理特性在扫描透明玻璃时，其向外发射的红外激光会穿过透明玻璃打在后面的物体上，不能及时返回，激光雷达在透明玻璃前得到的测量数据会与实际环境产生较大的误差，导致不能获得正确的测量数据，无法建立与环境相一致的地图，加大了机器人自主移动时发生碰撞的风险，因而在激光slam算法中，机器人只能构建出透明玻璃以外的环境地图，透明玻璃的位置在地图上会被标记成可通行区域，而并非障碍物，构建的环境地图不准确，极大地影响到机器人系统的安全运行，比如在规划出一条穿过透明玻璃的路径，沿着这条路径行驶时机器人会撞向玻璃，从而导致安全隐患。

5、因此，如何利用多传感器的特点，通过多传感器融合的方式，得到大面积的玻璃或者连续的玻璃环境下机器人的准确建图成为亟待解决的技术问题。

技术实现思路

1、本发明提供了一种在玻璃环境下多传感器融合的机器人建图方法，提出了激光雷达、超声波传感器以及视觉相机的数据融合策略，解决了移动机器人在透明玻璃环境下建图准确性差的技术问题。

2、本发明可通过以下技术方案实现：

3、一种在玻璃环境下多传感器融合的机器人建图方法，利用视觉相机检测环境中是否有玻璃，若有，判断超声波传感器检测数据和激光雷达检测数据的差值是否大于阈值，若是，则触发数据融合算法对激光雷达检测数据进行补偿，最后采用gmapping算法对补偿后的激光雷达检测数据进行地图构建。

4、进一步，在执行数据融合算法时，激光雷达以顺时针旋转采集数据，每一帧数据用一个数组保存，最先采集到的数据在数组中数据索引i最大，并且通过数组中的数据索引i，以遍历方式访问激光雷达检测数据，按照如下规则用超声波检测数据修改激光雷达检测数据；

5、若玻璃右边界点的横坐标小于图像中心点的横坐标，此时需要替换的激光雷达检测数据全部位于激光雷达坐标系下第二象限，需要遍历修改的数据索引i如下：

6、

7、若玻璃左边界点的横坐标大于图像中心点的横坐标，此时需要替换的激光雷达数据全部位于激光雷达坐标系下第一象限，需要遍历修改的数据索引i如下：

8、

9、若玻璃的左边界点的横坐标小于图像中心点的横坐标，且右边界点大于图像中心点的横坐标，此时需要替换的激光雷达数据位于第一和第二象限，需要遍历修改的数据索引i如下：

10、

11、其中，玻璃的左边界点c1、右边界点c2的像素坐标分别为c1(u1,v1)、c2(u2,v2)，在c1c2切面上的某像素点c3(u3,v3)的超声波测距信息为zc，fx,fy,cx,cy为相机内参，由相机标定获取，a由激光雷达自身角度分辨率决定。

12、进一步，所述激光雷达、超声波传感器、视觉相机均设置于机器人上，且激光雷达、超声波传感器依次位于视觉相机的正下方。

13、进一步，采用trans2seg神经网络模型检测环境中是否存在玻璃，所述trans2seg神经网络模型以全卷积网络为基础，以transformer解码器替代原有的cnn解码器。

14、进一步，在构建透明玻璃的数据集时，从玻璃数据集trans10k-v2选择包含玻璃窗、玻璃墙和玻璃门三个类原型的图像构成初始数据集，再使用智能手机以及机器人搭载的视觉相机在不同的光线条件和角度下采集内嵌在墙壁中透明窗户、落地窗、透明玻璃门的图像作为初始数据集的补充，构成最终的数据集，其中，补充的图像中玻璃占据图像的20％-80％。

15、本发明有益的技术效果如下：

16、第一，视觉相机采用tran2seg神经网络模型，减少了感知过程中对小物件的错误识别，从公开数据集删除了玻璃瓶、眼镜等图像，从采集实际工作场景作为数据集的补充，大大的提高识别环境中透明玻璃的准确率。

17、第二，本发明提出了激光雷达、超声波传感器以及视觉相机的数据融合策略，以激光雷达检测数据和超声波传感器检测数据的差值作为触发条件，确保在视觉相机检测到透明玻璃时，其与机器人的距离在超声波传感器的最大量程之内，不会因为丢失深度数据造成数据融合失败；将激光雷达检测数据按照顺时针四象限排列，以数组形式存储，根据玻璃轮廓的左右边界点相对图像中心点的相对位置，利用数据索引遍历修改激光雷达检测数据，简单编辑，处理速度快，为后续构建地图提供准确的数据基础。

18、第三，本发明在透明玻璃环境，选择了建图精度最高、运算量小且实际性高的gmapping-slam作为研究基础，建立了合适的观测方程，首先建立超声波观测方程采用渡越时间法测量出玻璃与移动机器人的距离信息，然后通过张正友标定法获取视觉相机的内参，解算出透明玻璃与移动机器与人的相对位置关系，大大的提高了栅格地图的完成度。通过实验验证了融合算法的有效性，通过各类传感器之间的优势互补，改进后gmapping-slam的建图精确度更高，解决了移动机器人在透明玻璃环境下建图准确性差的技术问题。

技术特征：

1.一种在玻璃环境下多传感器融合的机器人建图方法，其特征在于：利用视觉相机检测环境中是否有玻璃，若有，判断超声波传感器检测数据和激光雷达检测数据的差值是否大于阈值，若是，则触发数据融合算法对激光雷达检测数据进行补偿，最后采用gmapping算法对补偿后的激光雷达检测数据进行地图构建。

2.根据权利要求1所述的在玻璃环境下多传感器融合的机器人建图方法，其特征在于：在执行数据融合算法时，激光雷达以顺时针旋转采集数据，每一帧数据用一个数组保存，最先采集到的数据在数组中数据索引i最大，并且通过数组中的数据索引i，以遍历方式访问激光雷达检测数据，按照如下规则用超声波检测数据修改激光雷达检测数据；

3.根据权利要求2所述的在玻璃环境下多传感器融合的机器人建图方法，其特征在于：所述激光雷达、超声波传感器、视觉相机均设置于机器人上，且激光雷达、超声波传感器依次位于视觉相机的正下方。

4.根据权利要求1所述的在玻璃环境下多传感器融合的机器人建图方法，其特征在于：采用trans2seg神经网络模型检测环境中是否存在玻璃，所述trans2seg神经网络模型以全卷积网络为基础，以transformer解码器替代原有的cnn解码器。

5.根据权利要求4所述的在玻璃环境下多传感器融合的机器人建图方法，其特征在于：在构建透明玻璃的数据集时，从玻璃数据集trans10k-v2选择包含玻璃窗、玻璃墙和玻璃门三个类原型的图像构成初始数据集，再使用智能手机以及机器人搭载的视觉相机在不同的光线条件和角度下采集内嵌在墙壁中透明窗户、落地窗、透明玻璃门的图像作为初始数据集的补充，构成最终的数据集，其中，补充的图像中玻璃占据图像的20％-80％。

技术总结
本发明涉及图像处理的技术领域，公开了一种在玻璃环境下多传感器融合的机器人建图方法，利用视觉相机检测环境中是否有玻璃，若有，判断超声波传感器检测数据和激光雷达检测数据的差值是否大于阈值，若是，则触发数据融合算法对激光雷达检测数据进行补偿，最后采用Gmapping算法对补偿后的激光雷达检测数据进行地图构建。通过实验验证了本发明的融合算法的有效性，通过各类传感器之间的优势互补，提高了建图的精确度更高。

技术研发人员：方祖华,刘畅,江润泽,安康
受保护的技术使用者：上海师范大学
技术研发日：
技术公布日：2024/2/1