一种基于图像拼接的移动机器人大空间性能检测方法与流程

本发明涉及电子测量和数据处理领域，特别涉及一种基于图像拼接的移动机器人大空间性能检测方法。

背景技术：

1、移动机器人是至少有一个移动机构的能自由移动的机械系统，包括地面移动机构、空中移动机构等。移动机器人由于具有灵活高效、稳定性强等优点被用于不同的场合，甚至是不适合人类作业的危险场合。

2、移动机器人的性能不仅会影响工作任务的完成效果，甚至会影响人的生命财产安全。在移动机器人的检测领域，一般采用激光跟踪或者双目视觉对移动机器人的运动精度、运动速度、导航能力等指标开展检测。基于激光跟踪测量的方法存在断光的问题，不能对移动机器人曲线运动性能、回转运动精度等指标进行检测。基于双目视觉测量的方法存在视野受限的问题，不仅只能在小范围内对移动机器人进行检测，而且存在测量“死角”，难以对其全空间运动性能进行检测。

技术实现思路

1、本发明的目的是针对移动机器人的运动精度、速度等导航能力检测问题，提出一种基于图像拼接的移动机器人大空间性能检测方法。

2、本发明的技术方案是：

3、本发明提供一种基于图像拼接的移动机器人大空间性能检测方法，该方法包括以下步骤：

4、基于检测场地布置若干个工业相机，对工业相机之间的位置进行标定；

5、对移动机器人的结构进行建模；

6、根据检测要求，控制移动机器人在检测场地中移动；同时，通过工业相机实时获取移动机器人的图像数据；

7、对所述图像数据进行处理，获取移动机器人各时刻的全景图像，在时间轴叠加，获取移动机器人的性能。

8、进一步地，所述工业相机的数量基于检测场地的尺寸确定，单个工业相机的视野能够覆盖5～10平方米，按照场地尺寸、形状，将工业相机安装在检测场地的周围。

9、进一步地，所述工业相机之间的位置标定包括：对所有工业相机进行顺序编号，并选择其中一个工业相机为主机站，基于各相机所覆盖的区域，对工业相机之间的位置进行标定。

10、进一步地，所述的建模采用红外靶标对移动机器人的结构进行建模，靶标的数量和布局与移动机器人的结构适配。

11、进一步地，对所述图像数据进行处理包括：

12、基于工业相机之间的位置标定，对各工业相机获取图像之间的坐标关系进行转换；对各相机拍摄的图片进行拼接，形成移动机器人全空间运动图像。

13、进一步地，所述拼接具体为：

14、对于任一时刻t，获得n个相机的图像，将图像按工业相机的编号进行排序，记为img1，img2，...imgn；

15、获取相邻图像之间的变换关系矩阵，所述相邻图像包括img1和img2，img2和img3，...，imgn-1和imgn，imgn和img1；

16、基于变换关系矩阵，将相邻的两张图像叠加在同一坐标系，顺序叠加后一张图像，遍历所有图像，即将img1和img2融合成img1-2；将img1-2和im1cqg3融合成img1-2-3；...，将img1-2-..(n-1)和imgn融合成img1-2-.(n-1)-n，img1-2-...-n和img1融合成img1-2-..-(n-1)-n-1；融合后的img1-2-..-(n-1)-n-1即为全景图像。

17、进一步地，获取相邻图像之间的变换关系矩阵具体为：

18、a、将图像分成32*32大小的patch，通过深度学习获得两张图像中每个patch的特征；

19、b、基于两张图像中patch深度特征的相似度获得相似度矩阵，选取两张图像中相似度高的patch对；

20、c、采用sift特征提取算法对所选patch对进行角点提取，对patch对中提取的特征点进行模式匹配，获得匹配特征点集合；

21、d、对匹配特征点集合进行处理，结合透视变换模型获取变换矩阵。

22、进一步地，选取两张图像中相似度高的patch对具体为：通过匈牙利匹配算法获得两张图像中相似度高的patch对。

23、进一步地，对匹配特征点集合进行处理包括：

24、d1、随机从匹配特征点集合中抽出4对匹配的样本数据，前述样本在对应的两张图像内不共线，计算出两张图像内对应匹配特征点的变换矩阵h，记为透视变换模型m；

25、d2、计算所有匹配特征点对与透视变换模型m的投影误差，选择误差最小的4对加入内点集i；

26、d3、基于当前内点集i的4对匹配特征点，按照步骤d1获取透视变换模型m'，按照步骤d2更新内点集i，执行当前步骤迭代k次，提取最终透视变换模型对应的变换矩阵。

27、进一步地，所述移动机器人的性能包括实时位置、运动方向以及运动范围。

28、本发明的有益效果：

29、本发明的基于图像拼接的移动机器人大空间性能检测方法，与传统的移动机器人性能检测方法相比，通过高精度工业相机，通过图像拼接算法获得全景图像，可以在大空间范围内实现移动机器人的全参数、无“死角”测量。

30、本发明采用多个高精度工业相机获取移动机器人的实时位置和运动方向；工业相机的个数可以根据检测场地的大小自定义设置，确保整个场地空间均处于相机的拍摄视野中，解决移动机器人的大空间性能测量问题；能够在任意时刻、任意位置，移动机器人同时处于2个工业相机的视野中，避免测量“死角”；当确定好工业相机的个数和位置后，以相邻相机位置确定位置转换关系，利用图像拼接算法获得全景图像，支持多张照片进行拼接。

31、本发明按相机的位置对多角度的图像编号排序；将相邻编号的图像利用图像拼接算法拼接融合。基于patch深度特征的相似度进行配准，提取角点，进行模式匹配，建立匹配特征点集合；最后利用ransac算法结合透视变换模型求解关系变换矩阵,这样可以获得更加精细的图像配准结果。最后根据图像配准结果进行图像融合。然后循环进行该操作，最终获得全景图像。

32、本发明支持实时显示和回放移动机器人的运动状况，包括但不限于运动速度、运动方向、运动轨迹。移动机器人在不同相机视野下拍摄的图片主要基于图像拼接技术，形成整个大空间的运动图像。

33、本发明的其它特征和优点将在随后具体实施方式部分予以详细说明。

技术特征：

1.一种基于图像拼接的移动机器人大空间性能检测方法，其特征在于，该方法包括以下步骤：

2.根据权利要求1所述的基于图像拼接的移动机器人大空间性能检测方法，其特征在于，所述工业相机的数量基于检测场地的尺寸确定，单个工业相机的视野能够覆盖5～10平方米，按照场地尺寸、形状，将工业相机安装在检测场地的周围。

3.根据权利要求1所述的基于图像拼接的移动机器人大空间性能检测方法，其特征在于，所述工业相机之间的位置标定包括：对所有工业相机进行顺序编号，并选择其中一个工业相机为主机站，基于各相机所覆盖的区域，对工业相机之间的位置进行标定。

4.根据权利要求1所述的基于图像拼接的移动机器人大空间性能检测方法，其特征在于，所述的建模采用红外靶标对移动机器人的结构进行建模，靶标的数量和布局与移动机器人的结构适配。

5.根据权利要求1所述的基于图像拼接的移动机器人大空间性能检测方法，其特征在于，对所述图像数据进行处理包括：

6.根据权利要求5所述的基于图像拼接的移动机器人大空间性能检测方法，其特征在于，所述拼接具体为：

7.根据权利要求6所述的基于图像拼接的移动机器人大空间性能检测方法，其特征在于，获取相邻图像之间的变换关系矩阵具体为：

8.根据权利要求7所述的基于图像拼接的移动机器人大空间性能检测方法，其特征在于，选取两张图像中相似度高的patch对具体为：通过匈牙利匹配算法获得两张图像中相似度高的patch对。

9.根据权利要求7所述的基于图像拼接的移动机器人大空间性能检测方法，其特征在于，对匹配特征点集合进行处理包括：

10.根据权利要求1所述的基于图像拼接的移动机器人大空间性能检测方法，其特征在于，所述移动机器人的性能包括实时位置、运动方向以及运动范围。

技术总结
一种基于图像拼接的移动机器人大空间性能检测方法，该方法包括以下步骤：基于检测场地布置若干个工业相机，对工业相机之间的位置进行标定；对移动机器人的结构进行建模；根据检测要求，控制移动机器人在检测场地中移动；同时，通过工业相机实时获取移动机器人的图像数据；对所述图像数据进行处理，获取移动机器人各时刻的全景图像，在时间轴叠加，获取移动机器人的性能。本发明的方法，通过高精度工业相机采集图像，进行图像拼接获得全景图像，可以在大空间范围内实现移动机器人的全参数、无“死角”测量。

技术研发人员：王直荣,刘旭东,管志钢,何建新,李峥,孙骏栖,曹洁
受保护的技术使用者：常州检验检测标准认证研究院
技术研发日：
技术公布日：2024/1/13