一种室内机器人多相机定位方法、系统及介质与流程

本发明涉及机器人定位，尤其是涉及一种基于关键点检测的室内机器人多相机定位方法、系统及介质。

背景技术：

1、机器人是具有感知、决策和执行等多种能力于一体的自动化装备，随着智能制造与信息技术的迅猛发展，机器人已经被广泛应用在工业、医疗、军事、服务业等领域。其中室内移动机器人是一种在室内环境中执行特定任务的自主机器人，精准定位是保证移动机器人能够准确感知和导航周围环境的重要前提。

2、机器人定位技术是指在未知环境中，利用各自先进技术与算法确定机器人自身位置与姿态的过程。现有的室内机器人定位技术主要有激光雷达、超声波测距、无线信号定位、惯性导航定位和视觉定位等方法。

3、在以上定位方法中，激光雷达定位技术通过激光传感器获得高精度距离信息，具有较好的实时性和稳定性，但是部署成本高、对环境光线敏感，定位信息缺乏语义信息；超声波测距适用于近距离定位和避障，穿透力强且应用成本低，但是受声波传播和反射影响，无法精确地描述目标物位置；无线信号定位技术在较少设备与成本下，可以自动更新数据，具有较长通信距离，不过在复杂环境下，易受其他信号传播与干扰；惯性导航定位技术利用惯性传感器(imu)采集到的加速度和角速度等数据，通过推算得到物体的位置和姿态，该方法实时性好，不依赖外界环境，但推算方法基于时间积分，短时间内具有高精度和稳定性，随着时间的累积，导航定位误差也在不断增加；视觉技术定位利用相机作为传感器，通过图像处理技术进行定位，精度较高，不过易受到光照条件、纹理区别、遮挡等影响。

技术实现思路

1、本发明的目的是为了提供一种基于关键点检测的室内机器人多相机定位方法、系统及介质，利用关键点信息实现室内机器人精确定位，方便后续导航，具有良好的实时性和可靠性。

2、本发明的目的可以通过以下技术方案来实现：

3、一种基于关键点检测的室内机器人多相机定位方法，包括以下步骤：

4、s1、获取布置在室内机器人平台的图像采集装置采集的图像并依据不同场景需求进行图像处理；

5、s2、根据处理后的目标图像，对目标机器人轮廓及关键点进行标注与连接，并基于关键点检测模型，使用标注的关键点信息提取目标框，根据目标框输出当前图像中机器人及其关键点位置；

6、s3、依据目标框和关键点位置信息，通过坐标系的转换，计算世界坐标系下机器人的目标框和关键点位置信息；

7、s4、基于世界坐标系下机器人的关键点位置信息，使用欧拉角计算偏航角，输出机器人的头朝向；

8、s5、利用卡尔曼滤波预测关键点位置和头朝向，实现室内多个运动机器人的精准定位。

9、所述图像采集装置为一个或多个垂直俯视深度相机，各个深度相机之间各自独立、互不干扰且互相合作。

10、所述步骤s1具体为：根据图像采集装置的深度相机采集的第一视野及多个视野的图像，依据具体应用场景确定使用单个视野图像或多个视野的拼接图像。

11、所述步骤s2包括以下步骤：

12、s21、根据处理好的图像，对机器人与机器人上的关键点进行关键点标注与连接，标注过程依次按照中心点、目标前方左顶点、前方右顶点和中心点顺序进行关键点连接；

13、s22、对图像进行数据增强以适应不同光照场景；

14、s23、利用基于卷积神经网络的关键点检测模型，通过卷积神经网络骨干结构提取图像特征，在输出特征图中确定目标框位置和大小，对于目标框内的每个像素点，所述关键点检测模型根据关键点数量和类型预测目标的关键点位置；

15、s24、对所述关键点检测模型进行训练后用于输出目标框和关键点位置，其中，所述模型基于标注信息提取目标框，根据目标框自适应补偿得到机器人关键点位置，在训练阶段使用标注信息计算损失函数，并通过反向传播更新模型参数；

16、s25、基于置信度对关键点检测模型的输出进行筛选和非极大值抑制，得到最终的目标框和关键点位置。

17、关键点检测模型输出的位置信息是基于像素坐标系uv的坐标向量，单位为pixel；对于每个相机i，相机之间不存在相对运动。

18、所述步骤s3中的坐标系的转换涉及世界坐标系xwywzw、相机坐标系xcyczc、图像坐标系xy和像素坐标系uv，令步骤s2得到的第i个相机内的目标框角点或关键点位置坐标为(u，v)，图像坐标系xiyi中对应的点表示为(x，y)，

19、图像坐标系和像素坐标系的关系是

20、其中(x0i，y0i)表示图像坐标系原点(0，0)映射在像素坐标平面的坐标，dx与dy表示单个像素点映射在图像坐标平面的物理尺寸大小，则像素坐标系uivi到图像坐标系xiyi的转换关系为：

21、

22、从图像坐标系xiyi到相机坐标系xciycizci是2d转3d的过程，相机坐标系xciycizci内目标中心点表示为(xc，yc，zc)，根据图像坐标系xiyi中目标中心点(x，y)与(xc，yc，zc)的投影比例可得：则图像坐标系xiyi到相机坐标系xciycizci转换关系为：

23、

24、其中f为相机焦距，zc为相机深度，ki表示第i个相机的内参矩阵，内参矩阵ki通过张正友棋盘格标定获取；

25、从相机坐标系xciycizci到世界坐标系xwywzw的转换用旋转矩阵和平移向量来描述：

26、

27、其中ri为旋转矩阵，ti为平移向量，表示第i个相机的外参矩阵；

28、通过上述转换关系将所有相机捕获的机器人在像素坐标系的位置信息转换到同一个世界坐标系，该世界坐标系为惯性系或全局坐标系，从而确定单个图像或拼接图像中同一个坐标系下位置信息。

29、所述关键点位置信息包括目标中心点和目标前方左右两个顶点的坐标。

30、所述步骤s4具体为：通过世界坐标系下的关键点位置计算目标头朝向，其中，目标前方顶点的中心点为新中心点坐标，由目标中心点指向新中心点为目标头朝向；使用欧拉角的偏航角计算机器人相对于世界坐标系的朝向角度，机器人位于世界坐标系中zw值相同的平面，偏航角即机器人绕z轴的旋转角度。

31、所述步骤s5具体为：初始化卡尔曼滤波器，包括状态向量、状态估计、协方差矩阵和测量矩阵；在当前时刻，使用状态转移矩阵和协方差矩阵对目标下一时刻位置进行预测，将关键点检测模型输出的目标位置作为实际观测值，更新时预测值结合观测值，得到下一时刻准确位置，实现实时定位。

32、一种基于关键点检测的室内机器人多相机定位系统，包括：

33、多个室内移动机器人；

34、图像采集装置，用于采集图像信息；

35、计算设备，包括存储器、处理器，以及存储于所述存储器中的程序，所述处理器执行所述程序时实现如上述所述的方法。

36、一种存储介质，其上存储有程序，所述程序被执行时实现如上述所述的方法。

37、与现有技术相比，本发明具有以下有益效果：

38、1)本发明的图像采集装置利用多个深度相机垂直拍摄图像，依据应用场景使用单个图像或者拼接图像，可以获取更大的视野，各相机之间没有相对运动，互不干扰又互相合作。

39、2)本发明的室内机器人定位方法采用基于关键点检测的神经网络技术，可以精确获取目标机器人位置信息，后续通过坐标系转换得到系统中全局坐标系下目标机器人位置信息，进行欧拉角计算时，计算结果相对于全局坐标系的朝向角度，方便后续机器人感知和导航周围环境。