一种充电座识别方法及移动机器人与流程

本申请涉及移动机器人控制技术领域，特别是涉及一种充电座识别方法及移动机器人。

背景技术：

移动机器人是一种能够按照既定程序执行工作的机器装置。移动机器人具有移动功能，在移动过程中能够执行多种类型的任务。例如，扫地机器人可以在移动过程中清洁路面，护理机器人可以运送医疗器械或病人等。

在移动机器人领域，自动回充技术能够提高移动机器人的智能性。在移动机器人的电池电量低于阈值时，移动机器人能够按照程序移动至充电座处，完成充电任务，在充电完毕之后继续执行任务。这就需要移动机器人能够识别充电座的位置。

相关技术中，移动机器人可以通过安装的激光雷达对充电座上的标记进行扫描，来识别充电座的位置。例如，图1a中移动机器人上的激光雷达可以发射激光扫描线，当激光扫描线照射到充电座上黑白相间的标记时，激光雷达可以接收到充电座反射的激光信号，并根据反射的激光信号确定充电座的位置。

采用上述方式通常能够识别充电座的位置。但是，由于激光扫描线是在平面内旋转扫动的，当移动机器人所在的地面存在倾斜时，激光扫描线旋转时可能无法照射到充电座的标记上，导致无法识别充电座。参见图1b，移动机器人所在的地面向下倾斜，此时激光扫描线无法照射到充电座标记上，这导致移动机器人无法识别充电座。因此，采用上述方式对充电座进行识别时，识别成功率不够高。

技术实现要素：

本申请实施例的目的在于提供了一种充电座识别方法及移动机器人，以提高对充电座的识别成功率。

为了达到上述目的，本申请实施例提供了一种充电座识别方法，该方法应用于移动机器人，所述移动机器人包括：红外摄像模组；所述方法包括：

获取所述红外摄像模组采集的图像；

根据预设的充电座图像特征，从所述图像中确定待识别充电座的图像区域；其中，所述待识别充电座能发出红外光；

根据确定的图像区域，确定所述待识别充电座的位置信息。

可选的，所述根据预设的充电座图像特征，从所述图像中确定所述待识别充电座的图像区域的步骤，包括：

根据预设的充电座像素特征和/或预设的充电座尺寸特征，从所述图像中确定所述待识别充电座的图像区域。

可选的，所述根据确定的图像区域，确定所述待识别充电座的位置信息的步骤，包括：

根据预先获取的所述待识别充电座上的第一预设数量个标识点，从所述图像区域中确定所述第一预设数量个标识点的图像位置；

根据所述第一预设数量个标识点在所述待识别充电座上的空间位置和所述第一预设数量个标识点的图像位置，以及第一预设公式，确定所述待识别充电座相对于所述移动机器人的位置信息。

可选的，所述根据所述第一预设数量个标识点在所述待识别充电座上的空间位置和所述第一预设数量个标识点的图像位置，以及第一预设公式，确定所述待识别充电座相对于所述移动机器人的位置信息的步骤，包括：

根据以下第一预设公式，确定所述待识别充电座相对于所述移动机器人的旋转矩阵R和平移矩阵t：

其中，所述(Xi，Yi，Zi)为所述第一预设数量个标识点中第i个标识点在所述待识别充电座上的空间位置，所述(ui，vi)为所述第一预设数量个标识点中第i个标识点的图像位置，所述K为预设的所述红外摄像模组的内参矩阵，所述argmin为最小化投影误差函数，所述n为所述第一预设数量。

可选的，所述根据确定的图像区域，确定所述待识别充电座的位置信息的步骤，包括：

获取所述图像区域中第二预设数量个标识点的深度信息；

根据所述深度信息和所述图像区域中第二预设数量个标识点的图像位置，按照第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置；

根据所述图像区域中第二预设数量个标识点的空间位置，确定所述待识别充电座的位置信息。

可选的，所述获取所述图像区域中第二预设数量个标识点的深度信息的步骤，包括：

当所述红外摄像模组还具有深度感知功能时，获取所述红外摄像模组采集的与所述图像对应的深度图像，从所述深度图像中获取所述图像区域中第二预设数量个标识点的深度信息；其中，所述深度图像包括各个标识点的深度信息；或者，

当所述红外摄像模组包括左摄像模组和右摄像模组时，所述图像包括所述左摄像模组和所述右摄像模组分别采集的第一图像和第二图像，所述图像区域为从所述第一图像中确定的第一图像区域或从所述第二图像中确定的第二图像区域，根据所述第一图像区域和第二图像区域中的对应像素点的不同位置，确定所述图像区域中第二预设数量个标识点的深度信息；或者，

当所述移动机器人还包括惯性感测单元IMU时，获取所述红外摄像模组在采集所述图像之前采集的上一图像，获取根据预设的充电座图像特征从所述上一图像中确定的所述待识别充电座的上一图像区域，获取所述IMU采集的从第一位置到第二位置时的运动参量，根据所述运动参量和所述上一图像区域，确定所述图像区域中第二预设数量个标识点的深度信息；其中，所述第一位置为采集所述上一图像时所述移动机器人的位置，所述第二位置为采集所述图像时所述移动机器人的位置。

可选的，所述根据所述深度信息和所述图像区域中第二预设数量个标识点的图像位置，确定所述图像区域中第二预设数量个标识点的空间位置的步骤，包括：

按照以下第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置：

其中，所述(Xi，Yi，Zi)为所述图像区域中第i个标识点的空间位置，所述Zi为所述图像区域中第i个标识点的深度信息，所述K为预设的所述红外摄像模组的内参矩阵，所述(ui，vi)为所述图像区域中第i个标识点的图像位置。

可选的，所述根据确定的图像区域，确定所述待识别充电座的位置信息的步骤，包括：

根据确定的图像区域，确定所述待识别充电座相对于所述移动机器人的空间位置和朝向。

可选的，所述移动机器人还包括：能发射红外光的红外发射器；所述红外发射器发射的红外光能够照射在所述待识别充电座上。

可选的，所述待识别充电座上包括反光材料，所述反光材料能够使反射光沿入射光的光路返回。

可选的，所述待识别充电座的各个侧面上均包括所述反光材料，各个侧面上反光材料的图案特征不同。

本申请实施例还提供了一种移动机器人，该移动机器人包括：处理器、存储器以及红外摄像模组；

所述红外摄像模组，用于采集图像，并将所述图像存储至所述存储器；

所述处理器，用于获取所述存储器中的所述图像，根据预设的充电座图像特征，从所述图像中确定所述待识别充电座的图像区域，根据确定的图像区域，确定所述待识别充电座的位置信息；其中，所述待识别充电座能发出红外光。

可选的，所述处理器，具体用于：

根据预设的充电座像素特征和/或预设的充电座尺寸特征，从所述图像中确定所述待识别充电座的图像区域。

可选的，所述处理器具体用于：

根据预先获取的所述待识别充电座上的第一预设数量个标识点，从所述图像区域中确定所述第一预设数量个标识点的图像位置；根据所述第一预设数量个标识点在所述待识别充电座上的空间位置和所述第一预设数量个标识点的图像位置，以及第一预设公式，确定所述待识别充电座相对于所述移动机器人的位置信息。

可选的，所述处理器具体用于：

根据以下第一预设公式，确定所述待识别充电座相对于所述移动机器人的旋转矩阵R和平移矩阵t：

其中，所述(Xi，Yi，Zi)为所述第一预设数量个标识点中第i个标识点在所述待识别充电座上的空间位置，所述(ui，vi)为所述第一预设数量个标识点中第i个标识点的图像位置，所述K为预设的所述红外摄像模组的内参矩阵，所述argmin为最小化投影误差函数，所述n为所述第一预设数量。

可选的，所述处理器，具体用于：

获取所述图像区域中第二预设数量个标识点的深度信息；

根据所述深度信息和所述图像区域中第二预设数量个标识点的图像位置，按照第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置；

根据所述图像区域中第二预设数量个标识点的空间位置，确定所述待识别充电座的位置信息。

可选的，当所述红外摄像模组还具有深度感知功能时，所述红外摄像模组，还用于采集与所述图像对应的深度图像，并存储至所述存储器；所述处理器，具体用于从所述存储器中获取所述深度图像，从所述深度图像中获取所述图像区域中第二预设数量个标识点的深度信息；其中，所述深度图像包括各个标识点的深度信息；或者，

所述处理器，具体用于当所述红外摄像模组包括左摄像模组和右摄像模组时，所述图像包括所述左摄像模组和所述右摄像模组分别采集的第一图像和第二图像，所述图像区域为从所述第一图像中确定的第一图像区域或从所述第二图像中确定的第二图像区域，根据所述第一图像区域和第二图像区域中的对应标识点的不同位置，确定所述图像区域中第二预设数量个标识点的深度信息；或者，

所述处理器，具体用于当所述移动机器人还包括惯性感测单元IMU时，获取所述红外摄像模组在采集所述图像之前采集的上一图像，获取根据预设的充电座图像特征从所述上一图像中确定的所述待识别充电座的上一图像区域，获取所述IMU采集的从第一位置到第二位置时的运动参量，根据所述运动参量和所述上一图像区域，确定所述图像区域中第二预设数量个标识点的深度信息；所述IMU，用于采集从所述第一位置到所述第二位置时的运动参量；其中，所述第一位置为采集所述上一图像时所述移动机器人的位置，所述第二位置为采集所述图像时所述移动机器人的位置。

可选的，所述处理器，具体用于：

按照以下第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置：

其中，所述(Xi，Yi，Zi)为所述图像区域中第i个标识点的空间位置，所述Zi为所述图像区域中第i个标识点的深度信息，所述K为预设的所述红外摄像模组的内参矩阵，所述(ui，vi)为所述图像区域中第i个标识点的图像位置。

可选的，所述处理器，具体用于：

根据确定的图像区域，确定所述待识别充电座相对于所述移动机器人的空间位置和朝向。

可选的，所述移动机器人还包括：能发射红外光的红外发射器；所述红外发射器发射的红外光能够照射在所述待识别充电座上。

可选的，所述待识别充电座上包括反光材料，所述反光材料能够使反射光沿入射光的光路返回。

可选的，所述待识别充电座的各个侧面上均包括所述反光材料，各个侧面上反光材料的图案特征不同。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的充电座识别方法。该方法包括：

获取所述红外摄像模组采集的图像；

根据预设的充电座图像特征，从所述图像中确定待识别充电座的图像区域；其中，所述待识别充电座能发出红外光；

根据确定的图像区域，确定所述待识别充电座的位置信息。

本申请实施例提供的充电座识别方法及移动机器人，可以获取红外摄像模组采集的包含能发出红外光的待识别充电座的图像，根据预设的充电座图像特征从图像中确定待识别充电座的图像区域，根据该图像区域，确定待识别充电座的位置信息。由于红外摄像模组的图像采集范围是以红外摄像模组为顶点的圆锥形范围，当移动机器人所在地面存在倾斜时，待识别充电座也能处在红外摄像模组的图像采集范围内，进而能够实现对待识别充电座的位置识别。并且，待识别充电座能发出红外光，在红外图像中能发出红外光的待识别充电座具有较明显的图像特征，因此从图像中识别待识别充电座的位置时，能够提高识别的准确性。当然，实施本申请的任一产品或方法并不一定需要同时达到以上所述的所有优点。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1a和图1b为移动机器人采用激光雷达识别充电座的几种参考图；

图2为本申请实施例提供的充电座识别方法的一种流程示意图；

图3a为本申请实施例提供的待识别充电座上标记物的一种参考图；

图3b为红外摄像机采集的包含图3a中标记物的一种参考图；

图3c为移动机器人和充电座之间相对位置的一种示意图；

图3d为移动机器人确定的回充路径的一种示意图；

图4为本申请实施例提供的红外发射器和红外摄像模组的一种安装位置示意图；

图5a为涂有玻璃微珠的反光贴纸的一种结构示意图；

图5b为晶体对光进行反射的一种原理示意图；

图5c为棱镜对光进行反射的一种原理示意图；

图6为图2中步骤S203的一种流程示意图；

图7为本申请实施例提供的待识别充电座上各个标识点位置的一种示意图；

图8为图2中步骤S203的另一种流程示意图；

图9a和图9b分别为双目摄像机的成像原理图和深度计算原理图；

图9c为单目摄像机+IMU实施例中计算深度信息的一种原理示意图；

图10a为红外摄像模组与待识别充电座的一种相对位置示意图；

图10b为本申请实施例提供的待识别充电座的一种断面标记示意图；

图11为本申请实施例提供的移动机器人的一种结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整的描述。显然，所描述的实施例仅仅是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了提高对充电座的识别成功率，本申请实施例提供了一种充电座识别方法及移动机器人。下面通过具体实施例，对本申请进行详细说明。

图2为本申请实施例提供的充电座识别方法的一种流程示意图。该方法实施例应用于移动机器人，该移动机器人包括：红外摄像模组。该红外摄像模组可以安装于移动机器人的前部或靠近前部的位置。红外摄像模组可以为红外摄像头、红外摄像机等。红外摄像模组为根据近红外光成像的摄像模组。一般来说，将波长为0.76μm～1.5μm的光称为近红外光。通常，普通摄像机中的光学传感器可以对近红外光区和可见光区的光产生感应，因此红外摄像模组可以通过在普通摄像机上加装阻挡可见光的滤镜得到。

本实施例的方法包括如下步骤S201～步骤S203：

步骤S201：获取红外摄像模组采集的图像。

红外摄像模组可以按照预设的周期采集图像，移动机器人可以按照预设的周期获取红外摄像模组采集的图像。当红外摄像模组位于移动机器人前部时，移动机器人可以获取红外摄像模组采集的移动机器人运动方向上的图像。

红外摄像模组采集的图像，可以理解为，采集移动机器人周围环境物体的图像。由于移动机器人是可移动的，移动机器人可能距离待识别充电座较远，也可能较近；待识别充电座可能处在红外摄像模组的图像采集范围内，也可能不处在红外摄像模组的图像采集范围内，因此，该图像中可能包含待识别充电座，也可能不包含待识别充电座；当图像中包含待识别充电座时，待识别充电座可能位于图像中的任意位置。

步骤S202：根据预设的充电座图像特征，从图像中确定待识别充电座的图像区域。

其中，待识别充电座能发出红外光。当待识别充电座发出红外光时，图像中待识别充电座显示为高亮区域，这使得待识别充电座在图像中的特征更明显，更容易被识别。

待识别充电座上发出红外光的区域，可以是待识别充电座的整个区域，也可以是待识别充电座上的标记物区域。将标记物设置成特定形状或图案，可以使充电座能具有可识别性。例如标记物可以是4个形状规则的矩形块按照预设顺序排列等。

待识别充电座内部可以具有红外光发射器，使待识别充电座自身向外发射红外光。待识别充电座也可以反射外部红外光发射器发射的红外光，使待识别充电座在图像中具有明显的高亮特征。为了使待识别充电座在反射红外光时，也能在图像中呈现出高亮特征，可以在待识别充电座上设置一些特殊材料来实现。

当待识别充电座能发出红外光时，图像中的待识别充电座为高亮区域。充电座图像特征可以为预设形状的高亮区域。预设形状可以预先根据待识别充电座上标记物的形状设置。例如，图3a为本申请实施例提供的待识别充电座上标记物的一种参考图，其中，黑色的待识别充电座上有4个白色矩形标记物，这些标记物能发出红外光。图3b为红外摄像机模组采集的包含图3a中标记物的一种参考图，其中可见4个矩形高亮区域即为待识别充电座上的标记物。

在从图像中检测出待识别充电座的标记物时，可以将各个标记物外框的区域作为待识别充电座的图像区域。例如，当待识别充电座包括4个矩形标记物时，确定的图像区域包括4个矩形标记物的图像区域。

本步骤S202在执行时，具体可以包括：根据预设的充电座图像特征，判断图像中是否存在待识别充电座；如果存在，则从图像中确定待识别充电座的图像区域；如果不存在，则可以不予以处理，也可以丢弃图像。

上述充电座图像特征，可以为充电座像素特征，例如像素值大于预设像素阈值的特征，也可以为充电座尺寸特征，例如图像区域的长宽比例特征、长度范围特征、宽度范围特征中的至少一种。其中，可以预先根据样本充电座在图像中的高亮区域部分的像素值确定预设像素阈值，例如，预设像素阈值可以为200或其他值。

相应的，本步骤S202可以为，根据预设的充电座像素特征和/或预设的充电座尺寸特征，从图像中确定待识别充电座的图像区域。具体的，可以对图像进行全盘扫描，检测出具有充电座像素特征和/或充电座尺寸特征的区域，将该区域作为待识别充电座的图像区域。

步骤S203：根据确定的图像区域，确定待识别充电座的位置信息。

待识别充电座的位置信息，可以包括：待识别充电座的空间位置和空间朝向。空间位置，即空间坐标。空间朝向可以采用待识别充电座所在平面的法向矢量表示。待识别充电座的空间位置和空间朝向，具体可以为待识别充电座相对于移动机器人的位置和朝向，即待识别充电座在移动机器人坐标系中的位置和朝向。移动机器人坐标系可以理解为坐标原点位于移动机器人上的坐标系。

本步骤具体可以为，根据确定的图像区域，确定待识别充电座相对于移动机器人的空间位置和朝向。

在一种具体实施方式中，本步骤可以包括：确定图像区域中各个像素点相对于移动机器人的空间位置，将图像区域中各个像素点对应的空间位置的平均值，作为待识别充电座相对于移动机器人的空间位置；根据图像区域中各个像素点对应的空间位置确定目标平面，将目标平面的法向矢量作为待识别充电座相对于移动机器人的朝向。

在确定待识别充电座相对于移动机器人的空间位置和朝向之后，移动机器人还可以根据确定的空间位置和朝向，确定从移动机器人到待识别充电座的回充路径，通过控制移动机器人中的驱动部件，驱动移动机器人沿回充路径靠近待识别充电座。上述回充路径可以使移动机器人在到达待识别充电座使正对待识别充电座，实现对移动机器人的自动充电。

例如，图3c显示了充电座相对于移动机器人的空间位置和朝向，其中，移动机器人的前部并未正对充电座。根据该空间位置和朝向，可以规划从移动机器人到充电座之间的回充路径。图3d显示了从移动机器人到充电座之间的一种回充路径示意图，当移动机器人沿着该回充路径从A点移动至B点时，移动机器人可以通过旋转使自身正对充电座，并继续从B点直行至充电座，进行充电。上述图3c和图3d均为俯视图。在该例中，移动机器人上的充电部件位于移动机器人的前部。可以，在得到充电座相对于移动机器人的朝向时，能更好地规划回充路径，使移动机器人在到达充电座时正对充电座，从而更准确地完成充电操作。

由上述内容可知，本实施例可以获取红外摄像模组采集的包含能发出红外光的待识别充电座的图像，根据预设的充电座图像特征从图像中确定待识别充电座的图像区域，根据该图像区域，确定待识别充电座的位置信息。由于红外摄像模组的图像采集范围是以红外摄像模组为顶点的圆锥形范围，当移动机器人所在地面存在倾斜时，待识别充电座也能处在红外摄像模组的图像采集范围内，进而能够实现对待识别充电座的位置识别。并且，待识别充电座能发出红外光，在红外图像中能发出红外光的待识别充电座具有较明显的图像特征，因此从图像中识别待识别充电座的位置时，能够提高识别的准确性。

为了提高成像质量，在本申请的另一实施例中，在图2所示实施例中，移动机器人还可以包括：能发射红外光的红外发射器。红外发射器发射的红外光能够照射在待识别充电座上。红外发射器可以安装在靠近红外摄像模组的位置。

在本实施例中，待识别充电座上的标记物可以采用镜面材料，当红外发射器和红外摄像模组均正对待识别充电座时，待识别充电座可以将红外发射器发出的红外光反射至红外摄像模组的镜头中，这种反射为镜面反射。红外摄像模组即可以采集到包含高亮的待识别充电座的图像，高亮的图像区域更容易被识别。

红外发射器作为补光器，可以对移动机器人的周围环境提供照明，当待识别充电座受到红外光照射时，能够使红外摄像模组拍摄到的图像中的待识别充电座更清晰。

在上述实施例中，为了使移动机器人在相对于待识别充电座的任意位置处时，待识别充电座均能在图像中显示出高亮特征，待识别充电座上可以使用反光材料，例如，待识别充电座布满反光材料，或者，待识别充电座的标记物使用反光材料。其中，反光材料能够使反射光沿入射光的光路返回。

例如，图4为移动机器人中红外发射器和红外摄像模组的一种安装位置示意图。当红外发射器发射出红外光之后，处于红外发射器视场(Field of view，FOV)中的物体会反射一定数量的红外光至红外摄像模组镜头中，从而在镜头中产生红外图像。当待识别充电座出现在红外发射器FOV和镜头FOV的重叠区域中时，由于反光材料几乎能够对红外光进行完全反射，图像中会出现高亮的区域，即待识别充电座能够在图像中高亮显示，相较于待识别充电座周围的物体，待识别充电座在图像中可以具有更高的辨识度。

本实施例中，反光材料可以采用反光贴纸，反光贴纸是一种高反射率材料。反光材料表面涂有高折射率玻璃微珠、晶体或者棱镜层，这些高反射率层能够对来自不同方向的光进行反射，使光沿着入射的方向反射回去。例如，图5a为涂有高折射率玻璃微珠的反光贴纸的一种结构示意图。这种反光贴纸包括表面树脂层、高折射率玻璃微珠、粘结剂层、反射层和贴纸层，入射光穿过表面树脂层投射在高折射率玻璃微珠上，经过反射层反射之后，又从表面树脂层反射回去。图5a中的反光贴纸中的玻璃微珠也可以为晶体或者透镜。图5b为晶体对光进行反射的一种原理图，图5c为棱镜对光进行反射的一种原理图。可见，入射光在投射到晶体或透镜上之后，经过反射和折射，光均可以以入射光的反方向出射。

当红外光照射在反光贴纸上时，红外光几乎会完全返回，使图像中该物体的像素区域内出现高亮区域。在待识别充电座上粘贴具有特殊形状的反光贴纸，则可以利用该特殊图案对待识别充电座进行识别。

本实施例中，无论移动机器人位于什么位置，待识别充电座均能将移动机器人上红外发射器发出的红外光反射回红外摄像模组，使待识别充电座能在图像中呈现出高亮图案。

在本申请的另一实施例中，在图2所示实施例中，步骤S203，根据确定的图像区域，确定待识别充电座的位置信息的步骤，可以按照图6所示流程示意图进行，具体可以包括以下步骤S203a和步骤S203b：

步骤S203a：根据预先获取的待识别充电座上的第一预设数量个标识点，从图像区域中确定第一预设数量个标识点的图像位置。

其中，第一预设数量可以为预设的数量值。第一预设数量可以为大于3的数值。第一预设数量个标识点为预先设置的点，这些点之间的相对位置是确定的。

预先获取待识别充电座上的第一预设数量个标识点，可以理解为，预先获取待识别充电座上的第一预设数量个标识点的空间位置，即第一预设数量个标识点在待识别充电座上的空间位置。第一预设数量个标识点的空间位置，可以为在以第一预设数量个标识点中的一个标识点为坐标原点建立的坐标系中的空间坐标，也可以是以空间中的任一固定点为坐标原点时建立的坐标系中的空间坐标。

确定第一预设数量个标识点的图像位置，可以理解为，确定第一预设数量个标识点在图像中的坐标。具体的，针对每个标识点，在确定该标识点的图像位置时，可以从图像区域中确定该标识点对应的像素点，根据该像素点的坐标确定该标识点的图像位置。其中，该标识点对应的像素点可以是一个，也可以是多个。当该标识点对应的像素点为一个时，可以直接将该像素点的坐标确定为该标识点的图像位置；当该标识点对应的像素点为多个时，可以将该多个像素点的坐标的平均值确定为该标识点的图像位置。

例如，参见图7，其中的4个矩形框为待识别充电座上的标记物，以4个矩形框的中心点作为预先设置的标识点，第一预设数量为4。以左下角的标识点为坐标原点，建立图7所示坐标系，则按照逆时针方向各个标识点的坐标分别为(0,0,0)，(L2,0,0)，(L2,-L1,0)和(0,-L1,0)。根据上述内容，可以确定图像区域中各个矩形区域的中心像素点即为图像区域中第一预设数量个标识点，这些标识点的坐标分别为(u1,v1)，(u2,v2)，(u3,v3)和(u4,v4)。

本实施例中，红外摄像模组可以为单目摄像机。

步骤S203b：根据第一预设数量个标识点在待识别充电座上的空间位置和第一预设数量个标识点的图像位置，以及第一预设公式，确定待识别充电座相对于移动机器人的位置信息。

本步骤具体可以包括，根据以下第一预设公式，确定待识别充电座相对于移动机器人的旋转矩阵R和平移矩阵t，该旋转矩阵R和平移矩阵t即为待识别充电座相对于移动机器人的位置信息：

其中，(Xi，Yi，Zi)为第一预设数量个标识点中第i个标识点在待识别充电座上的空间位置，(ui，vi)为第一预设数量个标识点中第i个标识点的图像位置，K为预设的红外摄像模组的内参矩阵，argmin为最小化投影误差函数，n为第一预设数量。

K具体可以为其中，fu和fv分别为红外摄像模组的镜头在图像的u轴和v轴方向上的等效焦距，cu和cv是上述镜头的光轴在图像中的投影中心的坐标。

通过求解的最优化解，可以得到上述旋转矩阵R和平移矩阵t。

例如，当n为4时，各个标识点的空间坐标分别为(0,0,0)，(L2,0,0)，(L2,-L1,0)和(0,-L1,0)；各个标识点的图像坐标分别为(u1,v1)，(u2,v2)，(u3,v3)和(u4,v4)，根据这些已知量，以及上述第一预设公式可以得到上述旋转矩阵R和平移矩阵t。

在另一种实施方式中，可以根据上述旋转矩阵R和平移矩阵t确定待识别充电座相对于移动机器人的朝向和位置，作为待识别充电座的位置信息。

综上，本实施例中，可以根据预先获取的待识别充电座上的标识点的空间位置，以及图像区域中对应标识点的图像位置，确定待识别充电座相对于移动机器人的位置，能够更准确地确定待识别充电座的位置。

在本申请的另一实施例中，在图2所示实施例中，步骤S203，根据确定的图像区域，确定所述待识别充电座的位置信息的步骤，可以按照图8所示流程示意图进行，具体可以包括以下步骤S203A和步骤S203B：

步骤S203A：获取图像区域中第二预设数量个标识点的深度信息。

其中，第二预设数量可以为预设的数量值，可以为大于3的数量值。第二预设数量可以与第一预设数量相同，也可以不同。

图像区域中第二预设数量个标识点可以为按照预设规则确定的像素点，也可以为预设的像素点。上述预设规则可以为随机选择像素点，也可以为选择预设位置处的像素点。例如，当待识别充电座包含4个矩形标记物时，可以将图像区域中每个矩形区域的中心像素点作为第二预设数量个标识点。当然，也可以从图像区域中多选择几个标识点。较多数量的标识点可以提高确定的待识别充电座位置的准确率。

上述深度信息可以包括距离数值、距离误差范围等中的至少一种。上述深度信息可以理解为，各个标识点对应的物体上的点与红外摄像模组之间的距离，即各个标识点对应的物体上的点与移动机器人之间的距离。

步骤S203B：根据上述深度信息和图像区域中第二预设数量个标识点的图像位置，按照第二预设公式，确定图像区域中第二预设数量个标识点的空间位置。

其中，图像区域中第二预设数量个标识点的空间位置可以理解为，图像区域中第二预设数量个标识点对应的空间物体上的点的空间坐标。

本步骤具体可以包括：

按照以下第二预设公式，确定图像区域中第二预设数量个标识点的空间位置：

其中，(Xi，Yi，Zi)为图像区域中第i个标识点的空间位置，i可以在1～m之间取值，m为第二预设数量。(Xi，Yi，Zi)所对应的坐标系的原点可以建立在移动机器人上。Zi为图像区域中第i个标识点的深度信息，K为预设的红外摄像模组的内参矩阵，(ui，vi)为图像区域中第i个标识点的图像位置。

K具体可以为其中，fu和fv分别为红外摄像模组的镜头在图像的u轴和v轴方向上的等效焦距，cu和cv是上述镜头的光轴在图像中的投影中心的坐标。

例如，第二预设数量个标识点的图像位置分别为{(u1,v1),(u2,v2)，...，(um,vm)}，各个标识点对应的深度信息可以分别为{Z1,Z2，...，Zm}，其中，m为第二预设数量，根据上述第二预设公式，可以得到图像区域中第二预设数量个标识点的空间坐标。

步骤S203C：根据图像区域中第二预设数量个标识点的空间位置，确定待识别充电座的位置信息。

本步骤具体可以包括，将图像区域中第二预设数量个标识点的空间位置的平均值，作为待识别充电座相对于移动机器人的空间位置；确定图像区域中第二预设数量个标识点对应的空间位置坐标点所在平面，将该平面的法向矢量作为待识别充电座相对于移动机器人的朝向。

综上，本实施例可以根据图像区域中像素点的深度信息确定标识点的空间位置，根据该空间位置确定待识别充电座的位置信息，能够提高确定待识别充电座时的准确性。

在本申请的另一实施例中，可以采用多种实施方式获取上述实施例步骤S203A中的深度信息。

当红外摄像模组还具有深度感知功能时，步骤S203A，获取图像区域中第二预设数量个标识点的深度信息的步骤，可以包括：

获取红外摄像模组采集的与上述图像对应的深度图像，从深度图像中获取图像区域中第二预设数量个标识点的深度信息。其中，深度图像包括各个标识点的深度信息。

在本实施例中，红外摄像模组可以包含深度传感器和红外发射器。该深度传感器可以为飞行时间(Time Of Flight，TOF)传感器。该TOF传感器可以利用红外发射器发出的红外光和红外摄像模组镜头接收的红外光之间的时间差来计算物体与镜头之间的深度信息，生成深度图像。在生成深度图像时，也可以是，将红外光调制成一定频率后进行发射，通过计算接收到的调制光与发射光之间的相位差来计算物体到镜头之间的深度值。

本实施例中，红外摄像模组在采集图像时也会得到该图像对应的深度图像，该深度图像包含该图像中各个像素点对应的深度信息，由于标识点是从图像的像素点中确定的，因此该深度图像包括各个标识点的深度信息。

当红外摄像模组为红外双目摄像机时，即红外摄像模组包括左摄像模组和右摄像模组时，上述图像包括左摄像模组和右摄像模组分别采集的第一图像和第二图像，上述图像区域为从第一图像中确定的第一图像区域或从第二图像中确定的第二图像区域。第一图像区域为根据预设的充电座图像特征从第一图像中确定的待识别充电座的图像区域，第二图像区域为根据预设的充电座图像特征从第二图像中确定的待识别充电座的图像区域。步骤S203A，获取图像区域中第二预设数量个标识点的深度信息的步骤，可以包括：

根据第一图像区域和第二图像区域中的对应标识点的不同位置，确定图像区域中第二预设数量个标识点的深度信息。

其中，第一图像区域和第二图像区域中的对应标识点，为这样的标识点：第一图像区域的该标识点和第二图像区域中的该标识点均对应于空间中的同一点；也就是，空间中的同一点分别在第一图像区域和第二图像区域中的成像点。

例如，图9a为双目摄像机的成像原理图。红外双目摄像机包括左眼相机和右眼相机，两个相机的中心点之间的连线为基线。点P在左眼相机中的成像为左眼像素，在右眼相机中的成像为右眼像素。

确定图像区域中第二预设数量个标识点的深度信息时，可以按照以下第三预设公式进行：

其中，Z为图像区域中一个标识点的深度信息，f为左摄像模组镜头的焦距或右摄像模组镜头的焦距，一般来说，左摄像模组或右摄像模组的焦距相同。b为左摄像模组的镜头中心和右摄像模组的镜头中心之间的基线长度，uL和uR分别是该标识点及对应标识点在的图像坐标。例如，当图像区域为第一图像区域时，该标识点为第一图像区域中的像素点，对应标识点为第二图像区域中的像素点；当图像区域为第二图像区域时，该标识点为第二图像区域中的像素点，对应标识点为第一图像区域中的像素点。

针对图像区域中第二预设数量个标识点中的每个标识点，均可以采用上述第三预设公式确定该标识点的深度信息。

参见图9b，图9b为双目摄像机像素点深度的计算原理图。在该图中，OL和OR分别是左摄像模组的镜头中心和右摄像模组的镜头中心，b为左摄像模组的镜头中心和右摄像模组的镜头中心之间的基线长度，PL为P点在左摄像模组成像平面上的成像像素点(即标识点)，PR为P点在右摄像模组成像平面上的成像像素点(即对应标识点)。Z为P点与基线之间的距离，也就是标识点的深度信息。uL和uR分别是PL和PR的坐标。

当移动机器人还包括惯性感测单元(Inertial Measurement Unit，IMU)时，步骤S203A，获取图像区域中第二预设数量个标识点的深度信息的步骤，可以包括以下步骤1～步骤4：

步骤1：获取红外摄像模组在采集上述图像之前采集的上一图像。

红外摄像模组可以按照预设的周期采集图像，上一图像为当前采集时刻之前的上一采集时刻该红外摄像模组采集的图像，当前采集时刻为红外摄像模组采集上述图像的时刻，上一采集时刻可以为与当前采集时刻相邻的采集时刻。

红外摄像模组采集上一图像时移动机器人的位置为第一位置，红外摄像模组采集上述图像时移动机器人的位置为第二位置。当红外摄像模组在移动机器人运动过程中采集图像时，上述第一位置和第二位置是不同的。

本实施例中，红外摄像模组可以为单目摄像机。

步骤2：获取根据预设的充电座图像特征从上一图像中确定的待识别充电座的上一图像区域。

本步骤可以参见图2所示实施例中的步骤S202，具体说明内容此处不再详述。

步骤3：获取IMU采集的从第一位置到第二位置时的运动参量。

上述运动参量可以包括旋转量和平移量。在移动机器人的运动过程中，IMU可以采集移动机器人运动过程中任意两个位置之间的旋转量和平移量。

步骤4：根据上述运动参量和上一图像区域，确定图像区域中第二预设数量个标识点的深度信息。

具体的，本步骤具体可以包括以下实施方式：针对图像区域中的目标标识点，根据上一图像区域中该目标标识点的对应标识点的图像位置和上述运动参量，按照以下第四预设公式，确定该目标标识点的深度信息；其中，目标标识点为图像区域中第二预设数量个标识点中的任意一个标识点：

sAxA＝sBxBR+t，xA＝K^-1p′A，xB＝K^-1p′B

其中，p′A＝(uA,vA,1)^T，p′B＝(uB,vB,1)^T，T为矩阵转置符号。(uB,vB)为目标标识点的图像位置，(uA,vA)为上一图像区域中该目标标识点的对应标识点的图像位置，p′A为(uA,vA)的归一化坐标，p′B为(uB,vB)的归一化坐标。R和t分别为上述运动参量中的旋转量和平移量。K为预设的红外摄像模组的内参矩阵。sA为上述对应标识点的深度信息，sB为该目标标识点的深度信息。xA表示上述对应标识点的归一化平面坐标，xB表示该目标标识点的归一化平面坐标。根据上述第四预设公式可以得到图像区域中第二预设数量个标识点中各个标识点的深度信息。

K具体可以为其中，fu和fv分别为红外摄像模组的镜头在图像的u轴和v轴方向上的等效焦距，cu和cv是上述镜头的光轴在图像中的投影中心的坐标。

上述目标标识点和对应标识点为这样的像素点：图像区域的该目标标识点和上一图像区域中的对应标识点均对应于空间中的同一点；也就是，空间中的同一点分别在上一图像区域和图像区域中的成像点。

参见图9c，该图9c为单目摄像机+IMU实施例中计算深度信息的一种原理示意图。其中，A为第一位置，B为第二位置。在A位置时检测到P点的成像点为pA(uA,vA)，在移动机器人移动至B位置时检测到P点的成像点为pB(uB,vB)，OA和OB分别是A位置处和B位置处红外摄像模组的镜头中心(镜头中心即为光圈中心)。根据图9c的示意图，可以采用三角测量法获取成像点的深度信息。

A位置到B位置的旋转量和平移量分别为R和t，根据相机模型，令xA＝K^-1p′A，xB＝K^-1p′B为两个成像点的归一化平面坐标，则可以得到sAxA＝sBxBR+t，其中，sA和sB分别是两个成像点的深度信息。上述sA和sB为未知数，为了求解sAxA＝sBxBR+t，可以在sAxA＝sBxBR+t两侧同时左乘一个得到通过求解方程，可以计算得到深度信息sB。

当充电座的某个平面上用反光材料做相应的标记之后，当待识别充电座出现在红外摄像模组的FOV中时，比较容易获取移动机器人与待识别充电座的相对位置关系。但是，当移动机器人在移动过程中移动至图10a所示位置处时，待识别充电座的标记物没有出现在红外摄像模组的FOV中，则移动机器人很难识别出待识别充电座。

为了在上述情况下也能够识别到待识别充电座，在本申请的另一实施例中，待识别充电座的各个侧面上均可以包括反光材料，各个侧面上反光材料的图案特征不同。具体的，在识别充电座时，可以根据预设的各个侧面的图案特征，确定待识别充电座的朝向。

在本实施例中，可以将待识别充电座划分为若干个侧面(侧面也可以称为断面)，每个侧面标记上不同的图案。如此，可以增大整个充电座的FOV。参见图10b，图10b为本实施例中待识别充电座的一种断面标记示意图。其中，图10b的上图为充电座各个侧面展开后的示意图，包括3个侧面，下图为充电座的俯视图。将充电座的各个侧面均采用反光材料标记成不同的图案，在充电座靠墙的情况下，充电座可以在180度范围内被识别到。

图11为本申请实施例提供的移动机器人的一种结构示意图。该实施例与图2所示方法实施例相对应。该移动机器人包括：处理器110、存储器111以及红外摄像模组112。该红外摄像模组可以安装于移动机器人的前部或靠近前部的位置。红外摄像模组可以为红外摄像头、红外摄像机等。红外摄像模组为根据近红外光成像的摄像模组。一般来说，将波长为0.76μm～1.5μm的光称为近红外光。通常，普通摄像机中的光学传感器可以对近红外光区和可见光区的光产生感应，因此红外摄像模组可以通过在普通摄像机上加装阻挡可见光的滤镜得到。

红外摄像头模组112，用于采集图像，并将图像存储至存储器111；

处理器110，用于获取存储器111中的图像，根据预设的充电座图像特征，从图像中确定所述待识别充电座的图像区域，根据确定的图像区域，确定待识别充电座的位置信息；其中，待识别充电座能发出红外光。

上述存储器111可以包括随机存取存储器(Random Access Memory，RAM)，也可以包括非易失性存储器(Non-Volatile Memory，NVM)，例如至少一个磁盘存储器。可选的，存储器还可以是至少一个位于远离前述处理器的存储装置。

上述处理器110可以是通用处理器，包括中央处理器(Central Processing Unit，CPU)、网络处理器(Network Processor，NP)等；还可以是数字信号处理器(Digital Signal Processing，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

在本申请的另一实施例中，图11所示实施例中，处理器110，具体用于：

根据预设的充电座像素特征和/或预设的充电座尺寸特征，从所述图像中确定所述待识别充电座的图像区域。

在本申请的另一实施例中，图11所示实施例中，处理器110具体用于：

根据预先获取的所述待识别充电座上的第一预设数量个标识点，从所述图像区域中确定所述第一预设数量个标识点的图像位置；根据所述第一预设数量个标识点在所述待识别充电座上的空间位置和所述第一预设数量个标识点的图像位置，以及第一预设公式，确定所述待识别充电座相对于所述移动机器人的位置信息。

在本申请的另一实施例中，图11所示实施例中，处理器110具体用于：

根据以下第一预设公式，确定待识别充电座相对于所述移动机器人的旋转矩阵R和平移矩阵t：

其中，所述(Xi，Yi，Zi)为所述第一预设数量个标识点中第i个标识点在所述待识别充电座上的空间位置，所述(ui，vi)为所述第一预设数量个标识点中第i个标识点的图像位置，所述K为预设的所述红外摄像模组的内参矩阵，所述argmin为最小化投影误差函数，所述n为所述第一预设数量。

在本申请的另一实施例中，图11所示实施例中，处理器110具体用于：

获取所述图像区域中第二预设数量个标识点的深度信息；

根据所述深度信息和所述图像区域中第二预设数量个标识点的图像位置，按照第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置；

根据所述图像区域中第二预设数量个标识点的空间位置，确定所述待识别充电座的位置信息。

在本申请的另一实施例中，图11所示实施例中，当红外摄像模组112还具有深度感知功能时，红外摄像模组112还用于采集与所述图像对应的深度图像，并存储至所述存储器111。处理器110具体用于从所述存储器中获取所述深度图像，从所述深度图像中获取所述图像区域中第二预设数量个标识点的深度信息；其中，所述深度图像包括各个标识点的深度信息。

在本实施例中，红外摄像模组112可以包含深度传感器(图中未示出)，该深度传感器可以为TOF传感器。该深度传感器用于获取深度图像中各个像素点的深度信息。

在本申请的另一实施例中，图11所示实施例中，当红外摄像模组包括左摄像模组和右摄像模组时(图中未示出)，图像包括所述左摄像模组和所述右摄像模组分别采集的第一图像和第二图像，图像区域为从第一图像中确定的第一图像区域或从第二图像中确定的第二图像区域。处理器110具体用于根据第一图像区域和第二图像区域中的对应标识点的不同位置，确定图像区域中第二预设数量个标识点的深度信息。

在本申请的另一实施例中，图11所示实施例中，当移动机器人还包括惯性感测单元(IMU)(图中未示出)时，处理器110具体用于获取所述红外摄像模组在采集图像之前采集的上一图像，获取根据预设的充电座图像特征从所述上一图像中确定的所述待识别充电座的上一图像区域，获取IMU采集的从第一位置到第二位置时的运动参量，根据所述运动参量和所述上一图像区域，确定所述图像区域中第二预设数量个标识点的深度信息。IMU，用于采集从所述第一位置到所述第二位置时的运动参量；其中，第一位置为采集上一图像时所述移动机器人的位置，第二位置为采集所述图像时所述移动机器人的位置。

在本申请的另一实施例中，图11所示实施例中，处理器110具体用于：

按照以下第二预设公式，确定所述图像区域中第二预设数量个标识点的空间位置：

其中，(Xi，Yi，Zi)为所述图像区域中第i个标识点的空间位置，所述Zi为所述图像区域中第i个标识点的深度信息，所述K为预设的所述红外摄像模组的内参矩阵，所述(ui，vi)为所述图像区域中第i个标识点的图像位置。

在本申请的另一实施例中，图11所示实施例中，处理器110具体用于：

根据确定的图像区域，确定所述待识别充电座相对于所述移动机器人的空间位置和朝向。

在本申请的另一实施例中，图11所示实施例中，移动机器人还包括：能发射红外光的红外发射器(图中未示出)。红外发射器发射的红外光能够照射在待识别充电座上。

在本申请的另一实施例中，图11所示实施例中，所述待识别充电座上包括反光材料，所述反光材料能够使反射光沿入射光的光路返回。

在本申请的另一实施例中，图11所示实施例中，所述待识别充电座的各个侧面上均包括所述反光材料，各个侧面上反光材料的图案特征不同。

由于上述移动机器人实施例是基于方法实施例得到的，与该方法具有相同的技术效果，因此移动机器人实施例的技术效果在此不再赘述。对于移动机器人实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。

本申请实施例还提供了一种计算机可读存储介质，该计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现本申请实施例提供的充电座识别方法。该方法包括：

获取所述红外摄像模组采集的图像；

根据预设的充电座图像特征，从所述图像中确定待识别充电座的图像区域；其中，所述待识别充电座能发出红外光；

根据确定的图像区域，确定所述待识别充电座的位置信息。

本实施例中，移动机器人可以获取红外摄像模组采集的包含能发出红外光的待识别充电座的图像，根据预设的充电座图像特征从图像中确定待识别充电座的图像区域，根据该图像区域，确定待识别充电座的位置信息。由于红外摄像模组的图像采集范围是以红外摄像模组为顶点的圆锥形范围，当移动机器人所在地面存在倾斜时，待识别充电座也能处在红外摄像模组的图像采集范围内，进而能够实现对待识别充电座的位置识别。并且，待识别充电座能发出红外光，在红外图像中能发出红外光的待识别充电座具有较明显的图像特征，因此从图像中识别待识别充电座的位置时，能够提高识别的准确性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。

以上所述仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本申请的保护范围内。