一种建图方法及机器人的图像定位方法、装置与流程

本发明涉及图像定位技术领域，具体涉及一种建图方法及机器人的图像定位方法、装置。

背景技术：

图像定位是指根据物体在图像中的图像坐标计算出其在真实环境中的现实坐标，以满足定位导航的要求。通常，图像定位过程主要包括三部分：一、建图，即确定图像坐标与现实坐标的对应关系；二、检测物体的图像坐标；三、根据物体的图像坐标，结合图像坐标与现实坐标的对应关系计算出物体的现实坐标。

现有技术中的建图过程包括：首先在真实环境中建立现实坐标系，然后将现实坐标系成比例缩小，形成图像坐标系。然而，由于摄像头拍摄图像的畸变，物体在某一时刻的图像坐标所对应的现实坐标，与物体在该时刻真实的现实坐标之间会产生偏差，这样就会导致定位出现偏差。

技术实现要素：

有鉴于此，本发明实施例提供了一种建图方法及机器人的图像定位方法、装置，以解决图像定位过程中，由于摄像头拍摄图像的畸变导致图像坐标和现实坐标存在匹配偏差的问题。

本发明提供了一种建图方法，包括：根据固定摄像头拍摄的视频图像的畸变规律建立现实坐标系；采用现实坐标系标定法建立图像坐标系。

在一个实施例中，视频图像呈现同心圆畸变，现实坐标系为同心圆坐标系。

在一个实施例中，同心圆坐标系包括等距同心圆坐标线。

在一个实施例中，视频图像呈现桶形畸变，现实坐标系为栅格坐标系。

在一个实施例中，栅格坐标系包括x轴和y轴上的等间隔直线坐标线。

在一个实施例中，采用现实坐标系标定法建立图像坐标系包括：采集固定摄像头拍摄的包含现实坐标系的一帧图像；对包含现实坐标系的一帧图像中的现实坐标系进行描点，得到图像坐标系。

本发明还提供了一种机器人的图像定位方法，机器人上固设频闪标识，该机器人的图像定位方法包括：预存根据上述建图方法得到的图像坐标系；采集固定摄像头拍摄的视频图像；利用频闪三帧差分法检测机器人在视频图像中的位置；对包含机器人的位置的图像使用图像坐标系，并对其进行扫描，根据扫描结果计算机器人的现实坐标。

在一个实施例中，频闪标识包括能够发出闪烁的可见光的标识物。

在一个实施例中，频闪标识在相邻帧图像中亮、暗交替出现。

在一个实施例中，频闪标识为频闪led灯。

本发明又提供了一种机器人的图像定位装置，机器人上固设频闪标识，机器人的定位装置包括：存储模块，用于预存根据上述建图方法得到的图像坐标系；采集模块，用于采集固定摄像头拍摄的视频图像；检测模块，用于利用频闪三帧差分法检测机器人在视频图像中的位置；计算模块，用于对包含机器人的位置的图像使用图像坐标系，并对其进行扫描，根据扫描结果计算机器人的现实坐标。

在一个实施例中，频闪标识包括能够发出闪烁的可见光的标识物。

在一个实施例中，频闪标识在相邻帧图像中亮、暗交替出现。

在一个实施例中，频闪标识为频闪led灯。

根据本发明提供的建图方法及机器人的图像定位方法、装置，通过建立符合固定摄像头的畸变规律的现实坐标系，结合现实坐标系标定法得到的图像坐标系，可以削弱由于摄像头拍摄图像的畸变造成的位置误差，保证了后续定位过程的精确度。

附图说明

图1所示为本发明提供的建图方法的流程图。

图2a所示为本发明一实施例提供的现实坐标系。

图2b所示为本发明一实施例提供的与图2a所示现实坐标系对应的图像坐标系。

图2c所示为本发明一实施例提供的机器人在如图2b所示的图像坐标系中的位置示意图。

图3a所示为本发明另一实施例提供的现实坐标系。

图3b所示为本发明一实施例提供的与图3a所示现实坐标系对应的图像坐标系。

图3c所示为本发明一实施例提供的机器人在如图3b所示的图像坐标系中的位置示意图。

图4所示为本发明一实施例提供的机器人的图像定位方法的流程图。

图5所示为本发明一实施例提供的机器人的图像定位装置的结构框图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种建图方法，用于图像定位过程。图1所示为本发明提供的图像定位方法中建图过程的流程图。从图中可以看出，该建图过程100包括：

步骤s101，根据固定摄像头拍摄的视频图像的畸变规律建立现实坐标系。这里所说的固定摄像头可以是标准镜头(视角45°-55°)、广角镜头(视角70°)、超广角镜头(视角90°)、鱼眼镜头(视角180°)中的任一项，本发明对摄像头的种类不作限定。

通常，固定摄像头拍摄的视频图像的畸变规律可以根据摄像头的安装角度分成两类：

第一类，当固定摄像头的主光轴垂直向下时，其拍摄的图像呈现同心圆畸变，即，以固定摄像头在图像中的位置为圆心，位于一个同心圆上的各个坐标点的畸变效果相同。这种情况下，可以建立同心圆型现实坐标系。

参阅图2a，该同心圆型现实坐标系具体地可以是以固定摄像头在地面上的投影作为坐标原点，任意选择两条同时穿过坐标原点并相互垂直的直线作为x轴和y轴，以坐标原点为圆心，等间隔绘制一条同心圆坐标线。

第二类，当固定摄像头的主光轴倾斜向下时，其拍摄的视频图像呈现桶形畸变，即，在图像上被主光轴的投影垂直平分的线段的两个端点的畸变效果相同。这种情况下，可以建立栅格型现实坐标系。

参阅图3a，该栅格型现实坐标系具体地可以是以固定摄像头在地面上的投影作为坐标原点，以固定摄像头主光轴的投影为y轴，则x轴为穿过坐标原点并且与y轴垂直的一条确定直线，分别在x轴和y轴上等间隔绘制一条直线坐标线。

步骤s102，采用现实坐标系标定法建立图像坐标系。现实坐标系标定法是指用现实坐标系标定图像坐标系，即根据现实坐标系在图像中的映射建立图像坐标系。

现实坐标系标定法的实现过程，例如可以是，采集固定摄像头拍摄的包含现实坐标系的一帧图像；对该帧图像中的现实坐标系进行描点形成图像坐标系。该描点的过程可以采用matlab实现。

如此，根据图2a所示的现实坐标系就可以得到如图2b所示的图像坐标系，相应地，根据图3a所示的现实坐标系就可以得到如图3b所示的图像坐标系。

根据本发明提供的图像定位过程中的建图方法，通过建立符合固定摄像头的畸变规律的现实坐标系，结合现实坐标系标定法得到的图像坐标系，可以削弱由于图像畸变造成的位置误差，保证了后续定位过程的精确度。

本发明还提供了一种机器人的图像定位方法，该方法所采用的图像坐标系是根据图1所示的建图方法得到的。该方法的流程图如图4所示。

采用该方法对机器人进行定位之前，应当使固定摄像头的拍摄范围覆盖机器人的运行平面，同时要在机器人上固设频闪标识。该频闪标识是指能够发出闪烁的可见光的标识物，例如频闪led灯。对于频闪标识的位置，优选地，可以设置在机器人的顶部，使得无论机器人与固定摄像头的相对位置如何(正对、背对或斜对)，固定摄像头都可以拍摄到该频闪标识。

从图4可以看出，该机器人的图像定位方法400包括：

步骤s401，预存根据图1所示的建图方法得到的图像坐标系。

步骤s402，采集固定摄像头拍摄的视频图像。

步骤s403，利用频闪三帧差分法检测机器人在视频图像中的位置。

频闪三帧差分法是指利用传统的三帧差分法结合频闪标识对机器人的位置进行检测的方法。之所以需要设置频闪标识是因为，传统三帧差分法的计算原理是，将相邻两帧图像做差，则，该相邻两帧图像中内容相同的像素点相减之后为暗区，内容不同的像素点相减之后为亮区，这样就可以得到内容不同的像素点在图像中的位置。而在进行机器人位置检测的时候，需要保证机器人在这三帧图像中没有发生位置移动，即机器人所在像素点相减之后为暗区，此时便无法检测出机器人的位置，这样就需要利用机器人上的频闪标识制造差别，理想情况是频闪标识在相邻帧图像中亮、暗交替出现，从而利用频闪标识的位置来标识机器人的位置。

频闪三帧差分法的计算过程包括：(1)分别采集t0、t1、t2时刻监控摄像头拍摄的图像a、b、c；(2)分别对每两帧相邻图像作差分，即，deltaba＝b–a，deltacb＝c–b；然后，对deltaba和deltacb做且操作，即，resultabc＝deltaba|deltacb，当resultabc＝1时所对应的亮区在图像中的位置即为led灯在图像中的位置，resultabc＝1对应的图像即为机器人的当前位置图像，这是因为，当deltaba和deltacb出现高亮的位置相同时，说明led灯没有发生移动，此时，对其位置的计算结果才是准确的。

本领域技术人员可以理解，在实际应用过程中，为了进一步提高计算精度，可以在频闪三帧差分法的基础上进一步加入统计学原理，例如统计8次三帧差分结果，具体地，分别对a、b、c，b、c、d，......h、i、j，这8组三帧图像进行差分计算，统计8组差分结果中出现高亮区域次数最多的即为感兴趣区域，即机器人所在位置。当然也可以设置一个阈值，当出现高亮区域的次数超过该阈值，则表示其为感兴趣区域。加入统计算法还有一个好处是，可以通过统计过滤掉其他运动物体的干扰，从而准确检测出机器人的位置。

步骤s404，对包含机器人的位置的图像使用图像坐标系，并对其进行扫描，根据扫描结果计算机器人的现实坐标。

下面通过两个具体实施例，对步骤s404的具体执行过程进行说明。

例1、预存的图像坐标系如图2b所示，其对应的现实坐标系中同心圆坐标线的间距d＝1米。对包含机器人的位置的图像使用图像坐标系得到如图2c所示图像，其中a点表示机器人的位置。则，步骤s404的执行过程包括：通过扫描得到机器人所在位置与图像坐标系中的x轴之间的夹角，即航向角θ，例如为30°，该图像坐标系中的航向角也即机器人在现实坐标系中的航向角。

以像素点为单位，从图像坐标系的原点向机器人的方向进行扫描，统计扫描过程中经过的同心圆坐标线的数量和经过的像素点的数量。当扫描到机器人所在位置的像素点时，记录此时统计得到的同心圆坐标线的数量n，例如为5，并计算第5条同心圆坐标线到机器人所在位置所经过的像素点的数量q，例如为15。当统计得到的同心圆坐标线的数量为6时，计算第5条同心圆坐标线和第6条同心圆坐标线之间经过的像素点的总数m，例如为30。则此时机器人在现实坐标系中的位置到坐标原点的距离为(n×d+(d/m)×q)，即5×1+(1/30)×15＝5.5米。

这样，就可以得到机器人在现实坐标系中的坐标(5.5×cos30°，5.5×sin30°)。

例2、预存的图像坐标系如图3b所示，其对应的现实坐标系中栅格坐标线的间距d＝1米。对包含机器人的位置的图像使用图像坐标系得到如图3c所示图像，其中b点表示机器人的位置。则，步骤s404的执行过程包括：以像素点为单位，从图像坐标系的原点向机器人的方向逐行扫描，统计扫描过程中经过的栅格线交点的数量和经过的像素点的数量。当扫描到机器人所在位置的像素点时，例如为第1000行(即像素行)，记录此时统计得到的栅格线交点的数量nx，例如为3，计算第3个栅格线交点到第1000行经过的像素点的数量qx，例如为50。当统计得到的栅格线交点的数量为4时，计算第3个栅格线交点和第3个栅格线交点之间经过的像素点的总数mx，例如为100。则此时机器人在现实坐标系中的x轴坐标为(nx×d+(d/mx)×qx)，即3×1+(1/100)×50＝3.5米。

按照相同的计算过程可以得到机器人在现实坐标系中的y轴坐标(ny×d+(d/my)×qy)，其中，ny为y轴方向上从所述图像坐标系的原点到所述机器人所经过的栅格线交点的数量；qy为从第ny个栅格线交点到所述机器人所经过的像素点的数量；my为从第ny个栅格线交点扫描到第(ny+1)个栅格线交点所经过的总的像素点的数量。

这样，就可以得到机器人在现实坐标系中的位置。

根据本发明提供的机器人的图像定位方法，可以利用普通摄像头实现机器人的准确定位。

图5所示为本发明一实施例提供的机器人的图像定位装置的结构框图。该机器人上固设频闪标识。从图中可以看出，该定位装置50包括：

存储模块51，用于预存根据图1所示的建图方法得到的图像坐标系。

采集模块52，用于采集固定摄像头拍摄的视频图像。

检测模块53，用于利用频闪三帧差分法检测机器人在视频图像中的位置。

计算模块54，用于对包含机器人的位置的图像使用图像坐标系，并对其进行扫描，根据扫描结果计算机器人的现实坐标。

应当理解，设备50中记载的各个装置与参考图4所描述的方法400中的各个步骤相对应，因此，上文针对方法400描述的操作和特征同样适用于设备50及其中包含的装置，重复内容在此不再赘述。

根据本发明提供的机器人的图像定位装置与普通摄像头相配合可以实现机器人的准确定位，当然，其也可以嵌入普通摄像头，作为普通摄像头的一部分使用。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换等，均应包含在本发明的保护范围之内。