一种基于视觉识别的可移动平台标定装置及标定方法
【专利摘要】本发明公开了一种基于视觉识别的可移动平台标定装置，用于可移动平台前进方向和/或回转中心的标定，包括摄像单元和计算单元；摄像单元朝向工作平面获取图像，记录图像中标记点的坐标；所述标记点为置于工作平面上，在可移动平台运动过程中位于摄像单元视野范围内；计算单元从图像中获取标记点的坐标，对图像坐标系中的若干标记点进行拟合，得到标记点在图像中的运动轨迹。本发明在无需借助其他传感器或定位方式的前提下，仅利用视觉传感器，对移动机器人的前进方向与回转中心进行精确标定，有利于提高移动机器人在运动过程中的平稳性与可靠性，有助于降低机器人生产研发成本。
【专利说明】
一种基于视觉识别的可移动平台标定装置及标定方法
技术领域
[0001] 本发明属于可移动平台标定技术领域，尤其涉及一种基于视觉识别的可移动平台 标定装置及标定方法。
【背景技术】
[0002] 对移动机器人的前进方向与回转中心进行高精度的标定可以使机器人的运行更 加平稳与可靠。而传统的移动机器人通常将机器人前进方向简单得认为是机器人设备的正 前方，而将移动机器人的两轮中心或本体几何中心作为机器人的运动中心。这在精度要求 不高的情况下可以胜任大部分任务，但对于定位精度要求较高的情形，则不得不借助于其 他定位方式或依赖于不断地较大幅度的位置修正，从而影响运行的平稳性与可靠性。因此， 本发明提出了一种基于视觉识别的移动机器人自动标定方法。此处，我们将机器人实际的 前进运动方向标定为机器人前进方向，将机器人回转中心标定为机器人的运动中心。同时， 利用标定得到的移动机器人运动方向以及回转中心在图像坐标系下的矢量，结合模型，可 计算得到相机内其他可视物体与移动机器人的相对位置。
【发明内容】
[0003] 本发明的目的在于针对现有技术的不足，提供一种基于视觉识别的可移动平台标 定装置及标定方法。
[0004] 本发明的目的是通过以下技术方案来实现的：一种基于视觉识别的可移动平台标 定装置，所述标定装置可用于可移动平台前进方向和/或回转中心的标定，包括：
[0005] 摄像单元，朝向工作平面获取图像，记录图像中标记点的坐标;所述标记点为置于 工作平面上，在可移动平台运动过程中位于摄像单元视野范围内，并且在所述图像中可被 唯一确定的点；
[0006] 计算单元，从图像中获取标记点的坐标，对图像坐标系中的若干标记点进行拟合， 得到标记点在图像中的运动轨迹，根据相对运动原理获取图像坐标系中可移动平台运动的 前进方向和/或回转中心。
[0007] 进一步地，所述计算单元将图像坐标系中的坐标转换到摄像单元坐标系中，其转 换关系根据相机模型确定。
[0008] 进一步地，所述计算单元根据摄像单元相对于可移动平台的外参信息，以及可移 动平台几何结构所确定的摄像单元坐标系与空间坐标系的转换关系，将摄像单元坐标系中 的坐标变换到空间坐标系中。
[0009] -种应用上述标定装置进行可移动平台前进方向标定的方法，包括以下步骤：
[0010] 步骤11、可移动平台直行，标记点置于可移动平台的直行路径上，在可移动平台直 行过程中，标记点位于摄像单元视野范围内时，摄像单元多次获取图像，并记录图像中标记 点坐标；
[0011] 步骤12、根据直线拟合算法拟合记录的标记点，得到标记点在图像中的运动轨迹， 即图像坐标系中标记点的前进方向矢量，根据相对运动原理获取图像坐标系中可移动平台 运动的前进方向矢量。
[0012] 进一步地，根据相机模型所确定的图像坐标系与摄像单元坐标系的转换关系，标 定可移动平台在摄像单元坐标系的前进方向。
[0013] 进一步地，根据摄像单元相对于可移动平台的外参信息，以及可移动平台几何结 构所确定的摄像单元坐标系与空间坐标系的转换关系标定可移动平台在空间坐标系中的 前进方向。
[0014] -种应用上述标定装置进行可移动平台回转中心标定的方法，包括以下步骤：
[0015] 步骤21:可移动平台自转一周，在可移动平台自转过程中，标记点位于摄像单元视 野范围内，摄像单元多次获取图像，并记录图像中标记点坐标；
[0016] 步骤22:根据椭圆拟合算法将记录的标记点拟合成椭圆，根据相对运动关系，拟合 椭圆的中心即为可移动平台的回转中心。
[0017] 进一步地，根据相机模型所确定的图像坐标系与摄像单元坐标系的转换关系，标 定可移动平台在摄像单元坐标系的回转中心。
[0018] 进一步地，根据摄像单元相对于可移动平台的外参信息，以及可移动平台几何结 构所确定的摄像单元坐标系与空间坐标系的转换关系，标定可移动平台在空间坐标系中的 回转中心。
[0019] 本发明的有益效果:将可移动平台前进方向定义为可移动平台的实际前进运动方 向，将可移动平台的运动中心定义为可移动平台的回转中心，本发明在可移动平台前进方 向与运动中心的标定过程中，以可移动平台实际运动结果作为数据源，获得更精确、更符合 实际情形的标定参数。本发明在无需借助其他传感器或定位方式的前提下，仅利用视觉传 感器，对移动机器人的前进方向与回转中心进行精确标定，有利于提高移动机器人在运动 过程中的平稳性与可靠性，有助于降低机器人生产研发成本。
【附图说明】
[0020] 图1为利用本发明标定装置进行可移动平台前进方向标定的示意图；
[0021] 图2为前进方向标定过程中摄像单元拍摄的包含标记点的图像；
[0022] 图3为根据直线拟合算法拟合记录的标记点在图像中的运动轨迹；
[0023] 图4为回转中心标定过程中摄像单元拍摄的包含标记点的图像；
[0024] 图5为根据椭圆拟合算法拟合记录的标记点在图像中的运动轨迹；
[0025]图6为本发明标定方法流程图。 图7为标记点示意图。
【具体实施方式】
[0026]下面结合附图和具体实施例对本发明作进一步详细说明。
[0027]如图1所示，本发明的标定装置包括:摄像单元和计算单元。
[0028]摄像单元，获取图像，记录图像中标记点的坐标，所述标记点置于可移动平台的工 作平面上，在可移动平台运动过程中位于摄像单元视野范围内，所述摄像单元安装于可移 动平台的中心位置附近，朝向工作平面，利用标定板与matlab中的相机标定工具标定内参、 外参、以及畸变参数。所述标记点可以是任何区别背景，并可在图像中被识别且唯一确定的 点，即该点在一副图像中具有确定的唯一坐标，例如以DataMatrix(DM)码作为标记物，DM码 的定位图形的两条边界交叉确定的点即为标记点，如图7所示，DM码为黑色，背景可以为白 色，红色等具有DM码不同颜色属性的颜色，使DM码中的标记点可在图像中通过图像处理等 方法被识别。
[0029] 计算单元，从图像中获取标记点的坐标，对图像坐标系中的标记点进行拟合，例如 根据直线拟合算法拟合直线，根据椭圆拟合算法拟合椭圆等;计算标记点与拟合图形之间 的距离，例如计算标记点与拟合直线间的距离，计算标记点与拟合椭圆边界的距离;还可以 根据相机模型，将图像坐标系中的坐标变换到摄像单元坐标系中或可移动平台几何结构所 确定的空间坐标系中或其他根据需要确定的坐标系。
[0030] 基于上述装置，基于视觉识别的可移动平台前进方向标定方法如下：
[0031] 步骤11、可移动平台直行，标记点置于可移动平台的直行路径上，在可移动平台直 行过程中，标记点位于摄像单元视野范围内时，摄像单元多次获取图像，并记录图像中标记 点坐标，实施例中，具体方法如下：
[0032] 如图1所示，可移动平台沿A->B->C路径直行时，拍摄包含有标记点D的图像，如图1 (a) 所示，可移动平台行至A点位置，摄像单元拍摄图像A'如图2(a)，可移动平台沿图1(b)所 示方向移动，从图1(a)所示A点位置直行至图1(c)所示B点位置，摄像单元拍摄图像B'如图2 (b) ，可移动平台沿图1(d)所示方向移动，从图1(c)所示B点位置直行至图1(e)所示C点位 置，摄像单元拍摄图像C'如图2(c)，标记点D位于所述摄像单元的视野范围E内，所述图像 A'、图像B'、图像C'均包含标记点D，记录图像中标记点D(图像A'中标记点为D1，图像B'中标 记点为D2，图像C '中标记点为D3)的坐标。
[0033]本实施例中只以3个标记点为例，可移动平台在沿A->B->C路径直行时可多次拍摄 图像，如图3所示，记录图像中标记点的坐标。
[0034] 所述标记点D1、D2、D3在图像坐标系中的坐标位置如图3所示，所述图像坐标系以 图像左上角为原点，图像的上边界为X轴，图像的左边界为y轴，以像素为单位。
[0035] 摄像单元拍摄图像后，需对拍摄的图像去畸变，使记录的标记点坐标精确，保证计 算精度。
[0036] 步骤12、根据直线拟合算法拟合记录的标记点，得到标记点D在图像中的运动轨 迹，即图像坐标系中标记点D的前进方向矢量，根据相对运动原理获取图像坐标系中可移动 平台运动的前进方向矢量。
[0037] 如图3所示，由于可移动平台直行，标记点D1、D2、D3在图像坐标系中形成的轨迹近 似直线，将图像坐标系中的标记点D1、D2、D3用最小二乘法拟合，形成D1->D2->D3的运动轨 迹。
[0038] 实际过程中，由于可移动平台直行，可移动平台在沿A->B->C路径直行时，多次拍 摄的图像中所记录的标记点的运动轨迹也近似直线，如图3所示，直线拟合所有的标记点， 形成标记点在图像坐标系中的运动轨迹f。
[0039] 计算所有记录的标记点与拟合直线间的距离，距离公式
其中，di s为标记点D与运动轨迹的距离，xo、yo为在图像坐标系中标记点的坐标值，Ao、Bo、Co 为拟合的直线方程的参数。
[0040]具体实施中，与拟合直线间的距离大于1个像素的标记点为离散点，若存在离散 点，则删除该离散点后重新拟合，直到不再存在离散点为止。
[0041 ]根据相对运动原理，可移动平台的前进方向与图像中的标记点的运动轨迹方向相 反，由此，可在图像坐标系中唯一确定可移动平台运动的前进方向矢量。
[0042] 基于上述标定装置，本发明的基于视觉识别的可移动平台回转中心点的标定方 法，包括以下步骤：
[0043] 步骤21:可移动平台自转一周，在可移动平台自转过程中，标记点位于摄像单元视 野范围内，摄像单元多次获取图像，并记录图像中标记点坐标；
[0044] 本实施例中，可移动平台包括2个驱动轮，控制2个驱动轮的控制电机转盘转速一 样，旋转方向相反，实现可移动平台的原地自转，其他方式的可移动平台根据其不同的结构 设计实现自转。
[0045] 如图4所示，本实施例中，可移动平台逆时针自转，在旋转至如图4(a)-图4(h)所示 位姿时分别拍摄图像，标记点位摄像单元视野范围内，建立图像坐标系，所述标记点在图像 坐标系的位置如图4(a)-图4(h)所示，所述图像坐标系以图像左上角为原点，图像的上边界 为X轴，图像的左边界为y轴，以像素为单位。
[0046] 图4中仅以可移动平台自转过程中8次位置记录的标记点为例。具体实施时，可移 动平台在自转过程中根据实际需要调整拍摄图像的次数，记录的标记点，如图5所示。
[0047] 摄像单元拍摄图像后，需对拍摄的图像去畸变，使记录的标记点坐标精确，保证计 算精度。
[0048] 步骤22:根据椭圆拟合算法将记录的标记点拟合成椭圆，根据相对运动关系，拟合 椭圆的中心即为可移动平台的回转中心，标记点拟合成的椭圆如图5所示。
[0049] 计算所有标记点与拟合椭圆边界点的距离，所述椭圆边界点为标记点与椭圆中心 的连线与椭圆边界交叉的点，通过椭圆边界方程获取椭圆边界点的坐标，其中，所述椭圆边 界方程为：
[0050] x = a cos t cosB-b sin t sinB+m
[0051] y = a cos t sinQ+b sin t cosQ+n
[0052] 其中，x、y为椭圆边界点的坐标，a、b分别为椭圆长、短半轴长度，Θ为椭圆倾斜角， 即椭圆长轴的延长线与X轴正方向的夹角，m，η为椭圆中心坐标，均可由拟合椭圆得到，t为 方位角，其中，标记点到椭圆中心的连线与椭圆边界形成交点，该交点到椭圆长轴、椭圆短 轴的垂线与椭圆内切圆和外接圆的分别形成交点，所述方位角即为垂线与椭圆内切圆和外 接圆形成的两个交点的连线与椭圆长轴之间的夹角，其值范围为〇到2π。
[0053]通过两点间的距离公式得到标记点与椭圆边界点的距离，这里计算所有标记点与 拟合椭圆边界点的距离的获取方法不仅限于上述实施例，还可以通过本领域技术人员所公 知的其他方法得到。
[0054]具体实施中，与拟合椭圆边界点的距离大于2个像素的标记点为离散点，若存在离 散点，则删除该离散点后重新拟合，直到不再存在离散点为止。
[0055]本发明也可以根据相机模型所确定的图像坐标系与摄像单元坐标系的转换关系， 标定可移动平台在摄像单元坐标系的前进方向或回转中心；
[0056]具体地，图像坐标系转换到摄像单元坐标系的公式为：
，其中，s是 摄像单元在可移动平台上安装距离工作平面的高度，即工作平面在相机坐标系中的高度，A 为相机内参矩阵，
是某点在图像坐标系的坐标：
为该点在相机坐标系下的坐标。
[0057]将图像坐标系中的标记点坐标变换到摄像单元坐标系中，在摄像单元坐标系中根 据步骤S12所述方法得到可移动平台的前进方向矢量或根据步骤S22得到可移动平台的回 转中心，或者直接将图像坐标系中得到的可移动平台运动的前进方向矢量或回转中心变换 到摄像单元坐标系中，得到可移动平台在摄像单元坐标系下的前进方向矢量或回转中心。
[0058] 本发明也可以根据摄像单元相对于可移动平台的外参信息，以及可移动平台几何 结构所确定的摄像单元坐标系与空间坐标系的转换关系标定可移动平台在空间坐标系中 的前进方向或回转中心；
[0059] 具体地，摄像单元坐标系转换到空间坐标系的公式为
，其中，R表 示可移动平台相对摄像单元坐标系的旋转变换矩阵，
为图像中某点在可移动平台的空 间坐标中的坐标，t为可移动平台相对摄像单元坐标的平移变化矩阵；
[0060] 将在摄像单元获取的标记点坐标变换到空间坐标系中，在空间坐标系中根据步骤 S12所述方法得到可移动平台的前进方向矢量或根据步骤S22得到可移动平台的回转中心， 或者直接将摄像单元坐标系中得到的可移动平台运动的前进方向矢量或回转中心变换到 空间坐标系中，得到可移动平台在空间坐标系下的前进方向矢量或回转中心。
【主权项】
1. 一种基于视觉识别的可移动平台标定装置，其特征在于，所述标定装置可用于可移 动平台前进方向和/或回转中心的标定，包括： 摄像单元，朝向工作平面获取图像，记录图像中标记点的坐标;所述标记点为置于工作 平面上，在可移动平台运动过程中位于摄像单元视野范围内，并且在所述图像中可被唯一 确定的点； 计算单元，从图像中获取标记点的坐标，对图像坐标系中的若干标记点进行拟合，得到 标记点在图像中的运动轨迹，根据相对运动原理获取图像坐标系中可移动平台运动的前进 方向和/或回转中心。2. 如权利要求1所述的标定装置，其特征在于，所述计算单元将图像坐标系中的坐标转 换到摄像单元坐标系中，其转换关系根据相机模型确定。3. 如权利要求2所述的标定装置，其特征在于，所述计算单元根据摄像单元相对于可移 动平台的外参信息，以及可移动平台几何结构所确定的摄像单元坐标系与空间坐标系的转 换关系，将摄像单元坐标系中的坐标变换到空间坐标系中。4. 一种基于视觉识别的可移动平台前进方向标定方法，应用如权利要求1所述标定装 置，其特征在于，包括以下步骤： 步骤11、可移动平台直行，标记点置于可移动平台的直行路径上，在可移动平台直行过 程中，标记点位于摄像单元视野范围内时，摄像单元多次获取图像，并记录图像中标记点坐 标； 步骤12、根据直线拟合算法拟合记录的标记点，得到标记点在图像中的运动轨迹，即图 像坐标系中标记点的前进方向矢量，根据相对运动原理获取图像坐标系中可移动平台运动 的前进方向矢量。5. 如权利要求4所述的方法，其特征在于，根据相机模型所确定的图像坐标系与摄像单 元坐标系的转换关系，标定可移动平台在摄像单元坐标系的前进方向。6. 如权利要求5所述的方法，其特征在于，根据摄像单元相对于可移动平台的外参信 息，以及可移动平台几何结构所确定的摄像单元坐标系与空间坐标系的转换关系标定可移 动平台在空间坐标系中的前进方向。7. -种基于视觉识别的可移动平台回转中心标定方法，应用如权利要求1所述标定装 置，其特征在于，包括以下步骤： 步骤21:可移动平台自转一周，在可移动平台自转过程中，标记点位于摄像单元视野范 围内，摄像单元多次获取图像，并记录图像中标记点坐标； 步骤22:根据椭圆拟合算法将记录的标记点拟合成椭圆，根据相对运动关系，拟合椭圆 的中心即为可移动平台的回转中心。8. 如权利要求7所述的方法，其特征在于，根据相机模型所确定的图像坐标系与摄像单 元坐标系的转换关系，标定可移动平台在摄像单元坐标系的回转中心。9. 如权利要求8所述的方法，其特征在于，根据摄像单元相对于可移动平台的外参信 息，以及可移动平台几何结构所确定的摄像单元坐标系与空间坐标系的转换关系，标定可 移动平台在空间坐标系中的回转中心。
【文档编号】G06T7/00GK105869150SQ201610172912
【公开日】2016年8月17日
【申请日】2016年3月24日
【发明人】章逸丰, 戴舒炜
【申请人】杭州南江机器人股份有限公司