一种货箱对位方法及机器人与流程

本发明涉及机器人技术领域，尤指一种货箱对位方法及机器人。

背景技术：

近年来，随着机器人技术的发展和人工智能研究不断深入，智能机器人在人类生活中扮演越来越重要的角色，在诸多领域得到广泛应用。

机器人在进行自动装卸货的过程中，需要对货箱进行精准的对位。目前，一般采用红外对位或者标签对位，红外对位需要使用红外收发装置，容易出现不稳定的情况；标签对位需要在货箱上粘贴标签显得太突兀。因此，本领域亟需实现一种新的货箱对位方法。

技术实现要素：

本发明的目的是提供一种货箱对位方法及机器人，不仅克服了红外对位或者标签对位进行货箱对位所存在的缺陷，还提高了货箱对位的准确度。

本发明提供的技术方案如下：

本发明提供一种货箱对位方法，包括步骤：构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点；

训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归；

利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置；

根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。

优选的，在所述的训练检测货箱图像样本并回归货箱关键点的算法模型之后还包括步骤：

检测货箱图像样本的全局货箱关键点；

根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；

根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。

进一步优选的，所述检测货箱图像的全局货箱关键点具体包括步骤：

构建一个具有货箱图像样本中货箱关键点的数据集，使用所述货箱关键点来训练检测器；

对未被标记的货箱图像样本进行单应变换，使用训练后的检测器来检测变换后的货箱图像样本，进而在货箱图像样本中标记货箱关键点；

结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络，得到关键点检测器；利用所述关键点检测器检测货箱图像样本的全局货箱关键点。

进一步优选的，所述的在训练算法模型时进行货箱图像样本检测与货箱关键点回归具体包括步骤：

生成货箱图像样本的候选窗和边框回归向量，使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；

从抑制合并重叠后的候选框中，拒绝掉假的候选框后；再次使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；

根据再次使用非极大值抑制合并重叠后的候选框，输出所述货箱图像样本和多个货箱关键点，以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。

进一步优选的，所述的根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置具体包括步骤：

选取世界坐标下的四个回归后的货箱关键点坐标，通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系，计算得到所述货箱关键点的相机平面坐标；

根据所述货箱关键点的相机平面坐标，求出相机的相机位置；

其中，所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点；所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。

本发明还通过一种机器人，包括：关键点标记模块，用于构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点；

算法训练模块，用于训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归；

相机位置计算模块，用于利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置；

对位导航模块，用于根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。

优选的，还包括：关键点检测模块，用于检测货箱图像样本的全局货箱关键点；

位置优化模块，用于根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；

关键点更替模块，用于根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。

优选的，还包括：关键点训练模块，用于构建一个具有货箱图像样本中货箱关键点的数据集，使用所述货箱关键点来训练检测器；

图像检测模块，用于对未被标记的货箱图像样本进行单应变换，使用训练后的检测器来检测变换后的货箱图像样本，进而在货箱图像样本中标记货箱关键点；

检测生成模块，用于结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络，得到关键点检测器；利用所述关键点检测器检测货箱图像样本的全局货箱关键点。

优选的，还包括：候选框训练模块，用于生成货箱图像样本的候选窗和边框回归向量，使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；

候选框筛选模块，用于从抑制合并重叠后的候选框中，拒绝掉假的候选框后；再次使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；

关键点输出模块，用于根据再次使用非极大值抑制合并重叠后的候选框，输出所述货箱图像样本和多个货箱关键点，以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。

优选的，还包括：

关键点位置计算模块，用于选取世界坐标下的四个回归后的货箱关键点坐标，通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系，计算得到所述货箱关键点的相机平面坐标；

所述相机位置计算模块，用于根据所述货箱关键点的相机平面坐标，求出相机的相机位置；

其中，所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点；所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。

通过本发明提供的一种货箱对位方法及机器人，能够带来以下至少一种有益效果：

1、本发明利用货箱图像样本训练算法模型，再利用训练好的算法模型计算出货箱关键点位置，再根据货箱关键点位置计算出相机位置，最后根据相对位置进行货箱对位导航，不仅提高了货箱对位的准确度；还克服了红外对位或者标签对位进行货箱对位所存在的缺陷。

2、本发明利用货箱图像样本的全局货箱关键点对回归的货箱关键点的货箱关键点位置进行优化；从而对算法模型进行优化；进而提高货箱对位的准确度。

附图说明

下面将以明确易懂的方式，结合附图说明优选实施方式，对一种货箱对位方法及机器人的上述特性、技术特征、优点及其实现方式予以进一步说明。

图1是本发明货箱对位方法的一个实施例的流程图；

图2是本发明货箱对位方法的另一个实施例的流程图；

图3是本发明货箱对位方法的又一个实施例的流程图；

图4是本发明货箱对位方法的再一个实施例的流程图；

图5是本发明货箱对位方法的另一个实施例的流程图；

图6是本发明机器人的一个实施例的结构示意图。

附图标号说明：

10—关键点标记模块20—算法训练模块

21—候选框训练模块22—候选框筛选模块

23—关键点输出模块30—关键点检测模块

301—关键点训练模块302—图像检测模块

303—检测生成模块31—位置优化模块

32—关键点更替模块41—关键点位置计算模块

42—相机位置计算模块50—对位导航模块

具体实施方式

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对照附图说明本发明的具体实施方式。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，并获得其他的实施方式。

为使图面简洁，各图中只示意性地表示出了与本发明相关的部分，它们并不代表其作为产品的实际结构。另外，以使图面简洁便于理解，在有些图中具有相同结构或功能的部件，仅示意性地绘示了其中的一个，或仅标出了其中的一个。在本文中，“一个”不仅表示“仅此一个”，也可以表示“多于一个”的情形。

根据本发明提供的一种实施例，如图1所示，一种沿线导航的方法，包括：

s10、构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点。

具体的，在构建货箱图像样本库之后，会将货箱图像样本库分成货箱图像样本训练集、货箱图像样本验证集、货箱图像样本测试集。其货箱图像样本训练集占货箱图像样本库的70％～80％，即货箱图像样本库中有一万张货箱图像样本，货箱图像样本训练集中有七千～八千张货箱图像样本。

其中，货箱图像样本训练集是用于训练算法模型，货箱图像样本验证集是用于验证算法模型，货箱图像样本测试集用于训练算法模型；算法模型的验证步骤不是必须的，可以对算法模型进行验证，也可以不对算法模型进行验证。

s20、训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归。

具体的，在货箱检测面上用彩色胶带贴成四个角，每个角的两个角边上彩色胶带的色彩形成鲜明对比，且相邻两个角位于同一侧上的两个角边上彩色胶带的颜色不同；

例如，第一个角是用红色胶带和绿色胶带组成，第二个角是用绿色胶带和粉红色胶带组成，第三个角是用红色胶带和黄色胶带组成，第四个角是用粉红色胶带和黄色胶带组成；四个角可以形成矩形的四个角。

货箱关键点可以是四个角的顶点，货箱关键点还可以彩色胶带上其他点。在货箱图像样本训练集中货箱图像样本标记有四个货箱关键点后，利用标记有四个货箱关键点的货箱图像样本训练算法模型。

s40、利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置。

具体的，在算法模型训练完成后，利用训练后的算法模型对相机获取到的货箱图像进行检测，并在货箱图像上回归货箱关键点。

在货箱图像上显示彩色胶带的关键点时，可以根据彩色胶带的关键点位置和相机的内参，计算出相机的相机位置。

s50、根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。

具体的，在求出货箱关键点位置、相机位置后，可以根据两个位置的相对位置，对货箱进行导航；例如相对位置为2m时，控制机器人移动2m；当相对位置为0m时，该机器人到达位置准确，无需控制机器人移动。

本实施例中，在货箱检测面上贴有颜色鲜明的彩色胶带，方便快速检测出货箱关键点；首先构建图像样本库，对算法模型进行训练；再利用训练后的算法模型准确预测出货箱关键点。本发明利用图像对货箱对位进行导航；摒弃了传统的红外技术、标签技术进行货箱对位；克服了红外技术、标签技术进行货箱对位时所存在的缺陷；还提高了货箱对位的准确度。

根据本发明提供的另一种实施例，如图2所示，一种沿线导航的方法，包括：

s10、构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点。

s20、训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归。

s30、检测货箱图像样本的全局货箱关键点；

s31、根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；

s32、根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。

s40、利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置。

s50、根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。

本实施例中，在货箱检测面上用彩色胶带贴有四个角，彩色胶带形成的四个角顶点之间的固定距离是已知、固定不变的。在标记出各个角顶点的货箱关键点作为全局货箱关键点。

利用货箱图像样本上预测的货箱关键点和标记的全局货箱关键点，对货箱图像样本上预测的货箱关键点进行位置优化。

对货箱图像样本上选择距离标记的全局关键点最近的预测的货箱关键点更替预测的货箱关键点。

根据本发明提供的再一种实施例，如图3所示，一种沿线导航的方法，包括：

s10、构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点。

s20、训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归。

s301、构建一个具有货箱图像样本中货箱关键点的数据集，使用所述货箱关键点来训练检测器；

s302、对未被标记的货箱图像样本进行单应变换，使用训练后的检测器来检测变换后的货箱图像样本，进而在货箱图像样本中标记货箱关键点；

s303、结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络，得到关键点检测器；利用所述关键点检测器检测货箱图像样本的全局货箱关键点。

s31、根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；

s32、根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。

s40、利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置。

s50、根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。

本实施例中，首先构建一个合成图像数据库，在这些图片里关键点包括四个角顶点，小椭圆中心和直线段端点，通过缩放，单应变换扩充训练样本。这些样本可以认为是真实世界中关键点的子集，这种设计其实是非常巧妙的方法，避免了繁重的人工标注过程。

把输入的未打标签的图像，进行随机的单应变换，然后使用上面的特征点检测器来分别对变换后的图像进行检测，最后把每张图检测到的特征点还原到原图中，那么就尽可能多的实现原图中关键点的检测。

根据本发明提供的又一种实施例，如图4所示，一种沿线导航的方法，包括：

s10、构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点。

s21、生成货箱图像样本的候选窗和边框回归向量，使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；

s22、从抑制合并重叠后的候选框中，拒绝掉假的候选框后；再次使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；

s23、根据再次使用非极大值抑制合并重叠后的候选框，输出所述货箱图像样本和多个货箱关键点，以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。

s30、检测货箱图像样本的全局货箱关键点；

s31、根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；

s32、根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。

s40、利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置。

s50、根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。

本实施例中，优选的，步骤s30具体包括：s301、构建一个具有货箱图像样本中货箱关键点的数据集，使用所述货箱关键点来训练检测器；

s302、对未被标记的货箱图像样本进行单应变换，使用训练后的检测器来检测变换后的货箱图像样本，进而在货箱图像样本中标记货箱关键点；

s303、结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络，得到关键点检测器；利用所述关键点检测器检测货箱图像样本的全局货箱关键点。

首先，主要是算法模型的训练，算法模型主要有货箱分类、边框回归、货箱关键点定位。

其中，货箱分类是指货箱与非货箱，对于每一个货箱图像样本采用交叉熵损失函数：

其pi表示货箱的概率，

其次，对于每一个候选框，需要预测它和真实坐标的偏移，对于每一个货箱图像样本xi通过欧式距离进行回归：

候选框，主要由最左顶点坐标、长、宽组成，每一个box是一个4维向量。

再者，货箱关键点坐标，与候选框回归类似，还是计算候选特征坐标和真实坐标的位置的欧式距离，并最小化此距离。

四个货箱关键点坐标，包括彩色胶带形成鲜明对比的四个角点，每个坐标均有横纵两个坐标，所以每一个landmark是一个8维德向量。

根据本发明提供的另一种实施例，如图5所示，一种沿线导航的方法，包括：

s10、构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点。

s20、训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归。

s30、检测货箱图像样本的全局货箱关键点；

s31、根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；

s32、根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。

s41、选取世界坐标下的四个回归后的货箱关键点坐标，通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系，计算得到所述货箱关键点的相机平面坐标；

s42、根据所述货箱关键点的相机平面坐标，求出相机的相机位置。

s50、根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。

其中，所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点；所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。

本实施例中，优选的，步骤s20具体包括：s21、生成货箱图像样本的候选窗和边框回归向量，使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；

s22、从抑制合并重叠后的候选框中，拒绝掉假的候选框后；再次使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；

s23、根据再次使用非极大值抑制合并重叠后的候选框，输出所述货箱图像样本和多个货箱关键点，以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。

优选的，步骤s30具体包括：s301、构建一个具有货箱图像样本中货箱关键点的数据集，使用所述货箱关键点来训练检测器；

s302、对未被标记的货箱图像样本进行单应变换，使用训练后的检测器来检测变换后的货箱图像样本，进而在货箱图像样本中标记货箱关键点；

s303、结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络，得到关键点检测器；利用所述关键点检测器检测货箱图像样本的全局货箱关键点。

本实施例中，为了更快更节省计算机资源地解决问题，先用3个点计算出4组解获得四个旋转矩阵、平移矩阵。

将第四个点的世界坐标代入公式，获得其在货箱图像中的四个投影(一个解对应一个投影)，取出其中投影误差最小的那个解，就是我们所需要的正解。

从世界坐标系到相机坐标系的转换，需要矩阵[r|t]，其中r是旋转矩阵，t是位移向量。如果世界坐标系为x，相机坐标系对应坐标为x'，那么x'＝

[r|t]*x。从相机坐标系到理想屏幕坐标系的变换就需要内参数矩阵c。那么理想屏幕坐标系l＝c*[r|t]*x。

如何获得[r|t]，几个关键点在世界坐标系的坐标即x已知，然后在摄像头捕获的帧里获得对应点在屏幕坐标系的坐标即l已知，通过求解线性方程组得到[r|t]的初值，再利用非线性最小二乘法迭代求得最优变换矩阵[r|t]，这属于迭代法计算。

根据本发明提供的一种实施例，如图6所示，一种机器人，包括：

关键点标记模块10，用于构建货箱图像样本库，在所述货箱图像样本库中货箱图像样本上标记货箱关键点；

算法训练模块20，用于训练检测货箱图像样本并回归货箱关键点的算法模型，在训练算法模型时进行货箱图像样本检测与货箱关键点回归；

相机位置计算模块42，用于利用训练后的算法模型检测货箱图像并回归货箱关键点，根据回归后的货箱关键点的货箱关键点位置和相机内参，计算出相机的相机位置；

对位导航模块50，用于根据所述货箱关键点位置与所述相机位置的相对位置，进行货箱对位导航。

基于上述实施例，本实施例中，还包括：关键点检测模块30，用于检测货箱图像样本的全局货箱关键点；

位置优化模块31，用于根据所述货箱图像样本上回归的货箱关键点与所述全局货箱关键点，对回归的货箱关键点的货箱关键点位置进行优化；

关键点更替模块32，用于根据优化后的货箱关键点的货箱关键点位置，选择距离所述全局货箱关键点最近的货箱关键点更替所述货箱图像样本上回归的货箱关键点。

基于上述实施例，本实施例中，还包括：关键点训练模块301，用于构建一个具有货箱图像样本中货箱关键点的数据集，使用所述货箱关键点来训练检测器；

图像检测模块302，用于对未被标记的货箱图像样本进行单应变换，使用训练后的检测器来检测变换后的货箱图像样本，进而在货箱图像样本中标记货箱关键点；

检测生成模块303，用于结合在货箱图像样本中标记的所述货箱关键点和描述符来训练全卷积神经网络，得到关键点检测器；利用所述关键点检测器检测货箱图像样本的全局货箱关键点。

基于上述实施例，本实施例中，还包括：候选框训练模块21，用于生成货箱图像样本的候选窗和边框回归向量，使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；

候选框筛选模块22，用于从抑制合并重叠后的候选框中，拒绝掉假的候选框后；再次使用边框回归对候选窗进行校准，使用非极大值抑制合并重叠的候选框；

关键点输出模块23，用于根据再次使用非极大值抑制合并重叠后的候选框，输出所述货箱图像样本和多个货箱关键点，以及多个货箱关键点在所述货箱图像样本中的货箱关键点位置。

基于上述实施例，本实施例中，还包括：

关键点位置计算模块41，用于选取世界坐标下的四个回归后的货箱关键点坐标，通过货箱特征点在相机平面的投影关系、及与所述货箱关键点的权重关系，计算得到所述货箱关键点的相机平面坐标；

所述相机位置计算模块42，用于根据所述货箱关键点的相机平面坐标，求出相机的相机位置；

其中，所述货箱特征点是指所述货箱上贴有颜色对比鲜明的标记带所形成的四个角点；所述货箱关键点是指所述货箱特征点在所述货箱图像或货箱图像样本上对应的点。

本实施例中，相应的解释说明可以参照方法，此处不再赘述。

应当说明的是，上述实施例均可根据需要自由组合。以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。