物品三维定位方法、装置和系统与流程

本发明涉及物流领域，尤其涉及一种物品三维定位方法、装置和系统。

背景技术：

物流领域中自动化程度普遍偏低，近年新兴的一些物流自动化设备服务于物流领域也难以适应复杂的品类区分及高速的作业节拍要求。物流机器人普遍应用在物品平面拣选，而在机器人的三维定位引导作业的方面至今仍然没有一个成熟可靠的方法。

现有技术中，利用待拣选物品层高和深度的数据库记录或者双目视觉技术可以获知物品高度，进而实现对有高度的物品进行拣选作业。但现有数据库对待拣选物品层高和深度的记录会出现复核难度大等问题，并且在一个覆盖几十万种品类的大型仓库中用数据库记录过于庞大和繁杂；另外双目视觉由于成本昂贵、精度低和匹配库庞大等问题也影响着应用的广度。

技术实现要素：

本发明要解决的一个技术问题是提供一种物品三维定位方法、装置和系统，以提高物品三维定位的准确性，以便实现物流机器人对具有高度作业要求的物品进行拣选作业。

根据本发明一方面，提出一种物品三维定位方法，包括：确定待拣选物品在输送线上的平面位置信息；确定待拣选物品的高度信息；将待拣选物品在输送线上的平面位置信息和高度信息转换为机器人坐标系的位置信息，以便机器人对待拣选物品进行拣选作业。

进一步地，确定待拣选物品在输送线上的平面位置信息包括：通过工业相机获取待拣选物品的轮廓信息；根据轮廓信息确定工业相机拍摄时刻待拣选物品的中心点在输送线上的平面位置信息，其中以工业相机在输送线上的投影为原点。

进一步地，确定待拣选物品在输送线上的平面位置信息还包括：通过输送线编码器采集待拣选物品在输送线运动方向的偏移量，进而确定待拣选物品的中心点相对于工业相机在输送线上的投影的平面位置信息。

进一步地，确定待拣选物品的高度信息包括：当待拣选物品沿着输送线移动至激光线测量传感器的下方时，获取激光线测量传感器到待拣选物品的测量距离；根据激光线测量传感器的安装位置到输送线的垂直距离与测量距离之差确定待拣选物品的高度信息。

进一步地，将待拣选物品在输送线上的平面位置信息和高度信息转换为机器人坐标系的位置信息包括：确定机器人相对于输送线的高度，以及机器人相对于工业相机在输送线上的投影的位置信息；将以工业相机在输送线上的投影为原点的待拣选物品的中心点的平面位置信息转换为以机器人在输送线上的投影为原点的平面位置信息；根据机器人相对于输送线的高度与待拣选物品的高度信息确定待拣选物品的顶部到机器人的垂直距离；根据待拣选物品的中心点以机器人在输送线上的投影为原点的平面位置信息、以及待拣选物品的顶部到机器人的垂直距离，确定待拣选物品的顶部中心点相对于机器人的三维位置信息。

根据本发明的另一方面，还提出一种物品三维定位装置，包括：平面位置确定单元，用于确定待拣选物品在输送线上的平面位置信息；高度信息确定单元，用于确定待拣选物品的高度信息；坐标转换单元，用于将待拣选物品在输送线上的平面位置信息和高度信息转换为机器人坐标系的位置信息；位置信息发送单元，用于将待拣选物品在机器人坐标系的位置信息发送至机器人，以便机器人对待拣选物品进行拣选作业。

进一步地，平面位置确定单元还用于通过工业相机获取待拣选物品的轮廓信息，根据轮廓信息确定工业相机拍摄时刻待拣选物品的中心点在输送线上的平面位置信息，其中以工业相机在输送线上的投影为原点。

进一步地，平面位置确定单元还用于通过输送线编码器采集待拣选物品在输送线运动方向的偏移量，进而确定待拣选物品的中心点相对于工业相机在输送线上的投影的平面位置信息。

进一步地，高度信息确定单元用于当待拣选物品沿着输送线移动至激光线测量传感器的下方时，获取激光线测量传感器到待拣选物品的测量距离，根据激光线测量传感器的安装位置到输送线的垂直距离与测量距离之差确定待拣选物品的高度信息。

进一步地，坐标转换单元用于确定机器人相对于输送线的高度，以及机器人相对于工业相机在输送线上的投影的位置信息；将以工业相机在输送线上的投影为原点的待拣选物品的中心点的平面位置信息转换为以机器人在输送线上的投影为原点的平面位置信息；根据机器人相对于输送线的高度与待拣选物品的高度信息确定待拣选物品的顶部到机器人的垂直距离；根据待拣选物品的中心点以机器人在输送线上的投影为原点的平面位置信息、以及待拣选物品的顶部到机器人的垂直距离，确定待拣选物品的顶部中心点相对于机器人的三维位置信息。

根据本发明的另一方面，还提出一种物品三维定位系统，包括工业相机、输送线编码器、激光线测量传感器和上述物品三维定位装置。

根据本发明的另一方面，还提出一种物品三维定位装置，包括：存储器；以及耦接至存储器的处理器，处理器被配置为基于存储在存储器的指令执行上述的方法。

根据本发明的另一方面，还提出一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现上述的方法的步骤。

与现有技术相比，本发明将获得的待拣选物品在输送线上的平面位置信息和高度信息转换为机器人坐标系的位置信息，以便机器人对待拣选物品进行拣选作业，由于能够准确获知待拣选物品的三维位置信息，因此，能够实现物流机器人对具有高度作业要求的物品进行拣选作业。

通过以下参照附图对本发明的示例性实施例的详细描述，本发明的其它特征及其优点将会变得清楚。

附图说明

构成说明书的一部分的附图描述了本发明的实施例，并且连同说明书一起用于解释本发明的原理。

参照附图，根据下面的详细描述，可以更加清楚地理解本发明，其中：

图1为本发明物品三维定位方法的一个实施例的流程示意图。

图2为本发明物品三维定位方法的另一个实施例的流程示意图。

图3为待拣选物品在工业坐标系中的三维位置信息。

图4为本发明物品三维定位装置的一个实施例的结构示意图。

图5为本发明物品三维定位系统的一个实施例的结构示意图。

图6为本发明激光线测量传感器的通讯程序架构示意图。

图7为本发明物品三维定位装置的另一个实施例的结构示意图。

图8为本发明物品三维定位装置的再一个实施例的结构示意图。

具体实施方式

现在将参照附图来详细描述本发明的各种示例性实施例。应注意到：除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。

同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。

以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。

对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。

在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

图1为本发明物品三维定位方法的一个实施例的流程示意图。该物品三维定位方法包括以下步骤：

在步骤110，确定待拣选物品在输送线上的平面位置信息，例如，通过摄像装置获取待拣选物品的输送线上的轮廓信息，根据待拣选物品轮廓信息可以获知待拣选物品在输送线上的中心点。其中，摄像装置可以为工业相机，具体可以为2D工业智能相机，平面位置信息可以以摄像装置在输送线上的投影为原点，以输送线移动方向为X轴，以输送线移动方向的垂直方向为Y轴，其中X轴和Y轴都在输送线的平面上，此时可以确定摄像装置在拍摄时刻，待拣选物品的中心点在输送线上的平面位置信息(X，Y)。另外，由于输送线是移动的，摄像装置拍摄待拣选物品的轮廓后，若输送线移动了X’，则此时待拣选物品的中心点在输送线上的平面位置信息为(X+X’，Y)。

在步骤120，确定待拣选物品的高度信息。例如，在输送线的上方设置激光线测量传感器，当待拣选物品移动到激光线测量传感器的下方时，激光线测量传感器向该物品发送激光线，根据返回的信息可以确定激光线测量传感器到物品顶部的测量距离L，另外由于安装激光线测量传感器时，可以获知激光线测量传感器到输送线的垂直距离H，因此根据激光线测量传感器的安装位置到输送线的垂直距离与测量距离之差可以确定待拣选物品的高度信息H_cargo，其中，H_cargo＝H-L。

在步骤130，将待拣选物品在输送线上的平面位置信息和高度信息转换为机器人坐标系的位置信息，以便机器人对待拣选物品进行拣选作业。即将待拣选物品的顶部中心点相对于以摄像装置在输送线上的投影为原点的坐标系中的三维位置信息(X+X’，Y，H_cargo)转换为机器人能够识别的位置信息，最终实现机器人的三维引导作业。

在该实施例中，将获得的待拣选物品在输送线上的平面位置信息和高度信息转换为机器人坐标系的位置信息，以便机器人对待拣选物品进行拣选作业，由于能够准确获知待拣选物品的三维位置信息，因此，能够实现物流机器人对具有高度作业要求的物品进行拣选作业。

图2为本发明物品三维定位方法的另一个实施例的流程示意图。该物品三维定位方法包括以下步骤：

在步骤210，通过工业相机获取待拣选物品的轮廓信息。其中，工业相机具体可以为2D工业智能相机，工业相机可以设置在输送线的上方，当待拣选物品移动到输送线上某个位置时，通过该工业相机可以获知待拣选物品的轮廓信息。

在步骤220，根据待拣选物品的轮廓信息获知待拣选物品的中心点在工业相机拍照时刻在输送线上的平面位置信息(X，Y)，其中，以工业相机在输送线上的投影为原点(0，0)，以输送线运动方向为X轴，以输送线水平面上与X轴垂直的方向为Y轴，例如，待拣选物品中心点的平面位置为(200，50)，单位为毫米。

在步骤230，通过输送线编码器采集待拣选物品在输送线运动方向的偏移量，即从工业相机曝光时刻开始，输送线移动了X’毫米，例如输送线移动了50毫米。

在步骤240，根据待拣选物品的中心点在工业相机拍照时刻在输送线上的平面位置信息和在输送线运动方向的偏移量，确定待拣选物品的中心点相对于工业相机在输送线上的投影的平面位置信息(X_encoder，Y)，其中，X_encoder＝X+X’＝200+50＝250。

在步骤250，通过激光线测量传感器获取到待拣选物品的测量距离。例如，在输送线上方设置激光线测量传感器，当待拣选物品移动到激光线测量传感器的下方时，激光线测量传感器通过向该物品发送激光线可以获知激光线测量传感器到物品顶部的测量距离L。

在步骤260，根据激光线测量传感器的安装位置到输送线的垂直距离与测量距离之差确定待拣选物品的高度信息。例如，激光线测量传感器到输送线的垂直距离为H，则待拣选物品的高度H_cargo＝H-L，例如，激光线测量传感器的安装高度H为1000毫米，激光线测量传感器到待拣选物品的测量距离为100毫米，则该待拣选物品高度为900毫米。

在步骤270，对待拣选物品的平面位置信息和高度信息融合得出待拣选物品在作业坐标系中的三维位置信息，例如如图3所示，其中，作业坐标系以工业相机在输送线上的投影为原点，以输送线运动方法为X轴，以输送线水平面上与X轴垂直的方向为Y轴，以激光线测量传感器到输送线的垂直方向为Z轴，可以获知待拣选物品的顶部中心点的位置坐标为(X_encoder，Y，H_cargo)＝(250，50，900)。

在步骤280，将待拣选物品在作业坐标系中的三维位置信息转换为机器人坐标系中的三维位置信息。其中，机器人坐标系以机器人为原点，以机器人平行于输送线的方向为X轴，以机器人水平面上与X轴垂直的方向为Y轴，以机器人垂直于输送线的方向为Z轴。将以工业相机在输送线上的投影为原点的待拣选物品的中心点的平面位置信息转换为以机器人在输送线上的投影为原点的平面位置信息，例如，机器人在工业相机的前方600毫米，则待拣选物品在机器人坐标系中的平面位置信息为(-350，50)，其中，-350＝250-600。本领域的技术人员应当理解，若定义X轴的正方向不同，转换到机器人坐标系中的值不同，例如，以机器人相对于相机的方向为X轴正方向，则待拣选物品在机器人坐标系中的平面位置信息为(350，50)。另外，还可以先确定机器人相对于输送线的高度，例如为1500毫米，根据机器人相对于输送线的高度与待拣选物品的高度信息确定待拣选物品的顶部到机器人的垂直距离为1500-900＝600毫米，则待拣选物品以机器人垂直于输送线的方向为Z轴的坐标为600，即待拣选物品的顶部中心点在机器人坐标系中的三维位置信息为(-350，50，600)。

在步骤290，机器人根据待拣选物品的顶部中心点在机器人坐标系中的三维位置信息进行拣选操作。例如，机器人判断待拣选物品的位置在可拣选范围内容，则进行拣选操作。

在该实施例中，通过工业相机获知待拣选物品的平面位置信息，通过输送线编码器获知待拣选物品相对于相机曝光时刻的偏移位置信息，通过激光线测量传感器或者待拣选物品的高度信息，进而获知待拣选物品在工业坐标系中的三维位置信息，将待拣选物品在工业坐标系中的位置坐标转换为机器人坐标系中的坐标，以便机器人对待拣选物品进行拣选操作，可以实现对物流自动化中的物流自动化设备自动拣选进行实时物流机器人三维空间作业引导控制，能够有效的控制物流机器人在自动拣选工况下的应用及降低控制成本。

图4为本发明物品三维定位装置的一个实施例的结构示意图。该物品三维定位装置可以为工业控制器，包括平面位置确定单元410、高度信息确定单元420、坐标转换单元430和位置信息发送单元440，其中：

平面位置确定单元410用于确定待拣选物品在输送线上的平面位置信息，例如，通过摄像装置获取待拣选物品的输送线上的轮廓信息，根据待拣选物品轮廓信息可以获知待拣选物品在输送线上的中心点。平面位置信息可以以摄像装置在输送线上的投影为原点，以输送线移动方向为X轴，以输送线移动方向的垂直方向为Y轴，其中X轴和Y轴都在输送线的平面上，此时可以确定摄像装置在拍摄时刻，待拣选物品的中心点在输送线上的平面位置信息(X，Y)。另外，由于输送线是移动的，摄像装置拍摄待拣选物品的轮廓后，若输送线移动了X’，则此时待拣选物品的中心在输送线上的平面位置信息为(X+X’，Y)。

高度信息确定单元420用于确定待拣选物品的高度信息。例如，在输送线的上方设置激光线测量传感器，当待拣选物品移动到激光线测量传感器的下方时，激光线测量传感器向该物品发送激光线，根据返回的信息可以确定激光线测量传感器到该物品顶部的测量距离L，另外由于安装激光线测量传感器时，可以获知激光线测量传感器到输送线的垂直距离H，因此根据激光线测量传感器的安装位置到输送线的垂直距离与测量距离之差确定待拣选物品的高度信息H_cargo。

坐标转换单元430用于将待拣选物品在输送线上的平面位置信息和高度信息转换为机器人坐标系的位置信息。即将待拣选物品的顶部中心点相对于以摄像装置在输送线上的投影为原点的坐标系中的三维位置信息(X+X’，Y，H_cargo)转换为机器人能够识别的位置信息，最终实现机器人的三维引导作业。

位置信息发送单元440用于将待拣选物品在机器人坐标系的位置信息发送至机器人，以便机器人对待拣选物品进行拣选作业。

在该实施例中，将获得的待拣选物品在输送线上的平面位置信息和高度信息转换为机器人坐标系的位置信息，以便机器人对待拣选物品进行拣选作业，由于能够准确获知待拣选物品的位置信息，因此，能够实现物流机器人对具有高度作业要求的物品进行拣选作业。

在本发明的另一个实施例中，平面位置确定单元410用于通过工业相机获取待拣选物品的轮廓信息，根据待拣选物品的轮廓信息获知物品的中心点在工业相机拍照时刻在输送线上的平面位置信息。其中，工业相机具体可以为2D工业智能相机，工业相机可以设置在输送线的上方，当待拣选物品在输送线上移动到某个位置时，通过该工业相机可以获知待拣选物品的轮廓信息。以工业相机在输送线上的投影为原点，以输送线运动方法为X轴，以输送线水平面上与X轴垂直的方向为Y轴，则可以根据待拣选物品的轮廓信息获知物品的中心点在工业相机拍照时刻在输送线上的平面位置信息(X，Y)。

平面位置确定单元410还用于通过输送线编码器采集待拣选物品在输送线运动方向的偏移量，根据待拣选物品的中心点在工业相机拍照时刻在输送线上的平面位置信息和在输送线运动方向的偏移量，确定待拣选物品的中心点相对于工业相机在输送线上的投影的平面位置信息，如(X+X’，Y)。

高度信息确定单元420用于通过激光线测量传感器获取到待拣选物品的测量距离，根据激光线测量传感器的安装位置到输送线的垂直距离与测量距离之差确定待拣选物品的高度信息。例如，在输送线上方设置激光线测量传感器，当待拣选物品移动到激光线测量传感器的下方时，激光线测量传感器通过向该物品发送激光线获知激光线测量传感器到该物品顶部的距离，若知道激光线测量传感器的安装高度，则可以确定待拣选物品的高度信息H_cargo。

坐标转换单元430用于将待拣选物品在作业坐标系中的三维位置信息转换为机器人坐标系中的三维位置信息，其中对待拣选物品的平面位置信息和高度信息融合得出待拣选物品在作业坐标系中的三维位置信息。例如，坐标转换单元430用于确定机器人相对于输送线的高度，以及机器人相对于工业相机在输送线上的投影的位置信息；将以工业相机在输送线上的投影为原点的待拣选物品的中心点的平面位置信息转换为以机器人在输送线上的投影为原点的平面位置信息；根据机器人相对于输送线的高度与待拣选物品的高度信息确定待拣选物品的顶部到机器人的垂直距离；根据待拣选物品的中心点以机器人在输送线上的投影为原点的平面位置信息、以及待拣选物品的顶部到机器人的垂直距离，确定待拣选物品的顶部中心点相对于机器人的三维位置信息。

位置信息发送单元440用于将待拣选物品在机器人坐标系的位置信息发送至机器人，以便机器人对待拣选物品进行拣选作业。

在该实施例中，通过工业相机获知待拣选物品的平面位置信息，通过输送线编码器获知待拣选物品相对于相机曝光时刻的偏移位置信息，通过激光线测量传感器或者待拣选物品的高度信息，进而获知待拣选物品在工业坐标系中的三维位置信息，将待拣选物品在工业坐标系中的位置坐标转换为机器人坐标系中的坐标，以便机器人对待拣选物品进行拣选操作，可以实现对物流自动化中的物流自动化设备自动拣选进行实时物流机器人三维空间作业引导控制，能够有效的控制物流机器人在自动拣选工况下的应用及降低控制成本。

图5为本发明物品三维定位系统的一个实施例的结构示意图。该物品三维定位系统包括工业相机510、输送线编码器520、激光线测量传感器530和物品三维定位装置540，其中，物品三维定位装置540可以为工业控制器，且已在上述实施例中进行了详细介绍，此处不再进一步阐述。

工业相机510和激光线测量传感器530设置在输送线的上方，输送线编码器520设置在输送线上。工业相机510将获得的待拣选物品的轮廓信息发送至物品三维定位装置540，输送线编码器520将待拣选物品在输送线运动方向的偏移量发送至物品三维定位装置540，激光线测量传感器530将检测到的到待拣选物品的测量距离发送至物品三维定位装置540，物品三维定位装置540对上述三个信息进行处理获得待拣选物品在作业坐标系中的三维位置信息，将待拣选物品在作业坐标系中的三维位置信息转换为机器人坐标系中的三维位置信息，并将待拣选物品在机器人坐标系中的三维位置信息发送至机器人550，以便机器人550对待拣选物品进行拣选作业。其中，工业相机510、输送线编码器520、激光线测量传感器530和物品三维定位装置540之间可以通过TCP/IP等通讯协议进行通信。其中，激光线测量传感器530的通讯程序架构可以如图6所示。

在该实施例中，工业相机、输送线编码器和激光线测量传感器分别将获得的信息发送至物品三维定位装置，以便物品三维定位装置将待拣选物品在工业坐标系中的位置坐标转换为机器人坐标系中的坐标，以便机器人对具有高度作业要求的物品进行拣选作业，降低了控流机器人在自动拣选工况下对数据库数据的依赖以及降低了工业成本。

图7为本发明物品三维定位装置的另一个实施例的结构示意图。该物品三维定位装置包括存储器710和处理器720。其中：

存储器710可以是磁盘、闪存或其它任何非易失性存储介质。存储器用于存储图1-2所对应实施例中的指令。处理器720耦接至存储器710，可以作为一个或多个集成电路来实施，例如微处理器或微控制器。该处理器720用于执行存储器中存储的指令，能够实现机器人对具有高度作业要求的物品进行拣选作业。

在一个实施例中，还可以如图8所示，物品三维定位装置800包括存储器810和处理器820。处理器820通过BUS总线830耦合至存储器810。该物品三维定位装置800还可以通过存储接口840连接至外部存储装置850以便调用外部数据，还可以通过网络接口860连接至网络或者另外一台计算机系统(未标出)。此处不再进行详细介绍。

在该实施例中，通过存储器存储数据指令，再通过处理器处理上述指令，能够实现机器人对具有高度作业要求的物品进行拣选作业。

在另一个实施例中，一种计算机可读存储介质，其上存储有计算机程序指令，该指令被处理器执行时实现图1-2所对应实施例中的方法的步骤。本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用非瞬时性存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

至此，已经详细描述了本发明。为了避免遮蔽本发明的构思，没有描述本领域所公知的一些细节。本领域技术人员根据上面的描述，完全可以明白如何实施这里公开的技术方案。

可能以许多方式来实现本发明的方法以及装置。例如，可通过软件、硬件、固件或者软件、硬件、固件的任何组合来实现本发明的方法以及装置。用于所述方法的步骤的上述顺序仅是为了进行说明，本发明的方法的步骤不限于以上具体描述的顺序，除非以其它方式特别说明。此外，在一些实施例中，还可将本发明实施为记录在记录介质中的程序，这些程序包括用于实现根据本发明的方法的机器可读指令。因而，本发明还覆盖存储用于执行根据本发明的方法的程序的记录介质。

虽然已经通过示例对本发明的一些特定实施例进行了详细说明，但是本领域的技术人员应该理解，以上示例仅是为了进行说明，而不是为了限制本发明的范围。本领域的技术人员应该理解，可在不脱离本发明的范围和精神的情况下，对以上实施例进行修改。本发明的范围由所附权利要求来限定。