货架定位方法、货架对接方法以及装置、设备、介质与流程

1.本发明涉及物流技术领域，尤其涉及一种货架定位方法、货架对接方法以及装置、设备、介质。


背景技术：

2.可移动设备是自动化仓储物流系统中的重要组成部分之一。在仓储物流场景中，可移动设备通过对接货架、搬运货物、卸下货物来实现仓储货物的自动化调度搬运。
3.以顶升货架为例，可移动设备对接顶升货架之前，需要对顶升货架进行定位。相关技术中，通常是采用激光雷达、固态雷达、深度图像(red green blue depth，rgbd)相机等设备采集顶升货架的深度信息，进而根据深度信息对顶升货架可插取侧进行定位。但是，上述设备所采集的深度信息往往只能反映顶升货架中安装的平行板的几何特征，使得针对顶升货架的定位结果存在一定误差，定位结果准确性较差。


技术实现要素：

4.本发明提供一种货架定位方法、货架对接方法以及装置、设备、介质，用以提高可移动设备的定位准确性，提升对接效率。
5.第一方面，本发明提供一种货架定位方法，该方法包括：
6.通过可移动设备中的图像采集模块获取所处环境中的图像数据；
7.将图像数据输入到关键点检测网络中，以通过关键点检测网络从图像数据中提取货架关键点在图像坐标系中的第一位置信息；
8.根据第一位置信息、以及图像坐标系与可移动设备的车体坐标系之间的转换关系，确定货架关键点相对可移动设备的相对位姿。
9.第二方面，本发明提供一种货架定位装置，包括：
10.获取模块，用于通过可移动设备中的图像采集模块获取所处环境中的图像数据；
11.关键点检测模块，用于将图像数据输入到关键点检测网络中，以通过关键点检测网络从图像数据中提取货架关键点在图像坐标系中的第一位置信息；
12.相对位姿确定模块，用于根据第一位置信息、以及图像坐标系与可移动设备的车体坐标系之间的转换关系，确定货架关键点相对可移动设备的相对位姿。
13.第三方面，本发明提供一种货架对接方法，该方法包括：
14.通过可移动设备中的图像采集模块获取所处环境中的图像数据；
15.将图像数据输入到关键点检测网络中，以通过关键点检测网络从图像数据中提取货架关键点在图像坐标系中的第一位置信息；
16.根据第一位置信息、以及图像坐标系与可移动设备的车体坐标系之间的转换关系，确定货架关键点相对可移动设备的相对位姿；
17.根据相对位置确定可移动设备与货架之间的对接路线，以使可移动设备基于对接路线执行对接流程。
18.第四方面，本发明提供一种货架对接装置，包括：
19.获取模块，用于通过可移动设备中的图像采集模块获取所处环境中的图像数据；
20.关键点检测模块，用于将图像数据输入到关键点检测网络中，以通过关键点检测网络从图像数据中提取货架关键点在图像坐标系中的第一位置信息；
21.相对位姿确定模块，用于根据第一位置信息、以及图像坐标系与可移动设备的车体坐标系之间的转换关系，确定货架关键点相对可移动设备的相对位姿；
22.对接模块，用于根据相对位置确定可移动设备与货架之间的对接路线，以使可移动设备基于对接路线执行对接流程。
23.第五方面，本发明提供一种电子设备，其中包括处理器和存储器，其中，所述存储器上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器至少可以实现第一方面或第三方面中的方法。
24.第六方面，本发明提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现第一方面或第三方面中的方法。
25.在本发明实施例中，首先通过可移动设备中的图像采集模块获取所处环境中的图像数据，然后将该图像数据输入到关键点检测网络中，以通过关键点检测网络从图像数据中提取货架关键点在图像坐标系中的第一位置信息。进而，根据第一位置信息、以及图像坐标系与可移动设备的车体坐标系之间的转换关系，确定货架关键点相对可移动设备的相对位姿。
26.本发明实施例中，通过关键点检测网络从可移动设备所处环境的图像数据中提取出货架视觉语义特征(即货架关键点的位置信息)，并基于视觉语义特征确定货架相对可移动设备的相对位姿，大大提升了对货架所处位置的检测精度，提高货架定位的准确性。并且，本发明实施例无需采集深度信息即可通过关键点检测网络识别出货架的视觉语义特征，扩展了货架定位的应用范围，降低了货架定位的硬件成本。
附图说明
27.为了更清楚地说明本发明中的技术方案，下面将对本发明描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
28.图1为本发明提供的一种货架定位方法的流程图示意图；
29.图2至图5为本发明提供的一种货架定位方法的原理示意图；
30.图6为本发明提供的一种货架对接方法的流程示意图；
31.图7为本发明提供的一种货架对接方法的原理示意图；
32.图8为本发明提供的一种货架定位装置的结构示意图；
33.图9为本发明提供的一种货架对接装置的结构示意图；
34.图10为本发明提供的一种电子设备的结构示意图。
具体实施方式
35.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例
robot，amr)、载货车辆等。具体来说，自主移动机器人是指在工作环境中能够高度自主地进行空间移动的设备。例如，仓储协作机器人、拣货机器人或者搬运机器人等。
50.以自主移动机器人为例，自主移动机器人中设置有所处环境对应有语义地图，该语义地图指的是包含所处环境中多个对象的语义信息的环境地图。对象的语义信息是指能够借助自然语言去领会和解释对象是什么或所属种类等信息，例如可以包含但不限于对象的名称、形状、位置等。例如，在仓储环境中，语义地图包括仓库中各个货架的位置、类型、尺寸，以及仓库中各种障碍物(如栏杆、台阶、门槛等)的位置、类型、尺寸。
51.本发明实施例中，可移动设备的图像采集模块，可以是具有图像采集能力的传感器模组。例如，图像采集模块是用于拍摄彩色(red green blue，rgb)图像的广角单目相机。可以理解的是，实际应用中，rgb图像包括图片或视频。
52.本发明实施例提供的方法可以由多个可移动设备的控制调度端设备实现，也可由多个可移动设备实现。实际应用中，多个可移动设备的控制调度端可以设置在云端服务中心，也可以是设置在其中一台可移动设备中，还可以设置在其他形式的计算设备中，本发明并不限定。
53.在实际应用中，本发明实施例提供的方法可以应用于多种场景中，例如可以应用于仓储场景、物流分拣场景、物料配送场景、港口货运场景等。下面以仓储场景为例介绍本发明实施例的具体实施方式，其他场景可以参照仓储场景的实施方式实施，在此不再赘述。
54.以仓储场景为例，仓储场景指的是在如仓库、货仓、栈房等空间中储存货品的场景。在仓储场景中，包含存放的货品、以及用于存放货品的多个货架。进一步地，货架中包括货架层板以及货架边框。
55.在仓储场景中，可移动设备的移动过程中，通过图像采集模块能够采集可移动设备所处环境中的图像数据。可移动设备所处环境指的是可移动设备附近仓储场景中的部分区域。可移动设备在所处仓储场景中能够采集图像数据的范围与图像采集模块的视场有关，图像采集模块的视场角越大，其采集的图像数据的范围也就越大。在采集到所处仓储场景中的图像数据之后，可以通过关键点检测网络对所处仓储场景的图像数据进行关键点检测，以在图像数据中检测出货架关键点。以图2示出的仓储场景为例，可移动设备通过图像采集模块对货架进行拍摄，将拍摄得到的图像数据经过关键点检测网络，进而通过关键点检测网络检测出图像数据中包含的货架关键点如图3所示。
56.具体地，通过关键点检测网络从图像数据中提取货架关键点在图像坐标系中的第一位置信息。如图3所示，通过关键点检测网络对货架的左上角顶点、左下角顶点、右下角顶点、右上角顶点所处位置进行标记，分别在图像数据中标出对应的关键点1、关键点2、关键点3、关键点4，得到图4所示的4个货架关键点的第一位置信息。进一步，在获取货架关键点的第一位置信息之后，根据货架关键点的第一位置信息、以及图像坐标系与可移动设备的车体坐标系之间的转换关系，确定货架关键点相对可移动设备的相对位姿。也就是，货架相对可移动设备的相对位姿。
57.在本发明实施例中，通过视觉特征提取技术检测出货架关键点所处位置，检测速度快，且通过关键点检测网络提取出的视觉特征不容易受其他干扰因素的影响，还能够避免深度信息带来的误检情况，为可移动设备的定位方案摆脱对深度信息的依赖提供了基础，有利于提高定位准确性和灵活性，大大拓展货架定位方法的应用范围。
58.实际应用中，凡是具有图像检测(或识别)功能的模型均可用于作为上述步骤中涉及的关键点检测网络，本发明实施例对此不做限定。优选地，可以采用各类神经网络模型作为关键点检测网络，例如卷积神经网络(convolutional neural network，cnn)。具体地，在包含货架的图像数据中标注出货架关键点，接着，采用标注后的图像数据对卷积神经网络进行训练，即可得到用于货架关键点检测的卷积神经网络。
59.下面结合附图介绍图1示出的各个步骤的具体实现方式。
60.假设具体应用场景中设置有可移动设备。假设具体应用场景中包含用于存储货品的货架。实际应用中，货架可以是如图2示出的顶升货架。假设可移动设备中搭载有广角单目相机。
61.基于上述假设，可选地，101中通过可移动设备中的图像采集模块获取所处环境中的图像数据的过程可以实现为：通过可移动设备的广角单目相机获取包含货架图像的rgb图像。
62.具体地，如图2所示，在一可选实施例中，可移动设备移动到货架前，以货架为拍摄目标，通过广角单目相机进行拍摄，得到包含货架的rgb图像。
63.除此之外，本发明实施例中还可通过其他方式获取可移动设备所处环境中的图像数据。例如，另一实施例中，在可移动设备移动过程中，通过广角单目相机扫描周围区域，得到周围区域对应的rgb视频。将rgb视频输入图像识别网络中，以通过图像识别网络从rgb视频中提取包含目标货架的图像帧，作为包含货架图像的rgb图像。
64.可以理解的是，无论采用何种图像采集方式，其目标均是获取包含货架图像的二维图像数据。从而为后续对货架关键点的检测提供基础。
65.本发明实施例中，假设图像采集模块为广角单目相机，由于广角拍摄功能可能会导致图像数据中存在畸变。
66.为避免畸变影响后续定位计算，本发明实施例中，可选地，在获取可移动设备所处环境中的图像数据之后，根据图像采集模块的焦距参数以及畸变参数对图像数据中的各个像素点坐标进行畸变矫正。
67.举例来说，假设图像数据中每一像素(u0，v0)。假设图像采集模块的焦距参数(f
x
，fv)以及畸变参数(k1，k2，k3，p1，p2)。假设图像宽度为w和高度为h。基于上述假设，通过如下公式计算得到矫正后的像素坐标(u1，v1)，具体公式为：
[0068][0069][0070][0071]
进而，102中，将经过畸变矫正后的图像数据输入到关键点检测网络中，以通过关键点检测网络从图像数据中提取货架关键点在图像坐标系中的第一位置信息。通过检测出
的货架关键点可以构建出货架的整体轮廓，从而，为后续获取货架关键点相对图像采集模块所处的可移动设备的相对位姿提供基础。
[0072]
实际应用中，第一位置信息为货架关键点在二维图像坐标系中对应的像素点坐标。举例来说，假设某一货架的货架关键点记为关键点1、关键点2、关键点3、关键点4。基于此，在图4所示的货架图片中，检测出上述4个货架关键点在该货架图片中的像素坐标。具体地，依次从关键点检测网络中读取货架关键点的像素坐标，记为左上角顶点(x1，y1)、左下角顶点(x2，y2)、右下角顶点(x3，y3)、右上角顶点(x4，y4)。除了示例顺序以及数量之外，还可根据实际应用情况对关键点检测网络的输出进行设置。
[0073]
实际应用中，可选地，本发明实施例的货架关键点可根据实际货架形态预先标定的。具体地，在训练关键点检测网络的过程中，预先在包含货架的图像数据中标定出货架关键点所处位置，并以标定后的图像数据作为关键点检测网络的训练样本。例如，将货架图片以及货架关键点在该货架图片中的二维坐标作为一组训练样本。货架图片中包含货架可以是完整的也可以是部分的。
[0074]
为保证提升货架定位的准确性，可选地，预先设置货架关键点对应的个数阈值。进而，对比关键点检测网络提取到的货架关键点的个数是否与个数阈值一致。若一致，则说明未提取到所有的货架关键点，此情况下，可以调整可移动设备所处位置，以使可移动设备移动到能够拍摄到所有货架关键点的位置。若一致，则说明提取到所有的货架关键点，此情况下，可以执行步骤103。
[0075]
进而，103中，可选地，根据货架关键点在图像数据中的第一位置信息、以及图像坐标系与可移动设备的车体坐标系之间的转换关系，确定货架关键点相对可移动设备的相对位姿的过程，可以实现为：
[0076]
根据预设货架参数、图像采集模块的相机参数以及第一位置信息，计算货架关键点在车体坐标系中的第二位置信息；基于图像坐标系与可移动设备的车体坐标系之间的转换关系、以及第二位置信息，计算货架关键点相对可移动设备的相对位姿。
[0077]
其中，图像坐标系与可移动设备的车体坐标系之间的转换关系，是基于图像采集模块与可移动设备的相对位置关系得到的。可移动设备的车体坐标系是指物理世界中以车体为原点的三维坐标系。
[0078]
假设货架参数包括货架尺寸。其中货架尺寸包括货架的长度、宽度、高度。假设相机参数包括焦距参数。基于此，上述步骤中，首先，根据预设货架参数、图像采集模块的相机参数以及第一位置信息，计算货架关键点在车体坐标系中的第二位置信息的过程包括：根据货架尺寸以及焦距参数，将货架关键点在图像坐标系中的二维坐标转换到车体坐标系中，得到货架关键点在车体坐标系中的三维坐标。
[0079]
具体地，如图5所示，在一可选实施例中，假设o为图像坐标系的原点，假设o1为车体坐标系的原点。基于此，参见图5示出的映射过程，可以将货架关键点的二维坐标p(u1，v1)从图像坐标系映射到车体坐标系中，转换为对应的三维坐标p(xc，yc，zc)。
[0080]
进一步假设货架尺寸包括宽度和高度记为zc。假设焦距参数为(f
x
，fv)。基于上述假设，通过如下公式可以实现上述坐标系转换过程，得到货架关键点在车体坐标系中的三维坐标p(xc，yc，zc)，即：
[0081][0082]
上述公式可以简化为：
[0083][0084]
进而，为进一步提升货架定位的准确性，可选地，基于转换关系以及第二位置信息，计算货架关键点相对可移动设备的相对位姿之前，进一步还包括：根据货架的固有结构特征对第二位置信息进行修正。
[0085]
值得说明的是，货架的固有结构特征是指基于货架结构的特定几何特征。例如，货架的固有结构特征包括但不限于：货架竖直边框两两平行，和/或货架水平边框两两平行。
[0086]
基于上述固有结构特征，举例来说，假设基于图4所示二维坐标转换得到的4个货架关键点在车体坐标系中的三维坐标，记为左上角顶点(x1，y1，z1)、左下角顶点(x2，y2，z2)、右下角顶点(x3，y3，z3)、右上角顶点(x4，y4，z4)。
[0087]
基于上述假设，通过判断处于其中一个水平面的两个顶点的横坐标差值与另一个水平面的两个顶点的横坐标差值是否相等来确定货架竖直边框是否两两平行。也即，若x4－x1＝x3－x2，则说明货架竖直边框两两平行。若x4－x1≠x3－x2，则说明货架竖直边框不平行。
[0088]
另一示例中，仍基于上述假设，通过判断处于同一侧两个顶点的纵坐标差值与另一侧两个顶点的纵坐标差值是否相等来确定货架水平边框是否两两平行。也即，若z4－z3＝z2－z1，则说明货架水平边框两两平行。若z4－z3≠z2－z1，则说明货架水平边框不平行。
[0089]
最终，基于经过修正后的第二位置信息、以及图像坐标系与可移动设备的车体坐标系之间的转换关系，计算货架关键点相对可移动设备的相对位姿。该相对位姿用于后续对货架进行定位和插取。
[0090]
图1示出的货架定位方法中，通过关键点检测网络从可移动设备所处环境的图像数据中提取出货架视觉语义特征，并基于视觉语义特征确定货架相对可移动设备的相对位姿，大大提升了对货架所处位置的检测精度，提高货架定位的准确性。并且，本发明实施例无需采集深度信息即可通过关键点检测网络识别出货架的视觉语义特征，大大扩展货架定位的应用范围，降低货架定位的硬件成本。
[0091]
图6为本发明实施例提供的一种货架对接方法的流程图，如图6所示，该方法包括如下步骤：
[0092]
601、通过可移动设备中的图像采集模块获取所处环境中的图像数据；
[0093]
602、将图像数据输入到关键点检测网络中，以通过关键点检测网络从图像数据中提取货架关键点在图像坐标系中的第一位置信息；
[0094]
603、根据第一位置信息、以及图像坐标系与可移动设备的车体坐标系之间的转换关系，确定货架关键点相对可移动设备的相对位姿；
[0095]
604、根据相对位置确定可移动设备与货架之间的对接路线，以使可移动设备基于
对接路线执行对接流程。
[0096]
上述步骤601至603的具体实现方式与图1所示方法中的步骤101至103类似，详细的执行过程和技术效果参见前述实施例中的描述，此处不再赘述。
[0097]
在仓储场景中，可移动设备的移动过程中，通过图像采集模块能够采集可移动设备所处环境中的图像数据。由于图像采集模块的视场角越大，其采集的图像数据的范围也就越大，因此，本发明中可选地采用广角单目相机。
[0098]
在采集到所处仓储场景中的图像数据之后，可以通过关键点检测网络对所处仓储场景的图像数据进行关键点检测，以在图像数据中检测出货架关键点。以图2示出的仓储场景为例，可移动设备通过图像采集模块对货架进行拍摄，将拍摄得到的图像数据经过关键点检测网络，进而通过关键点检测网络检测出图像数据中包含的货架关键点如图3所示。具体地，通过关键点检测网络从图像数据中提取货架关键点在图像坐标系中的第一位置信息。如图3所示，通过关键点检测网络对货架的左上角顶点、左下角顶点、右下角顶点、右上角顶点所处位置进行标记，分别在图像数据中标出对应的关键点1、关键点2、关键点3、关键点4，得到图4所示的4个货架关键点的第一位置信息。进一步，在获取货架关键点的第一位置信息之后，根据货架关键点的第一位置信息、以及图像坐标系与可移动设备的车体坐标系之间的转换关系，确定货架关键点相对可移动设备的相对位姿。在确定货架关键点相对可移动设备的相对位姿之后，根据相对位置确定可移动设备与货架之间的对接路线，以使可移动设备基于对接路线执行对接流程。
[0099]
在本发明实施例中，通过关键点检测网络从可移动设备所处环境的图像数据中提取出货架视觉语义特征(即货架关键点的位置信息)，并基于视觉语义特征确定货架相对可移动设备的相对位姿。进而，在货架相对可移动设备的相对位姿的基础上，规划出可移动设备与货架之间的对接路线，以使可移动设备基于对接路线执行对接流程。从而，实现了可移动设备与货架的对接，大大提升了对货架所处位置的检测精度，提高货架定位以及货架对接的准确性。
[0100]
下面结合附图对货架对接方法的一些可选步骤进行介绍。下述可选步骤也可用在图1所示的货架定位方法对应的实施例中。
[0101]
在一可选实施例中，还将可移动设备导航至与待对接货架匹配的对接位置，该对接位置为所处环境中用于采集至少一个货架关键点的位置。进一步，还可根据历史关键点检测结果在货仓环境地图中标定出各个货架的对接位置，以便后续可以快速定位，并导航可移动设备到对接位置，提高货架定位及对接的效率。例如，图7所示的货仓环境地图中，根据历史关键点检测结果通过三角形标记标定出各个货架的可选对接位置。
[0102]
基于上述接对位置，601中通过可移动设备中的图像采集模块获取所处环境中的图像数据的过程包括：在对接位置中通过图像采集模块拍摄所处环境中的图像数据。
[0103]
通过上述步骤可以使可移动设备更快到达能够拍摄到货架关键点的位置，不仅能够辅助提高货架定位的准确性，还可缩短货架对接过程所耗费的时间，提高货架对接效率。
[0104]
再一可选实施例中，可选地，还判断关键点检测网络提取到的货架关键点是否满足预设条件。若货架关键点不满足预设条件，则控制可移动设备围绕货架移动。在可移动设备的移动过程中，重新执行步骤601至602，直到关键点检测网络提取到的货架关键点符合预设条件。
[0105]
举例来说，假设预设条件是提取到的货架关键点数量是否达到设定个数阈值。基于此，判断关键点检测网络提取到的货架关键点数量是否达到设定个数阈值，若货架关键点数量未达到设定个数阈值，则说明可移动设备没有采集到所有货架关键点。简单来说，可移动设备采集货架图像的角度并未达到预设角度，可移动设备所处位置并未达到预设位置，此情况下，通过控制可移动设备围绕货架移动，使其移动到预设位置。在可移动设备的移动过程中，重新执行步骤601至602，直到关键点检测网络提取到的货架关键点数量达到设定个数阈值时，可以确定可移动设备达到预设位置。
[0106]
除了示例的货架关键点数量之外，还可通过预设条件对图像数据的质量、采集角度等进行进一步筛选，以便提高货架定位结果以及对接结果的准确性。
[0107]
通过上述步骤可以控制可移动设备达到预设位置(也即可以采集到完整货架关键点的位置)，从而，辅助提高货架定位及对接的准确性，缩短货架对接过程所耗费的时间，提高货架对接效率。
[0108]
另一可选实施例中，在执行对接流程的过程中，可能会出现距离货架较远、对货架的拍摄角度较偏、可移动设备行进路线出现偏差等问题。因此，在执行对接流程的过程中，还可通过图像采集模块重新获取所处环境中的图像数据，并重新执行步骤602至603，以重新计算相对位姿，矫正对接流程，提高对接效率。
[0109]
具体地，在一可选实施例中，重新执行确定相对位姿的步骤以矫正对接路线的过程包括：重新执行步骤602至603，以得到货架关键点相对可移动设备的相对位姿；根据重新计算的相对位姿，重新确定可移动设备与货架之间的对接路线，以使可移动设备基于重新确定的对接路线矫正对接流程。
[0110]
通过上述步骤可以重新计算出相对位姿，从而在出现上述问题时重新确定对接路线，以矫正对接流程，从而进一步提高货架对接的准确性，缩短货架对接过程所耗费的时间，提高货架对接效率。
[0111]
以下将详细描述本发明的一个或多个实施例的装置。本领域技术人员可以理解，这些装置均可使用市售的硬件组件通过本方案所教导的步骤进行配置来构成。
[0112]
图8为本发明实施例提供的一种货架定位装置的结构示意图，如图8所示，该装置包括：
[0113]
获取模块81，用于通过可移动设备中的图像采集模块获取所处环境中的图像数据；
[0114]
关键点检测模块82，用于将所述图像数据输入到关键点检测网络中，以通过所述关键点检测网络从所述图像数据中提取货架关键点在图像坐标系中的第一位置信息；
[0115]
相对位姿确定模块83，用于根据所述第一位置信息、以及所述图像坐标系与所述可移动设备的车体坐标系之间的转换关系，确定所述货架关键点相对所述可移动设备的相对位姿。
[0116]
可选地，所述相对位姿确定模块83根据所述第一位置信息、以及所述图像坐标系与车体坐标系之间的转换关系，确定所述货架关键点相对所述可移动设备的相对位姿时，用于：
[0117]
根据预设货架参数、所述图像采集模块的相机参数以及所述第一位置信息，计算所述货架关键点在所述车体坐标系中的第二位置信息；
[0118]
基于所述转换关系以及所述第二位置信息，计算所述货架关键点相对所述可移动设备的相对位姿；
[0119]
其中，所述转换关系是基于所述图像采集模块与所述可移动设备的相对位置关系得到的。
[0120]
其中，可选地，所述货架参数包括货架尺寸，所述相机参数包括焦距参数。
[0121]
所述相对位姿确定模块83根据预设货架参数、所述图像采集模块的相机参数以及所述第一位置信息，计算所述货架关键点在所述车体坐标系中的第二位置信息时，用于：
[0122]
根据货架尺寸以及焦距参数，将所述货架关键点在所述图像坐标系中的二维坐标转换到所述车体坐标系中，得到所述货架关键点在所述车体坐标系中的三维坐标。
[0123]
其中，可选地，所述装置还包括修正模块，用于：
[0124]
基于所述转换关系以及所述第二位置信息，计算所述货架关键点相对所述可移动设备的相对位姿之前，根据货架的固有结构特征对所述第二位置信息进行修正；
[0125]
其中，所述固有结构特征包括：货架竖直边框两两平行和/或货架水平边框两两平行。
[0126]
可选地，所述装置还包括畸变矫正模块，用于：
[0127]
将所述图像数据输入到关键点检测网络中之前，根据所述图像采集模块的焦距参数以及畸变参数对所述图像数据中的各个像素点坐标进行畸变矫正。
[0128]
可选地，所述货架关键点包括以下任意一个或多个：货架的左上角顶点、右上角顶点、左下角顶点、右下角顶点。
[0129]
图8所示装置可以执行前述图1至图5所示实施例中提供的货架定位方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。
[0130]
图9为本发明实施例提供的一种货架对接装置的结构示意图，如图9所示，该装置包括：
[0131]
获取模块91，用于通过可移动设备中的图像采集模块获取所处环境中的图像数据；
[0132]
关键点检测模块92，用于将所述图像数据输入到关键点检测网络中，以通过所述关键点检测网络从所述图像数据中提取货架关键点在图像坐标系中的第一位置信息；
[0133]
相对位姿确定模块93，用于根据所述第一位置信息、以及所述图像坐标系与所述可移动设备的车体坐标系之间的转换关系，确定所述货架关键点相对所述可移动设备的相对位姿；
[0134]
对接模块94，用于根据所述相对位置确定所述可移动设备与货架之间的对接路线，以使所述可移动设备基于所述对接路线执行对接流程。
[0135]
可选地，所述装置还包括导航模块，用于：
[0136]
将所述可移动设备导航至与待对接货架匹配的对接位置，所述对接位置为所处环境中用于采集至少一个所述货架关键点的位置；
[0137]
所述获取模块91通过可移动设备中的图像采集模块获取所处环境中的图像数据时，用于：
[0138]
在所述对接位置中通过所述图像采集模块拍摄所处环境中的图像数据。
[0139]
可选地，所述装置还包括判断模块，用于：
[0140]
判断关键点检测网络提取到的货架关键点是否满足预设条件；
[0141]
若所述货架关键点不满足所述预设条件，则控制所述可移动设备围绕货架移动；
[0142]
在所述可移动设备的移动过程中，通过所述图像采集模块重新获取所处环境中的图像数据，并执行通过所述关键点检测网络从所述图像数据中提取货架关键点在图像坐标系中的第一位置信息的步骤，直到所述关键点检测网络提取到的货架关键点符合所述预设条件。
[0143]
可选地，所述装置还包括矫正模块，用于：
[0144]
在执行对接流程的过程中，通过所述图像采集模块重新获取所处环境中的图像数据，并重新执行确定所述相对位姿的步骤，以矫正所述对接流程。
[0145]
其中，可选地，所述矫正模块重新执行确定所述相对位姿的步骤，以矫正所述对接路线，用于：
[0146]
重新执行确定所述相对位姿的步骤，以得到所述货架关键点相对所述可移动设备的参考相对位姿；
[0147]
判断所述参考相对位姿与所述相对位姿的差值是否符合设定误差阈值；
[0148]
若所述差值不符合设定误差阈值，则根据所述参考相对位姿重新确定所述可移动设备与货架之间的对接路线，以使所述可移动设备基于重新确定的对接路线矫正所述对接流程。
[0149]
可选地，所述图像采集模块为广角单目相机。
[0150]
图9所示装置可以执行前述图6至图7所示实施例中提供的货架对接方法，详细的执行过程和技术效果参见前述实施例中的描述，在此不再赘述。
[0151]
在一个可能的设计中，上述图8或图9所示装置的结构可实现为一电子设备，如图10所示，该电子设备可以包括：处理器1001、存储器1002。其中，所述存储器1002上存储有可执行代码，当所述可执行代码被所述处理器1001执行时，使所述处理器1001至少可以实现如前述图1至图7所示实施例中提供的方法。
[0152]
可选地，该电子设备中还可以包括通信接口1003，用于与其他设备进行通信。
[0153]
另外，本发明实施例提供了一种非暂时性机器可读存储介质，所述非暂时性机器可读存储介质上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器至少可以实现如前述图1至图7所示实施例中提供的方法。
[0154]
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
[0155]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助加必需的通用硬件平台的方式来实现，当然也可以通过硬件和软件结合的方式来实现。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以计算机产品的形式体现出来，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0156]
本发明实施例提供的货架定位方法可以由某种程序/软件来执行，该程序/软件可
以由网络侧提供，前述实施例中提及的电子设备可以将该程序/软件下载到本地的非易失性存储介质中，并在其需要执行前述货架定位方法时，通过cpu将该程序/软件读取到内存中，进而由cpu执行该程序/软件以实现前述实施例中所提供的货架定位方法，执行过程可以参见前述图1至图4中的示意。
[0157]
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。