一种机器人及机器人的定位方法与流程

1.本公开涉及机器人定位技术领域，具体而言，涉及一种机器人及机器人的定位方法。


背景技术：

2.为了在自动化生产和仓储管理中应用移动机器人，要求移动机器人需要精确识别当前位置，只有精确识别当前位置，才能精确地传输、搬运产品。
3.目前主流的机器人定位方案是通过机器人底部安装的摄像头拍摄指定位置的二维码，然后识别拍摄到的二维码图片，获取二维码中保存的位置信息，从而实现对移动机器人的定位。
4.然而，上述机器人定位方案在机器人移动的过程中，可能会出现连续丢帧的情况，这将导致机器人无法进行定位。


技术实现要素：

5.本公开实施例至少提供一种机器人及机器人的定位方案，通过对新增的第一摄像头所采集图像的处理操作，实现了机器人的自主定位。
6.主要包括以下几个方面：
7.第一方面，本公开实施例提供了一种机器人，包括：行走机构、第一摄像头和处理器；所述行走机构、所述第一摄像头与所述处理器电性连接；
8.所述行走机构，用于驱动所述机器人行走；
9.所述第一摄像头，用于拍摄包括至少一个第一标识的第一图像并传输至所述处理器；
10.所述处理器，用于获取所述第一摄像头拍摄的包括至少一个第一标识的第一图像；根据获取的包括所述至少一个第一标识的第一图像，以及所述第一摄像头的拍摄方向相对所述机器人的行走方向的方向角度，确定所述机器人相对所述至少一个第一标识的第一偏移信息，所述第一偏移信息包括第一偏移距离和第一偏移角度；基于所述第一偏移信息以及所述至少一个第一标识的位置信息，确定所述机器人的第一位置信息。
11.在一种实施方式中，所述第一摄像头设置在所述机器人的正面，且拍摄方向为斜下方，所述第一摄像头的拍摄方向相对所述机器人的行走方向的方向角度为锐角；
12.所述处理器，用于基于所述方向角度，将获取的包括所述至少一个第一标识的第一图像映射至所述机器人的行走方向，得到映射后的第一图像；根据所述映射后的第一图像，确定所述机器人相对所述至少一个第一标识的第一偏移信息。
13.在一种实施方式中，所述处理器，用于针对所述至少一个第一标识中的每个第一标识，确定该第一标识在所述映射后的第一图像中的图像位置信息，并基于所述图像位置信息以及所述第一图像下边沿的中心位置信息，确定在图像坐标系下所述机器人相对该第一标识的第一图像偏移距离；基于所述第一图像偏移距离、以及所述图像坐标系和世界坐
标系之间的转换关系，确定在世界坐标系下所述机器人相对该第一标识的第一偏移距离。
14.在一种实施方式中，所述处理器，用于根据所述映射后的第一图像对所述至少一个第一标识进行边缘拟合，确定所述至少一个第一标识在所述映射后的第一图像中的位姿信息；基于所述位姿信息，确定所述至少一个第一标识相对所述机器人的行走方向的夹角；基于确定的所述至少一个第一标识相对所述机器人的行走方向的夹角，确定所述机器人相对所述至少一个第一标识的第一偏移角度。
15.在一种实施方式中，所述处理器，用于从所述至少一个第一标识中查找与所述机器人之间的第一偏移距离最小的第一目标标识；基于所述第一偏移距离最小的第一目标标识对应的第一偏移信息以及位置信息，确定所述机器人的第一位置信息；
16.或者，
17.所述机器人，用于从所述至少一个第一标识中选取预设数量个第一标识；基于所述预设数量个第一标识的第一偏移信息以及位置信息，确定所述机器人的第一位置信息；其中，所述预设数量小于或等于所述第一标识的总数量。
18.在一种实施方式中，还包括：第二摄像头；所述第二摄像头与所述处理器电性连接；
19.所述第二摄像头，用于拍摄包括一个第二标识的第二图像并传输至所述处理器；
20.所述处理器，还用于根据所述包括一个第二标识的第二图像以及所述一个第二标识的位置信息，确定所述机器人的第二位置信息；并根据所述机器人的第一位置信息以及所述机器人的第二位置信息，确定所述机器人的第三位置信息。
21.在一种实施方式中，所述第二摄像头设置在所述机器人的底部，且拍摄方向为正下方；
22.所述处理器，用于根据所述包括一个第二标识的第二图像，确定所述机器人相对所述第二标识的第二偏移信息；所述第二偏移信息包括第二偏移距离和第二偏移角度；基于所述第二偏移信息以及所述一个第二标识的位置信息，确定所述机器人的第二位置信息。
23.在一种实施方式中，所述处理器，用于将所述机器人的第一位置信息确定为所述机器人的辅助定位信息；以及将所述机器人的第二位置信息确定为所述机器人的主要定位信息；基于所述辅助定位信息对所述主要定位信息进行校准，确定所述机器人的第三位置信息。
24.在一种实施方式中，所述处理器，还用于基于所述第一偏移信息和所述第二偏移信息，确定所述机器人相对预设行驶轨迹的偏移信息；基于确定的所述偏移信息、所述至少一个第一标识的位置信息、以及所述一个第二标识的位置信息，确定所述机器人的第三位置信息。
25.在一种实施方式中，所述处理器，用于通过卡尔曼滤波器将所述第一偏移信息和所述第二偏移信息进行融合，确定融合后的偏移信息；将所述融合后的偏移信息，确定为所述机器人相对预设行驶轨迹的偏移信息。
26.在一种实施方式中，所述处理器，用于分别确定与所述第一偏移信息和所述第二偏移信息对应的第一权重和第二权重；将所述第一权重与所述第一偏移信息进行乘法运算，得到第一运算结果，以及将所述第二权重与所述第二偏移信息进行乘法运算，得到第二
运算结果；将所述第一运算结果和所述第二运算结果进行求和运算，得到求和结果；基于所述求和结果，确定所述机器人相对预设行驶轨迹的偏移信息。
27.在一种实施方式中，所述处理器，用于根据获取到的所述包括一个第二标识的第二图像，确定所述第二标识的中心点在所述第二图像中的图像位置信息，并基于所述图像位置信息以及所述第二图像的中心位置信息，确定在图像坐标系下所述机器人相对所述第二标识的第二图像偏移距离；基于所述第二图像偏移距离、以及所述图像坐标系和世界坐标系之间的转换关系，确定在世界坐标系下所述机器人相对所述第二标识的第二偏移距离。
28.在一种实施方式中，所述处理器，用于对所述第二图像进行边缘拟合，确定与所述第二标识对应的多条拟合直线；若所述多条拟合直线中的两条拟合直线之间的夹角等于预设角度，则将该两条拟合直线的交点确定为与所述第二标识对应的角点；根据各个角点在所述第二图像中的图像位置信息，确定所述第二标识的中心点在所述第二图像中的图像位置信息。
29.第二方面，本公开实施例还提供了一种机器人的定位方法，所述方法包括：
30.获取机器人的第一摄像头拍摄的包括至少一个第一标识的第一图像；所述第一摄像头的拍摄方向为斜下方；
31.根据获取的包括所述至少一个第一标识的第一图像，以及所述第一摄像头的拍摄方向相对所述机器人的行走方向的方向角度，确定所述机器人相对所述至少一个第一标识的第一偏移信息，所述第一偏移信息包括第一偏移距离和第一偏移角度；
32.基于所述第一偏移信息以及所述至少一个第一标识的位置信息，确定所述机器人的第一位置信息。
33.在一种实施方式中，所述第一摄像头设置在所述机器人的正面，且拍摄方向为斜下方，所述第一摄像头的拍摄方向相对所述机器人的行走方向的方向角度为锐角；
34.所述根据获取的包括所述至少一个第一标识的第一图像，以及所述第一摄像头的拍摄方向相对所述机器人的行走方向的方向角度，确定所述机器人相对所述至少一个第一标识的第一偏移信息，包括：
35.基于所述方向角度，将获取的包括所述至少一个第一标识的第一图像映射至所述机器人的行走方向，得到映射后的第一图像；
36.根据所述映射后的第一图像，确定所述机器人相对所述至少一个第一标识的第一偏移信息。
37.在一种实施方式中，所述根据所述映射后的第一图像，确定所述机器人相对所述至少一个第一标识的第一偏移信息，包括：
38.针对所述至少一个第一标识中的每个第一标识，确定该第一标识在所述映射后的第一图像中的图像位置信息，并基于所述图像位置信息以及所述第一图像下边沿的中心位置信息，确定在图像坐标系下所述机器人相对该第一标识的第一图像偏移距离；
39.基于所述第一图像偏移距离、以及所述图像坐标系和世界坐标系之间的转换关系，确定在世界坐标系下所述机器人相对该第一标识的第一偏移距离。
40.在一种实施方式中，所述根据所述映射后的第一图像，确定所述机器人相对所述至少一个第一标识的第一偏移信息，包括：
41.根据所述映射后的第一图像对所述至少一个第一标识进行边缘拟合，确定所述至少一个第一标识在所述映射后的第一图像中的位姿信息；
42.基于所述位姿信息，确定所述至少一个第一标识相对所述机器人的行走方向的夹角；
43.基于确定的所述至少一个第一标识相对所述机器人的行走方向的夹角，确定所述机器人相对所述至少一个第一标识的第一偏移角度。
44.在一种实施方式中，所述基于所述第一偏移信息以及所述至少一个第一标识的位置信息，确定所述机器人的第一位置信息，包括：
45.从所述至少一个第一标识中查找与所述机器人之间的第一偏移距离最小的第一目标标识；基于所述第一偏移距离最小的第一目标标识对应的第一偏移信息以及位置信息，确定所述机器人的第一位置信息；
46.或者，
47.从所述至少一个第一标识中选取预设数量个第一标识；基于所述预设数量个第一标识的第一偏移信息以及位置信息，确定所述机器人的第一位置信息；其中，所述预设数量小于或等于所述第一标识的总数量。
48.在一种实施方式中，在确定所述机器人的第一位置信息之后，所述方法还包括：
49.获取机器人的第二摄像头拍摄的包括一个第二标识的第二图像；
50.根据获取到的所述包括一个第二标识的第二图像以及所述一个第二标识的位置信息，确定所述机器人的第二位置信息；
51.根据所述机器人的第一位置信息以及所述机器人的第二位置信息，确定所述机器人的第三位置信息。
52.在一种实施方式中，所述第二摄像头设置在所述机器人的底部，且拍摄方向为正下方；根据获取到的所述包括一个第二标识的第二图像以及所述一个第二标识的位置信息，确定所述机器人的第二位置信息，包括：
53.根据获取到的所述包括一个第二标识的第二图像，确定所述机器人相对所述第二标识的第二偏移信息；所述第二偏移信息包括第二偏移距离和第二偏移角度；
54.基于所述第二偏移信息以及所述一个第二标识的位置信息，确定所述机器人的第二位置信息。
55.在一种实施方式中，所述根据所述机器人的第一位置信息以及所述机器人的第二位置信息，确定所述机器人的第三位置信息，包括：
56.将所述机器人的第一位置信息确定为所述机器人的辅助定位信息；以及将所述机器人的第二位置信息确定为所述机器人的主要定位信息；
57.基于所述辅助定位信息对所述主要定位信息进行校准，确定所述机器人的第三位置信息。
58.在一种实施方式中，按照如下步骤确定所述机器人的第三位置信息：：
59.基于所述第一偏移信息和所述第二偏移信息，确定所述机器人相对预设行驶轨迹的偏移信息；
60.基于确定的所述偏移信息、所述至少一个第一标识的位置信息、以及所述一个第二标识的位置信息，确定所述机器人的第三位置信息。
61.在一种实施方式中，所述基于所述第一偏移信息和所述第二偏移信息，确定所述机器人相对预设行驶轨迹的偏移信息，包括：
62.通过卡尔曼滤波器将所述第一偏移信息和所述第二偏移信息进行融合，确定融合后的偏移信息；
63.将所述融合后的偏移信息，确定为所述机器人相对预设行驶轨迹的偏移信息。
64.在一种实施方式中，所述基于所述第一偏移信息和所述第二偏移信息，确定所述机器人相对预设行驶轨迹的偏移信息，包括：
65.分别确定与所述第一偏移信息和所述第二偏移信息对应的第一权重和第二权重；
66.将所述第一权重与所述第一偏移信息进行乘法运算，得到第一运算结果，以及将所述第二权重与所述第二偏移信息进行乘法运算，得到第二运算结果；
67.将所述第一运算结果和所述第二运算结果进行求和运算，得到求和结果；
68.基于所述求和结果，确定所述机器人相对预设行驶轨迹的偏移信息。
69.在一种实施方式中，所述根据获取到的所述包括一个第二标识的第二图像，确定所述机器人相对所述第二标识的第二偏移信息，包括：
70.根据获取到的所述包括一个第二标识的第二图像，确定所述第二标识的中心点在所述第二图像中的图像位置信息，并基于所述图像位置信息以及所述第二图像的中心位置信息，确定在图像坐标系下所述机器人相对所述第二标识的第二图像偏移距离；
71.基于所述第二图像偏移距离、以及所述图像坐标系和世界坐标系之间的转换关系，确定在世界坐标系下所述机器人相对所述第二标识的第二偏移距离。
72.在一种实施方式中，按照如下步骤确定所述第二标识的中心点在所述第二图像中的图像位置信息：
73.对所述第二图像进行边缘拟合，确定与所述第二标识对应的多条拟合直线；
74.若所述多条拟合直线中的两条拟合直线之间的夹角等于预设角度，则将该两条拟合直线的交点确定为与所述第二标识对应的角点；
75.根据各个角点在所述第二图像中的图像位置信息，确定所述第二标识的中心点在所述第二图像中的图像位置信息。
76.本公开实施例提供的机器人，该机器人包括行走机构、第一摄像头和处理器；所述行走机构、所述第一摄像头与所述处理器电性连接；所述行走机构，用于驱动所述机器人行走；所述第一摄像头，用于拍摄包括至少一个第一标识的第一图像并传输至所述处理器；所述处理器，用于获取所述第一摄像头拍摄的包括至少一个第一标识的第一图像；根据获取的包括所述至少一个第一标识的第一图像，以及所述第一摄像头的拍摄方向相对机器人的行走方向的方向角度，确定所述机器人相对所述至少一个第一标识的第一偏移信息，所述第一偏移信息包括第一偏移距离和第一偏移角度；基于所述第一偏移信息以及所述至少一个第一标识的位置信息，确定所述机器人的第一位置信息。本公开实施例中，利用第一摄像头可以摄取到机器人前方较宽视野内更多个数的第一标识，也即，可以参照更多的标识码来确定机器人的偏移信息，这样，即使第二摄像头(对应相关底部安装的摄像头)因丢码问题而无法定位，也可以利用上述第一摄像头进行自主定位。
77.为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
78.为了更清楚地说明本公开实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，此处的附图被并入说明书中并构成本说明书中的一部分，这些附图示出了符合本公开的实施例，并与说明书一起用于说明本公开的技术方案。应当理解，以下附图仅示出了本公开的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
79.图1示出了本公开实施例所提供的一种机器人示意图；
80.图2示出了本公开实施例所提供的一种机器人的定位方法的流程图；
81.图3(a)示出了本公开实施例所提供的一种机器人的定位方法中方向角度的示意图；
82.图3(b)示出了本公开实施例所提供的一种机器人的定位方法中第一偏移信息的示意图；
83.图4(a)示出了本公开实施例提供的第一图像的示意图；
84.图4(b)示出了本公开实施例提供的映射后的第一图像中第一图像偏移距离的示意图；
85.图4(c)示出了本公开实施例提供的映射后的第一图像中第一偏移角度的示意图。
具体实施方式
86.为使本公开实施例的目的、技术方案和优点更加清楚，下面将结合本公开实施例中附图，对本公开实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本公开一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围，而是仅仅表示本公开的选定实施例。基于本公开的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本公开保护的范围。
87.下面首先说明一下本公开实施例中涉及的一些术语的含义。
88.机器人，用于自动执行工作的机器装置，即可以接受指挥，又可以运行预先编码的程序，也可以根据以人工智能技术制定的原则纲领行动。本公开实施例中的机器人可以是按照预设行驶轨迹执行目标任务的机器人，如仓储机器人但不限于类机器人的机器人。
89.标识码，用于设置在地面上，引导机器人按照预设行驶轨迹行驶。
90.经研究发现，相关机器人定位方案是通过机器人底部安装的摄像头拍摄指定位置的二维码，然后识别拍摄到的二维码图片，获取二维码中保存的位置信息，从而实现对移动机器人的定位。
91.然而，上述机器人定位方案在机器人移动的过程中，可能会出现连续丢帧的情况，这将导致机器人无法进行定位。
92.基于上述研究，本公开提供了一种机器人及机器人的定位方法，通过对新增的第一摄像头所采集图像的处理操作，实现了机器人的自主定位。
93.针对以上方案所存在的缺陷，均是发明人在经过实践并仔细研究后得出的结果，因此，上述问题的发现过程以及下文中本公开针对上述问题所提出的解决方案，都应该是
发明人在本公开过程中对本公开做出的贡献。
94.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
95.为便于对本实施例进行理解，首先对本公开实施例所公开的一种机器人进行详细介绍，本公开实施例所提供的机器人的执行主体一般为具有一定计算能力的电子设备，该电子设备例如包括：微控制器等。在一些可能的实现方式中，该机器人可以通过微控制器中的处理器调用存储器中存储的计算机可读指令的方式来实现。
96.下面对本公开实施例提供的机器人加以说明。
97.参见图1所示，为本公开实施例提供的一种机器人示意图，该机器人包括：行走机构101、第一摄像头102和处理器103；行走机构101、第一摄像头102与处理器103电性连接；
98.行走机构101，用于驱动机器人行走；
99.第一摄像头102，用于拍摄包括至少一个第一标识的第一图像并传输至处理器103；
100.处理器103，用于获取第一摄像头102拍摄的包括至少一个第一标识的第一图像；根据获取的包括至少一个第一标识的第一图像，以及第一摄像头102的拍摄方向相对机器人的行走方向的方向角度，确定机器人相对至少一个第一标识的第一偏移信息，第一偏移信息包括第一偏移距离和第一偏移角度；基于第一偏移信息以及至少一个第一标识的位置信息，确定机器人的第一位置信息。
101.本公开实施例主要可以应用于在执行任务过程中机器人的位置确定，能否以最优的方式调度机器人执行任务的前提即是确定机器人所在的位置。考虑到在实际应用中，多采用机器人底部安装的摄像头实现定位，由于安装位置所呈现的垂直于地面的拍摄，这导致拍摄视野偏小，一旦发生连续丢码，将导致机器人无法定位到自身所在位置，在机器人无法定位自身位置的情况下，便无法顺利的执行相应的目标任务。
102.正是为了解决这一问题，本公开实施例才提供了一种基于第一摄像头实现机器人定位的方案，通过对新增的第一摄像头所采集图像的处理操作，实现了机器人的自主定位。
103.本公开实施例中，行走机构101可以包含电机、驱动器和电源等，用来驱动机器人行走，在机器人行走的过程中，设置在机器人上的第一摄像头102可以拍摄包括至少一个第一标识的第一图像并传输至处理器103，这样处理器103即可以根据获取的包括至少一个第一标识的第一图像，和第一摄像头102的拍摄方向相对机器人的行走方向的方向角度，确定机器人相对至少一个第一标识的第一偏移信息，然后基于第一偏移信息以及至少一个第一标识的位置信息，确定机器人的第一位置信息。
104.上述机器人上设置的第一摄像头102的拍摄方向为斜下方，利用该第一摄像头102所摄取到的图像是前方较宽视野内更多个数的第一标识，也即，可以参照更多的标识码来确定机器人的偏移信息，这样，即使第二摄像头因丢码问题而无法定位，也可以利用上述第一摄像头102进行自主定位。
105.在具体实施中，参照图2，处理器103可以按照以下步骤对机器人进行定位：
106.s201、获取第一摄像头拍摄的包括至少一个第一标识的第一图像；
107.s202、根据获取的包括至少一个第一标识的第一图像，以及第一摄像头102的拍摄方向相对机器人的行走方向的方向角度，确定机器人相对至少一个第一标识的第一偏移信
息，第一偏移信息包括第一偏移距离和第一偏移角度；
108.s203、基于第一偏移信息以及至少一个第一标识的位置信息，确定机器人的第一位置信息。
109.其中，上述第一摄像头102可以是安装于机器人前侧，斜向下拍摄，摄像头的拍摄方向与机器人的行走方向之间将形成一定的拍摄角度(对应方向角度)，这样，拍摄到的第一图像中可以是包括若干个第一标识，该第一标识可以是在机器人行进的过程中，设置在机器人前方被第一摄像头102拍摄到的标识码。由于第一摄像头102的拍摄视野较大，因此，所拍摄到的第一标识可以为多个。
110.需要说明的是，上述第一标识可以是一维码，还可以是二维码，还可以是其它具有标识作用的标识码，本公开实施例对此不做具体的限制，考虑到二维码在机器人应用领域的广泛应用，接下来多以二维码为例进行示例说明。
111.需要说明的是，第一摄像头102安装的角度不同，其拍摄视野也不同，这样所拍摄到的第一标识的个数也会发生变化，本公开实施例对此不做具体的限制。例如，拍摄到机器人前方的6个标识码，如图3(a)和图3(b)所示的机器人与各个标识码之间的位置示意图。
112.如图3(a)所示，对于第一摄像头102拍摄到的机器人前方的6个标识码，机器人在沿直线行走的过程中，以正对机器人的第一标识码来说，第一摄像头102可以是正对这一标识码拍摄的，对应的方向角度如图所示。
113.在获取到上述第一图像之后，本公开实施例可以根据该第一图像以及上述方向角度，确定机器人相对第一图像中的各个标识码的第一偏移信息，基于这一偏移信息即可以实现对机器人的定位。
114.其中，上述第一偏移信息可以表征的是机器人与第一标识之间的相对位置信息，这样，在确定第一标识的实际地理位置之后，可以基于该实际地理位置以及上述相对位置信息，确定机器人的实际地理位置。
115.如图3(b)所示，对于第一摄像头102拍摄到的机器人前方的6个标识码，以右下方的第一标识码为例，针对该第一标识码的第一偏移信息中的第一偏移距离和第一偏移角度如图3(b)上的具体标注结果。
116.在具体应用中，上述第一偏移距离可以包括两个方向上的偏移距离，若以机器人为中心建立坐标系，这一偏移距离可以是坐标系下横轴和纵轴两个方向上的偏移距离。
117.本公开实施例中，第一偏移距离可以是基于图像坐标系下的机器人相对该第一标识的第一图像偏移距离所确定的，第一偏移角度可以是基于第一标识的边缘拟合结果所确定的。
118.在具体应用中，第一标识中可以包含第一标识的实际地理位置等信息，这样，在拍摄到包括第一标识的第一图像之后，即可以检测得到对应的实际地理位置，以便于后续进行机器人的定位。
119.考虑到本公开实施例是基于斜下方的拍摄方向拍摄的第一图像，而本公开实施例所确定的第一偏移信息是基于地面设置的第一标识在第一图像中的相关信息所确定的，基于此，本公开实施例在确定第一偏移信息之前，可以先基于第一摄像头102的拍摄方向，将获取的包括至少一个第一标识的第一图像映射至机器人的行走方向，得到映射后的第一图像，这样，机器人上设置的第一摄像头102在地面上的投影将落在映射后的图像的下边沿
上，基于映射后的第一图像即可以确定上述第一偏移信息。
120.为了便于说明上述图像映射过程，可以结合图4(a)～图4(c)进行说明。
121.如图4(a)～图4(c)所示的框对应的是一个第一标识。如图4(a)所示，为第一摄像头102拍摄的第一图像，在基于第一摄像头102的拍摄方向对该第一图像进行机器人的行走方向(对应第一图像的竖边所对应的方向)的映射后，可以得到如图4(b)和图4(c)所示的映射后的第一图像，该映射后的第一图像的下边沿对应的是第一摄像头102在地面的投影的，也即，基于图像投影可以将第一摄像头和第一标识处于同一参考平面，进而即可以确定出第一偏移信息。
122.接下来对第一偏移信息中的第一偏移距离和第一偏移角度的确定分别进行说明。
123.第一方面：本公开实施例可以针对每个第一标识，确定其在映射后的第一图像中的图像位置信息，该图像位置信息可以是基于标识码的识别结果所确定，这里，还可以先基于第一图像的图像位置信息确定第一图像的中心点所在的图像位置信息，这样，在确定第一图像下边沿的中心位置信息之后，可以确定基于第一图像的中心点所在的图像位置信息以及第一图像下边沿的中心位置信息确定第一图像的中心点相对下边沿的图像偏移量，该图像偏移量对应的是在图像坐标系下机器人相对第一标识的第一图像偏移距离。
124.如图4(b)所示，上述第一图像偏移距离对应的是该第一标识在映射后的第一图像中的图像位置信息(以标识中心位置为例)，与第一图像下边沿的中心位置之间的图像偏移距离。
125.在确定第一图像偏移距离的情况下，可以基于图像坐标系和世界坐标系之间的转换关系，将第一图像偏移矩阵，转换至在世界坐标系下机器人相对该第一标识的第一偏移距离。
126.第二方面：本公开实施例可以首先可以根据映射后的第一图像对至少一个第一标识进行边缘拟合，确定第一标识在映射后的第一图像中的位姿信息，这样基于图像坐标系与世界坐标系之间的转换关系、以及上述图像的位姿信息，可以确定第一标识相对机器人的行走方向的夹角，由于这里的机器人可以是按照机器人的行走方向行驶的，从而确定机器人相对至少一个第一标识的第一偏移角度。
127.如图4(c)所示，上述第一偏移角度对应的是第一标识相对机器人的行走方向的夹角。
128.其中，为了便于进行边缘拟合，本公开实施例中的处理器103可以先进行图像预处理，例如，可以先进行自适应的二值化过程，在进行二值化之后，即可以寻找二维码所在黑框的边缘，进而进行边缘拟合。
129.考虑到机器人运行时，沿直线行驶，因此偏向角度通常不会很大，且在第一摄像头102的拍摄视野内，距离越远的物体所具有的图像像素相对距离较近的物体所具有的图像像素越小，因此，本公开实施例可以基于距离最近确定合适的第一标识而后再进行定位。也即，可以先从第一图像中所包含的多个第一标识中，筛选距离机器人最近的第一最近的第一目标标识，在确定出第一目标标识的图像位置信息以及第一图像下边沿的中心位置信息之后，即可以确定机器人相对第一目标标识的第一偏移信息以及第一目标标识的位置信息，确定机器人的位置。
130.需要说明的是，本公开实施例可以基于上述方法确定机器人与最近第一标识之间
的第一偏移信息来确定机器人的位置，还可以结合其它第一标识的第一偏移信息来辅助进行机器人的定位，以提升定位结果的准确性。
131.例如，这里，可以从至少一个第一标识中选取预设数量个第一标识；基于预设数量个第一标识的第一偏移信息以及位置信息，确定机器人的第一位置信息；其中，预设数量小于或等于第一标识的总数量，有关其它第一标识来确定机器人的位置的方法参见上述描述，在此不做赘述。
132.需要说明的是，本公开实施例中，在结合多个第一标识来确定机器人的位置时，可以为不同距离的第一标识设置不同的位置权重，例如，对于距离机器人比较近的第一标识，可以设置更大的位置权重，从而进一步提升定位的准确性。
133.可见，本公开实施例可以实现对机器人的单独定位，因此，可以适应于第二摄像头无法工作或者发生丢码等异常情况下的自主定位。
134.在实际应用中，本公开实施例还可以实现辅助定位，这主要是考虑到一旦第二摄像头摄取到相应的标识码，其所具备的图像精度是较高的，进而所确定的机器人位置也可以是更为准确的。
135.如图1所示，本公开实施例中的机器人上包括第二摄像头104，该第二摄像头104可以拍摄包括一个第二标识的第二图像，处理器103则可以根据包括一个第二标识的第二图像以及一个第二标识的位置信息，确定机器人的第二位置信息；并根据机器人的第一位置信息以及机器人的第二位置信息，确定机器人的第三位置信息。
136.需要说明的是，这里，在基于第一位置信息和第二位置信息来确定机器人最终的第三位置信息的时候，可以基于上述第一位置信息和第二位置信息所确定的置信度为不同的定位结果确定不同的权重，从而提升定位的准确性。
137.其中，上述第二摄像头104可以是安装于机器人底部，正向下拍摄，摄像头的拍摄方向与地面垂直，这样，拍摄到的第二图像中可以是包括一个第二标识(如图3所示)，与第一标识相似的是，该第二标识也可以是在机器人行进的过程中的标识码，与第一标识不同的是，第二标识设置在机器人下被第二摄像头104拍摄到的标识码。
138.需要说明的是，为了便于区分第一摄像头102的定位功能以及第二摄像头104的定位功能，本公开实施例对标识码进行了功能上的区分，也即，将能够用于进行第一摄像头102识别的标识码作为第一标识，将能够用于进行第二摄像头104识别的标识码作为第二标识。在实际应用中，上述第一标识和第二标识可以是完全一致的标识码。
139.在获取到上述第二图像之后，本公开实施例中的处理器103可以根据该第二图像，确定机器人相对第二图像中的第二标识的第二偏移信息，基于这二偏移信息以及第二标识的位置信息即可以实现对机器人的定位。
140.其中，上述第二偏移信息可以表征的是机器人与第二标识之间的相对位置信息，这样，在确定第二标识的实际地理位置之后，可以基于该实际地理位置以及上述相对位置信息，确定机器人的实际地理位置。
141.本公开实施例中，第二偏移信息可以包括第二偏移距离和第二偏移角度。与上述第一偏移距离类似的是，第二偏移距离也可以包括两个方向上的偏移距离，具体参照上述描述，在此不再赘述。
142.同理，本公开实施例中，第二偏移距离可以是基于图像坐标系下的机器人相对该
第二标识的第二图像偏移距离所确定的，第二偏移角度可以是基于第二标识的边缘拟合结果所确定的。
143.考虑到第二摄像头104与第一摄像头102所对应拍摄角度的不同，所摄取到的第二图像与第一图像的属性也不同，这里，可以按照如下方法确定第二偏移距离。
144.本公开实施例首先可以根据第二图像，确定第二标识的中心点在第二图像中的图像位置信息，而后即可以基于图像位置信息以及第二图像的中心位置信息，确定在图像坐标系下机器人相对第二标识的第二图像偏移距离，这样，利用图像坐标系与物体坐标系之间的转换关系，即可以将第二图像偏移距离转换为在世界坐标系下机器人相对第二标识的第二偏移距离。
145.其中，为了准确的确定第二标识的中心点在第二图像中的图像位置信息，本公开实施例首先可以对第二图像进行边缘拟合，确定与第二标识对应的多条拟合直线；而后可以判断多条拟合直线中的两条拟合直线之间的夹角等于预设角度，则将该两条拟合直线的交点确定为与第二标识对应的角点，然后根据各个角点在第二图像中的图像位置信息，确定第二标识的中心点在第二图像中的图像位置信息。
146.本公开实施例中，上述边缘拟合过程参照上述描述内容，在此不再赘述。这里有关预设角度的设置可以是90度，也即，理论上，标识码黑框相邻的两条边之间的夹角应该是90度，利用这一约束条件，即可以确定标识码黑框所具有的四个角点，将四个角点在第二图像中的图像位置信息求取平均值，即可确定第二标识的中心点在第二图像中的图像位置信息。
147.需要说明的是，有关第二偏移角度与第一偏移角度的确定过程相同，具体可以参照上述有关第一偏移角度的描述，在此不做赘述。
148.本公开实施例中，可以将机器人的第一位置信息确定为机器人的辅助定位信息；以及将机器人的第二位置信息确定为机器人的主要定位信息，这样，即可以基于辅助定位信息对主要定位信息进行校准，从而确定机器人的准确定位信息。
149.在联合上述两种方式进行机器人定位的过程中，为了防止主要定位方式所可能存在的误检等问题，这里，可以先对上述第一偏移信息和第二偏移信息进行融合，以确定机器人相对预设行驶轨迹的偏移信息，进而基于该偏移信息实现机器人的定位。
150.在具体应用中，可以采用多种融合方法实现上述第一偏移信息和第二偏移信息的融合操作，例如，可以采用加权平均方法，还可以采用卡尔曼滤波方法，还可以基于贝叶斯估计法、d-s证据推理方法等实现信息融合。
151.一方面，本公开实施例可以基于卡尔曼滤波器将第一偏移信息和第二偏移信息进行融合，确定融合后的偏移信息，以将融合后的偏移信息作为上述机器人相对预设行驶轨迹的偏移信息。
152.其中，第一摄像头102和第二摄像头104可以分别对应两个子滤波器，利用子滤波器的观测方程即可以执行相应的滤波算法。
153.另一方面，本公开实施例可以分别确定与第一偏移信息和第二偏移信息对应的第一权重和第二权重，而后将第一权重与第一偏移信息进行乘法运算，得到第一运算结果，以及将第二权重与第二偏移信息进行乘法运算，得到第二运算结果，最后将上述第一运算结果和第二运算结果进行求和运算，即可得到求和结果，基于这一求和结果可以确定上述机
器人相对预设行驶轨迹的偏移信息。
154.在实际应用中，本公开实施例在进行机器人定位的过程中，可以自动进行主要定位模式与辅助定位模式的切换操作。若在第一摄像头102定位期间，第二摄像头104出现图像信息，则可以恢复第一摄像头102至辅助定位模式。若切换到第一摄像头102定位后，没有恢复第一摄像头102的辅助定位，则需要在机器人空闲时，查看问题，避免因丢码导致搬运任务失败。当机器人切换到第一摄像头102的主要定位模式时，可以给机器人的主控上传信息，完成搬运任务。
155.本领域技术人员可以理解，在具体实施方式的上述方法中，各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定，各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
156.基于同一发明构思，本公开实施例中还提供了与机器人对应的机器人的定位方法，由于本公开实施例中的方法解决问题的原理与本公开实施例上述机器人相似，因此方法的实施可以参见方法的实施，重复之处不再赘述。
157.本公开实施例提供的一种机器人的定位方法，包括：
158.获取机器人的第一摄像头拍摄的包括至少一个第一标识的第一图像；第一摄像头的拍摄方向为斜下方；
159.根据获取的包括至少一个第一标识的第一图像，以及第一摄像头的拍摄方向相对机器人的行走方向的方向角度，确定机器人相对至少一个第一标识的第一偏移信息，第一偏移信息包括第一偏移距离和第一偏移角度；
160.基于第一偏移信息以及至少一个第一标识的位置信息，确定机器人的第一位置信息。
161.在一种实施方式中，第一摄像头设置在机器人的正面，且拍摄方向为斜下方，第一摄像头的拍摄方向相对机器人的行走方向的方向角度为锐角；
162.根据获取的包括至少一个第一标识的第一图像，以及第一摄像头的拍摄方向相对机器人的行走方向的方向角度，确定机器人相对至少一个第一标识的第一偏移信息，包括：
163.基于方向角度，将获取的包括至少一个第一标识的第一图像映射至机器人的行走方向，得到映射后的第一图像；
164.根据映射后的第一图像，确定机器人相对至少一个第一标识的第一偏移信息。
165.在一种实施方式中，根据映射后的第一图像，确定机器人相对至少一个第一标识的第一偏移信息，包括：
166.针对至少一个第一标识中的每个第一标识，确定该第一标识在映射后的第一图像中的图像位置信息，并基于图像位置信息以及第一图像下边沿的中心位置信息，确定在图像坐标系下机器人相对该第一标识的第一图像偏移距离；
167.基于第一图像偏移距离、以及图像坐标系和世界坐标系之间的转换关系，确定在世界坐标系下机器人相对该第一标识的第一偏移距离。
168.在一种实施方式中，根据映射后的第一图像，确定机器人相对至少一个第一标识的第一偏移信息，包括：
169.根据映射后的第一图像对至少一个第一标识进行边缘拟合，确定至少一个第一标识在映射后的第一图像中的位姿信息；
170.基于位姿信息，确定至少一个第一标识相对机器人的行走方向的夹角；
171.基于确定的至少一个第一标识相对机器人的行走方向的夹角，确定机器人相对至少一个第一标识的第一偏移角度。
172.在一种实施方式中，基于第一偏移信息以及至少一个第一标识的位置信息，确定机器人的第一位置信息，包括：
173.从至少一个第一标识中查找与机器人之间的第一偏移距离最小的第一目标标识；基于第一偏移距离最小的第一目标标识对应的第一偏移信息以及位置信息，确定机器人的第一位置信息；
174.或者，
175.从至少一个第一标识中选取预设数量个第一标识；基于预设数量个第一标识的第一偏移信息以及位置信息，确定机器人的第一位置信息；其中，预设数量小于或等于第一标识的总数量。
176.在一种实施方式中，在确定机器人的第一位置信息之后，方法还包括：
177.获取机器人的第二摄像头拍摄的包括一个第二标识的第二图像；
178.根据获取到的包括一个第二标识的第二图像以及一个第二标识的位置信息，确定机器人的第二位置信息；
179.根据机器人的第一位置信息以及机器人的第二位置信息，确定机器人的第三位置信息。
180.在一种实施方式中，第二摄像头设置在机器人的底部，且拍摄方向为正下方；根据获取到的包括一个第二标识的第二图像以及一个第二标识的位置信息，确定机器人的第二位置信息，包括：
181.根据获取到的包括一个第二标识的第二图像，确定机器人相对第二标识的第二偏移信息；第二偏移信息包括第二偏移距离和第二偏移角度；
182.基于第二偏移信息以及一个第二标识的位置信息，确定机器人的第二位置信息。
183.在一种实施方式中，根据机器人的第一位置信息以及机器人的第二位置信息，确定机器人的第三位置信息，包括：
184.将机器人的第一位置信息确定为机器人的辅助定位信息；以及将机器人的第二位置信息确定为机器人的主要定位信息；
185.基于辅助定位信息对主要定位信息进行校准，确定机器人的第三位置信息。
186.在一种实施方式中，按照如下步骤确定机器人的第三位置信息：：
187.基于第一偏移信息和第二偏移信息，确定机器人相对预设行驶轨迹的偏移信息；
188.基于确定的偏移信息、至少一个第一标识的位置信息、以及一个第二标识的位置信息，确定机器人的第三位置信息。
189.在一种实施方式中，基于第一偏移信息和第二偏移信息，确定机器人相对预设行驶轨迹的偏移信息，包括：
190.通过卡尔曼滤波器将第一偏移信息和第二偏移信息进行融合，确定融合后的偏移信息；
191.将融合后的偏移信息，确定为机器人相对预设行驶轨迹的偏移信息。
192.在一种实施方式中，基于第一偏移信息和第二偏移信息，确定机器人相对预设行
驶轨迹的偏移信息，包括：
193.分别确定与第一偏移信息和第二偏移信息对应的第一权重和第二权重；
194.将第一权重与第一偏移信息进行乘法运算，得到第一运算结果，以及将第二权重与第二偏移信息进行乘法运算，得到第二运算结果；
195.将第一运算结果和第二运算结果进行求和运算，得到求和结果；
196.基于求和结果，确定机器人相对预设行驶轨迹的偏移信息。
197.在一种实施方式中，根据获取到的包括一个第二标识的第二图像，确定机器人相对第二标识的第二偏移信息，包括：
198.根据获取到的包括一个第二标识的第二图像，确定第二标识的中心点在第二图像中的图像位置信息，并基于图像位置信息以及第二图像的中心位置信息，确定在图像坐标系下机器人相对第二标识的第二图像偏移距离；
199.基于第二图像偏移距离、以及图像坐标系和世界坐标系之间的转换关系，确定在世界坐标系下机器人相对第二标识的第二偏移距离。
200.在一种实施方式中，按照如下步骤确定第二标识的中心点在第二图像中的图像位置信息：
201.对第二图像进行边缘拟合，确定与第二标识对应的多条拟合直线；
202.若多条拟合直线中的两条拟合直线之间的夹角等于预设角度，则将该两条拟合直线的交点确定为与第二标识对应的角点；
203.根据各个角点在第二图像中的图像位置信息，确定第二标识的中心点在第二图像中的图像位置信息。
204.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。在本公开所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
205.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
206.另外，在本公开各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
207.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台电子设备(可以是个人计算机，服务器，或者网络设备等)执行本公开各个实施例所述
方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
208.最后应说明的是：以上所述实施例，仅为本公开的具体实施方式，用以说明本公开的技术方案，而非对其限制，本公开的保护范围并不局限于此，尽管参照前述实施例对本公开进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本公开揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本公开实施例技术方案的精神和范围，都应涵盖在本公开的保护范围之内。因此，本公开的保护范围应所述以权利要求的保护范围为准。