相机标定和相机的目标检测与定位方法、装置及电子设备与流程

1.本技术涉及智能视频监控技术领域，特别涉及一种相机标定和相机的目标检测与定位方法、装置及电子设备。


背景技术：

2.随着社会的进步和发展，摄像装置的应用越来越广泛，目前，很多场景或区域利用大批量的摄像装置对场景或区域进行监控，然后通过调取摄像装置采集的图像，利用计算机视觉相关技术，对场景内的移动目标进行检测跟踪等。
3.对摄像装置进行标定是获取准确测量结果所采用的常规方法。在实际应用中，在摄像装置的参数未经标定的情况下，无法得到目标在实际环境中的真实运动轨迹，进而会导致目标跟踪失败，导致可控性降低，因此对摄像装置进行标定是非常必要的。目前监控场景中单目相机摄像装置应用最为广泛，但是对于摄像装置标定方法需要人工操作，需要耗费大量的人力成本和时间成本。
4.相关技术通过机器人搭载标定板在室内进行slam，同时待标定相机进行拍摄，检测标定板，利用多帧图片，根据张正友标定算法进行相机内参标定，根据icp或pnp算法求解相机外参，从而完成相机内外参的标定。
5.然而，相关技术中内参标定通常需要标定板占据图像的大部分区域，从而获得较高的标定精度，而在实际监控场景中，机器人搭载的标定板距离相机较远，拍摄出的图像中标定板只有比较小的区域，因此计算出的相机内参精度会降低，而外参的求解依赖于内参，从而造成误差的累积，且仅应用于室内场景，有局限性。


技术实现要素：

6.本技术提供一种相机标定和相机的目标检测与定位方法、装置及电子设备，以解决相关技术中机器人搭载的标定板距离相机较远，拍摄出的图像中标定板的区域小，导致计算出的相机内参精度低，且仅应用于室内场景，有一定的局限性等问题。
7.本技术第一方面实施例提供一种相机标定方法，包括以下步骤：获取一个或多个相机采集目标设备的图像坐标与时间戳的第一集合，并获取所述目标设备采集的设备本身在三维地图中的位置与时间戳的第二集合；识别任意时间戳下与所述第一集合中图像坐标集合对应的所述第二集合中的世界坐标集合，根据所述图像坐标集合和所述世界坐标集合计算每个相机的图像坐标与世界坐标之间的坐标转换矩阵；利用所述坐标转换矩阵确定所述目标设备在所述世界坐标系和图像坐标系之间的位置映射关系，利用所述位置映射关系标定对应相机的参数，得到相机标定结果。
8.根据上述技术手段，本技术实施例可以当检测到相机采集目标设备移动时，记录其检测框下边缘中点图像坐标以及时间戳的集合，同时获取相同时间戳内的移动设备世界坐标的集合，根据图像坐标集合与对应的世界坐标集合，计算每个相机的图像坐标与世界坐标的坐标转换矩阵，并进行优化，得到待标定相机的坐标转换矩阵，从而完成对相机的标
定，既可以应用于室内场景，也可应用于室外的交通场景，并通过对坐标转换矩阵进行优化，降低了相机标定的误差。
9.可选地，在本技术的一个实施例中，在利用所述坐标转换矩阵确定所述目标设备在所述世界坐标系和图像坐标系之间的位置映射关系之前，还包括：将图像坐标集合中图像划分为多个区域，且每个区域内包含预设数量的已知图像坐标点；计算所述预设数量的已知图像坐标点的一个或多个聚类中心，并将每个聚类中心作为预设多边形的顶点，去除所述顶点中的预设离群点，利用剩余顶点组成的多边形将所述图像坐标集合中图像划分为多个新区域；根据每个新区域计算坐标转换矩阵，基于所述坐标转换矩阵确定该区域中所述世界坐标系和图像坐标系之间的位置映射关系。
10.根据上述技术手段，本技术实施例可以将图像划分为多个区域，每个区域内包含一定数量的已知图像坐标点，计算出已知图像坐标点的聚类中心并记录坐标，作为预设多边形的顶点，并去除顶点中的离群点，计算每个区域相应的坐标转换矩阵，用来表征该区域的图像坐标和世界坐标的映射关系，使得相机存在畸变的情况下，通过进行优化，减少计算误差，提高了相机标定结果的准确度。
11.本技术第二方面实施例提供一种相机的目标检测与定位方法，包括以下步骤：采集目标区域的图像；提取所述图像内一个或多个目标的检测框，并识别所述检测框下边缘中点的图像坐标；利用所述检测框检测所述图像内的目标，并根据所述检测框在所述图像中的位置匹配坐标转换矩阵，利用所述坐标转换矩阵计算所述图像坐标对应的世界坐标，基于所述世界坐标定位所述目标的实际位置。
12.根据上述技术手段，本技术实施可以提取图像内的多目标的检测框，根据多目标的检测框下边缘中点的图像坐标，判断检测框在图像中的位置，并选择相应的坐标转换矩阵计算得到目标的世界坐标，实现对图像内目标的准确定位，进一步提高了相机标定结果的准确度。
13.可选地，在本技术的一个实施例中，在根据所述检测框在所述图像中的位置匹配坐标转换矩阵之前，还包括：获取一个或多个相机采集目标设备的图像坐标与时间戳的第一集合，并获取所述目标设备采集的设备本身在三维地图中的位置与时间戳的第二集合；识别任意时间戳下与所述第一集合中图像坐标集合对应的所述第二集合中的世界坐标集合，根据所述图像坐标集合和所述世界坐标集合计算每个相机的图像坐标与世界坐标之间的坐标转换矩阵；利用所述坐标转换矩阵确定所述目标设备在所述世界坐标系和图像坐标系之间的位置映射关系，利用所述位置映射关系标定对应相机的参数，得到相机标定结果。
14.根据上述技术手段，本技术实施例可以本技术实施例可以当检测到相机采集目标设备移动时，记录其检测框下边缘中点图像坐标以及时间戳的集合，同时获取相同时间戳内的移动设备世界坐标的集合，根据图像坐标集合与对应的世界坐标集合，计算每个相机的图像坐标与世界坐标的坐标转换矩阵，并进行优化，得到待标定相机的坐标转换矩阵，从而完成对批量单相机进行标定，既可以应用于室内场景，也可应用于室外的交通场景，并通过对坐标转换矩阵进行优化，降低了相机标定的误差。
15.可选地，在本技术的一个实施例中，在利用所述坐标转换矩阵确定所述目标设备在所述世界坐标系和图像坐标系之间的位置映射关系之前，还包括：将图像坐标集合中图像划分为多个区域，且每个区域内包含预设数量的已知图像坐标点；计算所述预设数量的
已知图像坐标点的一个或多个聚类中心，并将每个聚类中心作为预设多边形的顶点，去除所述顶点中的预设离群点，利用剩余顶点组成的多边形将所述图像坐标集合中图像划分为多个新区域；根据每个新区域计算坐标转换矩阵，基于所述坐标转换矩阵确定该区域中所述世界坐标系和图像坐标系之间的位置映射关系。
16.根据上述技术手段，本技术实施例可以将图像划分为多个区域，每个区域内包含一定数量的已知图像坐标点，计算出已知图像坐标点的聚类中心并记录坐标，作为预设多边形的顶点，并去除顶点中的离群点，计算每个区域相应的坐标转换矩阵，用来表征该区域的图像坐标和世界坐标的映射关系，使得相机存在畸变的情况下，通过进行优化，减少计算误差，提高了相机标定结果的准确度。
17.本技术第三方面实施例提供一种相机标定装置，包括：第一获取模块，用于获取一个或多个相机采集目标设备的图像坐标与时间戳的第一集合，并获取所述目标设备采集的设备本身在三维地图中的位置与时间戳的第二集合；第一识别模块，用于识别任意时间戳下与所述第一集合中图像坐标集合对应的所述第二集合中的世界坐标集合，根据所述图像坐标集合和所述世界坐标集合计算每个相机的图像坐标与世界坐标之间的坐标转换矩阵；第一标定模块，用于利用所述坐标转换矩阵确定所述目标设备在所述世界坐标系和图像坐标系之间的位置映射关系，利用所述位置映射关系标定对应相机的参数，得到相机标定结果。
18.可选地，在本技术的一个实施例中，还包括：第一划分模块，用于在利用所述坐标转换矩阵确定所述目标设备在所述世界坐标系和图像坐标系之间的位置映射关系之前，将图像坐标集合中图像划分为多个区域，且每个区域内包含预设数量的已知图像坐标点；第一计算模块，用于计算所述预设数量的已知图像坐标点的一个或多个聚类中心，并将每个聚类中心作为预设多边形的顶点，去除所述顶点中的预设离群点，利用剩余顶点组成的多边形将所述图像坐标集合中图像划分为多个新区域；第一确定模块，用于根据每个新区域计算坐标转换矩阵，基于所述坐标转换矩阵确定该区域中所述世界坐标系和图像坐标系之间的位置映射关系。
19.本技术第四方面实施例提供一种相机的目标检测与定位装置，包括：采集模块，用于采集目标区域的图像；提取模块，用于提取所述图像内一个或多个目标的检测框，并识别所述检测框下边缘中点的图像坐标；定位模块，用于用所述检测框检测所述图像内的目标，并根据所述检测框在所述图像中的位置匹配坐标转换矩阵，利用所述坐标转换矩阵计算所述图像坐标对应的世界坐标，基于所述世界坐标定位所述目标的实际位置。
20.可选地，在本技术的一个实施例中，还包括：第二获取模块，用于在根据所述检测框在所述图像中的位置匹配坐标转换矩阵之前，获取一个或多个相机采集目标设备的图像坐标与时间戳的第一集合，并获取所述目标设备采集的设备本身在三维地图中的位置与时间戳的第二集合；第二识别模块，用于识别任意时间戳下与所述第一集合中图像坐标集合对应的所述第二集合中的世界坐标集合，根据所述图像坐标集合和所述世界坐标集合计算每个相机的图像坐标与世界坐标之间的坐标转换矩阵；第二标定模块，用于利用所述坐标转换矩阵确定所述目标设备在所述世界坐标系和图像坐标系之间的位置映射关系，利用所述位置映射关系标定对应相机的参数，得到相机标定结果。
21.可选地，在本技术的一个实施例中，还包括：第二划分模块，用于在利用所述坐标
转换矩阵确定所述目标设备在所述世界坐标系和图像坐标系之间的位置映射关系之前，将图像坐标集合中图像划分为多个区域，且每个区域内包含预设数量的已知图像坐标点；第二计算模块，用于计算所述预设数量的已知图像坐标点的一个或多个聚类中心，并将每个聚类中心作为预设多边形的顶点，去除所述顶点中的预设离群点，利用剩余顶点组成的多边形将所述图像坐标集合中图像划分为多个新区域；第二确定模块，用于根据每个新区域计算坐标转换矩阵，基于所述坐标转换矩阵确定该区域中所述世界坐标系和图像坐标系之间的位置映射关系。
22.本技术第五方面实施例提供一种电子设备，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的相机标定方法。
23.本技术第六方面实施例提供一种相机，包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序，以实现如上述实施例所述的目标检测与定位方法。
24.本技术第七方面实施例提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行，以用于实现如上述实施例所述的相机标定方法或者相机的目标检测与定位方法。
25.由此，本技术至少具有如下有益效果：
26.1、本技术实施例可以当检测到相机采集目标设备移动时，记录其检测框下边缘中点图像坐标以及时间戳的集合，同时获取相同时间戳内的移动设备世界坐标的集合，根据图像坐标集合与对应的世界坐标集合，计算每个相机的图像坐标与世界坐标的坐标转换矩阵，并进行优化，得到待标定相机的坐标转换矩阵，从而完成相机的标定，既可以应用于室内场景，也可应用于室外的交通场景，并通过对坐标转换矩阵进行优化，降低了相机标定的误差。
27.2、本技术实施例可以将图像划分为多个区域，每个区域内包含一定数量的已知图像坐标点，然后计算出已知图像坐标点的聚类中心并记录坐标，并作为预设多边形的顶点，去除顶点中的离群点，计算每个区域相应的坐标转换矩阵，用来表征该区域的图像坐标和世界坐标的映射关系，使得相机存在畸变的情况下，通过进行优化，减少计算误差，提高了相机标定结果的准确度。
28.3、本技术实施可以提取图像内的多目标的检测框，根据多目标的检测框下边缘中点的图像坐标，判断检测框在图像中的位置，并选择相应的坐标转换矩阵计算得到目标的世界坐标，实现对图像内目标的准确定位，进一步提高了相机标定结果的准确度。
29.4、本技术实施例可以当检测到相机采集目标设备移动时，记录其检测框下边缘中点图像坐标以及时间戳的集合，同时获取相同时间戳内的移动设备世界坐标的集合，根据图像坐标集合与对应的世界坐标集合，计算每个相机的图像坐标与世界坐标的坐标转换矩阵，并进行优化，得到待标定相机的坐标转换矩阵，从而完成对批量单相机进行标定，既可以应用于室内场景，也可应用于室外的交通场景，并通过对坐标转换矩阵进行优化，降低了相机标定的误差。
30.5、本技术实施例可以将图像划分为多个区域，每个区域内包含一定数量的已知图像坐标点，然后计算出已知图像坐标点的聚类中心并记录坐标，并作为预设多边形的顶点，
去除顶点中的离群点，计算每个区域相应的坐标转换矩阵，用来表征该区域的图像坐标和世界坐标的映射关系，使得相机存在畸变的情况下，通过进行优化，减少计算误差，提高了相机标定结果的准确度。
31.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
32.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
33.图1为根据本技术实施例提供的一种相机标定方法的流程图；
34.图2为根据本技术实施例提供的坐标变换矩阵计算示意图；
35.图3为根据本技术实施例提供的voronoi diagram的示例图；
36.图4为根据本技术实施例提供的定位与检测方法组成图；
37.图5为根据本技术实施例提供的一种相机的目标检测与定位方法的流程图；
38.图6为据本技术实施例提供的一种相机标定装置的方框示意图；
39.图7为据本技术实施例提供的一种相机的目标检测与定位装置的方框示意图；
40.图8为据本技术实施例提供电子设备的结构示意图；
41.图9根据本技术实施例提供的相机的结构示意图。
42.附图标记说明：第一获取模块-100、第一识别模块-200、第一标定模块-300、采集模块-400、提取模块-500、定位模块-600、存储器-801、处理器-802、通信接口-803、存储器-901、处理器-902、通信接口-903。
具体实施方式
43.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
44.下面参考附图描述本技术实施例的相机标定和相机的目标检测与定位方法、装置及电子设备。针对上述背景技术中提到的问题，本技术提供了一种相机标定方法，在该方法中，当检测到相机采集目标设备移动时，记录其检测框下边缘中点图像坐标以及时间戳的集合，同时获取相同时间戳内的移动设备世界坐标的集合，根据图像坐标集合与对应的世界坐标集合，计算每个相机的图像坐标与世界坐标的坐标转换矩阵，并进行优化，得到待标定相机的坐标转换矩阵，从而完成对相机的标定，既可以应用于室内场景，也可应用于室外的交通场景，并通过对坐标转换矩阵进行优化，降低了相机标定的误差。由此，解决了相关技术中机器人搭载的标定板距离相机较远，拍摄出的图像中标定板的区域小，导致计算出的相机内参精度低，且仅应用于室内场景，有一定的局限性等问题。
45.具体而言，图1为本技术实施例所提供的一种相机标定方法的流程示意图。
46.如图1所示，该相机标定方法包括以下步骤：
47.在步骤s101中，获取一个或多个相机采集目标设备的图像坐标与时间戳的第一集合，并获取目标设备采集的设备本身在三维地图中的位置与时间戳的第二集合。
48.可以理解的是，本技术实施例可以在场景中部署有多台待标定相机，所有相机与标定设备(机器人或汽车)的时间戳预先完成同步。将所有待标定相机内都提前部署好能够检测到目标设备(机器人或车辆)的目标检测算法，当检测到目标设备时，记录其检测框下边缘中点图像坐标以及时间戳的集合。同时可以控制搭载特殊标识的用于自动标定的设备(机器人/车辆)在场景内移动，并利用其搭载传感器采集的数据进行场景三维地图构建，并获取该移动设备在三维地图中的位置及时间戳集合，具体流程如图2所示。
49.在实际执行过程中，本技术实施例可以利用同时定位与地图构建技术(simultaneous localization and mapping，slam)构建场景三维地图，可以理解为一个场景三维模型。并且同时获得了机器人/车辆在场景三维地图中的位置，slam算法根据应用的传感器不同可以有不同选择，例如，一种利用激光雷达进行slam的可选算法为loam(lidar odometry and mapping in real-time)，一种利用视觉相机进行slam的可选算法为orb-slam2，还可以选择应用多传感器融合进行slam(例如：应用激光雷达、视觉以及imu的v-loam算法)，对此，可以根据实际情况而定，不做具体限定。
50.在步骤s102中，识别任意时间戳下与第一集合中图像坐标集合对应的第二集合中的世界坐标集合，根据图像坐标集合和世界坐标集合计算每个相机的图像坐标与世界坐标之间的坐标转换矩阵。
51.在实际应用中，通常需要跟踪的目标是在地面上移动，例如室外场景的人、车等，室内场景的行人等，对于这些情况只需要计算目标与地面接触点在地平面上的位置即可，因此本技术实施例可以通过求解图像坐标与世界坐标的坐标转换矩阵来获得。本技术实施例可以根据图像检测到的移动设备时的时间戳集合，对应获取相同时间戳内的移动设备世界坐标的集合，根据图像坐标集合与对应的世界坐标集合，求解每个相机的图像坐标与世界坐标的坐标转换矩阵h(单应性矩阵)。
52.在步骤s103中，利用坐标转换矩阵确定目标设备在世界坐标系和图像坐标系之间的位置映射关系，利用位置映射关系标定对应相机的参数，得到相机标定结果。
53.可以理解的是，本技术实施例可以利用单应性矩阵来描述物体在世界坐标系和像素坐标系之间的位置映射关系，从而完成对相机的标定，既可以应用于室内场景，也可应用于室外的交通场景，位置映射关系的定义为：
[0054][0055]
其中，m是相机内参，r和t相机外参。
[0056]
像素坐标系和世界坐标系下的坐标映射关系：
[0057][0058]
其中，s表示尺度因子，u、v表示像素坐标系中的坐标，xw、yw表示世界坐标系中的坐标。
[0059]
需要说明的是，本技术实施例的多台待标定相机可以有重叠的可视区域，也可以完全没有重叠区域。
[0060]
在本技术的一个实施例中，在利用坐标转换矩阵确定目标设备在世界坐标系和图像坐标系之间的位置映射关系之前，还包括：将图像坐标集合中图像划分为多个区域，且每个区域内包含预设数量的已知图像坐标点；计算预设数量的已知图像坐标点的一个或多个聚类中心，并将每个聚类中心作为预设多边形的顶点，去除顶点中的预设离群点，利用剩余顶点组成的多边形将图像坐标集合中图像划分为多个新区域；根据每个新区域计算坐标转换矩阵，基于坐标转换矩阵确定该区域中世界坐标系和图像坐标系之间的位置映射关系。
[0061]
由于相机存在畸变，如果使用所有的世界坐标-图像坐标集合计算出的单应性矩阵会误差较大，因此需要进行优化。本技术实施例可以利用voronoi diagram的方法将图像划分为n个区域，每个区域内包含一定数量m(m》＝4)的已知图像坐标点，然后计算出这m个点的聚类中心并记录坐标，并将这些聚类中心作为voronoi diagram的顶点来计算voronoi diagram，如图3所示，顶点数为6。
[0062]
进一步地，本技术实施例可以利用ransanc(random sample consensus，随机抽样一致算法)去除离群点，每个区域单独计算出一个单应性矩阵，用来表征该区域的图像坐标和世界坐标的映射关系，使得相机存在畸变的情况下，通过进行优化，减少计算误差，提高了相机标定结果的准确度。
[0063]
根据本技术实施例提出的相机标定方法，当检测到相机采集目标设备移动时，记录其检测框下边缘中点图像坐标以及时间戳的集合，同时获取相同时间戳内的移动设备世界坐标的集合，根据图像坐标集合与对应的世界坐标集合，计算每个相机的图像坐标与世界坐标的坐标转换矩阵，并进行优化，得到待标定相机的坐标转换矩阵，从而完成对批量单相机进行标定，既可以应用于室内场景，也可应用于室外的交通场景，并通过对坐标转换矩阵进行优化，降低了相机标定的误差。由此，解决了相关技术中机器人搭载的标定板距离相机较远，拍摄出的图像中标定板的区域小，导致计算出的相机内参精度低，且仅应用于室内场景，有一定的局限性等问题。
[0064]
本技术还提出了一种目标检测与定位方法，主要是由三个部分组成，如图4所示，计算坐标变换矩阵主要该功能为：计算单应性矩阵；利用voronoi diagram进行优化，得到待标定相机的坐标转换矩阵。多目标检测的主要功能为：利用多目标检测算法，提取图像内的多目标的检测框。多目标定位的主要功能为：根据多目标的检测框下边缘中点的图像坐标，判断其位于voronoi diagram中的哪个区域，选择对应的单应性矩阵计算得到该目标的世界坐标。
[0065]
具体而言，如图5所示，该相机的目标检测与定位方法包括以下步骤：
[0066]
在步骤s501中，采集目标区域的图像。
[0067]
本技术实施例可以使用激光雷达、相机以及惯性测量单元采集目标区域的图像，以便完成对目标的检测和定位。
[0068]
在步骤s502中，提取图像内一个或多个目标的检测框，并识别检测框下边缘中点的图像坐标。
[0069]
可以理解的是，本技术实施例可以利用多目标检测以及跟踪算法(采用基于深度学习的相关算法，一种可选的检测算法为yolov3算法，一种可选的多目标检测算法为fairmot算法)，提取图像内的多目标的检测框，并识别检测框下边缘中点的图像坐标，对于室内场景，需要定位的目标通常是行人，对于室外的交通场景，需要定位的目标通常是车
辆。
[0070]
在步骤s503中，利用检测框检测图像内的目标，并根据检测框在图像中的位置匹配坐标转换矩阵，利用坐标转换矩阵计算图像坐标对应的世界坐标，基于世界坐标定位目标的实际位置。
[0071]
本技术实施例可以根据多目标的检测框下边缘中点的图像坐标，判断检测框在图像中的位置，并选择相应的坐标转换矩阵计算得到目标的世界坐标，实现对图像内目标的准确定位，进一步提高了相机标定结果的准确度。
[0072]
需要说明的是，本技术实施例对于室内场景，需要定位的目标通常是行人，用于自动标定的设备可以是搭载有特殊标识及传感器的地面移动机器人；对于室外的交通场景，需要定位的目标通常是车辆，用于自动标定的设备可以是搭载有特殊标识及传感器的汽车。
[0073]
在本技术的一个实施例中，在根据检测框在图像中的位置匹配坐标转换矩阵之前，还包括：获取一个或多个相机采集目标设备的图像坐标与时间戳的第一集合，并获取目标设备采集的设备本身在三维地图中的位置与时间戳的第二集合；识别任意时间戳下与第一集合中图像坐标集合对应的第二集合中的世界坐标集合，根据图像坐标集合和世界坐标集合计算每个相机的图像坐标与世界坐标之间的坐标转换矩阵；利用坐标转换矩阵确定目标设备在世界坐标系和图像坐标系之间的位置映射关系，利用位置映射关系标定对应相机的参数，得到相机标定结果。
[0074]
本技术实施例的利用位置映射关系标定对应相机的参数，得到相机标定结果，可以参考上述相机定标定方法的步骤s101、s102和s103，为避免冗余，此处不再赘述。
[0075]
在本技术的一个实施例中，在利用坐标转换矩阵确定目标设备在世界坐标系和图像坐标系之间的位置映射关系之前，还包括：将图像坐标集合中图像划分为多个区域，且每个区域内包含预设数量的已知图像坐标点；计算预设数量的已知图像坐标点的一个或多个聚类中心，并将每个聚类中心作为预设多边形的顶点，去除顶点中的预设离群点，利用剩余顶点组成的多边形将图像坐标集合中图像划分为多个新区域；根据每个新区域计算坐标转换矩阵，基于坐标转换矩阵确定该区域中世界坐标系和图像坐标系之间的位置映射关系。
[0076]
需要说明的是，上述相机标定方法中确定该区域中世界坐标系和图像坐标系之间的位置映射关系同样适用于本技术实施例，此处不再进行赘述。
[0077]
根据本技术实施例提出的相机的目标检测与定位方法，通过提取图像内的多目标的检测框，根据多目标的检测框下边缘中点的图像坐标，判断检测框在图像中的位置，并选择相应的坐标转换矩阵计算得到目标的世界坐标，实现对图像内目标的准确定位，进一步提高了相机标定结果的准确度。由此，解决了相关技术中机器人搭载的标定板距离相机较远，拍摄出的图像中标定板的区域小，导致计算出的相机内参精度低，且仅应用于室内场景，有一定的局限性等问题。
[0078]
其次参照附图描述根据本技术实施例提出的一种相机标定装置。
[0079]
图6是本技术实施例的相机标定装置的方框示意图。
[0080]
如图6所示，该相机标定装置10包括：第一获取模块100、第一识别模块200和第一标定模块300。
[0081]
其中，第一获取模块100，用于获取一个或多个相机采集目标设备的图像坐标与时
间戳的第一集合，并获取目标设备采集的设备本身在三维地图中的位置与时间戳的第二集合；第一识别模块200，用于识别任意时间戳下与第一集合中图像坐标集合对应的第二集合中的世界坐标集合，根据图像坐标集合和世界坐标集合计算每个相机的图像坐标与世界坐标之间的坐标转换矩阵；第一标定模块300，用于利用坐标转换矩阵确定目标设备在世界坐标系和图像坐标系之间的位置映射关系，利用位置映射关系标定对应相机的参数，得到相机标定结果。
[0082]
在本技术的一个实施例中，本技术实施例的装置10还包括：第一划分模块、第一计算模块和第一确定模块。
[0083]
其中，第一划分模块，用于在利用坐标转换矩阵确定目标设备在世界坐标系和图像坐标系之间的位置映射关系之前，将图像坐标集合中图像划分为多个区域，且每个区域内包含预设数量的已知图像坐标点；第一计算模块，用于计算预设数量的已知图像坐标点的一个或多个聚类中心，并将每个聚类中心作为预设多边形的顶点，去除顶点中的预设离群点，利用剩余顶点组成的多边形将图像坐标集合中图像划分为多个新区域；第一确定模块，用于根据每个新区域计算坐标转换矩阵，基于坐标转换矩阵确定该区域中世界坐标系和图像坐标系之间的位置映射关系。
[0084]
需要说明的是，前述对相机标定方法实施例的解释说明也适用于该实施例的相机标定装置，此处不再赘述。
[0085]
根据本技术实施例提出的相机标定装置，当检测到相机采集目标设备移动时，记录其检测框下边缘中点图像坐标以及时间戳的集合，同时获取相同时间戳内的移动设备世界坐标的集合，根据图像坐标集合与对应的世界坐标集合，计算每个相机的图像坐标与世界坐标的坐标转换矩阵，并进行优化，得到待标定相机的坐标转换矩阵，从而完成对批量单相机进行标定，既可以应用于室内场景，也可应用于室外的交通场景，并通过对坐标转换矩阵进行优化，降低了相机标定的误差。由此，解决了相关技术中机器人搭载的标定板距离相机较远，拍摄出的图像中标定板的区域小，导致计算出的相机内参精度低，且仅应用于室内场景，有一定的局限性等问题。
[0086]
此外，参照附图描述根据本技术实施例提出的一种相机的目标检测与定位装置。
[0087]
图7是本技术实施例的一种相机的目标检测与定位装置的方框示意图。
[0088]
如图7所示，该相机的目标检测与定位装置20包括：采集模块400、提取模块500和定位模块600。
[0089]
其中，采集模块400，用于采集目标区域的图像；提取模块500，用于提取图像内一个或多个目标的检测框，并识别检测框下边缘中点的图像坐标；定位模块600，用于用检测框检测图像内的目标，并根据检测框在图像中的位置匹配坐标转换矩阵，利用坐标转换矩阵计算图像坐标对应的世界坐标，基于世界坐标定位目标的实际位置。
[0090]
在本技术的一个实施例中，本技术实施例的装置20还包括：第二获取模块、第二识别模块和第二标定模块。
[0091]
其中，第二获取模块，用于在根据检测框在图像中的位置匹配坐标转换矩阵之前，获取一个或多个相机采集目标设备的图像坐标与时间戳的第一集合，并获取目标设备采集的设备本身在三维地图中的位置与时间戳的第二集合；第二识别模块，用于识别任意时间戳下与第一集合中图像坐标集合对应的第二集合中的世界坐标集合，根据图像坐标集合和
世界坐标集合计算每个相机的图像坐标与世界坐标之间的坐标转换矩阵；第二标定模块，用于利用坐标转换矩阵确定目标设备在世界坐标系和图像坐标系之间的位置映射关系，利用位置映射关系标定对应相机的参数，得到相机标定结果。
[0092]
在本技术的一个实施例中，本技术实施例的装置20还包括：第二划分模块、第二计算模块和第二确定模块。
[0093]
其中，第二划分模块，用于在利用坐标转换矩阵确定目标设备在世界坐标系和图像坐标系之间的位置映射关系之前，将图像坐标集合中图像划分为多个区域，且每个区域内包含预设数量的已知图像坐标点；第二计算模块，用于计算预设数量的已知图像坐标点的一个或多个聚类中心，并将每个聚类中心作为预设多边形的顶点，去除顶点中的预设离群点，利用剩余顶点组成的多边形将图像坐标集合中图像划分为多个新区域；第二确定模块，用于根据每个新区域计算坐标转换矩阵，基于坐标转换矩阵确定该区域中世界坐标系和图像坐标系之间的位置映射关系。
[0094]
需要说明的是，前述对相机的目标检测与定位方法实施例的解释说明也适用于该实施例的相机的目标检测与定位装置，此处不再赘述。
[0095]
根据本技术实施例提出的相机的目标检测与定位装置，通过提取图像内的多目标的检测框，根据多目标的检测框下边缘中点的图像坐标，判断检测框在图像中的位置，并选择相应的坐标转换矩阵计算得到目标的世界坐标，实现对图像内目标的准确定位，进一步提高了相机标定结果的准确度。由此，解决了相关技术中机器人搭载的标定板距离相机较远，拍摄出的图像中标定板的区域小，导致计算出的相机内参精度低，且仅应用于室内场景，有一定的局限性等问题。
[0096]
图8为本技术实施例提供的电子设备的结构示意图。该电子设备可以包括：
[0097]
存储器801、处理器802及存储在存储器801上并可在处理器802上运行的计算机程序。
[0098]
处理器802执行程序时实现上述实施例中提供的相机标定方法。
[0099]
进一步地，电子设备还包括：
[0100]
通信接口803，用于存储器801和处理器802之间的通信。
[0101]
存储器801，用于存放可在处理器802上运行的计算机程序。
[0102]
存储器801可能包含高速ram(random access memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
[0103]
如果存储器801、处理器802和通信接口803独立实现，则通信接口803、存储器801和处理器802可以通过总线相互连接并完成相互间的通信。总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component，外部设备互连)总线或eisa(extended industry standard architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图8中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0104]
可选的，在具体实现上，如果存储器801、处理器802及通信接口803，集成在一块芯片上实现，则存储器801、处理器802及通信接口803可以通过内部接口完成相互间的通信。
[0105]
处理器802可能是一个cpu(central processing unit，中央处理器)，或者是asic(application specific integrated circuit，特定集成电路)，或者是被配置成实施本申
请实施例的一个或多个集成电路。
[0106]
图9为本技术实施例提供的相机的结构示意图。该相机可以包括：
[0107]
存储器901、处理器902及存储在存储器901上并可在处理器902上运行的计算机程序。
[0108]
处理器902执行程序时实现上述实施例中提供的相机的目标检测与定位方法。
[0109]
进一步地，相机还包括：
[0110]
通信接口903，用于存储器901和处理器902之间的通信。
[0111]
存储器901，用于存放可在处理器902上运行的计算机程序。
[0112]
存储器901可能包含高速ram(random access memory，随机存取存储器)存储器，也可能还包括非易失性存储器，例如至少一个磁盘存储器。
[0113]
如果存储器901、处理器902和通信接口903独立实现，则通信接口903、存储器901和处理器902可以通过总线相互连接并完成相互间的通信。总线可以是isa(industry standard architecture，工业标准体系结构)总线、pci(peripheral component，外部设备互连)总线或eisa(extended industry standard architecture，扩展工业标准体系结构)总线等。总线可以分为地址总线、数据总线、控制总线等。为便于表示，图9中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
[0114]
可选的，在具体实现上，如果存储器901、处理器902及通信接口903，集成在一块芯片上实现，则存储器901、处理器902及通信接口903可以通过内部接口完成相互间的通信。
[0115]
处理器902可能是一个cpu(central processing unit，中央处理器)，或者是asic(application specific integrated circuit，特定集成电路)，或者是被配置成实施本技术实施例的一个或多个集成电路。
[0116]
本技术实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述实施例所述的相机标定方法或者相机的目标检测与定位方法。
[0117]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不是必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或n个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
[0118]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“n个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0119]
流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更n个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
[0120]
应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，n个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列，现场可编程门阵列等。
[0121]
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
[0122]
尽管上面已经示出和描述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。