数据标定方法、电子设备及计算机可读存储装置与流程

1.本技术涉及数据处理领域，特别是涉及一种数据标定方法、一种电子设备及一种计算机可读存储装置。


背景技术：

2.随着科学技术的发展，雷达监控技术在交通领域起到了越来越重要的作用。雷达以高检测率获取移动目标的测量信息，目标跟踪算法基于雷达输入的测量信息，快速准确的计算出目标的运动轨迹以及估计的运动信息，进一步的对其进行分类和识别。但是雷达的识别目标仅仅是一个点，除了该点的运动状况，无法获取与该点相关的其他信息，无法与实际事物进行相关的匹配对照。而视频目标可获取目标相关的其他信息，比如外观、形状以及状态等等。如何准确标定雷达和视频两个传感器，以将目标事物进行匹配对应成为了当前研究的热点和难点。


技术实现要素：

3.本技术主要目的是提出一种数据标定方法，一种电子设备，一种计算机可读存储装置，能够快速准确的实现雷达和视频传感器中目标事物的匹配对应。
4.为解决上述技术问题，本技术采用的第一个技术方案是：提供一种数据标定方法。该方法包括：获取目标区域的光学图像和雷达图像；其中，雷达图像中包括至少一个对象点；对光学图像进行目标检测，确定光学图像中的至少一个对象区域；确定至少一个对象区域和至少一个对象点中，相匹配的目标区域和目标点；确定目标区域和目标点的转换关系，以确定光学图像的像素点和雷达图像的坐标点之间的转换关系，以对对象区域和对象点进行标定。
5.为解决上述技术问题，本技术采用的第二个技术方案是：提供一种电子设备。该电子设备包括存储器和处理器，存储器用于存储程序数据，程序数据能够被处理器执行，以实现如第一个技术方案中所述的方法。
6.为解决上述技术问题，本技术采用的第三个技术方案是：提供一种计算机可读存储装置。该存储装置存储有程序数据，能够被处理器执行，以实现如第一个技术方案中所述的方法。
7.本技术的有益效果是：本技术将光学图像和雷达图像共同处理，确定光学图像与雷达图像中目标的匹配关系，基于匹配关系确定目标的坐标点信息的匹配关系，在根据目标的坐标点信息计算得到坐标的转化关系，从而使得光学图像中的目标与雷达图像中的目标实现匹配对应。
附图说明
8.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于
本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
9.图1是本技术一光学图像示意图；
10.图2是本技术一雷达图像示意图；
11.图3是本技术数据标定方法第一实施例的流程示意图；
12.图4是本技术数据标定方法第二实施例的流程示意图；
13.图5是本技术又一光学图像示意图；
14.图6是本技术光学图像的拓扑关系示意图；
15.图7是本技术雷达图像与其拓扑关系示意图；
16.图8是本技术数据标定方法第三实施例的流程示意图；
17.图9是本技术数据标定方法第四实施例的流程示意图；
18.图10是本技术数据标定方法第五实施例的流程示意图；
19.图11是本技术数据标定方法第六实施例的流程示意图；
20.图12是本技术数据标定方法第七实施例的流程示意图
21.图13是本技术电子设备第一实施例的结构示意图；
22.图14是本技术计算机可读存储装置第一实施例的结构示意图。
具体实施方式
23.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本技术的一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
24.本技术中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
25.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
26.现代社会中，安全防护越来越受到公众的重视，也出现了越来越多的有关安全防护的产品，安全防护的应用领域也不断的扩展，安全防护的相关技术也在不断的进步发展。传统的安防终端器材主要是可见光摄像机，可见光摄像机优势是获得目标的类别信息，但不易获得目标的运行信息。例如很容易识别目标类型，人或者机器，但却不易估计目标的速度和空间位置。在较远距离、夜晚、雨雾天对目标的识别准确率相对于近距离目标准确率较低，即目标在监控区域内时间空间准确度不一致，甚至存在显著差别。毫米波雷达主动发射电磁波并接受同频率信号，对移动物体或rcs，即雷达反射面积，较大的物体，有非常高的检测概率，对于静止物体有较低的检测概率(检测概率不为零)。毫米波雷达可全天24小时工
作，受天气影响较小。
27.雷达以高检测概率获得移动目标的量测信息(空间位置和运动速度信息)，但雷达无法获得较高的目标识别类率；视频/图像可获得目标高准确率的识别信息，但不易获得目标的运动信息和空间位置信息。雷达和视频传感器是两种截然不同的设备，尽管均可探测目标。雷达优势在于可获得目标准确的空间信息和运动信息，视频优势在于高精度的目标识别准确率。但并非在任何时候视频均可获得高精度的目标识别准确率，例如稀疏树木的遮挡、较远距离、光照不良。因此，将二者相互结合的雷达和视频的监控一体监控技术得到了越来越多的重视。将雷达和视频数据有效融合，二者相互结合，取长补短，即可进一步可获得更高的目标识别准确率、也可相应的获取目标的运动信息和空间位置信息。
28.在监控领域，如道路、桥梁、园区、广场等，通过视频获得目标类型，通过雷达获得目标空间位置和速度，并且雷达目标和视频目标正确匹配/融合。在此正确融合基础上，可对目标行为识别(如并行、逆行、尾随、危险行为、违章行为)提供数据服务。
29.但需要注意的是，雷达目标是一个点目标，可以理解为坐标系内的一个点位置。视频目标的图像是一个矩形区域，在坐标系内对应的是一个四边形区域。如何准确的将视频目标图像与雷达目标进行匹配标定，可通过本技术所提出的数据标定方法实现，其具体的实现步骤可通过以下的实施例实现。
30.本技术数据标定方法的原理如下，如图1所示，图1为视频传感器获取的图像，里面包含了多个车辆，视频传感器可准确的检测车辆的个数以及对应的图像框位置，且视频跟踪算法可实时地输出该目标图像框的位置。选取该图像框中的合适的一点作为替代，可建立时间坐标序列：
31.ti，boxpti、t
i+1
，boxpt
i+1
、t
i+2
，boxpt
i+2
、
……
32.其中，boxpti＝(ui,vi)＝ui表示视频目标框某一点的位置，ti表示时间，i表示索引。
33.如图2所示，图2为雷达传感器获取的图像。同理，对于雷达图像中的目标点也可得类似的时间坐标序列：
34.ti，cartpti、t
i+1
，cartpt
i+1
、t
i+2
，cartpt
i+2
、
……
35.其中，cartpti＝(xi,yi)＝xi表示雷达目标某一点的位置。
36.两者合并可得同一时间下，视频目标框中某一点的位置与雷达目标某一点的对应关系。
37.ti，boxpti，cartpti、t
i+1
，boxpt
i+1
，cartpt
i+1
、t
i+2
，boxpt
i+2
，cartpt
i+2
、
…
38.根据坐标数据组可得到视频目标框中某点与雷达目标点之间的映射关系。根据该映射关系即可实现视频目标与雷达目标的标定对应。
39.如图3所示，图3为本技术数据标定方法第一实施例的流程示意图。该方法包括以下步骤：
40.s11：获取目标区域的光学图像和雷达图像。
41.获取目标区域的光学图像和雷达图像，目标区域即为雷达传感器和视频传感器所监控的区域。光学图像即为视频传感器所获取的图像，雷达图像即为雷达传感器所获取的图像。其中，所述雷达图像中包括至少一个对象点。该光学图像与雷达图像需是同一时间下的图像，以保证目标的匹配的准确性。
42.s12：对光学图像进行目标检测，确定光学图像中的至少一个对象区域。
43.获取光学图像，该光学图像中至少包括一个对象区域。该对象区域可以为，例如，某一辆车的图像区域。该对象区域需用于后续的转换关系的计算，因此光学图像中至少需要一个对象区域，对象区域越多，越有利于保证获取的转换关系的准确性。
44.s13：确定至少一个对象区域和至少一个对象点中，相匹配的目标区域和目标点。
45.在获取到对象区域以及雷达中的对象点之后，对对象区域和对象点进行匹配，将匹配成功的对象区域和对象点作为后续转换关系计算所使用的目标区域和目标点。匹配的详细过程可通过以下第二实施例实现。
46.s14：确定目标区域和目标点的转换关系，以确定光学图像的像素点和雷达图像的坐标点之间的转换关系，以对对象区域和对象点进行标定。
47.获取到多对目标区域和目标点之后，根据目标区域和目标点的坐标信息进行坐标映射关系的计算，得到目标区域中一点与一目标点的坐标转化系数，该系数也即为光学图像像素点与雷达图像坐标点之间的转化系数，可表示二者之间的转换关系。从而可以实现对光学图像中的对象区域和相应的雷达图像中的对象点的标定。
48.如图4所示，图4为本技术数据标定方法第二实施例的流程示意图。该方法是对步骤s13的进一步扩展。该方法包括以下步骤：
49.s21：根据至少一个对象区域建立第一拓扑图。
50.获取光学图像中的对象区域，根据对象区域建立拓扑图，表示对象区域之间的拓扑关系。如图5所示，图5为获取的一光学图像，其中存在6个对象区域。图6为根据图5获取的拓扑关系图。该拓扑关系图中包含了多个方位，比如左、右、上、下、左上、左下、右上、右下等等。
51.s22：根据至少一个对象点建立第二拓扑图。
52.同理根据雷达图像可获取目标点的拓扑关系图，如图7所示。
53.s23：将第一拓扑图和第二拓扑图进行匹配，以确定相匹配的目标区域和目标点。
54.根据对象区域的拓扑关系图和对象点的拓扑关系图所体现的拓扑关系，基于相同的拓扑关系的节点位置信息可对对象区域和对象点进行匹配，例如，从图6、图7的拓扑关系中，可得到a-1,b-2,c-3,d-4,f-5,e-6的匹配关系，选取目标区域中的一点与目标点匹配即可得到相应的坐标对。
55.如图8所示，图8为本技术数据标定方法第三实施例的流程示意图。该方法是对步骤s14的进一步扩展。该方法包括以下步骤：
56.s31：根据至少四个坐标对的坐标计算得到坐标转化系数。
57.获取多个坐标对计算坐标转化系数，相关计算步骤如下所示：
58.设目标区域的目标框的下边缘中点在光学图像的坐标系中的坐标信息为(ui,vi)，而雷达图像坐标系中的目标点的坐标信息为(xi,yi)，i表示索引。
59.则可构建如下的齐次方程：
60.61.通过进一步的交换，可得：
62.xi＝a
11
·
ui+a
12
·
vi+a
13
ꢀꢀꢀ
(2)
63.yi＝a
21
·
ui+a
22
·
vi+a
23
ꢀꢀꢀ
(3)
64.1＝a
31
·
ui+a
32
·
vi+a
33
ꢀꢀꢀ
(4)
65.将式(2)、(3)、(4)等价处理可得：
[0066][0067][0068]
再将未知的坐标数值都化为比例值求解可得：
[0069][0070][0071]
式(7)、(8)即为目标区域下边缘中点转化为目标点的计算公式，进一步的构建系数矩阵可得：
[0072][0073]
其中，w＝[b
11
，b
12
，b
13
，b
21
，b
22
，b
23
，b
21
，b
32
]
t
。
[0074]
由此可知，对于转换系数有8个未知量需要求解。而根据获取的四对坐标点的信息即可对应这8个未知量，对转化系数作出求解。将所获取的四对坐标点的坐标信息构建如下的量测方程：
[0075][0076]
将式(10)简化记为：
[0077]
aw＝b
ꢀꢀꢀ
(11)
[0078]
则最终可得坐标转化系数为：
[0079]
w＝(a
t
a)-1atbꢀꢀꢀ
(12)
[0080]
根据该坐标转化系数可实现目标区域下边缘中点与目标点之间的转化。
[0081]
如图9所示，图9为本技术数据标定方法第四实施例的流程示意图，该方法是对步骤s14的进一步扩展，该方法包括以下步骤：
[0082]
s41：将坐标对随机分配为标定集合和测试集合。
[0083]
获取多个坐标对，对坐标对进行随机分配组合得到标定集合和测试集合。标定集合与测试集合具有相同数量的坐标对。将坐标对分为具有等数量坐标对的多个集合，选取其中一个作为标定集合，其余的集合作为测试集合，一个标定集合可对应至少一个测试集合。每个集合的坐标对的数量至少为四对。
[0084]
s42：根据标定集合计算得到坐标转化系数，根据测试集合计算坐标转化系数于测试集合上的平均标定误差。
[0085]
根据标定集合中的坐标对的坐标信息可计算的到坐标转化系数，相应的计算步骤可参照上述实施例，在此不再赘述。在得到坐标转化系数之后，将坐标转化系数带入测试集合中计算平均标定误差。其计算过程如下：
[0086][0087][0088][0089][0090]
其中，ei表示该目标的标定误差，表示此测试集上的平均标定误差。
[0091]
s43：设定一平均标定误差变化阈值。
[0092]
在判断平均标定误差是否发生变化之前，设定一阈值以用于判断平均标定误差是否发生显著变化。此处表述不限定该设定步骤的实施时间，在判断步骤s44之前即可。
[0093]
s44：判断平均标定误差是否发生显著变化。
[0094]
在获取到一个坐标转化系数以及对应的测试集合的平均标定误差时，对坐标对进行重新的随机分配，分为若干与之前的集合包含的坐标对等数量的坐标对集合。选取与之前的标定集合不同的坐标对集合作为新的标定集合，剩余的坐标对集合作为新的测试集合。再次进行新的标定集合和测试集合的坐标系数和平均标定误差的计算。判断所得的平均标定误差的差值是否会大于设定的平均标定误差阈值，若是，则表明该数据集合存在问题，导致标定的结果和数据集合的划分有关，出现了数据不一致的现象。因此需要重新采集数据，再次进行坐标转化系数的计算，即重新执行步骤s11。若否，则表明该坐标转化系数准确，执行步骤s45。重新的随机分配的过程进行至少一次，分配的次数越多，可保证获取的坐标转化系数的准确性越高。
[0095]
s45：将坐标转化系数作为目标区域和目标点匹配对应的转化系数。
[0096]
当重新获取的数据集合的平均标定误差的变化小于预设的平均标定误差阈值时，
即将首次获取的坐标转化系数作为光学图像和雷达图像中目标的匹配的标定关系，实现目标区域和目标点之间的转化。
[0097]
如图10所示，图10为本技术数据标定方法第五实施例的流程示意图，该方法包括以下步骤：
[0098]
s51：获取目标区域的光学图像和雷达图像。
[0099]
获取同一时间下的目标区域的光学图像和雷达图像。且雷达图像中包括至少一个对象点。
[0100]
s52：对光学图像进行目标检测，确定光学图像中的至少一个对象区域。
[0101]
对获取的光学图像进行检测，确定其中至少一个对象区域，以与雷达图像中的对象点匹配。对于交通领域来说，该目标检测的对象可为车辆。检测到的每个目标车辆形成一个对象区域，将目标车辆包含其中。
[0102]
s53：判断光学图像中至少一个对象区域是否存在相互遮挡。
[0103]
相互遮挡的定义可设置为，当对象区域存在重叠部分时，视为遮挡。或者同一车道内一对象区域的下边缘与另一对象区域的上边缘的距离小于预设值时，视为遮挡。具体的遮挡定义可根据实际情况自由设定。
[0104]
若存在遮挡情况，则执行步骤s51，重新获取图像数据。
[0105]
若不存在遮挡情况，则执行步骤s54。
[0106]
s54：确定至少一个对象区域和至少一个对象点中，相匹配的目标区域和目标点。
[0107]
在获取到对象区域以及雷达中的对象点之后，对对象区域和对象点进行匹配，将匹配成功的对象区域和对象点作为后续转换关系计算所使用的目标区域和目标点。
[0108]
s55：确定目标区域和目标点的转换关系，以确定光学图像的像素点和雷达图像的坐标点之间的转换关系，以对对象区域和对象点进行标定。
[0109]
获取到多对目标区域和目标点之后，根据目标区域和目标点的坐标信息进行坐标映射关系的计算，得到目标区域中一点与一目标点的坐标转化系数，该系数也即为光学图像像素点与雷达图像坐标点之间的转化系数，可表示二者之间的转换关系。从而可以实现对光学图像中的对象区域和相应的雷达图像中的对象点的标定。
[0110]
如图11所示，图11为本技术数据标定方法第六实施例的流程示意图，该方法包括以下步骤：
[0111]
s61：获取目标区域的光学图像和雷达图像。
[0112]
获取同一时间下的目标区域的光学图像和雷达图像。且雷达图像中包括至少一个对象点。
[0113]
s62：对光学图像进行目标检测，确定光学图像中的至少一个对象区域。
[0114]
对获取的光学图像进行检测，确定其中至少一个对象区域，以与雷达图像中的对象点匹配。对于交通领域来说，该目标检测的对象可为车辆。检测到的每个目标车辆形成一个对象区域，将目标车辆包含其中。
[0115]
s63：判断至少一个对象区域与至少一个对象点的个数是否一致。
[0116]
若不一致，则执行步骤s61，重新获取图像数据。
[0117]
若一致，则执行步骤s64。
[0118]
s64：确定至少一个对象区域和至少一个对象点中，相匹配的目标区域和目标点。
[0119]
个数相等的对象区域和对象点用于进行相互匹配以得到目标区域和目标点。
[0120]
s65：确定目标区域和目标点的转换关系，以确定光学图像的像素点和雷达图像的坐标点之间的转换关系。
[0121]
获取到多对目标区域和目标点之后，根据目标区域和目标点的坐标信息进行坐标映射关系的计算，得到目标区域中一点与一目标点的坐标转化系数，该系数也即为光学图像像素点与雷达图像坐标点之间的转化系数，可表示二者之间的转换关系。
[0122]
如图12所示，图12为本技术数据标定方法第七实施例的流程示意图，该方法包括以下步骤：
[0123]
s71：初始化阈值等参数。
[0124]
设定标定误差阈值，平均标定误差阈值，时间阈值等参数。
[0125]
s72：采集光学图像和雷达图像。
[0126]
s73：确认光学图像与雷达图像的时间是否同步。
[0127]
若同步，则执行步骤s74和s75。若不同步，则执行步骤s72，重新采集图像数据。
[0128]
s74：提取雷达图像中的对象点。
[0129]
s75：提取光学图像中的对象区域。
[0130]
s76：判断对象区域是否存在遮挡。
[0131]
若不存在遮挡，则执行步骤s77。若存在遮挡，则执行步骤s72，重新采集图像数据。
[0132]
s77：判断对象点与对象区域的个数是否一致。
[0133]
若一致，则执行步骤s78。若不一致，则执行步骤s72，重新采集图像数据。
[0134]
s78：保存数据。
[0135]
保存该帧的光学图像的对象区域和对应的雷达图像中的对象点的数据。
[0136]
s79：拓扑关系构建。
[0137]
s80：获取目标区域和目标点匹配对。
[0138]
s81：数据累计。
[0139]
累计多帧数据，用于后续计算。
[0140]
s82：建立标定集合和测试集合。
[0141]
s83：求解坐标转化系数和标定误差。
[0142]
s84：判断标定误差是否大于阈值。
[0143]
若不大于，则执行步骤s85。若大于，则执行步骤s72，重新采集图像数据。
[0144]
s85：数据一致性判断。
[0145]
数据一致性则为平均标定误差的变化判定，具体可参照上述第四实施例。若平均标定误差不大于设定阈值，则表明未发生显著变化，执行步骤s86。若大于阈值，则执行步骤s72，重新采集图像数据。
[0146]
s86：保存坐标转化系数。
[0147]
s87：位置一致性判断。
[0148]
每隔一定的时间，重新获取数据，分配标定集合和测试集合计算坐标转化系数和平均标定误差，判断平均标定误差是否会发生显著变化。若平均标定误差不大于设定阈值，则表明未发生显著变化，执行步骤s88。若大于阈值，表明测试环境发生了变化，则执行步骤s72，重新采集图像数据。
access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0162]
以上所述仅为本技术的实施例，并非因此限制本技术的专利范围，凡是利用本技术说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本技术的专利保护范围内。