目标物体轮廓的构建方法及系统、以及主控设备与流程

1.本发明涉及传感技术领域，尤其涉及基于传感技术实现的目标物体轮廓的构建方法及系统、以及主控设备。


背景技术：

2.激光雷达作为一种采用光电探测技术的主动遥感设备，能够用于扫描周围的物体，得到周围物体的三维轮廓等。然而，相对于激光雷达运动的物体，在激光雷达扫描的过程中会形成畸变，进而导致运动物体的轮廓不准确。为了获得运动物体精细的三维轮廓，通常需要搭配不同的传感器，以获得运动物体的移动速度和轮廓。但不同传感器之间的融合、安装、校准、维护等过程都会增加人力和物力成本。


技术实现要素：

3.本发明提供了一种目标物体轮廓的构建方法及系统、以及主控设备，能够为目标物体构建精准的轮廓。
4.第一方面，本发明实施例提供一种目标物体轮廓的构建方法，所述目标物体轮廓的构建方法包括：
5.获取目标物体的速度、以及原始点云，其中，所述原始点云的每一原始点包括原始坐标和时间戳；
6.融合所述原始点云和所述速度形成融合点云，其中，所述融合点云的每一融合点包括原始坐标、时间戳、以及速度；
7.在所述融合点云中选取一个融合点作为标定点，其中，所述标定点的原始坐标为标定坐标；
8.根据所述速度和所述时间戳计算所述融合点与所述标定点之间的相对位移；以及
9.根据所述融合点的原始坐标和相对位移、以及所述标定点的标定坐标计算每一所述融合点的校正坐标，以得到相对应的校正点，其中，所述校正点构建为所述目标物体的轮廓。
10.第二方面，本发明实施例提供一种主控设备，所述主控设备包括：
11.存储器，用于存储程序指令；以及
12.处理器，用于执行所述程序指令以实现如上所述的目标物体轮廓的构建方法。
13.第三方面，本发明实施例提供一种目标物体轮廓的构建系统，所述目标物体轮廓的构建系统包括：
14.激光雷达；
15.毫米波雷达；以及
16.如上所述的主控设备，所述主控设备分别与所述激光雷达和所述毫米波雷达电连接。
17.上述目标物体轮廓的构建方法及系统、以及主控设备，将目标物体的速度和目标
物体的原始点云进行融合，得到融合点云。其中，原始点云的原始点包括原始坐标和时间戳，形成的融合点云的融合点包括原始坐标、时间戳、以及速度。在融合点云中选取其中一个融合点作为标定点，以标定点为基准，利用融合点的原始坐标、时间戳、以及速度和标定点的标定坐标，将融合点云中除标定点以外的每一融合点都进行了校正，从而得到校正点云。其中，校正点云为目标物体消除运动带来的畸变后的轮廓。本实施例提供的构建方法能够有效消除激光雷达进行物体检测时，因物体运动引起的点云畸变，从而得到更加精准的目标物体的轮廓。此外，利用一台激光雷达采集的目标物体的原始点云和一台毫米波雷达采集的目标物体的速度就能够对目标物体的点云进行校正，极大减少了计算量，节省了计算时间，同时节约了成本。
附图说明
18.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
19.图1为本发明实施例提供的目标物体轮廓的构建方法的流程图。
20.图2为本发明实施例提供的目标物体轮廓的构建方法的第一子流程图。
21.图3为本发明实施例提供的目标物体轮廓的构建方法的第二子流程图。
22.图4为本发明实施例提供的目标物体轮廓的构建方法的第三子流程图。
23.图5为图1所示的构建方法的应用场景示意图。
24.图6为本发明实施例提供的主控设备的内部结构示意图。
25.图7为本发明实施例提供的目标物体轮廓的构建系统的结构示意图。
26.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
27.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
28.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的规划对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，换句话说，描述的实施例根据除了这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，还可以包含其他内容，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于只清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.需要说明的是，在本发明中涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者多个该特征。另外，各个实施例之间
的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
30.激光雷达对物体进行扫描形成点云图像。由于激光雷达的成像原理是逐点扫描形成物体的点云，则相对于激光雷达运动的物体在成像过程中，运动会造成点云的畸变。目标物体轮廓的构建方法能够对发生畸变的点云进行处理，从而为目标物体构建更加精准的点云。目标物体轮廓的构建方法可以但不限于在物体检测、自动驾驶等各种需要构建目标物体轮廓的场景中应用。
31.请参看图5，其为本发明实施例提供的构建方法的应用场景示意图。在本实施例中，目标物体轮廓的构建方法应用于车辆1000。车辆1000安装有激光雷达20和毫米波雷达30。其中，激光雷达20的数量和毫米波雷达30的数量均至少为一台，激光雷达20为脉冲激光雷达，毫米波雷达30包括但不限于为24ghz毫米波雷达、77ghz毫米波雷达、79ghz毫米波雷达等。车辆1000包括但不限于轿车、摩托车、卡车、运动型多用途车辆(suv)、休闲车辆(rv)、飞行器等。在本实施例中，车辆1000仅设有一台激光雷达20和一台毫米波雷达30，激光雷达20和毫米波雷达30在车辆1000行驶的过程中检测车辆1000周围的物体，形成关于目标物体的数据。目标物体轮廓的构建方法对数据进行处理，从而得到目标物体的校正点云。在一些可行的实施例中，车辆1000可以设置多台激光雷达20和多台毫米波雷达30，在此不做限定。在另一些可行的实施例中，目标物体轮廓的构建方法还可以应用于机器人、飞机等。可以理解的是，当目标物体轮廓的构建方法应用于机器人或者飞机时，机器人或者飞机上均设有脉冲激光雷达和毫米波雷达。
32.请结合参看图1，其为本发明实施例提供的目标物体轮廓的构建方法的流程图。目标物体轮廓的构建方法具体包括如下步骤。
33.步骤s102，获取目标物体的速度、以及原始点云。其中，原始点云的每一原始点包括原始坐标和时间戳。即是说，每一原始点均包括一个原始坐标和一个时间戳。在本实施例中，利用毫米波雷达30获取目标物体的速度，控制激光雷达20获取目标物体的原始点云。其中，由于毫米波雷达30测量目标物体并形成相应的目标点云所需要的时间较短，因此，认为目标物体的目标点云中所有目标点的速度均相同。则目标物体的速度指的是目标物体整体的速度，速度包括在毫米波雷达坐标系中x轴、y轴、以及z轴的三个相对速度值。原始点的原始坐标包括在激光雷达坐标系中x轴、y轴、以及z轴的三个坐标值。在本实施例中，时间戳为激光雷达20发射光线并形成原始点的发射时间。可以理解的是，由于激光雷达20发射光线和接收反射光线之间的时间间隔非常小，因此可以直接用发射时间作为时间戳。由于激光雷达20可以同时发射多条光线形成多个原始点，因此，由同时发射的光线反射回来形成的多个原始点具有相同的时间戳。在一些可行的实施例中，时间戳可以是激光雷达20接收反射光线的接收时间。如何控制激光雷达20获取目标物体的原始点云的具体过程将在下文详细描述。
34.步骤s104，融合原始点云和速度形成融合点云。其中，融合点云的每一融合点包括原始坐标、时间戳、以及速度。可以理解的是，每一融合点的速度均相同。相应地，融合点云中可能存在多个融合点的时间戳均相同。如何融合原始点云和速度形成融合点云的具体过程将在下文详细描述。
35.步骤s106，在融合点云中选取一个融合点作为标定点。其中，标定点的原始坐标为标定坐标。例如，标定点可以是在所有融合点中任意选择的一个融合点；标定点也可以是被指定的特殊融合点，特殊融合点包括但不限于时间戳最小的融合点、时间戳最大的融合点、在激光雷达坐标系中距离原点最近的融合点、在激光雷达坐标系中距离原点最远的融合点等。当根据时间戳最小或者时间戳最大选取融合点时，可能存在多个融合点的时间戳均最小或者多个融合点的时间戳均最大，则可以选择该时间戳中任意一个融合点；也可以利用排序算法对时间戳最小的多个融合点或者时间戳最大的多个融合点进行排序，并按顺序选择第一个融合点、中间的任意一个融合点或者最后一个融合点，在此不做限定。即是说，当根据时间戳选取融合点时，可能存在多个融合点的时间戳相同，则随机选取一个融合点或者利用排序算法进行选择。其中，排序算法包括但不限于交换排序算法、选择排序算法、以及计数排序算法等。在本实施例中，选取时间戳最小的融合点作为标定点。
36.步骤s108，根据速度和时间戳计算融合点与标定点之间的相对位移。由于被选为标定点的融合点与自身的相对位移为0，因此只需要计算除标定点以外的每一融合点与标定点之间的相对位移。在本实施例中，计算融合点的时间戳和标定点的时间戳之间的时间差，再计算时间差和融合点的速度的乘积为相对位移。可以理解的是，由于所有融合点的速度均相同，则可以利用融合点与标定点之间的时间差和速度直接计算融合点与标定点之间的相对位移。若融合点的时间戳与标定点的时间戳相同，即融合点和标定点之间没有时间差，则认为该融合点与标定点之间没有相对位移。具有相同时间戳的融合点与标定点之间的相对位移均相同。
37.步骤s110，根据融合点的原始坐标和相对位移、以及标定点的标定坐标计算每一融合点的校正坐标，以得到相对应的校正点。其中，校正点构建为目标物体的轮廓。在本实施例中，计算除标定点以外的每一融合点的校正坐标，从而得到相应的校正点。标定点和所有校正点共同形成校正点云，校正点云为消除因运动带来的畸变后目标物体真正的点云。如何根据融合点的原始坐标和相对位移、以及标定点的标定坐标计算每一融合点的校正坐标的具体过程将在下文详细描述。
38.上述实施例中，将目标物体的速度和目标物体的原始点云进行融合，得到融合点云。其中，原始点云的原始点包括原始坐标和时间戳，形成的融合点云的融合点包括原始坐标、时间戳、以及速度。在融合点云中选取其中一个融合点作为标定点，以标定点为基准，利用融合点的原始坐标、时间戳、以及速度和标定点的标定坐标，将融合点云中除标定点以外的每一融合点都进行了校正，从而得到校正点云。其中，校正点云为目标物体消除运动带来的畸变后的轮廓。本实施例提供的构建方法能够有效消除激光雷达进行物体检测时，因物体运动引起的点云畸变，从而得到更加精准的目标物体的轮廓。此外，由于毫米波雷达测得的速度为目标物体的整体速度，则直接利用速度与时间差的乘积计算融合点与标定点之间的相对位移，从而极大减少了计算量，简化了计算过程。利用一台激光雷达采集的目标物体的原始点云和一台毫米波雷达采集的目标物体的速度就能够对目标物体的点云进行校正，极大减少了计算量，节省了计算时间，同时节约了成本。
39.请结合参看图2，其为本发明实施例提供的目标物体轮廓的构建方法的第一子流程图。步骤s102中，控制激光雷达20获取目标物体的原始点云具体包括如下步骤。
40.步骤s202，获取激光雷达扫描生成的扫描图像。可以理解的是，扫描图像中包括很
多扫描点，仅通过这些扫描点很难直接识别扫描图像中存在什么物体。因此，需要对扫描图像进行图像处理。
41.步骤s204，对扫描图像进行图像处理以获得原始图像。采用聚类算法对扫描图像中的扫描点进行处理。在本实施例中，采用欧式距离聚类算法进行图像处理。具体地，第一步，在扫描图像中随机选取一个扫描点为中心扫描点，判断中心扫描点周围的扫描点与中心扫描点之间的距离是否小于预设值。若距离小于预设值，将该扫描点与中心扫描点归为一类，直至中心扫描点周围没有能够被归类的扫描点。第二步，依次选取该类中的其它扫描点作为中心扫描点，并重复执行第一步的过程，直至没有其它扫描点可以被归类于该类。第三步，若存在没有被归类的扫描点，则重复执行第一步和第二步的过程直至扫描图像中所有的扫描点均被归类。对归为同一类的扫描点做相同的标记，不同类的扫描点之间的标记均不相同，形成原始图像。其中，预设值为20-50厘米。激光雷达20的扫描精度决定了扫描图像中扫描点之间的距离，因此预设值的大小可以根据激光雷达20的扫描精度进行设定。举例来说，若激光雷达20的扫描精度高，形成的扫描点之间的距离较小，则设置较小的预设值，如30厘米；若激光雷达20的扫描精度低，形成的扫描点之间的距离较大，则设置较大的预设值，如45厘米。可以理解的是，对扫描图像进行图像处理并不会改变扫描点的坐标，只是对扫描点进行分类，使得扫描图像中的物体更容易被识别。在一些可行的实施例中，聚类算法还可以是最大最小距离聚类算法等。在另一些可行的实施例中，还可以采用其它图像处理算法对扫描图像进行处理。
42.步骤s206，识别原始图像以获取目标物体的原始点云。对原始图像进行目标检测，识别原始图像中的目标物体并获取目标物体的原始点云。在本实施例中，利用深度神经网络对原始图像进行识别，将从中识别出的可动物体设为目标物体。举例来说，识别出原始图像中存在树木、交通指示灯、以及车辆等目标，树木和交通指示灯为不可动物体，车辆为可动物体，则将车辆设为目标物体。获取与目标物体相匹配且标记为同一类的扫描点为该目标物体的原始点云。以图5所示的场景为例，车辆2000为识别出的目标物体。当激光雷达20检测到车辆2000的第一个原始点时，车辆2000处于第一位置(图5中用虚线表示)；当激光雷达20检测到车辆2000的最后一个原始点时，车辆2000处于第二位置(图5中用实线表示)。即是说，激光雷达20检测到车辆2000完整的原始点云的过程中，车辆2000从第一位置移动到第二位置。与车辆2000相匹配且标记为同一类的扫描点包括a、b1、b2、以及c。可以理解的是，与车辆2000相匹配的扫描点有很多，为便于说明，下文仅以列举的四个扫描点为例进行描述。相应地，车辆2000的原始点云包括原始点a、原始点b1、原始点b2、以及原始点c。原始点云的每一原始点包括相对应的原始坐标和时间戳。举例来说，原始点a的原始坐标pa为[xa，ya，za]，时间戳为t1；原始点b1的原始坐标p
b1
为[x
b1
，y
b1
，z
b1
]，时间戳为t2；原始点b2的原始坐标p
b2
为[x
b2
，y
b2
，z
b2
]，时间戳为t2；原始点c的原始坐标pc为[xc，yc，zc]，时间戳为t3。其中，t1小于t2小于t3。
[0043]
在一些可行的实施例中，可以将原始图像中的所有物体均设为目标物体。其中，所有物体包括运动物体和不可动物体。即是说，获得原始图像之后，不需要再对原始图像进行识别，而是直接从聚类得到的结果，即原始图像中得到所有物体的原始点云，并对原始图像中的所有物体均进行轮廓的校正。可以理解的是，由于激光雷达在扫描生成扫描图像的过程中，激光雷达相对不可动物体是运动的。因此，不可动物体相对于激光雷达也具有速度，
则可以按照上述步骤s102至s110的方法对不可动物体的轮廓进行构建，对不可动物体的轮廓构建方法在此不再一一赘述。
[0044]
上述实施例中，通过聚类算法和目标检测等技术识别出扫描图像中的可动物体为目标物体，能够准确获取目标物体的原始点云，从而为构建精准的校正点云奠定基础。可以理解的是，如果需要对不可动物体也进行轮廓的建立，也可以通过聚类算法和目标检测等技术识别出扫描图像中的不可动物体，从而对不可动物体的点云进行处理。
[0045]
请结合参看图3，其为本发明实施例提供的目标物体轮廓的构建方法的第二子流程图。步骤s104具体包括如下步骤。
[0046]
步骤s302，计算激光雷达和毫米波雷达的标定关系。在本实施例中，根据激光雷达20和毫米波雷达30安装于车辆1000的相对位置计算激光雷达20和毫米波雷达30之间的标定关系。
[0047]
步骤s304，利用毫米波雷达获取目标物体的目标点云。其中，目标点云的每一目标点包括目标坐标。可以理解的是，毫米波雷达30测量目标物体并形成相应的目标点云。目标坐标包括在毫米波雷达坐标系中x轴、y轴、以及z轴的三个坐标值。
[0048]
步骤s306，根据标定关系、目标坐标、以及原始坐标判断目标点和原始点是否匹配。在本实施例中，根据标定关系和目标坐标计算目标点的投影坐标。具体地，计算标定关系和目标坐标的乘积作为目标点的投影坐标。可以理解的是，投影坐标为目标点在激光雷达坐标系中的坐标。计算投影坐标与原始坐标之间的距离是否小于阈值。当投影坐标与原始坐标之间的距离小于阈值时，判断目标点和原始点匹配；当投影坐标与原始坐标之间的距离大于或者等于阈值时，判断目标点和原始点不匹配。可以理解的是，投影坐标只要与任意原始点的原始坐标之间的距离小于阈值，则可判断目标点与该原始点相匹配。其中，阈值为20-50厘米。相应地，阈值的大小可以根据激光雷达20的扫描精度进行设定。举例来说，若激光雷达20的扫描精度高，则设置较小的阈值，如30厘米；若激光雷达20的扫描精度低，则设置较大的阈值，如45厘米。在一些可行的实施例中，可以根据标定关系和原始坐标计算原始点在毫米波雷达坐标系中的投影坐标，并根据投影坐标和目标坐标判断目标点和原始点是否匹配。
[0049]
步骤s308，当目标点和原始点匹配时，将速度添加至原始点以形成融合点。其中，融合点的原始坐标和时间戳分别为相对应的原始点的原始坐标和时间戳。可以理解的是，当目标点和原始点相匹配时，说明目标点和原始点均可以表示为目标物体表面的同一点。因此，目标物体在毫米波雷达坐标系中的速度可以添加至原始点，从而形成融合点。举例来说，毫米波雷达30测得车辆2000的速度v为[vx，vy，vz]。原始点a、原始点b1、原始点b2、以及原始点c均与目标点相匹配，分别形成融合点a、融合点b1、融合点b2、以及融合点c。则融合点a的原始坐标pa为[xa，ya，za]，时间戳为t1，速度va为[vx，vy，vz]；融合点b1的原始坐标p
b1
为[x
b1
，y
b1
，z
b1
]，时间戳为t2，速度v
b1
为[vx，vy，vz]；融合点b2的原始坐标p
b2
为[x
b2
，y
b2
，z
b2
]，时间戳为t2，速度v
b2
为[vx，vy，vz]；融合点c的原始坐标pc为[xc，yc，zc]，时间戳为t3，速度vc为[vx，vy，vz]。
[0050]
若选取融合点a作为标定点。则，融合点b1和标定点a之间的时间差为t2-t1，融合点b2和标定点a之间的时间差为t2-t1，融合点c和标定点a之间的时间差为t3-t1。相应地，融合点b1和标定点a之间的相对位移δp
b1
＝v*(t2-t1)，融合点b2和标定点a之间的相对位
card)等。进一步地，存储器11还可以既包括计算机设备的内部存储单元也包括外部存储设备。存储器11不仅可以用于存储安装于计算机设备的应用软件及各类数据，例如实现目标物体轮廓的构建方法的代码等，还可以用于暂时地存储已经输出或者将要输出的数据。
[0060]
请结合参看图7，其为本发明实施例提供的目标物体轮廓的构建系统的结构示意图。目标物体轮廓的构建系统100包括激光雷达20、毫米波雷达30、以及主控设备10。在本实施例中，主控设备10分别与激光雷达20和毫米波雷达30电连接，激光雷达20为脉冲激光雷达，毫米波雷达30包括但不限于为24ghz毫米波雷达、77ghz毫米波雷达、79ghz毫米波雷达等。其中，主控设备10可以和激光雷达20设为一体；主控设备10可以和毫米波雷达30设为一体；主控设备10也可以与激光雷达20和毫米波雷达30均分开，独立设置，在此不做限定。目标物体轮廓的构建系统100可以设置于车辆、机器人、飞机等。其中，车辆包括但不限于轿车、摩托车、卡车、运动型多用途车辆(suv)、休闲车辆(rv)、飞行器等。主控设备10的具体结构参照上述实施例。由于构建系统100采用了上述所有实施例的全部技术方案，因此至少具有上述实施例的技术方案所带来的所有有益效果，在此不再一一赘述。
[0061]
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘且本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
[0062]
以上所列举的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属于本发明所涵盖的范围。