目标对象的运动信息确定方法、装置、介质及终端与流程

文档序号:29912757发布日期:2022-05-06 02:04阅读:123来源:国知局
目标对象的运动信息确定方法、装置、介质及终端与流程

1.本技术涉及计算机视觉技术领域,具体而言,涉及一种目标对象的运动信息确定方法、目标对象的运动信息确定装置、计算机可读介质及终端。


背景技术:

2.在使用激光雷达或深度相机对目标进行测绘的过程中,常常需要对点云中的运动目标进行一个运动测算和确定,以获得目标对象的运动特征进而对目标的运动意图或者运动影响进行评估。
3.然而,相关技术所提供的目标对象的运动信息确定方案的误差较大,因此,目标对象的运动信息确定方案的精准度有待提升。
4.需要说明的是,在上述背景技术部分公开的信息仅用于加强对本技术的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现要素:

5.本技术实施例的目的在于提供一种目标对象的运动信息确定方法、目标对象的运动信息确定装置、计算机可读介质及终端。能够在一定程度上提升确定目标对象的运动信息的精准度。
6.本技术的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本技术的实践而习得。
7.根据本技术实施例的一个方面,提供了一种目标对象的运动信息确定方法,包括:从n帧探测数据中确定出目标对象,n为正整数;获取第i帧中上述目标对象对应的第i数据集,以及获取第j帧中上述目标对象对应的第j数据集,i为小于n的正整数,j为大于1且不大于n的正整数,且i小于j;将上述第i数据集和上述第j数据集进行匹配计算,得到反映上述目标对象在上述第j帧与上述第i帧间整体位置变化的相对位置信息;根据上述相对位置信息确定上述目标对象的运动信息。
8.根据本技术实施例的另一个方面,提供了一种目标对象的运动信息确定装置,包括:目标对象确定模块,用于:从n帧探测数据中确定出目标对象,n为正整数;数据集获取模块,用于:获取第i帧中上述目标对象对应的第i数据集,以及获取第j帧中上述目标对象对应的第j数据集,i为小于n的正整数,j为大于1且不大于n的正整数,且i小于j;匹配模块,用于:将上述第i数据集和上述第j数据集进行匹配计算,得到反映上述目标对象在上述第j帧与上述第i帧间整体位置变化的相对位置信息;运动信息确定模块,用于:根据上述相对位置信息确定上述目标对象的运动信息。
9.根据本技术实施例的再一个方面,提供了一种计算机可读介质,其上存储有计算机程序,上述程序被处理器执行时实现如上述实施例中所述的目标对象的运动信息确定方法。
10.根据本技术实施例的又一个方面,提供了一种终端,包括存储器、处理器以及存储
在上述存储器中并可在上述处理器上运行的计算机程序,上述处理器执行上述计算机程序时实现如上述实施例中所述的目标对象的运动信息确定方法。
11.本技术实施例提供的技术方案可以包括以下有益效果:
12.在本技术的一些实施例所提供的技术方案中,从n帧探测数据中确定出目标对象。然后,获取第i帧中该目标对象对应的第i数据集,以及获取第j帧中该目标对象对应的第j数据集。进一步地,将上述第i数据集和上述第j数据集进行匹配计算,得到反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息。相较于反映某一点或某些点的相对位置信息,上述相对位置信息能更准确的反映目标对象的实际运动情况,从而有利于获得更准确的目标位置观测值,进而根据本技术技术方案确定的目标对象的运动信息具有较高的精准度。
13.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本技术。
附图说明
14.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
15.图1示意性示出了根据本技术一示例性的实施例中目标对象的运动信息确定方法的流程图。
16.图2示意性示出了根据本技术示例性的实施例中目标对象的确定方法的流程图。
17.图3示意性示出了根据本技术示例性的实施例中关于同一目标对象的帧间数据集比较图。
18.图4示意性示出了根据本技术另一示例性的实施例中目标对象的运动信息确定方法的流程图。
19.图5示出了根据本技术示例性的实施例中关于同一目标对象的帧间数据集相对变化图。
20.图6示意性示出了根据本技术一示例性的实施例中相对位置信息的确定方法的流程图。
21.图7示意性示出了根据一示例性的实施例中目标对象的运动信息确定装置的结构图。
22.图8示意性示出了根据另一示例性的实施例中目标对象的运动信息确定装置的结构图。
23.图9示意性示出了适于用来实现上述目标对象的运动信息确定方法的终端的框图。
具体实施方式
24.为使本技术的目的、技术方案和优点更加清楚,下面将结合附图对本技术实施例方式作进一步地详细描述。
25.下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反,它们仅是如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
26.在本技术的描述中,需要理解的是,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。对于本领域的普通技术人员而言,可以具体情况理解上述术语在本技术中的具体含义。此外,在本技术的描述中,除非另有说明,“多个”是指两个或两个以上。“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
27.本技术方案可以应用于激光雷达、深度相机等点云传感器进行测绘检测的相关领域,如自动驾驶障碍物检测、点云测绘,以及人体姿态检测等方面。
28.示例性的,在自动驾驶过程中一般通过传感器获取车辆周边的目标对象的运动信息(如,运动速度信息以及方向等),进一步的,根据所获取的目标对象的运动信息来规划该车辆的行驶路径以及行驶速度等信息。
29.在现有的目标对象的运动信息确定方案中,对于相关技术中的第一种方案,即通过毫米波雷达等直接检测目标对象的运动速度信息的方案。其相关雷达对目标对象的测距、角分辨率并不高,导致对目标对象的位置特征和形体特征均不能进行准确描述。也就是说,该现有方案以牺牲对目标其他属性特征的检测性能,获得对目标对象的速度等运动信息的直接测算能力。因此,该方案确定的运动信息的精准度不高。
30.在上述相关技术中的第二种方案中,常被应用于激光雷达、深度相机等无法对目标进行多普勒测算的传感器中,如激光雷达可以获得目标的准确位置,根据位置和帧间时间差来获得目标速度的估算。
31.具体地,通过激光雷达或深度相机等点云传感器对目标对象在不同帧(即不同时刻下)的位置观测,并选取点云的某个特征点(如,点云的重心点、点云的最近点、点云计算一个边界框的角点,或者几何中心点等)作为该目标的位置参考点,进而由该位置参考点的位置变化和帧间时间差来估算目标对象整体的运动信息。
32.然而实际的点云观测目标可能具有较大体积(如车辆)、还有可能为形状处于变化的对象(如行人),对于该类目标对象,若按照上述方式选取位置参考点则所反映出来的位置关系,选取单一特征点作为该目标的位置表征,即内在的将该特征点的位置变化当成该目标的位置变化。则将不能表达目标对象的形状特征进行准确描述,导致目标对象的观测值与物体实际运动的位置变换偏差较大。尤其是在小周期内的情况下(即,帧间时间间隔较短的情况下,如常见激光雷达帧间间隔为50ms~100ms),上述位置预估误差则会被加倍放大。
33.因此,该方案确定的运动信息的精准度也有待提高。
34.针对上述相关技术中存在的技术问题,本技术所提供的技术方案能够减少确定目标对象的运动信息的误差,进而提升精准度。
35.下面将结合附图1-附图5,对本技术实施例提供的目标对象的运动信息确定方法进行详细介绍。其中,图1示意性示出了根据本技术一示例性的实施例中目标对象的运动信
息确定方法的流程图。参考图1,该方法包括以下步骤:
36.s110,从n帧探测数据中确定出目标对象,n为正整数;
37.s120,获取第i帧中目标对象对应的第i数据集,以及获取第j帧中目标对象对应的第j数据集,i为小于n的正整数,j为大于1且不大于n的正整数,且i小于j;
38.s130,将第i数据集和第j数据集进行匹配计算,得到反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息;以及,
39.s140,根据相对位置信息确定目标对象的运动信息。
40.图1所示实施例所提供的技术方案中,针对同一目标对象(例如,车辆在智能驾驶过程中的障碍物等),获取在一帧探测数据中该目标对象对应的数据集,以及获取另一帧探测数据中该目标对象对应的另一数据集。进一步地,将上述两帧探测数据分别对应的数据集进行匹配计算,得到能够反映上述目标对象整体上位置变化的相对位置信息。而相关技术中所确定的是反映某一点或某些点(如,点云的重心点、点云的最近点、点云计算一个边界框的角点,或者几何中心点等)的位置变化的信息。相较于相关技术直接相关点作为该目标的位置参考点,本技术方案采用能够反映上述目标对象整体上位置变化的相对位置信息能够更为准确地反映目标对象的实际运动情况,从而本技术方案更有利于获得关于目标对象准确的位置观测值。可见,根据本技术技术方案确定的目标对象的运动信息具有较高精准度。
41.以下对图1所示实施例所包含的各个步骤的具体实施方式进行详细介绍:
42.在s110中,从n帧探测数据中确定出目标对象,n为正整数。
43.在示例性的实施例中,上述探测数据包括通过激光雷达扫描获取的点云数据,还可以包括深度相机采集相关周边环境的具有深度信息的图像。例如,通过设置与无人驾驶车辆的激光雷达来采集无人驾驶车辆周围的环境信息得到上述多帧点云数据,进一步地,将所采集到的多帧点云数据用于分析该无人驾驶车辆周围的障碍物的运动信息。
44.在示例性的实施例中,在无人驾驶场景中,上述目标对象可以是无人驾驶车辆行驶过程中的障碍物,例如是影响驾驶其他车辆、行人、建筑物等。
45.作为步骤s110的一种具体实施方式,在示例性的实施例中,图2示意性示出了根据本技术示例性的实施例中目标对象的确定方法的流程图。具体地,s210-s240为基于机器学习模型的方式来预测每帧探测数据中的检测目标,s250和s260为根据上述预测得到的检测目标确定上述目标对象。
46.参考图2,在s210中,获取包含标记信息的多帧探测数据以确定训练集和测试集,其中,标记信息包括每帧探测数据所包含的近场检测目标。
47.在示例性的实施例中,将一帧探测数据及其对应的标记信息作为一组样本,通过多组样本构成上述训练集/测试集。
48.以机械式激光雷达为例,近场识别范围是指以激光雷达为圆心识别距离为半径围成的圆的面积范围。同时,不同线束的激光雷达对应的近场范围不同,近场范围的确定可以为预先设定的。举例来说,32线的机械式激光雷达的近场识别范围可以设定为以雷达为圆心,以60米为半径所围成的圆的面积。再例如,128线的激光雷达近场识别范围可以设定为以激光雷达为圆心,以100米为半径所围成的圆的面积。示例性的,其他线束的机械式激光雷达可以设定为扫描半径为60米到100米之间。可以理解的是,上述近场检测目标是指处于
近场范围内的目标对象。
49.示例性的,上述标记信息包括:近场包含检测目和近场不包含检测目标。如在无人驾驶场景中,上述检测目标可以是影响驾驶其他车辆、行人、建筑物等障碍物。例如,一组正样本包含探测数据s以及探测数据s的标记信息:近场包含检测目标,检测目标为行人和车辆。又例如,一组负样本包含探测数据s’以及探测数据s’的标记信息:近场不包含检测目标。
50.在s220中,通过训练集训练机器学习算法。
51.在示例性的实施例中,为了提升对检测对象的识别准确度,上述机器学习算法采用适用于探测数据处理的深度学习算法的点云分割pointnet或pointnet的升级版pointnet++等。
52.在s230中,通过测试集对训练过程中的机器学习分类模型进行测试,并将满足预设评价指标的机器学习分类模型确定为目标识别模型。
53.在示例性的实施例中,可以通过以下模型评价指标中的一种或多种:准确率、召回率和接收者操作特征曲线(receiver operating characteristic curve,简称:roc)下面积auc(一种模型评价指标,具体用于评估模型的预测价值;是area under curve的简称)对上述机器学习分类模型进行评价。并将满足预算评价条件的机器学习分类模型确定为目标识别模型,并用于进行目标对象的识别。
54.在s240中,将第k(k取值为1,2,

,n)帧探测数据输入至训练后的目标识别模型,并根据该目标识别模型的输出确定第k帧探测数据中的检测目标。
55.在示例性的实施例中,对于上述n帧探测数据,分别输入至上述目标识别模型中,经过训练后的机器学习算法处理之后,可以输出当前输入至模型中的探测数据中是否包含检测目标。示例性的,第1帧探测数据被输入上述目标识别模型后,该模型对第1帧探测数据的预测结果为“近场不包含检测目标”。第10帧探测数据被输入上述目标识别模型后,该模型对第10帧探测数据的预测结果为“近场包含检测目标a”。第15帧探测数据被输入上述目标识别模型后,该模型对第15帧探测数据的预测结果为“近场包含检测目标a”。第20帧探测数据被输入上述目标识别模型后,该模型对第20帧探测数据的预测结果为“近场包含检测目标b”。
56.可见,通过s240可以获取每帧探测数据中是否包含近场检测目标,以及包含哪种检测目标。进一步地,通过s250和s260将不同帧间检测出来的检测目标进行关联匹配,以确定上述目标对象。
57.需要说明的是,识别探测数据中的检测目标不限于上述实施例所提供的方式。在示例性的实施例中,还可以采用点云分割聚类算法实现对探测数据中的检测目标的识别。
58.继续参考图2,在s250中,计算第m帧对应的检测目标与第n帧对应的检测目标之间的特征相似度。以及,在s260中,将满足预算要求的特征相似度对应的检测目标确定为目标对象。
59.在示例性的实施例中,上述特征相似度包括形状特征的相似度、位置特征的相似度以及反射率的相似度,m不等于n,且m、n为不大于n的正整数。示例性的,通过比对两帧探测数据中检测出来的检测目标之间的特征相似度,特征比较相似的认为是同一个目标。如,第m帧中的检测对象a,与第n帧中的检测对象a’,若检测对象a与检测对象a’之间的形状特
征的相似度满足第一预设值、位置特征的相似度满足第二预设值以及反射率的相似度满足第三预设值,则说明检测对象a与检测对象a’为同一个目标,否则,检测对象a与检测对象a’则不属于同一个目标。
60.具体地,以检测对象a为例。计算出来检测对象a本身之外的所有检索对象分别于检测对象a之间的相似度,则得到检测对象a对应的一个相似度列表,将相似度列表中相似度值最大的检索对象确定为与检测对象a为同一目标。
61.继续参考图1,在s120中,获取第i帧中目标对象对应的第i数据集,以及获取第j帧中目标对象对应的第j数据集,i为小于n的正整数(i取值为1,2,3

n-1),j为大于1且不大于n的正整数(i取值为2,3

n-1,n),且i小于j。需要说明的是,“i”和“j”反映帧间前后关系,“第i帧”和“第j帧”可以是连续两帧也可以不是连续两帧。
62.不同于相关技术中直接将目标对象对应的某个点(如,点云的重心点、点云的最近点、点云计算一个边界框的角点,或者几何中心点等)作为该目标的位置参考点,本技术方案将采用关于同一目标对象整体的不同帧间的相对位置信息确定位置参考。由于上述相对位置信息能准确反映目标对象的实际运动情况,从而本技术方案更有利于获得关于目标对象准确的位置观测值。
63.为了获取上述相对位置信息,在s120中,获取不同帧中目标对象分别对应的数据集。其中,为了提升计算准确度,可以获取目标对象在相连帧中分别对应的数据集,例如,第i帧中目标对象对应的第i数据集,以及获取第j帧中目标对象对应的第j数据集。
64.在示例性的实施例中,图3示意性示出了根据本技术示例性的实施例中关于同一目标对象的帧间数据集比较图。参考图3,具体示出了关于该同一目标对象(兔子)的帧间数据集比较示意图。具体的,该目标对象的耳部a、背部b以及尾部c对应的数据集属于前一帧探测数据(图中以较深颜色点示出),该目标对象的耳部a’、背部b’以及尾部c’对应的数据集属于后一帧探测数据(图中以较浅颜色点示出)。可以看出,该目标对象在前后两帧的过程中进行了相对运动,以下将介绍基于上述相对运动确定该运动对象的运动信息。继续参考图1,在s130中,将第i数据集和第j数据集进行匹配计算,得到反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息。以及,在s140中,根据相对位置信息确定目标对象的运动信息。
65.作为步骤s130和步骤s140的一种具体实施方式,在示例性的实施例中,图4示意性示出了根据本技术另一示例性的实施例中目标对象的运动信息确定方法的流程图。参考图4,该图所示实施例包括s410-s450。
66.在s410中,根据第i数据集和第j数据集计算目标对象的相对位移信息和相对姿态角信息,得到反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息。
67.其中,所述第i数据集经过所述相对位置信息的变换后与第j数据集重合度大于预设值。也就是说,上述相对位置信息能够使得经过目标对象在第i中的位置与其在第j中的位置的重合度大于预设值。
68.在示例性的实施例中,可以通过欧式变换求解第i数据集和第j数据集的相对位移信息和位移配准误差,以及相对姿态角信息和角度配准误差,直到位置配准误差和角度配准误差收敛,或者相对位移信息/相对姿态角信息达到预设的误差范围内,则将相对位移信息和相对姿态角信息作为反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息。
示例性的,上述相对位置信息可以为包括相对位移信息和相对姿态角信息的旋转平移矩阵。
69.基于上述相对位移信息将第i数据集进行平移,以及基于上述相对姿态角信息将平移后的第i数据集进行旋转,便能够使得第i数据集和第j数据集的重合度大于预设值。
70.示意性的,图5示出了根据本技术示例性的实施例中关于同一目标对象的帧间数据集相对变化图。参考图5,也就是说,在上述第i数据集和第j数据集的重合度大于预设值的情况下,前一帧中的目标对象(兔子)与后一帧中的目标对象几近重合。具体的,前一帧的耳部a与后一帧的耳部a’之间的数据集重合度大于预设值或达到最佳匹配、使得前一帧的背部b与后一帧的背部b’之间的数据集重合度大于预设值或达到最佳匹配,以及使得前一帧的尾部c与后一帧的尾部c’之间的数据集重合度大于预设值或达到最佳匹配。
71.在示例性的实施例中,为了进一步提高目标对象在帧间重合度,进而有利于提升确定目标对象运动信息的精准度。本技术方案还提供以下确定相对位置信息的实施例:
72.图6示意性示出了根据本技术一示例性的实施例中相对位置信息的确定方法的流程图。参考图6,该图所示实施例包括s610-s650。
73.s610,将目标对象分割处理为多个分块。
74.示例性的,在确定出目标对象之后,根据实际需要将目标对象分割为多个分块。其中,可以通过对同一个目标对象进行多次分割,并将每次分割后进行下述计算过程,并将帧间目标重复度最大时对应的分割方式作为最终的分割方式。其中,可以理解的是,所述分块的大小还与设置的精度要求有关,可以根据精度要求,进行数据分块的调整。举例来说,精度要求越高拆分的数据块越小,当精度要求足够高的时候,甚至可以拆分到每个数据点(若为点云数据则为点云中的每个点)。
75.s620,对于每个分块,获取第i帧中对应的第i子数据集,以及获取第j帧中对应的第j子数据集。
76.示例性的,将图5中的目标对象(兔子)分割为三分块,则:对于第一分块,获取其在第i帧中的第i1子数据集,以及获取其在第j帧中的第j1子数据集;对于第二分块,获取其在第i帧中的第i2子数据集,以及获取其在第j帧中的第j2子数据集;对于第三分块,获取其在第i帧中的第i3子数据集,以及获取其在第j帧中的第j3子数据集。
77.s630,对于每个分块,将第i子数据集和第j子数据集进行匹配计算,得到每个分块对应的相对位移及重合度信息。
78.仍以上述实施例为例,对于第一分块,将第i1子数据集和第j1子数据集进行匹配计算,得到关于第一分块的重合度信息;对于第二分块,将第i2子数据集和第j2子数据集进行匹配计算,得到关于第二分块的重合度信息;对于第三分块,将第i3子数据集和第j3子数据集进行匹配计算,得到关于第三分块的重合度信息。其中,匹配计算的具体实施方式可以参考上述实施例。
79.s640,将多个重合度中最大值对应的分块确定为第一目标分块。
80.s650,将根据第一目标分块对应的第i子数据集和第j子数据集确定的旋转位移矩阵确定为反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息。
81.示例性的,假如关于第二分块的重合度的值最大,则将第二分块确定为第一目标分块。进一步地,将根据第一目标分块对应的第i2子数据集和第j2子数据集确定的旋转位移
矩阵,确定为反映目标对象(兔子整体)在帧间位置变化的相对位置信息。
82.示例性的,在本技术一种可选的实施例中,s640还可以为:获取每个分块对应的重合度信息,将所述重合度信息大于预设值的分块整合为第一目标分块。其中,s650还可以为:将根据第一目标分块对应的第i子数据集和第j子数据集确定的旋转位移矩阵确定为反映目标对象在第j帧与第i帧间整体位置变化的相对位置信息。
83.其中,仍以上述实施例为例,若将图5中的目标对象(兔子)分割为三个分块,其中第一分块为兔耳朵部分,第二分块为兔头部分,第三分块为兔身体部分,分别计算每个分块,得到每个分块对应的相对位移及重合度信息,其中可以理解的是,若第二分块和第三分块的重合度值大于预设值(如,90%可根据实际情况调整),则将第二分块和第三分块作为第一目标分块,重新根据第一目标分块对应的第i帧数据对应的子数据集和第j帧数据对应的子数据集确定旋转位移矩阵,所述旋转位移矩阵作为反映目标在第j帧与第i帧间整体位置变化的相对位置信息。
84.示例性的,以运动中的行人作为目标对象,将采集到的行人的点云数据进行分块处理,得到四肢部分对应的多个分块数据,以及头部、躯干部分对应的多个分块数据。通过匹配计算各个分块对应的重合度值可以获知:头部和躯干部分对应的多个分块的子位移旋转矩阵之间的重合度值较高。也就是说,头部和躯干部分为帧间运动差异较小的部分。则本实施例将头部和躯干部分对应的各个分块确定为第一目标分块集,最终基于第一目标分块集在第i帧和第j帧中分别对应的数据集进行匹配计算,得到反映目标对象在帧间的相对位置信息。
85.其中可以理解的是,在本实施例一种可选的方案中,在进行s610将目标对象分割处理为多个分块,还可以包括:获取同类目标对象分块匹配结果,根据同类目标对象分块匹配结果对当前的目标对象的分割处理规则进行修正。
86.举例来说,当确定目标对象为兔子时,获取以往兔子的第一目标分块集,仍以上述实施例为例,若将图5中的目标对象(兔子)分割为三个分块,其中第一分块为兔耳朵部分,第二分块为兔头部分,第三分块为兔身体部分,经过多次运算得到第一目标分块为第二分块和第三分块的结合部分的概率大于预设值,则以则根据以往兔子第一目标分块集进行当前目标对象的点云数据的分割,即当识别到目标对象为兔子时,优先将身体和头部部分对应的点云数据作为第一目标分块子集进行匹配计算,获取相对位置信息。
87.本实施例中,将相似度较高的子位移旋转矩阵对应的分块确定为上述目标分块集,有利于捕捉到目标对象在帧间运动差异较小的部分(分块),而将目标对象在帧间运动差异较小的部分用于计算反映目标对象在帧间整体变化的相对位置信息,有利于提升相对位置信息确定精准度,进而有利于进一步提升目标对象的运动信息的精准度。
88.在示例性的实施例中,在确定上述相对位置信息之后,可以基于第i帧和第j帧之间的时间差来确定目标对象的速度信息。从而确定目标对象的运动信息。需要说明的是,目标对象的运动信息还可以根据以下实施例确定,具体地:
89.在s410’中,确定目标对象在第i帧中对应的第一位置信息。
90.在示例性的实施例中,使用对整个目标的位置状态确定来代替选取目标的单一特征点或者多个特征点的位置变换关系来表征目标的实际运动,从而获得更准确的位置变换确定,最终可获得更准确的运动信息。本技术在于使用点云配准的方法来代替选用特征点
达到获取更准确的位置变化的观测,进而获得更准确的目标运动状态的信息。该发明能显著改进目标运动状态确定的准确性。
91.本技术方案中上述相对位置信息能够反正整个目标的位置变化,因此,可以对于第i数据集中的任一个点来说,其由第i帧至第j帧的相对变化量是相同的,因此可以选取第i数据集中的任意一个点作为上述目标参考点。
92.在s420中,将相对位置信息和第一位置信息叠加,得到目标对象在第j帧中的第二位置信息。
93.在示例性的实施例中,可以将包括上述相对位移信息和相对姿态角信息的旋转位移矩阵以及反映第一位置信息的坐标信息进行叠加,得到目标对象在第j帧中的坐标信息,即得到上述第二位置信息。具体地,将相对位移信息叠加至上述第一位置信息的坐标信息,可以使得第i数据集进行平移,以及基于相对姿态角叠加至上述第一位置信息的坐标信息,可以使得上述第i数据集进行旋转,最终得到上述目标对象在第j帧中对应的第二位置信息。
94.在s420’中,获取第i帧与第j帧之间的时间差。以及,在s430中,基于卡尔曼滤波器或同类跟踪滤波算法,根据时间差、第一位置信息和第二位置信息,确定目标对象的移动速度、移动加速度以及移动方向。
95.在本事实例中,需要假设物体的运动方程和观测方程都是线性的且误差服从正态分布的基础上,获得目标对象的移动速度、移动加速度以及移动方向的最优估计信息。
96.在示例性的实施例中,为了着重关注目标对象的目标对象中某一分块的运动信息,本技术方案还可以在确定目标对象之后对目标对象分割处理得到目标分块(为了与上述“第一目标分块”区分,将此处的目标分块记作“第二目标分块”),并进一步地确定第二目标分块的运动信息。例如,用户希望着重确定上述实施例中兔子的耳朵的运动信息,则在多帧探测数据中确定出该目标对象兔子之后,将该目标对象对应的数据集进行分块,并获取兔子耳朵部分对应的第二目标分块。进一步地,确定第二目标分块的运动信息,具体包括:
97.获取第i帧中第二目标分块对应的第i子数据集,以及获取第j帧中该第二目标分块对应的第j子数据集;将第i子数据集和第j子数据集进行匹配计算,得到反映第二目标分块在第j帧与第i帧间整体位置变化的相对位置信息;最终,根据该相对位置信息确定第二目标分块的运动信息。从而确定了兔子的耳朵部分的的移动速度、移动加速度以及移动方向等信息。
98.关于确定上述第二目标分块的运动信息的具体实施方式,与确定上述目标对象的运动信息的实施例相类似,在此不再赘述。
99.本技术方案所确定的上述相对位置信息反映目标对象(更为具体的,还可以是对目标对象分割处理之后的第二目标分块)的整体位置变化,而不是相关技术中所涉及的数据集中的某个点的位置变化。本方案中的上述相对位置信息能够减少确定目标对象/第二目标分块块的运动信息的误差,因此本方案能够通过整个目标的位置状态确定来代替选取目标的单一特征点或者多个特征点的位置变换关系来表征目标的运动信息,从而能够减少确定目标对象/第二目标分块的运动信息的误差,最终提升对目标对象/第二目标分块的估算精准度。
100.示例性的,本技术方案能够显著改进对以下情况:1.因为相对视角发生变化导致
传感器在不同帧观测到目标的不同部位,如有车辆从激光雷达超车而过,目标的观测点云从观测到超车车辆的车头部位变为观测到超车车辆的车位部分。2.行人行走时的摆臂动作造成的目标点云形体变化较大。3.两轮车骑行者在转弯时候车头摆弯导致的点云形体局部变化。4.超长拖挂车转弯时车头摆弯导致的点云形体局部较大变化。5.传感器观测目标在某时刻受到了局部的遮挡导致目标的局部点云缺失。
101.下述为本技术装置实施例,可以用于执行本技术方法实施例。对于本技术装置实施例中未披露的细节,请参照本技术方法实施例。
102.其中,图7示意性示出了根据一示例性的实施例中目标对象的运动信息确定装置的结构图。请参见图7,该图所示的目标对象的运动信息确定装置700可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分,还可以作为独立的模块集成于服务器上。
103.本技术实施例中的目标对象的运动信息确定装置700包括:目标对象确定模块710、数据集获取模块720、匹配模块730和运动信息确定模块740,其中:
104.上述目标对象确定模块710,用于:从n帧探测数据中确定出目标对象,n为正整数;上述数据集获取模块720,用于:获取第i帧中上述目标对象对应的第i数据集,以及获取第j帧中上述目标对象对应的第j数据集,i为小于n的正整数,j为大于1且不大于n的正整数,且i小于j;上述匹配模块730,用于:将上述第i数据集和上述第j数据集进行匹配计算,得到反映上述目标对象在上述第j帧与上述第i帧间整体位置变化的相对位置信息;以及,上述运动信息确定模块740,用于:根据上述相对位置信息确定上述目标对象的运动信息。
105.在示例性的实施例中,图8示意性示出了根据另一示例性的实施例中目标对象的运动信息确定装置的结构图。请参见图8:
106.示例性的,本技术实施例提供的目标对象的运动信息确定装置700中的匹配模块730具体用于:根据上述第i数据集和上述第j数据集计算上述目标对象的相对位移信息和相对姿态角信息,得到上述相对位置信息,其中,所述第i数据集经过所述相对位置信息的变换后与第j数据集重合度大于预设值。
107.示例性的,上述目标对象的运动信息确定装置700,还包括:分割处理模块760。
108.其中,上述分割处理模块760,用于:在上述目标对象确定模块710从n帧探测数据中确定出目标对象之后,将所述目标对象分割处理为多个分块;上述数据集获取模块720,还用于:对于每个所述分块,获取所述第i帧中对应的第i子数据集,以及获取所述第j帧中对应的第j子数据集;上述匹配模块730,具体用于:对于每个所述分块,将所述第i子数据集和所述第j子数据集进行匹配计算,得到多个重合度;将所述多个重合度种最大值对应的分块确定为第一目标分块;将根据所述第一目标分块对应的第i子数据集和第j子数据集确定的旋转位移矩阵,确定为反映所述目标对象在第j帧与第i帧间整体位置变化的相对位置信息。
109.示例性的,本技术实施例提供的目标对象的运动信息确定装置700中的运动信息确定模块740包括:位置信息确定单元7401、位置信息计算单元7402和运动信息确定单元7403。其中:
110.上述位置信息确定单元7401,用于:确定所述目标对象在所述第i帧中对应的第一位置信息;上述位置信息计算单元7402,用于:将上述相对位置信息和上述第一位置信息叠加,得到上述目标对象在上述第j帧中对应的第二位置信息;以及,上述运动信息确定单元
7403,用于:根据上述第一位置信息和上述第二位置信息确定上述目标对象的运动信息。
111.示例性的,其中,所述相对位置信息包括相对位移信息和相对姿态角信息;上述位置信息计算单元7402,具体用于:将所述相对位移信息叠加至所述第一位置信息,以使得所述第i数据集进行平移,以及基于所述相对姿态角叠加至所述第一位置信息,以使得所述第i数据集进行旋转,得到所述目标对象在所述第j帧中对应的第二位置信息。
112.示例性的,上述运动信息确定单元7403具体用于:获取上述第i帧和上述第j帧间的时间差;以及,基于卡尔曼滤波器或同类跟踪滤波算法,根据上述时间差、上述第一位置信息和上述第二位置信息,确定上述目标对象的移动速度、移动加速度以及移动方向。
113.示例性的,本技术实施例提供的目标对象的运动信息确定装置700中的目标对象确定模块710包括:检测目标识别单元7101和关联匹配单元7102。其中:
114.上述检测目标识别单元7101,用于:获取n帧探测数据,并识别每帧探测数据中的检测目标。以及,上述关联匹配单元7102用于:将不同帧之间的检测目标进行关联匹配,得到一个或多个目标对象。
115.示例性的,上述检测目标识别单元7101,具体用于:将第k帧探测数据输入至预训练的目标识别模型,并根据上述目标识别模型的输出确定上述第k帧探测数据中的检测目标,其中,k为不大于n的正整数。
116.示例性的,本技术实施例提供的目标对象的运动信息确定装置700还包括模型训练模块750。其中:
117.上述模型训练模块750,用于:获取包含标记信息的多帧探测数据以确定训练集和测试集,其中,上述标记信息包括每帧探测数据所包含的近场检测目标;通过上述训练集训练机器学习算法;通过上述测试集对训练过程中的机器学习分类模型进行测试,并将满足预设评价指标的机器学习分类模型确定为上述目标识别模型。
118.示例性的,上述关联匹配单元7102,具体用于:计算第m帧对应的检测目标与第n帧对应的检测目标之间的特征相似度,上述特征相似度包括形状特征的相似度、位置特征的相似度,以及反射率的相似度,m不等于n,且m、n为不大于n的正整数;将满足预算要求的特征相似度对应的检测目标确定为上述目标对象。
119.示例性的,上述分割处理模块760,还用于:在目标对象确定模块710从n帧探测数据中确定出目标对象之后,将上述目标对象分割处理,得到上述目标对象的第二目标分块;
120.上述数据集获取模块720,具体用于:获取第i帧中上述第二目标分块对应的第i子数据集,以及获取第j帧中上述第二目标分块对应的第j子数据集;上述匹配模块730,具体用于:将上述第i子数据集和上述第j子数据集进行匹配计算,得到反映上述第二目标分块在上述第j帧与上述第i帧间整体位置变化的相对位置信息;以及,上述运动信息确定模块740,具体用于:根据上述相对位置信息确定上述第二目标分块的运动信息。
121.由于本技术的示例实施例的目标对象的运动信息确定装置的各个功能模块与上述目标对象的运动信息确定方法的示例实施例的步骤对应,因此对于本技术装置实施例中未披露的细节,请参照本技术上述的目标对象的运动信息确定方法的实施例。
122.需要说明的是,上述实施例提供的目标对象的运动信息确定装置在执行目标对象的运动信息确定方法时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将设备的内部结构划分成不同的功能模
块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的目标对象的运动信息确定装置与目标对象的运动信息确定方法实施例属于同一构思,其体现实现过程详见方法实施例,这里不再赘述。
123.上述本技术实施例序号仅仅为了描述,不代表实施例的优劣。
124.本技术实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现前述任一实施例方法的步骤。其中,计算机可读存储介质可以包括但不限于任何类型的盘,包括软盘、光盘、dvd、cd-rom、微型驱动器以及磁光盘、rom、ram、eprom、eeprom、dram、vram、闪速存储器设备、磁卡或光卡、纳米系统(包括分子存储器ic),或适合于存储指令和/或数据的任何类型的媒介或设备。
125.本技术实施例还提供了一种终端,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述任一实施例方法的步骤。
126.图9示意性示出了适于用来实现上述目标对象的运动信息确定方法的终端的框图。如图9所示,终端900包括有:处理器901和存储器902。
127.本技术实施例中,处理器901为计算机系统的控制中心,可以是实体机的处理器,也可以是虚拟机的处理器。处理器901可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器901可以采用dsp(digital signal processing,数字信号处理)、fpga(field-programmable gate array,现场可编程门阵列)、pla(programmable logic array,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器901也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(central processing unit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。
128.在本技术实施例中,上述处理器901具体用于:从n帧探测数据中确定出目标对象,n为正整数;获取第i帧中上述目标对象对应的第i数据集,以及获取第j帧中上述目标对象对应的第j数据集,i为小于n的正整数,j为大于1且不大于n的正整数,且i小于j;将上述第i数据集和上述第j数据集进行匹配计算,得到反映上述目标对象在上述第j帧与上述第i帧间整体位置变化的相对位置信息;根据上述相对位置信息确定上述目标对象的运动信息。
129.进一步地,上述将上述第i数据集和上述第j数据集进行匹配计算,得到反映上述目标对象在上述第j帧与上述第i帧间整体位置变化的相对位置信息,包括:根据上述第i数据集和上述第j数据集计算上述目标对象的相对位移信息和相对姿态角信息,得到上述相对位置信息,其中,上述第i数据集经过上述相对位置信息的变换后与第j数据集重合度大于预设值。
130.进一步地,在从n帧探测数据中确定出目标对象之后,所述方法还包括:将所述目标对象分割处理为多个分块;对于每个所述分块,获取所述第i帧中对应的第i子数据集,以及获取所述第j帧中对应的第j子数据集;
131.将所述第i数据集和所述第j数据集进行匹配计算,得到反映所述目标对象在所述第j帧与所述第i帧间整体位置变化的相对位置信息,包括:对于每个所述分块,将所述第i子数据集和所述第j子数据集进行匹配计算,得到多个重合度;将所述多个重合度种最大值对应的分块确定为第一目标分块;将根据所述第一目标分块对应的第i子数据集和第j子数据集确定的旋转位移矩阵,确定为反映所述目标对象在第j帧与第i帧间整体位置变化的相
对位置信息。
132.进一步地,上述根据上述相对位置信息确定上述目标对象的运动信息,包括:确定所述目标对象在所述第i帧中对应的第一位置信息;将上述相对位置信息和上述第一位置信息叠加,得到上述目标对象在上述第j帧中对应的第二位置信息;根据上述第一位置信息和上述第二位置信息确定上述目标对象的运动信息。
133.进一步地,所述相对位置信息包括:相对位移信息和相对姿态角信息;将所述相对位置信息与所述第一位置信息叠加,得到所述目标对象在所述第j帧中对应的第二位置信息,包括:将所述相对位移信息叠加至所述第一位置信息,以使得所述第i数据集进行平移,以及基于所述相对姿态角叠加至所述第一位置信息,以使得所述第i数据集进行旋转,得到所述目标对象在所述第j帧中对应的第二位置信息。
134.进一步地,根据上述第一位置信息和上述第二位置信息确定上述目标对象的运动信息,包括:获取上述第i帧和上述第j帧间的时间差;基于卡尔曼滤波器或同类跟踪滤波算法,根据上述时间差、上述第一位置信息和上述第二位置信息,确定上述目标对象的移动速度、移动加速度以及移动方向。
135.进一步地,获取n帧探测数据,并从上述n帧探测数据中确定一个或多个目标对象,包括:获取n帧探测数据,并识别每帧探测数据中的检测目标;将不同帧之间的检测目标进行关联匹配,得到一个或多个目标对象。
136.进一步地,识别每帧探测数据中的检测目标,包括:将第k帧探测数据输入至预训练的目标识别模型,并根据上述目标识别模型的输出确定上述第k帧探测数据中的检测目标,其中,k为不大于n的正整数。
137.进一步地,上述方法还包括:获取包含标记信息的多帧探测数据以确定训练集和测试集,其中,上述标记信息包括每帧探测数据所包含的近场检测目标;通过上述训练集训练机器学习算法;通过上述测试集对训练过程中的机器学习分类模型进行测试,并将满足预设评价指标的机器学习分类模型确定为上述目标识别模型。
138.进一步地,上述将不同帧之间的检测目标进行关联匹配,得到一个或多个目标对象,包括:计算第m帧对应的检测目标与第n帧对应的检测目标之间的特征相似度,上述特征相似度包括形状特征的相似度、位置特征的相似度,以及反射率的相似度,m不等于n,且m、n为不大于n的正整数;将满足预算要求的特征相似度对应的检测目标确定为上述目标对象。
139.进一步地,在从n帧探测数据中确定出目标对象之后,上述方法还包括:将上述目标对象分割处理,得到上述目标对象的多个第二目标分块;
140.获取第i帧中上述目标对象对应的第i数据集,以及获取第j帧中上述目标对象对应的第j数据集,包括:获取第i帧中上述第二目标分块对应的第i子数据集,以及获取第j帧中上述第二目标分块对应的第j子数据集;
141.将上述第i数据集和上述第j数据集进行匹配计算,得到反映上述目标对象在上述第j帧与上述第i帧间整体位置变化的相对位置信息,包括:将上述第i子数据集和上述第j子数据集进行匹配计算,得到反映上述第二目标分块在上述第j帧与上述第i帧间整体位置变化的相对位置信息;
142.根据上述相对位置信息确定上述目标对象的运动信息,包括:根据上述相对位置信息确定上述第二目标分块的运动信息。
143.存储器902可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器902还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在本技术的一些实施例中,存储器902中的非暂态的计算机可读存储介质用于存储一个或多个指令,该一个或多个指令用于被处理器901所执行以实现本技术实施例中的方法。
144.一些实施例中,终端900还包括有:外围设备接口903和一个或多个外围设备。处理器901、存储器902和外围设备接口903之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口903相连。具体地,外围设备包括:显示屏904、摄像头905和音频电路906中的至少一种。
145.外围设备接口903可被用于将i/o(input/output,输入/输出)相关的一个或多个外围设备连接到处理器901和存储器902。在本技术的一些实施例中,处理器901、存储器902和外围设备接口903被集成在同一芯片或电路板上;在本技术的一些其他实施例中,处理器901、存储器902和外围设备接口903中的任意一个或两个可以在单独的芯片或电路板上实现。本技术实施例对此不作具体限定。
146.显示屏904用于显示ui(user interface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏904是触摸显示屏时,显示屏904还具有采集在显示屏904的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器901进行处理。此时,显示屏904还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在本技术的一些实施例中,显示屏904可以为一个,设置终端900的前面板;在本技术的另一些实施例中,显示屏904可以为至少两个,分别设置在终端900的不同表面或呈折叠设计;在本技术的再一些实施例中,显示屏904可以是柔性显示屏,设置在终端900的弯曲表面上或折叠面上。甚至,显示屏904还可以设置成非矩形的不规则图形,也即异形屏。显示屏904可以采用lcd(liquid crystal display,液晶显示屏)、oled(organic light-emitting diode,有机发光二极管)等材质制备。
147.摄像头905用于采集图像或视频。可选地,摄像头905包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality,虚拟现实)拍摄功能或者其它融合拍摄功能。在本技术的一些实施例中,摄像头905还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
148.音频电路906可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器901进行处理。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在终端900的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。
149.电源907用于为终端900中的各个组件进行供电。电源907可以是交流电、直流电、一次性电池或可充电电池。当电源907包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线
线圈充电的电池。该可充电电池还可以用于支持快充技术。
150.本技术实施例中示出的终端结构框图并不构成对终端900的限定,终端900可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。
151.在本技术中,术语“第一”、“第二”等仅用于描述的目的,而不能理解为指示或暗示相对重要性或顺序;术语“多个”则指两个或两个以上,除非另有明确的限定。术语“安装”、“相连”、“连接”、“固定”等术语均应做广义理解,例如,“连接”可以是固定连接,也可以是可拆卸连接,或一体地连接;“相连”可以是直接相连,也可以通过中间媒介间接相连。对于本领域的普通技术人员而言,可以根据具体情况理解上述术语在本技术中的具体含义。
152.本技术的描述中,需要理解的是,术语“上”、“下”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本技术和简化描述,而不是指示或暗示所指的装置或单元必须具有特定的方向、以特定的方位构造和操作,因此,不能理解为对本技术的限制。
153.以上上述,仅为本技术的具体实施方式,但本技术的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本技术揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本技术的保护范围之内。因此,依本技术权利要求所作的等同变化,仍属本技术所涵盖的范围。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1