提供基于照相机的鲁棒物体距离预测的方法及装置与流程

文档序号:21787682发布日期:2020-08-07 20:36阅读:来源:国知局

技术特征:

1.一种使用通过v2v通信而获得的追加信息来更精准地执行至少一个对象照相机的间距校准来提高基于上述对象照相机的物体距离预测的准确度的方法,该方法的特征在于,包括如下步骤:

(a)当通过上述对象照相机而获得至少一个参照图像时,计算装置执行(i)使初始间距校准模块对上述参照图像应用至少一个间距计算运算而生成对上述对象照相机的光轴与地面之间的角度进行预测来生成的值即初始预测间距的处理及(ii)使物体检测网络对上述参照图像应用至少一个神经网络运算来生成关于上述参照图像所包含的一个以上的参照物体的参照物体检测信息的处理;及

(b)上述计算装置使调整间距校准模块(i)从上述参照物体中选择至少一个目标物体,(ii)参照上述目标物体相对于搭载有上述对象照相机的对象自动驾驶车辆的至少一个相对位置及上述初始预测间距而计算上述目标物体的至少一个预测目标高度,然后(iii)参照上述预测目标高度及已获得的至少一个gt目标高度而计算与上述初始预测间距对应的至少一个误差,然后(iv)利用上述误差而确定关于上述对象照相机的至少一个调整预测间距。

2.根据权利要求1所述的方法,其特征在于,

上述计算装置使上述调整间距校准模块从上述参照物体中选择满足关于各个上述参照物体是否具备与可通信性对应的特定类别的第1条件的一个以上的特定参照物体,并从上述特定参照物体中选择满足如下的第2条件和第3条件中的至少一个条件的上述至少一个目标物体:(i)关于包含各个上述特定参照物体的各个特定参照边界框是否位于上述参照图像的至少一个插图窗口区域内的第2条件及(ii)关于各个上述特定参照边界框的纵横比是否小于预测临界值的第3条件。

3.根据权利要求1所述的方法,其特征在于,

在上述(b)步骤之前,

上述计算装置使距离计算模块参照上述初始预测间距、上述参照物体检测信息及上述参照图像而将包含各个上述参照物体的各个参照边界框的各个下端部分内的点即一个以上的参照位置基准点分别映射到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系,计算上述参照物体及上述对象自动驾驶车辆之间的一个以上的纵向地面距离及一个以上的横向地面距离,并生成包含上述纵向地面距离及上述横向地面距离分别作为分量的各个参照相对坐标。

4.根据权利要求3所述的方法,其特征在于,

在上述(b)步骤之前,

上述计算装置使上述距离计算模块参照以下的数学式而将上述参照位置基准点映射到上述空间坐标系,

(x1,y1)→(x1,z1),

在上述数学式中,(x1,y1)表示上述参照图像上的上述参照位置基准点之一的坐标,(x1,z1)表示利用上述对象自动驾驶车辆的位置而设定原始点的上述空间坐标系中与(x1,y1)对应的上述参照相对坐标之一,x1表示上述横向地面距离之一,z1表示上述纵向地面距离之一,θ表示上述初始预测间距,(cx,cy)表示上述对象照相机的主点坐标,l表示自上述地面的上述对象照相机的高度,f表示上述对象照相机的焦距。

5.根据权利要求3所述的方法,其特征在于,

在上述(b)步骤之前,

上述计算装置使v2v通信模块与自上述对象自动驾驶车辆位于比临界距离近的位置的一个以上的可通信物体进行通信而获得关于一个以上的可通信物体类别、一个以上的可通信物体gt高度及一个以上的可通信物体坐标的信息,使上述调整间距校准模块从上述参照物体中选择具备与可通信性对应的特定类别的特定参照物体,然后参照(i)利用上述可通信物体坐标而计算的相对于上述对象自动驾驶车辆的可通信物体相对坐标及(ii)上述特定参照物体的特定参照相对坐标,将上述可通信物体gt高度中的至少一部分与上述特定参照物体中的至少一部分配对,从而获得相对于上述特定参照物体的特定参照gt高度。

6.根据权利要求1所述的方法,其特征在于,

在上述(b)步骤中,

当选择了上述目标物体时,上述计算装置使上述调整间距校准模块从上述参照相对坐标中选择与上述目标物体对应的目标相对坐标,参照上述初始预测间距而执行高度预测运算来计算上述预测目标高度,参照以下的数学式来执行上述高度预测运算,

在上述数学式中,z1表示上述目标相对坐标(x1,z1)的纵向地面距离,θ表示上述预测间距,l表示自上述地面的上述对象照相机的高度,z2表示将包含上述目标物体的目标边界框的上端部分内的点即目标高度预测基准点(x2,y2)映射到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系而生成的目标高度预测点的分量即纵向投影距离,f表示上述对象照相机的焦距。

7.根据权利要求1所述的方法,其特征在于,

在上述(b)步骤中,

在上述目标物体的数量为1个的情况下,上述计算装置使上述调整间距校准模块(i)参照上述gt目标高度来设定过大预测范围及过小预测范围,(ii-1)在上述预测目标高度包含于上述过大预测范围内的情况下,执行以所预设的调整比率来减小上述初始预测间距的调整,或(ii-2)上述预测目标高度包含于上述过小预测范围内的情况下,执行以上述预设的调整比率来增加上述初始预测间距的调整。

8.根据权利要求1所述的方法,其特征在于,

在上述(b)步骤中,

在上述目标物体的数量为2个以上的情况下,上述计算装置使上述调整间距校准模块(i)参照上述gt目标高度而设定过大预测范围及过小预测范围,(ii)获得关于与上述过大预测范围对应的过大预测误差比率及与上述过小预测范围对应的过小预测误差比率中的至少一个的信息,(iii)参照上述获得的信息而调整上述初始预测间距。

9.根据权利要求1所述的方法,其特征在于,

在上述(a)步骤中,

上述计算装置使上述初始间距校准模块对上述参照图像应用上述间距计算运算而生成上述初始预测间距,参照以下的数学式而执行上述间距计算运算,

在上述数学式中,vy表示上述参照图像的消失点的y方向的坐标,其中通过找出上述参照图像的一个以上的线消失的点而获得关于上述消失点的信息,cy表示上述参照图像的主点的y方向的坐标,并且fy表示上述参照图像的焦点的y方向的坐标。

10.根据权利要求1所述的方法,其特征在于,

在上述(a)步骤中,

上述计算装置(i)使上述物体检测网络所包含的卷积层对上述参照图像应用作为上述神经网络运算的一部分的至少一个卷积运算而生成至少一个参照卷积特征图,(ii)使上述物体检测网络所包含的roi池化层应用在上述参照卷积特征图中将与上述参照图像的roi对应的值池化的作为上述神经网络运算的一部分的至少一个池化运算,从而生成至少一个参照roi池化特征图,然后(iii)使上述物体检测网络所包含的fc层对上述参照roi池化特征图应用作为上述神经网络运算的一部分的至少一个fc运算,从而生成包含关于上述参照物体的参照类别的信息及关于上述参照物体的参照边界框的信息的上述参照物体检测信息。

11.根据权利要求1所述的方法,其特征在于,还包括如下步骤:

(c)上述计算装置使上述物体检测网络及上述距离计算模块生成自动驾驶信息,上述自动驾驶信息包含关于参照上述调整预测间距而计算的、自动驾驶图像所包含的周边物体与上述对象自动驾驶车辆之间的距离的信息。

12.一种使用通过v2v通信而获得的追加信息来更精准地执行至少一个对象照相机的间距校准来提高基于上述对象照相机的物体距离预测的准确度的计算装置,该计算装置的特征在于,其包括:

一个以上的存储器,其存储指令;及

至少一个处理器,其执行用于执行如下处理的上述指令:(i)当通过上述对象照相机而获得至少一个参照图像时,执行(i)使初始间距校准模块对上述参照图像应用至少一个间距计算运算而生成对上述对象照相机的光轴与地面之间的角度进行预测来生成的值即初始预测间距的处理及(ii)使物体检测网络对上述参照图像应用至少一个神经网络运算来生成关于上述参照图像所包含的一个以上的参照物体的参照物体检测信息的处理;及(ii)使调整间距校准模块(i)从上述参照物体中选择至少一个目标物体,(ii)参照上述目标物体相对于搭载有上述对象照相机的对象自动驾驶车辆的至少一个相对位置及上述初始预测间距而计算上述目标物体的至少一个预测目标高度,然后(iii)参照上述预测目标高度及已获得的至少一个gt目标高度而计算与上述初始预测间距对应的至少一个误差,然后(iv)利用上述误差而确定关于上述对象照相机的至少一个调整预测间距。

13.根据权利要求12所述的计算装置,其特征在于,

上述处理器使上述调整间距校准模块从上述参照物体中选择满足关于各个上述参照物体是否具备与可通信性对应的特定类别的第1条件的一个以上的特定参照物体,并从上述特定参照物体中选择满足如下的第2条件和第3条件中的至少一个条件的上述至少一个目标物体:(i)关于包含各个上述特定参照物体的各个特定参照边界框是否位于上述参照图像的至少一个插图窗口区域内的第2条件及(ii)关于各个上述特定参照边界框的纵横比是否小于预测临界值的第3条件。

14.根据权利要求12所述的计算装置,其特征在于,

在上述(ii)处理之前,上述处理器使距离计算模块参照上述初始预测间距、上述参照物体检测信息及上述参照图像而将包含各个上述参照物体的各个参照边界框的各个下端部分内的点即一个以上的参照位置基准点分别映射到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系,计算上述参照物体及上述对象自动驾驶车辆之间的一个以上的纵向地面距离及一个以上的横向地面距离,并生成包含上述纵向地面距离及上述横向地面距离分别作为分量的各个参照相对坐标。

15.根据权利要求14所述的计算装置,其特征在于,

在上述(ii)处理之前,上述处理器使上述距离计算模块参照以下的数学式而将上述参照位置基准点映射到上述空间坐标系,

(x1,y1)→(x1,z1),

在上述数学式中,(x1,y1)表示上述参照图像上的上述参照位置基准点之一的坐标,(x1,z1)表示利用上述对象自动驾驶车辆的位置而设定原始点的上述空间坐标系中与(x1,y1)对应的上述参照相对坐标之一,x1表示上述横向地面距离之一,z1表示上述纵向地面距离之一,θ表示上述初始预测间距,(cx,cy)表示上述对象照相机的主点坐标,l表示自上述地面的上述对象照相机的高度,f表示上述对象照相机的焦距。

16.根据权利要求14所述的计算装置,其特征在于,

在上述(ii)处理之前,上述处理器使v2v通信模块与自上述对象自动驾驶车辆位于比临界距离近的位置的一个以上的可通信物体进行通信而获得关于一个以上的可通信物体类别、一个以上的可通信物体gt高度及一个以上的可通信物体坐标的信息,使上述调整间距校准模块从上述参照物体中选择具备与可通信性对应的特定类别的特定参照物体,然后参照(i)利用上述可通信物体坐标而计算的相对于上述对象自动驾驶车辆的可通信物体相对坐标及(ii)上述特定参照物体的特定参照相对坐标,将上述可通信物体gt高度中的至少一部分与上述特定参照物体中的至少一部分配对,从而获得相对于上述特定参照物体的特定参照gt高度。

17.根据权利要求12所述的计算装置,其特征在于,

在上述(ii)处理中,当选择了上述目标物体时,上述处理器使上述调整间距校准模块从上述参照相对坐标中选择与上述目标物体对应的目标相对坐标,参照上述初始预测间距而执行高度预测运算来计算上述预测目标高度,参照以下的数学式来执行上述高度预测运算,

在上述数学式中,z1表示上述目标相对坐标(x1,z1)的纵向地面距离,θ表示上述预测间距,l表示自上述地面的上述对象照相机的高度,z2表示将包含上述目标物体的目标边界框的上端部分内的点即目标高度预测基准点(x2,y2)映射到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系而生成的目标高度预测点的分量即纵向投影距离,f表示上述对象照相机的焦距。

18.根据权利要求12所述的计算装置,其特征在于,

在上述(ii)处理中,

在上述目标物体的数量为1个的情况下,上述处理器使上述调整间距校准模块(i)参照上述gt目标高度来设定过大预测范围及过小预测范围,(ii-1)在上述预测目标高度包含于上述过大预测范围内的情况下,执行以所预设的调整比率来减小上述初始预测间距的调整,或(ii-2)上述预测目标高度包含于上述过小预测范围内的情况下,执行以上述预设的调整比率来增加上述初始预测间距的调整。

19.根据权利要求12所述的计算装置,其特征在于,

在上述(ii)处理中,

在上述目标物体的数量为2个以上的情况下,上述处理器使上述调整间距校准模块(i)参照上述gt目标高度而设定过大预测范围及过小预测范围,(ii)获得关于与上述过大预测范围对应的过大预测误差比率及与上述过小预测范围对应的过小预测误差比率中的至少一个的信息,(iii)参照上述获得的信息而调整上述初始预测间距。

20.根据权利要求12所述的计算装置,其特征在于,

在上述(ii)处理中,

上述处理器使上述初始间距校准模块对上述参照图像应用上述间距计算运算而生成上述初始预测间距,参照以下的数学式而执行上述间距计算运算,

在上述数学式中,vy表示上述参照图像的消失点的y方向的坐标,其中通过找出上述参照图像的一个以上的线消失的点而获得关于上述消失点的信息,cy表示上述参照图像的主点的y方向的坐标,并且fy表示上述参照图像的焦点的y方向的坐标。

21.根据权利要求12所述的计算装置,其特征在于,

在上述(ii)处理中,

上述处理器(i)使上述物体检测网络所包含的卷积层对上述参照图像应用作为上述神经网络运算的一部分的至少一个卷积运算而生成至少一个参照卷积特征图,(ii)使上述物体检测网络所包含的roi池化层应用在上述参照卷积特征图中将与上述参照图像的roi对应的值池化的作为上述神经网络运算的一部分的至少一个池化运算,从而生成至少一个参照roi池化特征图,然后(iii)使上述物体检测网络所包含的fc层对上述参照roi池化特征图应用作为上述神经网络运算的一部分的至少一个fc运算,从而生成包含关于上述参照物体的参照类别的信息及关于上述参照物体的参照边界框的信息的上述参照物体检测信息。

22.根据权利要求12所述的计算装置,其特征在于,

上述处理器还执行如下处理:(iii)使上述物体检测网络及上述距离计算模块生成自动驾驶信息,上述自动驾驶信息包含关于参照上述调整预测间距而计算的、自动驾驶图像所包含的周边物体与上述对象自动驾驶车辆之间的距离的信息。


技术总结
提供基于照相机的鲁棒物体距离预测的方法及装置。一种使用通过V2V通信而获得的追加信息来更精准地执行对象照相机的间距校准来提高基于上述对象照相机的物体距离预测的准确度的方法,包括如下步骤:(a)计算装置执行(i)使初始间距校准模块对上述参照图像应用间距计算运算而生成初始预测间距的处理及(ii)使物体检测网络对上述参照图像应用神经网络运算来生成参照物体检测信息的处理;及(b)上述计算装置使调整间距校准模块(i)选择至少一个目标物体,(ii)计算上述目标物体的预测目标高度,然后(iii)计算与上述初始预测间距对应的误差,然后(iv)利用上述误差而确定关于上述对象照相机的调整预测间距。

技术研发人员:金桂贤;金镕重;金鹤京;南云铉;夫硕焄;成明哲;申东洙;吕东勋;柳宇宙;李明春;李炯树;张泰雄;郑景中;诸泓模;赵浩辰
受保护的技术使用者:斯特拉德视觉公司
技术研发日:2020.01.08
技术公布日:2020.08.07
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1