提供基于照相机的鲁棒物体距离预测的方法及装置与流程
本发明涉及用于自动驾驶车辆的方法及装置，更具体地，涉及提供基于照相机的鲁棒物体距离预测的方法及装置。
背景技术：
近年来，自动驾驶技术作为未来技术而受到关注。尤其，在自动驾驶技术中包括：识别周边物体，并预测自动驾驶车辆与上述周边物体之间的距离的处理。通过上述处理，上述自动驾驶技术使上述自动驾驶车辆安全地行驶，避免与上述周边物体发生冲撞。
以往的自动驾驶技术包括：在通过照相机而获得的输入图像中寻找消失点(vanishingpoint)的处理。此时，间距校准(pitchcalibration)是利用上述输入图像上的上述消失点及主点(principalpoint)之间的关系而计算与上述照相机的镜头表面对应的一般向量与地面之间的角度来执行的。之后，利用上述计算的角度而计算上述输入图像所包含的至少一个物体及上述自动驾驶车辆之间的至少一个距离。
另一方面，上述以往的自动驾驶技术存在如下问题：当通过上述照相机而获得的上述输入图像的质量下降时上述距离计算的准确度急剧下降。由于基于上述输入图像而预测上述距离，因此在上述距离预测时当然会发生缺陷。但是，在大多数情况下，真正的问题在于人不能防止在上述图像出现缺陷。具体地，在隧道中光变弱或因下雨视野变模糊这样的问题是不能通过使用性能优异的照相机或良好地设计自动驾驶系统就能够解决的。
因此，需要一种在通过上述照相机而获得的上述输入图像的质量不好时也能够准确地计算距离的方法。
技术实现要素：
发明要解决的课题
本发明的目的在于解决上述问题。
本发明的另一目的在于提供一种进一步使用通过v2v通信而获得的信息而更精准地执行照相机的间距校准的方法，从而即便在通过至少一个照相机而获得的输入影像的质量不好时也能够预测自动驾驶车辆与周边物体之间的距离。
用于解决课题的手段
用于达到如上述的本发明的目的并实现后述的本发明的特征性效果的本发明的特征性结构如下。
根据本发明的一个方式，提供一种使用通过v2v(vehicletovehicle)通信而获得的追加信息来更精准地执行至少一个对象照相机的间距校准(pitchcalibration)来提高基于上述对象照相机的物体距离预测的准确度的方法，该方法的特征在于，包括如下步骤：(a)当通过上述对象照相机而获得至少一个参照图像时，计算装置执行(i)使初始间距校准模块对上述参照图像应用至少一个间距计算运算而生成对上述对象照相机的光轴与地面之间的角度进行预测来生成的值即初始预测间距的处理及(ii)使物体检测网络对上述参照图像应用至少一个神经网络运算来生成关于上述参照图像所包含的一个以上的参照物体的参照物体检测信息的处理；及(b)上述计算装置使调整间距校准模块(i)从上述参照物体中选择至少一个目标物体，(ii)参照上述目标物体相对于搭载有上述对象照相机的对象自动驾驶车辆的至少一个相对位置及上述初始预测间距而计算上述目标物体的至少一个预测目标高度，然后(iii)参照上述预测目标高度及已获得的至少一个gt(ground-truth)目标高度而计算与上述初始预测间距对应的至少一个误差，然后(iv)利用上述误差而确定关于上述对象照相机的至少一个调整预测间距。
在一个实施例中，该方法的特征在于，上述计算装置使上述调整间距校准模块从上述参照物体中选择满足关于各个上述参照物体是否具备与可通信性对应的特定类别的第1条件的一个以上的特定参照物体，并从上述特定参照物体中选择满足如下的第2条件和第3条件中的至少一个条件的上述至少一个目标物体：(i)关于包含各个上述特定参照物体的各个特定参照边界框是否位于上述参照图像的至少一个插图窗口(illustrationwindow)区域内的第2条件及(ii)关于各个上述特定参照边界框的纵横比(aspectratio)是否小于预测临界值的第3条件。
在一个实施例中，该方法的特征在于，在上述(b)步骤之前，上述计算装置使距离计算模块参照上述初始预测间距、上述参照物体检测信息及上述参照图像而将包含各个上述参照物体的各个参照边界框的各个下端部分内的点即一个以上的参照位置基准点分别映射(mapping)到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系，计算上述参照物体及上述对象自动驾驶车辆之间的一个以上的纵向地面距离及一个以上的横向地面距离，并生成包含上述纵向地面距离及上述横向地面距离分别作为分量的各个参照相对坐标。
在一个实施例中，该方法的特征在于，在上述(b)步骤之前，上述计算装置使上述距离计算模块参照以下的数学式而将上述参照位置基准点映射到上述空间坐标系，
(x1,y1)→(x1,z1),
在上述数学式中，(x1，y1)表示上述参照图像上的上述参照位置基准点之一的坐标，(x1，z1)表示利用上述对象自动驾驶车辆的位置而设定原始点的上述空间坐标系中与(x1，y1)对应的上述参照相对坐标之一，x1表示上述横向地面距离之一，z1表示上述纵向地面距离之一，θ表示上述初始预测间距，(cx，cy)表示上述对象照相机的主点坐标(coordinateofaprincipalpoint)，l表示自上述地面的上述对象照相机的高度，f表示上述对象照相机的焦距。
在一个实施例中，该方法的特征在于，在上述(b)步骤之前，上述计算装置使v2v通信模块与自上述对象自动驾驶车辆位于比临界距离近的位置的一个以上的可通信物体进行通信而获得关于一个以上的可通信物体类别、一个以上的可通信物体gt高度及一个以上的可通信物体坐标的信息，使上述调整间距校准模块从上述参照物体中选择具备与可通信性对应的特定类别的特定参照物体，然后参照(i)利用上述可通信物体坐标而计算的相对于上述对象自动驾驶车辆的可通信物体相对坐标及(ii)上述特定参照物体的特定参照相对坐标，将上述可通信物体gt高度中的至少一部分与上述特定参照物体中的至少一部分配对(pairing)，从而获得相对于上述特定参照物体的特定参照gt高度。
在一个实施例中，该方法的特征在于，在上述(b)步骤中，当选择了上述目标物体时，上述计算装置使上述调整间距校准模块从上述参照相对坐标中选择与上述目标物体对应的目标相对坐标，参照上述初始预测间距而执行高度预测运算来计算上述预测目标高度，参照以下的数学式来执行上述高度预测运算，
在上述数学式中，z1表示上述目标相对坐标(x1，z1)的纵向地面距离，θ表示上述预测间距，l表示自上述地面的上述对象照相机的高度，z2表示将包含上述目标物体的目标边界框的上端部分内的点即目标高度预测基准点(x2，y2)映射到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系而生成的目标高度预测点的分量即纵向投影距离，f表示上述对象照相机的焦距。
在一个实施例中，该方法的特征在于，在上述(b)步骤中，在上述目标物体的数量为1个的情况下，上述计算装置使上述调整间距校准模块(i)参照上述gt目标高度来设定过大预测范围及过小预测范围，(ii-1)在上述预测目标高度包含于上述过大预测范围内的情况下，执行以所预设的调整比率来减小上述初始预测间距的调整，或(ii-2)上述预测目标高度包含于上述过小预测范围内的情况下，执行以上述预设的调整比率来增加上述初始预测间距的调整。
在一个实施例中，该方法的特征在于，在上述(b)步骤中，在上述目标物体的数量为2个以上的情况下，上述计算装置使上述调整间距校准模块(i)参照上述gt目标高度而设定过大预测范围及过小预测范围，(ii)获得关于与上述过大预测范围对应的过大预测误差比率及与上述过小预测范围对应的过小预测误差比率中的至少一个的信息，(iii)参照上述获得的信息而调整上述初始预测间距。
在一个实施例中，该方法的特征在于，在上述(a)步骤中，上述计算装置使上述初始间距校准模块对上述参照图像应用上述间距计算运算而生成上述初始预测间距，参照以下的数学式而执行上述间距计算运算，
在上述数学式中，vy表示上述参照图像的消失点的y方向的坐标，其中通过找出上述参照图像的一个以上的线消失的点而获得关于上述消失点的信息，cy表示上述参照图像的主点的y方向的坐标，并且fy表示上述参照图像的焦点的y方向的坐标。
在一个实施例中，该方法的特征在于，在上述(a)步骤中，上述计算装置(i)使上述物体检测网络所包含的卷积层对上述参照图像应用作为上述神经网络运算的一部分的至少一个卷积运算而生成至少一个参照卷积特征图，(ii)使上述物体检测网络所包含的roi池化层应用在上述参照卷积特征图中将与上述参照图像的roi对应的值池化的作为上述神经网络运算的一部分的至少一个池化运算，从而生成至少一个参照roi池化特征图，然后(iii)使上述物体检测网络所包含的fc层对上述参照roi池化特征图应用作为上述神经网络运算的一部分的至少一个fc运算，从而生成包含关于上述参照物体的参照类别的信息及关于上述参照物体的参照边界框的信息的上述参照物体检测信息。
在一个实施例中，该方法的特征在于，还包括如下步骤：(c)上述计算装置使上述物体检测网络及上述距离计算模块生成自动驾驶信息，上述自动驾驶信息包含关于参照上述调整预测间距而计算的、自动驾驶图像所包含的周边物体与上述对象自动驾驶车辆之间的距离的信息。
根据本发明的另一方式，提供一种使用通过v2v(vehicletovehicle)通信而获得的追加信息来更精准地执行至少一个对象照相机的间距校准(pitchcalibration)来提高基于上述对象照相机的物体距离预测的准确度的计算装置，该计算装置的特征在于，其包括：一个以上的存储器，其存储指令；及至少一个处理器，其执行用于执行如下处理的上述指令：(i)当通过上述对象照相机而获得至少一个参照图像时，执行(i)使初始间距校准模块对上述参照图像应用至少一个间距计算运算而生成对上述对象照相机的光轴与地面之间的角度进行预测来生成的值即初始预测间距的处理及(ii)使物体检测网络对上述参照图像应用至少一个神经网络运算来生成关于上述参照图像所包含的一个以上的参照物体的参照物体检测信息的处理；及(ii)使调整间距校准模块(i)从上述参照物体中选择至少一个目标物体，(ii)参照上述目标物体相对于搭载有上述对象照相机的对象自动驾驶车辆的至少一个相对位置及上述初始预测间距而计算上述目标物体的至少一个预测目标高度，然后(iii)参照上述预测目标高度及已获得的至少一个gt(ground-truth)目标高度而计算与上述初始预测间距对应的至少一个误差，然后(iv)利用上述误差而确定关于上述对象照相机的至少一个调整预测间距。
在一个实施例中，该计算装置的特征在于，上述处理器使上述调整间距校准模块从上述参照物体中选择满足关于各个上述参照物体是否具备与可通信性对应的特定类别的第1条件的一个以上的特定参照物体，并从上述特定参照物体中选择满足如下的第2条件和第3条件中的至少一个条件的上述至少一个目标物体：(i)关于包含各个上述特定参照物体的各个特定参照边界框是否位于上述参照图像的至少一个插图窗口(illustrationwindow)区域内的第2条件及(ii)关于各个上述特定参照边界框的纵横比(aspectratio)是否小于预测临界值的第3条件。
在一个实施例中，该计算装置的特征在于，在上述(ii)处理之前，上述处理器使距离计算模块参照上述初始预测间距、上述参照物体检测信息及上述参照图像而将包含各个上述参照物体的各个参照边界框的各个下端部分内的点即一个以上的参照位置基准点分别映射(mapping)到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系，计算上述参照物体及上述对象自动驾驶车辆之间的一个以上的纵向地面距离及一个以上的横向地面距离，并生成包含上述纵向地面距离及上述横向地面距离分别作为分量的各个参照相对坐标。
在一个实施例中，该计算装置的特征在于，在上述(ii)处理之前，上述处理器使上述距离计算模块参照以下的数学式而将上述参照位置基准点映射到上述空间坐标系，
(x1，y1)→(x1,z1),
在上述数学式中，(x1，y1)表示上述参照图像上的上述参照位置基准点之一的坐标，(x1，z1)表示利用上述对象自动驾驶车辆的位置而设定原始点的上述空间坐标系中与(x1，y1)对应的上述参照相对坐标之一，x1表示上述横向地面距离之一，z1表示上述纵向地面距离之一，θ表示上述初始预测间距，(cx，cy)表示上述对象照相机的主点坐标，l表示自上述地面的上述对象照相机的高度，f表示上述对象照相机的焦距。
在一个实施例中，该计算装置的特征在于，在上述(ii)处理之前，上述处理器使v2v通信模块与自上述对象自动驾驶车辆位于比临界距离近的位置的一个以上的可通信物体进行通信而获得关于一个以上的可通信物体类别、一个以上的可通信物体gt高度及一个以上的可通信物体坐标的信息，使上述调整间距校准模块从上述参照物体中选择具备与可通信性对应的特定类别的特定参照物体，然后参照(i)利用上述可通信物体坐标而计算的相对于上述对象自动驾驶车辆的可通信物体相对坐标及(ii)上述特定参照物体的特定参照相对坐标，将上述可通信物体gt高度中的至少一部分与上述特定参照物体中的至少一部分配对(pairing)，从而获得相对于上述特定参照物体的特定参照gt高度。
在一个实施例中，该计算装置的特征在于，在上述(ii)处理中，当选择了上述目标物体时，上述处理器使上述调整间距校准模块从上述参照相对坐标中选择与上述目标物体对应的目标相对坐标，参照上述初始预测间距而执行高度预测运算来计算上述预测目标高度，参照以下的数学式来执行上述高度预测运算，
在上述数学式中，z1表示上述目标相对坐标(x1，z1)的纵向地面距离，θ表示上述预测间距，l表示自上述地面的上述对象照相机的高度，z2表示将包含上述目标物体的目标边界框的上端部分内的点即目标高度预测基准点(x2，y2)映射到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系而生成的目标高度预测点的分量即纵向投影距离，f表示上述对象照相机的焦距。
在一个实施例中，该计算装置的特征在于，在上述(ii)处理中，在上述目标物体的数量为1个的情况下，上述处理器使上述调整间距校准模块(i)参照上述gt目标高度来设定过大预测范围及过小预测范围，(ii-1)在上述预测目标高度包含于上述过大预测范围内的情况下，执行以所预设的调整比率来减小上述初始预测间距的调整，或(ii-2)上述预测目标高度包含于上述过小预测范围内的情况下，执行以上述预设的调整比率来增加上述初始预测间距的调整。
在一个实施例中，该计算装置的特征在于，在上述(ii)处理中，在上述目标物体的数量为2个以上的情况下，上述处理器使上述调整间距校准模块(i)参照上述gt目标高度而设定过大预测范围及过小预测范围，(ii)获得关于与上述过大预测范围对应的过大预测误差比率及与上述过小预测范围对应的过小预测误差比率中的至少一个的信息，(iii)参照上述获得的信息而调整上述初始预测间距。
在一个实施例中，该计算装置的特征在于，在上述(ii)处理中，上述处理器使上述初始间距校准模块对上述参照图像应用上述间距计算运算而生成上述初始预测间距，参照以下的数学式而执行上述间距计算运算，
在上述数学式中，vy表示上述参照图像的消失点的y方向的坐标，其中通过找出上述参照图像的一个以上的线消失的点而获得关于上述消失点的信息，cy表示上述参照图像的主点的y方向的坐标，并且fy表示上述参照图像的焦点的y方向的坐标。
在一个实施例中，该计算装置的特征在于，在上述(ii)处理中，上述处理器(i)使上述物体检测网络所包含的卷积层对上述参照图像应用作为上述神经网络运算的一部分的至少一个卷积运算而生成至少一个参照卷积特征图，(ii)使上述物体检测网络所包含的roi池化层应用在上述参照卷积特征图中将与上述参照图像的roi对应的值池化的作为上述神经网络运算的一部分的至少一个池化运算，从而生成至少一个参照roi池化特征图，然后(iii)使上述物体检测网络所包含的fc层对上述参照roi池化特征图应用作为上述神经网络运算的一部分的至少一个fc运算，从而生成包含关于上述参照物体的参照类别的信息及关于上述参照物体的参照边界框的信息的上述参照物体检测信息。
在一个实施例中，该计算装置的特征在于，上述处理器还执行如下处理：(iii)使上述物体检测网络及上述距离计算模块生成自动驾驶信息，上述自动驾驶信息包含关于参照上述调整预测间距而计算的、自动驾驶图像所包含的周边物体与上述对象自动驾驶车辆之间的距离的信息。
此外，还提供用于记录执行本发明的方法的计算机程序的计算机可读取的记录介质。
发明效果
本发明提供一种进一步使用通过v2v通信而获得的信息来更精准地执行照相机的间距校准的方法，从而即便在通过至少一个照相机而获得的输入影像的质量不好时也能够预测自动驾驶车辆与周边物体之间的距离。
附图说明
为了对本发明的实施例进行说明而所附的下面的附图仅为本发明的实施例中的一部分，具有本发明所属技术领域的普通知识的人(以下，称为“本领域技术人员”)在无需创作性劳动的情况下，可基于该附图而获得其他的图。
图1是概略性地示出根据本发明的一个实施例而进一步使用通过v2v通信而获得的信息来更精准地执行照相机的间距校准的计算装置的结构的图。
图2是概略性地示出根据本发明的一个实施例而进一步使用通过v2v通信而获得的信息来更精准地执行照相机的间距校准的方法的流程图。
图3是概略性地示出计算在根据本发明的一个实施例而进一步使用通过v2v通信而获得的信息来更精准地执行照相机的间距校准时使用的初始预测间距的方法的图。
图4是概略性地示出计算在根据本发明的一个实施例而进一步使用通过v2v通信而获得的信息来更精准地执行照相机的间距校准时使用的目标物体的预测目标高度的方法的图。
具体实施方式
在后述的对本发明的详细的说明中，为了清楚地说明本发明的目的、技术方法及优点，参照将可实施本发明的特定实施例作为示例来图示的附图。对这些实施例进行详细说明，以供本领域技术人员足以实施本发明。
另外，在本发明的详细的说明及权利要求中，“包括”这一用语及它们的变形并非表示排除其他技术特征、附加物、构成要素或步骤。对于本领域技术人员来讲，关于本发明的另一目的、优点及特性，可根据本说明书来理解其一部分，并通过实施本发明来理解另一部分。下面的例示及附图仅为实例，并非对本发明进行限定。
进而，本发明包括在本说明书中所示的实施例的所有可能的组合。虽然本发明的各种实施例彼此不同，但并非是排他性的。例如，在此记载的特定形状、结构及特性在一个实施例中在未脱离本发明的精神及范围的情况下可体现为另一个实施例。另外，关于各个公开的实施例内的个别构成要素的位置或配置，在不脱离本发明的精神及范围的情况下可进行变更。因此，后述的详细的说明并非具备限定性的意思，关于本发明的范围，确切地来讲应根据与其权利要求所主张的内容均等的所有范围及所附权利要求来限定。附图中的类似的符号在各个侧面上指相同或类似的功能。
本发明中提及的各种图像包括柏油路或非柏油路相关图像，在该情况下，可假设在道路环境中会出现的物体(如汽车、人、动物、植物、物件、建筑、飞机或无人机这样的飞行体、其他障碍物)，但并非仅限于此，在本发明中提及的各种图像也可以是与道路无关的图像(如关于非柏油路、小胡同、空地、大海、湖、江、山、树丛、沙漠、天空、室内的图像)，在该情况下，可假设在非柏油路、小胡同、空地、大海、湖、江、山、树丛、沙漠、天空、室内环境中出现的物体(如汽车、人、动物、植物、物件、建筑、飞机或无人机这样的飞行体、其他障碍物)，但不仅限于此。
下面，参照附图，对本发明的优选的实施例进行详细说明，以供本领域技术人员能够容易地实施本发明。
图1是概略性地示出根据本发明的一个实施例而进一步使用通过v2v通信而获得的信息来更精准地执行照相机的间距校准的计算装置的结构的图。
参照图1，上述计算装置100包括随后详细说明的部分即至少一个v2v通信模块130、至少一个初始间距校准模块140、至少一个调整间距校准模块150、至少一个距离计算模块160及至少一个物体检测网络170。此时，上述v2v通信模块130、上述初始间距校准模块140，上述调整间距校准模块150、上述距离计算模块160及上述物体检测网络170的输入/输出及运算过程通过至少一个通信部120及至少一个处理器110而实现。但是，在图1中省略了上述通信部120及上述处理器110的具体的通信结构图。此时，存储器115可以是存储了后述的各种指令的状态，上述处理器110执行存储于上述存储器115的指令，通过执行后述的上述指令而执行本发明的处理。在此虽然记载了这样的上述计算装置100，但作为上述计算装置100并非排除包括处理器、存储器、介质或其他运算要素的综合装置。
在本发明中，上述计算装置100与包括使用本发明的方法而校准的对象照相机的对象自动驾驶车辆联动地执行动作。在该情况下，上述计算装置100直接搭载于上述对象自动驾驶车辆或搭载于与上述对象自动驾驶车辆进行通信的中央服务器。
以上，对根据本发明的一个实施例而进一步使用通过上述v2v通信而获得的信息来更精准地执行照相机的间距校准的上述计算装置100的结构进行了说明，下面参照附图2而对根据本发明的基于上述照相机的物体距离预测方法进行说明。
图2是概略性地示出根据本发明的一个实施例而进一步使用通过v2v通信而获得的信息来更精准地执行照相机的间距校准的方法的流程图。
参照图2，当通过上述对象照相机而获得参照图像时，分别通过上述初始间距校准模块140和上述物体检测网络170而进行运算，上述运算的各个结果(来自上述初始间距校准模块140的初始预测间距和来自上述物体检测网络170的参照物体检测信息)及上述参照图像独立地输入到上述距离计算模块160，由此预测上述参照图像所包含的一个以上的参照物体相对于上述对象自动驾驶车辆的一个以上的参照相对坐标。与这样的过程并列地，上述计算装置100的上述v2v通信模块130通过上述v2v通信而与可通信物体进行通信，从而获得关于位于比临界距离更近的位置的上述可通信物体的物体信息。此时，关于上述参照坐标的信息及关于上述可通信物体的信息传送到上述调整间距校准模块150。之后，通过上述调整间距校准模块150的运算而计算上述对象照相机的调整预测间距，然后准确地计算出上述自动驾驶车辆与周边物体之间的准确的距离。
更具体地，上述计算装置100使上述初始间距校准模块140利用通过上述对象照相机而获得的上述参照图像来计算上述对象照相机的光轴与地面之间的角度即上述初始预测间距。这样的过程可利用上述参照图像上的消失点、主点及焦点之间的关系而执行。参照图3，对这样的过程进行详细说明。
图3是概略性地示出计算在根据本发明的一个实施例而进一步使用通过v2v通信而获得的信息来更精准地执行照相机的间距校准时使用的初始预测间距的方法的图。
参照图3可知计算上述初始预测间距的原理。上述消失点即(vx，vy)是不会根据上述对象照相机的水平移动而发生变化，而只根据上述对象照相机的旋转移动而发生变化的点，因此可利用关于上述参照图像上的上述消失点、上述焦点及上述主点的位置的信息来计算上述对象照相机的上述初始预测间距。
具体地，上述计算装置100使上述初始间距校准模块140检测上述参照图像上的线所聚集的点即上述消失点的坐标。之后，上述计算装置100使上述初始间距校准模块140利用关于已获得的上述消失点、上述焦点及上述主点的坐标的信息来计算上述初始预测间距。作为一例，当上述失点的坐标为(vx，vy)，上述焦点的坐标为(fx，fy)，上述主点的坐标为(cx，cy)时，可根据以下的数学式来计算上述初始预测间距的值。
与这样的计算并列地，通过上述对象照相机而获得的上述参照图像传送到上述物体检测网络170。上述物体检测网络170对上述参照图像应用至少一个神经网络运算来检测上述参照图像上的上述参照物体，然后生成包含关于上述参照物体的信息的上述参照物体检测信息。此时，上述物体检测网络170可以与rpn(regionproposalnetwork：区域生成网络)对应地得到协助。
具体地，上述计算装置100使上述物体检测网络170所包含的卷积层对上述参照图像应用作为上述神经网络运算的一部分的至少一个卷积运算而生成至少一个参照卷积特征图，使上述物体检测网络170所包含的roi池化层应用在上述参照卷积特征图中将与上述参照图像的roi对应的值池化的作为上述神经网络运算的一部分的至少一个池化运算，从而生成至少一个参照roi池化特征图。之后，上述计算装置100使上述物体检测网络170所包含的fc层对上述参照roi池化特征图应用作为上述神经网络运算的一部分的至少一个fc运算，从而生成包含关于上述参照物体的参照类别的信息及关于上述参照物体的参照边界框(referenceboundingbox)的信息的上述参照物体检测信息。
当通过上述初始间距校准模块140而计算上述初始预测间距，并通过上述物体检测网络170而生成上述参照物体检测信息时，将它们传送到上述距离计算模块160。之后，上述计算装置100使上述距离计算模块160利用上述初始预测间距而分别计算上述参照物体及各个上述对象自动驾驶车辆之间的一个以上的纵向地面距离及一个以上的横向地面距离，从而生成上述参照相对坐标。
具体地，上述计算装置100使上述距离计算模块160找出位于包含各个上述参照物体的各个参照边界框的各个下端部分的点即一个以上的参照位置基准点的每一个。此时，上述参照位置基准点可以是位于上述下端部分的中间的点，但本发明的范围不限于此。之后，上述计算装置100使上述距离计算模块160将上述参照位置基准点映射(mapping)到对应于包含上述对象自动驾驶车辆的虚拟空间的空间坐标系。关于这样的映射过程，可参照以下的数学式而实现。
(x1，y1)→(x1，z1)，
在上述数学式中，(x1，y1)表示上述参照图像上的上述参照位置基准点之一的坐标，(x1，z1)表示在利用上述对象自动驾驶车辆的位置而设定原始点的上述空间坐标系中与(x1，y1)对应的上述参照相对坐标之一。另外，x1表示上述横向地面距离之一，z1表示上述纵向地面距离之一，θ表示上述初始预测间距。另外，(cx，cy)表示上述对象照相机的主点坐标(coordinateofaprincipalpoint)，l表示自上述地面的上述对象照相机的高度，f表示上述对象照相机的焦距。参照后述的图4，可看到通过上述数学式而计算z1的方式。
另外，与这样的过程并列地，上述计算装置100使上述v2v通信模块130与自上述对象自动驾驶车辆位于临界距离以内的位置的车辆及摩托车等可进行v2v通信的上述可通信物体进行通信。此时，为了实现上述v2v通信，可应用4g通信、5g通信或车辆之间无线电通信等任何通信技术。通过这样的v2v通信，上述v2v通信模块130可获得关于上述可通信物体的一个以上的可通信物体类别、一个以上的可通信物体gt高度及一个以上的可通信物体坐标的信息。上述可通信物体gt(groundtruth)高度可用于调整上述初始预测间距。
之后，将通过上述v2v通信模块130而获得的关于上述可通信物体的上述信息、通过上述距离计算模块160而计算的上述参照相对坐标及通过上述物体检测网络170而生成的上述参照物体检测信息传送到上述调整间距校准模块150。
上述计算装置100使上述调整间距校准模块150参照(i)利用上述可通信物体坐标而计算的关于上述对象自动驾驶车辆的可通信物体相对坐标及(ii)上述特定参照物体的特定参照相对坐标，将上述可通信物体gt高度中的至少一部分与上述特定参照物体中的至少一部分配对(pairing)，从而获得关于上述特定参照物体的特定参照gt高度。此时，上述特定参照物体可以是上述参照物体群及上述可通信物体群所包含的物体。更具体地，将上述可通信物体相对坐标与上述参照相对坐标进行比较而计算上述可通信物体相对坐标及上述参照相对坐标之间的类似分数，找出高于临界值的特定类似分数，选择与上述特定类似分数对应的上述对(pair)，将上述特定参照物体及上述可通信物体gt高度进行配对(pairing)。
另一方面，上述计算装置100使上述调整间距校准模块150选择用于调整上述初始预测间距的至少一个目标物体。上述目标物体是上述参照图像上的上述参照物体中的至少一部分，需要满足关于各个上述参照物体是否具备与可通信性对应的特定类别(class)的第1条件。需要从通过上述v2v通信而获得的上述可通信物体gt高度获得与上述目标物体对应的gt目标高度，因此需要满足上述第1条件。附加地，上述目标物体可满足第2条件及第3条件中的至少一部分。此时，上述第2条件对应于如下的条件：包含满足上述第1条件的各个特定参照物体的各个特定参照边界框是否位于上述参照图像的至少一个插图窗口(illustrationwindow)区域内。另外，上述第3条件对应于如下的条件：各个上述特定参照边界框的各个纵横比(aspectratio)是否小于预测临界值。
在上述第2条件中，提示上述插图窗口区域。在上述特定参照边界框之一位于上述插图窗口区域的情况下，与此对应的物体的整个部分包含于上述特定参照边界框之一。与此相反地，在上述特定参照边界框之一不位于上述插图窗口区域的情况下，只有与此对应的物体中的一部分包含于上述特定参照边界框之一。换言之，上述插图窗口区域是上述参照图像所包含的上述特定参照边界框侧面不与上述参照图像的上述边界线相接的从上述参照图像的边界线远的上述参照图像的中间区域。在作为上述目标物体而选择对应的特定参照边界框不位于上述插图窗口区域且不包含上述特定参照物体的整个部分的特定参照物体之一的情况下，在调整上述初始预测间距的过程中可导致误差，因此需要上述第2条件。
在上述第3条件中，提示上述预测临界值。上述预测临界值用于将自上述对象自动驾驶车辆左右离得不过于远的上述特定参照物体之一选择为上述目标物体。在上述特定参照物体之一自上述对象自动驾驶车辆左右离得过于远的情况下，与此对应的特定参照边界框可具备较大的纵横比。因此，将上述特定参照边界框的纵横比与上述预测临界值进行比较，将自上述对象自动驾驶车辆左右离得过于远的上述特定参照物体中的一部分排除而不选择为上述目标物体。之所以需要排除上述特定参照物体中的一部分，是因为当将上述特定参照物体中的一部分选择为上述目标物体时，会以失真的状态显示于上述参照图像上，因此在调整上述初始预测间距的过程中可发生误差。因此，需要上述第2条件。
之后，当确定了上述目标物体时，上述计算装置100使上述调整间距校准模块150从上述参照相对坐标中选择与上述目标物体对应的一个坐标而获得目标相对坐标，并在上述特定参照gt高度中选择与上述目标物体对应的一个坐标而获得gt目标高度。在获得关于上述目标相对坐标及上述gt目标高度的信息之后，上述计算装置100使上述调整间距校准模块150生成预测目标高度。下面，对计算关于上述目标物体的上述预测目标高度的方法进行说明。
具体地，根据以下的数学式而执行高度预测运算来计算上述预测目标高度。
在上述数学式中，z1表示上述目标相对坐标(x1，z1)的纵向地面距离，θ表示上述预测间距，l表示自上述地面的上述对象照相机的高度，z2表示将包含上述目标物体的目标边界框的上端部分内的点即目标高度预测基准点(x2，y2)映射到与包含上述对象自动驾驶车辆的虚拟空间对应的空间坐标系来生成的目标高度预测点的分量即纵向投影距离，f表示上述对象照相机的焦距。此时，
图4是概略性地示出计算在根据本发明的一个实施例而进一步使用通过v2v通信而获得的信息来更精准地执行照相机的间距校准时使用的目标物体的预测目标高度的方法的图。
图4中，以z2与l为两个边的第1直角三角形与以z2-z1和h为两个边的第2直角三角形彼此处于aa相似的关系。在该情况下，h∶l＝z2-z1∶z2的比例关系成立，可利用上述数学式而计算上述预测目标高度h。
在计算上述预测目标高度之后调整上述初始预测间距。具有选择一个目标物体的情况和选择多个目标物体的情况等两个不同实施例。下面，对各个实施例进行说明。
首先，在上述目标物体的数量为1个的情况下，上述计算装置100使上述调整间距校准模块150参照上述gt目标高度而设定过大预测范围及过小预测范围。此时，将比上述gt目标高度乘以r而得到的值小的范围设定为上述过大预测范围，将比上述gt目标高度乘以r而得到的值大的范围设定为上述过小预测范围。上述r是预设的临界比率。在计算出的上述初始预测间距过大的情况下，计算出的上述预测目标高度低于上述gt目标高度，在与此相反的情况下，计算出的上述预测目标物体高于上述gt目标高度，因此，如上所述地设定上述过大预测范围及上述过小预测范围。
在如上述地设定上述范围之后，在上述预测目标高度包含于上述过大预测范围的情况下，上述计算装置100使上述调整间距校准模块150执行以所预设的调整比率来减小上述初始预测间距的调整，由此生成上述调整预测间距。另外，在上述预测目标高度包含于上述过小预测范围的情况下，上述计算装置100使上述调整间距校准模块150执行以上述预设的调整比率来增加上述初始预测间距的调整，由此生成上述调整预测间距。
接着，在上述目标物体的数量为2个以上情况下，上述计算装置100使上述调整间距校准模块150如上述这样设定上述过大预测范围及上述过小预测范围，由此获得关于与上述过大预测范围对应的过大预测误差比率及与上述过小预测范围对应的过小预测误差比率中的至少一个的信息。此时，上述过大预测误差比率是第1特定预测目标高度包含于上述过大预测范围的第1特定目标物体的数量r1相对于上述目标物体的数量r2的比率。与此类似地，上述过小预测误差比率是第2特定预测目标高度包含于上述过小预测范围的第2特定目标物体的数量r1相对于上述目标物体的数量r2的比率。在上述过小预测误差比率及上述过大预测误差比率中的一个大于临界值的情况下，上述计算装置使上述调整间距校准模块调整上述初始预测间距。
在一般情况下，在上述初始预测间距存在误差的情况下，可能只有上述过小预测误差比率及上述过大预测误差比率中的一个比率高于上述临界值。在上述过小预测误差比率高于上述临界值的情况下，上述计算装置100使上述调整间距校准模块150执行以上述预设的调整比率来增加上述初始预测间距的调整来生成上述调整预测间距。与此相反地，在上述过大预测误差比率高于上述临界值的情况下，上述计算装置100使上述调整间距校准模块150执行以上述预设的调整比率来减小上述初始预测间距的调整来生成上述调整预测间距。
当确定了上述调整预测间距时，上述计算装置100使上述距离计算模块160及上述物体检测网络170生成自动驾驶信息，上述自动驾驶信息包含关于参照上述调整预测间距而计算的、自动驾驶图像所包含的周边物体与上述对象自动驾驶车辆之间的距离的信息。
本发明涉及通过上述v2v通信而通过上述在线校准来调整照相机间距的方法。即，本发明提供基于上述照相机的鲁棒物体距离预测。此时，鲁棒性距离预测包括：调整找出上述消失点的上述照相机间距的处理、将通过上述v2v通信而获得的信息与通过上述照相机而获得的信息融合而获得对于上述周边车辆的上述实际高度信息的处理及使用上述周边车辆的上述实际高度信息而更准确地调整上述间距的处理。
以上说明的本发明的实施例可体现为通过各种计算机构成要素来实现的程序命令的形态来记录到计算机可读取的记录介质。上述计算机可读取的记录介质可单独或以组合的方式包括程序命令、数据文件、数据结构等。记录到上述计算机可读取的记录介质的程序命令可以是为本发明特别设计并构成的命令或计算机软件领域的技术人员公知而使用的命令。作为计算机可读取的记录介质的例子，包括硬盘、软盘及磁带这样的磁性介质、cd-rom、dvd这样的光记录介质、光碟(flopticaldisk)这样的磁光介质(magneto-opticaledia)及rom、ram、闪存等这样的以存储程序命令且执行的方式特别构成的硬件装置。作为程序命令的例子，不仅包括由编译器制作的机器代码，而且还包括使用解释器等而通过计算机来执行的高级语言代码。上述硬件装置既可构成为一个以上的软件模块，以执行本发明的处理，也可以与其相反的方式构成。
以上，通过具体的构成要素等这样的特定事项和限定的实施例及附图而对本发明进行了说明，但这是为了整体地理解本发明而提供的，本发明不限于这样的上述实施例，本领域技术人员可从这样的记载进行各种修改及变形。
因此，本发明的思想不限于上述说明的实施例，不仅是后述的权利要求书，与该权利要求书均等或等价地变形的所有内容均包括在本发明的思想的范围中。
- 还没有人留言评论。精彩留言会获得点赞！