目标物体的测距方法及装置与流程
本发明涉及计算机领域，具体而言，涉及一种目标物体的测距方法及装置。
背景技术：
在自动驾驶环境感知中，动态障碍物的感知是自动驾驶的重要能力。激光雷达虽然有动态障碍物的感知能力，但是由于它体积大、价格昂贵，难以普遍应用到自动驾驶领域。
目前业界尝试使用单目相机实现测距，但是大部分的单目测距工作还是需要与其他昂贵的传感器如：激光雷达、毫米波雷达等融合使用。少部分的纯视觉研究方案中假设性太强，缺少动态估计的能力。例如，现有的技术方案的假设平行平面水平线的光线投影到像平面的投影坐标是固定的，这个投影坐标可以称为灭点。但是在实际的道路行驶过程中出现颠簸或是上下坡的时候，灭点将会发生变化。还有一些算法尝试使用平行车道线来计算灭点，但是当检测不到平行车道线或是车道线不平行的时候，灭点会计算失败。因此，目前的这些测距方法都会影响测距的精度甚至造成很离谱的测距数值，导致自动驾驶无法正确输出测距的感知结果，这会给自动驾驶的安全带来很大的隐患。
针对相关技术中，自动驾驶中的测距结果准确率较低的问题，目前尚未存在有效的解决方案。
技术实现要素：
本发明实施例提供了一种目标物体的测距方法及装置，以至少解决自动驾驶中的测距结果准确率较低的技术问题。
根据本发明实施例的一个方面，提供了一种目标物体的测距方法，包括：根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
根据本发明实施例的另一方面，还提供了一种目标物体的测距装置，包括：第一确定模块，用于根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；第二确定模块，用于根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；第三确定模块，用于在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；第四确定模块，用于根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
根据本发明实施例的又一方面，还提供了一种计算机可读的存储介质，该计算机可读的存储介质中存储有计算机程序，其中，该计算机程序被设置为运行时执行上述目标物体的测距方法。
根据本发明实施例的又一方面，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为通过所述计算机程序执行上述的目标物体的测距方法。
在本发明实施例中，通过根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，目标相机和目标传感器设置在目标车辆上，k为自然数；根据角度变化值和目标相机的焦距，确定目标灭点的位置在第k帧和所述第k+1帧之间的位置变化值；在目标灭点在第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据位置变化值，确定目标灭点在目标相机拍摄到的第k+1帧图像中的第k+1位置；根据目标灭点的所述第k+1位置，确定第k+1帧图像中的目标物体与目标相机之间的距离。达到了根据灭点在图像中的位置进行测距的目的，从而实现了提高测距结果准确率的技术效果，进而解决了自动驾驶中的测距结果准确率较低的技术问题。
附图说明
此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
图1是根据本发明实施例的一种可选的标物体的测距方法的应用环境的示意图；
图2是根据本发明实施例的目标物体的测距方法的流程图；
图3是根据本发明可选实施例的示意图一；
图4是根据本发明可选实施例的相机变化对灭点影响示意图；
图5是根据本发明可选实施例的图像中灭点示意图；
图6是根据本发明可选实施例的示意图二；
图7是根据本发明可选实施例的目标物体横向位置估计俯视图；
图8是根据本发明实施例的一种可选的目标物体的测距装置的结构示意图；
图9是根据本发明实施例的一种可选的电子设备的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
下面对本申请涉及到的名词进行解释说明：
动态障碍物测距：测量出动态物体（车辆，行人等）距离当前车辆的实际距离，该距离包括纵向x和横向y两个方向的坐标位置信息。
灭点：在线性透视中，两条或多条代表平行线线条向远处地平线延伸至聚合的点称为灭点。
根据本发明实施例的一个方面，提供了一种目标物体的测距方法，可选地，作为一种可选的实施方式，上述目标物体的测距方法可以但不限于应用于如图1所示的场景中，该场景中包括：第一车辆102和第二车辆104。
其中，上述第一车辆102是行驶在上述第二车辆104之前的车辆，第二车辆104上可以安装有目标相机和目标传感器。第二车辆104上安装的目标相机用于对行驶在前方的车辆进行拍照，行驶在第二车辆104前方的车辆包括但不限于上述第一车辆102。上述目标传感器用于对车辆的角速度进行检测，目标传感器包括但不限于是惯性测量单元（inertialmeasurementunit，简称imu）传感器。
上述仅是一种示例，本实施例中对此不作任何限定。
具体的，通过上述目标物体的测距将实现以下步骤：
如步骤s102，根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；如步骤s104，根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；如步骤s106，在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；如步骤s108，根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
可选地，上述步骤的执行主体可以为服务器，也可以是第二车辆104上安装的处理器等，但不限于此。
可选地，作为一种可选的实施方式，如图2所示，上述目标物体的测距方法包括：
步骤s202，根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；
步骤s204，根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；
步骤s206，在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；
步骤s208，根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
通过上述步骤，通过根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，目标相机和目标传感器设置在目标车辆上，k为自然数；根据角度变化值和目标相机的焦距，确定目标灭点的位置在第k帧和所述第k+1帧之间的位置变化值；在目标灭点在第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据位置变化值，确定目标灭点在目标相机拍摄到的第k+1帧图像中的第k+1位置；根据目标灭点的所述第k+1位置，确定第k+1帧图像中的目标物体与目标相机之间的距离。达到了根据灭点在图像中的位置进行测距的目的，从而实现了提高测距结果准确率的技术效果，进而解决了自动驾驶中的测距结果准确率较低的技术问题。
作为一个可选的实施方式，上述目标传感器可以是imu（inertialmeasurementunit）传感器，目标相机可以是单目相机。本实施例提供了一种基于单目相机和imu融合的实时动态障碍物测距算法，上述目标物体可以是障碍物，通常情况下位于上述目标车辆前方的物体均可认为是障碍，包括但不限于可以是车辆、行人等。障碍物可以是动态的，例如，正在行驶的车辆，正在移动的行人等。
作为一个优选的实施例，以上述目标传感器为惯性测量单元，上述目标相机为单目相机，目标物体为在目标车辆前方行驶的前方车辆为例进行说明。图3是根据本发明可选实施例的示意图一，示意图中包括前方车辆302和目标车辆304，其中，目标车辆304上安装有单目相机306和惯性测量单元308，单目相机和惯性测量单元可以安装在目标车辆的任意位置，图3中单目相机和惯性测量单元的设置位置仅为了说明本实施例，并不以此作为限定。在本实施例中，单目相机的朝向是目标车辆的前方，可以实时对前方车辆进行拍摄。
作为一个可选的实施方式，上述第k帧和第k+1帧可以是目标传感器和目标相机同时进行数据采集的时间。目标传感器采集第k帧角速度的时间，同时是目标相机进行第k帧图像拍摄的时间，同理目标传感器采集第k+1帧角速度的时间，同时是目标相机进行第k+1帧图像拍摄的时间。在本实施例中，可以利用深度学习检测算法检测出每帧图像的动态目标的接地点和车道线。利用平行车道线计算出每帧图像上的灭点，其中，每帧图像包括第k帧图像和第k+1帧图像。同步imu传感器输出的第k帧角速度和第k+1帧角速度，可以利用imu传感器的陀螺仪计算第k帧图像和第k+1帧图像对应相机坐标系下的俯仰角度变化，然后换算成灭点在图像坐标系下的位置变化值，通过滤波融合车道线和imu计算的灭点。利用融合的灭点，目标的接地点和相机的外参值，通过平面假设计算出目标在第k+1帧图像中的位置。
可选地，所述根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置，包括：根据所述位置变化值和所述目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1预估位置；在所述第k+1帧图像中检测到满足第二预设条件的车道线的情况下，根据检测到的车道线，确定所述目标灭点在所述第k+1帧图像中的第k+1观测位置；根据所述第k+1预估位置和所述第k+1观测位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
作为一个可选的实施方式，图4是根据本发明可选实施例的相机变化对灭点影响示意图，在图中
作为一个可选的实施方式，目标相机所拍摄的第k+1帧图像中包括车道线，如果第k+1帧图像中包括至少两条车道线，则可以通过第k+1帧图像中包括的至少两条车道线确定出第k+1帧图像中灭点的位置。在本实施例中，通过第k+1帧图像中车道线确定出的灭点位置是视觉观测值。由于前方车辆是动态的，而视觉观测值是静态的，由此得到的目标灭点在第k+1帧图像中的位置精度和鲁棒性可能不高。在本实施例中，可以融合第k+1观测位置与第k+1预估位置，此种方式增加了灭点的运动信息，结合视觉观测信息，可以使得目标灭点的估计更加准确，鲁棒性更好。
可选地，所述根据所述第k+1预估位置和所述第k+1观测位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置，包括：对所述第k+1预估位置和所述第k+1观测位置进行滤波处理，得到所述第k+1位置；或者对所述第k+1预估位置和所述第k+1观测位置进行加权平均处理，得到所述第k+1位置。
作为一个可选的实施方式，上述滤波处理可以是卡尔曼滤波，可以通过卡尔曼滤波融合第k+1预估位置和所述第k+1观测位置。在本实施例中，通过卡尔曼滤波可以融合视觉观测的目标灭点的观测位置，以及通过imu传感器计算的运动预估位置，结合了运动信息和视觉观测信息，可以提高目标灭点位置的准确性。
作为一个可选的实施方式，也可以通过加权平均处理的方式实现第k+1预估位置和第k+1观测位置的融合。具体权值的选取可以根据实际情况而定，例如，若运动信息的权重大，则可以将第k+1预估位置的权值设置的大一些，例如可以是0.6、0.7等，相应的第k+1观测位置的权值可以设置的小一些，对应的可以是0.4、0.3等。相反地，若视觉观测的权重大，则可以将第k+1观测位置的权值设置的大一些，相应的将第k+1预估位置的权重设置的小一些。也可以将第k+1预估位置和第k+1观测位置的权值均设置为0.5，此种情况是对第k+1预估位置和第k+1观测位置进行均值处理。在本实施例中，通过加权平均处理的方式可以根据实际情况设置第k+1预估位置和第k+1观测位置的权重，按照权重融合了运动信息和视觉观测信息，由此可以提高目标灭点位置的准确性。
可选地，所述根据检测到的车道线，确定所述目标灭点在所述第k+1帧图像中的第k+1观测位置，包括：在所述检测到的车道线包括至少2条平行的车道线的情况下，对所述至少2条平行的车道线进行拟合操作，得到所述第k+1观测位置。
作为一个可选的实施方式，在现实场景中马路上的车道线之间是平行的，但是由于成像原理，在相机拍摄的图像中拍摄得到的多条车道线是相交于一点的，该点即为灭点。在本实施例中，以第k+1帧图像包括两条车道线为例，如图5所示是根据本发明可选实施例的图像中灭点示意图，图中包括车道线501和车道线502，车道线501和车道线502的延长线交与一点，该点即为目标灭点在在第k+1帧图像中的第k+1位置。本实施例中的车道线501和车道线502仅为了说明本实施例，具体地车道线的数量可以根据实际情况而定。在本实施例中，至少2条车道线为
其中，
可选地，所述根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置，包括：根据所述位置变化值和所述目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1预估位置；在所述第k+1帧图像中未检测到满足所述第二预设条件的车道线的情况下，将所述目标灭点在所述第k+1帧图像中的所述第k+1位置确定为等于所述第k+1预估位置。
作为一个可选的实施方式，在很多情况下由于车道线受到磨损，此种情况下无法检测到车道线，也就无法根据车道线确定第k+1帧图像中的目标灭点的第k+1观测位置，或者，也可能实际场景中的车道线并不是平行的，第k+1帧图像中的车道线可能并不会相交与一点，此种情况下也无法根据车道线确定出第k+1帧图像中的目标灭点的第k+1观测位置。在此种情况下，可以利用上一帧即第k帧图像估计出目标灭点在第k+1帧图像中第k+1预估位置，并将第k+1预估位置作为目标灭点在第k+1帧图像中的位置。
可选地，根据所述位置变化值和所述目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1预估位置，包括：将所述第k+1预估位置确定为等于所述第k位置与所述位置变化值的和。
作为一个可选的实施方式，如图4所示，在图中
可选地，所述方法还包括：在所述第k+1帧图像中检测到至少2条平行的车道线的情况下，确定所述第k+1帧图像中检测到满足所述第二预设条件的车道线；在所述第k+1帧图像中未检测到至少2条平行的车道线的情况下，确定所述第k+1帧图像中未检测到满足所述第二预设条件的车道线。
作为一个可选的实施方式，由于灭点是至少两条不平行的直线的延长线的交点。由于成像原理，在实际场景中平行的两条直线在图像中是不平行的，其延长线的交点即为灭点。也就是说，若想通过车道线确定目标灭点在第k+1帧图像中的位置，则需要证明车道线在实际场景中是平行的。而若实际场景中的车道线是平行的，在第k+1帧图像中所成像的车道线之间是不平行的，如图5所示。那么可以通过将第k+1帧图像中所成像的车道线进行物理坐标系的转换可以证明在实际场景中车道线是平行的。
作为一个优选的实施方式，可以利用深度学习神经网络检测出第k+1帧图像上的车道线。假设每条车道线
其中，
可选地，所述方法还包括：在所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件的情况下，根据所述第k+1帧图像中检测到的物体的投影位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
作为一个可选的实施方式，如果长时间在视觉上没有灭点的观测，则可以根据第k+1帧图像中检测到的物体的投影位置，确定目标灭点在第k+1帧图像中的第k+1位置。
可选地，所述根据所述第k+1帧图像中检测到的物体的投影位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置，包括：根据所述第k+1帧图像中检测到的物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
作为一个可选的实施方式，图6所示是根据本发明可选实施例的示意图二，其中，
可选地，所述根据所述第k+1帧图像中检测到的物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置，包括：在所述第k+1帧图像中检测到的物体包括n个物体的情况下，根据所述n个物体中的m个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到m个所述第k+1预估位置，其中，所述n为1或大于1的自然数，m小于或等于n；根据所述m个所述第k+1预估位置，确定所述第k+1位置。
作为一个可选的实施方式，在目标车辆的前方可以包括多个目标物体，例如可以是多辆车辆，也可以是多个行人，还可以既有车辆右有行人。如果长时间没有灭点的观测，可以通过第k+1帧图像中包括多个目标物体中选取出置信度较高的目标距离反推出目标灭点在第k+1帧图像中的第k+1位置。具体地，可以使用随机抽样一致算法（randomsampleconsensus，简称ransac算法）循环剔除置信度较低的物体，利用置信度较高的物体位置信息求出目标灭点在第k+1帧图像中的第k+1位置。在本实施例中，假设在第k+1帧图像中检测到的物体包括n个物体，可以通过上述实施例中根据物体的投影位置、目标相机到地面的高度以及目标相机的焦距确定灭点在图像中的位置的方式，依据n个物体中的m个物体的上述参数信息，确定出目标灭点在所述第k+1帧图像中的第k+1预估位置。上述m个物体是n个物体中置信度较高的物体。最后可以通过对m个第k+1预估位置求取均值，或通过卡尔曼滤波确定出目标灭点在第k+1帧图像中的第k+1位置。
可选地，所述根据所述n个物体中的m个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到m个所述第k+1预估位置，包括：在所述n个物体中获取置信度从高到低排序的前m个物体；据所述前m个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到所述m个所述第k+1预估位置。
作为一个可选的实施方式，可以使用随机抽样一致算法（randomsampleconsensus，简称ransac算法）循环剔除置信度较低的物体。具体地，可以按照置信度从高到低的顺序将n个物体进行排序，从n个物体中选取出置信度靠前的前m个物体。进而通过上述实施例中根据物体的投影位置、目标相机到地面的高度以及目标相机的焦距，分别确定目标灭点在第k+1帧图像中的第k+1预估位置，共得到m个第k+1预估位置。进而通过对m个第k+1预估位置求取均值的方式或者通过卡尔曼滤波可以得到目标灭点在第k+1帧图像的第k+1位置。
可选地，所述根据所述n个物体中的m个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，包括：在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标的情况下，对于m个物体中的每个物体，通过以下公式确定所述目标灭点在所述第k+1帧图像中的第k+1预估纵向坐标：
其中，
作为一个可选的实施方式，由于道路颠簸等因素导致的灭点在图像中位置的变化一般是纵向的，在本实施例中，目标灭点在第k帧和所述第k+1帧之间的位置变化值可以是纵向坐标的变化，那么可以通过如下公式确定出目标灭点在第k+1帧图像中的第k+1预估纵向坐标：
可选地，所述根据所述m个所述第k+1预估位置，确定所述第k+1位置，包括：将所述第k+1位置确定为等于所述m个所述第k+1预估位置的平均值。
作为一个可选的实施方式，可以将m个第k+1预估位置的平均值作为目标灭点在第k+1帧图像中的第k+1位置。
可选地，所述方法还包括：在所述第k+1帧之前所述目标相机拍摄到的连续p1帧图像中均检测不到至少2条平行的车道线的情况下，确定出所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件；否则，确定出所述目标灭点在所述第k+1帧之前的位置确定结果满足所述第一预设条件，其中，p1为预设的大于1的自然数；或者在所述第k+1帧之前的预设时长内所述目标相机拍摄到的p2帧图像中均检测不到至少2条平行的车道线的情况下，确定出所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件；否则，确定出所述目标灭点在所述第k+1帧之前的位置确定结果满足所述第一预设条件，其中，p2为预设的大于1的自然数。
作为一个可选的实施方式，下面对第一预设条件进行说明，第一预设条件可以包括两种情况：
情况1，在目标相机拍摄得到的第k+1帧图像之前，拍摄得到的连续p1帧图像中的每帧图像中均检测不到至少2条平行的车道线，此种情况认定为不满足第一预设条。相反若连续p1帧图像中存在某帧图像或者某几帧图像中检测到至少2条平行的车道线，则确定满足第一预设条件。
情况2，在目标相机拍摄得到的第k+1帧图像之前预设时长内，标相机可以拍摄了p3帧图像，其中，p3可以大于或等于p2。在p3大于p2的情况下，若p2帧图像中均检测不到至少2条平行的车道线，确定不满足所述第一预设条件，其中，p2帧图像可以是连续的图像也可以是间隔的图像；否则，确定出目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件，其中，p2为预设的大于1的自然数。
在本实施例中，在满足第一预设条件的情况下，即可使用前面第k帧的数据使用imu作为灭点的运动预测得到的目标灭点在目标相机拍摄到的第k+1帧图像中的第k+1预估位置，融合通过视觉观测得到的目标灭点在第k+1帧图像的第k+1观测位置，得到目标灭点在第k+1帧图像中的第k+1位置。在不满足第一预设条件的情况下，即可根据第k+1帧图像中检测到的物体的投影位置，确定目标灭点在第k+1帧图像中的所述第k+1位置。
可选地，所述根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，包括：在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标的情况下，通过以下公式确定所述目标相机在第k帧和第k+1帧之间的角度变化值
其中，
作为一个可选的实施方式，imu可以由３轴的陀螺仪和３轴的角速度计组成，其中，陀螺仪输出３自由度的角速度，加速度计输出３自由度的加速度信息。图像相邻两帧的时间间隔可以是20ms-50ms。一般imu的频率在100hz-200hz，远大于图像的频率。因此，在如此短时间内，陀螺仪输出的角速度通过积分可以准确的计算出这段时间内的角度变化，具体地，３轴的角速度可以分别是：
其中，k，k+1分别是第k，k+1帧图像的时间，
可选地，所述根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值，包括：通过以下公式确定所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值
其中，
可选地，所述根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离，包括：在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标的情况下，通过以下公式确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离d：
其中，
作为一个可选的实施方式，参见图6，在图6所示的参数示意图中，可以通过公式
可选地，所述方法还包括：通过以下公式确定所述第k+1帧图像中的所述目标物体与所述目标相机的横向距离x：
其中，
作为一个可选的实施方式，目标物体的横向位置信息也可以根据视觉几何估计出来，如图7所示是根据本发明可选实施例的目标物体横向位置估计俯视图，其中x是目标物体在相机坐标系下的横向距离，
其中，d是所述第k+1帧图像中的目标物体与所述目标相机之间的距离，
可选地，所述方法还包括：通过以下公式确定所述第k+1帧图像中的所述目标物体的预估位置、预估速度和预估加速度：
其中，t是所述第k帧与第k+1帧之间的时间间隔，
作为一个可选的实施方式，在实际应用中，由于车道线磨损，车道线不存在平行关系或是行驶的道路不满足平面假设，这都会给位置估计带来大的误差，为了减少这种大误差带来的波动，本实施例中采取了恒加速度模型的卡尔曼滤波方法：
可选地，所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标。
本申请可以实时动态估计灭点，相比静态的灭点估计能得到更高精度的障碍物测距信息。在本申请中即使检测不到车道线、车道线不平行或是车道线检测错误的，可以通过测量置信度最高的目标距离反推出灭点。此外本申请通过结合单目视觉的灭点观测。通过卡尔曼滤波高精度的估计出灭点在图像上的位置。通过视觉几何关系可计算出高精度的动态障碍物位置信息，然后再次通过卡尔曼滤波计算出障碍物的位置和速度信息。可以使灭点估计更加准确，且鲁棒性更好。
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
根据本发明实施例的另一个方面，还提供了一种用于实施上述目标物体的测距方法的目标物体的测距装置。如图8所示，该装置包括：第一确定模块82，用于根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；第二确定模块84，用于根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；第三确定模块86，用于在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；第四确定模块88，用于根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
可选地，上述装置还用于通过如下方式实现所述根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置：根据所述位置变化值和所述目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1预估位置；在所述第k+1帧图像中检测到满足第二预设条件的车道线的情况下，根据检测到的车道线，确定所述目标灭点在所述第k+1帧图像中的第k+1观测位置；根据所述第k+1预估位置和所述第k+1观测位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
可选地，上述装置还用于通过如下方式实现所述根据所述第k+1预估位置和所述第k+1观测位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置：对所述第k+1预估位置和所述第k+1观测位置进行滤波处理，得到所述第k+1位置；或者对所述第k+1预估位置和所述第k+1观测位置进行加权平均处理，得到所述第k+1位置。
可选地，上述装置还用于通过如下方式实现所述根据检测到的车道线，确定所述目标灭点在所述第k+1帧图像中的第k+1观测位置：在所述检测到的车道线包括至少2条平行的车道线的情况下，对所述至少2条平行的车道线进行拟合操作，得到所述第k+1观测位置。
可选地，上述装置还用于通过如下方式实现所述根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置：根据所述位置变化值和所述目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1预估位置；在所述第k+1帧图像中未检测到满足所述第二预设条件的车道线的情况下，将所述目标灭点在所述第k+1帧图像中的所述第k+1位置确定为等于所述第k+1预估位置。
可选地，上述装置还用于通过如下方式实现根据所述位置变化值和所述目标灭点在所述目标相机拍摄到的第k帧图像中的第k位置，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1预估位置：将所述第k+1预估位置确定为等于所述第k位置与所述位置变化值的和。
可选地，上述装置还用于在所述第k+1帧图像中检测到至少2条平行的车道线的情况下，确定所述第k+1帧图像中检测到满足所述第二预设条件的车道线；在所述第k+1帧图像中未检测到至少2条平行的车道线的情况下，确定所述第k+1帧图像中未检测到满足所述第二预设条件的车道线。
可选地，上述装置还用于在所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件的情况下，根据所述第k+1帧图像中检测到的物体的投影位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
可选地，上述装置还用于通过如下方式实现所述根据所述第k+1帧图像中检测到的物体的投影位置，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置：根据所述第k+1帧图像中检测到的物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置。
可选地，上述装置还用于通过如下方式实现所述根据所述第k+1帧图像中检测到的物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，确定所述目标灭点在所述第k+1帧图像中的所述第k+1位置：在所述第k+1帧图像中检测到的物体包括n个物体的情况下，根据所述n个物体中的m个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到m个所述第k+1预估位置，其中，所述n为1或大于1的自然数，m小于或等于n；根据所述m个所述第k+1预估位置，确定所述第k+1位置。
可选地，上述装置还用于通过如下方式实现所述根据所述n个物体中的m个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到m个所述第k+1预估位置：在所述n个物体中获取置信度从高到低排序的前m个物体；根据所述前m个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置，共得到所述m个所述第k+1预估位置。
可选地，上述装置还用于通过如下方式实现所述根据所述n个物体中的m个物体的投影位置、所述目标相机到地面的高度以及所述目标相机的焦距，分别确定所述目标灭点在所述第k+1帧图像中的第k+1预估位置：在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标的情况下，对于m个物体中的每个物体，通过以下公式确定所述目标灭点在所述第k+1帧图像中的第k+1预估纵向坐标：
其中，
可选地，上述装置还用于通过如下方式实现所述根据所述m个所述第k+1预估位置，确定所述第k+1位置：将所述第k+1位置确定为等于所述m个所述第k+1预估位置的平均值。
可选地，上述装置还用于在所述第k+1帧之前所述目标相机拍摄到的连续p1帧图像中均检测不到至少2条平行的车道线的情况下，确定出所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件；否则，确定出所述目标灭点在所述第k+1帧之前的位置确定结果满足所述第一预设条件，其中，p1为预设的大于1的自然数；或者在所述第k+1帧之前的预设时长内所述目标相机拍摄到的p2帧图像中均检测不到至少2条平行的车道线的情况下，确定出所述目标灭点在所述第k+1帧之前的位置确定结果不满足所述第一预设条件；否则，确定出所述目标灭点在所述第k+1帧之前的位置确定结果满足所述第一预设条件，其中，p2为预设的大于1的自然数。
可选地，上述装置还用于通过如下方式实现所述根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值：在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标的情况下，通过以下公式确定所述目标相机在第k帧和第k+1帧之间的角度变化值
其中，
可选地，上述装置还用于通过如下方式实现所述根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值：通过以下公式确定所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值
其中，
可选地，上述装置还用于通过如下方式实现所述根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离：在所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标的情况下，通过以下公式确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离d：
其中，
可选地，上述装置还用于通过以下公式确定所述第k+1帧图像中的所述目标物体与所述目标相机的横向距离x：
其中，
可选地，上述装置还用于通过以下公式确定所述第k+1帧图像中的所述目标物体的预估位置、预估速度和预估加速度：
其中，t是所述第k帧与第k+1帧之间的时间间隔，
可选地，所述目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值为所述目标灭点的纵向坐标在所述第k帧和所述第k+1帧之间的变化值，所述第k+1位置为所述第k+1纵向坐标。
根据本发明实施例的又一个方面，还提供了一种用于实施上述目标物体的测距方法的电子设备，该电子设备可以是图1所示的目标车辆上安装的车载装置。如图9所示，该电子设备包括存储器902和处理器904，该存储器902中存储有计算机程序，该处理器904被设置为通过计算机程序执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述电子设备可以位于计算机网络的多个网络设备中的至少一个网络设备。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
s1，根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；
s2，根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；
s3，在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；
s4，根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
可选地，本领域普通技术人员可以理解，图9所示的结构仅为示意，电子装置电子设备也可以是智能手机（如android手机、ios手机等）、平板电脑、掌上电脑以及移动互联网设备（mobileinternetdevices，mid）、pad等终端设备。图9其并不对上述电子装置电子设备的结构造成限定。例如，电子装置电子设备还可包括比图9中所示更多或者更少的组件（如网络接口等），或者具有与图9所示不同的配置。
其中，存储器902可用于存储软件程序以及模块，如本发明实施例中的目标物体的测距方法和装置对应的程序指令/模块，处理器904通过运行存储在存储器902内的软件程序以及模块，从而执行各种功能应用以及数据处理，即实现上述的目标物体的测距方法。存储器902可包括高速随机存储器，还可以包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器902可进一步包括相对于处理器904远程设置的存储器，这些远程存储器可以通过网络连接至终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。其中，存储器902具体可以但不限于用于存储图像等信息。作为一种示例，如图9所示，上述存储器902中可以但不限于包括上述目标物体的测距装置中的第一确定模块802、第二确定模块804、第三确定模块806及第四确定模块810。此外，还可以包括但不限于上述目标物体的测距装置中的其他模块单元，本示例中不再赘述。
可选地，上述的传输装置906用于经由一个网络接收或者发送数据。上述的网络具体实例可包括有线网络及无线网络。在一个实例中，传输装置906包括一个网络适配器（networkinterfacecontroller，nic），其可通过网线与其他网络设备与路由器相连从而可与互联网或局域网进行通讯。在一个实例中，传输装置906为射频（radiofrequency，rf）模块，其用于通过无线方式与互联网进行通讯。
此外，上述电子设备还包括：显示器908，用于显示上述目标物体与目标相机之间的距离；和连接总线910，用于连接上述电子设备中的各个模块部件。
在其他实施例中，上述终端设备或者服务器可以是一个分布式系统中的一个节点，其中，该分布式系统可以为区块链系统，该区块链系统可以是由该多个节点通过网络通信的形式连接形成的分布式系统。其中，节点之间可以组成点对点（p2p，peertopeer）网络，任意形式的计算设备，比如服务器、终端等电子设备都可以通过加入该点对点网络而成为该区块链系统中的一个节点。
根据本申请的一个方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述各种可选实现方式中提供的方法。其中，该计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
可选地，在本实施例中，上述计算机可读的存储介质可以被设置为存储用于执行以下步骤的计算机程序：
s1，根据目标传感器输出的第k帧角速度和第k+1帧角速度，确定目标相机在第k帧和第k+1帧之间的角度变化值，其中，所述目标相机和所述目标传感器设置在目标车辆上，k为自然数；
s2，根据所述角度变化值和所述目标相机的焦距，确定目标灭点的位置在所述第k帧和所述第k+1帧之间的位置变化值；
s3，在所述目标灭点在所述第k+1帧之前的位置确定结果满足第一预设条件的情况下，根据所述位置变化值，确定所述目标灭点在所述目标相机拍摄到的第k+1帧图像中的第k+1位置；
s4，根据所述目标灭点的所述第k+1位置，确定所述第k+1帧图像中的目标物体与所述目标相机之间的距离。
可选地，在本实施例中，本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令终端设备相关的硬件来完成，该程序可以存储于一计算机可读存储介质中，存储介质可以包括：闪存盘、只读存储器（read-onlymemory，rom）、随机存取器（randomaccessmemory，ram）、磁盘或光盘等。
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
上述实施例中的集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在上述计算机可读取的存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在存储介质中，包括若干指令用以使得一台或多台计算机设备（可为个人计算机、服务器或者网络设备等）执行本发明各个实施例所述方法的全部或部分步骤。
在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
在本申请所提供的几个实施例中，应该理解到，所揭露的客户端，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
- 还没有人留言评论。精彩留言会获得点赞！