一种道路视频相机参数确定及移动目标计算方法与系统与流程

1.本发明属于道路检测技术领域，特别涉及一种道路视频相机参数确定及移动目标计算方法与系统。


背景技术：

2.传统的对道路移动目标进行测速的方法主要有线圈测速、激光测速和雷达测速三种。以上三种测速的方式均有各自的不足之处。线圈测速需用多股铜线制成感应线圈，然后将其埋在车道下，通过记录车辆经过两个线圈的时间差，进而计算出车速，这种方法虽然测量精度高、成本低，但由于线圈需埋入车道下，施工麻烦且安装过程中会阻碍交通。激光测速是利用发射激光脉冲并接收反射回来的脉冲从而计算出车辆的速度，这种方法虽然准确度好、抗干扰能力强，但是成本较高且精密仪器的稳定性较差。雷达测速是利用多普勒效应进行测速，这种方法的优点在于检测器可由多个检测组成，实现多车道检测，但是其成本较高且设备的安装较为复杂。
3.随着公路摄像以及图像识别处理技术的进步，可以从公路摄像机拍摄的各帧视频画面中定位目标车辆，并根据其行驶的轨迹以及相邻两帧间隔的时间来计算其车速。基于这一原理的公路测速技术称为视频测速。视频测速相较于以上几种传统的测速技术，有以下几点较为突出的优势。第一，只需要高分辨率的摄像机即可实现公路车辆的拍摄，设备大大简化且对公路路面无较大影响；第二，相较于激光测速，其设备受气象干扰更低、稳定性更高；第三，可对算法最终结果进行最优解优化，使得精度大大提高；第四，视频测速可将测速、车辆识别等步骤集成为一体，大大提高了工作效率。但是普通的视频测速需要用到相机内参，而公路上的摄像机一般为提前安装，难以获取相机内参和相机偏转角度。


技术实现要素：

4.发明目的：针对上述现有技术存在的问题，本发明目的在于提供一种道路视频相机参数确定及移动目标计算方法与系统，以简化检测所需的必备条件，实现相机内参未知情况下道路移动目标视频计算。
5.技术方案：本发明提供的一种道路视频相机参数确定方法，包括以下步骤：
6.s1:对视频中道路进行边缘检测，获得图像中道路虚线端点的像素坐标集，并以端点作为起点作平行图像横轴的直线，与虚线相邻的实线相交获得交点的像素坐标集；
7.s2:将s1所测得虚实线的像素坐标集以及虚线与实线垂直间距d、相邻虚线端点距离c和相机安装高度h作为已知量输入像素物理映射模型进行相机参数匹配优化，即将相机拍摄方向相对道路方向的旋转角的余弦值cosθ在0～1内取值进行轮训拟合去除不符合实际物理情况的解，输出多组焦距像元比和最靠近相机的虚线端点与相机的物理距离y1；其中像素物理映射模型是基于相机和图像上各对虚实线的像素坐标构成的第一三角形，与相机和实际道路上各对虚实线的像素坐标对应的实际道路坐标构成的第二三角形的相似
性，建立的虚实线间连线的线对线的映射模型；
8.s3:根据计算得出的与y1，将虚实线的像素坐标集反演到实际物理坐标中，进行反演优化，即通过平行度与旋转角两种最优匹配标准，确定相机最优的三项内外参数，包括焦距像元比最靠近相机的虚线端点与相机的物理距离y1以及相机拍摄方向相对道路方向的旋转角θ。
9.作为优选，图像像素坐标系以图像中心为坐标原点，横向为x轴，纵向为y轴；实际道路坐标系以相机投影到路面的点为原点，以相机拍摄方向投影到路面的线为y轴，垂直y轴的线为x轴，以相机和投影点的连线为z轴。
10.作为优选，所述s2中，对cosθ在0～1内取值与s1所获得的像素坐标集一同代入像素物理映射模型进行轮训拟合：
[0011][0012]
得到结果其中，n为得到结果的个数，lk为虚线与实线上的点在相同y轴坐标情况下x轴坐标差值的绝对值，yk为虚线端点的y轴坐标，k为所取点的标号，最靠近相机的点为1号点。
[0013]
作为优选，所述s3中，根据s2得到的多组cosθ、与y1，以及两个坐标系映射的平面几何公式，将虚实线的像素坐标集反演出实际物理坐标：
[0014]
和
[0015]
yk＝y1+(k-1)
×c×
cosθ
[0016]
其中(xk,yk)为道路虚线端点的像素坐标，(x
′k,yk)为与虚线相邻的实线相交获得交点的像素坐标，(xk,yk)和(xk′
,yk)分别为(xk,yk)和(x
′k,yk)的实际物理坐标。
[0017]
作为优选，所述s3中，对得到的实际物理坐标进行作图，根据平行度的最优匹配标准筛去所作的线不为直线时对应的解，将剩下的解根据实际物理坐标建立两条函数直线，根据旋转角的最优匹配标准：
[0018][0019]
得出最优的一组解其中θi为第i组解中相机拍摄方向相对道路方向的旋转角，k1(i)为根据第i组解计算出的实际物理坐标建立的虚线对应的函数直线的斜率，k2(i)为根据第i组解计算出的实际物理坐标建立的实线对应的函数直线的斜率，ε为预设的阈值。
[0020]
本发明提供的一种相机内参未知下道路移动目标计算方法，包括如下步骤：
[0021]
根据所述的道路视频相机参数确定方法，确定相机最优参数，包括焦距像元比最靠近相机的虚线端点与相机的物理距离y，以及相机拍摄方向相对道路方向的旋转角θ；
[0022]
对视频中相邻两帧的移动目标进行识别跟踪，获得识别框的左下角及右下角坐标集，对移动目标识别框底部作平行图像横轴的直线，获得与虚线方向交点坐标以及与实线方向交点坐标；
[0023]
将获得的相机参数、虚线与实线垂直间距d、相机安装高度h与所测得的像素坐标作为已知量代入像素物理映射模型，解出移动目标在视频相邻两帧时间内的移动距离，并将识别框的坐标集反演到实际物理坐标中，得到目标的横轴坐标，即获得移动目标不同时刻距离、坐标及速度信息。
[0024]
作为优选，根据如下公式：
[0025][0026]
解出移动目标在视频相邻两帧时间内的移动距离c
′
，以及最靠近相机的目标点的纵坐标y
″
；其中，lj为虚线与实线上的点在相同y轴坐标情况下x轴坐标差值的绝对值，yj为虚线上交点的y轴坐标，j为所取点的标号，最靠近相机的点为1号点，j＝1,2；
[0027]
将识别框的左下角坐标(an,rn)及右下角坐标(un,rn)反演到实际物理坐标中：
[0028]
和获得对应的实际横坐标xn和xn′
，则移动目标的x轴坐标为那么在xyz实际物理坐标系中，移动目标的坐标为(x
″
,y
″
)，当前移动目标的速度v即可通过速度计算公式得出：其中t为相邻两帧图片的间隔时间，v为移动目标的速度。
[0029]
基于相同的发明构思，本发明提供的一种道路视频相机参数确定系统，包括：
[0030]
边缘检测与坐标获取模块，用于对视频中道路进行边缘检测，获得图像中道路虚线端点的像素坐标集，并以端点作为起点作平行图像横轴的直线，与虚线相邻的实线相交获得交点的像素坐标集；
[0031]
轮训拟合匹配优化模块，用于将所测得虚实线的像素坐标集以及虚线与实线垂直间距d、相邻虚线端点距离c和相机安装高度h作为已知量输入像素物理映射模型进行相机参数匹配优化，即将相机拍摄方向相对道路方向的旋转角的余弦值cosθ在0～1内取值进行轮训拟合去除不符合实际物理情况的解，输出多组焦距像元比和最靠近相机的虚线端点与相机的物理距离y1；
[0032]
以及反演优化模块，用于根据计算得出的与y1，将虚实线的像素坐标集反演到
实际物理坐标中，进行反演优化，即通过平行度与旋转角两种最优匹配标准，确定相机最优的三项内外参数，包括焦距像元比最靠近相机的虚线端点与相机的物理距离y1，以及相机拍摄方向相对道路方向的旋转角θ。
[0033]
基于相同的发明构思，本发明提供的一种相机内参未知下道路移动目标计算系统，包括：
[0034]
边缘检测与坐标获取模块，用于对视频中道路进行边缘检测，获得图像中道路虚线端点的像素坐标集，并以端点作为起点作平行图像横轴的直线，与虚线相邻的实线相交获得交点的像素坐标集；
[0035]
轮训拟合匹配优化模块，用于将所测得虚实线的像素坐标集以及虚线与实线垂直间距d、相邻虚线端点距离c和相机安装高度h作为已知量输入像素物理映射模型进行相机参数匹配优化，即将相机拍摄方向相对道路方向的旋转角的余弦值cosθ在0～1内取值进行轮训拟合去除不符合实际物理情况的解，输出多组焦距像元比和最靠近相机的虚线端点与相机的物理距离y1；
[0036]
反演优化模块，用于根据计算得出的与y1，将虚实线的像素坐标集反演到实际物理坐标中，进行反演优化，即通过平行度与旋转角两种最优匹配标准，确定相机最优的三项内外参数，包括焦距像元比最靠近相机的虚线端点与相机的物理距离y1，以及相机拍摄方向相对道路方向的旋转角θ；
[0037]
目标跟踪与坐标获取模块，用于对视频中相邻两帧的移动目标进行识别跟踪，获得识别框的左下角及右下角坐标集，对移动目标识别框底部作平行图像横轴的直线，获得与虚线方向交点坐标以及与实线方向交点坐标；
[0038]
以及移动目标计算模块，用于将获得的相机参数、虚线与实线垂直间距d、相机安装高度h与所测得的像素坐标作为已知量代入像素物理映射模型，解出移动目标在视频相邻两帧时间内的移动距离，并将识别框的坐标集反演到实际物理坐标中，得到目标的横轴坐标，即获得移动目标不同时刻距离、坐标及速度信息。
[0039]
基于相同的发明构思，本发明提供的一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的道路视频相机参数确定方法的步骤，或者实现所述的相机内参未知下道路移动目标计算方法的步骤。
[0040]
有益效果：与现有技术相比，本发明在未知相机内参和相机偏转角度的情况下，能够基于道路视频确定相机内外参数，简化了移动目标检测所需的必备条件，能够有效对视频中的移动目标的距离、坐标和速度信息进行检测。
附图说明
[0041]
图1是本发明实施例的相机参数确定流程示意图；
[0042]
图2是本发明实施例中道路线标定方法示意图；
[0043]
图3是本发明实施例中的像素物理映射模型的三维空间示意图；
[0044]
图4是本发明实施例中的像素物理映射模型的平面几何示意图；
[0045]
图5是本发明实施例中旋转角最优匹配结果示意图；
[0046]
图6是本发明实施例中平行度匹配结果示意图；其中(a)是不符合平行度最优匹配标准的结果示意图，(b)是符合平行度最优匹配标准的结果示意图；
[0047]
图7是本发明实施例的道路移动目标计算流程示意图；
[0048]
图8是本发明实施例中道路视频连续两帧中同一移动目标的检测结果示意图；
[0049]
图9为本发明实施例的相机参数确定系统模块示意图；
[0050]
图10为本发明实施例的移动目标计算系统模块示意图。
具体实施方式
[0051]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0052]
如图1所示，本发明实施例公开的一种道路视频相机参数确定方法，主要包括如下步骤：
[0053]
s1:对视频中道路进行边缘检测，获得图像中道路虚线端点的像素坐标集，并以端点作为起点作平行图像横轴的直线，与虚线相邻的实线相交获得交点的像素坐标集。
[0054]
本例中，以图像中心为坐标原点，横向为x轴，纵向为y轴，得到m组虚线端点的像素坐标集(xk,yk)，k＝1,2,
…
,m，并以端点作为起点作平行图像横轴的直线，与虚线相邻的实线相交获得交点的像素坐标集(x
′k,yk)，k＝1,2,
…
,m。如图2所示，得到3组虚线端点的像素坐标集(63,244)、(-40,11)、(-83，-72)，并以端点作为起点作平行图像横轴的直线，与虚线相邻的实线相交获得交点的像素坐标集(269,244)、(70,11)、(-7，-72)。
[0055]
s2:将s1所测得虚实线的像素坐标集以及虚线与实线垂直间距d、相邻虚线端点距离c和相机安装高度h作为已知量输入像素物理映射模型进行匹配优化，即将相机拍摄方向相对道路方向的旋转角的余弦值cosθ在0～1内取值进行轮训拟合去除不符合实际物理情况的解，输出多组焦距像元比和最靠近相机的虚线端点与相机的物理距离y1。本实施例中，像素物理映射模型基于相机和图像上各对虚实线的像素坐标构成的第一三角形，与相机和实际道路上各对虚实线的像素坐标对应的实际道路坐标构成的第二三角形的相似性，建立了虚实线间连线的线对线的映射模型。
[0056]
如图3、4所示，本例中，以相机投影到路面的点为原点，以相机拍摄方向投影到路面的线为y轴，垂直y轴的线为x轴，以相机和投影点的连线为z轴建立实际道路坐标系，对cosθ在0～1内以0.01为步长取值与s1所获得的像素坐标集一同代入像素物理映射模型进行轮训：
[0057]
[0058]
通过最小二乘算法：
[0059]
ax＝b
[0060]
其中
[0061][0062]
拟合并去除其中为复数和负数等不符合实际物理情况的解，得到39组结果其中，相机安装高度h＝6m，相邻虚线端点距离(即两条虚线同一端点的间距)为c＝15m，虚线与实线垂直间距(即一条车道宽度)为d＝3.75m，虚线与实线上的点在相同y轴坐标情况下x轴坐标差值的绝对值l1＝206，l2＝110，l3＝76。本领域技术人员可以理解的是，上述像素物理映射模型中建立的线对线的映射关系是在本例中特定的坐标系下公式表达，若图像和实际道路坐标系统的原点或坐标轴调整后，引入偏移和旋转角度调整即可。
[0063]
s3:根据计算得出的与y1，将虚实线的像素坐标集反演到实际物理坐标中，进行反演优化，即通过平行度与旋转角两种最优匹配标准，确定相机最优的三项内外参数，包括焦距像元比最靠近相机的虚线端点与相机的物理距离y1，以及相机拍摄方向相对道路方向的旋转角θ。
[0064]
本例中，将得到的结果以及两个坐标系映射的平面几何公式，将虚实线的像素坐标集反演出所取道路点的实际物理坐标(xk,yk)、(x
′k,yk)：
[0065]
和
[0066]
yk＝y1+(k-1)
×c×
cosθ
[0067]
对得到的实际物理坐标进行作图，根据平行度的最优匹配标准筛去所作的线不为直线时对应的解，如图6的(a)所示为第6个解所反演出的实际坐标对应的线，图6的(b)为第39个解所反演出的实际坐标对应的线，将剩下的解根据实际坐标(xk,y
′k)和(x
′k,y
′k)建立两条函数直线，其中虚线对应的函数直线为：y
′k＝k1(i)xk+b，实线对应的函数直线为：y
′k＝k2(i)x
′k+b
′
，其次，根据旋转角的最优匹配标准：
[0068][0069]
如图5所示，得出最优解为第37个，ε为预
设的远小于1的极小阈值。
[0070]
如图7所示，本发明实施例公开的一种相机内参未知下道路移动目标计算方法，采用上述实施例中的s1-s3得到相机最优内外参数后，进一步包括：
[0071]
s4:采用yolo+deepsort对视频流中的移动车辆进行识别定位，做出定位框如图8所示，获得识别框的左下角及右下角坐标集，对移动目标识别框底部作平行图像横轴的直线，获得与虚线方向交点坐标以及与实线方向交点坐标。
[0072]
s5:利用获得的相机参数与所测得的像素坐标一同代入像素物理计算模型，解出移动目标在视频相邻两帧时间内的移动距离，并将识别框的坐标集反演到物理坐标系中，得到目标的横轴坐标，即获得移动目标不同时刻距离、坐标及速度信息。
[0073]
具体地，如图8所示，对视频中相邻两帧的移动目标进行识别跟踪，获得目标识别框的左下角坐标(317，285)和右下角的坐标(369，285)，对移动目标识别框底部作平行图像横轴的直线，获得与虚线方向交点坐标(244，217)、(226,194)，以及与实线方向交点坐标(52,217)、(42,194)，与已获得的相机内外参数及其他已知量输入像素物理映射模型：
[0074][0075]
解出移动目标在视频相邻两帧时间内的移动距离c
′
＝778.39mm，以及最靠近相机的目标点的纵坐标y
″
＝18087mm。其中，相机焦距像元比相机相对道路方向的偏转角的余弦值cosθ＝0.98，虚线与实线上的点在相同y轴坐标情况下x轴坐标差值的绝对值l1＝192、l2＝184。将识别框的左下角坐标(317，285)及右下角坐标(369，285)反演到物理坐标系中：
[0076]
和
[0077]
获得对应的实际横坐标xn＝6203mm和x
′n＝7220mm，则移动目标的x轴坐标为那么在xyz实际物理坐标系中，移动目标的坐标为(6711.5,18087)，当前移动目标的速度v即可通过速度计算公式得出即可完成对移动目标不同时刻距离、坐标及速度信息的检测。
[0078]
基于相同的发明构思，本发明实施例公开的一种道路视频相机参数确定系统，如图9所示，包括：边缘检测与坐标获取模块，用于对视频中道路进行边缘检测，获得图像中道路虚线端点的像素坐标集，并以端点作为起点作平行图像横轴的直线，与虚线相邻的实线相交获得交点的像素坐标集；轮训拟合匹配优化模块，用于将所测得虚实线的像素坐标集以及虚线与实线垂直间距d、相邻虚线端点距离c和相机安装高度h作为已知量输入像素物理映射模型进行相机参数匹配优化，即将相机拍摄方向相对道路方向的旋转角的余弦值cosθ在0～1内取值进行轮训拟合去除不符合实际物理情况的解，输出多组焦距像元比和
最靠近相机的虚线端点与相机的物理距离y1；以及反演优化模块，用于根据计算得出的与y1，将虚实线的像素坐标集反演到实际物理坐标中，进行反演优化，即通过平行度与旋转角两种最优匹配标准，确定相机最优的三项内外参数，包括焦距像元比最靠近相机的虚线端点与相机的物理距离y1，以及相机拍摄方向相对道路方向的旋转角θ。
[0079]
基于相同的发明构思，本发明实施例公开的一种相机内参未知下道路移动目标计算系统，如图10所示，除上述边缘检测与坐标获取模块，轮训拟合匹配优化模块和反演优化模块以外，还包括：目标跟踪与坐标获取模块，用于对视频中相邻两帧的移动目标进行识别跟踪，获得识别框的左下角及右下角坐标集，对移动目标识别框底部作平行图像横轴的直线，获得与虚线方向交点坐标以及与实线方向交点坐标；以及移动目标计算模块，用于将获得的相机参数、虚线与实线垂直间距d、相机安装高度h与所测得的像素坐标作为已知量代入像素物理映射模型，解出移动目标在视频相邻两帧时间内的移动距离，并将识别框的坐标集反演到物理坐标系中，得到目标的横轴坐标，即获得移动目标不同时刻距离、坐标及速度信息。
[0080]
上述描述的各模块的具体工作过程，可以参考前述对应方法实施例中的对应过程，在此不再赘述。所述模块的划分仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个模块可以结合或者可以集成到另一个系统。
[0081]
基于相同的发明构思，本发明提供的一种计算机系统，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述计算机程序被加载至处理器时实现所述的道路视频相机参数确定方法的步骤，或者实现所述的相机内参未知下道路移动目标计算方法的步骤。
[0082]
本领域技术人员可以理解的是，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机系统(可以是个人计算机，服务器，或者网络设备等)执行本发明实施例所述方法的全部或部分步骤。存储介质包括：u盘、移动硬盘、只读存储器rom、随机存取存储器ram、磁碟或者光盘等各种可以存储计算机程序的介质。