一种基于计算机视觉自动校准交通监控相机的方法与流程

本发明涉及智能相机领域，尤其是涉及了一种基于计算机视觉自动校准交通监控相机的方法。

背景技术：

智能相机是常用于科研、生产、生活等各个领域，是一种高度集成化的微小型机器视觉系统，集图像采集、图像处理与数据通信等功能于一体，可满足多种视觉检测的应用需求。具体地，如工业生产中的产品缺陷检测，农业生产中的各类种子分检系统，交通系统中的车辆检测，日常生活中的人脸检测等。智能相机的另一个重要的应用是在视觉测量放米按视觉测量是通过将被测物的图像作为检测和传递信息的手段，提取其中的有用信息进而获得被测物体几何参数的一种测量技术。视觉测量被广泛地应用于几何量的在线测量、航空航天遥感测量、精密复杂零件的微尺寸测量等相关技术领域。迄今，针对光学成像与数字图像采集系统的各项参数进行检测校正与标定的问题已经存在很多方法，如何将其应用在智能相机系统中，完成对智能相机的校准的同时，满足一定精度与速度上的要求，这具有重要的实际意义。

本发明提出了一种基于计算机视觉自动校准交通监控相机的方法，用于车辆的速度测量。基于一个交通相机模型，通过精确检测消失点改善相机校准，并使用车辆3d模型来推断场景比例，通过测量faster-rcnn检测到的车速，对车辆进行跟踪，从而降低了速度测量的误差且改善了相机校准方法。本发明突破了现有方法受相机布置约束的局限，通过精确检测两个消失点改善相机校准方法，提高精度的同时实现自动校准，并且提出场景比例推算的方法，能够处理存在显著视点变化的情况，且保证了优于手动校准更高的精度，适用于大规模部署，在无需停止交通的情况下对监控相机进行安装或校准测量，并可推广到其他领域。

技术实现要素：

针对本发明突破了现有方法受相机布置约束的局限，通过精确检测两个消失点改善相机校准方法，提高精度的同时实现自动校准，并且提出场景比例推算的方法，能够处理存在显著视点变化的情况，且保证了优于手动校准更高的精度，适用于大规模部署，在无需停止交通的情况下对监控相机进行安装或校准测量。

为解决上述问题，本发明提供一种基于计算机视觉自动校准交通监控相机的方法，其主要内容包括：

(一)交通监控相机模型；

(二)相机校准和车辆跟踪；

(三)比例推算；

(四)速度测量。

其中，所述的交通监控相机模型，目标是测量道路平面上任意两点之间的距离，因此构建相机模型，假设图像中心具有零像素偏移和主点c，齐次2d图像坐标用p＝[px,py]^t表示，3d模型中由表示，其中f是焦距，其他3d点(道路平面上)用p＝[px,py,pz]^t表示，假设图像坐标系的原点在图像中心，则主点c具有2d齐次坐标[0,0,1]^t(相机投影中心的3d坐标为[0,0,0]^t)，道路平面用ρ表示，用以下方式对消失点进行编码，第一个(在车辆流动的方向)被称为u，第二个消失点(垂直于第一个消失点并且位于道路平面上)由v表示，第三个(垂直于道路平面的方向)是w，使用前两个消失点u，v和主点c，可以计算焦距f，第三个消失点w，道路平面归一化向量n，以及主要路面ρ，然而道路平面只能按比例计算(因无法仅根据消失点找回到路面的距离)，因此添加任意值δ＝1作为等式(6)的常数项，

ρ＝[n^t,δ]^t(6)

已知道路平面ρ，在路面上对p＝[px,py]^t进行投影，可计算其3d坐标p＝[px,py,pz]^t：

可直接用3d坐标p测量道路平面上的距离，点p1和p2之间的距离‖p1-p2‖，并非直接以米(或其他距离单位)表示，因此需要引入另一个校准参数——场景比例λ，将距离‖p1-p2‖从路面上的伪单位通过缩放到λ‖p1-p2‖转换成以米为单位，在图像中心的主点和零像素偏移的假设下，校准方法必须与场景比例λ一起计算两个消失点(u和v)。

其中，所述的相机校准和车辆跟踪，提供消失点的图像坐标和场景比例信息，通过精确检测消失点，并使用汽车3d模型来推断场景比例，测量经由faster-rcnn检测到的驶过车辆的速度，并结合背景删除法和卡尔曼滤波进行跟踪。

进一步地，所述的消失点检测，通过使用边缘替代图像梯度来改进对第二个消失点的检测，首先估计相机相对于道路旋转所产生的消失点的检测，第一个消失点u是根据车辆的运动通过一个级联的霍夫变换估计而得，而其中车辆运动通过跟踪移动车辆上的感兴趣点形成的线来表征；为了检测第二个消失点v，在其中许多点与v一致的情况下使用驶过车辆的边缘，给定图像i，首先找到种子点si作为图像的梯度幅度的局部最大值，仅保留高于阈值的点，从每个种子点si＝[xi,yi,1]^t的9×9邻域中，形成矩阵xi：

其中[mk,nk,1]^t是相邻像素(k＝1…81)的坐标，并且wk是来自e的它们的梯度大小，即对于9×9邻域，xi的大小为81×2，然后，从等式(10)可以计算出奇异向量和xi的值：

其中，

wi＝[a1,a2](11)

边缘方向是由边缘的第一个奇异列向量di＝a1定义，边缘质量由奇异值衡量，每个边缘则可表示为一个三元组εi＝(si,di,qi)，从输入视频中收集边缘，只保留与已估计的u不一致的项，并累积到菱形空间累加器，将累加器中全局最大值的位置作为第二个消失点v。

进一步地，所述的车辆检测和跟踪，在速度测量过程中，通过faster-rcnn(frcn)检测器在每一帧中检测驶过车辆，对包含大约20k个汽车实例的v20k数据集进行检测，均采用监控视角，检测器的检测率为96％，检测器产生图像中汽车位置的粗略信息(边界框没有精确对准的)，只跟踪完全可见的车辆，因为被稍微遮挡或过于远离相机，都有可能导致不精确的跟踪甚至错误的速度估计；对于跟踪，使用一个简单的背景模型，通过移动平均值构建背景参考图像，并使用frcn检测来对前景图像中检测到的团块分组，从每组团块中提取凸包及其2d边界框，最后使用卡尔曼滤波器跟踪凸包的2d边界框以获得车辆的运动，对于每个跟踪车辆，提取参考点用于速度测量，凸包用于构造3d边界框，并将车头前边的中心作为地面/道路平面的参考点，每个轨迹均由边界框和参考点的序列表示，而此边界框和参考点均是由凸包构成。

其中，所述的比例推算，使用细粒度的车辆和少数常见类型，获得图像上车辆的3d模型，并将其与实际观察到的车辆对准以获得适当的比例，采用的比例推算方法需要精确了解车辆类别(精确到生产年份)，使用包含这类图像的数据集及其他相关的训练数据，仅对该地区道路上最常见的几种细粒度车辆类型进行分类，再加一个分类用于表示所有其他车辆，使用cnn对数据集进行分类，计算一个车辆轨迹上所有检测的平均概率。

进一步地，所述的概率计算，对于每个车辆，在其周围建立一个3d边界框，以获得图像坐标中车辆基座的中心b，计算旋转矩阵r，矩阵的列数和归一化的和一致，然后可以计算3d视点向量其中负号表示视点矢量是从车辆到相机，当车辆的视点矢量，车辆的类别及其在屏幕上的位置被确定时，即可获得车辆类的3d模型，其中唯一的未知数是车辆的比例(车辆和相机之间的距离)。

进一步地，所述的比例，利用多个不同的比例渲染车辆图像，并通过使用交叉连接(iou)度量将渲染所得边界框与视频中检测到的边界框进行匹配，将所有车辆实例i和比例j，投影在道路平面上得到fij和rij，并将它们用于计算车辆实例的比例λij：

其中是真实世界类型ti的长度，计算iou匹配度量mij。

进一步地，所述的匹配度量，用于消除不良匹配，利用大于预定阈值的度量mij，将所有比例λij都被考虑在内，从而获得相机的最终比例λ^*，

λ^*＝argmaxλp(λ|(λij,mij))(14)

最后，根据具有离散空间的核密度估计概率p(λ|(λij,mij))计算λ^*。

其中，所述的速度测量，给定一辆带有参考点pi和时间戳ti的跟踪车辆，对于每个参考点i＝1…n，利用等式(15)通过将参考点pi投影到地平面pi(见等式(8))计算出速度v，

计算连续时间之间速度的中值作为速度，为了测量的稳定性，按多个视频帧为一组将时间隔开较大距离，即τ>1，实验中使用τ＝5(时间差通常为0.2秒)。

附图说明

图1是本发明一种基于计算机视觉自动校准交通监控相机的方法的系统框架图。

图2是本发明一种基于计算机视觉自动校准交通监控相机的方法的边界框对齐示例图。

图3是本发明一种基于计算机视觉自动校准交通监控相机的方法的相机模型和坐标系。

图4是本发明一种基于计算机视觉自动校准交通监控相机的方法的边缘检测图示。

图5是本发明一种基于计算机视觉自动校准交通监控相机的方法的边缘图示。

图6是本发明一种基于计算机视觉自动校准交通监控相机的方法的车辆检测和跟踪图示。

图7是本发明一种基于计算机视觉自动校准交通监控相机的方法的iou度量示例。

图8是本发明一种基于计算机视觉自动校准交通监控相机的方法的手动测量图示。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合，下面结合附图和具体实施例对本发明作进一步详细说明。

图1是本发明一种基于计算机视觉自动校准交通监控相机的方法的系统框架图。主要包括交通监控相机模型、相机校准和车辆跟踪、比例推算、速度测量。

其中，所述的交通监控相机模型，目标是测量道路平面上任意两点之间的距离，因此构建相机模型，假设图像中心具有零像素偏移和主点c，齐次2d图像坐标用p＝[px,py]^t表示，3d模型中由表示，其中f是焦距，其他3d点(道路平面上)用p＝[px,py,pz]^t表示，假设图像坐标系的原点在图像中心，则主点c具有2d齐次坐标[0,0,1]^t(相机投影中心的3d坐标为[0,0,0]^t)，道路平面用ρ表示，用以下方式对消失点进行编码，第一个(在车辆流动的方向)被称为u，第二个消失点(垂直于第一个消失点并且位于道路平面上)由v表示，第三个(垂直于道路平面的方向)是w，使用前两个消失点u，v和主点c，可以计算焦距f，第三个消失点w，道路平面归一化向量n，以及主要路面ρ，然而道路平面只能按比例计算(因无法仅根据消失点找回到路面的距离)，因此添加任意值δ＝1作为等式(6)的常数项，

ρ＝[n^t,δ]^t(6)

已知道路平面ρ，在路面上对p＝[px,py]^t进行投影，可计算其3d坐标p＝[px,py,pz]^t：

可直接用3d坐标p测量道路平面上的距离，点p1和p2之间的距离‖p1-p2‖，并非直接以米(或其他距离单位)表示，因此需要引入另一个校准参数——场景比例λ，将距离‖p1-p2‖从路面上的伪单位通过缩放到λ‖p1-p2‖转换成以米为单位，在图像中心的主点和零像素偏移的假设下，校准方法必须与场景比例λ一起计算两个消失点(u和v)。

其中，所述的相机校准和车辆跟踪，提供消失点的图像坐标和场景比例信息，通过精确检测消失点，并使用汽车3d模型来推断场景比例，测量经由faster-rcnn检测到的驶过车辆的速度，并结合背景删除法和卡尔曼滤波进行跟踪。

进一步地，所述的消失点检测，通过使用边缘替代图像梯度来改进对第二个消失点的检测，首先估计相机相对于道路旋转所产生的消失点的检测，第一个消失点u是根据车辆的运动通过一个级联的霍夫变换估计而得，而其中车辆运动通过跟踪移动车辆上的感兴趣点形成的线来表征；为了检测第二个消失点v，在其中许多点与v一致的情况下使用驶过车辆的边缘，给定图像i，首先找到种子点si作为图像的梯度幅度的局部最大值，仅保留高于阈值的点，从每个种子点si＝[xi,yi,1]^t的9×9邻域中，形成矩阵xi：

其中[mk,nk,1]^t是相邻像素(k＝1…81)的坐标，并且wk是来自e的它们的梯度大小，即对于9×9邻域，xi的大小为81×2，然后，从等式(10)可以计算出奇异向量和xi的值：

其中，

wi＝[a1,a2](11)

边缘方向是由边缘的第一个奇异列向量di＝a1定义，边缘质量由奇异值衡量，每个边缘则可表示为一个三元组εi＝(si,di,qi)，从输入视频中收集边缘，只保留与已估计的u不一致的项，并累积到菱形空间累加器，将累加器中全局最大值的位置作为第二个消失点v。

进一步地，所述的车辆检测和跟踪，在速度测量过程中，通过faster-rcnn(frcn)检测器在每一帧中检测驶过车辆，对包含大约20k个汽车实例的v20k数据集进行检测，均采用监控视角，检测器的检测率为96％，检测器产生图像中汽车位置的粗略信息(边界框没有精确对准的)，只跟踪完全可见的车辆，因为被稍微遮挡或过于远离相机，都有可能导致不精确的跟踪甚至错误的速度估计；对于跟踪，使用一个简单的背景模型，通过移动平均值构建背景参考图像，并使用frcn检测来对前景图像中检测到的团块分组，从每组团块中提取凸包及其2d边界框，最后使用卡尔曼滤波器跟踪凸包的2d边界框以获得车辆的运动，对于每个跟踪车辆，提取参考点用于速度测量，凸包用于构造3d边界框，并将车头前边的中心作为地面/道路平面的参考点，每个轨迹均由边界框和参考点的序列表示，而此边界框和参考点均是由凸包构成。

其中，所述的比例推算，使用细粒度的车辆和少数常见类型，获得图像上车辆的3d模型，并将其与实际观察到的车辆对准以获得适当的比例，采用的比例推算方法需要精确了解车辆类别(精确到生产年份)，使用包含这类图像的数据集及其他相关的训练数据，仅对该地区道路上最常见的几种细粒度车辆类型进行分类，再加一个分类用于表示所有其他车辆，使用cnn对数据集进行分类，计算一个车辆轨迹上所有检测的平均概率。

进一步地，所述的概率计算，对于每个车辆，在其周围建立一个3d边界框，以获得图像坐标中车辆基座的中心b，计算旋转矩阵r，矩阵的列数和归一化的和一致，然后可以计算3d视点向量其中负号表示视点矢量是从车辆到相机，当车辆的视点矢量，车辆的类别及其在屏幕上的位置被确定时，即可获得车辆类的3d模型，其中唯一的未知数是车辆的比例(车辆和相机之间的距离)。

进一步地，所述的比例，利用多个不同的比例渲染车辆图像，并通过使用交叉连接(iou)度量将渲染所得边界框与视频中检测到的边界框进行匹配，将所有车辆实例i和比例j，投影在道路平面上得到fij和rij，并将它们用于计算车辆实例的比例λij：

其中是真实世界类型ti的长度，计算iou匹配度量mij。

进一步地，所述的匹配度量，用于消除不良匹配，利用大于预定阈值的度量mij，将所有比例λij都被考虑在内，从而获得相机的最终比例λ^*，

λ^*＝argmaxλp(λ|(λij,mij))(14)

最后，根据具有离散空间的核密度估计概率p(λ|(λij,mij))计算λ^*。

其中，所述的速度测量，给定一辆带有参考点pi和时间戳ti的跟踪车辆，对于每个参考点i＝1…n，利用等式(15)通过将参考点pi投影到地平面pi(见等式(8))计算出速度v，

计算连续时间之间速度的中值作为速度，为了测量的稳定性，按多个视频帧为一组将时间隔开较大距离，即τ>1，实验中使用τ＝5(时间差通常为0.2秒)。

图2是本发明一种基于计算机视觉自动校准交通监控相机的方法的边界框对齐示例图。图中是检测到的车辆和3d模型边界框与车辆检测边界框对齐的示例。顶部：检测到的车辆和相应的3d模型(仅限边缘)，底部：具有所显示3d模型边缘(白色实线)的边界框对齐的示例，其边界框由白色虚线描述，而黑色实线边界框是车辆检测的结果。

图3是本发明一种基于计算机视觉自动校准交通监控相机的方法的相机模型和坐标系。由小写字母表示的点p对应在真实空间中路面ρ上以大写字母p表示的点。这种表示方法对于有限点和理想点都保持不变。假设图像坐标系的原点在图像的中心，因此，主点c具有2d齐次坐标[0,0,1]^t(相机投影中心的3d坐标为[0,0,0]^t)。如图所示，道路平面用ρ表示。我们也用以下方式对消失点进行编码。第一个(在车辆流动的方向)被称为u，第二个消失点(其方向垂直于第一个消失点并且位于道路平面上)由v表示，第三个(垂直于道路平面的方向)是w。

图4是本发明一种基于计算机视觉自动校准交通监控相机的方法的边缘检测图示。为了检测第二个消失点v，在其中许多点与v一致的情况下使用驶过车辆的边缘，检测过程如图所示。从左到右-种子点si作为图像梯度的局部最大值(前景蒙版用于过滤感兴趣区域)，图像块围绕种子点聚集，计算边缘方向，边缘的细节及其方向叠加在梯度图像上，在图像中检测到前25％的边缘。

图5是本发明一种基于计算机视觉自动校准交通监控相机的方法的边缘图示。从视频收集的边缘图示，(白色细线)边缘接近第一个消失点，(黑色和白色粗线)边缘累积到菱形空间，(白色粗线)边缘支持检测到的第二个消失点，右下角即为相应的菱形空间。

图6是本发明一种基于计算机视觉自动校准交通监控相机的方法的车辆检测和跟踪图示。图中从左到右：由frcn(灰色)检测到的车辆，其前景掩模和凸包(白色)，围绕凸包和底部前缘的跟踪点构造的3d边界框，通过卡尔曼滤波器跟踪车辆边界框(从凸包)。对于跟踪，使用一个简单的背景模型，通过移动平均值构建背景参考图像，并使用frcn检测来对前景图像中检测到的团块分组，从每组团块中提取凸包及其2d边界框，最后使用卡尔曼滤波器跟踪凸包的2d边界框以获得车辆的运动，对于每个跟踪车辆，提取参考点用于速度测量，凸包用于构造3d边界框，并将车头前边的中心作为地面/道路平面的参考点，每个轨迹均由边界框和参考点的序列表示，而此边界框和参考点均是由凸包构成。

图7是本发明一种基于计算机视觉自动校准交通监控相机的方法的iou度量示例。不同比例(从左至右)的iou(白色框)度量，车辆类型和视点(从上到下)。左侧两幅图所示为较大渲染的车辆，中间所示为最佳匹配效果，右侧两幅图像显示较小渲染的车辆。以白色矩形边缘的形式表示渲染模型的边框，黑色矩形表示检测到的车辆边界框。

图8是本发明一种基于计算机视觉自动校准交通监控相机的方法的手动测量图示。手动测量的每个标记之间的距离。黑色虚线代表车道分界线，垂直于车辆方向的线用灰色虚线表示。最后，通过灰色实线(白色实线)显示指向第一(第二)消失点的两点之间的测量距离。

对于本领域技术人员，本发明不限制于上述实施例的细节，在不背离本发明的精神和范围的情况下，能够以其他具体形式实现本发明。此外，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围，这些改进和变型也应视为本发明的保护范围。因此，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。