一种车辆车窗精准定位方法与流程

本发明涉及数字图像处理技术领域，具体涉及一种车辆车窗精准定位方法。

背景技术：

车窗是车辆的关键组成部分，它包含了驾驶人乘客行为、车辆内饰、车辆年检标志、环保标志等重要信息。近年来，随着高清卡口系统的普遍应用，图像分辨率的提升，车窗成为驾驶人行为分析、车辆检索等研究问题的重要分析对象。

基于车牌、基于角点、基于直线检测是目前车窗定位三大主要手段。比如霍星等(基于多识别区域融合的机动车驾驶员检测框架[j].模式识别与人工智能,2018,31(3):283-292.)首先利用图像梯度特征进行车牌定位，然后根据不同车型的车牌与车窗之间的经验空间几何比例，利用几何仿射变换进行车窗定位；尚凌辉等(一种基于深度学习的车辆特征物检测方法:,cn105718912a[p].2016.)通过统计机器学习进行车窗四个角点的定位，进而联合四个角点确定车窗的位置；吴裕锋等(驾乘人员佩戴安全带的自动检测[j].科技尚品,2017(4):175-177.)同样是利用检测模型找到车窗角点从而确定车窗位置，不同的是他们首先进行了车牌定位，然后利用车牌缩小了车窗角点的检测区域；姚东明等(基于车窗检测的车身颜色识别方法研究[j].信息通信,2017(2):87-88.)在车辆图像的canny边缘检测结果上，首先利用hough直线变换检测车窗水平带，进一步利用垂直投影的方法确定车窗左右边线。

目前的车窗定位方法大多都只进行了车窗的粗定位，没有对车窗的四条边线进行精准定位，鉴于车窗精准定位对于车辆区域分割、车窗特征提取等目标有重要意义，本文提出了一种结合yolo和直线检测方法的车窗精准定位方法。

技术实现要素：

针对现有技术中存在的问题，本发明提出的一种车辆车窗精准定位方法的流程为：首先训练yolo车窗检测模型确定车窗的大致位置，然后根据经验值确定车窗四条边线的合适检测区域。进一步，对于车窗的左右边线，采用一种基于hough直线检测加聚类的方法进行检测，对于车窗的上下边线，采用一种基于投影的方法进行检测。最终，联合车窗四条边线确定车窗位置。

本发明的技术方案如下：

一种车辆车窗精准定位方法，，其特征在于，包括如下步骤：

步骤1：已知车辆图像i，在图像i用yolo检测模型进行车窗检测，将找到的车窗区域记为d^w，确定车窗图像上左、右、上、下四条边线对应的检测区域分别为d^l(0,0,w/3,h)、d^r(2*w/3-1,0,w/3,h)、d^t(0,0,w,h/5)、d^b(0,4*h/5-1,w,h/5)，其中，w、h分别为车窗区域d^w的宽和高；

步骤2：从图像i上得到区域d^l、d^r对应的图像分别记为i^l和i^r，对图像i^l、i^r分别通过一种图像关键直线检测方法，找到对应的车窗左右斜边l^l、l^r；

步骤3：从图像i上得到区域d^t、d^b对应的图像分别记为i^t、i^b，采用一种基于旋转扫描的直线检测方法确定车窗上下边线l^t、l^b；

步骤4：最终，确定直线l^l、l^t、l^r、l^b围成的区域为车辆的车窗区域。

所述的一种车辆车窗精准定位方法，其特征在于，所述步骤2中的一种图像关键直线检测方法的具体步骤如下：

步骤2.1：对于输入图像x，首先给定关键直线的预估角度范围，记为[anglemin,anglemax]；

步骤2.2：对图像x进行灰度化、高斯滤波、canny边缘检测处理，得到图像x对应的二值边缘图，在边缘图上用hough直线检测方法确定直线集l＝{li|i＝0,1,…,nl-1}，nl表示检测到的直线数量；

步骤2.3：筛选剔除直线集l中角度不在[anglemin,anglemax]范围内的直线，然后将直线集l按照直线角度从小到大排序，将更新后的直线集记为l’＝{li|i＝0,1,…,nl’-1}，nl’表示更新后的直线数量；

步骤2.4：将直线集l用k-means算法聚类成m个子集{t0,t1,...,tm-1}，子集数m根据公式(1)确定；

其中，θi表示直线集l’中第i条直线的角度，φ为预先设定的类间最大角度差；

步骤2.5：计算每个直线集ti对应的直线长度总和，找到直线长度总和最大的直线集，记为tk，则确定tk中长度最长的直线为图像的关键直线。

所述的一种车辆车窗精准定位方法，其特征在于，所述步骤3中的一种基于旋转扫描的直线检测方法的具体步骤如下：

步骤3.1：根据车窗左右边线的角度θ^l、θ^r和公式(2)和(3)确定车窗上下边线的角度θ^tb；

步骤3.2：对图像i^t和i^b进行sobel水平边缘检测和otsu二值化，得到二值图i^tb和i^bb，用角度为θ^tb、宽度为3个像素的扫描线分别从上往下扫描图像i^tb，找到对应score1值最大的扫描线位置，记扫描线在该位置的扫描线中心点为p^t，同理，用角度为θ^tb、宽度为3个像素的扫描线分别从下往上扫描图像i^bb，找到对应score1值最大的扫面线位置，记扫描线在该位置的扫描线中心点为p^b；其中score1表示扫描线上的像素投影面积与扫描线在图像上的区域面积之比；

步骤3.3：联合图像i^tb、i^bb确定车窗上下边线的精准偏转角度θ^tb-p，具体为：在图像i^tb、i^bb上分别以点p^t、p^b为扫描线旋转中心，以1°为单位旋转角度、旋转宽度为3个像素的扫描线，在[θ^tb-7°,θ^tb+7°]角度范围内，找到对应socre1最大的扫描线角度，确定为车窗上下边线的精准偏转角度θ^tb-p；

步骤3.4：则车窗上边线l^t为过点p^t角度θ^tb-p为的直线，车窗下边线l^b为过点p^b角度θ^tb-p为的直线。

本发明的有益效果是：结合yolo和直线检测方法可以实现车辆车窗的精准定位，对后续车辆部件分割、车窗特征提取等目标的研究具有重要意义。

附图说明

图1：已知实例图像；

图2：yolo检测模型定位得到的车窗区域；

图3：车窗左边线检测区域；

图4：车窗右边线检测区域；

图5：车窗上边线检测区域；

图6：车窗下边线检测区域；

图7：车窗左边线检测区域canny边缘检测结果；

图8：车窗右边线检测区域canny边缘检测结果；

图9：车窗上边线检测区域的二值化结果；

图10：车窗下边线检测区域的二值化结果；

图11：车窗精准定位结果。

具体实施方式

下面结合具体实例，对本发明(一种结合yolo和直线检测方法的车窗精准定位方法)实施的过程进行详细的说明。

步骤1：已知车辆图像i，在图像i用yolo检测模型进行车窗检测，将找到的车窗区域记为d^w，确定车窗图像上左、右、上、下四条边线对应的检测区域分别为d^l(0,0,w/3,h)、d^r(2*w/3-1,0,w/3,h)、d^t(0,0,w,h/5)、d^b(0,4*h/5-1,w,h/5)，其中，w、h分别为车窗区域d^w的宽和高；

本实例用于进行说明的车辆图像如图1所示，在图像i用yolo检测模型检测得到的车窗区域如图2所示，根据经验值确定的车窗左、右、上、下四条边线的检测区域如图3-6所示；

步骤2：从图像i上得到区域d^l、d^r对应的图像分别记为i^l和i^r，对图像i^l、i^r分别通过一种图像关键直线检测方法，找到对应的车窗左右斜边l^l、l^r；

步骤3：从图像i上得到区域d^t、d^b对应的图像分别记为i^t、i^b，采用一种基于旋转扫描的直线检测方法确定车窗上下边线l^t、l^b；

步骤4：最终，确定直线l^l、l^t、l^r、l^b围成的区域为车辆的车窗区域。

在本实例中，最终确定的车辆的车窗区域如图11所示。

一种图像关键直线检测方法的具体步骤如下：

步骤2.1：对于输入图像x，首先给定关键直线的预估角度范围，记为[anglemin,anglemax]；

在本实例中，左、右边线的预估角度范围为[45°，135°]；

步骤2.2：对图像x进行灰度化、高斯滤波、canny边缘检测处理，得到图像x对应的二值边缘图，在边缘图上用hough直线检测方法确定直线集l＝{li|i＝0,1,…,nl-1}，nl表示检测到的直线数量；

根据步骤2.2得到的车窗左右边线检测区域的二值图如图7-8所示；

步骤2.3：筛选剔除直线集l中角度不在[anglemin,anglemax]范围内的直线，然后将直线集l按照直线角度从小到大排序，将更新后的直线集记为l’＝{li|i＝0,1,…,nl’-1}，nl’表示更新后的直线数量；

步骤2.4：将直线集l用k-means算法聚类成m个子集{t0,t1,...,tm-1}，子集数m根据公式(1)确定；

其中，θi表示直线集l’中第i条直线的角度，φ为预先设定的类间最大角度差；

在本实例中，预先设定的类间最大角度差φ为4°；

步骤2.5：计算每个直线集ti对应的直线长度总和，找到直线长度总和最大的直线集，记为tk，则确定tk中长度最长的直线为图像的关键直线；

一种基于旋转扫描的直线检测方法的具体步骤如下：

步骤3.1：根据车窗左右边线的角度θ^l、θ^r和公式(2)和(3)确定车窗上下边线的角度θ^tb；

在本实例中，根据步骤3.1计算得到的上下边线的大致角度θ^tb为0°；

步骤3.2：对图像i^t和i^b进行sobel水平边缘检测和otsu二值化，得到二值图i^tb和i^bb，用角度为θ^tb、宽度为3个像素的扫描线分别从上往下扫描图像i^tb，找到对应score1值最大的扫描线位置，记扫描线在该位置的扫描线中心点为p^t，同理，用角度为θ^tb、宽度为3个像素的扫描线分别从下往上扫描图像i^bb，找到对应score1值最大的扫面线位置，记扫描线在该位置的扫描线中心点为p^b；其中score1表示扫描线上的像素投影面积与扫描线在图像上的区域面积之比；

在本实例中，根据步骤3.2得到的车窗上下边线检测区域的二值图如图9-10所示；

步骤3.3：联合图像i^tb、i^bb确定车窗上下边线的精准偏转角度θ^tb-p，具体为：在图像i^tb、i^bb上分别以点p^t、p^b为扫描线旋转中心，以1°为单位旋转角度、旋转宽度为3个像素的扫描线，在[θ^tb-7°,θ^tb+7°]角度范围内，找到对应socre1最大的扫描线角度，确定为车窗上下边线的精准偏转角度θ^tb-p；

步骤3.4：则车窗上边线l^t为过点p^t角度θ^tb-p为的直线，车窗下边线l^b为过点p^b角度θ^tb-p为的直线。

在本实例中，根据步骤3.3确定的车窗上下边线的精准偏转角度θ^tb-p为178°。