一种基于深度学习的车窗定位方法与流程

本发明属于视频图像识别技术领域，尤其涉及一种基于深度学习的车窗定位方法。

背景技术：

随着智能交通领域的蓬勃发展，车辆特征物的检测以及驾驶员的行为分析也越来越受到重视。同时，实时快速检测分析出车辆的特征物信息(包括遮阳板是否放下，纸巾盒，挂件，标识符等信息)，以及驾驶员行为信息(包括驾驶员是否系安全带，打电话，人脸相貌等信息)对交通安全监管和刑事案件侦查也具有至关重要的作用。但若要准确判断车辆特征物的具体属性以及驾驶员的行为信息等，需要精确定位到车辆的车窗，从而通过车窗对车辆特征物以及驾驶员的行为等车窗内部信息进行识别。

在现有车窗定位方法中，一种是基于传统的图像处理方式，比如《基于色差均值的快速车窗定位算法[j].计算机应用与软件,2004,21(1):78-79》、《基于hough变换的车窗提取算法[j].中国测试,2007,33(3):50-52》。但采用传统的图像处理方式易受环境和天气的影响，在强弱光、雾霾等情况下效果定位效果较差。另外一种是基于机器学习的方式，比如，《一种基于车窗角点检测的车窗定位方法-cn201711133210》、《一种多方向车辆的车窗定位方法-cn201711043813》，根据机器学习训练车窗角点的分类器，实现车窗定位；但机器学习方式无法对车窗四个角点坐标的实现精确定位，并且对于复杂环境适用性不强，仍需要传统图像处理的方式进行辅助运算。与本发明比较接近的是《一种建立车窗定位模型和车窗定位方法及装置-cn201710039443》，该方式通过在车辆全图上标注车窗的四个角点坐标，并通过机器学习训练模型，根据模型输出车窗四个角点的坐标。但该方式仅通过一步的机器学习训练，定位结果往往不精确，输出的角点坐标会偏离实际的角点位置。

技术实现要素：

(一)解决的技术问题

本发明的目的在于提供一种基于深度学习的车窗定位方法，以解决上述背景技术中提出的实际问题。

(二)技术方案

为实现上述目的，本发明提供如下技术方案：一种基于深度学习的车窗定位方法，包括以下步骤：

步骤1：基于深度学习训练车窗角点粗定位深度学习模型；

步骤2：基于深度学习训练车窗四个角点的精定位深度学习模型；

步骤3：基于深度学习对车辆车窗四个角点进行定位。

进一步的，所述步骤1包含以下步骤：

1.1：在多个车辆图像样本上对车窗的四个角点进行标注，获得每个图像样本对应的车窗四个角点的坐标；

1.2：将所述的多个车辆图像样本与对应的车窗四个角点的坐标作为训练数据，输入到深度卷积神经网络模型中进行训练学习，获得车窗角点粗定位深度学习模型。

进一步的，所述的步骤2包含以下步骤：

2.1：根据步骤1.1标注的所有车辆图像样本车窗的四个角点，对于每一个角点坐标，分别向上、下、左、右四个方向扩展一定的长度，获得一个矩形框，根据该矩形框在车辆原图上截取包含该角点的局部区域图像块，获得车窗四个角点的局部区域图像块，以及该角点在该图像块中对应的坐标；

2.2：分别将所述所有样本中的每个角点的局部区域图像块与该角点在该图像块中对应的坐标输入到深度卷积神经网络模型中，进行训练学习，获得四个角点的精定位深度学习模型。

进一步的，所述的步骤3包含以下步骤：

3.1：将一幅测试车辆图像输入到步骤1.2训练得到的车窗角点粗定位深度学习模型中，输出为四个角点的测试坐标；

3.2：对于所述输出的四个角点测试坐标，对于每一个角点，根据坐标分别向上、下、左、右四个方向扩展一定的长度，获得一个矩形框，根据该矩形框在车辆原图上截取包含该角点的局部区域测试图像块，获得四个角点的图像测试区域块；

3.3：将所述的四个角点的图像测试区域块分别输入到步骤2.2中相对应的角点精定位深度学习模型中，得到四个角点在图像测试区域块中的精定位坐标，并通过转换得到车窗四个角点在该幅车辆图像中的精定位坐标。

(三)有益效果

本发明的目的是提供一种基于深度学习的车窗定位方法，包括：根据车辆图像对车窗四个角点的坐标进行标定，获得坐标标签；首先将车辆图像和车窗四个角点的坐标输入到深度卷积神经网络中进行训练学习，获得车窗角点粗定位深度学习模型；其次，根据标注的车窗角点，获得角点所在的区域图像块；根据角点的区域图像块以及相应角点的坐标，分别训练四个角点的精定位深度学习模型，最后，根据角点的粗定位深度学习模型以及精定位深度学习模型，实现对四个角点坐标的精确定位，本发明通过采用上述技术，解决现有技术对车窗定位精度难以满足需求的问题，同时准确度高，适用性强。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为车窗定位总体流程；

图2为车窗角点粗定位深度学习模型训练流程；

图3为车窗角点精定位深度学习模型训练流程；

图4为车窗角点的区域图像块示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

请参阅图1-4，本发明提供一种技术方案：一种基于深度学习的车窗定位方法，包括以下步骤：

步骤1：基于深度学习训练车窗角点粗定位模型，包括以下步骤：

步骤1.1：在多个车辆图像样本上对车窗的四个角点(左上p1，右上p2，右下p3，左下p4)进行标注，获得每个图像样本对应的车窗四个角点在图像中的坐标p1(x,y)，p2(x,y)，p3(x,y)，p4(x,y)。

步骤1.2：将所述的多个车辆图像样本与对应的车窗四个角点的坐标作为训练数据，输入到深度卷积神经网络模型中进行训练学习，获得车窗角点粗定位的深度学习模型cnnmodel0。

其中，车窗角点粗定位的深度学习模型cnnmodel0输入为一副车辆的图像，输出为车窗的四个角点的坐标。

步骤2：基于深度学习训练车窗四个角点的精定位模型，包括以下步骤：

步骤2.1：根据步骤1.1标注的所有车辆图像样本车窗的四个角点，对于每一个角点坐标，分别向上、下、左、右四个方向延伸扩展长度δt，获得一个矩形框。对于车窗的左上角点p1来说，通过该角点坐标得到的矩形框的坐标为，上边界：y–δt，下边界：y+δt，左边界：x–δt，右边界：x+δt。同样，对于角点p2，p3，p4亦是如此。

扩展长度δt＝ratio*(图像宽度w或高度h)+random。其中，ratio代表比例因子，比如可选择0.16、0.18等等大小，random为随机参数值，这样使得矩形框的大小并不是固定的。

步骤2.2：根据获得四个角点的矩形框在车辆原图上截取包含对应角点的局部区域图像块。获得车窗四个角点p1，p2，p3，p4的局部区域图像块b1，b2，b3，b4，并获得p1，p2,p3,p4分别在图像块b1，b2，b3，b4中的坐标pb1(x,y)，pb2(x,y)，pb3(x,y)，pb4(x,y)。该四个坐标的值为(δt,δt)，其中，δt为步骤2.1中所述的δt。

步骤2.3：对于车窗的左上角点p1来说，将所有图像样本中该角点的区域图像块b1，与该角点在b1中对应的坐标pb1(x,y)，输入到深度卷积神经网络模型中，进行训练学习。同样地，对于车窗角点p2，p3，p4亦是如此。最终获得四个角点的精定位深度学习模型为：左上角点模型：cnnmodel1，右上角点模型：cnnmodel2，右下角点模型：cnnmodel3，左下角点模型：cnnmodel4。

所述的每个角点的精定位模型的输入为包含该车窗角点的图像块，输出为该角点的坐标。

步骤3：基于深度学习，对车辆车窗四个角点进行定位，包括以下步骤：

步骤3.1：将一副车辆图像输入到步骤1.2中训练得到的车窗角点粗定位深度cnnmodel0模型中，输出为四个角点的坐标p1’(x,y)，p2’(x,y)，p3’(x,y)，p4’(x,y)。

步骤3.2：与步骤2.1相同，对于上述输出的四个角点坐标，对于每一个角点，根据坐标分别向上、下、左、右四个方向扩展长度δt，获得一个矩形框，根据该矩形框在车辆原图上截取包含该角点的局部区域图像块。获得四个角点的图像区域块b1’，b2’，b3’，b4’。

步骤3.3：将上述的四个角点的图像区域块b1’，b2’，b3’，b4’，分别输入到步骤2.3中的左上角点模型cnnmodel1，右上角点cnnmodel2，右下角点cnnmodel3，左下角点cnnmodel4，获得车窗四个角点在对应图像块中的坐标pb1’(x,y)，pb2’(x,y)，pb3’(x,y)，pb4’(x,y)。根据每个角点对应的图像块在车辆图像中的位置，分别将坐标pb1’(x,y)，pb2’(x,y)，pb3’(x,y)，pb4’(x,y)转换为在该车辆图像中的坐标，即为车窗的每个角点精确定位的坐标。

在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。