本发明涉及车辆识别技术领域，尤其涉及一种基于级联卷积神经网络的车窗定位方法、系统、设备及存储介质。
背景技术：
近几年来随着智能领域技术的飞速发展，交通道路智能管理的需求增加，在管理过程中，常常需要对车辆车窗进行检测。现有的车辆车窗检测方法主要有如下几下两种：
1、基于色差均值的快速车窗定位方法；
2、基于梯度的车窗检测方法，如基于hough直线检测方法。
以上两种方法均是主要基于梯度和颜色差异的车窗检测方法，这两种方法存在一些弊端：如果车窗边界、纹理信息不够明显，出现干扰物时，基于梯度的车窗边框位置难以明显表示；而如果车窗区域的颜色与车身颜色较相似，如黑色小型轿车，则很容易出现遗漏检测。
技术实现要素：
针对现有技术中的问题，本发明的目的在于提供一种车窗定位方法、系统、设备及存储介质，在初步确定的车窗区域中使用级联的卷积神经网络定位出车窗的四个角点位置，从而检测出准确的车窗位置。
本发明实施例提供一种车窗定位方法，包括如下步骤：
s100：将待检测车窗区域图像输入第一级卷积神经网络，得到输出的各个特征点的坐标值，其中，所述第一级卷积神经网络为预先根据多个训练车窗区域图像和其中已知的多个特征点的坐标值训练得到的神经网络模型；
s200：根据各个特征点的坐标值，从待检测车窗区域图像中裁剪得到各个特征点对应的待检测特征点区域图像，输入第二级卷积神经网络，得到输出的各个特征点的修正坐标值，其中，所述第二级卷积神经网络为根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练得到的神经网络模型；
s300：根据各个特征点的修正坐标值确定车窗的位置。
可选地，所述第二级卷积神经网络具体通过以下步骤训练得到：
在训练车窗区域图像中，分别以各个特征点为中心，根据扩展系数向外扩展得到各个特征点对应的训练特征点区域图像；
根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练所述第二级卷积神经网络；
步骤s200包括如下步骤：
在检测车窗区域图像中，分别以各个特征点为中心，根据扩展系数向外扩展得到各个特征点对应的检测特征点区域图像，输入所述第二级卷积神经网络，得到输出的各个特征点的修正坐标值。
可选地，所述各个特征点对应的训练特征点区域图像通过以下步骤得到：
设定一个或多个扩展系数mi，i∈(1,n)，其中n为扩展系数的数量；
针对每一个扩展系数mi，在训练车窗区域图像中，分别以各个特征点为中心，沿长度方向分别向两侧扩展l*mi，沿宽度方向分别向两侧扩展h*mi，得到各个特征点对应于该扩展系数mi的训练特征点区域图像，其中l和h分别为训练车窗区域图像的长度和高度；
所述步骤s200中，得到输出的各个特征点的修正坐标值，包括如下步骤：
将检测车窗区域图像归一化至与训练特征点区域图像具有相同尺寸；
针对每一个扩展系数mi，在检测车窗区域图像中，分别以各个特征点为中心，沿长度方向分别向两侧扩展l*mi，沿宽度方向分别向两侧扩展h*mi，得到各个特征点对应于该扩展系数mi的检测特征点区域图像；
将各个特征点对应于各个扩展系数mi的检测特征点区域图像输入所述第二级卷积神经网络，得到各个特征点的对应于各个扩展系数mi的坐标值；
将同一特征点分别对应于各个扩展系数mi的坐标值计算平均值，作为该特征点的修正坐标值。
可选地，训练所述第二级卷积神经网络包括如下步骤：
分别根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练多个第二级卷积神经网络，各个所述第二级卷积神经网络的输入为特征点区域图像，输出为各个特征点的修正坐标值；其中：
各个第二级卷积神经网络按照扩展系数的大小进行排序，其中各个第二级卷积神经网络对应的扩展系数小于其前一个第二级卷积神经网络对应的扩展系数。
可选地，所述步骤s200包括按照排序依次采用各个第二级卷积神经网络进行特征点位置检测，具体包括如下步骤：
根据特征点的坐标值，以及根据第一个第二级卷积神经网络的扩展系数从检测车窗区域图像中裁剪得到分别以各个特征点为中心的检测特征点区域图像，输入第一个所述第二级卷积神经网络，得到各个特征点对应于第一个第二级卷积神经网络的修正坐标值；
对于后续的各个第二级卷积神经网络：根据前一个第二级卷积神经网络输出的特征点的修正坐标值，以及根据当前第二级卷积神经网络的扩展系数，从检测车窗区域图像中裁剪得到分别以各个特征点为中心的检测特征点区域图像，输入当前第二级卷积神经网络，得到各个特征点对应于当前第二级卷积神经网络的修正坐标值；
将最后一个第二级卷积神经网络输出的修正坐标值作为步骤s300的输入值。
可选地，所述步骤s200包括如下步骤：
根据特征点的坐标值，以及根据第一个第二级卷积神经网络的扩展系数从检测车窗区域图像中裁剪得到分别以各个特征点为中心的检测特征点区域图像，输入第一个所述第二级卷积神经网络，得到各个特征点对应于第一个第二级卷积神经网络的修正坐标值；
对于后续的各个第二级卷积神经网络：根据前一个第二级卷积神经网络输出的特征点的修正坐标值，以及根据当前第二级卷积神经网络的扩展系数，从检测车窗区域图像中裁剪得到分别以各个特征点为中心的检测特征点区域图像，输入当前第二级卷积神经网络，得到各个特征点对应于当前第二级卷积神经网络的修正坐标值；
针对每次第二级卷积神经网络输出的特征点的修正坐标值，判断各个特征点之间的位置关系是否满足预设关联关系，如果是，则将当前第二级卷积神经网络输出的特征点的修正坐标值作为步骤s300的输入值。
可选地，所述步骤s200中，判断各个特征点之间的位置关系是否满足预设关联关系，采用如下一种方式或多种方式的组合：
判断两个指定特征点之间的连线的水平度是否位于预设水平度范围内；
判断两个指定特征点之间的连线的垂直度是否位于预设垂直度范围内；
判断特征点之间的两条指定连线的夹角是否位于预设夹角范围内；
判断特征点之间的两条指定连线的长度的比值是否位于预设比值范围内。
可选地，所述特征点包括定义车窗框架轮廓的四个角点，所述步骤s300包括：根据各个特征点的修正坐标值确定车窗的框架位置。
本发明实施例还提供一种车窗定位系统，应用于所述的车窗定位方法，包括
第一定位单元，用于将检测车窗区域图像输入第一级卷积神经网络，得到输出的各个特征点的坐标值，其中，所述第一级卷积神经网络为预先根据多个训练车窗区域图像和其中已知的多个特征点的坐标值训练得到的神经网络模型；
第二定位单元，用于根据各个特征点的坐标值，从检测车窗区域图像中裁剪得到各个特征点对应的检测特征点区域图像，输入第二级卷积神经网络，得到输出的各个特征点的修正坐标值，其中，所述第二级卷积神经网络为根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练得到的神经网络模型；
车窗定位单元，用于根据各个特征点的修正坐标值确定车窗的位置。
本发明实施例还提供一种车窗定位设备，包括：
处理器；
存储器，其中存储有所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来执行所述的车窗定位方法的步骤。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的车窗定位方法的步骤。
本发明所提供的车窗定位方法、系统、设备及存储介质具有下列优点：
本发明首先基于车牌位置初步定位出车窗区域，在此初步定位的车窗区域内使用卷积神经网络，结合级联的方式能够快速准确地检测车辆目标中的车窗位置，相较于传统方法而言提高了目标的检测率，且相比于其他类型的检测神经网络而言，节约了检测时间，在实际产品应用中占有绝对的优势。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显。
图1是本发明一实施例的车窗定位方法的车窗检测的流程图；
图2是本发明一实施例的车窗定位方法的卷积神经网络训练的流程图；
图3是本发明一实施例的车身正视图；
图4是本发明一实施例的车窗区域图像的示意图；
图5是本发明一实施例的车窗区域图像中通过第一级卷积神经网络检测得到的特征点位置的示意图；
图6是本发明一实施例的第二级卷积神经网络的特征点区域图像裁剪的示意图；
图7是本发明一实施例第二级卷积神经网络的特征点区域图像中识别特征点位置的示意图；
图8是本发明一实施例的特征点坐标值修正后与特征点坐标值修正前的对比示意图；
图9是本发明一实施例的第三级卷积神经网络的特征点区域图像裁剪的示意图；
图10是本发明一实施例第三级卷积神经网络的特征点区域图像中识别特征点位置的示意图；
图11是本发明一实施例的特征点坐标值第二次修正后与特征点坐标值第一次修正前的对比示意图；
图12是本发明一实施例的修正后特征点位置限定车窗框架的结构示意图；
图13是本发明一实施例的车窗区域粗定位步骤和车窗区域定位训练步骤的流程图；
图14是本发明一实施例的车窗区域定位步骤的流程图；
图15是本发明一实施例的车窗定位系统的结构示意图；
图16是本发明一实施例的车窗定位设备的结构示意图；
图17是本发明一实施例的计算机存储介质的结构示意图。
具体实施方式
现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的实施方式；相反，提供这些实施方式使得本发明将全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。在图中相同的附图标记表示相同或类似的结构，因而将省略对它们的重复描述。
如图1所示，本发明实施例提供一种车窗定位方法，包括如下步骤：
s100：将待检测车窗区域图像输入第一级卷积神经网络，得到输出的各个特征点的坐标值，其中，所述第一级卷积神经网络为预先根据多个训练车窗区域图像和其中已知的多个特征点的坐标值训练得到的神经网络模型；
s200：根据各个特征点的坐标值，从待检测车窗区域图像中裁剪得到各个特征点对应的待检测特征点区域图像，输入第二级卷积神经网络，得到输出的各个特征点的修正坐标值，其中，所述第二级卷积神经网络为根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练得到的神经网络模型；
s300：根据各个特征点的修正坐标值确定车窗的位置。
在该实施例中，获取待检测车窗区域，可以通过：首先从车辆图像中获取到车窗区域图像，具体地，首先识别车辆图像中车牌的位置和车牌的尺寸；根据车牌和车窗的位置预设关系，初步确定车窗的位置，从而从所述训练的车辆图像中截取车窗区域图像。但本发明不限于此。
本发明基于级联卷积神经网络进行车辆车窗定位，提高了车窗定位的精度。其中，第一级卷积神经网络对车窗的所有特征点同时检测，第二级卷积神经网络分别针对各个特征点单独进行检测，对第一级卷积神经网络的检测结果进行修正，进一步提高检测准确度。同时，在第一级卷积神经网络进行特征点检测时，可以仅采用粗检测的方式，对其检测精度要求不高，可以减少计算量；在后续第二级卷积神经网络的检测过程中，采用的是特征点区域图像，相比于车窗区域图像其像素和元素少了很多，对计算量的要求也大大减少。
如图2所示，在该实施例中，所述第一级卷积神经网络和第二级卷积神经网络可以根据如下步骤训练：
s110：根据多个训练车窗区域图像和其中已知的多个特征点的坐标值训练第一级卷积神经网络，训练得到的第一级卷积神经网络的输入为车窗区域图像，输出为各个特征点的坐标值；
s120：根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练第二级卷积神经网络，训练得到的第二级卷积神经网络的输入为特征点区域图像，输出为各个特征点的修正坐标值。
在该实施例中，各个特征点对应的训练特征点区域图像的获取可以通过：在训练车窗区域图像中，分别以各个特征点为中心，根据扩展系数向外扩展得到各个特征点对应的训练特征点区域图像；进一步地，获取训练特征点区域图像包括如下步骤：
设定一个或多个扩展系数mi，i∈(1,n)，其中n为扩展系数的数量；
针对每一个扩展系数mi，在训练车窗区域图像中，分别以各个特征点为中心，沿长度方向分别向两侧扩展l*mi，沿宽度方向分别向两侧扩展h*mi，得到各个特征点对应于该扩展系数mi的训练特征点区域图像，其中l和h分别为训练车窗区域图像的长度和高度。
与训练特征点区域图像的获取方式相对应地，步骤s200中获取检测特征点区域图像包括如下步骤：
将检测车窗区域图像归一化至与训练特征点区域图像具有相同尺寸；
针对每一个扩展系数mi，在检测车窗区域图像中，分别以各个特征点为中心，沿长度方向分别向两侧扩展l*mi，沿宽度方向分别向两侧扩展h*mi，得到各个特征点对应于该扩展系数mi的检测特征点区域图像；
将各个特征点对应于各个扩展系数mi的检测特征点区域图像输入所述第二级卷积神经网络，得到各个特征点的对应于各个扩展系数mi的坐标值；
将同一特征点分别对应于各个扩展系数mi的坐标值计算平均值，作为该特征点的修正坐标值。
进一步地，由于第二级卷积神经网络可以进一步提高车窗检测的精度，在其他实施方式中，还可以训练多个第二级卷积神经网络，采用多个第二级卷积神经网络依次对特征点的坐标值进行修正。具体地，所述训练第二级卷积神经网络包括如下步骤：
分别根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练多个第二级卷积神经网络，各个所述第二级卷积神经网络的输入为特征点区域图像，输出为各个特征点的修正坐标值；其中：
各个第二级卷积神经网络按照扩展系数的大小进行排序，其中各个第二级卷积神经网络对应的扩展系数小于其前一个第二级卷积神经网络对应的扩展系数，即每一次第二级卷积神经网络的训练特征点区域图像的特征点区域图像依次减小。
相对应地，所述步骤s200包括按照排序依次采用各个第二级卷积神经网络进行特征点位置检测，具体包括如下步骤：
根据特征点的坐标值，以及根据第一个第二级卷积神经网络的扩展系数从检测车窗区域图像中裁剪得到分别以各个特征点为中心的检测特征点区域图像，输入第一个所述第二级卷积神经网络，得到各个特征点对应于第一个第二级卷积神经网络的修正坐标值；
对于后续的各个第二级卷积神经网络：根据前一个第二级卷积神经网络输出的特征点的修正坐标值，以及根据当前第二级卷积神经网络的扩展系数，从检测车窗区域图像中裁剪得到分别以各个特征点为中心的检测特征点区域图像，输入当前第二级卷积神经网络，得到各个特征点对应于当前第二级卷积神经网络的修正坐标值。
在采用多个第二级卷积神经网络进行修正坐标值时，采用的第二级卷积神经网络的数量可以预先设定，也可以根据预判条件当满足预设条件时停止卷积检测操作。其中，预先设定的方式，即依次采用每个第二卷机神经网络修正特征点的坐标值后，将最后一个第二级卷积神经网络输出的修正坐标值作为步骤s300的输入值。根据预判条件判断包括如下步骤：
针对每次第二级卷积神经网络输出的特征点的修正坐标值，判断各个特征点之间的位置关系是否满足预设关联关系，如果是，则将当前第二级卷积神经网络输出的特征点的修正坐标值作为步骤s300的输入值。
例如，所述步骤s200中，判断各个特征点之间的位置关系是否满足预设关联关系，采用如下一种方式或多种方式的组合：
判断两个指定特征点之间的连线的水平度是否位于预设水平度范围内；判断两个指定特征点之间的连线的垂直度是否位于预设垂直度范围内；判断特征点之间的两条指定连线的夹角是否位于预设夹角范围内；判断特征点之间的两条指定连线的长度的比值是否位于预设比值范围内。
上述判断方式仅为举例列举，在实际应用中也可以采用其他预判条件，本发明不限于此。
下面以一个具体实例来进一步介绍本发明的车窗定位方法。在该实例中，将车窗定位分为车窗区域粗定位步骤、车窗区域定位训练步骤和车窗区域定位步骤。该实例中，车窗定位的流程可以参见图13和图14。
在该实例中，训练两个第二级卷积神经网络，为了表述方便，下面分别标识为第二级卷积神经网络和第三级卷积神经网络。另外，在该实例中，特征点包括定义车窗的框架轮廓的四个角点，可以根据车窗的角点的位置确定车窗的框架的位置。
(1)车窗区域粗定位步骤：根据车牌位置初步定位出可能性的车窗区域位置，得到粗定位车窗区域图像；
如图3所示，首先获取交通道路上的车辆图像，车牌2在车身1中的位置与车窗3在车身1中的位置具有预设的对应关系。车牌2的位置和尺寸通过现有技术中的车牌检测方法可以检测得到，然后通过车牌位置以及车牌的长度v、高度w可以预估车窗候选区域的位置。例如：车窗区域的左右边界可设置为车牌位置向左右两侧分别扩展2倍左右的车牌长度v，车窗的上边界可设置为距离车牌位置4-5倍左右的车牌高度w，车窗的下边界可设置为距离车牌位置1-2倍左右的车牌高度w。一般小型车辆下边界设置参数1.2*w，上边界设置参数为2.5*w，左右边界设置参数为1.2*v，大型车辆可依据稍微扩展参数系数；随后将获取的车窗图像数据集合随机排序生成对应的图像列表文件。从车辆图像中截取得到的车窗区域图像可以参见图4。
该车窗区域粗定位步骤不仅可以用于训练车辆图像的处理，得到训练车窗区域图像，也可以应用于检测车辆图像的处理，得到检测车窗区域图像；
(2)车窗区域定位训练步骤：在该实例中确定车窗准确位置主要是利用级联的卷积神经网络方法定位出车窗的四个角点的位置来实现完成，主要包含以下多个子步骤。
a)构建级联的卷积神经网络：
在机器学习中，卷积神经网络(cnn)是一种深度前馈人工神经网络，已成功地应用于图像识别。相比于yolo、ssd等检测神经网络而言，节约了检测时间，在实际产品应用中占有绝对的优势。
在cnn中，图像中的小块区域(也叫做“局部感知区域”)被当做层次结构中的底层的输入数据，信息通过前向传播经过网络中的各个层，在每一层中都由过滤器构成，以便能够获得观测数据的一些显著特征。因为局部感知区域能够获得一些基础的特征，比如图像中的边界和角落等，这种方法能够提供一定程度对位移、拉伸和旋转的相对不变性。
cnn中层次之间的紧密联系和空间信息使得其特别适用于图像的处理和理解，并且能够自动的从图像抽取出丰富的相关特性。cnn通过结合局部感知区域、共享权重、空间或者时间上的降采样来充分利用数据本身包含的局部性等特征，优化网络结构，并且保证一定程度上的位移和变形的不变性。cnn受视觉神经机制的启发而设计,是为识别二维或三维信号而设计的一个多层感知器，这种网络结构对平移、缩放、倾斜等变形具有高度不变性。
cnn可以用来识别位移、缩放及其它形式扭曲不变性的二维或三维图像。cnn的特征提取层参数是通过训练数据学习得到的，所以其避免了人工特征提取，而是从训练数据中进行学习；其次同一特征图的神经元共享权值，减少了网络参数，这也是卷积网络相对于全连接网络的一大优势。共享局部权值这一特殊结构更接近于真实的生物神经网络使cnn在图像处理、语音识别领域有着独特的优越性，另一方面权值共享同时降低了网络的复杂性，且多维输入信号(语音、图像)可以直接输入网络的特点避免了特征提取和分类过程中数据重排的过程。
cnn中每一层的由多个map组成，每个map由多个神经单元组成，同一个map的所有神经单元共用一个卷积核(即权重)，卷积核往往代表一个特征，比如某个卷积核代表一段弧，那么把这个卷积核在整个图片上滚一下，卷积值较大的区域就很有可能是一段弧。注意卷积核其实就是权重，我们并不需要单独去计算一个卷积，而是一个固定大小的权重矩阵去图像上匹配时，这个操作与卷积类似，因此我们称为卷积神经网络，实际上，bp也可以看作一种特殊的卷积神经网络，只是这个卷积核就是某层的所有权重，即感知区域是整个图像。
因此，卷积神经网络是一个多层的神经网络，每层由多个二维平面组成，而每个平面由多个独立神经元组成。卷积网络在本质上是一种输入到输出的映射，它能够学习大量的输入与输出之间的映射关系，而不需要任何输入和输出之间的精确的数学表达式，只要用已知的模式对卷积网络加以训练，网络就具有输入输出对之间的映射能力。卷积网络执行的是有导师训练，所以其样本集是由形如：(输入向量，理想输出向量)的向量对构成的。所有这些向量对，都应该是来源于网络即将模拟的系统的实际“运行”结果。
i.构建车窗区域四角点粗定位卷积神经网络，即第一级卷积神经网络：构建含有9层的卷积神经网络，分别为卷积层conv1，最大池化层pool1，卷积层conv2，最大池化层pool2，卷积层conv3，最大池化层pool3，卷积层conv4，全连层fc1，全连层fc2。卷积层中，每个神经元的输入与前一层的局部相连，并提取该局部的特征；池化层用来求局部敏感性与二次特征提取的计算层。这种两次特征提取结构减少了特征分辨率，减少了需要优化的参数数目。采用全连层，得到的激活值即卷积神经网络提取到的图片特征。
ii.构建车窗区域四角点精定位卷积神经网络，即第二级卷积神经网络：构建含有8层的卷积神经网络，分别为卷积层conv1，最大池化层pool1，卷积层conv2，最大池化层pool1，卷积层conv3，最大池化层pool3，全连层fc1，全连层fc2。
iii.构建车窗区域四角点精定位卷积神经网络，即第三级卷积神经网络：构建含有6层的卷积神经网络，分别为卷积层conv1，最大池化层pool1，卷积层conv2，最大池化层pool2，全连层fc1，全连层fc2。
b)获取级联神经网络训练数据：
i.生成第一级卷积神经网络的训练数据：对训练车窗区域图像进行预处理，首先将输入的彩色图像转换成灰度图像，其中四个角点的位置是已知的，可以采用预先标注识别的方式，选择多个不同的旋转参数对车窗区域图像进行旋转处理，在该实例中，设置旋转参数分别为5°,10°,15°,5°,10°,15°,0°。随后对图像进行归一化，得到训练车窗区域图像的归一化图像；同时对输入标注的车窗四角点坐标做对应的旋转操作映射到对应的归一化图像中，生成第一级卷积神经网络的训练数据。
ii.生成第二级卷积神经网络的训练数据：将输入的车窗彩色图像转换成灰度图像，对输入的车窗的四个角点坐标为中心，设定两组不同的扩展系数，分别裁剪出八组角点区域图像[四角点*两组不同扩展系数]，在该实例中，分别设置两组不同扩展系数为[0.2,0.24]。将对应角点分别映射到对应裁剪图像中，随后对所有数据进行随机排列生成第二级卷积神经网络的八组训练数据。
iii.生成第三级卷积神经网络的训练数据：将输入的车窗彩色图像转换成灰度图像，对输入的车窗的四个角点坐标为中心，设定两组不同的扩展系数，较之步骤ii中的尺度小，在该实例中，分别设置两组不同扩展系数为[0.16,0.18]。分别裁剪出八组角点区域图像，将对应角点分别映射到对应裁剪图像中，随后对所有数据进行随机排列生成第三级卷积神经网络的八组训练数据。
c)训练级联神经网络：
i.输入第一级卷积神经网络的训练数据集，第一级层用于检测车窗所有角点，以便完成车窗的粗定位步骤；训练四角点粗定位神经网络，直到网络的损失函数到临界值时，得到角点粗定位的卷积网络模型。如上所述，此级层中的卷积神经网络主要由4个卷积层，3个最大池化层和2个全连接层组成；卷积层主要进行了卷积操作和激活函数修正特征；最大池化层则是进行了kenel为2的最大值下采样操作；全连接层则进行了加权输入和激活操作；
在卷积神经网络的训练过程中，可以通过识别各个特征点位置处的灰度值和形状，形状可以进一步转化为多个灰度值的排列规律，下面第二级和第三级卷积神经网络的训练也可以采用该种方式。
ii.输入第二级卷积神经网络的各角点训练数据集，第二级层用于单独检测车窗各角点，以便于精确修正粗定位中检测的点位置信息；训练对应角点的卷积神经网络，直到网络的损失函数到临界值时，得到各角点第一次精定位的卷积网络模型。此级层中的输入图像较之第一级中的图像较小，且检测输出少，卷积神经网络结构主要设计由3层卷积层，3个最大池化层和2个全连接层来构成；
iii.输入第三级卷积神经网络的各角点训练数据集，训练对应角点的卷积神经网络，直到网络的损失函数到临界值时，得到各角点进一步精定位的卷积网络模型。第三级层与第二级相同，都用于单独检测车窗各角点位置，此级层为在第二级的结果上进一步精确定位车窗角点位置，则卷积神经网络结构主要由2个卷积层，2个最大池化层和2个全连接层构成。
(3)车窗区域定位步骤：
a)获取到待检测的车辆图像之后，可以按照上述(1)车窗区域粗定位步骤获取到车窗区域图像，即如图4中示出的车窗区域图像；
b)对车窗区域图像进行预处理，归一化成固定大小图像；
c)使用第一级的卷积神经网络模型对图像b)中的图像进行车窗粗定位检测，得到如图5示出的四个角点的坐标位置a、b、c、d，根据图5中a、b、c、d四个点的连线来看，其与车窗3本身的形状和位置具有一定的偏差，需要依靠后续第二级和第三级的卷积神经网络模型；
d)将步骤c)检测输出的结果作为第二级的卷积神经网络模型输入，即如图6所示，以四个点a1、b1、c1、d1为中心，裁剪得到检测角点区域图像4，再通过第二级的卷积神经网络模型的8个模型，检测输出对应的点位置信息，并将两组不同尺度的角点定位结果进行求和平均，将八点输出合并成四点定位结果输出；图6中仅示出了一种扩展系数的角点区域图像，另一种扩展系数的角点区域图像与之类似，仅存在尺寸上的差别，对于一个角点来说，一种扩展系数的角点区域图像可以检测到一个特征的坐标值，将两种扩展系数对应的角点的坐标值进行平均化，将结果作为特征点的第一次修正坐标值；采用此方式得到的四个角点的坐标值可以参见图7和图8所示，得到新的四个位置a2、b2、c2、d2，其a1、b1、c1、d1相比，更接近角点真实位置，因此更为准确。
e)根据第二级卷积神经网络模型的四点结果，重新裁剪角点区域图像。即如图9所示，以四个位置a2、b2、c2、d2为中心，重新裁剪角点区域图像5，可以看出，此次裁剪的角点区域图像5比d)中的图像4小。将角点区域图像5作为输入使用第三级卷积神经网络模型的模型进行检测合并输出车窗八个角点定位结果，对于同一角点的两个结果求平均值，最终输出最终车窗四个角点定位结果。采用此种方式得到的四个角点的坐标值可以参见图10和图11所示，其得到的四个角点位置a3、b3、c3、d3比a2、b2、c2、d2更接近角点真实位置，因此更为准确。
f)结合级联卷积神经网络检测输出的四个角点定位结果，计算组成输出车窗目标框的位置信息，从而实现了车窗定位。
如图12所示，四个角点位置a3、b3、c3、d3的连线定义了车窗的框架，可以根据连线的关系判断第三级卷积神经网络检测后的坐标值的准确度。例如，判断a3和b3的连线与垂直线的角度是否满足预设要求，a3和c3的连线是否水平等等。如果准确度达不到要求，还可以进一步增加卷积神经网络，以第三级卷积神经网络的检测结果为输入，进一步提高车窗检测的准确度。
以上结合本发明的具体实施例对本发明的车窗定位方法与系统进行了详细介绍。然而，可以理解的是，车窗粗定位步骤可以不限于上述设置的基于车牌位置推定的方式，采用其他方式，例如根据后视镜位置预估车窗区域位置，根据车顶位置预估车窗区域位置等等，均是可以实现的，且均属于本发明的保护范围之内。
本发明实施例还提供一种车窗定位系统，应用于上述的车窗定位方法，包括车窗粗定位模块100、卷积神经网络训练模块200和车窗检测模块300，其中：
所述卷积神经网络训练模块200包括：
第一训练单元210，用于根据多个训练车窗区域图像和其中已知的多个特征点的坐标值训练第一级卷积神经网络，训练得到的第一级卷积神经网络的输入为车窗区域图像，输出为各个特征点的坐标值；
第二训练单元220，用于根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练第二级卷积神经网络，训练得到的第二级卷积神经网络的输入为特征点区域图像，输出为各个特征点的修正坐标值；
第三训练单元230，用于根据各个特征点对应的训练特征点区域图像和其中已知的特征点的坐标值训练第三级卷积神经网络，训练得到的第三级卷积神经网络的输入为特征点区域图像，输出为各个特征点的修正坐标值；
所述车窗检测模块300包括：
第一定位单元310，用于将检测车窗区域图像输入所述第一级卷积神经网络，得到输出的各个特征点的坐标值；
第二定位单元320，用于根据各个特征点的坐标值，从检测车窗区域图像中裁剪得到各个特征点对应的检测特征点区域图像，输入所述第二级卷积神经网络，得到输出的各个特征点的修正坐标值；
第三定位单元330，用于根据各个特征点的修正坐标值，从检测车窗区域图像中裁剪得到各个特征点对应的检测特征点区域图像，输入所述第三级卷积神经网络，得到输出的各个特征点的再次修正坐标值；
车窗定位单元340，用于根据各个特征点的再次修正坐标值确定车窗的位置。
本发明实施例还提供一种车窗定位设备，包括处理器；存储器，其中存储有所述处理器的可执行指令；其中，所述处理器配置为经由执行所述可执行指令来执行所述的车窗定位方法的步骤。
所属技术领域的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。
下面参照图16来描述根据本发明的这种实施方式的电子设备600。图16显示的电子设备600仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图16所示，电子设备600以通用计算设备的形式表现。电子设备600的组件可以包括但不限于：至少一个处理单元610、至少一个存储单元620、连接不同系统组件(包括存储单元620和处理单元610)的总线630、显示单元640等。
其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元610执行，使得所述处理单元610执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元610可以执行如图1和图2中所示的步骤。
所述存储单元620可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)6201和/或高速缓存存储单元6202，还可以进一步包括只读存储单元(rom)6203。
所述存储单元620还可以包括具有一组(至少一个)程序模块6205的程序/实用工具6204，这样的程序模块6205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。
总线630可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。
电子设备600也可以与一个或多个外部设备700(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备600交互的设备通信，和/或与使得该电子设备600能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口650进行。并且，电子设备600还可以通过网络适配器660与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。网络适配器660可以通过总线630与电子设备600的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备600使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
本发明实施例还提供一种计算机可读存储介质，用于存储程序，所述程序被执行时实现所述的车窗定位方法的步骤。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述电子处方流转处理方法部分中描述的根据本发明各种示例性实施方式的步骤。
参考图17所示，描述了根据本发明的实施方式的用于实现上述方法的程序产品800，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。
所述计算机可读存储介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读存储介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。可读存储介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。
综上所述，与现有技术相比，采用本发明的车窗定位方法、系统、设备及存储介质，首先基于车牌位置初步定位出车窗区域，在此初步定位的车窗区域内使用卷积神经网络，结合级联的方式能够快速准确地检测车辆目标中的车窗位置，相较于传统方法而言提高了目标的检测率，且相比于其他类型的检测神经网络而言，节约了检测时间，在实际产品应用中占有绝对的优势。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本发明的保护范围。