本发明涉及视频监控技术领域，尤其涉及一种车辆特征提取方法及装置。
背景技术：
车辆卡口监控系统在道路交通管理中占据着不可替代的作用，通过精准抓拍过往的每一辆车，来实现对车辆基本信息的识别、分析和存储等功能。当前对卡口图片中车辆车牌、车型等基本信息检测的准确率已经达到很高的程度，但是在对套牌等违章嫌疑车辆的分析判别以及采用以图搜图方法的车辆检索方面的准确率和效率都还比较低，尤其是在处理海量数据的情况下。
技术实现要素：
本发明提供一种车辆特征提取方法及装置，以提高车辆特征提取的精确性。
根据本发明的第一方面，提供一种车辆特征提取方法，包括：
获取目标车辆的车身区域图像；
确定所述车身区域图像中的车窗区域，并进行关键点定位；
根据所述关键点对所述车身区域图像进行透视变换和整车对齐处理；
将处理后的车身区域图像划分为预设数量的区块；其中，所述预设数量的区块包括多种不同类型不同尺寸的区块，各区块的类型及尺寸由区块内标志物特征类型以及显著性确定；
分别对所述预设数量的区块进行特征提取，并将各区块特征组合为整车特征。
根据本发明的第二方面，提供一种车辆特征提取装置，包括：
获取单元，用于获取目标车辆的车身区域图像；
确定单元，用于确定所述车身区域图像中的车窗区域，并进行关键点定位；
处理单元，用于根据所述关键点对所述车身区域图像进行透视变换和整车对齐处理；
划分单元，用于将处理后的车身区域图像划分为预设数量的区块；其中，所述预设数量的区块包括多种不同类型不同尺寸的区块，各区块的类型及尺寸由区块内标志物特征类型以及显著性确定；
特征提取单元，用于分别对所述预设数量的区块进行特征提取，并将各区块特征组合为整车特征。
应用本发明公开的技术方案，通过获取目标车辆的车身区域图像，确定车身区域图像中的车窗区域，并进行关键点定位，进而根据关键点对车身区域图像进行透视变换和整车对齐处理，将处理后的车身区域图像划分为预设数量的区块，并分别所述预设数量的区块进行特征提取，最终将各区块特征组合为整车特征，提高了车身特征提取的精确性。
附图说明
图1是本发明实施例提供的一种车辆特征提取方法的流程示意图；
图2A～2G是本发明实施例提供的具体场景下的车辆特征提取的示意图；
图3是本发明实施例提供的一种车辆特征提取装置的结构示意图；
图4是本发明实施例提供的另一种车辆特征提取装装置的结构示意图。
具体实施方式
为了使本技术领域的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
请参见图1，为本发明实施例提供的一种车辆特征提取方法的流程示意图，其中，该车辆特征提取方法可以应用于视频监控系统，如图1所示，该车辆特征提取方法可以包括以下步骤：
需要说明的是，步骤101～步骤105的执行主体可以为视频监控系统中的后台服务器，或后台服务器的处理器，如CPU(Center Process Unit，中央处理单元)或GPU(Graphics Processing Unit，图形处理器)，为便于描述，以下以步骤101～步骤105的执行主体为服务器为例进行说明。
步骤101、获取目标车辆的车身区域图像。
本发明实施例中，目标车辆并不特指某一固定车辆，而是可以指代任一需要进行特征提取的车辆，本发明实施例后续不再复述。
本发明实施例中，可以通过运动目标检测，并根据车牌位置信息，获取目标车辆的车身区域图像。
其中，目标车辆的车身区域图像可以由前端相机在卡口图片抓拍后处理获得，并传输给后台服务器。
步骤102、确定车身区域图像中的车窗区域，并进行关键点定位。
本发明实施例中，后台服务器获取到目标车辆的车身区域图像之后，可以在该车身区域图像中检测车窗区域，例如，后台服务器可以通过Adaboost(一种迭代算法)车窗分类器在车身区域图像中检测车窗区域。
其中，若未特殊说明，本发明实施例中提及的车窗区域指车辆挡风玻璃区域。
本发明实施例中，后台服务器确定了车身区域图像中的车窗区域之后，可以进行关键点定位，其中，该关键点可以包括车窗关键点以及车底关键点等。例如，后台服务器可以通过CNN(Convolutional Neural Network，卷积神经网络)回归训练的方式实现车窗关键点的定位，并根据车身区域图像的宽度、高度以及车身区域图像中车牌的宽度进行车底关键点定位。
其中，车窗关键点可以分别位于车窗区域的四个顶角位置。
步骤103、根据关键点对车身区域图像进行透视变换和整车对齐处理。
本发明实施例中，后台服务器确定了车身区域图像中的车窗区域，并进行了关键点定位之后，可以根据该关键点对目标车辆进行整车区域透视变换及整车对齐处理。
其中，为了提高透视变换的效果，后台服务器对目标车辆进行透视变换时，可以将车身区域图像划分为多个不同的区域分别进行透视变换，并对各透视变换后的区域进行归一化处理，并对齐拼接。
作为一种可选的实施方式，上述进行关键点定位，可以包括：
根据车窗区域进行车窗关键点定位，并根据车身区域图像的宽度、高度以及车身区域图像中车牌的宽度进行车底关键点定位；
相应地，根据关键点对车身区域图像进行透视变换和整车对齐处理，可以包括：
根据车窗关键点以及车底关键点将车身区域图像划分为车窗区域和前车脸区域；
分别对车窗区域和前车脸区域进行透视变换处理；
将透视变换处理后的车窗区域和前车脸区域对齐后进行拼接。
在该实施方式中，后台服务器可以根据车身区域图像中的车窗关键点以及车底关键点将车身区域划分为车窗区域和前车脸区域。
其中，前车脸区域可以根据车窗区域下面的两个关键点以及由车身图宽、高以及车牌宽度等信息共同计算得到的车底两个关键点(即车底关键点)来确定。
在该实施方式中，后台服务器将车身区域图像划分为车窗区域和前车脸区域之后，可以分别对车窗区域和前车脸区域进行透视变换，并对透视变换处理后的车窗区域和前车脸区域进行归一化处理后，将车窗区域和前车脸区域对齐拼接。
值得说明的是，在本发明实施例中，后台服务器对车身区域图像进行透视变换时，并不限于将车身区域图像划分为车窗区域和前车脸区域，也可以根据不同的车型划分为更多区域分别进行透视变换，然后对归一化的各区域进行对齐拼接，例如，后台服务器可以将车身区域图像划分为车窗区域、引擎盖区域以及车灯区域等，其具体实现在此不做赘述。
步骤104、将处理后的车身区域图像划分为预设数量的区块，其中，该预设数量的区块包括多种不同类型不同尺寸的区块，各区块的类型及尺寸由区块内标志物特征类型以及显著性确定。
本发明实施例中，考虑到在采用以图搜图方法的车辆检索应用中，车身区域图像中不同位置区域包含的有效特征的多少并不完全相同，即对于不同车辆的车身区域图像中，部分位置中包含的特征之间的区别较小，例如，车辆引擎盖区域、车辆进气栅区域、车牌区域等，不同车辆之间区别较小；此外，也存在包含的特征区别较大的位置，例如，年检标区域(年检标的具体位置、不同标签的具体排布等通常存在区别)、挂坠区域(挂坠的样式、位置和长短等通常存在区别)、纸巾盒区域(具体物件、纸巾盒的样式、位置等通常存在区别)等，因此，在对目标车辆的车身区域进行区块划分时，可以根据各位置中有效特征的分布情况将车身区域划分为尺寸不等的多个区块。
相应地，在一种可选的实施方式中，将处理后的车身区域图像划分为预设数量的区块，可以包括：
根据车身区域中关键标志物的分布将处理后的车身区域划分为预设数量的区块；其中，不包含关键标志物的区块的尺寸大于包含关键标志物的区块的尺寸。
本发明实施例中，关键标志物可以指不同车辆之间存在区别概率较大的对象，例如，上述年检标、挂坠、纸巾盒等，其中，关键标志物的不同可以包括位置、样式、尺寸等特征中一个或多个不同。
该实施方式中，考虑到区块尺寸越接近特征提取时的输入尺寸，对该区块进行特征提取时，损失越小，同时，区块越小，区块数量相应就会越多，整车特征维数就会越大，车辆检索的工作量也相应越大，因此，为了在保证车辆检索的精确度的同时，避免车辆检索的工作量过大，后台服务器对车身区域图像进行区块划分时，可以根据车身区域中关键目标的分布对处理后的车身区域图像进行区块划分，包含关键标志物的区块的尺寸可以较小，不包含关键标志物的区块的尺寸可以较大。
值得说明的是，在本发明实施例中，对车身区域图像进行区块划分时，可以将车身区域划分为不同尺寸的区块，但是，当对各区块进行特征提取时，需要将各区块缩放到统一的尺寸进行特征提取，因此，在进行区块划分时，通常可以将包含关键标志物的区块的尺寸设置为与特征提取时的输入尺寸一致，不包含关键标志物的区块的尺寸可以设置为大于特征提取时的输入尺寸，当进行特征块提取时，对于不包含关键标志物的区块，需要先将其缩小至与特征提取时的输入尺寸一致，然后再进行特征提取，从而，可以弱化不包含关键标志物的区块的特征在车辆检索时的比重，突出包含关键标志物的区块的特征，提高车辆检索的准确性。
步骤105、分别对预设数量的区块进行特征提取，并将各区块特征组合为整车特征。
本发明实施例中，后台服务器对车身区域图像进行区块划分之后，可以将各区块输入到预先训练好的对应的特征提取模型中进行特征提取，以分别获取各区块的特征，并根据各区块在车身区域图中的排布将各区块的特征按次序组合为整车特征。
作为一种可选的实施方式，在本发明实施例中，分别对预设数量的区块进行特征提取，可以包括：
将各区块缩放为统一尺寸，并将缩放后的各类型区块输入到对应的特征提取模型中进行特征提取，其中，各类型区块对应的特征提取模型不完全相同。
在该实施方式中，为了提高特征提取的精确性，对于车身区域中不同位置的区块，可以预先训练多个不同的特征提取模型，例如，可以分别训练针对车窗区域的区块的特征提取模型和车外壳区域的区块的特征提取模型，并分别使用各特征提取模块提取相应位置的区块的特征。
其中，由于后台服务器对车身区域进行区块划分时，不同类型区块的尺寸不一致，而对区块进行特征提取时，特征提取模型输入的区块通常要求尺寸一致，因此，后台服务器对各区块进行特征提取时，需要将各不同类型的区块缩放为统一尺寸。
可选地，在该实施方式中，不同特征提取模型对应的特征向量的长度相同；或者，不同特征提取模型对应的特征向量的长度不完全相同，例如，可以根据区块中包括的标志物的特征显著性来确定，区块内包括的标志物的特征显著性越高(特征显著性越高，不同车辆的同一位置区块之间的区别越大)，该区块对应的特征提取模型对应的特征向量的长度可以越长。
可见，在图1所示的方法流程中，通过对目标车辆的车身区域图像进行透视变换和整车对齐处理，并将处理后的车身区域划分为多个不同类型的区块，不同类型的区块的尺寸不同，从而可以提高以图搜图应用中车辆特征提取的精确性以及区分度，并有针对性地降低车辆特征提取的工作量。
为了使本领域技术人员更好地理解本发明实施例提供的技术方案，下面结合具体实例对本发明实施例提供的技术方案进行描述。
步骤一、车身区域图像获取
根据运动目标检测及车牌位置信息，获取车身区域图像，其示意图可以如图2A所示。
步骤二、车窗检测
根据Adaboost车窗分类器，在车身区域图像中检测车窗区域，其示意图可以如图2B所示。
步骤三、车窗关键点定位
利用CNN回归训练方式实现车窗关键点定位，其中，车窗关键点可以包括车辆前挡风玻璃的四个顶角位置，其示意图可以如图2C所示。
步骤四、车身区域透视变换及对齐
在该实施例中，以将车身区域图像划分为车窗区域和前车脸区域两部分为例，其具体实现如下：
1)根据车窗关键点的坐标，与特定尺寸的矩形建立透视映射关系，例如，目标矩形可以取宽为256个像素，高为128个像素。根据透视映射关系，对车窗区域图像进行透视变换，并在车窗上边缘以及左右边缘分别预留一定的像素宽度，例如上边缘可以取64个像素，左右边缘分别预留32个像素宽度，其示意图可以如图2D所示。
2)前车脸区域图像透视变换所用的四点可以由车窗区域下面两个关键点、车身区域图宽、高以及车牌宽度信息共同确定的。其中前车脸区域的上面两点即为车窗关键点中的下面两点，前车脸区域的下面两点坐标pL(xL,yL)、pR(xR,yR)由车身区域图的宽、高信息以及车牌宽度共同确定，具体由下面的组合公式计算得出：
xL＝0.5*Wcar-1.65*WPL
yL＝Hcar-0.1*WPL
xR＝0.5*Wcar+1.65*WPL
yR＝Hcar-0.1*WPL
其中，Wcar为车身区域图宽度，WPL为车牌宽度，Hcar为车身区域图高度，具体参数由试验结果确定，可以取不同值。
根据获得的四个关键点，与特定尺寸的矩形建立透视映射关系，根据以上所举实例，这里目标矩形可以取宽为256个像素，高为192个像素。根据透视映射关系，对车窗区域图像进行透视变换，并在左右边缘分别预留相应的宽度，例如取32个像素，其示意图可以如图2E所示。
3)各部分透视变换完成后进行拼接，获得整车的最终的透视变换结果。根据以上所举实例，透视后的整车图像尺寸为宽320个像素，高度为384个像素，其示意图可以如图2F所示。
步骤五、车身区域分块设计
请参见图2G，在该实施例中，以将车身区域划分为16个区块为例进行说明。其中各区块尺寸设计以及提特征时的尺寸缩放程度根据各区块内标志物的特殊性来决定。
在该实施例中，各区块的尺寸可以如下(其中，以特征提取时输入图片尺寸为64*64为例)：
1)尺寸一：64*64，包括2号、4号及5号区块，这些区块对应的位置主要是年检标及纸巾盒所在区域，为采用以图搜图方法检索车辆时的主要标志物；其中，这些区块在特征提取时，不需要进行缩放处理；
2)尺寸二：64*80，包括3号区块，这个区块对应的位置主要是挂坠及车内后视镜所在区域，因为有的挂坠比较长，此处对高度扩大了16个像素，该区块与6号区块存在部分重叠；其中，该区块进行特征提取时，需要将高度由80个像素压缩为64个像素；
3)尺寸三：96*64，包括6号、7号、10号、12号、13号及15号区块，这些区块对应的位置主要是纸巾盒或者其他杂物区，以及车灯区；其中，这些区块在特征提取时，需要将宽度从96个像素压缩到64个像素。
4)尺寸四：128*64，包括0号、1号、8号、9号、11号以及14号区块，这些区块对应的位置主要是车辆外壳及车辆进气栅、车牌等所在区域。由于这些区域在进行特征提取时，所提取的特征区分度较小，在后续车辆匹配时时干扰较大，因此，对这些区域进行特征提取时，需要进行较大幅度的压缩。在该实施例中，需要将这些区块的宽度压缩一半，即需要将宽度从128个像素压缩到64个像素。
值得说明的是，在本发明实施例中，考虑到车身区域中部分区域并不适合用于采用以图搜图方法的车辆检索，例如两侧的车门及摇窗区域，这部分区域会随着车辆原始角度的变化而变化，甚至看不到车窗而由马路代替。再例如，挂坠两侧区域在采用以图搜图的方法检索车辆时也不适合提特征，这部分主要是驾驶员和副驾乘客的头部和肩部，这部分若提取特征会随着人员的变化以及衣着的变换造成很大差异，会为后续的特征比对造成较大干扰。因此，在该实施例中，上述区域不进行特征提取。
步骤六、特征提取
在该实施例中，可以预先采用CNN方式对特定区块进行训练，以得到对应的特征提取模型，并通过训练得到的特征提取模型对相应的区块进行特征提取，然后将所有区块的特征组合成整车的特征向量。
为了增加各区块特征的区分度，可以根据区块中包含的不同标志物特征类型，训练不同的特征提取模型。
例如，可以采取以下方式训练三种特征提取模型对车身区域相应区块进行特征提取：
1)、特征提取模型一：利用2号区块训练年检标特征模型，用以提取2号、4号、5号、6号及7号区块的特征；
2)、特征提取模型二：利用3号区块训练挂坠特征模型，专门用以提取3号区块的挂坠区域特征；
3)、特征提取模型三：利用10号区块训练车灯特征模型，用以提取0号、1号、8号-15号区块的特征。
其中，各特征提取模型对相应区块提取特征向量的长度可以设置为一致，也可以设置为不一致。例如，在采用以图搜图的方法进行车辆检索应用，可以将特征提取模型一所提取的特征向量长度设置为80；特征提取模型二和特征提取模型3所提取的特征向量长度设置为60，以在保证以图搜图的准确率的情况下，减少整车特征的维度，提升后车辆检索时特征计算性能。
此外，在采用以图搜图方法的车辆检索应用中，可事先一次性将数据库里所有图像的整车特征提取完并存入数据库，后续的检索过程便可一直使用，不需要反复对数据库里所有图像解码以及进行特征提取。
通过以上描述可以看出，在本发明实施例提供的技术方案中，通过获取目标车辆的车身区域图像，确定车身区域图像中的车窗区域，并进行车窗关键点定位，进而根据车窗关键点对车身区域图像进行透视变换和整车对齐处理，将处理后的车身区域图像划分为预设数量的区块，并分别对预设数量的区块进行特征提取，最终将各区块特征组合为整车特征，提高了车身特征提取的精确性。
请参见图3，为本发明实施例提供的一种车辆特征提取装置的结构示意图，其中，该车辆特征提取装置可以应用于视频监控系统，如应用于上述方法实施例中的后台服务器，如图3所示，该车辆特征提取装置可以包括：
获取单元310，用于获取目标车辆的车身区域图像；
确定单元320，用于确定所述车身区域图像中的车窗区域，并进行关键点定位；
处理单元330，用于根据所述关键点对所述车身区域图像进行透视变换和整车对齐处理；
划分单元340，用于将处理后的车身区域图像划分为预设数量的区块；其中，所述预设数量的区块包括多种不同类型不同尺寸的区块，各区块的类型及尺寸由区块内标志物特征类型以及显著性确定；
特征提取单元350，用于分别对所述预设数量的区块进行特征提取，并将各区块特征组合为整车特征。
在可选实施例中，所述确定单元320，可以具体用于根据所述车窗区域进行车窗关键点定位，并根据所述车身区域图像的宽度、高度以及所述车身区域图像中车牌的宽度进行车底关键点定位；
相应地，请一并参见图4，为本发明实施例提供的另一种车辆特征提取装置的结构示意图，如图4所示，在图3所示的车辆特征提取装置的基础上，图4所示的车辆特征装置中，所述处理单元330，包括：
划分子单元331，用于根据所述车窗关键点以及所述车底关键点将所述车身区域图像划分为车窗区域和前车脸区域；
透视变换子单元332，用于分别对所述车窗区域和前车脸区域进行透视变换处理；
拼接子单元333，用于将透视变换处理后的车窗区域和前车脸区域对齐后进行拼接。
在可选实施例中，所述划分单元340，具体用于根据车身区域中关键标志物的分布将处理后的车身区域划分为预设数量的区块；其中，不包含关键标志物的区块的尺寸大于包含关键标志物的区块的尺寸。
在可选实施例中，所述特征提取单元350，具体用于将各区块缩放为统一尺寸，并将缩放后的各类型区块输入到对应的特征提取模型中进行特征提取；其中，各类型区块对应的特征提取模型不完全相同。
在可选实施例中，不同特征提取模型对应的特征向量的长度相同；或者，不同特征提取模型对应的特征向量的长度不完全相同。
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程，在此不再赘述。
对于装置实施例而言，由于其基本对应于方法实施例，所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是同一个物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
由上述实施例可见，通过获取目标车辆的车身区域图像，确定车身区域图像中的车窗区域，并进行关键点定位，进而根据关键点对车身区域图像进行透视变换和整车对齐处理，将处理后的车身区域图像划分为预设数量的区块，并分别对预设数量的区块进行特征提取，最终将各区块特征组合为整车特征，提高了车身特征提取的精确性。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。