一种车辆违法行为的特征图像库构建方法、判定方法及装置与流程

1.本技术涉及行为识别领域，具体而言，涉及一种车辆违法行为的特征图像库构建方法、判定方法及装置。


背景技术：

2.目前，视频图像在交通管理执法中应用非常广泛，已成为执法取证的重要手段。在取证过程中，视频监控设备或系统通过应用视频分析算法，对车辆特征和违法行为进行识别，并固化形成违法证据。其中，视频分析算法非常关键，其计算结果准确与否，直接决定了证据是否有效。


技术实现要素：

3.本技术的主要目的在于提供一种车辆违法行为的特征图像库构建方法，包括：
4.获取违法图像集；
5.抽取违法图像集中的违法图像的特征图像；
6.根据特征图像建立特征图像库；
7.发送特征图像库至学习神经网络，其中，特征图像库为学习神经网络的训练样本集或测试集。
8.可选地，获取违法图像集包括：
9.通过etl工具，从非现场违法记录表中违法信息；
10.根据违法信息，调取服务器中的视频图像文件，视频图像文件所组成图像集即为违法图像集。
11.可选地，违法信息包括：抽取车辆类型、车身颜色、车辆品牌、违法行为、违法时间、道路类型及图像文件地址。
12.可选地，抽取违法图像集中的违法图像的特征图像包括：
13.针对预设的每一类违法行为，通过方向梯度直方图从违法图像中检测和分割表征该类违法特征的道路、车辆、行为特征要素图像。
14.可选地，通过方向梯度直方图从违法图像中检测和分割表征该类违法特征的道路、车辆、行为特征要素图像包括：
15.根据公式p(x，y)＝i(x，y)
gamma
，采用伽马校正法对违法图像进行颜色空间的标准化，调节图像对比度，降低图像局部的阴影和光照变化所造成的影响，抑制噪音干扰，其中p(x，y)为归一化以后的像素点，i(x，y)为原始图像中的像素点，gamma＝1/2；
16.根据公式g
x
(x，y)＝p(x，y)*[-1，0，1]及通过[-1,0,1]梯度算子对标准化图像做卷积运算，获取以向右为正方向的水平方向的梯度分量，通过[1,0,-1]t梯度算子对原图像进行卷积运算，获取以向上为正方向的竖直方向的梯度分量，其中，gx
(x，y)为归一化的像素点(x，y)处的水平方向梯度，gy(x，y)为归一化的像素点(x，y)处的垂直方向梯度；然后通过公式及获取归一化的像素点的梯度大小和方向，其中，g(x，y)为归一化的像素点(x，y)处的梯度大小，α(x，y)为归一化的像素点(x，y)处的梯度方向。
[0017]
将图像分成多个单元格，每个单元格为6*6个像素，将单元格的梯度方向的360度分成9个方向块，对单元格内每个像素用梯度方向在直方图中进行加权投影，映射到固定角度范围，得到单元格的梯度方向直方图，梯度方向直方图为单元格对应的9维特征向量；
[0018]
3*3个细胞单元格组合成空间上连通的区间块，将一个区间块内所有单元格的特征向量串联，以获得区间块的方向梯度直方图特征，将所有区间块的方向梯度直方图征串联，以获得违法图像的方向梯度直方图特征。
[0019]
可选地，抽取违法图像集中的违法图像的特征图像之前还包括：
[0020]
预处理违法图像集中的违法图像。
[0021]
可选地，预处理违法图像集中的违法图像包括：
[0022]
根据违法图像中的车辆的车身颜色特点和规律建模，识别到车辆的车辆兴趣目标区域，从而将车辆的车辆区域和非车辆区域分开；
[0023]
对车辆区域进行几何变换；
[0024]
模糊化车辆区域中的车辆号牌、驾驶人、乘车人脸部信息。
[0025]
可选地，根据特征图像建立特征图像库包括：
[0026]
将特征图像按照树状层次结构，分为三层数据存储；
[0027]
其中，第一层数据为违法行为类型数据，第二层数据为车辆类型数据，第三层数据为道路类型数据。可选地，发送特征图像库至学习神经网络包括：
[0028]
按照神经网络层次关系，提供三层数据接口，为机器学习算法提供训练样本集和测试集；
[0029]
其中，通过第一层数据接口访问各种违法行为对应的特征图像文件；通过第二层数据接口访问各种车辆类型对应的违法特征图像文件；通过第三层数据接口访问各种道路类型对应的违法特征图像文件。
[0030]
可选地，所有数据接口均包括单个文件查询接口、多文件遍历接口、批量文件的导出接口，为机器学习算法提供数据集访问服务。
[0031]
本技术还提供一种车辆违法行为的判定方法，包括：
[0032]
通过上述任意一项车辆违法行为的特征图像库构建方法构建违法行为特征图像库；
[0033]
通过违法行为特征图像库判定车辆违法行为是否成立。
[0034]
本技术还提供一种车辆违法行为的特征图像库构建装置，包括：
[0035]
图像集获取模块，被配置为获取违法图像集；
[0036]
特征图像抽取模块，被配置为抽取违法图像集中的违法图像的特征图像；
[0037]
特征图像库建立模块，被配置为根据特征图像建立特征图像库；
[0038]
发送模块，被配置为发送特征图像库至学习神经网络。
[0039]
与现有技术相比，本技术具有如下有益效果：
[0040]
本发明提供一种用于机器学习的车辆违法行为特征图像库构建方法，通过与公安交通集成指挥平台数据库建立数据链路，调取非现场违法历史数据和对应的违法视频图像，并对图像进行模糊化、标签化等预处理，抽取违法行为特征图像，采用树结构方式组织成特征图像库，对外开放数据接口，为机器学习算法提供训练样本集和测试集，从而提高视频图像智能化分析算法的效率和精度，为精准执法、高效执法提供支持，有效规范路面通行秩序和保障道路交通安全。
附图说明
[0041]
构成本技术的一部分的附图用来提供对本技术的进一步理解，使得本技术的其它特征、目的和有益效果变得更明显。本技术的示意性实施例附图及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
[0042]
图1是根据本技术一个实施例的违法行为特征图像库构建流程；
[0043]
图2是根据本技术一个实施例的梯度方向块划分图；
[0044]
图3是根据本技术另一个实施例的违法行为特征图像库存储结构。
具体实施方式
[0045]
为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
[0046]
需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
[0047]
需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
[0048]
请参照图1-图3，本技术一实施例提供了围绕视频图像机器学习算法需求，本发明提供一种车辆违法行为图像库构建方法，通过与公安交通集成指挥平台数据库建立数据链路，调取非现场违法历史数据和对应的违法视频图像，对每个视频图像进行预处理，提取违法行为特征图像，采用树结构方式组织成图像库，对外开放数据接口，为机器学习算法提供训练样本集和测试集。
[0049]
按照本发明提供的技术方案，一种用于机器学习的车辆违法行为特征图像库构建方法，见附图1，包括如下内容：
[0050]
s1：调取图像数据。通过共享用户视图方式，与公安交通集成指挥平台建立数据库链路。采用etl(extract-transform-load，抽取-转换-加载)工具，从公安交通集成指挥平台数据库中的非现场违法记录表，批量抽取车辆类型、车身颜色、车辆品牌、违法行为、违法
时间、道路类型、图像文件地址等结构化信息，同时根据图像文件地址，从文件服务器中调取视频图像文件。
[0051]
s2：预处理图像。对每一张视频图像文件进行预处理，根据车身颜色特点和规律建模，快速识别到车辆roi(region ofinterest,兴趣目标区域)，从而将车辆区域和非车辆区域分开；对图像进行缩放、翻转、仿射、映射等几何变换，最大程度地消除图像的几何失真；模糊化车辆号牌和驾驶人、乘车人脸部等隐私信息。
[0052]
s3：抽取违法行为特征图像。针对每一类违法行为，利用hog(histogram oforiented gradient，方向梯度直方图)，从预处理好的图像中检测和分割表征该类违法特征的道路、车辆、行为特征要素图像，见表1。
[0053]
表1违法行为特征要素图像提取内容
[0054]
[0055][0056]
违法行为特征提取的具体步骤如下：
[0057]
s3.1：标准化颜色空间。采用gamma校正法对违法图像进行颜色空间的标准化(归一化)，调节图像对比度，降低图像局部的阴影和光照变化所造成的影响，抑制噪音干扰。
[0058]
p(x，y)＝i(x，y)
gamma
[0059]
式中：p(x，y)为归一化以后的像素点；
[0060]
i(x，y)为原始图像中的像素点；
[0061]
gamma＝1/2。
[0062]
s3.2：计算图像梯度。首先用[-1，0，1]梯度算子对标准化图像做卷积运算，得到x方向(水平方向，以向右为正方向)的梯度分量，然后用[1，0，-1]t梯度算子对原图像做卷积运算，得到y方向(竖直方向，以向上为正方向)的梯度分量。
[0063]gx
(x，y)＝p(x，y)*[-1，0，1]
[0064][0065]
式中：g
x
(x，y)为像素点(x，y)处的水平方向梯度；
[0066]gy
(x，y)为像素点(x，y)处的垂直方向梯度；
[0067]
然后再用以下公式计算该像素点的梯度大小和方向。
[0068][0069][0070]
式中：g(x，y)为像素点(x，y)处的梯度大小；
[0071]
α(x，y)为像素点(x，y)处的梯度方向。
[0072]
s3.3：构建梯度方向直方图。将图像分成若干个单元格cell，每个cell为6*6个像素。将cell的梯度方向360度分成9个方向块，如图2所示，对cell内每个像素用梯度方向在直方图中进行加权投影(梯度大小作为投影的权值)，映射到固定角度范围，得到这个cell的梯度方向直方图，即该cell对应的9维特征向量。
[0073]
s3.4：合成图像hog特征。把3*3个细胞单元cell组合成空间上连通的区间块block。将一个block内所有cell的特征向量串联起来便得到该block的hog特征。将图像内的所有block的hog特征串联起来得到该图像的hog特征。
[0074]
s4：建立特征图像库。将抽取的违法行为特征图像按照树状层次结构进行组织存储，见附图3。第一层为违法行为，包含违法行为代码和违法行为描述信息，分为压线行驶、违规变道、违规加塞、逆向行驶、占用专用车道、闯红灯、违规停车、无牌无证、机动车号牌不清晰不完整等分枝；第二层为车辆类型，分为微小型客车、中型客车、大型客车、小型货车、中型货车、大型货车、挂车、消防车、警车、作业车、医疗救援车、校车等分枝；第三层为道路类型，分为高速公路、国省道、城市道路、县乡道路等分枝。
[0075]
s5：开放数据接口。按照神经网络层次关系，提供多层数据接口，为机器学习算法提供训练样本集和测试集。第一层数据接口用于访问各种违法行为对应的特征图像文件；第二层数据接口用于访问各种车辆类型对应的违法特征图像文件；第三层数据接口用于访问各种道路类型对应的违法特征图像文件。所有层次的数据接口均包括单个文件查询接口、多文件遍历接口、批量文件的导出接口等多种接口方式，为机器学习算法提供数据集访问服务。
[0076]
本技术中，伽马校正(gamma校正)，又叫伽马非线性化或伽马编码，是用来针对影片或是影像系统里对于光线的辉度或是三色刺激值所进行非线性的运算或反运算。
[0077]
本技术还提供一种车辆违法行为的判定方法，包括：
[0078]
通过上述任意一项车辆违法行为的特征图像库构建方法构建违法行为特征图像库；
[0079]
通过违法行为特征图像库判定车辆违法行为是否成立。
[0080]
本技术还提供一种车辆违法行为的特征图像库构建装置，包括：
[0081]
图像集获取模块，被配置为获取违法图像集；
[0082]
特征图像抽取模块，被配置为抽取违法图像集中的违法图像的特征图像；
[0083]
特征图像库建立模块，被配置为根据特征图像建立特征图像库；
[0084]
发送模块，被配置为发送特征图像库至学习神经网络。
[0085]
与现有技术相比，本技术具有如下有益效果：
[0086]
1、图像数据自动获取，减少人工获取和签注工作量。
[0087]
2、囊括了多种违法行为的特征要素图像，适用于图像比对和违法行为识别。
[0088]
3、数据对外开放，适合多种机器学习算法需求，通用性强，有利于提高各类算法的精准度。
[0089]
以上仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。