基于Riesz小波变换的图像识别方法及装置与流程

基于riesz小波变换的图像识别方法及装置
技术领域
1.本技术的实施例涉及社会安全技术领域，尤其涉及一种基于riesz小波变换的图像识别方法及装置。


背景技术：

2.在实现本发明的过程中，发明人发现，当前，群体性事件的风险评估等级确定是一个复杂系统的工程，耗时较长且精准性不高，对处理群体性事件结果造成较大的偏差。


技术实现要素：

3.本技术的实施例提供了一种基于riesz小波变换的图像识别方法及装置，能够改善群体性事件的风险评估等级确定耗时较长且精准性不高，对处理群体性事件结果造成较大的偏差的问题。
4.在本技术的第一方面，提供了一种基于riesz小波变换的图像识别方法，包括：
5.获取待识别群体性事件的全方位图像；
6.通过训练完成的小波变换模型，提取所述全方位图像的纹理特征；
7.根据所述纹理特征，获取所述全方位图像的保留纹理特征的特征向量；
8.将所述特征向量作为输入数据，使用训练完成的卷积神经网络模型对所述全方位图像进行识别并分类，得到群体性事件的风险评估等级，所述风险评估等级包括高风险、中风险和低风险；
9.其中，所述卷积神经网络模型是基于包含有风险评估等级的全方位图像，训练得到。
10.通过采用以上技术方案，本技术实施例提供的基于r i esz小波变换的图像识别中，获取包含群众微表情的待识别群体性事件的全方位图像，通过训练完成的小波变换模型和训练完成的卷积神经网络模型，对全方位图像中群众微表情进行识别，并将识别出的群众微表情进行分类，获取该群体性事件的风险评估等级，能够改善群体性事件的风险评估等级确定耗时较长且精准性不高，对处理群体性事件结果造成较大的偏差的问题，达到缩短群体性事件的风险评估等级的确定时长，提高确定的精准性的效果。
11.在一种可能的实现方式中，所述根据所述纹理特征，获取所述全方位图像的保留纹理特征的特征向量，包括：
12.根据所述纹理特征，获取纹理差异度；
13.基于小波分解方法，根据所述纹理差异度，对所述全方位图像进行分解处理，获取第一子图像集和第二子图像集；
14.提取所述第一子图像集和所述第二子图像集中各子图像的特征向量；
15.将所述各子图像的特征向量进行归一化处理，获取所述全方位图像的保留纹理特征的特征向量。
16.在一种可能的实现方式中，所述提取所述第一子图像集和所述第二子图像集中各
子图像的特征向量，包括：
17.计算所述第一子图像集的第一能量参数和所述第二子图像集的第二能量参数；
18.根据所述第一能量参数和所述第二能量参数，进行特征提取，获取所述第一子图像集和所述第二子图像集中各子图像的特征向量。
19.在一种可能的实现方式中，在所述计算所述第一子图像集的第一能量参数和所述第二子图像集的第二能量参数之前，包括：
20.对所述第一子图像集进行非线性图像增强；
21.对所述第二子图像集进行小波去燥处理。
22.在一种可能的实现方式中，所述训练完成的小波变换模型是通过以下方式训练得到的：
23.获取历史全方位图像，所述历史全方位图像包含图像纹理特征；
24.根据所述历史全方位图像对小波变换模型进行训练。
25.在一种可能的实现方式中，所述训练完成的卷积神经网络模型是通过以下方式训练得到的：
26.获取历史的特征向量；
27.根据所述历史的特征向量对卷积神经网络模型进行训练。
28.在一种可能的实现方式中，在所述通过训练完成的小波变换模型，获取所述全方位图像的纹理特征之前，还包括：
29.根据所述全方位图像，通过分割算法，获取所述全方位图像中的主体对象区域。
30.在一种可能的实现方式中，所述根据所述全方位图像，通过分割算法，获取所述全方位图像中的主体对象区域，包括：
31.将所述全方位图像进行特征提取，得到所述全方位图像的特征数据；
32.基于所述特征数据，得到所述主体对象区域分割框信息；
33.基于所述特征数据和所述主体对象区域分割框信息，得到所述全方位图像的所述主体对象区域语义分割信息。
34.在本技术的第二方面，提供了一种基于ri esz小波变换的图像识别的装置，包括：
35.第一获取模块，用于获取待识别群体性事件的全方位图像；
36.提取模块，用于通过训练完成的小波变换模型，获取所述全方位图像的纹理特征；
37.第二获取模块，用于根据所述纹理特征，获取所述全方位图像的保留纹理特征的特征向量；
38.识别模块，用于将所述特征向量作为输入数据，使用训练完成的卷积神经网络模型对所述全方位图像进行识别并分类，得到群体性事件的风险评估等级，所述风险评估等级包括高风险、中风险和低风险；
39.其中，所述卷积神经网络模型是基于包含有风险评估等级的全方位图像，训练得到。
40.在一种可能的实现方式中，所述第二获取模块包括：
41.获取单元，用于根据所述纹理特征，获取纹理差异度；
42.分解单元，用于基于小波分解方法，根据所述纹理差异度，对所述全方位图像进行分解处理，获取第一子图像集和第二子图像集；
43.提取单元，用于提取所述第一子图像集和所述第二子图像集中各子图像的特征向量；
44.归一化单元，用于将所述各子图像的特征向量进行归一化处理，获取所述全方位图像的保留纹理特征的特征向量；
45.提取单元包括：
46.计算子单元，用于计算所述第一子图像集的第一能量参数和所述第二子图像集的第二能量参数；
47.提取子单元，用于根据所述第一能量参数和所述第二能量参数，进行特征提取，获取所述第一子图像集和所述第二子图像集中各子图像的特征向量；
48.提取单元还包括：
49.增强子单元，用于对所述第一子图像集进行非线性图像增强；
50.去燥子单元，用于对所述第二子图像集进行小波去燥处理。
51.应当理解，发明内容部分中所描述的内容并非旨在限定本技术的实施例的关键或重要特征，亦非用于限制本技术的范围。本技术的其它特征将通过以下的描述变得容易理解。
附图说明
52.结合附图并参考以下详细说明，本技术各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其中：
53.图1示出了本技术实施例中基于riesz小波变换的图像识别的方法的流程图。
54.图2示出了本技术实施例中基于riesz小波变换的图像识别的装置的结构图。
具体实施方式
55.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。
56.本技术实施例提供的基于riesz小波变换的图像识别的方法可以应用于社会安全技术领域。
57.重大事项社会稳定风险评估等级(简称“风险评估等级”)，是指综合重大事项所涉及诸多因素和信息，预测项目实施可能引发新问题新矛盾及其发展趋势、发生概率、影响范围和激烈程度等，可能造成社会矛盾冲突、扰乱社会秩序、生命财产安全等后果而确定的风险级别。
58.风险等级分为高风险、中风险、低风险三个等级。参照相关资料可知，风险等级的界定标尺线界定，具体为：大部分群众有意见、反应特别强烈，可能引发大规模群体性事件的为高风险；部分群众有意见、反应强烈，可能引发矛盾冲突的为中风险；多数群众理解支持但少部分人有意见的，为低风险。
59.而风险等级的刻度界定，具体为：项目涉利益群体规模在千人以上的，反对意见超过50％，可能形成大规模群体性事件的风险相对就高，应定为高风险；涉利益群体规模在千人以下的项目，反对意见20％左右，形成群体性事件或矛盾冲突的风险相对存在，应定为中风险。
60.一般来讲，风险评估流程是：“制定评估工作方案
→
审阅相关材料
→
充分听取意见(调查、核实)
→
全面评估论证
→
确定风险等级
→
编制评估报告”，可见群体性事件的风险评估等级确定，的确是一个复杂且干扰因素过多的工程，易造成耗时较长，精准性不高，对处理群体性事件结果造成较大的偏差的问题。
61.针对上述问题，发明人认为，微表情是一种肢体语言，其本身就是心理应激反应的一部分，它是人类的本能反应，既不受思想控制，也无法掩饰，更不能伪装，可通过分析发生群体性事件时的全方位图像中的群众的微表情来确定群体性事件的风险评估等级。
62.图1示出了本技术实施例中基于ri esz小波变换的图像识别的方法流程图。参见图1，本实施例中基于ri esz小波变换的图像识别的方法包括：
63.步骤101：获取待识别群体性事件的全方位图像。
64.步骤102：通过训练完成的小波变换模型，提取全方位图像的纹理特征。
65.步骤103：根据纹理特征，获取全方位图像的保留纹理特征的特征向量。
66.步骤104：将特征向量作为输入数据，使用训练完成的卷积神经网络模型对全方位图像进行识别并分类，得到群体性事件的风险评估等级，风险评估等级包括高风险、中风险和低风险。
67.其中，卷积神经网络模型是基于包含有风险评估等级的全方位图像，训练得到。
68.通过采用以上技术方案，本技术实施例提供的基于riesz小波变换的图像识别中，获取包含群众微表情的待识别群体性事件的全方位图像，通过训练完成的小波变换模型和训练完成的卷积神经网络模型，对全方位图像中群众微表情进行识别，并将识别出的群众微表情进行分类，获取该群体性事件的风险评估等级，能够改善群体性事件的风险评估等级确定耗时较长且精准性不高，对处理群体性事件结果造成较大的偏差的问题，达到缩短群体性事件的风险评估等级的确定时长，提高确定的精准性的效果。
69.在步骤101中，全方位图像包括发生群体性事件时，包含涉事群众大部分微表情的全方位图像。全方位图像用于为后续识别全方位图像中的微表情做准备。全方位图像还对该次待识别群体性事件进行风险评估定级确定做准备。
70.在本技术实施例中，可通过数据采集设备获取全方位图像。数据采集设备包括普通摄像头、鹰眼摄像头、多屏多点摄像头、多点图像处理系统或者天网或雪亮工程兼容的图文系统。
71.可选的，选取多点图像处理系统作为数据采集设备，进行多点采集处理，获取全方位图像。相对其他数据采集设备，选取多点图像处理系统，可从多方位角度对待识别群体事件进行数据采集，以便尽可能全面的获取全方位图像。
72.在步骤102中，小波变换(riesz小波变换)可用于提取频率、峰值、心电特征、脑电信号特征和纹理特征等。
73.可选的，选取用于提取纹理特征的小波变换模型。利用小波变换提取纹理特征是时间和频率的局域变换,它具有多分辨率分析的特点,而且在时域频域都具有表征信号局部特征的能力。
74.在本技术实施例中，通过小波变换模型，对全方位图像中群众微表情进行提取纹理特征的预处理，可以增强对全方位图像中微表情的识别精准度。
75.在本技术实施例中，针对微表情高相似度图像识别和分类问题，使用训练完成的
小波变换模型，对全方位图像进行图像纹理特征提取。
76.具体的，使用训练完成的小波变换模型，对包含群众微表情的全方位图像进行图像纹理特征提取，提取出图像纹理的粗细、稠密等特征。
77.在一些实施例中，步骤102包括步骤a1至步骤a2。
78.训练完成的小波变换模型是通过以下方式训练得到的：
79.步骤a1：获取历史全方位图像，历史全方位图像包含图像纹理特征。
80.步骤a2：根据历史全方位图像对小波变换模型进行训练。
81.在本技术实施例中，历史全方位图像中的群众微表情，根据情绪的不同，表达出不同的微表情，而每一种微表情的纹理特征都不同。例如，若某一位群众的微表情显示，此人表达出的情绪为愤怒，则其面部表情的纹理特征就包含表示眉毛高挑、面部肌肉紧绷、眼神犀利和嘴唇干涩的特征。
82.在本技术实施例中，使用包含多种微表情纹理特征的历史全方位图像，对小波变换模型进行训练，可得到训练完成的小波变换模型。
83.在步骤103中，基于纹理基元的共生矩阵分析方法，将纹理特征由图像矩阵转化成特征向量。后续运用训练完成的卷积神经网络进行识别和分类时，可将特征向量作为训练完成的卷积神经网络模型输入层的内容。即训练完成的卷积神经网络模型输入层的内容，为由小波变换提取的保留图像纹理特征的特征向量。
84.在一些实施例中，步骤103包括步骤b1至步骤b4。
85.步骤b1：根据纹理特征，获取纹理差异度。
86.步骤b2：基于小波分解方法，根据纹理差异度，对全方位图像进行分解处理，获取第一子图像集和第二子图像集。
87.步骤b3：提取第一子图像集和第二子图像集中各子图像的特征向量。
88.步骤b4：将各子图像的特征向量进行归一化处理，获取全方位图像的保留图像纹理特征的特征向量。
89.在本技术实施例中，对不同时间、不同分辨率的图像集进行训练，确定最佳纹理差异度参数值(纹理差异度)。根据纹理差异度，运用小波分解方法对全方位图像进行频域分解处理。其中，全方位图像可以分解成图像近似信号的低频子带(第一子图像集)和图像细节信号的高频子带(第二子图像集)。
90.需要说明的是，图像中大部分的噪声和一些边缘细节属于高频子带，而低频子带主要表征图像的近似信号。
91.在本技术实施例中，通过图像矩阵转化，提取第二子图像集和第二子图像集中各子图像的特征向量。
92.在本技术实施例中，归一化方法有两种形式，一种是把数变为(0，1) 之间的小数，一种是把有量纲表达式变为无量纲表达式。
93.可选的，选用把有量纲表达式变为无量纲表达式的归一化方法，对各子图像的特征向量进行归一化处理，得到全方位图像的特征向量。
94.在一些实施例中，步骤b3包括步骤b3至步骤b4。
95.步骤b3：计算第一子图像集的第一能量参数和第二子图像集的第二能量参数。
96.步骤b4：根据第一能量参数和第二能量参数，进行特征提取，获取第一子图像集和
第二子图像集中各子图像的特征向量。
97.在本技术实施例中，计算图像能量参数，一般采取利用熵或遍历像素平方和计算图像能量参数。
98.可选的，通过遍历像素平方和计算第一子图像集和第二子图像集的能量参数，得到第一能量参数和第二能量参数。
99.在本技术实施例中，将第一能量参数和第二能量参数均作为纹理描述子(即一种用来描述图像局部纹理特征的算子，例如：最大概率、相关、对比度、能量、同质、熵)，通过图像矩阵转化，提取第一子图像集和第二子图像集中各子图像的特征向量。
100.在一些实施例中，步骤b3还包括步骤b1至步骤b2，步骤b1至步骤b2在步骤b3至步骤b4之前。
101.步骤b1：对第一子图像集进行非线性图像增强。
102.步骤b1：对第二子图像集进行小波去燥处理。
103.在本技术实施例中，为了能够在增强图像的同时减少噪声的影响，可以对低频子带(即第一子图像集)进行非线性图像增强，用以增强目标的对比度，抑制背景。
104.在本技术实施例中，对高频子带(第二子图像集)部分进行小波去燥处理，用以减少噪声对图像的影响。
105.在步骤104中，训练完成的卷积神经网络模型包含构建的全连接池，该连接池包括4096个神经元，每个神经元都连接到输入层，即每个神经元都接受4096 个输入。
106.在一些实施例中，步骤104包括步骤c1至步骤c2。
107.训练完成的卷积神经网络模型是通过以下方式训练得到的：
108.步骤c1：获取历史的特征向量。
109.步骤c2：根据所述历史的特征向量对卷积神经网络模型进行训练。
110.在本技术实施例中，常见的卷积神经网络模型包括卷积神经网络 (lenet5)、深度卷积神经网络(alex net)、可视化神经网络(zf net)和深度卷积神经网络(vgg net)。
111.可选的，选用卷积神经网络(lenet5)作为卷积神经网络模型。
112.在本技术实施例中，通过卷积神经网络五层卷积和三层池化交替，将输入保留图像纹理特征的历史特征向量转化为一维向量。通过增加卷积神经网络的训练次数和增大卷积神经网络的数据量，不断优化卷积神经网络的网络参数，提高卷积神经网络在训练集中的识别和分类准确度、在测试集中验证权值实际准确度，得到具有最高分类准确率的卷积神经网络模型。
113.在本技术实施例中，历史特征向量中包含有能够进行风险评估等级识别和分类的特征向量。
114.在本技术实施例中，通过小波变换模型和卷积神经网络模型，完成对全方位图像中群众微表情的识别，并将所识别的群众微表情进行分类，根据预设阈值，得到群体性事件的风险评估等级。
115.例如，高风险的预设阈值为50％、中风险的预设阈值为20％。若识别出在发生群体性事件时的全方位图像中的群众的微表情出现愤怒、厌恶等消极情绪的微表情超过50％，可能形成大规模群体性事件的风险相对就高，定为高风险；若超过20％，形成群体性事件或矛盾冲突的风险相对存在，定为中风险；若低于 20％，构成群体性事件或矛盾冲突的风险
较低，定为低风险。
116.在一些实施例中，所述方法还包括步骤105。
117.步骤105：根据全方位图像，通过分割算法，获取全方位图像中的主体对象区域。
118.在本技术实施例中，可以采用图像语义分割算法、多类别语义分割算法或最强语义分割算法等分割算法具体的实施方式进行分割。
119.可选的，选用图像语义分割算法，提取全方位图像中的主体对象(群众微表情)，实现图像主体与背景的分离，防止图像背景对主体对象的分类造成干扰。
120.在本技术实施例中，使用图像语义分割将全方位图像中每个像素都标注上其对应的类别，并将属于同一类别的像素归为一类。在深度学习之前，可选的，采用纹理基元森林和随机森林等方法构建实现图像语义分割的分类器。
121.在一些实施例中，步骤105包括步骤d1至步骤d3。
122.步骤d1：将全方位图像进行特征提取，得到全方位图像的特征数据。
123.步骤d2：基于特征数据，得到主体对象区域分割框信息。
124.步骤d3：基于特征数据和主体对象区域分割框信息，得到全方位图像的主体对象区域语义分割信息。
125.在本技术实施例中，采用语义分割模型进行全方位图像的筛分。语义分割模型包括编码单元、分割框解码单元和语义解码单元。通过编码单元，将全方位图像进行特征提取，得到全方位图像的特征数据。通过分割框解码单元，基于特征数据，得到主体对象区域分割框信息。通过语义解码单元，基于特征数据以及主体对象区域分割框信息，得到全方位图像的主体对象区域语义分割信息。
126.需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于可选实施例，所涉及的动作和模块并不一定是本技术所必须的。
127.以上是关于方法实施例的介绍，以下通过装置实施例，对本技术所述方案进行进一步说明。
128.图2示出了本技术实施例的一种基于riesz小波变换的图像识别的装置的结构图。参见图2，该基于riesz小波变换的图像识别的装置包括第一获取模块201、提取模块202、第二获取模块203和识别模块204。
129.第一获取模块201，用于获取待识别群体性事件的全方位图像。
130.提取模块202，用于通过训练完成的小波变换模型，获取全方位图像的纹理特征。
131.第二获取模块203，用于根据纹理特征，获取全方位图像的保留纹理特征的特征向量。
132.识别模块204，用于将特征向量作为输入数据，使用训练完成的卷积神经网络模型对全方位图像进行识别并分类，得到群体性事件的风险评估等级，风险评估等级包括高风险、中风险和低风险。
133.其中，卷积神经网络模型是基于包含有风险评估等级的全方位图像，训练得到。
134.在一些实施例中，所述第二获取模块203包括：
135.获取单元，用于根据纹理特征，获取纹理差异度。
136.分解单元，用于基于小波分解方法，根据纹理差异度，对全方位图像进行分解处理，获取第一子图像集和第二子图像集。
137.提取单元，用于提取第一子图像集和第二子图像集中各子图像的特征向量。
138.归一化单元，用于将各子图像的特征向量进行归一化处理，获取保留纹理特征的全方位图像的特征向量。
139.提取单元包括：
140.计算子单元，用于计算第一子图像集的第一能量参数和第二子图像集的第二能量参数。
141.提取子单元，用于根据第一能量参数和第二能量参数，进行特征提取，获取第一子图像集和第二子图像集中各子图像的特征向量。
142.提取单元还包括：
143.增强子单元，用于对第一子图像集进行非线性图像增强。
144.去燥子单元，用于对第二子图像集进行小波去燥处理。
145.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，所述描述的模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
146.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
147.以上所述仅是本技术的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本技术原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本技术的保护范围。