图像模糊程度的确定方法、装置、终端设备及存储介质与流程

1.本发明实施例涉及图像处理技术领域，尤其涉及图像模糊程度的确定方法、装置、终端设备及存储介质。


背景技术：

2.随着工业摄像头的技术的日益精进，交通的重要路口都会有摄像头的分布，交通部门可以利用这些高清摄像头进行“汽车驾乘人员不使用安全带行为”进行监督和违法判断。
3.对于交通的监管部门来说存在大量的摄像头拍摄的图片，大量的图片进行图片的智能审核，提高了人工效率，规范了司机佩戴安全带的习惯，提高了安全防范意识。但目前的难点在于，所采集的待识别图像中的目标位置，如驾驶员或乘客位置的图像质量受到光线或其余因素的影响导致目标位置不好进行违法判断。
4.故，在进行违法判断前，如何判断待识别图像是否模糊是当前亟待解决的技术问题。


技术实现要素：

5.本发明实施例提供了图像模糊程度的确定方法、装置、终端设备及存储介质，能够有效的判断待识别图像是否模糊。
6.第一方面，本发明实施例提供了一种图像模糊程度的确定方法，其特征在于，包括：
7.获取待识别图像；
8.将所述待识别图像输入深度学习网络，获得所述深度学习网络的输出结果；
9.基于所述输出结果确定所述待识别图像的模糊程度；
10.其中，所述深度学习网络通过处理所述待识别图像中的局部特征得到输出结果。
11.进一步地，所述深度学习网络包括预处理模块、主干网络和特征处理模块；相应的，所述将所述待识别图像输入深度学习网络，获得所述深度学习网络的输出结果，包括：
12.通过所述预处理模块对所述待识别图像进行预处理得到处理后的待识别图像；
13.通过所述主干网络，提取处理后的待识别图像的特征得到特征图；
14.通过所述特征处理模块处理所述特征图中的局部特征，得到所述深度学习网络的输出结果。
15.进一步地，所述特征处理模块，包括：
16.局部特征提取模块、注意力机制模块、融合模块和通道变更模块；相应的，所述通过所述特征处理模块处理所述特征图中的局部特征，得到所述深度学习网络的输出结果，包括：
17.通过所述局部特征提取模块对所述特征图进行卷积操作得到局部特征图；
18.通过所述注意力机制模块过滤对应的局部特征图；
19.通过所述融合模块对过滤后的局部特征图进行通道拼接；
20.通过所述通道变更模块变更拼接后的局部特征图的通道数，并得到所述深度学习网络的输出结果；
21.其中，所述局部特征提取模块的数量为至少两个，每个局部特征提取模块进行特征提取时使用的卷积核的大小不同，所述注意力机制模块的个数与所述局部特征提取模块的数量相同，每个局部特征提取模块分别连接至一个注意力机制模块，所述局部特征图为由局部特征构成的图。
22.进一步地，所述预处理模块对待识别图像进行的预处理操作包括：等比例缩放和像素归一化。
23.进一步地，所述输出结果包括清晰和模糊的概率值。
24.进一步地，所述待识别图像为包含驾驶员或乘客的图像。
25.进一步地，该方法，还包括：
26.在所述清晰程度表征所述待识别图像清晰的情况下，基于所述待识别图像进行违章判断。
27.第二方面，本发明实施例还提供了一种图像模糊程度的确定装置，包括：
28.获取模块，设置为获取待识别图像；
29.获得模块，设置为将所述待识别图像输入深度学习网络，获得所述深度学习网络的输出结果；
30.确定模块，设置为基于所述输出结果确定所述待识别图像的模糊程度；
31.其中，所述深度学习网络通过处理所述待识别图像中的局部特征得到输出结果。
32.第三方面，本发明实施例还提供了一种终端设备，包括：
33.一个或多个处理器；
34.存储装置，用于存储一个或多个程序；
35.所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明实施例提供的方法。
36.第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明实施例提供的方法。
37.本发明实施例提供了图像模糊程度的确定方法、装置、终端设备及存储介质，首先获取待识别图像；然后将所述待识别图像输入深度学习网络，获得所述深度学习网络的输出结果；最后基于所述输出结果确定所述待识别图像的模糊程度；其中，所述深度学习网络通过处理所述待识别图像中的局部特征得到输出结果。利用上述技术方案，能够有效的判断待识别图像是否模糊。
附图说明
38.图1为本发明实施例一提供的一种图像模糊程度的确定方法的流程示意图；
39.图1a为本发明实施例提供的深度学习网络的结构示意图；
40.图2为本发明实施例二提供的一种图像模糊程度的确定装置的结构示意图；
41.图3为本发明实施例三提供的一种终端设备的结构示意图。
具体实施方式
42.下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
43.在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。此外，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
44.本发明使用的术语“包括”及其变形是开放性包括，即“包括但不限于”。术语“基于”是“至少部分地基于”。术语“一个实施例”表示“至少一个实施例”。
45.需要注意，本发明中提及的“第一”、“第二”等概念仅用于对相应内容进行区分，并非用于限定顺序或者相互依存关系。
46.需要注意，本发明中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
47.实施例一
48.图1为本发明实施例一提供的一种图像模糊程度的确定方法的流程示意图，该方法可适用于确定待识别图像是否模糊的情况，该方法可以由图像模糊程度的确定装置来执行，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上，在本实施例中终端设备包括但不限于：手机、电脑或个人数字助理等设备。
49.如图1所示，本发明实施例一提供的一种图像模糊程度的确定方法，包括如下步骤：
50.s110、获取待识别图像。
51.在本实施例中，待识别图像可以认为是待进行是否模糊识别的图像。此处不对待识别图像的获取方式进行限定，可以为本终端设备采集，也可以为本终端设备获取其他设备采集的待识别图像，其他设备中可以存储有待识别图像，或者其他设备可以为待识别图像的采集设备。
52.本实施例中的待识别图像所包括的内容不作限定，可以基于业务需要进行设定。如待识别图像可以为智能交通场景所获取的图像，如待识别图像为拍摄驾驶员位置处所获取的图像，或者拍摄乘客位置处所获取的图像。以拍摄驾驶员位置处所获取的图像为例，待识别图像可以用于判断驾驶员是否安全带。故本实施例在进行待识别图像模糊程度判断时，可以判断待识别图像安全带位置处是否模糊；待识别图像还可以用于判断驾驶员是否拨打电话，如在进行模糊程度判断时，可以判断待识别图像中驾驶员耳朵附近是否模糊。
53.s120、将所述待识别图像输入深度学习网络，获得所述深度学习网络的输出结果，所述深度学习网络通过处理所述待识别图像中的局部特征得到输出结果。
54.深度学习网络可以为判断待识别图像清晰程度的网络。深度学习网络通过处理待识别图像中的局部特征得到输出结果。其中，局部特征可以为待识别图像中需要被关注的局部的特征。深度学习网络处理局部特征的技术手段可以包括提取、过滤和/或融合等。深
度学习网络的输出结果的具体内容可以基于业务需求确定，此处不作限定。输出结果可以为表征清晰或模糊的信息，如待识别图像清晰的概率和/或模糊的概率；又如通过1表征待识别图像清晰，通过0表征待识别图像模糊。
55.s130、基于所述输出结果确定所述待识别图像的模糊程度。
56.输出结果不同的表示形式可以有不同的确定模糊程度的方式，此处不作限定。示例性的，在输出结果为清晰的概率值的情况下，在该概率值大于预设数据的情况下可以认为待识别图像清晰；在该概率值小于或等于预设数值的情况下可以认为待识别图像模糊。预设数值可以为百分之五十。在输出结果为1的情况下，可以认为待识别图像为清晰。
57.本发明实施例一提供的一种图像模糊程度的确定方法，首先获取待识别图像；然后将所述待识别图像输入深度学习网络，获得所述深度学习网络的输出结果；最后基于所述输出结果确定所述待识别图像的模糊程度；其中，所述深度学习网络通过处理所述待识别图像中的局部特征得到输出结果。利用上述方法，能够有效的判断待识别图像是否模糊。
58.在上述实施例的基础上，提出了上述实施例的变型实施例，在此需要说明的是，为了使描述简要，在变型实施例中仅描述与上述实施例的不同之处。
59.在一个实施例中，所述深度学习网络包括预处理模块、主干网络和特征处理模块；相应的，所述将所述待识别图像输入深度学习网络，获得所述深度学习网络的输出结果，包括：
60.通过所述预处理模块对所述待识别图像进行预处理得到处理后的待识别图像；
61.通过所述主干网络，提取处理后的待识别图像的特征得到特征图；
62.通过所述特征处理模块处理所述特征图中的局部特征，得到所述深度学习网络的输出结果。
63.预处理模块可以用于对待识别图像进行预处理，以加快深度学习网络识别待识别图像的速度。主干网络可以用于提取待识别图像中的特征。特征处理模块可以用于处理特征图中的局部特征，以得到输出结果。局部特征可以为特征图中局部的特征。
64.深度学习网络中的预处理模块、主干网络和特征处理模块可以依次相连。
65.在本实施例中，对待识别图像的预处理手段不作限定，可以根据所需选取图像处理中对图像的预处理手段处理待识别图像。特征处理模块处理的局部特征为特征图中的哪一局部的特征可以在深度学习网络训练阶段确定。
66.在一个实施例中，所述特征处理模块，包括：
67.局部特征提取模块、注意力机制模块、融合模块和通道变更模块；相应的，所述通过所述特征处理模块处理所述特征图中的局部特征，得到所述深度学习网络的输出结果，包括：
68.通过所述局部特征提取模块对所述特征图进行卷积操作得到局部特征图；
69.通过所述注意力机制模块过滤对应的局部特征图；
70.通过所述融合模块对过滤后的局部特征图进行通道拼接；
71.通过所述通道变更模块变更拼接后的局部特征图的通道数，并得到所述深度学习网络的输出结果；
72.其中，所述局部特征提取模块的数量为至少两个，每个局部特征提取模块进行特征提取时使用的卷积核的大小不同，所述注意力机制模块的个数与所述局部特征提取模块
的数量相同，每个局部特征提取模块分别连接至一个注意力机制模块，所述局部特征图为由局部特征构成的图。
73.主干网络的输出连接至各个局部特征提取模块，每个局部特征提取模块分别连接至对应的注意力机制模块。各个注意力机制模块分别连接至融合模块。融合模块连接至通道变更模块。
74.不同局部特征提取模块可以通过不同的卷积核大小提取不同的局部特征图。注意力机制模块可以过滤掉局部特征图中的无用信息。无用信息可以认为是对判断清晰程度无用的信息。通道变更模块用于变更通道数，变更后的通道数可以为深度学习网络的类别数。通道变更模块可以通过卷积操作进行通道数的变更，然后通过softmax函数的处理得到输出结果。
75.在一个实施例中，所述预处理模块对待识别图像进行的预处理操作包括：等比例缩放和像素归一化。
76.预处理模块可以首先等比例缩放待识别图像，然后对缩放后的待识别图像中的像素进行归一化处理，如除以255，以加快深度学习网络确定清晰程度的速度。
77.在一个实施例中，所述输出结果包括清晰和模糊的概率值。
78.在一个实施例中，所述待识别图像为包含驾驶员或乘客的图像。
79.在一个实施例中，该方法，还包括：
80.在所述清晰程度表征所述待识别图像清晰的情况下，基于所述待识别图像进行违章判断。
81.违章判断包括驾驶员是否系安全带的判断，驾驶员是否接打电话的判断。不同的判断内容深度学习网络处理的局部特征不同。
82.以下对本发明进行示例性的描述，本发明提供的图像模糊程度的确定方法可以认为是基于判断驾驶员位置模糊度的深度学习网络进行模糊度进行确定的方法。
83.本发明中的深度学习网络可以认为是在经典的resnet网络系列的分类模型改进的深度网络，即基于resnet和自主优化的特征层融合和注意力机制的组合模块结合的改进卷积神经网络。基于本发明提供的深度学习网络可以有效解决局部模糊导致分类模型无法正确判别是否系安全带的技术问题。
84.基于传统的判断驾驶员位置模糊度的方法，容易受到光照的影响，不能关注局部的特征信息，即对于现实情况，不能判定关键的局部模糊，从而导致难以判断驾驶员是否系安全带。本发明有效的克服了上述技术问题，有效的利用深度学习网络提取局部特征并进行融合，进而能够有效的判断驾驶员位置的局部模糊。
85.图1a为本发明实施例提供的深度学习网络的结构示意图，参见图1a，深度学习网络的训练过程如下：
86.1.对于驾驶员位置的图片，其宽和高分别为i
w
,i
h
。
87.2.将其按照等比例缩放到224x224像素大小，以使得学习过程更加快速，获取图片的最小缩放比例公式:
88.r
min
＝min(i
w
/224,i
h
/224)。
89.3.将图片的每一个像素都除以255，以使得学习过程更加快速。
90.4.输入主干网络，选用resnet18网络进行特征的提取，获取到最后一层(resnet去
掉全连接层的上一层)的7x7x255的特征图，其中，resnet18是一种深度学习的残差网络。
91.5.提取完之后，网络连接3个分支。
92.6.第一个分支用3x3x128的卷积核进行卷积，得到7x7x128大小的特征图,第二个分支用1x3x128的卷积核进行卷积，得到7x7x128大小的特征图，第三个分支用3x1x128的卷积核进行卷积，得到7x7x128大小的特征图。不同的卷积核使得提取的局部特征不同。
93.7.对每一个分支进行通道的注意力机制，得到7x7x128的特征图。注意力机制能够进行特征过程，使得结果更加鲁棒。
94.8.将3个分支的特征图进行融合操作，获取到7x7x384的特征图。融合操作可以认为是特征拼接，如进行通道拼接。
95.9.然后进行7x7x2的卷积操作，得到1x1x2的特征图，即将通道数变成深度学习网络的类别数。
96.10.最后使用softmax loss确定深度学习网络的权重，利用loss的求导进行网络的反向传播。
97.11.最终获取深度学习网络的权重。
98.深度学习网络的前向预测包括：
99.1.对于驾驶员位置的图片，其宽和高分别为i
w
,i
h
。
100.2.将其按照等比例缩放到224x224像素大小，获取图片的最小缩放比例公式:
101.r
min
＝min(i
w
/224,i
h
/224)。
102.3.将图片的每一个像素都除以255。
103.4.然后将上一步处理过的图片输入到主干网络提取到特征，经过fa模块和注意力机制模块,再进过融合的操作，7x7x2的卷积，最后进过softmax函数的处理得到最终的模糊和清楚的概率值p
blur
和p
noblur
。注意力机制模块是一种基于图像通道的注意力机制模块。fa模块是自主优化的特征层融合和注意力机制的组合模块。
104.5.如果p
blur
>0.5,那么该驾驶员位置可判定为模糊；反之，如果p
noblur
>0.5,那么该驾驶员位置可判定为清楚。
105.本发明提供的深度学习网络能够关注驾驶员位置关键的局部区域的特征，以此来准确的判定该驾驶员位置是否模糊。克服了现实场景中光照的影响。对于各类情况性能鲁棒。
106.实施例二
107.图2为本发明实施例二提供的一种图像模糊程度的确定装置的结构示意图，该装置可适用于确定待识别图像是否模糊的情况，其中该装置可由软件和/或硬件实现，并一般集成在终端设备上。
108.如图2所示，该装置包括：
109.获取模块21，设置为获取待识别图像；
110.获得模块22，设置为将所述待识别图像输入深度学习网络，获得所述深度学习网络的输出结果；
111.确定模块23，设置为基于所述输出结果确定所述待识别图像的模糊程度；
112.其中，所述深度学习网络通过处理所述待识别图像中的局部特征得到输出结果。
113.在本实施例中，该装置首先通过获取模块21获取待识别图像；然后通过获得模块
22将所述待识别图像输入深度学习网络，获得所述深度学习网络的输出结果；最后通过确定模块基于所述输出结果确定所述待识别图像的模糊程度。
114.本实施例提供了一种图像模糊程度的确定装置，能够有效的判断待识别图像是否模糊。
115.进一步地，所述深度学习网络包括预处理模块、主干网络和特征处理模块；相应的，获得模块22将所述待识别图像输入深度学习网络，获得所述深度学习网络的输出结果，包括：
116.通过所述预处理模块对所述待识别图像进行预处理得到处理后的待识别图像；
117.通过所述主干网络，提取处理后的待识别图像的特征得到特征图；
118.通过所述特征处理模块处理所述特征图中的局部特征，得到所述深度学习网络的输出结果。
119.进一步地，所述特征处理模块，包括：
120.局部特征提取模块、注意力机制模块、融合模块和通道变更模块；相应的，获得模块22通过所述特征处理模块处理所述特征图中的局部特征，得到所述深度学习网络的输出结果，包括：
121.通过所述局部特征提取模块对所述特征图进行卷积操作得到局部特征图；
122.通过所述注意力机制模块过滤对应的局部特征图；
123.通过所述融合模块对过滤后的局部特征图进行通道拼接；
124.通过所述通道变更模块变更拼接后的局部特征图的通道数，并得到所述深度学习网络的输出结果；
125.其中，所述局部特征提取模块的数量为至少两个，每个局部特征提取模块进行特征提取时使用的卷积核的大小不同，所述注意力机制模块的个数与所述局部特征提取模块的数量相同，每个局部特征提取模块分别连接至一个注意力机制模块，所述局部特征图为由局部特征构成的图。
126.进一步地，所述预处理模块对待识别图像进行的预处理操作包括：等比例缩放和像素归一化。
127.进一步地，所述输出结果包括清晰和模糊的概率值。
128.进一步地，所述待识别图像为包含驾驶员或乘客的图像。
129.进一步地，该装置，还包括，判断模块，设置为：
130.在所述清晰程度表征所述待识别图像清晰的情况下，基于所述待识别图像进行违章判断。
131.上述图像模糊程度的确定装置可执行本发明任意实施例所提供的图像模糊程度的确定方法，具备执行方法相应的功能模块和有益效果。
132.实施例三
133.图3为本发明实施例三提供的一种终端设备的结构示意图。如图3所示，本发明实施例三提供的终端设备包括：一个或多个处理器31和存储装置32；该终端设备中的处理器31可以是一个或多个，图3中以一个处理器31为例；存储装置32用于存储一个或多个程序；所述一个或多个程序被所述一个或多个处理器31执行，使得所述一个或多个处理器31实现如本发明实施例中任一项所述的图像模糊程度的确定方法。
134.所述终端设备还可以包括：输入装置33和输出装置34。
135.终端设备中的处理器31、存储装置32、输入装置33和输出装置34可以通过总线或其他方式连接，图3中以通过总线连接为例。
136.该终端设备中的存储装置32作为一种计算机可读存储介质，可用于存储一个或多个程序，所述程序可以是软件程序、计算机可执行程序以及模块，如本发明实施例所提供图像模糊程度的确定方法对应的程序指令/模块(例如，附图2所示的图像模糊程度的确定装置中的模块，包括：获取模块21、获得模块22和确定模块23)。处理器31通过运行存储在存储装置32中的软件程序、指令以及模块，从而执行终端设备的各种功能应用以及数据处理，即实现上述方法实施例中图像模糊程度的确定方法。
137.存储装置32可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储装置32可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储装置32可进一步包括相对于处理器31远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
138.输入装置33可用于接收输入的数字或字符信息，以及产生与终端设备的用户设置以及功能控制有关的键信号输入。输出装置34可包括显示屏等显示设备。
139.并且，当上述终端设备所包括一个或者多个程序被所述一个或者多个处理器31执行时，程序进行如下操作：
140.获取待识别图像；
141.将所述待识别图像输入深度学习网络，获得所述深度学习网络的输出结果；
142.基于所述输出结果确定所述待识别图像的模糊程度；
143.其中，所述深度学习网络通过处理所述待识别图像中的局部特征得到输出结果。
144.实施例四
145.本发明实施例四提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时用于执行图像模糊程度的确定方法，该方法包括：
146.获取待识别图像；
147.将所述待识别图像输入深度学习网络，获得所述深度学习网络的输出结果；
148.基于所述输出结果确定所述待识别图像的模糊程度；
149.其中，所述深度学习网络通过处理所述待识别图像中的局部特征得到输出结果。
150.可选的，该程序被处理器执行时还可以用于执行本发明任意实施例所提供的图像模糊程度的确定方法。
151.本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是，但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(random access memory，ram)、只读存储器(read only memory，rom)、可擦式可编程只读存储器(erasable programmable read only memory，eprom)、闪存、光纤、便携式cd
‑
rom、光存储器件、磁存储
器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
152.计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于：电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
153.计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、无线电频率(radio frequency，rf)等等，或者上述的任意合适的组合。
154.可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如java、smalltalk、c++，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
155.注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。