人脸异常行为检测方法、装置、设备及存储介质与流程

1.本技术涉及人脸识别技术领域，更具体的说，是涉及一种人脸异常行为检测方法、装置、设备及存储介质。


背景技术：

2.互联网技术的发展，使得在线考试成为可能，并且凭借其高效、便捷和节省人力物力资源等优点，在线考试正逐步取代线下考试。然后，在进行在线考试时，往往需要对考生行为进行实时监控，具体的，可以通过考生开启的摄像头捕获考试过程中的考生图像，根据所捕获的考生实时图像获取考生的考试状态，监控考生行为。
3.当前，可以通过卷积神经网络实现人脸识别，卷积神经网络需要利用大量的数据来训练网络，并且需要训练数据集中的训练数据足够多样，才能保证训练后的网络可以泛化到未曾训练过的样本上。然而，在进行在线考试的过程中，难免会采集到异常的考生图像，例如采集到不完整或翻转的考生人脸图像，可能会得到错误的人脸识别结果，从而误报或漏报，基于人脸识别技术的人脸异常行为检测方案的准确性较差，无法满足在线考试的考生行为监控需求。


技术实现要素：

4.鉴于上述问题，提出了本技术以便提供一种人脸异常行为检测方法、装置、设备及存储介质，以提高基于人脸图像进行异常检测的准确性。
5.具体方案如下：
6.第一方面，提供了一种人脸异常行为检测方法，包括：
7.在进行在线考试过程中，采集考生的人脸图像，得到待标记的当前帧图像，并获取所述考生预先上传的正常的模板图像；
8.分别对所述当前帧图像和所述模板图像进行视觉区域的提取，得到预设数量个所述当前帧图像的视觉区域，和预设数量个所述模板图像的视觉区域，每一个所述视觉区域用于表征图像中人脸的一个关键特征点；
9.对于所提取到的所述当前帧图像和所述模板图像的每一个所述视觉区域，利用生物启发变换模型对所述视觉区域进行处理，得到与所述视觉区域对应的特征图，由所述特征图得到对应的特征向量；
10.对于所述当前帧图像的每一个特征向量，分别计算本特征向量与所述模板图像的各个特征向量的pearson相关性，得到预设数量个相关性计算结果，若存在大于第一预设值的所述相关性计算结果，则将与本特征向量对应的视觉区域标记为命中区域；
11.若所述当前帧图像的命中区域的数量达到第二预设值，则将所述当前帧图像标记为正常，否则，将所述当前帧图像标记为异常。
12.第二方面，提供了一种人脸异常行为检测装置，包括：
13.输入图像获取单元，用于在进行在线考试过程中，采集考生的人脸图像，得到待标
记的当前帧图像，并获取所述考生预先上传的正常的模板图像；
14.视觉区域提取单元，用于分别对所述当前帧图像和所述模板图像进行视觉区域的提取，得到预设数量个所述当前帧图像的视觉区域，和预设数量个所述模板图像的视觉区域，每一个所述视觉区域用于表征图像中人脸的一个关键特征点；
15.生物启发变换单元，用于对于所提取到的所述当前帧图像和所述模板图像的每一个所述视觉区域，利用生物启发变换模型对所述视觉区域进行处理，得到与所述视觉区域对应的特征图，由所述特征图得到对应的特征向量；
16.命中区域标记单元，用于对于所述当前帧图像的每一个特征向量，分别计算本特征向量与所述模板图像的各个特征向量的pearson相关性，得到预设数量个相关性计算结果，若存在大于第一预设值的所述相关性计算结果，则将与本特征向量对应的视觉区域标记为命中区域；
17.当前帧图像标记单元，用于判断所述当前帧图像的命中区域的数量达到第二预设值，若是，则将所述当前帧图像标记为正常，否则，将所述当前帧图像标记为异常。
18.第三方面，提供了一种人脸异常行为检测设备，包括：存储器和处理器；
19.所述存储器，用于存储程序；
20.所述处理器，用于执行所述程序，实现上述的人脸异常行为检测方法的各个步骤。
21.第四方面，提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述的人脸异常行为检测方法的各个步骤。
22.借由上述技术方案，本技术通过对提取到的视觉区域进行生物启发变换，得到不变属性特征图，从而得到具备旋转、缩放等不变性的特征向量，在计算当前帧图像和模板图像的特征向量相关性时，无需考虑每个特征图与模板特征图间的位置对应关系，依次将当前帧图像的每个特征向量与模板图像的所有特征向量进行pearson相关性计算，存在满足阈值的相关性计算结果则标记一个命中区域，最后统计命中区域的数量，根据统计结果确定当前帧图像是否正常，由于不同人脸图像的特征图是不同的，因此可以实现对是否为本人脸的判断，并且利用生物启发变换模型可以的得到不变属性的特征图，从而不会因为图像中存在小面积遮挡或发生翻转或缩放，而将当前帧图像误判为异常，应用本方案可以得到较为正确的考生人脸检测结果。
附图说明
23.通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本技术的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：
24.图1是本技术实施例提供一种人脸异常行为检测方法的流程示意图；
25.图2示例了人脸有无遮挡情况下的视觉记忆点提取结果；
26.图3是根据本技术实施例示出的视觉记忆点的提取过程示意图；
27.图4示出了不同带宽和方向的gabor滤波器组；
28.图5示出了利用生物启发变换模型对输入图像进行处理的过程示意图；
29.图6示出了利用生物启发变化模型对各视觉区域进行处理的过程示意图；
30.图7为本技术实施例提供另一种人脸异常行为检测方法的流程示意图；
31.图8a-图8c示出了由不同输入图像图得到的协同显著图；
32.图9为本技术实施例提供的一种人脸异常行为检测装置结构示意图；
33.图10为本技术实施例提供的人脸异常行为检测设备的结构示意图。
具体实施方式
34.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
35.本技术提供了一种人脸异常行为检测方案，可以适用于实现在线考试过程中的人脸异常行为检测任务，示例如非本人脸、无人脸等异常行为。
36.接下来，结合图1所述，本技术的人脸异常行为检测方法，可以用于检测由摄像装置于在线考试的过程中实时采集到的考生的人脸图像，应用本技术方法对采集到的当前帧图像进行检测并标记的过程，可以包括如下步骤：
37.步骤s101、获取当前帧图像和模板图像。
38.其中，所述当前帧图像为摄像装置实时采集到的考生图像，所述模板图像为该考生的真实本人图像，示例性的，可以来源于该考生报名参加考试时上传的证件图像，模板图像是用于判断采集到的当前帧图像正常与否的基准，处于正常状态、不存在异常行为的考生图像也可以作为模板图像，可选的，所述模板图像也可以是在所述当前帧图像之前被采集到的并被标记为正常的前连续帧图像。
39.步骤s102、提取当前帧图像和模板图像的视觉区域。
40.需要说明的是，一个视觉区域可以表征图像中人脸的一个关键特征点，可以是人脸图像中以视觉记忆点为中心的区域，人脸图像中的视觉记忆点通常包含着显著性特征信息，是实现遮挡、旋转或缩放的人脸图像识别的基础。经过步骤s102可以得到预设数量个所述当前帧图像的视觉区域，和预设数量个所述模板图像的视觉区域。
41.步骤s103、利用生物启发变换模型处理所提取的视觉区域，得到所提取的视觉区域各自的特征图。
42.需要说明的是，生物启发变换模型是利用人类视觉皮层中神经元的方向调谐特性以及空间频率特性偏好构建的模型，利用生物启发变换模型分别对当前帧图像和模板图像进行处理，可以得到用于表征当前帧图像或模板图像的不变属性的特征图。
43.步骤s104、由各特征图生成对应的特征向量。
44.将步骤s103得到的特征图转化为对应的特征向量，以便后续的pearson相关性计算，从而确定当前帧图像的视觉区域和模板图像的视觉区域间的相似程度。
45.步骤s105、基于特征向量计算当前帧图像和模板图像的视觉区域之间的pearson相关性。
46.具体的，上述的步骤s105可以包括：对于所述当前帧图像的每一个特征向量，分别计算本特征向量与所述模板图像的各个特征向量的pearson相关性，得到预设数量个相关性计算结果，若存在大于第一预设值的所述相关性计算结果，则将与本特征向量对应的视觉区域标记为命中区域。
47.其中，pearson相关性，即皮尔逊相关系数，可以表征计算变量之间的相关性，示例性的，通常可以认为皮尔逊相关系数大于0.9时，两变量间的相关性较高。由于不同视觉区域的特征向量不同，采用一对多的计算方式，无需保证正在进行相关性计算的两个特征向量处于人脸中的同一位置，只要存在大于第一预设值的所述相关性计算结果，即可认为与本特征向量对应的视觉区域在当前帧图像和模板图像中是相似的，以便通过统计当前帧图像中的命中区域的数量来确定当前帧图像和模板图像之间的相关性。
48.步骤s106、判断所述当前帧图像的命中区域的数量是否达到第二预设值，若统计结果达到第二预设值，则执行步骤s107，否则执行步骤s108。
49.可选的，可以在当前帧图像的命中区域的数量过半的情况下，认为当前帧图像与模板图像的特征较为相似，当前帧图像中的人脸行为正常。
50.步骤s107、将所述当前帧图像标记为正常。
51.步骤s108、将所述当前帧图像标记为异常。
52.可选的，在当前帧图像被标记为异常的情况下，可以向考生输出警告标识，以规范考生行为。
53.上述的人脸异常行为检测方法，通过对提取到的视觉区域进行生物启发变换，得到不变属性特征图，从而得到具备旋转、缩放等不变性的特征向量，在计算当前帧图像和模板图像的特征向量相关性时，无需考虑每个特征图与模板特征图间的位置对应关系，依次将当前帧图像的每个特征向量与模板图像的所有特征向量进行pearson相关性计算，存在满足阈值的相关性计算结果则标记一个命中区域，最后统计命中区域的数量，根据统计结果确定当前帧图像是否正常，由于不同人脸图像的特征图是不同的，因此可以实现对是否为本人脸的判断，并且利用生物启发变换模型可以的得到不变属性的特征图，从而不会因为图像中存在小面积遮挡或发生翻转或缩放，而将当前帧图像误判为异常，从而得到较为正确的考生人脸检测结果。
54.在本方案中，需对当前帧图像和模板图像进行视觉区域的提取，并且提取两个图像的视觉区域的过程是一致的，在本技术提供的一些实施例中，提取图像的所述视觉区域，可以包括如下步骤：
55.步骤s01、采用sift算法提取所述图像中的特征点。
56.具体的，在采用sift算法进行特征点提取之前，可以根据如下所示的高斯核函数g(x,y,σ)构建尺度空间d：
[0057][0058][0059]
其中，x,y为图像中的像素点的横纵坐标，σ表征高斯核函数的标准偏差，k表示两个相邻高斯尺的比例因子。
[0060]
再对尺度空间d进行泰勒展开，尺度空间d的泰勒展开式如下所示，从而得到特征点x＝[x,y,σ]
t
。
[0061]
[0062]
由于sift算法提取的特征点数量较多，如果对每个特征点均进行后续的计算，计算量过大，需要消耗计算实现，可以采取步骤s02以简化计算过程，提高计算效率。
[0063]
步骤s02、对提取到的特征点进行kmeans聚类，得到n个聚类中心。
[0064]
示例性的，可以设置步骤s02的kmeans聚类的数量n＝13，可以将得到的聚类中心称之为视觉记忆点，上述的视觉区域是以视觉记忆点为中心的区域。图2示出了人脸有无遮挡情况下的视觉记忆点提取结果。需要说明的是，在利用sift算法及kmeans聚类算法提取图像特征点时，即使图像中有遮挡，在遮挡区域也可能会提取到特征点，但该特征点并不一定是真实的特征点，本方案更关心的是从非遮挡区域提取到的特征点，若从遮挡图像中的非遮挡区域提取到的特征点与从模板图像提取到的特征点间的相似程度较高，即可在遮挡区域较小的情况下，认为该遮挡图像与特征图像相似，实现对本人脸的识别。
[0065]
步骤s03、对于每一个所述聚类中心，获取所述图像中的以所述聚类中心为中心的预设尺寸的图像，得到与所述图像的所述聚类中心对应的视觉区域。
[0066]
图3是根据本技术实施例示出的视觉记忆点的提取过程示意图，结合图3所示，首先利用sift算法对当前帧图像进行特征点的初始选择，再对选择出的特征点进行聚类，最后以视觉记忆点为中心，分割预设尺寸的区域得到视觉区域，示例性的，视觉区域可以是以视觉记忆点为中心的分辨率为64*64的区域。提取模板图像的视觉区域的过程与上述一致，在此不再赘述。
[0067]
下面对步骤s103、利用生物启发变换模型对所述视觉区域进行处理的具体实现形式进行描述，生物启发变换模型的主要功能组件是一个由方向边缘检测器和局部空间频率检测器组成的双边检测器，其中，方向边缘检测器可以突出某个方向的目标边缘，以模拟生物神经元检测目标线条特征的过程，局部空间频率器可以测量在所有方向和间隔处的空间频率，以模拟大脑视觉皮质细胞对线条响应强度的反馈过程，示例性的，可以将方向边缘检测器和局部空间频率检测器的方向θ和间隔i均等分为64份，从而产生64*64＝4096种方向和间隔的组合方式。具体的，所述生物启发变换模型可以包括gabor滤波器、方向边缘检测器、局部空间频率检测器、整形处理单元relu和池化单元。在上述的基础上，所述利用生物启发变换模型对输入图像进行处理，其中，所述输入图像为上述步骤提取到的任一视觉区域，该过程可以包括：
[0068]
步骤s11、利用gabor滤波器对输入图像进行滤波，得到中间响应g(x,y)。
[0069]
示例性的，图4示出了不同带宽和方向的gabor滤波器组，需要说明的是，使用不同带宽和方向的滤波器组是为了凸显输入图像在不同带宽和方向上的图像边缘，滤波后的图像，相当于大脑视觉对输入图像中的各个方向的线条的感官刺激结果，以便于对图像中的对象进行识别。
[0070]
步骤s12、利用方向边缘检测器，即水平垂直滤波器f(θ)与中间响应进行卷积，并作用于输入图像，得到方向边缘图e。
[0071][0072]
其中，θ∈(0
°
,180
°
)为方向边缘角度，i为输入间距，m为输入图像，表示对f进行微分运算，g(w)为上述的中间响应g(x,y)，w为滤波器宽度，且w的取值与参数i有关。
[0073]
步骤s13、利用局部空间检测器，将上述的方向边缘图以间距和角度(i,θ)进行平移，用平移后的方向边缘图e
θ,i
和原始的方向边缘图e进行卷积，得到每个像素点的空间频
率值re(θ,i)。
[0074][0075]
其中，||e||为原始的方向边缘图e中各元素的平方和。
[0076]
步骤s14、利用整形处理单元(relu)对局部空间频率检测器的检测结果进行处理，以抑制负响应。
[0077]
步骤s15、利用池化单元对将各方向和各间隔的正响应值进行池化处理，得到特征图。
[0078]
此外，在步骤s11、利用gabor滤波器对输入图像进行滤波之前，可以将输入图像的尺寸从64*64调整为128*128，进行尺寸增大，以便后续的gabor滤波和卷积层参数配置，其中方向边缘检测器和局部空间检测器均相当于一个卷积层，结合上述的将方向θ和间隔i均等分为64份，第一卷积层(即方向边缘检测器)和第二卷积层(局部空间检测器)的尺寸可以是为128
×
128
×
4096。
[0079]
图5示出了利用生物启发变换模型对输入图像进行处理以得到特征图的过程示意图，结合图5所示，首先对输入图像进行预处理，得到尺寸调整后的输入图像，再利用生物启发变换模型中的gabor滤波器、方向边缘检测器、局部空间频率检测器、整形处理单元relu和池化单元依次对输入图像进行处理，得到输入图像的特征图。
[0080]
图6示出了利用生物启发变化模型对各视觉区域进行处理得到的各特征图，可以看出由不同的视觉区域得到的生物启发变换的特征图不同，以此联想到不同人脸的生物启发变换特征图不同，因此可以利用由特征图得到特征向量进行人脸识别的判定。
[0081]
图7是根据本技术实施例示出的另一种人脸异常行为检测方法。结合图7所示，该方法可以包括如下步骤：
[0082]
步骤s201、构建输入图像组。
[0083]
其中，所述输入图像组包括当前帧图像和在所述当前帧图像之前被采集的且被标记为正常的至少一张前连续帧图像。示例性的，可以设置输入图像组内的图像数量m＝5，并且在满足上述条件的前连续帧图像数量不足4张的情况下，允许所述输入图像组内的图像数量不足5，例如，对于第一帧图像，所述输入图像组包括第一帧图像和模板图像，对于第二帧图像，在第一帧图像被标记为正常的情况下，所述输入图像组包括模板图像、第一帧图像和第二帧图像，在第一帧图像被标记为异常的情况下，所述输入图像组包括第二帧图像和模板图像。所述当前帧图像和所述模板图像的相关描述可以参见上述的步骤s101。下面以输入图像组中的图像数量为2进行示例性阐述。
[0084]
步骤s202、利用协同显著性检测模型对所述输入图像组进行处理，得到协同显著图。
[0085]
其中，所述协同显著图可以用于表征在所述输入图像组的各帧图像中重复出现的显著性目标，经过步骤s202的协同显著性检测后，可以从多张图像中分离出符合人类视觉注意的重复出现的共同显著性目标，即从协同显著图中凸显出来的目标。
[0086]
步骤s203、基于所述协同显著图得到所述当前帧图像与所述前连续帧图像各自的向量，基于所述向量进行pearson相关性计算，得到第一相关性计算结果。
[0087]
步骤s204、判断所述第一相关性计算是否小于第三预设值，若是，则执行步骤
s205。
[0088]
可选的，所述第三预设值可以是0.9，即认为大于等于0.9的第一相关性计算结果可以表征两个向量的相关性较为紧密，所述当前帧图像和所述前连续帧图像较为相似，但是，需要说明的是，当前帧图像中的人脸可能是非当前考生的人脸，因此还需要进行后续的判断。
[0089]
步骤s205、输出用于表征当前人脸行为异常的标识。
[0090]
可选的，在所述第一相关性计算结果较小的情况下，可以认为当前帧图像和正常状态的前连续帧图像极不相似，示例性的，所述当前帧图像中可能没有人脸图像或所述当前帧图像中存在多张人脸，在上述的情况下，可以根据步骤s204的判断结果判定当前帧图像处于异常状态，存在异常行为，不再执行后续操作，以节省算力资源。
[0091]
步骤s206-s213与上述的步骤s101-s108一致，在此不再赘述。
[0092]
在本技术提供的一些实施例中，步骤s202、利用协同显著性检测模型对所述输入图像组进行处理，得到协同显著图，可以包括：
[0093]
s21、统一所述输入图像组中的各帧图像的尺寸。
[0094]
s22、利用协同显著性检测模型分别对统一尺寸的各帧图像进行处理，得到各帧图像各自的图内协同显著图。
[0095]
s23、对统一尺寸后的各帧图像进行拼接处理，利用协同显著性检测模型对拼接处理后的图像进行处理，得到图间协同显著图。
[0096]
s24、对于每一帧图像，利用本帧图像的所述图内协同显著图与所述图间协同显著图中的与所述本帧图像对应的区域进行图像融合。
[0097]
s25、将融合后的图像作为协同显著图。
[0098]
步骤s22中，利用协同显著性检测模型分别对统一尺寸的每一帧图像进行处理的过程是相同，以统一尺寸的一帧图像为例，所述利用协同显著性检测模型对统一尺寸的本帧图像进行处理的过程，可以包括：
[0099]
步骤s31、对本帧图像进行kmean聚类，得到图内聚类结果。
[0100]
具体的，对本帧图像的所有像素点进行kmean聚类，得到本帧图像的图内聚类结果，其中，所述图内聚类结果包括k个图内聚类{ck},k＝1,
…
,k及各自的图内聚类中心其中，x,y,z为本帧图像的三个维度。可选的，在进行图内kmeans聚类时，可以设置聚类个数为6。
[0101]
步骤s32、对于每一个所述图内聚类，基于所述图内聚类结果计算得到本类的注意力索引线索。
[0102]
其中，所述注意力索引线索可以包括对比度线索、中心偏移度线索。
[0103]
所述对比度线索可以将明显区别于其他类别的区域凸显出来，示例性的，所述明显区别于其他类别的区域为图像的前景，单一的背景区域是其他类别的区域，以聚类ck为例，其对比度线索wc(k)的计算公式如下所示：
[0104][0105]
其中，mi为聚类ci所包含的像素点个数，m为输入图像的个数。
[0106]
所述中心偏移度线索可以用来测量图内的局部位置分布情况，以聚类ck为例，其
中心偏移度线索ws(k)的计算公式如下所示：
[0107][0108]
其中，mk表示聚类ck包含的像素个数，n为输入图像的数量，dj表示图像ij的维度，g(
·
)表示高斯内核函数，是计算lij和oj间的欧式距离的标识，“0”定义高斯核函数的中心坐标为原点0，lij表示图像ij中像素pij的位置坐标，oj为图像ij的中心位置坐标，σ为图像的归一化半径，δ(
·
)表示克罗内克函数，函数b(
·
)表示p
ij
与聚类b(p
ij
)之间的映射关系，p
ij
为图像ij中的第i个像素。
[0109]
步骤s33、对本类的注意力索引线索进行高斯归一化，将归一化的本类的各个注意力索引线索的乘积作为本类的显著性线索权值。
[0110]
具体的，以聚类ck为例，其显著性线索权值p(ck)如下式所示：
[0111][0112]
其中，wi(k)为对比度线索或中心偏移度线索的值。
[0113]
步骤s34、利用概率框架软分配的方式将本类的显著性线索权值分配给所述本帧图像中的属于本类的像素点，以生成本帧图像的图内协同显著图。
[0114]
具体的，计算得到p(x|ck)，再通过所有聚类的联合分布p(ck)p(x|ck)计算得到显著性的边缘分布p(x)，计算公式如下所示：
[0115][0116][0117]
其中，v
x
为像素x的特征向量，高斯方差σk取聚类ck的方差。
[0118]
在本技术提供的一些实施例中，上述的步骤s23利用协同显著性检测模型对拼接处理后的图像进行处理，得到图间协同显著图，可以包括：
[0119]
步骤s41、利用协同显著性检测模型对拼接处理后的图像进行kmeans聚类分析，得到图间聚类结果。
[0120]
其中，所述图间聚类结果包括k个图间聚类及各自的图间聚类中心。可选的，所述图间聚类的数量k＝min{max{2m,10},20}，其中，m为输入图像组中的图像数量。
[0121]
步骤s42、基于所述图间聚类结果计算得到各个所述图间聚类的注意力索引线索。
[0122]
其中，所述图间聚类的注意力索引线索包括对比度线索、中心偏移度线索和重复度线索。所述中心偏移度线索中心偏移度线索可以用来测量多张图像中的全局位置分布情况；所述重复度线索用于获取多帧图像中出现频率较高的显著性区域，通过求和归一化操作统计每个聚类ck在输入图像组中的分布情况h
jk
，计算公式如下：
[0123][0124]
再采用方差计算法评估每个聚类在各帧图像中出现的频率，即可得到重复度线索wd(k)如下式所示：
[0125][0126]
其中，var iance表示聚类ck在m帧图像上的分布值方差
[0127]
步骤s43、对于每个所述图间聚类，对所述图间聚类的注意力索引线索进行高斯归一化，将归一化的所述图间聚类的三个注意力索引线索的乘积作为所述图间聚类的显著性线索权值，利用概率框架软分配的方式将所述图间聚类的显著性线索权值分配给各帧图像中的属于所述图间聚类的像素点，以生成图间协同显著图。
[0128]
需要说明的是，步骤s41-s43的相关表述可以参照步骤s31-s35所述。
[0129]
示例性的，图8a-图8c示出了由不同输入图像图得到的协同显著图，图8a中的当前帧图像为单人脸，图8b中的当前帧图像为无人脸，图8c中的当前帧图像为多人脸，对比图8a、图8b和图8c可以看出，协同显著性检测模型可以将输入图像的显著性目标凸显出来。
[0130]
上述的人脸异常行为检测方法，基于聚类进行协同显著性检测，可以定位出多帧连续图像中的共同显著性目标，较好的区分出单人脸、多人脸以及无人脸的典型场景。
[0131]
下面对本技术实施例提供的人脸异常行为检测装置进行描述，下文描述的人脸异常行为检测装置与上文描述的人脸异常行为检测方法可相互对应参照。
[0132]
参见图9，图9为本技术实施例公开的一种人脸异常行为检测装置的结构示意图。
[0133]
如图9所示，该装置可以包括：
[0134]
输入图像获取单元11，用于在进行在线考试过程中，采集所述考生的人脸图像，得到待标记的当前帧图像，并获取所述考生预先上传的正常的模板图像；
[0135]
视觉区域提取单元12，用于分别对所述当前帧图像和所述模板图像进行视觉区域的提取，得到预设数量个所述当前帧图像的视觉区域，和预设数量个所述模板图像的视觉区域，每一个所述视觉区域用于表征图像中人脸的一个关键特征点；
[0136]
生物启发变换单元13，用于对于所提取到的所述当前帧图像和所述模板图像的每一个所述视觉区域，利用生物启发变换模型对所述视觉区域进行处理，得到与所述视觉区域对应的特征图，由所述特征图得到对应的特征向量；
[0137]
命中区域标记单元14，用于对于所述当前帧图像的每一个特征向量，分别计算本特征向量与所述模板图像的各个特征向量的pearson相关性，得到预设数量个相关性计算结果，若存在大于第一预设值的所述相关性计算结果，则将与本特征向量对应的视觉区域标记为命中区域；
[0138]
当前帧图像标记单元15，用于判断所述当前帧图像的命中区域的数量达到第二预设值，若是，则将所述当前帧图像标记为正常，否则，将所述当前帧图像标记为异常。
[0139]
在本技术提供的一些实施例中，所述视觉区域提取单元12提取图像(当前帧图像或模板图像)的视觉区域的过程，可以包括：
[0140]
采用sift算法提取所述图像中的特征点；
[0141]
对提取到的特征点进行kmeans聚类，得到n个聚类中心；
[0142]
对于每一个所述聚类中心，获取所述图像中的以所述聚类中心为中心的预设尺寸的图像，得到与所述图像的所述聚类中心对应的视觉区域。
[0143]
在本技术提供的一些实施例中，所述生物启发变换单元13利用生物启发变换模型
对所述视觉区域进行处理的过程，可以包括：
[0144]
利用生物启发变换模型中的gabor滤波器、方向边缘检测器、局部空间频率检测器、整形处理单元relu和池化单元依次对所述视觉区域进行处理，得到与所述视觉区域对应的特征图。
[0145]
在本技术提供的一些实施例中，该装置还包括协同显著性检测单元，用于获取所述当前帧图像之前的被标记为正常的前连续帧图像，由所述当前帧图像和所述前连续帧图像构成输入图像组；
[0146]
利用协同显著性检测模型对所述输入图像组进行处理，得到协同显著图，所述协同显著图用于表征在所述输入图像组的各帧图像中重复出现的显著性目标；
[0147]
基于所述协同显著图得到所述当前帧图像与所述前连续帧图像各自的向量，基于所述向量进行pearson相关性计算，得到第一相关性计算结果；
[0148]
在所述第一相关性计算结果小于第三预设值的情况下，输出用于表征当前人脸行为异常的标识。
[0149]
在一种可能的实现方式中，所述协同显著性检测单元利用协同显著性检测模型对所述输入图像组进行处理，得到协同显著图的过程，可以包括：
[0150]
统一所述输入图像组中的各帧图像的尺寸；
[0151]
利用协同显著性检测模型分别对统一尺寸的各帧图像进行处理，得到各帧图像各自的图内协同显著图；
[0152]
对统一尺寸后的各帧图像进行拼接处理，利用协同显著性检测模型对拼接处理后的图像进行处理，得到图间协同显著图；
[0153]
对于每一帧图像，利用本帧图像的所述图内协同显著图与所述图间协同显著图中的与所述本帧图像对应的区域进行图像融合；
[0154]
将融合后的图像作为协同显著图。
[0155]
在一种可能的实现方式中，所述协同显著性检测单元利用协同显著性检测模型对拼接处理后的图像进行处理，得到图间协同显著图的过程，可以包括：
[0156]
利用协同显著性检测模型对拼接处理后的图像进行kmeans聚类分析，得到图间聚类结果，所述图间聚类结果包括k个图间聚类及各自的图间聚类中心；
[0157]
基于所述图间聚类结果计算得到各个所述图间聚类的注意力索引线索，所述图间聚类的注意力索引线索包括对比度线索、中心偏移度线索和重复度线索；
[0158]
对于每个所述图间聚类，对所述图间聚类的注意力索引线索进行高斯归一化，将归一化的所述图间聚类的各个注意力索引线索的乘积作为所述图间聚类的显著性线索权值，利用概率框架软分配的方式将所述图间聚类的显著性线索权值分配给各帧图像中的属于所述图间聚类的像素点，以生成图间协同显著图。
[0159]
在一种可能的实现方式中，所述协同显著性检测单元利用协同显著性检测模型分别对统一尺寸的各帧图像进行处理，得到各帧图像各自的图内协同显著图的过程，可以包括：
[0160]
利用协同显著性检测模型分别对统一尺寸的每一帧图像，执行下述步骤：
[0161]
对本帧图像进行kmean聚类，得到图内聚类结果，所述图内聚类结果包括k个图内聚类及各自的图内聚类中心；
[0162]
对于每一个所述图内聚类，基于所述图内聚类结果计算得到本类的注意力索引线索，所述注意力索引线索包括对比度线索、中心偏移度线索；
[0163]
对本类的注意力索引线索进行高斯归一化，将归一化的本类的各个注意力索引线索的乘积作为本类的显著性线索权值；
[0164]
利用概率框架软分配的方式将本类的显著性线索权值分配给所述本帧图像中的属于本类的像素点，以生成本帧图像的图内协同显著图。
[0165]
本技术实施例提供的人脸异常行为检测装置可应用于人脸异常行为检测设备，如具备图像采集和数据处理能力的终端：手机、电脑等。可选的，图10示出了人脸异常行为检测设备的硬件结构框图，参照图10，人脸异常行为检测设备的硬件结构可以包括：至少一个处理器1，至少一个通信接口2，至少一个存储器3和至少一个通信总线4；
[0166]
在本技术实施例中，处理器1、通信接口2、存储器3、通信总线4的数量为至少一个，且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信；
[0167]
处理器1可能是一个中央处理器cpu，或者是特定集成电路asic(application specific integrated circuit)，或者是被配置成实施本发明实施例的一个或多个集成电路等；
[0168]
存储器3可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatile memory)等，例如至少一个磁盘存储器；
[0169]
其中，存储器存储有程序，处理器可调用存储器存储的程序，所述程序用于：
[0170]
在进行在线考试过程中，采集所述考生的人脸图像，得到待标记的当前帧图像，并获取所述考生预先上传的正常的模板图像；
[0171]
分别对所述当前帧图像和所述模板图像进行视觉区域的提取，得到预设数量个所述当前帧图像的视觉区域，和预设数量个所述模板图像的视觉区域，每一个所述视觉区域用于表征图像中人脸的一个关键特征点；
[0172]
对于所提取到的所述当前帧图像和所述模板图像的每一个所述视觉区域，利用生物启发变换模型对所述视觉区域进行处理，得到与所述视觉区域对应的特征图，由所述特征图得到对应的特征向量；
[0173]
对于所述当前帧图像的每一个特征向量，分别计算本特征向量与所述模板图像的各个特征向量的pearson相关性，得到预设数量个相关性计算结果，若存在大于第一预设值的所述相关性计算结果，则将与本特征向量对应的视觉区域标记为命中区域；
[0174]
若所述当前帧图像的命中区域的数量达到第二预设值，则将所述当前帧图像标记为正常，否则，将所述当前帧图像标记为异常。
[0175]
可选的，所述程序的细化功能和扩展功能可参照上文描述。
[0176]
本技术实施例还提供一种存储介质，该存储介质可存储有适于处理器执行的程序，所述程序用于：
[0177]
在进行在线考试过程中，采集所述考生的人脸图像，得到待标记的当前帧图像，并获取所述考生预先上传的正常的模板图像；
[0178]
分别对所述当前帧图像和所述模板图像进行视觉区域的提取，得到预设数量个所述当前帧图像的视觉区域，和预设数量个所述模板图像的视觉区域，每一个所述视觉区域用于表征图像中人脸的一个关键特征点；
[0179]
对于所提取到的所述当前帧图像和所述模板图像的每一个所述视觉区域，利用生物启发变换模型对所述视觉区域进行处理，得到与所述视觉区域对应的特征图，由所述特征图得到对应的特征向量；
[0180]
对于所述当前帧图像的每一个特征向量，分别计算本特征向量与所述模板图像的各个特征向量的pearson相关性，得到预设数量个相关性计算结果，若存在大于第一预设值的所述相关性计算结果，则将与本特征向量对应的视觉区域标记为命中区域；
[0181]
若所述当前帧图像的命中区域的数量达到第二预设值，则将所述当前帧图像标记为正常，否则，将所述当前帧图像标记为异常。
[0182]
可选的，所述程序的细化功能和扩展功能可参照上文描述。
[0183]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0184]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间可以根据需要进行组合，且相同相似部分互相参见即可。
[0185]
对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。