面审监控方法、装置、设备及存储介质与流程

1.本发明涉及人工智能领域，尤其涉及一种面审监控方法、装置、设备及存储介质。


背景技术：

2.现有的面审监控技术中，一般是通过对用户进行问答，通过采集用户问答过程中的面部图像或视频数据，通过面部识别技术进行用户微表情识别，用以确定用户的申请信息是否为本人，以及是否存在欺诈的可能性。
3.在现有的技术中，对于被面审者通过刻意伪装以作弊的欺诈行为，其识别准确性不足，例如用户头部未完整呈现于镜头内或发生异常角度的偏移，其可能在与第三人在进行交互从而实现作弊，从而导致了面审评价结果不准确。


技术实现要素：

4.本发明的主要目的在于解决现有面审监控方法中因对于欺诈行为的识别准确性不足从而导致面审评价结果不准确的问题。
5.本发明第一方面提供了一种面审监控方法，包括：
6.当接收到面审监控请求时，调用被面审人终端采集预面审场景图像；
7.调用预置的人脸检测模型对所述预面审场景图像进行人脸检测，得到第一人脸区域图像；
8.对所述第一人脸区域图像进行关键点检测，得到所述第一人脸区域图像中的人脸关键点集合；
9.根据所述人脸关键点集合，判断所述第一人脸区域图像中人脸是否完整；
10.若确定所述第一人脸区域图像中人脸不完整，则向所述被面审人终端发送面审规范提示；
11.若确定所述第一人脸区域图像中人脸完整，则判断所述第一人脸区域图像中的被面审人是否为预置的目标被面审人；
12.若确定所述第一人脸区域图像中的被面审人为所述目标被面审人，则向面审人终端发送面审就绪提示以开始面审。
13.可选的，在本发明第一方面的第一种实现方式中，所述若确定所述第一人脸区域图像中的被面审人为所述目标被面审人，则向面审人终端发送面审就绪提示以开始面审之后，还包括：
14.基于预置的频率，调用被面审人终端采集第一面审场景图像；
15.调用所述人脸检测模型对所述第一面审场景图像进行人脸检测，得到第二人脸区域图像；
16.对预置神经网络模型执行偏转角度的回归训练，得到头部姿态检测模型；
17.调用所述头部姿态检测模型对所述第二人脸区域图像进行姿态检测，得到所述目标被面审人的头部在至少一个预置方向上的偏转角度；
18.将所述至少一个预置方向上的偏转角度分别与预置的标准偏转区间进行比较，若任意一个方向上的偏转角度不在所述标准偏转区间内，则确定所述目标被面审人行为异常，并向所述面审人终端发送异常提示。
19.可选的，在本发明第一方面的第二种实现方式中，所述预置神经网络模型包括姿态特征提取网络、偏转角分类网络以及偏转角回归网络，所述对预置神经网络模型执行偏转角度的回归训练，得到头部姿态检测模型包括：
20.调用所述姿态特征提取网络，从预置人脸姿态训练图像集中的目标训练图像中提取目标人脸姿态特征；
21.调用所述偏转角分类网络，根据所述目标人脸姿态特征和预置的偏转区间概率矩阵，计算所述目标人脸姿态特征对应的多分类偏转区间概率分布；
22.从所述多分类偏转区间概率分布中选取概率值最大的偏转区间为所述目标人脸姿态特征对应的目标偏转区间，并获取所述目标偏转区间对应的回归函数；
23.调用所述偏转角回归网络，根据所述目标人脸姿态特征和所述回归函数进行偏转角的回归计算，得到所述目标训练图像在至少一个预置方向上的偏转角度；
24.基于预置的损失函数和所述目标训练图像预置的偏转角度标注信息，计算所述目标训练图像在所述至少一个预置方向上的偏转角度所对应的损失值；
25.根据所述损失值调整所述预置神经网络模型的网络参数，直至所述损失值小于预置阈值，确定所述预置神经网络模型收敛，保存所述预置神经网络模型当前的网络参数，得到头部姿态检测模型。
26.可选的，在本发明第一方面的第三种实现方式中，所述若确定所述第一人脸区域图像中的被面审人为所述目标被面审人，则向面审人终端发送面审就绪提示以开始面审之后，还包括：
27.基于预置的频率，调用被面审人终端采集第二面审场景图像；
28.对所述第二面审场景图像进行人脸检测以确定所述第二面审场景图像中是否包含人脸；
29.若确定所述第二面审场景图像中不包含人脸，则确定当前面审场景异常，并向所述面审人终端发送异常提示；
30.若确定所述第二面审场景图像中包含人脸，则提取所述第二面审场景图像中的目标人脸参数；
31.从预置的数据库中获取所述目标被面审人的预置人脸参数，并将所述目标人脸参数与所述预置人脸参数进行匹配，若匹配失败，则确定被面审人发生替换，并向所述面审人终端发送替换提示。
32.可选的，在本发明第一方面的第四种实现方式中，所述调用预置的人脸检测模型对所述预面审场景图像进行人脸检测，得到第一人脸区域图像包括：
33.将所述预面审场景图像输入至所述人脸检测模型中，其中，所述人脸检测模型中包括人脸特征提取网络、人脸特征识别网络以及人脸特征筛选网络；
34.调用所述人脸特征提取网络，从所述预面审场景图像中提取至少一个特征尺寸的人脸特征；
35.调用所述人脸特征识别网络，根据每个特征尺寸对应预置数量的先验框，在每个
特征尺寸的人脸特征中识别备选人脸区域；
36.调用所述人脸特征筛选网络，对各所述备选人脸区域进行筛选以得到第一人脸区域图像。
37.可选的，在本发明第一方面的第五种实现方式中，所述对所述第一人脸区域图像进行关键点检测，得到所述第一人脸区域图像中的人脸关键点集合包括：
38.对预置的初始网络模型执行关键点检测训练任务，得到人脸关键点检测模型；
39.对所述第一人脸区域图像进行图像预处理，并将预处理后的第一人脸区域图像输入至所述人脸关键点检测模型进行检测，得到所述第一人脸区域图像中的人脸关键点集合，其中，所述人脸关键点集合中包括各人脸关键点的位置坐标信息。
40.可选的，在本发明第一方面的第六种实现方式中，所述对预置的初始网络模型执行关键点检测训练任务，得到人脸关键点检测模型包括：
41.获取预置的人脸图像样本以及所述人脸图像样本对应的样本标签，其中，所述样本标签中包括所述人脸图像样本中的人脸关键点位置数据；
42.对所述人脸关键点位置数据进行先验计算，得到所述人脸图像样本的结构先验特征；
43.调用所述初始网络模型提取所述人脸图像样本的自注意力特征，并基于所述自注意力特征进行图像识别，得到所述人脸图像样本中的人脸关键点检测数据；
44.基于预置的第一损失函数，计算所述自注意力特征与所述结构先验特征之间的第一损失值，以及基于预置的第二损失函数，计算所述人脸关键点检测数据与所述人脸关键点位置数据之间的第二损失值；
45.按照预置的加权算法对所述第一损失值和所述第二损失值进行加权求和计算，得到所述初始网络模型当前的全局损失值；
46.根据所述全局损失值，调整所述初始网络模型的网络参数，得到人脸关键点检测模型。
47.本发明第二方面提供了一种面审监控装置，包括：
48.图像采集模块，用于当接收到面审监控请求时，调用被面审人终端采集预面审场景图像；
49.人脸检测模块，用于调用预置的人脸检测模型对所述预面审场景图像进行人脸检测，得到第一人脸区域图像；
50.关键点检测模块，用于对所述第一人脸区域图像进行关键点检测，得到所述第一人脸区域图像中的人脸关键点集合；
51.场景校正模块，用于根据所述人脸关键点集合，判断所述第一人脸区域图像中人脸是否完整；若确定所述第一人脸区域图像中人脸不完整，则向所述被面审人终端发送面审规范提示；
52.身份审核模块，用于若确定所述第一人脸区域图像中人脸完整，则判断所述第一人脸区域图像中的被面审人是否为预置的目标被面审人；
53.面审启动模块，用于若确定所述第一人脸区域图像中的被面审人为所述目标被面审人，则向面审人终端发送面审就绪提示以开始面审。
54.可选的，在本发明第二方面的第一种实现方式中，所述预置神经网络模型包括姿
态特征提取网络、偏转角分类网络以及偏转角回归网络，所述面审监控装置还包括偏转检测模块，所述偏转检测模块具体包括：
55.采集单元，用于基于预置的频率，调用被面审人终端采集第一面审场景图像；
56.人脸检测单元，用于调用所述人脸检测模型对所述第一面审场景图像进行人脸检测，得到第二人脸区域图像；
57.模型训练单元，用于对预置神经网络模型执行偏转角度的回归训练，得到头部姿态检测模型；
58.姿态检测单元，用于调用所述头部姿态检测模型对所述第二人脸区域图像进行姿态检测，得到所述目标被面审人的头部在至少一个预置方向上的偏转角度；
59.比较单元，用于将所述至少一个预置方向上的偏转角度分别与预置的标准偏转区间进行比较，若任意一个方向上的偏转角度不在所述标准偏转区间内，则确定所述目标被面审人行为异常，并向所述面审人终端发送异常提示。
60.可选的，在本发明第二方面的第二种实现方式中，所述预置神经网络模型包括姿态特征提取网络、偏转角分类网络以及偏转角回归网络，所述模型训练单元用于：
61.调用所述姿态特征提取网络，从预置人脸姿态训练图像集中的目标训练图像中提取目标人脸姿态特征；
62.调用所述偏转角分类网络，根据所述目标人脸姿态特征和预置的偏转区间概率矩阵，计算所述目标人脸姿态特征对应的多分类偏转区间概率分布；
63.从所述多分类偏转区间概率分布中选取概率值最大的偏转区间为所述目标人脸姿态特征对应的目标偏转区间，并获取所述目标偏转区间对应的回归函数；
64.调用所述偏转角回归网络，根据所述目标人脸姿态特征和所述回归函数进行偏转角的回归计算，得到所述目标训练图像在至少一个预置方向上的偏转角度；
65.基于预置的损失函数和所述目标训练图像预置的偏转角度标注信息，计算所述目标训练图像在所述至少一个预置方向上的偏转角度所对应的损失值；
66.根据所述损失值调整所述预置神经网络模型的网络参数，直至所述损失值小于预置阈值，确定所述预置神经网络模型收敛，保存所述预置神经网络模型当前的网络参数，得到头部姿态检测模型。
67.可选的，在本发明第二方面的第三种实现方式中，所述面审监控装置还包括人脸复检模块，所述人脸复检模块包括：
68.采集单元，用于基于预置的频率，调用被面审人终端采集第二面审场景图像；
69.人脸检测单元，用于对所述第二面审场景图像进行人脸检测以确定所述第二面审场景图像中是否包含人脸；
70.异常提示单元，用于若确定所述第二面审场景图像中不包含人脸，则确定当前面审场景异常，并向所述面审人终端发送异常提示；
71.参数提取单元，用于若确定所述第二面审场景图像中包含人脸，则提取所述第二面审场景图像中的目标人脸参数；
72.参数匹配单元，用于从预置的数据库中获取所述目标被面审人的预置人脸参数，并将所述目标人脸参数与所述预置人脸参数进行匹配，若匹配失败，则确定被面审人发生替换，并向所述面审人终端发送替换提示。
73.可选的，在本发明第二方面的第四种实现方式中，所述人脸检测模块具体包括：
74.输入单元，用于将所述预面审场景图像输入至所述人脸检测模型中，其中，所述人脸检测模型中包括人脸特征提取网络、人脸特征识别网络以及人脸特征筛选网络；
75.特征提取单元，用于调用所述人脸特征提取网络，从所述预面审场景图像中提取至少一个特征尺寸的人脸特征；
76.识别单元，用于调用所述人脸特征识别网络，根据每个特征尺寸对应预置数量的先验框，在每个特征尺寸的人脸特征中识别备选人脸区域；
77.筛选单元，用于调用所述人脸特征筛选网络，对各所述备选人脸区域进行筛选以得到第一人脸区域图像。
78.可选的，在本发明第二方面的第五种实现方式中，所述关键点检测模块具体包括：
79.模型构建单元，用于对预置的初始网络模型执行关键点检测训练任务，得到人脸关键点检测模型；
80.检测单元，用于对所述第一人脸区域图像进行图像预处理，并将预处理后的第一人脸区域图像输入至所述人脸关键点检测模型进行检测，得到所述第一人脸区域图像中的人脸关键点集合，其中，所述人脸关键点集合中包括各人脸关键点的位置坐标信息。
81.可选的，在本发明第二方面的第六种实现方式中，所述模型构建单元具体用于：
82.获取预置的人脸图像样本以及所述人脸图像样本对应的样本标签，其中，所述样本标签中包括所述人脸图像样本中的人脸关键点位置数据；
83.对所述人脸关键点位置数据进行先验计算，得到所述人脸图像样本的结构先验特征；
84.调用所述初始网络模型提取所述人脸图像样本的自注意力特征，并基于所述自注意力特征进行图像识别，得到所述人脸图像样本中的人脸关键点检测数据；
85.基于预置的第一损失函数，计算所述自注意力特征与所述结构先验特征之间的第一损失值，以及基于预置的第二损失函数，计算所述人脸关键点检测数据与所述人脸关键点位置数据之间的第二损失值；
86.按照预置的加权算法对所述第一损失值和所述第二损失值进行加权求和计算，得到所述初始网络模型当前的全局损失值；
87.根据所述全局损失值，调整所述初始网络模型的网络参数，得到人脸关键点检测模型。
88.本发明第三方面提供了一种面审监控设备，包括：存储器和至少一个处理器，所述存储器中存储有指令；所述至少一个处理器调用所述存储器中的所述指令，以使得所述面审监控设备执行上述的面审监控方法的各个步骤。
89.本发明的第四方面提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述的面审监控方法的各个步骤。
90.本发明提供的技术方案中，通过检测被面审人的头部姿态角度是否符合标准，以及通过关键点检测以确定所拍摄的面审场景中的人脸是否完整，以确定被面审人是否与第三人进行交互，从而准确识别欺诈行为，进而提升面审评价结果的准确性。
附图说明
91.图1为本发明实施例中面审监控方法的第一个实施例示意图；
92.图2为本发明实施例中面审监控方法的第二个实施例示意图；
93.图3为本发明实施例中面审监控方法的第三个实施例示意图；
94.图4为本发明实施例中面审监控装置的一个实施例示意图；
95.图5为本发明实施例中面审监控装置的另一个实施例示意图；
96.图6为本发明实施例中面审监控设备的一个实施例示意图；
97.图7为本发明实施例中头部姿态检测的一个实施例示意图。
具体实施方式
98.本发明实施例提供了一种面审监控方法、装置、设备及存储介质，对欺诈行为的识别准确性更高。
99.本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”或“具有”及其任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
100.可以理解的是，本发明的执行主体可以为面审监控装置，还可以是终端或者服务器，具体此处不做限定。本发明实施例以服务器为执行主体为例进行说明。
101.本技术实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificial intelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
102.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
103.为便于理解，下面对本发明实施例的具体流程进行描述，请参阅图1，本发明实施例中面审监控方法的第一个实施例包括：
104.101、当接收到面审监控请求时，调用被面审人终端采集预面审场景图像；
105.可以理解的是，被面审人终端是指被面审人所在的终端，该终端包括但不限于手机、监视器等设备，其均应具备可摄像装置，从而在服务器接收到面审监控请求时，调用该终端中的可摄像装置来实时采集预面审场景图像。需要说明的是，预面审场景图像即被面审人做好面审准备，面审人尚未对被面审人发起面审问答时可摄像装置镜头前所拍摄的图像，其用于对面审环境进行检测。
106.可以理解的是，可摄像装置在采集预面审场景图像之前首先需要选择对焦对象。可选的，服务器可调度该可摄像装置调节至最大光圈参数，并优先对焦至人物脸部，从而获
得较佳的虚化效果，从而减少所采集预面审场景图像中的有效像素，进而在对该预面审场景图像检测时减少图像计算量以提高处理效率。
107.可选的，当可摄像装置在选择对焦对象时捕捉到多个人物，即面审场景中存在多个人物时，服务器可从数据库中获取目标被面审人的人物图像，进而提取其人像参数，从而对焦至目标被面审人。
108.102、调用预置的人脸检测模型对该预面审场景图像进行人脸检测，得到第一人脸区域图像；
109.可以理解的是，预置的人脸检测模型可基于卷积神经网络模型在公开数据集中进行训练得到，该卷积神经网络模型可以为lenet、alexnet、vgg等大型网络模型，从而部署于高算力的服务器端以进行精确的云计算，也可以为lffd、mobile-net、slim-320等轻量型网络模型，从而部署于低算力的移动端中以进行高效率的边缘计算，本实施例对其不做限定。
110.可选的，服务器首先将该预面审场景图像输入至训练后得到的人脸检测模型中，该人脸检测模型中包括多层网络，服务器首先调用其中的人脸特征提取网络从预面审场景图像中提取至少一个特征尺寸的人脸特征，其次调用人脸特征识别网络，从而根据每个特征尺寸对应预置数量的先验框，在每个特征尺寸的人脸特征中识别备选人脸区域，最后调用人脸特征筛选网络，对各备选人脸区域进行筛选以得到第一人脸区域图像。
111.可以理解的是，人脸特征用于描述人脸的图像特征。示例性的，图像特征可以包括图像的颜色特征、纹理特征、形状特征和空间关系特征等。人脸检测模型用于对输入的图像进行特征提取，得到人脸特征。特征尺寸为人脸特征的尺寸，人脸特征可以是特征图，特征尺寸可以包括该图的宽和高等参数。示例性的，人脸检测模型可以提取特征尺寸为32*32的人脸特征、特征尺寸为16*16的人脸特征或特征尺寸为8*8的人脸特征。人脸检测模型可以通过特征提取层提取人脸特征，示例性的，特征提取层包括至少一个卷积层。可选的，卷积层包括dw卷积(depthwise separable convolution，深度可分离卷积)，其中，采用dw卷积可以降低参数数量和运算成本，从而实现轻量级运算。
112.先验框(anchor)可以是指提前在图像上预设好的不同尺寸和/或不同长宽比的框，先验框用于调整以不断接近包含待检测物体的真实框。实际上，先验框可以理解为预先定义了待检测的人脸区域的宽和高，在模型预测过程中，采用该宽和高对人脸特征进行处理，预测得到人脸区域，其中，预测过程是调整先验框的(中心)位置和尺寸，得到最接近真实人脸区域的备选人脸区域。不同的先验框的尺寸和/或长宽比不同。同一个尺寸以及长宽比的先验框的数量为一个。其中，人脸检测模型可以通过分类层识别备选人脸区域。示例性的，分类层可以包括级联的特征金字塔网络(feature pyramid networks，fpn)。
113.需要说明的是，该特征尺寸与先验框的数量成反比。特征尺寸与先验框的数量成反比表明，特征尺寸与先验框的类型的数量对应。不同特征尺寸对应的先验框的类型的数量不同。不同特征尺寸对应的先验框的尺寸和/或长宽比可以部分相同或完全不同。示例性的，32*32特征尺寸，对应1个长宽比为1:1的先验框。又如，16*16特征尺寸，对应2个长宽比分别为1:1和2:1的先验框。
114.可以理解的是，对备选人脸区域筛选可以是，减少冗余的备选人脸区域和错误的人脸区域等。表示为同一个人脸的备选人脸区域的数量可以有多个，可以对表示同一个人脸的重复多个备选人脸区域进行筛选，减少冗余备选人脸区域。此外，还有部分备选人脸区
域是错误的，可以对错误的备选人脸区域进行删除，提高人脸区域的准确性。将筛选得到的至少一个备选人脸区域确定为目标人脸区域。人脸检测模型可以通过后处理层对备选人脸区域进行筛选。示例性的，后处理层可以采用非极大值抑制算法(non-maximum suppression，nms)，或基于交并比(intersection overunion，iou)的算法等实现筛选。
115.103、对该第一人脸区域图像进行关键点检测，得到第一人脸区域图像中的人脸关键点集合；
116.可以理解的是，关键点检测的过程即深度语义的分类过程，例如关键点检测规则中定义检测时提供7个关键点的位置，左眼的位置、右眼的位置、鼻子的位置、左嘴角的位置、右嘴角的位置、左眉的位置、右眉的位置，如果服务器检测到人脸，那么在相应的人脸框图中将会用点标记出这些位置，可选的，服务器可基于68点检测法识别出该第一人脸区域图像中用于标识五官轮廓的68个关键点。
117.在进行关键点检测之前需要构建关键点检测模型，本实施例中服务器对预置的初始网络模型执行关键点检测训练任务，得到人脸关键点检测模型，例如该初始网络模型可以为hrnet-v2等，本实施例对其不做限定。
118.可选的，服务器首先获取预置的人脸图像样本以及人脸图像样本对应的样本标签，该样本标签中预先标注了人脸图像样本中的人脸关键点位置数据；其次对人脸关键点位置数据进行先验计算从而得到人脸图像样本的结构先验特征；然后调用初始网络模型提取人脸图像样本的自注意力特征，并基于自注意力特征进行图像识别，得到人脸图像样本中的人脸关键点检测数据；最后基于预置的第一损失函数，计算自注意力特征与结构先验特征之间的第一损失值，以及基于预置的第二损失函数，计算人脸关键点检测数据与人脸关键点位置数据之间的第二损失值，按照预置的加权算法对第一损失值和第二损失值进行加权求和计算，得到初始网络模型当前的全局损失值，并根据该全局损失值，调整初始网络模型的网络参数，得到人脸关键点检测模型。
119.可选的，为使关键点检测准确以及减少图像处理的计算量，服务器还对该第一人脸区域图像进行包括但不限于灰度化、几何变换、平滑、增强、复原、降噪等预处理方式，本实施例对其不做限定。服务器将预处理后的第一人脸区域图像输入至所述人脸关键点检测模型进行检测，得到第一人脸区域图像中的人脸关键点集合，人脸关键点集合中包括了各人脸关键点的位置坐标信息。
120.104、根据该人脸关键点集合，判断第一人脸区域图像中人脸是否完整，若确定该第一人脸区域图像中人脸不完整，则向该被面审人终端发送面审规范提示；
121.可以理解的是，服务器通过人脸关键点集合中的关键点数目，以及人脸关键点检测模型中所使用的关键点检测算法来判断第一人脸区域图像中人脸是否完整，例如人脸关键点检测模型中使用的是5点检测算法，即5个关键点分别对应人脸五官，若人脸关键点集合中的关键点数目为5，则确定人脸完整，否则确定人脸不完整。
122.可以理解的是，面审规范提示被发送至被面审人终端从而提示被面审人进行面审前的行为规范，例如检查被面审人终端的镜头是否被赃物遮挡、镜头是否显示不清晰，被面审人所在位置是否合理等，通过该规范提示以指示被面审人进行自检以确保能够正常进行面审环节。
123.105、若确定该第一人脸区域图像中人脸完整，则判断第一人脸区域图像中的被面
审人是否为预置的目标被面审人，若确定该第一人脸区域图像中的被面审人为目标被面审人，则向面审人终端发送面审就绪提示以开始面审。
124.可以理解的是，服务器中通常在数据库中保存面审计划信息，该面审计划信息应至少包括面审人的身份信息、被面审人的身份信息、面审计划时间等数据，其中，被面审人的身份信息中包含了被面审人的人脸图像，从而服务器从数据库中读取到该人脸图像，进而将其与第一人脸区域图像中所显示的人脸图像进行比对和匹配以确定该第一人脸区域图像中的被面审人是否为目标被面审人，若身份确认无误，则通过面审人所在终端提示面审人开始面审问答。
125.本发明实施例中，通过确定面审场景图像中的人脸是否完整以确定被面审人是否与第三人交互，以及判断当前被面审人是否为目标被面审人，从而准确识别欺诈行为，提升面审评价结果的准确性。
126.请参阅图2，本发明实施例中面审监控方法的第二个实施例包括：
127.201、当接收到面审监控请求时，调用被面审人终端采集预面审场景图像；
128.202、调用预置的人脸检测模型对该预面审场景图像进行人脸检测，得到第一人脸区域图像；
129.203、对该第一人脸区域图像进行关键点检测，得到第一人脸区域图像中的人脸关键点集合；
130.204、根据该人脸关键点集合，判断第一人脸区域图像中人脸是否完整，若确定该第一人脸区域图像中人脸不完整，则向该被面审人终端发送面审规范提示；
131.205、若确定该第一人脸区域图像中人脸完整，则判断第一人脸区域图像中的被面审人是否为预置的目标被面审人，若确定该第一人脸区域图像中的被面审人为目标被面审人，则向面审人终端发送面审就绪提示以开始面审；
132.其中，步骤201-205与上述步骤101-105的执行步骤类似，具体此处不再赘述。
133.206、基于预置的频率，调用被面审人终端采集第一面审场景图像，调用人脸检测模型对第一面审场景图像进行人脸检测，得到第二人脸区域图像；
134.可以理解的是，在开始面审进入面审问答时，服务器还以一定的频率调度被面审人终端采集当前的面审场景图像，即第一面审场景图像，进而通过人脸检测模型提取该第一面审图像中的人脸图像，得到第二人脸区域图像。需要说明的是，该频率可根据实际需求进行调整，合理的频率不仅能够满足面审场景的监控，而且还能节省服务器能耗。
135.207、对预置神经网络模型执行偏转角度的回归训练，得到头部姿态检测模型；
136.可以理解的是，本实施例中对预置神经网络模型的类型不做具体限定，例如mobile-net、shufflenet、squeezenet等网络，该预置神经网络模型中包括姿态特征提取网络、偏转角分类网络以及偏转角回归网络，服务器首先调用该姿态特征提取网络，从预置人脸姿态训练图像集中的目标训练图像中提取目标人脸姿态特征；其次调用该偏转角分类网络，根据目标人脸姿态特征和预置的偏转区间概率矩阵，计算目标人脸姿态特征对应的多分类偏转区间概率分布；从该多分类偏转区间概率分布中选取概率值最大的偏转区间为目标人脸姿态特征对应的目标偏转区间，并获取目标偏转区间对应的回归函数；
137.然后调用偏转角回归网络，根据目标人脸姿态特征和回归函数进行偏转角的回归计算，得到目标训练图像在至少一个预置方向上的偏转角度；
138.最后基于预置的损失函数和所述目标训练图像预置的偏转角度标注信息，计算目标训练图像在上述预置方向上的偏转角度所对应的损失值，并根据该损失值调整预置神经网络模型的网络参数，直至模型收敛，保存当前的网络参数，得到头部姿态检测模型。具体的，可采用随机梯度下降算法来对模型的网络参数进行调整，从而提升模型拟合的速度，本实施例对其不做限定。
139.208、调用头部姿态检测模型对第二人脸区域图像进行姿态检测，得到目标被面审人的头部在至少一个预置方向上的偏转角度；
140.可以理解的是，服务器将第二人脸区域图像直接输入至训练好的头部姿态检测模型中，在该模型的输出层中直接输出目标被面审人的头部在预置方向上的偏转角度，可选的，服务器在将第二人脸区域图像输入该头部姿态检测模型之前，还可以对该第二人脸区域图像进行图像预处理，从而提升模型计算速度。
141.优选的，在头部姿态检测中包括三个预置的方向，分为pitch，roll，yaw，如图7所示，pitch是指绕着x轴旋转的角度，具体到实际就是上下抬头的角度，角度范围为[-99度,99度]；yaw是指绕着y轴旋转的角度，即头部向左或右的偏转角度，角度范围为[-99度,99度]；roll是指绕着z轴旋转的角度，即头部向左转或向右转的角度，角度范围为[-180度,180度]。
[0142]
209、将至少一个预置方向上的偏转角度分别与预置的标准偏转区间进行比较，若任意一个方向上的偏转角度不在该标准偏转区间内，则确定目标被面审人行为异常，并向面审人终端发送异常提示。
[0143]
可以理解的是，在正常面审时，被面审人的头部在任意一个预置方向上的标准偏转角度应均为0度，即未发生任何偏转，在具体的面审场景中，标准偏转角度实际上并无法达到理想状态，因此对任意预置方向上的标准偏转角度设定了一定了的容错角度，得到对应的标准偏转区间。例如在一实施例中，对每个预置方向上的偏转角度都设定了同一容错角度，例如10度，则标准偏转区间为[-10度,10度]，当所得的偏转角度不在该区间内，则确定目标被面审人行为异常，可能在与第三人进行交互。
[0144]
本发明实施例中，详细描述了在面审开始以后进行被面审人头部的偏转检测过程，通过经过训练后的头部姿态检测模型检测被面审人头部在至少一个方向的偏转角度，进而将其与合理的标准偏转区间进行比较，从而准确地判断当前被面审人是否行为异常。
[0145]
请参阅图3，本发明实施例中面审监控方法的第三个实施例包括：
[0146]
301、当接收到面审监控请求时，调用被面审人终端采集预面审场景图像；
[0147]
302、调用预置的人脸检测模型对该预面审场景图像进行人脸检测，得到第一人脸区域图像；
[0148]
303、对该第一人脸区域图像进行关键点检测，得到第一人脸区域图像中的人脸关键点集合；
[0149]
304、根据该人脸关键点集合，判断第一人脸区域图像中人脸是否完整，若确定该第一人脸区域图像中人脸不完整，则向该被面审人终端发送面审规范提示；
[0150]
305、若确定该第一人脸区域图像中人脸完整，则判断第一人脸区域图像中的被面审人是否为预置的目标被面审人，若确定该第一人脸区域图像中的被面审人为目标被面审人，则向面审人终端发送面审就绪提示以开始面审；
[0151]
其中，步骤301-305与上述步骤101-105的执行步骤类似，具体此处不再赘述。
[0152]
306、基于预置的频率，调用被面审人终端采集第二面审场景图像，对该第二面审场景图像进行人脸检测以确定第二面审场景图像中是否包含人脸；
[0153]
可以理解的是，该预置的频率可根据实际需求进行调整，本实施例对其不做限定。本实施例中对具体的人脸检测方式也不做具体限定，例如可以通过人脸检测模型进行检测。
[0154]
307、若确定该第二面审场景图像中不包含人脸，则确定当前面审场景异常，并向面审人终端发送异常提示；
[0155]
可以理解的是，当确定第二面审场景图像中不包含人脸时，则确定当前面审场景中无人物，此时应通过面审人所在终端提示面审人。
[0156]
308、若确定该第二面审场景图像中包含人脸，则提取该第二面审场景图像中的目标人脸参数；
[0157]
可以理解的是，服务器可通过关键点检测算法提取目标人脸参数，目标人脸参数为人物的人脸特征，例如瞳距、鼻宽等，本实施例对其不做具体限定。
[0158]
309、从预置的数据库中获取所述目标被面审人的预置人脸参数，并将目标人脸参数与预置人脸参数进行匹配，若匹配失败，则确定被面审人发生替换，并向面审人终端发送替换提示。
[0159]
可以理解的是，服务器通常在数据库中预先录入的被面审人信息，其中包含被面审人的预置人脸参数，目标人脸参数即待检测的人脸参数，服务器将两者进行比对，若两者一致，则确定当前面审场景中被面审人为目标被面审人，否则确定其发生了人物的替换。
[0160]
可选的，服务器在确定被面审人未发生替换后，还通过关键点检测算法检测目标被面审人的嘴部是否在屏幕内，当其嘴部未在屏幕内，则确定存在面审替答的风险。
[0161]
本发明实施例中，详细描述了在面审开始以后检测面审场景内是否无人或发生被面审人替换的过程，通过人脸检测以确定面审场景中是否有人，通过提取人脸参数，将其与记录的预置人脸参数比较以准确识别被面审人是否发生替换，从而提升识别面审欺诈行为的准确性。
[0162]
上面对本发明实施例中面审监控方法进行了描述，下面对本发明实施例中面审监控装置进行描述，请参阅图4，本发明实施例中面审监控装置一个实施例包括：
[0163]
图像采集模块401，用于当接收到面审监控请求时，调用被面审人终端采集预面审场景图像；
[0164]
人脸检测模块402，用于调用预置的人脸检测模型对所述预面审场景图像进行人脸检测，得到第一人脸区域图像；
[0165]
关键点检测模块403，用于对所述第一人脸区域图像进行关键点检测，得到所述第一人脸区域图像中的人脸关键点集合；
[0166]
场景校正模块404，用于根据所述人脸关键点集合，判断所述第一人脸区域图像中人脸是否完整；若确定所述第一人脸区域图像中人脸不完整，则向所述被面审人终端发送面审规范提示；
[0167]
身份审核模块405，用于若确定所述第一人脸区域图像中人脸完整，则判断所述第一人脸区域图像中的被面审人是否为预置的目标被面审人；
[0168]
面审启动模块406，用于若确定所述第一人脸区域图像中的被面审人为所述目标被面审人，则向面审人终端发送面审就绪提示以开始面审。
[0169]
本发明实施例中，通过确定面审场景图像中的人脸是否完整以确定被面审人是否与第三人交互，以及判断当前被面审人是否为目标被面审人，从而准确识别欺诈行为，提升面审评价结果的准确性。
[0170]
请参阅图5，本发明实施例中面审监控装置的另一个实施例包括：
[0171]
图像采集模块401，用于当接收到面审监控请求时，调用被面审人终端采集预面审场景图像；
[0172]
人脸检测模块402，用于调用预置的人脸检测模型对所述预面审场景图像进行人脸检测，得到第一人脸区域图像；
[0173]
关键点检测模块403，用于对所述第一人脸区域图像进行关键点检测，得到所述第一人脸区域图像中的人脸关键点集合；
[0174]
场景校正模块404，用于根据所述人脸关键点集合，判断所述第一人脸区域图像中人脸是否完整；若确定所述第一人脸区域图像中人脸不完整，则向所述被面审人终端发送面审规范提示；
[0175]
身份审核模块405，用于若确定所述第一人脸区域图像中人脸完整，则判断所述第一人脸区域图像中的被面审人是否为预置的目标被面审人；
[0176]
面审启动模块406，用于若确定所述第一人脸区域图像中的被面审人为所述目标被面审人，则向面审人终端发送面审就绪提示以开始面审。
[0177]
偏转检测模块407，用于基于预置的频率，调用被面审人终端采集第一面审场景图像；调用所述人脸检测模型对所述第一面审场景图像进行人脸检测，得到第二人脸区域图像；对预置神经网络模型执行偏转角度的回归训练，得到头部姿态检测模型；调用所述头部姿态检测模型对所述第二人脸区域图像进行姿态检测，得到所述目标被面审人的头部在至少一个预置方向上的偏转角度；将所述至少一个预置方向上的偏转角度分别与预置的标准偏转区间进行比较，若任意一个方向上的偏转角度不在所述标准偏转区间内，则确定所述目标被面审人行为异常，并向所述面审人终端发送异常提示。
[0178]
人脸复检模块408，用于基于预置的频率，调用被面审人终端采集第二面审场景图像，对所述第二面审场景图像进行人脸检测以确定所述第二面审场景图像中是否包含人脸，若确定所述第二面审场景图像中不包含人脸，则确定当前面审场景异常，并向所述面审人终端发送异常提示，若确定所述第二面审场景图像中包含人脸，则提取所述第二面审场景图像中的目标人脸参数从预置的数据库中获取所述目标被面审人的预置人脸参数，并将所述目标人脸参数与所述预置人脸参数进行匹配，若匹配失败，则确定被面审人发生替换，并向所述面审人终端发送替换提示。
[0179]
其中，所述人脸检测模块402具体包括：
[0180]
输入单元4021，用于将所述预面审场景图像输入至所述人脸检测模型中，其中，所述人脸检测模型中包括人脸特征提取网络、人脸特征识别网络以及人脸特征筛选网络；
[0181]
特征提取单元4022，用于调用所述人脸特征提取网络，从所述预面审场景图像中提取至少一个特征尺寸的人脸特征；
[0182]
识别单元4023，用于调用所述人脸特征识别网络，根据每个特征尺寸对应预置数
量的先验框，在每个特征尺寸的人脸特征中识别备选人脸区域；
[0183]
筛选单元4024，用于调用所述人脸特征筛选网络，对各所述备选人脸区域进行筛选以得到第一人脸区域图像。
[0184]
其中，所述关键点检测模块403具体包括：
[0185]
模型构建单元4031，用于对预置的初始网络模型执行关键点检测训练任务，得到人脸关键点检测模型；
[0186]
检测单元4032，用于对所述第一人脸区域图像进行图像预处理，并将预处理后的第一人脸区域图像输入至所述人脸关键点检测模型进行检测，得到所述第一人脸区域图像中的人脸关键点集合，其中，所述人脸关键点集合中包括各人脸关键点的位置坐标信息。
[0187]
其中，所述模型构建单元4031具体用于：
[0188]
获取预置的人脸图像样本以及所述人脸图像样本对应的样本标签，其中，所述样本标签中包括所述人脸图像样本中的人脸关键点位置数据；
[0189]
对所述人脸关键点位置数据进行先验计算，得到所述人脸图像样本的结构先验特征；
[0190]
调用所述初始网络模型提取所述人脸图像样本的自注意力特征，并基于所述自注意力特征进行图像识别，得到所述人脸图像样本中的人脸关键点检测数据；
[0191]
基于预置的第一损失函数，计算所述自注意力特征与所述结构先验特征之间的第一损失值，以及基于预置的第二损失函数，计算所述人脸关键点检测数据与所述人脸关键点位置数据之间的第二损失值；
[0192]
按照预置的加权算法对所述第一损失值和所述第二损失值进行加权求和计算，得到所述初始网络模型当前的全局损失值；
[0193]
根据所述全局损失值，调整所述初始网络模型的网络参数，得到人脸关键点检测模型。
[0194]
本发明实施例中，模块化的设计让临床路径的构建装置各部位的硬件专注于某一功能的实现，最大化实现了硬件的性能，同时模块化的设计也降低了装置的模块之间的耦合性，更加方便维护。
[0195]
上面图4和图5从模块化功能实体的角度对本发明实施例中的面审监控装置进行详细描述，下面从硬件处理的角度对本发明实施例中面审监控设备进行详细描述。
[0196]
图6是本发明实施例提供的一种面审监控设备的结构示意图，该面审监控设备600可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)610(例如，一个或一个以上处理器)和存储器620，一个或一个以上存储应用程序633或数据632的存储介质630(例如一个或一个以上海量存储设备)。其中，存储器620和存储介质630可以是短暂存储或持久存储。存储在存储介质630的程序可以包括一个或一个以上模块(图示没标出)，每个模块可以包括对面审监控设备600中的一系列指令操作。更进一步地，处理器610可以设置为与存储介质630通信，在面审监控设备600上执行存储介质630中的一系列指令操作。
[0197]
面审监控设备600还可以包括一个或一个以上电源640，一个或一个以上有线或无线网络接口650，一个或一个以上输入输出接口660，和/或，一个或一个以上操作系统631，例如windows serve，mac os x，unix，linux，freebsd等等。本领域技术人员可以理解，图6
示出的面审监控设备结构并不构成对面审监控设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0198]
本发明还提供一种面审监控设备，所述计算机设备包括存储器和处理器，存储器中存储有计算机可读指令，计算机可读指令被处理器执行时，使得处理器执行上述各实施例中的所述面审监控方法的各个步骤。
[0199]
本发明还提供一种计算机可读存储介质，该计算机可读存储介质可以为非易失性计算机可读存储介质，该计算机可读存储介质也可以为易失性计算机可读存储介质，所述计算机可读存储介质中存储有指令，当所述指令在计算机上运行时，使得计算机执行所述面审监控方法的各个步骤。
[0200]
所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0201]
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。
[0202]
本技术可用于众多通用或专用的计算机系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络pc、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本技术可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本技术，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。
[0203]
以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。