采集人脸图像的方法、装置及电子设备与流程

[0001]
本发明涉及金融科技(fintech)人脸识别技术领域，尤其涉及一种采集人脸图像的方法、装置及电子设备。


背景技术：

[0002]
相关技术中，在涉及金融业务的账户资金安全或信息安全等应用场景下，利用人脸识别技术，通过计算当前采集的人脸图像与预存的人脸图像之间的相似度，对用户的身份进行验证。但是，在当前采集的人脸图像的图像质量较差的情况下，会导致合法用户身份验证失败。


技术实现要素：

[0003]
有鉴于此，本发明实施例期望提供一种采集人脸图像的方法、装置及电子设备，以解决相关技术中因图像质量较差导致合法用户身份验证失败的技术问题。
[0004]
为达到上述目的，本发明的技术方案是这样实现的：
[0005]
本发明实施例提供一种采集人脸图像的方法，应用于电子设备，所述方法包括：
[0006]
基于所述电子设备采集的至少一帧预览图像中每帧预览图像的人脸特征点，确定出所述至少一帧预览图像对应的人脸姿态；
[0007]
确定出所述电子设备在采集预览图像时的第一状态；所述第一状态表征电子设备的平稳度；
[0008]
在所述至少一帧预览图像对应的人脸姿态满足第一设定条件，且确定出的第一状态表征的所述电子设备的平稳度满足第二设定条件的情况下，基于所述至少一帧预览图像输出第一照片；所述第一照片用于供服务器进行身份验证。
[0009]
上述方案中，所述确定出所述电子设备在采集预览图像时的第一状态，包括：
[0010]
在所述至少一帧预览图像对应的人脸姿态满足所述第一设定条件的情况下，确定出所述电子设备在采集所述至少一帧预览图像时的第一状态。
[0011]
上述方案中，所述确定出所述电子设备在采集所述至少一帧预览图像时的第一状态，包括：
[0012]
将第一数据转换成符合四元数格式的第二数据；所述第一数据表征在所述电子设备采集所述至少一帧预览图像时采集到的所述电子设备的运动状态数据；
[0013]
基于t-1时刻的运动状态数据的理论估计值，预测t时刻的运动状态数据的先验估计值；其中，t为正整数；所述最佳估计值以及所述先验估计值均为符合四元数格式的数据；
[0014]
基于t时刻对应的第二数据以及t时刻的所述先验估计值，确定出t时刻对应的第三数据；
[0015]
将t时刻对应的第三数据输入至设定模型，得到所述电子设备在t时刻采集预览图像时的第一状态；其中，
[0016]
所述设定模型用于根据输入的数据确定出对应的第一状态。
[0017]
上述方案中，在所述将第一数据转换成符合四元数格式的第二数据时，所述方法还包括：
[0018]
删除第一时段对应的第一数据；所述第一时段的起始时刻对应所述电子设备采集所述至少一帧预览图像的起始时刻。
[0019]
上述方案中，所述基于t时刻对应的第二数据以及t时刻的所述先验估计值，确定出t时刻对应的第三数据时，所述方法还包括：
[0020]
基于至少一个置信度，对第一系数进行替换；所述至少一个置信度中的每个置信度对应一类运动状态数据；所述第一系数表征卡尔曼滤波算法的相关计算参数。
[0021]
上述方案中，所述基于至少一个置信度，对第一系数进行替换，包括：
[0022]
将所述第一系数中的第二系数替换为零；所述第二系数表征t时刻的所述先验估计值的协方差矩阵；
[0023]
基于至少一个置信度，对所述第一系数中的滤波系数进行替换。
[0024]
上述方案中，所述基于至少一个置信度，对所述第一系数中的滤波系数进行替换时，所述方法还包括：
[0025]
在所述第一数据包括加速度数据和角速度数据的情况下，基于加速度数据的置信度和角速度数据的置信度，确定出新的滤波系数；所述新的滤波系数用于替换所述第一系数中的滤波系数。
[0026]
上述方案中，所述人脸姿态包括以下至少之一：
[0027]
人脸姿态角度；
[0028]
人脸图像是否被遮挡；
[0029]
用户是否闭眼；其中，
[0030]
在所述人脸姿态包括人脸姿态角度的情况下，所述第一设定条件包括人脸姿态角度处于设定的角度范围；
[0031]
在所述人脸姿态包括人脸图像是否被遮挡的情况下，所述第一设定条件包括人脸图像未被遮挡；
[0032]
在所述人脸姿态包括用户是否闭眼的情况下，所述第一设定条件包括用户未闭眼。
[0033]
上述方案中，所述基于所述至少一帧预览图像输出第一照片，包括：
[0034]
从所述至少一帧预览图像中选取出第一预览图像，将所述第一预览图像输出为第一照片；其中，
[0035]
所述第一预览图像满足以下至少之一：
[0036]
人脸图像的占画比处于设定范围；所述占画比表征设定的人脸框中的人脸图像的面积与所述设定的人脸框的面积之间的比值；
[0037]
人脸图像中第一区域与第二区域的间距小于设定阈值；所述第一区域表征上嘴唇所在区域；所述第二区域表征下嘴唇所在区域。
[0038]
上述方案中，所述方法还包括以下至少之一：
[0039]
在确定出的人脸姿态不满足所述第一设定条件的情况下，输出第一提示信息；
[0040]
在确定出的第一状态表征所述电子设备当前的平稳度不满足所述第二设定条件的情况下，输出第二提示信息；其中，
[0041]
所述第一提示信息用于提示用户调整人脸姿态；
[0042]
所述第二提示信息用于提示用户持稳所述电子设备。
[0043]
本发明实施例还提供了一种采集人脸图像的装置，包括：
[0044]
第一确定单元，用于基于所述电子设备采集的至少一帧预览图像中每帧预览图像的人脸特征点，确定出所述至少一帧预览图像对应的人脸姿态；
[0045]
第二确定单元，用于确定出所述电子设备在采集预览图像时的第一状态；所述第一状态表征电子设备的平稳度；
[0046]
输出单元，用于在所述至少一帧预览图像对应的人脸姿态满足第一设定条件，且确定出的第一状态表征的所述电子设备的平稳度满足第二设定条件的情况下，基于所述至少一帧预览图像输出第一照片；所述第一照片用于供服务器进行身份验证。
[0047]
本发明实施例还提供了一种电子设备，包括：处理器和用于存储能够在处理器上运行的计算机程序的存储器，
[0048]
其中，所述处理器用于运行所述计算机程序时，执行上述任一种采集人脸图像的方法的步骤。
[0049]
本发明实施例还提供了一种存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种采集人脸图像的方法的步骤。
[0050]
本发明实施例，电子设备基于电子设备采集的至少一帧预览图像中每帧预览图像的人脸特征点，确定出至少一帧预览图像对应的人脸姿态；确定出电子设备在采集预览图像时的第一状态；在至少一帧预览图像对应的人脸姿态满足第一设定条件，并且确定出的第一状态表征电子设备的平稳度满足第二设定条件的情况下，基于至少一帧预览图像输出第一照片。预览图像对应的人脸姿态满足第一设定要求，由此输出的第一照片符合人脸识别图像的采集要求，可以避免因人脸姿态不正而导致输出的第一照片中人脸特征点采集不完全的情况发生。在采集预览图像时电子设备的平稳度满足第二设定条件，因此可以采集到的清晰的人脸图像，避免因电子设备在采集预览图像时抖动而导致输出的照片中人脸图像模糊以及人脸特征点缺失的情况发生。由于电子设备输出的第一照片中的人脸图像清晰且包含用于人脸识别的所有人脸特征点，因此，服务器基于该第一照片进行身份验证时，可以提高合法用户身份验证的成功率。
附图说明
[0051]
图1为本发明实施例提供的一种采集人脸图像的方法的实现流程示意图；
[0052]
图2为本发明实施例提供的一种采集人脸图像的方法中确定第一状态的实现流程示意图；
[0053]
图3为本发明另一实施例提供的一种采集人脸图像的方法的实现流程示意图；
[0054]
图4为本发明应用实施例提供的一种采集人脸图像的方法的实现流程示意图；
[0055]
图5为本发明实施例提供的采集人脸图像的装置的结构示意图；
[0056]
图6为本发明实施例提供的电子设备的硬件组成结构示意图。
具体实施方式
[0057]
相关技术中，电子设备采集人脸图像，并将采集到的人脸图像向服务器发送，服务
器利用人脸识别技术，通过计算接收到的人脸图像与预存的人脸图像之间的相似度，进行身份验证。
[0058]
在光线较暗的情况下，电子设备可能因当前环境的光线问题而导致采集到的人脸图像的图像质量较差。
[0059]
在电子设备采集到的人脸图像的图像质量较差的情况下，例如，图像较模糊、图像的光线较暗等，服务器计算出的相似度小于设定阈值，从而导致合法用户身份验证失败。即使服务器通过对该人脸图像进行预处理，得到清晰的人脸图像。然而在用于人脸识别的人脸特征点不完整的情况下，仍然会导致合法用户身份验证失败。
[0060]
为了解决上述技术问题，本发明实施例提供了一种采集人脸图像的方法，电子设备在采集到的预览图像对应的人脸姿态满足第一设定条件，并且电子设备在采集预览图像时的第一状态表征电子设备的平稳度满足第二设定条件的情况下，基于预览图像输出第一照片。预览图像对应的人脸姿态满足第一设定要求，由此可以避免因人脸姿态不正而导致输出的第一照片中人脸特征点采集不完全的情况发生。在采集预览图像时电子设备的平稳度满足第二设定条件，因此可以采集到的清晰的人脸图像，避免因电子设备在采集预览图像时抖动而导致输出的照片中人脸图像模糊以及人脸图像缺失的情况发生。由于电子设备输出的第一照片中的人脸图像清晰且包含用于人脸识别的所有人脸特征点，因此，服务器基于该第一照片进行身份验证时，可以提高合法用户身份验证的成功率。
[0061]
以下结合说明书附图及具体实施例对本发明的技术方案做进一步的详细阐述。
[0062]
图1示出了本发明实施例提供的一种采集人脸图像的方法的实现流程示意图。在本发明实施例中，采集人脸图像的方法的执行主体为电子设备，例如，手机、平板电脑等终端。
[0063]
参照图1，本申请实施例提供的采集人脸图像的方法包括：
[0064]
s101：基于所述电子设备采集的至少一帧预览图像中每帧预览图像的人脸特征点，确定出所述至少一帧预览图像对应的人脸姿态。
[0065]
电子设备启动图像采集模式的情况下，可以通过内置的摄像头或外接的摄像头采集至少一帧预览图像。电子设备利用人脸识别技术，确定出预览图像中的人脸特征点，并基于确定出的人脸特征点，确定出对应的预览图像对应的人脸姿态。其中，人脸特征点表征五官在预览图像中的人脸图像上的位置。人脸特征点包括人脸轮廓、眉毛、瞳孔、眼角、嘴巴、鼻子等位置对应的点。
[0066]
在实际应用中，电子设备也可以将至少一帧预览图像输入至用于识别人脸姿态的设定模型，得到该设定模型输出的人脸姿态。该设定模型用于基于输入的图像中的人脸特征点确定出对应的人脸姿态。
[0067]
电子设备在确定出预览图像对应的人脸姿态的情况下，判断该人脸姿态是否满足第一设定条件。第一设定条件基于用于人脸识别的图像采集要求进行设置。其中，人脸姿态不满足第一设定条件时，继续采集预览图像。
[0068]
在一实施例中，所述人脸姿态包括以下至少之一：
[0069]
人脸姿态角度；
[0070]
人脸图像是否被遮挡；
[0071]
用户是否闭眼。
[0072]
在人脸姿态包括人脸姿态角度的情况下，第一设定条件包括人脸姿态角度处于设定的角度范围；
[0073]
在人脸姿态包括人脸图像是否被遮挡的情况下，第一设定条件包括人脸图像未被遮挡；
[0074]
在人脸姿态表征用户是否闭眼的情况下，第一设定条件包括用户未闭眼。
[0075]
这里，人脸姿态角度处于设定的角度范围时，表征采集到的预览图像为正脸图像。人脸姿态角度包括俯仰角(pitch)、偏航角(yaw)和翻滚角(roll)。其中，俯仰角表征围绕x轴旋转的角度；偏航角表征围绕y轴旋转的角度；翻滚角表征围绕z轴旋转的角度。示例性地，俯仰角和偏航角对应的设定的角度范围均为-15
°
至15
°
；翻滚角对应的设定的角度范围为-10
°
至10
°
。
[0076]
电子设备基于人脸识别算法识别出的人脸特征点的数量小于设定数量时，表征人脸特征点缺失，人脸图像被遮挡。设定数量表征人脸识别算法对应的人脸特征点的数量，例如68。电子设备也可以比对至少两帧相邻的预览图像的人脸特征点，确定出人脸特征点是否缺失，从而确定出人脸图像是否被遮挡。
[0077]
电子设备可以基于人脸识别算法检测瞳孔所在的位置，以及检测上眼睑和下眼睑所在位置，并基于检测上眼睑和下眼睑所在位置，确定出上眼睑和下眼睑之间的第一间距。在未检测到瞳孔的情况下，确定为用户闭眼；在检测到瞳孔的情况下，确定为用户未闭眼。或者，在第一间距小于设定间距的情况下，确定为用户闭眼；在检测到瞳孔，且第一间距大于或等于设定间距的情况下，确定为用户未闭眼。
[0078]
s102：确定出所述电子设备在采集预览图像时的第一状态；所述第一状态表征电子设备的平稳度。
[0079]
电子设备在采集预览图像时，获取电子设备的运动状态数据，基于电子设备的运动状态数据确定出电子设备在采集预览图像时的第一状态。
[0080]
这里，电子设备的运动状态数据由内置的传感器采集到，传感器包括以下至少之一：角速度传感器、加速度传感器。
[0081]
在实际应用中，电子设备中可以预先存储电子设备的平稳度满足第二设定条件时的运动状态数据。在电子设备采集预览图像时采集到的运动状态数据与预先存储的运动状态数据不匹配时，确定为第一状态表征的电子设备的平稳度不满足第二设定条件。在电子设备采集预览图像时采集到的运动状态数据与预先存储的运动状态数据匹配时，确定为第一状态表征的电子设备的平稳度满足第二设定条件。第二设定条件表征电子设备能够采集到清晰的图像时的平稳度。
[0082]
在实际应用中，电子设备也可以通过训练完成的模型确定电子设备在采集预览图像时的第一状态。该模型用于基于电子设备的运动状态数据确定出对应的第一状态。
[0083]
在第一状态表征电子设备的平稳度不满足第二设定条件的情况下，继续采集预览图像。
[0084]
s103：在所述至少一帧预览图像对应的人脸姿态满足第一设定条件，且确定出的第一状态表征的所述电子设备的平稳度满足第二设定条件的情况下，基于所述至少一帧预览图像输出第一照片；所述第一照片用于供服务器进行身份验证。
[0085]
在至少一帧预览图像对应的人脸姿态满足第一设定条件，且确定出的第一状态表
征的电子设备的平稳度满足第二设定条件的情况下，表征电子设备可以采集到清晰且完整的正脸图像，此时，采集至少一帧预览图像，并基于采集到的至少一帧预览图像输出第一照片。电子设备可以将第一照片向服务器发送，以便服务器基于第一照片进行身份验证。
[0086]
需要说明的是，电子设备可以在输出第一照片的情况下，结束本次流程，提示用户人脸图像采集成功；也可以在设定时长内未输出第一照片的情况下，结束本次流程，提示用户人脸图像采集失败。
[0087]
在一实施例中，所述基于所述至少一帧预览图像输出第一照片，包括：
[0088]
从所述至少一帧预览图像中选取出第一预览图像，将所述第一预览图像输出为第一照片；其中，
[0089]
所述第一预览图像满足以下至少之一：
[0090]
人脸图像的占画比处于设定范围；所述占画比表征设定的人脸框中的人脸图像的面积与所述设定的人脸框的面积之间的比值；这里，设定范围表征比值；
[0091]
人脸图像中第一区域与第二区域的间距小于设定阈值；所述第一区域表征上嘴唇所在区域；所述第二区域表征下嘴唇所在区域。
[0092]
这里，电子设备在至少一帧预览图像对应的人脸姿态满足第一设定条件，且确定出的第一状态表征的电子设备的平稳度满足第二设定条件的情况下，采集至少一帧预览图像，从采集到的预览图像中选出第一预览图像，将第一预览图像输出为第一照片。在第一预览图像中的人脸图像的占画比处于设定的比例范围的情况下，即使基于第一预览图像中处于设定的人脸框中的图像输出第一照片，也可以得到清晰的正脸图像。第一预览图像满足人脸图像中第一区域与第二区域的间距小于设定阈值，由此，可以避免因用户张开嘴巴而导致合法用户身份验证失败的情况发生。
[0093]
其中，电子设备可以确定出预览界面中显示的设定的人脸框的第一面积，以及确定出显示于设定的人脸框中的人脸图像的第二面积，基于第一面积和第二面积，计算出预览图像中人脸图像的占画比，并确定预览图像中人脸图像的占画比是否处于设定范围。在实际应用中，设定的人脸框可以基于人的头部的形状进行设置。该设定范围是在正脸图像显示于设定的人脸框之内的情况下，基于人脸图像的占画比进行设置。人脸图像的占画比表征人脸与电子设备的显示屏之间的距离。在第一预览图像中的人脸图像的占画比未处于设定范围的情况下，电子设备可以输出提示信息提示用户调整人脸与电子设备的显示屏之间的距离。
[0094]
电子设备可以基于人脸识别技术确定出采集到的预览图像中的第一区域和第二区域，并确定出第一区域与第二区域之间的间距。在第一区域与第二区域的间距大于或等于设定阈值时，可以提示用户勿张嘴。
[0095]
本发明实施例提供的方案中，电子设备基于电子设备采集的至少一帧预览图像中每帧预览图像的人脸特征点，确定出至少一帧预览图像对应的人脸姿态；确定出电子设备在采集预览图像时的第一状态；在至少一帧预览图像对应的人脸姿态满足第一设定条件，并且确定出的第一状态表征电子设备的平稳度满足第二设定条件的情况下，基于至少一帧预览图像输出第一照片。预览图像对应的人脸姿态满足第一设定要求，由此输出的第一照片符合人脸识别图像的采集要求，可以避免因人脸姿态不正而导致输出的第一照片中人脸特征点采集不完全的情况发生。由于在采集预览图像时电子设备的平稳度满足第二设定条
件，因此可以采集到清晰的人脸图像，避免因电子设备在采集预览图像时抖动而导致输出的照片中人脸图像模糊以及人脸图像缺失的情况发生。由于电子设备输出的第一照片中的人脸图像清晰且包含用于人脸识别的所有人脸特征点，因此，服务器基于该第一照片进行身份验证时，可以提高合法用户身份验证的成功率。
[0096]
作为本发明的另一实施例，所述确定出所述电子设备在采集预览图像时的第一状态，包括：
[0097]
在所述至少一帧预览图像对应的人脸姿态满足所述第一设定条件的情况下，确定出所述电子设备在采集所述至少一帧预览图像时的第一状态。
[0098]
这里，电子设备在执行s101，确定出至少一帧预览图像对应的人脸姿态不满足第一设定条件的情况下，返回s101或结束本次流程。
[0099]
电子设备在至少一帧预览图像对应的人脸姿态满足第一设定条件的情况下，确定出所述电子设备在采集所述至少一帧预览图像时的第一状态，可以节省电子设备的功耗。其中，确定出所述电子设备在采集所述至少一帧预览图像时的第一状态的实现方法请参照s102中的相关描述，此处不赘述。
[0100]
在本实施例中，在至少一帧预览图像对应的人脸姿态不满足第一设定条件的情况下，不满足输出第一照片的条件，此时，不执行确定出电子设备在采集至少一帧预览图像时的第一状态这一步骤，可以节省因确定第一状态而消耗的资源，可以提高数据处理速度和节省功耗。
[0101]
作为本发明的另一实施例，图2示出了本发明实施例提供的一种采集人脸图像的方法中确定第一状态的实现流程示意图。参照图2，所述确定出所述电子设备在采集所述至少一帧预览图像时的第一状态，包括：
[0102]
s201：将第一数据转换成符合四元数格式的第二数据；所述第一数据表征在所述电子设备采集所述至少一帧预览图像时采集到的所述电子设备的运动状态数据。
[0103]
这里，四元数是一种高阶复数，表示为q＝(x,y,z,w)＝ix+jy+kz+w。其中，i、j、k均为虚数单位。
[0104]
由于i、j、k和三维旋转相似，因此，可以使用一个向量和一个实数组合的形式表示四元数，此时，其中，为向量，w为实数。向量可以视作实部为0的四元数，而实数可以视作虚部为0的四元数，那么，四元数可以表征空间中的一个点以单位向量(x,y,z)为轴旋转θ角度的旋转操作。
[0105]
在实际应用中，由于电子设备可以抽象为三维空间中的一个点，第一数据可以分解为在x轴、y轴和z轴三个方向上的数据，因此，四元数也可以表征电子设备以单位向量(x,y,z)为轴旋转θ角度的旋转操作。电子设备将第一数据转换成符合四元数格式的第二数据。其中，
[0106]
第二数据q＝((x,y,z),w)；
[0107][0108][0109][0110][0111]
在实际应用中，第一数据可以包括以下至少之一：
[0112]
由角速度传感器采集到的角速度数据；
[0113]
由加速度传感器采集到的加速度数据。
[0114]
在一实施例中，为了减少数据干扰，提高数据的准确度，从而提高确定出的第一状态的准确度，在所述将第一数据转换成符合四元数格式的第二数据时，所述方法还包括：
[0115]
删除第一时段对应的第一数据；所述第一时段的起始时刻对应所述电子设备采集所述至少一帧预览图像的起始时刻。
[0116]
这里，电子设备在获取到第一数据的情况下，删除第一时段对应的第一数据，然后将剩余的第一数据转换成符合四元数格式的第二数据。
[0117]
在实际应用中，电子设备可以删除在进入预览模式的100毫秒内获取到的第一数据。电子设备也可以删除在采集设定数量的预览图像的时段内采集到的第一数据，例如，电子设备删除在采集前10帧预览图像对应的时段内采集到的第一数据。
[0118]
s202：基于t-1时刻的运动状态数据的理论估计值，预测t时刻的运动状态数据的先验估计值；其中，t为正整数；所述最佳估计值以及所述先验估计值均为符合四元数格式的数据。
[0119]
由于存在系统噪声和测量噪声等原因，传感器记录的数据和实际数据存在偏差，因此，本实施例中，为了提高数据的准确度，对第二数据进行处理。具体地，基于t时刻的观测值(或称测量值)以及t-1时刻理论估计值(或称最佳估计值)，对t时刻对应真实值进行估计，从而得到对应的最佳估计值。
[0120]
这里，电子设备可以基于t-1时刻的运动状态数据的理论估计值，结合系统噪声和测量噪声等因素，预测出t时刻的运动状态数据的先验估计值。
[0121]
其中，t-1时刻的运动状态数据的理论估计值也称最佳估计值。需要说明的是，初始时刻的运动状态数据的理论估计值为初始时刻的第二数据。运动状态数据包括角速度数据和加速度数据中的至少一项。角速度数据可以采用电子设备中内置的角速度传感器(例如，陀螺仪)采集；加速度数据可以采用电子设备中内置的加速度传感器采集。
[0122]
需要说明的是，t-1时刻的运动状态数据和t时刻对应的第二数据，为相同类型的运动状态数据。例如，当t-1时刻的运动状态数据只包括角速度数据时，t时刻对应的第二数据为角速度数据对应的第二数据。当t-1时刻的运动状态数据只包括角速度数据和加速度数据时，t时刻对应的第二数据包括角速度数据对应的第二数据和加速度数据对应的第二数据。
[0123]
s203：基于t时刻对应的第二数据以及t时刻的所述先验估计值，确定出t时刻对应
的第三数据。
[0124]
这里，t时刻对应的第二数据，对应为t时刻的观测值。电子设备使用t时刻对应的第二数据，更正t时刻的先验估计值，得到t时刻对应的第三数据。其中，t时刻对应的第三数据对应于t时刻的最佳估计值。
[0125]
在本实施例中，电子设备基于t时刻传感器记录的观测值和t-1时刻传感器的最佳估计值，估计t时刻对应的最佳估计值。在实际应用中，传感器记录的测量值包括角速度数据和加速度数据中的至少一项。
[0126]
在一些实施例中，也可以基于卡尔曼滤波算法对第二数据进行处理，得到对应的第三数据。
[0127]
卡尔曼滤波算法是一个递归的预测—校正方法，卡尔曼滤波算法分为两步：
[0128]
预测：根据t-1时刻的最佳估计值来估计t时刻的先验估计值；
[0129]
更新：使用t时刻的观测值来更正t时刻的先验估计值，得到t时刻的后验估计值，也称最佳估计值。
[0130]
这里，预测阶段通过时间更新方程进行预测，更新阶段通过状态更新方程来实现。在s202中，基于时间更新方程以及t-1时刻的运动状态数据的理论估计值，预测t时刻的运动状态数据的先验估计值；在s203中，基于状态更新方程、t时刻对应的第二数据以及t时刻的所述先验估计值，确定出t时刻对应的第三数据(即，最佳估计值)。其中，时间更新方程包括：
[0131][0132]
p
t
＝f
t
p
t-1
f
tt
+q
t
ꢀꢀꢀꢀꢀꢀꢀꢀ
(2)
[0133]
这里，表征t-1时刻的最佳估计值；表征t时刻的先验估计值，即根据t-1时刻的最佳估计值预测得到的t时刻的结果；f
t
表征预测过程对应的预测矩阵或状态转移矩阵；f
tt
表征f
t
的转置；b
t
是控制矩阵；是控制向量，表征已知的潜在影响因素，例如，电子设备处于震动状态为电子设备的平稳度对应的已知的潜在影响因素。p
t
表征的协方差矩阵；p
t-1
表征的协方差矩阵；q
t
表征过程激励噪声协方差，即系统过程的协方差，q
t
被用来表示f
t
与实际过程之间的误差。q
t
的噪声表征影响电子设备的平稳度的外部未知影响因素，例如，突然的撞击、外部风速等。
[0134]
状态更新方程包括：
[0135][0136]
p
t
'＝p
t-k'h
t
p
t
ꢀꢀꢀꢀꢀꢀꢀꢀ
(4)
[0137][0138]
这里，表征t时刻的最佳估计值；k'表征卡尔曼滤波增益，或称卡尔曼滤波系数；表征传感器的运动状态数据的分布平均值；h
t
表征传感器的观测值；p
t
'表征t时刻的后验估计协方差矩阵，即的协方差矩阵，表示状态的不确定度；表征h
t
的转置矩阵；r
t
表征测量噪声协方差矩阵，即传感器的噪声。
[0139]
在实际应用中，电子设备的平稳度与电子设备的加速度和角速度有关，最佳估计值的表达式为：协方差矩阵为
[0140]
其中，σ
gg
表征g和g的相关性，σ
ga
表征g和a的相关性，σ
ag
表征a和g的相关性，σ
aa
表征a和a的相关性。g和a都是随机分布的，均符合高斯分布。
[0141]
下面详细介绍公式(3)至(5)的推导过程：
[0142]
传感器的估计值和观测值均符合高斯分布，可以得到以下表达式：
[0143][0144][0145]
其中，公式(6)对应传感器的估计值，公式(7)对应传感器的预测值。表征传感器的估计值，h
t
表征传感器的观测值，表征h
t
的转置矩阵，μ0表征传感器的估计值对应的高斯分布的均值，σ0表征传感器的估计值对应的高斯分布的协方差。表征传感器的运动状态数据的分布平均值，r
t
表征传感器的噪声，μ1表征传感器的观测值对应的高斯分布的均值，σ1表征传感器的观测值对应的高斯分布的协方差。
[0146]
由于基于预测值和估计值，预测得到的估计值可能是准确的，也可能是不准确的，在此，将预测值对应的矩阵和估计值对应的矩阵相乘，可以得到新的高斯分布，从而基于新的高斯分布确定出最佳估计值。其中，新的高斯分布表征预测值和估计值的重叠区域，是最佳估计值所在的区域。下面介绍基于一维高斯分布曲线方程确定出新的高斯分布的实现过程：
[0147]
期望为μ，方差为σ2的一维高斯分布曲线方程为：
[0148][0149]
将两条高斯分布曲线相乘，可得到：
[0150]
n(x,μ0,σ0)
×
n(x,μ1,σ1)＝n(x,μ',σ')
ꢀꢀꢀꢀꢀꢀꢀ
(9)
[0151]
其中，n(x,μ0,σ0)表征第一高斯曲线，n(x,μ1,σ1)表征第二高斯曲线，n(x,μ',σ')表征新的高斯曲线。基于公式(8)对公式(9)进行扩展，得到：
[0152][0153][0154]
这里，令可以得到：
[0155]
σ'2＝σ
02-kσ
02
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(12)
[0156]
μ'＝μ0+k(σ
1-σ0)
ꢀꢀꢀꢀꢀꢀꢀ
(13)
[0157]
这里将k、公式(12)和(13)从一维空间扩展到多位空间，得到新的高斯分布描述以下：
[0158]
k＝σ0(σ0+σ1)-1
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)
[0159][0160]
σ'＝σ
0-kσ0ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(16)
[0161]
将公式(6)和公式(7)分别代入公式(14)至(16)，得到：
[0162][0163][0164][0165]
其中，k为卡尔曼增益，或称卡尔曼系数。考虑到k的表达式中还包含h
t
，通过约去h
t
对上述表达式进行简化的得到公式(3)至(5)。
[0166]
在一实施例中，所述基于t时刻对应的第二数据以及t时刻的所述先验估计值，确定出t时刻对应的第三数据时，所述方法还包括：
[0167]
基于至少一个置信度，对第一系数进行替换；所述至少一个置信度中的每个置信度对应一类运动状态数据；所述第一系数表征卡尔曼滤波算法的相关计算参数。
[0168]
这里，卡尔曼增益k'会随着传感器的噪声r
t
的改变而改变，利用卡尔曼滤波算法对第二数据进行处理，可以得到对应的最佳估计值；但在实际应用中，考虑到电子设备的计算能力、算法效率等因素，对应的结果处于允许的误差范围即可。因此，本实施例中，基于至少一个置信度，确定出固定的权重，并采用该固定的权重替换卡尔曼增益k'，以获得在误差范围内的估计值。
[0169]
至少一个置信度包括以下至少一项：
[0170]
加速度数据的置信度；
[0171]
角速度数据的置信度。
[0172]
在一实施例中，电子设备基于至少一个置信度，对第一系数进行替换，从而对上述公式(2)至(5)进行简化，得到公式(20)。其中，所述基于至少一个置信度，对第一系数进行替换，包括：
[0173]
将所述第一系数中的第二系数替换为零；所述第二系数表征t时刻的所述先验估计值的协方差矩阵；
[0174]
基于至少一个置信度，对所述第一系数中的滤波系数进行替换。
[0175]
这里，第一系数中的第二系数对应于上述公式(2)、(4)和(5)中的p
t
，将t时刻的先验估计值的协方差矩阵替换为零，也就是说，将上述公式(2)、(4)和(5)中p
t
置零，这样使得上述公式(2)、公式(4)和公式(5)均为零。
[0176]
第一系数中的滤波系数为卡尔曼滤波系数，也称卡尔曼增益k'。电子设备基于至
少一个置信度，对上述状态更新方程中的公式(3)中的卡尔曼增益k'进行替换，得到对应的新方程(20)。其中，对应的新方程如下：
[0177][0178][0179]
其中，ω'表征置信度。公式(21)和上述公式(1)相同。公式(20)和(21)中不包括p
t
和卡尔曼增益k'。电子设备在获取到传感器在t时刻的观测值和在t-1时刻的最佳估计值的情况下，将t时刻的观测值和t-1时刻的最佳估计值代入公式(20)至(21)即可算出t时刻的最佳估计值。
[0180]
在一实施例中，所述基于至少一个置信度，对所述第一系数中包含的滤波系数进行替换时，还包括：
[0181]
在所述第一数据包括加速度数据和角速度数据的情况下，基于加速度数据的置信度和角速度数据的置信度，确定出新的滤波系数；所述新的滤波系数用于替换所述第一系数中的滤波系数。
[0182]
其中，新的滤波系数ω
a
表征加速度传感器对应的加速度数据的置信度；ω
g
表征角速度传感器对应的角速度数据的置信度。
[0183]
s204：将t时刻对应的第三数据输入至设定模型，得到所述电子设备在t时刻采集预览图像时的第一状态；其中，所述设定模型用于根据输入的数据确定出对应的第一状态。
[0184]
这里，设定模型是基于机器学习算法对至少一个样本数据进行训练得到，至少一个样本数据中每个样本数据均设置有对应的第一状态。在训练设定模型时，将第一样本数据转换成符合四元数格式的第二样本数据；基于s202～s203的处理流程对第二样本数据进行处理，得到第三样本数据，并基于第三样本数据对设定模型进行训练，得到训练完成的设定模型。第一样本数据以及第二样本数据的处理过程请参照s201～s203的相关描述，此处不赘述。
[0185]
电子设备将t时刻对应的第三数据输入至训练完成的设定模型，得到设定模型输出的电子设备在t时刻采集预览图像时的第一状态。设定模型通过分析输入的数据的变化情况，确定出对应的第一状态。
[0186]
设定模型在分析出输入的数据的变动幅度大于设定范围的最大阈值的情况下，输出对应的第一状态表征电子设备剧烈晃动，电子设备的平稳度不满足第二设定条件。这里，设定范围表征数据的浮动范围。
[0187]
设定模型在分析出输入的数据的变动幅度处于设定范围的情况下，输出对应的第一状态表征电子设备的平稳度满足第二设定条件。
[0188]
为了提高确定出的第一状态的准确度，设定模型在分析出输入的数据的变动幅度小于设定范围的最小阈值的情况下，此时电子设备获取电子设备的身份标识，基于获取到的身份标识，判断电子设备是否遭受到模拟器攻击，从而基于判断结果确定输出的第一状态表征的电子设备的平稳度是否满足第二设定条件。其中，在获取到的身份标识和预先存
储的身份标识相同的情况下，表征输入的数据为可信数据，电子设备未遭受到模拟器攻击，输出的第一状态表征的电子设备的平稳度满足第二设定条件。在未获取到身份标识，或者获取到的身份标识和预先存储的身份标识不同的情况下，表征输入的数据为不可信数据，电子设备遭受到了模拟器攻击，输出的第一状态表征的电子设备的平稳度不满足第二设定条件。
[0189]
在实际应用中，电子设备为手机时，身份标识可以为国际移动设备识别码(imei，international mobile equipment identity)。
[0190]
本申请实施例提供的方案中，将第一数据转换成符合四元数格式的第二数据，对第二数据进行滤波处理，得到第三数据；将第三数据输入至设定模型，得到所述电子设备在采集预览图像时的第一状态。由此，四元数格式的第二数据可以方便快捷地表示电子设备执行绕任意过原点的向量的旋转操作，避免发生万向节锁；对第二数据进行滤波处理，可以滤除第二数据中包含的噪声，提高数据的准确度；通过设定模型确定出对应的第一状态，可以提高确定出的第一状态的准确度。
[0191]
作为本发明的另一实施例，图3示出了本发明另一实施例提供的一种采集人脸图像的方法的实现流程示意图。参照图3，在图1对应的实施例的基础上，本实施例提供的采集人脸图像的方法还包括以下至少之一：
[0192]
s104：在确定出的人脸姿态不满足所述第一设定条件的情况下，输出第一提示信息；所述第一提示信息用于提示用户调整人脸姿态。
[0193]
在实际应用中，电子设备可以通过文字、语音、调整用户界面的颜色等方式提示用户。
[0194]
在一实施例中，当人脸姿态包括人脸姿态角度，人脸姿态角度包括俯仰角、偏航角和翻滚角时，所述在确定出的人脸姿态不满足所述第一设定条件的情况下，输出第一提示信息包括以下至少之一；
[0195]
在俯仰角小于第一设定范围的最小阈值的情况下，提醒用户不要抬头；
[0196]
在俯仰角大于第一设定范围的最大阈值的情况下，提醒用户不要低头；
[0197]
在偏航角未处于第二设定范围的情况下，提醒用户不要侧脸；
[0198]
在翻滚角未处于第三设定范围的情况下，提醒用户不要歪头。
[0199]
在实际应用中，第一设定范围和第二设定范围可以是-15
°
至15
°
，第三设定范围可以是-10
°
至10
°
。
[0200]
在一实施例中，当人脸姿态包括人脸图像是否被遮挡时，电子设备在确定出人脸图像被遮挡的情况下，输出的第一提示信息可以为“请勿遮挡脸部”。
[0201]
在一实施例中，当人脸姿态包括用户是否闭眼时，电子设备在确定出用户闭眼的情况下，输出的第一提示信息可以为“请勿闭眼”。
[0202]
s105：在确定出的第一状态表征所述电子设备当前的平稳度不满足所述第二设定条件的情况下，输出第二提示信息；其中，所述第二提示信息用于提示用户持稳所述电子设备。
[0203]
这里，在确定出的第一状态表征电子设备当前的平稳度不满足第二设定条件的情况下，电子设备输出第二提示信息提示用户持稳电子设备，以便采集到清晰的图像。
[0204]
在本实施例提供的方案中，电子设备输出对应的提示信息提示用户调整人脸姿态
或持稳电子设备，可以提高图像采集效率。
[0205]
图4示出了本发明应用实施例提供的一种采集人脸图像的方法的实现流程示意图。参照图4，本实施提供的采集人脸图像的方法包括：
[0206]
s401：基于所述电子设备采集的至少一帧预览图像中每帧预览图像的人脸特征点，确定出所述至少一帧预览图像对应的人脸姿态角度。
[0207]
s402：判断确定出的人脸姿态角度是否处于设定的角度范围。
[0208]
在确定出的人脸姿态角度未处于设定的角度范围的情况下，执行s403。在确定出的人脸姿态角度处于设定的角度范围的情况下，表征预览图像为正脸图像，执行s404。
[0209]
s403：输出第三提示信息，所述第三提示信息用于提示用户调整人脸姿态角度。
[0210]
s404：判断所述至少一帧预览图像中人脸图像是否被遮挡。
[0211]
在所述至少一帧预览图像中人脸图像被遮挡的情况下，执行s405；在所述至少一帧预览图像中人脸图像未被遮挡的情况下，执行s406。
[0212]
s405：输出第四提示信息，所述第四提示信息用于提示勿遮挡脸部。
[0213]
s406：判断所述至少一帧预览图像中用户是否闭眼。
[0214]
在所述至少一帧预览图像中用户闭眼的情况下，执行s407；判断所述至少一帧预览图像中用户未闭眼的情况下，执行s408。
[0215]
s407：输出第五提示信息，所述第五提示信息用于提示用户勿闭眼。
[0216]
s408：判断所述至少一帧预览图像中人脸图像的占画比是否处于设定的比例范围。
[0217]
在所述至少一帧预览图像中人脸图像的占画比未处于设定的比例范围的情况下，执行s409；在所述至少一帧预览图像中人脸图像的占画比处于设定的比例范围的情况下，执行s410。
[0218]
s409：输出第六提示信息；所述第六提示信息用于提示用户调整人脸与所述电子设备的显示屏之间的距离。
[0219]
s410：确定出所述电子设备在采集所述至少一帧预览图像时的第一状态。
[0220]
s411：在确定出的第一状态表征的所述电子设备的平稳度满足第二设定条件的情况下，基于所述至少一帧预览图像输出第一照片；所述第一照片用于供服务器进行身份验证。
[0221]
s412：在确定出的第一状态表征的所述电子设备的平稳度不满足第二设定条件的情况下，输出第七提示信息；所述第七提示信息用于提示用户持稳所述电子设备。
[0222]
本实施例提供的方案中，预览图像对应的人脸姿态角度处于设定范围，输出的第一照片为清晰的正脸图像，且第一照片中用户未闭眼，人脸图像也未被遮挡，由此，服务器基于第一照片进行身份验证时，可以提高合法用户的身份验证的成功率。
[0223]
为实现本发明实施例的方法，本发明实施例还提供了一种采集人脸图像的装置，设置在电子设备上，如图5所示，该采集人脸图像的装置包括：
[0224]
第一确定单元51，用于基于所述电子设备采集的至少一帧预览图像中每帧预览图像的人脸特征点，确定出所述至少一帧预览图像对应的人脸姿态；
[0225]
第二确定单元52，用于确定出所述电子设备在采集预览图像时的第一状态；所述第一状态表征电子设备的平稳度；
[0226]
输出单元53，用于在所述至少一帧预览图像对应的人脸姿态满足第一设定条件，且确定出的第一状态表征的所述电子设备的平稳度满足第二设定条件的情况下，基于所述至少一帧预览图像输出第一照片；所述第一照片用于供服务器进行身份验证。
[0227]
在一实施例中，第二确定单元52用于：在所述至少一帧预览图像对应的人脸姿态满足所述第一设定条件的情况下，确定出所述电子设备在采集所述至少一帧预览图像时的第一状态。
[0228]
在一实施例中，第二确定单元52用于：
[0229]
将第一数据转换成符合四元数格式的第二数据；所述第一数据表征在所述电子设备采集所述至少一帧预览图像时采集到的所述电子设备的运动状态数据；
[0230]
基于t-1时刻的运动状态数据的理论估计值，预测t时刻的运动状态数据的先验估计值；其中，t为正整数；所述最佳估计值以及所述先验估计值均为符合四元数格式的数据；
[0231]
基于t时刻对应的第二数据以及t时刻的所述先验估计值，确定出t时刻对应的第三数据；将t时刻对应的第三数据输入至设定模型，得到所述电子设备在t时刻采集预览图像时的第一状态；其中，
[0232]
所述设定模型用于根据输入的数据确定出对应的第一状态。
[0233]
在一实施例中，采集人脸图像的装置还包括：
[0234]
删除单元，用于删除第一时段对应的第一数据；所述第一时段的起始时刻对应所述电子设备采集所述至少一帧预览图像的起始时刻。
[0235]
在一实施例中，采集人脸图像的装置还包括：
[0236]
替换单元，用于基于至少一个置信度，对第一系数进行替换；所述至少一个置信度中的每个置信度对应一类运动状态数据；所述第一系数表征卡尔曼滤波算法的相关计算参数。
[0237]
在一实施例中，所述替换单元用于：
[0238]
将所述第一系数中的第二系数替换为零；所述第二系数表征t时刻的所述先验估计值的协方差矩阵；
[0239]
基于至少一个置信度，对所述第一系数中的滤波系数进行替换。
[0240]
在一实施例中，所述替换单元还用于：
[0241]
在所述第一数据包括加速度数据和角速度数据的情况下，基于加速度数据的置信度和角速度数据的置信度，确定出新的滤波系数；所述新的滤波系数用于替换所述第一系数中的滤波系数。
[0242]
在一实施例中，所述人脸姿态包括以下至少之一：
[0243]
人脸姿态角度；
[0244]
人脸图像是否被遮挡；
[0245]
用户是否闭眼；其中，
[0246]
在所述人脸姿态包括人脸姿态角度的情况下，所述第一设定条件包括人脸姿态角度处于设定的角度范围；
[0247]
在所述人脸姿态包括人脸图像是否被遮挡的情况下，所述第一设定条件包括人脸图像未被遮挡；
[0248]
在所述人脸姿态包括用户是否闭眼的情况下，所述第一设定条件包括用户未闭
眼。
[0249]
在一实施例中，输出单元53用于：
[0250]
从所述至少一帧预览图像中选取出第一预览图像，将所述第一预览图像输出为第一照片；其中，
[0251]
所述第一预览图像满足以下至少之一：
[0252]
人脸图像的占画比处于设定范围；所述占画比表征设定的人脸框中的人脸图像的面积与所述设定的人脸框的面积之间的比值；
[0253]
人脸图像中第一区域与第二区域的间距小于设定阈值；所述第一区域表征上嘴唇所在区域；所述第二区域表征下嘴唇所在区域。
[0254]
在一实施例中，采集人脸图像的装置还包括提示单元，所述提示单元至少用于执行以下之一：
[0255]
在确定出的人脸姿态不满足所述第一设定条件的情况下，输出第一提示信息；
[0256]
在确定出的第一状态表征所述电子设备当前的平稳度不满足所述第二设定条件的情况下，输出第二提示信息；其中，
[0257]
所述第一提示信息用于提示用户调整人脸姿态；
[0258]
所述第二提示信息用于提示用户持稳所述电子设备。
[0259]
实际应用时，采集人脸图像的装置包括的各单元可由采集人脸图像的装置中的处理器来实现。当然，处理器需要运行存储器中存储的程序来实现上述各程序模块的功能。
[0260]
需要说明的是：上述实施例提供的采集人脸图像的装置在采集人脸图像时，仅以上述各程序模块的划分进行举例说明，实际应用中，可以根据需要而将上述处理分配由不同的程序模块完成，即将采集人脸图像的装置的内部结构划分成不同的程序模块，以完成以上描述的全部或者部分处理。另外，上述实施例提供的采集人脸图像的装置与采集人脸图像的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0261]
基于上述程序模块的硬件实现，且为了实现本发明实施例的方法，本发明实施例还提供了一种电子设备。图6为本发明实施例提供的电子设备的硬件组成结构示意图，如图6所示，电子设备包括：
[0262]
通信接口1，能够与其它设备比如服务器等进行信息交互；
[0263]
处理器2，与通信接口1连接，以实现与其它设备进行信息交互，用于运行计算机程序时，执行上述一个或多个技术方案提供的采集人脸图像的方法。而所述计算机程序存储在存储器3上。
[0264]
当然，实际应用时，电子设备中的各个组件通过总线系统4耦合在一起。可理解，总线系统4用于实现这些组件之间的连接通信。总线系统4除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图6中将各种总线都标为总线系统4。
[0265]
本发明实施例中的存储器3用于存储各种类型的数据以支持电子设备的操作。这些数据的示例包括：用于在电子设备上操作的任何计算机程序。
[0266]
可以理解，存储器3可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是只读存储器(rom，read only memory)、可编程只读存储器(prom，programmable read-only memory)、可擦除可编程只读存储器
(eprom，erasable programmable read-only memory)、电可擦除可编程只读存储器(eeprom，electrically erasable programmable read-only memory)、磁性随机存取存储器(fram，ferromagnetic random access memory)、快闪存储器(flash memory)、磁表面存储器、光盘、或只读光盘(cd-rom，compact disc read-only memory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，random access memory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，static random access memory)、同步静态随机存取存储器(ssram，synchronous static random access memory)、动态随机存取存储器(dram，dynamic random access memory)、同步动态随机存取存储器(sdram，synchronous dynamic random access memory)、双倍数据速率同步动态随机存取存储器(ddrsdram，double data rate synchronous dynamic random access memory)、增强型同步动态随机存取存储器(esdram，enhanced synchronous dynamic random access memory)、同步连接动态随机存取存储器(sldram，sync link dynamic random access memory)、直接内存总线随机存取存储器(drram，direct rambus random access memory)。本发明实施例描述的存储器3旨在包括但不限于这些和任意其它适合类型的存储器。
[0267]
上述本发明实施例揭示的方法可以应用于处理器2中，或者由处理器2实现。处理器2可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器2中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器2可以是通用处理器、dsp，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器2可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本发明实施例所公开的方法的步骤，可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于存储介质中，该存储介质位于存储器3，处理器2读取存储器3中的程序，结合其硬件完成前述方法的步骤。
[0268]
处理器2执行所述程序时实现本发明实施例的各个方法中多核处理器对应的流程，为了简洁，在此不再赘述。
[0269]
在示例性实施例中，本发明实施例还提供了一种存储介质，即计算机存储介质，具体为计算机可读存储介质，例如包括存储计算机程序的存储器3，上述计算机程序可由处理器2执行，以完成前述图1至图4对应的实施例中的所述步骤。计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、flash memory、磁表面存储器、光盘、或cd-rom等存储器。
[0270]
在本发明所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
[0271]
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
[0272]
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
[0273]
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0274]
需要说明的是，本发明实施例所记载的技术方案之间，在不冲突的情况下，可以任意组合。
[0275]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。