一种人脸识别方法及电子设备与流程
本申请实施例涉及图像处理技术领域，尤其涉及一种人脸识别方法及电子设备。
背景技术：
随着电子技术的发展，电子设备的功能越来越多。例如，电子设备可以包括人脸识别、增强现实(augmentedreality，ar)等功能。其中，人脸识别可以应用于人脸解锁和人脸支付等场景中。
在人脸解锁和人脸支付等场景中，电子设备可以采用人脸识别的方式进行用户身份校验。具体的，电子设备可以采集当前对象(如人脸)的二维图像；对比当前对象的二维图像和电子设备中预先保存的用于进行用户身份校验的二维图像(简称预存的二维图像)；如果当前对象的二维图像和上述预存的二维图像匹配，则用户身份校验通过；如果当前对象的二维图像和上述预存的二维图像不匹配，则可以用户身份校验未通过。
其中，一个对象(如人脸)的照片也可以包括该对象的二维图像中的特征。如果使用包括上述预存的二维图像中的特征的照片在电子设备上进行用户身份校验，则用户身份校验可能可以通过。此时，电子设备则可以被成功解锁或者完成支付，可能会导致保存在电子设备的信息泄露或者用户的财产损失，电子设备进行人脸识别的安全性较低。
技术实现要素：
本申请实施例提供一种人脸识别方法及电子设备，可以保护电子设备的信息安全，提升电子设备的安全性能。
第一方面，本申请实施例提供一种人脸识别方法，可以应用于电子设备，该电子设备包括红外投射器、第一摄像头和第二摄像头，第一摄像头和第二摄像头之间的距离为第一长度。该方法可以包括：电子设备接收用于触发电子设备对第一对象进行人脸识别的第一指令；响应于第一指令，通过红外投射器发射带光斑的红外光，通过第一摄像头采集第一对象的第一图像信息，通过第二摄像头采集第一对象的第二图像信息；根据第一图像信息、第二图像信息、第一长度，以及第一摄像头的镜头焦距和第二摄像头的镜头焦距，计算第一对象的深度信息；采用第一图像信息和第一对象的深度信息，对第一对象进行用户身份校验。
电子设备通过人脸识别的方式进行用户身份校验时，不仅使用了被拍摄对象(如人脸)的二维图像，还使用了被拍摄对象的深度信息。具体的，电子设备可以对比被拍摄对象的二维图像和电子设备中预先保存的人脸二维图像，并判断被拍摄对象的深度信息是否为具备真实人脸的深度特征的对象的深度信息；当被拍摄对象的二维图像和预先保存的人脸二维图像匹配，且被拍摄对象的深度信息具备真实人脸的深度特征时，电子设备才可以确定被拍摄对象通过用户身份校验。
换言之，电子设备进行的人脸识别可以包括两项内容：二维图像认证和深度防伪认证。由于照片的深度信息不具备真实人脸的深度特征；因此，执行本申请实施例的方法，使用照片在电子设备中进行的用户身份校验不会通过，从而可以避免电子设备的信息被泄露或者可以避免给用户带来财产损失，可以保护电子设备的信息安全，提升电子设备的安全性能。
进一步的，上述第一摄像头采集的图像信息和第二摄像头采集的图像信息中的特征越多越明显，电子设备识别到第一图像信息和第二图像信息中相同的特征则越多。电子设备识别到的相同的特征越多，该电子设备则可以计算得到越多特征所在点的深度。由于该第一对象的深度信息由第一对象的多个点的深度组成；因此，电子设备计算得到的点的深度越多，第一对象的深度信息则越准确。
本身实施例中，上述第一图像信息和第二图像信息包括第一对象的特征和带光斑的红外光照射在第一对象上形成的纹理特征。即上述第一图像信息和第二图像信息中不仅包括第一对象本身的特征，还包括带光斑的红外光照射在第一对象上形成的纹理特征。
其中，增加第一摄像头和第二摄像头采集的第一对象的图像的特征后，电子设备便可以更加准确识别出第一摄像头采集的图像信息和第二摄像头采集的图像信息中相同的特征，进而确定出第一摄像头和第二摄像头对该相同的特征的视差，从而计算出每个点的深度，得到第一对象的深度信息，可以提高电子设备计算第一对象的深度信息的准确度。
结合第一方面，在一种可能的设计方式中，上述电子设备采用第一图像信息和第一对象的深度信息，对第一对象进行用户身份校验的方法可以包括：电子设备对比第一图像信息与原始图像，原始图像是电子设备中保存的用于进行用户身份校验的二维图像；电子设备判断第一对象的深度信息是否具备真实人脸的深度特征；如果第一图像信息与原始图像匹配，且第一对象的深度信息具备真实人脸的深度特征，电子设备则确定用户身份校验通过；如果第一图像信息与原始图像不匹配，或者第一对象的深度信息不具备真实人脸的深度特征，电子设备则确定用户身份校验未通过。
其中，如果第一图像信息与原始图像不匹配，则表示第一图像信息不包括第二对象的二维图像。在这种情况下，电子设备可以确定用户身份校验未通过。如果第一对象的深度信息不具备真实人脸的深度特征，则表示电子设备拍摄的第一对象不是真实人脸。该第一对象可能是包括人脸二维图像的照片。在这种情况下，电子设备可以确定用户身份校验未通过。如果第一对象的深度信息具备真实人脸的深度特征，则表示电子设备拍摄的第一对象是真实人脸，而不是包括人脸二维图像的照片；并且第一图像信息与原始图像匹配，则表示第一图像信息包括电子设备录入原始图像时对应的对象(即第二对象)的二维图像，电子设备可以确定用户身份校验通过。
结合第一方面，在另一种可能的设计方式中，上述第一对象可能是第二对象的头模。该第二对象是：电子设备录入用于进行人脸识别的二维图像(原始图像)时该电子设备拍摄的对象。由于第二对象的头模的深度信息与第二对象(如真实人脸)的深度信息的相似度较高；因此，通过上述二维图像认证和深度防伪认证，电子设备可能并不能识别出该第一对象不是真实人脸。基于这种情况，上述电子设备采用第一图像信息和第一对象的深度信息，对第一对象进行用户身份校验的方法可以包括：电子设备对比第一图像信息与原始图像；电子设备判断第一对象的深度信息是否具备真实人脸的深度特征；电子设备判断第一图像信息中的特征是否与真实人脸在红外光照射下的特征匹配；如果第一图像信息与原始图像匹配，第一对象的深度信息具备真实人脸的深度特征，且第一图像信息中的特征与真实人脸在红外光照射下的特征匹配，电子设备则确定用户身份校验通过；如果第一图像信息与原始图像不匹配，或者第一对象的深度信息不具备真实人脸的深度特征，或者第一图像信息中的特征与真实人脸在红外光照射下的特征不匹配，电子设备则确定用户身份校验未通过。即电子设备进行的人脸识别不仅可以包括二维图像认证和深度防伪认证这两项内容，还可以包括红外防伪认证。其中，红外防伪认证的原理为：头模和真实人脸在红外光照射下的图像有很大差异。本申请实施例可以采用这个特性，对上述第一图像信息进行红外防伪认证。
本申请实施例中，电子设备可以通过上述二维图像识别、深度防伪认证和红外防伪认证三重识别的方式，进行用户身份校验。执行本身实施例的方法，使用上述照片和头模在电子设备中进行的用户身份校验不会通过，从而可以避免电子设备的信息被泄露或者可以避免给用户带来财产损失，可以保护电子设备的信息安全，提升电子设备的安全性能。
结合第一方面，在另一种可能的设计方式中，上述电子设备还包括第三摄像头，第三摄像头是红绿蓝(redgreenblue，rgb)摄像头，第三摄像头用于采集可见光下的图像。在电子设备接收用户的第一指令之前，本申请实施例的方法还包括：响应于用户的第二指令，电子设备显示第一界面，第一界面用于录入用于进行用户身份校验的二维图像，并通过红外投射器发射带光斑的红外光，通过第三摄像集第二对象的rgb图像，通过第一摄像头采集第二对象的第三图像信第三图像信息包括第二对象的特征和带光斑的红外光照射在第二对象上形成的纹理特征；电子设备在第一界面显示rgb图像；电子设备保存第三图像信息，该第三图像信息是用于进行用户身份校验的原始图像。
其中，由于第三摄像头104用于采集可见光下的图像信息；因此，电子设备在显示屏显示第三摄像头采集的图像信息，可以避免电子设备的显示屏显示的图像信息出现偏红的现象的问题，可以保证用户的视觉体验。
结合第一方面，在另一种可能的设计方式中，本申请实施例的方法还可以包括：响应于第二指令，电子设备通过第二摄像头采集第二对象的第四图像信息；第四图像信息包括第二对象的特征和带光斑的红外光照射在第二对象上形成的纹理特征；电子设备根据第三图像信息、第四图像信息、第一长度、以及第一摄像头的镜头焦距和第二摄像头的镜头焦距，计算第二对象的深度信息；电子设备判断第二对象的深度信息是否具备真实人脸的深度特征；如果第二对象的深度信息具备真实人脸的深度特征，电子设备保存上述第三图像信息。
其中，电子设备在录入用于进行用户身份校验的人脸二维图像时，可以对该人脸二维图像进行深度防伪认证。如此，可以降低电子设备保存的用于进行用户身份校验的人脸二维图像是上述照片的人脸二维图像的可能性，可以保护电子设备的信息安全，提升电子设备的安全性能。
结合第一方面，在另一种可能的设计方式中，如果第二对象的深度信息不具备真实人脸的深度特征，电子设备发出第一提示信息。第一提示信息用于指示电子设备录入的图像不可用。
结合第一方面，在另一种可能的设计方式中，在电子设备保存第三图像信息之前，本身实施例的方法还可以包括：电子设备判断第三图像信息中的特征是否与真实人脸在红外光照射下的特征匹配；如果第二对象的深度信息具备真实人脸的深度特征，且第三图像信息中的特征与真实人脸在红外光照射下的特征匹配，电子设备则保存上述第三图像信息。
如果第二对象的深度信息不具备真实人脸的深度特征，或者第三图像信息中的特征与真实人脸在红外光照射下的特征不匹配，电子设备则发出第一提示信息，第一提示信息用于指示电子设备录入的图像不可用。
其中，电子设备在录入用于进行用户身份校验的人脸二维图像时，可以对该人脸二维图像进行红外防伪认证。如此，可以降低电子设备保存的用于进行用户身份校验的人脸二维图像是头模的人脸二维图像的可能性，可以保护电子设备的信息安全，提升电子设备的安全性能。
结合第一方面，在另一种可能的设计方式中，为了提升电子设备的安全性能，保护原始图像不被窃取，电子设备可以在电子设备的可信执行环境(trustexecutionenvironment，tee)中保存第三图像信息。
结合第一方面，在另一种可能的设计方式中，电子设备可以在电子设备的tee，采用第一图像信息和第一对象的深度信息，对所述第一对象进行用户身份校验。
结合第一方面，在一种可能的设计方式中，上述第一摄像头与第二摄像头的镜头焦距相同。
结合第一方面，在另一种可能的设计方式中，上述电子设备根据第一图像信息、第二图像信息、第一长度、以及第一摄像头的镜头焦距和第二摄像头的镜头焦距，计算第一对象的深度信息的方法可以包括：电子设备计算第一摄像头与第二摄像头对第一图像信息和第二图像信息中的多个第一特征的视差；该第一特征是第一图像信息和第二图像信息中相同的特征；电子设备针对每个第一特征，根据第一摄像头与第二摄像头对所述第一特征的视差、第一长度和镜头焦距，采用以下公式(2)计算第一特征所在点的深度z，得到第一对象的深度信息：
其中，f为镜头焦距，d为第一摄像头与第二摄像头对第一特征的视差，t为第一长度。
可以理解，第一对象上的各个特征(如人的鼻尖和眼睛)与摄像头之间的距离可能不同。第一对象上每个特征与摄像头之间的距离称为该特征(或者该特征所在点)的深度。第一对象上的各个点的深度组成该第一对象的深度信息。第一对象的深度信息可以表征第一对象的三维特征。
结合第一方面，在另一种可能的设计方式中，上述多个第一特征是第一图像信息和第二图像信息中相同的特征中的部分特征。电子设备100可以按照预设的特征频率，从第一图像信息中选择出多个第一特征，然后查找第二图像信息中与该多个第一特征相同的特征；最后，针对每一个第一特征，计算其深度，得到第一对象的深度信息。或者，电子设备也可以随机或间隔从第一图像信息中选择出部分第一特征。
其中，上述特征频率可以为相同的两个第一特征在预设面积中出现的数量。上述特征频率反应在图像上可以为电子设备选择的相邻的两个第一特征之间的距离(称为特征距离)。电子设备可以按照预设的特征频率，从第一图像信息中选择出多个第一特征的方法可以包括：电子设备从第一图像信息中的所有特征中，每间隔一个特征距离选择出一个第一特征。也就是说，电子设备不需要计算第一图像信息和第二图像信息中相同的特征中每一个特征所在点的深度，而是每间隔一个特征距离选择一个特征，计算选择出的特征所在点的深度。
结合第一方面，在另一种可能的设计方式中，上述带光斑的红外光包括多个光斑，多个光斑包括多个散斑点阵组。其中，一个散斑点阵组中包括一个或多个散斑点阵；散斑点阵包括多个散斑。
结合第一方面，在另一种可能的设计方式中，上述多个散斑点阵组中的至少两个散斑点阵组不同。其中，多个散斑点阵组中的至少两个散斑点阵组不同，可以降低多个光斑中散斑点阵组的重复性，有利于电子设备识别出不同的特征。
结合第一方面，在另一种可能的设计方式中，上述第一散斑点阵组为多个散斑点阵组中的任意一个，第一散斑点阵组中包括的多个散斑点阵中的至少两个散斑点阵不同。其中，多个散斑点阵中的至少两个散斑点阵不同，可以降低多个光斑中散斑点阵的重复性，有利于电子设备识别出不同的特征。
结合第一方面，在另一种可能的设计方式中，上述第一散斑点阵为多个散斑点阵中的任意一个。第一散斑点阵中的多个散斑中每个散斑的形状相同。其中，如果多个散斑中每个散斑的形状相同，那么电子设备可以根据散斑在散斑点阵中的位置识别出不同的散斑。
第一散斑点阵中的多个散斑中至少两个散斑的形状不同。其中，多个散斑中至少两个散斑的形状不同，可以降低散斑点阵中多个散斑的重复性，有利于电子设备识别出不同的特征。
结合第一方面，在另一种可能的设计方式中，上述电子设备按照预设的特征频率从第一图像信息和所述第二图像信息中选择多个第一特征。特征频率大于或者等于多个光斑中散斑点阵的重复频率。其中，特征频率通过电子设备从预设面积的图像中选择的相同的第一特征的数量来表征，重复频率通过预设面积中出现同一个散斑点阵的数量来表征。
其中，电子设备在选择上述第一特征时所采用的特征距离可以小于或者等于上述多个光斑中散斑点阵的重复周期。即上述特征频率大于或者等于上述多个光斑中散斑点阵的重复频率。这样，可以尽量保证电子设备从第一图像信息中选择出的相邻的两个第一特征对应不同的散斑点阵中的散斑，有利于电子设备可以区分出该相邻的两个第一特征，可以降低特征匹配错误的可能性，提升电子设备计算得到的深度信息的准确度。
结合第一方面，在另一种可能的设计方式中，上述第一摄像头和第二摄像头的每个透镜的双面均包括增透膜，第一摄像头和第二摄像头的滤光片包括截止镀层。其中，增透膜用于增加红外光的透过率；截止镀层用于滤去红外光和可见光之外的其他光线，并增加红外光的透过率。
其中，普通的rgb摄像头只可以感知可见光，不能感知红外光。为了降低电子设备的硬件成本，可以在rgb摄像头的每个透镜的双面镀增透膜，在rgb摄像头的滤光片(双面或者单面)上镀截止镀层，得到每个透镜的双面均包括增透膜且滤光片包括截止镀层的双通摄像头(即上述第一摄像头和第二摄像头)。
结合第一方面，在另一种可能的设计方式中，上述红外光为890纳米(nm)～990nm的红外光。例如，上述红外光具体可以为940nm的红外光。相应的，上述增透膜可以为890nm～990nm的红外光的增透膜，如940nm的红外光的增透膜。
结合第一方面，在另一种可能的设计方式中，上述第一长度在20毫米～30毫米之间。
第二方面，本申请实施例提供一种电子设备，该电子设备包括：一个或多个处理器、存储器、红外投射器、第一摄像头和第二摄像头，第一摄像头和第二摄像头之间的距离为第一长度，存储器、红外投射器、第一摄像头和第二摄像头与处理器耦合，存储器用于存储信息。其中，上述处理器，用于接收用户的第一指令，第一指令用于触发电子设备对第一对象进行人脸识别。处理器，还用于响应于第一指令，通过红外投射器发射带光斑的红外光，通过第一摄像头采集第一对象的第一图像信息，通过第二摄像头采集第一对象的第二图像信息，第一图像信息和第二图像信息均包括第一对象的特征和带光斑的红外光照射在第一对象上形成的纹理特征。处理器，还用于根据第一图像信息、第二图像信息、第一长度，以及第一摄像头的镜头焦距和第二摄像头的镜头焦距，计算第一对象的深度信息。处理器，还用于采用第一图像信息和第一对象的深度信息，对第一对象进行用户身份校验。
结合第二方面，在一种可能的设计方式中，上述处理器，用于采用第一图像信息和第一对象的深度信息，对第一对象进行用户身份校验，包括：处理器，用于：对比第一图像信息与原始图像，原始图像是电子设备中保存的用于进行用户身份校验的二维图像；判断第一对象的深度信息是否具备真实人脸的深度特征；如果第一图像信息与原始图像匹配，且第一对象的深度信息具备真实人脸的深度特征，则确定用户身份校验通过；如果第一图像信息与原始图像不匹配，或者第一对象的深度信息不具备真实人脸的深度特征，则确定用户身份校验未通过。
结合第二方面，在另一种可能的设计方式中，上述处理器，用于采用第一图像信息和第一对象的深度信息，对第一对象进行用户身份校验，包括：处理器，用于：对比第一图像信息与原始图像，原始图像是电子设备中保存的用于进行用户身份校验的二维图像；判断第一对象的深度信息是否具备真实人脸的深度特征；判断第一图像信息中的特征是否与真实人脸在红外光照射下的特征匹配；如果第一图像信息与原始图像匹配，第一对象的深度信息具备真实人脸的深度特征，且第一图像信息中的特征与真实人脸在红外光照射下的特征匹配，则确定用户身份校验通过；如果第一图像信息与原始图像不匹配，或者第一对象的深度信息不具备真实人脸的深度特征，或者第一图像信息中的特征与真实人脸在红外光照射下的特征不匹配，确定用户身份校验未通过。
结合第二方面，在另一种可能的设计方式中，上述电子设备还包括第三摄像头和显示屏，第三摄像头是红绿蓝rgb摄像头，第三摄像头用于采集可见光下的图像；显示屏，用于在处理器接收第一指令之前，响应于第二指令，显示第一界面，第一界面用于录入用于进行用户身份校验的二维图像；处理器，还用于响应于第二质量，通过红外投射器发射带光斑的红外光，通过第三摄像头采集第二对象的rgb图像，通过第一摄像头采集第二对象的第三图像信息；第三图像信息包括第二对象的特征和带光斑的红外光照射在第二对象上形成的纹理特征；
显示屏，还用于在第一界面显示rgb图像；存储器，还用于保存第三图像信息，该第三图像信息是用于进行用户身份校验的原始图像。
结合第二方面，在另一种可能的设计方式中，上述处理器，还用于响应于第二指令，通过第二摄像头采集第二对象的第四图像信息；第四图像信息包括第二对象的特征和带光斑的红外光照射在第二对象上形成的纹理特征；处理器，还用于根据第三图像信息、第四图像信息、第一长度、以及第一摄像头的镜头焦距和第二摄像头的镜头焦距，计算第二对象的深度信息；处理器，还用于判断第二对象的深度信息是否具备真实人脸的深度特征；其中，存储器，用于保存第三图像信息，包括：存储器，用于如果第二对象的深度信息具备真实人脸的深度特征，保存第三图像信息。
结合第二方面，在另一种可能的设计方式中，上述处理器，还用于如果第二对象的深度信息不具备真实人脸的深度特征，发出第一提示信息，第一提示信息用于指示电子设备录入的图像不可用。
结合第二方面，在另一种可能的设计方式中，上述处理器，还用于在处理器保存第三图像信息之前，判断第三图像信息中的特征是否与真实人脸在红外光照射下的特征匹配；存储器，具体用于如果第二对象的深度信息具备真实人脸的深度特征，且第三图像信息中的特征与真实人脸在红外光照射下的特征匹配，则保存第三图像信息。
结合第二方面，在另一种可能的设计方式中，上述处理器，还用于如果第二对象的深度信息不具备真实人脸的深度特征，或者第三图像信息中的特征与真实人脸在红外光照射下的特征不匹配，则发出第一提示信息，第一提示信息用于指示电子设备录入的图像不可用。
结合第二方面，在另一种可能的设计方式中，上述存储器，具体用于在电子设备的tee中保存第三图像信息。
结合第二方面，在另一种可能的设计方式中，上述处理器，用于采用第一图像信息和第一对象的深度信息，对第一对象进行用户身份校验，包括：处理器，用于在电子设备的tee，采用第一图像信息和第一对象的深度信息，对第一对象进行用户身份校验。
需要注意的是，第二方面及其可能的设计方式中的散斑点阵组、散斑点阵、散斑点阵中的多个散斑，以及红外投射器发射的红外光的波长可以参考第一方面的可能的设计方式中的相关描述，这里不予赘述。
第三方面，本申请实施例提供一种双通摄像头(即上述第一摄像头或者第二摄像头)，该双通摄像头用于接收可见光和红外光。该双通摄像头的每个透镜的双面均包括增透膜，该双通摄像头的滤光片包括截止镀层。其中，增透膜用于增加红外光的透过率；截止镀层用于滤去红外光和可见光之外的其他光线，并增加红外光的透过率。
结合第三方面，在一种可能的设计方式中，上述双通摄像头包括：rgb摄像头、镀在rgb摄像头的每个透镜的双面的增透膜，镀在rgb摄像头的滤光片(双面或者单面)上的镀截止镀层。
第四方面，本申请实施例提供一种计算机存储介质，包括计算机指令，当所述计算机指令在电子设备上运行时，使得所述电子设备执行如第一方面及其可能的设计方式所述的人脸识别方法。
第五方面，本申请实施例提供一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行如第一方面及其可能的设计方式所述的人脸识别方法。
可以理解，上述提供的第二方面及其可能的设计方法所述的电子设备、第三方面所述的计算机存储介质，以及第四方面所述的计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
附图说明
图1a为本申请实施例提供的一种电子设备的局部示意图；
图1b为本申请实施例提供的一种计算深度信息的原理示意图一；
图1c为本申请实施例提供的一种双目摄像头采集的两个图像信息中相同的特征的实例示意图；
图1d为本申请实施例提供的一种真实皮肤与硅胶对光线的反射率的对比示意图；
图1e为本申请实施例提供的一种电子设备的硬件结构示意图；
图1f为本申请实施例提供的一种电子设备的软件系统架构示意图；
图2为本申请实施例提供的一种人脸识别方法流程图一；
图3为本申请实施例提供的一种图形用户界面实例示意图一；
图4为本申请实施例提供的一种散斑点阵的实例示意图；
图5为本申请实施例提供的一种红外光中的光斑和光斑中的散斑点阵组的实例示意图一；
图6a为本申请实施例提供的一种红外光中的光斑和光斑中的散斑点阵组的实例示意图二；
图6b为本申请实施例提供的一种红外光中的光斑和光斑中的散斑点阵组的实例示意图三；
图6c为本申请实施例提供的一种红外光中的光斑和光斑中的散斑点阵组的实例示意图四；
图7a为本申请实施例提供的一种红外光中的光斑和光斑中的散斑点阵组的实例示意图五；
图7b为本申请实施例提供的一种红外光中的光斑的实例示意图；
图7c为本申请实施例提供的一种红外光中的光斑和光斑中的散斑点阵组的实例示意图六；
图8为本申请实施例提供的一种双通摄像头模组的结构示意图；
图9为本申请实施例提供的一种人脸识别方法流程图二；
图10a为本申请实施例提供的一种计算深度信息的原理示意图二；
图10b为本申请实施例提供的一种计算视差的原理示意图；
图10c为本申请实施例提供的一种视差与深度的关系示意图；
图11为本申请实施例提供的一种第一对象与带光斑的红外光的实例示意图；
图12为本申请实施例提供的一种特征频率的实例示意图；
图13为本申请实施例提供的一种人脸识别方法流程图三；
图14为本申请实施例提供的一种人脸识别方法流程图四；
图15为本申请实施例提供的一种人脸识别方法流程图五；
图16本申请实施例提供的一种图形用户界面实例示意图二；
图17为本申请实施例提供的一种图形用户界面实例示意图三；
图18为本申请实施例提供的一种电子设备的结构组成示意图。
具体实施方式
本申请实施例提供一种人脸识别方法，可以应用于人脸解锁和人脸支付等场景中，也可以应用与其它使用人脸进行验证的场景中。电子设备可以通过人脸识别的方式，在人脸解锁和人脸支付等场景中进行用户身份校验。具体的，电子设备通过人脸识别的方式进行用户身份校验时，不仅使用了被拍摄对象(如人脸)的二维图像，还使用了被拍摄对象的深度信息。具体的，电子设备可以对比被拍摄对象的二维图像和电子设备中预先保存的人脸二维图像，并判断被拍摄对象的深度信息是否为具备真实人脸的深度特征的对象的深度信息；当被拍摄对象的二维图像和预先保存的人脸二维图像匹配，且对象的深度信息具备真实人脸的深度特征时，电子设备才可以确定被拍摄对象通过用户身份校验。
一般而言，人脸具备三维立体形态。电子设备的摄像头拍摄人脸时，该人脸上的各个特征(如人的鼻尖和眼睛)与摄像头之间的距离不同。人脸上每个特征与摄像头之间的距离称为该特征(或者该特征所在点)的深度。人脸上的各个点的深度组成该人脸的深度信息。人脸的深度信息可以表征人脸的三维特征。
其中，对于双目摄像头(即两个摄像头，如第一摄像头和第二摄像头)而言，上述人脸上的各个特征与摄像头之间的距离(即点的深度)可以为：该人脸上的各个特征所在点与两个摄像头连线的垂直距离。例如，如图1b所示，假设p为被拍摄的人脸上的一个特征，特征p的深度为p到olor的垂直距离z。其中，ol为第一摄像头的位置，or为第二摄像头的位置。
其中，本申请实施例中真实人脸的深度特征是电子设备分析和学习大量真实人脸的深度信息得到的。每一个真实人脸的深度信息都具备上述真实人脸的深度特征。
可以理解，即使一张照片中包括与电子设备中预先保存的人脸二维图像匹配的二维图像；但是，该照片的深度信息并不具备真实人脸的深度特征，即该照片的深度信息与具备真实人脸的深度特征的对象的深度信息存在很大差异；因此，通过本申请实施例的方案，电子设备可以通过判断对象的深度信息是否具备真实人脸的深度特征，来确定电子设备采集的对象的二维图像是否为真实人脸的图像。即可以对电子设备采集的对象的二维图像进行深度防伪认证。其中，本申请实施例中，可以将电子设备对比被拍摄对象的二维图像和电子设备中预先保存的人脸二维图像，进行的人脸识别称为二维图像认证。
综上所述，由于照片的深度信息不具备真实人脸的深度特征；因此，执行本申请实施例的方法，使用上述照片在电子设备中进行的用户身份校验不会通过，从而可以避免电子设备的信息被泄露或者可以避免给用户带来财产损失，可以保护电子设备的信息安全，提升电子设备的安全性能。
示例性的，真实人脸的深度信息与包括该对象的人脸图像的以下照片的深度信息均存在很大的差异。例如，该照片可以为包括该被拍摄对象的人脸图像的电子照片、包括该被拍摄对象的人脸图像的纸质照片，以及贴在被拍摄对象的头模上的上述纸质照片等照片任意一种照片。
本申请实施例中的头模是指：使用硅胶、石膏或者粘土等材料制成的人体头部模型。该人体头部模型可以是按照真实人脸上各个器官的比例制造的。虽然上述人体头部模型可以体现出真实人脸的三维特征，但是真实人脸在红外光照射下的图像(二维图像)与头模在红外光照射下的图像(二维图像)存在很大差异；因此，本申请实施例中，还可以通过判断摄像头(如第一摄像头102或者第二摄像头103)采集的红外光照射下对象的二维图像的特征是否与真实人脸在红外光照射下的特征匹配，来确定电子设备采集的对象的二维图像是否为真实人脸的图像。即可以对电子设备采集的对象的二维图像进行红外防伪认证。
其中，真实人脸在红外光照射下的图像与头模在红外光照射下的图像存在很大差异的原因在于：真实皮肤和硅胶对红外光的反射率(reflectance)的差异较大。例如，请参考图1d，其示出白色的真实皮肤、黑色真实皮肤、白色硅胶和黑色硅胶对各个波长的光线的反射率的波动图。如图1d所示，白色真实皮肤和黑色硅胶对红外光的反射率的差异较大，白色真实皮肤和白色硅胶对红外光的反射率的差异较大，黑色真实皮肤和黑色硅胶对红外光的反射率也存在一定的差异。
本申请实施例提供的电子设备可以包括红外投射器和两个双通摄像头(即第一摄像头和第二摄像头)。其中，红外投射器设置在两个双通摄像头之间。两个双通摄像头之间的距离为第一长度。一般而言，两个摄像头的中心之间的距离称为两个摄像头之间的距离。
请参考图1a，其示出本申请实施例提供的电子设备100的局部示意图。如图1a所示，电子设备100可以包括红外投射器101、第一摄像头102和第二摄像头103。第一摄像头102和第二摄像头103之间的距离为第一长度t。
其中，红外投射器101用于发射带光斑的红外光。双通摄像头是指该摄像头不仅可以接收可见光，还可以接收红外光。例如，双通摄像头可以接收可见光以及940纳米(nm)的红外光。940nm是红外光的波长。当然，上述两个双通摄像头可以替换为两个全通摄像头。全通摄像头是指该摄像头可以接收包括可见光、红外光以及其它波长的光在内的多种光线。相比而言，普通的红绿蓝(redgreenblue，rgb)摄像头可以接收可见光，但是不能接收红外光。
由于rgb摄像头只能采集可见光下的图像；因此，在光线比较差的情况下(如夜晚)，rgb摄像头则无法采集到清晰的人脸二维图像，电子设备则无法进行人脸识别。而本申请实施例中的第一摄像头102和第二摄像头103不仅可以接收可见光，还可以接收红外光。并且，红外投射器101可以向对象发射红外光。这样，第一摄像头102或者第二摄像头103便可以采集到可见光和红外光照射下的图像信息，然后根据该图像信息进行人脸识别。即通过本申请实施例的方法，可以在光线比较差的情况下(如阴天或夜晚)进行人脸识别。
如图1a所示，上述电子设备100还可以包括环境光传感器105。环境光传感器105用于感知环境光亮度，配合红外投射器101、第一摄像头102、第二摄像头103工作，采集用于进行人脸识别的人脸图像信息(包括二维图像和用于计算对象的深度信息的图像)。
在本申请实施例中，第一摄像头102可以为左侧的双通摄像头，第二摄像头103可以为右侧的双通摄像头；或者，第一摄像头102可以为右侧的双通摄像头，第二摄像头103可以为左侧的双通摄像头。图1a中以第一摄像头102为左侧的双通摄像头，第二摄像头103为右侧的双通摄像头为例，对电子设备100的局部结构进行举例说明。
需要注意的是，本申请实施例中的第一摄像头102和第二摄像头103可以接收同类型的红外光。该同类型的红外光是指波长相同的红外光。换言之，第一摄像头102和第二摄像头103接收红外光的能力相同。例如，第一摄像头102和第二摄像头103可以接收940nm的红外光。并且，本申请实施例中，红外投射器101发射的红外光与第一摄像头102和第二摄像头103可以接收的红外光也是同类型的红外光。
本申请实施例中，红外投射器101发射带光斑的红外光的目的不仅在于使得电子设备100在光线比较差的情况下进行人脸识别，还在于增加了第一摄像头102和第二摄像头103采集的对象的图像的特征，提高电子设备100计算对象的深度信息的准确度，从而提升电子设备100进行人脸识别的准确度。
具体的，上述带光斑的红外光照射在被拍摄对象上后，第一摄像头102和第二摄像头103采集的图像信息则不仅可以包括被拍摄对象的图像，还可以包括带光斑的红外光照射在被拍摄对象上形成的纹理特征。即可以增加第一摄像头102和第二摄像头103采集的被拍摄对象的图像的特征。
本申请实施例这里对增加第一摄像头102和第二摄像头103采集的对象的特征，可以提高电子设备100计算被拍摄对象的深度信息的准确度的原理进行说明：
具体的，电子设备100计算被拍摄对象的深度信息的方法可以包括：电子设备100的第一摄像头102和第二摄像头103分别采集被拍摄对象的图像信息；电子设备100识别第一摄像头102采集的图像信息(即第一图像信息)和第二摄像头103采集的图像信息(即第二图像信息)中相同的特征，并计算第一摄像头102和第二摄像头103对相同的特征的视差，然后根据视差、第一摄像头102和第二摄像头103的硬件参数，计算该点的深度。其中，被拍摄对象的多个特征所在点的深度可以组成该被拍摄对象的深度信息。
电子设备100可以根据双目摄像头对同一特征的视差，结合双目摄像头的硬件参数，采用三角定位原理计算被拍摄对象上每一个特征的深度，得到被拍摄对象的深度信息。
本申请实施例这里对电子设备100根据视差计算深度信息的方法进行举例说明：
如图1b所示，ol为第一摄像头102的位置，or为第二摄像头103的位置，ol与or之间的距离为第一长度t，即olor＝t。第一摄像头102和第二摄像头103的镜头焦距均为f。
特征p为被拍摄对象的一个特征。特征p所在点与第一摄像头102和第二摄像头103连线的垂直距离为z。即p的深度信息为z。第一摄像头102采集到被拍摄对象的图像1，特征p在图像1的pl点。第二摄像头103采集到被拍摄对象的图像2，特征p在图像2的pr点。其中，图像1中的pl点与图像2中的pr所对应的特征都是被拍摄对象的特征p。
如图1b所示，alcl＝arcr＝x，albl＝blcl＝arbr＝brcr＝x/2。其中，特征pl与al之间的距离为xl，即特征pl距离图像1的最左端的距离为xl，即alpl＝xl。特征pr与ar之间的距离为xr，即特征pr距离图像2的最左端的距离为xr，即arpr＝xr。alpl与arpr的差值为第一摄像头102与第二摄像头103对特征p的视差，即特征p的视差d＝xl-xr。
由于，plpr平行于olor；因此，按照三角形原理可以得出以下公式(1)：
其中，plpr＝olor-blpl-prbr。olor＝t，blpl＝alpl-albl＝xl-x/2，prbr＝x/2-xr。plpr＝t-(xl-x/2)-(x/2-xr)＝t-(xl-xr)＝t-d。
将plpr＝t-(xl-xr)＝t-d，olor＝t代入公式(1)可以得到：
由
由上述描述可知：上述第一摄像头102采集的图像信息(即第一图像信息，如上述图像1)和第二摄像头103采集的图像信息(即第二图像信息，如上述图像2)中的特征越多越明显，电子设备100识别到第一图像信息和第二图像信息中相同的特征则越多。电子设备100识别到的相同的特征越多，该电子设备100则可以计算得到越多特征所在点的深度。由于该被拍摄对象的深度信息由被拍摄对象的多个点的深度组成；因此，电子设备100计算得到的点的深度越多，被拍摄对象的深度信息则越准确。
其中，所述的两个图像信息中相同的特征指的是：两个图像信息中对应同一个特征的信息。例如：第一图像信息中al点对应对象的a部位，第二图像信息中的ar点也对应对象的a部位，则al点和ar点是这两个图像信息中相同的特征。例如，第一图像信息包括图1c所示的建筑物的图像1，第二图像信息包括图1c所示的建筑物的图像2。图像1中的al点对应建筑物的a部位，图像2中的ar点也对应建筑物的a部位。bl点对应建筑物的b部位，br点也对应建筑物的b部位。双目摄像头对上述建筑物的a部位的视差为xl1-xr1。双目摄像头对上述建筑物的b部位的视差为xl2-xr2。
综上所述，当第一图像信息和第二图像信息中的特征越多时，越容易从这两个图像信息中获取较多的相同特征，从而使得电子设备100得到的被拍摄对象的深度信息越准确。
本申请实施例中的双通摄像头可以通过改进rgb摄像头得到，可以降低电子设备100的硬件成本。具体的，可以在rgb摄像头的每个透镜的双面镀增透膜，以提高透镜对红外光的感知能力，使得透镜可以尽可能的接收红外光；在rgb摄像头的滤光片上镀截止镀层，以滤去红外光和可见光之外的其他光线，并增加红外光的透过率。包括上述增透膜和截止镀层的rgb摄像头不仅可以接收可见光，还可以接收红外光。按照上述方式改进后的rgb摄像头可以作为双通摄像头被使用。
需要注意的是，在一些实施例中，图1a所示的电子设备100的局部示意图可以为电子设备100的正面的局部示意图。也就是说，上述红外投射器101、第一摄像头102、第二摄像头103设置在电子设备100的正面。
上述电子设备100中除上述第一摄像头102和第二摄像头103之外，还可以包括一个或多个其他摄像头。该一个或多个其他摄像头可以包括第三摄像头104，该第三摄像头为rgb摄像头。该第三摄像头用于采用第一对象的二维图像。电子设备100可以在显示屏上显示第三摄像头采集的二维图像。上述第三摄像头104与第一摄像头102、第二摄像头103以及红外投射器设置在电子设备100的同一面上。即第三摄像头104也可以设置在电子设备100的正面。第三摄像头104是电子设备100的前置摄像头。
在另一些实施例中，图1a所示的电子设备100的局部示意图可以为电子设备100的背面的局部示意图。也就是说，上述红外投射器101、第一摄像头102、第二摄像头103和rgb摄像头104设置在电子设备100的背面。上述rgb摄像头104为电子设备100的后置摄像头。
其中，上述电子设备100的正面是指电子设备100显示图形用户界面(如电子设备100的主界面，即桌面)的一面，即显示面板所在的面通常称为正面；而电子设备100的背面则是与正面的朝向相反的一面。通常的，电子设备的正面指的是：在被用户正常使用状态下，朝向用户的一面；而背离用户的一面称为背面。
当然，上述一个或多个其他摄像头还可以包括其他的rgb摄像头或者黑白摄像头等。该其他的rgb摄像头或者黑白摄像头等可以为电子设备100的前置摄像头或者后置摄像头，本申请实施例对此不做限制。
示例性的，本申请实施例电子设备可以为包括上述红外投射器、rgb摄像头(即第三摄像头)和两个双通摄像头(即第一摄像头和第二摄像头)的便携式计算机(如手机)、笔记本电脑、可穿戴电子设备(如智能手表)、平板电脑、增强现实(augmentedreality，ar)\虚拟现实(virtualreality，vr)设备或车载设备等，以下实施例对该电子设备的具体形式不做特殊限制。
请参考图1e，其示出本申请实施例提供的一种电子设备100的结构示意图。该电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universalserialbus，usb)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriberidentificationmodule，sim)卡接口195等。
其中，电子设备100还可以包括红外投射器196(如图1a所示的红外投射器101)。该红外投射器196用于发射带光斑的红外光。例如，红外投射器196可以发射波长为940nm的红外光，该红外光带光斑。光斑的形状和排布可以参考本申请实施例后续相关描述，此处不予赘述。
摄像头193可以包括两个双通摄像头(如图1a所示的第一摄像头102和第二摄像头103)193b和193c、1～n个其他摄像头193a。该1～n个其他摄像头193a可以包括图1a所示的第三摄像头104，即rgb摄像头。其中，双通摄像头193b和193c可以接收可见光和红外光。rgb摄像头用于采集rgb图像，如人脸图像(即人脸二维图像)。
其中，传感器模块180可以包括压力传感器180a，陀螺仪传感器180b，气压传感器180c，磁传感器180d，加速度传感器180e，距离传感器180f，接近光传感器180g，指纹传感器180h，温度传感器180j，触摸传感器180k，环境光传感器180l，骨传导传感器180m等多个传感器。
可以理解的是，本发明实施例示意的结构并不构成对电子设备100的具体限定。在本申请另一些实施例中，电子设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(applicationprocessor，ap)，调制解调处理器，图形处理器(graphicsprocessingunit，gpu)，图像信号处理器(imagesignalprocessor，isp)，控制器，视频编解码器，数字信号处理器(digitalsignalprocessor，dsp)，基带处理器，和/或神经网络处理器(neural-networkprocessingunit，npu)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integratedcircuit，i2c)接口，集成电路内置音频(inter-integratedcircuitsound，i2s)接口，脉冲编码调制(pulsecodemodulation，pcm)接口，通用异步收发传输器(universalasynchronousreceiver/transmitter，uart)接口，移动产业处理器接口(mobileindustryprocessorinterface，mipi)，通用输入输出(general-purposeinput/output，gpio)接口，用户标识模块(subscriberidentitymodule，sim)接口，和/或通用串行总线(universalserialbus，usb)接口等。
i2c接口是一种双向同步串行总线，包括一根串行数据线(serialdataline，sdl)和一根串行时钟线(derailclockline，scl)。在一些实施例中，处理器110可以包含多组i2c总线。处理器110可以通过不同的i2c总线接口分别耦合触摸传感器180k，充电器，闪光灯，摄像头193等。例如：处理器110可以通过i2c接口耦合触摸传感器180k，使处理器110与触摸传感器180k通过i2c总线接口通信，实现电子设备100的触摸功能。
i2s接口可以用于音频通信。在一些实施例中，处理器110可以包含多组i2s总线。处理器110可以通过i2s总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过i2s接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
pcm接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过pcm总线接口耦合。在一些实施例中，音频模块170也可以通过pcm接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述i2s接口和所述pcm接口都可以用于音频通信。
uart接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，uart接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过uart接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过uart接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
mipi接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。mipi接口包括摄像头串行接口(cameraserialinterface，csi)，显示屏串行接口(displayserialinterface，dsi)等。在一些实施例中，处理器110和摄像头193通过csi接口通信，实现电子设备100的拍摄功能。处理器110和显示屏194通过dsi接口通信，实现电子设备100的显示功能。
gpio接口可以通过软件配置。gpio接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，gpio接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。gpio接口还可以被配置为i2c接口，i2s接口，uart接口，mipi接口等。
usb接口130是符合usb标准规范的接口，具体可以是miniusb接口，microusb接口，usbtypec接口等。usb接口130可以用于连接充电器为电子设备100充电，也可以用于电子设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他电子设备，例如ar设备等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对电子设备100的结构限定。在本申请另一些实施例中，电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过usb接口130接收有线充电器的充电输入。在一些无线充电的实施例中，充电管理模块140可以通过电子设备100的无线充电线圈接收无线充电输入。充电管理模块140为电池142充电的同时，还可以通过电源管理模块141为电子设备供电。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。电源管理模块141还可以用于监测电池容量，电池循环次数，电池健康状态(漏电，阻抗)等参数。在其他一些实施例中，电源管理模块141也可以设置于处理器110中。在另一些实施例中，电源管理模块141和充电管理模块140也可以设置于同一个器件中。
电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。电子设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在电子设备100上的包括2g/3g/4g/5g等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(lownoiseamplifier，lna)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170a，受话器170b等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在电子设备100上的包括无线局域网(wirelesslocalareanetworks，wlan)(如wi-fi网络)，蓝牙(bluetooth，bt)，全球导航卫星系统(globalnavigationsatellitesystem，gnss)，调频(frequencymodulation，fm)，nfc，红外技术(infrared，ir)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(globalsystemformobilecommunications，gsm)，通用分组无线服务(generalpacketradioservice，gprs)，码分多址接入(codedivisionmultipleaccess，cdma)，宽带码分多址(widebandcodedivisionmultipleaccess，wcdma)，时分码分多址(time-divisioncodedivisionmultipleaccess，td-scdma)，长期演进(longtermevolution，lte)，bt，gnss，wlan，nfc，fm，和/或ir技术等。所述gnss可以包括全球卫星定位系统(globalpositioningsystem，gps)，全球导航卫星系统(globalnavigationsatellitesystem，glonass)，北斗卫星导航系统(beidounavigationsatellitesystem，bds)，准天顶卫星系统(quasi-zenithsatellitesystem，qzss)和/或星基增强系统(satellitebasedaugmentationsystems，sbas)。
电子设备100通过gpu，显示屏194，以及应用处理器等实现显示功能。gpu为图像处理的微处理器，连接显示屏194和应用处理器。gpu用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个gpu，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquidcrystaldisplay，lcd)，有机发光二极管(organiclight-emittingdiode，oled)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrixorganiclightemittingdiode的，amoled)，柔性发光二极管(flexlight-emittingdiode，fled)，miniled，microled，micro-oled，量子点发光二极管(quantumdotlightemittingdiodes，qled)等。在一些实施例中，电子设备100可以包括1个或n个显示屏194，n为大于1的正整数。
电子设备100可以通过isp，摄像头193，视频编解码器，gpu，显示屏194以及应用处理器等实现拍摄功能。
isp主要用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给isp处理，转化为肉眼可见的图像。isp还可以对图像的噪点，亮度，肤色进行算法优化。isp还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，isp可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(chargecoupleddevice，ccd)或互补金属氧化物半导体(complementarymetal-oxide-semiconductor，cmos)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给isp转换成数字图像信号。isp将数字图像信号输出到dsp加工处理。dsp将数字图像信号转换成标准的rgb，yuv等格式的图像信号。在一些实施例中，电子设备100可以包括1个或n个摄像头193，n为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当电子设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。电子设备100可以支持一种或多种视频编解码器。这样，电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(movingpictureexpertsgroup，mpeg)1，mpeg2，mpeg3，mpeg4等。
npu为神经网络(neural-network，nn)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过npu可以实现电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如microsd卡，实现扩展电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universalflashstorage，ufs)等。
电子设备100可以通过音频模块170，扬声器170a，受话器170b，麦克风170c，耳机接口170d，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
扬声器170a，也称“喇叭”，用于将音频电信号转换为声音信号。电子设备100可以通过扬声器170a收听音乐，或收听免提通话。
受话器170b，也称“听筒”，用于将音频电信号转换成声音信号。当电子设备100接听电话或语音信息时，可以通过将受话器170b靠近人耳接听语音。
麦克风170c，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170c发声，将声音信号输入到麦克风170c。电子设备100可以设置至少一个麦克风170c。在另一些实施例中，电子设备100可以设置两个麦克风170c，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，电子设备100还可以设置三个，四个或更多麦克风170c，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
耳机接口170d用于连接有线耳机。耳机接口170d可以是usb接口130，也可以是3.5mm的开放移动电子设备平台(openmobileterminalplatform，omtp)标准接口，美国蜂窝电信工业协会(cellulartelecommunicationsindustryassociationoftheusa，ctia)标准接口。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。电子设备100可以接收按键输入，产生与电子设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
sim卡接口195用于连接sim卡。sim卡可以通过插入sim卡接口195，或从sim卡接口195拔出，实现和电子设备100的接触和分离。电子设备100可以支持1个或n个sim卡接口，n为大于1的正整数。sim卡接口195可以支持nanosim卡，microsim卡，sim卡等。同一个sim卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。sim卡接口195也可以兼容不同类型的sim卡。sim卡接口195也可以兼容外部存储卡。电子设备100通过sim卡和网络交互，实现通话以及数据通信等功能。在一些实施例中，电子设备100采用esim，即：嵌入式sim卡。esim卡可以嵌在电子设备100中，不能和电子设备100分离。
请参考图1f，其示出本申请实施例提供的一种电子设备100的软件系统架构示意图。如图1f所示，电子设备100可以的软件系统包括多个应用201、相机服务202、相机进程203、人脸识别服务204、人脸识别进程205、isp模块211、图像数据安全缓存区(buffer)212、深度计算模块213、人脸识别ta(trustapp)214和重放保护内存块(replayprotectedmemoryblock，rpmb)215。其中，rpmb215是一个具有安全特性的存储区域。rpmb215用于保存人脸模板，即本申请实施例中的原始图像。
如图1f所示，多个应用201可以包括支付类应用、锁屏类应用、设置应用和应用锁等应用的人脸识别软件开发工具包(softwaredevelopmentkit，sdk)。该多个应用201中的各个应用在不同的场景中可以触发电子设备100进行人脸识别。
电子设备100接收到上述多个应用210发起的人脸识别请求时，可以启动相机服务202创建相机进程203，启动人脸识别服务204创建人脸识别进程205。
相机服务202启动后，可以开启并初始化摄像头模块210，摄像头模块210可以采集图像信息。本申请实施例中，摄像头模块210可以包括第一摄像头102和第二摄像头103。摄像头模块210采集的图像信息可以包括第一摄像头102采集的第一图像信息和第二摄像头103采集的第二图像信息。
其中，人脸识别进程205可以向相机进程203传输摄像头模块210的初始化参数，如自动对焦(autofocus，af)、自动曝光(automaticexposure，ae)和自动白平衡(automaticwhitebalance，awb)。相机进程203可以按照初始化参数初始化摄像头模块210。相机进程203可以向人脸识别进程205传输摄像头模块210的初始化结果。
人脸识别进程205包括人脸识别ca(clientapp)，人脸识别ca可以用于确定人脸识别的业务逻辑。该人脸识别的业务逻辑可以包括人脸识别ta214执行二维图像认证、深度防伪认证和红外防伪认证的先后顺序。其中，人脸识别进程205可以向人脸识别ta214指示人脸识别的业务逻辑。例如，人脸识别进程205可以指示人脸识别ta214先执行二维图像认证，再执行深度防伪认证，最后执行红外防伪认证。
其中，由于摄像头模块210采集的图像信息是原生(raw)图像；因此，摄像头模块210采集的图像信息经过图像处理(如降噪)后，才可以用于进行人脸识别。如图1f所示，相机进程203可以指示isp211对摄像头模块210采集的图像信息进行图像处理(如降噪)。
isp211可以对第一图像信息和第二图像信息进行图像处理，并将处理后的第一图像信息和第二图像信息保存至图像数据安全缓存区212中。人脸识别进程205可以指示深度计算模块213根据图像数据安全缓存区212中处理后的第一图像信息和第二图像信息，计算被拍摄对象的深度信息(可以称为深度图，即depthmap)。然后，深度计算模块213可以将计算得到的深度图保存至图像数据安全缓存区212。图像数据安全缓存区212中的深度图和主双通摄像头采集的图像(如第一图像信息)可以传输至人脸识别ta214。由人脸识别ta214按照上述人脸识别的业务逻辑，采用该深度图和第一图像信息进行人脸识别。
其中，人脸识别ta214可以执行人脸检测、活体检测(包括上述深度防伪认证和红外防伪认证)、特征提取、特征比对和模板管理等。人脸检测是指人脸识别ta214可以检测图像1中是否包括人脸图像。如果图像1中包括人脸图像，人脸识别ta214才可以执行活体检测、特征提取、特征比对和模板管理等操作。特征提取是指人脸识别ta214提取出第一图像信息中的人脸特征。特征比对是指人脸识别ta214对比rpmb215中的人脸模板和从图像1中提取的人脸特征，判断从图像1中提取的人脸特征与人脸模板是否匹配，即执行上述二维图像认证。
在一些实施例中，rpmb215中的人脸模板可以是第三摄像头104(即rgb摄像头)采集的rgb图像。或者，rpmb215中的人脸模板可以是主双通摄像头(如第一摄像头102)采集的第三图像信息。
在一些实施例中，如果二维图像认证通过、深度防伪认证通过，并且红外防伪认证通过，本申请实施例中的人脸识别(即用户身份校验)才可以通过。否则，人脸识别(即用户身份校验)不能通过。
其中，多个应用201、相机服务202、人脸识别服务204、相机进程203和人脸识别进程205对安全性要求比较低。如图1f所示，多个应用201、相机服务202、人脸识别服务204、相机进程203和人脸识别进程205可以运行在可以执行富指令的普通执行环境(richexecutionenvironment，ree)。isp211、深度计算模块213和人脸识别ta214等对安全性要求比较高，可以运行在tee中。图像数据安全缓存区212和rfmb215也在tee中。
需要注意的是，本申请实施例中，涉及用于进行人脸识别的图像信息均保存在ree(如图像数据安全缓存区212或者rfmb215)中。并且，采用这些图像信息进行的人脸识别操作也在ree中进行。这样，可以减少电子设备100中用于进行人脸识别的图像信息被窃取的可能性，可以提升电子设备100的安全性能。
其中，人脸识别ta214中的模板管理是指人脸识别ta214可以更新rpmb215中保存的人脸模板。更新rpmb215中保存的人脸模板可以包括：在rpmb215中增加新的人脸模板，或者采用新的人脸模板替换更新rpmb215中保存的人脸模板。
具体的，如果人脸识别ta214进行的人脸识别(即用户身份校验)通过，进行本次人脸识别所使用的人脸二维图像的图像质量高于第一质量阈值，该人脸二维图像进行人脸识别的频率高于预设频率阈值，并且该人脸二维图像与rpmb215中保存的人脸模板有一定的区别，人脸识别ta214便可以将该人脸二维图像作为新的人脸模板，更新rpmb215中保存的人脸模板。
在以下场景中，人脸识别ta214在rpmb215中保存满足上述要求的新的人脸模板：场景(1)在不同的场合中用户着装不同，进行人脸识别时电子设备100采集的用户的人脸二维图像存在一定的区别；场景(2)在用户化妆和不化妆的情况下，进行人脸识别时电子设备100采集的用户的人脸二维图像存在一定的区别。
其中，一个二维图像的图像质量可以通过该二维图像的清晰度或完整程度来表示，一个二维图像的图像质量也可以通过该二维图像的清晰度和完整度来表示。其中，二维图像的清晰度越高，该二维图像质量则越高。二维图像越完整，该二维图像质量则越高。上述第一质量阈值高于本申请实施例中的第二质量阈值。
本申请实施例提供一种人脸识别方法，该方法可以应用于电子设备100。该电子设备100包括红外投射器101、第一摄像头102和第二摄像头103。如图1a所示，第一摄像头102和第二摄像头103的镜头焦距均为f，第一长度为t。如图2所示，该人脸识别方法可以包括s201-s204：
s201、电子设备100接收第一指令。该第一指令触发电子设备100对第一对象进行人脸识别。
其中，电子设备100可以接收用户的第一操作，该第一操作用于触发电子设备100执行第一事件(如解锁电子设备100或者完成支付)。由于电子设备100执行该第一事件要使用第一对象的图像信息(包括第一对象的二维图像和深度信息)；因此，响应于上述第一操作，电子设备100可以获取到第一指令，该第一指令可以触发电子设备100获取第一对象的二维图像和深度信息。
示例性的，本申请实施例的方法可以应用于人脸解锁场景、人脸支付场景等多个场景中。
在人脸解锁场景中，假设电子设备100已经开机，且电子设备100黑屏。上述第一操作可以是用户对电子设备100中相关物理按键的点击操作(如单击操作)。例如，上述相关物理按键可以为锁屏键或者home键等。如果电子设备100接收到用户对上述物理按键的第一操作，那么则表示用户可能有解锁电子设备100的意愿。
或者，电子设备100可以包括一个或多个用于检测电子设备100被用户手持的状态的传感器。假设电子设备100已经开机，电子设备100黑屏或者电子设备100显示锁屏界面。上述电子设备100接收到第一操作具体可以为：传感器检测到电子设备100当前被用户手持的状态发生了符合预设条件的变化。其中，当电子设备100被用户手持的状态发生了符合预设条件的变化(例如，电子设备100被用户拿起，并且用户手持电子设备100使得电子设备100的显示屏与水平面之间的夹角在一定范围内)时，则表示用户可能有解锁电子设备100的意愿。
也就是说，该第一操作可以用于触发电子设备100解锁(即执行第一事件)。电子设备100解锁前要进行用户身份校验。其中，人脸识别是用户身份校验的一种方式。电子设备100要进行人脸识别，则可以获取第一对象的二维图像和深度信息。
其中，本申请实施例中的一个或多个传感器可以通过检测电子设备100被旋转、电子设备100相对于用户向前运动、电子设备100相对于地平线向上运动，来判断电子设备100被用户手持的状态是否发生符合预设条件的变化。具体的，电子设备100可以检测该电子设备100的运动参数；然后根据该运动参数判断该电子设备100是否被旋转、是否相对于用户发生向前运动、是否相对于地平线发生向上运动；最后，根据判断结果确定该电子设备100被用户手持的状态是否发生符合预设条件的变化。
举例来说，本实施例中，“电子设备100当前被用户手持的状态发生了符合预设条件的变化”具体可以包括：上述传感器检测到电子设备100被旋转、且由下向上移动后，该电子设备100的显示屏与水平面之间的夹角在预设范围内。
需要说明的是，由于不同用户的拍摄习惯不同，因此电子设备100中可以统计大多数或者所有用户使用电子设备100采集人脸图像的过程中，传感器采集的状态变化参数，并将这些状态变化参数的变化确定为符合预设条件的变化。如此，电子设备100可以响应于该电子设备100中的传感器采集到的状态变化参数的变化符合预设条件的变化，确定用户想要解锁该电子设备100的可能性较高，则可以执行s202。
示例性的，在人脸支付场景中，上述第一操作可以是用户在支付界面中的支付按钮的点击操作(如单击操作)。例如，图3中的(a)所示的支付界面301中包括支付按钮“立即付款”302，第一操作可以是用户对按钮“立即付款”302的单击操作。或者，上述第一操作可以是用户在支付界面输入的预设手势，如s形手势。响应于该第一操作，电子设备100可以支付订单(即执行第一事件)。但是，电子设备100支付订单前要进行用户身份校验。其中，人脸识别是用户身份校验的一种方式。电子设备100要进行人脸识别，则可以获取第一对象的深度信息。响应于用户对按钮“立即付款”302的单击操作，电子设备100可以显示图3中的(b)所示的人脸录入界面303。
s202、响应于上述第一指令，电子设备100通过红外投射器101发射带光斑的红外光，通过第一摄像头102采集第一对象的第一图像信息，通过第二摄像头103采集第一对象的第二图像信息。
其中，响应于上述第一指令，电子设备100可以开启红外投射器101，并开启并初始化第一摄像头102和第二摄像头103。电子设备100开启红外投射器101后，红外投射器101便可以发射带光斑的红外光。电子设备100开启并初始化第一摄像头102和第二摄像头103之后，第一摄像头102和第二摄像头103便可以采集对象(即第一对象)的图像信息。
电子设备100初始化第一摄像头102和第二摄像头103，具体可以包括：电子设备100将第一摄像头102和第二摄像头103采集图像的初始化参数(ae、aeb和af)参数调整为电子设备100中预先保存的初始化参数。该预先保存的初始化参数是电子设备100录入用于进行人脸识别的人脸二维图像时，第一摄像头102和第二摄像头103的初始化参数。其中，如果摄像头(如第一摄像头102和第二摄像头103)两次采集图像时的初始化参数相同，那么则可以减少因为初始化参数不同导致两次采集的图像的差异较大而导致人脸识别失败的问题。
本申请实施例中，红外投射器101向第一对象发射带光斑的红外光，带光斑的红外光照射到第一对象上，可以增加第一对象的特征(即纹理特征)，提高第一摄像头102和第二摄像头103对第一对象上各个特征的识别率。
本申请实施例这里介绍红外投射器101发射的带光斑的红外光，以及红外投射器101发射带光斑的红外光的原理。
其中，红外光的波长为760nm～1000nm。一般而言，红外光对人眼不可见。但是，部分红外光(如850nm的红外光)存在明显的红光特性，人眼还是可以看到少量的红光。如果红外投射器101向第一对象发射这类红外光，那么用户则可以看到照射在第一对象上的红外光，影响用户视觉体验。
为了避免红外投射器101向第一对象发射红外光影响用户视觉体验，红外投射器101发射的红外光可以为对人眼完全不可见的红外光。例如，红外投射器101发射的红外光可以为890nm～990nm的红外光，具体例如为940nm的红外光。
其中，部分摄像头(如卷帘快门(rollingshutter)摄像头)的曝光是逐行进行的；因此，如果上述第一摄像头102和第二摄像头103的曝光是逐行进行的，那么在第一摄像头102和第二摄像头103的整个曝光周期内，上述红外投射器101都要开启以发射上述带光斑的红外光；否则可能会出现在曝光过程中，第一摄像头102和第二摄像头103采集的图像信息中部分图像上没有光斑的问题。如此，则要求红外投射器101的工作功率不能过于高，以防止由于红外投射器101的工作功率过高而导致红外投射器101发热温度较高，影响红外投射器101发射红外光的效率(即影响红外光的亮度)，从而影响带光斑的红外光照射到对象上形成的纹理特征的效果。
当然，红外投射器101的工作功率也不能过于低。如果红外投射器101的工作功率过低，也会影响红外投射器101发射红外光的效率，从而影响带光斑的红外光照射到对象上形成的纹理特征的效果。
综上所述，为了保证红外光照射到对象上形成的纹理特征的效果，红外投射器101的功率不宜过高或者过低。为了稳定红外投射器101的功率，红外投射器101的工作电流可以在100ma～200ma之间。例如，红外投射器101的工作电流可以为150ma。
一般而言，红外投射器可以包括三部分：(1)红外光源；(2)准直镜；(3)衍射光学器件(diffractiveopticalelements，doe)。
其中，红外光源可以为激光光源。例如，激光光源可以为垂直腔面发射激光器(verticalcavitysurfaceemittinglaser，vcsel)。vcsel可以发射上述红外光。
准直镜可以为1p的透镜或者2p的透镜。其中，准直镜为1p的透镜是指准直镜由1片透镜组成。2p的透镜是指准直镜由2片透镜组成。准直镜用于将非平行光线转换为近似平行的光源。这种转化可以降低红外投射器发射的红外光的纹理的噪声水平，即可以减少非纹理部分的光线。换言之，这种转化可以使红外投射器发射的红外光中的亮点更亮，暗点更暗。
其中，白天可见光比较强时，第一摄像头102和第二摄像头103采集的图像信息中，带光斑的红外光照射在第一对象上形成的纹理特征几乎看不到。这种情况下，电子设备100在识别两个图像信息中相同的特征时，可以根据第一对象本身的特征来判断。因此，准直镜对光线的转换得到的亮点对深度的计算没有影响。
本申请实施例中可以减少红外投射器101中的准直镜。即本申请实施例中的红外投射器101可以不包括准直镜，仅包括红外光源和doe。准直镜的作用是让vcsel发出的光线通过准直镜之后，光线接近平行光；这样，在有准直镜的情况下，光线通过doe之后，会造成光斑直径小，对比度高(即光斑区域的亮度高，而非光斑区域的亮度低)。由此，在可见光的强度很低时或者纯黑时(例如晚上)，投射器照射的第一对象，在没有斑点或光斑的区域，第一对象发黑或者看不见；因为有准直镜的投射器的光斑光线更汇聚，所以没有光斑的地方理论上是没有光的，或者只有微弱的环境光。若在红外投射器中去掉准直镜，则由于光线入射doe之前不是平行光，所以光斑的对比度低，非光斑区域仍然有部分的光线存在。没有准直镜的投射器，对投射器设计上来说是噪声，但是在本申请实施例中确可以提高测量深度信息的准确性。没有准直镜的投射器，可以在微弱可见光或者纯黑的情况下，在有光斑照射的第一对象的区域，第一对象可以被光斑照亮；在没有光斑照亮的区域，由于存在这种噪声，第一对象也会被相对较弱一点的光线照射，此时第一对象整体都是可见的。从而可以使得第一对象的特征更明显，便于提高深度信息测量的准确性。
doe用于利用傅里叶光学原理，将平行光转化成需要的光线输出形式，该输出形式可以为点，线，也可以是面。本申请实施例中，可以通过设置doe控制红外投射器发射带光斑的红外光。其中，光斑的形状、数量和排布均可以通过设置doe实现。
在一些实施例中，由于白天可见光比较强时，双通摄像头采集的图像信息中，带光斑的红外光照射在第一对象上形成的纹理特征几乎看不到；因此，在白天可见光比较强(如2lux以上)时，上述红外投射器101可以不开启。这种情况下，电子设备100在识别两个图像信息中相同的特征时，可以根据第一对象本身的特征来判断。
具体的，红外投射器101发射的红外光可以包括多个光斑。该多个光斑可以包括多个散斑点阵组。多个散斑点阵组中的第一散斑点阵组中包括一个或多个散斑点阵。第一散斑点阵组为多个散斑点阵组中的任意一个。散斑点阵是多个散斑组成。请参考图4，其示出本申请实施例提供的多个散斑点阵的实例示意图。例如，图4所示的散斑点阵401是由多个圆形散斑组成的散斑点阵。
在一些实施例中，多个散斑点阵中的第一散斑点阵中的多个散斑的形状可以相同。第一散斑点阵为多个散斑点阵中的任意一个。例如，图4所示的散斑点阵401、散斑点阵402、散斑点阵403、散斑点阵404和散斑点阵408中的散斑都是圆形的。图4所示的散斑点阵405中的散斑都是矩形的。
在另一些实施例中，一个散斑点阵中的多个散斑中至少两个散斑的形状不同。例如，图4所示的散斑点阵406中包括圆形的散斑和矩形的散斑。图4所示的散斑点阵407中包括多个形状不同的散斑。
需要注意的是，不同的散斑点阵的形状可以不同。例如，图4所示的散斑点阵401是矩形的散斑点阵、散斑点阵402是三角形的散斑点阵、散斑点阵403是一种八边形的散斑点阵，散斑点阵404是另一种八边形的散斑点阵。由于散斑点阵401、散斑点阵402、散斑点阵403和散斑点阵404的形状不同，因此散斑点阵401、散斑点阵402、散斑点阵403和散斑点阵404是不同的散斑点阵。
不同的散斑点阵中，散斑数量、散斑的形状、散斑点阵的形状中的至少一项不同。例如，虽然图4所示的散斑点阵401和散斑点阵408的形状相同；但是，散斑点阵401和散斑点阵408中包括的散斑的数量不同(散斑点阵401比散斑点阵408中多一个散斑)。因此，散斑点阵401和散斑点阵408是不同的散斑点阵。例如，虽然图4所示的散斑点阵401和散斑点阵405的形状相同，且散斑点阵401和散斑点阵405中包括的散斑的数量相同；但是，散斑点阵401中的散斑的形状(圆形)与散斑点阵405中的散斑的形状(矩形)不同。因此，散斑点阵401和散斑点阵405是不同的散斑点阵。又例如，虽然图4所示的散斑点阵402和散斑点阵404中包括的散斑的形状相同，且这两个散斑点阵包括的散斑的数量也相同；但是，散斑点阵402的形状(三角形)与散斑点阵404的形状(八边形)不同。因此，散斑点阵402和散斑点阵404是不同的散斑点阵。
其中，图4仅以举例方式给出部分散斑点阵的实例示意图。红外光中的多个光斑中的散斑点阵包括但不限于图4所示的散斑点阵。
在一些实施例中，上述多个光斑中包括多个相同的散斑点阵组。每个散斑点阵组中包括一个散斑点阵。例如，假设红外投射器101发射的红外光中带图5所示的多个光斑501。该多个光斑501中包括多个相同的散斑点阵组502。该散斑点阵组502中包括一个散斑点阵401。又例如，假设红外投射器101发射的红外光中带图5所示的多个光斑503。该多个光斑503中包括多个相同的散斑点阵组504。该散斑点阵组504中包括一个散斑点阵407。
在另一些实施例中，上述多个光斑中包括多个相同的散斑点阵组。每个散斑点阵组中包括多个散斑点阵。该多个散斑点阵中的至少两个散斑点阵不同。
例如，假设红外投射器101发射的红外光中带图6a所示的多个光斑601。该多个光斑601中包括多个相同的散斑点阵组602。该散斑点阵组602中包括散斑点阵402和散斑点阵404。散斑点阵402和散斑点阵404不同。
又例如，假设红外投射器101发射的红外光中带图6b所示的多个光斑603。该多个光斑603中包括多个相同的散斑点阵组604。该散斑点阵组604中包括两个散斑点阵401和两个散斑点阵403。散斑点阵401和散斑点阵403不同。
又例如，假设红外投射器101发射的红外光中带图6c所示的多个光斑605。该多个光斑605中包括多个相同的散斑点阵组606。该散斑点阵组606中包括散斑点阵404、散斑点阵408、散斑点阵406和散斑点阵407。散斑点阵404、散斑点阵408、散斑点阵406，以及散斑点阵407两两不相同。
在另一些实施例中，上述多个光斑中包括多个散斑点阵组。该多个散斑点阵组中包括至少两个不同的散斑点阵组。例如，假设红外投射器101发射的红外光中带图7a所示的多个光斑701。该多个光斑701中包括多个不同的散斑点阵组，如散斑点阵组602、散斑点阵组604和散斑点阵组606。
在另一些实施例中，上述多个光斑中包括多个形状不同的散斑。该多个形状不同的散斑随机排布。例如，如图7b所示，多个光斑702中包括多个形状不同的散斑。
需要注意的是，图5、图6a、图6b、图6c或者图7a仅以举例方式给出红外光中的多个光斑的实例示意图。红外光中的多个光斑中的散斑点阵的数量不限于图5、图6a、图6b、图6c或者图7a所示的散斑点阵的数量。
一般而言，红外发射器101发射的红外光中带的散斑的数量在3千个左右。当然，如果红外发射器101发射的红外光中带的散斑的数量越大，该红外光照射在第一对象上为第一对象增加的特征则越多，则越有利于电子设备100计算第一对象的深度信息。例如，当红外发射器101发射的红外光中带的散斑的数量在7千左右时，电子设备100计算的第一对象的深度信息相比于散斑的数量在3千左右时电子设备100计算的第一对象的深度信息更加准确。
可以理解，当红外发射器101发射的红外光中的散斑点阵组周期性重复时，红外光照射在第一对象上形成的纹理特征也是重复的。本申请实施例中，散斑点阵的重复频率可以通过预设面积中出现同一个散斑点阵的数量来表征。预设面积中出现同一个散斑点阵组的数量越多，散斑点阵的重复频率则越高，散斑点阵的重复周期则会比较小。如此，容易造成电子设备100识别第一摄像头102采集的图像信息和第二摄像头103采集的图像信息中相同的特征时的特征匹配错误。其中，本申请实施例中的特征匹配是指：将第一摄像头102采集的图像信息和第二摄像头103采集的图像信息中相同的特征识别出来。预设面积中出现同一个散斑点阵组的数量越少，散斑点阵的重复频率则越低，散斑点阵的重复周期则会比较大。
其中，散斑点阵的重复周期反应在图像上则是相同的两个散斑点阵之间的最短距离。示例性的，两个散斑点阵之间的距离可以为这两个散斑点阵的中心点之间的距离。例如，如图7c所示，多个光斑703中包括多个重复的散斑点阵组，如散斑点阵组704、散斑点阵组705和散斑点阵组706。其中，散斑点阵组704、散斑点阵组705和散斑点阵组706相同。点k1是散斑点阵组704中的散斑点阵707的中心点。点k2是散斑点阵组705中的散斑点阵708的中心点。点k3是散斑点阵组706中的散斑点阵709的中心点。图7c所示的散斑点阵的重复周期可以用点k1与点k2之间的距离和点k1与点k3之间的距离中最短的距离来表征。由于点k1与点k2之间的距离短于点k1与点k3之间的距离；因此，图7c所示的散斑点阵的重复周期可以由点k1与点k2之间的距离来表征。
本申请实施例中，散斑点阵的重复频率越小，则红外光照射在第一对象上形成的纹理特征的重复性则越低，电子设备100计算得到的第一对象的深度信息越准确。
其中，电子设备100是根据三角定位原理，采用公式
为了保证红外投射器101发射的带光斑的红外光可以照射在第一对象上，并且，照射了带光斑的红外光的第一对象可以被第一摄像头102和第二摄像头103拍摄到；本申请实施例中，红外投射器101的视场角(fieldofview，fov)的覆盖范围、第一摄像头102的fov的覆盖范围，以及第二摄像头103的fov的覆盖范围三者部分重叠或者全部重叠。fov的大小可以表征光学仪器(如摄像头)的视野范围。
其中，红外投射器101、第一摄像头102，以及第二摄像头103，这三者的fov的覆盖范围的重叠区域越大，第一摄像头102和第二摄像头103采集的上述纹理特征则越多。为了使得红外投射器101、第一摄像头102，以及第二摄像头103的fov的覆盖范围的重叠区域较大，如图1a所示，上述红外投射器101可以设置在第一摄像头102和第二摄像头103之间。
可以理解，第一摄像头102和第二摄像头103之间的距离(即第一长度)也会影响上述重叠区域的大小。例如，第一长度较大，第一摄像头102和第二摄像头103的fov的覆盖范围的重叠区域则越小。但是，第一长度如果过于小，第一摄像头102和第二摄像头103对第一对象上各个特征的视差也会很小，接近于零。因此，上述第一长度不能过大或者过小。第一长度过大或者过小，都会影响电子设备100计算得到的深度信息的准确度。
通过实验得出：当第一长度t为20mm～30mm的任一长度时，电子设备100计算得到的深度信息的准确度较高。因此，本申请实施例中，第一长度t可以为20mm～30mm的任一长度。例如，第一长度t可以为29.5mm。需要说明的是，如何设置两个摄像头之间的距离可能会受摄像头参数的影响，由此上述第一长度t为20mm～30mm仅作为一个举例。
上述红外投射器101发射带光斑的红外光后，如果要求第一摄像头102和第二摄像头103可以采集到包括光斑的图像信息，那么则要求第一摄像头102和第二摄像头103可以接收红外光。例如，第一摄像头102和第二摄像头103可以用于接收890nm～990nm的红外光，如940nm的红外光。
由上述描述可知：本申请实施例中要求第一摄像头102和第二摄像头103可以感知红外光(即接收红外光)。但是，普通的rgb摄像头只能感知可见光，无法感知红外光；而在电子设备100中配置具备感知红外光功能的红外摄像头的成本较高，且红外摄像头的使用会增大电子设备100的功耗。
为了降低电子设备100的硬件成本，降低电子设备100的功耗，本申请实施例可以对普通的rgb摄像头进行改进，得到可以感知红外光的第一摄像头102和第二摄像头103。
请参考图8中的(a)，其示出本申请实施例提供的一种普通的rgb摄像头模组的结构示意图。其中，如图8中的(a)所示，本申请实施例这里以rollingshutter摄像头为例，对本申请实施例中改进普通的rgb摄像头得到第一摄像头102和第二摄像头103的方式进行说明：
如图8中的(a)所示，rgb摄像头模组800可以包括3p镜头、滤光片(也称滤镜)804和传感器(sensor)805。其中，3p镜头是指rgb摄像头中包括3片透镜：透镜801、透镜802和透镜803。传感器805可以为2m的传感器。2m是指rgb摄像头成像的最高分辨率可以达到200万像素。
为了使得图8中的(a)所示rgb摄像头模组800既可以感知可见光，又可以感知红外光，可以对图8中的(a)所示的rgb摄像头模组800做出如下改进：对图8中的(a)所示的rgb摄像头模组800的每个透镜(如透镜801、透镜802和透镜803)的双面上镀增透膜，得到图8中的(b)所示的透镜801、透镜802和透镜803；在滤光片804上镀截止镀层，得到图8中的(b)所示的滤光片804。本申请实施例中，对rgb摄像头模组800中的传感器805可以不作改进。本申请实施例中，可以在滤光片804的双面镀截止镀层；或者，可以在滤光片804的单面镀截止镀层。
需要注意的是，为了使得第一摄像头102和第二摄像头103可以感知红外投射器101发射的红外光，该第一摄像头102和第二摄像头103要具备感知红外投射器101发射的红外光的能力。因此，上述增透膜可以为上述红外投射器101发射的红外光的波长对应的增透膜。例如，该增透膜可以为890nm～990nm的红外光的增透膜，如940nm的红外光的增透膜。
为每个透镜(如透镜801、透镜802和透镜803)的两个面镀上述增透膜，可以提高透镜801、透镜802和透镜803对红外投射器101发射的红外光的感知能力，使得透镜801、透镜802和透镜803可以尽可能的接收红外投射器101发射的红外光。
上述截止镀层可以用于滤去红外投射器101发射的红外光和可见光之外的其他光线，并增加上述红外光的透过率。
例如，上述截止镀层可以用于滤去波长为850nm的红外光。可以理解，由于波长为850nm的红外光存在明显的红光特性，可能会出现严重的红曝现象；因此，通过上述截止镀层滤去波长为850nm的红外光，可以减少出现红曝现象的可能性。其中，红曝现象是指一种滤光不干净的问题。例如，有时可能会希望只使用红外光(即红外线)照明，则可以在光源加上滤镜过滤红外线之外的其他光线。此时，可能会因为滤光不干净而导致少量红外光还是可以被人眼看到，这种现象称为红曝现象。
本申请实施例中改进的普通rgb摄像头包括但不限于上述rollingshutter摄像头。改进rollingshutter摄像头得到上述第一摄像头的原因在于：rollingshutter摄像头的曝光是逐行进行的，成本较低。本申请实施例中，改进rollingshutter摄像头得到上述第一摄像头102和第二摄像头103，可以进一步降低成本。
s203、电子设备100根据第一图像信息和第二图像信息、第一长度和镜头焦距，计算第一对象的深度信息。
其中，由上述公式
第一长度t和镜头焦距f是第一摄像头102和第二摄像头103的硬件参数。第一长度t和镜头焦距f是固定不变的。那么，第一对象的每一个点的深度z的大小则取决于第一摄像头102与第二摄像头103对该点的视差d的大小。
例如，如图10a中的(a)所示，假设第一摄像头102是左侧的双通摄像头，第二摄像头13是右侧的双通摄像头。笑脸、三角形、圆柱体和月牙分别代表第一对象上的不同特征，笑脸、三角形、圆柱体和月牙所在位置与摄像头之间的距离逐渐变远。如图10a中的(b)所示，ol为第一摄像头102的位置，or为第二摄像头103的位置，ol与or之间的距离为t(即第一长度)。
如图10a中的(b)所示，第一摄像头102采集到图像a，第二摄像头103采集到图像b。月牙在以ol(图像a的左上角)为原点的坐标系(简称坐标系l)的x轴的坐标为xl1，圆柱体在坐标系l的x轴的坐标为xl2，三角形在坐标系l的x轴的坐标为xl3，笑脸在坐标系l的x轴的坐标为xl4。月牙在以or(图像b的左上角)为原点的坐标系(简称坐标系r)的x轴的坐标为xr1，圆柱体在坐标系r的x轴的坐标为xr2，三角形在坐标系r的x轴的坐标为xr3，笑脸在坐标系r的x轴的坐标为xr4。
其中，第一摄像头102和第二摄像头103对月牙的视差为d1，d1＝xl1-xr1。第一摄像头102和第二摄像头103对圆柱体的视差为d2，d2＝xl2-xr2。第一摄像头102和第二摄像头103对三角形的视差为d3，d3＝xl3-xr3。第一摄像头102和第二摄像头103对笑脸的视差为d4，d4＝xl4-xr4。
本申请实施例这里以图10a中的(b)所示的笑脸为例，对第一摄像头102和第二摄像头103对笑脸的视差d4(d4＝xl4-xr4)进行说明：
如图10b所示，第一摄像头102采集的笑脸在图像a的坐标系中的坐标为(xl4，y)，第二摄像头103采集的笑脸在图像b的坐标系中的坐标为(xr4，y)。其中，如图10b所示，坐标(xl4，y)与坐标(xr4，y)在x轴上相差d4，d4＝xl4-xr4，即第一摄像头102和第二摄像头103对笑脸的视差d4＝xl4-xr4。
其中，d1<d2<d3<d4。由于第一对象的每一个特征(即特征所在点)的深度z与第一摄像头102与第二摄像头103对该点的视差d成反比；因此，可以得出如图10c所示的视差d与深度z的关系示意图。如图10c所示，随着视差d的逐渐增大，深度z逐渐变小。
综上所述，电子设备100可以先计算出第一摄像头102与第二摄像头103对第一对象上一个特征的视差d，然后根据该特征的视差d、第一长度t和镜头焦距f，计算该特征所在点的深度z；然后由多个点的深度得到第一对象的深度信息。具体的，如图9所示，图2所示的s203可以包括s203a-s203b：
s203a、电子设备100计算第一摄像头102与第二摄像头103对第一图像信息和第二图像信息中的多个第一特征的视差。第一特征是第一图像信息和第二图像信息中相同的特征。
其中，红外发射器101发射的带光斑的红外光照射在第一对象上可以增加第一对象的纹理特征。例如，假设第一对象为图11中的(a)所示的人脸1101，红外发射器101发射图11中的(b)所示的红外光1102中包括图7c所示的光斑。红外发射器101发射的红外光1102照射在人脸1101上之后，可以得到图11中的(c)所示的照射有光斑的人脸1103。相比于人脸1101，照射有光斑的人脸1103上的特征纹理较多。
不同的是，第一摄像头102采集的人脸1103的图像信息(即第一图像信息)和第二摄像头103采集的人脸1103的图像信息(即第二图像信息)中相同特征所在点在坐标系的x轴的位置不同，即第一摄像头102和第二摄像头103对有视差。
电子设备100可以识别第一摄像头102采集的第一图像信息和第二摄像头103采集的第二图像信息，确定出第一图像信息和第二图像信息中相同的特征。其中，第一图像信息和第二图像信息中相同的特征可以包括：第一对象本身的特征和带光斑的红外光照射在第一对象上形成的纹理特征。也就是说，本申请实施例中，电子设备100在识别第一图像信息和第二图像信息中相同的特征时，不仅可以识别第一图像信息和第二图像信息中第一对象本身相同的特征，还可以识别第一图像信息和第二图像信息中带光斑的红外光照射在第一对象上形成的纹理特征中相同的特征。即，在识别两个图像信息中相同的特征时，可以根据第一对象本身的特征或纹理特征来判断，也可以结合这两者一起判断。例如：若单独根据第一对象本身的特征或者单独根据纹理特征就能够判断，则无需两者结合。或者，当根据第一对象本身的特征无法或者不容易判断是否为相同特征时，可以根据纹理特征结合第一对象本身的特征一起来判断是否为相同特征。
例如，白天可见光比较强时，第一摄像头102和第二摄像头103采集的图像信息中，带光斑的红外光照射在第一对象上形成的纹理特征几乎看不到。但是，因为可见光比较强，那么可见光照射在第一对象上使得该第一对象本身的特征比较明显。在这种情况下，电子设备100在识别两个图像信息中相同的特征时，可以根据第一对象本身的特征来判断。
需要注意的是，虽然上述散斑点阵中散斑的形状可以相同(如散斑点阵包括多个圆点)，但是每个散斑在散斑点阵中的位置不同。因此，电子设备100可以根据散斑点阵和散斑在散斑点阵中的位置识别出第一图像信息和第二图像信息中相同形状的散斑所代表的相同特征。
在一些实施例中，上述多个第一特征包括第一图像信息和第二图像信息中所有相同的特征。电子设备100可以识别出第一图像信息和第二图像信息中所有相同的特征，然后针对每一个特征，执行s203b计算其深度，得到第一对象的深度信息。
在另一些实施例中，上述多个第一特征是第一图像信息和第二图像信息中相同的特征中的部分特征。在该实施例中，电子设备100可以按照预设的特征频率，从第一图像信息中选择出多个第一特征，然后查找第二图像信息中与该多个第一特征相同的特征；最后，针对每一个第一特征，执行s203b计算其深度，得到第一对象的深度信息。
其中，上述特征频率可以为相同的两个第一特征在预设面积中出现的数量。上述特征频率反应在图像上可以为电子设备100选择的相邻的两个第一特征之间的距离(称为特征距离)。电子设备100可以按照预设的特征频率，从第一图像信息中选择出多个第一特征的方法可以包括：电子设备100从第一图像信息中的所有特征中，每间隔一个特征距离选择出一个第一特征。或者，电子设备100也可以随机或间隔从第一图像信息中选择出部分第一特征。
换言之，电子设备100不需要计算第一图像信息和第二图像信息中相同的特征中每一个特征所在点的深度，而是每间隔一个特征距离选择一个特征，计算选择出的特征所在点的深度。
示例性的，本申请实施例这里以第一图像信息和第二图像信息中带光斑的红外光照射在第一对象上形成的纹理特征为例，对上述周期特征进行说明。
如图12所示，上述特征距离可以为散斑1201与散斑1202之间的距离，或者散斑1202与散斑1204之间的距离，或者散斑1204与散斑1203之间的距离，或者散斑1201与散斑1203之间的距离。如图12所示，本申请实施例采用将散斑标黑的方式，示出带光斑的红外光照射在第一对象上形成的纹理特征中的部分第一特征。即图12所示的标黑的散斑为部分第一特征。
其中，一些散斑点阵中的散斑的形状可以相同(如散斑点阵包括多个圆点)。虽然电子设备100可以根据散斑在散斑点阵中的位置区分出不同的散斑；但是，电子设备100根据散斑在散斑点阵中的位置区分出不同的散斑需要较长时间，并且会浪费电子设备100的功耗。电子设备100在选择上述第一特征时所采用的特征距离可以小于或者等于上述多个光斑中散斑点阵的重复周期。即上述特征频率大于或者等于上述多个光斑中散斑点阵的重复频率。这样，可以保证电子设备100从第一图像信息中选择出的相邻的两个第一特征对应不同的散斑点阵中的散斑，有利于电子设备100可以区分出该相邻的两个第一特征，可以降低特征匹配错误的可能性，提升电子设备100计算得到的深度信息的准确度。
s203b、电子设备100针对每个第一特征，根据第一摄像头102与第二摄像头103对第一特征的视差d、第一长度t和镜头焦距f，采用公式(2)计算第一特征所在点的深度，得到第一对象的深度信息。
其中，上述公式(2)为
本申请实施例中，电子设备100可以通过红外投射器101发射带光斑的红外光。这样，第一摄像头102和第二摄像头103采集的第一对象的图像则不仅可以包括第一对象的特征，还包括带光斑的红外光照射在第一对象上形成的纹理特征。即可以增加第一摄像头102和第二摄像头103采集的第一对象的图像的特征。增加第一摄像头102和第二摄像头103采集的第一对象的图像的特征后，电子设备100便可以更加准确识别出第一摄像头102采集的图像信息和第二摄像头103采集的图像信息中相同的特征，进而确定出第一摄像头102和第二摄像头103对该相同的特征的视差，从而计算出每个特征所在点的深度，得到第一对象的深度信息，可以提高电子设备100计算第一对象的深度信息的准确度。
需要说明的是，前述各实施例中以第一摄像头102的镜头焦距和第二摄像头103的镜头焦距相同为例进行说明。而在其它实施方式中，第一摄像头102的镜头焦距和第二摄像头103的镜头焦距也可以不同。当这两个摄像头的镜头焦距不同时，修改前述计算深度z的公式来计算计算深度。具体的计算公式可以采用现有技术中的公式。
s204、电子设备100采用第一图像信息和第一对象的深度信息，对第一对象进行用户身份校验。
进一步的，电子设备100采用第一图像信息和第一对象的深度信息，对第一对象进行用户身份校验之前，电子设备100可以先判断该第一图像信息是否包括人脸图像。例如，如图1f所示，电子设备100可以执行人脸识别ta214中的人脸检测。如果第一图像信息包括人脸图像，电子设备100则可以执行s204。如果第一图像信息不包括人脸图像，则采用该第一图像信息进行的用户身份校验不会通过，电子设备100则可以重新采集第一对象的图像信息；而不是继续采用该第一图像信息进行用户身份校验。这样，可以减少电子设备100的计算量，降低电子设备100的功耗。
其中，电子设备100可以通过关键点定位的方式，判断第一图像信息是否包括人脸图像。例如，上述关键点可以包括与人的鼻子、嘴巴和眼睛等器官的特征匹配的特征。即电子设备100可以通过判断第一图像信息中是否包括人的鼻子、嘴巴和眼睛等器官的图像特征，来确定第一图像信息是否包括人脸图像。
进一步的，如果第一图像信息包括人脸图像，电子设备100可以在进行用户身份校验之前，判断该第一图像信息中人脸图像所展示的人脸的姿态是否满足预设要求。例如，该预设要求可以为第一图像信息中人脸图像所展示的人脸的姿态是人脸正面或者与正面之间的角度小于一定值的侧面。一般而言，电子设备100中保存的用于进行人脸识别的二维图像时，都是录入人脸正面或者与正面之间的角度小于一定值的多个侧面的图像。因此，电子设备100采用满足上述预设要求的二维图像进行的用户身份校验才可能会通过。在这种情况下，电子设备100可以执行s204。
如果第一图像信息中人脸图像所展示的人脸的姿态不满足预设要求，那么采用该第一图像信息进行的用户身份校验不会通过。在这种情况下，电子设备100则可以重新采集第一对象的图像信息；而不是继续采用该第一图像信息进行用户身份校验。这样，可以减少电子设备100的计算量，降低电子设备100的功耗。
进一步的，电子设备100采用第一图像信息和第一对象的深度信息对第一对象进行用户身份校验之前，还可以判断上述第一图像信息的图像质量是否高于或者等于第二质量阈值。如果第一图像信息的图像质量高于或者等于第二质量阈值，电子设备100则可以执行s204。如果第一图像信息的图像质量低于第二质量阈值，则采用该第一图像信息进行的用户身份校验不会通过，电子设备100则可以重新采集第一对象的图像信息；而不是继续采用该第一图像信息进行用户身份校验。这样，可以减少电子设备100的计算量，降低电子设备100的功耗。
在一些实施例中，电子设备100进行的人脸识别可以包括两项内容：二维图像认证和深度防伪认证。例如，如图1f所示，人脸识别ta214中不仅包括特征提取和特征比对(即二维图像认证)，还包括活体检测(如深度防伪认证)。具体的，如图13所示，图2所示的s204可以包括s1301-s1304：
s1301、电子设备100对比第一图像信息与原始图像。
其中，原始图像是电子设备100中保存的用于进行用户身份校验的二维图像。例如，原始图像可以为图1f所示的rpmb215中的人脸模板。电子设备100可以对比第一图像信息与图1f所示的rpmb215中的人脸模板，判断第一图像信息与该人脸模板是否匹配。
在一些实施例中，电子设备100可以执行图1f中的人脸识别ta214中的特征提取操作，提取第一图像信息中的人脸特征。相应的，图1f所示的rpmb215中的人脸模板可以包括电子设备100录入的原始图像的人脸特征。电子设备100可以对比从第一图像信息中提取的人脸特征对比图1f所示的rpmb215中的人脸模板，判断提取的人脸特征与该人脸模板是否匹配。
具体的，如果第一图像信息与原始图像匹配，则表示第一图像信息包括电子设备100录入原始图像时对应的对象(即第二对象)的二维图像。在这种情况下，电子设备100可以对第一对象的深度信息进行深度防伪认证，即电子设备100可以执行s1302。
如果第一图像信息与原始图像不匹配，则表示第一图像信息不包括第二对象的二维图像。在这种情况下，电子设备100可以确定用户身份校验未通过，电子设备100可以执行s1304。
s1302、电子设备100判断第一对象的深度信息是否具备真实人脸的深度特征。
其中，电子设备100执行s203得到的深度图为包括第一对象(如人脸)的深度信息的深度图。该深度图中除了第一对象的深度信息之外，还包括背景的深度信息。电子设备100可以从该深度图中标注出人脸特征的深度。电子设备100可以判断标注出的多个人脸特征的深度(即第一对象的深度信息)该多个人脸特征的深度是否具备真实人脸的深度特征。
或者，电子设备100可以从深度图中提取出人脸特征的深度，得到人脸的深度图。该人脸的深度图中包括多个人脸特征的深度(即第一对象的深度信息)。然后，电子设备100可以判断该多个人脸特征的深度是否具备真实人脸的深度特征。
其中，如果第一对象的深度信息具备真实人脸的深度特征，则表示电子设备100拍摄的第一对象是真实人脸，而不是上述包括人脸二维图像的照片，电子设备100可以确定用户身份校验通过。在这种情况下，电子设备100可以执行s1303。
如果第一对象的深度信息不具备真实人脸的深度特征，则表示电子设备100拍摄的第一对象不是真实人脸。该第一对象可能是包括人脸二维图像的照片。在这种情况下，电子设备100可以确定用户身份校验未通过，电子设备100可以执行s1304。
s1303、电子设备100显示用户身份校验通过后的图形用户界面。
示例性的，在人脸解锁场景中，电子设备100执行s1303可以显示电子设备100解锁后的图形用户界面。例如，当电子设备100是手机时，上述用户身份校验通过后，手机可以显示手机的主界面(即桌面)，该主界面包括手机中安装的多个应用的图标，或者手机可以显示被锁定之前显示的界面。在人脸支付场景中，电子设备100执行s1303可以显示支付成功的图形用户界面。例如，如图3中的(c)所示，如果用户身份校验通过，电子设备100可以显示支付成功界面304。该支付成功界面304中包括提示信息“订单支付成功！”305。
s1304、电子设备100发出第二提示信息。该第二提示信息用于提示用户身份校验未通过。
在一些实施例中，上述第二提示信息可以为语音提示信息、文字提示信息和震动提示中的一项或者多项。例如，如图3中的(d)所示，如果用户身份校验未通过，电子设备100可以发出第二提示信息“面部识别失败，请使用正确的人脸进行识别！”306。
需要注意的是，电子设备100执行s1301和s1302的先后顺序可以由图1f所示的人脸识别进程205中的人脸识别ca确定。图1f所示的人脸识别进程205中的人脸识别ca可以随机确定电子设备100执行s1301和s1302的先后顺序。或者，电子设备100执行s1301和s1302的先后顺序可以预先配置在电子设备100中。
在另一些实施例中，电子设备100对执行s1301和s1302的先后顺序不做限制。例如，电子设备100可以先执行s1302。在s1302之后，如果第一对象的深度信息不具备真实人脸的深度特征，则执行s1304；如果第一对象的深度信息具备真实人脸的深度特征，则执行s1301。在s1301之后，如果第一图像信息与原始图像匹配，则执行s1303；如果第一图像信息与原始图像不匹配，则执行s1304。
又例如，电子设备100可以同时进行s1301和s1302。在该实施例中，如果第一图像信息与原始图像匹配，且第一对象的深度信息具备真实人脸的深度特征，电子设备100可以执行s1303。如果第一图像信息与原始图像不匹配，或者第一对象的深度信息不具备真实人脸的深度特征，电子设备100可以执行s1304。
本申请实施例提供一种人脸识别方法，电子设备100在进行人脸识别时，不仅要判断对象的二维图像是否与电子设备100中保存的用于进行人脸识别的人脸二维图像匹配，还要判断该对象的深度信息是否具备真实人脸的深度特征，即判断该对象的二维图像是否为真实人脸的图像。由于照片的深度信息不具备真实人脸的深度特征；因此，执行本申请实施例的方法，使用上述照片在电子设备100中进行的用户身份校验不会通过，从而可以避免电子设备的信息被泄露或者可以避免给用户带来财产损失，可以保护电子设备的信息安全，提升电子设备的安全性能。
上述第一对象可能是第二对象的头模。该第二对象是：电子设备100录入用于进行人脸识别的二维图像(原始图像)时该电子设备100拍摄的对象。即原始图像是第二对象的二维图像。由于第二对象的头模的深度信息与第二对象(如真实人脸)的深度信息的相似度较高；因此，通过上述二维图像认证和深度防伪认证，电子设备100可能并不能识别出该第一对象不是真实人脸。
基于这种情况，在另一些实施例中，电子设备100进行的人脸识别不仅可以包括二维图像认证和深度防伪认证这两项内容，还可以包括红外防伪认证。例如，图1f所示的活体检测不仅包括深度防伪认证，还包括红外防伪认证。
红外防伪认证的原理为：头模和真实人脸在红外光照射下的图像有很大差异。本申请实施例可以采用这个特性，对上述第一图像信息进行红外防伪认证。
示例性的，如图14所示，在图13所示的s1302之后，本申请实施例的方法还可以包括s1401。在s1401之后，本申请实施例的方法还可以包括s1303或s1304。
s1401、电子设备100判断第一图像信息中的特征是否与真实人脸在红外光照射下的特征匹配。
如果第一图像信息中的特征与真实人脸在红外光照射下的特征匹配，则表示电子设备100拍摄的第一对象是真实人脸，而不是上述包括人脸二维图像的照片，电子设备100可以确定用户身份校验通过。在这种情况下，电子设备100可以执行s1303。
如果第一图像信息中的特征与真实人脸在红外光照射下的特征不匹配，则表示电子设备100拍摄的第一对象不是真实人脸。该第一对象可能是包括头模。在这种情况下，电子设备100可以确定用户身份校验未通过，电子设备100可以执行s1304。
在一些实施例中，rpmb215中的人脸模板是第三摄像头104(即rgb摄像头)采集的rgb图像。在这种情况下，s1301和s1401中的第一图像信息可以替换为rgb图像。
需要注意的是，电子设备100执行s1301、s1302和s1401的先后顺序可以由图1f所示的人脸识别进程205中的人脸识别ca确定。图1f所示的人脸识别进程205中的人脸识别ca可以随机确定电子设备100执行s1301、s1302和s1401的先后顺序。或者，电子设备100执行ss1301、s1302和s1401的先后顺序可以预先配置在电子设备100中。
在另一些实施例中，电子设备100对执行s1301、s1302和s1401的先后顺序不做限制。例如，电子设备100可以先执行s1302。在s1302之后，如果第一对象的深度信息不具备真实人脸的深度特征，则执行s1304；如果第一对象的深度信息具备真实人脸的深度特征，则执行s1301。在s1301之后，如果第一图像信息与原始图像不匹配，则执行s1304；如果第一图像信息与原始图像匹配，则执行1401。在s1401之后，如果第一图像信息中的特征与真实人脸在红外光照射下的特征匹配，则执行s1303；如果第一图像信息中的特征与真实人脸在红外光照射下的特征不匹配，则执行s1304。
又例如，电子设备100可以先执行1401。在s1401之后，如果第一图像信息中的特征与真实人脸在红外光照射下的特征不匹配，则执行s1304；如果第一图像信息中的特征与真实人脸在红外光照射下的特征匹配，则执行s1301。在s1301之后，如果第一图像信息与原始图像不匹配，则执行s1304；如果第一图像信息与原始图像匹配，则执行1302。在s1302之后，如果第一对象的深度信息具备真实人脸的深度特征，则执行s1303；如果第一对象的深度信息不具备真实人脸的深度特征，则执行s1304。
在另一些实施例中，电子设备100可以同时进行s1301、s1302和s1401。在该实施例中，如果第一图像信息与原始图像匹配，第一对象的深度信息具备真实人脸的深度特征，且第一图像信息中的特征与真实人脸在红外光照射下的特征匹配，电子设备100可以执行s1303。如果第一图像信息与原始图像不匹配，或者第一对象的深度信息不具备真实人脸的深度特征，或者第一图像信息中的特征与真实人脸在红外光照射下的特征不匹配，电子设备100可以执行s1304。
本申请实施例中，电子设备100可以通过上述二维图像识别、深度防伪认证和红外防伪认证三重识别的方式，进行用户身份校验。执行本身实施例的方法，使用上述照片和头模在电子设备中进行的用户身份校验不会通过，从而可以避免电子设备的信息被泄露或者可以避免给用户带来财产损失，可以保护电子设备的信息安全，提升电子设备的安全性能。
可以理解，电子设备100在执行上述s201-s204之前，可以录入用于进行用户身份校验的二维图像(即原始图像)。在上述s201之前，本申请实施例的方法还可以包括s1501。例如，如图15所示，在s201-s204之前，本申请实施例的方法还可以包括s1501：
s1501、电子设备100响应于第二指令，显示第一界面。第一界面用于录入用于进行用户身份校验的二维图像。
在一些实施例中，电子设备100可以在电子设备100第一次开机时，显示上述第一界面，以引导用户录入用于进行用户身份校验的二维图像。
在另一些实施例中，电子设备100可以接收用户对“设置”应用图标的点击操作，显示设置界面；电子设备100可以接收用户对设置界面中的安全选项的点击操作(如单击操作)。在不同品牌和型号的电子设备中，该安全选项的名称不同。例如，上述安全选项可以称为“人脸密码”选项或者“面部识别”选项等。例如，如图16中的(a)所示，电子设备100可以显示设置界面1601。该设置界面1601中包括“人脸密码”选项1602(即上述安全选项)。当然，设置界面1601还可以包括“飞行模式”选项、“蓝牙”选项、“移动网络”选项、“数字密码”选项和“指纹密码”选项等。这些选项的功能可以参考常规技术中对电子设备的设置界面中对应选项的描述，本申请实施例这里不予赘述。
响应于用户对设置界面中的安全选项的点击操作(如单击操作)，电子设备100可以显示密码输入界面。该密码输入界面用于输入数字密码(即电子设备100的锁屏密码)。在该数字密码验证通过(即电子设备100接收到正确的锁屏密码)后，电子设备100才可以显示人脸密码的设置界面。例如，如图16中的(b)所示，电子设备100可以显示密码输入界面1603。如果电子设备100接收到用户在密码输入界面1603输入的数字密码，且该数字密码验证通过，电子设备100则可以显示图16中的(c)所示的人脸密码的设置界面1604。
该人脸密码的设置界面1604包括“添加人脸数据”选项1606。电子设备100可以接收用户对“添加人脸数据”选项1606的第二操作(如单击操作)，可以显示图17中的(a)所示的第一界面1701。该第一界面1701用于录入用于进行用户身份校验的二维图像。其中，如果电子设备100中曾经设置(即录入)过人脸密码，该人脸密码的设置界面1604还可以包括已录入的人脸密码的选项，如“人脸数据1”选项1605。
第一界面1701中可以包括人脸图像显示框1703。该人脸图像显示框1703用于显示第三摄像头104采集的人脸图像。第一界面1701中还可以包括用于提示用户在明亮的光线下录入人脸，并提示用户录入人脸时注意人脸与电子设备100的角度的提示信息，如“请保持脸部在明亮的光线下，并正面面对手机！”1702。
可以理解，如果电子设备100接收到上述第二操作(如用户对“添加人脸数据”选项1606的单击操作)，那么则表示用户可能有录入用于进行人脸识别的人脸数据(即人脸二维图像)的意愿。也就是说，该第二操作可以用于不仅可以触发电子设备100显示上述第一界面，还可以触发电子设备100执行第二事件(如开始录入人脸数据)。由于电子设备100执行该第二事件要使用第二对象的图像信息(包括第二对象的二维图像和深度信息)；因此，响应于上述第二操作，电子设备100可以获取到第二指令，该第二指令可以触发电子设备100显示第一界面，并获取第二对象的二维图像和深度信息。
在一些实施例中，电子设备100包括上述第一摄像头102和第二摄像头103。该第一摄像头102和第二摄像头103可以感知可见光。第一摄像头102可以作为主摄像头。电子设备100可以在该电子设备100的显示屏上显示该主摄像头采集的可见光下的图像信息。进一步的，第一摄像头102和第二摄像头103还可以感知红外光，以配合红外投射器101实现电子设备100对第一对象的深度信息的计算。其中，第一摄像头102和第二摄像头103可以具有相同的像素，也可以具有不同的像素。例如：第一摄像头102可以具有高像素，如1200m像素，而第二摄像头103可以具有低像素，如200m像素。当第一摄像头102可以具有高像素时，可以直接使用第一摄像头102进行拍照。需要说明的是，当两个摄像头具有相同的规格(包括像素相同)时，通过这两个摄像头获取的深度信息比较准确。
但是，由于第一摄像头102和第二摄像头103可以感知红外光；因此，电子设备100采集的第一对象的图像信息可以会出现偏红的现象。那么，电子设备100的显示屏显示的主摄像头(第一摄像头102或者第二摄像头103)采集的图像信息可能会出现偏红的现象，影响用户的视觉体验。对于偏红的图像，可以通过对图像进行调整和校正，达成正常拍照效果。
为了避免电子设备100的显示屏显示的图像信息会出现偏红的现象的问题，在另一些实施例中，电子设备100不仅可以包括上述第一摄像头102和第二摄像头103，还可以包括第三摄像头104。该第三摄像头104是rgb摄像头(即普通的rgb摄像头)。该第三摄像头104用于采集可见光下的图像信息。该第三摄像头104可以设置在第一摄像头102和第二摄像头103之间，也可以设置在其它位置。
在该实施例中，虽然第一摄像头102和第二摄像头103不仅可以感知可见光，还可以感知红外光；即第一摄像头102和第二摄像头103不仅可以采集红外光下的图像信息，还可以用于采集可见光下的图像信息；但是，第一摄像头102和第二摄像头103采集的图像信息，只用于计算被拍摄对象的深度信息。上述第三摄像头104用于采集可见光下的图像信息。该第三摄像头104采集的图像信息用于显示在电子设备100的显示屏上。如此，则可以避免电子设备100的显示屏显示的图像信息出现偏红的现象的问题，可以保证用户的视觉体验。具体的，s1501之后，本申请实施例的方法可以包括s1502：
s1502、响应于用户第二指令，电子设备100通过红外投射器101发射带光斑的红外光，通过第三摄像头104采集第二对象的rgb图像，通过第一摄像头102采集第二对象的第三图像信息，通过第二摄像头103采集第二对象的第四图像信息。
响应于上述第二指令，电子设备100可以开启红外投射器101，并开启并初始化第一摄像头102、第二摄像头103和第三摄像头104。电子设备100开启红外投射器101后，红外投射器101便可以发射带光斑的红外光。电子设备100开启并初始化第一摄像头102、第二摄像头103和第三摄像头104之后，第一摄像头102、第二摄像头103和第三摄像头104便可以采集对象(即第一对象)的图像信息。
响应于上述第二指令，电子设备100还可以启动环境光传感器105。环境光传感器105可以采集环境光的亮度，然后根据环境光的亮度调整电子设备的ae、af和awb参数。电子设备100可以将该ae、af和awb参数记录为初始化参数。电子设备100在执行s202时，可以采用该初始化参数初始化第一摄像头102和第二摄像头103。其中，如果摄像头(如第一摄像头102和第二摄像头103)两次采集图像时的初始化参数相同，那么则可以减少因为初始化参数不同导致两次采集的图像的差异较大而导致人脸识别失败的问题。
并且，如果环境光传感器105采集的环境光的亮度低于预设亮度值，电子设备100则可以发出第三提示信息。该第三提示信息用于提示用户在亮光环境下录入图像。
其中，上述第三图像信息包括第二对象的特征和带光斑的红外光照射在第二对象上形成的纹理特征。第四图像信息包括第二对象的特征和带光斑的红外光照射在第二对象上形成的纹理特征。
s1503、电子设备100显示包括rgb图像的第二界面。
其中，由于第三摄像头104不能感知红外光，并且rgb图像是第三摄像头104采集的图像；因此，电子设备104的第二界面包括的rgb图像不会出现偏红的现象，不会影响用户的视觉体验。例如，假设第三摄像头104采集的图像为图17中的(b)所示的人脸图像1704。如图17中的(b)所示，电子设备100可以在人脸图像显示框1703中显示人脸图像1704。
需要注意的是，本申请实施例中，电子设备100在录入人脸二维图像时，可以提示用户转动头部，以从不同的角度录入用户的人脸特征。例如，电子设备100可以录入正脸和头部转一圈形成“米”字形的8个俯仰、侧头方位的人脸特征。
s1504、电子设备100根据第三图像信息、第四图像信息、第一长度、以及第一摄像头的镜头焦距和第二摄像头的镜头焦距，计算第二对象的深度信息。
其中，电子设备100根据第三图像信息、第四图像信息、第一长度、以及第一摄像头的镜头焦距和第二摄像头的镜头焦距，计算第二对象的深度信息的方法，可以参考本申请实施例对s203的详细描述，本申请实施例这里不再赘述。
其中，本申请实施例对电子设备100执行s1503和s1504的先后顺序不做限制。例如，电子设备100可以先执行s1504，再执行s1503。例如，电子设备100也可以先执行1503，再执行s1504。例如，电子设备100还可以同时执行s1503和s1504。
s1505、电子设备100判断第二对象的深度信息是否具备真实人脸的深度特征。
其中，电子设备100判断第二对象的深度信息是否具备真实人脸的深度特征的方法，可以参考本申请实施例对s1302的详细描述，本申请实施例这里不再赘述。
在一些实施例中，如果第二对象的深度信息不具备真实人脸的深度特征，电子设备100可以确定用户身份校验未通过，电子设备100可以执行s1510。如果第一对象的深度信息具备真实人脸的深度特征，电子设备100可以确定用户身份校验通过，电子设备100可以执行s1507。
在另一些实施例中，电子设备100保存第三图像信息之前，不仅可以进行深度防伪认证，还可以进行红外防伪认证。例如，如图15所示，在s1505之后，如果第二对象的深度信息不具备真实人脸的深度特征，电子设备100可以确定用户身份校验未通过，电子设备100可以执行s1510；如果第一对象的深度信息具备真实人脸的深度特征，电子设备100则可以执行s1506。
s1506、电子设备100判断第三图像信息中的特征是否与真实人脸在红外光照射下的特征匹配。
其中，电子设备100判断第三图像信息中的特征是否与真实人脸在红外光照射下的特征匹配的方法，可以参考本申请实施例对s1401的详细描述，本申请实施例这里不再赘述。
具体的，如图15所示，如果第三图像信息中的特征与真实人脸在红外光照射下的特征匹配，电子设备100可以执行s1507。如果第三图像信息中的特征与真实人脸在红外光照射下的特征不匹配，则表示电子设备100拍摄的第一对象不是真实人脸，电子设备100可以执行s1508。
s1507、电子设备100保存第三图像信息。
其中，电子设备100保存的第三图像信息是用于进行用户身份校验的上述原始图像。
为了提升电子设备100的安全性能，保护原始图像不被窃取，电子设备100可以在电子设备的tee中保存第三图像信息。例如，如图1f所示，人脸模型保存在tee中。相应的，电子设备100可以在电子设备的tee中采用第一图像信息和第一对象的深度信息，对第一对象进行用户身份校验。例如，如图1f所示，isp211、深度计算模块213和人脸识别ta214等对安全性要求比较高，可以运行在tee中。
其中，如果第二对象的深度信息具备真实人脸的深度特征，且第三图像信息中的特征与真实人脸在红外光照射下的特征匹配，电子设备100可以人脸数据录入成功的提示信息。例如，如图17中的(c)所示，电子设备100可以显示提示信息“人脸数据录入成功！您可以使用人脸解锁手机了！”1705。
在一些实施例中，电子设备100执行s1507保存的可以是第三摄像头104(即rgb摄像头)采集的rgb图像。在这种情况下，电子设备100保存的rgb图像是用于进行用户身份校验的上述原始图像。
s1508、电子设备100发出第一提示信息。该第一提示信息用于指示电子设备100录入的图像不可用。
示例性的，上述第一提示信息可以为语音提示信息、文字提示信息和震动提示中的一项或者多项。例如，电子设备100可以发出第一提示信息“人脸图像不可用，请重新录入！”。
需要注意的是，电子设备100执行s1505和s1506的先后顺序可以由图1f所示的人脸识别进程205中的人脸识别ca确定。图1f所示的人脸识别进程205中的人脸识别ca可以随机确定电子设备100执行s1505和s1506的先后顺序。或者，电子设备100执行s1505和s1506的先后顺序可以预先配置在电子设备100中。在另一些实施例中，电子设备100对执行s1505和s1506的先后顺序不做限制。
本申请实施例中，电子设备100在录入用于进行用户身份校验的人脸二维图像时，可以对该人脸二维图像进行深度防伪认证和红外防伪认证两重防伪认证。如此，可以降低电子设备100保存的用于进行用户身份校验的人脸二维图像是上述照片或者头模的人脸二维图像的可能性，可以保护电子设备的信息安全，提升电子设备的安全性能。
在一些实施例中，上述电子设备100中可以包括rgb摄像头(即第三摄像头104)和一个双通摄像头(如第一摄像头102)。在白天光线比较强时，rgb摄像头和该双通摄像头都可以采集可见光下第一对象的图像信息，电子设备100在识别两个图像信息中相同的特征时，可以根据目标对象本身的特征来获取深度信息。
在该实施例中，在晚上可见光的光线比较弱时，电子设备100可以采用补光的方式(如开启闪光灯或者用屏幕补光)照亮人脸，使得rgb摄像头可以采集到较多的人脸特征。并且，红外投射器101发射红外光，双通摄像头可以采集到可见光和红外光下的人脸特征。电子设备100可以根据该rgb摄像头采集的图像信息进行二维图像认证；根据rgb摄像头采集的图像信息和双通摄像头采集的图像信息，进行深度防伪认证；根据双通摄像头采集的图像信息，进行红外防伪认证。其中，终端可以先不开启红外投射器101，而是先根据rgb摄像头采集的图像信息和双通摄像头采集的图像信息，进行深度防伪认证；在深度防伪认证通过后，终端再开启红外投射器101后，根据双通摄像头采集的图像信息，进行红外防伪认证。
在该实施例中，在晚上可见光的光线较弱时，上述rgb摄像头采集到图像中的第一对象的特征较少。基于这种情况，电子设备100可以进行真实人脸的深度特征学习时，可以对根据上述rgb摄像头在亮光下采集的图像信息和双通摄像头在暗光(暗光下红外投射器101开启的情况)下采集的图像信息计算得到的深度图进行学习。如此，在该实施例中，电子设备100在进行人脸识别时，便可以通过判断rgb摄像头和双通摄像头采集的图像信息计算得到的深度信息是否具备电子设备100学习到的真实人脸的深度特征，进行深度防伪认证。
在前述各实施例中，上述红外投射器101可以替换为红外led灯。其中，红外led灯发射的红外光可以是与红外投射器101发射的红外光同类型的红外光。不同的是，红外led灯发射的红外光是均匀的红外光，而不是光斑。在可见光较强时，红外led灯可以开启也可以不开启。由于光线较强，即使没有红外光斑，也可以很好的获取深度信息。在可见光较弱或者夜晚全黑时，开启红外led灯。两个双通摄像头采集红外光下的图像信息，进而可以得到深度信息。由于没有红外光斑，在暗光情况下获取的图像信息中的特征可能不太明显，由此会造成深度信息的不准确。为了提高获取深度信息的准确性，可以打开闪光灯或者点亮屏幕进行补光。由此，红外投射器101替换为红外led灯后，也可以实现全天候的获取深度信息。
可以理解的是，上述电子设备为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本申请实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本申请实施例的范围。
本申请实施例可以根据上述方法示例对上述电子设备进行功能模块的划分，例如，可以对应各个功能划分各个功能模块，也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。需要说明的是，本申请实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
在采用集成的单元的情况下，图18示出了上述实施例中所涉及的电子设备1800的一种可能的结构示意图。该电子设备1800可以包括：处理模块1801、显示模块1802、红外发射模块1803、双通采集模块1804、双通采集模块1805和rgb采集模块1806。可选的，该电子设备1800还可以包括通信模块，该通信模块包括蓝牙模块和wi-fi模块等。
其中，处理模块1801用于对电子设备1800的动作进行控制管理。rgb采集模块1806用于采集可见光下目标对象的图像。显示模块1802用于显示处理模块1801生成的图像和rgb采集模块1804采集的图像。红外发射模块1803用于发射带光斑的红外光。双通采集模块1804和双通采集模块1805用于采集可见光下目标对象的图像和红外光下目标对象的图像。通信模块用于支持电子设备1800与其他设备的通信。处理模块1801还用于根据双通采集模块1804采集的图像计算目标对象的深度信息。
具体的，上述处理模块1801可以用于支持电子设备1800执行上述方法实施例中的s201，s203，s203a，s203b，s204，s1301，s1302，s1304，s1401，s1501，s1502，s1504-s1506，s1508，和/或用于本文所描述的技术的其它过程。上述显示模块1802可以用于支持电子设备1800执行上述方法实施例中的s1303，s1503，和/或用于本文所描述的技术的其它过程。红外发射模块1803可以用于支持电子设备1800执行上述方法实施例中的s202中“发射带光斑的红外光”的操作，和/或用于本文所描述的技术的其它过程。双通采集模块1804可以用于支持电子设备1800执行上述方法实施例中的s202中“采集第一图像信息”的操作，和/或用于本文所描述的技术的其它过程。双通采集模块1805可以用于支持电子设备1800执行上述方法实施例中的s202中“采集第二图像信息”的操作，和/或用于本文所描述的技术的其它过程。rgb采集模块1806可以用于支持电子设备1800采集可见光下的图像信息，和/或用于本文所描述的技术的其它过程。
当然，上述电子设备1800中的单元模块包括但不限于上述处理模块1801、显示模块1802、红外发射模块1803、双通采集模块1804和rgb采集模块1806等。例如，电子设备1800中还可以包括存储模块。存储模块用于保存电子设备1800的程序代码和数据。例如，双通采集模块1805可以用于支持电子设备1800执行上述方法实施例中的s1507，和/或用于本文所描述的技术的其它过程。
其中，处理模块1801可以是处理器或控制器，例如可以是中央处理器(centralprocessingunit，cpu)，数字信号处理器(digitalsignalprocessor，dsp)，专用集成电路(application-specificintegratedcircuit，asic)，现场可编程门阵列(fieldprogrammablegatearray，fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。处理器可以包括应用处理器和基带处理器。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。所述处理器也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，dsp和微处理器的组合等等。存储模块可以是存储器。
例如，处理模块1801为一个或多个处理器(如图1f所示的处理器110)，通信模块包括无线通信模块(如图1f所示的无线通信模块160，该无线通信模块160包括bt(即蓝牙模块)、wlan(如wi-fi模块))。无线通信模块可以称为通信接口。存储模块可以为存储器(如图1f所示的内部存储器121)。显示模块1802可以为显示屏(如图1f所示的显示屏194)。上述红外发射模块1803可以为红外投射器(如图1f所示的红外投射器196，即上述实施例中的红外投射器101)。双通采集模块1804和双通采集模块1805可以为两个双通摄像头(如图1f所示的双通摄像头193b(即上述实施例中的第一摄像头102)和双通摄像头193c(即上述实施例中的第二摄像头103))。上述rgb采集模块1806可以为图1f所示的1-n个其他摄像头193a中的一个egb摄像头，即上述实施例中的第三摄像头104。两个双通采集模块1804和rgb采集模块1806设置在电子设备100的同一面，如正面或者背面。本申请实施例所提供的电子设备1800可以为图1f所示的电子设备100。其中，上述一个或多个处理器、存储器、红外投射器、第一摄像头、第二摄像头、显示屏和第三摄像头等可以连接在一起，例如通过总线连接。
本申请实施例还提供一种计算机存储介质，该计算机存储介质中存储有计算机程序代码，当上述处理器执行该计算机程序代码时，电子设备1800执行图2或图9中任一附图中的相关方法步骤实现上述实施例中的方法。
本申请实施例还提供了一种计算机程序产品，当该计算机程序产品在计算机上运行时，使得计算机执行图2或图9中任一附图中的相关方法步骤实现上述实施例中的方法。
其中，本申请实施例提供的电子设备1800、计算机存储介质或者计算机程序产品均用于执行上文所提供的对应的方法，因此，其所能达到的有益效果可参考上文所提供的对应的方法中的有益效果，此处不再赘述。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以使用硬件的形式实现，也可以使用软件功能单元的形式实现。
所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个可读取存储介质中。基于这样的理解，本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该软件产品存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、rom、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何在本申请揭露的技术范围内的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
- 还没有人留言评论。精彩留言会获得点赞！