摄像头校准方法和装置、电子设备、计算机可读存储介质与流程

本申请涉及影像技术领域，特别是涉及一种摄像头校准方法和装置、电子设备、计算机可读存储介质。

背景技术

随着电子设备和影像技术的发展，越来越多的用户使用电子设备的摄像头采集图像。红外摄像头和rgb摄像头在出厂前需要进行参数标定处理。当温度变化或电子设备跌落等导致摄像头模组发生形变，影响拍摄图像的清晰度。

技术实现要素：

本申请实施例提供一种摄像头校准方法和装置、电子设备、计算机可读存储介质，可以提高拍摄图像的清晰度。

一种摄像头校准方法，包括：

当检测到图像清晰度小于清晰度阈值时，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；

提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；

根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

一种摄像头校准装置，包括：

图像获取模块，用于当检测到图像清晰度小于清晰度阈值时，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；

匹配模块，用于提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；

参数确定模块，用于根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

一种电子设备，包括存储器及处理器，所述存储器中储存有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器所述的摄像头校准方法的步骤。

一种非易失性计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现所述的摄像头校准方法的步骤。

上述摄像头校准方法和装置、电子设备和计算机可读存储介质，检测到满足预设条件时，获取红外摄像头和rgb摄像头拍摄同一场景得到的目标红外图像和rgb图像，对目标红外图像提取得到第一特征点集合，对rgb图像提取得到第二特征点集合，将第一特征点集合和第二特征点集合进行匹配，采用匹配后的特征点求取红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系，实现了对红外摄像头和rgb摄像头两者之间的外参的标定，校准了两个摄像头之间的变换关系，提高了图像的清晰度。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为一个实施例中摄像头校准方法的应用环境示意图。

图2为一个实施例中摄像头校准方法的流程图。

图3为一个实施例中摄像头校准装置的结构框图。

图4为一个实施例中电子设备的内部结构示意图。

图5为一个实施例中摄像头校准方法的另一应用环境示意图。

图6为一个实施例中图像处理电路的示意图。

具体实施方式

为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。

可以理解，本申请所使用的术语“第一”、“第二”等可在本文中用于描述各种元件，但这些元件不受这些术语限制。这些术语仅用于将第一个元件与另一个元件区分。举例来说，在不脱离本申请的范围的情况下，可以将第一标定图像称为第二标定图像，且类似地，可将第二标定图像称为第一标定图像。第一标定图像和第二标定图像两者都是标定图像，但其不是同一标定图像。

图1为一个实施例中摄像头校准方法的应用环境示意图。如图1所示，该应用环境包括电子设备110和场景120。电子设备110包括红外摄像头(infraredradiationcamera)和rgb(red、green、blue)摄像头。电子设备110可通过红外摄像头和rgb摄像头对场景120拍摄得到目标红外图像和rgb图像，并根据目标红外图像和rgb图像进行特征点匹配，再计算红外摄像头的坐标系和rgb摄像头的坐标系的变换关系。电子设备110可为智能手机、平板电脑、个人数字助理、穿戴式设备等。

图2为一个实施例中摄像头校准方法的流程图。如图2所示，一种摄像头校准方法，包括：

步骤202，当检测到图像清晰度小于清晰度阈值时，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像。

具体地，电子设备可定期对自身摄像头拍摄的图像进行检测，当检测到图像的清晰度小于清晰度阈值，则表示需要对自身摄像头进行自校准。清晰度阈值可根据需要设定，如80％、90％等。可采用brenner梯度函数计算相连两个像素灰度差的平方得到图像清晰度，也可采用tenegrad梯度函数的sobel算子分别提取水平和垂直方向的梯度值，基于tenengrad梯度函数的图像清晰度从而求取图像清晰度。还可采用方差函数、能量梯度函数、vollath函数、熵函数、eav点锐度算法函数、laplacian梯度函数、smd灰度方差函数等来检测图像清晰度。

步骤204，提取该目标红外图像中的特征点得到第一特征点集合和该rgb图像中的特征点得到第二特征点集合，并将该第一特征点集合和第二特征点集合进行匹配。

具体地，对目标红外图像采用尺度不变特征变换(scale-invariantfeaturetransform，简称sift)检测得到第一特征点集合，对rgb图像采用sift检测得到第二特征点集合。sift是用于图像处理中的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点。通过sift对第一特征点集合和第二特征点集合中的特征点进行匹配。

sift特征检测包括：搜索所有尺度上的图像位置；在每个候选的位置上，通过拟合来确定位置和尺度；基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向；在每个关键点周围的领域内，在选定的尺度上测量图像局部的梯度。

sift的特征匹配包括：从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量，得到sift特征向量；采用sift特征向量的欧式距离判断两幅图像中关键点的相似性。欧式距离越小，则相似度越高。当欧式距离小于设定的阈值时，则可判定为匹配成功。

步骤206，根据匹配后的特征点获取该红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

设pir为在红外摄像头坐标下某点的空间坐标，pir为该点在像平面上的投影坐标(x、y单位为像素，z等于深度值，单位为毫米)，hir为深度摄像头的内参矩阵，由小孔成像模型可知，它们满足以下关系：

再设prgb为在rgb摄像头坐标下同一点的空间坐标，prgb为该点在rgb像平面上的投影坐标，hrgb为rgb摄像头的内参矩阵。由于红外摄像头的坐标和rgb摄像头的坐标不同，它们之间可以用一个旋转平移变换联系起来，即：

prgb＝rpir+t公式(2)

其中，r为旋转矩阵，t为平移向量。最后再用hrgb对prgb投影，即可得到该点对应的rgb坐标。

prgb＝hrgbprgb公式(3)

需要注意的是，pir和prgb使用的都是齐次坐标，因此在构造pir时，应将原始的像素坐标(x，y)乘以深度值，而最终的rgb像素坐标必须将prgb除以z分量，即(x/z，y/z)，且z分量的值即为该点到rgb摄像头的距离(单位为毫米)。

红外摄像头的外参包括旋转矩阵rir和平移向量tir，rgb摄像头的外参包括旋转矩阵rrgb和平移向量trgb，摄像头的外参表示将一个世界坐标系下的点p变换到摄像头坐标系下，分别对红外摄像头和rgb摄像头进行变换，有以下关系：

pir＝rirp+tir

prgb＝rrgbp+trgb公式(4)

将公式(4)进行转换得到：

结合公式(2)可得：

红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系包括两者之间的旋转矩阵和平移向量。

上述摄像头校准方法，检测到满足预设条件时，获取红外摄像头和rgb摄像头拍摄同一场景得到的目标红外图像和rgb图像，对目标红外图像提取得到第一特征点集合，对rgb图像提取得到第二特征点集合，将第一特征点集合和第二特征点集合进行匹配，采用匹配后的特征点求取红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系，实现了对红外摄像头和rgb摄像头两者之间的外参的标定，校准了两个摄像头之间的变换关系，提高了图像的清晰度。

在一个实施例中，当检测到图像清晰度小于清晰度阈值时，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像，包括：当检测到图像清晰度小于清晰度阈值时，检测电子设备的工作状态；当所述电子设备的工作状态为预设工作状态时，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像。

预设工作状态为预先设定的工作状态。预设工作状态可包括以下情况中的至少一种：检测到用于解锁屏幕录入的人脸与预存人脸匹配失败；检测到用于解锁屏幕录入的人脸与预存人脸匹配失败的次数超过第一预设次数；接收到对红外摄像头和rgb摄像头的开启指令；检测到光发射器的当前温度与初始温度之差超过温度阈值；连续第二预设次数检测到光发射器的当前温度与初始温度之差超过温度阈值；接收到对预览图像的三维处理请求。

具体地，红外摄像头和rgb摄像头的开启指令可为启动相机应用程序触发产生。电子设备接收到用户触发相机应用程序，启动红外摄像头和rgb摄像头。摄像头启动后，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像。在开启摄像头时，进行红外摄像头和rgb摄像头的坐标系的变换关系的求取，可以确保后续摄像头拍摄图像的准确性。

光发射器可为镭射灯等。初始温度是指上一次校准时的光发射器的温度。通过温度传感器检测光发射器的温度，当光发射器的当前温度与初始温度之差超过温度阈值，则获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像。通过温度监控，在温度变化超过温度阈值时，对红外摄像头和rgb摄像头的变换关系进行校准，保证了采集图像的准确性。

第二预设次数可根据需要设定，如2次、3次、4次等。通过温度传感器检测光发射器的温度，当连续第二预设次数检测到光发射器的当前温度与初始温度之差超过温度阈值，则获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像。

通过设定次数，可以降低校准的频率，确保摄像头拍摄的图像的准确性，也能降低校准的次数，节省功耗。

屏幕解锁可采用人脸验证方式，在人脸匹配失败时，电子设备可获取红外摄像头和rgb摄像头拍摄同一场景所得的目标红外图像和rgb图像进行匹配计算得到红外摄像头和rgb摄像头坐标系的变换关系。在人脸解锁失败后，进行红外摄像头和rgb摄像头的校准，可以提高图像的准确性，方便进行再次进行人脸解锁。

进一步的，在人脸匹配失败次数超过第一预设次数时，电子设备可获取红外摄像头和rgb摄像头拍摄同一场景所得的目标红外图像和rgb图像进行匹配计算得到红外摄像头和rgb摄像头坐标系的变换关系。

当匹配失败次数超过第一预设次数时，进行计算红外摄像头和rgb摄像头坐标系的变换关系，避免因其他因素导致的人脸匹配失败而进行红外摄像头和rgb摄像头的校准。

三维处理请求可以是用户通过点击显示屏上的按钮生成的，也可以是用户通过按压触摸屏上的控件生成的，电子设备可以获取对初始预览图像的三维处理指令。三维处理是指对图像进行三个维度的处理，即有长、宽、高三个维度。具体地，电子设备可以通过深度图像或红外图像检测图像中物体或人脸的深度信息，对图像进行三维处理。例如，三维处理可以是对图像进行美颜处理，电子设备可以根据人脸的深度信息确定需要进行美颜的区域，使图像的美颜效果更好；三维处理也可以是三维人脸建模处理，即根据图像中的人脸建立对应的三维人脸模型等。电子设备可以接收对初始预览图像的三维处理指令。初始预览图像是指电子设备通过摄像头采集的周围环境信息的图像，初始预览图像实时显示在电子设备的显示屏上。电子设备在接收对初始预览图像的三维处理指令后，对初始预览图像进行对应的三维处理。

在一个实施例中，当该电子设备的工作状态为预设工作状态时，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像，提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系，包括：

当该电子设备的工作状态为检测到用于解锁屏幕录入的人脸与预存人脸匹配失败，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系；

当再次检测到该电子设备的工作状态为接收到对红外摄像头和rgb摄像头的开启指令时，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系；

当再次检测到该电子设备的工作状态为检测到光发射器的当前温度与初始温度之差超过温度阈值，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系；

当再次检测到该电子设备的工作状态为接收到对预览图像的三维处理请求，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

可在电子设备不同的工作状态均进行自校准，提供了多次校准的时机，保证及时校准，为拍摄图像的清晰度。

在上述实施例中，可采用当该电子设备的工作状态为检测到用于解锁屏幕录入的人脸与预存人脸匹配失败的次数超过第一预设次数，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像。

在一个实施例中，当该电子设备的工作状态为预设工作状态时，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像，包括：

当该电子设备的工作状态为检测到用于解锁屏幕录入的人脸与预存人脸匹配失败，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系；

当再次检测到该电子设备的工作状态为接收到对红外摄像头和rgb摄像头的开启指令时，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系；

当再次检测到该电子设备的工作状态为连续第二预设次数检测到光发射器的当前温度与初始温度之差超过温度阈值，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系；

当再次检测到该电子设备的工作状态为接收到对预览图像的三维处理请求，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

可在电子设备不同的工作状态均进行自校准，提供了多次校准的时机，保证及时校准，为拍摄图像的清晰度。

在上述实施例中，可采用当该电子设备的工作状态为检测到用于解锁屏幕录入的人脸与预存人脸匹配失败的次数超过第一预设次数，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像。

在一个实施例中，上述摄像头校准方法还包括：在第一运行环境中获取rgb摄像头拍摄同一场景得到的rgb图像，以及在第二运行环境中获取红外摄像头拍摄同一场景得到的目标红外图像；在该第二运行环境中提取该目标红外图像中的特征点得到第一特征点集合，以及在该第一运行环境中提取该rgb图像中的特征点得到第二特征点集合，在该第二运行环境中将第一特征点集合和第二特征点集合进行匹配，其中，该第二运行环境的安全级别高于该第一运行环境。

具体地，第一运行环境可为ree(richexecutionenvironment，自然运行环境)环境，第二运行环境可为tee(trustedexecutionenvironment，可信运行环境)。tee的安全级别高于ree。在第二运行环境中进行特征点的匹配，提高了安全性，保证数据的安全。

在一个实施例中，上述摄像头校准方法还包括：在第一运行环境中获取rgb摄像头拍摄同一场景得到的rgb图像，以及在第二运行环境中获取红外摄像头拍摄同一场景得到的目标红外图像；将该rgb图像传输给该第二运行环境，在该第二运行环境中提取该目标红外图像中的特征点得到第一特征点集合，提取该rgb图像中的特征点得到第二特征点集合，在该第二运行环境中将第一特征点集合和第二特征点集合进行匹配，其中，所述第二运行环境的安全级别高于所述第一运行环境。

在第二运行环境中提取特征点以及特征点进行匹配，提高了安全性，保证数据的安全。

在一个实施例中，上述摄像头校准方法还包括：在第一运行环境中获取rgb摄像头拍摄同一场景得到的rgb图像，以及在第二运行环境中获取红外摄像头拍摄同一场景得到的目标红外图像；在该第二运行环境中提取该目标红外图像中的特征点得到第一特征点集合，将该第一特征点集合传输给该第一运行环境；在该第一运行环境中提取该rgb图像中的特征点得到第二特征点集合，在该第一运行环境中将第一特征点集合和第二特征点集合进行匹配，其中，所述第二运行环境的安全级别高于所述第一运行环境。

在第一运行环境中对特征点进行匹配，数据处理效率高。在一个实施例中，一种摄像头校准方法包括：

首先，当电子设备的工作状态为检测到用于解锁屏幕录入的人脸与预存人脸匹配失败，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；提取该目标红外图像中的第一特征点集合和所述rgb图像中的第二特征点集合，并将该第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

其次，当电子设备的工作状态为接收到对红外摄像头和rgb摄像头的开启指令时，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；提取该目标红外图像中的第一特征点集合和所述rgb图像中的第二特征点集合，并将该第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

可选地，当电子设备的工作状态为接收当检测到光发射器的当前温度与初始温度之差超过温度阈值，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；提取该目标红外图像中的第一特征点集合和所述rgb图像中的第二特征点集合，并将该第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

可选地，当电子设备的工作状态为连续第二预设次数检测到光发射器的当前温度与初始温度之差超过温度阈值，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；提取该目标红外图像中的第一特征点集合和所述rgb图像中的第二特征点集合，并将该第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

可选地，当电子设备的工作状态为接收到对预览图像的三维处理请求，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；提取该目标红外图像中的第一特征点集合和所述rgb图像中的第二特征点集合，并将该第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

图3为一个实施例中摄像头校准装置的结构框图。如图3所示，该摄像头校准装置包括图像获取模块310、匹配模块320和参数确定模块330。其中：

图像获取模块310用于当检测到图像清晰度小于清晰度阈值时，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像。

匹配模块320用于提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配。

参数确定模块330用于根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

上述摄像头校准装置，检测到图像清晰度小于清晰度阈值时，获取红外摄像头和rgb摄像头拍摄同一场景得到的目标红外图像和rgb图像，对目标红外图像提取得到第一特征点集合，对rgb图像提取得到第二特征点集合，将第一特征点集合和第二特征点集合进行匹配，采用匹配后的特征点求取红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系，实现了对红外摄像头和rgb摄像头两者之间的外参的标定，校准了两个摄像头之间的变换关系，提高了图像的清晰度。

在一个实施例中，该摄像头校准装置还包括检测模块。检测模块用于当检测到图像清晰度小于清晰度阈值时，检测电子设备的工作状态。

图像获取模块310还用于当该电子设备的工作状态为预设工作状态时，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像。

在一个实施例中，预设工作状态包括以下情况中至少一种：

检测到用于解锁屏幕录入的人脸与预存人脸匹配失败；

检测到用于解锁屏幕录入的人脸与预存人脸匹配失败的次数超过第一预设次数；

接收到对红外摄像头和rgb摄像头的开启指令；

检测到光发射器的当前温度与初始温度之差超过温度阈值；

连续第二预设次数检测到光发射器的当前温度与初始温度之差超过温度阈值；

接收到对预览图像的三维处理请求。在一个实施例中，图像获取模块310还用于当该电子设备的工作状态为检测到用于解锁屏幕录入的人脸与预存人脸匹配失败，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；匹配模块320还用于提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；参数确定模块330还用于根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系；

当图像获取模块310还用于再次检测到该电子设备的工作状态为接收到对红外摄像头和rgb摄像头的开启指令时，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；匹配模块320还用于提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；参数确定模块330还用于根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系；

当图像获取模块310还用于再次检测到该电子设备的工作状态为检测到光发射器的当前温度与初始温度之差超过温度阈值，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；匹配模块320还用于提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；参数确定模块330还用于根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系；

当图像获取模块310还用于再次检测到该电子设备的工作状态为接收到对预览图像的三维处理请求，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；匹配模块320还用于提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；参数确定模块330还用于根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

可在电子设备不同的工作状态均进行自校准，提供了多次校准的时机，保证及时校准，为拍摄图像的清晰度。

在上述实施例中，图像获取模块310可用于当该电子设备的工作状态为检测到用于解锁屏幕录入的人脸与预存人脸匹配失败的次数超过第一预设次数，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像。

在一个实施例中，图像获取模块310还用于当该电子设备的工作状态为检测到用于解锁屏幕录入的人脸与预存人脸匹配失败，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；匹配模块320还用于提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；参数确定模块330还用于根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系；

当图像获取模块310还用于再次检测到该电子设备的工作状态为接收到对红外摄像头和rgb摄像头的开启指令时，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；匹配模块320还用于提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；参数确定模块330还用于根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系；

当图像获取模块310还用于再次检测到该电子设备的工作状态为连续第二预设次数检测到光发射器的当前温度与初始温度之差超过温度阈值，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；匹配模块320还用于提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；参数确定模块330还用于根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系；

当图像获取模块310还用于再次检测到该电子设备的工作状态为接收到对预览图像的三维处理请求，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像；匹配模块320还用于提取所述目标红外图像中的特征点得到第一特征点集合和所述rgb图像中的特征点得到第二特征点集合，并将所述第一特征点集合和第二特征点集合进行匹配；参数确定模块330还用于根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

可在电子设备不同的工作状态均进行自校准，提供了多次校准的时机，保证及时校准，为拍摄图像的清晰度。

在上述实施例中，图像获取模块310可用于当该电子设备的工作状态为检测到用于解锁屏幕录入的人脸与预存人脸匹配失败的次数超过第一预设次数，获取红外摄像头和rgb摄像头拍摄同一场景所得到的目标红外图像和rgb图像。

在一个实施例中，图像获取模块310还用于在第一运行环境中获取rgb摄像头拍摄同一场景得到的rgb图像，以及在第二运行环境中获取红外摄像头拍摄同一场景得到的目标红外图像；匹配模块320还用于在该第二运行环境中提取该目标红外图像中的特征点得到第一特征点集合，以及在该第一运行环境中提取该rgb图像中的特征点得到第二特征点集合，在该第二运行环境中将第一特征点集合和第二特征点集合进行匹配，其中，该第二运行环境的安全级别高于该第一运行环境。

具体地，第一运行环境可为ree(richexecutionenvironment，自然运行环境)环境，第二运行环境可为tee(trustedexecutionenvironment，可信运行环境)。tee的安全级别高于ree。在第二运行环境中进行特征点的匹配，提高了安全性，保证数据的安全。

在一个实施例中，图像获取模块310还用于在第一运行环境中获取rgb摄像头拍摄同一场景得到的rgb图像，以及在第二运行环境中获取红外摄像头拍摄同一场景得到的目标红外图像；匹配模块320还用于将该rgb图像传输给该第二运行环境，在该第二运行环境中提取该目标红外图像中的特征点得到第一特征点集合，提取该rgb图像中的特征点得到第二特征点集合，在该第二运行环境中将第一特征点集合和第二特征点集合进行匹配，其中，所述第二运行环境的安全级别高于所述第一运行环境。

在第二运行环境中提取特征点以及特征点进行匹配，提高了安全性，保证数据的安全。

在一个实施例中，图像获取模块310还用于在第一运行环境中获取rgb摄像头拍摄同一场景得到的rgb图像，以及在第二运行环境中获取红外摄像头拍摄同一场景得到的目标红外图像；匹配模块320还用于在该第二运行环境中提取该目标红外图像中的特征点得到第一特征点集合，将该第一特征点集合传输给该第一运行环境；在该第一运行环境中提取该rgb图像中的特征点得到第二特征点集合，在该第一运行环境中将第一特征点集合和第二特征点集合进行匹配，其中，所述第二运行环境的安全级别高于所述第一运行环境。

在第一运行环境中对特征点进行匹配，数据处理效率高。本申请实施例还提供了一种电子设备。该电子设备，包括存储器及处理器，该存储器中储存有计算机程序，该计算机程序被该处理器执行时，使得该处理器执行摄像头校准方法中的操作。

本申请实施例提供了一种非易失性计算机可读存储介质。一种非易失性计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以下摄像头校准方法中的操作。

图4为一个实施例中电子设备的内部结构示意图。如图4所示，该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该处理器用于提供计算和控制能力，支撑整个电子设备的运行。存储器用于存储数据、程序等，存储器上存储至少一个计算机程序，该计算机程序可被处理器执行，以实现本申请实施例中提供的适用于电子设备的无线网络通信方法。存储器可包括非易失性存储介质及内存储器。非易失性存储介质存储有操作系统和计算机程序。该计算机程序可被处理器所执行，以用于实现以下各个实施例所提供的一种结构光模组标定方法。内存储器为非易失性存储介质中的操作系统计算机程序提供高速缓存的运行环境。网络接口可以是以太网卡或无线网卡等，用于与外部的电子设备进行通信。该电子设备可以是手机、平板电脑或者个人数字助理或穿戴式设备等。

本申请实施例中提供的摄像头校准装置中的各个模块的实现可为计算机程序的形式。该计算机程序可在终端或服务器上运行。该计算机程序构成的程序模块可存储在终端或服务器的存储器上。该计算机程序被处理器执行时，实现本申请实施例中所描述方法的步骤。

一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行摄像头校准方法。

图5为一个实施例中电子设备的内部结构示意图。如图5所示，电子设备50可包括摄像头模组510、第二处理器520，第一处理器530。上述第二处理器520可为cpu(centralprocessingunit，中央处理器)模块。上述第一处理器530可为mcu(microcontrollerunit，微控制器)模块等。其中，第一处理器530连接在第二处理器520和摄像头模组550之间，上述第一处理器530可控制摄像头模组510中激光摄像头512、泛光灯514和镭射灯518，上述第二处理器520可控制摄像头模组510中rgb(red/green/blue，红/绿/蓝色彩模式)摄像头516。

摄像头模组510中包括激光摄像头512、泛光灯514、rgb摄像头516和镭射灯518。上述激光摄像头512为红外摄像头，用于获取红外图像。上述泛光灯514为可发射红外光的面光源；上述镭射灯518为可发生激光的点光源且为带有图案的点光源。其中，当泛光灯514发射面光源时，激光摄像头552可根据反射回的光线获取红外图像。当镭射灯518发射点光源时，激光摄像头512可根据反射回的光线获取散斑图像。上述散斑图像是镭射灯518发射的带有图案的点光源被反射后图案发生形变的图像。

第二处理器520可包括在tee(trustedexecutionenvironment，可信运行环境)环境下运行的cpu内核和在ree(richexecutionenvironment，自然运行环境)环境下运行的cpu内核。其中，tee环境和ree环境均为arm模块(advancedriscmachines，高级精简指令集处理器)的运行模式。其中，tee环境的安全级别较高，第二处理器520中有且仅有一个cpu内核可同时运行在tee环境下。通常情况下，电子设备50中安全级别较高的操作行为需要在tee环境下的cpu内核中执行，安全级别较低的操作行为可在ree环境下的cpu内核中执行。

第一处理器530包括pwm(pulsewidthmodulation，脉冲宽度调制)模块532、spi/i2c(serialperipheralinterface/inter－integratedcircuit，串行外设接口/双向二线制同步串行接口)接口534、ram(randomaccessmemory，随机存取存储器)模块536和深度引擎538。上述pwm模块532可向摄像头模组发射脉冲，控制泛光灯514或镭射灯518开启，使得激光摄像头512可采集到红外图像或散斑图像。上述spi/i2c接口534用于接收第二处理器520发送的图像采集指令。上述深度引擎538可对散斑图像进行处理得到深度视差图。

当第二处理器520接收到应用程序的数据获取请求时，例如，当应用程序需要进行人脸解锁、人脸支付时，可通过运行在tee环境下的cpu内核向第一处理器530发送图像采集指令。当第一处理器530接收到图像采集指令后，可通过pwm模块532发射脉冲波控制摄像头模组550中泛光灯554开启并通过激光摄像头552采集红外图像、控制摄像头模组550中镭射灯558开启并通过激光摄像头512采集散斑图像。摄像头模组550可将采集到的红外图像和散斑图像发送给第一处理器530。第一处理器530可对接收到的红外图像进行处理得到红外视差图；对接收到的散斑图像进行处理得到散斑视差图或深度视差图。其中，第一处理器530对上述红外图像和散斑图像进行处理是指对红外图像或散斑图像进行校正，去除摄像头模组510中内外参数对图像的影响。其中，第一处理器530可设置成不同的模式，不同模式输出的图像不同。当第一处理器530设置为散斑图模式时，第一处理器530对散斑图像处理得到散斑视差图，根据上述散斑视差图可得到目标散斑图像；当第一处理器530设置为深度图模式时，第一处理器530对散斑图像处理得到深度视差图，根据上述深度视差图可得到深度图像，上述深度图像是指带有深度信息的图像。第一处理器530可将上述红外视差图和散斑视差图发送给第二处理器520，第一处理器530也可将上述红外视差图和深度视差图发送给第二处理器520。第二处理器520可根据上述红外视差图获取红外图像、根据上述深度视差图获取深度图像。进一步的，第二处理器520可根据红外图像、深度图像来进行人脸识别、人脸匹配、活体检测以及获取检测到的人脸的深度信息。

第一处理器530与第二处理器520之间通信是通过固定的安全接口，用以确保传输数据的安全性。如图5所示，第二处理器520发送给第一处理器530的数据是通过securespi/i2c540，第一处理器530发送给第二处理器520的数据是通过securemipi(mobileindustryprocessorinterface，移动产业处理器接口)550。

在一个实施例中，第一处理器530也可根据上述红外视差图获取目标红外图像、上述深度视差图计算获取深度图像，再将上述目标红外图像、深度图像发送给第二处理器520。

在一个实施例中，第一处理器530可根据上述目标红外图像、深度图像进行人脸识别、人脸匹配、活体检测以及获取检测到的人脸的深度信息。其中，第一处理器530将图像发送给第二处理器520是指第一处理器530将图像发送给第二处理器520中处于tee环境下的cpu内核。

可在tee环境中获取目标红外图像，在ree环境下获取rgb图像，将rgb图像发送给tee环境中，在tee环境中提取该目标红外图像中的第一特征点集合和所述rgb图像中的第二特征点集合，并将该第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取所述红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

可在ree环境下提取该目标红外图像中的第一特征点集合和所述rgb图像中的第二特征点集合，并将该第一特征点集合和第二特征点集合进行匹配；根据匹配后的特征点获取该红外摄像头的坐标系和rgb摄像头的坐标系之间的变换关系。

本申请实施例还提供一种电子设备。上述电子设备中包括图像处理电路，图像处理电路可以利用硬件和/或软件组件实现，可包括定义isp(imagesignalprocessing，图像信号处理)管线的各种处理器。图6为一个实施例中图像处理电路的示意图。如图6所示，为便于说明，仅示出与本申请实施例相关的图像处理技术的各个方面。

如图6所示，图像处理电路包括第一isp处理器630、第二isp处理器640和控制逻辑器650。第一摄像头610包括一个或多个第一透镜612和第一图像传感器614。第一图像传感器614可包括色彩滤镜阵列(如bayer滤镜)，第一图像传感器614可获取用第一图像传感器614的每个成像像素捕捉的光强度和波长信息，并提供可由第一isp处理器630处理的一组图像数据。第二摄像头620包括一个或多个第二透镜622和第二图像传感器624。第二图像传感器624可包括色彩滤镜阵列(如bayer滤镜)，第二图像传感器624可获取用第二图像传感器624的每个成像像素捕捉的光强度和波长信息，并提供可由第二isp处理器640处理的一组图像数据。

第一摄像头610采集的第一图像传输给第一isp处理器630进行处理，第一isp处理器630处理第一图像后，可将第一图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器650，控制逻辑器650可根据统计数据确定第一摄像头610的控制参数，从而第一摄像头66可根据控制参数进行自动对焦、自动曝光等操作。第一图像经过第一isp处理器630进行处理后可存储至图像存储器660中，第一isp处理器630也可以读取图像存储器660中存储的图像以对进行处理。另外，第一图像经过isp处理器630进行处理后可直接发送至显示器670进行显示，显示器670也可以读取图像存储器660中的图像以进行显示。

其中，第一isp处理器630按多种格式逐个像素地处理图像数据。例如，每个图像像素可具有8、10、12或14比特的位深度，第一isp处理器630可对图像数据进行一个或多个图像处理操作、收集关于图像数据的统计信息。其中，图像处理操作可按相同或不同的位深度计算清晰度进行。

图像存储器660可为存储器装置的一部分、存储设备、或电子设备内的独立的专用存储器，并可包括dma(directmemoryaccess，直接直接存储器存取)特征。

当接收到来自第一图像传感器614接口时，第一isp处理器630可进行一个或多个图像处理操作，如时域滤波。处理后的图像数据可发送给图像存储器660，以便在被显示之前进行另外的处理。第一isp处理器630从图像存储器660接收处理数据，并对所述处理数据进行rgb和ycbcr颜色空间中的图像数据处理。第一isp处理器630处理后的图像数据可输出给显示器670，以供用户观看和/或由图形引擎或gpu(graphicsprocessingunit，图形处理器)进一步处理。此外，第一isp处理器630的输出还可发送给图像存储器660，且显示器670可从图像存储器660读取图像数据。在一个实施例中，图像存储器660可被配置为实现一个或多个帧缓冲器。

第一isp处理器630确定的统计数据可发送给控制逻辑器650。例如，统计数据可包括自动曝光、自动白平衡、自动聚焦、闪烁检测、黑电平补偿、第一透镜612阴影校正等第一图像传感器614统计信息。控制逻辑器650可包括执行一个或多个例程(如固件)的处理器和/或微控制器，一个或多个例程可根据接收的统计数据，确定第一摄像头610的控制参数及第一isp处理器630的控制参数。例如，第一摄像头610的控制参数可包括增益、曝光控制的积分时间、防抖参数、闪光控制参数、第一透镜612控制参数(例如聚焦或变焦用焦距)、或这些参数的组合等。isp控制参数可包括用于自动白平衡和颜色调整(例如，在rgb处理期间)的增益水平和色彩校正矩阵，以及第一透镜612阴影校正参数。

同样地，第二摄像头620采集的第二图像传输给第二isp处理器640进行处理，第二isp处理器640处理第一图像后，可将第二图像的统计数据(如图像的亮度、图像的反差值、图像的颜色等)发送给控制逻辑器650，控制逻辑器650可根据统计数据确定第二摄像头620的控制参数，从而第二摄像头620可根据控制参数进行自动对焦、自动曝光等操作。第二图像经过第二isp处理器640进行处理后可存储至图像存储器660中，第二isp处理器640也可以读取图像存储器660中存储的图像以对进行处理。另外，第二图像经过isp处理器640进行处理后可直接发送至显示器670进行显示，显示器670也可以读取图像存储器660中的图像以进行显示。第二摄像头620和第二isp处理器640也可以实现如第一摄像头610和第一isp处理器630所描述的处理过程。

第一摄像头610可为红外摄像头，第二摄像头620可为rgb摄像头。

以下为运用图6中图像处理技术实现摄像头校准方法的步骤。

本申请所使用的对存储器、存储、数据库或其它介质的任何引用可包括非易失性和/或易失性存储器。合适的非易失性存储器可包括只读存储器(rom)、可编程rom(prom)、电可编程rom(eprom)、电可擦除可编程rom(eeprom)或闪存。易失性存储器可包括随机存取存储器(ram)，它用作外部高速缓冲存储器。作为说明而非局限，ram以多种形式可得，诸如静态ram(sram)、动态ram(dram)、同步dram(sdram)、双数据率sdram(ddrsdram)、增强型sdram(esdram)、同步链路(synchlink)dram(sldram)、存储器总线(rambus)直接ram(rdram)、直接存储器总线动态ram(drdram)、以及存储器总线动态ram(rdram)。

以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本申请专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。