屏下深度校准模型的获取方法、装置和电子设备与流程

本发明涉及图像处理，尤其是涉及一种屏下深度校准模型的获取方法、屏下深度校准模型的获取装置、电子设备的屏下深度图像校准方法和电子设备。

背景技术：

1、当前智能手机、智能家电等设备往往依靠挖孔等方式将前置摄像头嵌入到屏幕中，无法做到真正的全面屏，影响屏幕的完整性和美观。为了提高屏幕的完整性，现有技术往往通过将摄像头内置于屏下，并将散斑结构光技术、间接飞行时间技术(indirect tof,itof)等3d成像技术逐步应用到屏下成像中。

2、然而，当前屏下itof摄像头在成像时由于相机模组发出的光照射到屏上，在屏的内侧和外侧发生薄膜干涉造成牛顿环等现象，使拍摄的图像出现波纹状，导致图像变形，给深度计算和目标识别带来较大困难。

技术实现思路

1、本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明在于提出一种屏下深度校准模型的获取方法，所述屏下深度校准模型的获取方法可以得出屏下深度校准模型，用于在所述摄像模组拍摄时校准所述摄像模组的深度图像，具体地，所述屏下深度校准模型用于消除置于显示屏下方的摄像模组在拍摄时由于牛顿环带来的误差影响，消除温度造成的误差影响，消除由于系统延伸带来的误差影响，从而对深度图像有效校正，提高图像精度。另外，本发明不需要移动摄像模组或标定平面，就可以改变标定平面与摄像模组之间的距离，操作简单且距离调节的精度高，标定效率高，标定结果更加可靠，得到的屏下深度校准模型的校准效果更好。

2、本发明还提出一种屏下深度校准模型的获取装置。

3、本发明还提出一种电子设备的屏下深度图像校准方法。

4、本发明还提出一种电子设备。

5、根据本发明的屏下深度校准模型的获取方法，所述屏下深度校准模型用于在摄像模组拍摄时校准所述摄像模组的深度图像，所述摄像模组置于显示屏下侧，所述摄像模组包括发射单元和接收单元，所述获取方法包括：s1，将所述摄像模组与标定平面间隔预定距离设置；s2，所述发射单元依次以多个不同数值的延时时间发射信号，所述延时时间大于等于0，在每一所述延时时间条件下，调节所述摄像模组在多个温度值下拍摄所述标定平面，并获取每个所述温度值和每个所述温度值条件下所拍摄的所述标定平面的图像；s3，计算每个所述图像中的每一像素点的测量深度，计算每一所述延时时间下的标定平面的真实深度；s4，将每个所述延时时间下的每个像素点的温度、像素点坐标、测量深度和真实深度输入神经网络进行训练，得出关于温度、测量深度与真实深度之间的屏下深度校准模型。

6、根据本发明的屏下深度校准模型的获取方法，先设定好标定平面与摄像模组之间的间距，接着设定发射单元具有多个不同数值的延时时间，使发射单元依次以多个不同数值的延时时间发射光信号，在发射单元以第一个延时时间发射光信号时，不断调节改变摄像模组的温度，多次获取摄像模组的温度值，多次通过摄像模组获取在对应温度值时的标定平面的图像，然后发射单元依次以延时第二个至第n个延时时间发射光信号，在每个延时时间条件下，均不断调节摄像模组的温度，获取摄像模组的多个温度值和与多个温度值一一对应的标定平面的图像。再计算每一图像中每一像素点的测量深度，计算每一延时时间的标定平面的真实深度，将所有获取的数据作为输入值输入神经网络中进行训练，得出温度、测量深度和真实深度的屏下深度校准模型。当摄像模组拍摄图像时，可以根据该屏下深度校准模型，计算出图像对应的真实深度，消除牛顿环带来的误差影响，消除温度造成的误差影响，消除由于系统延时带来的误差影响，从而对深度图像有效校正，提高图像精度。

7、其中，本实施例的获取方法，通过发射单元延时不同数值的延时时间来实现变相调节摄像模组与标定平面之间的距离，相较于通过直接移动摄像模组和/或标定平面来改变摄像模组与标定平面内之间的间距，本实施例不需要移动摄像模组或标定平面，就可以改变标定平面与摄像模组之间的距离，操作简单且距离调节的精度高，标定效率高，标定结果更加可靠。

8、在一些实施例中，所述测量深度dm满足：其中，f为摄像模组的焦距，为发射单元发射的信号与接收单元接收的信号之间的相位差，fm发射单元发射的调制信号的频率，(x,y)为像素点坐标，(cx,cy)为摄像模组的主点坐标，c为光速。由此，可以计算中每一图像中的每一像素点的测量深度。

9、可以理解的是，相位差是摄像模组在工作过程中，摄像模组的发射单元会以一个调制频率发出光信号，光信号经目标物体反射后被摄像模组的接收单元接收，则接收信号和发射信号存在相位差，此相位差也可以理解为时间差。调制信号是指摄像模组的发射单元11所发出的光信号是经过调制后发出的。摄像模组的主点坐标是：摄像模组的光轴垂直于成像平面时，与成像平面交点的坐标。

10、其中，在公式中，对于某一像素点而言，phase90表示在90°相位图中该像素点的相位值，phase270表示在270°相位图中该像素点的相位值，phase0表示在0°相位图中该像素点的相位值，phase180表示在180°相位图中该像素点的相位值。

11、在一些实施例中，所述将每个所述延时时间下的每个像素点的温度、像素点坐标、测量深度和真实深度输入神经网络进行训练，包括：将每个所述延时时间下的每个像素点的温度t、坐标(x,y)、测量深度dm分别组成集合ai{t,(x,y),dm}；将所有延时时间下的真实深度和所有像素点集合ai{t,(x,y),dm}作为输入送到神经网络训练；其中，所述神经网络训练包括：构建测量深度与真实深度的损失函数；通过损失函数的梯度反向传播，不断迭代训练，以优化屏下深度校准模型中的模型参数，最终得出关于温度、测量深度与真实深度之间的屏下深度校准模型。

12、也即是说，在输入神经网络进行训练之前，先将获取的所有数据信息进行数据处理，具体地，将每个延时时间下即不同距离下的每个像素点的相关参数组成集合，即将温度、坐标和测量深度一一对应地组成集合，然后将所有集合作为输入送入神经网络进行训练。这样，在组成集合时，可以将温度、坐标点和测量深度预先建立对应关系，由此可以方便后面在神经网络进行训练，提高训练效率和训练精度。

13、神经网络在训练的过程中，先根据输入的所有像素点集合，得出测量深度与真实深度之间的损失函数，再通过损失函数的梯度反向传播，不断进行迭代训练，优化屏下深度校准模型中的模型参数，以使测量深度和真实深度之间的误差值最小，最后得出关于温度、测量深度与真实深度的屏下深度校准模型。由此，可以提高屏下深度校准模型的精度，对深度图像实现更为有效的校正。

14、在一些实施例中，所述调节所述摄像模组在多个温度值下拍摄所述标定平面，并获取每个所述温度值和每个所述温度值条件下所拍摄的所述标定平面的图像，包括：将所述摄像模组从温度下阈值升温至温度上阈值，在升温的过程中，多次通过所述摄像模组拍摄所述标定平面的图像，获取所述摄像模组每次拍摄所述标定平面时的温度，获取所述摄像模组每次所拍摄的所述图像。例如，摄像模组在升温的过程中，温度每上升预设间隔温度，即获取摄像模组的一个温度值，并同时利用摄像模组拍摄该温度时的标定平面的图像，其中，预设间隔温度可以为0.2℃、0.5℃、1℃、1.5℃或2℃等等。由此，可以方便在标定的过程中获取温度和该温度下的图像，提高标定效率。此外，由于在标定的过程中，设定摄像模组逐渐升温，这样，可以使标定的温度范围基本覆盖摄像模组实际所工作的温度范围，从而可以扩大标定数据采集范围，更进一步地消除温度带来的误差影响。可以理解的是，将摄像模组从温度下阈值升温至温度上阈值，即将摄像模组在预设的温度区间范围内升温，其中，从温度下阈值到温度上阈值这个预设的温度区间范围，可以是用户根据摄像模组的具体使用需求预先设定。

15、在一些实施例中，所述摄像模组的温升范围在0℃至60℃。由此，可以基本覆盖摄像模组的工作范围，当摄像模组在此温度范围内工作时，本实施例的深度图像校准方法均可以对拍摄温度所造成的误差有效校正，消除温度的影响，保证摄像模组的成像质量。

16、在一些实施例中，在步骤s2中，多个不同数值的所述延时时间的时间长度逐渐增加，且相邻的两个所述延时时间之间相差一个预设单位时间。由此，在标定的过程中，逐渐延长延时时间，可以逐渐增大标定平面与摄像模组之间的距离，获取多组不同距离下的数据值，增加标定过程中获取的样本数据。这里，预设单位时间可以是用户根据标定需求预先设置的时间。例如，预设单位时间可以为8ns、9ns、10ns、11ns、12ns等等。

17、根据本发明的屏下深度校准模型的获取装置，所述屏下深度校准模型用于在摄像模组拍摄时校准所述摄像模组的深度图像，所述摄像模组置于显示屏下侧，所述摄像模组包括发射单元和接收单元，所述发射单元用于发射光信号，所述接收单元用于接收所述光信号，所述获取装置包括：延时模块，用于控制所述发射单元依次以多个不同数值的延时时间发射信号，所述延时时间大于等于0；温控模块，用于调节和控制所述摄像模组的温度；获取模块，用于在每一延时时间条件下所述摄像模块在多个温度值下拍摄标定平面时，获取所述摄像模组的多个温度值，获取每个所述温度值条件下所拍摄的所述标定平面的图像；数据处理模块，用于计算所述图像中的每一像素点的测量深度，计算每一所述延时时间下的所述标定平面的真实深度；训练模块，用于将每个延时时间下的温度、像素点坐标、测量深度和真实深度作为输入进行神经网络训练，得出关于温度、测量深度与真实深度之间的屏下深度校准模型。

18、根据本发明的屏下深度校准模型的获取装置，通过设置延时模块设定摄像模组的发射单元具有多个不同数值的延时时间，使发射单元以依次以多个不同数值的延时时间发射光信号，在发射单元以第一个延时时间发射光信号时，利用温控模块不断调节改变摄像模组的温度，利用获取模块多次获取摄像模组的温度值，多次通过摄像模组获取在对应温度值时的标定平面的图像，然后延时模块控制发射单元依次以延时第二个至第n个延时时间发射光信号，在每个延时时间条件下，均通过温控模块不断调节摄像模组的温度，获取摄像模组的多个温度值和与多个温度值一一对应的标定平面的图像。再利用数据处理模块计算每一图像中每一像素点的测量深度，计算每一延时时间的标定平面的真实深度，将所有获取的数据作为输入值输入训练模块中，由神经网络进行训练，得出关于温度、测量深度与真实深度的屏下深度校准模型。当摄像模组拍摄图像时，可以根据该屏下深度校准模型，计算出图像对应的真实深度，消除牛顿环带来的误差影响，消除温度造成的误差影响，消除由于系统延时带来的误差影响，从而对深度图像有效校正，提高图像精度。

19、其中，本实施例的屏下深度校准模型的获取装置，通过延时模块控制发射单元延时不同数值的延时时间来实现变相调节摄像模组与标定平面之间的距离，相较于通过直接移动摄像模组和/或标定平面来改变摄像模组与标定平面内之间的间距，本实施例不需要移动摄像模组或标定平面，就可以改变标定平面与摄像模组之间的距离，操作简单且距离调节的精度高，标定效率高，标定结果更加可靠。

20、在一些实施例中，所述训练模块用于将每个所述延时时间下的每个像素点的温度t、坐标(x,y)、测量深度dm分别组成集合ai{t,(x,y),dm}；所述训练模块将所有延时时间下的所有像素点集合ai{t,(x,y),dm}作为输入进行神经网络训练；所述训练模块用于构建测量深度与真实深度的损失函数；通过损失函数的梯度反向传播，不断迭代训练，以优化屏下深度校准模型中的模型参数，最终得出关于温度、测量深度与真实深度之间的屏下深度校准模型。

21、也即是说，在输入训练模块由神经网络进行训练之前，数据处理模块先将获取模块获取的所有数据信息进行数据处理，具体地，将每个延时时间下即不同距离下的每个像素点的相关参数组成集合，即将温度、坐标和测量深度一一对应地组成集合，然后将所有集合作为输入送入神经网络进行训练。这样，在组成集合时，可以将温度、坐标点和测量深度预先建立对应关系，由此可以方便后面在神经网络进行训练，提高训练效率和训练精度。

22、训练模块在训练的过程中，先根据输入的所有像素点集合，得出测量深度与真实深度之间的损失函数，再通过损失函数的梯度反向传播，不断进行迭代训练，优化屏下深度校准模型中的模型参数，以使测量深度和真实深度之间的误差值最小，最后得出关于温度、测量深度与真实深度的屏下深度校准模型。由此，可以提高屏下深度校准模型的精度，对深度图像实现更为有效的校正。

23、在一些实施例中，所述温控模块用于将所述摄像模组从温度下阈值升温至温度上阈值，所述获取模块用于在升温的过程中且所述摄像模组多次拍摄所述标定平面时，获取所述摄像模组每次拍摄所述标定平面时的温度，获取所述摄像模组每次所拍摄的所述图像。由此，可以方便在标定的过程中获取温度和该温度下的图像，提高标定效率。例如，摄像模组在升温的过程中，温度每上升预设间隔温度，即获取摄像模组的一个温度值，并同时利用摄像模组拍摄该温度时的标定平面的图像，其中，预设间隔温度可以为0.2℃、0.5℃、1℃、1.5℃或2℃等等。此外，由于在标定的过程中，温控模块控制摄像模组逐渐升温，这样，可以使标定的温度范围基本覆盖摄像模组实际所工作的温度范围，从而可以扩大标定数据采集范围，更进一步地消除温度带来的误差影响。可以理解的是，将摄像模组从温度下阈值升温至温度上阈值，即将摄像模组在预设的温度区间范围内升温，其中，从温度下阈值到温度上阈值这个预设的温度区间范围，可以是用户根据摄像模组的具体使用需求预先设定。

24、根据本发明的电子设备的屏下深度图像校准方法，所述电子设备包括显示屏和置于显示屏下方的摄像模组，所述屏下深度图像校准方法包括：

25、通过摄像模组获取图像，获取所述摄像模组拍摄所述图像时的温度；根据所述图像，计算所述图像的每一像素点的测量深度；将所述温度和所述测量深度输入屏下深度校准模型，其中，所述屏下深度校准模型为采用本发明上述第一方面的所述的屏下深度校准模型的获取方法所获取的屏下深度校准模型；根据所述屏下深度校准模型，得出校准后的深度图像。

26、根据本发明的电子设备的屏下深度图像校准方法，当摄像模组拍摄图像时，可以根据该屏下深度校准模型，计算出图像对应的真实深度，消除牛顿环带来的误差影响，消除温度造成的误差影响，消除由于系统延时带来的误差影响，从而对深度图像有效校正，提高图像精度。简言之，根据本发明的屏下深度图像校准方法，可以消除摄像模组在屏下成像时牛顿环现象带来的误差，图像上呈现的波纹状现象将极大消除，大大提高不同距离下的深度计算精度，使得人脸识别准确性将极大提高。

27、根据本发明的电子设备，包括：壳体；显示屏，所述显示屏设于所述壳体；摄像模组，所述摄像模组设于所述壳体内且置于所述显示屏的下方；校准模块，所述校准模块具有存储器，所述存储器内存放有采用根据本发明第一方面的屏下深度校准模型的获取方法所获取的屏下深度校准模型，所述校准模块用于校准所述摄像模组的深度图像。

28、根据本发明的电子设备，不再需要通过挖孔的方式将摄像头置于显示屏下，直接类似于屏下指纹解锁将前置摄像头隐藏于显示屏下，电子设备的美观度将大大提高。当摄像模组拍摄图像时，可以根据该屏下深度校准模型，计算出图像对应的真实深度，消除牛顿环带来的误差影响，消除温度造成的误差影响，消除由于系统延时带来的误差影响，从而对深度图像有效校正，提高图像精度。简言之，根据本发明的电子设备，可以消除摄像模组在屏下成像时牛顿环现象带来的误差，图像上呈现的波纹状现象将极大消除，大大提高不同距离下的深度计算精度，使得人脸识别准确性将极大提高。

29、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。