一种结构光成像处理的方法、装置、设备以及存储介质与流程

本发明涉及移动终端技术领域，特别涉及一种结构光成像处理的方法、装置、设备以及存储介质。

背景技术：

随着3d建模，生物识别在移动通讯终端应用中的大量崛起，结构光在3d建模方面的应用也越来越多。苹果基于3d结构光技术推出了名为“faceid”的特性，主要用于日常解锁和移动支付。虽然有一些使用距离上的局限性，但其解锁速度之快、方式之自然，相信每一位正在使用iphonex的朋友都能感同身受。从2d平面向3d立体世界迈进。如今大部分手机的前置拍照以及人脸识别，都是靠单摄像头来实现，这就和我们蒙住一只眼睛一样，只能记录纯2d图像，但却无法分辨物体的远近距离。而对消费者来说，虽然人脸和手指一样，同样都是身体认证的方式之一，可3d结构光可以让我们录入一个比传统指纹更安全，且维度更深的数据。按照苹果的说法，基于3d结构光的faceid加密只有百万分之一的概率会被破解，而指纹识别的破解率却高达五万分之一。

目前的主流技术是针对单一屏幕的上一组结构光模组。从结构光发射单元发射的结构光，经过人脸或者其他障碍物的发射后，被红外摄像机捕捉后进行3d建模。

根据已有的参考文献，结构光视觉系统测量原理大致描述如下：

结构光视觉测量原理如图1所示，oc为摄像机的光心，xcyczcoc为摄像机坐标系；op为投影仪的光心，xpypzpop为投影仪坐标系。

由于投影仪投影的光平面在投影仪坐标系中的坐标可以通过投影仪的各项参数计算出来，并且投影在被测物体上的光条可以通过摄像机标定确定其在摄像机坐标系中应满足的关系，如果知道摄像机坐标系与投影仪坐标系之间的相对位置关系，则可以求解出被测物体上的光条在摄像机坐标系或者投影仪坐标系中的具体坐标。实现结构光视觉的标定并求得光栅点在投影仪坐标系中的坐标如下：

式中，t＝[txtytz]为摄像机光心与投影仪光心之间的平移向量，为投影仪坐标系与摄像机坐标系之间的旋转矩阵。

结构参数对测量精度的影响

为弄清摄像机光轴与投影仪光轴之间的夹角对测量精度的影响，画出结构光视觉测量的误差模拟图如图2所示，在该图中，摄像机主轴与投影仪主轴之间的夹角为α。空间点p在图像上的理想横坐标是ux，由于图像特征提取存在误差，空间点p在图像上的实际横坐标为ux+δ。其中，δ为最大特征提取误差。pp″平行于摄像机主轴，p″p′平行于x轴并与摄像机主轴垂直。

由图2可知，由特征提取误差导致z轴的测量误差可用pp″表示，x轴方向的测量误差可用表示为p″p′。由图可知，x轴方向的测量误差与z坐标值和特征提取误差δ的大小成正比，与摄像机焦距成反比。

由图2可知，z轴方向的测量误差与x轴方向的测量误差成正比，则：

由公式(2)、公式(3)可知，摄像机主轴与投影仪主轴之间的夹角对x轴方向的测量精度没有影响，但是对z轴方向的测量精度有影响，当两主轴之间的夹角α小于45°时，z轴方向的测量误差随着夹角α的减小而急剧增大。当两主轴之间的夹角α大于45°时，z轴方向的测量误差随着夹角α的增大而缓慢减小。但是如果夹角α太大，则标定精度又大幅下降，因此夹角不能太小而又不宜太大，通常选取45°左右。

结构光的测量精度受限于红外摄像机(接收模块)和结构光发射单元的有效距离。有效距离越大，测距越准确。从目前的众多手机厂商的设计，大多数采用将这个结构放在刘海里面。其实发射单元和接收单元的有效距离还是比较近的。这样只能在手机距离人脸很近的情况下才可以达到比较好的测距精度和3d建模效果。对于距离稍远的人脸，或者周围稍微远点的人或者物体，就无法进行建模。使用场景大大受到了限制。

人脸的一般宽度约为18cm左右，而目前主流手机的结构光模组中摄像机和投影机之间的距离也就3cm左右，这样短的有效距离会导致离着脸部中心的稍远的位置，测量精度就非常低。而且需要离着脸特别近，才能达到投影仪的投射结构光到达摄影机的大部分夹角在合理范围内(例如上面分析的45度左右精度最好)。

1、手机离着人脸距离过远时，投射光和反射光夹角很低，导致实际测量误差非常大；

2、手机离着人脸距离在近距离时，此时夹角在合理范围内时，测量精度较好，但是测量的有效范围较小。如果不把手机在人脸的不同部分移动的话，只能测量到一部分人脸。

3、已有技术要达到比较好的整个人脸建模的话，需要手持手机在人脸上进行一个移动扫描的动作，操作较繁琐。

为了解决这一点，有相关专利提出，将结构光的发射和接收单元放在手机的两侧，以增加有效距离。但是这样的话还是没有从本质上解决结构光的距离限制，以及需要用户手动手持转动几个关键位置才能进行精确建模的繁琐操作。

根据业界的研究成果，影响结构光精度误差包括以下几点：

1)摄像机光轴和光平面垂直时，深度方向的测量误差最小。

2)摄像机与光学投射器距离越远，测量误差越小。

3)摄像机镜头放大倍率越小，测量误差越小；这也表面被测物体离摄像机越远测量误差越大。

技术实现要素：

根据本发明实施例提供的方案解决的技术问题是不能简单有效地进行精确建模。

根据本发明实施例提供的一种结构光成像处理的方法，包括：

双屏终端获取第一屏幕和第二屏幕之间的弯折角度；

所述双屏终端根据所述弯折角度，确定与所述弯折角度对应的成像模式；

所述双屏终端根据所确定的成像模式进行相应的结构光成像处理。

优选地，所述双屏终端获取第一屏幕和第二屏幕之间的弯折角度之前，还包括：

所述双屏终端将所述第一屏幕和所述第二屏幕之间的弯折角度划分成多个角度区域；

所述双屏终端通过分别对所述每个角度区域设置相应的成像模式，生成所述角度区域与所述成像模式之间的成像对应关系；

其中，当180°≥弯折角度≥第一角度时，所述双屏终端将所述弯折角度划分为第一角度区域，且对应的成像模式为远距离成像模式；

当第一角度>弯折角度≥第二角度时，所述双屏终端将所述弯折角度划分为第二角度区域，且对应的成像模式为多重成像模式；

当第二角度>弯折角度≥0°时，所述双屏终端将所述弯折角度划分为第三角度区域，且对应的成像模式为面对面成像模式；

其中，所述第一角度>所述第二角度。

优选地，所述双屏终端根据所述弯折角度，确定与所述弯折角度对应的成像模式包括：

所述双屏终端根据所述弯折角度，确定所述弯折角度所属的角度区域；

所述双屏终端根据所述成像对应关系，查找所确定的角度区域所对应的成像模式。

优选地，所述双屏终端的第一屏幕和第二屏幕上分别设置有投影机和摄像机；其中，当所确定的成像模式为远距离成像模式时，所述双屏终端根据所确定的成像模式进行相应的结构光成像处理包括：

所述双屏终端的第一屏幕的投影机通过向用户脸部发射第一结构光，使第二屏幕的摄像机接收所述第一结构光，得到所述用户脸部第一测量点的三维坐标(x1,y1,z1)，同时第二屏幕的投影机通过向用户脸部发射第二结构光，使第一屏幕的摄像机接收所述第二结构光，得到所述用户脸部第二测量点的三维坐标(x2,y2,z2)；

所述双屏终端利用所述第一测量点的三维坐标(x1,y1,z1)和所述第二测量点的三维坐标(x2,y2,z2)进行远距离成像建模。

优选地，所述双屏终端利用所述第一测量点的三维坐标(x1,y1,z1)和所述第二测量点的三维坐标(x2,y2,z2)进行远距离成像建模包括：

所述双屏终端计算所述第一测量点的三维坐标(x1,y1,z1)和所述第二测量点的三维坐标(x2,y2,z2)之间的距离，并判断所述距离是否小于预设距离；

当判断所述距离小于预设距离时，所述双屏终端计算所述第一测量点的三维坐标(x1,y1,z1)和所述第二测量点的三维坐标(x2,y2,z2)的平均三维坐标(x,y,z)；

所述双屏终端利用所述平均三维坐标(x,y,z)进行远距离成像建模。

优选地，当所确定的成像模式为多重成像模式时，所述双屏终端根据所确定的成像模式进行相应的结构光成像处理包括：

所述双屏终端的第一屏幕的投影机通过向用户脸部发射第一结构光，使第二屏幕的摄像机接收所述第一结构光，得到所述用户脸部第一测量点的三维坐标(x1,y1,z1)，同时第二屏幕的投影机通过向用户脸部发射第二结构光，使第一屏幕的摄像机接收所述第二结构光，得到所述用户脸部第二测量点的三维坐标(x2,y2,z2)；

所述双屏终端利用所述第一测量点的三维坐标(x1,y1,z1)和所述第二测量点的三维坐标(x2,y2,z2)进行多重成像建模。

优选地，当所确定的成像模式为面对面成像模式时，所述双屏终端根据所确定的成像模式进行相应的结构光成像处理包括：

所述双屏终端的第一屏幕的投影机通过向第一用户脸部发射第一结构光，使第一屏幕的摄像机接收所述第一结构光，得到所述第一用户脸部测量点的三维坐标(x1,y1,z1)，同时第二屏幕的投影机通过向第二用户脸部发射第二结构光，使第二屏幕的摄像机接收所述第二结构光，得到所述第二用户脸部测量点的三维坐标(x2,y2,z2)；

所述双屏终端利用所述第一用户脸部测量点的三维坐标(x1,y1,z1)进行成像建模，同时利用所述第二用户脸部测量点的三维坐标(x2,y2,z2)进行成像建模。

根据本发明实施例提供的一种结构光成像处理的装置，包括：

获取模块，用于获取第一屏幕和第二屏幕之间的弯折角度；

确定模块，用于根据所述弯折角度，确定与所述弯折角度对应的成像模式；

成像处理模块，用于根据所确定的成像模式进行相应的结构光成像处理。

根据本发明实施例提供的一种结构光成像处理的设备，所述设备包括：处理器，以及与所述处理器耦接的存储器；所述存储器上存储有可在所述处理器上运行的结构光成像处理的程序，所述结构光成像处理的程序被所述处理器执行时实现根据本发明实施例提供的所述的结构光成像处理的方法的步骤。

根据本发明实施例提供的一种计算机存储介质，所述存储介质存储有结构光成像处理的程序，所述结构光成像处理的程序被处理器执行时实现根据本发明实施例提供的所述的结构光成像处理的方法的步骤。

根据本发明实施例提供的方案，充分利用了双屏及其转轴结构，使得采用双结构光模组后大大提升有效测量距离和测量精度。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于理解本发明，并不构成对本发明的不当限定。在附图中：

图1是现有技术提供的结构光视觉模型示意图；

图2是现有技术提供的特征提取误差对测量精度的影响示意图；

图3是本发明实施例提供的一种结构光成像处理的方法流程图；

图4是本发明实施例提供的一种结构光成像处理的装置示意图；

图5是本发明实施例提供的远距离人脸建模的示意图；

图6是本发明实施例提供的多重人脸建模的示意图；

图7是本发明实施例提供的面对面人脸建模的示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行详细说明，应当理解，以下所说明的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图3是本发明实施例提供的一种结构光成像处理的方法流程图，如图3所示，包括：

步骤s101：双屏终端获取第一屏幕和第二屏幕之间的弯折角度；

步骤s102：所述双屏终端根据所述弯折角度，确定与所述弯折角度对应的成像模式；

步骤s103：所述双屏终端根据所确定的成像模式进行相应的结构光成像处理。

其中，所述双屏终端获取第一屏幕和第二屏幕之间的弯折角度之前，还包括：所述双屏终端将所述第一屏幕和所述第二屏幕之间的弯折角度划分成多个角度区域；所述双屏终端通过分别对所述每个角度区域设置相应的成像模式，生成所述角度区域与所述成像模式之间的成像对应关系；其中，当180°≥弯折角度≥第一角度时，所述双屏终端将所述弯折角度划分为第一角度区域，且对应的成像模式为远距离成像模式；当第一角度>弯折角度≥第二角度时，所述双屏终端将所述弯折角度划分为第二角度区域，且对应的成像模式为多重成像模式；当第二角度>弯折角度≥0°时，所述双屏终端将所述弯折角度划分为第三角度区域，且对应的成像模式为面对面成像模式；其中，所述第一角度>所述第二角度。

其中，所述双屏终端根据所述弯折角度，确定与所述弯折角度对应的成像模式包括：所述双屏终端根据所述弯折角度，确定所述弯折角度所属的角度区域；所述双屏终端根据所述成像对应关系，查找所确定的角度区域所对应的成像模式。

其中，所述双屏终端的第一屏幕和第二屏幕上分别设置有投影机和摄像机；其中，当所确定的成像模式为远距离成像模式时，所述双屏终端根据所确定的成像模式进行相应的结构光成像处理包括：所述双屏终端的第一屏幕的投影机通过向用户脸部发射第一结构光，使第二屏幕的摄像机接收所述第一结构光，得到所述用户脸部第一测量点的三维坐标(x1,y1,z1)，同时第二屏幕的投影机通过向用户脸部发射第二结构光，使第一屏幕的摄像机接收所述第二结构光，得到所述用户脸部第二测量点的三维坐标(x2,y2,z2)；所述双屏终端利用所述第一测量点的三维坐标(x1,y1,z1)和所述第二测量点的三维坐标(x2,y2,z2)进行远距离成像建模。具体地说，所述双屏终端利用所述第一测量点的三维坐标(x1,y1,z1)和所述第二测量点的三维坐标(x2,y2,z2)进行远距离成像建模包括：所述双屏终端计算所述第一测量点的三维坐标(x1,y1,z1)和所述第二测量点的三维坐标(x2,y2,z2)之间的距离，并判断所述距离是否小于预设距离；当判断所述距离小于预设距离时，所述双屏终端计算所述第一测量点的三维坐标(x1,y1,z1)和所述第二测量点的三维坐标(x2,y2,z2)的平均三维坐标(x,y,z)；所述双屏终端利用所述平均三维坐标(x,y,z)进行远距离成像建模。

其中，当所确定的成像模式为多重成像模式时，所述双屏终端根据所确定的成像模式进行相应的结构光成像处理包括：所述双屏终端的第一屏幕的投影机通过向用户脸部发射第一结构光，使第二屏幕的摄像机接收所述第一结构光，得到所述用户脸部第一测量点的三维坐标(x1,y1,z1)，同时第二屏幕的投影机通过向用户脸部发射第二结构光，使第一屏幕的摄像机接收所述第二结构光，得到所述用户脸部第二测量点的三维坐标(x2,y2,z2)；所述双屏终端利用所述第一测量点的三维坐标(x1,y1,z1)和所述第二测量点的三维坐标(x2,y2,z2)进行多重成像建模。

其中，当所确定的成像模式为面对面成像模式时，所述双屏终端根据所确定的成像模式进行相应的结构光成像处理包括：所述双屏终端的第一屏幕的投影机通过向第一用户脸部发射第一结构光，使第一屏幕的摄像机接收所述第一结构光，得到所述第一用户脸部测量点的三维坐标(x1,y1,z1)，同时第二屏幕的投影机通过向第二用户脸部发射第二结构光，使第二屏幕的摄像机接收所述第二结构光，得到所述第二用户脸部测量点的三维坐标(x2,y2,z2)；所述双屏终端利用所述第一用户脸部测量点的三维坐标(x1,y1,z1)进行成像建模，同时利用所述第二用户脸部测量点的三维坐标(x2,y2,z2)进行成像建模。

图4是本发明实施例提供的一种结构光成像处理的装置示意图，如图4所示，包括：获取模块401、确定模块402以及成像处理模块403。

所述获取模块401，用于获取第一屏幕和第二屏幕之间的弯折角度；所述确定模块402，用于根据所述弯折角度，确定与所述弯折角度对应的成像模式；所述成像处理模块403，用于根据所确定的成像模式进行相应的结构光成像处理。

根据本发明实施例提供的一种结构光成像处理的设备，所述设备包括：处理器，以及与所述处理器耦接的存储器；所述存储器上存储有可在所述处理器上运行的结构光成像处理的程序，所述结构光成像处理的程序被所述处理器执行时实现根据本发明实施例提供的所述的结构光成像处理的方法的步骤。

根据本发明实施例提供的一种计算机存储介质，所述存储介质存储有结构光成像处理的程序，所述结构光成像处理的程序被处理器执行时实现根据本发明实施例提供的所述的结构光成像处理的方法的步骤。

所述双屏终端有两个结构光模组(包括了投影机和摄像机)分别安装于双屏终端的两个屏幕。双屏终端的转轴处设置转角传感器，用于感知目前用户对于终端双屏的弯折角度。具体地说，当弯折角度在特定范围内，或者人脸距离手机在某个范围内时，所述的第一个结构光模组投影机发射的结构光并且关闭自身的摄影机接收，需要被第二个结构光模组的摄像机接收，所述的第二个结构光模组投影机发射的结构光并且关闭自身的摄影机接收，需要被第一个结构光模组的摄像机接收，然后进行测量后进行一个3d模型的建模。当弯折角度处于另一种范围内，或者人脸范围在某个范围条件内时，两个结构光模组投影机发射的结构光，分别被自己摄像机接收，然后分别建立两个3d模型。

本发明实施例定义双屏手机两个屏幕之间的弯折角为gamma,其中gamma为180时，代表手机两个屏幕在一个平面上。

实施例1：远距离人脸建模(远距离成像模式)，如图5所示，由于增加了投影仪和摄像机直接的有效距离，即使离着人脸很远也可以进行精确测量(此时夹角即使离着人脸远也可以精确测量)。

step1:比如gamma＝180度时，手机处于水平，面向人脸。

step2:左边屏幕的投影机开始发射结构光，右边屏幕的摄像机开始接收结构光，并且计算出脸部任意一点的三维坐标，假设为(x1,y1,z1)。

step3:右边屏幕的投影机开始发射结构光，左边屏幕的摄像机开始接收结构光，并且计算出脸部任意一点的三维坐标，假设为(x2,y2,z2)。

step4:开始进行两组数据的更加精确的建模，因为step2和step3相当于对于人脸进行了两次网格划分和测量。那么将两次测量的结果进行再次的平均，将使得测量到的x,y,z方向的误差进一步减小。可以采用直接进行均分计算:

相邻两次测量结果中，当两个测量点的距离小于d特定阈值的时候dt，其中d为两点直接的向量长度，定义为:

进行如下均化运算：

(x,y,z)＝((x1+x2)/2,(y1+y2)/2,(z1+z2)/2)

然后得到的一系列(x,y,z)的坐标值就构成了精确度很高的人脸建模数据。

实施例2：手机防偷窥(多重成像模式)，如图6所示。

step1:假设当gamma角度在155度至90度左右时，手机进入多重人脸检测模式。

step2:左边屏幕的投影机开始发射结构光，右边屏幕的摄像机开始接收结构光，并且计算出脸部任意一点的三维坐标，假设为(x3,y3,z3)。

step3:右边屏幕的投影机开始发射结构光，左边屏幕的摄像机开始接收结构光，并且计算出脸部任意一点的三维坐标，假设为(x4,y4,z4)。

step4:进行人脸识别，若出现多个人脸的话，x,y,z的值应满足一定的模式。比如x,y,z出现一个大幅波动(比如人脸直接的空隙处)之后，又呈现出类似人脸的变化模式。如果用户正常看私密内容，则提示用户后方或者侧方有人可能偷窥到。

实施例3：面对面双脸识别(面对面成像模式)，如图7所示，可以同时识别两张脸，比如两个女生的脸进行同时识别，给出两个人脸型的趣味分析，以及整容意见等等。

step1:假设当gamma角度在45度至0度左右时，手机进入面对面双脸部检测模式。与实施例1和实施例2不同的是，这种场景下，两组结构光模组进行的是独立运作，分别进行两个人脸的识别。

step2:左屏的投影机发射结构光被左屏的摄像机接收，形成数据(x5,y5,z5)。

step3:右屏的投影机发射结构光被右屏的摄像机接收，形成数据(x6,y6,z6)。

step4：对于两组数据发送给相应的建模应用，给出两个脸的差异，或者其他有益的建议。例如一个漂亮姑娘和一个长相一般的姑娘，可以给出长相一般的姑娘整容的建议等等。

根据本发明实施例提供的方案，可以适应不同距离的较高精度测量和建模，由于转轴角度和手机外形参数都作为已知条件，可以精确获知发射单元和接收单元在各个转角下的相对位置，从而使得在各种旋转情况下都可以精确的测量，而且省去了用户必须围绕脸部旋转的动作，用户友好性更强。并可以根据弯折角度的不同，给用户定制不同的结构光建模方案，以应用于不同从场景，应用场景更加丰富多彩。

尽管上文对本发明进行了详细说明，但是本发明不限于此，本技术领域技术人员可以根据本发明的原理进行各种修改。因此，凡按照本发明原理所作的修改，都应当理解为落入本发明的保护范围。