结构光编码方法、装置及终端设备与流程

本申请涉及图像处理技术，尤其涉及一种结构光编码方法、装置及终端设备。

背景技术

结构光三维扫描技术通过主动控制光源来实现三维扫描，与其他三维扫描技术相比具有更高的可靠度，发展潜力巨大。目前结构光三维扫描技术已广泛应用于工业检测、3d打印、影视特效制作、文物仿形等领域。结构光三维扫描技术是指将设计好的编码图案投影至目标物体，由摄像机拍摄目标物体形成另一编码图案，确定该编码图案的特征点，对这些特征点采用光学三角法和系统标定法，以获取目标物体的三维信息，从而实现目标物体的三维重建。

结构光编码方法是结构光三维扫描技术的前提和基础，结构光编码技术的编码策略主要分为时间编码和空间编码。相比较而言，空间编码较时间编码在测量速度方面更具优势，易于实现动态三维重建。而空间编码存在编码密度与编码窗口尺寸两者相矛盾的问题，即编码密度越大，则编码窗口就越大。然而，编码窗口越大，则解码的难度就越高。现有技术通过增加颜色信息或亮度信息来达到减小窗口尺寸、增大编码密度的目的。然而当目标物体表面颜色较为丰富、纹理结构较为复杂时，投影的颜色信息或亮度信息会影响目标物体的三维信息的获取，进而造成整个结构光编码系统的鲁棒性较差的问题。

技术实现要素：

本申请提供一种结构光编码方法、装置及终端设备，从而提高结构光编码系统的鲁棒性。

第一方面，本申请提供一种结构光编码方法，包括：生成编码窗口为2*2、编码元素为n的伪随机阵列；其中n个编码元素通过n种不同的黑白二值几何图形表示，n为大于或者等于8的正整数；生成黑白相间的菱形图案构成的矩形图案；将黑白二值几何图形嵌入白色菱形图案中，作为第一编码图案的前景图案，将黑色菱形图案作为第一编码图案的背景图案，以生成第一编码图案。

本申请的有益效果是：由于本申请通过n种黑白二值几何图形实现编码，与传统的颜色、亮度编码方法相比，黑白二值几何图形对于目标物体的纹理、颜色及反射特性具有更强的鲁棒性，可用于目标物体表面更为复杂的动态三维重建。从而提高结构光编码系统的鲁棒性。

可选地，还包括：将第一编码图案投影至目标物体；拍摄投影后的目标物体，获取第二编码图案；确定第二编码图案的特征点，其中特征点用于确定目标物体的三维轮廓信息。

可选地，确定第二编码图案的特征点，包括：将第二编码图案划分为多个第一区域；在每个第一区域中确定至少一个候选特征点，并在所有候选特征点中确定特征点。

可选地，在每个第一区域中确定至少一个候选特征点，包括：通过公式计算每个第一区域中的任一像素点(i,j)，对应的数值h；其中i(i+α,j+β)表示像素点(i+α,j+β)的灰度值；在每个第一区域中确定数值的极大值，并将极大值对应的像素点作为候选特征点。

由于在第一编码图案真正的特征点处，水平方向上的点和垂直方向上的点的灰度值的差值在局部区域内是最大的。同样的，第二编码图案真正的特征点也应该具有该特征。即用x型模板计算出的数值h在第一区域内是最大的，利用这个方法可以排除掉绝大部分的普通点。

可选地，在所有候选特征点中确定所述特征点，包括：确定任一候选特征点所在的第二区域，并确定第二区域旋转180度后的对称区域；通过公式计算任一候选特征点的对称系数δ；其中i(m,n)表示像素点(m,n)的灰度值；i'(m,n)表示像素点(m,n)在对称区域中的对称点的灰度值；表示第二区域中，所有像素点的灰度值的平均值；确定对称系数小于预设阈值的候选特征点为特征点。

由于第一编码图案中的特征点具有旋转不变对称性(旋转180度)，因此第二编码图案中的特征点基本也遵循这个特征。对称系数δ表示第二编码图案的局部对称程度，该对称系数δ越小，表示第二编码图案的局部对称程度越好。基于此，采用上述公式计算每个候选特征点的对称系数δ，并通过设定一个预设阈值，以此剔除候选特征点中的错误特征点，可有有效获取最终的特征点。

下面将介绍结构光编码装置，该结构光编码装置可以用于执行第一方面及第一方面对应的可选方式，其实现原理和技术效果类似，此处不再赘述。

第二方面，本申请提供一种结构光编码装置，包括：第一生成模块，用于生成编码窗口为2*2、编码元素为n的伪随机阵列；其中n个编码元素通过n种不同的黑白二值几何图形表示，n为大于或者等于8的正整数；第二生成模块，用于生成黑白相间的菱形图案构成的矩形图案；第三生成模块，用于将黑白二值几何图形嵌入白色菱形图案中，作为第一编码图案的前景图案，将黑色菱形图案作为第一编码图案的背景图案，以生成第一编码图案。

可选地，还包括：投影模块，用于将第一编码图案投影至目标物体；获取模块，用于拍摄投影后的目标物体，获取第二编码图案；确定模块，用于确定第二编码图案的特征点，其中特征点用于确定目标物体的三维轮廓信息。

可选地，确定模块具体用于：将第二编码图案划分为多个第一区域；在每个第一区域中确定至少一个候选特征点，并在所有候选特征点中确定特征点。

可选地，确定模块具体用于：通过公式计算每个第一区域中的任一像素点(i,j)，对应的数值h；其中i(i+α,j+β)表示像素点(i+α,j+β)的灰度值；在每个第一区域中确定数值的极大值，并将极大值对应的像素点作为候选特征点。

可选地，确定模块具体用于：确定任一候选特征点所在的第二区域，并确定第二区域旋转180度后的对称区域；

通过公式计算任一候选特征点的对称系数δ；其中i(m,n)表示像素点(m,n)的灰度值；i'(m,n)表示像素点(m,n)在对称区域中的对称点的灰度值；表示第二区域中，所有像素点的灰度值的平均值；确定对称系数小于预设阈值的候选特征点为特征点。

下面将介绍终端设备，该终端设备可以用于执行第一方面及第一方面对应的可选方式，其实现原理和技术效果类似，此处不再赘述。

第三方面，本申请提供一种终端设备，包括：结构光模板，设置有第一编码图案；其中第一编码图案由编码窗口为2*2、编码元素为n的伪随机阵列和多个黑白相间的菱形图案构成的矩形图案生成；n个编码元素通过n种不同的黑白二值几何图形表示，n为大于或者等于8的正整数；黑白二值几何图形嵌入对应的白色菱形图案中，形成第一编码图案的前景图案，黑色菱形图案形成第一编码图案的背景图案；投影单元，用于产生投影光；通过产生的投影光经过结构光模板形成第一编码图案，并将第一编码图案投影至目标物体；摄影单元，用于拍摄投影后的目标物体，获取第二编码图案；处理器，用于确定第二编码图案的特征点；并对每个特征点进行解码，确定每个特征点在第一编码图案中的对应位置；根据每个特征点在第一编码图案中的对应位置确定每个特征点在第二编码图案中的深度；根据每个特征点在第二编码图案中的深度，确定目标物体的三维轮廓信息。

可选地，处理器具体用于：通过公式计算每个第一区域中的任一像素点(i,j)，对应的数值h；其中i(i+α,j+β)表示像素点(i+α,j+β)的灰度值；在每个第一区域中确定数值的极大值，并将极大值对应的像素点作为候选特征点。

可选地，处理器具体用于：确定任一候选特征点所在的第二区域，并确定第二区域旋转180度后的对称区域；通过公式计算任一候选特征点的对称系数δ；其中i(m,n)表示像素点(m,n)的灰度值；i'(m,n)表示像素点(m,n)在对称区域中的对称点的灰度值；表示第二区域中，所有像素点的灰度值的平均值；确定对称系数小于预设阈值的候选特征点为特征点。

本申请提供一种结构光编码方法、装置及终端设备，包括：生成编码窗口为2*2、编码元素为n的伪随机阵列；其中n个编码元素通过n种不同的黑白二值几何图形表示，n为大于或者等于8的正整数；生成黑白相间的菱形图案构成的矩形图案；将黑白二值几何图形嵌入白色菱形图案中，作为第一编码图案的前景图案，将黑色菱形图案作为第一编码图案的背景图案，以生成第一编码图案。其中第一编码图案的编码窗口为2*2，该编码窗口已达到最小编码窗口。而且本申请可以保证编码密度(2*2的编码窗口包括两种类型的特征点)足够大。进一步地，由于本申请通过n种黑白二值几何图形实现编码，与传统的颜色、亮度编码方法相比，黑白二值几何图形对于目标物体的纹理、颜色及反射特性具有更强的鲁棒性，可用于目标物体表面更为复杂的动态三维重建。从而提高结构光编码系统的鲁棒性。

附图说明

图1为本申请一实施例提供的结构光编码系统的示意图；

图2为本申请一实施例提供的一种结构光编码方法的流程图；

图3为本申请提供的第一编码图案的示意图；

图4为本申请提供的第一编码图案的局部放大图；

图5为本申请一实施例提供的一种结构光编码装置的结构示意图；

图6为本申请一实施例提供的一种终端设备的结构示意图。

具体实施方式

结构光技术可以分为两类，一类是投射激光线或者点阵，该类的优点是结构简单，对应关系明确，但由于其扫描方式为逐点和逐线，测量速度慢，仅适用于特定场合。另一类为结构光三维扫描技术，即将单幅或多幅编码图案投射至目标物体，实现整个面的一次性测量，具有速度快和精度高的明显优势，弥补了点、线结构光法测量效率低的不足，因此结构光三维扫描技术已成为目前的主流技术手段。

结构光三维扫描技术的编码方法大致可划分为时间编码法和空间编码法，前者将多幅编码图案按时序投射、得到相应的编码图像序列，解码利用条纹图像序列组合实现，从而解决编码图案和条纹图像的对应问题，具有测量精度较高、测量分辨率高的优点，但其测量速度较慢，因此适合于静态目标和场景的三维信息获取。后者仅需投影一幅编码图案，测量速度较快，因此适合于动态目标和场景的三维信息获取。而空间编码存在编码密度与编码窗口尺寸两者相矛盾的问题，即编码密度越大，则编码窗口就越大。然而，编码窗口越大，则解码的难度就越高。现有技术通过增加颜色信息或亮度信息来达到减小编码窗口尺寸、增大编码密度的目的。然而当目标物体表面颜色较为丰富、纹理结构较为复杂时，投影的颜色信息或亮度信息会影响目标物体的三维信息的获取，进而造成整个结构光编码系统的鲁棒性较差的问题。

在保证编码密度足够大、编码窗口尺寸足够小的同时，本申请提供一种结构光编码方法、装置及终端设备，从而可以提高结构光编码系统的鲁棒性。本申请的主旨思想在于：通过n种黑白二值几何图形作为编码元素的空间编码方案，与传统的颜色、亮度编码方法相比，黑白二值几何图形对于目标物体的纹理、颜色及反射特性具有更强的鲁棒性，可用于目标物体表面更为复杂的动态三维重建。

本申请适用于如下结构光编码系统，图1为本申请一实施例提供的结构光编码系统的示意图，如图1所示，该结构光编码系统包括：智能设备11、投影设备12、摄影设备13和目标物体14。该智能设备11可以是计算机、笔记本电脑、平板、手机等智能设备。该结构光编码系统的工作原理是：智能设备11生成第一编码图案，将其传输给投影设备12，投影设备12将第一编码图案投影至目标物体14，摄影设备13拍摄投影后的目标物体，获取第二编码图案。摄影设备13可以将第二编码图案传输给智能设备11，智能设备11确定第二编码图案的特征点；并对每个特征点进行解码，确定每个特征点在第一编码图案中的对应位置；根据每个特征点在第一编码图案中的对应位置确定每个特征点在第二编码图案中的深度；根据每个特征点在第二编码图案中的深度，确定目标物体的三维轮廓信息。

其中该结构光编码系统中的智能设备、投影设备、摄影设备可以集成于终端设备中，即终端设备可以实现上述结构光编码系统的各个功能。智能设备对应于终端设备的处理器，投影设备对应于终端设备的投影单元，摄影设备对应于终端设备的摄影单元。

基于上述结构光编码系统，本申请提供一种结构光编码方法、装置及终端设备。以提高结构光编码系统的鲁棒性。

具体地，图2为本申请一实施例提供的一种结构光编码方法的流程图，如图2所示，该方法包括：

步骤s201：生成编码窗口为2*2、编码元素为n的伪随机阵列；其中n个编码元素通过n种不同的黑白二值几何图形表示，n为大于或者等于8的正整数；

步骤s202：生成黑白相间的菱形图案构成的矩形图案；

步骤s203：将黑白二值几何图形嵌入白色菱形图案中，作为第一编码图案的前景图案，将黑色菱形图案作为第一编码图案的背景图案，以生成第一编码图案。

例如，根据现有技术提供的查找伽罗华域大小为8，维度为4的本原多项式：h(x)＝x⁴+x+α³。产生伪随机序列时需要遵循的规则为：a³+a+1＝0与a⁷＝1。

生成的多元的伪随机序列的元素值域为：gf(8)＝{0,1,a,a²,a³,a⁴,a⁵,a⁶}。

利用折叠原理将伪随机序列转化为伪随机阵列。该伪随机阵列的编码窗口为2*2、编码元素为8。生成黑白相间的菱形图案构成的矩形图案；将黑白二值几何图形嵌入黑白相间的菱形图案中的白色菱形图案中，作为第一编码图案的前景图案，将黑白相间的菱形图案中的黑色菱形图案作为第一编码图案的背景图案，以生成第一编码图案。图3为本申请提供的第一编码图案的示意图，图4为本申请提供的第一编码图案的局部放大图，如图3和图4所示，该第一编码图案的编码窗口为2*2，编码元素为8，编码容量为65×63。

在第一编码图案中特征点被定义为相邻菱形元素的交点，所以第一编码图案中包括两种类型的特征点，一种是如图3所示的p1点，该p1特征点的上下是背景元素；另一种是如图3所示的p2点，该p2特征点的左右是背景元素。对于每个特征点的码字的定义为：若为p1型特征点，码字由其左右的元素以及左右元素的下方的两个元素组成；若为p2型特征点，码字由其上下的元素以及上下元素的右边的元素组成。因此，如图3所示，p1特征点和p2特征点具有相同的码字，即为c1-c2-c3-c4。本申请中，2*2的编码窗口包括两种类型的特征点。

需要说明的是，本申请上述黑白相间的菱形图案还可以是黑白相间的方形图案，或者是对上述菱形图案进行拉伸、旋转后的图案。本申请对此不做限制。

综上，本申请提供的结构光编码方法所生成的第一编码图案，其编码窗口为2*2，该编码窗口已达到最小编码窗口。而且本申请可以保证编码密度(2*2的编码窗口包括两种类型的特征点)足够大。进一步地，由于本申请通过n种黑白二值几何图形实现编码，与传统的颜色、亮度编码方法相比，黑白二值几何图形对于目标物体的纹理、颜色及反射特性具有更强的鲁棒性，可用于目标物体表面更为复杂的动态三维重建。从而提高结构光编码系统的鲁棒性。

进一步地，该方法还包括：将第一编码图案投影至目标物体；拍摄投影后的目标物体，获取第二编码图案；确定第二编码图案的特征点，其中该特征点用于确定目标物体的三维轮廓信息。

其中，该第二编码图案的特征点与第一编码图案的特征点一一对应。而确定第二编码图案的特征点的方法，包括：将第二编码图案划分为多个第一区域；在每个第一区域中确定至少一个候选特征点，并在所有候选特征点中确定特征点。其中第一区域一般可以选取上述黑色菱形图案或者白色菱形图案尺寸的2/3。

具体地，将第二编码图案转化为灰度图像，利用滤波器对该灰度图像进行平滑处理；然后设计一个x型模板，对经过平滑处理后的图像进行卷积运算，利用选取局部非最大值抑制法来确定候选特征点；其中选取局部非最大值抑制法来确定候选特征点，具体包括：通过公式：

计算每个第一区域中的任一像素点(i,j)，对应的数值h；其中i(i+α,j+β)表示像素点(i+α,j+β)的灰度值；l表示x型模板的尺寸，在每个第一区域中确定所述数值的极大值，并将极大值对应的像素点作为候选特征点。

如图4所示，在第一编码图案真正的特征点c处，水平方向上的点和垂直方向上的点的灰度值的差值在局部区域内是最大的。同样的，第二编码图案真正的特征点也应该具有该特征。即用x型模板计算出的数值h在第一区域内是最大的，利用这个方法可以排除掉绝大部分的普通点。

可选地，在所有候选特征点中确定特征点，包括：确定任一候选特征点所在的第二区域，并确定第二区域旋转180度后的对称区域。

通过公式计算任一候选特征点的对称系数δ；其中i(m,n)表示像素点(m,n)的灰度值；i'(m,n)表示所述像素点(m,n)在对称区域中的对称点的灰度值；表示第二区域中，所有像素点的灰度值的平均值；确定对称系数小于预设阈值的候选特征点为特征点。其中任一候选特征点所在的第二区域一般是以该候选特征点为中心的一个圆形区域。

由于第一编码图案中的特征点具有旋转不变对称性(旋转180度)，因此第二编码图案中的特征点基本也遵循这个特征。对称系数δ表示第二编码图案的局部对称程度，该对称系数δ越小，表示第二编码图案的局部对称程度越好。基于此，采用上述公式计算每个候选特征点的对称系数δ，并通过设定一个预设阈值，以此剔除候选特征点中的错误特征点，获取最终的特征点。

本申请中，通过上述两个公式可以准确的确定第二编码图案上的特征点，进而保证能够准确的获取目标物体的三维信息。

图5为本申请一实施例提供的一种结构光编码装置的结构示意图，如图5所示，该装置包括：

第一生成模块501，用于生成编码窗口为2*2、编码元素为n的伪随机阵列；其中n个编码元素通过n种不同的黑白二值几何图形表示，n为大于或者等于8的正整数。第二生成模块502，用于生成黑白相间的菱形图案构成的矩形图案。第三生成模块503，用于将黑白二值几何图形嵌入白色菱形图案中，作为第一编码图案的前景图案，将黑色菱形图案作为第一编码图案的背景图案，以生成第一编码图案。

可选地，还包括：投影模块504，用于将第一编码图案投影至目标物体；获取模块505，用于拍摄投影后的目标物体，获取第二编码图案；确定模块506，用于确定第二编码图案的特征点，其中特征点用于确定目标物体的三维轮廓信息。

具体地，第一生成模块501、第二生成模块502和第三生成模块503的生成功能可以是实时生成功能。例如：在每次结构光编码过程中，第一生成模块501都需要生成一次伪随机阵列；第二生成模块502都需要生成一次黑白相间的菱形图案构成的矩形图案；第三生成模块503都需要生成一次第一编码图案。或者，第一生成模块501、第二生成模块502和第三生成模块503的生成功能也可以是一种提取或者维护功能。例如：第三生成模块503在第一次结构光编码过程中已经生成了第一编码图案，生成的第一编码图案被保存在结构光编码装置的存储模块中。接下来在每次结构光编码过程中，第三生成模块503只需要在存储模块中提取该第一编码图案即可。

进一步地，投影模块504可以利用投影光将第一编码图案投影至目标物体。相应的，获取模块505具有投影光采集能力，以拍摄投影后的目标物体，获取第二编码图案。例如：该投影光可以是发光二极管(lightemittingdiode，led)或者红外激光光源发出的红外光。获取模块505具有红外光采集能力，以拍摄投影后的目标物体，获取第二编码图案。

可选地，确定模块506具体用于：将第二编码图案划分为多个第一区域；在每个第一区域中确定至少一个候选特征点，并在所有候选特征点中确定所述特征点。

可选地，确定模块506具体用于：

通过公式计算每个第一区域中的任一像素点(i,j)，对应的数值h；其中i(i+α,j+β)表示像素点(i+α,j+β)的灰度值；在每个第一区域中确定数值的极大值，并将极大值对应的像素点作为候选特征点。

可选地，确定模块505具体用于：确定任一候选特征点所在的第二区域，并确定第二区域旋转180度后的对称区域；

通过公式计算任一候选特征点的对称系数δ；其中i(m,n)表示像素点(m,n)的灰度值；i'(m,n)表示像素点(m,n)在对称区域中的对称点的灰度值；表示第二区域中，所有像素点的灰度值的平均值；确定对称系数小于预设阈值的候选特征点为特征点。

本申请提供的结构光编码装置所生成的第一编码图案，其编码窗口为2*2，该编码窗口已达到最小编码窗口。而且本申请可以保证编码密度足够大。进一步地，由于本申请通过n种黑白二值几何图形实现编码，与传统的颜色、亮度编码方法相比，黑白二值几何图形对于目标物体的纹理、颜色及反射特性具有更强的鲁棒性，可用于目标物体表面更为复杂的动态三维重建。从而提高结构光编码系统的鲁棒性。

图6为本申请一实施例提供的一种终端设备的结构示意图，如图6所示，该终端设备包括：结构光模板601设置有第一编码图案；其中第一编码图案由编码窗口为2*2、编码元素为n的伪随机阵列和多个黑白相间的菱形图案构成的矩形图案生成；n个编码元素通过n种不同的黑白二值几何图形表示，n为大于或者等于8的正整数；黑白二值几何图形嵌入对应的白色菱形图案中，形成第一编码图案的前景图案，黑色菱形图案形成第一编码图案的背景图案；投影单元602，用于产生投影光；通过产生的投影光经过结构光模板601形成第一编码图案，并将第一编码图案投影至目标物体；摄影单元603，用于拍摄投影后的目标物体，获取第二编码图案；处理器604，用于确定第二编码图案的特征点；并对每个特征点进行解码，确定每个特征点在第一编码图案中的对应位置；根据每个特征点在第一编码图案中的对应位置确定每个特征点在第二编码图案中的深度；根据每个特征点在第二编码图案中的深度，确定目标物体的三维轮廓信息。

具体地，终端设备已经生成了第一编码图案，基于此，制作一个结构光模板601，该结构光模板601设置有第一编码图案，当投影单元602产生的投影光经过结构光模板601，将形成第一编码图案，并可以将该第一编码图案投影至目标物体。也就是说，本申请提供的终端设备不用每次都生成第一编码图案，仅需要生成一次第一编码图案，之后通过结构光模板601实现投影即可产生第一编码图案。

可选地，处理器604具体用于：将第二编码图案划分为多个第一区域；在每个第一区域中确定至少一个候选特征点，并在所有候选特征点中确定所述特征点。

可选地，处理器604具体用于：通过公式计算每个第一区域中的任一像素点(i,j)，对应的数值h；其中i(i+α,j+β)表示像素点(i+α,j+β)的灰度值；在每个第一区域中确定所述数值的极大值，并将极大值对应的像素点作为候选特征点。

可选地，处理器604具体用于：确定任一候选特征点所在的第二区域，并确定第二区域旋转180度后的对称区域；

通过公式计算任一候选特征点的对称系数δ；其中i(m,n)表示像素点(m,n)的灰度值；i'(m,n)表示像素点(m,n)在对称区域中的对称点的灰度值；表示第二区域中，所有像素点的灰度值的平均值；确定对称系数小于预设阈值的候选特征点为所述特征点。

本申请提供的终端设备所使用的第一编码图案，其编码窗口为2*2，该编码窗口已达到最小编码窗口。而且本申请可以保证编码密度足够大。进一步地，由于本申请通过n种黑白二值几何图形实现编码，与传统的颜色、亮度编码方法相比，黑白二值几何图形对于目标物体的纹理、颜色及反射特性具有更强的鲁棒性，可用于目标物体表面更为复杂的动态三维重建。从而提高结构光编码系统的鲁棒性。