散斑图像生成方法、电子设备及存储介质与流程

1.本发明涉及图像处理领域，特别涉及一种散斑图像生成方法、电子设备及存储介质。


背景技术：

2.目前，机器视觉领域中最具活力的技术分支当属深度感知技术，而散斑结构光技术则是深度感知技术中的重要部分。散斑结构光技术作为最常见主动式立体视觉的技术，还分有单目结构光技术，主动式双目结构光系统等。无论是传统算法，还是机器学习乃至深度学习的深度恢复算法，散斑图像数据都至关重要。
3.通常，结构光散斑系统使用神经网络方法恢复深度信息得到的效果没有比被动式双目彩色的效果好，原因之一是由于散斑图像数据量不足直接关系到神经网络的训练规模。目前散斑图像数据的获取方式，主要是使用散斑结构光相机直接采集。这种获取方式存在获取效率较低的问题。


技术实现要素：

4.本发明实施方式的目的在于提供一种散斑图像生成方法、电子设备及存储介质，通过对给定结构光系统的三维场景信息，即深度信息和同源物体图像进行综合处理，生成深度信息对应的散斑图像数据，从而提高获取散斑图像的效率。
5.为解决上述技术问题，本发明的实施方式提供了一种散斑图像生成方法，包括：获取给定的结构光相机的深度图和同源物体图像；获取所述深度图对应的视差图；以所述视差图作为映射路径，对预置的参考散斑图向物体散斑图进行映射，得到视差散斑图；将所述同源物体图像与所述视差散斑图进行叠加，得到所述深度图对应的物体散斑图。
6.本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上所述的散斑图像生成方法。
7.本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的散斑图像生成方法。
8.本发明实施方式相对于现有技术而言，通过获取给定的结构光相机的深度图和同源物体图像；获取深度图对应的视差图；以视差图作为映射路径，对预置的参考散斑图向物体散斑图进行映射，得到视差散斑图；将同源物体图像与视差散斑图进行叠加，得到深度图对应的物体散斑图。本方案通过对给定结构光系统的三维场景信息，即深度信息和同源物
体图像进行综合处理，生成深度信息对应的散斑图像数据，从而提高获取散斑图像的效率。
附图说明
9.图1是根据本发明实施方式的散斑图像生成方法的具体流程图一；图2是根据本发明实施方式的散斑图像生成方法的具体流程图二；图3是根据本发明实施方式的散斑图像生成方法的具体流程图三；图4是根据本发明实施方式的电子设备的结构示意图。
具体实施方式
10.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本技术而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本技术所要求保护的技术方案。
11.本发明的一实施方式涉及一种散斑图像生成方法，如图1所示，本实施例提供的散斑图像生成方法，包括如下步骤。
12.步骤101：获取给定的结构光相机的深度图和同源物体图像。
13.其中，结构光相机可以是单目结构光相机、主动式双目结构光相机中的任一种；深度图可以是基于散斑图像得到的深度图；同源物体图像可以是红外图或者彩色图。
14.具体地，给定的深度图和同源物体图像可以是通过结构光相机真实拍摄目标物体，得到目标物体的深度图和同源物体图像；也可以是通过图像合成软件等绘制的深度图和同源物体图像，并将这些图像作为给定的结构光相机所拍摄的深度图和同源物体图像。
15.步骤102：获取深度图对应的视差图。
16.具体地，基于结构光相机的类型、成像原理、内外参数以及深度信息与视差信息之间的对应关系，可以基于深度图获取到对应视差图。
17.在一个例子中，上述结构光相机可以为单目结构光相机；相应地，本步骤中获取深度图对应的视差图的过程可包括：通过如下公式（1）计算视差图中各像素点的视差值d：
………………………
（1）其中，f为单目结构光相机的焦距，l为基线，z为深度图中像素点的深度值，zr为参考散斑图所在平面到单目结构光相机的镜头光心的距离。
18.具体地，对于单目结构光系统，视差图指的是物体图（如物体散斑图）和参考图（如参考散斑图）中同名像素点的列坐标之差。因为散斑投射器和光学传感器（通常是红外ir镜头，焦距为f）之间存在着基线l，根据三角原理，可以通过公式（1）计算某一三维点（x, y, z）与参考图（通常是一平面，z = zr）之间的视差值。
19.在另一个例子中，上述结构光相机可以为主动式双目结构光相机，且散斑投射器置于双目结构光相机中任一目结构光相机下；相应地，本步骤中获取深度图对应的视差图的过程可包括：
通过如下公式（2）计算视差图中各像素点的视差值d：
………………………
（2）其中，f为主动式双目结构光相机的焦距，l为基线，z为深度图中像素点的深度值。
20.具体地，对于主动式双目结构光系统，视差图指的是双目图像的同名点之间的列坐标之差。因为双目镜头（通常是相同类型的两rgb相机，焦距记为f）之间存在着基线l，根据三角原理，通过公式（2）可以得知其视差信息，进而构建视差图。这种视差图相当于默认将散斑投射器放置在左（右）目相机下。若方案选择将散斑投射器放置在其它位置，则该系统则变为两个单目结构光系统，视差图的获取方式则见如公式（1）。
21.如果是其它包含场景深度信息的数据，则可以模拟存在着一散斑投射器和光学接收器（焦距为f），使得这两者的距离为基线l，这样便可手动形成单目结构光系统，并采用公式（1）计算视差图。
22.此外，散斑投射器图案可以选择不同间隔和不同大小的散斑点以及不同形式的散斑图案。一般情况下，给定的三维深度场景信息并非是稠密的，比如lidar激光扫描仪等提供的便是物体的稀疏点云信息，本实施例中可以将视差图中无信息区域暂时设置为无效区，这些区域便为无散斑点区域，在后续操作中无需对这些区域进行处理。
23.步骤103：以视差图作为映射路径，对预置的参考散斑图向物体散斑图进行映射，得到视差散斑图。
24.具体地，参考散斑图像，一般指的是将散斑投射平面上而显现出的具有一定规律的伪随机图案。根据上一步骤中获取的视差图，可以对预置的参考散斑图向物体散斑图进行映射，以尽可能得到接近于物体散斑图的散斑图。由于该散斑图是基于视差值获得，可称其为视差散斑图。
25.步骤104：将同源物体图像与视差散斑图进行叠加，得到深度图对应的物体散斑图。
26.具体地，在获得到视差散斑图后，将视差散斑图叠加至同源物体图像上，形成物体散斑图。
27.与相关技术相比，本实施例通过获取给定的结构光相机的深度图和同源物体图像；获取深度图对应的视差图；以视差图作为映射路径，对预置的参考散斑图向物体散斑图进行映射，得到视差散斑图；将同源物体图像与视差散斑图进行叠加，得到深度图对应的物体散斑图。本方案通过对给定结构光系统的三维场景信息，即深度信息和同源物体图像进行综合处理，生成深度信息对应的散斑图像数据，从而提高获取散斑图像的效率。
28.本发明的另一实施方式涉及一种散斑图像生成方法，如图2所示，该散斑图像生成方法是对图1所示方法步骤的改进，改进之处在于，对得到视差散斑图的过程进行了细化。如图2所示，步骤103包括如下子步骤。
29.步骤1031：基于视差图，确定视差散斑图与参考散斑图中的同名像素点。
30.具体地，根据步骤102中获取的视差图，可使用直接映射方式或者间接方式将参考散斑图映射为视差散斑图像。此映射反映的是散斑点的像素位置变化关系。存在位置变化关系的两张散斑图中的像素点互为同名像素点。
31.在一个例子中，可采用如下公式（3）确定视差散斑图中像素点（x’,y’）为参考散斑图中像素点（x,y）的同名像素点：
………………………
（3）其中，d(x,y)为像素点（x,y）对应的视差值。
32.具体地，公式（3）为采用直接映射的方式，其中像素点（x’,y’）为视差散斑图像上的某点，（x,y）为参考散斑图像上与像素点（x’,y’）对应的同名像素点。间接映射的方式则是反解该公式（3）。由于实际计算得到的视差值可能不为整数值，因此可采用插值方式在x方向进行线性插值，得到同名像素点，y方向无需进行插值。
33.步骤1032：基于同名像素点确定同名散斑点。
34.具体地，每个散斑点通常都包含多个像素点。由于像素点之间的同名关系，可以进而得到散斑点之间的同名关系，进而根据参考散斑图中的散斑点确定视差散斑图中散斑点的具体像素位置。
35.在一个例子中，基于同名像素点确定同名散斑点的过程可通过如下步骤实现。
36.步骤1：确定参考散斑图中各散斑点包括的像素点。
37.具体地，可以设置一个亮度阈值，将各像素点的亮度值与该亮度阈值进行比较。大于亮度阈值的像素点为构成散斑点的像素点，不大于亮度阈值的像素点为不构成散斑点的像素点。然后对构成散斑点的像素点按像素位置进行聚合划分，位于同一区域且相邻的像素点所属一个散斑点。
38.步骤2：将视差散斑图中，与散斑点包括的边缘像素点所对应的同名像素点所围成的区域内的像素点作为相应的同名散斑点所包括的像素点。
39.例如，在参考散斑图中某散斑点包含a个像素点，其中b（b《a）个像素点为边缘像素点，在视差散斑图中确定该b个像素点对应的b’个同名像素点，然后以b’个同名像素点为边缘围成的区域则视为一个散斑点，且该散斑点即为参考散斑图中该某散斑点对应的同名散斑点。
40.步骤1033：根据参考散斑图中各散斑点的亮度分布，确定视差散斑图中同名散斑点的亮度分布。
41.具体地，通过执行步骤1032虽然建立了散斑点的像素位置对应关系，却缺少了亮度信息的对应。由于散斑点的亮度信息与其半径的平方成反比，因此通过统计散斑点的前后的半径变化来获得散斑点亮度信息的映射。在视差散斑图的x方向上其亮度与散斑半径的关系为：，即x坐标处的亮度值i
x
与其距离散斑点中心点的半径r的平方成反比。
42.在一个例子中，本步骤可通过如下步骤实现。即：针对参考散斑图中各散斑点，分别统计该散斑点所包含的像素点的亮度总值i
all
，并确定视差散斑图中与该散斑点对应的同名散斑点的中心像素点的亮度值io为，距离中心像素点半径为r的像素点的亮度为；其中，r为像素点数量。
43.具体地，在确定参考散斑图和视差散斑图中的同名散斑点后，对参考散斑图中各
散斑点所包含的像素点的亮度值进行统计，得到亮度总值i
all
。之后，在视差散斑图中找到与该散斑点对应的同名散斑点，并将该同名散斑点的中心像素点的亮度值io设置为。在确定出中心像素点的亮度值io后，对该同名散斑点内的其他像素点的亮度值进行设置，设置原则为距离中心像素点半径为r的像素点的亮度为；其中，r为像素点数量，且r≥0。例如，当r=0时，即当前像素点即为中心像素点；当r=1时，即当前像素点为中心像素点的外围第一层的像素点，以此类推。
44.与相关技术相比，本实施例基于视差图，确定视差散斑图与参考散斑图中的同名像素点；基于同名像素点确定同名散斑点；根据参考散斑图中各散斑点的亮度分布，确定视差散斑图中同名散斑点的亮度分布，从而实现对参考散斑图向物体散斑图的映射，得到视差散斑图。
45.本发明的另一实施方式涉及一种散斑图像生成方法，如图3所示，该散斑图像生成方法是对图1所示方法步骤的改进，改进之处在于，对同源物体图像与视差散斑的叠加过程进行了细化。如图3所示，步骤104包括如下子步骤。
46.步骤1041：统计同源物体图像中，与视差散斑图中各散斑点所包含的像素点对应的亮度均值和对比度。
47.具体地，由于同源物体图像通常是红外图或者彩色图，视差散斑图直接叠加至这些物体图像时，若不做处理则会显得突兀。本实施例中，可使用匀光技术使得叠加前后散斑点总体亮度与对比度与其周围像素点相协调。首先，统计各散斑点对应区域下的同源红外图像中像素点的亮度均值i和对比度值c（有效亮度最大值比有效亮度最小值）。
48.步骤1041：基于亮度均值和对比度，通过如下公式（4）计算物体散斑图中各散斑点所包含的第i个像素点的亮度ii'：，具体计算方式如下：
………………………
（4）其中，ji为视差散斑图中各散斑点所包含的第i个像素点的亮度，i为亮度均值，c为对比度。
49.具体地，对于最终生成的物体散斑图，其中，散斑点区域中的像素点可通过公式（4）计算相应的亮度值，非散斑点区域中的像素点仍采用视差散斑图中同名像素点的亮度值。
50.与相关技术相比，本实施例通过统计同源物体图像中，与视差散斑图中各散斑点所包含的像素点对应的亮度均值和对比度；并基于亮度均值和对比度，计算物体散斑图中各散斑点所包含的第i个像素点的亮度ii'，从而保证叠加前后散斑点总体亮度与对比度与其周围像素点相协调。
51.本发明的另一实施方式涉及一种电子设备，如图4所示，包括至少一个处理器202；以及，与至少一个处理器202通信连接的存储器201；其中，存储器201存储有可被至少一个处理器202执行的指令，指令被至少一个处理器202执行，以使至少一个处理器202能够执行上述任一方法实施例。
52.其中，存储器201和处理器202采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器202和存储器201的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器202处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器202。
53.处理器202负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器201可以被用于存储处理器202在执行操作时所使用的数据。
54.本发明的另一实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述任一方法实施例。
55.即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备（可以是单片机，芯片等）或处理器（processor）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-onlymemory）、随机存取存储器（ram，randomaccessmemory）、磁碟或者光盘等各种可以存储程序代码的介质。
56.本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。