双波长图像采集系统的制作方法

本实用新型涉及光学投影及测量技术领域，尤其涉及一种双波长图像采集系统。

背景技术：

在人工智能领域，表情识别、唇语识别一直是研究的热门话题。目前大量的研究都是基于目标对象的RGB图像，而识别命中率也一直是限制技术发展的瓶颈。伴随着3D测量技术以及红外激光技术的不断发展，研究人员把目光渐渐转向了目标对象的深度以及红外图像，并结合红外与深度图像来进行表情、唇语等识别，由于红外激光不受环境光影响，且深度图像含有更加丰富的目标对象信息，因此这种结合方式在较大程度上提高了识别的命中率。

对于红外图像与深度图像的获取方面，分别通过红外相机以及深度相机来独立的采集红外光图像与深度图像是较为常用的技术手段，即通过采集设备上的独立以及在时序上分开采集是目前通用的技术手段，这需要有较大的设备体积以及功耗才能完成。

技术实现要素：

本实用新型为了解决缺乏体积小、功耗低的设备同步获取光图像与深度图像的硬件基础，提供一种双波长采集系统。

为了解决上述问题，本实用新型采用采用如下技术方案：

一种双波长图像采集系统，包括：

光学投影单元，包括光学投影仪和照明单元，所述光学投影仪用于发射第一波长的结构光图像，所述照明单元采用第二波长的光照明；

图像采集单元，包括滤光片和图像传感器；所述滤光片包括第一滤光片单元和第二滤光片单元并分别允许通过所述第一波长和第二波长的光；所述图像传感器用于接收通过所述滤光片的光转换成光学图像并将所述光学图像传送给处理器单元；

处理器单元，用于接收所述光学图像，并计算得到光图像和深度图像。

优选地，还包括一个存储单元，用于存储所述光图像和所述深度图像。

优选地，所述处理器单元包括:一个或多个处理器；存储器；以及一个或多个程序，其被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下步骤的指令：接收所述光学图像；将所述光学图像计算出第一波长结构光图像和第二波长光图像；利用第一波长结构光图像计算出第一深度图像；还用于执行如下步骤的指令：将所述深度图像和所述光图像融合成一幅图像；控制所述光学投影单元的投影和/或所述图像采集单元进行图像采集。

优选地，所述第一波长与第二波长均处于红外光的波长范围内。

优选地，所述第一波长与第二波长的波长不同。

优选地，所述第一波长为红外光图像，所述第二波长为包括第一波长在内的所有波长。

优选地，所述光学投影仪光源为VCSEL阵列激光。

优选地，所述照明单元为LED照明器。

优选地，所述第二波长的光图像用于进行生物识别。

优选地，所述图像传感器为CMOS或CCD。

本实用新型的有益效果为：提供一种双波长图像采集系统，光学投影单元包括结构光投影仪和用于普通照明的照明单元；结合图像采集单元中只有一个图像传感器，配备第一滤光片单元和第二滤光片单元用于实现对结构光图像和光图像的同步采集；通过处理器单元进一步的处理同步获取没有视差的深度图像和光图像，为体积小、功耗低的设备同步获取光图形与深度图像提供硬件基础。

附图说明

图1是本实用新型实施例1的双波长图像采集系统内置于移动设备中的示意图。

图2是本实用新型实施例2的双波长图像采集系统的示意图。

图3是本实用新型实施例1和2的图像采集单元结构示意图。

图4是本实用新型实施例3的图像采集单元的第一滤光片单元的示意图。

图5是本实用新型实施例3的图像采集单元的第二滤光片单元的示意图。

图6是本实用新型实施例4的处理器单元处理光学图像示意图。

图7是本实用新型实施例1、2、3和4的双波长图像采集系统采集图像的方法示意图。

其中，1-照明单元；2-图像采集单元；21-滤光片单元；22-图像传感器单元；3-光学投影仪；4-移动设备,5-处理器单元；6-光学；7-透镜。

具体实施方式

下面结合附图通过具体实施例对本实用新型进行详细的介绍，以使更好的理解本实用新型，但下述实施例并不限制本实用新型范围。另外，需要说明的是，下述实施例中所提供的图示仅以示意方式说明本实用新型的基本构思，附图中仅显示与本实用新型中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形状、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。

实施例1

如图1所示，是本实用新型实施例的双波长图像采集系统内置于移动设备中的示意图，是本实用新型所述的双波长图像采集系统作为移动设备内置单元的具体应用。双波长图像采集系统作为一个嵌入式单元器件被嵌入到移动设备4中，包括照明单元1、图像采集单元2、光学投影仪3，所应用的处理器为移动设备中的AP处理器。在本实施例中，所述的移动设备4是手机；深度图像获取系统嵌入的位置是移动设备4的顶端，嵌入图像获取系统的移动设备4可以用于获取目标的深度图像，进一步的可以用来进行3D扫描、3D建模、3D识别等应用。

在本实施例的一些变通实施例中，上述移动设备4还可以是PAD、计算机、智能电视等；嵌入的位置也可以是其他部位，比如侧面、低端、背面等；处理器单元可包括多个处理器，比如由专门用于深度获取的专用SOC芯片以及移动设备中的AP处理器，其中专用SOC芯片用于计算深度图像，而AP处理器则可以用于图像融合等功能；照明单元1、图像采集单元2、光学投影仪3设置的位置可以不受限制。

如图7所示，嵌入双波长图像获取系统的移动设备4获取深度图像的方法包括如下步骤：

(1)光学投影单元，包括光学投影仪3和照明单元1，所述光学投影仪3用于发射第一波长的结构光图像，利用所述光学投影单元3的光学投影仪向目标空间发射第一波长结构光图像；所述光学投影仪光源为VCSEL阵列激光。

(2)利用所述光学投影单元的照明单元1采用第二波长的光对目标空间进行照明；所述照明单元为LED照明器；所述第二波长的光图像用于进行生物识别。

在本实施例中，所述第一波长与第二波长均处于红外光的波长范围内且所述第一波长与第二波长的波长不同。

在本实施例的变通实施例中，所述第一波长为红外光图像，所述第二波长为包括第一波长在内的所有波长。

(3)利用所述图像采集单元2中获取光学图像并将所述光学图像传送给处理器单元。

如图3所示，为本实用新型实施例的图像采集单元结构示意图。图像采集单元2，包括滤光片单元21和图像传感器单元22；所述滤光片单元21包括第一滤光片单元和第二滤光片单元并分别允许通过所述第一波长和第二波长的光；所述图像传感器单元22用于获取光学图像并将所述光学图像传送给处理器单元。

(4)如图6所示，是本实用新型实施例的处理器单元处理光学图像示意图。利用所述处理器单元即本实施例中的移动设备的AP处理器接收所述光学图像，并处理、计算得到所述光图像和所述深度图像。所述处理器单元包括:一个或多个处理器；存储器；以及一个或多个程序，其被存储在所述存储器中，并被配置成由所述一个或多个处理器执行，所述程序包括用于执行以下步骤的指令：用于接收所述光学图像；用于将所述光学图像计算出第一波长结构光图像和第二波长光图像；用于利用第一波长结构光图像计算出第一深度图像。在本实施例的变通实施例中，所述处理器单元的计算程序还用于将所述深度图像和所述光图像融合成一幅图像；所述处理器单元还用于控制所述光学投影单元的投影和/或所述图像采集单元进行图像采集。

实施例2

如图2所示的是本实用新型实施例的双波长图像采集系统的示意图。双波长图像采集系统包括照明单元1、图像采集单元2、光学投影仪3、处理器单元5。在本实施例中，照明单元1、图像采集单元2、光学投影仪3处在一条直线上。

如图3所示，为本实用新型实施例的图像采集单元结构示意图。图像采集单元2，包括滤光片单元21和图像传感器单元22；所述滤光片单元21包括第一滤 光片单元和第二滤光片单元并分别允许通过所述第一波长和第二波长的光；所述图像传感器单元22用于获取光学图像并将所述光学图像传送给处理器单元。

在本实施例的其他变通实施例中，照明单元1、图像采集单元2、光学投影仪3的位置不受限制。

如图7所示，双波长图像获取系统的移动设备4获取深度图像的方法包括如下步骤：

(1)利用所述光学投影单元的光学投影仪向目标空间发射第一波长结构光图像；

(2)利用所述光学投影单元的照明单元采用第二波长的光对目标空间进行照明；

(3)利用所述图像采集单元中获取光学图像并将所述光学图像传送给处理器单元；

(4)利用所述处理器单元接收所述光学图像，并处理、计算得到所述光图像和所述深度图像。

不同于实施例1，本实施例中双波长图像获取系统作为独立设备，通过接口与其他设备连接用于输出/输入数据，这里的接口为USB接口。

在本实施例的变通实施例中，输出/输入数据还可以通过其他类型的接口、WIFI等；深度图像获取系统还包括存储单元，用于存储获取的深度图像。

实施例3

图4是本实用新型实施例的图像采集单元的第一滤光片单元的示意图。普通的RGB相机采用的拜尔滤光片，滤光片拥有与图像传感器像素数量相同并一一对应的滤光单元，拜尔滤光片分别有用于通过红光、绿光以及蓝光的滤光单元，且考虑到人眼对绿光更加敏感，因而三者的比例为R(25％):G(50％):B(25％)。而本实施例中，双波长图像采集系统包括照明单元1、图像采集单元2、光学投影仪3、处理器单元5。其中图像采集单元2的滤光片单元21由两个部分构成，其中IR1与IR2代表波长不同的两种红外光，IR1对应的像素将可以采集到IR1波长的红外图像，IR2对应的像素将采集到IR2波长的红外图像。在本实施例中，照明单元1是LED光源并发射IR1红外管个，而光学投影仪3是结构光投影仪并发发射IR2红外解耦股光，因此图像传感器上同时记录了含有LED光源以及结构光 光源的信息。由于每一种信息都只占有部分的像素，在本实施例中两种信息的比例为1:1，需要通过插值的方式恢复每个像素上的另一种分量的强度信息，从而最终实现同步获取完整的结构光图像与纯红外图像，在本实施例中采用加权平均的差值方法；在本实施例的变通实施例中，可以采用其他差值方法。

在另一个实施例中，照明单元1及光学投影仪3分别发射近、远红外光，因此滤光片的IR1、IR2则分别用于获取近红外图像及远红外图像。

在又一个实施例中，照明单元1为可见光光源，而光学投影仪3发射红外光，因此滤光片的IR1、IR2则分别用于获取对应的可见光及红外光图像。

如图5是本实用新型实施例的图像采集单元的第二滤光片单元的示意图。照明单元1为普通的白光光源，而光学投影仪3发射红外光，因此滤光片的IR1、IR2则分别用于获取白光及红外光图像，其中，W为白光滤片，实际上此区域往往不添加任何滤光片以实现对光线强度的最大采集。

如图7所示，是本实施例的双波长图像采集系统采集图像的方法示意图。

在本实施例的变通实施例中，存在一种计算机可读存储介质，其存储有与深度图像获取设备结合使用的计算机程序，所述计算机程序被处理器执行以实现本实用新型任一所述方法。

需要注意的是，在本实用新型的其他变通实施例中，可能采用任何其他波长的组合及应用。

实施例4

如图6是本实用新型实施例的处理器单元处理光学图像示意图。双波长图像采集系统包括照明单元1、图像采集单元2、光学投影仪3、处理器单元5。首先由图像传感器单元22获取包含两种波长(如近红外、远红外光)的光学图像；其次将该光学图像输出到处理器单元5中，由处理器单元5将该光学图像一分为二，即包含结构光信息的结构光图像以及包含目标特征信息的纯红外图像；其中结构光图像将进一步由处理器计算得到深度图像；最后将深度图像与纯红外图像融合成一幅图像(IR-D图像)并输出。

如图7所示，是本实施例的双波长图像采集系统采集图像的方法示意图。

在本实施例的变通实施例中，深度图像与纯红外图像也可以单独进行输出。

由结构光图像计算深度图像的原理即为结构光三角法原理。以散斑图像为例，预先需要对采集一幅已知深度平面上的结构光图像为参考图像，然后处理器利用当前获取的结构光图像与参考图像，通过图像匹配算法计算各个像素的偏离值(变形)，最后利用三角法原理可以计算出深度，计算公式如下：

其中，Z_D指三维空间点距离采集模组的深度值，即待求的深度数据，B是采集相机与结构光投影仪之间的距离，Z₀为参考图像离采集模组的深度值，f为采集相机中透镜的焦距。

得到的深度图像及纯红外图像可以被用来实现多项应用，比如深度图像可以用来进行3D扫描，利用纯红外图像实现人脸识别等。由于采用的是主动照明，因而可以实现在不同的环境下实现这些应用，比如在黑夜中也能进行人脸识别。另外，由于深度图像与纯红外图像是通过不同波长的图像采集来得到的，二者之间不会相互干扰，因而可以实现同步获取。再者，由单一的图像传感器来实现两种图像的提取，可以减小体积以及功耗。

以上内容是结合具体的优选实施方式对本实用新型所作的进一步详细说明，不能认定本实用新型的具体实施只局限于这些说明。对于本实用新型所属技术领域的技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本实用新型的保护范围。