本发明涉及目标图像的获取，尤其涉及一种目标图像获取系统与方法。
背景技术：
消费级深度相机的出现给众多领域带来了变革，比如3D建模、手势交互、人脸识别等。不同的应用场景对深度相机的性能要求也不一样，比如3D建模以及人脸识别等往往需要深度相机输出高分辨率的深度图像以提高建模以及人脸识别算法精度；而手势交互则对深度相机的输出帧率有较高的要求，高帧率的深度图像会降低延迟，带来更好的用户体验。
目前，消费级深度相机所面临的问题之一即是深度图像分辨率与输出帧率之间的矛盾，特别是对于基于结构光技术的深度相机，当其深度图像分辨率越高时，由于深度计算量的增加导致其输出帧率大幅下降，高分辨率与高帧率无法同时实现。
技术实现要素：
本发明为了解决现有技术中高分辨率与高帧率无法同时实现的问题，提供一种目标图像获取系统与方法。
为了解决上述问题，本发明采用的技术方案如下所述：
一种目标图像获取系统，包括：采集相机，含有第一像素与第二像素，分别用于采集目标区域的第一波长图像与第二波长图像；泛光照明单元，用于对所述目标区域提供第一波长的照明；结构光投影仪，用于向所述目标区域投射第二波长的结构光图像；处理器，与所述采集相机、所述泛光照明单元以及所述结构光投影仪连接，用于：控制所述采集相机同步采集在所述泛光照明单元照明下的目标泛光图像以及所述结构光投影仪照明下的结构光图像；识别所述目标泛光图像中的前景目标；提取所述结构光图像中与所述前景目标对应的像素区域以得到目标结构光图像。
本发明还提供一种目标图像获取系统，所述泛光照明单元是泛光照明器；或，与所述目标图像获取系统独立的照明光源；所述第一波长为可见光波长；所述第二波长为红外光波长；所述泛光图像包括彩色图像或灰度图像。
本发明又提供一种目标图像获取系统，所述泛光照明单元与所述结构光投影仪是一直处于开启状态或按照频率开启，所述频率与所述采集相机的曝光频率一致；所述同步采集的目标泛光图像与所述结构光图像的像素相同或不同；所述处理器还用于利用所述目标结构光图像计算出目标深度图像。
本发明提供一种目标图像获取方法，包括如下步骤：T1：利用同一个采集相机同步采集目标区域的第一波长的目标泛光图像与第二波长的结构光图像；T2：识别所述目标泛光图像中的前景目标；T3：提取所述结构光图像中与前景目标对应的像素区域以得到目标结构光图像；所述第一波长为可见光波长；所述第二波长为红外光波长。
本发明还提供一种目标图像获取方法，还包括如下步骤：T4：利用所述目标结构光图像计算出目标深度图像。
本发明的有益效果为：提供一种目标图像获取系统和方法，同时采集第一波长的目标泛光图像和第二波长的结构光图像，然后获取目标泛光图像的前景目标并提取结构光图像中与前景目标对应的像素区域以得到目标结构光图像，此时再对目标结构光图像进行深度计算得到目标深度图像，由于数据量相对于全分辨率较小，因此深度算法的运算速度也会较快，从而可以确保深度图像的高帧率输出。
附图说明
图1是根据本发明一个实施例的目标图像获取系统示意图。
图2是根据本发明一个实施例的泛光照明器、结构光投影仪以及采集相机的时序控制示意图。
图3是根据本发明一个实施例的目标图像获取方法示意图。
图4是根据本发明第二个实施例的目标图像获取方法示意图
图5是根据本发明一个实施例的采集相机图像采集原理示意图。
图6是根据本发明又一个实施例的采集相机图像采集原理示意图。
图7是根据本发明第三个实施例的目标图像获取方法示意图。
图8是根据本发明第四个实施例的目标图像获取方法示意图。
图9是根据本发明又一个实施例的目标图像获取系统示意图。
图10是根据本发明第五个实施例的目标图像获取方法示意图。
图11是根据本发明第六个实施例的目标图像获取方法示意图。
其中，10-处理器，11-泛光照明器，12-结构光投影仪，13-采集相机，71-第一采集相机，72-结构光投影仪，73-第二采集相机。
具体实施方式
下面结合附图通过具体实施例对本发明进行详细的介绍，以使更好的理解本发明，但下述实施例并不限制本发明范围。另外，需要说明的是，下述实施例中所提供的图示仅以示意方式说明本发明的基本构思，附图中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的形状、数量及比例可为一种随意的改变，且其组件布局形态也可能更为复杂。
图1是根据本发明一个实施例的目标图像获取系统示意图。目标图像获取系统包括处理器10以及与之连接的结构光投影仪12以及采集相机13，其中结构光投影仪12用于向空间中投射结构光光束，当结构光光束照射到物体上时，会形成相应的结构光图像，该图案随后被采集相机13采集并形成该物体的结构光图像，处理器10基于该结构光图像进一步计算出深度图像。
单个结构光投影仪12与单个采集相机13组成单目结构光深度成像系统，处理器10将基于单目结构光三角法原理计算出深度图像。在一个实施例中，处理器10将当前采集到的物体结构光图像与预先保存的参考结构光图像进行匹配计算，以得到两幅图像之间像素的偏离值，根据该偏离值进一步计算出深度值，这里所说的参考结构光图像是在已知深度距离上放置一块平面，当结构光投影仪12向该平面投影出结构光光束后由采集相机13或其他采集相机采集得到的。
在一些实施例中，也可以包含两个及以上的采集相机13，其与结构光投影仪12组成双目或多目结构光深度成像系统。以两个采集相机13与单个结构光投影仪12组成的双目结构光系统为例进行说明，当结构光投影仪12向空间中投射结构光光束后，两个采集相机13采集左、右两幅结构光图像，处理器10基于双目视觉算法通过对左、右结构光图像的匹配计算也可以获取深度图像；也可以分别对左、右结构光图像与各自对应的参考结构光图像进行计算以获取两幅深度图像，这样做的好处在于，在一个实施例中可以将左、右采集模组设置成具有不同的参数，比如不同的分辨率、焦距等，由此可以同时采集具有比如不同分辨率、视场角等的结构光图像，进一步地，可以同时获取不同分辨率、视场角等的深度图像；在一个实施例中，还可以将获取的多个深度图像融合成一幅具备更多信息的深度图像。
在一些实施例中，匹配计算指的是在当前结构光图像(或参考结构光图像)上以某像素为中心选取一定大小的子区域，比如7x7、11x11像素大小的子区域，然后在参考结构光图像(或当前结构光图像)上搜索与子区域最为相似的子区域，两个子区域在两幅图像上像素坐标之间的差值即为偏离值；其次利用偏离值与深度值之间的对应关系，基于偏离值就可以计算出深度值，多个像素的深度值就构成了深度图像。对于左、右两幅或多幅结构光图像之间的匹配计算原理与上述原理类似。
在一些实施方式中，目标图像获取系统还包括与处理器10连接的泛光照明器11，泛光照明器11作为泛光照明单元用来提供泛光照明。处理器10通过总线等方式控制泛光照明器11、结构光投影仪12以及采集相机13，也可以通过一些数据传输接口进行连接，比如通过MIPI、VGA等接口与采集相机13连接，以接收由采集相机13采集到的图像。在一个实施例中，泛光照明器11与结构光投影仪12用于发射相同波长的光束，比如红外光，而采集相机13由包含了用于采集该波长光束的像素。处理器10可以通过对三者之间时序上的控制来实现对不同图像的采集，具体的可以控制采集相机采集在泛光照明单元照明下的目标泛光图像；识别目标泛光图像中的前景目标；控制采集相机采集在结构光投影仪投影下与前景目标对应的像素上的目标结构光图像。在一些实施例中，泛光照明单元也可以是环境中的其他光源，比如环境光可以作为泛光照明。即泛光照明可以是红外光源等光源发出的主动光，也可以是环境光。在下述具体实施例中，有些是以系统中包含泛光照明器的情况下进行的描述，有些是以环境光作为泛光照明单元进行的描述，应该可以理解的是，根据不同的情况，可以选择具体的泛光照明的形式，但是其方法是通用的，以下不作具体的区分。
处理器10可以是配置在系统内部的深度计算处理器来执行，该处理器可以专用处理器如SOC、FPGA等，也可以是通用处理器。在一些实施例中，也可以利用外部计算设备，如计算机、移动终端、服务器等设备，外部计算设备接收来自采集模组13的结构光图像后实施深度计算，得到的深度图像可直接用于该设备的其他应用。在一个实施例中，当系统作为嵌入式装置集成到其他计算终端时，如电脑、平板、手机、电视等目标图像获取装置，处理器所实现的功能可以由终端内的处理器或应用来完成，比如将深度计算功能以软件模块形式存储在存储器中，被终端内的处理器调用从而实现深度计算。可以理解的是，采用本发明提供的目标图像获取系统和/或采用本发明提供的目标图像获取方法的目标图像获取装置都应该视为本发明保护的范围。
结构光图像可以是条纹图案、二维图案、散斑图案(斑点图案)等，结构光波长可以是可见光波长、红外光波长、紫外光波长等。
图2所示的是泛光照明器、结构光投影仪以及采集相机的时序控制示意图。其中时序图20、21以及22分别对应泛光照明器11、结构光投影仪12以及采集相机13，图中凸起的部分表示相应的器件处于激活状态，比如泛光照明器11与结构光投影仪12位于投影状态、采集相机位于曝光状态。从图2所示可以看出，本实施例中，处理器10控制泛光照明器11以及结构光投影仪12进行交叉激活，同时控制采集相机在各个激活区间内进行曝光并采集相应的图像。在泛光照明器11照射下采集到泛光图像A，在结构光投影仪12投射下采集到结构光图像B，泛光图像A与结构光图像B依次输出至处理器进行处理。在一些实施例中，通过将泛光照明器11以及结构光投影仪12的激活时长的合理设置以采集到更高质量的图像，比如将结构光投影仪12的激活时间设置得更长一些，以确保满足足够的曝光时间以采集到更高质量的结构光图像；在一些实施例中，根据实际应用需要，泛光照明器11与结构光投影仪12的激活次序也可以设置成其他形式，比如激活两次泛光照明器11后激活一次结构光投影仪12等。
在一些应用中，要求获取被测量目标的高分辨率深度图像，然而受限于深度计算算法以及处理器计算能力的限制，实现高分辨率深度图像采集往往需要花费较高的成本。本发明一个实施方式中将提供基于图1所示系统的获取高分辨率目标深度图像的方法。图3是根据本发明一个实施例的目标图像获取方法示意图，该方法被处理器10执行以实现相应的功能。
首先，控制采集相机13采集在泛光照明单元照明下的目标泛光图像；这里说的目标泛光图像是指含有目标的目标泛光图像。已有技术中，比如微软kinect、Intel realsense等深度相机，其输出深度图像分辨率往往为VGA，即640x480，或者更低分辨率，因此在本发明中以高清分辨率1280x960为例进行说明，可以理解的是，其他分辨率也适用于本发明。在本步骤中，处理器10给泛光照明器11以及采集相机13施加同步触发信号，以使用在泛光照明器11提供泛光照明的同时，采集相机13采集到目标区域的泛光图像A，此时采集相机13可以是全分辨率输出，即输出1280x960分辨率的泛光图像A，在一个实施例中，也可以控制采集相机13使用binning mode(合并模式)或者skipping mode(抽取模式)等低分辨率模式获取全视场的低分辨率图像。在输出帧率要求较高以及输出接口传输速度一定的前提下，若全分辨率图像无法实现高帧率的输出，则可以采取如上所述的低分辨率输出模式。
一般地，泛光图像中含有感兴趣的前景目标，比如人脸、人体、物体等，同时也会含有一些背景目标，比如人所在的场景等。对于一些应用而言，如人脸识别、3D建模等，往往仅需要前景目标信息，而背景则需要去除。
其次，识别目标泛光图像中的前景目标。在这一步骤中，需要将泛光图像中的前景与背景进行分割，诸多图像分割算法均可以应用到本步骤中，如阈值分割法、均值法(mean shift)、聚类法等等。在选取图像分割算法时，需要兼顾计算效率与计算精度，特别是计算效率，图像分割速度慢会降低最终的图像输出帧率(深度图像输出帧率)。在前景区域被分割后，识别出前景区域，或者说识别出前景区域所在的前景像素区域。
最后，控制采集相机采集在结构光投影仪投影下与前景目标对应的像素上的目标结构光图像。由于在上一步骤中获取了前景像素区域，在本步骤中，采集相机将在裁剪模式下(cropping mode)仅对与前景区域对应的像素进行采样，即仅输出与前景区域对应的前景图像，由于此时结构光投影仪处于开启状态，因此获取的前景图像为目标结构光图像。需要注意的是，对于动态目标，比如移动的人体，前后两幅图像之间目标所对应的像素也会有区别，因此，在选取与前景区域对应的像素时，可以根据人体的移动速度与相机的参数适当扩大像素区域。事实上，在帧率较大(如30fps、60fps等)的情况下，相邻帧图像中前景区域近乎相同。
在以上的各个步骤后，处理器10将获取当前应用所需要的目标结构光图像，虽然该结构光图像仅包括较小的视场角，然而却具有较高的分辨率。
如图4所示，在本发明的变通实施例中，基于该结构光图像进行深度计算得到目标深度图像，由于数据量相对于全分辨率较小，因此深度算法的运算速度也会较快，从而可以确保深度图像的高帧率输出。
现在以一个更直观的实施例来说明以上各步骤，比如采集相机最高可以输出1280x960@60fps的图像，若利用该采集相机作为结构光图像采集，由于深度计算算法以及硬件等限制，仅能实现1280x960@10fps的深度图像输出，由于深度图像帧率太低，导致无法满足一些应用的需要。而利用以上所述的方法，即在泛光图像以及结构光投影仪以交叉时序进行开启，采集相机则可以获取1280x960@30fps的泛光图像，结合高速度的图像分割算法，在识别到前景目标区域后(假设目标区域位于采集相机视场角中间且占整个视场的50％)，由此则可以获取640x480@30fps的目标结构光图像，根据当前深度计算算法以及相关硬件，可以满足实时对640x480@30fps的目标结构光图像进行处理并输出640x480@30fps的深度图像。与直接采用640x480@30fps的采集相机相比，本实施例所获取的深度图像仅包含目标，细节信息更加丰富，同时省去了图像分割的步骤。
图2与图3、图4所示的实施例中，泛光照明器11与结构光投影仪12投射相同波长的光束，采集相机用于在不同时序上分别获取泛光图像A与结构光图像B。
图5与图6所示的是根据本发明一些实施例的采集相机采集原理示意图。图5中，采集相机可以对两种波长的光束进行同步采集，其拥有对白光(所有波长的光)感光的W像素以及对红外光感光的IR像素，当泛光照明单元为环境光、结构光投影仪用于投射红外结构光时，采集相机可以同时采集泛光图像与结构光图像，只不过泛光图像与结构光图像的有效像素要低于采集相机整体像素。在本实施例中，有效像素为整体像素的一半，在其他实施例中，泛光图像与结构光图像像素也可以为其他比例，比如W:IR＝1：3，由此可以保证结构光图像中拥有更多的图像细节，所获取的深度图像具有更精细的信息。在图6中，采集相机可以同时采集彩色图像(RGB)与红外图像，比如可以同时采集彩色泛光图像与红外结构光图像，也可以是彩色结构光图像与红外泛光图像。
可以理解的是，图5与图6仅作为示例来说明当泛光照明器11与结构光投影仪12所发出光束波长不同时，可以利用对两种波长同时感光的采集相机同时采集与之对应的目标泛光图像与结构光图像，实际使用中不限于图5和图6的示例。图7是基于采集相机同时采集不同波长的目标泛光图像和结构光图像的目标图像获取方法示意图，该方法被处理器10执行以实现相应的功能。
首先，控制所述采集相机采集在泛光照明器11以及所述结构光投影仪12照明下的目标泛光图像与结构光图像；泛光照明器11与结构光投影仪12可以一直处于开启状态，也可以按照频率开启并以一定的间隙脉冲发光，其频率应与采集相机的曝光频率一致。假定采集相机可以输出1280x960@30fps的图像，在泛光照明器与结构光投影仪同时照明下，所获取的每幅图像均含有目标泛光图像信息与结构光图像信息，对于图5所示的采集相机而言，则每幅图像中泛光图像信息与结构光图像信息各占一半，采集相机随后会分别提取各自图像对应的像素，并根据上采样算法填充其他空白像素，最终可以得到1280x960@30fps的泛光图像以及1280x960@30fps的结构光图像，并且泛光图像与结构光图像之间没有视差。
其次，识别目标泛光图像中的前景目标。在这一步骤中，需要将泛光图像中的前景与背景进行分割，诸多图像分割算法均可以应用到本步骤中，如阈值分割法、均值法(mean shift)、聚类法等等。在选取图像分割算法时，需要兼顾计算效率与计算精度，特别是计算效率，图像分割速度慢会降低最终的图像输出帧率(深度图像输出帧率)。在前景区域被分割后，识别出前景区域，或者说识别出前景区域所在的前景像素区域。
最后，提取结构光图像中与前景目标对应的像素区域以得到目标结构光图像。由于目标泛光图像与结构光图像之间没有视差，因此上一步骤上识别到的目标泛光图像中的前景区域同样也是结构光图像中的前景区域，提取出这一区域中的结构光图像像素即为目标结构光图像。
在以上的各个步骤后，处理器10将获取当前应用所需要的目标结构光图像，虽然该结构光图像仅包括较小的视场角，然而却具有较高的分辨率。
如图8所示，在本发明的一种变通实施例中，可以基于该结构光图像进行深度计算得到目标深度图像，由于数据量相对于全分辨率较小，因此深度算法的运算速度也会较快，从而可以确保深度图像的高帧率输出。
图7、图8所示的方法与图3、图4所示的方法相比，图3、图4方法中目标泛光图像与结构光图像之间存在时间上的差距，当目标为运动物体且运动速度较快时，可能会导致算法失效；图7、图8方法目标泛光图像与结构光图像由于是同步获取，因此可以适应快速运动的物体，但由于采集相机所采集到的结构光图像仅包含部分像素，因此所得到的深度图像的细节信息会有所丢失。
图9是根据本发明又一个实施例的目标图像获取系统示意图。目标图像获取系统包括处理器10以及与之连接的第一采集相机71、第二采集相机73以及结构光投影仪72以及泛光照明单元，因为在本系统中泛光照明单元采用的是环境光，所以图中未画出。第一采集相机71与第二采集相机73分别用于采集不同波长的图像。在一种实施例中，第一采集相机用于采集目标区域的第一波长的目标泛光图像；第二采集相机用于采集目标区域的所述结构光图像。可以理解的是，在一个实施例中，也可以包含泛光照明器，或者与目标图像获取系统独立的照明光源。以下以环境光为泛光为例进行说明。
在一个实施例中，第一采集相机为RGB相机，用于采集RGB图像；第二采集相机为红外相机，用于采集IR图像；结构光投影仪用于发射红外结构光图像。由于RGB相机与红外相机之间存在视差，因此需要对两个相机进行标定，可以利用已有技术的任一标定方法进行标定，标定的目的是获取其中一个相机相对于另一相机的相互位置关系(平移与放置矩阵，R和T)。图10是根据本发明另一个实施例的目标图像获取方法示意图。该方法被处理器10执行以实现相应的功能。
首先，控制RGB相机以及红外相机获取RGB图像与红外结构光图像。处理器10控制RGB相机与红外相机以相同的帧率提取RGB图像与红外结构光图像，RGB图像与红外图像的分辨率可以相同也可以不同，一般地，系统中的RGB相机需要用来执行拍照等任务，因此RGB图像拥有更高的分辨率，但在本实施例中，其采集的RGB图像是用于为前景目标识别应用的，因此可以在低分辨率模式下采集RGB图像，这样一方面可以提高图像获取的帧率，同时可以降低后续前景目标识别的难度。
其次，识别RGB图像中的前景目标；在这一步骤中，需要将RGB图像中的前景与背景进行分割，诸多图像分割算法均可以应用到本步骤中，如阈值分割法、均值法(mean shift)、聚类法等等。在选取图像分割算法时，需要兼顾计算效率与计算精度，特别是计算效率，图像分割速度慢会降低最终的图像输出帧率(深度图像输出帧率)。在前景区域被分割后，识别出前景区域，或者说识别出前景区域所在的前景像素区域。
最后，基于RGB相机与红外相机的相对位置关系，提取红外结构光图像上与前景目标对应的像素上的目标结构光图像。在RGB图像中确认出前景目标所在的区域后，根据RGB相机与红外相机的相对位置关系，可以定位出目标结构光图像中相应的前景目标所在的区域，进一步可以提取这一区域的像素作为目标结构光图像。
如图11所示，在以上的各个步骤后，处理器10将获取当前应用所需要的目标结构光图像，随后利用深度算法计算出该目标结构光图像中各个像素的深度值以生成目标深度图像。在本实施例中，同样由于最终的目标结构光图像总体像素数较小，使得深度计算可以实时运算，从而达到高帧率的输出。在采集RGB图像与红外图像的步骤中，RGB图像与红外图像也可以不同步获取，可以采取与图3、图4所示实施例中类似的形式以一定的时序分开采集RGB图像与红外图像，此时可以降低对处理器10的存储及运算能力的要求。在时序获取模式下，红外相机可以基于RGB图像中识别出的前景目标区域，利用裁剪模式采集红外结构光图像，由此可以进一步降低数据量以保证高速输出。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。