图像处理方法以及装置与流程

本发明涉及图像处理技术领域，特别是涉及一种图像处理方法以及装置。

背景技术：

在人工智能领域已经图像处理领域，利用目标的图像信息可以实现很多功能比如用来分析用户的表情或动作信息等等。图像获取和识别一直是较为热门的研究话题，涉及到用户日常生活以及科学研究的多个方面。

获取目标的深度图像和红外图像进行特征提取和识别能提高基于RGB图像的识别命中率。目前一般通过红外相机以及深度相机分别直接获取目标对象的红外图像和深度图像，缺乏一种更加快速且成本低的同步获取红外及深度图像的方法。

技术实现要素：

本发明主要解决的技术问题是提供一种图像处理方法以及装置，能够在不增加计算量以及成本的前提下，有效提高图像识别命中率。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种图像处理方法，所述图像处理方法包括：

获取目标对象的结构光红外图像；

从所述结构光红外图像中同步获取所述目标对象的没有像素视差的深度图像以及红外图像。

其中，所述对所述结构光红外图像进行计算处理，从所述结构光红外图像中同步获取所述目标对象的深度图像以及红外图像的步骤具体包括：

从所述结构光红外图像中采集所述目标对象的散斑红外图像，计算得到所述散斑红外图像的散斑点相对于参考散斑图像的移动距离；

根据所述移动距离、所述参考散斑图像的位置信息得到所述目标对象的散斑红外图像的散斑点的深度值，并根据所述深度值得到所述目标对象的深度图像。

其中，所述对所述结构光红外图像进行计算处理，从所述结构光红外图像中同步获取所述目标对象的深度图像以及红外图像的步骤具体包括：

对所述结构光红外图像进行滤波处理，得到所述目标对象的红外图像。

所述对所述结构光红外图像进行滤波处理，得到所述目标对象的红外图像的步骤具体包括：

利用滤波算法滤除所述结构光红外图像中的散斑图像，得到所述目标对象的红外图像。

其中，所述对所述结构光红外图像进行计算处理，从所述结构光红外图像中同步获取所述目标对象的深度图像以及红外图像的步骤之后还包括：

根据所述目标对象的深度图像以及红外图像提取所述目标对象的特征信息；

对目标对象的特征信息进行识别，得到识别结果；

将所述识别结果转换为与其对应的可视化信息或操作指令。

其中，所述目标对象的特征信息包括唇语识别特征信息，

所述根据所述目标对象的深度图像以及红外图像提取所述目标对象的特征信息的步骤具体包括：

根据所述目标对象的深度图像以及红外图像对所述目标对象中的人脸以及唇部进行定位，提取所述唇部的深度特征信息以及纯红外特征信息；

所述对目标对象的特征信息进行识别，得到识别结果的步骤具体包括：

将所述唇部的深度特征信息以及纯红外特征信息与设定识别模型数据库中的识别信息进行比对，得到所述唇部的深度特征信息以及红外特征信息对应的识别结果。

其中，所述获取目标对象的结构光红外图像的步骤之前还包括如下步骤：

对目标区域投射结构光图案；

所述获取目标对象的结构光红外图像的步骤具体包括：

通过红外相机从所述目标区域获取所述目标对象的结构光红外图像。

为解决上述技术问题，本发明采用的另一个技术方案是：提供一种图像处理装置，所述图像处理装置包括图像获取模块以及图像处理模块

所述图像获取模块用于获取目标对象的结构光红外图像；

所述图像处理模块用于对所述结构光红外图像进行计算处理，从所述结构光红外图像中同步获取所述所述目标对象的深度图像以及红外图像。

其中，所述图像处理模块具体用于从所述结构光红外图像中采集所述目标对象的散斑红外图像，计算得到所述散斑红外图像的散斑点相对于参考散斑图像的移动距离；根据所述移动距离、所述参考散斑图像的位置信息得到所述目标对象的散斑红外图像的散斑点的深度值，并根据所述深度值得到所述目标对象的深度图像。

其中，所述图像处理模块具体用于通过滤波器对所述结构光红外图像进行滤波处理，得到所述目标对象的红外图像。

本发明的有益效果是：区别于现有技术的情况，本实施方式获取目标对象的结构光红外图像；对所述结构光红外图像进行计算处理，从所述结构光红外图像中同步获取所述目标对象的深度图像以及红外图像。上述以深度图像和红外图像相结合的方式提取目标对象特征信息的方式不仅能够很大程度上提高识别的命中率，提高图像识别的工作效率，而且直接采集结构光红外图像，从该结构光红外图中获取深度图像以及红外图像的方式相对于现有技术也能够有效的较少计算量，加快图像处理的速度，且能够降低图像处理设备的功耗以及整体成本。

附图说明

图1是本发明图像处理方法一实施方式的流程示意图；

图2是本发明图像处理方法另一实施方式的流程示意图；

图3是本发明图像处理装置一实施方式的结构示意图；

图4是本发明图像处理装置另一实施方式的结构示意图。

具体实施方式

参阅图1，图1是本发明图像处理方法一实施方式的流程示意图。如图1所示，本发明中的图像处理方法包括如下步骤：

101：获取目标对象的结构光红外图像。

其中，该结构光红外图像为带有结构光图案的红外图像。

为了获取到目标对象的特征信息，首先确定待获取的目标对象所处的目标区域，对目标区域投射结构光图案。其中，该结构光图案为随机排列的散斑图案。

该散斑图案可通过多种方法来投射。在其中的一个实施方式中，通过红外激光光源照射毛玻璃，在目标区域内产生干涉形成不规则的散斑图案。

在另一个实施方式中，可通过衍射光学元件进行投射的方式形成散斑图案，具体地，由单个激光光源准直后通过单个或多个衍射光学元件，在目标区域内形成不规则的散斑图案。还可以直接由不规则分布的激光阵列通过衍射光学元件在目标区域中形成与激光阵列一致的散斑图案，这种方式还可以控制图案的细节分布，在此不做限定。

在向目标区域投射结构光图案后，进一步通过红外相机获取该目标区域内的目标对象的结构光红外图像。

其中，该结构光红外图像中包含目标对象的二位信息以及结构光信息。具体地，该结构光红外图像中包括结构光图案以及目标对象图像。

102：对所述结构光红外图像进行计算处理，从所述结构光红外图像中同步获取所述目标对象的深度图像以及红外图像。

由于本实施方式中是根据目标对象的深度图像以及红外图像相结合的方式的获取目标对象的特征信息，因此，在获取到目标对象的结构光红外图像后，进一步地从该结构光红外图像中获取目标对象的深度图像以及红外图像，其中，该红外图像为纯净的红外图像。

其中，该目标对象的深度图像以及红外图像是同步获取的，且该深度图像与红外图像之间没有像素视差。

其中，本实施方式采用数字图像处理技术对结构光红外图像进行滤波处理得到纯净的红外图像。具体地，利用滤波算法滤出结构光图像中的散斑图像，得到目标对象的纯净的红外图像。

用来滤波散斑图像的滤波器的类型不做限定，可以为空域中的中、均值滤波器，也可以为频域中的高、低通以及同态滤波器，还可以为形态学滤波器等，具体情况可根据应用目的所需要的处理效果和预期速度来选取合适的滤波器，在此不做限定。

其中，本实施方式中是通过结构光的三角法来计算获取结构光红外图像中的目标对象的深度图像。具体地，在计算深度图像之前，首先设置并采集至少一个参考散斑图像，其中，该参考散斑图像是通过红外相机获取的，且，参考散斑图像与红外相机的距离已知。

再从该红外结构光红外图像中采集该目标对象的散斑红外图像，将该目标对象的散斑红外图像与参考散斑图像按照预定算法进行图像数据计算，获取目标对象上散斑红外图像的各个散斑点相对于参考散斑点相对于参考散斑图像的移动距离。最后根据该移动距离、参考散斑图像与红外相机的距离以及用于采集图像的红外相机以及红外摄像机之间的相对间隔值，利用三角法得到散斑红外图像的各个散斑点的深度值，并根据该深度值得到所述目标对象的深度图像。

在另一个实施方式中，为了使提取到的特征信息得到更加直观的应用，如图2所示，在步骤202：对所述结构光红外图像进行计算处理，从所述结构光红外图像中同步获取所述目标对象的深度图像以及红外图像的步骤之后还包括：

203：根据所述目标对象的深度图像以及红外图像提取所述目标对象的特征信息。

在具体的不同实施方式中，根据不同的使用需求，提取的目标对象的特征信息也不相同。获取不同的特征信息所采用的方法也可以根据实际需求而选定。

204：对目标对象的特征信息进行识别，得到识别结果。

以该特征信息为唇语识别特征信息为例来说明，首先根据目标对象的深度图像以及红外图像对该目标对象中的人脸以及唇部进行定位，提取唇部的深度特征信息以及纯红外特征信息。

其中，可通过基于外观的方式提取唇部的特征信息，也可以根据基于轮廓的方式提取唇部的特征信息。在一个优选的实施方式中，使用Viola-Jones框架算法进行人脸及唇部定位，使用离散余弦变换域主成分分析算法分别提取和简化唇部的深度特征信息以及纯红外特征信息。

在提取到唇部的深度特征信息以及纯红外特征信息后，将所述唇部的深度特征信息以及纯红外特征信息与设定识别模型数据库中的识别信息进行比对，得到所述唇部的深度特征信息以及红外特征信息对应的识别结果。

其中，该设定识别模型包括隐马尔可夫模型、高斯混合模型中的至少一种。

205：将所述识别结果转换为与其对应的可视化信息或操作指令。

进一步以唇语识别为例来说明，在得到唇部的深度特征信息以及红外特征信息对应的识别结果后，进一步地根据实际需求对识别结果进行处理。

如根据识别结果进行语言识别，还可以将该唇语的识别结果用来控制设备或实现体感操作。比如根据唇语识别技术控制手机，如通过特定的唇语识别实现手机的翻页或拨打接听电话等，在此不做限定。

区别于现有技术，本实施方式获取目标对象的结构光红外图像；对所述结构光红外图像进行计算处理，从所述结构光红外图像中同步获取所述目标对象的深度图像以及红外图像。上述以深度图像和红外图像相结合的方式提取目标对象特征信息的方式不仅能够很大程度上提高识别的命中率，提高图像识别的工作效率，而且直接采集结构光红外图像，从该结构光红外图中获取深度图像以及红外图像的方式相对于现有技术也能够有效的较少计算量，加快图像处理的速度，且能够降低图像处理设备的功耗以及整体成本。

另外，在提取到目标对象的特征信息后，进一步地对特征进行识别，并将识别结果转换为与其对应的可视化信息或操作指令，能够更加进一步的简化具体操作的实施过程，节省人力和物力成本。

参阅图3，图3是本发明图像处理装置一实施方式的结构示意图。如图3所示，本实施方式的图像处理装置包括图像获取模块301以及图像处理模块302，

图像获取模块301用于获取目标对象的结构光红外图像。

其中，该结构光红外图像为带有结构光图案的红外图像。

为了获取到目标对象的特征信息，首先确定待获取的目标对象所处的目标区域，对目标区域投射结构光图案。其中，该结构光图案为随机排列的散斑图案。

该散斑图案可通过多种方法来投射。在其中的一个实施方式中，通过红外激光光源照射毛玻璃，在目标区域内产生干涉形成不规则的散斑图案。

在另一个实施方式中，可通过衍射光学元件进行投射的方式形成散斑图案，具体地，由单个激光光源准直后通过单个或多个衍射光学元件，在目标区域内形成不规则的散斑图案。还可以直接由不规则分布的激光阵列通过衍射光学元件在目标区域中形成与激光阵列一致的散斑图案，这种方式还可以控制图案的细节分布，在此不做限定。

在向目标区域投射结构光图案后，图像获取模块301通过红外相机获取该目标区域内的目标对象的结构光红外图像。

其中，该结构光红外图像中包含目标对象的二位信息以及结构光信息。具体地，该结构光红外图像中包括结构光图案以及目标对象图像。

图像处理模块302用于对所述结构光红外图像进行计算处理，从所述结构光红外图像中同步获取所述目标对象的深度图像以及红外图像。

由于本实施方式中是根据目标对象的深度图像以及红外图像相结合的方式的获取目标对象的特征信息，因此，图像处理模块302在图像获取模块301获取到目标对象的结构光红外图像后，进一步地从该结构光红外图像中获取目标对象的深度图像以及红外图像，其中，该红外图像为纯净的红外图像。

其中，该目标对象的深度图像以及红外图像是同步获取的，且目标对象的深度图像与红外图像之间没有像素视差。

其中，本实施方式图像处理模块302采用数字图像处理技术对结构光红外图像进行滤波处理得到纯净的红外图像。具体地，利用滤波算法滤出结构光图像中的散斑图像，得到目标对象的纯净的红外图像。

图像处理模块302用来滤波散斑图像的滤波器的类型不做限定，可以为空域中的中、均值滤波器，也可以为频域中的高、低通以及同态滤波器，还可以为形态学滤波器等，具体情况可根据应用目的所需要的处理效果和预期速度来选取合适的滤波器，在此不做限定。

其中，本实施方式的图像处理模块302是通过结构光的三角法来计算获取结构光红外图像中的目标对象的深度图像。具体地，在计算深度图像之前，首先设置并采集至少一个参考散斑图像，其中，该参考散斑图像是通过红外相机获取的，且，参考散斑图像与红外相机的距离已知。

图像处理模块302再从该红外结构光红外图像中采集该目标对象的散斑红外图像，将该目标对象的散斑红外图像与参考散斑图像按照预定算法进行图像数据计算，获取目标对象上散斑红外图像的各个散斑点相对于参考散斑点相对于参考散斑图像的移动距离。最后根据该移动距离、参考散斑图像与红外相机的距离以及用于采集图像的红外相机以及红外摄像机之间的相对间隔值，利用三角法得到散斑红外图像的各个散斑点的深度值，并根据该深度值得到所述目标对象的深度图像。

在另一个实施方式中，为了使提取到的特征信息得到更加直观的应用，如图4所示，图像处理装置还包括特征信息提取模块403、特征信息识别模块404以及识别结果处理模块405，

特征信息提取模块403用于根据所述目标对象的深度图像以及纯红外图像提取所述目标对象的特征信息。

在具体的不同实施方式中，根据不同的使用需求，提取的目标对象的特征信息也不相同。获取不同的特征信息所采用的方法也可以根据实际需求而选定。

特征信息识别模块404用于对目标对象的特征信息进行识别，得到识别结果。

以该特征信息为唇语识别特征信息为例来说明，特征信息识别模块404首先根据目标对象的深度图像以及红外图像对该目标对象中的人脸以及唇部进行定位，提取唇部的深度特征信息以及纯红外特征信息。

其中，特征信息识别模块404可通过基于外观的方式提取唇部的特征信息，也可以根据基于轮廓的方式提取唇部的特征信息。在一个优选的实施方式中，使用Viola-Jones框架算法进行人脸及唇部定位，使用离散余弦变换域主成分分析算法分别提取和简化唇部的深度特征信息以及纯红外特征信息。

特征信息识别模块404在提取到唇部的深度特征信息以及纯红外特征信息后，将所述唇部的深度特征信息以及纯红外特征信息与设定识别模型数据库中的识别信息进行比对，得到所述唇部的深度特征信息以及红外特征信息对应的识别结果。

其中，该设定识别模型包括隐马尔可夫模型、高斯混合模型中的至少一种。

识别结果处理模块405用于将所述识别结果转换为与其对应的可视化信息或操作指令。

进一步以唇语识别为例来说明，识别结果处理模块405在特征信息识别模块404得到唇部的深度特征信息以及红外特征信息对应的识别结果后，进一步地根据实际需求对识别结果进行处理。

如识别结果处理模块405根据识别结果进行语言识别，还可以将该唇语的识别结果用来控制设备或实现体感操作。比如根据唇语识别技术控制手机，如通过特定的唇语识别实现手机的翻页或拨打接听电话等，在此不做限定。

区别于现有技术，本实施方式图像处理装置的图像获取模块获取目标对象的结构光红外图像；图像处理模块对所述结构光红外图像进行计算处理，从所述结构光红外图像中同步获取所述目标对象的深度图像以及红外图像。上述以深度图像和红外图像相结合的方式提取目标对象特征信息的方式不仅能够很大程度上提高识别的命中率，提高图像识别的工作效率，而且直接采集结构光红外图像，从该结构光红外图中获取深度图像以及红外图像的方式相对于现有技术也能够有效的较少计算量，加快图像处理的速度，且能够降低图像处理设备的功耗以及整体成本。

另外，在提取到目标对象的特征信息后，进一步地对特征进行识别，并将识别结果转换为与其对应的可视化信息或操作指令，能够更加进一步的简化具体操作的实施过程，节省人力和物力成本。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。