双图像采集系统及图像采集方法与流程

本发明涉及图像采集技术领域，特别是涉及双图像采集系统及图像采集方法。

背景技术：

由于不同类型的图像能够反映物体的不同信息，为实现不同的应用，常需要获取物体的多种类型的图像，例如获取物体的彩色图像和深度图像。由于彩色图像仅能显示目标的二维信息，但是却有着极为丰富的色彩特征，适合用来做识别任务；而深度图像能直接反映物体的三维形状特征，可以实现2D图像无法实现的三维建模以及3D识别等任务。因此，二者的结合能很大程度上提升应用范围。

目前，不同类型的图像需要通过不同类型的相机分别采集获取的，具体为将两个相机平行间隔放置，因而两者采集到的图像存在着像素视差。故，在将采集的两种图像进行结合之前，往往需要消除图像间的像素视差，否则可能会导致结合后图像的失真。

技术实现要素：

本发明主要解决的技术问题是提供双图像采集系统及图像采集方法，能够实现零像素视差的双图像采集。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种双图像采集系统，其特征在于，包括第一图像采集装置、第二图像采集装置以及半透半反镜，所述第一图像采集装置的第一光轴与所述第二图像采集装置的第二光轴正交，且所述半透半反镜设置于所述第一光轴与所述第二光轴的相交处，所述第一光轴经所述半透半反镜透射后与所述第二光轴经所述半透半反镜反射后重合；

所述第一图像采集装置用于采集经所述半透半反镜透射得到的目标的第一图像；

所述第二图像采集装置用于采集经所述半透半反镜反射得到的所述目标的第二图像。

其中，所述第一图像采集装置和所述第二图像采集装置中的一个为彩色图像采集装置，另一个为激光图像采集装置，所述第一图像和第二图像的一个为彩色图像，另一个为激光图像。

其中，所述激光图像采集装置包括投影模组和图像采集元件，所述投影模组用于向所述目标投射结构光图案，所述图像采集元件用于采集所述目标的结构光激光图像。

其中，还包括与所述第一图像采集装置和所述第二图像采集装置连接的图像处理装置，用于获取所述第一图像采集装置和所述第二图像采集装置采集的图像，并采用结构光三角法对采集得到的结构光激光图像进行计算得到所述目标的深度图像。

其中，还包括与所述第一图像采集装置和所述第二图像采集装置连接的控制装置，用于控制所述投影模组投射所述结构光图案的时间和/或频率，以及控制所述第一图像采集装置和所述第二图像采集装置的采集时间和/或采集频率。

其中，所述控制装置与所述图像处理装置为同一电路。

其中，所述系统集成于同一设备中。

其中，所述半透半反镜的透射率和反射率的范围均为20％至80％。

为解决上述技术问题，本发明采用的一个技术方案是：提供一种图像采集方法，包括：

获取第一图像采集装置采集的经半透半反镜透射得到的目标的第一图像和第二图像采集装置采集的经所述半透半反镜反射得到的所述目标的第二图像，其中，第一图像采集装置的第一光轴与所述第二图像采集装置的第二光轴正交，且所述半透半反镜设置于所述第一光轴与所述第二光轴的相交处；

对所述第一图像和/或所述第二图像进行处理。

其中，所述第一图像采集装置和所述第二图像采集装置中的一个为彩色图像采集装置，另一个为激光图像采集装置，所述第一图像和第二图像的一个为彩色图像，另一个为结构光激光图像，对所述第一图像和/或所述第二图像进行处理，包括：

采用结构光三角法对采集得到的结构光激光图像进行计算得到所述目标的深度图像。

本发明的有益效果是：通过将第一图像采集装置和第二图像采集装置进行以光轴正交设置，并采用半透半反镜设置在光轴正交处且两个图像采集装置的光轴经半透半反镜后重合，使得目标光线分别通过半透半反镜透射和反射后，到达第一图像采集装置和第二图像采集装置后的成像位置相同，即第一图像采集装置采集的第一图像和第二图像采集装置采集的第二图像的对应像素相对于其采集装置中心位置相同，故实现了采集得到的第一图像和第二图像之间无像素视差。

附图说明

图1是本发明双图像采集系统一实施例的结构示意图；

图2是本发明双图像采集系统另一实施例的结构示意图；

图3是本发明双图像采集系统再一实施例的结构示意图；

图4是本发明双图像采集系统又再一实施例的结构示意图；

图5是本发明图像采集方法一实施例的流程图。

具体实施方式

为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。

在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。

请参阅图1，图1是本发明双图像采集系统一实施例的结构示意图。本实施例中，该采集系统10包括第一图像采集装置11、第二图像采集装置12、半透半反镜13以及入光口14。

其中，所述第一图像采集装置11和第二图像采集装置12不设置在同一直线上，且第一图像采集装置11的第一光轴a与所述第二图像采集装置12的第二光轴b正交，如图1所示。当然，在其他实施例中，也可如图2所示。

半透半反镜13设置于所述第一光轴a与所述第二光轴b的相交处，且第一光轴a和第二光轴b分别位于该半透半反镜13的两个相对侧面131，使得目标光线通过入光口14后经半透半反镜13透射后到达第一图像采集装置11，并经半透半反镜13反射后到达第二图像采集装置12，进而可实现上述两个图像采集装置对目标20的图像采集。具体地，第一光轴a经所述半透半反镜13透射后与所述第二光轴b经所述半透半反镜反射后重合，例如，该半透半反镜13与第一光轴a和第二光轴b均成45度角，以实现上述重合。

值得注意的是，本发明所述的半透半反镜为透射率和反射率均不为零的光学元件，该半透半反镜的透射率和反射率可根据具体应用需求进行设置。通常，将半透半反镜的透射率和反射率均设置为20％至80％之间，例如，若当前环境第一图像采集装置所需的光强大于第二图像采集装置，则将半透半反镜的透射率为70％，反射率为30％。在一具体应用中，该第一图像采集装置为彩色图像采集装置，第二图像采集装置为激光图像采集装置，则优选将透射率设置为60％，反射率设置为40％，反之亦然。

通过上述设置，第一图像采集装置11可采集经所述半透半反镜13透射得到的目标20的第一图像，第二图像采集装置12可采集经所述半透半反镜13反射得到的目标20的第二图像。

通常，当采集系统设置有不透光外壳，以将上述采集装置和半透半反镜容置于内时，该采集系统包括上述入光口14，且该入光口14设置在外壳上；当采集系统无设置外壳时，则可不包括上述入光口14。

像素视差指的是同一个空间三维点在两个图像采集装置成像后，两个图像中的对应像素分别相对于各自采集装置中心点的位移间之差，若两个图像中的对应像素相对于各自采集装置中心点的位置相同，则视为没有像素视差。本实施例中，通过将第一图像采集装置和第二图像采集装置进行以光轴正交设置，并采用半透半反镜设置在光轴正交处且两个图像采集装置的光轴经半透半反镜后重合，使得目标光线分别通过半透半反镜透射和反射后，到达第一图像采集装置和第二图像采集装置后的成像位置相同，即第一图像采集装置采集的第一图像和第二图像采集装置采集的第二图像的对应像素相对于其采集装置中心位置相同，例如，目标20的c点光线经半透半反镜13的透射和反射后，沿第一光轴a到达第一图像采集装置的镜头中心进而形成在第一图像的中心像素处，并沿第二光轴b到达第二图像采集装置12的镜头中心进而形成在第二图像的中心像素处，故实现了采集得到的第一图像和第二图像之间无像素视差。

在一实施例中，该第一图像采集装置11和第二图像采集装置12中的一个可为彩色图像采集装置(本实施例所述的彩色也可称为RGB)，另一个可为激光图像采集装置，例如，第一图像采集装置11为彩色图像采集装置，第二图像采集装置12为激光图像采集装置；或者，第一图像采集装置11为激光图像采集装置，第二图像采集装置12为彩色图像采集装置。对应地，彩色图像采集装置采集得到的图像为彩色图像，激光图像采集装置采集得到图像为激光图像。当然，在其他实施例中，上述图像采集装置并不限定为彩色图像采集装置和激光图像采集装置，可以为现有的任意类型图像的采集器件。

进一步地，该激光图像采集装置可以是基于结构光或TOF等其它原理的采集装置。此类型采集装置可由一个投影镜头及采集镜头组成，比如，如图3所示，在第二图像采集装置为结构光激光图像采集装置的实施例中，结构光激光图像采集装置12包括投影模组121及图像采集元件122，其中投影模组121用于向目标20投射特定图案的结构光，也称结构光图案，如图3所示，投影模组121通过采集系统10的出光口15向目标投射结构光图案。图像采集元件用于采集目标20的带该结构光图案的图像，即称为结构光激光图像。其中，该投影模组121与图像采集元件122可以分离设置或者一体设置，当分离设置时，该投影模组121与图像采集元件122的位置关系可设置为对目标具有相同或近似相同的深度，又或者投影模组121与图像采集元件122对目标的深度差为设定值。图3所示的出光口和入光口之间的距离低于10cm，故相对于较远距离(通常大于100cm)的目标的上述采集不会造成影响。当然，在另一实施例中，该出光口和入光口也可为相同位置，即出光口也为入光口。

投影模组121可由激光源及衍射光学元件组成，激光源可以是边发射型的激光源也可以是垂直腔面激光源，可以是点光源或者阵列光源，该激光源用于发射能被该激光图像采集装置采集得到的激光。衍射光学元件根据不同的结构光图案需要可以被设置成具有准直、分束、扩散等功能。上述结构光图案可以为经调制的条纹，或分布不规则的散斑图案，例如激光源发射的光通过衍射光学元件后被分成多个激光光束同时被扩散投射到目标空间中，从而形成不规则排列的散斑图案。散斑中心能级需要符合对人体无害的要求，因此需要综合考虑激光的功率以及衍射光学元件的配置情况。

散斑图案的密集程度影响了后续对激光图像采集装置采集得到的图像处理例如影响对图像的深度值计算的速度及精度，散斑颗粒越多，计算速度越慢，但精度却越高。因此，该投影模组121可根据拍摄图像的目标区域的大致深度，选择合适的散斑颗粒密度，在保证计算速度的同时，仍有着较高的计算精度。当然，该散斑颗粒密度也可由上述采集系统根据自身的计算需求而确定的。

其中，该投影模组121向目标区域是但不限是以一定的扩散角投射散斑颗粒图案的。

上述激光图像采集装置具体可为红外图像采集装置，如红外相机，该激光图像为红外图像，对应地，当该采集装置包括投影模组时，该投影模组投射的结构光图案为红外结构光图案；或者激光图像采集器可以为紫外图像采集装置，如紫外相机，该激光图像为紫外图像，对应地，当该采集装置包括投影模组时，该投影模组投射的结构光图案为紫外结构光图案。

请参阅图4，该采集系统10还包括均与第一图像采集装置11和第二图像采集装置12连接的图像处理装置16和控制装置17。

其中，图像处理装置16用于获取所述第一图像采集装置和所述第二图像采集装置采集的图像，并对采集得到的图像进行处理，例如，采用结构光三角法对采集得到的结构光激光图像进行计算得到所述目标的深度图像，又例如，对采集得到图像进行平滑、去噪处理。

在一该结构光图案为散斑图案的实施例中，图像处理装置16可具体用于根据三角法原理，通过计算采集得到的散斑图像中散斑颗粒相对于参考散斑图案中对应散斑颗粒的偏离值来计算目标的深度值，其中，该参考散斑图案预先利用已设置好的投影模组向设定距离的平面投射参考散斑图案，并利用已设置好的图像采集元件采集该平面的参考散斑图案得到的，上述的“设置好”应理解为一旦设置好之后，在后续进行该激光图像的采集时亦不会移动该图像采集元件和投影模组。

进一步地，图像处理装置16在获得目标的深度图像之后，还可根据该目标的深度图像和彩色图像采集装置采集得到的目标的彩色图像进行结合，得到该目标的三维信息。当然，上述激光相机可不包括投影模组，且得到的激光图像未必用于深度图像的计算，本发明对图像采集装置的结构以及采集得到的图像的处理不做任何限定。

控制装置17用于控制所述第一图像采集装置11和所述第二图像采集装置12的采集时间和/或采集频率。为了达到好的采集效果以及避免后续多余的计算，可将第一图像采集装置与第二图像采集元件设置成同步采集且采集帧数相同，这样得到的第一图像与第二图像能保证一一对应的关系，便于后续图像处理。

当激光图像采集装置包括投影模组时，控制装置17还用于控制投影模组121投射结构光图案的时间和/或频率。在一实施例中，该投影模组121的投射时间可设置为与该激光图像采集装置的采集时间同步，且采集频率相同。

可以理解的是，采集系统也可不包括上述图像处理装置和控制装置，上述图像处理装置和控制装置所实现的功能可由与采集系统连接的外部设备实现。而且，上述图像处理装置和控制装置可由不同的电路实现，或者由同一电路如同一处理器实现。

另外，上述采集系统可集成于同一设备中，如上述采集系统所包括的器件均设置在一外壳中。当然，上述采集系统也可分离为多个设备，例如，第一图像采集装置、第二图像采集装置、图像处理装置和控制装置分别为独立的设备。

上述实施例中，可设置该第一图像采集装置和第二图像采集装置的图像采集靶面大小相等、分辨率相同以及焦距相同。或者，第一图像采集装置和第二图像采集装置的图像采集靶面大小、分辨率以及焦距中的至少一个不相同，例如第一图像采集装置的靶面大小以及分辨率都比第二图像采集装置元件大，此时，图像处理装置16在获得第一图像和第二图像后，可对所述第一图像和/或第二图像进行插值、分割处理，使得所述第一图像和第二图像对应的目标区域相同，且图像大小与分辨率也相同。由于第一图像采集装置和第二图像采集装置在装配时存在误差，故上述该第一图像采集装置和第二图像采集装置的图像采集靶面大小相等、分辨率相同以及焦距相同应理解为：该第一图像采集装置和第二图像采集装置的图像采集靶面大小、分辨力和焦距为在允许误差的范围内的相同。

而且，上述图像包括照片或者视频，当上述图像为视频时，所述第一图像采集装置和第二图像采集装置的采集频率同步，或者若第一图像采集装置和第二图像采集装置的采集频率不同步，则通过图像插值的方式获得频率一致的视频图像。

请参阅图5，图5是本发明图像采集方法一实施例的流程图。本实施例中，该图像采集方法应用于上述采集系统，包括以下步骤：

S51：利用第一图像采集装置采集经半透半反镜透射得到的目标的第一图像，并利用第二图像采集装置采集经所述半透半反镜反射得到的所述目标的第二图像。

其中，如上述实施例所述，第一图像采集装置的第一光轴与所述第二图像采集装置的第二光轴正交，且所述半透半反镜设置于所述第一光轴与所述第二光轴的相交处，所述第一光轴经所述半透半反镜透射后与所述第二光轴经所述半透半反镜反射后重合。

S52：对所述第一图像和/或所述第二图像进行处理。

例如，所述第一图像采集装置和所述第二图像采集装置中的一个为彩色图像采集装置，另一个为激光图像采集装置，所述第一图像和第二图像的一个为彩色图像，另一个为结构光激光图像。该S52包括：采用结构光三角法对采集得到的结构光激光图像进行计算得到所述目标的深度图像。

又例如，该S52还包括：对采集得到图像进行平滑、去噪处理；和/或，对所述第一图像和/或第二图像进行插值、分割处理。

可以理解的是，在其他实施例中，该采集方法也可不包括上述S52。

上述方案中，通过将第一图像采集装置和第二图像采集装置进行以光轴正交设置，并采用半透半反镜设置在光轴正交处且两个图像采集装置的光轴经半透半反镜后重合，使得目标光线分别通过半透半反镜透射和反射后，到达第一图像采集装置和第二图像采集装置后的成像位置相同，即第一图像采集装置采集的第一图像和第二图像采集装置采集的第二图像的对应像素相对于其采集装置中心位置相同，故实现了采集得到的第一图像和第二图像之间无像素视差，进而可实现利用第一图像和第二图像得到精确的目标信息如彩色和深度信息等。

以上所述仅为本发明的实施方式，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。