本发明涉及计算机视觉与数字图像处理领域，尤其涉及一种光场相机的子孔径图像对齐方法。
背景技术：
光场相机在计算机视觉领域的应用引发了研究者们的广泛关注。2005年，斯坦福大学的ng和levoy首先提出手持式光场相机的原型。不同于传统相机，光场相机的主镜头和传感器平面之间插入了一块微透镜阵列。借助于特殊的几何关系，光场相机利用微透镜阵列和传感器平面记录了空间中光线的强度和方向。
2013年dansereau等人提出了一套光场相机的解码、标定、校正和去噪方法，实现了光场相机子孔径图像的提取。2017年，mignard等人提出了将光场相机等价为相机阵列的光场相机等效结构。
子孔径图像对齐的实现是很多问题的基础问题，例如：虚拟现实、增强现实、光场超分辨等。现有子孔径图像对齐的方法有两种：基于视差模型的对齐方法和基于单映性变换模型的对齐方法。基于视差模型的对齐方法计算某一子孔径图像和其余子孔径图像的视差，并依据此视差对其余子孔径图像进行平移。基于单映性变换模型的对齐方法计算某个子孔径图像和其余子孔径图像之间的单映性变换矩阵，并根据此单映性变换矩阵对其余子孔径图像进行映射。考虑到子孔径图像之间的视差非常小，现有的子孔径图像对齐方法的精准度都不高。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
技术实现要素：
为了提高子孔径图像对齐方法的精准度，本发明提出一种光场相机的子孔径图像对齐方法，能够在所有的子孔径图像中对齐目标物体。
为了达到上述目的，本发明采用以下技术方案：
本发明提出了一种光场相机的子孔径图像对齐方法，包括以下步骤：
a1：采用光场相机拍摄第一光场图像，再将所述光场相机沿轴向移动预定间距后拍摄第二光场图像；
a2：分别提取所述第一光场图像和所述第二光场图像的子孔径图像；
a3：分别从步骤a2中的所述第一光场图像和所述第二光场图像的子孔径图像中挑选中心子孔径图像及其相邻的子孔径图像，计算目标物体分别在所述第一光场图像和所述第二光场图像的子孔径图像中的视差；
a4：根据所述预定间距以及步骤a3计算得到的两组视差，计算所述光场相机的聚焦平面和目标物体的相对位置；
a5：根据步骤a4得到的所述光场相机的聚焦平面和目标物体的相对位置，沿轴向移动所述光场相机直至目标物体与光场相机的聚焦平面重合，拍摄新的光场图像，并从新的光场图像中提取子孔径图像，输出对齐的子孔径图像。
与现有技术相比，本发明的有益效果在于：本发明中光场相机的子孔径图像对齐方法通过在轴线上不同位置处拍摄两张光场图像并记录它们的间距，分别提取子孔径图像，并分别计算目标物体在提取出的子孔径图像中的视差，进而基于光场相机的等效模型，推导光场相机的聚焦平面和目标物体的相对位置与视差之间的关系，从而计算光场相机的聚焦平面和目标物体的相对位置，然后沿轴向移动相机直到目标物体与相机的聚焦平面重合，保持相机参数并拍摄新的光场图像，即可从新的光场图像中提取出目标物体已经对齐的子孔径图像；通过本发明的光场相机的子孔径图像的对齐方法可以获取目标物体已经对齐的子孔径图像，即目标物体在所有子孔径图像中没有视差。相对于现有的子孔径图像对齐方法，本发明的子孔径图像对齐方法对于图像处理方法的依赖非常低，引入的误差非常少，进而大大提高精准度。
附图说明
图1是本发明优选实施例的光场相机的子孔径图像对齐方法的流程示意图；
图2是本发明优选实施例的光场相机的等效结构图；
图3是本发明优选实施例的将光场相机的等效结构用于计算视差的光路图。
具体实施方式
下面对照附图并结合优选的实施方式对本发明作进一步说明。
如图1所示，本发明优选实施例的光场相机的子孔径图像对齐方法，包括以下步骤：
a1：拍摄并输入光场数据：拍摄第一光场图像，保持相机参数，将光场相机沿轴向(相机与物体连线方向)移动预定间距后，再拍摄第二光场图像，并记录这两张光场图像的预定间距；
在本实例中，选择光场相机illum作为光场图像采集装置，通过滑动导轨对illum相机进行轴向移动，并且在拍摄光场图像的过程中，始终保持相机参数不变。
a2：提取子孔径图像：根据输入的第一光场图像和第二光场图像，提取子孔径图像；
在本实例中，从illum提取出来的子孔径图像共有15×15个，提取出来的子孔径图像的大小为434×625。
a3：计算视差：从步骤a2得到的子孔径图像中挑选中心子孔径图像及其相邻的子孔径图像，并计算目标物体在它们中的视差；；
在本实施例，步骤a3具体包括以下步骤：
a31：在步骤a2中提取到的子孔径图像中挑选中心子孔径图像及其相邻子孔径图像：
a32：根据块匹配算法，计算目标物体在步骤a2中挑选出来的中心子孔径和它的某一个相邻子孔径之间的视差：
其中，icen为步骤a31中挑选出来的中心子孔径图像，
a33：计算中心子孔径图像及其所有相邻子孔径图像之间视差的均值：
其中，drow和dcol分别表示中心子孔径图像及其所有相邻子孔径图像在行和列方向上的视差；
a34：计算a33中求得的视差在行和列方向上的均值：
其中，d表示中心子孔径图像及其所有相邻子孔径图像在行和列方向上的视差的均值；
由光场相机的等效结构可知，目标物体在子孔径图像中的视差在行和列方向上等价。因而，式(4)计算得到的结果被认为是目标物体在子孔径图像中的视差。
a4：计算相对位置：基于光场相机的等效结构，利用拍摄两幅光场图像时光场相机移动的预定间距和步骤a3获取的两组视差，计算光场相机的聚焦平面和目标物体的相对位置；
在本实施例，步骤a4具体包括以下步骤：
a41：基于光场相机的等效结构，推导光场相机聚焦平面和目标物体的相对位置与视差之间的关系：
如图2所示，光场相机包括传感器平面10、微透镜阵列20、主镜头30、焦平面40和聚焦平面50，其中传感器平面10与微透镜阵列20的间距为fs(也即光场相机内部的微透镜阵列20上每个微透镜的焦距)，微透镜阵列20与主镜头30的间距为v(也即光场相机的像距)，主镜头30与焦平面40的间距为f(也即光场相机的焦距)，主镜头30与聚焦平面50的间距为u。如图3所示，光场相机可以等效为由多个等效相机组成的相机阵列，多个等效相机的主镜头构成等效镜头平面60，等效相机的主镜头在光场相机的焦平面上紧密排列，其中等效相机的主镜头中心的间距为b，表示为下式：
其中，f表示光场相机的焦距，fs表示位于光场相机内部的微透镜阵列20上每个微透镜的焦距，pp表示光场相机传感器平面10上像素的大小；
所有的等效相机的成像平面有相同的空间位置，而且彼此成像互不影响；其中所有的等效相机的成像平面均位于等效传感器平面70，此平面位于光场相机的聚焦平面50上，由众多虚拟像素组成，这些虚拟像素的大小可以表示为：
其中，pm为位于光场相机内部的微透镜阵列20上每个微透镜的大小，u表示光场相机的聚焦平面50与相机主镜头30的主平面之间的距离，即光场相机的物距；
利用光场相机的等效结构来得到视差时，由相似三角形可知：
其中，dis表示目标物体在相邻子孔径图像中的物理视差，z表示目标物体80与光场相机主镜头30的主平面的间距；
鉴于步骤a3中计算得到的视差以像素作为单位，因此需要将式(7)中的视差通过下式变为以像素为单位：
由上述式子(5)～(8)，可以得到基于光场相机等效结构，聚焦平面50和目标物体80的相对位置与视差的关系如下式：
a42：基于推导得到的聚焦平面和目标物体的相对位置与视差之间的关系，将如图3所示的光场相机的等效结构用于实际的拍摄过程，利用拍摄两幅光场图像时光场相机移动的预定间距和两组视差，通过下式计算光场相机的聚焦平面和目标物体的相对位置：
其中，δz表示拍摄两幅光场图像时光场相机移动的预定间距，即这两张光场图像的拍摄位置之间的距离，z和u分别表示拍摄第一光场图像时目标物体与光场相机主镜头的间距和聚焦平面与光场相机主镜头的间距，z+δz和u表示拍摄第二光场图像时目标物体与光场相机主镜头的间距和聚焦平面与光场相机主镜头的间距，d1和d2分别表示目标物体在从第一光场图像和第二光场图像各自提取的子孔径图像中的视差；
根据上式(10)计算得到间距u和z，进一步能够得到光场相机的聚焦平面和目标物体的相对位置。
本实施例中，步骤a41所用参数皆为相机illum的参数；步骤a42所求的u和z精确度为1毫米。
a5：移动相机并拍照：根据步骤a4得到的相对位置，沿轴向移动光场相机直至目标物体与光场相机的聚焦平面重合，并使用和步骤a1中的相同的相机参数拍摄新的光场图像，并从新的光场图像中提取子孔径图像，输出对齐的子孔径图像；
本实施例中，根据步骤a4得到的光场相机的聚焦平面和目标物体的相对位置，沿轴向移动光场相机，使得光场相机的聚焦平面与目标物体相重合，并使用和步骤a1中相同的相机参数拍摄新的光场图像，并从新的光场图像中提取子孔径图像，输出对齐的子孔径图像。其中，光场相机沿轴向移动的距离为：mo＝z+δz-u，其中，mo是新的光场图像与第二光场图像的拍摄间距，其中拍摄间距的正负是以光场相机到目标物体的方向为正方向。
本发明优选实施例的光场相机的子孔径图像对齐方法是光场相机零视差平面重定位的过程，这个过程分为三步：视差的获取、相对位置的计算和光场相机的移动；并且本发明利用块匹配算法，计算目标物体在子孔径图像中的视差，基于光场相机的等效结构，利用视差和光场图像的拍摄距离求出光场相机的聚焦平面和目标物体的相对位置，并移动光场相机使得光场相机的聚焦平面和目标物体重合。通过利用本发明优选实施例的方法对光场相机进行重定位，并拍摄新的光场图像，即可得目标物体已经对齐的子孔径图像；对于重新拍摄的光场图像中提取的子孔径图像而言，重定位相机之后，目标物体在光场相机的零视差平面上，因而目标物体在所有的子孔径图像中没有视差，即实现了对齐，从而得到高精度对齐目标物体的子孔径图像。
本发明通过借助于轴向拍摄的两张光场图像，基于光场相机的等效结构，获取聚焦平面和目标物体的相对位置关系，移动相机使目标物体与聚焦平面相重合并拍摄新的光场图像，即可从中提取目标物体对齐的子孔径图像。通过本发明的光场相机的子孔径图像对齐方法，可以得到目标物体没有视差的子孔径图像，即目标物体对齐的子孔径图像。现有子孔径图像对齐方法是通过图像处理的方式，获取子孔径图像之间的关系，进而加以映射，这个过程中会引入误差，例如特征点检测的误差，视差计算的误差等，而本发明的子孔径图像对齐方法对于图像处理方法的依赖非常低，所以引入的误差非常少，进而大大提高精准度。
以上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。