光场图像的校正方法、计算机可读存储介质、及电子终端与流程

本发明涉及光学技术领域，特别是涉及光场图像的校正方法、计算机可读存储介质、及电子终端。

背景技术

光作为一种分布在空间中的电磁场，具有振幅、相位、波长等多种属性，帮助人类感知物体的明暗、位置和色彩。然而，传统的光学成像智能捕获到光辐射在二维平面上的投影强度，而失去了目标的三维形态信息。光场信息采集，便是是获取光辐射的完整分布，通过变换和积分等数据处理手段来计算所需要的图像。光场成像指的是光场的采集将光场处理为图像的过程。光场成像作为一种计算成像技术，其“所得”(光场)需要经过相应的数字处理算法才能得到“所见”(图像)。因此，光场成像的过程包括光场的采集及相应的光场数据处理。

基于多相机阵列采集的光场图像，在理想情况下视角处于阵列同行的相邻图像只有水平视差，视角处于阵列同列的相邻图像只有竖直视差，同时相邻的相机之间的基线相等。这种理想状况使得极线约束只存在于水平或者竖直方向，对于深度估计和图像匹配等计算机视觉应用中的像素匹配搜索过程提供了极大的方便，同时可以获得相应的高质量结果。除此之外，等基线的设定从理论上对光线进行周期性采样，使得多相机阵列图像可以高效的应用于相关的光场渲染算法。

但是，由于相机制作工艺，或者传感器在相机中的相对位置有所差异，抑或阵列装配过程中也存在安装误差等原因，导致相机阵列中的相机的姿态和视角并不完全在理想状态下，故采集的相邻图像之间的视差处于不同方向。

因此，如何基于多相机阵列光场采集的多视角阵列图像数据，获得视角处于阵列同行的相邻图像只有水平视差，视角处于阵列同列的相邻图像只有竖直视差，且相邻的相机之间的基线相等，成为本领域亟需解决的技术问题。

技术实现要素：

鉴于以上所述现有技术的缺点，本发明的目的在于提供光场图像的校正方法、计算机可读存储介质、及电子终端，用于解决现有技术中相机阵列中的相机的姿态和视角并不完全在理想状态等技术问题。

为实现上述目的及其他相关目的，本发明提供一种光场图像的校正方法，应用于多相机阵列，所述多相机阵列用于采集世界坐标系中的三维场景点并将其转换为相机坐标系中的多行多列光场图像，其中，所述相机坐标系包括当前坐标系和理想坐标系；所述校正方法包括：将世界坐标系中的三维场景投影为当前相机坐标系中的当前光场图像和理想相机坐标系中的理想光场图像；以所述当前光场图像为输入，并以理想光场图像为输出，计算从当前光场图像校正为理想光场图像的变换矩阵；其中，所述变换矩阵用于当前相机坐标系下任一光场图像校正为理想坐标系下的理想光场图像，使得校正后的理想坐标系中同行图像只存在水平视差，同列图像只存在竖直视差，且相邻图像之间基线相等。

于本发明的一实施例中，所述方法还包括：所述三维场景点基于当前投影矩阵转换为当前坐标系中的当前光场图像；所述三维场景点基于理想投影矩阵转换为理想坐标系中的理想光场图像；其中，所述变换矩阵包括变换矩阵，所述变换矩阵包括所述当前投影矩阵和理想转换矩阵；所述理想转换矩阵包括理想内参矩阵和理想外参矩阵，所述理想外参矩阵又包括理想旋转矩阵和理想平移向量。

于本发明的一实施例中，令相机阵列中第i行第j列的相机为cij，其采集到的世界坐标系中的三维场景点的坐标为pw，该三维场景点投影为当前坐标系中的当前光场图像的坐标为pij，且该三维场景点投影为理想坐标系中的理想光场图像的坐标为pij-ideal；pw与pij、pij-ideal之间的关系如下：

pij＝pij·pw＝kij·[rij|tij]·pw；pij-ideal＝pij-ideal·pw＝kij-ideal·[rij-ideal|tij-ideal]·pw；

令所述变换矩阵为hij，则：pij-ideal＝hij·pij；

其中，pij和pij-ideal分别为所述当前投影矩阵和理想投影矩阵；为所述当前投影矩阵pij的伪逆矩阵；kij和kij-ideal分别为当前内参矩阵和理想内参矩阵；[rij|tij]和[rij-ideal|tij-ideal]分别为当前外参矩阵和理想外参矩阵；rij和rij-ideal分别为当前旋转矩阵和理想旋转矩阵；tij和tij-ideal分别为当前平移向量和理想平移向量。

于本发明的一实施例中，多相机阵列中各相机的理想旋转矩阵均相同，且各相机的理想旋转矩阵包括绕轴角度最小的旋转矩阵。

于本发明的一实施例中，令各相机的理想旋转矩阵为rideal，其包括分别绕x轴、y轴和z轴旋转的欧拉角参数αideal、βideal、γideal；

其中：

α∈[min(α11,α12,…,αmn),max(α11,α12,…,αmn)],

β∈[min(β11,β12,…,βmn),max(β11,β12,…,βmn)],

γ∈[min(γ11,γ12,…,γmn),max(γ11,γ12,…,γmn)]

于本发明的一实施例中，理想内参矩阵包括理想焦距fij-ideal和理想像平面中心oij-ideal，其中：且

于本发明的一实施例中，理想平移向量的求取过程包括：在所述多相机阵列中选取一相机作为参考相机；计算所述参考相机的理想光心坐标；根据所述参考相机的理想光心坐标，计算多相机阵列中其它各相机的理想光心坐标；根据各相机的理想光心坐标，计算各相机的理想平移向量。

于本发明的一实施例中，计算所述参考相机的理想光心坐标，具体包括：选取与现有光心位置变动最小的光心位置为理想光心位置，所述理想光心位置的坐标为所述理想光心坐标。

于本发明的一实施例中，令相机c11为所述参考相机，参考相机的理想光心坐标为相机cij为多相机阵列除了所述参考相机之外的第i行第j列的相机，相机cij的理想光心坐标为令理想平移向量为tij-ideal，则其中：为参考相机c11的理想光心坐标，为理想水平基线，为理想竖直基线；x11-r∈[x11-δx,x11+δx]；y11-r∈[y11-δy,y11+δy]；z11-r∈[min(z11,z12,…,zmn),max(z11,z12,…,zmn)]；其中，为相机cij在随机坐标系下相机光心坐标，为相机cijrideal作用下相机光心坐标；

为实现上述目的及其他相关目的，本发明提供一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现所述光场图像的校正方法。

为实现上述目的及其他相关目的，本发明提供一种电子终端，包括：处理器及存储器；所述存储器用于存储计算机程序，所述处理器用于执行所述存储器存储的计算机程序，以使所述终端执行所述光场图像的校正方法。

如上所述，本发明的光场图像的校正方法、计算机可读存储介质、及电子终端，具有以下有益效果：本发明将世界坐标系中的三维场景投影为当前相机坐标系中的当前光场图像和理想相机坐标系中的理想光场图像，再以所述当前光场图像为输入，并以理想光场图像为输出，计算从当前光场图像校正为理想光场图像的变换矩阵。于理想坐标系中的各光场图像的同行图像只存在水平视差，同列图像只存在竖直视差，且相邻图像之间基线相等，从而为深度估计和图像匹配等计算机视觉应用中的像素匹配搜索过程提供了极大的方便，并可对光线进行周期性采样以使多相机阵列图像可以高效地应用于相关的光场渲染算法。

附图说明

图1显示为本发明一实施例中光场图像的校正方法的流程的示意图。

图2显示为本发明一实施例中基于理想情况的多相机阵列采集到光场图像的示意图。

图3显示为本发明一实施例中基于非理想情况的多相机阵列采集到光场图像的示意图。

图4显示为本发明一实施例中电子终端的结构示意图。

元件标号说明

41处理器

42存储器

43通信器

44通信接口

45系统总线

s11～s12方法流程

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需说明的是，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。

需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图1所示，展示本发明一实施例中光场图像的校正方法的流程示意图。需要说明的是，所述光场图像的校正方法应用于多相机阵列，所述多相机阵列用于采集世界坐标系中的三维场景点并将其转换为相机坐标系中的多行多列光场图像，其中，所述相机坐标系包括当前坐标系和理想坐标系；所述校正方法具体包括：

s11：将世界坐标系中的三维场景投影为当前相机坐标系中的当前光场图像和理想相机坐标系中的理想光场图像。具体而言，所述三维场景点基于当前投影矩阵转换为当前坐标系中的当前光场图像，所述三维场景点基于理想投影矩阵转换为理想坐标系中的理想光场图像。

举例来说，对于m×n多相机阵列的单个相机cij应用小孔成像模型，其中，i和j分别为相机所在行和所在列的索引。所谓小孔成像模型主要由光心、主光轴、成像平面组成，主光轴为过光心且垂直于成像平面的光线，光心到像平面的距离为焦距fij。相邻两个相机cij和ci(j+1)之间的光心距离为水平基线相邻两个相机cij和c(i+1)j之间的光心距离为竖直基线

根据小孔成像模型，世界坐标系中的三维场景点pw投影于相机cij像平面的当前坐标系中的当前像点为pij，pij＝kij·[rij|tij]·pw，其中，kij·[rij|tij]即为所述当前投影矩阵，用于将世界坐标系中的点pw投影至当前坐标系中的点pij；kij为相机cij的3×3的内参矩阵，用于描述相机cij的焦距、主像点位置、及畸变参数；[rij|tij]为相机cij的外参矩阵，用于描述相机cij的当前坐标系与世界坐标系之间的变换关系；rij为相机cij的当前坐标系相对于世界坐标系的3×3旋转矩阵；tij为相机cij的当前坐标系相对于世界坐标系的3×1平移向量。

s12：以所述当前光场图像为输入，并以理想光场图像为输出，计算从当前光场图像校正为理想光场图像的变换矩阵；其中，所述变换矩阵用于当前相机坐标系下任一光场图像校正为理想坐标系下的理想光场图像，使得校正后的理想坐标系中同行图像只存在水平视差，同列图像只存在竖直视差，且相邻图像之间基线相等。

校正后的理想坐标系中同行图像只存在水平视差，同列图像只存在竖直视差，且相邻图像之间基线相等，且在m×n个理想光场图像中，任意水平相邻的理想光场图像对于处于同一深度的点保持相同的视差，任意竖直相邻的理想光场图像对于处于同一深度的点保持相同的视差。为便于本领域技术人员理解，下文将结合附图就上述内容做进一步的阐述。

如图2所示，展示本发明一实施例中基于理想情况的多相机阵列采集到的光场图像。于本实施例中，m×n多相机阵列共采集m行n列的光场图像，图2采用多条虚线连接各行及各列相机的光心。其中，各行光场图像之间仅存在水平视差，各列光场图像之间仅存在竖直视差，各行相机的水平基线相等，即各列相机的竖直基线亦相等，即

值得注意的是，现有技术通常由于相机制作工艺、传感器在相机中的相对位置有所差异、或者在阵列装配过程中存在误差等原因，导致多相机阵列中的相机的姿态和视角并不在理想状态下。举例来说，如图3所展示的，相机采集到的相邻图像之间的视差处于不同方向，这就给深度估计和图像匹配等计算机视觉应用中的像素匹配搜索过程带来了极大的不便。

而本发明提供的光场图像的校正方法，通过变换矩阵将当前光场图像转换为理想光场图像，从而为深度估计和图像匹配等计算机视觉应用中的像素匹配搜索过程提供了极大的方便，同时可以获得相应的高质量结果。与此同时，由于各相机之间的水平基线和竖直基线均相等，故可对光线进行周期性采样，使得多相机阵列图像可以高效地应用于相关的光场渲染算法。所谓光场渲染算法是指在不需要图像的深度信息或相关性的条件下，通过相机阵列或由一个相机按照设计好的路径移动将场景拍摄下来作为输入图像集，并对于任意给定的新视点，找出该视点邻近的几个采样点进行简单重新采样即能得到该视点处的视图的算法。下文将以具体的实施例说明光场图像转换的实施方式以及工作原理。

在一实施例中，令相机阵列中第i行第j列的相机为cij，其采集到的世界坐标系中的三维场景点的坐标为pw，该三维场景点投影为当前坐标系中的当前光场图像的坐标为pij，且该三维场景点投影为理想坐标系中的理想光场图像的坐标为pij-ideal；pw与pij、pij-ideal之间的关系如下：pij＝pij·pw＝kij·[rij|tij]·pw；pij-ideal＝pij-ideal·pw＝kij-ideal·[rij-ideal|tij-ideal]·pw。

令所述变换矩阵为hij，则：pij-ideal＝hij·pij；由此可知，基于变换矩阵hij，可将当前坐标系中任一当前光场图像转换为对应于理想坐标系中的理想光场图像。

需要说明的是，pij和pij-ideal分别为所述当前投影矩阵和理想投影矩阵；为所述当前投影矩阵pij的伪逆矩阵；kij和kij-ideal分别为当前内参矩阵和理想内参矩阵；[rij|tij]和[rij-ideal|tij-ideal]分别为当前外参矩阵和理想外参矩阵；rij和rij-ideal分别为当前旋转矩阵和理想旋转矩阵；tij和tij-ideal分别为当前平移向量和理想平移向量。

其中，理想投影矩阵pij-ideal的计算基于理想内参矩阵kij-ideal以及理想外参矩阵[rij-ideal|tij-ideal]，而所述理想外参矩阵[rij-ideal|tij-ideal]的计算又基于理想旋转矩阵rij-ideal以及理想平移向量tij-ideal。也即，理想投影矩阵pij-ideal的计算需基于理想内参矩阵kij-ideal、理想旋转矩阵rij-ideal以及理想平移向量tij-ideal，下文就具体如何计算该三个参数分别做阐释。

在一优选的设计中，理想内参矩阵kij-ideal包括理想焦距fij-ideal和理想像平面中心oij-ideal。在忽略畸变参数的情况下，焦距理想像平面中心可表示为基于理想焦距fij-ideal和理想像平面中心oij-ideal，理想内参矩阵可表示为

在一优选的设计中，多相机阵列中各相机的理想旋转矩阵均相同，从而保证校正过程整体误差最小化。此外，各相机的理想旋转矩阵选取绕轴角度最小的旋转矩阵，即r11-ideal＝r12-ideal＝…＝rmn-ideal＝rideal。多相机阵列中所有相机的理想旋转矩阵需保持一致，从而使得校正后所有相机的光轴处于相互平行的理想状态。

具体而言，令各相机的理想旋转矩阵为rideal，其可由绕x轴、y轴和z轴旋转的欧拉角参数αideal、βideal、γideal表示为：

α∈[min(α11,α12,…,αmn),max(α11,α12,…,αmn)]，

β∈[min(β11,β12,…,βmn),max(β11,β12,…,βmn)]，

γ∈[min(γ11,γ12,…,γmn),max(γ11,γ12,…,γmn)]。由此，可求得相机绕轴角度最小的理想旋转矩阵。

在一优选的设计中，所述理想平移向量tij-ideal的计算过程包括：在所述多相机阵列中选取一相机作为参考相机；计算所述参考相机的理想光心坐标；根据所述参考相机的理想光心坐标，计算多相机阵列中其它各相机的理想光心坐标；根据各相机的理想光心坐标，计算各相机的理想平移向量。其中，计算所述参考相机的理想光心坐标，具体包括：选取与现有光心位置变动最小的光心位置为理想光心位置，所述理想光心位置的坐标为所述理想光心坐标。

具体而言，令相机c11为所述参考相机，参考相机的理想光心坐标为相机cij为多相机阵列除了所述参考相机之外的第i行第j列的相机，相机cij的理想光心坐标为令理想平移向量为tij-ideal，其表示为：

其中，为参考相机c11的理想光心坐标，为理想水平基线，为理想竖直基线。的计算过程如下。

表示为需要说明的是，上述关于的表达式需满足如下各个条件：x11-r∈[x11-δx,x11+δx]；y11-r∈[y11-δy,y11+δy]；z11-r∈[min(z11,z12,…,zmn),max(z11,z12,…,zmn)]；为相机cij在随机坐标系下相机光心坐标，为相机cijrideal作用下相机光心坐标。

和表示为，其中，且i≤m,j＜n；且i＜m,j≤n；此外，b^h和竖直b^v还需满足如下各个条件：

基于理想旋转矩阵rideal以及理想光心坐标为根据可计算求得理想平移向量tij-ideal。

基于上述内容，根据理想内参kij-ideal、理想旋转矩阵rij-ideal、以及理想平移向量tij-ideal，且根据公式即可将当前坐标系中的光场图像转换为对应的理想坐标系中的光场图像。于理想坐标系中的各光场图像的同行图像只存在水平视差，同列图像只存在竖直视差，且相邻图像之间基线相等，从而为深度估计和图像匹配等计算机视觉应用中的像素匹配搜索过程提供了极大的方便，并可对光线进行周期性采样以使多相机阵列图像可以高效地应用于相关的光场渲染算法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过计算机程序相关的硬件来完成。前述的计算机程序可以存储于一计算机可读存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

如图4所示，展示本发明一实施例中电子终端的结构示意图。本实例提供的电子终端，包括：处理器41、存储器42、通信器43、通信接口44和系统总线45；存储器42和通信接口44通过系统总线45与处理器41和通信器43连接并完成相互间的通信，存储器42用于存储计算机程序，通信接口44用于和其他设备进行通信，处理器41和通信器43用于运行计算机程序，使电子终端执行如上光场图像校正方法的各个步骤。

上述提到的系统总线可以是外设部件互连标准(peripheralpomponentinterconnect，简称pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture，简称eisa)总线等。该系统总线可以分为地址总线、数据总线、控制总线等。为便于表示，图中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。通信接口用于实现数据库访问装置与其他设备(例如客户端、读写库和只读库)之间的通信。存储器可能包含随机存取存储器(randomaccessmemory，简称ram)，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

上述的处理器可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessing，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(field－programmablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

综上所述，本发明提供的光场图像的校正方法、计算机可读存储介质、及电子终端，本发明将世界坐标系中的三维场景投影为当前相机坐标系中的当前光场图像和理想相机坐标系中的理想光场图像，再以所述当前光场图像为输入，并以理想光场图像为输出，计算从当前光场图像校正为理想光场图像的变换矩阵。于理想坐标系中的各光场图像的同行图像只存在水平视差，同列图像只存在竖直视差，且相邻图像之间基线相等，从而为深度估计和图像匹配等计算机视觉应用中的像素匹配搜索过程提供了极大的方便，并可对光线进行周期性采样以使多相机阵列图像可以高效地应用于相关的光场渲染算法。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。