一种适用于智能移动设备的三维光场技术实现方法与流程

本发明涉及到计算机视觉、三维成像及光场技术领域。具体涉及一种利用智能移动设备记录真实复杂三维场景，并进行光场重建的方法。

背景技术：

光场成像的雏形可以追溯到1903年ives发明的双目视差显示系统中运用的针孔成像技术，通过在主透镜的像面处放置针孔面阵列，从而使原像面处的光辐射按角度进行重分布后记录在光探测器上，避免了视差信息的丢失。1908年，lippman发明集成照相术(integralphotography，ip)，后来被广泛运用于三维全息成像。通过用微透镜阵列代替针孔面阵列，在底片上接收到有微小差别的一系列基元图像，有效地消除了ives装置中的弥散斑。

gershun在1936年提出光场的概念，将其定义为光辐射在空间各个位置向各个方向的传播。他认为，到达空间不同点处的光辐射量连续变化，能够通过几何分析进而积分的方法来计算像面上每点的光辐射量。但是，由于计算量庞大，能够进行高次运算的计算机尚未出现，所以当时未能对其理论进行验证。20世纪六七十年代，okoshi、dudnikov、dudley、montebello等学者对集成成像技术进行了不断的改进，微透镜阵列在成像方面的作用也得以凸显。随着计算机技术的不断发展和微透镜制作精度的提高，adelson于1992年将光场理论成功运用到计算机视觉，并提出全光场理论(plenoptictheory)。

基于微透镜阵列传统方式获取的光场信息，因微透镜的孔径和焦距等物理局限，在视角和空间分辨率等方面有着很大的缺陷。针对这一缺点，研究人员提出了合成孔径集成成像技术，它是通过排列在空间的相机阵列，可同时记录一系列具有视差信息的基元图像，以此来重构出光场数据。其经典的模型有：斯坦福大学的128相机阵列，采用不同空间排列，能够获得一些异于普通相机的特性，包括空间分辨率、动态范围、景深、帧速、光谱敏感性等。其中大尺度空间排布的相机阵列主要用于合成孔径成像实现“透视”监测，或通过拼接实现大视角全景成像，而紧密排布型则主要用于获取高性能的动态场景。然而，采用相机阵列获取光场信息的缺点是成像设备复杂、笨重和高成本。此后，isaksen提出了一种单相机扫描系统，是通过相机在空间中特定轨迹精密移动获取光场信息，具有结构简单、便捷、成本低等优点。然而，基于智能移动设备上的单相机扫描系统在实际记录过程中无法实现精确的移动轨迹，所采集的每一帧基元图像间的相对位置未经过标定，还存在不同程度的物理偏差。这些问题，在实际智能移动设备上实现光场信息的采集和重建是一个很大的挑战。

技术实现要素：

为解决现有技术存在的上述问题，本发明要设计一种能在实际记录过程中实现移动轨迹的精确计算，并减少物理偏差的适用于智能移动设备的三维光场技术实现方法。

为了实现上述目的，本发明的技术方案如下：一种适用于智能移动设备的三维光场技术实现方法，包括以下步骤：

a、采集元素图像

利用智能移动设备对场景随机拍摄10～20幅图像形成图像阵列。

b、基于orb算法提取图像特征点

orb为orientedfastandrotatedbrief的简称。

b1、提取图像特征点

b11、对图像进行粗提取：在图像上任意选取一点p，以点p为中心画一个半径为r的圆并命名为特征点圆周，比较点p与圆周上的灰度值，如存在连续有n个点的灰度值大于点p的灰度值，则认为点p是图像特征点；

b12、使用id3算法即迭代二叉树3代算法训练一个决策树，将特征点圆周上的像素输入决策树中，以此筛选出最优的fast图像特征点。针对筛选出的图像特征点采用非极大值抑制去除局部较密集图像特征点；

b13、建立金字塔模型实现尺度不变性；

b14、使用矩法即momen法决定fast图像特征点的方向，使得orb算法具有方向不变性。

b2、描述图像特征点

使用brief算法得到的是一个二进制的描述符，在一个图像特征点的邻域内选择w个像素点对pi,qi,i＝1,2,…,w，比较每个象素点对的灰度值的大小；如果

i(pi)＞i(qi)

则生成二进制串中的1，否则为0。式中，i表示一副图像，i(p)就是像素点p处的像素值；对所有图像特征点进行比较，生成长度为l的二进制串；为了使brief图像特征描述算法具有更强的抗噪性，采用统计学习策略选择点对集合，具体步骤如下：

b21、建立300k个图像特征点的测试集，对测试集中每个图像特征点考虑其31×31邻域，在300k图像特征点的每个31×31邻域内按l种方法取点对，比较点对大小并形成一个300k×l的二进制矩阵q；

b22、对矩阵q的每一列求取平均值，按照平均值到0.5的距离大小重新对矩阵q的列向量排序形成矩阵t；

b23、将矩阵t的第一列向量放到矩阵u中，取矩阵t的下一列向量和矩阵u中的所有列向量计算相关性，若相关系数小于设定的阈值，将矩阵t中的该列向量移至矩阵u中，不断进行操作直到矩阵u中的向量数量为l。

c、基于穷举法匹配图像特征点

根据步骤b获得的图像序列的orb图像特征点，利用穷举法分别计算图像之间图像特征点的相似度，这里用汉明距离表示图像特征点的相似度，对计算得到的图像特征点之间的距离进行排序，选取一定百分比数量的图像特征点作为匹配成功的图像特征点。具体步骤如下：

c1、设置图像阵列中的任意两个相邻位置作为参考位置；

c2、利用穷举法获得两幅已知位置图像的匹配点。对于一幅图像的每一个图像特征点跟另一幅图像的所有图像特征点计算距离，选最小距离的点作为匹配结果点。然后，对所有匹配点按匹配距离进行升序排序，选取15％-20％的匹配点作为最终匹配结果。

c3、利用穷举法获得其他所有未知相机位置图像与两幅参考位置图像间的匹配点。按照步骤c2的策略分别获得第一幅，第二幅与待求图像的匹配点。然后，两组匹配点求交集获得匹配结果。对所有未知相机位置图像执行本步骤，获得所有图像相对于两幅已知相机位置图像的匹配点。

d、标定智能移动设备轨迹

假设智能移动设备的相机为针孔相机，利用相机投影几何获得相机位置。具体包括以下步骤：

d1、根据图像特征点获得图像特征点对应世界坐标点

在欧几里得框架下，一个相机模型由投影方程来表示

m∝k[r,t]m(1)

其中，m＝[x,y,z,1]^t和m＝[u,v,1]^t分别代表同一坐标系下的世界坐标点和图像点，[r,t]是一个3×4的转移矩阵，r是一个方向矩阵，t是平移向量。k表示相机的内参矩阵：

其中，fx和fy分别为相机的横向焦距和纵向焦距，为简化计算，令fx等于fy，ax和ay分别是相机横向和纵向主点坐标，s是旋转项，s设置为零。

假设内参矩阵已知，而且所有相机序列中的两个相机位置已知，以已知位置相机中的一个作为参考坐标系，则根据相机分布情况和投影模型得到投影方程:

其中，m1i,m2i是步骤c中得到的匹配点,mi是世界坐标点。

根据假设，sx2,sy2为已知量，根据三角测量原理以及利用最小二乘法计算匹配点对应的世界坐标点。

d2、根据世界坐标点获得其他相机相对于第一个相机的位置

根据步骤d1获得了匹配点的世界坐标点，下面利用世界坐标点和其对应的其他未知相机位置的图像的匹配点来求得相机位置。假设第k幅图像对应的相机位置为sk:(sxk,syk,0)，根据投影方程(1)：

其中mki＝[uki,vki,1]^t代表mi对应第k幅图像匹配点的坐标。

对公式(5)进行改写如下：

对于方程(6)，未知量为sxk,syk，其是一个二元一次方程，理论上用一对图像特征点求解方程。由于图像特征点i＝1,...,n，由orb算法得到的图像特征点n大于10，因此利用公式(6)获得若干个解；为了提高位置估算的精度，对这若干个解采用截断均值算法得到一个更加精确解，这个解就是最终求得的智能移动设备轨迹。

e、重建三维光场

根据步骤d得到的相机位置是针对一个已知参考相机的相对位置，把已知相机位置的图像命名为参考基元图像，利用相对位置的相机图像重建不同深度下的光场图像。设所采集的基元图像总个数为ne，则在某一深度为z0下的重建的三维光场图像表示为：

其中，n(x,y)为重建图像在(x,y)处叠加的次数，offsetxk和offsetyk为第k个基元图像相对于参考基元图像的位移，且与重建深度成反比，由几何投影得到：

其中，f是相机的焦距，δ为元素图像一个像素的大小。

进一步地，所述的智能移动设备包括android平台下的带摄像头手机或pad设备。

进一步地，步骤b中所述的r取值为3，n取值为12。

进一步地，步骤b中所述的l取128、256或512。

进一步地，步骤b中所述的l取256。

与现有技术相比，本发明具有以下有益效果：

本发明从单相机扫描结构获取光场信息方面入手，提出了一种可适用于市面上主流智能移动设备实现光场信息获取及重建的方法。该方法有效解决了智能移动设备运动轨迹不精确问题。首先，本发明提出对于旋转及尺度变换具有很强鲁棒性的orb(orientedfastandrotatedbrief)特征提取方法，利用穷举匹配算法来估计智能移动设备的移动轨迹。由于orb特征不仅可靠性高，计算速度相对于当前其他主流特征提取算法有着很大的优势，因此实现智能移动设备的轨迹标定能满足实时处理的要求。最后，标定智能移动设备的相对位置后，本发明提出了单相机成像光路可逆算法重建三维光场信息，重建的过程是基元图像之间的位移叠加过程，无需传统光场重建方式的尺度变化过程，这使得重建速度进一步提高。本发明提出的准确、快速的三维光场技术，不仅具有对成像设备要求低、成像规则灵活等特点，而且适应于当前所有主流智能移动设备上三维光场技术的实现。

附图说明

图1是本发明提出的利用智能移动设备记录光场信息及重建方法的整体流程图。

图2是orb图像特征点提取原理图之fast图像特征点判断。

图3是orb图像特征点提取原理图之brief图像特征点描述。

图4是获取的光场图之一。

图5是获取的光场图之二。

图6是orb图像特征点匹配结果。

图7是光场重建原理图。

图8是某一深度下重建的光场重聚焦图像之一。

图9是某一深度下重建的光场重聚焦图像之二。

具体实施方式

为使本发明的具体实施方式更加清楚明白，以下结合本发明的技术方案与附图，对本发明包含的5个步骤分别进行详细完整的描述。

a、采集元素图像

利用智能移动设备对场景随机拍摄10～20幅图像形成图像阵列。

b、基于orb(orientedfastandrotatedbrief)的特征提取

orb(orientedfastandrotatedbrief)是由改进的fast(ofast)特征点提取和改进的brief(rbrief)组成的。其具体实施方案包含以下两个部分：

b1、提取图像特征点

本方法针对fast特征提取进行改进，加入了方向信息，以此实现图像特征点方向不变性，称为ofast。

b11、对图像进行粗提取，如图2所示：在图像上任意选取一点p，以p点为中心画一个半径为r的圆并命名为特征点圆周，比较p点与圆周上的灰度值，如存在连续有n个点的灰度值大于p点的灰度值，则认为p是图像特征点；

b12、使用id3(迭代二叉树3代)算法训练一个决策树，特征点圆周上的像素输入决策树中，以此来筛选出最优的fast(加速分割测试的特征)图像特征点。针对筛选出的图像特征点采用非极大值抑制去除局部较密集图像特征点；

b13、建立金字塔模型实现尺度不变性；

b14、使用矩(moment)法来决定fast图像特征点的方向，使得orientedfastandrotatedbrief算法具有方向不变性。

b2、图像特征点描述

使用brief算法得到的是一个二进制的描述符，在一个图像特征点的邻域内选择w个像素点对pi,qi,i＝1,2,…,w，比较每个象素点对的灰度值的大小(如图3所示)；如果i(pi)＞i(qi)，则生成二进制串中的1，否则为0。对所有图像特征点进行比较生成长度为l的二进制串；为了使brief图像特征描述算法具有更强的抗噪性，采用统计学习策略选择点对集合，具体步骤如下：

b21、建立300k个图像特征点的测试集，对测试集中每个图像特征点考虑其31×31邻域，在300k图像特征点的每个31×31邻域内按l(l一般取值为256)种方法取点对，比较点对大小并形成一个300k×l的二进制矩阵q；

b22、对矩阵q的每一列求取平均值，按照平均值到0.5的距离大小重新对矩阵q的列向量排序形成矩阵t；

b23、将矩阵t的第一列向量放到矩阵u中，取矩阵t的下一列向量和矩阵u中的所有列向量计算相关性，若相关系数小于设定的阈值，将矩阵t中的该列向量移至矩阵u中，不断进行操作直到矩阵u中的向量数量为l。

本发明针对brief算法进行改进，使得brief算法具有旋转不变性，称为rbrief。

c、基于穷举法匹配图像特征点

根据步骤b获得的图像序列的orb图像特征点，利用穷举法分别计算图像之间图像特征点的相似度，这里用汉明距离来表示图像特征点的相似度，对计算得到的图像特征点之间的距离进行排序，选取一定百分比数量的图像特征点作为匹配成功的图像特征点。具体步骤如下：

c1、设置图像阵列中的任意两个相邻位置作为参考位置,如图4-5所示；

c2、利用穷举法获得两幅已知位置图像的匹配点。对于一幅图像的每一个图像特征点跟另一幅图像的所有图像特征点计算距离，选最小距离的点作为匹配结果点。然后，对所有匹配点按匹配距离进行升序排序，选取15％-20％的匹配点作为最终匹配结果(如图6所示)。

c3、利用穷举法获得其他所有未知相机位置图像与两幅参考位置图像间的匹配点。按照步骤c2的策略分别获得第一幅，第二幅与待求图像的匹配点。然后，两组匹配点求交集获得匹配结果。对所有未知相机位置图像执行本步骤，获得所有图像相对于两幅已知相机位置图像的匹配点。

d、标定智能移动设备轨迹

假设智能移动设备的相机为针孔相机，利用相机投影几何获得相机位置。具体包括以下步骤：

d1、根据图像特征点获得图像特征点对应世界坐标点

在欧几里得框架下，一个相机模型由投影方程来表示

m∝k[r,t]m(1)

其中，m＝[x,y,z,1]^t和m＝[u,v,1]^t分别代表同一坐标系下的世界坐标点和图像点，[r,t]是一个3×4的转移矩阵，r是一个方向矩阵，t是平移向量。k表示相机的内参矩阵：

其中，fx和fy为相机的横向焦距和纵向焦距，为简化计算，令fx等于fy，ax和ay是相机横向和纵向主点坐标，s是旋转项，s设置为零。

假设内参矩阵已知，而且所有相机序列中的两个相机位置已知，以已知位置相机中的一个作为参考坐标系，则根据相机分布情况和投影模型得到投影方程:

其中，m1i,m2i是步骤c中得到的匹配点,mi是世界坐标点。

根据假设，sx2,sy2为已知量，根据三角测量原理以及利用最小二乘法计算匹配点对应的世界坐标点。

d2、根据世界坐标点获得其他相机相对于第一个相机的位置

根据步骤d1获得了匹配点的世界坐标点，下面利用世界坐标点和其对应的其他未知相机位置的图像的匹配点来求得相机位置。假设第k幅图像对应的相机位置为sk:(sxk,syk,0)，根据投影方程(1)：

其中mki＝[uki,vki,1]^t代表mi对应第k幅图像匹配点的坐标。

对公式(5)进行改写如下：

对于方程(6)，未知量为sxk,syk，其是一个二元一次方程，理论上用一对图像特征点即可求解方程。由于图像特征点i＝1,...,n，由orb算法得到的图像特征点n一般情况下大于10，因此本发明利用公式(6)可以获得若干解，为了提高位置估算的精度，本发明对这若干个解采用截断均值算法得到一个更加精确解，这个解就是最终求得的智能移动设备轨迹。

e、重建三维光场

根据步骤d得到的相机位置是针对一个已知参考相机的相对位置，把已知相机位置的图像命名为参考基元图像，利用相对位置的相机图像重建不同深度下的光场图像。如图7所示，根据本发明获取光场信息的方式相对应，本发明改进了传统的光场光场重聚焦算法。光场重建的过程是一个基元图像的一个位移叠加过程，无需传统光场重建方式的尺度变化过程，进一步实现了三维光场的快速重建。设所采集的基元图像总个数为ne，则在某一深度为z0下的重建的三维光场图像(如图8-9所示)表示为：

其中，n(x,y)为重建图像在(x,y)处叠加的次数，offsetxk和offsetyk为第k个基元图像相对于参考基元图像的位移，且与重建深度成反比，由几何投影得到：

其中，f是相机的焦距，δ为元素图像一个像素的大小。

进一步地，步骤b中的l取128、256或512。

进一步地，步骤b中的l取256。

本发明不局限于本实施例，任何在本发明披露的技术范围内的等同构思或者改变，均列为本发明的保护范围。