>[0027] 球透镜驱动装置130用于驱动球透镜120在水平和/或竖直方向移动。进一步地， 如图1所示，球透镜驱动装置130包括：支架131、水平步进电机132和竖直步进电机133。 其中，水平步进电机132和竖直步进电机133分别与支架131的另一端相连，水平步进电机 132用于驱动支架131在水平方向移动，竖直步进电机133用于驱动支架131在竖直方向移 动。
[0028] 进一步地，在本发明的一个实施例中，该光场采集装置还包括控制器140 (图中未 示出）。控制器140分别与相机110和球透镜驱动装置130相连，以控制相机110的采集以 及对球透镜驱动装置130进行控制。
[0029] 具体地说，在具体的实施例中，例如该光场采集装置由两部分构成：其前端设置一 个球透镜120,球透镜120固定在可移动支架131上，使用双轴步进电机（包括水平步进电 机132和垂直步进电机133)控制可以使其在水平和竖直两个正交方向上运动，每步移动的 距离可以精确控制，最小能达到〇. 1_，从设定的位置坐标原点向两侧的最大移动范围能够 达到± 10cm。可以通过点动方式手动控制电机运动使其运动固定的偏移量，也可以使其自 动控制做匀速等距偏移，装置移动方向的示意图如图1所示，分别由两个电机（水平步进电 机131和竖直步进电机132)控制螺柱旋进或旋出，固定在螺柱上的球透镜支架则分别做左 右或者上下移动。
[0030] 该光场采集装置的后端是一个球面状相机阵列支架，球面上均匀分布的圆孔用于 安装固定相机110,而球心所在处就是球透镜120所在坐标原点的位置。利用球透镜120和 后端相机110成像采集场景信息，而该光场采集装置可以在后端安装多相机阵列，每个相 机110采集场景的一部分信息，整个装置可以采集到上亿像素高分辨率、大视场角的场景 fg息。
[0031] 在具体示例中，该光场采集装置例如使用35mm定焦镜头的相机110,而球透镜120 在其后方的成像平面正好与相机110的焦距相当，通过微调相机110的对焦平面可以对室 内或者室外的场景清晰成像。采集普通分辨率光场时只需要在相机阵列中心位置放置一个 相机110,由电机控制等距微小的移动球透镜位置，拍摄一组光场信息。在该示例中采集3D 光场，只需要固定球透镜120的竖直位置不变，使在水平方向上移动，比如固定0. 1mm的单 次偏移量，使用自行开发的采集软件，整个采集过程非常的简单快速，并且可以获得相当精 确的稠密光场数据。
[0032] 综上，根据本发明实施例的超分辨率光场采集装置，由固定的相机和可移动的球 透镜组成，通过驱动装置控制球透镜在一维或者二维方向上移动实现对场景的多视角采 集。该采集装置通过驱动装置控制球透镜精确移动一定的距离，能够采集高分辨率的三维 或者四维稠密光场，采集速度快、效率高，与传统的使用多相机阵列采集光场的装置相比， 该装置只需要使用一个相机，不存在多相机同步的问题，并且采集装置简单、便于移动，易 于操作，能使用于各种不同的场景，即适用范围广。
[0033] 本发明的进一步实施例还提供了一种如本发明上述实施例描述的超分辨率光场 采集装置的三维重建方法。
[0034] 图2是根据本发明一个实施例的超分辨率光场采集装置的三维重建方法的流程 图。如图2所示，该方法包括以下步骤：
[0035] 步骤S101 :控制球透镜移动，并通过相机进行多视角的图像采集，以得到采集的 图像序列。
[0036] 步骤S102 :对图像序列中每一帧进行校正，并根据校正后的每一帧图像得到场景 的深度信息。
[0037] 具体地说，对上述步骤S101中采集得到的图像需要进行校正。在本发明的一个实 施例中，进行图像校正具体包括：例如首先使用一些现有的软件来校正每一帧图像的镜头 畸变，然后估计所有相机的位置参数，确定一条距离所有相机中心的垂直距离最小的基线， 并且使每一帧图像都以该基线为基准作相应的校正。
[0038] 进一步地，经过校正的光场数据是一组相机光心等距排布于一维直线上的图像， RGB颜色空间的辐射度来描述3D光场可以表示为一个R3-R3的映射：r=L(u，v，s)，其中 s表示在一维直线上分布的不同相机位置坐标，而坐标（u，v)表示光线方向，即不同相机拍 摄图像Is(u，v)中的像素坐标，前述光场采集装置在u，v，s三个方向上都保证了均匀稠密 采样。固定坐标v，3D光场可以表示为一系列u-s截面图像，即对极图像Ev (u，s)，生成该图 像只需要将所有原始图像Is(u，v)中的第v行依次取出，按照坐标s的顺序按行排列即可。 每一张对极图像都表示了所采集的光场中某一行的所有数据信息。
[0039] 进一步地，进行光场深度信息的计算。在本发明的一个实施例中，采用了一种基于 精细到粗糙技术的深度估计方法，能够得到全分辨率下非常精细的深度图。如图3所示，展 示了光场深度计算方法的整体流程图，算法是在图像的金字塔结构式分层的分辨率上操作 的，由最精细的分辨率开始计算，逐渐降采样到较粗糙的分辨率，最终综合考虑不同层的计 算结果以获得深度图。结合图3所示，在步骤S102中，根据校正后的每一帧图像得到场景 的深度信息（也即光场深度计算方法），具体包括以下步骤：
[0040] 步骤1 :计算校正后的每一帧图像的边缘置信度，以得到边缘置信度掩膜。
[0041] 具体地说，首先，对于每张对极图像E，计算其边缘置信度(；用来度量对极图像中 哪些部分是边缘部分，而当前分辨率层的深度估计只在这些边缘处进行计算。在本实施例 中不需要使用复杂的边缘检测算法，只需要计算每个像素点的局部像素值变化：
[0042]
[0043] 其中，N(u，s)是像素点（u，s)的一维邻域窗口，窗口大小设定为9。利用上式计算 结果度量E的局部变化，然后将(；以一定的阈值e进行二值化，得到二值的边缘置信度掩 膜I，其中值为1的像素点表示对极图像中的边缘部分。二值化后的掩膜I存在很多噪声 点，因此使用图像形态学开运算操作去除一些微小的孤立点，具体操作时使用3X3的矩形 结构元素对I进行先形态学腐蚀后膨胀从而得到修正后的掩膜My
[0044] 步骤2 :根据边缘置信度掩膜计算被标记为置信边缘的像素点的视差值。即利用 步骤1中求得的边缘置信度掩膜I，计算那些被标记为置信边缘的像素点的视差值。选择 需要计算深度图的相机视角坐标s。，首先计算所有相机中间视角处的视差图，即设定S(] = n/2,其中n是相机的总数量。由于固定了对极图像E的s坐标，因此算法计算了所有对极 图像的第 8。行EV= 1,v..(U,S。）。
[0045] 其次，对于E(u，s。）中所有满足Me (u，s。）= 1的点进行视差赋值，由于深度与视差 之间存在相应的换算关系，本发明的实施例中求取更易表示的视差值。赋值方法是对于每 一个像素点，从256种视差假设中选择置信度最高的视差值，在每种视差假设d下按照下述 方法计算视差置信度值：
[0046] 对于当前处理的对极图像E中像素的（u，s。）以及视差假设d，利用视差值得到该 像素点在其他视角图像下的对应位置，由