超分辨率光场采集装置及其的三维重建方法
【技术领域】
[0001] 本发明涉及计算机视觉技术领域，特别涉及一种超分辨率光场采集装置及其的三 维重建方法。
【背景技术】
[0002] 光场采集及其重建技术是计算机视觉领域中一个非常重要的问题，利用光场进行 三维重建相比传统的三维重建方法有着极大的优势：其所需的硬件资源少、便于在PC上实 时重建；不需要繁琐的人机交互，适用性强，场景的复杂性不会增加计算的复杂度。然而， 使用三维扫描仪虽然可以进行高精度的三维重建，但其昂贵的设备价格和非常局限的使用 场合限制了实际的应用。光场技术在照明工程、光场渲染、重光照、重聚焦摄像、合成孔径成 像、3D显示、安防监控等场合有着广泛的应用。
[0003] 传统的光场采集装置主要有：使用相机阵列，最常见的有球形相机阵列和平面/ 直线相机阵列，一般需要使用几十个或者上百个相机布置在场景中的合适位置对同一场景 进行同步的采集；使用镜头阵列，通过一次拍摄出场景不同景深的照片，能够实现场景的任 意范围聚焦，并且这样的光场相机已经面世进入到商业应用领域。
[0004] 光场三维重建技术的核心问题是场景深度的计算，由于光场提供了丰富的场景信 息，因此能够从理论上保证精确地计算出场景深度。借助深度信息可以对场景进行三维建 模，在此基础上可以实现场景任意视点、任意光照的虚拟成像，以及图像分割、立体显示等 非常有意义的应用。传统的深度恢复算法主要是基于多视点的立体匹配技术，通过建立场 景点在多视点图像中的位置对应关系，计算其在相邻视角下产生的视差与其深度建立联 系，所产生视差越大的场景点的深度越小，即越接近前景。而由于光场数据的大数据量和冗 余性的特点，光场数据的表示和存储也是一个重要的问题。此外，光场深度计算算法也严重 受到光场大数据量大计算量的制约，传统方法对于大规模光场的计算往往需要耗费很长的 时间，光场计算的实时应用也受到限制。
【发明内容】
[0005] 本发明旨在至少在一定程度上解决上述相关技术中的技术问题之一。
[0006] 为此，本发明的一个目的在于提供一种超分辨率光场采集装置，该装置能够采集 高分辨率的三维或者四维稠密光场，采集速度快、效率高，并且该装置结构简单、使用方便、 适用范围广。
[0007] 本发明的另一个目的在于提出一种超分辨率光场采集装置的三维重建方法。
[0008] 为了实现上述目的，本发明第一方面的实施例公开了一种超分辨率光场采集装 置，包括：相机；球透镜，所述球透镜位于所述相机的前方，所述相机透过所述球透镜进行 图像采集；球透镜驱动装置，所述球透镜驱动装置用于驱动所述球透镜在水平和/或竖直 方向移动。
[0009] 根据本发明实施例的超分辨率光场采集装置，由固定的相机和可移动的球透镜组 成，通过驱动装置控制球透镜在一维或者二维方向上移动实现对场景的多视角采集。该采 集装置通过驱动装置控制球透镜精确移动一定的距离，能够采集高分辨率的三维或者四维 稠密光场，采集速度快、效率高，与传统的使用多相机阵列采集光场的装置相比，该装置只 需要使用一个相机，不存在多相机同步的问题，并且采集装置简单、便于移动，易于操作，能 使用于各种不同的场景，即适用范围广。
[0010] 另外，根据本发明上述实施例的超分辨率光场采集装置还可以具有如下附加的技 术特征：
[0011] 在一些示例中，所述球透镜驱动装置包括：支架，所述支架的一端与所述球透镜相 连，以支撑所述球透镜；水平步进电机和竖直步进电机，所述水平步进电机和竖直步进电机 分别与所述支架的另一端相连，所述水平步进电机用于驱动所述支架在水平方向移动，所 述竖直步进电机用于驱动所述支架在竖直方向移动。
[0012] 在一些示例中，还包括：控制器，所述控制器分别与所述相机和所述球透镜驱动装 置相连，以控制所述相机的采集以及对所述球透镜驱动装置进行控制。
[0013] 本发明第二方面的实施例还提出了一种如本发明第一方面实施例提供的所述超 分辨率光场采集装置的三维重建方法，包括以下步骤：控制所述球透镜移动，并通过所述相 机进行多视角的图像采集，以得到采集的图像序列；对所述图像序列中每一帧进行校正，并 根据校正后的每一帧图像得到场景的深度信息；根据所述深度信息和所述图像序列之间的 视差重建所述场景的三维模型。
[0014] 根据本发明实施例的超分辨率光场采集装置的三维重建方法，能够求解出非常精 细的场景深度，包括场景中边缘处的深度变化也能精确求解；通过对极图像序列来逐行求 解场景的深度的方法，不需要读入所有图像，大大减少深度求解时的内存占用量；并且该方 法能够处理采集光场数据中的一些不可避免的异常点的情况，具有非常高的鲁棒性。此外， 该方法相比图像分割等传统方法效率大大提高，能够求解上亿像素的大规模光场。
[0015] 另外，根据本发明上述实施例的超分辨率光场采集装置的三维重建方法还可以具 有如下附加的技术特征：
[0016] 在一些示例中，所述对所述图像序列中每一帧图像进行校正，进一步包括：校正每 一帧图像的镜头畸变，并估计所有相机的位置参数，以确定一条距离所有相机中心的垂直 距离最小的基线，并使每一帧图像以该所述基线为基准作相应的校正。
[0017] 在一些示例中，所述根据校正后的每一帧图像得到场景的深度信息，进一步包括： 计算校正后的每一帧图像的边缘置信度，以得到边缘置信度掩膜；根据所述边缘置信度掩 膜计算被标记为置信边缘的像素点的视差值；通过联合双边中值滤波对初始视差图进行滤 波；计算非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值；根据各像素 点的视差值生成视差图。
[0018] 本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变 得明显，或通过本发明的实践了解到。
【附图说明】
[0019] 本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变 得明显和容易理解，其中：
[0020] 图1是根据本发明一个实施例的超分辨率光场采集装置的结构示意图；
[0021] 图2是根据本发明一个实施例的超分辨率光场采集装置的三维重建方法的流程 图；以及
[0022] 图3是根据本发明一个实施例的深度信息求取过程的流程图。
【具体实施方式】
[0023] 下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终 相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附 图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0024] 以下结合附图描述根据本发明实施例的超分辨率光场采集装置及其的三维重建 方法。
[0025] 图1是根据本发明一个实施例的超分辨率光场采集装置的结构示意图。如图1所 示，该光场采集装置包括：相机110、球透镜120和球透镜驱动装置130 (图中未示出）。
[0026] 其中，球透镜120位于相机110的前方，相机110透过球透镜120进行图像采集。