的视差图，重复该步骤也可以计算其他视 角处视差图，为了减小计算量，可以将中间视角处每层计算的可靠视差值队(1!， 8。）传播到 其余视角的相应层分辨率下，而不需要对这些像素点进行重复计算。具体操作方法为：对于 中间视角的一个可靠视差值Dv(u，s。)，在其对极图像中对应斜率的直线方向上采样像素点， 若与像素值卩接近，即满足I氧(W)-r|<:S，则对应像素点的视差也赋为Dv(u，s。)。可靠视 差点在不同视角之间的传播可以提高其他视角下计算视差的效率，同样的，没有被传播赋 值的像素并且没有计算出可靠视差值的像素则需要在降采样之后再计算。
[0079] 步骤S103 :根据深度信息和图像序列之间的视差重建场景的三维模型。
[0080] 综上，本发明实施例的超分辨率光场采集装置的三维重建方法，主要包括多视点 图像的几何校正、对极图像序列的生成、场景深度的计算、多视点间深度的传播、深度的分 层精细求解以及大规模光场数据的稀疏表示与存储等。
[0081] 根据本发明实施例的超分辨率光场采集装置的三维重建方法，能够求解出非常精 细的场景深度，包括场景中边缘处的深度变化也能精确求解；通过对极图像序列来逐行求 解场景的深度的方法，不需要读入所有图像，大大减少深度求解时的内存占用量；并且该方 法能够处理采集光场数据中的一些不可避免的异常点的情况，具有非常高的鲁棒性。此外， 该方法相比图像分割等传统方法效率大大提高，能够求解上亿像素的大规模光场。
[0082] 在本发明的描述中，需要理解的是，术语"中心"、"纵向"、"横向"、"长度"、"宽度"、 "厚度"、"上"、"下"、"前"、"后"、"左"、"右"、"竖直"、"水平"、"顶"、"底" "内"、"外"、"顺时 针"、"逆时针"、"轴向"、"径向"、"周向"等指示的方位或位置关系为基于附图所示的方位或 位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必 须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0083] 此外，术语"第一"、"第二"仅用于描述目的，而不能理解为指示或暗示相对重要性 或者隐含指明所指示的技术特征的数量。由此，限定有"第一"、"第二"的特征可以明示或 者隐含地包括至少一个该特征。在本发明的描述中，"多个"的含义是至少两个，例如两个， 三个等，除非另有明确具体的限定。
[0084] 在本发明中，除非另有明确的规定和限定，术语"安装"、"相连"、"连接"、"固定"等 术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连 接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内 部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员 而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0085] 在本发明中，除非另有明确的规定和限定，第一特征在第二特征"上"或"下"可以 是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在 第二特征"之上"、"上方"和"上面"可是第一特征在第二特征正上方或斜上方，或仅仅表示 第一特征水平高度高于第二特征。第一特征在第二特征"之下"、"下方"和"下面"可以是 第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0086] 在本说明书的描述中，参考术语"一个实施例"、"一些实施例"、"示例"、"具体示 例"、或"一些示例"等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特 点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不 必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任 一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技 术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结 合和组合。
[0087] 尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例 性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述 实施例进行变化、修改、替换和变型。
【主权项】
1. 一种超分辨率光场采集装置，其特征在于，包括： 相机； 球透镜，所述球透镜位于所述相机的前方，所述相机透过所述球透镜进行图像采集； 球透镜驱动装置，所述球透镜驱动装置用于驱动所述球透镜在水平和/或竖直方向移 动。2. 根据权利要求1所述的超分辨率光场采集装置，其特征在于，所述球透镜驱动装置 包括： 支架，所述支架的一端与所述球透镜相连，以支撑所述球透镜； 水平步进电机和竖直步进电机，所述水平步进电机和竖直步进电机分别与所述支架的 另一端相连，所述水平步进电机用于驱动所述支架在水平方向移动，所述竖直步进电机用 于驱动所述支架在竖直方向移动。3. 根据权利要求1或2所述的超分辨率光场采集装置，其特征在于，还包括： 控制器，所述控制器分别与所述相机和所述球透镜驱动装置相连，以控制所述相机的 采集以及对所述球透镜驱动装置进行控制。4. 一种基于如权利要求1-3任一项所述的超分辨率光场采集装置的三维重建方法，其 特征在于，包括以下步骤： 控制所述球透镜移动，并通过所述相机进行多视角的图像采集，以得到采集的图像序 列； 对所述图像序列中每一帧进行校正，并根据校正后的每一帧图像得到场景的深度信 息； 根据所述深度信息和所述图像序列之间的视差重建所述场景的三维模型。5. 根据权利要求4所述的超分辨率光场采集装置的三维重建方法，其特征在于，所述 对所述图像序列中每一帧图像进行校正，进一步包括： 校正每一帧图像的镜头畸变，并估计所有相机的位置参数，以确定一条距离所有相机 中心的垂直距离最小的基线，并使每一帧图像以该所述基线为基准作相应的校正。6. 根据权利要求4所述的超分辨率光场采集装置的三维重建方法，其特征在于，所述 根据校正后的每一帧图像得到场景的深度信息，进一步包括： 计算校正后的每一帧图像的边缘置信度，以得到边缘置信度掩膜； 根据所述边缘置信度掩膜计算被标记为置信边缘的像素点的视差值； 通过联合双边中值滤波对初始视差图进行滤波； 计算非边缘区域的像素点和视差置信度小于预设阈值的像素点的视差值； 根据各像素点的视差值生成视差图。
【专利摘要】本发明提出一种超分辨率光场采集装置及其的三维重建方法，该光场采集装置包括：相机；球透镜，球透镜位于相机的前方，相机透过球透镜进行图像采集；球透镜驱动装置，球透镜驱动装置用于驱动球透镜在水平和/或竖直方向移动。本发明的光场采集装置能够采集高分辨率的三维或者四维稠密光场，采集速度快、效率高，并且该装置结构简单、使用方便、适用范围广。
【IPC分类】G06T7/00
【公开号】CN105023275
【申请号】CN201510413628
【发明人】刘烨斌, 柯家琪, 戴琼海
【申请人】清华大学
【公开日】2015年11月4日
【申请日】2015年7月14日