用于使用阵列照相机捕捉的图像中的视差检测和校正的系统和方法
【技术领域】
[0001] 本发明总地涉及数字照相机，更具体地讲，涉及使用阵列照相机捕捉的图像中的 视差的检测和校正。
【背景技术】
[0002] 由于每个眼睛的视场不同，所以场景的双目观看创建该场景的两个略有不同的图 像。称之为"双目视差（或视差）"的这些差别提供可以用于计算视觉场景中的深度的信 息，从而提供深度知觉的主要手段。与立体深度知觉相关联的深度印象还可以在其他条件 下获得，诸如当观察者在移动时仅用一个眼睛观看场景时。观察到的视差可以用于获得关 于场景中的对象的深度信息。机器视觉中的类似原理可以用于收集深度信息。
[0003] 分隔一段距离的两个或更多个照相机可以拍摄同一场景的图片，并且可以通过移 动两个或更多个图像的像素以找到这些图像的匹配的部分来比较所捕捉的图像。对象在不 同照相机视图之间的移位量被称为视差，其与到对象的距离成反比。检测到对象在多个图 像中移位的视差研宄可以用于基于照相机与所涉及的照相机的焦距之间的基线距离计算 到对象的距离。使用两个或更多个照相机产生立体三维图像的方法常被称为多视图立体。
[0004] 多视图立体通常可以就下列组件进行描述：匹配标准、合计方法和胜者选择。匹 配标准用作测量不同图像上的像素或区域的相似性的手段。典型的误差度量是图像之间的 RGB或强度差值（可以对这些差值求平方值，或者可以使用鲁棒的度量）。一些方法通过计 算局部误差表面的分析最小值或者使用基于梯度的技术来计算亚像素视差。一种方法涉及 获取一个图像中的像素与另一个图像中的插值强度函数之间的最小差值。合计方法是指计 算或累积搜索空间上的误差函数的方式。最直接的方式是在对于多个照相机规定的视差空 间上应用固定大小的搜索窗口。其他方式使用自适应窗口、可移位窗口或多个掩膜。另一 组方法在3D空间中累积投票，例如，空间扫描方法和体素着色及其变型。一旦计算了初始 或合计匹配成本，就决定了对于每个像素正确的视差分配。局部方法在每个像素处独立地 这样做，通常是通过拾取具有最小合计值的视差。协作/竞争算法可以用于迭代地决定最 佳分配。动态程序设计可以用于计算与边缘特征相关联的深度或整体强度相似性匹配。这 些方法可以利用沿着核线的一维排序约束来处理深度间断之处和不匹配区域。又一类方法 将立体匹配公式化为可以通过诸如模拟退火和图割之类的全局方法求解的全局优化问题。
[0005] 最近，研宄使用跨越更宽的合成孔径的多个照相机捕捉光场图像（例如，斯坦福 多照相机阵列）。通常被定义为表征在场景中的所有点处来自所有方向的光的4D函数的 光场可以被解释为场景的二维（2D)图像的2D集合。由于实际的约束，通常难以同时捕捉 场景的形成光场的2D图像的集合。然而，每个照相机捕捉图像数据的时间越接近，光强度 (例如，荧光灯的否则察觉不到的闪烁）或对象运动的变化将越不可能导致所捕捉的图像 之间的时间相关的变化。涉及捕捉光场并且重新对该光场进行采样的处理可以用于模拟孔 径大的照相机。例如，指向场景的MXN个照相机的阵列可以模拟如该阵列那么大的透镜的 聚焦效果。以这种方式使用照相机阵列可以被称为合成孔径摄影。
[0006] 虽然立体匹配最初被公式化为从一对图像恢复3D形状，但是使用照相机阵列捕 捉的光场还可以用于使用与立体匹配中所使用的那些算法类似的算法重构3D形状。随着 更多图像被添加，挑战是部分被遮挡区域（像素在一些区域中可见，但不是在所有图像中 都可见）的普遍性也提高。
【发明内容】
[0007] 根据本发明的实施例的系统和方法可以在使用阵列照相机捕捉的图像中执行视 差检测和校正。本发明的用于使用用图像处理应用程序配置的处理器根据包括从不同视点 捕捉的图像集合的光场估计到场景内的对象的距离的方法的实施例包括：相对于从不同视 点捕捉的图像集合的视点选择参考视点；规范化所述图像集合以提高所述图像集合内的相 应像素的相似性；并且使用所述图像集合的至少一个子集来确定对于参考视点的图像中的 像素位置的初始深度估计，其中，对于参考视点的图像中的给定像素位置的初始深度估计 通过下述步骤确定：基于多个深度处的预期视差，识别所述图像集合的所述至少一个子集 中的与参考视点的图像中的所述给定像素位置相应的像素；比较在所述多个深度中的每个 深度处识别的相应像素的相似性；并且从所述多个深度选择其中所识别的相应像素具有最 高相似性程度的深度作为对于参考视点的图像中的所述给定像素位置的初始深度估计。另 外，所述方法包括：使用初始深度估计来识别所述图像集合中的相应像素；比较图像集合 中的相应像素的相似性以检测不匹配像素。当初始深度估计没有导致检测到图像集合中的 相应像素之间的不匹配时，选择初始深度估计作为对于参考视点的图像中的像素位置的当 前深度估计。当初始深度估计导致检测到图像集合中的相应像素之间的不匹配时，通过下 述步骤选择对于参考视点的图像中的像素位置的当前深度估计：使用图像集合的多个不同 子集确定候选深度估计集合；基于候选深度估计来识别图像集合的所述多个子集中的每个 子集中的相应像素；并且选择具有最相似的相应像素的子集的候选深度作为对于参考视点 的图像中的像素位置的当前深度估计。
[0008] 在进一步的实施例中，相对于从不同视点捕捉的图像集合的视点选择参考视点 的步骤包括从由下列视点构成的集合选择视点：所述图像中一个图像的视点；以及虚拟视 点。
[0009] 在另一实施例中，通过将场景相关的移位应用于参考视点的图像中的像素位置来 确定所述图像集合中的给定图像中的与参考视点的图像中的像素位置相对应的像素，所述 场景相关的移位基于下列方面而确定：参考视点的图像中的像素位置的深度估计；以及给 定图像的视点与参考视点之间的基线。
[0010] 在更进一步的实施例中，所述图像集合的用于确定候选深度估计集合的子集基于 所述图像集合中的图像的视点而选择，以利用有可能导致至少一个子集的自然场景的可见 性特性的模式，在所述至少一个子集中，参考视点的图像中的给定像素位置在所述子集中 的每个图像中是可见的。
[0011] 在又一实施例中，所述图像集合是在多个颜色通道内捕捉的；相对于从不同视点 捕捉的图像集合的视点选择参考视点的步骤包括：选择图像之一作为参考图像，并且选择 参考图像的视点作为参考视点；并且所述图像集合的用于确定候选深度估计集合的子集被 选择为使得包含参考图像的颜色通道中的相同数量的图像出现在每个子集中。
[0012] 在更进一步的实施例中，所述图像集合的用于确定候选深度估计集合的子集还被 选择为使得在每个子集中存在在不包含参考图像的颜色通道中的至少两个图像。
[0013] 又一实施例还包括通过下述步骤确定所述图像集合中的像素从参考视点来看的 可见性：使用当前深度估计识别所述图像集合中的相应像素；并且当给定图像中的像素未 能满足基于相应像素的比较而确定的光度相似性标准时，确定所述像素在参考视点的图像 中是不可见的。
[0014] 再次在进一步的实施例中，相对于从不同视点捕捉的图像集合的视点选择参考视 点的步骤包括：选择所述图像集合中的图像之一作为参考图像，并且选择参考图像的视点 作为参考视点；并且当给定图像中的像素未能满足基于相应像素的比较而确定的光度相似 性标准时确定所述像素在参考