估计与用全光相机获取的场景的视图的视差的方法和装置的制造方法
【技术领域】
[0001] 本发明涉及全光相机领域，并且更具体地涉及与用全光相机获取的场景的一个或 多个视图相关联的视差的估计。
【背景技术】
[0002] 根据现有技术，已知用全光相机（也被称为光场相机）在单次快摄中获取相同场 景的不同视图。这样的全光相机的一个直接应用是3D重建。事实上，在对用全光相机的光 传感器阵列获取的原始图像解复用后，被恢复的场景的视图已经水平地和垂直地处于对极 几何，因此视图之间的视差可以被估计而不用立体矫正。与从用传统相机捕捉的图像中进 行双目3D立体重建相比，这是一个巨大的优势。
[0003] 然而，从由原始图像的解复用产生的视图的视差的估计面临着一些问题。例如，由 解复用产生的视图仅为视图的一些像素提供一种单一色彩信息，而其它像素不具有任何与 它们相关联的色彩信息：这样的视图的空间色彩采样通常是参差不齐的和不完整的，这将 引起错误的视差估计。
[0004] 这样的视差估计问题的一个已知解决方案是在解复用原始图像之前首先对原始 图像去马赛克，以便针对由解复用产生的场景的每个视图的每个像素有全色彩信息。但是 在解复用之前执行去马赛克可能引起其它问题，例如视图间串扰。事实上，为了为原始图像 的给定像素恢复全色彩信息，可以使用属于此给定像素的邻域的像素，即使这些临近的像 素属于其它视图而不属于给定像素的视图。在这样的遭受视图间串扰的视图上估计视差也 可能引起视差误差。
【发明内容】
[0005] 本发明的目的是为了克服现有技术的这些缺点中的至少一个缺点。
[0006] 更具体地，本发明的目的是为了确定可靠的与场景（由用全光相机获取的原始图 像的解复用产生）的视图相关联的视差信息，视图没有被去马赛克。
[0007] 本发明涉及一种确定与场景的第一视图的至少一部分相关联的视差信息的方法， 视图的矩阵包括第一视图和该场景的多个不同于第一视图的第二视图，第一视图从用全光 相机获取的场景的原始图像中被获得，多个色彩分量以如下方式与原始图像的像素相关 联：多个色彩分量中的每个单一色彩分量根据预定模式与原始图像的不同像素相关联，第 一视图和第二视图中的每个视图均包括从原始图像的像素中被选择的具有关联的单一色 彩分量的像素。该方法包括如下步骤：
[0008] -将与第一视图的至少一个像素的第一块相关联的第一色彩模式与至少一个第二 色彩模式相比较，第二色彩模式与矩阵中属于包括第一视图的行或列的至少一个第二视图 中的至少一个像素的至少一个第二块相关联，
[0009] -如果相关联的第二色彩模式至少部分地与第一色彩模式相对应，则选择至少一 个第二块，
[0010] -通过使用被选择的至少一个第二块和第一块确定与第一块相关联的视差信息。
[0011] 根据特定特征，第一色彩模式被与下面的模式相比较：
[0012] -与矩阵中属于包括第一视图的行的至少一个第二视图中的至少一个第二块相关 联的至少一个第二色彩模式，以及
[0013] -与矩阵中属于包括第一视图的列的至少一个第二视图中的至少一个第二块相关 联的至少一个第二色彩模式。
[0014] 有利地，通过使用第一块和至少一个属于包括第一视图的行的被选择的第二块确 定第一视差值，并且通过使用第一块和至少一个属于包括第一视图的列的被选择的第二块 确定第二视差值，如果第一视差值和第二视差值之差小于阈值，则根据第一视差值和第二 视差值确定视差息。
[0015] 根据特定的特征，针对属于包括第一视图的行并且具有第二块（该第二块具有与 第一色彩模式相对应的第二色彩模式）的每个第二视图确定第一视差水平，第一视差值与 第一视差水平的中间值相对应，以及其中针对每个属于包括第一视图的列并且具有第二块 (该第二块具有与第一色彩模式相对应的第二色彩模式）的第二视图确定第二视差水平， 第二视差值与第二视差水平的中间值相对应。
[0016] 有利地，视差信息与第一视差值和第二视差值其中之一相对应。
[0017] 根据另一特征，视差信息与第一视差值和第二视差值的平均值相对应。
[0018] 有利地，与多个候选视差信息相关联的代价函数被计算，多个候选信息在最小视 差值和最大视差值之间取值，最小视差值和最大视差值取决于全光相机，其中被确定的视 差信息与代价函数最小时的候选视差信息相对应。
[0019] 根据特定特征，该方法还包括在确定视差信息前，对代价函数进行插值以及对第 一视图和至少一个第二视图进行插值。
[0020] 本发明也涉及一种被配置为确定与场景的第一视图的至少一部分相关联的视差 信息的装置，视图的矩阵包括第一视图和该场景的多个不同于第一视图的第二视图，第一 视图从用全光相机获取的场景的原始图像中被获得，多个色彩分量以如下方式与原始图像 的像素相关联：多个色彩分量中的每个单一色彩分量与根据预定模式原始图像的不同像素 相关联，第一视图和第二视图中的每个视图均包括从原始图像的像素中被选择的具有关联 的单一色彩分量的像素。该装置包括至少一个处理器，其被配置为：
[0021] -将与第一视图的至少一个像素的第一块相关联的第一色彩模式与至少一个第二 色彩模式相比较，第二色彩模式与矩阵中属于包括第一视图的行或列的至少一个第二视图 中的至少一个像素的至少一个第二块相关联，
[0022] _如果相关联的第二色彩模式至少部分地与第一色彩模式相对应，则选择至少一 个第二块，
[0023] -通过使用被选择的至少一个第二块和第一块确定与第一块相关联的视差信息。
[0024] 有利地，至少一个处理器还被配置为将第一色彩模式与下面的模式相比较：
[0025] -与矩阵中属于包括第一视图的行的至少一个第二视图中的至少一个第二块相关 联的至少一个第二色彩模式，以及
[0026] -与矩阵中属于包括第一视图的列的至少一个第二视图中的至少一个第二块相关 联的至少一个第二色彩模式。
[0027] 根据特定特征，至少一个处理器还被配置为：
[0028]-通过使用第一块和至少一个属于包括第一视图的行的被选择的第二块确定第一 视差值，
[0029]-通过使用第一块和至少一个属于包括第一视图的列的被选择的第二块确定第二 视差值，
[0030] -将第一视差值和第二视差值之差与阈值相比较，
[0031] -如果差异小于阈值，则根据第一视差值和第二视差值确定视差信息。
[0032] 根据另一特征，至少一个处理器还被配置为：
[0033] _针对属于包括第一视图的行并且有具有与第一色彩模式相对应的第二色彩模 式的第二块的每个第二视图确定第一视差水平，第一视差值与第一视差水平的平均值相对 应，
[0034] _针对属于包括第一视图的列并且有具有与第一色彩模式相对应的第二色彩模 式的第二块的每个第二视图确定第二视差水平，第二视差值与第二视差水平的平均值相对 应。
[0035] 根据特定特征，至少一个处理器还被配置为确定与多个候选视差信息相关联的代 价函数，多个候选信息在最小视差值和最大视差值之间取值，最小视差值和所述最大视差 值取决于全光相机，其中被确定的视差信息与代价函数最小时的候选视差信息相对应。
[0036] 有利地，至少一个处理器还被配置为在确定视差信息前，对代价函数进行插值以 及对第一视图和至少一个第二视图进行插值。
[0037] 本发明也涉及一个计算机程序产品，其包括程序代码的指令，当程序在计算装置 上被执行时，用于执行确定与场景的第一视图的至少一部分相关联的视差信息的方法的步 骤。
【附图说明】
[0038] 在参照附图阅读下述描述的基础上，将能更好地理解本发明以及其它将出现的特 征和优势，其中：
[0039] 图1示出了根据本发明的特定实施例的全光相机；
[0040] 图2示出了根据本发明的特定实施例用图1的全光相机获取的场景的原始图像；
[0041] 图3示出了根据本发明的特定实施例由图2的原始图像的解复用产生的场景的视 图；
[0042] 图4示出了根据本发明的特定实施例由图2的原始图像的解复用产生的视图的矩 阵；
[0043] 图5示出了根据本发明的特定实施例从图4的矩阵的视图中估计视差信息的方 法；
[0044] 图6示出了根据本发明的特