专利名称：用于由至少两个借助于立体摄像机系统拍摄的输入图像确定深度信息的图像处理方法
技术领域：
本发明涉及一种用于由至少两个借助于立体摄像机系统拍摄的输入图像确定深度信息的图像处理方法，其中，在考虑立体摄像机系统的几何特征的情况下由视差图计算深度信息。此外，本发明还涉及一种计算机程序，一种计算机程序产品和一种装置，以便执行或实施这样的方法。
背景技术：
基于两个立体图像的深度计算是图像处理中的标准问题，为了解决所述问题公开了大量算法。在此，借助于立体分析处理方法来确定在时间上同步的并且经校正的立体图像对或者立体视频图像对之间的视差d。如由图1可以看到，视差d定义为沿图像行方向的一维位移矢量并且基于左侧图像Al中的像素或像点Xi说明右侧图像A2中的对应像点xj。 所有视差d的集合也称作视差图，其中，d = xj-xi’。xi’表示由左侧图像Al投影到右侧图像A2中的像点。随后可以借助于视差图在考虑立体摄像机系统的几何特征的情况下计算立体图像的深度信息。对于视差d的确定，求取立体图像中的像点的匹配是决定性的。为了确定视差d，往往建议一些基于特征的方法或算法。这些方法的概述以及对比可以由以下获知Μ· Ζ. Brown, D. Burschka 禾口 G. D. Hager 所著的"Advances in computational stereo，，， IEEE Transactions on Pattern Analysis and Machine Intelligence,25 8 M 第 993-1008 页，2003 年 8 月[1]和 D. Scharstein 和 R. Szeliski 所著的"a taxonomy and evaluation of dense two-frame stereo correspondence algorithms，，， International Journal of Computer Vision,第 47 卷第 7 至 42 页，2002 年 4 月[2]。为了计算视差图，通常运行在图2中示出的算法方法步骤V、S1-S3 (在虚线框中)、 N。鉴于所选择的立体方法可以借助于预处理步骤V处理原始图像数据(例如中值滤波、秩变换)。在第一方法步骤Sl中进行距离测度的计算。在此，往往使用距离测度或者基于相关性的测度。根据相应使用的距离测度，可以按像素直接地或者在使用窗的情况下进行在方法步骤S2中实施的成本聚集。尤其是在第一种情形中，在方法步骤S3中在匹配搜索中考虑关于光滑性、单值性或者视差排列(作为辅助条件)的假设。在方法步骤S3中在匹配搜索中造成的开销对于结果的密度、稳健性和可靠性而言往往是决定性的并且由所使用的优化技术定义。在此，现有技术中例如公开了以下优化技术动态编程、扫描线优化、基于图像的技术、模拟退火和经典的局部方法。接着，在方法步骤N中可以进行后续处理，尤其是以便从视差图中去除可能由于遮盖而产生的明显有误的区域或者以便通过已经求取的成本空间中的插值实现视差估计的亚像素精度。已知的立体方法或者立体分析处理方法本质上基于成本函数的最小化(参见公开出版物口])，所述成本函数量化立体摄像机系统的在时间上同步拍摄的图像对中的图像块之间的差。为此，在图像数据的适当变换和量化之后往往使用距离测度——如绝对差的和(Sum of Absolute 2ifferences/SAD)、平方差的和(Sum of Squared Differences/SSD)和互相关系数(￡ross Correlation Coefficient/CCC)或者码字之间的简单的汉明距离(参见公开出版物[1]和[2])。距离测度表示不相似性或差别性的测度。用于基于真实的图像序列数据估计立体视差的方法的重要缺点在于不变特性或稳健特性是不充分的。因此，SAD标准和SSD标准隐含地以数据平均值的稳定为前提条件，这在真实条件下通常是不存在的。这些标准的无平均值的版本不具有所述缺点。但是，不变特性还是不充分，因为例如可能由全局照明变化引起的简单数据缩放没有得到补偿。这通过使用以上所述的计算开销相对较大的CCC标准才能实现，但是所述CCC标准对于例如可能由局部照明变化引起的非线性数据干扰又是无效的。基于经变换的量化数据的码字之间的汉明距离的方法通常基于启发式方法，从而不能解析地确定相应的不变特性。在[1]中提到的非参数的秩变换也仅仅是启发(Heuristik)。因此，总而言之，基于立体摄像机系统或立体视频系统确定深度信息或3D重建的立体分析处理的已知方法根据实现变型方案具有以下缺点中的一项或多项-计算复杂性超过所使用的嵌入式系统(EmbeddedSystem)的计算性能一个或多个数量级。-仅仅对于例如少于10%像点的一小部分存在视差估计。-视差估计具有很大部分粗略的误测量。-视差估计的精度不够，例如多个视差等级的数量级的标准偏离。对于普通的现有技术参阅DE 102 19 788 Cl。
发明内容
根据本发明提出一种用于由至少两个、尤其借助于立体摄像机系统立体地拍摄的、尤其在时间上同步的和/或经校正的输入图像确定深度信息的图像处理方法，所述立体摄像机系统尤其具有两个图像传感器，其中，在考虑立体摄像机系统的几何特征的情况下由视差图来计算或确定深度信息，所述方法的特征在于以下用于求取视差图的方法步骤-借助于预给定的算子将输入图像变换为符号图像；-根据符号图像借助于无参数的或非参数的统计学秩相关测度进行成本计算，以关于至少两个输入图像中的至少一个对于预给定的视差等级求取成本空间；-对于预给定的视差等级对于成本空间的每个点实施匹配分析，其中，分别待确定的视差具有成本最小的匹配；以及-由前面确定的视差求取视差图。开头部分提到的已知方法的缺陷有利地通过根据本发明的图像处理方法完全克服。根据本发明的用于基于统计学秩相关测度求取立体视频视差或视差的图像处理方法不具有所述限制。所使用的无参数的或非参数的数据统计相对于单调的、非线性的变换是不变的。无参数的统计致力于无参数的统计模型和无参数的统计测试。其他常见的名称是非参数的统计或无分布的统计。在此，不预先确定模型结构。不进行关于所研究的变量的概率分布的假设。与此相应地，秩相关系数或秩相关测度表示相关性的无参数测度，由此可以测量两个随机变量之间的一致性的良好程度，而不需关于变量的概率分布的参数结构的假设。所述方法能够实现在当前的嵌入式系统上、例如可编程集成电路(Field ProgrammableGate Arrays/FPGA:现场可编程门阵列)上的实现、通常多于90%的相关像点的稠密视差估计、具有通常小于的异常值份额的稳健视差估计以及具有亚像素范围内的精度的视差估计。在根据本发明的图像处理方法中，代替确定性的距离测度使用统计学测度或统计学度量。可以严格地在数学上解释统计学秩相关性的使用，因为所述方法可以使用归一化准的相关系数。输入图像可以是经校正的、经部分校正的或者未经校正的。校正或修正通常理解为图像数据中的几何失真的消除，所述几何失真例如由光学系统的不理想的成像特性或者成像器的较小几何制造公差决定。非常有利的是，作为非参数的统计学秩相关测度使用Kendalls-Tau秩相关系数或所述系数的变型。例如在 N. J. Salkind(Ed.) "Encyclopedia of Measurement and Statistics" Thousand Oaks (CA), 2007 [3] ψ H. Abdi, Kendall rank correlation ^ 了 Kendall的秩相关测度，其在1938已经引入到数学统计学中。然而，由于高维数据的相对较高的计算开销，所述方法迄今没有用于信号处理领域中的实际实现。只有现代的嵌入式系统的性能以及根据本发明的图像处理方法的特定于应用的构型才开拓了在这里描述的应用领域和相邻的应用领域。符号图像理解为借助于预给定的算子进行变换的输入图像。作为预给定的算子可以使用正负号算子。借助于正负号算子可以在输入图像的可任意选择的子区域中确定相应输入图像的不同像点的图像数据、尤其是灰度值的差的正负号并且将其存储在符号图像中。根据本发明还可以设置，如果第一输入图像中的第一像点的图像数据与第一输入图像中的第二像点的图像数据的差的正负号和第二输入图像中的第一像点的图像数据与第二输入图像中的第二像点的图像数据的差的正负号一致或者第一和第二输入图像的符号图像中的第一和第二像点的相应位置上的正负号一致，则在第一和第二输入图像的可任意选择的子区域中具有第一输入图像和第二输入图像的相应位置上的第一像点的第一图像数据和第一输入图像和第二输入图像的相应位置上的第二像点的第二图像数据的所观察的图像数据对是兼容的或者是相对应的。在根据本发明的图像处理方法的一个构型中，在可任意选择的子区域中通过 t= } 二给出Kendalls-Tau秩相关系数，其中，_1彡t彡1，其中，f是可任意选择的子
nIn-1J
区域的兼容的图像数据对的数量，g是可任意选择的子区域的不兼容的图像数据对的数量并且η是可任意选择的子区域的所观察的全部图像数据对的数量。因此可以如下使用根据Kendall的秩相关测度。给出立体视频图像对的图像Al 和A2的可任意选择的子区域中的像点的所观察的数据、例如灰度值的对(Ali，A2i)，(Alj， A2j)。作为重要的计算操作仅仅需要确定差的正负号sign (Alj-Ali)，sign (A2j-A2i)。如果这些正负号一致，则所观察的数据对兼容，否则不兼容。如果现在f表示兼容的数据对的
数量而g表示不兼容的数据对的数量，则通过t = n.(2nS—”定义根据Kendall的秩相关测度，
其中，s = f-g ；-l^t^ 1，所述秩相关测度可以用于实现根据本发明的稳健的图像处理方法。本发明的一些变型方案明确地处理差极小的情况，它们同样适用于所述的立体方法，但没有详细考察。立体摄像机系统可以实施为立体视频系统，而输入图像可以实施为输入视频图像。当然也可以考虑C⑶摄像机或CMOS摄像机作为图像传感器。此外，也可以使用其他波长范围、例如红外线范围中的图像传感器以及相应地使用热成像摄像机。根据本发明提出一种具有程序代码单元的计算机程序或者一种具有程序代码单元的计算机程序产品，其存储在计算机可读的数据载体上，以便执行根据本发明的图像处理方法。此外，说明了一个装置、尤其是机动车的驾驶员信息系统或驾驶员辅助系统，其具有至少一个具有图像处理装置的立体摄像机系统或立体视频系统，所述图像处理装置配置用于实施根据本发明的图像处理方法或用于执行相应的计算机程序。根据本发明的图像处理方法优选作为计算机程序实现在尤其是机动车的驾驶员信息系统或驾驶员辅助系统范畴中的立体摄像机系统或立体视频系统的图像处理装置上， 其中，当然也可以考虑其他的技术解决方案。为此，计算机程序可以存储在图像处理装置的存储元件(例如ROM，EEPROM等等)中。通过图像处理装置上的处理来执行图像处理方法。 图像处理装置可以具有带有微处理器的微计算机、可编程集成电路(Eield Programmable Gate紅rays/FPGA 现场可编程逻辑门阵列)、专用集成电路(Application Specific Integrated Gircuit/ASIC)、数字信号处理器(DSP)等等。所述计算机程序可以作为计算机程序产品存储在计算机可读的数据载体(磁盘、CD、DVD、硬盘、USB记忆棒、存储卡等等) 或网络服务器上并且从那里传输到图像处理装置的存储元件中。本发明的有利构型和扩展构型可由从属权利要求中得出。下面根据附图符合原理地说明本发明的一个实施例。
附图示出图1 用于说明根据现有技术的视差的立体图像对的示意图；图2 根据现有技术的立体分析处理方法中视差估计过程的简化流程图；图3 具有立体视频系统的驾驶员信息系统的简化示意性框图；以及图4 根据本发明的图像处理方法的简化示意图。
具体实施例方式图3示出构造为立体视频系统10的立体摄像机系统，其具有两个图像传感器11 和12、两个图像传感器信号线路13和14、一个分析处理单元或图像处理装置15、一个输出信号线路16和一个后面的系统17。作为图像传感器11、12例如可使用CCD摄像机或CMOS 摄像机，但也可使用热成像设备等等。两个图像传感器11、12被如此设置，使得它们成像相同的场景，但在略微不同的视角下。图像传感器11、12向图像处理装置15传输所观察的场景的图像。图像处理装置15在输出信号线路16上产生输出信号，所述输出信号被电地、数字地、声学地和/或视觉地传输给后面的系统17，用于显示、信息和/或存储。在当前实施例中，所述后面的系统是未示出的机动车的驾驶员信息系统17，所述机动车具有立体视频系统10。在其他实施例中，所述后面的系统17也可以是机动车的驾驶员辅助系统等等。
在图4中示意性示出了根据本发明的用于由至少两个借助于具有两个图像传感器11、12的立体摄像机系统10立体地拍摄的、优选在时间上同步的并且经校正的输入图像 Al、A2确定深度信息的图像处理方法，其中，在考虑立体摄像机系统10的几何特征(尤其是两个图像传感器11、12之间的基距)的情况下由视差图确定或计算深度信息。根据本发明的图像处理方法用于基于统计学秩相关方法的实时立体视频系统的运行。经校正的立体视频图像或输入视频图像A1、A2作为用于视差图的实时处理的输入数据。根据本发明的图像处理方法的特征在于以下用于求取视差图的方法步骤在第一方法步骤中，借助于预给定的算子进行输入图像Al、A2到符号图像Bi、B2 的变换。可以说，在第一方法步骤中，将视频图像Al、A2的灰度值变换为符号图像Bi、B2。 为此，作为预给定的算子使用一个正负号算子。除简单的正负号算子以外，在其他未示出的实施例中也可以使用一些更复杂的算子，这些算子例如单独地编码零点的Epsilon邻域并且为此使相应的阈值适应于局部的图像信息和/或例如出于计算时间的原因仅仅确定符号的适当子集。在第二方法步骤C中，根据符号图像Bi、B2借助于非参数的统计学秩相关测度实施成本计算，以关于至少两个输入图像Al、A2中的至少一个对于预给定的视差等级求取成本空间。随后基于符号图像B1、B2的成本计算基于统计学的秩相关测度或者所述度量的接近变型，所述度量例如在其他实施例中出于计算时间的原因可以仅仅分析处理可供使用的符号的子集。例如关于左侧的输出图像Al对于各个视差等级逐层地求取最终得到的成本空间(也称为Msparity Space Image/DSI 视差空间图像)。作为非参数的统计学秩相关测度使用Kendalls-Tau秩相关系数或者其变型。随后在第三方法步骤D中，对于预给定的视差等级对于成本空间的每个点实施匹配分析，其中，分别待确定的视差d具有成本最小的匹配，接着在第四方法步骤中由前面确定的视差d求取视差图。在成本空间内对于视差维度方向上的每个点进行匹配分析或匹配搜索。所求取的视差d相应于具有最小成本的匹配并且可以说是最优的。为了避免异常值可以考虑辅助条件，例如成本最小化的单值性或者成本函数的局部特征。根据本发明的图像处理方法首先提供像素精度的视差d，其在作为后续处理的另一处理步骤中可以进行改进，以确定亚像素精度的视差图。借助于正负号算子，确定在输入视频图像的可任意选择的子区域中相应输入视频图像Al、A2的不同像点的图像数据、尤其是灰度值的差的正负号并且将其存储在符号图像 B1、B2 中。如果第一输入视频图像Al中的第一像点的图像数据与第一输入视频图像Al中的第二像点的图像数据的差的正负号和第二输入视频图像A2中的第一像点的图像数据与第二输入视频图像中的第二像点的图像数据的差的正负号一致或者第一和第二输入视频图像A1、A2的符号图像B1、B2中的第一和第二像点的相应位置上的正负号一致，则在第一和第二输入视频图像Al、A2的可任意选择的子区域中具有第一输入视频图像Al和第二输入视频图像A2的相应位置上的第一像点的第一图像数据和第一输入视频图像Al和第二输入视频图像A2的相应位置上的第二像点的第二图像数据的所观察的图像数据对是兼容的或相对应的。在可任意选择的子区域中，通过— j给出Kendalls-Tau秩相关系数，其
权利要求
1.图像处理方法，所述图像法处理方法用于由至少两个借助于立体摄像机系统(10) 拍摄的输入图像(Al，A2)确定深度信息，其中，在考虑所述立体摄像机系统(10)的几何特征的情况下由视差图确定所述深度信息，其特征在于，所述方法具有以下用于求取所述视差图的方法步骤1. 1借助于预给定的算子将所述输入图像(A1，A2)变换为符号图像(B1，B2)； 1. 2根据所述符号图像(B1，B》借助于无参数的统计学秩相关测度进行成本计算(C)， 以关于至少两个输入图像(A1，A2)中的至少一个对于预给定的视差等级求取成本空间；1.3对于所述预给定的视差等级的成本空间的每个点实施匹配分析(D)，其中，分别待确定的视差(d)具有成本最小的匹配；以及1.4由前面确定的视差(d)求取所述视差图。
2.根据权利要求1所述的图像处理方法，其特征在于，作为非参数的统计学秩相关测度使用Kendalls-Tau秩相关系数或其变型。
3.根据权利要求1或2所述的图像处理方法，其特征在于，作为预给定的算子使用正负号算子。
4.根据权利要求3所述的图像处理方法，其特征在于，借助于所述正负号算子在所述输入图像(A1，A2)的可任意选择的子区域中确定相应输入图像(A1，A2)的不同像点的图像数据、尤其是灰度值的差的正负号，并且将所述正负号存储在所述符号图像(B1，B2)中。
5.根据权利要求4所述的图像处理方法，其特征在于，如果第一输入图像(Al)中的第一像点的图像数据与所述第一输入图像(Al)中的第二像点的图像数据的差的正负号和第二输入图像(A2)中的第一像点的图像数据与所述第二输入图像(A2)中的第二像点的图像数据的差的正负号一致或者所述第一输入图像和所述第二输入图像(Al，A2)的符号图像(Bi，B2)中的第一像点和第二像点的相应位置上的正负号一致，则在所述第一输入图像和所述第二输入图像(Al，A2)的所述可任意选择的子区域中具有所述第一输入图像(Al) 和所述第二输入图像m的相应位置上的第一像点的第一图像数据和所述第一输入图像 (AD和所述第二输入图像m的相应位置上的第二像点的第二图像数据的所观察的图像数据对是兼容的或者是对应的。
6.根据权利要求5所述的图像处理方法，其特征在于，在所述可任意选择的子区域中，通过t = 2’(/ — S给出所述Kendal 1 s-Tau秩相关系数，其中，_1彡t彡1，其中，f是所述可...η.Ο1-.1)任意选择的子区域的兼容的图像数据对的数量，g是不兼容的图像数据对的数量而η是所观察的全部图像数据对的数量。
7.根据权利要求1至6中任一项所述的图像处理方法，其特征在于，所述立体摄像机系统被实施为立体视频系统(10)而所述输入图像被实施为输入视频图像(Α1，Α2)。
8.具有程序编码单元的计算机程序，用于当在立体摄像机系统(10)的图像处理装置 (15)上、尤其是在微计算机的微处理器上、可编程集成电路上、专用集成电路或数字信号处理器上执行程序时实施根据权利要求1至7中任一项所述的图像处理方法。
9.具有存储在计算机可读的数据载体上的程序编码单元的计算机程序产品，用于当在立体摄像机系统(10)的图像处理装置(1 上、尤其是在微计算机的微处理器上、可编程集成电路上、专用集成电路或数字信号处理器上执行程序时实施根据权利要求1至7中任一项所述的图像处理方法。
10.具有至少一个立体摄像机系统(10)的装置、尤其是机动车的驾驶员信息系统 (10)，所述至少一个立体摄像机系统具有图像处理装置(15)，所述图像处理装置被配置用于执行根据权利要求8所述的计算机程序。
全文摘要
本发明涉及一种用于由至少两个借助于立体摄像机系统拍摄的输入图像(A1，A2)确定深度信息的图像处理方法，其中，在考虑立体摄像机系统的几何特征的情况下由视差图确定深度信息，其特征在于所述方法具有以下用于求取所述视差图的方法步骤借助于预给定的算子将输入图像(A1，A2)变换为符号图像(B1，B2)；根据符号图像(B1，B2)借助于无参数的统计学秩相关测度进行成本计算(C)，以关于至少两个输入图像(A1，A2)中的至少一个对于预给定的视差等级求取成本空间；对于预给定的视差等级的成本空间的每个点实施匹配分析(D)，其中，分别待确定的视差具有成本最小的匹配；以及由前面确定的视差求取视差图。
文档编号G06T7/00GK102422644SQ201080020990
公开日2012年4月18日 申请日期2010年5月7日 优先权日2009年5月14日
发明者A·文特, H·V·齐策维茨, W·聂森 申请人:罗伯特·博世有限公司