专利名称：立体图像处理装置、立体图像处理方法及程序的制作方法
技术领域：
本发明涉及一种使用立体匹配的图像处理装置、图像处理方法及程序。
背景技术：
例如，如专利文献I中所示，传统的立体图像处理装置使用多个相机来检测相机到对象的距离。图7是示出传统图像处理装置的示例结构的图。远三维对象检测功能包括针对用于长距离的CXD相机IOlla和IOllb的用于长距离的距离检测单元1021a、用于存储距离分布信息的用于长距离的距离图像存储元件1021b、以及用于基于距离分布信息检测三维对象的远三维对象检测单元1030。近三维对象检测功能包括针对用于短距离的CCD相机1012a和1012b的用于短距离的距离检测单元1022a、用于存储距离分布信息的用于短距离的距离图像存储元件1022b、以及用于基于距离分布信息检测三维对象的近三维对象检测单元1031。三维对象组合单元1032组织和组合由用于长距离的检测单元以及用于短距离的检测单元检测的三维对象的数据。引用列表专利文献专利文献I日本专利公开(Laid-Open)No.11-39596。
发明内容
技术问题然而，在上述背景技术中，需要多个用于长距离和短距离的距离图像存储元件和多个用于长距离和短距离的三维对象检测单元，也需要用于组合三维对象的数据的装置和方法，从而导致装置较大规模的硬件或软件以获得该装置。本发明的目的在于提供一种立体图像处理装置、立体图像处理方法及程序，其可以解决这种问题并减小硬件或软件的尺寸，获得长距离和短距离的距离图像，并且检测三维对象。解决问题的方案根据本发明的立体图像处理装置包括第一相机；第二相机；第三相机，位于所述第一相机与所述第二相机之间；第一视差检测单元，在由所述第一相机拾取的第一图像与由所述第二相机拾取的第二图像之间执行匹配，以针对每个预定单元区域确定图像信号之间的差别最小的对应区域，并检测所述对应区域中的所述第一图像中的位置与所述第二图像中的位置之间的偏差，作为第一视差；第二视差检测单元，在由所述第一相机拾取的第一图像与由所述第三相机拾取的第三图像之间执行匹配，以针对每个预定单元区域确定图像信号之间的差别最小的对应区域，并检测所述对应区域中的所述第一图像中的位置与所述第三图像中的位置之间的偏差，作为第二视差；视差组合单元，组合所述第一视差和所述第二视差；以及距离计算单元，针对每个预定单元区域，基于组合的视差，计算与对应于所述单元区域的对象的距离。采用此结构，因为立体图像处理装置在组合了视差之后计算距离，所以不必须准备用于存储基于第一视差确定的距离以及基于第二视差确定的距离的多个图像存储元件，从而可以缩小硬件的规模。此外，因为不必须基于依据第一视差获得的距离图像以及依据第二视差获得距离图像中的每个来检测三维对象以及组合所确定的三维对象，所以可以缩小软件的规模。应该注意，因为第一相机与第二相机之间的间隔宽于第一相机与第三相机之间的间隔，所以相比于基于第二视差，基于第一视差可以以更高的精度确定与远三维对象的距离，并且相比于基于第一视差，基于第二视差可以以更高的精度确定与近三维对象的距离。在根据本发明的立体图像处理装置中，所述视差组合单元可以包括比较单元，将所述第二视差与预定阈值进行比较；以及选择单元，基于来自所述比较单元的比较结果选择所述第一视差与所述第二视差中的任一个。采用此结构，如果不能高精度地检测视差，则可以通过从一个视差改变为另一视差来减小测量精度的劣化，即检测精度的劣化劣化，从而可以改善从长距离到短距离的测
量精度。在根据本发明的立体图像处理装置中，所述视差组合单元可以包括评估单元，获取当通过所述第一视差检测单元检测第一视差时所使用的图像信号之间的差别的数据，以及评估所述图像信号之间的差别是否等于或小于预定阈值；以及选择单元，基于来自于所述评估单元的评估结果选择所述第一视差和所述第二视差中的任一个。采用此结构，通过动态地将视差改变为具有更高测量精度的视差，可以改善从长距离到短距离的测量精度。根据本发明的立体图像处理方法包括步骤在由第一相机拾取的第一图像与由第二相机拾取的第二图像之间执行匹配，以针对每个预定单元区域确定图像信号之间的差别最小的对应区域，并检测所述对应区域中的所述第一图像中的位置与所述第二图像中的位置之间的偏差，作为第一视差；在由所述第一相机拾取的第一图像与由第三相机拾取的第三图像之间执行匹配，以针对每个预定单元区域确定图像信号之间的差别最小的对应区域，并检测所述对应区域中的所述第一图像中的位置与所述第三图像中的位置之间的偏差，作为第二视差；组合所述第一视差和所述第二视差；以及针对每个预定单元区域，基于组合的视差，计算与对应于所述单元区域的对象的距离。采用此结构，与上述根据本发明的立体图像处理装置一样，可以通过在组合视差之后计算距离来缩小硬件的规模或软件的规模。在根据本发明的立体图像处理方法中，所述组合视差的步骤可以包括将所述第二视差与预定阈值进行比较；以及基于比较结果选择所述第一视差与所述第二视差中的任一个。采用此结构，如果不能高精度地检测视差，则可以通过从一个视差改变为另一视差来减小测量精度 的劣化劣化，即检测精度的劣化劣化，从而可以改善从长距离到短距离的测量精度。在根据本发明的立体图像处理方法中，所述组合视差的步骤可以包括获取在检测所述第一视差的步骤中检测所述第一视差时所使用的图像信号之间的差别的数据；评估所述图像信号之间的差别是否等于或小于预定阈值；以及基于评估结果选择所述第一视差和所述第二视差中的任一个。采用此结构，通过动态地将视差改变为具有更高测量精度的视差，可以改善从长距离到短距离的测量精度。根据本发明的程序使计算机执行上述立体图像处理方法的每个步骤。发明的有益效果本发明具有如下优点可以缩小诸如距离图像存储元件的硬件和诸如三维对象检测单元的软件的规模，并且可以通过在组合了第一视差和第二视差之后计算距离而高精度地执行测量。如后面所描述的，本发明具有另一方面。因此，本发明的公开意图提供本发明的一部分而不意图限定这里所描述和要求权利的本发明的范围。
图I是根据第一实施例的立体图像处理装置的框图。图2是第一实施例中的视差组合和距离计算单元的框图。图3是第一实施例和第二实施例中的测量距离的原理图。图4是示出根据第一实施例的立体图像处理装置的操作的流程图。图5是第二实施例中的视差组合和距离计算单元的框图。图6是示出根据第二实施例的立体图像处理装置的操作的流程图。图7是示出传统立体图像处理装置的结构的框图。
具体实施例方式下面将详细描述本发明。下面描述的实施例仅是本发明的示例，并且本发明可以改变为各种方面。因此，后面所公开的具体结构和功能不限定权利要求的范围。现在，将参考附图描述根据本发明的实施例的立体图像处理装置。应该注意，立体图像处理装置包括专用硬件或由CPU构成的处理单元，并且可以通过存储在存储元件或HDD中的程序实现。(第一实施例)图I是示出根据第一实施例的立体图像处理装置的结构的框图。立体图像处理装置包括三个相机Ila至11c、用于长距离的视差检测单元21、用于短距离的视差检测单元22、视差组合单元31、距离图像存储元件32、以及三维对象检测单元33。相机Ila至Ilc位于同一水平上。如后面描述的图4所示，三个相机Ila至Ilc布置在同一基线上，并且相机Ilb位于相机IIa和相机Ilc之间。更具体地，将相机Ilb放置为使得相机Ilb投影在由相机Ila和相机Ilc构成的立体图像拾取装置中的极线(bipolar line)上。换言之，相机Ila位于由相机Ilb和相机Ilc构成的立体图像拾取装置中的极线上。
用于长距离的视差检测单元21使用从相机Ila和相机Ilc接收的图像信号执行立体匹配，进行长距离测量，并确定长距离视差Pf。因为相机Ila和相机Ilc具有比相机Ilb和相机Ilc之间的间隔更宽的间隔，所以由相机Ila和相机Ilc构成的立体图像拾取装置适合于获得远对象的视差信息。因此，检测来自相机Ila和相机Ilc拍摄的图像的视差的组件称为用于长距离的视差检测单元，并且由此获得的视差称为长距离视差Pf。立体匹配针对要彼此比较的两个图像中的每个预定单元区域，确定图像信号之间的差别最小的单元区域。即，检测反映同一对象的区域。在本实施例中，使用像素作为单元区域。 用于短距离的视差检测单元22使用从相机Ilb和相机Ilc接收的图像信号执行立体匹配，进行短距离测量，并确定短距离视差Pn。用于长距离的视差检测单元21和用于短距离的视差检测单元22将所确定的视差Pf和Pn的数据输入到视差组合单元31中。视差组合单元31具有组合输入视差Pf和Pn的数据以及计算与对应于两个图像中都反映的每个像素的对象的距离D的功能。视差组合单元31连续地确定与成像范围内的每个点的距离，并将距离存储在距离图像存储元件32中。由此构成了距离图像。应该注意，距离图像是具有从相机到真实环境中的对象的距离值的图像。三维对象检测单元33具有基于从距离图像存储元件32中读出的距离图像而检测三维对象的功能。图2是示出视差组合单元31的详细结构的框图。视差Pf和Pn被输入到用于组合视差的选择单元312中。比较单元311将由用于短距离的视差检测单元22检测的短距离视差Pn与阈值Thp比较，并将比较结果输入到选择单元312。选择单元312基于输入的比较结果，确定长距离视差Pf和短距离视差Pn中的任一个，作为要用于距离计算的组合视差P。下面的表达式(I)示出了选择单元312所做的确定。[表达式I]
ilfPn<Thp,P = Pf …彳p,... (I)
[If Pn>Thp,P = Pn v ,当短距离视差Pn变得低于阈值Thp时，选择单元312确定短距离视差Pn的检测精度降低，并输出长距离视差Pf作为组合视差P。如果短距离视差Pn等于或大于阈值Thp，选择单元312继续选择短距离视差Pn作为组合视差P。距离计算单元313基于组合视差P计算距离D并输出距离D。图3是示出由立体图像处理装置测量距离的原理的图。图3示出了如对应于图I中所示的相机11a、Ilb和Ilc的结构的透镜和图像拾取设备。如果假定透镜的焦距是f，则与远和近对象的距离分别是Df和Dn，基线长度是Bf和Bn，并且视差是Pf和Pn，它们由以下表达式(2)和(3)表达。[表达式2]Df = f · Bf/Pf. · · (2)[表达式3]Dn = f · Bn/Pn. · · (3)这里，使用图像拾取设备的像素间距P和视差的像素数目Nf和Nn，将视差Pf和Pn表达为Pf = Nf · p和Pn = Nn · p。因此,如以下表达式(4)中所示,如果视差等于或小于像素间距P，则基于视差的测量精度降低。[表达式4]P · i < Pi」+1 < p · (i+1)(其中 i 是整数)· · · (4)如图3中所示，当 相机Ilb和相机Ilc测量距离时，如果距离是短距离Dn，则可以确保一个或多个像素的视差，但当相机Ilb和Ilc测量长距离Df时，短距离视差Pn等于或低于像素间距P (见Pn)，并且测量精度劣化。另一方面，如果使用相机Ila和相机11c，则当测量长距离Df时获得的长距离视差Pf大于上述短距离视差Pn，并且可以确保具有一个或多个像素的视差精度。因此，如表达式(I)中所示，如果当短距离视差Pn低于预定阈值Thp时，选择长距离视差Pf作为组合视差P，则可以缩减存储元件和操作硬件，并且可以从长距离到短距离精确地实现三维对象检测。例如，为了确保上述的具有一个或多个像素的视差精度，可以通过为短距离视差Pn将Thp设置为I而将短距离视差Pn改变为长距离视差Pf。图4是示出根据第一实施例的立体图像处理装置的操作的流程图。立体图像处理装置总共获得四个图像，即，在同一曝光时段内由用于长距离测量的相机Ila和Ilc所拍摄的两个图像，以及由用于短距离测量的相机Ilb和Ilc所拍摄的两个图像(SlO)。接着，立体图像处理装置在从用于长距离测量的两个相机输出的图像之间执行立体匹配，以检测长距离视差Pf (S12)，并且在从用于短距离测量的两个相机输出的图像之间执行立体匹配，以检测短距离视差Pn(S14)。接着，立体图像处理装置将短距离视差Pn与阈值Thp进行比较，以判定Pn是否低于Thp (S16)，并且如果判定短距离视差Pn低于阈值Thp (S16中的“是”)，则立体图像处理装置使用长距离视差Pf作为组合视差P，并使用距离Bf作为基线长度B(SlS)。如果判定短距离视差Pn等于或高于阈值Thp (S16中的“否”)，则立体图像处理装置使用短距离视差Pn作为组合视差P，并使用距离Bn作为基线长度B(S20)。接着，立体图像处理装置使用组合视差P和基线长度B计算距离D (S22)，并将距离D写入到距离图像存储元件32中(S24)。立体图像处理装置判定是否完成对一帧中的所有像素的距离计算(S26)，并且如果计算完成(S26中的“是”)，则处理返回步骤S10，在步骤SlO中，相机获取下一帧的图像。另一方面，如果计算未完成(S26中的“否”)，则处理返回到S12，执行立体匹配来计算关于下一像素的距离D。上面已经描述了根据第一实施例的立体图像处理装置的结构和操作。根据第一实施例的立体图像处理装置可以通过组合长距离视差Pf和短距离视差Pn来合适地产生距离图像，而不使用多个距离图像存储元件。(第二实施例)下面将描述根据第二实施例的立体图像处理装置。根据第二实施例的立体图像处理装置的基本结构与第一实施例相同。根据第二实施例的立体图像处理装置的视差组合单兀的结构与第一实施例不同。图5是示出根据第二实施例的视差组合单元的结构的图。选择单元312具有从分别用于长距离和短距离的输入视差Pf和Pn中选择组合视差P的功能。评估单元314评估组合视差P，以判定视差是否超出立体匹配的范围。选择单元312基于来自评估单元314的评估结果，选择组合视差P。
基于当确定长距离视差Pf时使用的图像信号之间的差别，进行视差是否超出立体匹配的范围的判定。如果对应于相机Ila拾取的图像中的某一点的点(反映某一点中的相同的东西的点)未包含在相机Ilc拾取的图像中，则相机Ilc拾取的图像中具有最相似的图像信号的点被选择为图像信号之间的差别最小的点。然而，实际上，因为该点不是对应点，所以图像信号之间的差别大于对应点之间的差别。在本实施例中，立体图像处理装置将执行立体匹配时使用的图像信号之间的差别与预定阈值进行比较，并且如果图像信号之间的差别等于或大于预定阈值，则立体图像处理装置判定组合视差P超出匹配的范围。如果判定组合视差P超出立体匹配的范围，则选择单元312选择并向距离计算单元313输出短距离视差Pn，并且使用相机Ilb和相机Ilc执行距离测量，如图3中所示。例如，在使用相机Ila和相机Ilc对距离Df进行的距离测量中，可以执行立体匹配，使得两个相机拍摄的图像之间的差别最小。相比之下，对于短距离Dnn，相机Ila需要超出图像拾取区域的范围(之外)的像素，但实际上没有这样的像素。因此，立体匹配中图像信号之间的差别的最小值等于或大于预定阈值。在此情况中，立体图像处理装置可以选择通过使用相机Ilb和Ilc获得的短距离视差Pn，以使用相机Ilb的图像拾取区域中的像 素，从而可以提供高精度的匹配和测量。应该注意，在本实施例中，不限定用于评估视差的方法。此外，可以通过基于从视差计算的距离值的评估而动态地切换选择单元312，来控制选择单元312。而且，可以将Thp设置为一个像素或更小。图6是示出根据第二实施例的立体图像处理装置的操作的流程图。根据第二实施例的立体图像处理装置的基本操作与第一实施例相同，但在第二实施例中，确定组合视差P的方法与第一实施例中不同。下面将描述与第一实施例中不同的处理。根据第二实施例的立体图像处理装置判定长距离视差Pf是否在匹配的范围内(S17)，并且如果视差在匹配的范围内(S17中的“是”)，则立体图像处理装置使用长距离视差Pf作为组合视差P，并且使用距离Bf作为基线距离B(SlS)。如果立体图像处理装置判定长距离视差Pf不在匹配的范围内(S17中的“否”)，则立体图像处理装置使用短距离视差Pn作为组合视差P，并使用距离Bn作为基线长度B (S20)。如第一实施例，根据第二实施例的立体图像处理装置可以通过组合长距离视差Pf和短距离视差Pn而合适地产生距离图像，而不使用多个距离图像存储元件。已经描述了当前可以想到的本发明的优选实施例，但可以对当前实施例进行各种变形，并且意图将本发明的精神和范围内的所有变形都落在所附权利要求的范围内。工业实用性本发明具有可以缩小硬件或软件的规模以及可以通过在组合第一视差和第二视差之后执行距离计算而进行高精度测量的优点，并且本发明用作立体图像处理装置、立体图像处理方法等。附图标记列表I la、I lb、I Ic 相机21用于长距离的视差检测单元22用于短距离的视差检测单元31视差组合单元
32距离图像存储元件33三维对象检测单元311比较单元312选择单元313距离计算单元314评估单元101 la、101 Ib用于长距离的CCD相机1012a、1012b用于短距离的CCD相机1021a用于长距离的距离检测单元1021b用于长距离的距离图像存储元件1022a用于短距离的距离检测单元1022b用于短距离的距离图像存储元件1030远三维对象检测单元 1021近三维对象检测单元1032三维对象组合单元
权利要求
1.立体图像处理装置，包括 第一相机； 第二相机； 第三相机，位于所述第一相机与所述第二相机之间； 第一视差检测单元，在由所述第一相机拾取的第一图像与由所述第二相机拾取的第二图像之间执行匹配，以针对每个预定单元区域确定图像信号之间的差别最小的对应区域，并且在所述对应区域中检测所述第一图像中的位置与所述第二图像中的位置之间的偏差，作为第一视差； 第二视差检测单元，在由所述第一相机拾取的第一图像与由所述第三相机拾取的第三图像之间执行匹配，以针对每个预定单元区域确定图像信号之间的差别最小的对应区域，并且在所述对应区域中检测所述第一图像中的位置与所述第三图像中的位置之间的偏差，作为第二视差； 视差组合单元，组合所述第一视差和所述第二视差；以及 距离计算单元，针对每个预定单元区域，基于所述组合的视差，计算与对应于所述单元区域的对象的距离。
2.如权利要求I所述的立体图像处理装置，所述视差组合单元包括 比较单元，将所述第二视差与预定阈值进行比较；以及 选择单元，基于来自所述比较单元的比较结果，选择所述第一视差与所述第二视差中的任一个。
3.如权利要求I所述的立体图像处理装置，所述视差组合单元包括 评估单元，获取在通过所述第一视差检测单元检测所述第一视差时所使用的图像信号之间的差别的数据，以及评估所述图像信号之间的差别是否等于或小于预定阈值；以及选择单元，基于来自于所述评估单元的评估结果，选择所述第一视差和所述第二视差中的任一个。
4.立体图像处理方法，包括步骤 在由第一相机拾取的第一图像与由第二相机拾取的第二图像之间执行匹配，以针对每个预定单元区域确定图像信号之间的差别最小的对应区域，并且在所述对应区域中检测所述第一图像中的位置与所述第二图像中的位置之间的偏差，作为第一视差； 在由所述第一相机拾取的第一图像与由位于所述第一相机与所述第二相机之间的第三相机拾取的第三图像之间执行匹配，以针对每个预定单元区域确定图像信号之间的差别最小的对应区域，并且在所述对应区域中检测所述第一图像中的位置与所述第三图像中的位置之间的偏差，作为第二视差； 组合所述第一视差和所述第二视差；以及 针对每个预定的单元区域，基于所述组合的视差，计算与对应于所述单元区域的对象的距离。
5.如权利要求4所述的立体图像处理方法，所述组合视差的步骤包括 将所述第二视差与预定阈值进行比较；以及 基于所述比较结果，选择所述第一视差与所述第二视差中的任一个。
6.如权利要求4所述的立体图像处理方法，所述组合视差的步骤包括获取在检测所述第一视差的步骤中检测所述第一视差时所使用的图像信号之间的差别的数据，以及评估所述图像信号之间的差别是否等于或小于预定阈值；以及基于所述评估结果，选择所述第一视差和所述第二视差中的任一个。
7.一种使计算机执行根据权利要求4至6中的任一项的立体图像处理方法的每个步骤的程序。
全文摘要
一种立体图像处理装置，包括三个相机(11a)至(11c)；用于长距离的视差检测单元(21)，在由相机(11a)拾取的图像与由相机(11c)拾取的图像之间执行匹配，以确定对应区域，并且在对应区域中检测两个图像中的位置之间的偏差，作为长距离视差pf；用于短距离的视差检测单元(22)，在由相机(11b)拾取的图像与由相机(11c)拾取的图像之间执行匹配，以确定对应区域，并且在对应区域中检测两个图像中的位置之间的偏差，作为第二视差；视差组合单元(31)，组合所述第一视差和所述第二视差；以及距离计算单元(313)，基于组合的视差，计算与对应于所述区域的对象的距离。
文档编号H04N5/225GK102625904SQ20118000398
公开日2012年8月1日 申请日期2011年2月18日 优先权日2010年11月10日
发明者钓部智行 申请人:松下电器产业株式会社