图像处理装置、方法、程序以及记录介质的制作方法

专利名称：图像处理装置、方法、程序以及记录介质的制作方法
技术领域：
本发明涉及图像处理装置、方法、程序以及记录介质，特别是，涉及从由多个摄影装置进行摄影的图像中提取与立体物相当的信息的图像处理装置、能应用于该图像处理装置的图像处理方法、使计算机作为所述图像处理装置发挥功能用的图像处理程序、以及记录有所述图像处理程序的记录介质。
背景技术：
近年来，伴随着摄影装置的小型化、高性能化、低价格化，能利用摄影装置(由摄影装置进行摄影的图像)的用途正在变得广泛，作为其中一例，将摄影装置装载于车辆，用于从通过摄影装置对车辆前方的空间进行摄影而得到的图像中检测障碍物等立体物的有无和位置、距离等，并根据需要输出警告等用途中的情况也正在成为现实。但是，因为摄影装 置将摄影对象的三维空间作为图像记录在二维平面上，所以存在于摄影对象的空间的立体物的三维信息在图像上会丢失。因此，从图像中进行立体物的检测等空间掌握通过如下方式来进行通过用两台摄影装置对相同空间进行摄影从而获取具有与视差相当的差别的一对图像，从一对图像中提取视差，将提取的视差对应到空间信息的方式进行。在从具有与视差相当的差别的一对图像中的视差的提取中，一般使用块匹配(block matching)法。块匹配法是搜索两个图像中的对应的点的方法，具有与视差相当的差别的一对图像中的对应点的位置的差别与视差相当。具体地说，将一对图像的一方作为基准图像，将另一方作为比较图像，在基准图像中的关注像素的周围设定例如8X4像素左右的评价区域。此外，在比较图像内也设定同样的评价区域，一边使在比较图像中的评价区域的位置移动(光栅扫描(raster scan)), 一边反复按每个像素运算一对评价区域的差分并利用累计差分的绝对值的评价函数(E Li -Ril )或累计差分的平方值的评价函数(E Li - Ri I2)评价一对评价区域的一致度，求出一致度成为最大(评价函数的值最小(极小))的比较图像上的评价区域的位置。这个位置就是比较图像上的对应点相对于基准图像中的关注像素的位置，基准图像上的关注像素和比较图像上的对应点的位置的差别与视差相当。此外，如图16所示，与基准图像上的关注像素100所对应的物体102的距离L从视差量D、摄影装置104LU04R的焦距f、以及摄影装置104L、104R的距离(基线长)b由下面的(I)式求出。
L=bXf/D…(I)。通过对基准图像的所有像素进行以上的处理，从而能检测与被作为图像进行摄影的各个物体的距离。另外，在图16中，附图标记“106”是摄像面，附图标记“108”是比较图像上的对应点(对应像素)。作为应用了上述的块匹配的技术，在日本特开2001 — 92968号公报(以下，称为专利文献I)公开了如下技术将一方的摄像图像中的基准像素区域内的图像数据和与在另一方的摄像图像中的基准像素区域的垂直位置对应的水平线上的图像数据存储于线路存储器(line memory),从线路存储器读取基准像素区域内的图像数据和被设定的搜索范围内的图像数据，利用立体匹配(stereo matching)(块匹配)指定基准像素区域的相关目的地，基于将基准像素区域的水平位置作为基准的无限远对应点的偏离程度，校正与基准像素区域相关的搜索范围的位置。此外，在日本特开2007-235642号公报(以下，称为专利文献2)公开了如下技术制作通过对用装载于车辆的照相机进行摄像的包括路面的第一图像(斜向俯视图)进行射影变换从而得到的顶视图、和对在与第一图像不同的定时用相同照相机进行摄像的第二图像进行射影变换从而得到的顶视图，将两张顶视图基于路面上的特征形状(例如，白线、路面和立体物的边界线、路面的纹理、轮胎螺帽等)利用图形匹配进行对应，将在两张顶视图的重复部分中产生了差异的区域识别为障碍物。此外，在日本特开2000-293693号公报(以下，称为专利文献3)公开了如下的障碍物检测装置将由对道路平面进行摄影的两台TV照相机分别进行摄影的左图像、右图像进行积累，提取表示在积累的左图像、右图像上的多条线，基于提取的多条线求出左图像、右图像间的对应点，基于求出的对应点计算在道路平面上的任意点向左图像、右图像的投影 位置之间成立的关系式的参数，基于由计算的参数确定的关系式将对于道路平面具有不同高度的区域检测为障碍物区域。

发明内容
发明要解决的课题
上述的块匹配需要将与评价区域的所有像素数相同次数的差分运算对一个关注像素反复进行光栅扫描的次数，当对基准图像的所有像素进行该处理时，运算的反复次数将变成莫大的次数，运算负荷非常高。因为在专利文献I记载的技术将进行上述的块匹配作为前提，所以存在需要工作频率高的高性能的运算装置、装置结构复杂且成本也增多、功耗的降低也困难的问题。此外，虽然在专利文献2记载的技术利用图形匹配进行一对图像的对位，但是，因为不能保证一定的特征形状(例如白线)总是存在于图像中作为能利用于图形匹配的路面上的特征形状，所以对于图像依次搜索能利用于图形匹配的各种特征形状，利用检测到的特征形状进行图形匹配，处理时间会根据存在于图像中的特征形状的种类而变动，根据其种类处理时间会大幅增大。因此，在专利文献2记载的技术不适合像例如对进行摄影的动态图像实时进行立体物的检测等那样要求高速工作的用途。此外，在专利文献3记载的技术是，基于在向左图像、右图像的投影位置之间成立的关系式，求出在假定左图像上的任意的点P U，V)存在于道路平面上的情况下的右图像上的对应点p’ U’，V’)，基于点P和点P’的亮度差判定点P是否对应于障碍物的技术，对于上述的关系式，要求允许误差不足一个像素的高精度。因此，虽然在专利文献3记载的技术中，容易受到车辆的振动和道路的倾斜等的影响，需要频繁地重新算出关系式的参数h，但是如在专利文献3也记载的那样，为了算出关系式的参数h需要解八个联立方程式算出八个未知参数，运算负荷非常高。因此，在专利文献3记载的技术存在高速工作和判定精度的维持难以并存的问题。本发明是考虑到上述事实而做成的，其目的是得到以简易的结构、处理就能实现用短时间从由多个摄影装置进行摄影的图像中提取与立体物相当的信息的图像处理装置、图像处理方法以及图像处理程序。用于解决课题的方案
本发明的第一方案涉及的图像处理装置包括以下单元而构成存储单元，对沿与竖直方向对应的图像上的第二方向的图像上的各位置分别存储偏移量信息，该偏移量信息表示与视差相当的偏移量，该偏移量是由第一摄影装置进行摄影的第一图像和由水平方向位置与所述第一摄影装置不同的第二摄影装置进行摄影的第二图像的、沿与所述水平方向对应的图像上的第一方向的偏移量；获取单元，分别获取由所述第一摄影装置进行摄影的第一图像和由所述第二摄影装置进行摄影的第二图像；处理单元，对图像中的沿所述第一方向的各像素列分别进行视差校正，该视差校正是使图像中的沿所述第一方向的像素列的沿所述第一方向的图像上的位置，根据与所述像素列的沿所述第二方向的图像上的位置对应的所述偏移量信息表示的所述偏移量，在所述第一图像和所述第二图像中相对地移动；以及生成单元，生成差分信息，该差分信息表示经过了利用所述处理单元的所述视差校正的所述第一图像和所述第二图像的差分。
·
虽然在本发明的第一方案中第一图像由第一摄影装置进行摄影，并且第二图像由水平方向位置与第一摄影装置不同的第二摄影装置进行摄影，但是，因为第一摄影装置和第二摄影装置的水平方向位置不同，所以会在第一图像和第二图像产生与视差相当的差另IJ。在此，在本发明的第一方案中，对沿与竖直方向对应的图像上的第二方向的图像上的各位置，在存储单元分别存储偏移量信息，该偏移量信息表示与视差相当的、第一图像和第二图像的沿与水平方向对应的图像上的第一方向的偏移量。此外，获取单元分别获取由第一摄影装置进行摄影的第一图像和由第二摄影装置进行摄影的第二图像，处理单元对图像中的沿第一方向的各像素列分别进行视差校正，该视差校正是使图像中的沿第一方向的像素列的沿第一方向的图像上的位置，根据与像素列的沿第二方向的图像上的位置对应的偏移量信息表示的偏移量，在第一图像和第二图像中相对地移动。像这样，在本发明的第一方案中，通过一边使一方图像上的评价区域的位置移动，一边反复进行分别设定于一对图像上的评价区域的一致度的运算，搜索一致度成最大的评价区域的位置，从而无需进行特别指定一对图像上的对应点等繁杂的处理，就能通过如下的极简单的处理来校正与视差相当的差别对图像中的沿第一方向的各像素列分别进行视差校正，该视差校正使沿与水平方向对应的图像中的第一方向的像素列的沿第一方向的图像上的位置，根据对沿与竖直方向对应的图像上的第二方向的图像上的各位置分别存储于存储单元的偏移量信息，在所述第一图像和所述第二图像中相对地移动。而且，生成单元生成表示经过了利用处理单元的视差校正的第一图像和第二图像的差分的差分信息。因为上述的生成单元的作为处理对象的第一图像和第二图像是经过了利用处理单元的视差校正的图像，所以，由生成单元生成的差分信息表示的差分可以视为与视差相当的差别以外的第一图像和第二图像的差别，即，可以视为起因于分别存在于第一图像中和第二图像中的立体物的差分。像这样，利用本发明涉及的处理单元和生成单元的处理全都是处理负荷低的简单的处理的处理，不会招致处理时间的长时间化和装置结构的复杂化。因此，根据本发明的第一方案，以简单的结构、处理就能实现用短时间从由多个摄影装置进行摄影的图像中提取与立体物相当的信息。另外，在本发明的第一方案中，在由生成单元生成的差分信息中，由于叠加于第一图像和第二图像的噪声、第一摄影装置和第二摄影装置的相对位置的变化、存储于存储单元的偏移量信息的精度等各种因素，有可能混入起因于立体物以外的差分，即混入噪声。另一方面，在生成单元生成按每个像素表示第一图像和第二图像的差分的差分图像作为差分信息的情况下，在表示生成的差分图像中的第一图像和第二图像存在差分的差分像素之中，与起因于立体物的差分对应的差分像素在差分图像上大部分集中分布、形成某种程度的面积(=像素数)的区域(以下，将这个区域称为差分区域)。基于上述内容，本发明的第二方案是，在本发明的第一方案中，生成单元生成按每个像素表示第一图像和第二图像的差分的差分图像，作为差分信息，本发明还具备消除单元，该消除单元通过将存在于由生成单元生成的差分图像中的、表示第一图像和第二图像存在差分的差分像素(这个差分像素可以是表示的差分比0大的像素，也可以是表示的差分为阈值以上的像素以下相同)作为对象进行收缩处理，从而消除差分图像的噪声。由此，通过收缩处理这个简易的处理能实现将起因于立体物以外的差分(噪声)从差分信息(差分图像)中消除。

此外，本发明的第三方案是，在本发明的第一方案或第二方案中，存储于存储单元的偏移量信息表示的偏移量是将该偏移量用像素数表示的偏移量D，偏移量D在设距第一摄影装置和第二摄影装置的设置位置处的地面的摄影光轴的高度为h_cam、相对于竖直方向的摄影光轴的倾斜角度为0、光学系统的焦距为f、图像的沿第一方向的像素数为W、沿第二方向的像素数为h、图像的沿第一方向的摄像尺寸为w_img、沿第二方向的摄像尺寸为h_img、沿第二方向的图像上的位置(像素数)为P、作为第一摄影装置和第二摄影装置的摄影光轴的距离的基线长为b时，
D = bXf/L_camX (w/2)/(w_ing/2) ... (I)
其中，L_cam是位于地面上且沿第二方向成像于图像上的位置(像素数)P的物体和第一摄影装置或第二摄影装置的直线距离，L是所述物体和第一摄影装置或第二摄影装置的距离，
L_cam= (h_cam2+L2) X cos (tan 1 (L/h_cam) - 0 )... (2)
L = tan (tan-1 ((P- (h/2)) X (h_img/2) / (h/2) /f) + 0 ) Xh_cam…(3)
偏移量D通过进行上述(I) (3 )式的运算而预先导出。上述的(I) (3)式的运算是与记载于例如专利文献3的解八个联立方程式算出八个未知参数等的运算相比较是极为简单的运算，即使在进行重新运算偏移量D更新存储于存储单元的偏移量信息的处理的情况下，也能用极短时间完成处理。 此外,本发明的第四方案是，在本发明的第一 第三方案的任一个中，偏移量信息是将在沿第一方向的图像上的各位置处的所述偏移量用像素数表示的信息，处理单元具备使第一图像或第二图像的输出以像素单位进行延迟的延迟单元，一边根据输出对象的像素列的沿第一方向的图像上的位置的变化切换利用延迟单元的延迟像素数，一边进行视差校正，该视差校正是在将第一图像和第二图像以像素单位并列地向生成单元输出时，利用延迟单元使第一图像的输出或第二图像的输出相对地延迟与输出对象的像素列的沿第一方向的图像上的位置对应的所述偏移量表示的像素数的量。由此，例如将第一图像和第二图像的数据暂且存储于存储器等之后，与以沿第一方向的像素列单位使存储位置相对地移动而进行上述的视差校正等的方案相比较，能在用短时间完成视差校正。
此外，本发明的第五方案是，在本发明的第四方案中，延迟单元构成为串联连接有多个使第一图像或第二图像的输出延迟一个像素的量的延迟部，处理单元将通过了与像素数对应的数量的延迟部的数据选择为作为第一图像或第二图像输出的数据，其中该像素数是与输出对象的像素列的沿第一方向的图像上的位置对应的所述偏移量所表示的像素数，由此使作为第一图像或第二图像输出的数据延迟所述像素数的量。此外,本发明的第六方案是，在本发明的第一 第五方案的任一个中，处理单兀将沿第一方向的图像上的位置位于下述范围的像素列从视差校正的对象中排除，该范围是比与预先设定的水平线相当的位置靠竖直方向上侧所对应的范围。此外，本发明的第七方案是，在本发明的第一 第六方案的任一个中，还具备校正单元，该校正单元对由获取单元获取的第一图像和第二图像校正下述差异的至少一个第一摄影装置和第二摄影装置的沿水平方向的摄影范围的差异、摄影倍率的差异、绕摄影光轴的旋转角的差异、以及亮度的差异，处理单元对经过了利用校正单元的所述校正的第一图像和第二图像进行视差校正。由此，作为差分信息能得到消除了起因于第一摄影装置和 第二摄影装置的沿水平方向的摄影范围的差异、摄影倍率的差异、绕摄影光轴的旋转角的差异以及亮度的差异的至少一个的差分的信息。另外，对于第一摄影装置和第二摄影装置的沿水平方向的摄影范围的差异，还可以代替用校正单元校正，而以在处理单元进行视差校正时同时校正的方式构成。此外，本发明的第八方案是，在本发明的第一 第七方案的任一个中，还具备基于由生成单元生成的差分信息检测分别存在于第一摄影装置和第二摄影装置的摄影范围内的立体物的立体物检测单元。如前述的那样，因为由生成单元生成的差分信息是与立体物相当的信息(是表示起因于立体物的差分的信息)，所以，通过使用该差分信息进行立体物的检测，从而至少能以简易的处理检测在第一摄影装置和第二摄影装置的摄影范围内的立体物的有无。此外，本发明的第九方案是，在本发明的第八方案中，还具备输出利用立体物检测单元的立体物的检测结果的输出单元。利用输出单元的检测结果的输出方式可以是通过将表示立体物的检测结果的文字、图像、图形等显示于显示单元从而输出检测结果的方式，也可以是将立体物的检测结果用声音输出的方式。此外，在生成单元生成按每个像素表示第一图像和第二图像的差分的差分图像作为差分信息的情况下，如前述的那样，表示起因于立体物的差分的差分像素在差分图像上集中分布，形成某种程度的面积(=像素数)的差分区域。因此，本发明的第十方案是，在本发明的第八或第九方案中，生成单元生成按每个像素表示第一图像和第二图像的差分的差分图像作为差分信息，立体物检测单元基于存在于由生成单元生成的所述差分图像中的、表示第一图像和第二图像存在差分的差分像素在差分图像上的分布，从差分图像中提取与立体物相当的图像区域，由此，检测与立体物相当的图像区域在图像上的位置。由此，能通过简易的处理实现立体物的位置(更加详细地说是与立体物相当的图像区域在图像上的位置)的检测。此外，虽然在生成单元生成按每个像素表示第一图像和第二图像的差分的差分图像作为差分信息的情况下，如前述的那样，表示起因于立体物的差分的差分像素在差分图像上集中分布，形成某种程度的面积(=像素数)的差分区域，但是该差分区域成为沿立体物的边缘的线状的区域的情况较多，此外，这个线状的差分区域的宽度会根据摄影装置和立体物的距离而变化，随着摄影装置和立体物的距离变大，线状的差分区域的宽度变窄。因此，本发明的第十一方案是，在本发明的第八或第九方案中，生成单元生成按每个像素表示第一图像和第二图像的差分的差分图像作为差分信息，立体物检测单元从由生成单元生成的差分图像中提取与立体物相当的图像区域，基于由存在于提取的各个图像区域内的、表示第一图像和第二图像存在差分的差分像素构成的线状的差分区域的宽度，检测与对应于各个图像区域的立体物的距离。由此，能通过简易的处理实现与对应于各个图像区域的立体物的距离的检测。此外，本发明的第十二方案是，在本发明的第八、第九以及第i^一方案的任一个中，生成单元生成按每个像素表示第一图像和第二图像的差分的差分图像作为差分信息，立体物检测单元从由生成单元生成的差分图像中提取与立体物相当的图像区域，一边按各个图像区域的每一个判定由存在于提取的各个图像区域内的差分像素构成的线状的差分区域是否已消失，一边反复将存在于差分图像中的、表示第一图像和第二图像存在差分的差分像素作为对象进行收缩处理，基于在线状的差分区域从各个图像区域中消失的时间点 的收缩处理的执行次数，检测与对应于各个图像区域的立体物的距离。此外，本发明的第十三方案是，在本发明的第九方案中，生成单元生成按每个像素表示第一图像和第二图像的差分的差分图像作为差分信息，立体物检测单元将存在于差分图像中的表示第一图像和第二图像存在差分的差分像素作为对象进行多次收缩处理，并且判定由差分像素组成的线状的差分区域是否已从所述差分图像中消失，输出单元根据在线状的差分区域从差分图像中消失的时间点的收缩处理的执行次数是否未达到阈值、或在执行了规定次数的收缩处理的时间点线状的差分区域是否已从差分图像中消失，切换是否输出立体物检测信号或切换输出的立体物检测信号的种类。本发明的第十三方案适合于取代像本发明的第十一或第十二方案那样检测与作为图像进行摄影的各个立体物的距离，而是检测与在作为图像进行摄影的各个立体物之中存在于最近处的立体物的距离范围(大概的距离)的情况，能以简易的处理检测与在作为图像进行摄影的各个立体物之中存在于最近处的立体物的距离范围(大概的距离)，能通过立体物检测信号的输出的有无或输出的立体物检测信号的种类进行告知。此外，由生成单元生成的差分信息，其起因于立体物以外的差分(噪声)的混入量会根据第一摄影装置和第二摄影装置的相对位置的变化或本发明的第七方案中的利用校正单元的校正处理的精度的变化而变化。考虑到此，本发明的第十四方案是，在本发明的第一 第十三方案的任一个中，生成单元生成按每个像素表示第一图像和第二图像的差分的差分图像作为差分信息，本发明还具备像素数计数单元，该像素数计数单元对存在于由生成单元生成的差分图像中的表示第一图像和第二图像存在差分的差分像素的数量进行计数，输出计数结果。由此，通过在进行第一摄影装置和第二摄影装置的相对位置的调整、进行利用校正单元的校正处理的参数的调整时，每次调整都确认差分像素的数量的计数结果，并调整为使得差分像素的数量为极小，从而能容易地实现调整为使第一摄影装置和第二摄影装置的相对位置、利用校正单元的校正处理的参数成为最佳。此外，本发明的第十五方案是，在本发明的第十四方案中，像素数计数单元对差分图像之中存在于经由指定单元指定的区域内的差分像素的数量进行计数。由此，能将差分图像之中的任意的区域作为评价对象进行第一摄影装置和第二摄影装置的相对位置的调整、利用校正单元的校正处理的参数的调整。可是，在生成单元作为差分信息进行了差分图像的生成的情况下，起因于立体物的差分成分会在差分图像上作为与立体物的轮廓相当的线出现。但是，当由于例如对摄影时的被拍摄体的照明的照度比较低等原因，在由第一摄影装置进行摄影的第一图像和由第二摄影图像进行摄影的第二图像中，图像中的立体物和背景区域的亮度差变小时，在生成单元对在利用处理单元的视差校正中几何视差已被校正的第一图像和第二图像进行了差分图像的生成的情况下，存在如与起因于立体物的差分成分相当的线的一部分埋没在噪声中而在差分图像上中断等那样，起因于立体物的差分成分无法清楚地出现在差分图像上的问题。考虑到上述情况，本发明的第十六方案是，在本发明的第一 第十五方案的任一个中，生成单元生成按每个像素表示经过了利用处理单元的视差校正的第一图像和第二图像的差分的差分图像，由生成单元生成的差分图像被构成为表示在下述状态下的第一图像和第二图像的差分的差分图像，其中该状态是通过利用处理单元的视差校正对几何视差进·行了校正，而且沿第一方向相对地被移位了预先设定的移位量的状态。在本发明的第十六方案中，因为由生成单元生成的差分图像被构成为表示在下述状态下的第一图像和第二图像的差分的差分图像，其中该状态是几何视差被进行校正，而且沿第一方向相对地被移位了预先设定的移位量的状态，所以由生成单元生成的差分图像会在第一图像和第二图像没有被移位的状态下没有被检测出差分的地方也检测出差分，由此，成为包括起因于立体物的差分成分的第一图像和第二图像的差分与第一图像和第二图像没有被移位的状态相比在第一方向上被强调了的图像。由此，因为与起因于立体物的差分成分相当的线的一部分埋没在噪声中、在所述线的一部分产生中断等情况被抑制，所以，能提高与立体物相当的信息的提取精度。另外，由生成单元生成的差分图像被构成为表示在下述状态下的第一图像和第二图像的差分的差分图像，其中该状态是通过利用处理单元的视差校正对几何视差进行了校正，而且沿第一方向相对地被移位了预先设定的移位量的状态的情况，能通过例如在以下说明的第十七 第十九方案的任一个实现。即，本发明的第十七方案是，在本发明的第十六方案中，使存储于存储单元的偏移量信息表示的偏移量为与所述几何视差相当的偏移量，处理单元在对第一图像和第二图像进行视差校正之前或在进行了视差校正之后，使第一图像和第二图像沿第一方向相对地移位预先设定的移位量。根据上述结构，能生成表示在下述状态下的第一图像和第二图像的差分的差分图像，其中该状态是通过利用处理单元的视差校正对几何视差进行了校正，而且沿第一方向相对地被移位了预先设定的移位量的状态。本发明的第十七方案因为能通过对图像数据的处理实现使第一图像和第二图像沿第一方向相对地移位，所以，具有能容易地实现根据用途等变更设定移位量的优点。此外，本发明的第十八方案是，在本发明的第十六方案中，使存储于存储单元的偏移量信息表示的偏移量为在与几何视差相当的偏移量上加上与预先设定的移位量相当的偏移量之后的偏移量，或者，使存储于存储单元的偏移量信息表示的偏移量为与几何视差相当的偏移量，在用于利用处理单元的视差校正之前加上与移位量相当的偏移量。根据上述结构，也可生成表示在下述状态下的第一图像和第二图像的差分的差分图像，其中该状态是通过利用处理单元的视差校正对几何视差进行了校正，而且沿第一方向相对地被移位了预先设定的移位量的状态。本发明的第十八方案因为在用于利用处理单元的视差校正的偏移量信息中包括第一图像和第二图像的移位量，所以，具有还可在利用处理单元的视差校正中同时进行第一图像和第二图像的移位，无需变更生成单元的结构的优点。此外，本发明的第十九方案是，在本发明的第十六方案中，使存储于存储单元的偏移量信息表示的偏移量为与几何视差相当的偏移量，第一摄影装置和第二摄影装置被设成如下方向，该方向使得第一摄影装置的摄影光轴和第二摄影装置的摄影光轴的间隔随着从第一摄影装置和第二摄影装置远离而变大，所述方向被调整为使得第一图像和第二图像成为被沿第一方向相对地移位了预先设定的移位量的状态。根据上述结构，也可生成表示在下述状态下的第一图像和第二图像的差分的差分图像，其中该状态是通过利用处理单元的视差校正对几何视差进行了校正，而且沿第一方向相对地被移位了预先设定的移位量的状态。·本发明的第十九方案因为通过调整第一摄影装置和第二摄影装置的方向从而实现使第一图像和第二图像沿第一方向相对地移位，所以，虽然根据用途等变更设定移位量是困难的，但与本发明的第十八方案相同地具有无需变更生成单元的结构的优点。此外，本发明的第二十方案是，在本发明的第十六 第十九方案的任一个中，还具备收缩处理单元，该收缩处理单元将存在于由所述生成单元生成的所述差分图像中的、表示所述第一图像和所述第二图像存在差分的差分像素作为对象，执行第一次数的沿所述第二方向的收缩处理，并且执行比所述第一次数多的第二次数的沿所述第一方向的收缩处理。像上述的那样，在由生成单元生成的差分图像被构成为表示通在下述状态下的第一图像和第二图像的差分的差分图像，其中该状态是通过利用处理单元的视差校正对几何视差进行了校正，而且沿第一方向相对地被移位了预先设定的移位量的状态的情况下，差分图像成为包括起因于立体物的差分成分的第一图像和第二图像的差分与第一图像和第二图像没有被移位的状态相比在第一方向上被强调了的图像。对此，本发明的第二十方案因为使沿第一方向的收缩处理的执行次数比沿第二方向的收缩处理的执行次数多，所以，能抑制由于对第一图像和第二图像的差分未强调的第二方向过度地执行收缩处理从而招致立体物的检测精度降低等情况。另外，利用收缩处理单元的收缩处理与本发明的第二、第十二、第十三方案相同地能应用于噪声消除、与立体物的距离检测。另外，本发明的第二十一方案是，在本发明的第十六 第十九方案的任一个中，移位量被设定为与几何视差相当的偏移量的最大值的1/2以下的大小。本发明的第二十二方案是，在本发明的第一方案中，所述第一摄影装置和所述第二摄影装置被设成如下方向，该方向使得所述第一摄影装置的摄影光轴和所述第二摄影装置的摄影光轴的间隔随着从所述第一摄影装置和所述第二摄影装置远离而变大。由此，与本发明的第十九方案相同地，无需变更生成单元的结构就能实现提高与立体物相当的信息的提取精度。本发明的第二十三方案涉及的图像处理方法，因为存储单元对沿与竖直方向对应的图像上的第二方向的图像上的各位置分别存储偏移量信息，该偏移量信息表示与视差相当的偏移量，该偏移量是由第一摄影装置进行摄影的第一图像和由水平方向位置与所述第一摄影装置不同的第二摄影装置进行摄影的第二图像的、沿与所述水平方向对应的图像上的第一方向的偏移量；获取单元分别获取由所述第一摄影装置进行摄影的第一图像和由所述第二摄影装置进行摄影的第二图像；处理单元对图像中的沿所述第一方向的各像素列分别进行视差校正，该视差校正是使图像中的沿所述第一方向的像素列的沿所述第一方向的图像上的位置，根据与所述像素列的沿所述第二方向的图像上的位置对应的所述偏移量信息表示的所述偏移量，在所述第一图像和所述第二图像中相对地移动；生成单元生成表示经过了利用所述处理单元的所述视差校正的所述第一图像和所述第二图像的差分的差分信息，所以，与本发明的第一方案相同地，能以简易的结构、处理实现用短时间从由多个摄影装置进行摄影的图像中提取与立体物相当的信息。本发明的第二十四方案涉及的图像处理程序，用于使与存储单元连接的计算机作 为获取单元、处理单元以及生成单元发挥功能，所述存储单元对沿与竖直方向对应的图像上的第二方向的图像上的各位置分别存储偏移量信息，该偏移量信息表示与视差相当的偏移量，该偏移量是由第一摄影装置进行摄影的第一图像和由水平方向位置与所述第一摄影装置不同的第二摄影装置进行摄影的第二图像的、沿与所述水平方向对应的图像上的第一方向的偏移量，所述获取单元分别获取由所述第一摄影装置进行摄影的第一图像和由所述第二摄影装置进行摄影的第二图像，所述处理单元对图像中的沿所述第一方向的各像素列分别进行视差校正，该视差校正是使图像中的沿所述第一方向的像素列的沿所述第一方向的图像上的位置，根据与所述像素列的沿所述第二方向的图像上的位置对应的所述偏移量信息表示的所述偏移量，在所述第一图像和所述第二图像中相对地移动，所述生成单元生成表示经过了利用所述处理单元的所述视差校正的所述第一图像和所述第二图像的差分的差分信息。因为本发明的第二十四方案涉及的图像处理程序是用于使与上述的存储单元连接的计算机作为上述的获取单元、处理单元以及生成单元发挥功能的程序，所以，通过上述计算机执行本发明的第二十四方案涉及的图像处理程序，从而上述计算机作为本发明的第一方案涉及的图像处理装置发挥功能，与本发明的第一方案相同地，能以简易的结构、处理实现用短时间从由多个摄影装置进行摄影的图像中提取与立体物相当的信息。本发明的第二十五方案涉及的记录介质，记录有用于使与存储单元连接的计算机能作为获取单元、处理单元以及生成单元发挥功能的图像处理程序，所述存储单元对沿与竖直方向对应的图像上的第二方向的图像上的各位置分别存储偏移量信息，该偏移量信息表示与视差相当的偏移量，该偏移量是由第一摄影装置进行摄影的第一图像和由水平方向位置与所述第一摄影装置不同的第二摄影装置进行摄影的第二图像的、沿与所述水平方向对应的图像上的第一方向的偏移量，所述获取单元分别获取由所述第一摄影装置进行摄影的第一图像和由所述第二摄影装置进行摄影的第二图像，所述处理单元对图像中的沿所述第一方向的各像素列分别进行视差校正，该视差校正是使图像中的沿所述第一方向的像素列的沿所述第一方向的图像上的位置，根据与所述像素列的沿所述第二方向的图像上的位置对应的所述偏移量信息表示的所述偏移量，在所述第一图像和所述第二图像中相对地移动，所述生成单元生成表示经过了利用所述处理单元的所述视差校正的所述第一图像和所述第二图像的差分的差分信息。因为存储于本发明的第二十五方案涉及的记录介质的图像处理程序是用于使与上述的存储单元连接的计算机作为上述的获取单元、处理单元以及生成单元发挥功能的程序，所以，通过上述计算机从本发明的第二十五方案涉及的记录介质读出图像处理程序并执行，从而上述计算机作为本发明的第一方案涉及的图像处理装置发挥功能，与本发明的第一方案相同地，能以简易的结构、处理实现用短时间从由多个摄影装置进行摄影的图像中提取与立体物相当的信息。发明效果
如以上说明的那样，本发明对沿与竖直方向对应的图像上的第二方向的图像上的各位置分别存储偏移量信息，该偏移量信息表示与视差相当的偏移量，该偏移量是由第一摄影装置进行摄影的第一图像和由水平方向位置与第一摄影装置不同的第二摄影装置进行摄影的第二图像的、沿与水平方向对应的图像上的第一方向的偏移量；分别获取第一图像和第二图像；对图像中的沿第一方向的各像素列分别进行视差校正，该视差校正是使图像中·的沿所述第一方向的像素列的沿所述第一方向的图像上的位置，根据与所述像素列的沿第二方向的图像上的位置对应的偏移量信息表示的偏移量，在第一图像和第二图像中相对地移动；生成表示经过了视差校正的第一图像和第二图像的差分的差分信息，因为本发明以上述方式做成，所以具有能以简易的结构、处理实现用短时间从由多个摄影装置进行摄影的图像中提取与立体物相当的信息的优秀的效果。


图I是示出立体物检测装置的概略结构的框图。图2是在第一实施方式中说明的差分图像生成部的概略结构图。图3A是示出用单目摄影装置进行摄影的图像的一例的图像图。图3B是示出用左侧的摄影装置进行摄影的图像的一例的图像图。图3C是示出用右侧的摄影装置进行摄影的图像的一例的图像图。图3D是示出对右侧的图像的视差校正的一例的图像图。图3E是示出对右侧的图像的视差校正结果的一例的图像图。图3F是示出左侧的图像和视差校正后的右侧的图像的差分图像的一例的图像图。图4A是为了说明算出视差量信息用的运算式而示出摄影装置和摄影对象的几何学的位置关系的说明图。图4B是为了说明算出视差量信息用的运算式而示出由摄影装置进行摄影的图像的一例的图像图。图4C是示出图像上的Y坐标值和视差量的关系的一例的线型图。图5A是示出摄影图像(左侧图像)的一例的图像图。图5B是示出摄影图像(右侧图像)的一例的图像图。图5C是示出差分图像的一例的图像图。图6A是示出差分图像的一例的图像图。图6B是示出对差分图像的噪声消除结果的一例的图像图。
图7A是示出距离检测用反复收缩处理执行前的状态的一例的图像图。图7B是示出反复收缩处理次数=nl的状态的一例的图像图。图7C是示出反复收缩处理次数=n2 Onl)的状态的一例的图像图。图7D是示出反复收缩处理次数=n3 On2)的状态的一例的图像图。图8A是说明使用了差分图像的校准作业的评价用的图像图。图SB是说明使用了差分图像的校准作业的评价用的图像图。图SC是说明使用了差分图像的校准作业的评价用的图像图。 图8D是说明使用了差分图像的校准作业的评价用的图像图。图9A是示出摄影图像的一例的图像图。图9B是示出摄影图像的一例的图像图。图9C是示出摄影图像的一例的图像图。图9D是示出与图9A的摄影图像对应的差分图像的一例的图像图。图9E是示出与图9B的摄影图像对应的差分图像的一例的图像图。图9F是示出与图9C的摄影图像对应的差分图像的一例的图像图。图10是示出在第二实施方式中说明的差分图像生成部的一例的概略结构图。图IlA是示出用单目摄影装置进行摄影的图像的一例的图像图。图IlB是示出用左侧的摄影装置进行摄影的图像的一例的图像图。图IlC是示出用右侧的摄影装置进行摄影的图像的一例的图像图。图IlD是示出对右侧图像的移位的一例的图像图。图IlE是示出对移位后的右侧图像的视差校正的一例的图像图。图IlF是示出对移位后的右侧图像的视差校正结果的一例的图像图。图IlG示出左侧图像和移位以及视差校正后的右侧图像的差分图像的一例的图像图。图12A是示出在不进行图像移位就进行了反复收缩处理的情况下的处理结果的推移的一例的图像图。图12B是示出在图像移位后进行了反复收缩处理的情况下的处理结果的推移的一例的图像图。图13是示出在第二实施方式中说明的差分图像生成部的其它例子的概略结构图。图14是示出在视差校正中同时还进行图像移位的方案中的视差量信息的内容的一例的线型图。图15是示出在通过摄影装置的方向调整实现图像移位的方案中的视差量信息的内容的一例的线型图。图16是说明基于视差运算与物体的距离用的概略图。
具体实施例方式以下，参照附图详细地说明本发明的实施方式的一例。[第一实施方式]
在图I示出了本实施方式涉及的摄影装置10LU0R和连接于摄影装置10LU0R并检测由摄影装置IOLUOR进行摄影的图像中的立体物的立体物检测装置12。摄影装置10LU0R是能摄影动态图像且光学特性一致的摄影装置，在能对立体物检测装置12的检测对象的立体物进行摄影的地方以能对该立体物进行摄影的方向进行设置。另外，摄影装置10LU0R的具体的设置地方根据立体物检测装置12的用途而决定，例如，在立体物检测装置12用于存在于车辆前方的空间的立体物(障碍物)的检测的情况下，摄影装置10LU0R在车辆之中能对该车辆前方的空间进行摄像的地方以能对车辆前方的空间进行摄像的方向进行设置。此外，对于摄影装置10L、10R，在设置于规定地方后，以使距地面的高度(摄影光轴离设置位置处的地面的高度h_cam)相等(连结摄影装置10LU0R的直线与地面平行)且使各个摄影光轴隔着规定的间隔(基线长b :例如与人的双眼相同地为7cm左右)成平行的方式调整相对位置和方向，并且进行粗略地校正摄影光轴的扭曲和倍率的差异的校准作业。经过了上述的校准作业的摄影装置10LU0R将同步地动作，通过利用摄影装置10LU0R的摄影得到的图像数据(动态图像数据)向立体物检测装置12依次输出。·另外，摄影装置10L、IOR优选相互连结成为一体化，以便不会随着时间的推移产生相对位置的偏离等，也可以将市场上销售的立体摄影机(stereo camera)(例如，富士胶片公司制的FinePix 3D等)作为摄影装置10LU0R使用。摄影装置10L、IOR是第一摄影装置和第二摄影装置的一例。此外，立体物检测装置12具备前图像处理部14、视差校正部16、差分图像生成部18、后图像处理部20、差分图像解析部22以及解析结果输出部24，它们依次连接。另外，视差校正部16是本发明涉及的处理单元的一例，差分图像生成部18是本发明涉及的生成单元的一例，后图像处理部20是本发明的第二方案涉及的消除单元的一例，前图像处理部14是本发明的第七方案涉及的校正单元的一例，差分图像解析部22是本发明的第八方案等涉及的立体物检测单元的一例，解析结果输出部24是本发明的第九方案等涉及的输出单元的一例，连接摄影装置10LU0R和立体物检测装置12的信号线是本发明涉及的获取单元的一例。此外，立体物检测装置12具备内置了非易失性的存储部28的装置控制部26。装置控制部26分别与前图像处理部14、视差校正部16、差分图像生成部18、后图像处理部20、差分图像解析部22和解析结果输出部24连接，控制它们的动作。如图2所示，从摄影装置10LU0R输入到立体物检测装置12、经过了利用前图像处理部14的校正处理(后述)的图像数据从前图像处理部14以一个像素单位按照光栅扫描的顺序输入到视差校正部16。视差校正部16具备由能保持一个像素的量的数据的多个锁存器(latch) 32以串联方式连接而成的锁存器群34、36，从摄影装置IOL输入的图像数据输入到锁存器群34，从摄影装置IOR输入的图像数据输入到锁存器群36。虽然省略图示，但会反复如下处理向各个锁存器32分别输入像素时钟(pixel clock),在与像素时钟同步的定时，将保持的一个像素的量的数据输出到后级的锁存器32，并且保持从前级的锁存器32输入的一个像素的量的新的数据。另外，锁存器群34、36是本发明的第四方案涉及的延迟单元的一例，各个锁存器32是本发明的第五方案涉及的延迟部的一例。此外，锁存器群34的各个锁存器32分别连接于选择器(selector) 38，锁存器群36的各个锁存器32分别连接于选择器40。选择器38、40的数据输出端连接于差分图像生成部18，并且控制信号输入端连接于视差校正控制部42，视差校正控制部42连接于视差信息存储部44和前图像处理部14。视差信息存储部44连接于装置控制部26，由装置控制部26写入视差量信息。另外，后面会详细叙述，该视差量信息是本发明涉及的偏移量信息的一例，存储由装置控制部26写入的视差量信息的视差信息存储部44是本发明涉及的存储部的一例。视差校正控制部42基于存储于视差信息存储部44的视差量信息，对选择器38输出选择在从锁存器群34的各个锁存器32分别输入的数据中输出哪个数据的选择信号，对选择器40也输出选择在从锁存器群36的各个锁存器32分别输入的数据中输出哪个数据的选择信号，并且在与从前图像处理部14输入的行同步信号同步的定时，切换向选择器38、40输出的选择信号。接着，作为本第一实施方式的作用，依次说明立体物检测装置12在各模块中的处理。前图像处理部14对从摄影装置10LU0R输入到立体物检测装置12的图像数据进行以下处理中的至少一个校正摄影装置10LU0R的沿水平方向(图像上的左右方向)的摄影范·围的差异的偏移(offset)校正处理；校正摄影装置10LU0R的摄影倍率的差异的倍率校正处理；校正摄影装置10LU0R的绕摄影光轴的扭曲(旋转角)的差异的扭曲校正处理；校正由摄影装置10LU0R进行摄影的图像的亮度的差异的亮度校正处理；校正在使用广角镜头进行摄影的情况下的失真的差异的失真校正处理；以及降低噪声的噪声降低校正处理。在上述各校正处理之中，对与后级的视差校正处理关联的偏移校正处理进行说明。在由摄影装置进行摄影的图像上，也如图3A 图3C所示，因为平行线在几何学的无限远点(消失点)相交，所以，当重合由摄影装置10L、10R进行摄影的图像时，位于无限远(与消失点相比在图像的上下方向(Y方向)上位于上侧的范围)的被拍摄体在理论上是一致的，但实际上会产生偏离。这是因为以摄影装置10LU0R的摄影光轴不平行作为主要原因，摄影装置10LU0R的沿水平方向的摄影范围有差异，虽然用通过校准作业的机械上的调整可以消除，但是在前图像处理部14的偏移校正处理中，通过使从摄影装置10LU0R输入的图像的一方在图像的左右方向(X方向)上移位，从而校正通过校准作业的调整未能完全校正的残差。通过该偏移校正处理，即使摄影装置10LU0R的摄影光轴从平行有若干偏离，也能使在无限远的距离的摄影装置10LU0R的沿水平方向的摄影范围看上去一致，由摄影装置10LU0R进行摄影的图像在将两图像重合的时候，被校正为位于无限远(与消失点相比在图像的上下方向(Y方向)位于上侧的范围)的被拍摄体精度良好地一致，越是与摄影装置的距离小的被拍摄体(越是图像上的位置向上下方向的下侧偏移的被拍摄体)位置偏离越大，成为几何学上正确的图像。另外，偏移校正处理也可以不在前图像处理部14进行，而包括在(统一进行)在视差校正部16进行的视差校正处理中。此外，也可以根据对利用立体物检测装置12的立体物检测的要求精度等，做成由装置控制部26在前面举出的各校正处理中选择在前图像处理部14执行的校正处理。接下来，对利用视差校正部16的视差校正进行说明。在图3A示出了由单目摄影装置进行摄影而得到的图像的一例，在图3B、图3C分别示出了由本第一实施方式涉及的摄影装置10LU0R对相同摄影范围进行摄影而得到的图像(但是是由前图像处理部14进行了偏移校正后的图像)的一例。如比较图3B、图3C所示的图像也能明确的那样，虽然在由摄影装置IOL进行摄影的图像和由摄影装置IOR进行摄影的图像之间产生与视差相当的差别，但是，因为这个与视差相当的差别起因于摄影装置10LU0R的几何学上的位置关系(设置位置相距基线长b)而产生，所以通过在一方的图像上进行几何学上的变换，从而能消除与视差相当的差别(例如将由摄影装置IOR进行摄影的图像变换为像由摄影装置IOL进行了摄影那样的图像)。这个变换(视差校正)例如对图3C所示的图像，像作为例子在图3D示出的那样，虽然可以通过使图像的沿X方向(左右方向)的各个像素列的X坐标值的变更量(图像的左右方向的移动量)在与消失点(无限远点)相比位于上边的范围为零、在与消失点相比位于下边的范围为与图像的沿Y方向的距消失点的距离成比例变大而实现，但是这个X坐标值的变更量(图3D所示的虚线的箭头的长度)与视差量D (在本发明中的偏移量D)相等。 也如图4A、图4B所示，图像中的Y坐标值(像素数)=P的位置(在图4A、图4B用黑圆示出的位置)的视差量D，在设摄影光轴离摄影装置10LU0R的设置位置处的地面的高度为h_cam、摄影光轴相对于竖直方向的倾斜角度为0、摄影装置10LU0R的光学系统的焦距为f、沿图像的X方向的像素数为W、沿Y方向的像素数为h、沿图像的X方向的摄像尺寸为w_img、沿Y方向的摄像尺寸为h_img、摄影装置10L、10R的基线长为b时,用
D = bXf/L_camX (w/2)/(w_ing/2) ... (I)求出，
上述(I)式中的L_cam是位于地面上且沿Y方向成像于图像上的位置P的物体和摄影装置10LU0R的直线距离，用
L_cam= (h_cam2+L2) X cos (tan 1 (L/h_cam) - 9 ) (2)求出。此外，因为上述(2)式
中的L是所述物体和摄影装置10L、IOR的距离，摄影光轴和地面的交点(在图4A、图4B中用星号示出的位置)在图像上的Y坐标值为“h/2”(参照图4B)，所以用
L = tan (tan-1 ((P- (h/2)) X (h_img/2) / (h/2) /f) + 0 ) Xh_cam…(3)求出。作为一例，在图4C示出了在以下条件下从上述(I) (3)式求出的Y坐标值P和视差量D的关系摄影光轴离摄影装置10L、IOR的设置位置处的地面的高度h_cam = 0. 6m、摄影光轴相对于竖直方向的倾斜角度9 =75°、摄影装置10LU0R的光学系统的焦距f =35mm、图像的沿X方向的像素数w = 640、沿Y方向的像素数h = 480、图像的沿X方向的摄像尺寸(35mm照片胶片换算)w_img = 36mm、沿Y方向的摄像尺寸(35mm照片胶片换算)h_img = 27mm。在这个例子中，在Y坐标值P为无限远点(消失点)的Y坐标值405以下的范围中，视差量D与无限远点(消失点)的Y坐标值405和Y坐标值P的偏差成比例。本第一实施方式涉及的视差量信息是表示图像的沿Y方向的各位置(但是是消失点的Y坐标值以下的范围)处的视差量D的信息，装置控制部26通过基于预先存储于存储部28的各参数(h_cam、0、f、w、h、w_img、h_img、b)对图像的沿Y方向的各位置(但是是消失点的Y坐标值以下的范围)分别进行(I) (3)式的运算，将通过运算得到的视差量D与Y坐标值对应起来，从而事先生成上述的视差量信息，将生成的视差量信息事先写入视差校正部16的视差信息存储部44。此外，视差校正部16的视差校正控制部42在经过了利用前图像处理部14的校正处理的图像数据从前图像处理部14以一个像素单位按照光栅扫描的顺序输入时，基于与该图像数据同步地从前图像处理部14输入的行同步信号，识别从此开始从前图像处理部14输入的一行(图像的沿X方向的一像素列)的量的图像数据的在图像上的Y坐标值，从存储于视差信息存储部44的视差量信息中读出与识别的Y坐标值对应的视差量D。而且，视差校正控制部42以使由摄影装置IOL进行摄影的图像(以下，称为左侧图像)和由摄影装置IOR进行摄影的图像(以下，称为右侧图像)之中，与无限远点相比位于近距离的相同物体的像由于视差而偏移到光栅扫描方向的上游侧的图像的数据的输出相对地延迟读出的视差量D的方式，向选择器38、40的一方输出表示延迟像素数=视差量D的选择信号，向另一方输出表示延迟像素数=0的选择信号。如比较图3B、图3C也能明确的那样，在本第一实施方式中，与无限远点相比位于近距离的相同物体的像由于视差而偏移到光栅扫描方向的上游侧的图像是由摄影装置IOR进行摄影的右侧图像，在本第一实施方式中，向输出左侧图像的图像数据的选择器38输出延迟像素数=0的选择信号，向输出右侧图像的图像数据的选择器40输出延迟像素数=视差量D的选择信号。被输入了选择信号的选择器38、40，如果输入的选择信号表示的延迟像素数为0，就将从最前级的锁存器32输出的图像数据输出到差分图像生成部18，如果输入的选择信号表示的延迟像素数为I以上(=视差量D)，就将从第D+1个锁存器32输出的图像数据输 出到差分图像生成部18。由此，与被输入了表示延迟像素数=视差量D的选择信号的选择器对应的图像数据的一行，其在图像上的位置会向光栅扫描方向下游侧相对地移动像素数D0进而，每当从前图像处理部14输入行同步信号时，视差校正控制部42就会进行上述的Y坐标值的识别、对应的视差量D的读出、向选择器38、40的选择信号的输出。由此，作为选择信号输入到选择器40的延迟像素数(=视差量D)相对于从前图像处理部14输入的一行的量的图像数据在图像上的Y坐标值的变化，会如图4C所示那样地进行变化，作为例子在图3C示出的图像经过如图3D所示的视差校正将变换为如图3E所示那样的图像。因为上述的视差校正能通过如下的极为简单的处理来实现，即，基于存储于视差信息存储部44的视差量信息，一边根据各像素列的Y坐标值切换移动量(延迟像素数)，一边对左侧图像和右侧图像之中的一方的图像进行使沿X方向的像素列在图像上的位置在X方向上移动的处理，所以，无需高性能的运算装置等，就能包含后述的差分图像的生成和对差分图像的解析等的各处理在内，对动态图像也实时地进行处理。另外，如前述的那样，也可以与上述的视差校正同时进行偏移校正，这可以通过以作为延迟像素数应用在从视差信息存储部44读出的视差量D上加上偏移校正量之后的校正量的方式构成视差校正控制部42，或者，以将在设定于视差量信息的各个视差量D上一律加上偏移校正量之后的信息写入到视差信息存储部44的方式构成装置控制部26而实现。此外，视差量信息优选根据摄影装置10LU0R的设置状况进行更新。特别是，在设置于车辆等的情况下，可以想象到设置状况由于振动等而变化的情况，与此相伴，特别是可以想象到倾斜角度9等参数的变动。作为对像这样的参数变动的对策，优选以如下方式构成设置例如陀螺传感器(gyro sensor)等测量倾斜度的元件，并且预先分别运算出由该元件测量的倾斜度为各值时的视差量信息并存储起来，选择性地读出与由所述元件测量的倾斜度对应的视差量信息进行使用(覆盖写入到存储于视差信息存储部44的视差量信息)。由此，在视差校正部16进行根据由陀螺传感器等元件测量的倾斜度的视差校正。
此外，因为视差量D会根据由摄影装置10LU0R进行摄影的光学条件而变化，所以在例如摄影光轴的倾斜角度0、摄影光轴的高度h_cam等光学条件被变更了的情况下，装置控制部26会感测变更后的光学条件，基于感测到的变更后的光学条件再次进行视差量D的运算、视差量信息的生成，将生成的视差量信息覆盖写入到存储于视差信息存储部44的视差量信息。由此，在视差校正部16进行根据变更后的光学条件的视差校正。对于利用(I) (3)式的视差量D的运算，也是因为与解多个联立方程等运算、块匹配中的反复运算相比极为简单且运算次数也非常少，所以无需高性能的运算装置，就能用短时间完成运算。此外，变更后的光学条件虽然可以通过例如进行了光学条件的变更作业的作业人员进行将变更后的光学条件在装置控制部26进行输入、设定等的作业，从而由装置控制部26进行感测，但不限于此，例如也可以对于摄影光轴的倾斜角度e，设置检测倾斜角度0的角度传感器，基于该角度传感器的输出进行感测。此外，也可以对于多种光学条件，预先进行视差量D的运算、视差量信息的生成并存储于存储部28，装置控制部26在光学条件 变更时从存储部28读出与变更后的光学条件对应的视差量信息并写入到视差信息存储部44。 接着，对利用差分图像生成部18的差分图像的生成进行说明。经过了视差校正的左侧图像和右侧图像的图像数据以一个像素单位并列地输入到差分图像生成部18，差分图像生成部18在每当有左侧图像和右侧图像的一个像素的量的数据输入时都进行如下处理运算出输入的左侧图像的一个像素的量的数据L和输入的右侧图像的一个像素的量的数据R的差分的绝对值(Il 一 Rl )，将运算出的差分的绝对值作为该像素的亮度值。在作为被拍摄体对立体物进行摄影的图像中，因为与立体物相当的图像部在图像上的位置随着朝向立体物的上部(随着距地面的高度变高)其与根据视差量D算出的位置的偏离会变大，所以当对拍摄有立体物的图像进行前述的视差校正时，如参照示出了对在图3C示出的图像进行了视差校正的结果的图3E也能明确的那样，实际上与直立的立体物相当的图像部在视差校正后的图像上成为倾斜的状态。因此，对于差分图像生成部18，例如在作为左侧图像的图像数据输入了图3B所示的图像的图像数据，作为右侧图像的图像数据输入了图3E所示的图像的图像数据的情况下，如作为例子在图3F示出的那样，与二维要素对应的像素作为亮度0的像素而被擦除，可得到主要由与图像中的立体物相当的像素(特别是与立体物的边缘相当的像素)形成了具有大的差分值(亮度值)的差分像素的集合(差分区域)的差分图像。此外，在图5C示出了从图5A所示的左侧图像和图5B所示的右侧图像经过利用前图像处理部14的校正处理、利用视差校正部16的视差校正处理在差分图像生成部18生成的差分图像的一例。由于在图5A、图5B示出的左侧图像和右侧图像中作为被拍摄体而存在的人物、车辆等立体物，可以确认在图5C示出的差分图像上也产生有对应的差分区域。此夕卜，虽然在原理上随着摄影装置和立体物的距离变小视差会变大，但在示于图5C的差分图像上，能确认摄影装置和立体物的距离作为对应的线状的差分区域的宽度而出现(对应于与摄影装置的距离更近的人物的差分区域，其线状的差分区域的宽度与对应于车辆的线状的差分区域的宽度相比更宽)。另外，在示于图5C的差分图像中，与背景的建筑和停车场的白线对应的差分区域是起因于摄影装置10LU0R的位置偏离和特性差别等的误差(噪声)。接着，对利用后图像处理部20的后处理进行说明。如上述那样，在由差分图像生成部18生成的差分图像叠加有以摄影装置IOLUOR的位置偏离和特性差别等为原因的噪声。因此，后图像处理部20对从差分图像生成部18输入的差分图像进行噪声消除处理。作为噪声消除处理，虽然可以应用公知的平滑化滤波器等的滤波处理，但在后图像处理部20作为噪声消除处理进行收缩处理。收缩处理是将以关注像素为中心的周边区域(例如3像素X 3像素的区域)内的所有像素的最小值设定为关注像素的值的图像处理，通过对差分图像进行一次该收缩处理，从而差分图像中的孤立的差分像素将被消除，差分图像中的差分区域，其最外周的像素以一个像素宽度被消除。通过进行一次以上(虽然也取决于噪声的混入程度，但优选反复进行几次的程度)该收缩处理，从而如从示出了对在图6A示出的差分图像进行了利用收缩处理的噪声消除的结果的一例的图6B也能明确的那样，叠加于从差分图像生成部18输入的差分图像的噪声(例如，在图6的例子中与背景的建筑和停车场的白线对应的差分区域)被消除。与几何视差在原理上为几个 几十个像素左右的情况相对地，校准的误差主要是·摄影装置10L、IOR的位置偏离，如果摄影装置10L、IOR的位置偏离量比视差量小，就可以通过作为噪声消除处理反复进行多次收缩处理，从而成为起因于摄影装置10LU0R的位置偏离的差分像素被完全擦除并残存有与立体物对应的差分区域的状态。因此，因为通过上述的噪声消除处理，允许某种程度的摄影装置10LU0R的位置偏离和特性差别，所以能实现校准的简化和装置成本的降低。另外，可以将后图像处理部20中的收缩处理与二值化相组合，对从差分图像生成部18输入的差分图像首先在进行二值化之后进行收缩处理，如果是后级的差分图像解析部22将被二值化的差分图像作为对象进行处理的结构，那么也可以在对差分图像进行收缩处理之后进行二值化。此外，将在后面详述，在差分图像解析部22进行检测与立体物的距离范围的处理的情况下，因为会对差分图像反复进行收缩处理，所以在这种情况下也可以省略利用后图像处理部20的噪声消除处理(收缩处理)的执行。接下来，对利用差分图像解析部22的差分图像的解析和利用解析结果输出部24的解析结果的输出进行说明。在利用差分图像解析部22的差分图像的解析中的处理内容，根据利用立体物检测装置12的立体物检测的目的和应对利用者提供的信息的种类等而有差异。例如，对于利用立体物检测装置12的立体物检测，在要求向利用者告知例如存在于摄影装置10LU0R的摄影范围内的立体物(例如障碍物等)的位置的情况下，在差分图像解析部22作为差分图像的解析处理进行基于差分图像检测与立体物对应的图像区域的位置和范围的位置检测处理。另外，该位置检测处理在由差分图像解析部22进行后述的距离范围检测处理的情况下，也可以作为其预处理执行。在上述的位置检测处理中，在首先进行了差分图像的二值化之后，利用投影法等公知的数据解析方法进行与立体物对应的图像区域的提取。例如，利用投影法提取与立体物对应的图像区域，可以通过如下处理实现对二值化后的差分图像，通过对于沿X方向的各像素列对像素列中的差分像素的数量分别进行计数，从而求出对Y方向的差分像素的柱状图，并且通过对于沿Y方向的各像素列对像素列中的差分像素的数量分别进行计数，从而求出对X方向的差分像素的柱状图，将在对于X方向的差分像素的柱状图中产生差分像素数的峰值的X坐标值的范围作为与立体物对应的图像区域的X坐标值的范围进行提取，并且将在对于Y方向的差分像素的柱状图中产生差分像素数的峰值的Y坐标值的范围作为与立体物对应的图像区域的Y坐标值的范围进行提取。另外，上述处理是利用本发明的第十方案涉及的立体物检测单元的处理的一例。在向利用者告知立体物的位置的情况下，可以以进行如下处理的方式构成从差分图像解析部22作为解析结果向解析结果输出部24输出与立体物对应的图像区域的X坐标值和Y坐标值的范围，解析结果输出部24作为输出解析结果的处理，基于从差分图像解析部22输入的与立体物对应的图像区域的X坐标值和Y坐标值的范围，对由摄影装置IOL或摄影装置IOR进行摄影的图像，例如如图7A所示，生成附加了明示与立体物对应的图像区域的范围的框状的图形的图像，将生成的图像显示于显示器等。由此，能向利用者告知存在于摄影装置10LU0R的摄影范围内的立体物的位置。此外，对于利用立体物检测装置12的立体物检测，在要求向利用者告知与存在于例如摄影装置10L、IOR的摄影范围内的各个立体物的大概距离(距离范围例如距离为·大/中/小的任一个等)的情况下，在差分图像解析部22中，在作为预处理进行了上述的位置检测处理之后，为了检测与存在于在位置检测处理中提取的图像区域中的立体物的距离范围，进行反复收缩处理。如前面说明的那样，在差分图像中，与立体物对应的线状的差分区域的宽度根据摄影装置和立体物的距离而变化，随着摄影装置和立体物的距离变小，与该立体物对应的线状的差分区域的宽度会变宽。在反复收缩处理中利用此一边对差分图像反复多次前述的收缩处理，一边判定在位置检测处理中提取的各个图像区域内的差分区域是否已消失(也可以代之以判定各个图像区域内的差分像素的数量是否成为规定值以下)。例如，图7A所示的差分图像，作为与立体物对应的图像区域分别提取了与人物对应的图像区域和与车辆对应的图像区域，另一方面，图像中的树木和白线也由于摄影装置10LU0R的位置偏离和特性差别等的影响而作为差分区域被提取。在对这个差分图像进行了反复收缩处理的情况下，如图7B所示，当反复nl次收缩处理时，与人物对应的线状的差分区域和与车辆对应的线状的差分区域其宽度分别变窄，另一方面图像中的与树木和白线对应的差分区域会消失。进而，如图7C所示，当收缩处理的反复次数达到n2次时(n2>nl)，与车辆对应的差分区域也消失，只残存有与人物对应的差分区域。此外，如图7D所示，当反复了 n3次收缩处理时(n3>n2)，与人物对应的差分区域也会消失。根据以上的结果，例如在反复了 nl次收缩处理的时间点消失的差分区域可以视为噪声，与在反复了 n2次收缩处理的时间点消失的差分区域对应的立体物(在图7的例子中是车辆)可以判定为“与摄影装置的距离范围大”，与在反复了 n3次收缩处理的时间点消失的差分区域对应的立体物(在图7的例子中是人物)可以判定为“与摄影装置的距离范围中”，在即使反复了 n3次收缩处理仍残存有差分区域的情况下，与该差分区域对应的立体物可以判定为“与摄影装置的距离范围小”。另外，上述处理是利用本发明的第十一、第十二方案涉及的立体物检测单元的处理的一例。在向利用者告知与各个立体物的距离范围的情况下，可以以进行如下处理的方式构成从差分图像解析部22作为解析结果除向解析结果输出部24输出与立体物对应的图像区域的X坐标值和Y坐标值的范围外，还输出与立体物对应的每个图像区域的距离范围的判定结果，解析结果输出部24作为输出解析结果的处理，对由例如摄影装置IOL或摄影装置IOR进行摄影的图像附加明示与立体物对应的图像区域的范围的框状的图形，并且生成根据距离范围的判定结果切换了框的显示色的图像，将生成的图像显示于显示器等。由此，能向利用者告知存在于摄影装置10LU0R的摄影范围内的立体物的位置和距离范围。另外，也可以代替切换框的显示色，而用文字等显示距离范围。另外，也可以如上述那样，代替在进行了位置检测处理之后进行反复收缩处理，而在进行了反复收缩处理之后进行位置检测处理。具体地说，也可以对例如差分图像反复n3次收缩处理，并且保存在收缩处理的反复次数为nl次、n2次的时间点的差分图像，首先对收缩处理的反复次数为n3次的差分图像进行与立体物对应的图像区域的搜索，接着，将已提取的图像区域从搜索对象中排除，对收缩处理的反复次数为n2次的差分图像进行与立体物对应的图像区域的搜索，接下来，将已提取的图像区域从搜索对象中排除，对收缩处理的反复次数为nl次的差分图像进行与立体物对应的图像区域的搜索。在图7的例子中，从收缩处理的反复次数为n2次的差分图像(参照图7C)中提取与人物对应的图像区域，该图 像区域从对收缩处理的反复次数为nl次的差分图像(参照图7B)的处理中的搜索对象中排除。在上述处理中，因为对消除了可以视为噪声的差分区域的状态的差分图像进行与立体物对应的图像区域的搜索，所以能实现与立体物对应的图像区域的搜索的精度的提高、处理时间的缩短。此外，对于利用立体物检测装置12的立体物检测，在要求向利用者告知在存在于例如摄影装置10L、IOR的摄影范围内的立体物之中与摄影装置10L、IOR的距离最小的立体物的距离范围的情况下，差分图像解析部22在无需作为预处理进行位置检测处理的情况下进行上述说明的反复收缩处理，在例如在反复了 nl次收缩处理的时间点所有的差分区域都消失的情况下可以判定为“无立体物”，在反复了 n2次收缩处理的时间点所有的差分区域都消失的情况下可以判定为“与摄影装置的距离范围有大的立体物”，在反复了 n3次收缩处理的时间点所有的差分区域都消失的情况下可以判定为“与摄影装置的距离范围有中等的立体物”，在即使反复了 n3次收缩处理仍残存有差分区域的情况下可以判定为“与摄影装置的距离范围有小的立体物”。另外，上述处理是利用了本发明的第十三方案涉及的立体物检测单元的处理的一例。在向利用者告知与离摄影装置10LU0R的距离最小的立体物的距离范围的情况下，可以以如下方式构成从差分图像解析部22向解析结果输出部24输出上述的判定结果，解析结果输出部24作为输出解析结果的处理，只在有立体物的情况下输出警告音，并且根据与立体物的距离范围切换例如警告音的音量、警告音的输出时间间隔以及警告音的种类(例如频率和音色等)的至少一个。由此，能向利用者告知与离摄影装置10LU0R的距离最小的立体物的距离范围。另外，上述处理是利用了本发明的第十三方案涉及的输出单元的处理的一例。另外，对于利用立体物检测装置12的立体物检测，在检测例如摄影装置10LU0R的摄影范围内的立体物(例如障碍物等)的有无，并在存在障碍物时要求告知给利用者的情况下，差分图像解析部22可以以如下方式构成作为差分图像的解析处理，进行对例如从后图像处理部20输入的差分图像中的差分像素的数量或差分像素之中该差分像素表示的差分的大小为规定值以上的差分像素的数量进行计数的处理，在计数结果为阈值以上的情况下，进行判定为“有立体物”的处理，或将各个差分像素表示的差分对所有的差分像素进行累计，在累计结果为阈值以上的情况下，进行判定为“有立体物”的处理。在这种情况下，解析结果输出部24可以以如下方式构成在利用差分图像解析部22的解析结果为“有立体物”的情况下，通过输出例如警告音，或输出“检测到障碍物”等声音信息等，以声音告知解析结果。另外，虽然在上述中说明了将由差分图像生成部18生成的差分图像用于立体物的检测的方案，但本发明不限定于此，因为起因于摄影装置10LU0R的位置偏离等而混入到差分图像的差分像素(噪声)其混入量会根据摄影装置10LU0R的位置偏离量而变化，所以也可以利用此，将差分图像用于校准作业的合适与否(摄影装置10LU0R的位置关系的合适与否)的判定。分别在图8A示出了由左侧图像L和右侧图像R’的组合生成的差分图像，在图SC示出了由左侧图像L和右侧图像R”的组合生成的差分图像，分别在图SB示出了以某个阈值将在图8A示出的差分图像进行二值化后的二值化差分图像，在图8D示出了以某个阈值将在图8C示出的差分图像进行二值化后的二值化差分图像。另外，右侧图像R’和右侧图像R”是与摄影装置IOL的位置关系不同的状态的摄影装置IOR进行摄影的图像。 虽然摄影装置10LU0R的位置关系的合适与否的判定通过对差分图像中的差分像素的数量进行计数而进行，但是，因为差分图像中的与立体物对应的差分像素其像素数的变化相对于摄影装置10LU0R的位置关系的变化的斜率小，所以优选例如像在图SB、图8D用白框示出的那样，由操作者将排除了差分图像中的与立体物对应的图像区域的范围指定为评价区域，对存在于由操作者指定的评价区域内的差分像素的数量进行计数。摄影装置10LU0R的最佳的位置关系是评价区域内的差分像素的数量为最小的位置关系，操作者在校准作业中，每次调整摄影装置10LU0R的位置关系时都进行对评价区域内的差分像素的数量进行计数、输出的处理，基于输出的差分像素的数量的变化方向(差分像素的数量是增加了还是减少了)和变化量，能识别评价区域内的差分像素的数量变为最小的摄影装置10LU0R的最佳的位置关系，并能调整到识别的最佳的位置关系。另外，因为评价区域内的差分像素的数量还会根据利用前图像处理部14的校正处理的处理条件的合适与否而变化，所以在将利用前图像处理部14的校正处理的处理条件调整到最佳的处理条件时也能利用上述的评价区域内的差分像素的数量的计数、输出。上述的各方案对应于本发明的第十四、第十五方案。此外，虽然在上述中说明了通过对差分图像进行反复收缩处理，从而检测立体物的距离范围的方案，但本发明不限定于此，如前述的那样，因为在差分图像中与立体物对应的线状的差分区域的宽度会根据摄影装置和立体物的距离而变化，随着摄影装置和立体物的距离变小，与该立体物对应的线状的差分区域的宽度变宽，所以也可以检测(对像素数进行计数)线状的差分区域的宽度，基于检测的宽度判定立体物的距离范围。在本发明的第十一方案中也包括上述方案。[第二实施方式]
接着说明本发明的第二实施方式。另外，对与第一实施方式相同的部分标注相同的附图标记，并省略说明。在图9A 图9C分别示出了用在第一实施方式中说明过的摄影装置10L、10R进行摄影的左侧图像和右侧图像的一方的一例，在图9D 图9F分别示出了从图9A 图9C所示的图像利用在第一实施方式中说明过的立体物检测装置12生成的差分图像(经过利用前图像处理部14的校正处理、利用视差校正部16的视差校正处理，由差分图像生成部18生成的差分图像)的一例。图9A 图9C所示的图像是对屋内的场景进行摄影的图像，因为对摄影时的被拍摄体的照明的照度比较低，所以与此相伴地图像的对比度(contrast)降低，图像中的立体物和背景区域的亮度差别也变小。在对这样的图像用在第一实施方式说明过的立体物检测装置12进行了差分图像的生成的情况下，会由于例如与起因于立体物的差分成分相当的轮廓线的一部分在差分图像上埋没于噪声等而造成起因于立体物的差分成分不能清楚地出现在差分图像上，有可能产生立体物的漏检等。例如，在图9的例子中，虽然在图9A 图9C所示的图像中，在图像中的左侧的区域内，在从摄影装置10LU0R比较分开的位置存在第一人物，但是在图9D 图9F所示的差分图像中，与第一人物相当的轮廓线没有清楚地出现。因此，有可能第一人物不会作为立体物被检测到。此外，虽然图9A 图9C所示的图像在图像中的右侧的区域内还存在第二人 物，但是，特别是在与第二人物存在于从摄影装置10L、IOR比较分开的位置的图9B、图9C的图像对应的图9E、图9F的差分图像中，在与第二人物相当的轮廓线产生了中断等，由于该轮廓线的中断会产生误检与第二人物的距离或将第二人物误检为多个立体物的可能性。另外，像从前面的(I)式可以明确的那样，因为如果使基线长b增大，视差量D就会增大，所以能提高立体物的检测精度，但是在将例如摄影装置10LU0R作为单一的摄影模块而一体化的情况下，基线长b的增大会招致摄影模块的大型化，为了确保摄影模块的刚性，会导致重量的增加、系统整体的成本的增大。此外，还会产生摄影模块的设置地方的确保变得困难或设计的自由度降低等问题。因此，在本第二实施方式中将视差校正部16做成使左侧图像和右侧图像沿画像的左右方向(X方向)相对地移位预先设定的移位量之后进行视差校正的结构。S卩，如图10所示，本第二实施方式涉及的视差校正部16在转送右侧图像的图像数据的锁存器群36的前级(锁存器群36和前图像处理部14之间)设置有延迟部50。向延迟部50输入像素时钟，并且从装置控制部26输入用像素数表示左侧图像和右侧图像的相对的移位量S的移位量信息。而且，延迟部50使从前图像处理部14按照每一个像素依次输入的右侧图像的图像数据延迟从装置控制部26输入的移位量信息表示的像素数的量之后向锁存器群36依次输出，由此，使左侧图像和右侧图像在图像的左右方向(X方向)上相对地移位。作为例子，在图IlA 图IlC示出了与图3A 图3C相同的图像，但是在这些图像之中对图IlC所示的右侧图像由视差校正部16的延迟部50进行了使上述的图像数据的输出延迟的处理的情况下，如作为例子在图IlD示出的那样，会向锁存器群36输入相对于图IlB所示的左侧图像在图像的左右方向(X方向)上被移位的右侧图像。由此，图IlD所示的右侧图像经过图IlE所示的视差校正变换为如图IlF所示的图像。而且，由差分图像生成部18生成的差分图像如作为例子在图IlG示出的那样，变成表示在通过视差校正校正了几何视差、而且被沿第一方向相对地移位了预先设定的移位量的状态下的左侧图像和右侧图像的差分的图像，即，变成与没有利用延迟部50进行图像的移位的情况相比左侧图像和右侧图像的在图像的左右方向(X方向)上的差分被强调了的图像。另外，虽然在图IlG中将差分图像上的与立体物的轮廓相当的线作为固定的粗细的线示出，但是，因为差分图像上的与立体物的轮廓相当的线虽然也依赖于与立体物的距离L但实际上具有某种程度的粗细，所以在除视差校正以外还进行图像的移位而生成差分图像的情况下，如图12B所示，在与立体物的轮廓相当的线之中，特别是在图像的上下方向(Y方向)上延伸的线的粗细被增大。由此，能抑制起因于立体物的差分成分在差分图像上埋没于噪声，或者在差分图像上的与立体物的轮廓相当的线的一部分产生中断，或者起因于立体物的差分成分不能清楚地出现在差分图像上的情况。此外，如将图12B与表示没有进行图像移位的情况的图12A进行比较也能明确的那样，通过在与立体物的轮廓相当的线之中特别增大在图像的上下方向(Y方向)上延伸的线的粗细，从而即使进行了反复收缩处理，差分图像上的起因于立体物的差分成分也会变得不容易消失。因此，无需增大基线长b，就能抑制产生立体物的漏检和误检的情况。上述方案是本发明的第十六方案，更加详细地说是本发明的第十七方案的一例。另外，因为在本第二实施方式中生成的差分图像是左侧图像和右侧图像的在图像 的左右方向(X方向)上的差分被强调了的图像，所以优选将收缩处理分为对于图像的左右方向(X方向)的收缩处理和对于图像的上下方向(Y方向)的收缩处理，使对于图像的上下方向(Y方向)的收缩处理的执行次数比对于图像的左右方向(X方向)的收缩处理的执行次数少。由此，能抑制与立体物的轮廓相当的差分图像上的线之中在图像的左右方向(X方向)上延伸的线由于反复执行收缩处理而消失的情况。上述事项是本发明的第二十方案的一例。另外，基于本申请发明人通过进行试验而得到的经验规律，在本第二实施方式中的移位量S优选为视差校正中的校正量(几何视差(视差量D))的最大值的1/2以下的大小。例如，在图4C所示的例子中，因为视差校正中的校正量(视差量D)的最大值为50像素，所以移位量S成为25像素以下。上述事项是本发明的第二十一方案的一例。在图10所示的方案中，因为由从装置控制部26输入到视差校正部16的延迟部50的移位量信息规定移位量S，所以根据用途等(例如，作为重点检测对象的立体物的距离范围等)也能容易地实现在“视差校正中的校正量(视差量D)的最大值的1/2”的范围内变更设定移位量S。另外，虽然在图10所示的结构中通过将延迟部50设置于锁存器群36的前级，从而在进行视差校正之前进行图像的移位(图像数据的输出的延迟)，但不限定于此，如作为例子在图13示出的那样，也可以通过在选择器40的后级(选择器40和差分图像生成部18之间)设置延迟部50，从而在进行了视差校正之后进行图像的移位。此外，虽然在图10、图13所示的结构中，延迟部50对右侧图像进行了图像的移位(图像数据的输出的延迟)，但不限定于此，也可以对左侧图像进行图像的移位。上述各方案也是本发明的第十六方案，更加详细地说是本发明的第十七方案的一例。此外，虽然在图10、图13所示的结构中，通过用延迟部50使图像数据的输出延迟从而实现图像的移位，但是也可以将在利用视差校正部16的视差校正中的视差校正量(延迟像素数)设为在与几何视差(视差量D)相当的校正量上加上与移位量S相当的校正量之后的值，通过利用视差校正部16的视差校正同时进行几何视差(视差量D)的校正和图像的移位。虽然例如图14所示的校正量特性d表示与几何视差(视差量D)相当的校正量(延迟像素数)，但是在将与移位量S相当的校正量(在图14中作为与移位量S相当的校正量(延迟像素数)=5)加到该校正量特性d表示的校正量上的情况下,能得到图14所示的校正量特性d’。通过视差校正部16按照该校正量特性d’进行视差校正，从而无需设置延迟部50等，即可同时实现几何视差(视差量D)和移位量=5像素的量的图像移位。由此，能由差分图像生成部18生成左侧图像和右侧图像的在图像的左右方向(X方向)上的差分被强调了的差分图像。另外，将利用视差校正部16的视差校正中的视差校正量(延迟像素数)设为在与几何视差(视差量D)相当的校正量上加上与移位量S相当的校正量之后的值，这可以通过进行如下处理而实现在例如装置控制部26运算了视差量D的时候，在运算出的视差量D上加上移位量S，将加法运算后的值与Y坐标值对应起来生成视差量信息，将生成的视差量信息写入到视差校正部16的视差信息存储部44。此外，这也可以通过进行如下处理而实现从装置控制部26向视差校正部16告知移位量S，视差校正部16的视差校正控制部42在从视差信息存储部44读出的视差量D上加上移位量S之后，作为选择信号向选择器38、40输出。上述的方案是本发明的第十六方案，更加详细地说是本发明的第十八方案的一例。此外，使左侧图像和右侧图像在图像的左右方向(X方向)上相对地移位，这也可以 通过将摄影装置IOL和摄影装置IOR配置在使得各个摄影光轴的间隔随着从摄影装置IOL和摄影装置IOR远离而变大的方向上来实现。例如，在图15示出了将摄影装置IOR的摄影光轴相对于摄影装置IOL的摄影光轴从平行朝向外侧配置的方案。另外，图15中的基线长b与以往相同。此外，也可以代替将摄影装置IOR的摄影光轴从平行朝向外侧配置，而将摄影装置IOL的摄影光轴从平行朝向外侧配置，还可以将摄影装置10LU0R的摄影光轴分别从并行朝向外侧配置。用图15的配置得到的全视差量d’由在摄影装置10LU0R的摄影光轴平行的情况下得到的视差量d (= Cl1H)和通过将摄影装置IOR的摄影光轴从平行朝向外侧配置而产生的视差量d3之和给出。视差量d3是不依赖于距离L的成分，根据移位量S被预先调整。例如，在视差量d3为5个像素的量的情况下，如果其它的条件相同，则视差量d与图14所示的校正量特性d表示的延迟像素数(=视差量D)—致,全视差量d’与图14所示的校正量特性d’表示的延迟像素数(=视差量D+移位量S) —致。这个方案与图10、图13所示的方案相同，通过在视差校正部16中进行校正几何视差(视差量D)的视差校正，从而由差分图像生成部18生成左侧图像和右侧图像的在图像的左右方向(X方向)上的差分被强调了的差分图像。在上述的方案中，因为为了变更移位量S，需要调整摄影装置10L、IOR的至少一方的方向，所以实质上移位量S的变更是困难的，但是相对第一实施方式具有无需变更立体物检测装置12的结构，即可生成左侧图像和右侧图像的在图像的左右方向(X方向)上的差分被强调了的差分图像的优点。另外，上述的方案是本发明的第十六方案，更加详细地说是本发明的第十九方案的一例。此外，虽然在上述中没有特别设置摄影光源，假定了摄影装置10LU0R将自然光作为照明光进行摄影的方案进行了说明，但不限定于此，也可以将发出例如近红外光的光源作为摄影光源进行设置，以用从摄影光源发出并由被拍摄体反射的光进行摄影的方式构成摄影装置10L、10R。此外，照明光也可以是近红外光以外的波段的光。此外，虽然在上述中作为本发明的差分信息(差分图像)的一例，说明了生成表示第一图像和第二图像的亮度的差分(或者浓度、或者在HSV色空间中的明度(其中，H是色调、S是彩度(或饱和度)、v是明度))的差分信息(差分图像)的方案，但不限定于此，只要第一图像和第二图像是彩色图像，就可以作为差分信息(差分图像)生成表示例如第一图像和第二图像的色调或彩度(或饱和度)的差分的差分信息(差分图像)。此外，也可以组合多个参数，将例如与第一图像和第二图像的亮度的差分、第一图像和第二图像的色调(或彩度)的差分的逻辑和相当的图像作为差分信息(差分图像)生成。此外，也可以从对第一图像和第二图像分别进行边缘提取等过滤处理而得到的图像生成表示两图像的亮度等的差分的差分信息(差分图像)。此外，虽然在上述中说明了单独进行收缩处理的方案，但也可以与任意的过滤处理，例如膨胀处理组合，以每当执行多次例如收缩处理时执行一次膨胀处理等的方式以不同的执行次数交替地执行收缩处理和膨胀处理。由此，能防止差分图像的破碎。此外，还可以代替组合收缩处理和膨胀处理，而应用细线化处理等其它的图像处理。此外，虽然在上述中以摄影装置10LU0R和立体物检测装置12装载于车辆来检测存在于车辆前方的空间的立体物(障碍物)的方案为例进行了说明，但本发明涉及的图像处理装置的用途不限于此，能应用于例如自行式的机器人的障碍物检测等各种用途是不言而 喻的。进而，利用本实施方式涉及的立体物检测装置12的处理能全部置换为利用计算机的处理，也可以由计算机进行上述处理。在这种情况下，利用计算机进行上述处理用的程序是本发明的第二十四方案涉及的图像处理程序的一例，通过计算机执行上述程序，从而计算机作为本发明的第一方案涉及的图像处理装置而发挥作用。此外，上述的程序也可以以记录于⑶一 ROM、DVD — ROM等记录介质的方式提供。该方案中的记录介质是本发明的第二十五方案涉及的记录介质的一例。另外，日本申请(日本特愿2010-065166号)的公开，其整体通过参照引入到本说明书中。此外，本说明书中记载的所有的文献、专利申请和技术标准，与具体且分别记述通过参照而引入各个文献、专利申请和技术标准的情况相同程度地，通过参照而引入到本说明书中。
权利要求
1.一种图像处理装置，其包括 存储单元，对沿与竖直方向对应的图像上的第二方向的图像上的各位置分别存储偏移量信息，该偏移量信息表示与视差相当的偏移量，该偏移量是由第一摄影装置进行摄影的第一图像和由水平方向位置与所述第一摄影装置不同的第二摄影装置进行摄影的第二图像的、沿与所述水平方向对应的图像上的第一方向的偏移量； 获取单元，分别获取由所述第一摄影装置进行摄影的第一图像和由所述第二摄影装置进行摄影的第二图像； 处理单元，对图像中的沿所述第一方向的各像素列分别进行视差校正，该视差校正是使图像中的沿所述第一方向的像素列的沿所述第一方向的图像上的位置，根据与所述像素列的沿所述第二方向的图像上的位置对应的所述偏移量信息表示的所述偏移量，在所述第一图像和所述第二图像中相对地移动；以及 生成单元，生成差分信息，该差分信息表示经过了利用所述处理单元的所述视差校正的所述第一图像和所述第二图像的差分。
2.根据权利要求I所述的图像处理装置，其中， 所述生成单元生成按每个像素表示所述第一图像和所述第二图像的差分的差分图像，作为所述差分信息； 所述图像处理装置还具备消除单元，该消除单元通过将存在于由所述生成单元生成的所述差分图像中的、表示所述第一图像和所述第二图像存在差分的差分像素作为对象进行收缩处理，从而消除所述差分图像的噪声。
3.根据权利要求I或权利要求2所述的图像处理装置，其中， 存储于所述存储单元的偏移量信息表示的偏移量是将该偏移量用像素数表示的偏移量D，偏移量D在设距所述第一摄影装置和所述第二摄影装置的设置位置处的地面的摄影光轴的高度为h_cam、相对于竖直方向的摄影光轴的倾斜角度为Θ、光学系统的焦距为f、图像的沿所述第一方向的像素数为W、沿所述第二方向的像素数为h、图像的沿所述第一方向的摄像尺寸为w_img、沿所述第二方向的摄像尺寸为h_img、沿所述第二方向的图像上的位置(像素数)为P、作为所述第一摄影装置和所述第二摄影装置的摄影光轴的距离的基线长为b时，D = bXf/L_camX (w/2)/(w_ing/2) ... (I) 其中，L_cam是位于地面上且沿第二方向成像于图像上的位置(像素数)P的物体和所述第一摄影装置或所述第二摄影装置的直线距离，L是所述物体和所述第一摄影装置或所述第二摄影装置的距离，L_cam=-厂(h_cam2+L2) X cos (tan 1 (L/h_cam) - θ )... (2)L = tan (tan-1 ((P- (h/2)) X (h_img/2) / (h/2) /f) + Θ ) Xh_cam…(3) 偏移量D通过进行上述(I) (3 )式的运算而预先导出。
4.根据权利要求I 权利要求3的任一项所述的图像处理装置，其中， 所述偏移量信息是将沿所述第一方向的图像上的各位置处的所述偏移量用像素数表示的信息， 所述处理单元具备使所述第一图像或所述第二图像的输出以像素单位进行延迟的延迟单元，一边根据输出对象的所述像素列的沿所述第一方向的图像上的位置的变化切换利用所述延迟单元的延迟像素数，一边进行所述视差校正，该视差校正是在将所述第一图像和所述第二图像以像素单位并列地向所述生成单元输出时，利用所述延迟单元使所述第一图像的输出或所述第二图像的输出相对地延迟与输出对象的所述像素列的沿所述第一方向的图像上的位置对应的所述偏移量表示的像素数的量。
5.根据权利要求4所述的图像处理装置，其中， 所述延迟单元构成为串联连接有多个使所述第一图像或所述第二图像的输出延迟一个像素的量的延迟部， 所述处理单元将通过了与像素数对应的数量的所述延迟部的数据选择为作为所述第一图像或所述第二图像输出的数据，其中该像素数是与输出对象的所述像素列的沿所述第一方向的图像上的位置对应的所述偏移量所表示的像素数，由此使作为所述第一图像或所述第二图像输出的数据延迟所述像素数的量。
6.根据权利要求I 权利要求5的任一项所述的图像处理装置，其中，所述处理单元将沿所述第一方向的图像上的位置位于下述范围的所述像素列从所述视差校正的对象中排除，该范围是比与预先设定的水平线相当的位置靠竖直方向上侧所对应的范围。
7.根据权利要求I 权利要求6的任一项所述的图像处理装置，其中， 还具备校正单元，该校正单元对由所述获取单元获取的所述第一图像和所述第二图像校正下述差异的至少一个所述第一摄影装置和所述第二摄影装置的沿所述水平方向的摄影范围的差异、摄影倍率的差异、绕摄影光轴的旋转角的差异、以及亮度的差异， 所述处理单元对经过了利用所述校正单元的所述校正的所述第一图像和所述第二图像进行所述视差校正。
8.根据权利要求I 权利要求7的任一项所述的图像处理装置，其中，还具备立体物检测单元，该立体物检测单元基于由所述生成单元生成的差分信息，检测分别存在于所述第一摄影装置和所述第二摄影装置的摄影范围内的立体物。
9.根据权利要求8所述的图像处理装置，其中，还具备输出单元，该输出单元输出利用所述立体物检测单元的所述立体物的检测结果。
10.根据权利要求8或权利要求9所述的图像处理装置，其中， 所述生成单元生成按每个像素表示所述第一图像和所述第二图像的差分的差分图像，作为所述差分信息， 所述立体物检测单元基于存在于由所述生成单元生成的所述差分图像中的、表示所述第一图像和所述第二图像存在差分的差分像素在所述差分图像上的分布，从所述差分图像中提取与所述立体物相当的图像区域，由此，检测与所述立体物相当的图像区域在图像上的位置。
11.根据权利要求8或权利要求9所述的图像处理装置，其中， 所述生成单元生成按每个像素表示所述第一图像和所述第二图像的差分的差分图像，作为所述差分信息， 所述立体物检测单元从由所述生成单元生成的所述差分图像中提取与所述立体物相当的图像区域，基于由存在于提取的各个所述图像区域内的、表示所述第一图像和所述第二图像存在差分的差分像素构成的线状的差分区域的宽度，检测与对应于各个图像区域的立体物的距离。
12.根据权利要求8、权利要求9和权利要求11的任一项所述的图像处理装置，其中，所述生成单元生成按每个像素表示所述第一图像和所述第二图像的差分的差分图像，作为所述差分信息， 所述立体物检测单元从由所述生成单元生成的所述差分图像中提取与所述立体物相当的图像区域，一边按各个所述图像区域的每一个判定由存在于提取的各个所述图像区域内的所述差分像素构成的线状的差分区域是否已消失，一边反复将存在于所述差分图像中的、表示所述第一图像和所述第二图像存在差分的差分像素作为对象进行收缩处理，基于在所述线状的差分区域从各个所述图像区域中消失的时间点的所述收缩处理的执行次数，检测与对应于各个图像区域的立体物的距离。
13.根据权利要求9所述的图像处理装置，其中， 所述生成单元生成按每个像素表示所述第一图像和所述第二图像的差分的差分图像，作为所述差分信息， 所述立体物检测单元将存在于所述差分图像中的、表示所述第一图像和所述第二图像存在差分的差分像素作为对象进行多次收缩处理，并且判定由所述差分像素构成的线状的差分区域是否已从所述差分图像中消失， 所述输出单元根据在所述线状的差分区域从所述差分图像中消失的时间点的所述收缩处理的执行次数是否未达到阈值、或在执行了规定次数的所述收缩处理的时间点所述线状的差分区域是否已从所述差分图像中消失，切换是否输出立体物检测信号或切换输出的立体物检测信号的种类。
14.根据权利要求I 权利要求13的任一项所述的图像处理装置，其中， 所述生成单元生成按每个像素表示所述第一图像和所述第二图像的差分的差分图像，作为所述差分信息， 所述图像处理装置还具备像素数计数单元，该像素数计数单元对存在于由所述生成单元生成的所述差分图像中的、表示所述第一图像和所述第二图像存在差分的差分像素的数量进行计数，输出计数结果。
15.根据权利要求14所述的图像处理装置，其中，所述像素数计数单元对所述差分图像之中存在于经由指定单元指定的区域内的所述差分像素的数量进行计数。
16.根据权利要求I 权利要求15的任一项所述的图像处理装置，其中， 所述生成单元生成按每个像素表示经过了利用所述处理单元的所述视差校正的所述第一图像和所述第二图像的差分的差分图像， 由所述生成单元生成的所述差分图像被构成为表示在下述状态下的所述第一图像和所述第二图像的差分的差分图像，其中该状态是通过利用所述处理单元的所述视差校正对几何视差进行了校正，而且沿所述第一方向相对地被移位了预先设定的移位量的状态。
17.根据权利要求16所述的图像处理装置，其中， 使存储于所述存储单元的所述偏移量信息表示的偏移量为与所述几何视差相当的偏移量，所述处理单元在对所述第一图像和所述第二图像进行所述视差校正之前或在进行了所述视差校正之后，使所述第一图像和所述第二图像沿所述第一方向相对地移位预先设定的移位量。
18.根据权利要求16所述的图像处理装置，其中，使存储于所述存储单元的所述偏移量信息表示的偏移量为在与所述几何视差相当的偏移量上加上与预先设定的所述移位量相当的偏移量之后的偏移量，或者，使存储于所述存储单元的所述偏移量信息表示的偏移量为与所述几何视差相当的偏移量，在用于利用所述处理单元的所述视差校正之前加上与所述移位量相当的偏移量。
19.根据权利要求16所述的图像处理装置，其中， 使存储于所述存储单元的所述偏移量信息表示的偏移量为与所述几何视差相当的偏移量， 所述第一摄影装置和所述第二摄影装置被设成如下方向，该方向使得所述第一摄影装置的摄影光轴和所述第二摄影装置的摄影光轴的间隔随着从所述第一摄影装置和所述第二摄影装置远离而变大，所述方向被调整为使得所述第一图像和所述第二图像成为沿所述第一方向相对地被移位了预先设定的移位量的状态。
20.根据权利要求16 权利要求19的任一项所述的图像处理装置，其中，还具备收缩处理单元，该收缩处理单元将存在于由所述生成单元生成的所述差分图像中的、表示所述第一图像和所述第二图像存在差分的差分像素作为对象，执行第一次数的沿所述第二方向的收缩处理，并且执行比所述第一次数多的第二次数的沿所述第一方向的收缩处理。
21.根据权利要求16 权利要求19的任一项所述的图像处理装置，其中，所述移位量被设定为与所述几何视差相当的偏移量的最大值的1/2以下的大小。
22.根据权利要求I所述的图像处理装置，其中，所述第一摄影装置和所述第二摄影装置被设成如下方向，该方向使得所述第一摄影装置的摄影光轴和所述第二摄影装置的摄影光轴的间隔随着从所述第一摄影装置和所述第二摄影装置远离而变大。
23.一种图像处理方法，其中， 存储单元对沿与竖直方向对应的图像上的第二方向的图像上的各位置分别存储偏移量信息，该偏移量信息表示与视差相当的偏移量，该偏移量是由第一摄影装置进行摄影的第一图像和由水平方向位置与所述第一摄影装置不同的第二摄影装置进行摄影的第二图像的、沿与所述水平方向对应的图像上的第一方向的偏移量； 获取单元分别获取由所述第一摄影装置进行摄影的第一图像和由所述第二摄影装置进行摄影的第二图像； 处理单元对图像中的沿所述第一方向的各像素列分别进行视差校正，该视差校正是使图像中的沿所述第一方向的像素列的沿所述第一方向的图像上的位置，根据与所述像素列的沿所述第二方向的图像上的位置对应的所述偏移量信息表示的所述偏移量，在所述第一图像和所述第二图像中相对地移动； 生成单元生成差分信息，该差分信息表示经过了利用所述处理单元的所述视差校正的所述第一图像和所述第二图像的差分。
24.—种图像处理程序，其中， 所述图像处理程序用于使与存储单元连接的计算机能作为获取单元、处理单元以及生成单元发挥功能， 所述存储单元对沿与竖直方向对应的图像上的第二方向的图像上的各位置分别存储偏移量信息，该偏移量信息表示与视差相当的偏移量，该偏移量是由第一摄影装置进行摄影的第一图像和由水平方向位置与所述第一摄影装置不同的第二摄影装置进行摄影的第二图像的、沿与所述水平方向对应的图像上的第一方向的偏移量， 所述获取单元分别获取由所述第一摄影装置进行摄影的第一图像和由所述第二摄影装置进行摄影的第二图像， 所述处理单元对图像中的沿所述第一方向的各像素列分别进行视差校正，该视差校正是使图像中的沿所述第一方向的像素列的沿所述第一方向的图像上的位置，根据与所述像素列的沿所述第二方向的图像上的位置对应的所述偏移量信息表示的所述偏移量，在所述第一图像和所述第二图像中相对地移动， 所述生成单元生成差分信息，该差分信息表示经过了利用所述处理单元的所述视差校正的所述第一图像和所述第二图像的差分。
25.—种记录介质,其中， 所述记录介质记录有用于使与存储单元连接的计算机能作为获取单元、处理单元以及生成单元发挥功能的图像处理程序， 所述存储单元对沿与竖直方向对应的图像上的第二方向的图像上的各位置分别存储偏移量信息，该偏移量信息表示与视差相当的偏移量，该偏移量是由第一摄影装置进行摄影的第一图像和由水平方向位置与所述第一摄影装置不同的第二摄影装置进行摄影的第二图像的、沿与所述水平方向对应的图像上的第一方向的偏移量， 所述获取单元分别获取由所述第一摄影装置进行摄影的第一图像和由所述第二摄影装置进行摄影的第二图像， 所述处理单元对图像中的沿所述第一方向的各像素列分别进行视差校正，该视差校正是使图像中的沿所述第一方向的像素列的沿所述第一方向的图像上的位置，根据与所述像素列的沿所述第二方向的图像上的位置对应的所述偏移量信息表示的所述偏移量，在所述第一图像和所述第二图像中相对地移动， 所述生成单元生成差分信息，该差分信息表示经过了利用所述处理单元的所述视差校正的所述第一图像和所述第二图像的差分。
全文摘要
本发明通过简易的结构、处理实现用短时间从由多个摄影装置进行摄影的图像中提取与立体物相当的信息。本发明对沿图像的Y方向的各位置将视差信息存储于存储部(44)，该视差信息表示由水平方向位置不同的一对摄影装置进行摄影的一对图像中的沿X方向的视差量，视差校正控制部(42)从存储部(44)读取与从前图像处理部(14)输入的一行的量的图像数据的Y坐标值对应的视差量，以使一方的图像数据的输出延迟与视差量相应的量的方式向选择器(38、44)输出选择信号。差分图像生成部(18)按每个像素运算出输入的一对图像数据的差分的绝对值，并将其作为检测立体物用的差分图像输出。
文档编号G06T1/00GK102792333SQ20118001451
公开日2012年11月21日 申请日期2011年3月15日 优先权日2010年3月19日
发明者一森高示 申请人:拉碧斯半导体株式会社