图像处理装置的制造方法
【技术领域】
[0001 ] 本发明涉及对物体进行图像识别的图像处理装置。
【背景技术】
[0002]作为对物体进行图像识别的图像处理装置，已知有进行如下图像识别处理的装置:基于由两个摄像机拍摄的2个源图像，计算源图像间的物体位置的偏离量即视差并生成视差图像，使用该视差图像和源图像识别物体的三维位置(例如参照专利文献I)。
[0003]现有技术文献
[0004]专利文献1:日本特开2009 - 146217号公报
【发明内容】
[0005]发明要解决的课题
[0006]但是，存在考虑到减轻图像处理装置的处理负担等，基于通过块匹配计算出的视差来生成视差图像的情况。在这种情况下，按块匹配中使用的每个块即按多个像素计算I个视差，因此，按多个像素对应I个视差信息的视差图像与按I个像素对应I个亮度信息的源图像相比，外观上的分辨率降低。
[0007]但是，在视差图像的分辨率与源图像的分辨率不同的情况下，在使用视差图像和源图像进行的图像识别处理中，需要每次计算两个图像间对应的像素的位置，由此可能导致图像识别处理所需的时间变长。与之相对，通过并行地进行图像识别处理，能够缩短处理时间，但是处理所需要的电路结构会变得大型化或复杂化。
[0008]因此，本发明鉴于上述问题而完成，其目的在于提供一种能够缩短物体的图像识别处理所需的处理时间的图像处理装置。
[0009]用于解决课题的方案
[0010]因此，本发明涉及的图像处理装置，其基于由2个摄像机拍摄的2个源图像，通过块匹配计算视差，并基于计算出的视差生成视差图像。而且，生成将2个源图像中的至少I个源图像与视差图像相应地缩小而得到的缩小图像，基于视差图像和缩小图像对物体进行图像识别。
[0011]发明效果
[0012]根据本发明的图像处理装置，能够缩短物体的图像识别处理所需的处理时间。
【附图说明】
[0013]图1是表示图像识别系统的概略结构的说明图。
[0014]图2是表示立体摄像机和基于其的三角测量技术的说明图。
[0015]图3是表示图像识别LSI的处理内容的框图。
[0016]图4表示块匹配处理的方法，(a)是基准图像的第一块的设定方法，(b)是比较图像的第二块的搜索方法。
[0017]图5是表示图像识别LSI的其他方式的处理内容的框图。
[0018]符号说明
[0019]10立体摄像机
[0020]101摄像机
[0021]102摄像机
[0022]1la拍摄元件
[0023]102a拍摄元件
[0024]22图像处理LSI
[0025]24通信总线
[0026]28视差运算部
[0027]30视差图像生成部
[0028]32第一缩小图像生成部
[0029]34图像识别部
[0030]36a第二缩小图像生成部
[0031]36b第二缩小图像生成部
【具体实施方式】
[0032]下面，参照附图详述用于实施本发明的第一实施方式的一例。
[0033]本实施方式的图像处理装置是在立体摄像机在相同时刻从不同的位置拍摄物体而得到的一对图像上，通过块匹配计算物体的位置偏离(视差)，并基于计算出的视差用公知的转换式计算物体的三维位置、即对物体进行图像识别的装置。该装置能够应用于监视可疑者的侵入等的监视系统、预测与障碍物碰撞的危险性来辅助车辆安全行驶的车载系统等需要进行物体识别的各种系统。
[0034]图1表示包含图像处理装置的图像识别系统的一例。
[0035]图像识别系统包括:由2个摄像机101、102构成的立体摄像机10 ;控制立体摄像机10的摄像机控制部12 ;作为临时存储区域的RAM (Random Access Memory，随机存取存储器)14 ;存储程序和各种初始值的ROM (Read Only Memory,只读储存器)16 ;进行图像识别系统整体的控制的CPU (Central Processing Unit，中央处理单元)18 ;将由图像识别系统识别的物体的识别信息向图像识别系统的外部输出的外部IF (Interface，接口)20 ;和图像处理LSI (Large Scale Integrat1n，大规模集成电路)22，各构成要素经由通信总线24进行数据的发送接收。
[0036]如图2所示，立体摄像机10具有例如CO)(Charge Coupled Device，电荷親合器件)图像传感器或CMOS (Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)图像传感器等拍摄元件101a、102a，将从拍摄对象物通过透镜101b、102b射入拍摄元件101a、102a的光与其强度对应地转换成电信号。电信号作为表示所拍摄的物体的亮度信息的源图像数据，经由通信总线24输出到RAM14或直接输出到图像处理LSI22。源图像的大小也取决于拍摄元件101a、102a的像素数，但是在本实施方式中例如是10兆字节左右的大小。
[0037]将该立体摄像机10的光轴在三维空间的xyz坐标系的Xz平面中与z轴平行地配置，并且将透镜101b、102b沿着X轴排列的情况下，将来自拍摄对象物A的光通过一个摄像机101的透镜1lb射入拍摄元件1la时的x坐标X1和来自拍摄对象物A的光通过另一个摄像机102的透镜102b射入拍摄元件102a时的x坐标&的差值的绝对值I x x 21作为视差δ得到。而且，拍摄对象物A的ζ坐标、即从立体摄像机10到拍摄对象物A的距离D，使用视差S、2个摄像机的基线长度(光轴间隔)b、以及透镜101b、102b与拍摄元件101a、1lb之间的焦点距离f，通过下式求得。
[0038]D = b X f/ δ
[0039]以下，在本说明书中，为便于说明，将y方向设为高度方向，立体摄像机10以将摄像机101和摄像机102横向排列且平行地配置在相同高度的位置上的“平行同位立体”的摄像机为前提，不过当然不限于这样的配置。
[0040]摄像机控制部12为对摄像机101和摄像机102进行控制的控制电路。具体而言，摄像机控制部12进行控制，以使摄像机101和摄像机102的拍摄时刻为同时。这是因为，如果拍摄时刻不同，则在该时刻期间拍摄对象物的位置发生了变化的情况下，不能根据拍摄对象物的最新位置计算视差S。此外，摄像机控制部12进行控制，以使摄像机101和摄像机102的曝光量相等。这是因为，在后述的块匹配处理中，关于同一拍摄对象物，如果在2个源图像中以同一亮度值相对应，则匹配精度提高。
[0041]图像处理LSI22是通过经由通信总线24输入从立体摄像机10输出的2个源图像数据而对物体进行图像识别的图像处理装置。
[0042]图3表示在图像处理LSI22中进行的处理的内容。
[0043]图像处理LSI22包含修正部26a、26b、视差运算部28、视差图像生成部30、第一缩小图像生成部32和图像识别部34。
[0044]修正部26a、26b针对输入的2个源图像数据，以将2个源图像左右并排的情况下拍摄的物体成为相同高度的方式进行转换，使由视差运算部28进行的后述的块匹配处理变得容易。用于转换的修正数据是通过参照修正数据表(存储在ROM16中)而得到的，该修正数据表通过预先进行校正(calibrat1n)而生成。在该校正中，预先测量透镜101b、102b的变形、摄像机101、102的安装位置、角度的误差等各种误差来计算修正数据。
[0045]视差运算部28构成基于由修正部26a、26b修正后的2个源图像数据通过块匹配处理来计算视差的视差运算单元。
[0046]如图4(a)所示，块匹配处理将源图像的一方(以下称为“基准图像”)通过规定形状的第一块(图中的粗实线)以包含多个像素的方式划分，并且如图4(b)所示，将源图像的另一方(以下称为“比较图像”)通过与第一块相同的大小、形状、位置的第二块(图中的粗实线)划分，将该第二块在横向上各错开I个像素，在各位置上计算关于第一块内和第二块内的2个亮度图案(pattern)的相关值，搜索相关值最低、即相关最高的位置。在本实施方式中，相关值的计算方法使用差分绝对值和(SAD:Sum of Absolute Difference)，但是不限于此，能够使用公知的所有方法。搜索的结果是，在确定了相关最高的位置的情况下，将第一块内的特定像素(例如左下的像素)与确定的位置上的第二块内的特定像素(例如左下的像素)之间的距离作为视差S进行计算。将其作为I个步骤，对基准像素的全部像素执行同样的步骤。可以将计算出的视差S与算出时的第一块或第二块的位置相关联，临时存储在例如RAM14等中。
[0047]在图4(a)和图4(b)中，设第一块和第二块分别为纵向4个像素且横向4个像素包含16个像素的大致正方形，但不限于这样的大小和形状，也可以使第一块和第二块分别为长方形。即，第一块和第二块也可以使包含在第一块和第二块中的像素数在纵向上为m个像素并且在横向上为η个像素(其中，m和η为I以上的自然数，并且任一个均为2以上)。此外，例如在源图像为平行四边形的情况下，也可以使第一块和第二块为平行四边形并包含多个像素数。
[0048]在块匹配处理中使用的第一块和第二块的大小能够变更。例如，在CPU18判断为由于气象条件等而可能使物体的图像识别能力降低的情况下，CPU18可以对视差运算部28指示使第一块和第二块的大小减小。另一方面，例如在CPU18判断为气象条件等不会对图像识别能力产生影响而应使图像处理LSI22的处理负担优先的情况下，CPU18也可以对视差运算部28指示使第一块和第二块的大小增大。
[0049]视差图像生成部30构成基于由视差运算部28计算出的视差δ来生成视差图像的视差图像生成单元。
[0050]视差图像生成部30将由视差运算部28计算出的I个视差δ、与计算出该视差时的基准图像的第一块内和比较图像的第二块内的任一块内的多个像素全体相对应，通过对计算出的全部视差S进行该对应来生成视差图像。因此，视差图像基于基准图像和比较图像中的任一者生成。进行对应例如也可以通过对第一块内或第二块内的多个像素全体提供与视差S对应的I个色相信息来进行。