因此，视差图像按(每)多个像素以I个视差信息对应，与按(每)1个像素对应I个亮度信息的源图像相比，外观上的分辨率降低。
[0051]此外，视差图像生成部30也可以不在视差运算部28中计算出全部视差δ之后开始视差图像的生成，而通过每次计算出视差δ时依次对基准图像或比较图像进行视差δ的对应来生成视差图像。在这种情况下，视差运算部28不需要向RAM14输出计算出的视差δ。
[0052]第一缩小图像生成部32构成第一缩小图像生成单元，其生成使由修正部26a、26b转换的2个源图像中的一个按照在视差运算部28的块匹配处理中使用的块进行缩小的第一缩小图像。
[0053]在第一缩小图像生成部32中缩小的源图像，根据视差图像是基于基准图像和比较图像中的哪一个生成而不同，在以基准图像为基础生成的情况下，缩小作为基准图像的源图像，在以比较图像为基准生成的情况下，缩小作为比较图像的源图像。
[0054]作为缩小的方法，根据块匹配处理中使用的块的形状缩小2个源图像中的一个。例如，在第一块和第二块的形状为正方形或长方形并且在第一块和第二块内包含纵向为m个像素、横向为η个像素即(mXn)个像素数的情况下，以下述方式缩小源图像:第一缩小图像的纵向的像素数为源图像的纵向的像素数除以m而得到的像素数，并且第一缩小图像的横向的像素数为源图像的横向的像素数除以η而得到的像素数。由此，视差图像的分辨率与第一缩小图像的分辨率相等。
[0055]图像识别部34构成图像识别单元，其基于由视差图像生成部28生成的视差图像和由第一缩小图像生成部32生成的第一缩小图像对物体进行图像识别。更具体而言，图像识别部34通过使用第一缩小图像的亮度信息进行模式匹配来对物体进行识别处理。此外，图像识别部34基于视差图像的视差信息计算被识别出的物体的三维位置，由此对物体进行图像识别。此时，计算在第一缩小图像中被识别出的物体的区域在视差图像中相当于哪个区域、即视差图像与第一缩小图像之间对应的像素的位置。此外，由图像识别部34得到的物体的识别信息经由通信总线24输出到外部IF20。
[0056]根据这种图像处理LSI22，由于视差图像的分辨率与第一缩小图像的分辨率相等，所以在图像识别部34中不需要对全部像素计算视差图像与第一缩小图像之间对应的像素的位置，能够相应地缩短图像识别处理所需的时间。
[0057]此外，在因立体摄像机10的分辨率变高而使源图像数据的大小增大的情况下，为了减轻图像处理LSI22的处理负担，即使在对图像识别能力不产生影响的范围内增大视差运算部28的块匹配处理中使用的第一块和第二块的大小(尺寸)，也由于视差图像的分辨率与第一缩小图像的分辨率相等，而几乎不对图像识别部34的图像识别处理所需的时间产生影响。
[0058]此外，在RAM14的容量有富裕能够保存分辨率较高的图像的情况下，也可以在第一缩小图像生成部32中以如下方式缩小源图像。S卩，在第一块和第二块为正方形或长方形并且第一块和第二块中包含的像素数在纵向上为m个像素且在横向上为η个像素的情况下，也可以使用为2以上的自然数的规定数k，以下述方式缩小源图像:第一缩小图像的纵向的像素数为源图像的纵向的像素数除以(mXk)而得到的像素数，并且第一缩小图像的横向的像素数为源图像的横向的像素数除以(nXk)而得到的像素数。在这样缩小的情况下，计算在视差图像与第一缩小图像之间对应的像素的位置的处理负担也比不缩小的情况减轻。
[0059]在上述的实施方式中，图像处理LSI22也可以具有切割图像生成部替代第一缩小图像生成部32，来生成基于由修正部26a和修正部26b中的至少一个转换后的源图像进行局部切割而得到的切割图像。在切割图像中，与视差图像相比，仅能够得到摄像机101或摄像机102的拍摄范围内的仅一部分的亮度信息，但是例如也可以通过着眼于源图像所示的亮度信息在各像素表示何种时间变化，来决定关注区域，并且以包含该关注区域的像素的方式生成与第一块和第二块的块形状对应的切割图像。由此，减轻图像识别部34的图像识别处理的处理负担。
[0060]此外，在上述的实施方式中，将由2个修正部26a、26b中的修正部26b转换后的源图像用于第一缩小图像生成部32的第一缩小图像的生成，但是不限于此，也可以使用由修正部26a转换后的源图像或由2个修正部26a、26b双方转换后的2个源图像。
[0061]接着，对用于实施本发明的第二实施方式的一例进行说明。此外，对与第一实施方式相同的结构标注相同的符号，省略或简化其说明。
[0062]图5表示第二实施方式的图像处理LSI22的处理内容。
[0063]第二实施方式的图像处理LSI36与第一实施方式相比，不同之处在于在修正部26a,26b与视差运算部28之间分别追加第二缩小图像生成部38a、38b的处理。
[0064]第二缩小图像生成部38a、38b构成第二缩小图像生成单元，其分别缩小由修正部26a,26b转换后的2个源图像而生成2个第二缩小图像。由第二缩小图像生成部38a、38b生成的第二缩小图像替代由修正部26a、26b转换后的2个源图像，用于视差运算部28的视差的计算。
[0065]此外，第二缩小图像生成部38a、38b在2个摄像机101、102的拍摄元件101a、102a具有滤色片的情况下，基于滤色片的图案复原(恢复)颜色，并且根据滤色片的图案来缩小由修正部26a、26b转换后的2个源图像。
[0066]滤色片的图案例如以纵向上i个像素且横向上j个像素的(iX j)个像素数重复的情况下，第二缩小图像生成部38a、38b使用I以上的规定数h，以第二缩小图像的纵向的像素数为2个源图像的纵向的像素数除以(iXh)而得到的像素数、并且第二缩小图像的横向的像素数为2个源图像的横向的像素数除以(jXh)而得到的像素数的方式生成第二缩小图像。滤色片的图案例如为拜耳阵列的情况下，以纵向上为2个像素且横向上为2个像素的4个像素数周期性排列，但在这种情况下，第二缩小图像生成部38a、38b以第二缩小图像的纵向的像素数为2个源图像的纵向的像素数除以(2Xh)而得到的像素数、并且第二缩小图像的横向的像素数为2个源图像的横向的像素数除以(2Xh)而得到的像素数的方式生成第二缩小图像。
[0067]根据这样的第二实施方式的图像处理LSI38，为了消除在色恢复处理中屡屡成为问题的伪色，即使提高立体摄像机10的分辨率，从立体摄像机10输出的源图像的大小在第二缩小图像生成部38a、38b中也被缩小，因此减轻了视差运算部28的处理负担。
[0068]此外，为了抑制伪色(false color)的产生，不需要在透镜1lb与拍摄元件1la之间、以及透镜102b与拍摄元件102a之间插入光学低通滤波器，这也有助于削减图像识别系统的制造成本。
【主权项】
1.一种图像处理装置，其特征在于，包括: 视差运算单元，其基于由2个摄像机拍摄的2个源图像，通过块匹配计算视差； 视差图像生成单元，其基于由所述视差运算单元计算出的视差来生成视差图像； 第一缩小图像生成单元，其生成将所述2个源图像中的至少I个源图像与所述视差图像相应地缩小而得到的第一缩小图像；和 图像识别单元，其基于所述视差图像和所述第一缩小图像，对所述物体进行图像识别。
2.根据权利要求1所述的图像处理装置，其特征在于: 所述第一缩小图像生成单元根据所述块匹配中使用的块的形状缩小所述2个源图像中的至少I个源图像。
3.根据权利要求2所述的图像处理装置，其特征在于: 所述块的形状为正方形或长方形。
4.根据权利要求3所述的图像处理装置，其特征在于: 在所述块中包含的像素数为纵向上m个像素且横向上η个像素的情况下，所述第一缩小图像生成单元使用规定数k，以下述方式生成所述第一缩小图像:所述第一缩小图像的纵向的像素数为所述2个源图像的纵向的像素数除以(mXk)而得到的像素数，并且所述第一缩小图像的横向的像素数为所述2个源图像的横向的像素数除以(nXk)而得到的像素数，其中，所述规定数k为I以上的自然数。
5.根据权利要求4所述的图像处理装置，其特征在于: 所述规定数k为I。
6.根据权利要求1?5中任一项所述的图像处理装置，其特征在于，还包括: 第二缩小图像生成单元，其将所述2个源图像分别缩小而生成2个第二缩小图像， 所述2个第二缩小图像替代所述2个源图像用于所述视差运算单元的视差计算。
7.根据权利要求6所述的图像处理装置，其特征在于: 所述第二缩小图像生成单元在所述2个摄像机的拍摄元件具有滤色片的情况下，基于所述滤色片的图案恢复颜色，并且根据所述滤色片的图案缩小所述2个源图像。
8.根据权利要求7所述的图像处理装置，其特征在于: 在所述滤色片的图案以纵向上i个像素且横向上j个像素的像素数周期性排列的情况下，所述第二缩小图像生成单元使用I以上的规定数h，以下述方式生成所述第二缩小图像:所述第二缩小图像的纵向的像素数为所述2个源图像的纵向的像素数除以(iXh)而得到的像素数，并且所述第二缩小图像的横向的像素数为所述2个源图像的横向的像素数除以(jXh)而得到的像素数。
【专利摘要】为了缩短图像识别处理所需的处理时间，针对由2个摄像机拍摄物体所得的2个源图像，修正部(26a、26b)以将2个源图像左右并排的情况下成为相同高度的方式进行修正。视差运算部(28)基于修正后的2个源图像，通过块匹配处理来计算视差。视差图像生成部(30)基于由视差运算部(28)计算出的视差来生成视差图像。在块匹配处理中使用的块为包含纵向上m个像素且横向上n个像素的像素数的矩形的情况下，第一缩小图像生成部(32)生成将修正后的2个源图像中的1个图像以纵向的像素数成为1/m且横向的像素数成为1/n的方式缩小而得到的第一缩小图像。由此，使第一缩小图像的分辨率与视差图像的分辨率相等。而且，图像识别部(34)基于视差图像和第一缩小图像对物体进行图像识别处理。
【IPC分类】H04N13-02, H04N5-225, H04N13-04
【公开号】CN104769942
【申请号】CN201380056889
【发明人】的野春树, 大塚裕史
【申请人】日立汽车系统株式会社
【公开日】2015年7月8日
【申请日】2013年10月7日
【公告号】EP2914001A1, WO2014069169A1