54]配置确定单元以能够给图像识别单元提供控制指令信息。在速度信息表明车辆高速行驶时，该控制指令信息将使得第一图像区域(52R)的图像数据和第三图像区域(52L)的图像数据以适合远景的方式被处理(S2、S5)，而使得第二图像区域(53R)的图像数据和第四图像区域(53L)的图像数据的图像处理被省略，和在速度信息表明车辆低速行驶时，该控制指令信息将使得第二图像区域(53R)的图像数据和第四图像区域(53L)的图像数据以适合近景的方式被处理(S4、S7)，而使得第一图像区域(52R)的图像数据和第三图像区域(52L)的图像数据的图像处理被省略。
[0055]上述布置使包括左右照相机的立体照相机系统能够基于车速，在待执行确定的车辆前方区域图像(车辆前方图像)的图像处理和车辆周围区域图像(车辆外围图像)的图像处理之间适当地转换。
[0056][7]视点变化和图像合成
[0057]在上述项目[I]到[6]之一中，该图像识别单元还具有基于指定视点将每个图像区域的图像数据转换成每个图像区域的图像数据并基于指定视点使用每个图像区域的图像数据合成图像的功能。
[0058]该布置使得能够提供基于改变的视点使用比现有技术中所需的更少的照相机和单个图像识别单元，产生图像的车载图像处理装置。
[0059][8]关于视点变化的图像合成的盲点图像推测
[0060]在上述项目[7]中，该图像识别单元合成下述电位的图像(56)，其上的图像数据包括在多个图像区域的图像数据中。该图像识别单元通过基于它们之间的视差互补多个图像区域的图像数据来合成图像(56)。关于不包括在多个图像区域的任一个区域的图像数据中的点位的图像(57)，该图像识别单元还具有通过基于过去的画面的图像数据的或者基于多个图像区域的边缘部分的图像数据的推测产生这种图像的或者输出表明不能通过推测产生这种点位的图像数据的指定图像数据的功能。
[0061]以上布置能够提供基于改变的视点，产生甚至覆盖照相机盲点的图像数据的车载图像处理装置。
[0062][9]能基于速度信息优化每个图像区域的图像处理的半导体装置
[0063]该申请中公开的典型实施例描述了一种半导体装置(20)，其包括图像识别单元
(3)和确定单元(4)，且其通过连接车载照相机(I)能够配置安装在车上的车载图像处理装置(10)。如下配置该半导体装置(20)。
[0064]配置该确定单元以能够接收车辆的速度信息(8)并基于该速度信息将控制指令信息(9)提供给图像识别单元。
[0065]该图像识别单元从照相机接收图像数据(50)，该图像数据(50)包括示出车辆前方区域图像的第一图像区域(52)的图像数据，和示出不同方向的区域图像的第二图像区域(53)的图像数据。第一图像区域(52)和第二图像区域(53)同时包括在画面中。配置该图像识别单元以能够基于控制指令信息使第一图像区域和第二图像区域两者的图像数据受到图像处理(SI到S7)并将处理结果提供给确定单元。
[0066]上述布置使半导体装置的图像识别单元能够执行最佳图像处理，以基于车速得到执行确定所需的信息。这样，由于能够将单个图像识别单元应用到多个图像区域，所以能够保持装置的低成本。
[0067][10]处理高速行驶时的前方图像和低速行驶时的外围图像
[0068]在上述项目[9]中，第二图像区域示出了车辆周围区域的图像(车辆外围图像)。配置该确定单元以能够给图像识别单元提供控制指令信息。当速度信息表明车辆高速行驶时，由确定单元提供的控制指令信息将使得第一图像区域(52)的图像数据以适合远景的方式被处理(S2、S5)，而使得第二图像区域(53)的图像数据的图像处理被省略。当速度信息表明车辆低速行驶时，由确定单元提供的控制指令信息将使得第二图像区域的图像数据以适合近景的方式被处理(S3、S6)，而使得第一图像区域的图像数据的图像处理被省略。
[0069]这样，当车辆高速行驶时，仅使用车辆前方图像作为执行确定的图像信息(前方监测)，并且当车辆低速行驶时，仅使用车辆外围图像作为执行确定的图像信息(外围监测)，使得能够将单个图像识别单元应用到多个图像区域。这能保持装置的低成本。
[0070][11]处理既包括前方图像又包括外围图像的全部图像
[0071]在上述项目[10]中，配置该确定单元以能够给图像识别单元还提供附加类型的控制指令信息。该附加类型的控制指令信息将使得第一图像区域和第二图像区域两个区域的图像数据两者以相对于适合远景的图像处理和适合近景的图像处理而言的适合中距景的方式被处理(S4、S7)。
[0072]这使得即使车辆既不以高速也不以低速的确定速度行驶时，也能够执行适当的图像处理。
[0073][12]从图像数据提取速度信息
[0074]在上述项目[9]到[11]之一中，该图像识别单元还具有基于图像数据计算车辆的速度信息并将该速度信息提供给确定单元的功能(19)。
[0075]上述功能使得不必有从外部输入的速度传感器信号，因此能够提供较低成本的车载图像处理装置。或者，以互补的方式使用从外部输入的速度传感器信号和由该图像识别单元计算的速度信息两者，使得能够提供能以更高精度确定车速的车载图像处理装置。
[0076][13]立体照相机系统
[0077]在上述项目[9]到[12]之一中，该车载图像处理装置使用前面的照相机作为第一照相机(IR)并处理前面的图像数据作为第一图像数据(50R)，且其还包括与第一照相机一起构成一对左右照相机的第二照相机(IL)。配置第二照相机以能够给图像识别单元提供第二图像数据(50L)。该第二图像数据表示在画面中示出的车辆前方的图像。配置该图像识别单元，以能够基于包括在第一图像数据中的第一图像区域(52R)的图像数据和第二图像区域(52L)的图像数据两者之间的视差，执行图像识别处理(33)。
[0078]以上布置使立体照相机系统能够基于车速，在基于车辆前方图像执行的包括视差检测和矢量检测的图像处理和对待执行确定的车辆外围图像执行的图像处理之间适当地转换。
[0079][14]立体照相机系统的左右照相机每个都提供有反射器
[0080]在上述项目[13]中，第二图像数据包含示出车辆前方图像的第三图像区域(52L)的图像数据和示出车辆外围图像的第四图像区域(53L)的图像数据。该第三图像区域和第四图像区域同时包括在画面中。
[0081]配置图像识别单元，以能够基于包括在第一图像数据中的第一图像区域(52R)的图像数据和包括在第二图像数据中的第三图像区域(52L)的图像数据之间的视差，执行图像识别处理(33)。
[0082]配置确定单元以能够给图像识别单元提供控制指令信息。在速度信息表明车辆高速行驶时，该控制指令信息将使得第一图像区域(52R)的图像数据和第三图像区域(52L)的图像数据以适合远景的方式被处理(S2、S5)，而使得第二图像区域(53R)的图像数据和第四图像区域(53L)的图像数据的图像处理被省略，以及在速度信息表明车辆低速行驶时，该控制指令信息将使得第二图像区域(53R)的图像数据和第四图像区域(53L)的图像数据以适合近景的方式被处理(S4、S7)，而使得第一图像区域(52R)的图像数据和第三图像区域(52L)的图像数据的图像处理被省略。
[0083]上述布置允许利用包括左右照相机的立体照相机系统，基于车速，在待执行确定的车辆前方图像的图像处理和车辆外围图像的图像处理之间适当地转换。
[0084][15]视点变化和图像合成
[0085]在上述项目[9]到[14]之一中，该图像识别单元还具有基于指定视点将每个图像区域的图像数据转换成每个图像区域的图像数据，并基于指定视点使用每个图像区域的图像数据合成图像的功能。
[0086]该布置能够提供基于改变的视点使用比现有技术中所需的更少的照相机和单个图像识别单元，产生图像的车载图像处理装置。
[0087][16]关于视点变化的图像合成的盲点图像推测
[0088]在上述项目[15]中，该图像识别单元合成这样的点位的图像(56)，其上的图像数据包括在多个图像区域的图像数据中。该图像识别单元通过基于它们之间的视差互补多个图像区域的图像数据来合成图像(56)。关于不包括在多个图像区域的任一个的图像数据中的点位的图像(57)，该图像识别单元还具有通过基于过去的画面的图像数据的或者基于多个图像区域的边缘部分的图像数据的推测产生这种图像的或者输出表明不能通过推测产生这种点位的图像数据的指定图像数据的功能。
[0089]以上布置能够提供基于改变的视点，产生甚至覆盖照相机盲点的图像数据的车载图像处理装置。
[0090][17]单个芯片
[0091]在上述项目9到16之一中，该半导体装置形成在单个半导体衬底上。
[0092]这减少了车载图像处理装置所需的半导体装置安装面积，因此能够保持车载图像处理装置的低成本。
[0093]2.优选实施例的详细描述
[0094]下面将更详细地描述本发明的实施例。
[0095]第一实施例〈基于速度信息优化每个图像区域的图像处理>
[0096]图1是示出根据本发明第一实施例的车载图像处理装置10的示例配置的方块图。
[0097]该车载图像处理装置10包括具有镜头和图像传感器的照相机模块I (在下文中简称为“照相机I”)、图像识别单元3和确定单元4。提供有反射器2的照相机I是所谓的前面的照相机且能够获得安装照相机I的车辆(在下文中简称为“车辆”)前方区域的图像(车辆前方图像)，并能获得随后参考图4和5详细描述的单个画面屏幕中显示的车辆周围区域的图像(车辆外围图像)。摄橡机I例如被安装到车内安装的后视镜的背面，使得照相机I朝向驾驶员的前方视野。
[0098]图2示例了根据第一实施例的车载图像处理装置10处理的图像数据50。在单个画面中显示的图像数据50包括照相机I拍摄的图像。一个图像显示在该画面中示出的边线51的上方，另一个图像显示在该边线51的下方。该边线51下方的图像区域是示出不涉及反射器2由照相机I直接拍摄的车辆前方图像的图像区域52。该边线51上方的图像区域是示出由照相机I经由反射器2拍摄的车辆外围图像的图像区域53。
[0099]确定单元4提供有车辆的速度信息8。如图1所示，车载图像处理装置10可以具有检测速度信息8并将检测的速度信息提供给确定单元4的独立的速度检测单元7。可选地，可以配置车载图像处理装置10，使得其使用后面描述的作为图像识别单元3的部分功能而实现的速度检测单元19检测速度信息8，并将检测的速度信息提供给确定单元4。确定单元4基于提供给它的速度信息8给图像识别单元3提供控制指令信息9。
[0100]图像识别单元3从照相机I接收图像数据50。图像数据50包括同时包括在画面内的边线51下方的图像区域52和边线51上方的图像区域53两个区域的图像数据。图像区域52示出了车辆前方的图像。图像区域53示出了在不同方向上获得的图像。图像识别单元3处理图像区域52和图像区域53两个区域的图像数据，并将处理的图像数据提供给确定单元4。
[0101]这使车载图像处