图像处理装置制造方法

图像处理装置制造方法
【专利摘要】本发明提供一种能够对所有识别对象实施图像识别处理，且能够减轻图像的导入和传输的负载的图像处理装置。该图像处理装置具有：导入由摄像元件拍摄的图像信息的图像导入部；对图像信息设定多个处理区域的处理区域设定部；处理顺序频度决定部，其决定被设定的多个处理区域的各图像信息的导入的顺序、频度和时刻中的至少一个，以及各图像信息的处理的顺序、频度和时刻中的至少一个；和图像处理部，其按照决定的顺序、频度、时刻按每个处理区域导入图像信息，并按照决定的顺序、频度、时刻对导入的所述图像信息进行图像处理。
【专利说明】图像处理装置【技术领域】
[0001]本发明涉及进行图像的导入、传输、处理的图像处理装置。
【背景技术】
[0002]近年来，以驾驶支援为目的的车载相机、和以防止犯罪或犯罪搜查的支援为目的的监视摄像机等被开发并逐渐普及。这些相机不仅使用户观看拍摄的图像，还搭载了通过图像处理自动地检测车道和车辆、人和人的动作等的功能。图像处理需要将一般为数十万像素以上的大量的像素的数据从拍摄元件导入、传输、处理。进而，近年来，随着拍摄元件的高分辨率化，图像的导入、传输、处理的负载有进一步增大的倾向。此外，用两台相机测量三维空间的立体相机、在车辆的前方、后方和侧方设置多台相机监视周边的系统、将多台相机设置在不同的位置的监视摄像机系统等中，因为需要对多幅图像进行处理，所以图像的导入、传输、处理的负载进一步增大。
[0003]于是，需要对图像的导入、传输、处理的区域进行限制的技术。作为对处理图像的区域进行限制的技术，提出有专利文献I记载的方法。其为近距离不存在车辆的情况下以不进行隔行抽取的方式对图像的中心部分进行处理，近距离存在车辆的情况下以进行隔行抽取的方式对图像整体进行处理的技术，根据有无车辆对不进行隔行抽取的中心部分的图像和进行隔行抽取的图像整体的图像中的一方进行选择。或者，基于转向灯信息选择图像的右侧的区域、图像的左侧的区域中的某一方。
[0004]专利文献1:日本特开2000-251080号公报

【发明内容】

[0005]发明要解决的技术问题
[0006]但是，专利文献I的 方法中，通过车辆是否存在而选择以进行隔行抽取的方式对图像整体进行处理，或以不进行隔行抽取的方式对图像的中央部分进行处理，所以当存在车道和行人、车辆等各种识别对象的情况下，产生了要使用的图像不同，一部分的图像识别处理变得不能实施的问题。此外，将拍摄图像整体导入保存有CPU所处理的数据的存储器中，仅限制处理区域，所以存在不能减轻图像的导入和传输的负载的问题。
[0007]本发明的目的在于，提供当存在多个识别对象的情况下，能够对所有的识别对象实施图像识别处理，并且能够减轻图像的导入和传输的负载的图像处理装置。
[0008]用于解决课题的技术手段
[0009]为了解决上述课题，本发明的图像处理装置构成为，具有:导入由摄像元件拍摄的图像信息的图像导入部；对图像信息设定多个处理区域的处理区域设定部；处理顺序频度决定部，其决定被设定的多个处理区域的各图像信息的导入的顺序、频度和时刻中的至少一个，以及各图像信息的处理的顺序、频度和时刻中的至少一个；和图像处理部，其按照决定的顺序、频度、时刻按每个处理区域导入图像信息，并按照决定的顺序、频度、时刻对导入的所述图像信息进行图像处理。[0010]发明的效果
[0011]本发明能够提供当存在多个识别对象的情况下，能够对于所有的识别对象实施图像识别处理，并且能够减轻图像的导入和传输的负载的图像处理装置。
【专利附图】

【附图说明】
[0012]图1是表示本发明的图像处理装置的第一实施方式的框图。
[0013]图2是表示本发明的图像处理装置的第一实施方式的框图。
[0014]图3是表示本发明的图像处理装置的其他实施方式的框图。
[0015]图4是表示与本发明的图像处理装置的处理区域的设定、处理区域的导入相关的一例的图。
[0016]图5是表示本发明的图像处理装置的处理区域的导入，和对导入的处理区域的处理进行流水线处理的一例的图。
[0017]图6是表示本发明的图像处理装置的第一实施方式的处理流程的图。
[0018]图7是表示决定对本发明的图像处理装置的各处理区域进行处理的顺序、频度、时刻的表的一例的图。
[0019]图8是表示本发明的图像处理装置的第二实施方式的框图。
[0020]图9是表示本发明的图像处理装置的第二实施方式的框图。
[0021]图10是表示本发明的图像处理装置用两台相机测量距离的原理的图。
[0022]图11是表示与本发明的图像处理装置的第二实施方式的处理区域的设定、处理区域的导入相关的一例的图。
[0023]图12是表示本发明的图像处理装置的第二实施方式的处理流程的图。
[0024]图13是表示本发明的图像处理装置的第二实施方式中对各处理区域的处理进行流水线处理的一例的图。
[0025]图14是表示本发明的图像处理装置的图像处理功能与各处理区域的对应关系的一例的图。
[0026]图15是表示本发明的图像处理装置的第二实施方式中对各处理区域的处理进行流水线处理的其他示例的图。
[0027]符号说明
[0028]I图像处理装置
[0029]2相机单元
[0030]4 相机
[0031]5图像输入单元
[0032]6CPU
[0033]7R0M
[0034]8，9存储器
[0035]20图像导入部
[0036]21处理顺序/频度控制部
[0037]22处理区域决定部
[0038]23图像处理部[0039]24图像传输部【具体实施方式】
[0040]以下，参照附图，对于本发明的实施方式进行说明。
[0041](第一实施方式)
[0042]图2是表示本发明的第一实施方式的图像处理装置I的基本结构的示例的框图。
[0043]第一实施方式是对从作为拍摄装置的相机导入的图像的处理区域、频度、顺序、时刻中的至少一个、处理被导入的图像的处理区域、频度、顺序、时刻中的至少一个进行控制的图像处理装置和图像处理装置控制方法。
[0044]本发明的图像处理控制应用于图2所示的拍摄装置即图像处理装置1，实现利用该图像处理装置I所具备的相机4 (拍摄元件)拍摄周围的环境，并对拍摄的图像进行处理的功能。此时，可以具备两个以上的相机。以下，以图2的结构为例说明。
[0045]该图像处理装置I包括:作为拍摄元件的相机4 ;作为用于对该相机4拍摄的图像进行处理的处理单元的CPU6 ;作为CPU6用的记录单元的存储器9 ;作为程序和数据的记录单元的R0M7 ;和对相机4进行控制并且导入图像的图像输入单元5，它们用总线11连接。但是，该结构不是必要的构成要件，也可以是除CPU6之外进一步搭载图像处理LSI，由专用的LSI对处理的一部分进行处理的结构，或不仅使用一个RAM还使用图像处理LSI用的RAM等多个RAM的结构。
[0046]此外，图像处理装置I也可以是如图3所示分离为具备相机4、图像输入单元5的相机单元2和具备CPU6、存储器9、R0M7的处理单元3的结构。该情况下，也可以是相机单元2和处理单元3各自具备能够相互进行数据通信的I/F12、I/F13，将I/F12、I/F13之间用数据传输单元14连接的结构。
[0047]本图像处理装置I的相机4例如搭载CXD或CMOS拍摄元件。该拍摄元件的像素数是200万像素，一个像素的数据为R (红)、G (绿)、B (蓝)合计3字节时，一幅图像数据是6兆字节。此时，I秒执行60次图像处理的处理时，用于将拍摄图像保存到存储器的总线11的数据传输量是360兆字节/秒。总线11除了图像的导入以外在CPU6对存储器中保存的数据进行处理的情况下也需要传输数据，总线11的传输负载成为问题。此外，嵌入式机器中与PC相比CPU性能更低，所以除了总线传输负载以外，存储器9中保存的图像数据较大时，还会发生CPU不能在规定时间以内处理的问题。
[0048]其中，上述每幅图像的数据大小因图像的像素数、一个像素的数据大小、图像的格式等而不同，总线传输负载因传输、处理图像的周期而不同，所以上述的数值是一例。
[0049]为了减轻该总线传输负载，需要导入图像的规定的区域或将原有的图像缩小后的图像，代替导入图像整体。
[0050]此外，CPU的处理负载，除了导入图像的规定的区域或将原有的图像缩小后的图像来代替导入图像整体之外，还能够通过将图像分割为若干个区域地导入，或在导入某一个区域期间对已导入的图像进行处理而减轻。
[0051]为了实现这些，应用本发明的图像处理装置I在R0M7中保存与本实施方式相关的拍摄装置的控制程序，使电源接通时，CPU6执行这些程序，从而控制图像处理装置1，并且实现对拍摄的图像进行处理等一系列的功能。[0052]图1记载了图像处理装置I的CPU6的详细的框图。图2的图像输入单元5是具有图像导入部20的结构，CPU6是具有处理顺序/频度控制部21、处理区域决定部22、图像处理部23的结构。通过这些处理执行一系列的功能。
[0053]图像导入部20除了导入由拍摄装置即相机4拍摄的图像并保存到存储器9的功能之外，还具有例如指定相机4的拍摄元件中的导入图像的区域的功能、进行拍摄元件的快门和增益这些与曝光相关的设定和时刻调整的功能。此外，图像导入部20也可以具有将从相机导入的图像保存到存储器9之前进行图像的边缘增强和噪声除去、亮度的校正等功能。此外，图像导入部20也可以在导入图像时，将导入的图像分割为缩小的图像、不缩小的图像、部分截取的图像等多种图像，将这些图像保存到存储器9。
[0054]处理顺序/频度控制部21具有控制以下方面的功能:对于相机4拍摄的图像的多个处理区域，导入处理区域中的图像并保存到存储器9的顺序、频度和时刻中的至少一个；和CPU6对存储器9中保存的图像进行处理的顺序、频度和时刻中的至少一个。
[0055]处理区域决定部22具有以下功能:基于后述的图像处理部23的图像处理结果，和能够根据图像处理的功能而求出的区域或预先设定的区域等，决定用于处理的图像的区域。
[0056]图像处理部23具有以下功能:对于由处理区域决定部22导入存储器9的图像，对上述处理区域决定部22决定的处理区域，按照上述处理顺序/频度控制部21决定的顺序、频度、时刻进行处理。图像处理例如有除去拍摄元件固有的噪声、夜间等较暗的环境下拍摄时产生的噪声等处理，通过背景相减等公知的技术仅抽出像素值发生变化的部分的处理，和通过公知的模式识别处理检测人的处理等。
[0057]通过使用这些功能，例如能够如图4 (a)所示，将隧道的出口附近的图像中央设定为第一处理区域，将使图像整体缩小后而得到的区域设定为第二处理区域，如图4 (C)所示在时刻t将第一处理区域导入存储器9，之后在时刻t+Ι将使图像整体缩小而得到的图像导入存储器9。例如在第一处理区域中将横向宽度、纵向宽度设定为图像整体的1/2，在第二处理区域中使图像整体缩小为1/2时，与导入整体的图像的情况相比，能够使总线传输负载、CPU6的处理负载降低为一半。
[0058]此外，如图4 (b)所示在时刻t之前释放快门开始曝光，在时刻t+Ι之后下一次释放快门，通过传输各像素中蓄积的电荷等导入图像时，因为第一处理区域以外的像素的电荷持续蓄积，所以第一处理区域能够导入暗的图像，第二处理区域在第一处理区域中已导入图像的区域能够导入暗的图像，其他部分导入亮的图像。由此，能够抑制在隧道的出口像素中蓄积的电荷饱和这样的现象，并且映有车道等的区域能够拍摄从开始曝光直到时刻t+Ι蓄积的明亮的图像。此外，使用不通过传输各像素中蓄积的电荷来导入图像，而是能够改为通过读取各像素中蓄积的电荷的电压等来导入图像的拍摄元件时，不会因图像导入处理而使蓄积的电荷被清零，所以能够将第二处理区域的整体作为用相同曝光时间拍摄的图像导入。这样，因为在一次拍摄周期期间在不同的时刻导入各处理区域，所有具有能够在一次拍摄时间中用多个曝光时间拍摄多个处理区域的图像的优点。
[0059]图5是表示图像处理装置I的处理区域的导入，和对导入的处理区域的处理进行流水线处理的一例的图。该图5中，记载了用第一处理区域进行头灯和尾灯的灯检测处理，用第二处理区域进行车道识别处理的情况的一例。[0060]该示例中，通过导入第一处理区域，在图像处理部对第一处理区域的图像进行处理的期间，导入第二处理区域，能够减少图像的导入、图像的处理所需的时间。此外，在导入第一处理区域期间，能够处理过去导入的图像等，且处理区域也可以是三个以上。
[0061]以上这样地构成的图像处理装置1，如上所述，通过由CPU6执行图像处理装置的控制程序，能够对导入的图像的区域、导入时刻、频度、顺序中的至少一个，和对已导入的图像进行处理的时刻、频度、顺序中的至少一个进行控制。此外，也可以如上所述，用处理单元3执行图像导入部20、处理顺序/频度控制部21、处理区域决定部22、图像处理部23的一部分或全部。
[0062]此处，对于以上这样的图像处理装置I和图像处理装置的控制方法中，控制图像处理装置的一系列处理的流程参照流程图说明。
[0063]图6所示的一系列处理，当电源接通时开始，反复执行直到电源断开。或者，也可以是对图像处理执行规定次数后，结束图像处理的结构，或通过未图示的外部机器执行程序时开始一系列的处理，通过外部机器进行停止处理时使程序停止的结构等。
[0064]首先，电源接通时，由图像处理装置I执行图像处理装置的控制处理和图像处理程序，执行存储器9的初始化等起动时的初始化处理(步骤101)。图6的示例中在图像处理部23中进行前方车辆检测处理和车道检测处理。接着，判定是否是程序执行途中的初始化时刻(步骤102)，在步骤103中如果是执行初始化的时刻则转移至步骤111，不是执行初始化处理的时刻则执行步骤104的处理。在该初始化处理中，使第一处理区域和第二处理区域的坐标和图像尺寸、图像的缩小/放大率等初始化(步骤111)。
[0065]该初始化处理的时刻判定，例如将本图像处理装置I安装在车辆等移动体上，通过未图示的转向角传感器或车轮速度传感器、车速传感器、陀螺仪传感器、横摆角速度传感器、GPS传感器、地图数据库等推测当前行驶中的道路，判定是否是初始化处理的时刻。例如，基于从转向角传感器获得的信息，判定本车的左转或右转，在本车左转或右转时进行初始化处理。这是因为本车右转、左转时在与此前行驶的道路环境不同的道路上行驶，通过使处理区域初始化是有效的。此外，本图像处理装置也可以搭载于车辆以外，例如设置在楼内或电梯内等。也可以将相机的视野内的人、车辆、障碍物等离开视野的时刻，或人从电梯或楼内走出的时刻等判定为初始化时刻。
[0066]然后，由处理区域决定部22决定对相机4拍摄的图像中的哪一个区域进行处理(步骤104)。该处理中，例如能够在使图像处理装置I起动后使用通过初始化处理预先在R0M7和程序内保存为常数的处理区域的起点的坐标、终点的坐标、缩小率等决定，之后使用图像处理部23的图像处理结果等决定处理区域。例如，通过上一次图像处理检测到车辆的情况下，能够基于上一次检测到的车辆在图像上的位置、尺寸决定处理区域。使用图像处理结果决定处理区域的处理是步骤110。
[0067]之后，由处理顺序/频度控制部21决定对相机4拍摄的图像的各处理区域进行处理的顺序、频度、时刻中的至少一个(步骤105)。顺序、频度、时刻例如能够如图7的表所示，根据各处理区域的曝光时间、起点/终点的坐标、导入时间、处理时间、缩小/放大率等决定。
[0068]例如,在时刻t导入曝光时间较短的处理区域,在时刻t+Ι导入曝光时间较长的处理区域。如上所述，能够在一次曝光期间中，如图4所示通过先导入第一处理区域而导入暗的图像，之后将第二处理区域作为明亮的图像导入。即，能够在一次曝光期间中导入多个不同曝光的处理区域的图像信息。设第一处理区域的曝光时间为Tl，第二处理区域的曝光时间为T2时，如果T1〈T2，则以在从曝光开始起经过Tl的时刻导入第一处理区域，之后在从曝光开始起经过Τ2的时刻导入第二处理区域的方式决定顺序和时刻。此外，例如过去对第一处理区域进行图像处理的结果，没有检测到车辆时，也可以降低第一处理区域的导入、处理频度，设定为在本次曝光中不导入第一处理区域。
[0069] 接着，按照步骤105中决定的顺序、频度、时刻导入步骤104中决定的第一处理区域(步骤106)。例如，如图4 (a)所示将第一处理区域设定为图像中央，如上所述在从曝光开始起经过Tl的时刻导入。或者也能够构成为如图4 (b)所示，将第一处理区域设定为图像上部，将信号灯等发光体作为曝光时间较短的图像导入。
[0070]然后，对导入的图像进行处理检测前方车辆(步骤107)。该处理中，例如使用基于图像的亮度值的模式识别、根据过去的图像和现在的图像求出各像素的移动矢量的光流进行检测。
[0071]之后，与步骤106同样地在步骤108中将第二区域导入存储器9，对导入的图像进行处理检测车道(步骤109)。车道能够用公知的技术检测。
[0072]最后，基于图像处理结果，更新下一次拍摄图像中处理的第一处理区域和第二处理区域(步骤110)。这例如在步骤107中检测到车辆时，能够根据检测到的车辆在图像上的坐标、大小等决定。具体而言，设车辆的区域的视点的坐标为Cx、Cy，尺寸为Cw、Ch时，第一处理区域的视点为01-0 1、07-0 2、0?+0 3、01+0 4，包括车辆的区域。其中，α?至α4是车辆的区域的周边的裕度，可以是常数，或者也可以基于对前方车辆在时间方向上进行追踪处理的移动量，或使用上述转向角传感器、车速传感器、陀螺仪传感器、横摆角速度传感器等求出的本车辆的动作来计算。
[0073]以上所述的方法对于使用一台相机的相机进行了说明，而相机存在两台以上的情况下也能够应用本实施方式。相机存在两台以上的情况下，图像的总计的数据大小比相机是一台的情况更大，所以本发明的效果更大。此外，存在两台以上的情况下，处理区域决定部对多台相机拍摄的图像设定处理区域即可。
[0074](第二实施方式)
[0075]接着，对于本发明的图像处理装置I的第二实施方式，参照附图详细说明。
[0076]其中，对于第二实施方式的图像处理装置和图像处理装置的控制方法的结构中与上述第一实施方式相同的结构附加图中相同的符号，省略重复的说明。
[0077]图9中表示第二实施方式的图像处理装置I的基本结构的示例。详情在后文说明。
[0078]第二实施方式是从相机4a和相机4b将图像导入暂时存储用的存储器8，将导入的图像阶段性地对图像处理用的存储器9传输的图像处理装置I。关于相机4a、4b，说明了例如安装在车辆上对前方拍摄的示例，但不一定需要是车辆，也可以安装在建筑物等中。
[0079]图像处理装置I是除了第一实施方式的结构之外，如图9所述，具备相机4a和相机4b两台相机，进一步具备存储器8和图像处理传输单元12，连接图像输入单元5、存储器8和图像处理传输单元12的总线10的结构。此外，第二实施方式中，以相机是两台的情况为例说明，但相机也可以是一台或三台以上。
[0080]与第一实施方式同样地，也可以是如图3所示，分为相机单元2和PC等处理单元3的结构。例如，可以是在相机单元2中设置相机4a、相机4b、图像输入单元5、存储器8、图像处理传输单元12，在处理单元3中设置CPU6、存储器9、R0M7的结构。此时也可以在处理单元3中也设置图像处理传输单元12，执行与相机单元2的数据通信。
[0081]本图像处理装置I例如能够如图10所示以相机的视野重叠的方式安装，求出用各个相机拍摄图像时的视角差S (视差)，用作测量距离的装置。其中，Z是到各测量点的距离(到被各像素拍摄的点的距离)，f是焦点距离，b是相机间的距离。
[0082]本实施方式的特征在于，如图8的图像处理装置I中表示的功能框图所示，与图1的第一实施方式相比，进一步具备相机4a、相机4b、图像传输部24。
[0083]本图像处理装置I在接通电源时执行图像处理和用于控制图像处理的程序，图像处理装置I如图8的图像处理装置I的功能框图所示发挥图像导入部20、图像传输部24、处理顺序/频度控制部21、处理区域决定部22、图像处理部23的作用。
[0084]图像导入部20与第一实施方式的图像导入部动作不同，具有从两台相机(相机4a、相机4b)导入图像，经由总线10将图像保存到存储器8的功能。
[0085]图像传输部24具有将已导入存储器8的图像经由总线11对存储器9传输的功能。此时，也可以是以下结构:对相机4a和相机4b拍摄的左右的图像分别设定处理区域，同时图像传输部从存储器9读取这些处理区域并进行求出视差的运算，将求出的视差数据和读取的处理区域的图像中的至少一方对存储器8传输。除了图像传输部24实施的视差计算处理以外，将实施边缘检测处理、差值处理、光流计算处理、过滤处理、图像的相加/相减处理等各种图像处理的结果，或实施的结果与实施前的处理区域内的图像的双方对存储器8传输。
[0086]图像传输部24具有对由图像导入部20导入存储器8的图像，通过总线11按照处理顺序/频度控制部21中决定的顺序、频度、时刻，将处理区域决定部22中决定的各个处理区域通过总线11对存储器9传输的功能。
[0087]以上这样的图像处理装置1，例如如图11所示在图像处理控制程序的控制下动作。首先，在时刻t将相机的拍摄图像整体或一部分通过总线10保存到存储器8。之后，在时刻t+Ι将使存储器8中保存的图像整体缩小而得到的第一处理区域的图像对存储器9传输，在时刻t+2将截取了存储器8中保存的图像的中央部分附近而得到的第二处理区域的图像对存储器9传输，在时刻t+3将截取了存储器8中保存的图像的左侧部分而得到的第三处理区域的图像对存储器9传输。然后，在时刻t+4将位于存储器8中保存的图像的中央部分上方的第四处理区域的图像对存储器9传输。
[0088]由此，与将数据大小较大的图像一并导入存储器9的情况相比，能够减小传输的图像数据的大小，并且能够在对存储器9传输某一个处理区域期间对已传输的处理区域的图像进行处理，所以能够削减处理时间。
[0089]图12表示第二实施方式的处理流程。其中，步骤101至步骤103、步骤111与第一实施方式是共用的，所以省略说明。
[0090]步骤112中，使用图7所示的各处理区域的起点坐标、终点坐标、导入时间、处理时间中的至少一个，决定处理区域的起点坐标、终点坐标、缩小/放大率、时亥Ij、频度、顺序中的至少一个。例如，基于图7所示的各处理区域的信息，首先根据处理区域的起点坐标、终点坐标，设定为最先传输最广地覆盖相机的视野且缩小/放大率的值是使图像缩小为1/2的处理区域。然后，在步骤113，按照步骤112中设定的各处理区域的起点坐标、终点坐标、缩小/放大率、时亥IJ、频度、顺序导入图像。
[0091]例如，首先传输第一处理区域。接着，在第一处理区域的处理时间的期间，选择传输处理完成的处理区域(选择第二处理区域)，第二个传输。然后，同样地在第二处理区域的处理时间的期间，选择传输处理完成的处理区域(选择第三处理区域)，第三个传输。进而，同样地在第三处理区域的处理时间的期间，选择传输处理完成的处理区域(选择第四处理区域)，第四个传输。此时，例如，设第四处理区域包含第三处理区域时，也可以不传输与第三处理区域的处理区域重复的部分，只传输剩余的第四处理区域。或者，例如第四处理区域被包含于第三处理区域、或第二和第三处理区域中的情况(包含在一个以上的处理区域中的情况)下，通过不进行第四处理区域的传输，先传输第二处理区域、第三处理区域，能够省略第四处理区域的传输。
[0092]然后，在步骤114，将第一处理区域从存储器8向存储器9传输，在步骤115中对保存到存储器9的第一处理区域的图像进行处理，进行车道检测处理。进而，在步骤116中对第一处理区域的图像进行处理，检测前方车辆和标识的候选。此时，也可以是基于前方车辆和标识的候选的坐标、大小决定第二处理区域、第三处理区域的结构。
[0093]之后，在步骤117中传输第二处理区域，在步骤118中使用第二处理区域的图像检测前方车辆。在步骤118中，基于步骤116的结果大致地确定前方车辆的位置，对处理的区域进行限制时，能够实现效率更好的处理。
[0094]在步骤119中，传输第三处理区域，在步骤120中进行标识的检测。然后，在步骤121，传输第四处理区域，在步骤122中执行信号灯的检测处理。此时，通过使用存储器9中保存的第三处理区域和第四处理区域双方执行信号检测处理，能够检测更广范围的信号灯。然后，最后基于车道、前方车辆、标识、信号灯的检测结果，更新下一幅拍摄图像中处理的第一至第四处理区域的起点坐标、终点坐标、频度、时刻、顺序(步骤123)。
[0095]如以上所说明，在应用第二实施方式的图像处理装置和图像处理装置的控制方法中，例如使用高分辨率的拍摄元件的情况下，因为不将拍摄元件的所有像素导入保存CPU处理的图像的存储器9，所以能够减轻总线11的传输负载、CPU6的处理负载。此时，通过设定第一处理区域这样使图像的较广区域缩小的处理区域，和第二?第四处理区域这样不使图像缩小地截取图像的处理区域，能够同时效率良好地实现视野角广的传感和分辨率高的传感。例如，如图13所示在时刻t+Ι导入使图像的广大区域缩小而得到的处理区域，在时刻t+2对该缩小的图像进行处理，检测车道，并且检测可能存在车辆、标识、信号灯的候选区域。与该处理并行地导入不使图像中央部缩小的处理区域，在时刻t+3基于上述可能存在车辆的候选区域进行车辆的检测处理，与该处理并行地将包含标识的候选区域的处理区域不缩小地导入。然后，在时刻t+4进行标识的检测处理，并且将位于图像中央的上部的处理区域不缩小地导入。之后，对导入的图像进行处理并检测信号。
[0096]此外，如图14 (a)所示，在用于头灯和尾灯等灯检测的处理的处理区域中，将单色和彩色设定为相同的缩小/放大率，如图14 (b)所示在标识检测处理中，在单色和彩色成分中设定不同的缩小/放大率，使得单色分辨率提高、彩色的分辨率降低。这是因为，例如虽然标识检测在搜索标识的处理中颜色信息是重要的，但颜色信息的分辨能力也可以较低，在识别标识(最高速度40km和最高速度60km的识别等)的处理中，需要使数字等显得比颜色信息更清晰。此外，如图14 (c) (d)所示为了在车辆检测、行人检测中详细地捕捉车辆和行人的亮度变化，单色导入高分辨率的信息，彩色导入低分辨率的信息。此外，如图14(e)所示在车道检测中，仅导入单色。此时判定车道的颜色的情况下，也可以导入彩色信息。如图14 (f)所示在信号检测中，检测远方的信号的情况下，将单色和彩色双方保持高分辨率地导入。最后，如图14 (g)所示用于对图像整体进行处理的图像使单色和彩色均低分辨率化地导入。通过根据识别对象来改变单色、彩色的分辨率，能够更有效率地处理。
[0097]此外，安装相机的移动体，除了车辆以外，也可以是机器人、建筑机械、农用机械等移动的物体。图像处理部23的处理也可以是为了使人看到图像而将较暗的图像校正为较亮的图像的处理、改变相机的起点的处理、降低图像的噪声的处理、提高图像的对比度的处理、对图像的模糊进行校正的处理、将图像变换为边缘图像等的处理等。此外，在利用图像处理部23从图像中检测物体等的处理中，能够列举:包含人的动物；车等移动体；墙壁和电线杆等立体物；图像中有变化的区域；人的异常行动(犯罪等)；很多人向右移动的情况下只有一个人向左移动等动作不同的区域；车道和人行横道等道路标识；头灯、尾灯、信号灯等灯等。
[0098]这样，根据图像处理部中执行的图像处理的种类(灯检测处理、标识检测处理、车辆检测处理、行人检测处理、车道检测处理、信号检测处理等)设定处理区域。如图14所示，有时也根据该图像处理的种类，在不同的位置(坐标)设定处理区域。
[0099]如图15所示，处理顺序/频度控制部21先导入处理时间长的处理区域，之后将导入和传输时间的合计时间长的处理区域导入，由此，在对处理时间长的处理区域进行处理期间，将导入、传输时间长的处理区域导入、传输，能够实现处理的效率化。此外，此时如第一实施方式所示不具有图像传输部24的情况下，根据处理区域的导入时间和处理时间决定顺序、时刻、频度即可。导入耗费时间的处理区域是处理区域中的图像的数据量大的情况、或导入图像时图像导入部进行亮度的校正等处理的计算需要时间的情况等。传输耗费时间的处理区域同样地是传输的处理区域中的图像的数据量大的情况、或在图像传输部24中对图像进行处理后传输时图像处理的计算需要时间的情况。
[0100]例如，如图15所示在时刻t+Ι导入第一处理区域，在时刻t+2传输，在时刻t+3处理。该处理例如是对图像整体进行处理，检测车辆、行人、车道、标识、信号和这些的候选等的处理。然后，在时刻t+2和时刻t+3将第二处理区域导入传输。然后,在时刻t+4对传输的图像进行处理。该处理例如是导入高分辨率的图像，检测行人和远方的车辆的处理。然后，在第二处理区域的导入结束后，将第三处理区域导入、传输并进行处理。该处理是标识检测和信号检测等处理。像这样，通过考虑导入时间、传输时间、处理时间地控制时刻等，能够缩短CPU没有动作的时间。
【权利要求】
1.一种图像处理装置，其特征在于，具有: 图像导入部，其导入由摄像元件拍摄的图像信息； 处理区域设定部，其对所述图像信息设定多个处理区域； 处理顺序频度决定部，其决定被设定的所述多个处理区域的各图像信息的导入的顺序、频度和时刻中的至少一个，以及所述各图像信息的处理的顺序、频度和时刻中的至少一个；和 图像处理部，其按照由所述处理顺序频度决定部决定的顺序、频度、时刻按每个处理区域导入图像信息，并按照由所述处理顺序频度决定部决定的顺序、频度、时刻对导入的所述图像信息进行图像处理。
2.如权利要求1所述的图像处理装置，其特征在于: 由所述处理顺序频度决定部决定的顺序、频度、时刻，基于由所述处理区域设定部设定的各处理区域的曝光时间、起点坐标、终点坐标、导入时间、处理时间、缩小/放大率来决定。
3.如权利要求1所述的图像处理装置，其特征在于: 所述图像导入部具有对作为所述摄像元件的曝光信息的快门或增益进行设定的功能。
4.如权利要求1所述的图像处理装置，其特征在于: 所述图像导入部具有对导入的所述图像信息执行边缘增强处理、噪声除去处理、亮度校正处理中的至少I个处理的功能。
5.如权利要求1所述的图像处理装置，其特征在于: 所述处理区域设定部根据由所述图像处理部执行的图像处理的种类来设定处理区域。
6.如权利要求5所述的图像处理装置，其特征在于: 所述处理区域设定部根据由所述图像处理部执行的图像处理的种类在不同的位置设定处理区域。
7.如权利要求6所述的图像处理装置，其特征在于: 所述处理区域设定部根据由所述图像处理部执行的图像处理是标识检测处理还是行人检测处理，在不同的位置设定处理区域。
8.如权利要求1所述的图像处理装置，其特征在于: 在所述图像处理部按照由所述处理顺序频度决定部决定的顺序、频度和时刻对第一处理区域的图像信息进行图像处理时，所述图像导入部按照由所述处理顺序频度决定部决定的顺序、频度、时刻导入与所述第一处理区域不同的第二处理区域的图像信息。
9.如权利要求1所述的图像处理装置，其特征在于: 具有图像传输部，其将由所述图像导入部导入的图像信息按照由所述处理顺序频度决定部决定的顺序、频度、时刻向所述图像处理部传输。
10.如权利要求9所述的图像处理装置，其特征在于: 在所述图像处理部进行处理时间长的所述处理区域的图像处理时，所述图像传输部使多个处理区域中的传输时间长的处理区域向所述图像处理部传输。
11.如权利要求1所述的图像处理装置，其特征在于: 所述图像导入部在I次曝光期间中导入多个不同曝光的处理区域的图像信息。
【文档编号】H04N5/225GK103477623SQ201280017980
【公开日】2013年12月25日 申请日期:2012年4月4日 优先权日:2011年4月14日
【发明者】樋口未来, 清原将裕, 志磨健, 门司龙彦 申请人:日立汽车系统株式会社