车载图像处理装置的制作方法

专利名称：车载图像处理装置的制作方法
技术领域：
本发明涉及车载的图像处理装置。
背景技术：
以前，为了控制车辆行驶，已知利用从车载的摄像机等取得的图像
信息的装置(例如，参照日本特开平7 - 89443号公报)。该装置是限定 图像处理范围，控制车辆使得对象物存在于已限定的限定范围内的装 置。

发明内容
但是，在以前的图像处理装置中，由于在画面上该对象物大幅移动， 所以为了跟踪对象物体需要将比较大的图像区域作为处理对象，会使图 像处理负荷增大。同样，在具备根据对象物的位置位移来检测车辆的运 动量的功能的情况下，也需要将比较大的图像区域作为处理对象。
因此，本发明是为了解决这种技术问题而完成的，其目的是提供一 种能够在保持计算出的运动量的精度的同时，高效地进行用于计算本车 辆的运动量的图像处理的图像处理装置。
即，本发明涉及的图像处理装置包括如下单元而构成笫一拍摄单 元，拍摄车辆的周围作为图像信息；特定区域提取单元，将比由所述图 像信息形成的图像区域的中心靠近周边侧的区域设为特定区域，并提取 多个所述特定区域；以及运动量计算单元，基于多个所述特定区域内的 图像信息来计算本车辆的运动量。
通过以此方式构成，对于由拍摄到的图像信息形成的图像区域，可 以仅以规定的特定区域为处理对象，因此能够高效地进行图像处理。此 外，将比图像区域的中心侧靠近拍摄到的对象物的位置变化量较大的周 边侧的区域设为特定区域并提取多个，因此能够正确地把握图像的纵向 以及横向的位移来计算出车辆的运动量。由此，能够在保持精度的同时高效地计算出车辆的运动量。
在此，优选，在图像处理装置中，所述特定区域提取单元在行驶道 路为左侧通行的情况下，将从所述图像区域的中心观察为左上方的区域 设为第一特定区域并提取，将从所述图像区域的中心观察为右下方的区 域设为第二特定区域并提取。
通过以此方式构成，在行驶道路为左侧通行的情况下，能够将从图
像信息的整个区域的中心观察为左上方和右下方的区域设为特定区域 并提取，因此能够将设置在行进方向左上方的道路标记或建筑物等，以
及存在于行进方向右下方的白线或中央分离区等作为特征点的对象物 可靠地纳入特定区域内
此外，优选，在图像处理装置中，包括第二拍摄单元，与所述第 一拍摄单元相比，视角的大小较小；以及第一图像修正单元，使用由所 述运动量取得单元取得的所述运动量，修正由所述第二拍摄单元所取得 的图像。
通过以此方式构成，能够从视角不同的拍摄单元取得多个图像。在 此，由比第二拍摄单元视角大的第一拍摄单元(广角的拍摄单元)拍摄 到的图像与由第二拍摄单元(窄角的拍摄单元)拍摄到的图像相比，包 含相对于拍摄方向更靠近外侧的图像信息。据此，通过使用由广角的拍 摄单元拍摄到的图像来检测对象物体位移，能够更准确地把握图像的位 移。这样，在包括多个视角不同的拍摄单元的情况下，通过使用由视角 最大的拍摄单元拍摄到的图像来计算车辆的运动量，并使用计算出的车 辆的运动量进行对由其他拍摄单元拍摄到的图像的修正，从而能够高精 度地进行图像的修正。
此外，优选，在图像处理装置中，包括中央区域提取单元，从所 述图像区域中提取作为所述图像区域的中央的区域的中央区域；以及第 二图像修正单元，使用由所述运动量取得单元取得的所述运动量，修正 由所述中央区域提取单元所提取的中央区域的图像。
通过以此方式构成，能够提取作为图像信息的中央的区域的中央区 域，取得整体图像和中央区域的图像这两个图像。据此，能够使用根据图像区域的周边侧的特定区域计算出的运动量，修正中央区域的图像。 中央区域的图像对应于由远景拍摄单元(窄角的拍摄单元)拍摄到的图 像，周边侧的特定区域对应于由广角的拍摄单元拍摄到的图像，因此无 须包括两个拍摄单元，而使用 一个图像便可高精度地进行远景的图像处 理的修正。


图1是本发明的第一实施方式涉及的图像处理装置1的结构概要图。
图2是表示图1的图像处理装置1的动作的流程图。
图3是图1的图像处理装置l设为处理对象的图像例。
图4是本发明的第二实施方式涉及的图像处理装置2的结构概要图。
图5是本发明的第三实施方式涉及的图像处理装置3的结构概要图。
图6是表示图5的图像处理装置3的摄像机的设置的概要图。
图7是图5的图像处理装置3设为处理对象的图像例。
图8是本发明的第四实施方式涉及的图像处理装置4的结构概要图。
图9是图8的图像处理装置4设为处理对象的图像例。
具体实施例方式
以下，参照附图详细说明本发明的实施方式。另外，在附图的说明 中，对相同的要素赋予相同的符号，省略重复的说明。
(第一实施方式)
图l是本发明的第一实施方式涉及的车载图像处理装置l的结构概 要图。本实施方式涉及的车载图像处理装置1例如适于在根据图像信息取得车辆的运动量以进行行驶控制的驾驶辅助系统中使用。
如图1所示，本实施方式涉及的车载图像装置1包括信息取得部50 以及ECU10而构成。在此，ECU ( Electronic Control Unit,电子控制 单元)是进行电子控制的汽车设备的计算机，包括CPU (Central Processing Unit,中央处理单元)、ROM ( Read Only Memory,只读存 储器)、RAM (Random Access Memory,随机访问存储器)以及输入 输出接口等而构成。
信息取得部50包括第一摄像机(第一拍摄单元)51。第一摄像机 51包括取得车辆周边的图像信息的图像传感器而构成。作为图像传感 器，例如使用CCD (Charge Coupled Device,电荷耦合器件)图4象传 感器或CMOS (Complementary Metal Oxide Semiconductor,互补型 金属氧化物半导体)图像传感器。第一摄像机51取得的像素数例如纵 向为480,横向为640。此外，笫一摄像机51具有将拍摄到的图像的图 像信息向ECU10输出的功能。
ECU10包括图像抽减部11、第一特定区域提取部(特定区域提取 单元)12、第二特定区域提取部(特定区域提取单元)13、第一相关处 理部15、第二相关处理部16、横向位移检测部18、纵向位移检测部19 和运动量计算部(运动量计算单元)20。
图像抽减部11具有抽减图像信息的像素数的功能。图像抽减部11 具有从第一摄像机51输入图像信息，并抽减输入的图像信息的像素数 的功能。例如，在图像信息的像素数在垂直方向上为480的情况下，将 从图像上侧数起位于第偶数位的像素全部删除，成为240个像素。此夕卜， 图像抽减部11具有将抽减了像素数后的图像信息向第一特定区域提取 部12以及第二特定区域提取部13输出的功能。另外，在各个车载图像 处理装置中，也可以根据需要抽减水平方向的像素数。例如，在水平方 向的^^素数为640个的情况下，可以通过与垂直方向的处理相同的处理 使之成为320个像素。
第一特定区域提取部12具有提取为了计算车辆的运动量而成为处 理对象的第一区域的功能。第一特定区域提取部12从图像抽减部11输 入图像信息，从所输入的图像信息的图像区域中提取第一特定区域(第一个特定区域)。该第一特定区域是比图像整体的图像区域小的小区域， 从比图像区域中心靠近边缘侧的区域中提取。例如，在左侧通行的情况 下，从建筑物、道路标记、电线杆或者树木等成为图像处理的特征点的
对象物容易出现的左上区域中提取。此外，第一特定区域提取部12具 有将所提取的第一特定区域的图像信息向第一相关处理部15输出的功 能。
第二特定区域提取部13具有提取为了计算车辆的运动量而成为处 理对象的第二区域的功能。第二特定区域提取部13从图像抽减部11输 入图像信息，从所输入的图像信息的图像区域中提取第二特定区域(第 二个特定区域)。该第二特定区域是比图像整体的图像区域小的小区域， 从比图像区域中心靠近边缘侧的区域中提取。例如，在左侧通行的情况 下，从白线、中央分离区等成为图像处理的特征点的对象物容易出现的 右下区域中提取。这样，优选，以与第一特定区域的位置的坐标即第一 特定区域的纵向以及横向的坐标不重叠的方式取得第二特定区域的位 置。此外，第二特定区域提取部13具有将提取的第二特定区域的图像 信息向第二相关处理部16输出的功能。
第一相关处理部15具有检测在第一特定区域内显示的特征点的功 能。第一相关处理部15以规定的间隔从第一特定区域提取部12输入第 一特定区域的图像信息，例如通过光流(Optical Flow)处理搜索并检 测第 一特定区域的图像信息中所显示的特征点，检测出特征点的移动位 置、移动方向或移动速度等与特征点相关的信息。此外，第一相关处理
向位移检测部19输出的功能。
第二相关处理部16具有检测第二特定区域内所显示的特征点的功 能。第二相关处理部16以规定的间隔从第二特定区域提取部13输入第 二特定区域的图像信息，例如通过光流处理搜索并检测第二特定区域的 图像信息中所显示的特征点，检测出特征点的移动位置、移动方向或移 动速度等与特征点相关的信息。此外，第二相关处理部16具有将检测 出的与特征点相关的信息向横向位移检测部18以及纵向位移检测部19 输出的功能。
横向检测部18具有基于从图像信息中检测出的与特征点相关的信息检测图像的横向成分的功能。图像的横向成分例如是图像的移动方向
和速度的横向成分。横向检测部18从第一相关处理部15以及笫二相关 处理部16输入与特征点相关的信息，根据第一特定区域的图像信息中 所显示的特征点与第二特定区域的图像信息中所显示的特征点之间的 规定的相关关系、例如移动位置的相关关系、移动方向的相关关系、移 动速度的相关关系等，检测图像的横向成分。此外，横向检测部18具 有将检测出的横向成分向运动量计算部20输出的功能。
纵向检测部19具有基于从图像信息中检测出的与特征点相关的信 息检测图像的纵向成分的功能。图像的纵向成分例如是图像的移动方向 和速度的纵向成分。纵向检测部19从第一相关处理部15以及第二相关 处理部16输入与特征点相关的信息，才艮据笫一特定区域的图像信息中 所显示的特征点与第二特定区域的图像信息中所显示的特征点之间的 规定的相关关系、例如移动位置的相关关系、移动方向的相关关系、移 动速度的相关关系等，检测图像的纵向成分。此外，纵向检测部19具 有将检测出的纵向成分向运动量计算部20输出的功能。
运动量计算部20具有计算车辆的运动量的功能。运动量计算部20 具有如下功能即从横向检测部18以及纵向检测部19输入图像的横向 成分以及纵向成分，根据横向成分计算车辆的横摆(Yaw)方向、根据 纵向成分计算车辆的纵摆方向(Pitch )、根据横向成分以及纵向成分计 算侧倾(Roll)方向的运动量。
接着，使用图2以及图3说明本实施方式涉及的车载图像处理装置 1的动作。图2是表示本实施方式涉及的车载图像处理装置1的动作的 流程图，图3是车载图像处理装置l设为处理对象的图像例。图2所示 的流程图例如在使车辆具备的行驶辅助按钮为ON时候执行，以规定的 间隔反复执行。另外，考虑到理解说明的容易性，以图3所示的图像的 横向为x,纵向为y,说明车辆左侧通行时的处理。
如图2所示，车载图像处理装置1从图像信息的输入处理开始 (SIO)。 S10的处理由信息取得部50执行，是输入图像信息的处理。 信息取得部50从信息取得部50输入例如图3所示的图像信息。S10的 处理结束后，转到特定区域提取处理(S12)。
8S12的处理由第一特定区域提取部12以及第二特定区域提取部13 执行，是从图像信息中提取特定区域的处理。例如图3的A1所示，第 一特定区域提取部12从比图像区域中心Pl靠近周边F1侧的区域中提 取比图像区域小的小区域。在此，由于是左侧通行，所以第一特定区域 提取部12从图像的左上区域中提取第一特定区域A1。在第一特定区域 Al中，作为特征点显示了树木B的图像。此外，例如图3的A2所示， 第二特定区域提取部13从比图像区域中心Pl靠近周边Fl侧的区域中 提取比图像区域小的小区域。在此，由于是左侧通行，所以第二特定区 域提取部13从图像的右上区域中提取第二特定区域A2。在第二特定区 域A2中，作为特征点显示了白线C的图像。S12的处理结束后，转到 特征点的位移检测处理(S14)。
S14的处理由第一相关处理部15、第二相关处理部16、横向位移检 测部18以及纵向位移检测部19执行，是检测特定区域的图像内的特征 点的位移的处理。第一相关处理部15以及第二相关处理部16例如与上 次输入的图像信息相比较，分别提取第一特定区域Al、第二特定区域 A2的图像内的特征点。横向位移检测部18输入第一相关处理部15所 提取的与第一特定区域Al的特征点相关的信息，并输入第二相关处理 部16所提取的与第二特定区域A2的特征点相关的信息。并且，横向位 移检测部18根据与第一特定区域A1的特征点相关的信息和与第二特定 区域A2的特征点相关的信息之间的规定的相关关系，检测例如图3所 示的x方向的位移。此外，纵向位移检测部19输入第一相关处理部15 所提取的与第一特定区域Al的特征点相关的信息，并输入第二相关处 理部16所提取的与第二特定区域A2的特征点相关的信息。而且，横向 位移检测部18根据与第一特定区域A1的特征点相关的信息和与第二特 定区域A2的特征点相关的信息的规定的相关关系，检测例如图3所示 的y方向的位移。S14的处理结束后，转到运动量的计算处理(S16)。
S16的处理由运动量计算部20执行，是基于由S14的处理输入的特 征点的位移来计算车辆的运动量的处理。运动量计算部20基于x方向 以及y方向的位移，计算车辆的横摆方向、纵摆方向以及侧倾方向的运 动量。S16的处理结束后，图2所示的控制处理结束。这样，通过进行 图2所示的控制处理，无须以图3所示的图像全体为处理对象，而以第 一特定区域Al以及第二特定区域A2为处理对象，由此，能够在保持精度的同时进行图像处理。
如上所述，根据本实施方式的图像处理装置1，对于由拍摄到的图
像信息形成的图像区域，能够仅以第一特定区域A1以及第二特定区域 A2为处理对象，因此能够高效地进行图像处理。此外，将比图像区域 的中心Pl侧靠近拍摄到的特征点的位置变化量较大的周边F1侧的区域 设为第一特定区域Al以及第二特定区域A2并提取，因此，能够准确 地把握图像的纵向以及横向的位移来计算出车辆的运动量。由此，能够 在保持精度的同时高效地计算出车辆的运动量。并且，由于减轻了图像 处理的负荷，所以能够增加单位时间能处理图像的次数，因此能够以更 短的周期检测运动量。据此，与横摆率传感器等的测量相比，能够进行 时间分辨率较好的测量。此外，通过包括多个特定区域，能够准确地检 测例如车辆的侧倾。
此外，根据本实施方式的图像处理装置1，在行驶道路为左侧通行 的情况下，能够将从图像信息的整个区域的中心观察为左上方的区域设 为第一特定区域Al提取，将右下方的区域设为第二特定区域A2并提 取，因此能够将设置在行进方向左上方的道路标记或建筑物等，以及存 在于行进方向右下方的白线或中央分离区等成为特征点的对象物可靠 地纳入特定区域内。
(第二实施方式)
接着，说明本发明的第二实施方式涉及的图像处理装置。
第二实施方式涉及的图像处理装置2是与图l所示的第一实施方式 涉及的图像处理装置1几乎相同地构成的装置，不同点在于包括第三特 定区域提取部14以及第三相关处理部17。因此，对与第一实施方式相 同的结构要素赋予与第一实施方式相同的符号并省略说明，对第三特定 区域提取部14以及第三相关处理部17进行详细说明。
图4是本实施方式涉及的图像处理装置2的结构概要图。本实施方 式涉及的图像处理装置2包括信息取得部50以及ECUIO， ECU10包括 第三特定区域提取部14以及第三相关处理部17。
第三特定区域提取部14几乎以与第一特定区域提取部12同样的方式构成，具有提取为了计算车辆的运动量而成为处理对象的第三区域的
功能。第三特定区域提取部14从图像抽减部ll输入图像信息，从所输 入的图像信息的图像区域中提取第三特定区域(第三个特定区域)。该 第三特定区域是比图像区域小的小区域，如图3所示，以与第一特定区 域Al的y方向以及第二特定区域A2的x方向重叠的方式提取。此夕卜， 第三特定区域提取部14具有将所提取的第三特定区域的图像信息向第 三相关处理部17输出的功能。
第三相关处理部17具有检测在第三特定区域内所显示的特征点的 功能。第三相关处理部17以规定的间隔从第三特定区域提取部14输入 第三特定区域的图像信息，例如通过光流(Optical Flow)处理搜索并 检测第三特定区域的图像信息中所显示的特征点，检测出特征点的移动 方向和速度等与特征点相关的信息。此外，第三相关处理部17具有将 检测出的与特征点相关的信息向横向位移检测部18以及纵向位移检测 部19输出的功能。
此外，通过包括第三相关处理部17， ECU10内包括的第一相关处 理部15仅向横向位移检测部18输出与特征点相关的信息，ECU10内 具有的第二相关处理部16仅向横向位移检测部19输出与特征点相关的
"f^息o
在以上述方式构成的情况下，横向位移检测部18能够从特定区域 Al以及A3输入图像信息并检测出图像的横向变动，纵向位移检测部 19能够从特定区域A2以及A3输入图像信息并检测出图像的纵向变动。 据此，能够在保持精度的同时进行图像处理。
如上所述，根据本实施方式的图像处理装置2，对于由拍摄到的图 像信息形成的图像区域，能够仅以第一特定区域A1、第二特定区域A2 以及第三特定区域A3为处理对象，因此能够高效地进行图像处理。此 外，将比图像区域的中心Pl侧靠近拍摄到的对象物的位置变化量较大 的周边F1侧的区域"^殳为第一特定区域Al、第二特定区域A2以及第三 特定区域A3并提取，因此，能够准确地把握图像的纵向以及横向的位 移并计算出车辆的运动量。由此，能够在保持精度的同时高效地计算出 车辆的运动量。并且，由于减轻了图像处理的负荷，所以能够增加单位 时间能处理图像的次数，因此能够以更短的周期检测运动量。据此，与横摆率传感器等的测量相比，能够进行时间分辨率较好的测量。
此外，根据本实施方式的图像处理装置2,在行驶道路为左侧通行 的情况下，能够将从图像信息的整个区域的中心观察为左上方的区域设 为第一特定区域Al并提取，将右下方的区域设为第二特定区域A2并 提取，因此能够将设置在行进方向左上方的道路标记或建筑物等，以及 存在于行进方向右下方的白线或中央分离区等成为特征点的对象物可 靠地纳入特定区域内。
(第三实施方式)
接着，说明本发明的第三实施方式涉及的图像处理装置。
第三实施方式涉及的图像处理装置3是几乎以与图1所示的第一实 施方式涉及的图像处理装置l相同的方式构成的装置，不同点在于包括 第二摄像机(第二拍摄单元)52以及图像修正部(第一修正单元)22。 因此，对与第一实施方式相同的结构要素赋予与第一实施方式相同的符 号并省略说明，对第二摄像机52以及图像修正部22进行详细说明。
图5是本实施方式涉及的图像处理装置3的结构概要图，图6是本 实施方式涉及的图像处理装置3的信息取得部50的设置例子，图7是 视角不同的信息取得部50设为处理对象的图像例。本实施方式涉及的 困像处理装置3包括信息取得部50以及ECU10，分别地，信息取得部 50包括第二摄像机52， ECU10包括图像修正部22。
第二摄像机52具有用于取得车辆周边的图像信息的图像传感器而 构成。作为图像传感器，例如使用CCD图像传感器或CMOS图像传感 器。第二摄像机52取得的像素数例如纵向为480，横向为640。此外， 与第一摄像机51相比，第二摄像机52使用视角窄的摄像机。在此，例 如，作为第一摄像机51使用水平方向的视角为±20°的摄像机，作为 第二摄像机52使用水平方向的视角为±10°的摄像机。此外，如图6 所示，第一摄像机以及第二摄像机52被设置在车辆60的前挡风玻璃61 的中央上部。例如，第一摄像机51被设置在车辆行进方向的中心线M 上，第二摄像机52被设置在第一摄像机51附近。此外，第二摄像机52 具有将拍摄到的图像信息向图像修正部22输出的功能。图像修正部22具有修正从第二摄像机52输入的图像的功能。图像 修正部22具有从运动量计算部20输入根据使用第一摄像机51拍摄到 的图像计算出的运动量，并修正第二摄像机52的图像的功能。
如图7所示，以此方式构成的图像处理装置3取得由第一摄像机拍 摄到的图像(a)和由第二摄像机拍摄到的图像(b)。在此，与图像(b) 相比，图像(a)包含相对于拍摄方向更靠向外侧的图像信息。图像处 理装置3使用视角较广的图像(a)以与第一实施方式相同的顺序计算 出车辆的运动量，使用计算出的运动量修正图像(b)的由车辆运动成 分造成的影响。
如上所述，根据本实施方式的图像处理装置3，对于由拍摄到的图 像信息形成的图像区域，能够仅以第一特定区域Al以及第二特定区域 A2为处理对象，因此能够高效地进行图像处理。此外，将比图像区域 的中心Pl侧靠近拍摄到的对象物的位置变化量较大的周边F1侧的区域 设为第一特定区域Al以及第二特定区域A2并提取，因此，能够准确 地把握图像的纵向以及横向的位移并计算出车辆的运动量。由此，能够 在保持精度的同时高效地计算出车辆的运动量。此外，由于减轻了图像 处理的负荷，所以能够增加单位时间能处理图像的次数，因此能够以更 短的周期检测运动量。据此，与横摆率传感器等的测量相比，能够进行 时间分辨率较好的测量。
此外，根据本实施方式的图像处理装置3，在行驶道路为左侧通行 的情况下，能够将从图像信息的整个区域的中心观察为左上方的区域设 为第一特定区域Al并提取，将右下方的区域设为第二特定区域A2并 提取，因此能够将设置在行进方向左上方的道路标记或建筑物等，以及 存在于行进方向右下方的白线或中央分离区等成为特征点的对象物可 靠地纳入特定区域内。
此外，根据本实施方式的图像处理装置3，能够从视角不同的摄像 机51、 52取得多个图像。在此，由比第二摄像机52的视角大的第一摄 像机51拍摄到的图像与由第二摄像机52拍摄到的图像相比，包含相对 于拍摄方向更靠向外侧的图像信息。因此，由于使用由第一摄像机51 拍摄到的图像检测对象物的位移，所以能够更加准确地把握图像的位 移。这样，在具有视角不同的摄像机51、 52的情况下，使用由视角大
13的笫一摄像机51拍摄到的图像来计算车辆的运动量，并使用计算出的 车辆运动量进行对由第二摄像机52拍摄到的图像的修正，由此能够高 精度地进行图像的修正。
(第四实施方式)
接着，说明本发明的第四实施方式涉及的图像处理装置。
第四实施方式涉及的图像处理装置4是几乎以与图l所示的第一实 施方式涉及的图像处理装置l相同的方式构成的装置，不同点在于包括 转向角传感器53、中央区域提取部(中央区域提取单元)21以及图像 修正部(第二修正单元)22。因此，对与第一实施方式相同的结构要素 赋予与第一实施方式相同的符号并省略说明，对转向角传感器53、中央
区域提取部21以及图傳 修正部22进行详细说明。
图8是本实施方式涉及的图像处理装置4的结构概要图，图9是本 实施方式涉及的图像处理装置3的信息取得部50设为处理对象的图像 例。本实施方式涉及的图像处理装置4包括信息取得部50以及ECUIO， 信息取得部50包括转向角传感器53， ECU10包括中央区域提取部21 以及图像修正部22。
转向角传感器53是检测通过转向盘手柄对转向盘进行了旋转操作 的角度作为转向角的传感器。该转向角传感器53具有检测转向角并向 中央区域提取部21输出的功能。
中央区域提取部21具有根据转向角来提取从第一摄像机51输入的 图像的中央部的功能。例如，在如图9的(a)所示那样未操作转向盘 手柄的状态下，提取位于图像的中心的中央区域A4。此外，在如图9 的(b)所示那样将转向盘手柄向左操作了的情况下，根据转向角的大 小从例如A5所示的区域中提取中央区域A4。这样，具有基于从转向角 传感器53输入的转向角使规定大小的区域滑动并提取图像的功能。
图像修正部22具有修正中央区域A4、 A5的图像的功能。图像修正 部22具有从运动量计算部20输入根据使用第一摄像机51拍摄到的图 像计算出的运动量，并修正中央区域A4、 A5的图像的功能。以此方式构成的图像处理装置4与第三实施方式所示的图像处理装 置3相同，能够得到中央区域A4、 A5的图像和整体图像这两个图像。 据此，与第三实施方式相同，能够使用整体图像计算运动量，使用计算 出的运动量进行对中央区域A4、 A5的图像的修正。
如上所述，根据本实施方式的图像处理装置4,对于由拍摄到的图
像信息形成的图像区域，能够仅以第一特定区域Al以及第二特定区域
A2为处理对象，因此能够高效地进行图像处理。此外，将比图像区域
的中心Pl侧靠近拍摄到的对象物的位置变化量较大的周边F1侧的区域
设为第一特定区域Al以及第二特定区域A2并提取，因此能够准确地
把握图像的纵向以及横向的位移并计算出车辆的运动量。由此，能够在
保持精度的同时高效地计算出车辆的运动量。并且，由于减轻了图像处
理的负荷，所以能够增加单位时间能处理图像的次数，因此能够以更短
的周期检测运动量。据此，与横摆率传感器等的测量相比，能够进行时 间分辨率较好的测量。
此外，根据本实施方式的图像处理装置4，在行驶道路为左侧通行 的情况下，能够将从图像信息的整个区域的中心观察为左上方的区域设 为第一特定区域Al并提取，将右下方的区域设为第二特定区域A2并 提取，因此能够将设置在行进方向左上方的道路标记或建筑物等，以及 存在于行进方向右下方的白线或中央分离区等成为特征点的对象物可 靠地纳入特定区域内。
此外，根据本实施方式的图像处理装置4，虽然不包括视角不同的 多个摄像机，也能够取得多个图像。提取作为图像信息的中央的区域的 中央区域A4、 A5，能够使用根据图像区域的周边F1侧的特定区域计算 出的运动量，修正中央区域A4、 A5的图像。在此，包含中央区域A4、 A5的整体图像与中央区域A4、 A5的图像区域相比，包含相对于拍摄 方向更靠向外侧的图像信息。因此，通过使用整体图像检测出对象物的 位移，能够更加准确地进行把握。此外，与第三实施方式相比，中央区 域A4、 A5的图像对应于由远景拍摄单元(窄角的拍摄单元)拍摄到的 图像，周边F1侧的特定区域对应于由广角的拍摄单元拍摄到的图像， 因此无须包括两个拍摄单元，而使用 一个图像便可高精度地进行远景的 图像处理的修正。另外，上述的各实施方式表示本发明涉及的图像处理装置的一例。本发明涉及的图像处理装置并不限定于上述各实施方式，可以在不改变权利要求书中记载的要点的情况下改变各实施方式涉及的图像处理装置，或者适用于其他装置。
例如，在实施方式中，说明了在左侧通行的情况下以从图像区域中心观察为左上方以及右下方的小区域为特定区域的例子，在右侧通信的情况下，最好以从图像区域中心观察为右上方以及左下方的小区域为特定区域。
此外，在实施方式中，说明了提取第三个特定区域的例，特定区域
也可以是4个以上，只要将提取到的多个特定区域相加得到的区域比整个区域小，就能取得减轻处理负荷的效果。
产业上的利用可能性
根据本发明，能够在保持计算出的运动量的精度的同时，高效地进行用于计算本车辆的运动量的图像处理。
权利要求
1、一种车载图像处理装置，其中，包括第一拍摄单元，拍摄车辆的周围作为图像信息；特定区域提取单元，将比由所述图像信息形成的图像区域的中心靠近周边侧的区域设为特定区域，并提取多个所述特定区域；以及运动量计算单元，基于多个所述特定区域内的图像信息来计算本车辆的运动量。
2、 根据权利要求l所述的车载图像处理装置，其中， 所述特定区域提取单元在行驶道路为左侧通行的情况下，将从所述图像区域的中心观察处于左上方的区域设为第一特定区域并提取，将从 所述图像区域的中心观察处于右下方的区域设为第二特定区域并提取。
3、 根据权利要求1或2所述的车载图像处理装置，其中，包括 第二拍摄单元，与所述第一拍摄单元相比，视角的大小较小；以及 第一图像修正单元，使用由所述运动量取得单元取得的所述运动量，修正由所述第二拍摄单元所取得的图像。
4、 根据权利要求1或2所述的车载图像处理装置，其中，包括 中央区域提取单元，从所述图像区域中提取作为所述图像区域的中央的区域的中央区域；以及第二图像修正单元，使用由所述运动量取得单元取得的所述运动 量，修正由所述中央区域提取单元所提取的中央区域的图像。
全文摘要
图像处理装置(1)包括拍摄车辆的周围的第一摄像机(51)；将比图像的中心靠近周边侧的区域设为特定区域(A1，A2)并提取的特定区域提取部(12，13)；以及基于多个特定区域内的图像信息来计算本车辆的运动量的运动量计算单元；由此，能够仅以拍摄到的图像中的第一特定区域(A1)以及第二特定区域(A2)为处理对象，因此能够高效地进行图像处理。
文档编号G06T1/00GK101689291SQ20088002227
公开日2010年3月31日 申请日期2008年7月17日 优先权日2007年7月17日
发明者阿久津英作 申请人:丰田自动车株式会社