专利名称：车辆周边监视装置的制作方法
技术领域：
本发明涉及车辆周边监视装置，详细来说，涉及将摄像头拍摄而得到的拍摄图像显示在监视器上并使驾驶人员通过显示在该监视器上的拍摄图像来识别出障碍物的技术。
背景技术：
作为如上述那样构成的车辆周边监视装置，在专利文献I中记载有如下的处理方式，即基于多个摄像头拍摄而得到的拍摄图像来生成车辆周边的俯瞰图像并将其显示在监视器(文献中是显示器)上，并且将该俯瞰图像中的车辆周边区域分割成多个区域，在用户通过触摸面板选择了该多个区域中的某个区域的情况下，将选择的区域的俯瞰图像放大显示在监视器上的处理方式。 在该专利文献I中，还记载有如下技术，即在监视器上分别独立地设定用于显示俯瞰图像的区域和用于显示放大图像的区域，能够选择对俯瞰图像进行放大而作为放大图像的模式和对拍摄选择的区域的摄像头拍摄而得到的拍摄图像(摄像头视点的图像)进行放大而作为放大图像的模式。另外，作为如上述那样构成的车辆周边监视装置，在专利文献2中记载有如下的处理方式，即基于多个摄像头拍摄而得到的拍摄图像来生成车辆周边的俯瞰图像并将其显示在监视器(文献中是显示装置)上，并且在通过车辆所具备的障碍物传感器来检测出障碍物的情况下，通过提取包含车辆的一部分和障碍物的图像来生成注意图像，将其显示在俯瞰图像中的与障碍物位置相当的位置。现有技术文献专利文献专利文献I :日本特开2009-239674号公报专利文献2 :日本特开2006-131166号公报
发明内容
发明要解决的问题例如，在将车辆移动到停车位置上的情况或在存在障碍物或停车状态的车辆的路面上移动车辆的情况下，需要确认车辆和车辆的附近的障碍物等之间的位置关系。相对于此，在专利文献I及专利文献2所述的技术中，能够通过俯瞰图像来掌握包含相对于驾驶人员的位置而成为死角的区域的车辆周边的整个区域的状况。然而，在进行俯瞰显示的装置中，即使在监视器上显示了障碍物，也会因障碍物的显示尺寸小而导致难以视觉辨认障碍物，另外，还难以掌握车辆和障碍物之间的间隔，因而存在改善的余地。相对于这样的不良情况，在专利文献I所述的技术中，对驾驶人员所指定的区域进行放大并将其显示在监视器上，由此能够通过对障碍物和车体之间的位置关系等进行放大而得到的图像来容易地确认障碍物。然而，在监视器上显示的多个区域的尺寸比较小，而且，需要驾驶人员从该多个区域中选择并指定存在障碍物的区域的操作，因而花费功夫，存在改善的余地。另外，在专利文献2中，在检测出障碍物的情况下，针对存在障碍物的区域，自动打开新窗口来显示障碍物，通过显示该窗口能够掌握障碍物和车体之间的位置关系。然而，在驾驶人员已掌握了障碍物的位置关系的情况下，因显示该窗口而导致其附近的路面等被窗口覆盖，进而导致不能以视觉辨认路面的状况，招致不良情况。本发明的目的在于，合理地构成在不会损害将在监视器上显示俯瞰图像的有效性的状态下能够掌握障碍物的位置的装置。用于解决问题的手段
本发明的车辆周边监视装置的特征在于，该车辆周边监视装置具有多个摄像头，它们拍摄包含车辆周边的路面的区域，图像处理部，其将多个所述摄像头拍摄而得到的拍摄图像显示在监视器上，障碍物检测单元，其检测车辆周边的障碍物；所述图像处理部具有俯瞰图像生成单元，其基于多个所述摄像头拍摄而得到的拍摄图像来生成从上方俯瞰车辆周边的俯瞰图像，并将该俯瞰图像显示在被分割成多个分割区域来进行管理的所述监视器的俯瞰图像显示区域中，特定信息输出单元，其在通过所述障碍物检测单元检测出障碍物时，通过强调显示所述多个分割区域中的通过所述障碍物检测单元检测出存在障碍物的分割区域的外周的框状部，来将该障碍物的检测出位置显示在所述监视器上。根据该结构，在监视器上显示俯瞰图像，并在通过障碍物检测单元检测出障碍物的情况下，通过特定信息输出单元来强调显示存在该障碍物的分割区域的外周的框状部。通过这样强调显示，能够掌握多个分割区域中的存在障碍物的区域。其结果，构成了在不损害将俯瞰图像显示在监视器上的有效性的状态下能够掌握障碍物的位置的装置。本发明也可以构成为提高所述框状部的亮度，或者，将所述框状部切换的色彩(色调)为不同的色彩，以进行所述强调显示的处理。这样一来，通过提高框状部的亮度或切换框状部的色彩，能够容易地确定与该框状部相对应的分割区域。本发明也可以构成为在所述监视器的显示面上具有触摸面板；该车辆周边监视装置还具有放大显示单元，该放大显示单元，在进行了所述强调显示的状况下，在通过触摸面板检测出接触了所述俯瞰图像显示区域时，将进行了所述强调显示的分割区域的图像放大显示在所述监视器上。这样一来，即使不进行为了选择分割画面而用手指接触的操作，也能够仅通过用手指等接触俯瞰图像显示区域来将包含障碍物的图像放大成放大显示区域的尺寸，由此确认障碍物。本发明也可以构成为所述放大显示单元，将显示在进行了所述强调显示的分割区域中的俯瞰图像设定为放大对象图像，设定用于放大显示该放大对象图像的放大显示区域，并且，基于所述放大对象图像来生成尺寸为所述分割区域的尺寸和所述放大显示区域的尺寸之间的中间尺寸的多个中间图像，并从尺寸小的中间图像起依次显示这些多个中间图像。这样一来，通过放大分割区域的俯瞰图像，能够通过视觉掌握包含障碍物的区域。另外，以渐渐放大分割区域尺寸的俯瞰图像的方式，将该俯瞰图像放大到放大显示区域的尺寸来进行显示，由此能够容易地掌握放大了哪个分割区域的俯瞰图像。本发明也可以构成为所述放大显示单元，将对进行了所述强调显示的分割区域进行拍摄的摄像头的拍摄图像设定为放大对象图像，设定用于放大显示该放大对象图像的放大显示区域，并且，基于所述放大对象图像来生成尺寸为所述分割区域的尺寸和所述放大显示区域的尺寸之间的中间尺寸的多个中间图像，并从尺寸小的中间图像起依次显示这些多个中间图像。这样一来，通过对拍摄包含障碍物的区域的摄像头的拍摄图像进行放大，能够以从摄像头的视点观察包含障碍物的区域的状态，以视觉来掌握障碍物。另外，以渐渐放大分割区域尺寸的拍摄图像的方式，将该拍摄图像放大到放大显示区域的尺寸来进行显示，由此能够容易地掌握放大了与哪个分割区域相对应的拍摄图像。 本发明也可以构成为所述放大显示单元，在被切换到所述障碍物检测单元未检测出障碍物的状态时，取代所述放大显示单元进行的放大显示，在所述俯瞰图像显示区域中显示所述俯瞰图像。这样一来，在车辆完全通过了存在障碍物的区域的情况下，将原来的俯瞰图像显示在俯瞰图像显示区域中，因而不通过人为操作也能够返回能够掌握整个车辆周边状态的状态。
图I是示出了车辆的概要结构的俯视图。图2是示出了车辆的结构的局部切口立体图。图3是控制系统的模块回路(电路)图。图4是车辆周边监视处理的流程图。图5是连续示出了在副显示区域中放大分割区域的俯瞰图像的处理的图。图6是连续示出了在副显示区域中放大分割区域的俯瞰图像的处理的图。图7是连续示出了在主显示区域中放大分割区域的俯瞰图像的处理的图。图8是连续示出了在监视器的整个画面上放大分割区域的俯瞰图像的处理的图。
具体实施例方式下面，基于附图，对本发明的实施方式进行说明。在本实施方式中，具有车辆周边监视装置，该车辆周边监视装置，根据利用车辆I所具备的多个摄像头拍摄而得到的拍摄图像，生成从上方俯瞰车辆I周边的方式的俯瞰图像，并将其显示到监视器21上。特别地，该车辆周边监视装置执行控制(下面，称之为放大处理)，在检测出车辆附近位置的障碍物X时，将显示在监视器21上的俯瞰图像分割成多个而设定分割区域Dl D4，并进行用于确定包含障碍物X的分割区域Dl D4的强调显示，并且将存在障碍物X的区域的图像放大显示在监视器21上。下面，对这样的控制方式和控制结构进行说明。[基本结构]如图I及图2所示，乘用车的车辆I具有左右前车轮2和左右后车轮3。在车辆I的前部位置具有通过铰链(折页)开闭自如的左前部车门4和右前部车门5，并且在车辆I的后部位置具有以滑动式开闭自如的左后部车门6和右后部车门7,而在车辆I的后端具有掀背(hatchback)式的背门(back door) 8。在车体I的车室内具有驾驶座13、副驾驶座14及多个后部坐席15。在驾驶座13的前方位置具有方向盘16,在该方向盘16的前部配置有具有仪表类的面板。驾驶座13的(驾驶员)脚下配置有油门踏板17和操作前车轮2及后车轮3的制动装置BK的制动踏板18，并且在驾驶座13的侧部配置有实现变速的变速杆19。在驾驶座13附近的仪表板的上部位置，具有在显示面上形成有触摸面板21T的监视器21。监视器21是具有背光灯(back light)的液晶监视器。显然，也可以是等离子显示类或CRT类。另外，触摸面板21T由将手指等的接触位置作为位置数据来输出的压力感应类或静电类指示输入装置构成。在监视器21的外壳21H上还具有扬声器22，但扬声器22也可以设置在车门内侧等其他位置。另外，将监视器21兼做导航系统的显示装置来使用，但为了显示车辆周边监视显示也可以具有专用的监视器。
在左前部车门4上具有左侧后视镜23，在右前部车门5上具有右侧后视镜24。在左侧后视镜23上具有左侧摄像头25，在右侧后视镜24上具有右侧摄像头26。在车辆I的如端具有如部摄像头27,在车辆I的后端具有后部摄像头28。特别地，左侧摄像头25和右侧摄像头26被设定为拍摄方向朝向下方，在拍摄区域中包含有车辆I的一部分。前部摄像头27和后部摄像头28设定为拍摄方向朝向斜下方，拍摄区域中包含有车辆I的一部分和路面。作为这些拍摄装置的摄像头是内置CCD(charge coupled device :电荷稱合器件)或CIS (CMOS image sensor :互补金属氧化物半导体型图像传感器)等拍摄器件的数码摄像头，实时输出拍摄而得到的信息作为动画(视频)信息。这些摄像头通过具有广角镜头而确保了宽广的视角。监视器21在导航模式控制中显示导航信息，但在将变速杆19操作到倒退(后退、倒车)挡位上时，显示后部摄像头28的拍摄图像。特别地，后部摄像头28拍摄而得到的拍摄图像通过镜面翻转左右而形成左右交换的图像，能够以与通过车室内后视镜来确认后方时的像相同的感觉来以视觉辨认监视器21的显示内容。在车辆前部具有将方向盘16的旋转操作力传递给前车轮2来进行驱动操向(操舵)的动力转向单元PS。另外，在车辆前部具有发动机E和对从该发动机E输出的动力进行变速并将其传递至前车轮2的由液力变矩器CVT等构成的变速机构T。变速机构T通过变速杆19的操作来切换前进和后退，并且对行驶速度进行变速。在车辆I上具有用于检测驾驶操作及车辆I的移动状态的各种传感器。若具体说明，则在方向盘16的操作系统中具有对转向操作方向(操舵方向)和操作量(操舵量)进行计测的转向传感器S16。在变速杆19的操作系统中具有判别挡位的挡位传感器S19。在油门踏板17的操作系统中具有对操作量进行计测的油门传感器S17，在所述制动踏板18的操作系统中具有检测操作有无的制动传感器S18。在后车轮3附近具有根据后车轮3的旋转量来对车辆I的移动量进行计测的光断续器类(photo-interrupter type)或拾波器类(pickup type)移动距离传感器S3。另外，也可以使用根据变速机构T内部的传动系统的旋转量来获取移动量的移动距离传感器S3。另外，移动距离传感器S3也可以对前车轮2的旋转量进行计测。并且，也可以通过对前部摄像头27或者后部摄像头28拍摄而得到的拍摄图像进行图像处理来检测出车辆I的移动量和转向量。[控制结构]在车辆I的中央部配置有E⑶(电子控制装置)30以作为本发明的车辆周边监视装置。如图3所示，该E⑶30具有由传感器输入接口 31和通信接口 32构成的接口，并且具有图像输出模块33和语音输出模块34。在该E⑶30中，具有对经由接口取得的信息进行处理的微处理器以及DSP(digital signal processor微处理器)等处理系统,处理结果从图像输出模块33输出至监视器21,另外,从语音输出模块34将语音信息输出至扬声器22。 在该ECU30中具有实现导航模式控制的导航控制部35、向导航控制部35提供地图信息的地图数据保存部36、实现停车支援模式控制的停车支援控制部37、检测车辆附近的障碍物X的障碍物检测部38 (障碍物检测单元的一个例子)以及实现车辆周边监视处理的图像处理部39。导航控制部35，在行驶时从GPS单元41获取用经度信息和纬度信息表示的自身车辆位置，并且获取与该自身车辆位置相对应的地图数据并将其显示在监视器21上。然后，将向目的地引导的导航信息显示在监视器21上，并且从扬声器22用语音输出引导信息。地图数据保存部36进行将与自身车辆位置相对应的地图数据提供给导航控制部35的处理。停车支援控制部37，在通过图像处理部39而在监视器21上显示的图像上，重叠显示用于将车辆I引导至停车位置的预想行进路线图像Y (参照图6的(a)部分)。驾驶人员基于显示在监视器21上的预想行进路线图像Y进行转向操作，由此能够将车辆I容易地导入至停车目标位置上。图像处理部39，在车辆周边监视处理中，在监视器21上以图5的(a)部分所示的布局来配置主显示区域21A和副显示区域21B (俯瞰图像显示区域的一个例子)，并且在主显示区域21A的上部位置显示表示拍摄了该区域的图像的摄像头的摄像头图标21C。另外，图像处理部39具有俯瞰图像生成单元39A，其根据前述的多个摄像头拍摄而得到的拍摄图像来生成从上方俯瞰车辆I的方式的俯瞰图像；分割区域管理单元39B，其将显示在监视器21上的俯瞰图像分割成多个分割区域Dl D4进行管理；特定信息输出单元39C，其强调显示多个框状部Fl F4中的与存在障碍物X的分割区域D相对应的框状部F，以作为用于从多个分割区域Dl D4中确定显示有障碍物X的区域；放大模式设定单元39D，其设定放大对象图像和放大显示区域；放大显示单元39E，其将放大对象图像放大到放大显示区域中。如图5的(a)部分示出那样，分割区域Dl和分割区域D2分别与车辆前部的左侧和右侧相对应，分割区域D3和分割区域D4分别与车辆后部的左侧和右侧相对应。与此同样地，如图5的(a)部分示出那样，框状部Fl F4也与分割区域Dl D4相对应。另外，将分割区域Dl D4的上位概念表示为分割区域D，将框状部Fl F4的上位概念表示为框状部F。E⑶30由电路构成，也可以在这样的电路中包含接口及输出系统的一部分或全部。另外，ECU30具有构成处理系统的电路，或者具有由存储器或记录器等构成的存储部来作为其他元件，通过数据总线、地址总线、控制总线等进行信息的输入输出。
传感器输入接口 31从转向传感器S16、挡位传感器S19、油门传感器S17、制动传感器S18及移动距离传感器S3接收驾驶操作信息以及用于检测移动状态的信息。通信接口 32经由通信线路与动力转向单元PS、变速机构T、制动装置BK、GPS单元41进行通信。并且，该通信接口 32从触摸面板21T、左侧摄像头25、右侧摄像头26、前部摄像头27及后部摄像头28获取信息。图像输出模块33向监视器21输出图像，语音输出模块34向扬声器22输出语音。[控制方式]在图4的流程图中示出了车辆周边监视显示处理的处理方式，并且图5 图8中示出了执行该处理时显示在监视器21上的显示内容。S卩，在选择了车辆周边监视处理的状态下变速杆19被设定在前进位置上时，如图 5的(a)部分示出那样，在主显示区域21A上显示前部摄像头27拍摄而得到的拍摄图像。在该主显示区域21A的上部位置显示表示该拍摄图像是前部摄像头27拍摄而得到的拍摄图像的摄像头图标21C，在副显示区域21B中显示俯瞰图像。与此相反，在变速杆19被设定在后退位置上时，如图6的(a)部分那样，在主显示区域21A显示后部摄像头28拍摄而得到的拍摄图像。在该主显示区域21A的上部位置显示表示该拍摄图像是后部摄像头28拍摄而得到的拍摄图像的摄像头图标21C，并且在副显示区域21B中显示俯瞰图像(#101、#102步骤)。作为具体的处理方式，在变速杆19被设定在前进位置上时，在主显示区域21A上显示前部摄像头27拍摄而得到的拍摄图像。相对于此，在变速杆19被设定在后退位置上时，获取后部摄像头28拍摄而得到的拍摄图像，并生成对该拍摄图像进行了左右交换的镜面翻转图像，并且将该图像显示在监视器21上。俯瞰图像生成单元39A获取由左侧摄像头25、右侧摄像头26、前部摄像头27及后部摄像头28拍摄而得到的拍摄图像，并将这些拍摄图像变换为从上方俯瞰的方式的投影图像，再通过将这些投影图像映射绘制(mapping)在包围车辆图像的位置的假想平面上，来生成配置在路面上的单一的俯瞰图像，以作为在副显示区域21B中显示的俯瞰图像。如通过用虚线表示的分区线L进行分区那样，将这样显示的俯瞰图像分割成四个分割区域Dl D4来进行管理。另外，虽然在图6的(a)部分中没有将分区线L显示在画面上，但也可以设定为将该分区线L显示在画面上的处理方式。特别地，显示在副显示区域21B上的俯瞰图像是基于四个摄像头拍摄而得到的拍摄图像来生成的，但用分区线L分区的四个分割区域Dl D4上的每个俯瞰图像是通过合成两个摄像头拍摄而得到的拍摄图像来生成的。即，在车辆I的前后位置的角部的外侧位置上形成由两个摄像头拍摄而得到的拍摄图像的重复区域W (参照图1)，因而对该重复区域W进行合成处理而使边界部位不醒目。并且，在这样合成的俯瞰图像被设定为放大对象图像时，将该俯瞰图像放大成放大显示区域的尺寸。另外，在变速杆19被设定在后退位置上时，也能够与停车支援控制一同执行，在这样执行停车支援控制时，如图6的(a)部分所示，在主显示区域21A和副显示区域21B上重叠显示预想行进路线图像Y。预想行进路线图像Y是表示在以当前的转向量使车辆I后退时车辆I移动的路线的图像，该预想行进路线图像Y是以与显示在监视器21上的拍摄图像相对应的纵深感而在与路面相同的假想平面上生成的。该行进路线预想图像，由与车辆I的宽度相同的宽度的一对车宽线Ya和表示在车辆I后退了设定量时所到达的位置的多个距离线Yb而形成为框状。前述的障碍物检测部38构成为软件，该软件用于从在左侧摄像头25、右侧摄像头26、前部摄像头27及后部摄像头28的拍摄区域中重复的重复区域W的图像中提取产生视差的立体物来作为障碍物X。能够如下说明这样提取立体物的处理的概要。即，将两个摄像头拍摄而得到的拍摄图像中的重复区域W的图像投影变换在同一背景的假想平面上，使投影变换后的各图像以相同背景一致的位置关系重叠。在这样重叠时不一致的图像为立体物，由此将该立体物推定为障碍物X，并确定障碍物X的位置。这样的两个摄像头的拍摄区域的重复区域W也是对驾驶人员来说成为死角的区域，因而仅将存在于该区域的障碍物X作为检测对象是合理的。另外，为了放大该障碍物X的检测区域，也可以在车辆上安装四个以上的摄像头。并且，该障碍物检测部38也可以是通过光流法的技术来检测障碍物X的软件。
特别地，也可以将超声波式等的障碍物传感器作为障碍物检测部38安装在车辆I的前端或后端等多个部位上。为了这样检测障碍物X，使用障碍物传感器来构成障碍物检测部38，由此能够检测车辆I全周的障碍物X。在通过障碍物检测部38检测出障碍物X的情况下，具体来说，在分割区域Dl D4中，在如图5示出那样在分割区域D2中存在障碍物X的情况下，指定分割区域D2 (包含所检测出的障碍物X的分割区域D)，并强调显示该分割区域D2的外周的框状部F2 (在图中用影线示出)，与此同时，变更存在障碍物X的分割区域D2的色调，并从扬声器22输出警报音(#103、#104步骤)。此外，也可以不变更D2的色调。此时，也可以仅变更中间图像的色调。在该处理中，针对由分割区域管理单元39B管理的分割区域Dl D4中的存在障碍物X的分割区域D2，由特定信息输出单元39C对框状部F2提高亮度、提高色度、或将其变更为不同的色彩，由此实现强调显示。也可以与这样的强调显示一起将框状部F2的显示变更为闪烁显示。另外，作为将存在障碍物X的分割区域D2的色调变更为不同的色调的处理，例如可考虑对分割区域D2的图像的各像素的三原色中的B (蓝)的成分提高亮度或降低亮度的这样的处理。并且，从扬声器22输出的警报音不仅可以采用电子音，还可以是人的语目的消息。接着，在检测出驾驶人员的手指等接触副显示区域21B的接触操作的情况下，进行如下处理将该接触操作作为契机，将已指定的分割区域D2的图像(俯瞰图像或摄像头拍摄而得到的拍摄图像)作为放大对象图像，并将放大对象图像放大到放大显示区域中(#105、#106 步骤)。在该处理中，按照由放大模式设定单元39D设定的放大模式，由放大显示单元39E进行放大处理。在该放大模式中，设定放大对象图像和放大显示区域。将在存在障碍物X的分割区域D2中显示的俯瞰图像和正在拍摄该障碍物X的摄像头的拍摄图像(成为摄像头视点的图像)中的任意一个图像，设定为放大对象图像。另外，设定以下模式中的任意一个模式，这些模式是将副显示区域21B设定为放大显示区域的通常放大模式、将主显示区域21A设定为放大显示区域的其他画面放大模式、将监视器21的整个画面设定为放大显示区域的整个画面放大模式。作为设定该放大模式的方法，通过将模式设定画面显示在监视器21上，通过人为操作来预先设定放大模式。[控制方式通常放大模式]放大显示单元39E，在通常放大模式中进行放大处理时，设定放大对象图像(图中是分割区域D的俯瞰图像)，并设定图5及图6所示的副显示区域21B作为放大显示区域，并且在分割区域D2/D3 (图5中表示D2、图6中表示D3)和放大显示区域(副显示区域21B)之间设定放大显示轨迹(未图示)。接着，如图5的(b)部分及图6的(b)部分所示，通过放大分割区域D2/D3的图像(俯瞰图像)，来生成尺寸比该分割区域D2/D3尺寸稍微大的尺寸的中间图像M，并在整体覆盖作为显示起点的分割区域D2/D3 (因存在障碍物X而被指定的分割区域D)的位置上，在副显示区域21B的俯瞰图像上重叠显示该中间图像M。在刚刚进行了该处理之后，如图5的 (c)部分及图6的(c)部分如所示，通过进一步放大分割区域D2/D3的图像(俯瞰图像)，来生成更大尺寸的中间图像M，并在沿放大显示轨迹的位置上显示该中间图像M。此时，删除之前显示的中间图像M而显示下一个中间图像M，在该通常放大模式中，以整体覆盖之前显示的中间图像M的位置关系，在副显示区域21B的俯瞰图像上重叠显示下一个中间图像M。这样一边使中间图像M的尺寸沿着放大显示轨迹渐渐移动，一边显示尺寸依次变大的中间图像M。例如在0. 5秒或I秒左右的时间内执行该放大显示，并最终如图5的(d)部分及图6的(d)部分所示，将放大分割区域D2/D3的图像(俯瞰图像)而成的放大图像显示在整个副显示区域21B的区域内。然后，通过在该放大图像的角上显示区域图标21D来结束放大处理。特别地，将区域图标21D设定为表示摄像头的拍摄区域的形状，并且，将其尺寸设定为不会使其重叠在路面上(重叠在车辆图像上的尺寸)，能够根据该区域图标21D来识别出放大对象图像的原来的位置。[控制方式其他画面放大模式]放大显示单元39E，在其他画面放大模式中进行放大处理时，设定放大对象图像(在图7中是分割区域D3的俯瞰图像)，将主显示区域21A设定为放大显示区域，并且在分割区域D3和放大显示区域(主显示区域21A)之间设定放大显示轨迹(未图示)。在该控制方式中也变更存在障碍物X的分割区域D3的色调，并强调显示其外周的框状部F3(在图中用影线示出)。接着，如图7的(a)部分所示，通过放大分割区域D3的图像(俯瞰图像)，来生成尺寸比该分割区域D3的尺寸稍微大的中间图像M，并在覆盖作为显示起点的分割区域D3 (因存在障碍物X而被指定的分割区域D)的大部分区域的位置上，重叠显示该中间图像M。在刚刚进行了该处理之后，如图7的(b)部分所示，通过进一步放大分割区域D3的图像(俯瞰图像)，来形成更大尺寸的中间图像M，并在沿放大显示轨迹的位置上显示该中间图像M。这样一边使中间图像M的尺寸沿着放大显示轨迹渐渐移动，一边显示尺寸依次变大的中间图像M。例如在0. 5秒或I秒左右的时间内执行该放大显示，并最终如图7的(c)部分所示，将放大分割区域D3的图像(俯瞰图像)而成的放大图像显示在整个主显示区域21A的区域内。然后，通过在该放大图像的角上显示区域图标21D来结束放大处理。特别地，区域图标21D具有表示摄像头的拍摄区域的形状，能够根据该区域图标21D来识别出放大对象图像的原来的位置。在该其他画面放大模式中，由于放大显示区域(主显示区域21A)和分割区域D3之间的高宽比不同，因而将分割区域D3的俯瞰图像放大显示在整个主显示区域21A的区域内的放大图像会发生变形。另外，也可以保留显示障碍物X的区域的同时，切除放大图像的上下方向上的端部，以此方式进行显示。[控制方式全面放大模式]放大显示单元39E，在整个画面放大模式中进行放大处理时，设定放大对象图像(在图8中是分割区域D3的俯瞰图像)，将监视器21的显示区域设定为放大显示区域，并且在分割区域D3和放大显示区域(监视器21的显示区域)之间设定放大显示轨迹(未图示)。在该控制方式中也变更存在障碍物X的分割区域D3的色调，并强调显示其外周的框状部F3(在图中用影线示出)。 接着，如图8的(a)部分所示，通过放大分割区域D3的图像(俯瞰图像)，来生成尺寸比该分割区域D3的尺寸稍微大的中间图像M，并在覆盖作为显示起点的分割区域D3 (因存在障碍物X而被指定的分割区域D)的大部分区域的位置上，重叠显示该中间图像M。在刚刚进行了该处理之后，如图8的(b)部分所示，通过进一步放大分割区域D3的图像(俯瞰图像)，来形成更大尺寸的中间图像M，并在沿放大显示轨迹的位置上显示该中间图像M。这样一边使中间图像M的尺寸沿着放大显示轨迹渐渐移动，一边显示尺寸依次变大的中间图像M。例如在0. 5秒或I秒左右的时间内执行该放大显示，并最终如图8的(c)部分所示，将放大分割区域D3的图像(俯瞰图像)而成的放大图像显示在整个监视器21的显示区域内。然后，通过在该放大图像的角上显示区域图标21D来结束放大处理。特别地，区域图标21D具有表示摄像头的拍摄区域的形状，能够根据该区域图标21D来识别出放大对象图像的原来的位置。在该整个画面放大模式中，也由于放大显示区域(监视器21的显示区域)和分割区域D3之间的高宽比不同，因而将分割区域D3的俯瞰图像放大显示在整个监视器21的显示区域内的放大图像会发生变形。另外，也可以保留显示障碍物X的区域的同时，切除放大图像的上下方向上的端部，以此方式进行显示。无论以何种放大模式进行放大处理，都通过以分割区域D的位置作为起点而使中间图像M的显示位置沿放大显示轨迹移动的方式(在图5及图6的通常放大模式中，中间图像M的角的位置不移动)进行放大，从而使被放大的原图像的位置(存在障碍物X的分割区域D的位置)明显(清楚)的同时以推摄(zoom up)方式实现放大。并且，通过在放大图像的角上显示区域图标21D，或者根据区域图标21D的显示位置，也能够识别出放大图像是哪个区域的图像。另外，无论以何种放大模式进行放大处理，都通过进行针对动画层(animationlayer)来形成中间图像M的处理来实现重叠显示，因而在重叠显示的状态下，无论是在俯瞰图像中还是在拍摄图像中，均能够实时显示车辆I和障碍物X之间的位置关系的变化。另夕卜，如下面的说明那样在删除放大图像而返回原来的显示的情况下，只要删除动画层的图像即可。接着，在检测出驾驶人员的手指等接触监视器21的任何区域的接触操作的情况下，或者，在障碍物检测部38处于未检测出障碍物X的状态的情况下，通过删除放大图像，并转移至#101步骤的处理，来控制返回至在监视器21的主显示区域21A上显示拍摄图像并在副显示区域21B中显示俯瞰图像(#107 #109步骤)。然后，继续进行该车辆周边监视显示处理，直至进行了中止该控制的选择为止(#110 步骤)。这样在本发明中，在要将车辆I导入至停车位置的情况，或者，在存在围栏或停车状态的车辆等障碍物X的路面上移动车辆I的情况下，在监视器21的主显示区域21A中显示摄像头的拍摄图像，并在监视器21的副显示区域21B中显示俯瞰图像。由此，即使障碍物X处于驾驶人员的死角的位置上，也能够确认车辆I和车辆的附近的障碍物X之间的位
置关系。另外，在接近障碍物X的情况下，通过进行强调显示，S卩，提高俯瞰图像的分割区域Dl D4中存在障碍物X的分割区域D的外周的框状部Fl F4中的所对应的框状部F的亮度，并与该显示处理同时进行变更存在障碍物X的分割区域D的色调的显示，从扬声器22输出警报音，由此能够掌握存在障碍物X的区域。·这样在能够掌握障碍物X的存在位置的状态下，通过将手指等接触到副显示区域21B上，将分割区域Dl D4中的存在障碍物X的分割区域D放大显示在放大显示区域中，由此能够通过放大图像来确认障碍物X和车辆I之间的位置关系。特别地，在将多个分割区域Dl D4中的某个图像放大显示在放大显示区域中时，以存在障碍物X的分割区域D为起点，以使不同尺寸的多个中间图像M从小尺寸向大尺寸过渡的方式沿着放大显示轨迹依次移动，以此方式进行显示。通过这样进行放大，来在使被放大的原图像的位置(存在障碍物X的分割区域D的位置)明显(清楚)的同时以推摄的方式进行放大。并且，放大显示存在障碍物X的区域的俯瞰图像或者拍摄了障碍物X的摄像头的拍摄图像，其结果，能够根据放大的图像来掌握障碍物X和车辆I之间的位置关系，从而能够以避免与障碍物X接触的方式实现车辆I的移动。[其他实施方式]本发明除了上述实施方式以外，也可以如下构成。(a)在将俯瞰图像分割成多个分割区域D来进行管理时，也可以如分割成两个或六个那样分割成四个以外的个数来进行管理。特别地，也可以构成为能够由用户任意设定该分割个数。另外，在分割成多的个数的情况下，能够识别出障碍物X接近相对于车辆I周边的局部区域的障碍物X的接近，并且能够放大显示该部位。(b)作为用于执行对存在障碍物X的分割区域D的图像进行放大的放大处理的操作，也可以设定通过用手指灯接触监视器21的显示区域的任何部位都会开始进行放大处理的控制方式，还可以在监视器21上显示用于开始放大处理的放大按钮等。与此同样地，也可以在监视器21上显示用于结束放大显示的专用的按钮。(C)在通过放大模式设定单元39D的放大处理来设定放大对象图像时，在车辆I之前侧检测出障碍物X的情况(障碍物X存在于车辆前侧的分割区域D中的情况)下，将俯瞰图像设定为放大对象图像。与此相反地，在车辆I之后侧检测出障碍物X的情况(障碍物X存在于车辆后侧的分割区域D中的情况)下，将摄像头拍摄而得到的拍摄图像设定为放大对象图像。
其理由如下在车辆I的前端侧存在障碍物X的情况下，驾驶人员能够通过摆出探出身子的姿势来进行视觉辨认，对于这样能够视觉辨认的障碍物X，通过将俯瞰图像设定为放大对象图像来显示从与驾驶人员通过眼睛看到的障碍物X的方向不同的方向观察到的障碍物X更为有效。另外，在车辆I的后端侧存在障碍物X的情况下，驾驶人员大多看不到障碍物X，从而以直接观察摄像头拍摄而得到的拍摄图像的感觉接近的图像的拍摄图像设定为放大对象图像更为有效。(d)在通过放大模式设定单元39D的放大处理来设定放大对象图像时，能够通过障碍物检测部38来对障碍物X的高度进行计测，在高度超过设定值的情况(比较高的情况)下，以能够识别高度的方式将摄像头拍摄而得到的拍摄图像设定为放大对象图像。与此相反地，在高度小于设定值的情况(比较低的情况)下，因不需识别高度而将俯瞰图像设定为放大对象图像。通过这样选择放大对象图像，能够容易地掌握障碍物X的高度。(e)在前述的其他实施方式(C)及(d)中，在将摄像头拍摄而得到的拍摄图像设定 为放大对象图像时，在判断为方向盘16的操作方向是使车辆I的行进方向向障碍物X接近的方向的情况下，将侧部摄像头(左侧摄像头25或右侧摄像头26)拍摄而得到的拍摄图像设定为显示对象图像。在判断为车辆I的行进方向是从障碍物X离开的方向的情况下，将车辆I端部的摄像头(如部摄像头27或后部摄像头28)拍摄而得到的拍摄图像设定为显不对象。这样通过基于转向方向来选择获取拍摄图像的摄像头，即使在将车辆I向接近障碍物X的方向稍微移动的情况下，也能够通过侧部摄像头(左侧摄像头25或右侧摄像头26)拍摄而得到的拍摄图像，容易地掌握障碍物X和车辆I之间的相对位置关系的变化。另外，在车辆I向从障碍物X离开的方向移动的情况下，能够通过车辆I端部的摄像头拍摄而得到的拍摄图像，在监视器21上显示车辆I的行进方向的宽广的区域而确定行进方向。(f)另外，检测“接触了俯瞰图像显示区域(副显示区域)”的处理，可以通过检测从未接触触摸面板21T (俯瞰图像区域)的状态向接触的接触状态的状态变化来进行，也可以通过检测从手指等接触触摸面板21T (俯瞰图像区域)的状态到手指等离开的状态的状态变化来进行。产业上的可利用性本发明能够用于具有如下的图像处理系统的所有的车辆上，其中，该图像处理系统是根据车辆所具备的多个摄像头拍摄而得到的拍摄图像来生成俯瞰图像并将其显示在监视器上的图像处理系统。附图标记的说明I 车辆21监视器21B俯瞰图像显示区域(副显示区域)2IT触摸面板25摄像头(左侧摄像头)26摄像头(右侧摄像头)27摄像头(前部摄像头)28摄像头(后部摄像头)
38障碍物检测单元(障碍物检测部)39图像处理部39A俯瞰图像生成单元39C特定信息输出单元39E放大显示单元D分割区域
F框状部M中间图像X障碍物
权利要求
1.一种车辆周边监视装置，其特征在于， 具有: 多个摄像头，它们拍摄包含车辆周边的路面的区域， 图像处理部，其将多个所述摄像头拍摄而得到的拍摄图像显示在监视器上， 障碍物检测单元，其检测车辆周边的障碍物； 所述图像处理部具有 俯瞰图像生成单元，其基于多个所述摄像头拍摄而得到的拍摄图像来生成从上方俯瞰车辆周边的俯瞰图像，并将该俯瞰图像显示在被分割成多个分割区域来进行管理的所述监视器的俯瞰图像显示区域中， 特定信息输出单元，其在通过所述障碍物检测单元检测出障碍物时，通过强调显示所述多个分割区域中的通过所述障碍物检测单元检测出存在障碍物的分割区域的外周的框状部，来将该障碍物的检测出位置显示在所述监视器上。
2.如权利要求I所述的车辆周边监视装置，其特征在于， 提高所述框状部的亮度，或者，将所述框状部切换的色彩为不同的色彩，来进行所述强调显示。
3.如权利要求I或2所述的车辆周边监视装置，其特征在于， 在所述监视器的显示面上具有触摸面板， 该车辆周边监视装置还具有放大显示单元，该放大显示单元，在进行了所述强调显示的状况下，在通过触摸面板检测出接触了所述俯瞰图像显示区域时，将进行了所述强调显示的分割区域的图像放大显示在所述监视器上。
4.如权利要求3所述的车辆周边监视装置，其特征在于， 所述放大显示单元，将显示在进行了所述强调显示的分割区域中的俯瞰图像设定为放大对象图像，设定用于放大显示该放大对象图像的放大显示区域，并且，基于所述放大对象图像来生成尺寸为所述分割区域的尺寸和所述放大显示区域的尺寸之间的中间尺寸的多个中间图像，并从尺寸小的中间图像起依次显示这些多个中间图像。
5.如权利要求3所述的车辆周边监视装置，其特征在于， 所述放大显示单元，将对进行了所述强调显示的分割区域进行拍摄的摄像头的拍摄图像设定为放大对象图像，设定用于放大显示该放大对象图像的放大显示区域，并且，基于所述放大对象图像来生成尺寸为所述分割区域的尺寸和所述放大显示区域的尺寸之间的中间尺寸的多个中间图像，并从尺寸小的中间图像起依次显示这些多个中间图像。
6.如权利要求3至5中任意一个项所述的车辆周边监视装置，其特征在于， 所述放大显示单元，在被切换到所述障碍物检测单元未检测出障碍物的状态时，取代所述放大显示单元进行的放大显示，在所述俯瞰图像显示区域中显示所述俯瞰图像。
全文摘要
提供一种在不损害将俯瞰图像显示在监视器上的有效性的状态下能够通过监视器来掌握障碍物的位置的装置。俯瞰图像生成单元基于多个摄像头拍摄而得到的拍摄图像来生成俯瞰图像，并将该俯瞰图像显示在监视器21的副显示区域21B中。在障碍物检测部检测出在车辆附近存在的障碍物X的情况下，特定信息输出单元强调显示存在障碍物X的俯瞰图像的分割区域D2的外侧的框状部F2。在进行了该强调显示的状况下，通过用手指等接触副显示区域21B，将拍摄到障碍物X的图像放大显示在副显示区域21B中。
文档编号B60R11/02GK102812704SQ20118001452
公开日2012年12月5日 申请日期2011年2月2日 优先权日2010年3月26日
发明者三好英彦, 长岭升, 三浦健次, 山本欣司, 后藤谦二郎 申请人:爱信精机株式会社