车辆周围监测装置制造方法
【专利摘要】本发明提供一种车辆周围监测装置（10）。在由搭载在车辆（12）上的拍摄装置（16）所拍摄到的图像检测出的行人（62）与动物（162）在图像上满足规定关系（位于附近等）时，判定为所述动物（162）是与所述行人有一定关系的，即判定为所述行人（62）与所述动物（162）是成对对象物（Pobj），不针对构成成对对象物（Pobj）的所述动物（162）生成所述注意提醒输出。因而，能够降低针对随人散步的动物（例如狗等小型动物）的注意提醒的频度。
【专利说明】车辆周围监测装置
【技术领域】
[0001]本发明涉及一种车辆周围监测装置，其使用搭载在车辆上的红外线摄像头等所拍摄到的图像(灰度图像)对所述车辆的周围进行监测。
【背景技术】
[0002]如日本发明专利公开公报特开2003-284057号(下面称为JP2003-284057A)所记载的，在现有的车辆周围监测装置中，由红外线摄像头捕捉到自车周围的图像(灰度图像以及其2值化图像)，根据该图像检测出有可能与自车发生接触的行人等的对象物，将检测出的对象物提供(报知)给自车的驾驶员。
[0003]在JP2003-284057A所涉及的车辆周围监测装置中，由左右一对红外线摄像头(立体摄像头)拍摄到表示自车辆周围的情况的图像，将该图像中温度较高的部分检测为上述对象物(的部分)，求得左右图像中的对象物的视差从而计算出自车到该对象物的距离，根据该对象物的移动方向与该对象物的位置检测出将要对自车辆的行驶造成影响(有接触的可能)的行人等的对象物，并发出警报(JP2003-284057A的0014、0018段)。
[0004]在日本专利授权公报4267657号(下面称为JP4267657B)所涉及的车辆周围监测装置中，使用搭载在车辆上的一个红外线摄像头，以规定的时间间隔至少对车辆周围的对象物进行2次(2帧)拍摄。对象物与车辆周围监测装置所搭载的车辆之间的相对速度越高，那么，本次的拍摄图像中对象物图像的大小(尺寸)相比于前次图像的大小(尺寸)的变化越大。并且，车辆前方存在的对象物与车辆的相对速度越高，则该对象物(相对而言地)到达车辆处的时间越短。如此，即使使用一个红外线摄像头，也能够使用以规定时间间隔获得的图像根据同一对象物图像部分的大小的变化率来推定对象物到达车辆处的时间，从而对车辆周围进行监测(JP4267657B 的 0006、0007、0061 段)。
[0005]在日本发明专利授权公报4173901号(下面称为JP4173901B)中公开有如下这样一种技术，即，考虑到存在于车辆周围、有可能与车辆发生接触的对象物并不限于行人，例如在道路上有可能存在鹿等大型动物从而与车辆发生接触，因而，在其中所涉及的车辆周围监测装置中，从对象物中检测出人以外的动物(JP4173901B的0006段)。
【发明内容】
[0006]作为有可能与车辆发生接触的对象物，JP4173901B中例举出了鹿等大型动物，公开了对该大型动物进行检测的技术，然而，有可能与车辆发生接触的对象物还有狗等小型动物。
[0007]采用JP4173901B中所记载的技术的话，例如在人行道上存在狗等小型动物时，会判定为该狗等的小型动物有可能会进入车道而与车辆发生接触，从而作为警报对象发出警报。
[0008]然而，在行人通过绳索牵着小型动物在人行道等上面散步时，通常，当所述车辆靠近时，使小型动物散步(被遛)的所述行人会通过拉拽绳索等而避免所述小型动物与所述车辆发生接触。
[0009]如此，虽然此时实际上不存在小型动物与车辆发生接触的可能性，但是，采用上述JP4173901B中所记载的技术的话，在行动模式难以获知的狗等的小型动物存在于例如人行道等上时，车辆周围监测装置会求得该狗等的小型动物的移动矢量(JP4173901B中的0046,0047段)，因而，即使对象物是随行人一起散步的动物(下面也会成为散步动物)，也会判定为该狗等的小型动物有可能会进入车道而与车辆发生接触，将其识别为警报对象，进而发出警报。这会造成过高频度地进行警报报知等，产生使驾驶员等感到烦躁的问题，在这一点上，存在改进的余地。
[0010]特别是，现有技术中的这样的车辆周围监测装置中，使按照特异的行动模式进行不规则的移动的动物的警报对象(条件)范围，比能够主观性地回避车辆的行人的警报对象范围大，对于这样的车辆周围监测装置而言，很有可能即使在对象物是散步动物时，会以极高的频度针对该散步动物进行警报报知。
[0011]有鉴于上述问题，作出了本发明，本发明的目的在于，提供一种能够降低对随人进行散步的动物(例如狗等的小型动物)的注意提醒的频度。
[0012]本发明的车辆周围监测装置，其使用搭载在车辆上的拍摄装置所拍摄到的图像对所述车辆的周围进行监测，该车辆周围监测装置包括:行人检测处理部，其由所述图像检测出作为要监测的对象物的行人；动物检测处理部，其由所述图像检测出作为要监测的对象物的动物；成对对象物判定处理部，在由所述图像检测出的所述行人与所述动物在所述图像上满足规定关系时，该成对对象物判定处理部判定为所述行人与所述动物是成对对象物；注意提醒输出生成判定部，其判定是否生成用于向所述车辆的驾驶员进行注意提醒的注意提醒输出。在由所述成对对象物判定处理部判定为所述行人与所述动物是成对对象物时，所述注意提醒输出生成判定部不针对构成所述成对对象物的所述动物生成所述注意提醒输出。
[0013]采用这样的本发明，在由搭载在车辆上的拍摄装置所拍摄到的图像检测出的行人与动物在所述图像上满足规定关系时，视为所述动物是与行人有关系，即，视为行人与动物是成对对象物，将构成成对对象物的动物视为处于所述行人的监督(控制)下的、不需要(对驾驶员)进行注意提醒的动物，不会针对该动物生成注意提醒输出，因而，能够降低驾驶员的烦躁感(厌烦感)。
[0014]在行人使狗等的动物散步(遛狗)时，不会将所述动物作为注意提醒对象
[0015]在所检测出的所述行人与所述动物存在于规定范围内时，所述成对对象物判定处理部可以判定为所述行人与所述动物是成对对象物。在所检测出的所述行人与所述动物存在于规定范围内时，属于成对对象物的可能性较高，因而能够据此以简单的结构判定是否为成对对象物。
[0016]另外，也可以是，在所检测出的所述动物的身高低于所述行人的身高时，所述成对对象物判定处理部判定为所述行人与所述动物是成对对象物。在所检测出的所述动物的身高低于所述行人的身高时，属于成对对象物的可能性较高，因而据此能够更加精确地判定是否为成对对象物。
[0017]当在所检测出的所述行人与所述动物之间检测到绳索时，所述成对对象物判定处理部判定为所述行人与所述动物是成对对象物。当在所检测出的所述行人与所述动物之间检测到绳索时，属于由狗以及通过绳索牵着狗的行人构成的成对对象物的可能性较高，因而，此时据此能够更加精确地判定是否属于成对对象物。
[0018]车辆周围监测装置还可以包括显示部，其根据所述注意提醒输出进行显示，此时，所述注意提醒输出可以为，使在所述显示部上，由一个显示框将所述成对对象物围起来而进行注意提醒的输出。如此，在显示部上用一个显示框包围所述成对对象物促使驾驶员注意，从而，驾驶员看一下便能认识到行人以及与该行人有规定关系的动物。
[0019]采用本发明，在由搭载在车辆上的拍摄装置所拍摄到的图像检测出的行人与动物在所述图像上满足规定关系时，视为动物是与行人有关系，即，视为行人与动物是成对对象物，将构成成对对象物的动物视为处于所述行人的监督(控制)下的、不需要(对驾驶员)进行注意提醒的动物，不会针对该动物生成注意提醒输出，因而，能够降低驾驶员的烦躁感。
【专利附图】
【附图说明】
[0020]图1为本发明一个实施方式中的车辆周围监测装置的结构框图；
[0021]图2为搭载有图1所示的车辆周围监测装置的车辆(也称为自车)的示意图；
[0022]图3为用于说明车辆周围监测装置的图像处理单元所进行的动作的流程图；
[0023]图4为行人检测处理中所使用的行人的图像的示意图；
[0024]图5为动物检测处理中所使用的动物的图像的示意图；
[0025]图6为成对对象物的提取条件的说明图；
[0026]图7为成对对象物的其他提取条件的说明图；
[0027]图8为成对对象物的其他提取条件的说明图；
[0028]图9为成对对象物的其他提取条件的说明图；
[0029]图10为【具体实施方式】中涉及的图像显示的说明图；
[0030]图11为比较例所涉及的图像显示的说明图；
[0031]图12为搭载有变形例涉及的车辆周围监测装置的车辆的示意图。
【具体实施方式】
[0032]下面参照附图对本发明的【具体实施方式】进行说明。
[0033]图1为本发明一个实施方式中的车辆周围监测装置10的结构框图。图2为搭载有图1所示的车辆周围监测装置10的车辆(也称为自车)12的示意图。
[0034]如图1与图2所示，车辆周围监测装置10具有:图像处理单元14，其用于控制该车辆周围监测装置10 ;—个(单眼式)红外线摄像头16 (拍摄装置)，其与图像处理单元14相连接；车速传感器18，其用于检测车辆12的车速Vs ;制动传感器20，其用于检测驾驶员对制动踏板的操作量(制动操作量)Br ;偏航角速率传感器22，其用于检测车辆12的偏航角速率；扬声器24，其用于以声音的形式发出警报等；图像显示装置26，其包括HUD (Head UpDisplay，平视显示器)26a等，用于显示红外线摄像头16所拍摄到的图像，使车辆的驾驶员认识到与车辆接触的危险性较高的行人等对象物(移动对象物)。
[0035]作为图像显示装置26而言，并不限于HUD (平视显示器)26a，也可以利用用于显示搭载在车辆12上的导航系统的地图等的显示器、设置在仪表单元内等的用于显示燃料消耗的显示器(多消息显示器(multi information display))等。[0036]图像处理单元14根据车辆12的周围的红外线图像(表示周围情况的红外线图像)与表示车辆的行驶状态的信号(此处，为车速Vs、制动操作量Br以及偏航角速率Yr)，检测出车辆前方的行人与动物等的监测对象物，在判断为该监测对象物与车辆发生接触的可能性较高时，由扬声器24发出警报(例如，“滴、滴…”这样的声音)，并且，在HUS26a上，将以灰度图像形式显示的拍摄图像中的监测对象物用黄色或红色等醒目的颜色的线框围起来。从而，提醒驾驶员注意。
[0037]其中，图像处理单元14具有:A/D变换电路等的输入电路，该A/D变换电路用于将模拟输入信号变换为数字信号；图像存储器(存储部14m)，其用于存储数字化的图像信号；CPU (中央处理器)14c,其用于执行各种计算处理；RAM (Ramdom Access Memory,随机存储器)与ROM (Read Only Memory，只读存储器)等的存储部14m，其中，RAM用于存储CPU14c进行计算的过程中所使用的数据，ROM用于存储CPU14c所执行的程序、图表、图谱以及模板(行人形状模板:面向右、面向左、面对(背对)，动物形状模板:鹿、狗等的面向右、面向左、面对(背对)等)等；时钟以及计时器；输出电路，其用于输出扬声器24的驱动信号与图像显示装置26的显示信号等。红外线摄像头16、偏航角速率传感器22、车速传感器18以及制动传感器20的各输出信号被变换为数字信号后输入CPU14c。
[0038]图像处理单元14的CPU14c读取这些数字信号，在参照图表、图谱以及模板等的同时，执行相应的程序，从而实现各功能机构(也称为功能部)的功能，向扬声器24以及图像显示装置26发出驱动信号(声音信号与显示信号)。这些功能也可以由硬件实现。
[0039]在本实施方式中，图像处理单元14具有将在后面详细说明的行人检测处理部102、动物检测处理部104、成对对象物(成对的对象物)判定处理部106、接触可能性判定部107、注意提醒输出(信号)生成判定部108等功能部。
[0040]另外，图像处理单元14执行物体识别处理(物体检测处理)程序，大致的处理流程为:将红外线摄像头16所取得的图像与存储部14m中所存储的、示意性表示人体形状、动物形状、车辆形状以及人造物形状等的模板相比较，从而识别物体。
[0041]如图1所示，红外线摄像头16配置在车辆12的前保险杠部，且位于车辆12的车宽方向中心部，其具有拍摄对象(物体)的温度越高则其输出信号(拍摄信号)的等级越高(辉度增加)的特性。
[0042]另外，HUD26a设置为，在车辆12的前窗护罩(前挡风玻璃)上的不会妨碍驾驶员的前方视野的位置处显示出显示画面。
[0043]其中，图像处理单元14将红外线摄像头16输出的模拟图像信号以数十ms例如I秒/30帧[ms]的帧时间间隔、周期变换为数字数据，写入存储部14m (图像存储器)中，对写入(存储)存储部14m中的车辆前方的图像进行各种计算处理，从而实现上述功能。
[0044]行人检测处理部102与动物检测处理部104从存储部14m所存储的车辆前方的图像中，提取出(对应于)监测对象物的图像部分。注意提醒输出生成判定部108通过接触可能性判定部107计算出，以上述帧时间间隔、周期(规定时间间隔)拍摄到的图像间、同一监测对象物的图像部分的大小的变化率Rate，并且，使用该变化率Rate推定监测对象物(相对性地)到达车辆12的时间，计算出监测对象物的真实空间位置，计算出监测对象物在真实空间中的移动矢量。
[0045]监测对象物到达车辆12的时间(也称为接触余量时间)TTC (Time To Contact orTime To Collision)，换言之即，到车辆12接触到监测对象物时的时间TTC，可以根据上述变化率Rate (根据图像数据求得)与作为规定时间间隔的拍摄间隔(帧时间周期)dT (已知)，按照公知的方法，例如，按照JP4267657B所示的下式(I)求得。
[0046]TTC=dTXRate/ (1- Rate)(I)
[0047]另外，变化率Rate可以由在前次拍摄时的图像中监测对象物的宽度或长度WO(可以分别以像素数的形式存储)与本次拍摄时的图像中同一监测对象物的宽度或长度Wl (像素数)之比(Rate=W0/Wl)来得到。
[0048]另外，注意提醒输出生成判定部108通过接触可能性判定部107,计算出以规定时间间隔拍摄到的所述图像间的、同一对象物的图像部分的位置变化量ΛΧ (水平方向)、Ay(竖直方向)，根据所算出的位置变化量(移动矢量)ΛΧ、Ay与上述接触余量时间TTC判定检测对象物与车辆12发生接触的接触可能性。
[0049]成对对象物判定处理部106根据由存储部14m中存储的车辆前方的图像提取出的监测对象物的图像部分，判断是否为行人与动物的对应关系(相应情形)满足预定的规定关系(后述)的成对对象物，从而确定所述动物是否为处于所述行人监督下(控制下)的、不需要针对其进行注意提醒的动物即散步动物。
[0050]本实施方式涉及的车辆周围监测装置10基本上即具有如上所述的结构以及动作，下面参照图3所示的流程对车辆周围监测装置10的具体动作进行详细的说明。
[0051]首先，在步骤SI中，图像处理单元14根据车速传感器18所检测出的车速Vs等判定车辆12的行驶状态(行驶中还是停车中)，在判定为处于停车中(步骤S1:否(NO))时，停止处理。
[0052]在判定为处于行驶中(步骤S1:是(YES))时，进入步骤S2，在步骤S2中，图像处理单元14取得红外线摄像头16拍摄到的每一帧的车辆前方的规定图视角(angle of field)范围的每一帧的输出信号即红外线图像，进行A/D变换，将灰度图像存储在图像存储器(存储部14m)中，并且，对所存储的灰度图像进行2值化处理，即，使图像变换为比辉度阈值明亮的区域为“I”(白)，比辉度阈值暗的区域为“O”(黑)的2值图像，使变换后得到的2值化图像也与上述帧(时间)对应起来，对应于每一帧存储在存储部14m中。在该2值化处理中，对于人体而言，由头部、肩部、躯干以及2条腿等构成的“(图像)块”(人体对象物候选(可能被判定为人体))作为“I个”的“块”(集合体)被检测出。另外，同样地，对于狗(小型动物)、鹿(大型动物)等的动物(本实施方式中为四脚动物)而言，由头部、肩部、躯干以及4条腿等构成的“(图像)块”为“ I个”的“块”(集合体)被检测出。
[0053]之后，在步骤S3中，图像处理单元14将每帧(图像)的2值化图像的“I”(白)区域按照每一 X方向(水平方向)的扫描线变换为行程编码数据，将在I方向上(沿着I方向看)有重叠部分的线视为I个对象物，对该对象物的外接四边形分别附带标识，例如，进行带标签处理，形成图4所示的被外接四边形包围的对象物候选区域52与图5所示的被外接四边形包围的对象物候选区域152。
[0054]之后，在步骤S4中，行人检测处理部102进行行人检测处理，检测出作为对象物的行人,在步骤S5中，动物检测处理部104进行动物检测处理，检测出作为对象物的动物。
[0055]首先，在步骤S4中，行人检测处理部102，对`帧时间间隔的图像中、比被带上标识的图4所示的对象物候选区域52大一些的掩膜(mask)区域53 (图4中的单点划线所围成的区域)，从掩膜区域53内的上侧向下侧且从左侧向右侧扫描像素值，进行搜索，在表示较暗区域的“O”像素连续存在时，判定为该扫描部分属于图像中的行人候选62 (由头部54、躯干部60、腿部59构成)与路面51的边界，作为对象物的下端OBbm。
[0056]另外，在步骤S4中，行人检测处理部102对掩膜区域53内的图像，从对象物的下端OBbm开始向上并且从左向右扫描每一像素，进行搜索，在检测出在竖直方向上存在辉度的水平边(edge)(头部54的顶部)的变化区间(在2值化图像中为，在上下方向上“O”与“I”这样的成对像素大致连续存在的区间)时，将该变化区间的扫描部分作为行人候选62与背景的边界的边即对象物的上端OBtm。
[0057]同样，在步骤S5中，动物检测处理部104，对帧时间间隔的图像中、比被带上标识的图5所示的对象物候选区域152大一些的掩膜(mask)区域153 (图5中的单点划线所围成的区域)，从掩膜区域153内的上侧向下侧且从左侧向右侧扫描像素值，进行搜索，在表示较暗区域的“O”像素连续存在时，判定为该扫描部分属于图像中的动物候选162 (由头部154、躯干部160、腿部159构成)与路面51的边界，作为对象物的下端OBba。
[0058]另外，同样，在步骤S5中，动物检测处理部104对掩膜区域153内的图像，从对象物的下端OBba开始向上并且从左向右扫描每一像素，进行搜索，在检测出在竖直方向上存在辉度的水平边(edge)(头部154的顶部)的变化区间(在2值化图像中为，在上下方向上“O”与“I”这样的成对像素大致连续存在的区间)时，将该变化区间的扫描部分(扫描到的变化区间的部分)作为动物候选162与背景的边界边即对象物的上端OBta。
[0059]另外，对于是行人候选62 (图4)还是动物候选162 (图5)，有多种判定方法，例如，根据身高进行判定，根据行人的身高Hm (Hm=OBtm-OBbm,单位例如为像素数)大于动物(特别是狗)的身高Ha (Ha=OBta-OBba,单位例如为像素数)大的情况，判定为行人候选62。另外，可以根据躯干高度bhm、bha与头部高度hhm、hha之比值，与各阈值相比较，从而进行判定。通常，行人(人 体)的该比值hhm/bhm (头部高度/躯干高度)比狗等的动物的该比值hha/bha (头部高度/躯干高度)小。另外，在检测为4条腿(腿部159)时，判定为动物候选162,在检测为2条腿(腿部59)时,判定为行人候选62。如果能够确定朝向侧面(侧身)时，也可以根据头部宽度hra1、hwa与整体宽度Wm、Wa之比(hwm/Wm=头部宽度/躯干宽度，或者，hwa/ffa=头部宽度/整体宽度)来判定。
[0060]之后，在步骤S6中，由成对对象物判定处理部106判定，从同一图像中在步骤S4中检测到的行人候选62与在步骤S5中检测到的动物候选162是否为下面所说明的成对对象物Pobj。
[0061]在由同一图像所检测到的上述行人候选62与上述动物候选162在该图像上满足规定关系时，成对对象物判定处理部106将之判定为是成对对象物Pobj。
[0062]下面对该规定关系进行详细的说明。在下述的第I~第5判定条件中至少I个判定条件成立时，判定为是成对对象物Pobj。
[0063]在根据第I判定条件的判定中，在车辆12到行人候选62之间的距离Dm与车辆12到动物候选162之间的距离Da的差分I Dm-Da |、以及、行人候选62的位置(重心位置)Pm与动物候选162的重心位置Pa之间在横向上的距离的差分I Pm-Pa |，分别处于各自的阈值距离Dth与Pth以内(I Dm-Da ^ Dth, | Pm-Pa < Pth)时，判定为是成对对象物Pob j。另外，横向上的距离的差分|Pm-Pa|的阈值距离Pth可以根据动物的种类的不同而不同。综上，第I判定条件是，根据行人候选62与动物候选162是否位于大致相同的距离位置且二者是否相互位于近旁(是的话，属于成对对象物Pobj，不是的话，不属于成对对象物Pobj)来判定是否为成对对象物Pobj。
[0064]下面，参照实际的拍摄图像对第2~第5判定条件进行说明。
[0065]在第2判定条件的判定中，如图6所示，在图像中(灰度图像或者2值化图像)动物候选162的重心位置Pa存在于行人候选62的外接四边形即对象物候选区域52的宽度Wm的左右范围内时，判定为是成对对象物Pobj。即，第2判定条件是，根据行人候选62与动物候选162是否存在于相同位置附近来判定是否为成对对象物Pobj。
[0066]在第3判定条件的判定中，如图7所示，在图像(灰度图像或者2值化图像)中、行人候选62的与路面51的边界(交点位置)即下端OBbm与动物候选162的与路面51的边界(交点位置)即下端OBba的差分OBbm-OBba在阈值OBth以内时(| OBbm-OBba ( OBth),判定为是成对对象物Pobj。即，第3判定条件是，根据行人候选62与动物候选162到车辆12的距离是否位于相同距离附近来判定是否为成对对象物Pobj。
[0067]在第4判定条件的判定中，如图8所示，在行人候选62的上端OBtm与动物候选162的上端OBta的高度差I OBtm-OBta |比阈值Hth (阈值Hth例如为行人候选62的身高Hm的1/2)大(I OBtm-OBta |≥Hth)时，判定为是成对对象物Pobj。即，第4判定条件中，以动物(此处为随行人散步的狗等的动物(也称为散步动物)的身高(散步动物的身高)Ha比人的身高Hm低为前提条件。
[0068]在第5判定条件的判定中，如图9所示，在行人候选62与动物候选162之间，于动物候选162的上部区域67存在曲线(profile，图9中为绳索(带)69)时，或者在行人候选62与动物候选162之间存在一对边62e (图9中为行人候选的手的前端)、162e (图9中为动物候选162的尾部的端部)，判定为是成对对象物Pobj。
[0069]如上，在步骤S6中，由成对对象物判定部106判定从同一图像中在步骤S4中检测出的行人候选62与在步骤S5中检测出的动物候选162是否为成对对象物Pobj。
[0070]在步骤S6的判定中，当图像中存在成对对象物Pobj时(步骤S6:是)，将构成成对对象物Pobj的动物候选162视为处于行人管理下的动物，在步骤S7中，注意提醒输出生成判定部108将其从注意提醒的对象物中排除。即，不对构成成对对象物Pobj的动物候选162进行后述的步骤S9中所述的针对车辆12与动物的接触可能性进行的处理。从而，不会对构成成对对象物Pobj的动物候选162生成警报等的注意提醒输出(信号)。
[0071]之后，注意提醒输出生成判定部108通过接触可能性判定部107，在步骤S8中，判定与构成成对对象物Pobj的动物候选162发生接触的接触可能性、以及、与动物候选162、不满足规定关系(不满足上述第I~5判定条件)的行人候选62 (步骤S6:否)发生接触的接触可能性，并且，在步骤S9中，判定与不构成成对对象物Pobj的动物候选162发生接触的接触可能性进行判定。 [0072]即，如上所述，在接触可能性的判定中，针对行人候选62与动物候选162，考虑上述式(I)中的各接触余量时间TTC与行人候选62、动物候选162的各移动矢量，并且，根据制动传感器20、车速传感器18以及偏航角速率传感器22的输出信号即制动操作量Br、车速Vs、偏航角速率Yr，来判定是否存在车辆12接触到行人候选62、动物候选162的可能性，在判定为有接触的可能性时(步骤S8:是，步骤S9:是)，在步骤S10、S11中，注意提醒输出生成判定部108生成注意提醒输出(信号)，提醒驾驶员注意(向驾驶员提供信息)。具体而言，在HUS26a上显示行人以及/或者动物的灰度图像，并且，通过扬声器24发出警报，以促使车辆12的驾驶员进行避免发生上述接触的操作。
[0073]此时，在上述实施方式中，如图10的灰度图像80所示，注意提醒输出生成判定部108生成促使驾驶员注意的输出，使HUD26a中的显示为，用红色、黄色等醒目的颜色的I个线框(显示框)70 (大致为外接四边形)将由行人候选61与动物候选162构成的成对对象物Pobj围起来。
[0074]【【具体实施方式】的概要】
[0075]像上面所说明的，上述实施方式中的车辆周围监测装置10根据搭载在车辆12上的一个红外线摄像头16所拍摄到的图像检测出需要生成注意提醒输出的对象物。
[0076]此时，车辆周围监测装置10具有:行人检测处理部102，其用于从所述图像中检测出作为要监测的对象物的(行人的)行人候选62 (行人);动物检测处理部104，其用于从所述图像中检测出作为要监测的对象物的(动物的)动物候选162 ;成对对象物判定处理部106，在由所述图像检测到的行人候选62与动物候选162在所述图像上满足规定关系时，成对对象物判定处理部106判定为(行人候选62与动物候选162)是(属于)成对对象物；注意提醒输出生成判定部108，其判定是否生成用于提醒车辆12的驾驶员注意的注意提醒输出。
[0077]在由成对对象物判定处理部160判定为行人候选62与动物候选162是成对对象物Pobj时，不针对构成成对对象物Pobj的动物候选162生成所述注意提醒输出。
[0078]采用这样的结构，在从红外线摄像头16所拍摄到的图像中检测出的行人候选62与动物候选162在所述图像上满足规定关系时，视为动物候选162与行人候选62有关系的对象物即成对对象物Pobj，将构成成对对象物Pobj的动物候选162视为处于所述行人的监督(控制)下的、不需要(对驾驶员·)进行注意提醒的动物候选162，不会针对该动物候选162生成注意提醒输出，因而，能够降低驾驶员的烦躁感。
[0079]即，在行人使狗等的动物散步(遛狗)时，具有动物检测与行人检测(功能)的车辆周围检测装置10不会将所述动物作为注意提醒对象(包含警报对象)，因而，不会进行不必要的注意提醒，能够降低对驾驶员造成的烦躁感。
[0080]在比较例所涉及的图11所示的灰度图像180中，该灰度图像180表示的内容(车辆前方的情况)与本实施方式涉及的图10中所述的灰度图像80相同，在该灰度图像180中，由于并未判断是否为成对对象物Pobj，因而，用线框72、74将行人候选62与动物候选162围起来，并且，针对实际上不需要进行发出警报等提醒注意的、构成成对对象物Pobj的动物候选162也(向驾驶员)发出警报等，使驾驶员感到厌烦。
[0081]此时，在本实施方式中，当所检测到的行人候选62与动物候选162存在于规定范围内时，属于成对对象物Pobj的可能性较高，成对对象物判定处理部106判定为是成对对象物Pobj,因而,能够以简单的结构判定是否为成对对象物Pobj。
[0082]在所检测到的动物候选162的身高Ha低于行人候选62的身高Hm (Ha < Hm)时，是成对对象物Pobj的可能性较高，因而，此时成对对象物判定处理部106精确地判定为是成对对象物Pobj。
[0083]另外，在所检测出的行人候选62与动物候选162之间检测到存在绳索69时，属于由狗以及通过绳索牵着狗的行人构成的成对对象物Pobj的可能性较高，因而,此时成对对象物判定处理部106能够更加精确地判定是否属于成对对象物Pobj。
[0084]另外，车辆周围监测装置10具有根据所述注意提醒输出进行显示的HUD26a等的图像显示装置26，因而，所述注意提醒输出使得，在所述HUD26a上，成对对象物Ponj被一个线框(检测框)70 (参照图10)围起来，促使驾驶员注意，从而，驾驶员看一眼即可知晓这是与该行人具有规定关系的动物。
[0085]另外，不言而喻。本发明并不限于上述实施方式，根据说明书所记载的内容，可以获得多种结构。
[0086]例如，如图12所示，也可以采用具有搭载在车辆12A上的左右一对的红外线摄像头16R、16L的车辆周围监测装置。作为立体摄像头(照相机)的红外线摄像头16R、16L配置在车辆12A的前保险杠部，二者相对于车辆12A的车宽方向中心部对称设置，二者的光轴相互平行且二者距地面的高度相等。在具有左右一对红外线摄像头16R、16L的车辆周围监测装置中，公知的是，将左右一对红外线摄像头16R、16L所拍摄到的自车辆周围的图像中的温度较高的部位作为对象物，并且，利用同一对象物在左右图像中的视差等根据三角测量的原理来计算出车辆到达所述对象物的距离，根据所述对象物的移动方向(移动矢量)与所述对象物的位置，检测出将要对自车辆的行驶造成影响(有接触的可能)的行人等的对象物，并发出主意提醒输出。
[0087]另外，可以不使用红外线摄像头，而使使用对通常的可见光区域进行拍摄的一般的数字摄像头(照相机)(拍摄装置)，像【具体实施方式】中那样使用一个摄像头或者立体摄像头。
【权利要求】
1.一种车辆周围监测装置(10)，其使用搭载在车辆(12)上的拍摄装置(16)所拍摄到的图像对所述车辆(12)的周围进行监测，其特征在于， 包括: 行人检测处理部(102)，其由所述图像检测出作为要监测的对象物的行人(62)； 动物检测处理部(104)，其由所述图像检测出作为要监测的对象物的动物(162)； 成对对象物判定处理部(106)，在由所述图像检测出的所述行人(62)与所述动物(162)在所述图像上满足规定关系时，该成对对象物判定处理部(106)判定为所述行人(62)与所述动物(162)是成对对象物(Pobj)； 注意提醒输出生成判定部(108)，其判定是否生成用于向所述车辆(12)的驾驶员进行注意提醒的注意提醒输出， 在由所述成对对象物判定处理部(106)判定为所述行人(62)与所述动物(162)是成对对象物(Pobj )时,所述注意提醒输出生成判定部(108)不针对构成所述成对对象物(Pobj )的所述动物(162)生成所述注意提醒输出。
2.根据权利要求1所述的车辆周围监测装置(10)，其特征在于， 在所检测出的所述行人(62)与所述动物(162)存在于规定范围内时，所述成对对象物判定处理部(106)判定为所述行人(62)与所述动物(162)是成对对象物(Pobj )。
3.根据权利要求1或2所述的车辆周围监测装置(10)，其特征在于， 在所检测出的所述动物(162)的身高低于所述行人(62)的身高时，所述成对对象物判定处理部(106)判定为所述行人(62)与所述动物(162)是成对对象物(Pobj )。
4.根据权利要求1?3中任一项所述的车辆周围监测装置(10)，其特征在于， 当在所检测出的所述行人(62)与所述动物(162)之间检测到绳索(69)时，所述成对对象物判定处理部(106)判定为所述行人(62)与所述动物(162)是成对对象物(Pobj )。
5.根据权利要求1?4中任一项所述的车辆周围监测装置(10)，其特征在于， 还包括显示部(26)，其根据所述注意提醒输出进行显示， 所述注意提醒输出为，使在所述显示部(26 )上，由一个显示框(70 )将所述成对对象物(Pobj)围起来而进行注意提醒的输出。
【文档编号】G06T1/00GK103858156SQ201280048621
【公开日】2014年6月11日 申请日期:2012年10月5日 优先权日:2011年10月18日
【发明者】相村诚, 小池弘之 申请人:本田技研工业株式会社