车辆用周边监视控制装置的制造方法
【专利说明】车辆用周边监视控制装置
[0001]关联申请的相互参照
[0002]本发明基于2013年3月28日申请的日本申请号2013-67702号主张优先权，在此援引其记载内容。
技术领域
[0003]本发明涉及车辆用周边监视控制装置。
【背景技术】
[0004]通过针对由安装于车辆的相机拍摄得到的拍摄图像所含的图像部分，判断是否满足了预先设定的判定条件，来对在与图像部分对应的实际空间上的物体的存在进行报告的装置正不断普及。
[0005]另外，提出了一种不但对物体的存在进行报告，还能够使驾驶员恰当地识别对于所搭载的车辆危险度相对较高的物体的存在的车辆的认知辅助装置(参照专利文献I)。即，至少在可视性的难度超过规定值的情况下，或者在危险度超过规定值的情况下，将从拍摄图像提取出的对象物的放大图像合成于拍摄图像来进行显示。
[0006]专利文献1:JP 2006-042147A
[0007]专利文献I的构成在拍摄、提取出的物体的数量少的情况下没有特别问题，但在物体的数量多的情况下，放大图像占据显示图像的大部分，当在显示放大图像的位置存在其他物体时，可认为难以提示这些其他物体的信息。
【发明内容】
[0008]本发明的目的在于提供一种能够更可靠地向乘坐人员报告关于拍摄图像以及对象物的信息的车辆用周边监视控制装置。
[0009]根据为了解决上述目的的一个例子，如以下那样提供车辆所具备的车辆用周边监视控制装置。车辆具备对车体的周边进行拍摄的拍摄部和第一显示部。车辆用周边监视控制装置具备提取部、判定部、显示控制部。提取部从由拍摄部得到的拍摄图像中提取出与各一个对象物对应的图像区域作为对象物区域。在提取出多个对象物区域的情况下，判定部基于这些对象物区域的位置关系以及对象物的类别来判定是否能够将对象物群组化。在判定为能够将多个对象物群组化时，显示控制部按每一组将表示该组的存在的标志图像与拍摄图像重叠而显示于第一显示部。
[0010]根据上述构成，即使在对象物的数量多的情况下，通过将多个对象物群组化，可使标志图像不占据显示图像的大部分，以往被放大图像遮挡而无法显示的区域也能进行显不O
【附图说明】
[0011]本发明的上述目的以及其他目的、特征、优点通过参照附图以及下述的详细记载，能够更加明确。
[0012]图1是表示本发明的实施方式的车辆用周边监视控制装置的构成例的图，
[0013]图2是说明对象物显示处理的流程图，
[0014]图3是对群组化的判定方法进行说明的图，
[0015]图4是表示比较例涉及的显示例的图，
[0016]图5是表示本实施方式中的显示例的图，
[0017]图6是表示在一个显示部显示多个组的例子的图，
[0018]图7是表示在一个显示部显示多个组的其他例子的图，
[0019]图8A是表示标志图像(symbol picture)的显示时刻的例子的图，
[0020]图8B是表示标志图像的显示时刻的其他例子的图，
[0021 ]图8C是表示标志图像的显示时刻的其他例子的图，
[0022]图9A是表示使用了两个显示部时的一个显示部的显示例的图，
[0023]图9B是表不使用了两个显不部时的另显不部的显不例的图。
【具体实施方式】
[0024]以下，使用附图对作为本发明的实施方式的车辆用周边监视控制装置进行说明。车辆用周边监视控制装置I被搭载于车辆。该车辆也被称为对象车辆或者主车辆。如图1那样，车辆用周边监视控制装置I包括控制单元10、以及与控制单元10连接的拍摄单元20、显示单元30。
[0025]控制单元10构成为包括运算处理电路11 (也作为提取部、判定部、类别判别部、可视性判定部、占有率计算部发挥功能)、和与运算处理电路11连接的信号输入输出电路(在图1中简记为1/0)16以及显示控制部17的计算机，上述运算处理电路11包括公知的CPU12、储存有控制程序的R0M13、暂时保存数据的RAM14、由非易失性存储介质构成并存储车辆用周边监视控制装置I的动作所需要的信息的存储器15。而且，通过CPU12执行控制程序，来实现车辆用周边监视控制装置I的各种功能。另外，也可以将控制单元10以硬件方式构成为一个或者多个IC或者ASIC等，还可以以软件方式在存储器上构建其一部分以及全部。
[0026]信号输入输出电路16将由拍摄单元20输出的拍摄图像转换成能够由运算处理电路11处理的数据或将由运算处理电路11生成的显示用数据转换成能够由显示控制部17处理的数据并进行输出。
[0027]显示控制部17相当于所谓的显示器驱动器，从运算处理电路11取得控制指令以及显示用数据来进行显示单元30的显示控制。
[0028]拍摄单元20包括对车体的周边(例如，行进方向)进行拍摄的相机21 (可视相机以及红外线相机中的至少一方，也被称为拍摄部)、对相机21拍摄到的拍摄图像例如进行滤波、二值化处理等规定的图像处理来生成由二维阵列的像素构成的图像数据并向控制单元10输出的图像处理部22 (也被称为提取部)。也可以使图像处理部22包含于控制单元10。
[0029]显示单元30包括作为公知的IXD的第一显示部31和第二显示部32。例如，第一显示部31使用被组装到车辆的仪表面板的仪表显示部、音频装置或者导航装置所包含的显示部。另外，第二显示部32例如使用头戴显示器。也可以是不含有第二显示部32的构成。
[0030]使用图2，对CPU12执行的控制程序所包含的对象物显示处理进行说明。
[0031]这里，本申请所记载的流程图或者流程图的处理由多个程序分段(sect1n)(或者被称为步骤)构成，各程序分段例如被表现为S11。并且，各程序分段能够被分割成多个子程序分段，另一方面，多个程序分段也能够合并而成为一个程序分段。并且，如此构成的各程序分段能够被称为器件、模块、方法。另外，上述的多个程序分段的各个或者组合而成的程序分段除了 α)与硬件单元(例如计算机)组合的软件的程序分段之外，能够αυ作为硬件(例如集成电路、布线逻辑电路)的程序分段，包含或者不包含相关的装置的功能来实现。并且，硬件的程序分段也可以在微型计算机的内部构成。
[0032]首先，基于来自控制单元10的控制指令，利用拍摄单元20的相机21例如对车辆的前方进行拍摄(Sll)。接着，通过图像处理部22进行上述那样的图像处理，将拍摄图像输出至控制单元10。
[0033]控制单元10若取得拍摄图像，则通过运算处理电路11从拍摄图像提取与对象物(例如生物或者移动物体)对应的图像区域作为对象物区域(S12)。此时，判别提取出的对象物的类别。关于对象物的类别的判别方法，例如在JP 2010-108507A或者JP2012-053663A 中已公开。
[0034]接下来，当提取出的对象物存在多个时，判定能否进行这些对象物的群组化(S13)ο
[0035]使用图3，对能否进行群组化的判定方法加以说明。在图3中，例示了从拍摄图像中提取出两个行人(P1、P2)作为对象物的例子。将包围行人Pl的4个点(Al、B1、Cl、Dl)连接而成的大致矩形状的显示框Fl所围起的内侧的区域作为对象物区域R1。点Al能够表示为以第一显示部31的画面左上的角为原点O时的二维坐标。通过计算并存储线段Cl?Dl的长度(X)、线段Al?Dl的长度(Y)，能够掌握对象物区域Rl的位置(包括其他点的坐标)以及大小。
[0036]同样地，对于行人P2，也将包围行人P2的4个点(A2、B2、C2、D2)连接而成的大致矩形状的显示框F2所围起的内侧的区域作为对象物区域R2。
[0037]例如，在包括行人Pl的对象物区域Rl中含有包括行人P2的对象物区域R2的四个角的点(A2、B2、C2、D2)中的至少一个时，相反在对象物区域R2中包含对象物区域Rl的四个角的点(Al、B1、Cl、Dl)中的至少一个时，即在两个对象物区域重叠时，判定为能够将这些对象物群组化。
[0038]S卩，根据上述的构成，判定部在对象物区域与其他对象物区域重叠时，判定为能够将这些多个对象物群组化。根据该构成，能够减少所显示的标志图像的数量，能够使拍摄图像的显示区域比以往宽广。
[0039]另外，在两个对象物区域的间隔L小于预先决定的阈值时，判定为能够将这些对象物群组化。根据该构成，判定部在对象物区域与其他对象物区域之间的间隔小于预先决定的阈值时，判定为能够将这些对象物群组化。根据该构成，也能够通过一个标志图像显示多个对象物，能够减少所显示的标志图像的数量，能够高效地使用拍摄图像的显示区域。
[0040]也可以使阈值可根据对象物区域的大小(X、Y)而改变。例如，在对象物位于车辆的前方30m以外那样的对象物区域比较小时，减小阈值。另一方面，在对象物位于车辆的前方30m以内那样的对象物区域比较大时，增大阈值。例如，随着两个行人一边保持恒定的距离一边接近车辆(即，拍摄部)，图像上的两人的距离(像素数)变大。若阈值恒定，则当行人位于离车辆比较远的位置时可被群组化，但随着接近于车辆而变得不能被群组化。通过使阈值可变，图像上的相对的距离恒定，能够进行适当的群组化。
[0041]根据上述的构成，根据对象物区域的大小来决定阈值。通过该构成，对于比较接近地存在的对象物，分别独立地显示标志图像，对于除此以外的对象物，进行群组化来通过一个标志图像进行显示，所以能够减少所显示的标志图像的数量，能够使拍摄图像的显示区域比以往宽广。
[0042]另外，即使在两个对象物区域的间隔L大于阈值时，也可以在以下那样的时候进行群组化。
[0043].在两个对象物中的一方的类别为行人、另一方的类别为动物时。该情况下，可推断为正牵着狗散步。根据该构成，判定部在对象物区域与其他对象物区域的间隔大于预先决定的阈值时且这些对象物的类别不同时，判定为能够将这些对象物群组化。
[0044]通过上述的两个构成，能够防止将本来被推断为包含在同一组的对象物判定为其他组而显示多个标志图像，由此导致无法看到拍摄图像的一部分的情况。
[0045]返回到图2，基于上述的判定结果将对象物群组化(S14)。
[0046]接下来，评价每组的可视性(S15)。例如，在图3的对象物区域Rl中，计算出行人Pl (即对象物)的图像与行人Pl以外的图像的亮度之差(所谓的对比度)，使用该亮度之差来评价可视性。当在组内存在多个对象物时，将代表该组的对象物的亮度之差(对比度)作为该组的可视性。例如，将亮度之差的平均值或者亮度之差最低的值作为代表。
[0047]接下来，基于可视性的评价结果来决定标志图像的显示/非显示(S16)。例如，在亮度之差小