专利名称：驾驶支援方法和驾驶支援装置的制作方法
技术领域：
本发明涉及一种驾驶支援方法以及驾驶支援装置。
技术背景到目前为止，作为对安全驾驶进行支援的装置，开发了这样的车载系统 由车载摄像机对成为驾驶员死角的区域进行拍摄，并将其显示在显示器等上。 作为其中之一提出了这样的系统用车载摄像机对由车辆的前柱产生的死角区 域进行拍摄，并在前柱内侧显示拍摄图像。前柱是支撑前窗和顶盖的左右两根 支柱，从坐在驾驶员座的驾驶员来看，前柱位于斜前方的位置而遮住了驾驶员 的一部分视线，而为了安全，前柱必须是确保规定粗度的构件。上述的系统包括摄像机，其安装在车体上；图像处理器，其对从摄像机 输出的影像信号进行图像处理；投影仪，其将图像投影到前柱内侧。根据该结 构，成为好像恰好透过前柱而能够看清外部的背景的状态，因此在交叉路口等 处，能够确认车辆侧前方的道路形状或位于侧前方的障碍物。在专利文献1中记载有这样的系统将投影仪设置在车厢内的仪表板上， 在投影仪与立柱(Pillar)之间安插一面反射投影光的镜面。这种情况下，由 于必须显示沿着立柱的形状的图像，所以必须调整镜面的角度。专利文献l: JP特开平11-184225号公报。但是，很难将镜面调整得将投影光投影在相对立柱准确的位置上，此外， 在镜面的角度偏移的情况下，难以返回到合适的角度。因此，虽然考虑将投影 仪设置在车顶内侧、车厢后方等，但是在这种情况下，驾驶员的头部有可能会 介于投影仪与立柱之间。另外，在驾驶员将视线朝向投影仪的情况下，有可能 会直接看到投影仪的投影光。发明内容鉴于上述的问题，本发明的目的在于提供一种根据驾驶员的位置进行对立 柱投影的驾驶支援方法和驾驶支援装置。
为解决上述的问题，(1)本发明是提供一种驾驶支援方法，使用安装在 车辆上的拍摄装置，拍摄由上述车辆的立柱产生的死角区域，并将上述拍摄装 置所拍摄的影像投影在上述立柱的内侧，检测坐在所述车辆的驾驶员座上的驾 驶员的头部位置，并判断所述驾驶员的头部是否进入到从投影装置对所述立柱 出射投影光的投影范围内，并且，在判断为驾驶员的头部进入到所述投影范围 内时，将头部位置周边设定为非投影区域。(2) 本发明发明提供一种驾驶支援装置，使用安装在车辆上的拍摄装置， 拍摄由上述车辆的立柱产生的死角区域，并将上述拍摄装置所拍摄的影像投影 在上述立柱的内侧，具有影像信号取得装置，其从拍摄车辆周边的所述摄影 装置接收影像信号；检测装置，其检测坐在所述车辆的驾驶员座上的驾驶员的 头部位置；进入判断装置，其判断所述驾驶员的头部是否进入到从投影装置对 所述立柱出射投影光的投影范围内；输出控制装置，其在所述进入判断装置判 断驾驶员的头部进入到所述投影范围内时，至少将头部位置周边设定为非投影 区域。(3) 在上述(2)所述的驾驶支援装置中，所述输出控制装置将影像信号输出到所述投影装置，该影像信号是，在所述投影范围内，将驾驶员的头部所 进入的区域设定为非投影区域，并将其他范围设定为投影区域的影像信号，其 中，该投影区域是，对相当于由所述立柱产生的死角区域的影像进行投影的区 域。(4) 在上述(2)或(3)所述的驾驶支援装置中，所述输出控制装置判 断驾驶员的头部位置是否与将所述立柱的图像显示区域分割为多个区域的各 区域重复，并将所重复的所述区域设定为所述非投影区域。(5) 在上述(2)所述的驾驶支援装置中，在驾驶员的头部进入到所述投 影范围内的情况下，仅对在所述立柱上远离所述头部位置的立柱基端部出射投 影光。根据(1)所述的发明，检测驾驶员的头部位置，判断头部是否进入到投 影装置的投影范围内。然后，在判断为头部己进入投影范围的情况下，将头部 位置周边设定为非投影区域。因此，在驾驶员的头部位置处于立柱附近时，即 使误将视线投向投影装置时，投影光也不会直接进入眼睛。根据(2)所述的发明，驾驶支援装置检测驾驶员的头部位置，判断其头4
部位置是否与投影装置的投影范围重复。在头部位置与投影范围重复的情况 下，将头部位置周边设定为非投影区域。因此，在驾驶员的头部位置处于立柱 附近时，即使误将视线投向投影装置时，投影光也不会直接进入眼睛。根据(3)所述的发明，由于仅将头部己进入的投影范围设定为非显示区 域，所以，即使在驾驶员的头部位置处于立柱附近时，也能够显示出立柱的死 角，同时能够防止投影光直接进入驾驶员的眼睛。根据(4)所述的发明，在驾驶员的头部位置与立柱的图像显示区域的各 区域重复的情况下，该区域成为非投影区域。因此，由于无需逐次计算与头部 位置的重复区域，所以能够减少处理量。根据(5)所述的发明，在头部己进入投影范围的情况下，由于仅将图像 显示在远离驾驶员的头部位置的立柱基端部，所以能够简单地进行处理，并且 投影光不会直接进入驾驶员的眼睛。
图1是本实施方式的驾驶支援系统的框图。图2是摄影机的拍摄范围的说明图。图3是说明投影仪与立柱的位置的说明图。图4是从内侧看立柱的侧视图。图5是遮罩图案的说明图。图6是投影仪的投影光的光路的说明图。图7是传感器的位置的说明图。图8是被分割为四块的图像显示区域的说明图。图9是本实施方式的处理步骤的说明图。图IO是非显示头部周边的背景图像的说明图。图11是其他例子的处理步骤的说明图。图12是其他例子的处理步骤的说明图。
具体实施方式
以下，根据图1 图10说明使本发明具体化的实施方式。图1是安装在 汽车上的驾驶支援系统1的结构框图。 如图1所示，驾驶支援系统1装载在车辆C (参照图2)上，设置有作为 驾驶支援装置的驾驶支援单元2、作为显示装置的显示器3、作为投影装置的投影仪4、扬声器5、作为摄影装置的摄影机6和第一 第三位置检侧传感器 8a 8c。驾驶支援单元2具有构成检测装置以及进入判断装置的控制部10、非易 失性的主存储器11、 ROM12、 GPS接收部13。控制部10是CPU、 MPU或 ASIC等，根据存储在ROM12内的驾驶支援程序进行各处理的主控制。主存 储器11暂时存储控制部10的运算结果。控制部10输入GPS接收部13从GPS卫星接收到的表示纬度及经度等坐 标的位置检测信号，并用无线电导航法计算出本车的绝对位置。另外，控制部 10经驾驶支援单元2的车辆侧I/F14,分别从设置在车辆C内的车速传感器30 和陀螺仪31输入车速脉冲和角速度。并且，控制部IO根据使用车速脉冲和角 速度的自主导航法来计算出相对于基准位置的相对位置，并与用无线电导航法 计算出的绝对位置组合，从而决定本车位置。另外，驾驶支援单元2具有地理数据存储部件15。地理数据存储部件15 是内置硬盘、或光盘等外部存储介质。在该地理数据存储部件15中，存储有作为用于搜索到达目的地的路径的地图数据的各路径网络数据(以下，称为路 径数据16)、和用于将地图画面3a输出到显示器3上的各地图描画数据17。 路径数据16是对全国进行划分的网络内的道路相关的数据。路径数据16 具有以下数据各网络的识别标志、有关表示交叉路口或道路端点的节点的节 点数据、连接各节点的各链接的识别标志、链接成本等。控制部件10使用该 路径数据16来搜索到达目的地的推荐路径，并判断车辆C是否接近了交叉路 口等引导地点。另外，地图描画数据17是用于描画道路形状、背景等的数据，分别被存 储在对全国的地图进行了划分的网络中的每一个内。控制部件IO基于地图描 画数据17的道路形状，判断在车辆C前方是否有规定曲率以上的弯道。如图1所示，驾驶支援单元2具备地图描画处理器18。地图描画处理器 18从地理数据存储部件15中读出用于描画自身车辆周围的地图的地图描画数 据17。然后，生成地图输出用的数据，并将其暂
地图画面3a。另外，地图描画处理器18使表示自身车辆位置的自车位置指标3b重叠在该地图画面3a上。另外，驾驶支援单元2具备语音处理器24。语音处理器24具有未图示的 语音文件，例如从扬声器5输出引导到达目的地的路径的语音。并且，驾驶支 援单元2具有外部输入I/F部25。外部输入I/F部25从与显示器3相邻的操作 开关26、触摸面板式显示器3接收基于用户的输入操作的输入信号，并将其 输出到控制部10。另外，驾驶支援单元2具有作为影像信号取得装置的影像数据输入部22 和作为从该影像数据输入部22接收图像数据G的输出控制装置以及图像处理 装置的图像处理器20。影像数据输入部22基于控制部10的控制来驱动设在 车辆C上的摄像机6，从而接收由摄像机拍摄的影像信号M。摄像机6是拍摄彩色图像的摄像机，具有由镜头、反光镜等构成的光学机 构和CCD拍摄元件(都未图示)等。如图2所示，该第一摄像机6安装在车 辆C右侧的前柱P (以下只称为立柱P)的外侧下端部，并且其光轴朝向车辆 C的右前侧。在本实施方式中，由于驾驶员座设置在车辆C的右侧，所以第一 摄像机6配置在驾驶员座一侧。该摄像机6对包含车辆C的右前侧和车辆C 的右侧一部分的侧方区域Z进行拍摄。从摄影机6输出的影像信号M通过图像数据输入部22而被数字化后成为 图像数据G，并输出到图像处理器20。图像处理器20对图像数据G进行图像 处理，然后将经过图像处理的图像数据G输出到投影仪4。如图3所示，投影仪4在顶盖R的内侧，即安装在驾驶员D所坐的前座 F的铅垂方向上方附近，能够将影像投影在车辆C右侧的立柱P (参照图4) 的内面。如图4所示，立柱P的内侧面Pa上粘有按照立柱P的形状剪裁的屏 幕SC。对应该屏幕SC而调整好投影仪4的焦点。另外，在立柱P的内侧面 Pa由能够接收投影仪4输出的投影光并可显示鲜明的图像的材质以及形状构 成时，屏幕SC可以省略。另外，如图1所示，在驾驶支援单元2的ROM12中，在制造工序时己预 先存储有遮罩图案40以及立柱形状41。如图5所示，遮罩图案40是用于在 图像数据G上进行遮罩的数据，由沿着立柱P内面形状的作为投影范围的图 像显示区域40a和遮罩区域40b构成。图像处理器20生成输出用数据OD， 该输出用数据OD用于针对图像显示区域40a的区域，显示基于摄影机6所 拍摄的图像数据G的图像；针对遮罩区域40b，设定成投影仪4的非显示区域。 当生成了输出用数据OD时，图像处理器20将该输出用数据OD输出到投影 仪4。其结果如图6所示，从投影仪4对立柱P的屏幕SC射出投影光L，从 而图像投影到屏幕SC上。另外，遮罩区域40b就使图像不被投影在该屏幕SC 的周围的前窗Wl或门窗W2上。立柱形状41是用图案或坐标表示立柱外形的数据，是因车辆C而异的数 据。控制部10根据该立柱形状41而取得表示立柱外形的坐标的数据。另外，如图1所示，驾驶支援单元2具有构成检测装置的传感器I/F部23。 传感器I/F部23从第一 第三位置检测传感器8a 8c接收检测信号。如图7 所示，第一 第三位置检测传感器8a 8c是超声波传感器，它们被安装在车 内，即安装于坐在前座F上的驾驶员D的周围。第一位置检测传感器8a安装 在室内镜(省略图示)附近，位于与驾驶员D的头部D1大致同高或略高的位 置。第二位置检测传感器8b安装在门窗W2的上端附近，即位于在驾驶员D 的斜向右前方。第三位置检测传感器8c安装在前座位F的左侧并且处于车顶 (Roof) R的内侧。从各位置检测传感器8a 8c的未图示的传感头部发出的 超声波被驾驶员D的头部Dl反射。各位置检测传感器8a 8c对从发出超声 波到接收到反射波的时间进行计测，基于该计测时间，分别计算到达头部Dl 的各相对距离L1 L3。计算出的相对距离L1 L3通过传感器I/F部23而输 出到控制部10。另夕卜，也可以基于来自各位置检测传感器8a 8c的信号而使 传感器I/F部23计算出到达头部Dl的相对距离L1 L3。控制部10在驾驶员坐在驾驶座位上的状态下根据移动标准体型的驾驶员 D的头部Dl而得的头部移动范围Z3、和第一 第三位置检测传感器8a 8c 检测出的各相对距离L1 L3，用三角测量等按照公知的方法取得头部Dl的 中心坐标Dc。然后，控制部10判断头部Dl是否与投影仪4的投影范围重复。如图8 所示，控制部10根据所计算出来的头部D1的中心坐标Dc (参照图7)，计 算出以该中心坐标Dc为中心的模拟头部的球体B的坐标。然后，判断该球体 B是否与立柱P的图像显示区域40a重复。如图8所示，在球体B与图像显示
区域40a重复的情况下，判断图像显示区域40a中的被分割为四块的各区域 A1 A4中的哪一区域与球体B重复。如图8所示，在图像显示区域40a的第 一区域Al以及第二区域A2与球体B重复的情况下，控制部10控制图像处 理器20，生成将该第一区域Al以及第二区域A2作为非显示区域的影像信号。 其结果，立柱P的屏幕SC中相当于第一区域Al和第二区域A2的区域成为 不显示图像的状态。换言之，由于投影仪4的投影光L不射到头部Dl的附近， 所以，即使驾驶员误见到投影仪4，投影光L也不会直接进入眼睛。下面，根据图9说明本实施方式的处理步骤。驾驶支援单元2的控制部 IO等待向立柱P的内侧投影背景图像的投影模式开始(步骤S1)。例如，当 对触摸面板及操作开关26进行操作，而控制部10通过外部输入I/F部25接 收到模式开始要求时，判断为投影模式开始。或者，以初始状态启动投影模式 时，也可以基于来自点火模块(未图示)的接通信号，判断为投影模式开始。当判断为开始投影模式时(在步骤S1中为"是")，控制部IO基于路径 数据16或地图描画数据17的道路数据，判断是否已接近交叉路口或者弯道(步 骤S2)。具体地说，当控制部10判断车辆C的当前位置进入到与包含T字路 口的交叉路口或距'离规定的曲率以上的弯道相距规定距离的范围(例如200m) 内时，判断已接近交叉路口或弯道。当判断已接近交叉路口或弯道时(在步骤S2中为"是")，控制部10 使用各位置检测传感器8a 8c来检测驾驶员D的头部位置(步骤S3)。此时， 控制部10通过传感器I/F部23而从各位置检测传感器8a 8c取得到达头部 Dl的相对距离L1 L3。然后，基于各相对距离Ll L3与头部坐标表lla来 确定头部D1的中心坐标Dc。当计算出头部位置时，图像处理器20从图像数据输入部22接收图像数据 G (步骤S4)，并根据头部D1的中心坐标Dc进行图像处理(步骤S5)。艮口， 进行基于此时的中心坐标Dc的坐标变换等公知的图像处理，由此作成更加接 近于实际背景的图像。此时，图像处理器20从ROM12读入遮罩图案40，对 于遮罩图案40的图像显示区域40a读入图像数据G的像素值，对于其他区域 读入投影仪4非显示用的像素值，从而生成输出用数据OD。另外，控制部10判断头部Dl是否进入到投影仪4的投影范围内(步骤 S6)。如上所述，控制部IO计算出以头部DI的该中心坐标Dc为中心的模拟 头部Dl的球体B的坐标，判断该坐标是否与立柱P的图像显示区域40a重复。 如果判断为有重复，就判断为头部D1进入到投影仪4的投影范围内(步骤S6 中的"是")，将各区域A1 A4中重复的区域设定为非显示区，由此生成不 显示头部D1周边的输出用数据0D (步骤S7)。当生成了输出用数据OD时，图像处理器20将输出用数据OD输出到投 影仪4，投影仪4对该输出用数据0D进行D/A转换，从而将背景图像投影到 立柱P的屏幕SC上(步骤S8)。其结果，如图10所示，在屏幕SC上显示 作为影像的背景图像IM。图IO所示的背景图像IM表示在驾驶员的头部DI 已经进入到投影范围内的情况下显示的图像，与头部Dl重复的非投影区域 A5成为图像非显示区(非投影)，此外的投影区域A6上显示由立柱P产生 的死角区域的图像。在图IO所示的背景图像IM的情况下，非投影区域A5相 当于第一区域Al和第二区域A2，投影区域A6相当于第三区域A3和第四区 域A4。因此，当头部Dl处于立柱P周边时，即使驾驶员误朝向了投影仪4 的方向，也能够防止投影光L直接进入眼睛。当在屏幕SC上显示背景图像IM时，控制部10判断车辆C是否已从交 叉路口或弯道离开(步骤S9)。当判断为车辆C接近或进入到交叉路口或弯 道时(在步骤S9中为"否")，回到步骤S3，控制部10对各位置检测传感 器8a 8c进行控制，从而计算出头部D1的中心坐标Dc。然后，当判断为车辆C已从交叉路口或弯道离开(在步骤S9中为"是") 时，控制部10判断投影模式是否结束(步骤SIO)。例如，当对触摸面板或 者操作开关26进行操作，或接收到点火模块的关闭信号时，判断为投影模式 结束(在步骤S10中为"是")，从而结束处理。当判断为投影模式未结束时 (在步骤S10中为"否")，则回到步骤S2进行待机，直到车辆C接近交叉 路口或弯道为止。然后，在车辆C接近交叉路口或弯道时(在步骤S2中为 "是")，重复上述的处理。根据上述的实施方式，能够获得如下的效果。 (1)上述的实施方式中，驾驶支援单元2的控制部IO根据第一 第三位 置检测传感器8a 8c计算出驾驶员D的头部Dl的中心坐标Dc。另夕卜，根据 中心坐标Dc来判断是否存在与头部Dl重复的图像显示区域40a的各区域 A1 A4，并将重复的区域设定为非显示区。因此，在驾驶员D的头部位置处
于立柱P附近时，由于头部位置周边为非显示区，所以能够达到这样的效果 在将立柱P的死角区域的背景图像IM显示出来的同时，即使在驾驶员误朝向 投影仪4时，也能够使投影光不直接进入眼睛。(2)上述的实施方式中，将图像显示区域40a分割为四个区域Al A4， 并且判断区域A1 A4与头部位置的重复，所以，不必逐次计算出与头部位置 的重复区域。因此，能够减小驾驶支援单元2的处理量。 本实施方式也可以变更如下。在上述的实施方式中，将位置检测传感器8a 8c设置在室内镜附近、门 窗W2的上端附近、车顶R的内侧，但是也可以设置在其他位置。另外，设 置了三个检测头部D1位置的传感器，但也可以是两个或四个以上。另外，虽 然将超声波传感器作为位置检测传感器8a 8c，但也可以用红外线传感器等 其他传感器。在上述的实施方式中，用由超声波传感器构成的位置检测传感器8a 8c 来检测驾驶员D的头部D1，但也可以用驾驶员座附近的摄影机拍摄驾驶员座 周边，通过特征点检测或图形匹配处理等图像处理来检测驾驶员的头部。在上述的实施方式中，图像数据输入部22生成图像数据G，但是也可以 在各摄影机6、 7内进行A/D变换来生成图像数据G。在上述的实施方式中，将背景图像IM显示在驾驶员座侧的立柱P (本实 施方式中是右侧的前柱)上，但也可以将背景图像显示在驾驶员座的相反侧的 立柱上。这种情况下，也计算出头部D1的坐标和被立柱遮挡的死角的角度， 然后根据该角度变更所启动的摄影机。在上述的实施方式中，在判断为驾驶员D的头部Dl已经进入到投影范围 的情况下，也可以不管其重复区域如何，而仅仅将图像显示在相当于远离驾驶 员D的头部位置的第三和第四区域A3、 A4 (参照图8)的立柱基端部。这样 一来，在简化处理的同时，能够使投影光L不直接进入驾驶员的眼睛。在上述的实施方式中，在投影范围与头部位置重复时，将头部D1周边设 定为非显示区，但是也可以不射出投影仪4的投影光。在上述的实施方式中，在右侧立柱P和左侧立柱P中，也可以将图像显 示在与驾驶员D的脸的朝向以及转向灯点亮的方向为同一方向的立柱P上。 驾驶员D的脸的朝向，是通过对图像数据G进行图像处理来检测的。例如，
如图11的表50所示，从驾驶员D看来，右侧的转向灯点亮时，将图像显示 在右侧立柱P上；左侧的转向灯点亮时，将图像显示在左侧立柱P上。在驾 驶员D的脸的朝向为向右的情况下，将图像显示在右侧立柱P上；向左的情况下，将图像显示在左侧立柱P上。另外，如图12的表51所示，转向灯的取向和驾驶员脸的朝向一致的情况下，也可以将图像显示在该方向的立柱p上。 例如，转向灯的取向和驾驶员脸的朝向都是向右的情况下，将图像显示在右侧立柱P上；转向灯的取向是向右，而脸的朝向是向左的情况下，也可以不显示 图像。而且，选择了显示图像的立柱P之后，检测出驾驶员D的头部位置， 判断头部位置是否与立柱P的图像显示区域40a重复。这样，由于能够对立柱 P射出必要的最小限度的投影光，所以能够防止投影光L直接进入驾驶员的眼 睛。
权利要求
1.一种驾驶支援方法，使用安装在车辆上的拍摄装置，拍摄由上述车辆的立柱产生的死角区域，并将上述拍摄装置所拍摄的影像投影在上述立柱的内侧，其特征在于，检测坐在所述车辆的驾驶员座上的驾驶员的头部位置，并判断所述驾驶员的头部是否进入到从投影装置对所述立柱出射投影光的投影范围内，并且，在判断为驾驶员的头部进入到所述投影范围内时，将头部位置周边设定为非投影区域。
2. —种驾驶支援装置，使用安装在车辆上的拍摄装置，拍摄由上述车辆 的立柱产生的死角区域，并将上述拍摄装置所拍摄的影像投影在上述立柱的内 侧，其特征在于，具有-影像信号取得装置，其从拍摄车辆周边的所述摄影装置接收影像信号； 检测装置，其检测坐在所述车辆的驾驶员座上的驾驶员的头部位置； 进入判断装置，其判断所述驾驶员的头部是否进入到从投影装置对所述立柱出射投影光的投影范围内；输出控制装置，其在所述进入判断装置判断驾驶员的头部进入到所述投影范围内时，至少将头部位置周边设定为非投影区域。
3. 如权利要求2所述的驾驶支援装置，其特征在于， 所述输出控制装置将影像信号输出到所述投影装置，该影像信号是，在所述投影范围内，将驾驶员的头部所进入的区域设定为非投影区域，并将其他范 围设定为投影区域的影像信号，其中，该投影区域是，对相当于由所述立柱产 生的死角区域的影像进行投影的区域。
4. 如权利要求2或3所述的驾驶支援装置，其特征在于， 所述输出控制装置判断驾驶员的头部位置是否与将所述立柱的图像显示区域分割为多个区域的各区域重复，并将所重复的所述区域设定为所述非投影 区域。
5. 如权利要求2所述的驾驶支援装置，其特征在于，在驾驶员的头部进入到所述投影范围内的情况下，仅对在所述立柱上远离 所述头部位置的立柱基端部出射投影光。
全文摘要
提供一种根据驾驶员的位置而对立柱进行投影的驾驶支援方法和驾驶支援装置。驾驶支援单元(2)具备从拍摄车辆周边的摄影机(6)接收影像信号M的影像信号输入部22、检测坐在车辆的驾驶员座上的驾驶员的头部位置的传感器I/F部(23)、以及控制部(10)。控制部(10)判断驾驶员是否进入到从投影仪(4)对立柱射出投影光的投影范围内，图像处理器(20)将以驾驶员的头部位置周边为非投影区域的输出用数据输出到投影仪(4)。
文档编号H04N7/18GK101166269SQ20071014857
公开日2008年4月23日 申请日期2007年8月29日 优先权日2006年10月16日
发明者洼田智气, 高木实 申请人:爱信艾达株式会社