驾驶支援方法以及驾驶支援装置的制作方法

专利名称：驾驶支援方法以及驾驶支援装置的制作方法
技术领域：
本发明涉及一种驾驶支援方法以及驾驶支援装置。
背景技术：
到目前位置，作为对安全驾驶进行支援的装置，开发了这样的车载系统: 由车载摄像机对成为驾驶员死角的区域进行拍摄，并将其显示在显示器等 上。作为其中之一提出了这样的系统用车载摄像机对因车辆的前柱而产生 的死角区域进行拍摄，并在前柱内侧显示拍摄图像。前柱是支撑前窗和顶盖 的左右两根支柱，从坐在驾驶位置的驾驶员来看，前柱位于斜前方的位置而 遮住了驾驶员的一部分视线，而为了安全，前柱必须是确保规定粗度的构件。
上述的系统包括摄像机，其安装在车体上；图像处理器，其对从摄像 机输出的影像信号进行图像处理；显示器，其设在前柱内侧，显示经过了图 像处理的影像；投影机，其将图像投影到前柱内侧。根据该结构，成为好像 恰好透过前柱而能够看清外部的背景的状态，因此在交叉路口等处，能够确 认车辆侧前方的道路形状或位于侧前方的障碍物，但与驾驶员的移动对应而 显示影像以及实际所见的风景与影像的连续性等成为了问题。
在专利文献1中记载有这样的装置通过分别安装在左右门镜上的摄像 机来拍摄车辆周边，并将拍摄影像投影到柱的内侧。在该装置中，检测出眼 球的坐标，根据其位置来对摄像机拍摄的图像数据进行修正。
专利文献1: JP特开2005-184225号公报。
然而，在上述的装置中，由于使用由一台摄像机拍摄的图像数据，即使 按照眼球的坐标进行坐标转换，能显示的图像也是有限的。即，例如，有时 对于坐在车辆右侧(日式)的驾驶位置上的驾驶员向前曲体而从前窗来观察 车辆右前侧时所见的障碍物，在驾驶员以靠在椅背上的姿势(以下称为标准 姿式)观察侧前方时就无法看到。另外，即使在观察同一障碍物时，向前曲 体来观察右前侧时，由于障碍物是立体的，所以有时能够看到以标准姿势无
法看到的侧面。在上述装置的图像处理中，由于只能进行二维坐标转换，所 以无法显示摄像机未拍摄到的障碍物、或无法显示到未拍摄到的障碍物的侧 面。因此，在驾驶员处于标准姿势以外的姿势时，显示在前柱上的背景图像 和通过前窗和门窗所见的背景之间的连续性有可能会有很大缺失。

发明内容
本发明是鉴于上述问题而提出的发明，其目的在于提供一种能够在柱上 显示与驾驶员的姿势相符的影像的驾驶支援方法及驾驶支援装置。
为了解决上述问题，技术方案(1)的发明提供一种驾驶支援方法，使 用安装在车辆上的拍摄装置来拍摄因上述车辆的柱而产生的死角区域，并将 由上述拍摄装置拍摄的影像显示在上述柱的内侧，在该驾驶支援方法中，检 测坐在上述车辆的驾驶位置上的驾驶员的位置，在拍摄各不相同的范围的多 个上述拍摄装置中，根据上述驾驶员的位置而选择进行拍摄的上述拍摄装 置，基于从所选择的上述拍摄装置输入的影像信号而在上述柱的内侧显示影 像。
技术方案(2)的发明提供一种驾驶支援装置，使用安装在车辆上的拍 摄装置来拍摄因上述车辆的柱而产生的死角区域，并将由上述拍摄装置拍摄
的影像显示在上述柱的内侧，该驾驶支援装置包括检测装置，其检测坐在
上述车辆的驾驶位置上的驾驶员的位置；选择装置，其在拍摄各不相同的范 围的多个上述拍摄装置中，根据上述驾驶员的位置应而选择上述拍摄装置； 影像信号取得装置，其接收从所选择的上述拍摄装置输入的影像信号；输出 控制装置，其基于从上述拍摄装置输入的上述影像信号，在上述车辆的柱的 内侧显示与因上述柱而产生的死角区域相当的影像。
技术方案(3)的发明提供一种驾驶支援装置，使用安装在车辆上的拍 摄装置来拍摄因上述车辆的柱而产生的死角区域，并将由上述拍摄装置拍摄 的影像显示在上述柱的内侧，该驾驶支援装置包括检测装置，其检测坐在 上述车辆的驾驶位置上的驾驶员的位置；角度计算装置，其基于由上述检测 装置检测出的驾驶员的位置，计算因上述柱而产生的死角的角度；选择装置， 其在拍摄各不相同的范围的多个上述拍摄装置中，根据上述驾驶员的位置应 而选择上述拍摄装置；影像信号取得装置，其接收从所选择的上述拍摄装置
输入的影像信号；输出控制装置，其基于从上述拍摄装置输入的上述影像信
号，在上述车辆的柱的内侧显示与因上述柱而产生的死角区域相当的影像。
技术方案(4)在上述技术方案(3)所述的驾驶支援装置中，在因上述 柱而产生的死角的从车宽方向的水平轴起的最大角度小于规定角度时，上述 选择装置选择以上述车辆的侧前方为中心进行拍摄的第一拍摄装置；在上述 最大角度在规定角度以上时，上述选择装置选择以上述车辆的前方为中心进 行拍摄的第二拍摄装置。
技术方案(5)在上述技术方案(2) (4)中任意一项所述的驾驶支 援装置中，上述检测装置检测上述驾驶员的头部的坐标。
技术方案(6)在上述技术方案(2) (5)中任意一项所述的驾驶支 援装置中，还具有图像处理装置，该图像处理装置对从上述各拍摄装置输入 的影像信号，进行与上述驾驶员的位置相对应的图像处理。
根据技术方案(1)所述的发明，检测驾驶员的位置，根据该位置而从 多个拍摄装置中选择一个。然后在柱内侧显示由所选择的拍摄装置拍摄的影 像。因此，即使驾驶员改变姿势，也能够选择与此时的驾驶员位置相符的拍 摄装置，从而能够使显示在柱上的影像成为与通过前窗等所见的实际的风景 的连续性高的影像。
根据技术方案(2)所述的发明，驾驶支援装置检测驾驶员的位置，根 据该位置而从多个拍摄装置中选择一个。然后在柱内侧显示由所选择的拍摄 装置拍摄的影像。因此，即使驾驶员改变姿势，也能够选择与此时的驾驶员 位置相符的拍摄装置，从而能够使显示在柱上的影像成为与通过前窗等所见 的实际的风景的连续性高的影像。
根据技术方案(3)所述的发明，驾驶支援装置检测驾驶员的位置，根 据该位置而计算因柱而产生的死角的角度。然后，根据死角的角度来选择拍 摄装置。另外，在柱内侧显示由所选择的拍摄装置拍摄的影像。因此，即使 驾驶员改变姿势，也能够在柱上显示与从前窗等所见的实际的背景的连续性 高的影像。
根据技术方案(4)所述的发明，在从死角的水平轴开始的最大角度小 于规定角度时，选择以侧前方为中心进行拍摄的第一拍摄装置；在死角的角 度的最大值在规定角度以上时，选择以前方为中心进行拍摄的第二拍摄装
置。S卩，在死角的朝向大致为侧前方时，选择以侧前方为中心进行拍摄的第 一拍摄装置。在死角的朝向接近前方时，选择拍摄前方的第二拍摄装置。因 此，即使驾驶员改变姿势，也能够在柱上显示与从前窗等所见的实际的背景 的连续性高的影像。
根据技术方案(5)所述的发明，检测装置检测出驾驶员的头部的坐标， 因此能够比较正确的确定驾驶员的姿势。
根据技术方案(6)所述的发明，不仅根据驾驶员D的位置而选择拍摄 装置，还根据驾驶员的位置对从第一拍摄装置或第二拍摄装置输入的影像信 号进行图像处理，从而能够在柱上显示与实际的风景的连续性高的图像。


图1是本实施方式的驾驶支援系统的框图。
图2是第一摄像机的拍摄范围的说明图。
图3是第二摄像机的拍摄范围的说明图。
图4是说明投影机以及柱的位置的说明图。
图5是从内侧观察柱的侧视图。
图6是遮蔽图案的说明图。
图7是从侧面观察的传感器的说明图。
图8是从上方观察的传感器的说明图。
图9是头部处于右前侧时的水平方向的死角的说明图。
图IO是头部处于右前侧时的铅垂方向的死角的说明图。
图11是头部处于右后侧时的水平方向的死角的说明图。
图12是头部处于右后侧时的铅垂方向的死角的说明图。
图13是头部处于左前侧时的水平方向的死角的说明图。
图14是头部处于左后侧时的水平方向的死角的说明图。
图15是本实施方式的处理步骤的说明图。
图16是投影到柱上的背景图像的说明图。
图17是投影到柱上的背景图像的说明图。
具体实施例方式
下面，根据图1 图17，对将本发明具体化了的一个实施方式进行说明。 图1是对安装在汽车上的驾驶支援系统1的结构进行说明的框图。如图1所示，驾驶支援系统1安装在车辆C (参照图2)上，包括作为驾驶支援装置的驾驶支援单元2、作为显示装置的显示器3、投影机4、扬 声器5、作为拍摄装置的第一摄像机6以及第二摄像机7、第一 第三位置 检测传感器8a 8c。
驾驶支援单元2包括作为检测装置、选择装置以及角度计算装置的控制 部件10、非易失性主存储器11、 ROM12、 GPS接收部件13。控制部件10 是CPU、 MPU或者ASIC等，根据存储在ROM12中的驾驶支援程序而对各 处理进行主控制。主存储器11暂时存储控制部件10的计算结果。
控制部件10输入位置检测信号，并通过无线电导航法来计算自身车辆 的绝对位置，其中，该位置信号是接收部件13从GPS卫星接收的、表示经 度及纬度等的坐标。另外，控制部件10通过驾驶支援单元2的车辆侧1/F(接 口)部件14，从设在自身车辆上的车速传感器30以及陀螺仪31分别输入车 速脉冲、角速度。然后，控制部件10通过利用车速脉冲以及角速度的自主 导航法，来计算出相对于基准位置的相对位置，通过与由无线电导航法计算 出的绝对位置相配合来确定自身车辆位置。
另外，驾驶支援单元2具有地理数据存储部件15。地理数据存储部件 15是内置硬盘、或光盘等外部存储介质。在该地理数据存储部件15中，存 储有作为用于搜索到达目的地的路径的地图数据的各路径网络数据(以下， 称为路径数据16)、和用于将地图画面3a输出到显示器3上的各地图描画 数据17。
路径数据16是对全国进行划分的网络内的道路相关的数据。路径数据 16具有以下数据各网络的识别标志即网络ID、表示网络内的各链接的识 别标志的链接ID、链接成本等。控制部件IO使用该路径数据16来搜索到达 目的地的推荐路径，并判断车辆C是否接近了交叉路口等引导地点。
另外，地图描画数据17是用于描画道路形状、背景等的数据，分别被 存储在对全国的地图进行了划分的网络中的每一个内。控制部件10基于地 图描画数据17的道路形状，判断在车辆C前方是否有规定曲率以上的转弯。
如图1所示，驾驶支援单元2具备地图描画处理器18。地图描画处理器 18从地理数据存储部件15中读出用于描画自身车辆周围的地图的地图描画数据17。然后，生成地图输出用的数据，并将其暂时存储在未图示的VRAM 中。并且，向显示器3输出基于地图输出用数据的影像信号，从而显示图l 所示的地图画面3a。另外，地图描画处理器18使表示自身车辆位置的自车 位置指标3b重叠在该地图画面3a上。还有，驾驶支援单元2具备语音处理器24。语音处理器24具有未图示 的语音文件，例如从扬声器5输出引导到达目的地的路径的语音。并且，驾 驶支援单元2具有外部输入I/F (接口)部件25。外部输入I/F部件25从与 显示器3相邻的操作开关26、触摸面板式的显示器3来输入基于用户的输入 操作的输入信号，并将其输出到控制部件IO。另外，驾驶支援单元2具有作为影像信号取得装置的影像数据输入部件 22和作为从该影像数据输入部件22接收图像数据G的输出控制装置以及图 像处理装置的图像处理器20。影像数据输入部件22基于控制部件10的控制 来驱动设在车辆C上的第一摄像机6或者第二摄像机7，并接收由第一摄像 机6或者第二摄像机7拍摄的影像信号M。第一摄像机6是拍摄彩色图像的摄像机，具有由镜头、反光镜等构成的 光学机构和CCD拍摄元件(都未图示)等。如图2所示，该第一摄像机6 安装在车辆C右侧的前柱P (以下只称为柱P)的外侧下端部，并且其光轴 朝向车辆C的右前侧。在本实施方式中，由于驾驶位置设置在车辆C的右侧， 所以第一摄像机6配置在驾驶位置一侧。该第一摄像机6对包含车辆C的右 前侧和车辆C的右侧一部分的侧方区域Z1进行拍摄。如图3所示，第二摄像机7与第一摄像机6的结构相同，其设在柱P的 外侧上端部。即，第一摄像机6以及第二摄像机7安装在斜向倾斜的柱P的 两端，他们的位置在与车辆C的轴大致平行的长度方向(图中X方向)、车 宽方向(图中Y方向)以及铅垂方向(图中Z方向)都不相同。第二摄像机 7在长度方向(X方向)上处于比第一摄像机6靠后的位置，对以车辆C的 前方为中心的前方区域Z2进行拍摄。因此，由于第一摄像机6与第二摄像 机7相比，是以车辆C的右前方为中心的画角，所以与第二摄像机7相比， 车辆C右前方的障碍物更容易进入第一摄像机6的拍摄范围。由第一摄像机6或者第二摄像机7拍摄而成的影像信号M通过影像数据 输入部件22而被数字化，而成为图像数据G，并被输出到图像处理器20。 图像处理器20对图像数据G进行图像处理，将进行过图像处理的图像数据 G输出到投影机4。
如图4所示，投影机4在顶盖R的内侧，即安装在驾驶员D所坐的前座 F的铅垂方向上方附近，能够将影像投影在车辆C右侧的柱P (参照图5) 的内面。如图5所示，柱P的内侧面Pa上粘有按照柱P的形状剪裁的屏幕 SC。对应该屏幕SC而调整好投影机4的焦点。另外，在柱P的内侧面Pa 由能够接收投影机4输出的投影光并可显示鲜明的图像的材质以及形状构成 时，则屏幕SC可以省略。
另外，如图1所示，在驾驶支援单元2的R0M12中，在制造工序时己 预先存储有遮蔽图案40以及柱形状41。如图6所示，遮蔽图案40是用于在 图像数据G上进行遮蔽的数据，由沿着柱P内面形状的图像显示部分40a和 遮蔽部分40b构成。在图像处理器20中，图像显示部分40a的区域从第一 摄像机6或者第二摄像机7所拍摄的图像数据G中取得像素值，遮蔽部分 40b的区域则被设为投影机4非显示用的像素值，从而生成输出用数据OD。 当生成输出用数据OD时，图像处理器20将该输出用数据OD输出到投影机 4。其结果，图像只投影在柱P的屏幕SC上，并由于遮蔽部分40b，图像不 会投影到该屏幕SC周围的前窗Wl或者门窗W2上。
柱形状41是以图案或者坐标表示柱的外形的数据，是因车辆C而不同 的数据。控制部件10能够基于该柱形状41而取得表示柱P的外形的长度方 向、车宽方向以及铅垂方向的三维坐标(X， Y， Z)。另外，柱P的宽度和 长度也可以作为使用了三维坐标的数据而取得。
另外，如图1所示，驾驶支援单元2具有构成检测装置的传感器I/F (接 口)部件23。传感器I/F部件23从第一 第三位置检测传感器8a 8c接收 检测信号。如图7所示，第一 第三位置检测传感器8a 8c是超声波传感器， 它们被安装在车内，即安装在坐在前座F上的驾驶员D的周围。第一位置检 测传感器8a安装在室内镜RM附近，位于与驾驶员D的头部Dl大致同高 或略高的位置。
如图8所示，第二位置检测传感器8b安装在门窗2 (参照图5)的上端 附近，即位于在驾驶员D的斜向右前方。另外，在本实施方式中，第二位置 一位置检测传感器8a在长度方向(X方向)上位置大致 相同。如图7所示，第三位置检测传感器8c埋设在前座F的头部FH内。第三 位置检测传感器8c位于第一以及第二位置检测传感器8a、 8b的铅垂方向(Z 方向)上的下方。另外，如图8所示，第三位置检测传感器8c在车宽方向 (Y方向)上位于第一以及第二位置检测传感器8a、 8b之间，在长度方向 (图8中X方向)上位于第一以及第二位置检测传感器8a、 8b的后方。从各位置检测传感器8a 8c的未图示的传感头部发出的超声波被驾驶 员D的头部Dl反射。各位置检测传感器8a 8c对从发出超声波到接收到反 射波的时间进行计测，基于该计测时间，分别计算到达头部D1的各相对距 离L1 L3。计算出的相对距离L1 L3通过传感器I/F部件23而输出到控制 部件10。另外，也可以基于来自各位置检测传感器8a 8c的信号而使传感 器I/F部件23计算出到达头部Dl的相对距离L1 L3。如图1所示，非易失性主存储器11中存储有用于计算头部D1的中心坐 标Dc的头部坐标表lla。头部坐标表lla使从第一 第三位置检测传感器 8a 8c到驾驶员D的头部D1的相对距离L1 L3与头部Dl的中心坐标Dc 的标准值建立关联。即，在坐在驾驶位置上的状态下，使标准体型的驾驶员 D的头部Dl可移动的范围和第一 第三位置检测传感器8a 8c的检测范围 相符，预先设定头部移动范围Z3 (参照图8)。在该头部移动范围Z3内， 对由第一 第三位置检测传感器8a 8c检测出的相对距离L1 L3与头部 Dl的中心坐标Dc的组合进行图案化处理，从而通过使用各相对距离Ll L3并参照头部坐标表lla，从而得到头部D1的中心坐标Dc。另夕卜，作为头 部坐标表lla，既可以存储与驾驶员的体型对应的多个表，也可以预先在驾 驶支援单元2中登录驾驶员D的坐高、眼睛的位置等与体型相关的数据，控 制部件10根据该登录数据而生成头部坐标表lla。接着，控制部件10基于计算出的中心坐标Dc，计算出由柱P遮住的死 角ei、 02。用图9以及图IO进行详细叙述，计算出头部D1的中心坐标Dc 与柱P在水平方向上的切线T1、 T2(参照图9)、铅垂方向上的切线T3、 T4 (参照图10)，并计算出切线T1、 T2所成的角度以及切线T3、 T4所成的 角度。
如图10所示，在计算出水平方向上的切线T1、 T2时，控制部件10基 于存储在ROM12中的柱形状41，在柱P的长轴方向的侧端上求出与头部 Dl的中心坐标Dc同高的切点P1、 P2。然后，如图9所示，使这两个切点 Pl、 P2与中心坐标Dc相连接，从而求出切线T1、 T2。另外，用于求出切 线T1、 T2的切点P1、 P2也可以不与中心坐标Dc等高，例如也可以是柱P 的长轴方向上的中点。另外，控制部件10计算出由切线T1、 T2所形成的水平方向的死角ei。 并且，如图9所示，控制部件10将作为车宽方向(Y方向)的水平轴的水 平线Hy作为0度，从而计算出切线Tl相对于该水平线Hy的角度0a (下面 称为最小角度ea)、切线T2相对于该水平线Hy的角度0b (下面称为最大角度eb)。另一方面，如图10所示，在计算出铅垂方向上的切线T3、 T4时，控制 部件10基于柱形状41，计算出连接头部D1的中心坐标Dc与柱P的下端点 P3、上端点P4的切线T3、 T4。然后，将各切线T3、 T4所成的角度作为铅 垂方向的死角62。另外，将从中心坐标Dc向X方向延伸的水平线Hx作为 0度，从而计算出从水平线Hx到切线T3的角度6c(下面称为最小角度ec)、切线T4相对于水平线Hx的角度ed (下面称为最大角度ed)。当控制部件io计算出死角ei、 e2、最大角度eb、 ed、最小角度ea、 ec时，首先判断水平方向的最大角度eb是否小于规定角度A(例如为45度)，以及判断铅垂方向的最大角度ed是否大于或等于规定角度b(例如为i5度)。另外，规定角度A、 b的大小可以根据车辆C的结构而适当设定，并不仅限于上述的角度。由于在最大角度％<规定角度a且最大角度ed^规定角度b时，驾驶员D的视场(视野范围)朝向车辆C的右前方就能够看到比较远的地方，因此 使用第一摄像机6进行拍摄。除此以外的情况下，由于驾驶员D处于即使向 右前方看也只能看到车辆c附近的姿势，所以使用以前方为中心进行拍摄的 第二摄像机7进行拍摄。例如，如图9所示，头部D1在头部移动范围Z3中处于右前方时，水平 方向的最大角度eb在45度以上。另外，如图10所示，头部D1在头部移动 范围Z3中处于右前方时，铅垂方向的最大角度0d在15度以上。如上述，
虽然铅垂方向的最大角度ed在规定角度b以上，但由于水平方向的最大角 度eb在规定角度a以上，所以控制部io使用与处于右前方的头部di位置接近的第二摄像机7进行拍摄。第二摄像机7在进行拍摄后，通过影像数据输入部件22而将图像数据 输出到图像处理器20。图像处理器20如上所述进行图像处理，使用遮蔽图 案40来生成输出用数据OD。然后将所生成的输出用数据OD输出到投影机 4。从而，头部D1在处于头部移动范围Z3中的右前方时，能够在柱P的屏 幕SC上显示与从前窗Wl看到的风景相连续的图像。同样，例如图11以及图12所示，头部D1的中心坐标Dc处于头部移动 范围Z3中的右后方时，水平方向的最大角度eb大于或等于规定角度a (45 度)，铅垂方向的最大角度ed小于规定角度B (15度)。gp，驾驶员D处 于已看到前方的状态，因此其视野接近于第二摄像机7的视角。因此，此时 也启动靠近头部Dl位置的第二摄像机7。另外，如图13所示，头部Dl的中心坐标Dc处于头部移动范围Z3中 的左前方时，水平方向的最大角度eb小于规定角度A (45度)，并且铅垂 方向的最大角度ed在规定角度(15度)以上。此时，驾驶员D的头部D1 在长度方向(X方向)上接近前窗W1，在铅垂方向(Z方向)上尚处于比 较低的位置，同时在车宽方向(Y方向)上处于比较远离柱P的状态。艮口， 驾驶员D处于避开柱P而从前窗Wl观察右前方的状态，因此容易以肉眼确 认右前方的障碍物等，能够看到以后背靠在前座F上的姿势无法看到的障碍 物或障碍物的一部分。因此，控制部件10驱动以右前方以及右方为中心进 行拍摄的第一摄像机6。第一摄像机6在进行拍摄后，通过影像数据输入部件22而将图像数据 输出到图像处理器20。图像处理器20如上所述对图像数据G进行坐标转换， 然后生成输出用数据OD，并将所生成的输出用数据OD输出到投影机4。从 而，在驾驶员向前曲体而观察右前方的其他车辆或障碍物等时，能够在屏幕 SC上投影出以该姿势可见到的右前方的其他车辆或障碍物。另外，如图14所示，头部Dl的中心坐标Dc处于头部移动范围Z3中 的左后方时，水平方向的最大角度eb在规定角度A以上，并且铅垂方向的 最大角度ed小于规定角度。此时，驾驶员D处于以前方为中心进行观察的
状态，因此启动第二摄像机7。接着，根据图15，针对本实施方式的处理步骤进行说明。驾驶支援单元 2的控制部件10等待向柱P的内侧投影背景图像的投影模式开始(步骤Sl)。 例如，当对触摸面板及操作开关26进行操作，而控制部件10通过外部输入 1/F部件25接收到模式开始要求时，判断为投影模式开始。或者，以初始状 态启动投影模式时，也可以基于来自点火模块(未图示)的打开信号，判断 为投影模式开始。当判断为开始投影模式时(在步骤S1中为"是")，控制部件10基于 路径数据16或地图描画数据17的道路数据，判断是否已接近交叉路口或者 转弯处(步骤S2)。具体地说，当控制部件10判断车辆C的当前位置进入 到与包含T字路口的交叉路口或规定的曲率以上的转弯相距规定距离的范围 (例如200m)内时，判断己接近交叉路口或转弯。当判断己接近交叉路口或转弯时(在步骤S2中为"是".)，控制部件 10使用各位置检测传感器8a 8c来检测驾驶员D的头部位置(步骤S3)。 此时，控制部件10通过传感器I/F部件23而从各位置检测传感器8a 8c取 得到达头部D1的相对距离L1 L3。然后，参照各相对距离L1 L3与头部 坐标表lla来确定头部Dl的中心坐标Dc。接着，控制部件lO如上述利用中心坐标Dc来计算水平方向的切线Tl、 T2和铅垂方向的切线T3、 T4，从而计算出水平方向的死角01、铅垂方向的 死角62。当计算出各死角ei、 e2时，控制部件io判断是否是水平方向的死角ei 的最大角度eb小于规定角度A、并且铅垂方向的死角e2的最大角度ed在规定角度B以上(步骤S4)。当判断为最大角度eb在规定角度a以上或者最大角度ed小于规定角度B时(在步骤S4中为"否")，驾驶员D处于面向前方的状态或观察车辆 C的右前方的车辆附近的状态，因此控制部件10启动此时视角与驾驶员D 的视野接近的第二摄像机7，对前方区域Z2进行拍摄(步骤S6)。第二摄 像机7将影像信号M输出到影像数据输入部件22，影像数据输入部件22对 影像信号M进行A/D转换，从而将图像数据G输出到图像处理器20中。 另外，图像处理器20按照头部Dl的中心坐标Dc来对从影像数据输入
部件22输入的图像数据G进行图像处理(步骤S7)。即，不仅按照中心坐 标Dc来对进行拍摄的摄像机6、 7进行变更，还按照此时的中心坐标Dc进 行坐标转换等公知的图像处理，从而做成与实际的背景接近的图像。此时， 图像处理器20从ROM12读出遮蔽图案40，对于遮蔽图案40的图像显示部 分40a读出图像数据G的像素值，对于其他区域读出投影机4非显示用的像 素值，从而生成输出用数据OD。当生成了输出用数据OD时，图像处理器20将输出用数据OD输出到投 影机4，投影机4对该输出用数据OD进行D/A转换，从而将背景图像投影 到柱P的屏幕SC上(步骤S8)。其结果，如图16所示，在屏幕SC上显示 作为影像的背景图像IM。图16所示的背景图像IM是由以前方为中心进行 拍摄的第二摄像机7所拍摄的，因此，能够使观察前方的驾驶员通过前窗 Wl以及门窗W2所见的实际的风景与背景图像IM的连续性良好。当在屏幕SC上显示背景图像IM时，控制部件10判断车辆C是否已从 交叉路口或转弯处离开(步骤S9)。当判断为车辆C接近或进入到交叉路 口或转弯处时(在步骤S9中为"否")，回到步骤S3，控制部件10对各位 置检测传感器8a 8c进行控制，从而计算出头部D1的中心坐标Dc。然后，当车辆C到达交叉路口时，驾驶员向前曲体，观察与车辆C的行 进方向垂直的方向的道路，从而确认有无其他车辆或行人等，在要右转时， 确认垂直的道路的形状等。此时，驾驶员D的头部D1从柱向左侧偏离，并 向前方移动。其结果，死角ei的最大角度0b小于规定角度A (45度)，死 角62的最大角度ed在规定角度B (15度)以上(在步骤S4中为"是")。 此时，控制部件10利用拍摄接近此时驾驶员D的视野的范围即侧方区域Zl 的第一摄像机6进行拍摄(步骤S5)。第一摄像机6将影像信号M输出到 影像数据输入部件22，影像数据输入部件22对影像信号M进行A/D转换， 并将图像数据G输出到图像处理器20。另外，图像处理器20按照头部Dl的中心坐标Dc来对从影像数据输入 部件22输入的图像数据G进行图像处理(步骤S7)，从而生成输出用数据 OD。当生成了输出用数据OD时，图像处理器20将输出用数据OD输出到 投影机4，投影机4对该输出用数据OD进行D/A转换，从而将背景图像投 影到柱P的屏幕SC上(步骤S8)。其结果，如图17所示，在屏幕SC上显
示背景图像IM的影像。背景图像IM上显示有以后背靠在前座F上的姿势 无法看到的道路形状和障碍物等。另外，能够使通过前窗W1以及门窗W2 所见的实际的风景与背景图像IM的连续性良好。然后，当判断为车辆C已从交叉路口或转弯处离开(在步骤S9中为"是") 时，控制部件10判断投影模式是否结束(步骤SIO)。例如，当对触摸面板 或者操作开关26进行操作，或接收到点火模块的关闭信号时，判断为投影 模式结束(在步骤S10中为"是")，从而结束处理。当判断为投影模式未 结束时(在步骤S10中为"否")，则回到步骤S2进行待机，直到车辆C 接近交叉路口或转弯处为止。并且，在车辆C接近交叉路口或转弯处时(在 步骤S2中为"是")，重复上述的处理。根据上述实施方式，能够达到以下的效果。(1) 在上述实施方式中，驾驶支援单元2的控制部件10基于第一 第 三位置检测传感器8a 8c而计算出驾驶员D的头部Dl的中心坐标Dc。另 外，计算出以其头部Dl的位置来看由柱P产生的死角91、 62，各死角ei的最大角度eb小于规定角度a (45度)并且死角e2的最大角度ed在规定角度B (15度)以上时，启动拍摄车辆C的侧方的第一摄像机6。另外，在 除此以外的情况下，启动拍摄车辆C的侧方的第二摄像机7。并且，按照中 心坐标Dc对由第一或第二摄像机6、 7拍摄的图像数据G进行图像处理，并 将所生成的输出用数据OD输出到投影机4。投影机4将该输出用数据OD 投影到柱P的内侧面的屏幕SC上。由此，在驾驶员D向前曲体而观察右前 方时，或处于靠在前座F上的姿势时，都能够显示从与各姿势对应的视角拍 摄的背景图像IM，从而能够显示与实际的背景的连续性良好的背景图像IM， 进而还能够对安全驾驶进行支援。(2) 在上述实施方式中，驾驶支援单元2的控制部件10检测出驾驶员 D的头部D1的中心坐标Dc。然后，基于该中心坐标Dc而计算出死角01、02，因此能够比较正确的计算出死角ei、e2和最大角度eb以及最小角度ec。(3) 在上述实施方式中，不仅根据驾驶员D的姿势而选择第一摄像机 6或者第二摄像机7，还通过图像处理器20来对从各摄像机6、 7输入的图 像数据G进行坐标转换。因此，能够使从前窗W1以及门窗W2所看到的实 际的风景与背景图像IM的连续性更为良好。 (4)在上述实施方式中，控制部件10基于头部D1的中心坐标Dc而计算出死角ei的最大角度eb和死角e2的最大角度ed。然后，根据最大角度eb、最大角度ed的大小来选择摄像机6、 7。因此，由于基于驾驶员D的死角的 朝向而选择摄像机6、 7，所以能够可靠地显示符合驾驶员D的姿势的连续 性高的背景图像IM。此外，本实施方式也可以如下进行变更。在上述实施方式中，控制部件10基于路径数据16判断车辆C是否已接 近交叉路口，并且基于地图描画数据17来判断车辆C是否己接近规定的曲 率以上的转弯，但也可以基于地图描画数据17或其他数据来判断有无交叉 路口。另外，也可以基于路径数据16或其他数据来判断有无规定曲率以上 的转弯。在上述实施方式中，将位置检测传感器8a 8c设在室内镜RM附近、 门窗W2的上端附近、前座F的头部FH上，但也可以设在其他位置上。另 外，虽然将检测头部Dl的位置的传感器设为三个，但也可以是两个或四个 以上。并且，虽然使位置检测传感器8a 8c为超声波传感器，但也可以是红 外线传感器等其他的传感器。在上述实施方式中，虽然通过由超声波传感器构成的位置检测传感器 8a 8c可检测出驾驶员D的头部D1，但是也可以通过处于驾驶位置附近的 摄像机拍摄驾驶位置周边，并通过特征点检测或图案匹配处理等图像处理， 从而检测出驾驶员的头部。在上述实施方式中，虽可参照相对距离L1 L3与头部坐标表lla，计算 出头部Dl的中心坐标Dc，但也可以通过控制部件10不使用表而基于相对 距离L1 L3进行计算。在上述实施方式中，将使头部D1的中心坐标Dc与上述的水平方向的最大角度eb、铅垂方向的最大角度ed建立了联系的表，存储在主存储器ll等中也可以。并且，也可以在计算出中心坐标Dc时，基于该表而计算出最大角度eb以及最大角度ed。在上述实施方式中，影像数据输入部件22生成图像数据g，但也可以 在各摄像机6、 7内进行a/D转换而生成图像数据g。在上述实施方式中，水平方向的死角e的最大角度eb小于规定角度a
并且铅垂方向的死角e2的最大角度ed在规定角度b以上时，由第一摄像机 6进行拍摄。除此以外，也可以只判断水平方向的死角e的最大角度eb是否 小于规定角度a，在最大角度eb小于规定角度a时，由第一摄像机6进行 拍摄。或者，也可以只判断铅垂方向的死角e2的最大角度ed是否在规定角 度b以上，最大角度ed在规定角度b以上时，由第一摄像机6进行拍摄。 在上述实施方式中，可以根据死角ei、 e2的大小而任意选择第一以及第二摄像机6、 7。在上述实施方式中，根据头部Dl的中心坐标Dc来计算驾驶员D的死 角61、 02，但也可以根据中心坐标Dc包含在头部移动范围Z3中的哪个范 围来选择第一摄像机6或第二摄像机7。例如，在驾驶员D向前曲体时，由 于判断为头部D1在头部移动范围Z3内处于左前方，所以可以启动第一摄像 机6。另外，当判断为头部D1在头部移动范围Z3内处于右前方或后方时， 可以启动第二摄像机7。这样一来，能够减轻驾驶支援单元2的处理，比较 容易的显示与随着车辆C的移动而变化的实际的风景相连续的背景图像IM。在上述实施方式中，虽然在车辆C上设有两个摄像机6、 7，但也可以设 置三个以上的摄像机。此时，也可以如上述那样基于驾驶员D的死角01、 02 或头部Dl的中心坐标Dc来从各摄像机中选择进行拍摄的摄像机，从而能够 显示与驾驶员的姿势相对应的背景图像IM。在上述实施方式中，虽然在驾驶位置侧的柱P (在本实施方式中是右侧 的前柱)上显示背景图像IM，但也可以在驾驶位置的相反侧的柱上显示背 景图像。此时，也可以计算出头部D1的坐标和由柱遮蔽的死角的角度，从 而根据该角度而变更所启动的摄像机。在上述实施方式中，虽然由投影机4将背景图像IM投影到柱P的内侧， 但也可以在柱P的内侧设置薄型的显示器，从而从图像处理器20向该显示 器输出输出用数据OD。
权利要求
1.一种驾驶支援方法，使用安装在车辆上的拍摄装置来拍摄因上述车辆的柱而产生的死角区域，并将由上述拍摄装置拍摄的影像显示在上述柱的内侧，其特征在于，检测坐在上述车辆的驾驶位置上的驾驶员的位置，在拍摄各不相同的范围的多个上述拍摄装置中，根据上述驾驶员的位置而选择进行拍摄的上述拍摄装置，基于从所选择的上述拍摄装置输入的影像信号而在上述柱的内侧显示影像。
2. —种驾驶支援装置，使用安装在车辆上的拍摄装置来拍摄因上述车辆的柱而产生的死角区域，并将由上述拍摄装置拍摄的影像显示在上述柱的内侧，其特征在于，包括检测装置，其检测坐在上述车辆的驾驶位置上的驾驶员的位置； 选择装置，其在拍摄各不相同的范围的多个上述拍摄装置中，根据上述驾驶员的位置而选择上述拍摄装置；影像信号取得装置，其从所选择的上述拍摄装置输入影像信号； 输出控制装置，其基于从上述拍摄装置输入的上述影像信号，在上述车辆的柱的内侧显示与因上述柱而产生的死角区域相当的影像。
3. —种驾驶支援装置，使用安装在车辆上的拍摄装置来拍摄因上述车 辆的柱而产生的死角区域，并将由上述拍摄装置拍摄的影像显示在上述柱的 内侧，其特征在于，包括检测装置，其检测坐在上述车辆的驾驶位置上的驾驶员的位置； 角度计算装置，其基于由上述检测装置检测出的驾驶员的位置，计算因上述柱而产生的死角的角度；选择装置，其在拍摄各不相同的范围的多个上述拍摄装置中，根据上述驾驶员的死角的角度而选择上述拍摄装置；影像信号取得装置，其从所选择的上述拍摄装置输入影像信号； 输出控制装置，其基于从上述拍摄装置输入的上述影像信号，在上述车辆的柱的内侧显示与因上述柱而产生的死角区域相当的影像。
4. 如权利要求3所述的驾驶支援装置，其特征在于， 在从因上述柱而产生的死角的车宽方向的水平轴起的最大角度小于规 定角度时，上述选择装置选择以上述车辆的侧前方为中心进行拍摄的第一拍摄装置；在上述最大角度在规定角度以上时，上述选择装置选择以上述车辆 的前方为中心进行拍摄的第二拍摄装置。
5. 如权利要求2 4中任意一项所述的驾驶支援装置，其特征在于， 上述检测装置检测上述驾驶员的头部的坐标。
6. 如权利要求2 5中任意一项所述的驾驶支援装置，其特征在于， 还具有图像处理装置，该图像处理装置对从上述各拍摄装置输入的影像信号，进行与上述驾驶员的位置相对应的图像处理。
全文摘要
一种能够在柱上显示与驾驶员的姿势相符的影像的驾驶支援方法及驾驶支援装置。驾驶支援单元使用安装在车辆上的第一摄像机及第二摄像机，拍摄因车辆的柱而产生的死角区域的影像，并将所拍摄的影像显示在柱的内侧，在该驾驶支援单元中具有控制部件，该控制部件检测驾驶员的头部的位置，根据头部的位置计算因柱而产生的死角的角度，同时在以车辆的侧方为中心拍摄的第一摄像机和以车辆的前方为中心拍摄的第二摄像机中，根据死角的最大角度或最小角度而选择进行拍摄的摄像机。另外具有影像数据输入部件，其接收从所选择的第一或第二摄像机输入的影像信号；图像处理器，其基于影像信号，在车辆的柱的内侧显示与因柱而产生的死角区域相当的影像。
文档编号H04N13/00GK101106703SQ20071012709
公开日2008年1月16日 申请日期2007年7月4日 优先权日2006年7月12日
发明者洼田智气, 高木实 申请人:爱信艾达株式会社