驾驶辅助方法以及驾驶辅助装置的制作方法

专利名称：驾驶辅助方法以及驾驶辅助装置的制作方法
技术领域：
本发明涉及驾驶辅助方法以及驾驶辅助装置。
背景技术：
以往，作为辅助安全驾驶的装置，开发有利用车载照相机拍摄成为驾 驶员的死角的区域，并在显示器等上进行显示的车载系统。作为这种系统 之一，提出有一种利用车载照相机拍摄由于车辆的支柱而产生的死角区 域，将摄影图像显示在支柱内侧的系统(例如参照专利文献l)。支柱是支 撑车窗和车顶的左右支柱，虽然遮挡了驾驶员的一部分视野，但为了安全
性，必须是确保规定厚度的部件。另外，由于驾驶员的视线方向与照相机 的摄影方向不一致，所以该装置对照相机的摄影图像进行与驾驶员的视线 方向一致的坐标转换。
[专利文献ll日本特开2005-184225号^>才艮
但是，上述装置不适用于驾驶员通过车内后视镜观察车辆后方或侧后 方的情况。即，在驾驶员通过车内后视镜观察车辆后方或侧后方时，借助 于车内后视镜的驾驶员的视野，有时被车辆后方的后支柱、和位于前方座 椅与后方座椅之间的中支柱遮挡。
对此，也可以采用如下的方法，即，在后支柱和中支柱，投影假设驾 驶员直接目^L^方或侧后方的情况而生成的图像，使驾驶员通过车内后视 镜观察所投影的图像的方法。但是，在通过车内后视镜看后方或侧后方的 情况下，驾驶员可观察的范围以及视线方向，与直接目视后方或侧后方情 况下的观察范围以及视线方向不同，因此，采用上述的方法，投影在支柱 上的图像与实际景物之间的差异很大，驾驶员有时会感到不协调。

发明内容
本发明是鉴于上述的问题点而完成的，其目的是提供一种驾驶辅助方 法以及驾驶辅助装置，即使在驾驶员通it^视镜看车辆周边时由于支柱而产生了死角的情况下，也能够将死角区域的图4象显示在支柱。
为了解决上述问题点，本发明之1提供一种驾驶辅助方法，该方法使 用安装于车辆的摄影装置，拍摄由于该车辆的支柱而产生的死角区域，将 相当于该死角区域的图像显示在上述支柱的内侧，其特征在于，检测驾驶 员的位置，并且取得设在车室内的后视镜的角度，根据上述驾驶员的位置 和上述后视镜的角度，计算出驾驶员通过上述后视镜观察上述车辆周边
时，由于映在上述后^L镜中的支柱而产生的死角区域，并且将上述摄影装 置所拍摄的图像数据中的与上述计算出的死角区域相当的区域，显示在上
述支柱o
本发明之2提供一种驾驶辅助装置，该驾驶辅助装置使用安装于车辆 的摄影装置，拍摄由于该车辆的支柱而产生的死角区域，利用显示装置将 由上述摄影装置拍摄的图像显示在上述支柱的内侧，其特征在于，具有 驾驶员位置检测单元，检测驾驶员的位置；后视镜位置检测单元，取得设 在车室内的后视镜的角度；死角区域运算单元，其根据上述驾驶员的位置 和上述后视镜的角度，计算出驾驶员通过上述后视镜观察上述车辆周边 时，由于映在上述后视镜中的上述支柱而产生的死角区域；图像合成单元， 其使用由上述摄影装置拍摄的图像数据，生成与上述死角区域相当的死角 显示图像；和图4綠出单元，向上述显示装置输出上述死角显示图像。
本发明之3是碁于本发明之2的驾驶辅助装置，其特征在于，还具有 可视范围计算单元，该可视范围计算单元根据上述驾驶员的位置和上述后 视镜的角度，计算出该驾驶员通过上述后视镜可看到的可视范围，上述死 角区域运算单元，判断上述可视范围内所包含的上述支柱，根据上述驾驶 员的位置和上述后视镜的角度计算出由于该支柱而产生的上述死角区域， 上述图像输出单元，向该支柱显示上述死角显示图像。
本发明之4是基于本发明之2或3的驾驶辅助装置，其特征在于，还 具有判断上述车辆是否进行车道变更的车辆状况判断单元，在通过上述车 辆状况判断而判断为上述车辆是进行车道变更时，将与由于映在上述后视 镜中的上述支柱而产生的死角区域相当的上述死角显示图像，向该支柱输
本发明之5是基于本发明之4的驾驶辅助装置，其特征在于，还具有检测在上述车辆的后方或侧后方的障碍物的障碍物检测单元，在由上述障 碍物检测单元检测出在上述车辆的后方或侧后方的障碍物的情况下，上述
图像合成单元在该障碍物的位置设定用于将上述图像数据进行坐标转换
的假想平面。
根据本发明之1，根据驾驶员的位置和后视镜的角度，计算由于映在 后视镜中的支柱而产生的死角区域。而且，在支柱的内侧显示与该死角区 域相当的区域的死角显示图像。因此，即使在驾驶员通过后视^f车辆后 方的情况下，也可以对死角进行辅助。
根据本发明之2,驾驶辅助装置根据驾驶员的位置和后视镜的角度， 计算由于映在后朝L镜中的支柱而产生的死角区域。而且，在支柱的内侧显 示与该死角区域相当的区域的死角显示图像。因此，即使在驾驶员通过后 视镜看车辆后方的情况下，也可以对死角进行辅助。
根据本发明之3,在后视镜的可视范围中所包含的支柱显示死角显示 图像。因此，由于对于不包含在后视镜的可视范围内的支柱，省略了死角 区域的运算处理和显示处理，所以，可减少处理量。
根据本发明之4，在车辆进行车道变更时，显示死角显示图像。因此， 在驾驶员通it^视镜看车辆后方或侧后方的情况下，可判断在车辆后方或 侧后方是否存在其他车辆。
根据本发明之5,当检测到在车辆后方或侧后方的障碍物的情况下， 将假想平面设定在该障碍物的位置。因此，能够将以障碍物为中心的清晰 的图像投影在支柱的内面。


图l是本实施方式的驾驶辅助系统的方框图。
图2是本车辆的俯视图。
图3是由于前支柱而产生的死角区的示意图。
图4是车内后视镜的可视范围的示意图。
图5是通过车内后视镜看而产生的后视镜死角区的示意图。图6是由于侧方支柱和后支柱产生的死角区的示意图。
图7;1假想平面和照相^影面的示意图。
图8是车道变更时的假想平面和照相M影面的示意图。
图9是屏蔽图案的说明图。
图IO是设置于支柱的屏幕的主视图。
图ll是表示本实施方式的处理顺序的流程图。
图12是映在车内后视镜中的死角显示图像的模式图。
图中1-驾驶辅助系统；2-作为驾驶辅助装置的驾驶辅助单元；4-作为摄影装置的死角摄影照相机；10-作为车辆状况判断单元的系统控制 部；11-作为驾驶员位置检测单元的头部位置检测部；13-作为后视镜位 置检测单元、死角区域运算单元、可视范围计算单元的死角区运算部；15-作为图像合成单元、图像输出单元的图像转换部；16-作为图像合成单元、 图#^出单元的假想平面设定部；17-作为图像合成单元、图#^出单元、 障碍物检测单元的投影图像输出部；20、 20A、 20B、 20C-作为显示装置 和投影装置的投影机；50-死角显示图像；BM-作为死角区域的后视镜 死角区；Al-可视范围；B-作为死角区域的死角区；ci -作为车辆的 本车辆；C2-作为障碍物的其他车辆；G、 GI-图4象数据；M-车内后 视镜；VP—假想平面；P、 PA1、 PA2、 PB1、 PB2、 PC1、 PC2-支柱； 6 —旋转角度。
具体实施例方式
下面，结合图1 图12，对将本发明具体化的一实施方式进行说明， 图l是说明安装在本车辆Cl(参照图2)中的驾驶辅助系统1的构成的 方框图。
驾驶辅助系统1被搭载在本车辆Cl中，并且如图1所示，具有作 为驾驶辅助装置的驾驶辅助单元2、头部检测传感器3、作为摄影装置 的死角摄影照相机4、视线检测照相机5、后视镜角度传感器7、障碍物 检测传感器8、导航ECU (以下导航ECU6)、和作为显示装置以及投影装置的投影机20。
驾驶辅助单元2具有作为车辆状况判断单元的系统控制部10、作为 驾驶员位置检测单元的头部位置检测部11、视线方向检测部12、作为 后视镜位置检测单元、死角区域运算单元、可视范围计算单元的死角区 运算部13、和图像数据取得部14。另外，还具有作为图像合成单元、 图像输出单元的图像转换部15、作为图像合成单元、图像输出单元、障 碍物检测单元的假想平面设定部16、作为图像合成单元、图像输出单元 的投影图像输出部17、和属性数据存储部18。系统控制部IO，若设置 在本车辆Cl的仪表板(instrument panel )或转向柱(steering column )、 或导航装置(均未图示)等中的系统启动开关SW1被进行了输入操作， 则开始驾驶辅助系统l的死角辅助功能的运行。另外，在判断为本车辆 Cl进行车道变更时，开始死角辅助功能。并且，若判断为本车辆Cl 接近了交叉路口或弯道，则导航ECU6向系统控制部IO输出辅助开始 信号，输入了该信号的系统控制部IO开始死角辅助功能。或者，也可 以在本车辆Cl的档位被切换到倒档的情况下等，判断为开始死角辅助 功能。
导航ECU6具有本车位置运算部6a、 GPS接收部6b、车辆信号输 入部6c、地图数据存储部6d。本车位置运算部6a根据GPS接收部6b 计算出本车辆Cl的绝对位置。另外，车辆信号输入部6c从本车辆Cl 所具有的车速传感器和陀螺仪(未图示)输入车速脉冲、和方位检测信 号。本车位置运算部6a从车辆信号输入部6c取得车速脉冲和方位检测 信号，计算出相对基准位置的相对位置，并结合基于GPS接收部6b而 计算出的绝对位置来确定本车位置。
在地图数据存储部6d中，储存有用于搜索到达目的地的路径的路 径数据、和用于向显示器输出地图的地图绘制数据(均未图示)。导航 ECU6中具有的路径搜索部(未图示)根据该路径数据搜索到达目的地 的路径。另外，本车位置运算部6a使用该路径数据和地图绘制数据判 断本车辆Cl是否接近了例如交叉路口或弯道之类的进行死角辅助的规 定地点。
头部位置检测部11从头部检测传感器3输入检测信号，检测出驾驶 员的头部位置。头部检测传感器3例如由超声波传感器构成，在车室内的驾驶席周围安装有多个。从头部检测传感器3发出的超声波被驾驶员 的头部反射，头部检测传感器3计测从发出超声波到接收反射波的时间。 头部位置检测部11根据由头部检测传感器3计测的计测时间，使用三 角测量法等公知的方法，分别计算出至头部的各个相对距离。另外，视线方向检测部12检测出驾驶员的视线方向。具体是，视 线方向检测部12从设在车室内的视线检测照相机5输入图像数据GI。 视线检测照相机5被安装在例如仪表板等可拍摄到驾驶员的面部和眼睛 的位置和角度。视线方向检测部12若输入了拍摄了驾驶员的面部和眼 睛的图像数据GI，则釆用公知的图像处理方法，判断驾驶员的面部朝 向和瞳孔位置，由此来判断视线的朝向。例如，在驾驶员的视线方向包 含在自平行于本车辆C1的长度方向(图2中Y箭头方向)的方向偏离 规定角度的范围内的情况下，判断为驾驶员是朝向车辆前方。另外，若 视线方向检测部12根据预先储存的车内后视镜M (参照图2)的位置， 判断为驾驶员的视线方向是车内后视镜M的方向，则判断为驾驶员正 在看车内后视镜M。另夕卜，例如在视线检测照相机5被安装在驾驶员的 正面的情况下，若通过图像处理检测到驾驶员的侧面部，则判断为驾驶 员正在看车辆后方或侧后方。死角区运算部13根据驾驶员的视线方向，运算由于设在本车辆C1 中的支柱P (参照图2)而产生的死角区。在本实施方式中，如图2所 示，在本车辆Cl中设有6根支柱P，包括各个前支柱(A支柱)PA1、 PA2、各个中支柱(B支柱)PB1、 PB2、和各个后支柱(C支柱)PC1、 PC2。各个前支柱PA1、 PA2分别被设在驾驶席前方的左侧和右侧。各 个中支柱PB1、 PB2分别被设在左侧的前门Dl与后门D2之间、和右 侧的前门D3与后门D4之间。各个后支柱PC1、 PC2分别被设在车辆 后方，位于后门D2、 D4的车窗W2、 W4与后车窗W6之间。例如，在驾驶员面向前方的情况下，死角区运算部13从属性数据 存储部18中读出与各个前支柱PA1、 PA2对应的支柱属性数据18a。此 外，存储在属性数据存储部18中的各个支柱属性数据18a具有与左前 支柱PA1、右前支柱PA2、左中支柱PB1、右中支柱PB2、左后支柱 PC1、右后支柱PC2的3维坐标以及形状有关的数据。例如，支柱属性 数据18a是用图案或坐标来表示支柱P的外形的数据，其表示用于表示支柱P的外形的长度方向、车宽方向和竖直方向的3维坐标、和支柱P 的宽度和长度。死角区运算部13从头部位置检测部11取得驾驶员的头部位置，根 据头部位置和各个前支柱PA1、 PA2的位置，分别计算出作为如图3所 示那样由于左前支柱PA1和右前支柱PA2而产生的死角区域的各个死 角区B1、 B2。此时，例如用直线连接头部位置DH的中心点，与分别 设在各个前支柱PA1、 PA2上的多个代表点，可以将由直线包围的区域 设定为死角区B1、 B2，也可以采用其他方法运算各个死角区Bl、 B2。另夕卜，若由视线方向检测部12判断为驾驶员正朝向车内后视镜M， 则死角区运算部13计算出由于通过车内后视镜M观察到的各个中支柱 PB1、 PB2和各个后支柱PC1、 PC2而产生的死角区。即，在驾驶员看 车内后视镜M时，有时在车内后视镜M中，根据后视镜角度，而映出 各个中支柱PB1、 PB2和各个后支柱PC1、 PC2中的一个或多个。这样， 当在车内后视镜M中映出各个中支柱PB1、 PB2和各个后支柱PC1、 PC2中的至少一个时，死角区运算部13计算出由于该支柱P而产生的 通过后视镜看的死角区。首先，死角区运算部13从后视镜角度传感器7 (参照图1)取得车 内后视镜M的角度。后视镜角度传感器7被设在车内后视镜M的角度 调整部，如图4所示，检测出相对于与车宽方向(图中X轴)平行的轴 的旋转角度6。并且，后视镜角度传感器7还检测出表示车内后视镜M 的相对竖直方向的角度(倾斜度)的俯角d)(未图示)。死角区运算部13根据从后视镜角度传感器7取得的旋转角度e和 俯角d)，计算出驾驶员通过后视镜M可观察的可视范围Al。即，如图 4所示，首先，取得驾驶员的头部位置DH，根据头部位置DH和车内 后视镜M的旋转角度6和俯角d)，计算出例如驾驶员的针对车内后视 镜M的视线方向的最大入射角和最小入射角，并计算出从头部位置DH 可看到的可视范围Al。该可视范围Al根据头部位置DH而变化。例如， 即使预先将后视镜角度进行调整，以使在车内后视镜M的全体区域可 映出通过后车窗W6看到的实际风景，若头部位置DH向右侧的前门 D3的方向(X箭头方向)偏移，则针对车内后视镜M的驾驶员的视线 的入射角减小。因此，可视范围A1向左侧(与X箭头方向相反的方向)偏移若干。此外，死角区运算部13也可以预先存储车内后视镜M的位 于初始位置时的可视范围Al，并根据头部位置DH来改变位于初始位 置时的可视范围A1。并且，在车内后视镜M是曲率半径比较大的凸面 镜的情况下，也可以考虑该车内后视镜M的特性来运算可视范围Al。并且，死角区运算部13判断在车内后视镜M的可视范围Al内是 否包含各个中支柱PB1、 PB2、各个后支柱PC1、 PC2的至少一部分。 如上述那样，在驾驶员的头部位置DH比通常的位置向右侧(图4中X 箭头方向)偏移若干的情况下，由于可视范围Al向左侧(图4中的与 X箭头相反的方向)偏移，所以在可视范围Al内包含左后支柱PC1。 在这种情况下，如图5所示，死角区运算部13根据头部位置DH和支 柱属性数据18a,计算出由于左后支柱PC1而产生的通过车内后视镜看 的后视镜死角区BM。例如，死角区运算部13用直线分别连接设在左 后支柱PC1上的多个各代表点、和设在车内后视镜的镜面上或镜面里 侧的驾驶员的假想视点，将由各个直线包围的区域设定为后视镜死角区 BM1。此外，后视镜死角区BM也可以才艮据驾驶员的视线方向和头部位 置DH，采用其他方法来计算。另外，若由视线方向检测部12判断为驾驶员正直接目视后方，则 如图6所示，死角区运算部13计算出由于各个中支柱PB1、 PB2和各 个后支柱PC1、 PC2而产生的死角区B。例如，死角区运算部13也可 以从头部位置检测部11取得头部位置DH,用直线连接头部位置DH与 设在各个中支柱PB1、 PB2和各个后支柱PC1、 PC2上的多个代表点， 将由各直线包围的区域i殳定为死角区B3 B6。假想平面设定部16设定用于对由图像数据取得部14取得的图像数 据G进行坐标转换的假想平面VP。例如，在驾驶员正直接目视车辆前 方的情况下，如图3所示,在距本车辆Cl规定距离的车辆前方的位置 i殳定假想平面VP。假想平面VP，例如i殳定在与死角区B2的中心线Ll 正交的位置。此外，在图3中，为了简化，只图示了用于将死角图4象投 影在右前支柱PA2上的假想平面VP，但对各个前支柱PA1、 PA2的各 个死角区Bl、 B2都i殳定假想平面VP。在驾驶员正通过车内后视镜M看车辆后方或侧后方的情况下，如图 7所示，在距本车辆Cl规定距离的车辆后方的位置设定假想平面VP。或者，假想平面设定部16也可以从导航ECU6取得标记在交叉路口的 路面上的人行横道等基准物的位置，在基准物的位置设定假想平面VP。另外，假想平面设定部16在本车辆Cl变更车道时，在接近了本车 辆Cl后方的作为障碍物的其他车辆C2 (参照图8)的位置设定假想平 面VP。具体是，由系统控制部10和导航ECU6等根据从本车辆Cl的 方向指示器等输入的方向变更信号，判断本车辆Cl是否正在进行车道 变更。在判断为本车辆C1进行车道变更时，假想平面设定部16从障碍 物检测传感器8 (参照图1)取得检测信号，并判断本车辆Cl的后方或 侧后方有无其他车辆C2。该障碍物检测传感器8是亳米波雷达、或声 纳等，被安装在车辆的后端等。在本车辆Cl的后方或侧后方存在其他 车辆C2的情况下，假想平面设定部16计算出其他车辆C2相对本车辆 Cl的相对距离，并如图8所示那样，在该其他车辆C2的规定的位置设 定假想平面VP。若这样设定了假想平面VP，则在将其他车辆C2的像 投影到支柱P时，不会发生与通过后车窗W6等能观察的其他车辆C2 相比的偏移、或变形。另外，假想平面设定部16，在与假想平面VP的位置一致的位置设 定照相机摄影面CP的位置。照相机摄影面CP表示与死角摄影照相机 4的焦点对合的位置。为了将聚焦在照相机摄影面CP而拍摄的图像数 据G，坐标转换到假想平面VP上，假想平面设定部16在死角区B2内 将照相机摄影面CP设定在接近假想平面VP的位置。即，设定为，在 图3和图7中通过假想平面VP中的由后视镜死角区BM分隔的部分的 端部。图像数据取得部14从设在本车辆Cl中的各个死角摄影照相机4取 得图像数据G。如图2所示，各个死角摄影照相机4，在本实施方式中， 对应各个支柱P共设有6台。左前方照相机4AL和右前方照相机4AR 被设在左前支柱PA1和右前支柱PA2的附近，其能够拍摄包含由于各 个前支柱PA1、 PA2而产生的死角的车辆周边。左侧方照相机4BL和 右侧方照相机4BR被设在左中支柱PB1和右中支柱PB2的附近，其能 够拍摄包含由于各个中支柱PB1、 PB2而产生的死角的车辆周边。左后 方照相机4CL和右后方照相机4CR被设在左后支柱PC1和右后支柱 PC2的附近，其能够拍摄包含由于各个后支柱PC1、 PC2而产生的死角的车辆周边。图像数据取得部14若从假想平面设定部16取得了照相机摄影面CP 的位置时，则控制对应的死角摄影照相机4，将焦点对在照相机摄影面 CP的位置进行拍摄，并输出到图像转换部15。另外，将表示各个死角摄影照相机4的位置和视角的摄影参数18d (参照图1)存储在属性数据存储部18中。图像转换部15从图像数据取得部14取得由死角摄影照相机4拍摄 的图像数据G。另外，从死角区运算部13取得死角区B或后视镜死角 区BM。并且，生成对所取得的图像数据G中的与死角区B、 BM相当 的区域进行修剪后而得到的死角图像。而且，将该死角图像坐标转换到 由假想平面设定部16设定的假想平面VP。该坐标转换是将死角数据的 各个像素转换成假想平面VP上的各个像素的处理。图像转换部15将被投影在假想平面VP上的图像，投影转换到包含 支柱P的内侧面的支柱面上。可将支柱面根据支柱属性数据18a的3维 坐标进行设定。然后，为了将投影转换到支柱面的上述图像由所设置的各个投影机 20进行投影，将该图像与投影机20的位置配合而进行坐标转换。此夕卜， 如图2所示，在本车辆C1的车顶内侧，设有4个能够将图像分别投影 在不同的支柱P的内侧面的投影机20。即，由于从投影机20输出的光入射到支柱P的内侧面的角度，被 显示在内侧面Pa的图像发生歪斜、放大或缩小。因此，例如预先在图 像转换部15的内置存储器等中，保存映射表(map )，并根据该映射表， 将投影转换后的图像作为针对投影机20的输出图像进一步进行坐标转 换，且上述映射表预先将投影转换后的上述图像的各个像素的坐标、与 向各个投影机20输出的图像的各个像素的坐标建立关联。并且，由图像转换部15进行了坐标转换的图像被输出到投影图像 输出部17，投影图像输出部17根据从属性数据存储部18读出的屏蔽图 案18b,生成向各个投影机20输出的死角显示图像。如图9所示，屏 蔽图案18b是用于向死角显示图像附加屏蔽的数据，其由沿着支柱P的内面形状的图像显示区域Z1、和屏蔽Z2构成。投影图像输出部17通 过对于图像显示区域Zl的区域读入死角显示图像；对于屏蔽Z2的区 域读入用于使投影机20不显示的数据，生成用于将死角显示图像投影 在支柱P的投影数据。 一旦生成了投影数据，则投影图像输出部17将 该投影数据输出到各个投影机20。此外，本实施方式在本车辆Cl中分别安装有前方投影机20A、侧 方投影机20B、后方投影机20C。前方投影机20A被安装成可分别向各 个前支柱PA1、 PA2投影图像。各个侧方投影机20B被安装成可分别向 各个中支柱PB1、 PB2投影图像。各个后方投影机20C被安装成可分别 向各个后支柱PC1、 PC2投影图像。本实施方式共设置了 4个投影机 20,但在使用即使1个也能向各个支柱P投影图像的结构的投影机的情 况下，也可以使用l个，或4个以外的多个。如图10所示，在各个支柱P的内侧面Pa,粘贴有被剪切成与支柱 P的形状一致的屏幕SC。将各个投影机20的焦点与设置在投影对象的 支柱P的屏幕SC对合而进行调整。此外，在支柱P的内侧面Pa是由 可通过接受从投影机20输出的投影光而显示清楚的图像的材质和形状 构成的情况下，也可以省略屏幕SC。如图2所示，投影机20向支柱P的屏幕SC射出投影光L,将图像 投影在屏幕SC。另外，基于屏蔽图案18b的屏蔽Z2，在该屏幕SC的 周围的车窗上不会投影图像。在驾驶员直接目视车辆前方或车辆后方的 情况下，驾驶员可直接确认被投影在各个支柱P的图像。另外，在驾驶 员通过车内后视镜M看车辆后方和侧后方的情况下，与驾驶员的视线 配合而投影到各个支柱P的图像，映在车内后视镜M中，并可看到死 角显示图像的虛像。下面，结合图11，对本实施方式的处理顺序进行说明。首先，系统 控制部IO判断是否开始死角辅助(步骤S1)。系统控制部IO，若上述 系统启动开关SW1被进行了输入操作，则判断为开始死角辅助。另夕卜， 在导航ECU6检测到本车辆Cl的车道变更时，判断为开始死角辅助。 并且，在导航ECU6判断为本车辆C1接近了交叉路口或弯道时，判断 为开始死角辅助。另外，也可以在本车辆Cl的档位被切换到倒档时， 判断为开始死角辅助。或者也可以基于视线方向检测部12，在驾驶员的视线从行进方向偏移了规定角度时，判断为开始死角辅助。若系统控制部IO判断为开始死角辅助时(步骤S1中"是")，系统 启动，并且在进行了初始化后，检测头部位置(步骤S2)。头部位置检 测部11从头部检测传感器3输入检测信号，计算出驾驶员的头部位置 DH。另外，视线方向检测部12检测驾驶员的视线方向(步骤S3),判断 驾驶员的视线方向是否朝向车内后视镜M以夕卜(步骤S4 )。如上述那样， 例如当驾驶员的视线方向，包含在以本车辆Cl的长度方向为基准，以 本车辆Cl的行进方向为中心的规定角度范围内的情况下，判断为驾驶 员面向前方。另夕卜，在驾驶员的视线方向不包含在上述规定角度范围内， 而朝向比驾驶员的位置还靠车辆后方的情况下，判断该视线方向是否包 含在以本车辆Cl的与行进方向相反的方向为中心的后方的规定角度范 围内。在视线方向包含在后方的规定角度范围内的情况下，判断为驾驶 员正在看车辆后方。在驾驶员的视线方向的仰角为规定角度以上，且是 车内后视镜M的方向的情况下，判断为正在看车内后视镜M。在步骤S4中，在判断为驾驶员的视线方向与车内后视镜M的方向 一致的情况下(步骤S4中"否")，死角区运算部13从后视镜角度传感 器7取得由旋转角度6和俯角4)构成的后视镜角度(步骤S5)。在驾驶 员的视线方向是车内后视镜M以外的情况下(步骤S4中"是，，)，进入 步骤S6。在步骤S6中，死角区运算部13，根据驾驶员的视线方向，计算出 由于支柱P而产生的死角区(步骤S6)。当在步骤S3中判断为驾驶员 面向前方的情况下，从属性数据存储部18中读出各个前支柱PA1、 PA2 的支柱属性数据18a，如图3所示那样计算出由于各个前支柱PA1、 PA2 而产生的死角区B1、 B2的坐标。当在步骤S3中判断为驾驶员朝向车辆后方的情况下，死角区运算 部13从属性数据存储部18中读出与各个中支柱PB1、 PB2、以及各个 后支柱PC1、 PC2对应的支柱属性数据18a，如图6所示那样计算出死 角区B3 B6的坐标。另外，当在步骤S3中，判断为驾驶员朝向车内后视镜M的方向的 情况下，死角区运算部13，根据在步骤S5中取得的后视镜角度和驾驶 员的头部位置DH，如上述那样计算出车内后视镜M的可视范围Al。 然后，对于该可视范围Al，判断在可视范围Al内是否包含各个中支柱 PB1、 PB2以及后支柱PC1、 PC2。并且，才艮据支柱属性数据18a,计 算出由包含在可视范围Al内的支柱P所遮挡的后视镜死角区BM。若计算出了死角区B或后视镜死角区BM后，假想平面i殳定部16 根据驾驶员的视线方向和后视镜角度，如上述那样设定假想平面VP(步 骤S7)。即，将假想平面VP设定在距本车辆Cl规定距离的位置、或 人行横道等基准物的位置、或本车辆Cl的后方的其他车辆C2的位置。 另外，假想平面设定部16根据假想平面VP的位置，设定照相机摄影 面CP的位置，并将其输出到图像数据取得部14。图像数据取得部14根据视线方向检测部12,选择取得图像数据G 的照相机，取得对由于支柱P而产生的死角进行了拍摄而得到的图像数 据G(步骤S8)。在驾驶员面向前方的情况下，从各个前方照相机4AL、 4AR取得图像数据G。另外，在驾驶员朝向后方的情况下，从侧方照相 机4BL、 4BR和后方照相机4CL、 4CR取得图像数据G。另外，在通 过车内后视镜M正在看车辆后方和侧后方的情况下，从与车内后视镜 M的可视范围Al中包含的支柱P对应的死角摄影照相机4取得图像数 据G。若取得了图像数据G，则图像转换部15，根据图像数据G中的在 步骤S6计算出的死角区B或后视镜死角区BM,剪切出死角图像(步 骤S9)。另夕卜，图像转换部15生成用于向投影机20输出的投影数据(步 骤SIO)。具体是，如上述那样，利用图像转换部15，在将死角图像投 影转换到假想平面VP后，进行与投影对象的支柱P的位置和3维形状 配合的投影转换。并且，选择向该支柱P投影图像的投影机20，与该 投影机20的位置配合进行坐标转换。另外，利用投影图像输出部17读 入向屏蔽图案18b的图像显示区域Z1进行了坐标转换后的图像。若生成了投影数据，则投影图像输出部17向所选择的上述投影机 20输出投影数据(步骤Sll)。在驾驶员正在看前方的情况下，向前方 投影机20A输出投影数据，在驾驶员正在看后方的情况下，向侧方投影机20B和后方投影机20C输出投影数据。另外，在通过车内后视镜M 正在看车辆后方或侧后方的情况下，向与视线方向对应的支柱P输出投 影数据。在驾驶员通过车内后视镜M观察车辆后方或侧后方，并在车内后视 镜M的可视范围Al内包含左后支柱PC1的情况下，利用后方投影机 20C向左后支柱PC1投影死角显示图像。由此，例如，如图12所示那 样，被投影在左后支柱PC1的死角显示图像50映在车内后视镜M中。 因此，由于驾驶员能够通过死角显示图像50看到被左后支柱PC1遮挡 的背景，所以能够确认车辆后方的其他车辆C2的有无等。另外，由于 将死角显示图像50与借助于车内后视镜M的驾驶员的视线配合而显 示，所以，可进行实际背景与映在车内后视镜M中的背景像51之间不 存在错位或变形的显示。若对死角显示图像进行了投影，则系统控制部10判断是否结束显 示(步骤S12)。例如，当从系统启动开关SW1的输入操作开始，经过 了规定时间的情况下、或结束了车道变更的情况下、或通过了交叉路口 或弯道的情况下，判断为结束显示。或者，当驾驶员的视线，与行进方 向比较是规定角度以内的方向的情况下、或本车辆Cl的档位是倒档以 外的情况下，判断为结束显示。若判断为是结束显示(步骤S12中"是")， 则结束处理。另一方面，当在步骤S12中，判断为不是结束显示的情况下(步骤 S12中"否，，)，返回步骤S2，重复步骤S2 步骤Sll。此时，在头部位 置DH和视线方向发生了变化的情况下，根据新检测的头部位置DH和 视线方向，变更显示图像。根据上述实施方式，可达到以下的效果。(1)上述实施方式，即使在由于映在车内后视镜M中的支柱P而 产生了死角的情况下，也根据驾驶员的头部位置DH、视线方向和后视 镜角度，计算出由于该支柱P而产生的后视镜死角区BM。而且，在从 死角摄影照相机4取得的图像数据G中，剪切出与后视镜死角区BM相 当的区域，并将死角显示图像50输出到该支柱P的内侧。因此，在通 过车内后视镜M观察车辆周边的情况下，可辅助显示由于支柱P而产生的死角。(2)上述实施方式，在车内后视镜M的可视范围Al中所包含的 支柱P显示死角显示图像50。因此，由于对于不包含在可视范围Al内 的支柱P，可省略后视镜死角区BM的运算处理和显示处理，所以，可 减轻驾驶辅助系统1的处理。(3 )上述实施方式，在由导航ECU6判断为本车辆Cl进行车道变 更时，进行支柱P的死角辅助。因此，在驾驶员通过车内后视镜M看 车辆后方或侧后方的情况下，可判断在车辆后方或侧后方是否存在其他 车辆C2。(4)上述实施方式，在利用障碍物检测传感器8检测到位于本车 辆Cl后方的其他车辆C2时，将假想平面VP设定在该其他车辆C2的 位置。因此，能够将以其他车辆C2为中心的清楚的图像投影在支柱P 的内面。此外，上述实施方式也可以进行以下的变更。.关于头部检测传感器3，虽然采用了超声波传感器，但也可以采用 图像识别传感器等其他传感器。另外，虽然是在驾驶席附近具备多个， 但也可以具备l个。另外，也可以基于检测驾驶席的靠背枕和座位位置 的检测传感器，检测驾驶员的头部位置。.上述实施方式是利用头部检测传感器3检测驾驶员的头部位置 GH，但作为驾驶员的位置，也可以检测其他部位(例如眼睛的位置)。.上述实施方式，与假想平面VP的位置对合的基准物也可以是人行 横道以外。例如，也可以将假想平面VP与信号机等路面设置物对合。 另外，例如，也可以在本车辆Cl中搭载用于计测至车辆前方的障碍物 的相对距离的雷达、传感器等，在检测到包含步行者、自行车、其他车 辆等障碍物时，将假想平面VP与障碍物对合。此外，关于障碍物例如 是否是步行者、自行车的判定，使用特征检测等公知的图像处理。*上述实施方式也可以针对1个支柱P设置多个死角摄影照相机4， 从不同的角度对由于支柱而产生的死角进行拍摄。.上述实施方式是将投影机20设置在本车辆Cl的车顶R的内侧， 但投影机20的位置只要是能够将图像投影在支柱P的内面的位置即可， 例如，也可以设置在仪表板的上方(大致中央)等其他位置。.上述实施方式在判断为驾驶员朝向前方时，将图像投影在各个前支 柱PA1、 PA2，但也可以将图像投影在任意一方的支柱P。例如，可以 只投影在靠近驾驶员的右前支柱PA2，也可以根据驾驶员的视线方向， 适当变更要投影图像的支柱P。*上述实施方式在判断为驾驶员朝向后方或侧后方时，将图像投影在 各个中支柱PB1、 PB2、各个后支柱PC1、 PC2，但也可以将图像投影 在任意一方的支柱P。例如，也可以省略针对中支柱PB1、 PB2的图1象 投影。或者，也可以根据驾驶员的视线方向，适当变更要投影图像的支 柱P。.上述实施方式，当有各个中支柱PB1、 PB2和各个后支柱PC1、 PC2中的至少一个映在车内后视镜M中的情况下，死角区运算部13计 算出由于该支柱P而产生的死角。除此以外，也可以在判断为驾驶员正 在看车内后视镜M时，向各个中支柱PB1、 PB2以及各个后支柱PC1、 PC2的全部投影与驾驶员的视线和头部位置配合的死角显示图像。.上述实施方式，是利用投影机20将图像投影在支柱P的内侧面Pa， 但也可以在支柱P的内侧设置作为薄型显示单元的显示器，将死角显示 图像50输出到显示器。
权利要求
1.一种驾驶辅助方法，该方法使用安装于车辆的摄影装置，拍摄由于该车辆的支柱而产生的死角区域，将相当于该死角区域的图像显示在上述支柱的内侧，其特征在于，检测驾驶员的位置，并且取得设在车室内的后视镜的角度，根据上述驾驶员的位置和上述后视镜的角度，计算出驾驶员通过上述后视镜观察上述车辆周边时，由于映在上述后视镜中的支柱而产生的死角区域，并且将上述摄影装置所拍摄的图像数据中的与上述计算出的死角区域相当的区域，显示在上述支柱。
2. —种驾驶辅助装置，该驾驶辅助装置使用安装于车辆的摄影装置， 拍摄由于该车辆的支柱而产生的死角区域，利用显示装置将由上述才聂影装 置拍摄的图像显示在上述支柱的内侧，其特征在于，具有驾驶员位置检测单元，检测驾驶员的位置；后视镜位置检测单元，取得设在车室内的后视镜的角度；死角区域运算单元，其根据上述驾驶员的位置和上述后视镜的角度， 计算出驾驶员通过上述后视镜观察上述车辆周边时，由于映在上述后视镜 中的上述支柱而产生的死角区域；图像合成单元，其使用由上述摄影装置拍摄的图像数据，生成与上述 死角区域相当的死角显示图像；和图像输出单元，向上述显示装置输出上述死角显示图像。
3. 根据权利要求2所述的驾驶辅助装置，其特征在于，还具有可视范围计算单元，该可视范围计算单元根据上述驾驶员的位 置和上g视镜的角度，计算出该驾驶员通过上i^视镜可看到的可视范 围，上述死角区域运算单元，判断上述可视范围内所包含的上述支柱，根 据上述驾驶员的位置和上^视镜的角度计算出由于该支柱而产生的上 述死角区域，上述图傳瑜出单元，向该支柱显示上述死角显示图4象。
4. 根据权利要求2或3所述的驾驶辅助装置，其特征在于， 还具有判断上述车辆是否进行车道变更的车辆状况判断单元，在通过上述车辆状况判断而判断为上述车辆是进行车道变更时，将与由于映在上述后^L镜中的上述支柱而产生的死角区域相当的上述死角显 示图像，向该支柱输出。
5.根据权利要求4所述的驾驶辅助装置，其特征在于，还具有检测在上述车辆的后方或侧后方的障碍物的障碍物检测单元，在由上述障碍物检测单元检测出在上述车辆的后方或侧后方的障碍 物的情况下，上述图像合成单元在该障碍物的位置设定用于将上述图像数 据进行坐标转换的假想平面。
全文摘要
本发明提供一种驾驶辅助方法和驾驶辅助装置，在驾驶员通过后视镜看车辆周边时由于支柱而产生了死角的情况下，能够将死角区域的图像显示于支柱。该方法使用安装于本车辆的死角摄影照相机(4)，拍摄由于本车辆的支柱而产生的死角区，将相当于该死角区的图像显示在支柱的内侧，检测驾驶员的位置，并且取得设在车室内的车内后视镜角度，并根据驾驶员的头部位置和车内后视镜的角度，计算出驾驶员通过车内后视镜观察车辆周边时由于映在车内后视镜中的支柱而产生的死角区，将由死角摄影照相机(4)拍摄的图像数据中的与死角区相当的区域，投影在支柱。
文档编号H04N7/18GK101277432SQ200810085518
公开日2008年10月1日 申请日期2008年3月10日 优先权日2007年3月26日
发明者冈部英文, 高木实 申请人:爱信艾达株式会社