本申请是国际申请日为2012年8月24日、申请号为201280040835.9、发明名称为“驾驶辅助装置”的发明专利申请的分案申请。
本发明涉及在停车时告知与障碍物之间碰撞的可能性的驾驶辅助装置。
背景技术：
以往，已知有驾驶辅助装置，其使用由多个摄像机拍摄到的图像，合成以俯瞰视点表示车辆的全部周围的全周围图像，并加以显示，从而辅助驾驶(例如参照专利文献1)。
但是，全周围图像是使用投影到路面位置的各摄像机图像而合成的，因此，在相邻的摄像机的接合边界发生立体物的消失(死角)。一般，由于摄像机安装位置或其视角、像素密度等的限制，各摄像机图像的接合边界被设定在车辆的四角附近。即使通过驾驶员目视，车辆的四角也容易变成死角。因此，驾驶员无法在该接合边界附近识别出立体物而继续驾驶，从而立体物有可能与车辆碰撞。
为了解决该问题，以往，与声纳或换挡装置等联动地改变摄像机图像的接合边界的位置或角度(例如，参照专利文献2、专利文献3)。
现有技术文献
专利文献
专利文献1：国际公开第00/64175号
专利文献2：日本特开2007-104373号公报
专利文献3：日本特开2006-121587号公报
技术实现要素：
发明要解决的问题
但是，以往的方法存在以下的问题：在车辆附近(距车体数十厘米以内的距离)依然产生死角。特别地，例如尽管由声纳等检测出存在立体物，也有可能在俯瞰图像上立体物消失、驾驶员无法识别出立体物存在。
本发明的目的在于提供驾驶辅助装置，其能够防止检测出立体物但在俯瞰图像中车辆附近立体物消失的情况。
解决问题的方案
驾驶辅助装置，包括：第一拍摄单元，其对本车辆周围进行拍摄；传感器，其对存在于本车辆周围的立体物进行检测；第二拍摄单元，其使所述传感器的检测范围包含在视角内并进行拍摄；图像处理单元，其将从所述第一拍摄单元输入的本车辆周围的拍摄图像进行合成来生成俯瞰图像；以及显示单元，其显示所述图像处理单元合成的俯瞰图像，在所述传感器检测出立体物时，所述图像处理单元将所述第一拍摄单元的拍摄图像和所述第二拍摄单元的拍摄图像进行合成来生成俯瞰图像，使所述传感器的检测范围包含在该俯瞰图像中基于所述第二拍摄单元的拍摄图像的俯瞰图像的区域内。
驾驶辅助装置包括：第一拍摄单元，其对本车辆周围进行拍摄；传感器，其对存在于本车辆的四角中的至少与本车辆的驾驶位置反方向的前方拐角的立体物进行检测；第二拍摄单元，其对本车辆的四角中的至少与本车辆的驾驶位置反方向的前方拐角进行拍摄；图像处理单元，其将从所述第一拍摄单元输入的本车辆周围的拍摄图像进行合成来生成俯瞰图像；以及显示单元，其显示所述图像处理单元合成的俯瞰图像，所述传感器的检测范围包含在所述第二拍摄单元的视角内，在所述传感器检测出立体物时，所述图像处理单元将所述第二拍摄单元的拍摄图像和所述第一拍摄单元的拍摄图像进行合成来生成俯瞰图像，使所述传感器的检测范围包含在基于所述第二拍摄单元的拍摄图像得到的俯瞰图像的区域内。
发明效果
根据本发明的驾驶辅助装置，得到如下的效果：由于能够防止检测出立体物却在俯瞰图像中车辆附近立体物消失的情况，因此驾驶员容易识别出车辆附近的立体物。
附图说明
图1是表示本发明实施方式1的驾驶辅助装置的结构的方框图。
图2是用示意图说明将本发明实施方式1中的第一拍摄单元、第二拍摄单元向车辆安装的安装位置的图。
图3是用示意图说明将本发明实施方式1中的声纳向车辆安装的安装位置的图。
图4是用水平面的示意图说明本发明实施方式1中的第二拍摄单元的视角和声纳的检测范围的图。
图5是用示意图说明本发明实施方式1中的立体物的图。
图6是本发明实施方式1中的驾驶辅助装置的驾驶辅助处理的流程图。
图7是用示意图说明同图6的步骤s65中所生成的俯瞰图像的图。
图8是用示意图说明同图7的俯瞰图像中产生的死角区域的图。
图9是用示意图说明同图8的死角区域的边界的图。
图10是表示本发明实施方式2中的驾驶辅助装置的结构的方框图。
图11是用示意图说明将本发明实施方式2中的第一拍摄单元、第二拍摄单元向车辆安装的安装位置的图。
图12是用示意图说明将本发明实施方式2中的声纳向车辆安装的安装位置的图。
图13是用于水平面的示意图说明本发明实施方式2中的第二拍摄单元的视角和声纳的检测范围的图。
图14是本发明实施方式2中的驾驶辅助装置的驾驶辅助处理的流程图。
标号说明
1驾驶辅助装置
3图像处理单元
5控制单元
7第一拍摄单元
12声纳
14第二拍摄单元
具体实施方式
(实施方式1)
以下，参照附图说明本发明实施方式1的驾驶辅助装置。此外，本实施方式中，作为一例说明车辆为右驾驶的情况。在为左驾驶的情况下，左右相反。
图1是表示本发明实施方式1的驾驶辅助装置的结构的方框图。
在图1中，驾驶辅助装置1由进行图像处理的图像ecu(electriccontrolunit，电子控制单元)构成，具有易失性存储器2、图像处理单元3、非易失性存储器4、控制单元5以及将这些单元相互连接的总线6。驾驶辅助装置1与第一拍摄单元7、输入单元8、车速传感器9、转向传感器10、换挡装置11、声纳12、显示单元13、以及第二拍摄单元14连接。也可以将输入单元8、车速传感器9、转向传感器10、换挡装置11、声纳12、显示单元13、第二拍摄单元14包含在驾驶辅助装置1中。此外，也可以将图1所示的转向传感器10及转向信号分别另称为“方向盘转角传感器10”及“方向盘转角信号”。
易失性存储器2，例如由视频存储器或ram(randomaccessmemory，随机存储器)构成。易失性存储器2与第一拍摄单元7连接。另外，易失性存储器2与第二拍摄单元14连接。易失性存储器2暂时存储根据每隔规定时间从第一拍摄单元7、第二拍摄单元14输入的拍摄图像得到的图像数据。易失性存储器2所存储的图像数据通过总线6输出到图像处理单元3。
图像处理单元3例如由asic(applicationspecificintegratedcircuit，专用集成电路)或vlsi(verylargescaleintegration，超大规模集成电路)构成。图像处理单元3与显示单元13连接。图像处理单元3对从易失性存储器2输入的图像数据进行视点变换，每隔规定时间生成将从非易失性存储器4输入的图像数据重叠所得到的俯瞰图像。图像处理单元3也可以生成对俯瞰图像并列了未实施视点变换的正常图像所得到的合成图像。对于视点变换的方法，例如可以使用国际公开第00/64175号中公开的技术。图像处理单元3将每隔该规定时间生成的合成图像作为显示图像输出到显示单元13。
非易失性存储器4例如由瞬时存储器或rom(readonlymemory，只读存储器)构成。非易失性存储器4存储有本车辆的图像数据等各种图像数据、与显示方法相关的数据表，且该显示方法是与驾驶状况相应的显示方法。根据控制单元5的命令读出非易失性存储器4所存储的图像数据，并用于图像处理单元3的各种图像处理。
控制单元5例如由cpu(centralprocessingunit，中心处理单元)或lsi(largescaleintegration，大规模集成电路)构成。控制单元5与输入单元8、车速传感器9、转向传感器10、换挡装置11、以及声纳12连接。控制单元5根据从输入单元8、车速传感器9、转向传感器10、换挡装置11、以及声纳12输入的各种信号，对图像处理单元3的图像处理、从易失性存储器2或非易失性存储器4读出的数据、来自第一拍摄单元7或第二拍摄单元14的输入或向显示单元13的输出等进行控制。
第一拍摄单元7分别由四个摄像机构成。另一方面，第二拍摄单元14由一个摄像机构成。第一拍摄单元7、第二拍摄单元14将每隔规定时间拍摄到的拍摄图像输入到驾驶辅助装置1的易失性存储器2。第一拍摄单元7以能够拍摄本车辆的全部周围的方式安装在车体上。另外，第二拍摄单元14设置于车辆的左前方拐角。说明将该第一拍摄单元7、第二拍摄单元14向车体安装的安装位置。
图2是用示意图说明将第一拍摄单元7、第二拍摄单元14向车辆安装的安装位置的图。如图2所示，第一拍摄单元7由前方摄像机7a、右侧方摄像机7b、左侧方摄像机7c、以及后方摄像机7d构成。前方摄像机7a、后方摄像机7d例如分别安装在车体前后的减震器上。右侧方摄像机7b、左侧方摄像机7c例如分别安装在本车辆的左右后视镜下部。另一方面，第二拍摄单元14安装在本车辆的左前方拐角上。
输入单元8例如由触摸面板、遥控器或开关构成。输入单元8在是由触摸面板构成的情况下，也可以设置在显示单元13中。
车速传感器9、转向传感器10、换挡装置11、以及声纳12分别将表示本车辆车速的车速信号、表示方向盘转角的方向盘转角信号、表示换挡杆的状态的挡位信号、立体物的检测信号或距离信号输出到控制单元5。声纳12由八个声纳构成，并安装在本车辆的车体四角的四个部位、车体前后的四个部位。说明将该声纳12向车体安装的安装位置。
图3是用示意图说明将声纳12向车辆安装的安装位置的图。如图3所示，声纳12由左前方拐角声纳12a、右前方拐角声纳12b、左后方拐角声纳12c、右后方拐角声纳12d、左前方声纳12e、右前方声纳12f、左后方声纳12g、以及右后方声纳12h构成。如图3所示，将左前方声纳12e、右前方声纳12f、左后方声纳12g、右后方声纳12h各自的水平面的检测范围16e～16h设定为窄于左前方拐角声纳12a、右前方拐角声纳12b、左后方拐角声纳12c、右后方拐角声纳12d各自的水平面的检测范围16a～16d。下面，说明左前方拐角声纳12a的检测范围和第二拍摄单元14的视角之间的关系。
图4是用示意图说明第二拍摄单元14的视角和左前方拐角声纳12a的水平面的检测范围的图。如图4所示，将第二拍摄单元14的视角17设定为在水平面大致180度。而且，左前方拐角声纳12a的检测范围16a包含在第二拍摄单元14的视角17内。即，在第二拍摄单元14的视角17内包含左前方拐角声纳12a的检测范围16a的全部。
优选将第二拍摄单元14安装在比左前方拐角声纳12a靠车体上方的位置。由此，容易使左前方拐角声纳12a的检测范围16a三维地包含在第二拍摄单元14的视角17内。另外，优选第二拍摄单元14和左前方拐角声纳12a的光轴大致相等。由此，第二拍摄单元14的视角17内的左前方拐角声纳12a的检测范围16a的偏差变小，能够降低左前方拐角声纳12a的检测范围16a的一部分超出第二拍摄单元14的视角17外的可能性。
显示单元13例如由导航装置或后座显示器构成。显示单元13显示从图像处理单元3输入的合成图像。该合成图像也可以只是俯瞰图像，还可以是将俯瞰图像和正常图像并列地排列后的图像。若在该俯瞰图像的边界附近存在死角，则立体物会消失。这里，示例本实施方式中的立体物。
图5是用示意图说明本实施方式中的立体物的图。如图5所示，将宽度、纵深、高度分别为约30cm、约30cm、约50cm的色码(注册商标)设定为本实施方式中的立体物。在该色码(注册商标)在俯瞰图像上三维地消失了一半以上时，意味着在俯瞰图像的边界附近存在死角。
接着，说明控制单元5的驾驶辅助处理。
图6是控制单元5的驾驶辅助处理的流程图。
首先，如步骤s61所示，控制单元5根据从换挡装置11输入的挡位信号判定换挡杆是否是倒档的状态。
当在步骤s61中为“是”的情况下，根据控制单元5的命令，图像处理单元3使用从易失性存储器2取得的第一拍摄单元7的拍摄图像生成俯瞰图像。而且，如步骤s62所示，显示单元13并列显示该生成的俯瞰图像和从易失性存储器2取得的后方摄像机7d的后方图像。
接着，当在步骤s61中为“否”的情况下，如步骤s63所示，根据控制单元5的命令，图像处理单元3使用从易失性存储器2取得的第一拍摄单元7的拍摄图像生成俯瞰图像，显示单元13并列显示该生成的俯瞰图像和从易失性存储器2取得的前方摄像机7a的前方图像。
接着，如步骤s64所示，控制单元5根据声纳12的检测结果，判定本车辆的左前方拐角是否存在立体物。即，控制单元5判定左前方拐角声纳12a是否检测出立体物。当在步骤s64中为“否”的情况下，再次进行步骤s61的处理。
另一方面，当在步骤s64中为“是”的情况下，如步骤s65所示，图像处理单元3使用第一拍摄单元7的拍摄图像和第二拍摄单元14的拍摄图像生成新的俯瞰图像，并使显示单元13显示该生成的俯瞰图像。即，只在左前方拐角声纳12a检测出立体物时，图像处理单元3使用第一拍摄单元7的四个摄像机7a～7d的拍摄图像和第二拍摄单元14的拍摄图像生成俯瞰图像。相反地，在左前方拐角声纳12a未检测出本车辆的左前方拐角的立体物时，图像处理单元3只生成使用了第一拍摄单元7的四个摄像机7a～7d的拍摄图像的到此为止的俯瞰图像。对于在该步骤s65中生成的俯瞰图像、和利用第一拍摄单元7的四个摄像机7a～7d的拍摄图像生成的通常的俯瞰图像之间的不同之处，将在后面叙述。
接着，如步骤s66所示，控制单元5判定本车辆的行进方向是否为正在前行。这时，控制单元5根据从换挡装置11输入的挡位信号确定本车辆的行进方向。即，控制单元5根据挡位信号判定换挡杆是否是前进挡。
当在步骤s66中为“是”的情况下，如步骤s67所示，控制单元5使显示单元13显示第二拍摄单元14的拍摄图像，代替通过步骤s62并列显示在显示单元13的后方图像或通过步骤s63并列显示在显示单元13的前方图像。
在步骤s67的处理之后，或在步骤s66中为“否”的情况下，如步骤s68所示，控制单元5判定是否检测出驾驶辅助模式结束。在步骤s68中为“是”的情况下，控制单元5结束驾驶辅助处理。例如，在从输入单元8进行了驾驶辅助模式结束的输入的情况下，控制单元5结束驾驶辅助处理。另一方面，在步骤s68中为“否”的情况下，控制单元5再次进行步骤s61的处理。
接着，说明在左前方拐角声纳12a检测出立体物的情况下，在步骤s65中生成的俯瞰图像、以及利用第一拍摄单元7的四个摄像机7a～7d的拍摄图像生成的通常的俯瞰图像之间的不同之处。图7是用示意图说明在步骤s65中生成的俯瞰图像的图。
如图7的左方所示，在左前方拐角声纳12a检测出立体物之前，图像处理单元3生成使用第一拍摄单元7的四个摄像机7a～7d的拍摄图像所得到的俯瞰图像40a。在俯瞰图像40a的中央重叠本车辆的示意图图像21。俯瞰图像40a的各区域22～25分别与前方摄像机7a、右侧方摄像机7b、左侧方摄像机7c、后方摄像机7d的拍摄图像的视点变换图像对应。将各区域22～25的接合面表示为合成边界31～34。当左前方拐角声纳12a在本车辆附近检测出立体物41时，如果是使用第一拍摄单元7的四个摄像机7a～7d的拍摄图像而得到的俯瞰图像不变，则在合成边界34产生死角，立体物41消失。
因此，在左前方拐角声纳12a检测出立体物的情况下，如图7的右方所示，图像处理单元3除了使用第一拍摄单元7的四个摄像机7a～7d的拍摄图像以外，还使用对检测出立体物41的左前方拐角进行拍摄的第二拍摄单元14的拍摄图像生成俯瞰图像40b。该俯瞰图像40b的各区域22～26分别与前方摄像机7a、右侧方摄像机7b、左侧方摄像机7c、后方摄像机7d、第二拍摄单元14的拍摄图像的视点变换图像对应。将前方摄像机7a和第二拍摄单元14之间的合成边界35、左侧方摄像机7d和第二拍摄单元14之间的合成边界36设定在第二拍摄单元14的视点变换图像的区域26能够包含左前方拐角声纳12a的检测范围的位置。换言之，将合成边界35、36设定在左前方拐角声纳12a的检测范围外。由此，由左前方拐角声纳12a检测出的立体物41，在俯瞰图像40b中的合成边界35、36附近不会消失，而保持处于区域26内的立体物41的可见性。特别地，在合成边界附近，立体物41的倾倒方式不再会急剧地变动，因此，驾驶员能够看到立体物41而不会有不协调感。另外，由于立体物41向以车辆为基点呈放射状地远离的方向倾倒，所以，能够直觉上掌握立体物41的位置和方向。
此外，为了尽可能使立体物41远离合成边界35、36，一般希望将合成边界35、36设定为尽可能接近第二拍摄单元14的视角。另一方面，若使合成边界35、36与第二拍摄单元14的视角大致相等，则在第二拍摄单元14从安装位置偏离了的情况下，发生本来在视角外却拍摄进来的情况。因此，希望将合成边界35、36设定在相对于第二拍摄单元14的视角为几度到十度左右内侧的位置。
接着，说明在步骤s65中生成的俯瞰图像的死角区域、以及利用第一拍摄单元7的四个摄像机7a～7d的拍摄图像生成的通常的俯瞰图像的死角区域。图8是用示意图说明图7的俯瞰图像中产生的死角区域的图。
图8的左方表示利用第一拍摄单元7的四个摄像机7a～7d的拍摄图像生成的通常的俯瞰图像50a。图8的右方表示在步骤s65中生成的俯瞰图像50b。在俯瞰图像50a、50b中，将距本车辆示意图51的一定范围设定为死角测定区域52。将该一定范围设定为数十厘米(cm)左右。例如，设定为50cm。其表示本车辆以3km/h左右的滑行行进过程中能够急刹车而停止的距离。
如图8的左方所示，在利用第一拍摄单元7的四个摄像机7a～7d的拍摄图像生成的通常的俯瞰图像50a中，左前方拐角声纳12a的检测范围53与由于前方摄像机7a和左侧方摄像机7c之间的合成边界34而产生的死角区域54部分重叠。若左前方拐角声纳12a的检测范围53与死角区域54重叠，则在该重叠范围内立体物41消失。因此，在通过步骤s65生成的俯瞰图像50b中，使用第二拍摄单元14的拍摄图像使合成边界35、36远离左前方拐角声纳12a的检测范围53。由此，如图8的右方所示，在通过步骤s65生成的俯瞰图像50b中，左前方拐角声纳12a的检测范围53与由于第二拍摄单元14和前方摄像机7a的合成边界35而产生的死角区域55、由于第二拍摄单元14和左侧方摄像机7d的合成边界36而产生的死角区域56离开，而不重叠。由此，存在于左前方拐角声纳12a的检测范围的立体物不会在俯瞰图像50b上消失而被显示在显示单元13上。
接着，说明由于图8的俯瞰图像的合成边界而产生的死角区域。图9是利用示意图说明图8的死角区域的边界的图。图9中，以图8左方的俯瞰图像50a为例进行说明。
图9左上方所示的边界线54a表示死角区域54的图8纸面左方的边界。即，边界线54a表示死角测定区域52的外缘。
图9左下方所示的边界线54b表示死角区域54的图8纸面下方的边界。边界线54b表示当在区域25内存在立体物41的情况下产生死角的边界。在向前方摄像机7a与左侧方摄像机7d的合成边界34使立体物41移动到图9的纸面上方时，立体物41在高度方向上消失一半以上(25cm以上)。这时的立体物41的在图9纸面最下方的位置为边界线54b的构成要素。而且，使立体物41向图9的纸面左方慢慢移动并反复进行相同的处理时的立体物41的在图9纸面最下方的位置的集合表示边界线54b。
图9右上方所示的边界线54c表示死角区域54的图8纸面右方的边界。即，边界线54c表示本车辆示意图51的外缘。
图9右下方所示的边界线54d表示死角区域54的图8纸面上方的边界。边界线54d表示在区域22内存在立体物41的情况下产生死角的边界。在向前方摄像机7a与左侧方摄像机7d的合成边界34使立体物41移动到图9的纸面下方时，立体物41在宽度方向上消失一半以上(15cm以上)。这时的立体物41的在图9纸面最上方的位置为边界线54d的构成要素。而且，使立体物41向图9的纸面左方慢慢移动并反复进行相同的处理时的立体物41的在图9纸面最上方的位置的集合表示边界线54d。
即使对于图8右方的俯瞰图像50b的死角区域55、56，边界的判定方法也相同，因此，省略详细的说明。
以上，根据本发明，在左前方拐角声纳12a的检测范围包含在第二拍摄单元14的视角内，且左前方拐角声纳12a检测出立体物时，图像处理单元3将第二拍摄单元14的拍摄图像和第一拍摄单元的四个摄像机7a～7d的拍摄图像进行合成来生成俯瞰图像40b，使左前方拐角声纳12a的检测范围包含在该俯瞰图像40b中的基于第二拍摄单元14的拍摄图像而得到的俯瞰图像的区域内。即，图像处理单元3使立体物的死角移动到左前方拐角声纳12a的检测范围外。因此，能够防止尽管左前方拐角声纳12a检测出立体物而在显示单元13的俯瞰图像上本车辆附近的立体物却消失的情况。特别地，本实施方式中，对于在俯瞰图像上本车辆附近的立体物消失的情况，不是将本车辆的四角全部作为对象，而是仅将在是右驾驶时对于驾驶员来说容易成为死角的左前方作为对象。由此，对于摄像机输入端口数有限的驾驶辅助装置1，不设置选择器为好，因此，能够防止由于选择器而引起的驾驶辅助装置1的控制ecu的大型化。
此外，在本实施方式的图6中所示的驾驶辅助处理中，通过并列显示俯瞰图像和正常图像(前方图像和后方图像)，从而对驾驶员提示多个判断基准，提高了立体物的可见性，但只要至少显示俯瞰图像即可。即，只要至少进行图6的步骤s64、步骤s65的处理即可。具体而言，图像处理单元3将第一拍摄单元7的拍摄图像和第二拍摄单元14的拍摄图像，基于共同的映射数据合成为俯瞰图像。然后，显示单元3显示该俯瞰图像。根据这些，由于在俯瞰图像的合成边界前后保持了显示图像的连续性，所以，在检测出立体物后，能够在抑制驾驶者的不协调感的同时防止俯瞰图像的合成边界处产生死角或立体物消失的情况。
另外，本实施方式中，由于假定了车辆为右驾驶的情况，因此，使用设置在左前方拐角的第二拍摄单元14和左前方拐角声纳12a，能够防止容易变成驾驶员的死角的左前方拐角附近的立体物在俯瞰图像上消失的情况，但是，在车辆为左驾驶的情况下，对象不是左前方而是右前方。即，在车辆为左驾驶的情况下，本实施方式中的第二拍摄单元14的设置位置被置换为右前方拐角，左前方拐角声纳12a被置换为右前方拐角声纳12b。
即，第二拍摄单元14对本车辆的四角中的与本车辆的驾驶位置反方向的前方拐角进行拍摄。对存在于与本车辆的驾驶位置反方向的前方拐角的立体物进行检测的声纳12的检测范围包含在第二拍摄单元14的视角内。在声纳12检测出立体物时，图像处理单元3对第一拍摄单元7的拍摄图像和第二拍摄单元14的拍摄图像进行合成来生成俯瞰图像，使声纳12的检测范围包含在该俯瞰图像中的基于第二拍摄单元14的拍摄图像所得到的俯瞰图像的区域内。另一方面，在声纳12未检测出存在于与本车辆的驾驶位置反方向的前方拐角的立体物时，图像处理单元3对第一拍摄单元7的拍摄图像进行合成来生成俯瞰图像。
此外，本实施方式中，声纳12中的对车辆前后的立体物进行检测的声纳由四个声纳12e～12f构成，但为了至少对车辆前后的立体物进行检测，由两个声纳构成即可。
另外，本实施方式中，作为对立体物进行检测的立体物检测单元，使用声纳12，但是，只要是对立体物进行检测的传感器，也可以使用红外线传感器等其他单元。
(实施方式2)
接着，参照附图说明本发明实施方式2的驾驶辅助装置。对于与实施方式1相同的描述，标以相同的标号并省略其详细的说明。
图10是表示本发明实施方式2的驾驶辅助装置的结构的方框图。图10中，驾驶辅助装置1相对于实施方式1的驾驶辅助装置，还具有选择器15。驾驶辅助装置1经由该选择器15与第二拍摄单元14连接。也可以将选择器15包含于驾驶辅助装置1中。易失性存储器2经由选择器15与第二拍摄单元14连接。控制单元5根据来自声纳12的输入信号对选择器15进行控制，选择第二拍摄单元14。
第二拍摄单元14分别具有四个摄像机。第一拍摄单元7、第二拍摄单元14将每隔规定时间拍摄到的拍摄图像输入到驾驶辅助装置1的易失性存储器2。第二拍摄单元14被安装于本车辆的车体四角。说明将该第二拍摄单元14向车体安装的安装位置。
图11是使用示意图说明将第一拍摄单元7、第二拍摄单元14向车辆安装的安装位置的图。如图11所示，第二拍摄单元14由左前方拐角摄像机14a、右前方拐角摄像机14b、左后方拐角摄像机14c、以及右后方拐角摄像机14d构成。选择器15根据控制单元5的命令从该左前方拐角摄像机14a、右前方拐角摄像机14b、左后方拐角摄像机14c、右后方拐角摄像机14d中选择一个摄像机。将该选择出的摄像机的拍摄图像每隔规定时间输入到驾驶辅助装置1的易失性存储器2。
声纳12由四个声纳构成，并被安装于本车辆的车体四角。说明将该声纳12向车体安装的安装位置。
图12是使用示意图说明将声纳12向车辆安装的安装位置的图。如图12所示，声纳12由左前方拐角声纳12a、右前方拐角声纳12b、左后方拐角声纳12c、右后方拐角声纳12d构成。如图12所示，将左前方拐角声纳12a、右前方拐角声纳12b、左后方拐角声纳12c、右后方拐角声纳12d各自的水平面的检测范围16a～16d设定在180度以下。
图13是使用示意图说明左前方拐角摄像机14a的视角和左前方拐角声纳12a的水平面的检测范围的图。如图13所示，该声纳12的检测范围和第二拍摄单元14的视角之间的关系与实施方式1的图4所示的关系相同。即，将左前方拐角摄像机14a的视角17a设定为在水平面为大致180度。而且，左前方拐角声纳12a的检测范围16a包含于左前方拐角摄像机14a的视角17a内。即，在左前方拐角摄像机14a的视角17a内包含左前方拐角声纳12a的检测范围16a的全部。与实施方式1相同，优选将左前方拐角摄像机14a安装在比左前方拐角声纳12a靠车体上方的位置。另外，优选使左前方拐角摄像机14a和左前方拐角声纳12a的光轴大致相等。
此外，在图13中，作为一例，使用左前方拐角摄像机14a的视角和左前方拐角声纳12a的检测范围说明了声纳12的检测范围和第二拍摄单元14的视角之间的关系，但是对于其他车辆四角，同样的关系也成立。即，将右前方拐角声纳12b、左后方拐角声纳12c、右后方拐角声纳12d的检测范围分别包含于右前方拐角摄像机14b、左后方拐角摄像机14c、右后方拐角摄像机14d的视角内。
下面，说明控制单元5的驾驶辅助处理。
图14是控制单元5的驾驶辅助处理的流程图。直到步骤s71～s73，是分别与实施方式1的图6中对应的步骤s61～s63相同的处理。步骤s74中，控制单元5根据声纳12的检测结果判定在本车辆周边的所定范围内是否存在立体物。当在步骤s74中为“否”的情况下，再次进行步骤s71的处理。另一方面，当在步骤s74中为“是”的情况下，如步骤s75所示，控制单元5确定存在于距本车辆最短距离处的立体物反应位置。即，在设置于本车辆四角的声纳12a～12d中的检测出立体物的声纳是一个的情况下，控制单元5将检测出立体物的声纳被配置的拐角判定为立体物反应位置。相对于此，在设置于本车辆四角的声纳12a～12d中的检测出立体物的声纳是多个的情况下，控制单元5根据从声纳12输入的本车辆与立体物之间的距离信号，将检测出最接近本车辆的立体物的声纳被配置的拐角判定为立体物反应位置。
接着，如步骤s76所示，图像处理单元3除了使用第一拍摄单元7的拍摄图像以外，还使用在步骤s75确定的距本车辆最短距离处的立体物反应位置附近的拍摄图像生成新的俯瞰图像，使显示单元13显示该生成的俯瞰图像。即，图像处理单元3使用第一拍摄单元7的四个摄像机7a～7d的拍摄图像、和第二拍摄单元14的摄像机14a～14d中的、与在步骤s75中确定的声纳12的立体物反应位置对应的摄像机的拍摄图像，生成俯瞰图像。对于该步骤s76中生成的俯瞰图像、和利用第一拍摄单元7的四个摄像机7a～7d的拍摄图像生成的通常的俯瞰图像之间的不同点，与在实施方式1中说明的不同点相同，所以省略其详细的说明。
接着，如步骤s77所示，控制单元5判定在本车辆的行进方向上距车辆最短距离处是否存在立体物。这时，控制单元5根据从换挡装置11输入的挡位信号，确定本车辆的行进方向。即，控制单元5在根据挡位信号判定为换挡杆是前进挡时，确定为行进方向是前方，在是倒档时，确定为行进方向是后方。接着，控制单元5通过对该确定的行进方向和在步骤s75中确定的立体物反应位置进行比较，来进行步骤s77的判定。即，控制单元5在根据挡位信号判定为换挡杆是前进挡且车辆的行进方向为前方时，判定在步骤s75中确定的立体物反应位置是否是左前方或右前方。另一方面，控制单元5在根据挡位信号判定为换挡杆是倒档且车辆的行进方向是后方时，判定在步骤s75中确定的立体物反应位置是否是左后方或右后方。
在步骤s77中为“是”的情况下，如步骤s78所示，控制单元5使显示单元13显示第二拍摄单元14中的、对在步骤s65中确定的距本车辆最短距离处的立体物反应位置附近进行拍摄的摄像机的拍摄图像，代替通过步骤s72在显示单元13并列显示的后方图像或通过步骤s73在显示单元13并列显示的前方图像。在进行了步骤s78的处理后，或在步骤s77中为“否”的情况下，进行步骤s79的处理。该步骤s79的处理是与实施方式1的图6的步骤s68相同的处理，因此省略其说明。
以上，根据本发明，在声纳12a～12d的检测范围分别包含于拐角摄像机14a～d的视角内，且声纳12a～12d检测出立体物时，利用选择器15选择与检测出最接近车辆的立体物的声纳对应的拐角摄像机。然后，图像处理单元3将该选择出的拐角摄像机的拍摄图像和第一拍摄单元7的四个摄像机a～7d的拍摄图像进行合成来生成俯瞰图像40b，使声纳的检测范围包含在该俯瞰图像40b中的基于拐角摄像机的拍摄图像得到的俯瞰图像的区域内。即，图像处理单元3使立体物的死角移动到声纳12的检测范围外。因此，能够防止尽管声纳12检测出立体物而在显示单元13的俯瞰图像上本车辆附近的立体物却消失的情况。
在2011年8月26日提出的日本专利申请特愿2011-184416号、特愿2011-184419号中包含的说明书、附图以及摘要的公开内容全部引用于本申请。
工业实用性
本发明的驾驶辅助装置，特别地在由声纳等检测出本车辆四角的立体物时，显示立体物而不会使其在俯瞰图像上消失，从而驾驶员能够容易识别出立体物这方面是有用的。