车辆周边显示装置的制造方法
【技术领域】
[0001]本发明涉及将拍摄车辆周边得到的图像呈现给用户、并根据从该图像判断出的碰撞可能性来控制车辆的车辆周边显示装置。
【背景技术】
[0002]例如，专利文献I公开了一种基于方向盘转向角和变速杆位置信息来改变呈现给驾驶员的车载摄像机图像的大小或视点的车载装置。
此外，专利文献2公开了一种基于方向盘转向角等车辆信息并根据车载摄像机图像生成全景图像并呈现给驾驶员的车载摄像机系统。
通过如上述那样利用全景图像来呈现车辆周边，从而使得例如驾驶员能确认左右转方向，能避免发生事故。
现有技术文献专利文献
[0003]专利文献I
日本专利特开2005-198160号公报专利文献2
日本专利特开2001-55100号公报
【发明内容】
发明所要解决的技术问题
[0004]在以专利文献1、2为代表的现有技术中，仅在画面上显示车辆周边的图像，而根据图像判断事故危险性的任务则交给了驾驶员。即，由于驾驶员基于车辆周边图像得到的危险性的判断结果不同，因此存在驾驶操作可能会随之产生延迟的问题。
[0005]本发明为了解决上述问题而完成，其目的在于获得一种车辆周边显示装置，能促使驾驶员注意到车外物体来进行驾驶，而且即使驾驶员的驾驶操作有延迟，也能自动进行避免与车外物体碰撞的车辆控制。
解决技术问题所采用的技术方案
[0006]本发明的车辆周边显示装置将拍摄车辆周边得到的图像显示在显示部中，其包括:车辆控制信息获取部，该车辆控制信息获取部获取表示车辆驾驶状态的车辆控制信息；全景生成部，该全景生成部将多个车载摄像机拍摄到的车辆周边的多个拍摄方向的图像进行合成来生成全景图像；信息处理部，该信息处理部基于车辆控制信息所表示的车辆的驾驶状态，从全景图像中判断出要显示的图像区域，并对该图像区域中拍摄到的车外物体与车辆的碰撞可能性进行判定；显示图像生成部，该显示图像生成部生成包含信息处理部所判断出的图像区域在内的显示图像，并将该显示图像显示在显示部中；以及车辆控制部，该车辆控制部根据信息处理部对碰撞可能性的判定结果来控制车辆，以避免车辆与车外物体发生碰撞O 发明效果
[0007]根据本发明，具有如下效果:能帮助驾驶员意识到车外物体来进行驾驶，并且即使驾驶员的驾驶操作有延时，也能自动进行避免与车外物体发生碰撞的车辆控制。
【附图说明】
[0008]图1是表示本发明的实施方式I所涉及的车辆周边显示装置的结构的框图。
图2是表示实施方式I所涉及的车辆周边显示装置的动作的流程图。
图3是表示根据车辆的驾驶状态从车辆周边图像中提取显示区域的处理(左转时)的图。
图4是表示根据车辆的驾驶状态从车辆周边图像中提取显示区域的处理(后退时)的图。
图5是表示本发明的实施方式2所涉及的车辆周边显示装置的结构的框图。
图6是表示实施方式2所涉及的车辆周边显示装置的动作的流程图。
图7是表示本发明的实施方式3所涉及的车辆周边显示装置的结构的框图。
图8是表示实施方式3所涉及的车辆周边显示装置的动作的流程图。
图9是表示根据车辆的行驶状态对图像区域的尺寸进行变更的处理的一个示例的图。 图10是表示本发明的实施方式4所涉及的车辆周边显示装置的结构的框图。
图11是表示从全景图像中提取通过手持设备指定的图像区域并利用该手持设备进行显示的处理的流程图。
【具体实施方式】
[0009]下面，为了更详细地说明本发明，根据附图，对用于实施本发明的方式进行说明。 实施方式1.本发明的车辆周边显示装置中，首先，在考虑车辆前进方向的情况下，从对多个车载摄像机拍摄到的车辆周边的多个拍摄方向的图像进行合成而构成的全景图像中，提取并提供对驾驶员而言各个时刻的驾驶所需的车辆周边图像。
尤其是在汽车中，驾驶员的死角较多，处于该死角的行人或车辆等车外物体与本车辆的碰擦事故是导致车辆事故的主要原因。
为此，本发明中，从车辆周边的全景图像中，根据本车辆的前进方向来判断可能会成为驾驶员死角的视野方向的车辆周边图像。然后，判定该图像中的车外物体与本车辆的碰撞可能性，并以和碰撞可能性相对应的显示方式呈现给驾驶员。由此，驾驶员能基于驾驶时可视性变差的死角方向的拍摄图像的显示方式，来对该图像中的车外物体与本车辆的碰撞可能性进行视觉确认。
[0010]然而，无论驾驶员如何警惕，碰撞事故的避免也都取决于驾驶员的驾驶。为此，在本发明的车辆周边显示装置中，在判定为呈现给驾驶员的图像中的车外物体与本车辆的碰撞可能性最高的情况下，无论驾驶员如何驾驶，都由该装置控制车辆来避免碰撞事故。由此，能可靠地避免碰撞事故。
[0011]图1是表示本发明实施方式I的车辆周边显示装置的结构的框图。图1所示的车辆周边显示装置是具有上述特征的车辆周边显示装置，包括车辆控制I/F部10、摄像机组11、车辆控制部12、全景生成部13、信息处理部14、显示图像生成部15、以及显示部16而构成。
车辆控制I/F部10是获取进行方向盘、变速杆等车辆的驾驶操作的操作部的操作信号以作为表示车辆驾驶状态的车辆控制信息的车辆控制信息获取部。车辆控制信息可以举出方向盘的转向角、变速杆的操作信号等与车辆的驾驶控制有关的信息。由车辆控制I/F部10获取到的车辆控制信息被输出到车辆控制部12以及信息处理部14。
[0012]摄像机组11是安装于车辆的多个部位的多个车载摄像机，对车辆周边的多个方向进行拍摄。摄像机组11例如利用车辆中标准搭载的后摄像机、前摄像机、侧摄像机。
车辆控制部12基于车辆控制I/F部10获取到的车辆控制信息来控制车辆的运动。此夕卜，车辆控制部12根据信息处理部14对车外物体与本车辆的碰撞可能性的判定结果来控制本车辆。例如，车辆控制部12在信息处理部14判定为车外物体与本车辆的碰撞可能性最高的情况下，忽略来自车辆控制I/F部10的信息，对本车辆的运动进行控制，以避免与信息处理部14所确定的车外物体发生碰撞。
[0013]全景生成部13利用摄像机组11拍摄到的多个图像来生成将本车辆周边的多个拍摄方向的图像相连而成的全景图像。例如，使用由摄像机组11拍摄到的、被拍摄体在空间上连续的多个摄像机图像，并考虑车载摄像机的视野方向等对各摄像机图像进行连结，以确保相邻图像间的连续性。
[0014]信息处理部14基于由车辆控制I/F部10获取到的车辆控制信息所表示的本车辆的驾驶状态，来从全景生成部13所生成的车辆周边的全景图像中判断要呈现给驾驶员的图像区域。要呈现给驾驶员的图像区域例如是驾驶员的视野的可视性变差的方向上拍摄到的图像区域。
此外，信息处理部14基于根据全景图像判断出的上述图像区域中拍摄到的车外物体与车辆控制I/F部10获取到的车辆控制信息，对本车辆与车外物体的碰撞可能性进行判定。例如，基于由摄像机组11以规定的时间间隔连续拍摄到的图像与本车辆的位置来推算车外物体与本车辆的距离，并将推算出的距离与规定的阈值范围进行比较来判定与车外物体的碰撞可能性。
另外，信息处理部14在判定车外物体与本车辆的碰撞可能性最高后，向车辆控制部12输出控制信号，以避免与车外物体产生碰撞。
[0015]显示图像生成部15基于由全景生成部13生成的全景图像和信息处理部14的处理结果，来生成包含信息处理部14所判定出的图像区域的显示图像。例如，在由信息处理部14从车辆周边的全景图像中判断出的要呈现给驾驶员的图像区域中拍摄到车外物体的情况下，生成进行了对该车外物体进行突出显示的图像加工后的显示图像。
显示部16是对显示图像生成部15所生成的显示图像进行显示的显示部，由设置在车辆内的各种显示器或手持带入车辆内的信息终端所具备的显示器来实现。
[0016]另外，车辆控制I/F部10、车辆控制部12、全景生成部13、信息处理部14、以及显示图像生成部15能通过由车辆周边显示装置所搭载的CPU执行记载了上述构成要素的各功能的程序，从而实现为软件和硬件协同工作的处理单元。
[0017]接下来对动作进行说明。
图2是表示实施方式I的车辆周边显示装置的动作的流程图，车辆周边显示装置周期性地进行图2的处理。
首先，由摄像机组11的各个车载摄像机对车辆周边进行拍摄，获取车辆周边的多个拍摄方向的摄像机图像(步骤STl)。例如，摄像机组11的各个车载摄像机以规定的时间间隔周期性地进行拍摄，获得表示车辆周边伴随着时间流逝的状况变化的图像。由摄像机组11的各个车载摄像机拍摄到的摄像机图像被发送到全景生成部13。
[0018]全景生成部13对摄像机组11的各个车载摄像机拍摄到的车辆周边的多个拍摄方向的图像进行合成来生成全景图像(步骤ST2)。全景生成部13所生成的全景图像被输出到信息处理部14以及显示图像生成部15。
[0019]接着，车辆控制I/F部10获取与驾驶操作有关的车辆控制信息(步骤ST3)。与驾驶操作有关的车辆控制信息是表示驾驶者控制的车辆的驾驶状态的信息，例如是表示从包含方向盘以及变速杆的车辆操作机构获取到的方向