信息呈现系统的制作方法

本发明涉及一种呈现与车辆的周围的影像有关的信息的信息呈现系统。

背景技术：

关于这种装置，已知一种在车辆的变速杆被操作到倒档位置的情况下显示车辆的后方的影像的驾驶辅助装置(专利文献1)。

专利文献1：日本特开2012-0162130号公报

技术实现要素：

发明要解决的问题

然而，存在以下问题：在未安装于车载装置的移动式的终端装置呈现经由无线通信获取到的车载摄像机的拍摄图像的情况下，若无线通信发生延迟，则呈现拍摄图像的定时延迟。

本发明要解决的课题在于，即使在车载装置与终端装置之间的无线通信发生延迟的情况下，也在终端装置恰当地呈现表示车辆周围的实时的状态的图像信息。

用于解决问题的方案

本发明通过以下方式来解决上述课题：在无线通信没有延迟的情况下，将表示距车辆的距离的距离标记叠加于图像上的距车辆的距离为距离标记所表示的距离的基准位置，在无线通信发生延迟的情况下，将距离标记叠加于与基准位置相比靠车辆的行进方向侧的位置或与基准位置相比靠车辆侧的位置。

发明的效果

根据本发明，在无线通信发生延迟的情况下，将距离标记叠加于与基准位置相比靠车辆的行进方向侧的位置或与基准位置相比靠车辆侧的位置，由此，即使在车载装置与终端装置之间的无线通信发生延迟的情况下，也能够使驾驶员识别车辆周围的实时的状态。

附图说明

图1是本实施方式所涉及的信息呈现系统的结构图。

图2是表示终端装置的显示器中显示的图像的一例的图。

图3是说明无线通信的延迟的图。

图4是用于说明第一实施方式所涉及的导向线的叠加方法的图。

图5是用于说明第一实施方式所涉及的导向线的叠加方法的图。

图6是表示第一实施方式所涉及的信息呈现处理的流程图。

图7是用于说明在第二实施方式中移动体不存在于本车辆周围或移动体存在于导向线的范围内的情况下的导向线的叠加方法的图。

图8是用于说明在第二实施方式中移动体不存在于本车辆周围或移动体存在于导向线的范围内的情况下的导向线的叠加方法的图。

图9是用于说明在第二实施方式中移动体存在于导向线的范围外的情况下的导向线的叠加方法的图。

图10是表示第二实施方式所涉及的信息呈现处理的流程图。

图11是用于说明在第三实施方式中无线通信为正常延迟状态的情况下的导向线的显示方式的图。

图12是用于说明在第三实施方式中无线通信为异常延迟状态的情况下的导向线的显示方式的图。

图13是用于说明在第三实施方式中无线通信为通信中断状态的情况下的导向线的显示方式的图。

图14是表示第三实施方式所涉及的信息呈现处理的流程图。

具体实施方式

下面，基于附图来说明本发明的实施方式。在本实施方式中，以应用于信息呈现系统1000的情况为例来进行说明，该信息呈现系统1000具备：车载装置200，其具有设置于车辆的摄像机；以及能够携带的终端装置100，其能够与该车载装置200进行无线通信。

《第一实施方式》

图1是本实施方式所涉及的信息呈现系统1000的结构框图。信息呈现系统1000具备车载装置200和终端装置100。

首先，基于图1对本发明的车载装置200进行说明。本实施方式的车载装置200具备一个或多个摄像机1a～1d、通信装置2、车辆控制器3以及搭载于车辆的各种的装置4(也统称为各种装置4)。

摄像机1a～1d(也统称为摄像机1。以下相同。)使用ccd(chargecoupleddevices：电荷耦合器件)等摄像元件来构成。在本实施方式中具备摄像机1，该摄像机1设置于车身后围(rearfinisher)部分、车顶扰流器部分等车辆的后方(rear)部分的规定位置。该摄像机1拍摄车辆的后方的空间内存在的物体或路面的图像(后视图像)。本实施方式中的“车辆的后方”不仅包括正后方，还包括后方的左右侧方。另外，本实施方式的车载装置200具备分别设置于车辆v的外部的不同位置的多个摄像机1a～1d。本实施方式的车载装置200具备设置于前格栅部分等车辆的前方的规定位置、左侧后视镜部分等车辆的左侧方的规定位置或右侧后视镜部分等车辆的右侧方的规定位置的摄像机1a～1d。各摄像机1分别拍摄车辆周围的不同方向的影像。在本实施方式中，使用可拍摄范围广的广角的摄像机1。

车载装置200向后述的终端装置100发送由摄像机1拍摄到的图像。也可以使摄像机1具备无线通信功能来向外部发送图像。终端装置100经由无线的通信网络来获取由摄像机1拍摄到的图像。对由各摄像机1拍摄到的图像附加有与各摄像机1的配置(地址)相应的标识符，终端装置100能够基于各标识符来分别识别各图像。另外，对由摄像机1拍摄到的图像附加有该图像的拍摄时刻，终端装置100能够掌握拍摄到各图像的拍摄时刻。

车辆控制器3从车辆的各结构获取信息来集中地管理车辆的动作。本实施方式的车辆控制器3获取表示车辆的状态的状态信息。车辆控制器3从车辆的转向控制装置41获取转向信息来作为状态信息，从加速度传感器42获取加速度信息或速度信息来作为状态信息，获取车辆的变速装置44的档位信息来作为状态信息。车辆控制器3向终端装置100发送所获取到的转向信息、加速度信息(速度信息)。终端装置100的控制装置10根据转向信息来获取车辆的行进方向(行进角度)。同样地，控制装置10根据档位信息来获取车辆正在后退还是正在前进的行进方向。同样地，控制装置10根据加速度信息(速度信息)和移动时间来获取车辆的移动量。控制装置10能够根据车辆的移动方向和移动量来求出经过规定时间后的车辆的位置。

车载装置200所具备的摄像机1、通信装置2、车辆控制器3以及各种装置4能够通过can(controllerareanetwork：控制器区域网络)及其它车载lan进行连接，来互相进行信息的发送和接收。

接着，基于图1对终端装置100进行说明。本实施方式的终端装置100是智能手机、平板终端等具备通信功能的可移动的便携终端装置。本实施方式的终端装置100具备控制装置10、通信装置20以及显示器30。

本实施方式的通信装置20与外部的车载装置200的通信装置2互相进行信息的发送和接收。通信装置20从车载装置200获取拍摄图像、车辆的状态及其它信息。

本实施方式的显示器30显示由摄像机1拍摄到的图像、与无线通信的延迟状态有关的信息。图2是表示终端装置100的显示器30中显示的图像的一例的图。在图2所示的例子中，示出了利用设置于车辆的后方(rear)部分的规定位置的摄像机1拍摄车辆的后方的空间内存在的物体、路面而得到的图像(后视图像)(在后述的图5、7、9、11～13中也同样。)。

如图2所示，在显示于显示器30的图像中叠加有沿着被预测为车辆要移动的轨道的导向线。叠加于图像的导向线具有车宽导向线q1和距离导向线q2。距离导向线q2是表示距本车辆(摄像机1)的距离的导向线。在本实施方式中，各距离导向线q2叠加于距本车辆0.5m、1.0m、2.0m、3.0m的位置。此外，距离导向线q2所表示的距离并不限定于0.5m、1.0m、2.0m、3.0m，能够适当设定。另外，终端装置100能够以车辆的驾驶员易于视觉识别的方式设置于保持件，该保持件被安装于车辆的仪表板、方向盘附近。

本实施方式的终端装置100所具备的控制装置10具备：rom(readonlymemory：只读存储器)12，其存储有用于将导向线叠加于由摄像机1拍摄到的图像并显示于显示器30的程序；作为动作电路的cpu(centralprocessingunit：中央处理单元)11，其通过执行该rom12中存储的程序来作为本实施方式的终端装置100发挥功能；以及ram(randomaccessmemory：随机存取存储器)13，其作为可访问的存储装置发挥功能。

本实施方式所涉及的终端装置100的控制装置10具有：获取由摄像机1拍摄到的图像的图像获取功能、判断终端装置100与车载装置200之间的无线通信的延迟状态的延迟状态判断功能、将导向线叠加于由摄像机1拍摄到的图像的导向线叠加功能以及在显示器中显示叠加有导向线的图像的信息呈现功能。控制装置10是通过用于实现各功能的软件与上述硬件的协作来执行上述功能的计算机。下面，对控制装置10所实现的各功能进行说明。

首先，控制装置10的图像获取功能经由通信装置20从车载装置200获取由车载摄像机1拍摄到的车辆周围的图像。在本实施方式中，图像获取功能获取车辆的后方侧的图像，但并不限定于此，也可以获取前方、侧方的图像。另外，图像获取功能也可以获取由车载装置200生成的、从上空的虚拟视点俯瞰本车辆而得到的本车辆周围的监视图像。监视图像是将由配置于本车辆的不同位置的多个摄像机1拍摄到的多个图像投影到从车辆上空的虚拟视点俯瞰到的投影面上来生成的俯瞰图像。控制装置10将所获取到的拍摄图像、监视图像用作在本车辆的停车时、后退时等状况下在显示器30中呈现的信息。

控制装置10的延迟状态判断功能判断车载装置200与终端装置100之间的无线通信的延迟状态。在无线通信的延迟状态中包括无线通信的延迟时间。例如，延迟状态判断功能能够求出对从车载装置200获取到的图像附加的该图像的拍摄时刻与获取到该图像时的获取时刻之差来作为延迟时间。另外，延迟状态判断功能能够在终端装置100与车载装置200之间无法建立无线通信的情况下将无线通信的延迟状态判断为通信中断状态。

另外，延迟状态判断功能也能够根据规定的良好的通信环境下的基准通信时间与实际进行发送和接收的通信环境下的实测通信时间之差来求出延迟时间。虽然没有特别地限定，但延迟状态判断功能能够在参照车载装置200的时钟45和终端装置100的时钟112并使二者同步之后测量经由车载装置200与终端装置100之间的无线通信进行信息的发送和接收所需要的实测通信时间，来计算延迟时间。具体地说，从车载装置200向终端装置100发送附加有发送定时的信息。终端装置100在获取到该信息之后将接收确认信息发送到车载装置200。车载装置200计算从向终端装置100发送信息的发送定时起至接收到由终端装置100发送的接收确认信息的接收定时为止的时间的一半，来作为无线通信所需要的通信时间。关于基准通信时间，在没有规定的负载的通信环境下，能够利用相同的方法来计算无线通信的通信时间。实测出的通信时间根据访问无线通信网络的终端装置的多少、进行通信的信息量的多少等而时刻变化。因此，延迟状态判断功能以规定周期计算通信时间，并持续地计算该通信时间与基准通信时间之差、即延迟时间。在本例中，在事先使车载装置200与终端装置100同步之后计算延迟时间，因此能够计算准确的延迟时间。

此外，延迟时间包括预先根据通信设备的能力来决定的固定的时间和根据通信量等而产生的变动的时间。能够在车载装置200或终端装置100中预先存储固定的时间。基于减轻处理负担的观点，也可以读出所存储的固定的延迟时间来判断延迟状态。

在终端装置100中，产生摄像机1的图像的呈现延迟的延迟状态的原因不仅在于上述的无线通信的延迟时间。如图3所示那样，还包括从拍摄处理起至图像的呈现处理完成为止所需要的以下的第一时间～第三时间。在此所说的第一时间是t0～t1的到车载装置200拍摄车辆周围的处理以及压缩图像的处理为止的时间。第二时间是t1～t2的无线通信所需要的时间。第三时间是t2～t3的对被压缩的图像进行解压缩处理的时间以及在显示器30中呈现解压缩出的图像的处理所需要的时间。也就是说，当从在车载装置200侧进行的拍摄起至图像的发送为止的时间、车载装置200与终端装置100的通信时间以及从在终端装置100侧进行的图像的接收起至呈现为止的时间产生延迟时，产生无线通信的延迟状态。

在无线通信没有发生延迟的情况下，根据申请时的通信技术，从拍摄处理起至图像的呈现处理完成为止所需要的时间是100msec～500msec左右。即使是这种短的时间，过去的图像信息仿佛是当前拍摄到的信息那样被呈现也是不理想的。何况在由于发生通信延迟而导致从拍摄时间起至呈现时间为止的时间变长的情况下则更是如此。在利用车载装置200内部的通信网(can等)来发送和接收图像的情况下，从拍摄时间起至呈现时间为止的时间基本固定，因此能够管理该时间。与此相对地，在经由公共的无线通信向终端装置100发送在车载装置200侧得到的图像来在终端装置100的显示器30中进行呈现情况下，需要考虑通信延迟。另外，上述的第三时间很大程度上依赖于终端装置100的处理能力，个人难以针对各自拥有不同的性能、状态的终端装置100统一定义延迟时间。

关于上述的第二时间，延迟状态判断功能利用上述方法来测量终端装置100与车载装置200之间的无线通信的延迟时间。

关于上述的第三时间，延迟状态判断功能获取从由终端装置100获取图像起至呈现图像为止所需要的终端装置侧处理时间，对无线通信的延迟时间加上终端装置侧处理时间来计算信息呈现所涉及的延迟时间，判断延迟状态。虽然没有特别地限定，但优选预先通过实验来计算终端装置侧处理时间，将该终端装置侧处理时间以可读出的方式存储于终端装置100。不仅考虑无线通信的延迟，还加上终端装置100侧的处理所需要的时间来计算延迟时间，由此能够准确地判断延迟状态。

关于上述的第一时间，延迟状态判断功能也可以对延迟时间加上在车载装置200侧进行的从图像的获取(拍摄)起至发送为止所需要的时间。不仅考虑无线通信的延迟，还加上车载装置200侧的处理所需要的时间来计算延迟时间，由此能够更加准确地判断延迟状态。

另外，延迟状态判断功能能够判断通信装置2的无线通信是否已中断，在无线通信已中断的情况下，在显示器30中呈现无线通信已中断的意思。在通信装置2的无线通信中断的状况下，难以实时地获取当前时间点的拍摄图像。也就是说，显示器30中呈现的拍摄图像是过去的影像的可能性高。在本实施方式中，通过呈现通信装置2的无线通信中断的意思，能够向驾驶员传达正呈现的拍摄图像不是实时的图像。

并且，也可以设为延迟状态判断功能判断与延迟状态相应的无线通信的可靠性的结构。在延迟时间长、无线通信的延迟状态恶劣的情况下，判断为无线通信的可靠性低。另一方面，在延迟时间短、无线通信的延迟状态不差(通信状态良好)的情况下，判断为无线通信的可靠性高。能够根据通信状态的通信时间来定义无线通信的可靠性。通信时间越长，则能够将无线通信的可靠性设定得越低。控制装置10在显示器30中呈现所判断出的可靠性。在无线通信的延迟时间长、无线通信的可靠性低的状况下，难以实时地获取当前时间点的拍摄图像。也就是说，显示器30中呈现的拍摄图像是过去的影像的可能性高。在本实施方式中，通过呈现通信装置2的无线通信的可靠性低的意思，能够向驾驶员传达正呈现的拍摄图像不是实时的图像。

控制装置10的导向线叠加功能生成包括车宽导向线q1和距离导向线q2的导向线，该车宽导向线q1表示本车辆移动的情况下的本车辆的侧面的位置，该距离导向线q2表示在本车辆移动的情况下沿着本车辆的行进方向的位置。而且，导向线叠加功能如图2所示那样将所生成的导向线叠加于由摄像机1拍摄到的图像。在终端装置100与车载装置200之间的无线通信没有延迟的情况下，导向线叠加功能将各距离导向线q2叠加于距本车辆的距离为距离导向线q2所表示的距离的位置。

另一方面，在终端装置100与车载装置200之间的无线通信发生延迟的情况下，导向线叠加功能基于无线通信的延迟状态和从车辆控制器3获取到的本车辆的状态来决定导向线在图像上的叠加位置。下面，基于图4和图5对第一实施方式所涉及的导向线的叠加方法进行说明。图4和图5是用于说明第一实施方式中的导向线的叠加方法的图。另外，在图4和图5所示的例子中例示了本车辆以后退的方式进入停车位的场景。此外，以下将在图像上距本车辆(摄像机1)的距离为各距离导向线q2所表示的距离的位置设为各距离导向线q2的基准位置q2’来进行说明。

在终端装置100与车载装置200之间的无线通信发生延迟的情况下，被拍摄到图像的车辆的位置是延迟时间前的位置，与本车辆的当前位置不同。例如，在图4所示的场景中，设为在时刻t10拍摄到图5所示的图像。但是，在图4所示的例子中，无线通信发生延迟，因此在时刻t10拍摄到的图像在时刻t11显示于终端装置100的显示器30。因此，在时刻t11，本车辆的实际位置为与拍摄到显示器30中显示的图像的位置p0相比靠本车辆的行进方向侧的位置p1。

在此，如图4所示，在本车辆的行进方向侧的位置p2处存在障碍物o(例如墙等)且无线通信发生延迟的情况下，在时刻t11，从本车辆的实际位置p1到障碍物o的距离d2比从拍摄到显示器30中显示的图像的位置p0到障碍物o的距离d1短。即，在无线通信发生延迟的情况下，相比于拍摄到显示器30中显示的图像的位置，本车辆更靠近障碍物o。因此，导向线叠加功能为了使驾驶员识别在无线通信发生延迟的情况下、相比无线通信没有延迟的情况而言本车辆更靠近障碍物o，而将距离导向线q2叠加于图像上的与距本车辆(摄像机1)的距离为距离导向线q2所表示的距离的基准位置q2’相比靠本车辆侧(与本车辆的行进方向相反的一侧)的位置。另外，在本实施方式中，导向线具有多个距离导向线q2，因此将各距离导向线q2分别叠加于与各距离导向线q2的基准位置q2’相比靠本车辆侧的位置。

例如，在图4所示的例子中，在时刻t10拍摄到的图像中将距离导向线q2所表示的基准位置q2’(例如表示距本车辆1.0m的距离的位置)设为p3。在该情况下，在时刻t11显示在时刻t10拍摄到的拍摄图像，因此，在该图像中，距本车辆的距离为距离导向线q2所表示的距离的位置为p3。然而，在这种情况下，导向线叠加功能将距离导向线q2叠加于与位置p3相比靠本车辆侧的位置p4。由此，在显示器30中显示的图像上，叠加有距离导向线q2的位置p4为与作为基准位置q2’的p3相比靠近本车辆的位置。这样，在本实施方式中，如图5所示，在图像上使距离导向线q2向本车辆靠近本车辆相对于图像的拍摄位置实际移动了的量，由此虽然距离导向线q2所表示的距离(例如距本车辆1.0m)不变，但与将距离导向线q2叠加于基准位置q2’的情况相比，能够使驾驶员识别为从本车辆到距离导向线q2所表示的距离(例如距本车辆1.0m的距离)相对变短，其结果，例如在本车辆的行进方向上存在障碍物o的情况下，能够使驾驶员识别为从本车辆到障碍物o的距离也是相对短的距离。

另外，在无线通信发生延迟的情况下，导向线叠加功能基于本车辆的车速、转向信息等状态信息以及无线通信的延迟时间来推测从拍摄到图像的位置起至本车辆的当前位置为止的移动量，将距离导向线q2叠加于与基准位置q2’相比向本车辆侧靠近了所推测出的移动量的位置。例如，在图4所示的例子中，导向线叠加功能在时刻t11推测从拍摄到图像的位置p0起至本车辆的当前位置p1为止的移动量。然后，导向线叠加功能将距离导向线q2叠加于图像上的从基准位置q2’起向本车辆侧移动了所推测出的移动量的位置p4。此外，也可以设为导向线叠加功能将距离导向线q2叠加于与基准位置q2’相比向本车辆侧靠近了规定的移动量的位置。

控制装置10的信息呈现功能例如如图5所示那样在显示器30中显示利用导向线叠加功能来叠加导向线后的图像。此外，在图5中，为了说明而适当地显示了基准位置q2’，但在显示器30中显示图像时不显示基准位置q2’(在后述的图7、9中也同样。)。

接着，对第一实施方式所涉及的信息呈现处理进行说明。图6是表示第一实施方式所涉及的信息呈现处理的流程图。此外，由终端装置100的控制装置10执行图6所示的信息呈现处理。

在步骤s101中，利用控制装置10的延迟状态判断功能进行终端装置100与车载装置200之间的无线通信的延迟状态的判断。具体地说，延迟状态判断功能判断在终端装置100与车载装置200之间是否建立了无线通信，另外，在建立了无线通信的情况下，判断无线通信的延迟时间。此外，也可以是，在没有建立无线通信的情况下(无线通信中断的情况下)，控制装置10的信息呈现功能在显示器30中显示该意思。

在步骤s102中，利用控制装置10的导向线叠加功能进行本车辆的状态信息的获取。例如，导向线叠加功能能够从车辆控制器3获取本车辆的车速、加速度、转向角、行进方向等状态信息。

在步骤s103中，利用控制装置10的图像获取功能来进行由摄像机1拍摄到的本车辆周围的图像的获取。然后，在步骤s104中，利用控制装置10的导向线叠加功能，基于步骤s101中的无线通信的延迟状态的判断结果来进行终端装置100与车载装置200之间的无线通信是否发生延迟的判断。在无线通信发生延迟的情况下，进入步骤s105，另一方面，在无线通信没有延迟的情况下，进入步骤s106。此外，也可以是，在无线通信没有延迟固定时间(例如200msec)以上的情况下判断为无线通信没有延迟，进入步骤s106。

在步骤s106中，利用导向线叠加功能来进行将导向线叠加到在步骤s103中获取到的图像上的处理。在步骤s106中，由于判断为无线通信没有延迟，因此导向线叠加功能将表示距本车辆的距离的各距离导向线q2叠加于距本车辆的距离为各距离导向线q2所表示的距离的位置(基准位置q2’)。

另外，在步骤s104中判断为无线通信发生延迟的情况下，进入步骤s105。在步骤s105中，导向线叠加功能如图5所示那样将各距离导向线q2叠加于图像上的与距本车辆的距离为距离导向线q2所表示的距离的基准位置q2’相比靠本车辆侧(与本车辆的行进方向相反的一侧)的位置。例如，导向线叠加功能基于步骤s101中的无线通信的延迟状态的判断结果和在步骤s102中获取到的本车辆的状态(例如车速、转向角)来推测从拍摄到图像的位置起至本车辆的当前位置为止的移动量，并将各距离导向线q2叠加于从基准位置q2’起向本车辆侧移动了所推测出的移动量的位置。

然后，在步骤s107中，利用控制装置10的信息呈现功能在显示器30的画面中呈现在步骤s105或步骤s106中叠加导向线后的图像。

如上所述，第一实施方式所涉及的信息呈现系统1000基于无线通信的延迟状态来决定距离导向线q2在由摄像机1拍摄到的图像上的叠加位置。由此，在第一实施方式中，即使在终端装置100与车载装置200之间的无线通信发生延迟的情况下，也能够使驾驶员在图像上识别车辆周围的实时的状态。

即，在本实施方式中，在无线通信发生延迟的情况下，如图5所示那样将各距离导向线q2叠加于图像上的与距本车辆的距离为距离导向线q2所表示的距离的基准位置q2’相比靠本车辆侧(与本车辆的行进方向相反的一侧)的位置。另外，基于本车辆的状态(车速、转向角等)和延迟时间来推测延迟时间内的本车辆的移动量，将各距离导向线q2叠加于从基准位置q2’起向本车辆侧移动了所推测出的移动量的位置。由此，在本实施方式中，在图像上，距离导向线q2向本车辆侧靠近了本车辆相对于拍摄到图像的位置实际移动的量，因此与将距离导向线q2叠加于基准位置q2’的情况相比，能够使驾驶员识别为从本车辆到用距离导向线q2表示的距离(例如距本车辆1.0m的距离)是相对短的距离。其结果，例如在本车辆的行进方向上存在障碍物o的情况下，能够使驾驶员识别为从本车辆到障碍物o的距离也是相对短的距离。

《第二实施方式》

接着，对第二实施方式所涉及的信息呈现系统1000进行说明。第二实施方式所涉及的信息呈现系统1000具有与第一实施方式所涉及的信息呈现系统1000相同的结构，除了如以下说明的那样进行动作以外，进行与第一实施方式所涉及的信息呈现系统1000相同的动作。

在第二实施方式中，终端装置100的控制装置10除了具备第一实施方式所涉及的各功能以外，还具备探测移动体的移动体探测信息获取功能。

控制装置10的移动体探测信息获取功能获取在本车辆的周围是否存在移动体的探测信息。具体地说，移动体探测信息获取功能从车载装置200获取是否存在移动体的信息。车载装置200具备移动体检测装置43。移动体检测装置43基于从车载摄像机1的拍摄图像提取出的特征的随时间的变化来判断在车辆周围是否存在移动体。关于基于拍摄图像来检测移动体的方法没有特别的限定，能够适当地利用本申请的申请时已知的方法。

另外，在第二实施方式中，在无线通信发生延迟的情况下，控制装置10的导向线叠加功能基于利用移动体探测信息获取功能是否获取到存在移动体的意思的探测信息来变更叠加于拍摄图像的导向线的位置，以及在存在移动体的情况下，控制装置10的导向线叠加功能基于到移动体的距离来变更叠加于拍摄图像的导向线的位置。

具体地说，首先，在本车辆的周围存在移动体的情况下，导向线叠加功能计算从本车辆(摄像机1)到移动体的距离。然后，导向线叠加功能基于计算出的到移动体的距离来判断移动体是否存在于导向线的范围内。例如，本实施方式所涉及的导向线叠加功能如图7所示那样将各距离导向线q2分别叠加于距本车辆(摄像机1)的距离为0.5m、1.0m、2.0m、3.0m的位置。在该情况下，距离导向线q2显示距本车辆不超过3.0m的距离，导向线的范围为距本车辆3.0m的距离范围。因此，在从本车辆到移动体的距离超过3.0m的情况下，导向线叠加功能判断为移动体存在于导向线的范围外，另一方面，在从本车辆到移动体的距离为3.0m以下的情况下，导向线叠加功能判断为移动体存在于导向线的范围内。

而且，在移动体不存在于本车辆的周围或移动体存在于导向线的范围内的情况下，导向线叠加功能如图7所示那样将距离导向线q2叠加于与距本车辆的距离为距离导向线q2所表示的距离的基准位置q2’相比靠本车辆的行进方向侧的位置。在此，在图8所示的例子中例示了以下场景：在本车辆正在后退的情况下，无线通信发生延迟，因此在时刻t21向驾驶员呈现在时刻t20拍摄到的拍摄图像。在该情况下，在时刻t21本车辆移动到位置p11时，向驾驶员呈现在位置p10处拍摄到的图像。因此，在时刻t21，即使在图像上距本车辆的距离为距离导向线q2所表示的距离(例如距本车辆1.0m)的位置是p13的情况下，距本车辆的实际的距离为距离导向线q2所表示的距离(例如距本车辆1.0m)的位置也为p14。因此，在移动体不存在于本车辆的周围或移动体存在于导向线的范围内的情况下，导向线叠加功能将距离导向线q2叠加于与作为基准位置q2’的p13相比靠本车辆的行进方向侧的位置p14，以使在图像上距离导向线q2表示距本车辆的实际的距离。另外，在该情况下，导向线叠加功能能够基于无线通信的延迟时间、本车辆的状态来推测本车辆的当前位置，将距离导向线q2叠加于距所推测出的当前位置的距离为距离导向线q2所表示的距离的位置。由此，能够以距离导向线q2表示距本车辆的实际的距离的方式显示各距离导向线q2。此外，图7和图8是用于说明移动体不存在于本车辆周围或移动体存在于导向线的范围内的情况下的导向线的叠加方法的图。

另一方面，在移动体存在于导向线的范围外的情况下，导向线叠加功能如图9所示那样将距离导向线q2叠加于与基准位置q2’相比靠本车辆侧(与本车辆的行进方向相反的一侧)的位置。由此，与将距离导向线q2叠加于基准位置q2’的情况相比，能够使驾驶员识别为到本车辆接近移动体为止具有时间上、距离上的富余。此外，图9是用于说明移动体存在于导向线的范围外的情况下的导向线的叠加方法的图。

并且，在移动体存在于本车辆的周围的情况下，导向线叠加功能如图9所示那样将表示移动体的标记m叠加到图像上。另外，在无线通信发生延迟的情况下，导向线叠加功能将表示移动体的标记m叠加于与移动体的实际位置相比靠本车辆侧的位置。具体地说，导向线叠加功能基于本车辆的状态信息和无线通信的延迟时间来推测从拍摄到图像的位置起至本车辆的当前位置为止的移动量，将表示移动体的标记m叠加于与移动体的实际位置相比向本车辆侧移动了推测出的移动量的位置。由此，即使在无线通信发生延迟的情况下，也能够在图像上恰当地显示从本车辆到移动体的实际的距离。

接着，对第二实施方式所涉及的信息呈现处理进行说明。图10是表示第二实施方式所涉及的信息呈现处理的流程图。此外，由终端装置100的控制装置10执行图10所示的信息呈现处理。

与第一实施方式的步骤s101～s103同样地，在步骤s201～s203中进行终端装置100与车载装置200之间的无线通信的延迟状态的判断(步骤s201)，进行本车辆的状态信息的获取(步骤s202)，进行本车辆周围的图像的获取(步骤s203)。

在步骤s204中，利用控制装置10的移动体探测信息获取功能来进行移动体探测信息的获取。然后，在步骤s205中，利用控制装置10的导向线叠加功能，基于在步骤s204中获取到的移动体探测信息来进行在本车辆的周围是否存在移动体的判断。在本车辆的周围不存在移动体的情况下，进入步骤s211，另一方面，在本车辆的周围存在移动体的情况下，进入步骤s206。

在步骤s206中，利用控制装置10的导向线叠加功能来进行移动体是否存在于导向线的范围内的判断。在移动体存在于导向线的范围内的情况下，进入步骤s207，在移动体存在于导向线的范围外的情况下，进入步骤s208。

在步骤s207中，由于判断为移动体存在于导向线的范围内，因此导向线叠加功能如图7所示那样基于车速、转向角等本车辆的状态信息以及无线通信的延迟时间将距离导向线q2叠加于与基准位置q2’相比靠本车辆的行进方向侧的位置。由此，能够在图像上恰当地显示从本车辆到移动体的实际的距离。

另外，在步骤s208中，判断为移动体存在于导向线的范围外。因此，导向线叠加功能如图9所示那样基于车速、转向角等本车辆的状态信息以及无线通信的延迟时间来将距离导向线q2叠加于与基准位置q2’相比靠本车辆侧(与本车辆的行进方向相反的一侧)的位置。由此，与将距离导向线q2叠加于基准位置q2’的情况相比，能够使驾驶员恰当地识别为到本车辆接近移动体为止具有时间上、距离上的富余。

在步骤s209中，利用导向线叠加功能来进行将表示移动体的标记叠加到图像上的处理。具体地说，导向线叠加功能如图9所示那样基于车速、转向角等本车辆的状态信息以及无线通信的延迟时间将表示移动体的标记m叠加于与移动体的实际的位置相比靠本车辆侧的位置。

然后，在步骤s210中，利用控制装置10的信息呈现功能在显示器30的画面中呈现在步骤s207、s208中叠加导向线、在步骤s209中叠加表示移动体的标记m后的图像。

另外，在步骤s205中判断为在本车辆周围不存在移动体的情况下，进入步骤s211。在步骤s211中，与步骤s207同样地利用导向线叠加功能以各距离导向线q2表示距本车辆的实际的距离的方式将距离导向线q2叠加于与基准位置q2’相比靠本车辆的行进方向侧的位置。由此，能够在图像上恰当地显示距本车辆的实际的距离。然后，进入步骤s210，在显示器30的画面中呈现在步骤s211中叠加导向线后的图像。

如上所述，第二实施方式所涉及的信息呈现系统1000在无线通信发生延迟时探测到移动体的情况下，判断移动体是否存在于导向线的范围内。在移动体存在于导向线的范围内的情况下，如图7所示那样以各距离导向线q2表示距本车辆的实际的距离的方式，基于本车辆的状态和延迟时间将各距离导向线q2叠加于与基准位置q2’相比靠本车辆的行进方向侧的位置。由此，在第二实施方式中，即使在无线通信发生延迟的情况下，也能够使驾驶员恰当地识别从本车辆到移动体的实际的距离。

另外，在第二实施方式中，在无线通信发生延迟且移动体存在于导向线的范围外的情况下，如图9所示那样将距离导向线q2叠加于与基准位置q2’相比靠本车辆侧(本车辆的行进方向侧)的位置。由此，与将距离导向线q2叠加于基准位置q2’的情况相比，能够使驾驶员恰当地识别为到本车辆靠近移动体为止具有时间上、距离上的富余。

并且，在第二实施方式中，在无线通信发生延迟且移动体不存在于本车辆的周围的情况下，如图7所示那样以距离导向线q2表示距本车辆的实际的距离的方式将距离导向线q2叠加于与基准位置q2’相比靠本车辆的行进方向侧的位置。由此，在无线通信发生延迟且移动体不存在于本车辆的周围的情况下，能够在图像上用距离导向线q2恰当地显示距本车辆的实际的距离。

除此以外，在第二实施方式中，在无线通信发生延迟且移动体存在于本车辆的周围的情况下，如图9所示那样将表示移动体的标记m叠加于与移动体的实际位置相比靠本车辆侧的位置。由此，即使在无线通信发生延迟的情况下，也能够在图像上恰当地显示从本车辆到移动体的实际的距离。

此外，在第二实施方式中，在无线通信没有延迟的情况下，能够与第一实施方式同样地将距离导向线q2叠加于成为距离导向线q2所表示的距离的基准位置q2’(在后述的第三实施方式中也同样。)。

<<第三实施方式>>

接着，对第三实施方式所涉及的信息呈现系统1000进行说明。第三实施方式所涉及的信息呈现系统1000具有与第一实施方式所涉及的信息呈现系统1000相同的结构，除了如以下说明的那样进行动作以外，进行与第一实施方式所涉及的信息呈现系统1000相同的动作。

在第三实施方式中，与第一实施方式同样地，控制装置10的延迟状态判断功能判断终端装置100与车载装置200之间的无线通信的延迟状态。另外，在第三实施方式中，延迟状态判断功能判断无线通信的延迟状态是通信中断状态、正常延迟状态以及异常延迟状态中的哪个状态。

具体地说，在无线通信的延迟时间在规定时间(例如200msec)以内的情况下，延迟状态判断功能将无线通信的延迟状态判断为正常延迟状态。另外，在无线通信的延迟时间超过规定时间的情况下，延迟状态判断功能将无线通信的延迟状态判断为异常通信状态。并且，在终端装置100与车载装置200之间无法建立无线通信的情况下，延迟状态判断功能将无线通信的延迟状态判断为通信中断状态。

另外，在第三实施方式中，控制装置10的导向线叠加功能基于终端装置100与车载装置200之间的无线通信的延迟状态来变更导向线的显示方式。具体地说，导向线叠加功能根据无线通信的延迟状态(通信中断状态、正常延迟状态、异常延迟状态)来变更导向线的显示方式，使得驾驶员能够识别无线通信的延迟状态是通信中断状态、正常延迟状态以及异常延迟状态中的哪个状态。在此，图11～13是用于说明第三实施方式中的导向线的显示方式的图。

例如，导向线叠加功能在判断为无线通信的延迟状态是正常延迟状态的情况下，如图11所示那样将距离导向线q2叠加于与基准位置q2’相比靠本车辆的行进方向侧的位置。

另外，导向线叠加功能在判断为无线通信的延迟状态是异常延迟状态的情况下，如图12所示那样与正常延迟状态相比以淡的颜色显示导向线的颜色或者用虚线显示导向线。由此，能够使驾驶员恰当地识别为终端装置100与车载装置200之间的无线通信是异常延迟状态。此外，在图12所示的场景中，无线通信发生延迟，因此与图11所示的场景同样地，导向线叠加功能将距离导向线q2叠加于与基准位置q2’相比靠本车辆的行进方向侧的位置。

并且，导向线叠加功能在判断为无线通信的延迟状态是通信中断状态的情况下，首先，如图13的(a)所示那样与正常延迟状态相比强调地显示导向线。例如，导向线叠加功能能够通过与正常延迟状态相比以浓的颜色显示导向线的颜色或者加粗地显示导向线，来与正常延迟状态相比强调地显示导向线。然后，导向线叠加功能在从强调地显示导向线起经过了固定时间之后，如图13的(b)所示那样将导向线设为不显示。由此，能够使驾驶员恰当地识别为终端装置100与车载装置200之间的无线通信是通信中断状态。此外，在图13所示的场景中也是，在强调显示距离导向线q2的情况下，能够与图11、12所示的场景同样地将距离导向线q2叠加于与基准位置q2’相比靠本车辆的行进方向侧的位置。

接着，对第三实施方式所涉及的信息呈现处理进行说明。图14是表示第三实施方式所涉及的信息呈现处理的流程图。此外，由终端装置100的控制装置10执行图14所示的信息呈现处理。

与第一实施方式的步骤s101～s103同样地，在步骤s301～s303中进行终端装置100与车载装置200之间的无线通信的延迟状态的判断(步骤s301)，进行本车辆的状态信息的获取(步骤s302)，进行本车辆周围的图像的获取(步骤s303)。此外，在步骤s301中判断无线通信的延迟状态是通信中断状态、正常延迟状态以及异常延迟状态中的哪个状态。

在步骤s304中，利用导向线叠加功能，基于步骤s301中的判断结果来进行终端装置100与车载装置200之间的无线通信的延迟状态是否为通信中断状态的判断。在判断为通信中断状态的情况下，进入步骤s308，另一方面，在判断为不是通信中断状态的情况下，进入步骤s305。

在步骤s305中，利用导向线叠加功能来进行无线通信的延迟状态是否为正常延迟状态的判断。例如，在判断为无线通信的延迟时间在规定时间以内、是正常延迟状态的情况下，进入步骤s306，另一方面，在判断为无线通信的延迟时间超过规定时间、是异常延迟状态的情况下，进入步骤s307。

在步骤s306中，由于判断为无线通信的延迟状态是正常延迟状态，因此利用导向线叠加功能如图11所示那样将距离导向线q2叠加于与基准位置q2’相比靠本车辆的行进方向侧的位置。

另外，在步骤s307中也是，由于判断为无线通信发生延迟，因此利用导向线叠加功能如图12所示那样将距离导向线q2叠加于与基准位置q2’相比靠本车辆的行进方向侧的位置。另外，在步骤s307中，由于判断为无线通信的延迟状态是异常延迟状态，因此导向线叠加功能与正常延迟状态的情况相比以淡的颜色显示导向线的颜色，并且用虚线显示导向线。由此，能够使驾驶员恰当地识别为无线通信的延迟状态是异常延迟状态。

并且，在步骤s304中判断为无线通信的延迟状态是通信中断状态的情况下，进入步骤s308。在步骤s308中，利用导向线叠加功能如图13的(a)所示那样强调地显示导向线，并且将距离导向线q2叠加于与基准位置q2’相比靠本车辆的行进方向侧的位置。

然后，进入步骤s309，利用导向线叠加功能来进行从强调显示导向线起是否经过了固定时间的判断。在经过固定时间之前，在步骤s309中待机，在经过了固定时间的情况下，进入步骤s310。在步骤s310中，利用导向线叠加功能将导向线设为不显示。这样，在无线通信的延迟状态是通信中断状态的情况下，通过在强调显示导向线之后将导向线设为不显示，能够使驾驶员恰当地识别为无线通信的延迟状态是通信中断状态。

在步骤s311中，利用控制装置10的信息呈现功能在显示器30的画面中呈现在步骤s306、s307或步骤s308中叠加导向线后的图像。

如上所述，第三实施方式所涉及的信息呈现系统1000基于终端装置100与车载装置200之间的无线通信的延迟状态来变更导向线的显示方式。例如，在无线通信的延迟状态是异常延迟状态的情况下，与正常延迟状态的情况相比，用淡色、虚线等显示导向线。另外，在无线通信的延迟状态是通信中断状态的情况下，在与正常延迟状态相比强调显示导向线之后将导向线设为不显示。由此，在第三实施方式中，除了第一实施方式的效果以外，还能够使驾驶员恰当地识别无线通信的延迟状态。

此外，以上说明的实施方式是为了使本发明易于理解而记载的，而不是为了限定本发明而记载的。因而，宗旨是在上述实施方式中公开的各要素还包含属于本发明的技术范围的所有设计变更、等同物。

例如，在上述实施方式中，作为本发明所涉及的信息呈现系统的一个方式，以终端装置100和信息呈现系统1000为例进行了说明，但本发明并不限定于此。

另外，在上述实施方式中，作为本发明所涉及的信息呈现系统的一个方式，将具备终端装置100和车载装置200的信息呈现系统1000作为一例进行了说明，其中，该终端装置100具备包括cpu11、rom12、ram13的控制装置10，但并不限定于此。

并且，在上述实施方式中，作为具备摄像机和通信功能的车载装置的一个方式，对具备摄像机1、通信装置2、车辆控制器3以及各种装置4的车载装置200进行了说明，但并不限定于此。

另外，在上述实施方式中，例示了将导向线叠加于拍摄本车辆后方所得到的图像的结构，但并不限定于此，也能够设为将导向线叠加于拍摄本车辆前方或本车辆侧方所得到的图像的结构。另外，还能够设为以下结构：从由多个摄像机1拍摄到的多个图像生成投影到从上空的虚拟视点俯瞰车辆时的投影面所得到的一个投影图像，并将导向线叠加于该投影图像。在该情况下，也能够设为基于本车辆的车速、加速度、转向角以及无线通信的延迟时间将导向线叠加于与基准位置q2’相比靠本车辆侧的位置或靠本车辆的行进方向侧的位置的结构。

并且，在上述实施方式中例示了以下结构：在无线通信发生延迟的情况下，将各距离导向线q2叠加于与基准位置q2’相比靠本车辆侧的位置和靠本车辆的行进方向侧的位置中的任一位置，但并不限定于该结构，能够将一部分距离导向线q2叠加于与基准位置q2’相比靠本车辆侧的位置，将其它的距离导向线q2叠加于与基准位置q2’相比靠本车辆的行进方向侧的位置。例如，能够设为以下结构：将表示距本车辆不超过固定距离的距离的距离导向线q2叠加于与基准位置q2’相比靠本车辆侧的位置，将表示距本车辆超过固定距离的距离的距离导向线q2叠加于与基准位置q2’相比靠本车辆的行进方向侧的位置。

另外，在上述实施方式中例示了将具有车宽导向线q1和距离导向线q2的导向线叠加到图像上的结构，但除该结构以外，例如还能够设为将表示预测为本车辆要移动的轨迹的预想行进路线p也叠加到图像上的结构。

并且，在上述第一实施方式中例示了以下结构：在无线通信发生延迟的情况下，如图5所示那样将各距离导向线q2叠加于与基准位置q2’相比靠本车辆侧的位置，但并不限定于该结构，例如能够如图7所示那样设为将各距离导向线q2叠加于与基准位置q2’相比靠本车辆的行进方向侧的位置的结构。在该情况下，能够使驾驶员在图像上恰当地识别距本车辆的实际的距离。

另外，在上述第二实施方式中例示了以下结构：在无线通信发生延迟且在本车辆周围不存在移动体或移动体存在于导向线的范围外的情况下，以距离导向线q2显示距本车辆的实际的距离的方式将距离导向线q2叠加于与基准位置q2’相比靠本车辆的行进方向侧的位置，但并不限定于该结构，例如只要是与基准位置q2’相比靠本车辆的行进方向侧的位置即可，也可以设为将距离导向线q2叠加于不与距本车辆的实际的距离对应的位置(从基准位置q2’起向本车辆的行进方向侧移动了规定的距离的位置)的结构。在该情况下，也能够将距离导向线q2所表示的距离设为比距本车辆的实际的距离近的距离来向驾驶员呈现。

并且，在上述第三实施方式中例示了基于无线通信的延迟状态来变更导向线的显示方式的结构，但与各延迟状态相应的导向线的显示方式并不限定于上述例子，能够适当设定。例如也可以设为以下结构：除了变更导向线的颜色、粗细、方式(虚线等)以外，还变更导向线的透明度或者使导向线闪烁显示。例如能够设为以下结构：在无线通信的通信状态是异常通信状态的情况下，提高导向线的透明度或使导向线闪烁显示。另外，也可以是，在无线通信的通信状态是通信中断信状态的情况下，首先降低导向线的透明度，之后提高导向线的透明度。另外，也可以设为使导向线闪烁显示来替代将导向线设为不显示的结构。并且，还可以设为以下结构：在正常延迟状态的情况下，用蓝色、绿色、蓝紫色等相对不显眼的后退色的线、虚线、相对细的线显示导向线，在异常延迟状态的情况下，用红色、实线、橙色、黄色等相对显眼的前进色的线、相对粗的线显示导向线。

此外，在上述第二实施方式中例示了探测存在于本车辆的周围的移动体的结构，但也可以设为探测存在于本车辆的周围的障碍物(墙、路边石等)的结构。在该情况下，同样也能够基于在本车辆的周围是否存在障碍物或障碍物是否存在于导向线的范围内等来决定距离导向线q2的叠加位置。

此外，上述实施方式所涉及的控制装置10的图像获取功能相当于本发明的图像获取单元，导向线叠加功能相当于本发明的车辆信息获取单元和叠加单元，延迟状态判断功能相当于本发明的判断单元，移动体探测信息获取功能相当于本发明的障碍物信息获取单元。

附图标记说明

1000：信息呈现系统；100：终端装置；10：控制装置；11：cpu；12：rom；13：ram；20：通信装置；30：显示器；200：车载装置；1、1a～1d：摄像机；2：通信装置；3：车辆控制器；4：各种装置；41：转向控制装置；42：加速度传感器；43：移动体检测装置。