信息处理装置以及程序的制作方法

本国际申请要求基于2016年3月7日向日本专利厅申请的日本专利申请第2016－43469号的优先权，并通过参照在本国际申请中引用日本专利申请第2016－43469号的全部内容。

技术领域

本公开涉及拍摄车辆的周边并进行显示的技术。

背景技术：

已知利用虚拟的视点的图像对车辆的周边进行显示的技术。例如，在专利文献1中，提出了对从斜上方观察车辆的图像进行显示的技术。

专利文献1：日本特开2000－563072号公报

技术实现要素：

发明人发现了随着车辆的行驶状态的变化，车辆的搭乘者希望视觉确认的车辆周边的区域也发生变化这一课题。

希望本公开提供对表示车辆周边的适当范围的图像进行显示的技术。

本公开的第一方面是具备状态判定部、速度检测部和显示控制部的信息处理装置。

状态判定部构成为判定控制单元的控制状态，该控制单元控制车辆的行驶驱动源的驱动力的输出方向。该控制单元构成为控制车辆的行驶驱动源的驱动力的输出方向。速度检测部构成为检测车辆的行驶速度。显示控制部构成为使显示装置从多个周边图像中显示根据由状态判定部判定出的控制状态和由速度检测部检测出的行驶速度所决定的一个以上的周边图像。多个周边图像是指基于由拍摄车辆的周围的一个以上的相机拍摄到的图像的表示上述车辆的周边的图像且是分别至少在视点以及显示范围的任意一方上不同的图像。

根据这样的结构，能够基于车辆的行驶驱动源的驱动力的输出方向和车辆的行驶速度而使显示装置对表示适于车辆的行驶状态的范围的周边图像进行显示。因而，能够使车辆的搭乘者视觉确认与该状况对应的图像。

此外，上述的驱动力的输出方向是指能够接受行驶驱动源的驱动力而使车辆行进的方向，是前方以及后方的任意一个。

本公开的第二方面是使计算机作为状态判定部、速度检测部以及显示控制部发挥功能的程序。状态判定部、速度检测部以及显示控制部的功能与上述的第一方面的信息处理装置具备的状态判定部、速度检测部以及显示控制部相同。

根据这样的结构，能够使计算机发挥与上述的第一方面的信息处理装置相同的功能。

此外，权利要求书所记载的括号内的附图标记示出与作为一个方式后述的实施方式所记载的具体单元的对应关系，并不对本公开的技术范围进行限定。

附图说明

图1是表示图像显示系统的结构的框图。

图2是对虚拟的视点的位置进行说明的图。

图3是对作为周边图像的一个例子的后方视点图像进行说明的图。

图4是对作为周边图像的一个例子的上方视点图像进行说明的图。

图5是对作为周边图像的一个例子的前方视点图像进行说明的图。

图6是对作为周边图像的一个例子的前方俯瞰视点图像进行说明的图。

图7是图像显示处理的流程图。

具体实施方式

以下，参照附图对用于实施发明的方式进行说明。

[1.实施方式]

[1－1.结构]

图像显示系统1是搭载在汽车等车辆上来使用的系统。如图1所示，图像显示系统1具备搭载在车辆上的前相机3a、后相机3b、左相机3c以及右相机3d、显示装置5、电子控制单元(Electronic Control Unit，下称ECU)7。在以下的说明中，相机3可以包括上述四个相机3a、3b、3c、3d。此外，ECU7相当于信息处理装置。

相机3是设置在车辆上的拍摄装置。作为相机3，例如能够使用公知的CCD图像传感器或者CMOS图像传感器等。各相机3a、3b、3c、3d按照规定的时间间隔(作为一个例子，为1/15s)拍摄车辆周边，并将拍摄图像输出至ECU7。前相机3a、后相机3b、左相机3c、右相机3d分别被配置为拍摄车辆的前方、后方、左方、右方。

显示装置5是能够显示图像的具有液晶或者有机EL等显示画面的装置。显示装置5按照从ECU7输入的信号来显示图像。

ECU7具有第一输入处理部11、存储装置13、第二输入处理部15、输出信号处理部17、图像处理部19。

第一输入处理部11将从相机3输入的拍摄图像的模拟信号转换为数字信号并输出至图像处理部19。

存储装置13是构成能够存储信息的存储区域的装置。在存储装置13构成的存储区域中存储有设置每个相机3的位置、角度等参数，根据需要由图像处理部19读出该参数。

第二输入处理部15与车内网络9连接。第二输入处理部15获取与车内网络9连接的换挡传感器9a以及车速传感器9b输出的信号，并输出至图像处理部19。

换挡传感器9a是进行与设置在驾驶席附近的选择杆31通过驾驶员的操作而移动后的位置，即通过驾驶员的操作所设定的变速挡对应的输出的传感器。在本实施方式中，车辆的变速箱33的种类也可以是自动变速箱。

选择杆31是操作车辆的变速箱33的杆等操作部件。驾驶员通过操作选择杆31，能够将变速挡设定为驻车挡(下称P挡)、倒退挡(下称R挡)、空挡(下称N挡)以及前进挡(下称D挡)的任意一个。此外，变速箱33相当于输出控制装置。

车速传感器9b是输出与车辆的行驶速度对应的信号的传感器。

输出信号处理部17将从图像处理部19输出的图像数据的数字信号转换为模拟信号，并输出至显示装置5。显示装置5基于接收到的信号来显示图像。

图像处理部19以具有CPU21和半导体存储器(下称存储器23)如RAM、ROM、闪存等的公知的微型计算机为中心而构成。图像处理部19的各种功能通过CPU21执行永久性实体记录介质中储存的程序来实现。在该例子中，存储器23相当于储存有程序的永久性实体记录介质。另外，通过执行该程序来执行与程序对应的方法。此外，构成图像处理部19的微型计算机的数量可以是一个也可以是多个。

图像处理部19如图1所示，具备状态判定部25、速度检测部26、图像生成部27和显示控制部28作为通过CPU21执行程序而实现的功能的结构。实现构成图像处理部19的这些要素的方式并不限于软件，也可以使用组合了逻辑电路、模拟电路等的硬件来实现其一部分或者全部要素。

状态判定部25基于从换挡传感器9a输出的信号来判定变速箱33的控制状态。

变速箱33的控制状态是指车辆的行驶驱动源亦即发动机的驱动力的输出方向的控制的状态。

上述的驱动力的输出方向是指能够接受发动机的驱动力而使车辆行进的方向，是前方以及后方的任意一个。该输出方向并不是指车辆当前行驶的方向。例如，即使车辆的行驶速度为0km/h，如果变速箱33的状态是在由驾驶员踩下加速器的情况下前进的状态，则输出方向为前方。

另外，上述的变速箱33的控制状态能够大致分为(i)传递驱动力以使车辆向前方行进的状态；(ii)不进行驱动力的传递的状态；(iii)传递驱动力以使车辆向后方行进的状态这三个状态。当然，也可以进行更详细的分类。这些状态根据构成变速箱33的齿轮的连接状态等而变化。

具体而言，在将变速挡设定为D挡的情况下，变速箱33的状态是传递动力以使车辆向前方行进的控制状态。另外，在将变速挡设定为P挡或者N挡的情况下，变速箱33的状态是不进行动力传递的控制状态。另外，在将变速挡设定为R挡的情况下，变速箱33的状态是传递动力以使车辆向后方行进的控制状态。

速度检测部26基于从车速传感器9b输出的信号来检测车辆的行驶速度。

图像生成部27基于由各相机3a、3b、3c、3d中的一个以上相机拍摄到的图像来生成与由各相机3a、3b、3c、3d的每个拍摄到的拍摄图像的视点不同的视点的一个以上的图像。此外，在生成该一个以上的图像时，使用存储装置13中存储的相机3的参数。

显示控制部28使显示装置5显示周边图像。以下，对周边图像进行说明。

[1－2.周边图像]

周边图像是表示车辆的周边的图像，并且是基于由拍摄车辆的周围的相机3拍摄到的图像由图像生成部27生成的图像。图像生成部27如上述那样生成与四个相机3的视点不同的视点的图像。由图像生成部27生成的图像分别是周边图像。

此外，此处所指的视点是指成为观察被拍摄的对象物时的立足点的位置。基于通过不同的多个视点拍摄到的图像来生成与那些视点不同的视点的图像的技术是公知的技术，故省略说明。

如图2所示，由图像生成部27生成的周边图像的视点的位置以车辆101为基准被设定为4处。第一虚拟视点41是从搭载有图像显示系统1的车辆101的后方向斜前方俯视车辆101的视点。第二虚拟视点43是从车辆101的前端的上方俯视下方的视点。第三虚拟视点45是从车辆101的前方向后方观察车辆101的视点。第四虚拟视点47是从车辆101的前方的上方向斜后方俯视车辆101的视点。

图3是表示从第一虚拟视点41观察到的周边图像亦即后方视点图像103的图。通过将四个相机3a、3b、3c、3d的拍摄图像合成来生成该后方视点图像103。由于车辆101本身未被相机3拍摄到，所以预先准备的表示车辆101的图像被用于合成。关于这一点，在后述的图像中也是相同的。

在该后方视点图像103中，搭乘者能够较广地视觉确认车辆101的前方，另外，能够容易理解拍摄图像所示的障碍物等与车辆101的位置关系。即，后方视点图像103是适于在驾驶开始时以及停车时等车辆停止的状态下确认以前方为中心比较宽的范围的周边时的图像。

图4是表示从第二虚拟视点43观察到的周边图像亦即上方视点图像105的图。通过对前相机3a的拍摄图像的视点进行转换来生成该上方视点图像105。在该上方视点图像105中显示车辆101的前方的路面且包括成为驾驶员的死角的区域的区域。

在该上方视点图像105中，搭乘者能够获取车辆101的前端周边的信息。即，上方视点图像105是适于车辆开始前进时或者为了避免与障碍物接触而缓慢地行驶时等的图像。

图5是表示从第三虚拟视点45观察到的周边图像亦即前方视点图像107的图。通过将后相机3b、左相机3c以及右相机3d的拍摄图像合成来生成该前方视点图像107。

在该前方视点图像107中，搭乘者能够视觉确认将内部后视镜的显示以及侧视镜的显示加在一起那样的显示车辆的后方以及侧方的图像，能够容易确认位于车辆101的后方或侧方的其它车辆。即，前方视点图像107是适于例如进行车道变更的情况的图像。

图6是表示从第四虚拟视点47观察到的周边图像亦即前方俯瞰视点图像109的图。通过将四个相机3a、3b、3c、3d的拍摄图像合成来生成该前方俯瞰视点图像109。

在该前方俯瞰视点图像109中，搭乘者能够以车辆的后方为中心较广地确认车辆的周边，还能够容易理解障碍物以及显示在路面等的白线等与车辆101的位置关系。即，前方俯瞰视点图像109是适于例如需要确认障碍物或驻车框的后退时的图像。

[1－3.处理]

接下来，使用图7的流程图，对ECU7的CPU21执行的图像显示处理进行说明。在本车辆的辅助开关(Accessory switch)接通的期间，反复执行本处理。

首先，在S1中，CPU21判定通过选择杆31所设定的变速挡是否为P挡或者N挡。如果在该S1中判定为变速挡是P挡或者N挡，则处理移至S2。另一方面，如果判定为不是P挡以及N挡，则处理移至S3。

在S2中，CPU21在车辆后方设定虚拟视点。换句话说，在车辆已停止的情况下，显示于显示装置5的周边图像是车辆后方为虚拟视点的上述的后方视点图像103。之后，结束本处理。

此外，在设定虚拟视点后，在进行变更而设定为其它虚拟视点之前，显示后方视点图像103。此处，显示于显示装置5的后方视点图像103基于由相机3拍摄到的新的拍摄图像而更新。即，在显示装置5上显示表示从车辆后方的虚拟视点观察到的当前的状况的动态图像。这在后述的S5、S6、S7中设定为其它虚拟视点的情况下也是相同的。

在S3中，CPU21判定变速挡是否为D挡。如果在该S3中判定为变速挡是D挡，则处理移至S4。而如果判定为不是D挡，换句话说，如果判定为是R挡，则处理移至S7。

在S4中，CPU21判定车速是否为预先决定的一定值以下。一定值以下的车速例如可以设为15km/h～0km/h。如果在该S4中判定为车速在一定值以下，则处理移至S5。另一方面，如果判定为车速不在一定值以下，即，如果判定为车速超过了一定值，则处理移至S6。此外，该一定值的车速相当于规定的速度。

在S5中，CPU21在车辆前端上方设定虚拟视点。换句话说，在车辆缓慢地前进的情况下，显示于显示装置5的周边图像是车辆前端上方为虚拟视点的上述的上方视点图像105。之后，结束本处理。

在S6中，CPU21在车辆前方设定虚拟视点。换句话说，在车辆以高速前进的情况下，显示于显示装置5的周边图像是车辆前方为虚拟视点的上述的前方视点图像107。之后，结束本处理。

在S7中，CPU21在车辆前方且上方设定虚拟视点。换句话说，在车辆后退的情况下，显示于显示装置5的周边图像是车辆前方且上方为虚拟视点的上述的前方俯瞰视点图像109。之后，结束本处理。

[1－4.效果]

根据以上详述的实施方式，获得以下的效果。

(1a)在本实施方式的图像显示系统1中，基于通过选择杆31的操作所设定的变速挡和车辆的行驶速度在显示装置5上显示表示适合车辆的行驶状态的范围的周边图像。因而，车辆的搭乘者能够视觉确认与该状况对应的适当的图像。

(1b)上述的周边图像是与每个相机3不同的视点的图像。因此，不仅显示从每个相机3的拍摄图像选择出的图像，还能够以搭乘者容易确认的方式显示。

(1c)上述的周边图像包括将由每个相机3拍摄到的图像合成而生成的图像。这样的周边图像与一个相机的拍摄图像相比，能够视觉确认较广的范围，所以能够利用一个周边图像将较多的信息给予搭乘者。

(1d)在本实施方式中，在变速挡为P挡或者N挡的情况和变速挡为D挡或者R挡的情况下，将不同视点的周边图像显示于显示装置5。因此，搭乘者能够从周边图像识别是否为发动机的驱动力向轮胎传递的状态。

另外，在本实施方式中，在变速挡为R挡的情况、和除此以外的情况下，将不同的视点的周边图像显示于显示装置5。因此，能够使搭乘者识别车辆是后退的状态。

[2.其它实施方式]

以上，对本公开进行了说明，但本公开并不限于上述的实施方式，能够进行各种变形。

(2a)在上述实施方式中，例示出基于车辆的搭乘者对选择杆31的操作来进行变速箱33的控制状态的判定的构成，但也可以是通过除此以外的结构进行判定的构成。例如，可以从控制变速箱的控制装置接收表示变速箱的状态的信号来进行判定，也可以在车辆具备的变速箱是手动变速箱的情况下，基于换挡杆的位置来判定控制状态。

另外，在进行由自动驾驶控制装置代替搭乘者来执行一部分或者全部的驾驶操作的自动驾驶控制的车辆中，可以构成为基于表示从自动驾驶控制装置输出的变速箱的控制状态的信号来判定变速箱的控制状态。

变速箱的控制状态可以根据当时的传动比来区分。

(2b)在上述实施方式中，例示出状态判定部25针对将发动机作为行驶驱动源的车辆，对控制其驱动力的输出方向的输出控制装置亦即变速箱的状态进行判定的构成。然而，行驶驱动源以及输出控制装置并不限于上述实施方式的构成。例如也可以为使用马达作为行驶驱动源的构成。

在行驶驱动源为马达的情况下，控制马达的旋转方向的马达控制装置相当于输出控制装置。状态判定部25可以基于从该马达控制装置输出的信号来判定马达控制装置的状态，也可以根据选择杆的操作位置进行判定。当然即使行驶驱动源为马达，在具备变速箱的情况下，也可以构成为判定变速箱的状态。

(2c)在上述实施方式中，例示出车辆搭载四个相机的构成，但并未特别限定其数量，可以设置五个以上的相机，也可以设置三个以下的相机。

(2d)在上述实施方式中，例示出根据变速箱的控制状态和行驶速度来显示视点不同的周边图像的构成，但并不限于视点，也可以是显示显示范围不同的图像的构成。例如可以考虑以如下方式构成：在变速挡为P挡时，显示向正下方俯视车辆的俯瞰图像，在变速挡为D挡且行驶速度为一定值以下的情况下，放大显示该俯瞰图像中的车辆前端周边。

(2e)在上述实施方式中，例示出作为周边图像而生成与每个相机3不同的视点的图像并显示于显示装置5的构成，但也可以为至少一个周边图像是与相机3中的某一个相同的视点的图像。该图像可以是由相机3拍摄到的图像本身，也可以是通过对拍摄到的图像进行图像处理而生成的图像。

(2f)在上述实施方式中，例示出仅在变速挡为D挡的情况下，周边图像根据速度而变化的构成，但也可以为在变速挡为R挡的情况下，周边图像也根据速度而变化的构成。例如可以考虑以如下方式构成：在选择杆为R挡的情况下，速度为3km/h以下时，显示后方视点图像103，而在速度超过3km/h时，显示前方俯瞰视点图像109。

另外，也可以构成为在存在D挡以外的挡作为用于前进的变速挡的情况下，显示与每个挡以及行驶速度对应的周边图像。

另外，也可以构成为显示与在变速箱中设定的传动比和行驶速度对应的周边图像。

另外，也可以构成为在变速挡为P挡的情况和N挡的情况下，显示不同的周边图像。

(2g)周边图像的种类并不限于上述实施方式所示的种类，也可以是五种以上。例如也可以是根据行驶速度阶段性地显示的周边图像的视点或显示范围变化的结构。

另外，可以构成为在切换根据选择杆的操作或速度的变化来显示的周边图像的情况下，通过显示一个以上的位于切换前的视点与切换后的视点之间的视点的图像，从而显示于显示装置5的图像的视点逐渐地变化。

(2h)可以是在显示装置5上同时显示多个周边图像的构成，也可以是同时显示一个以上的周边图像和其它图像的构成。

(2i)可以使多个构成要素分担上述各实施方式中的一个构成要素具有的功能，或使一个构成要素发挥多个构成要素具有的功能。另外，可以通过一个构成要素来实现多个构成要素具有的多个功能，或通过一个构成要素来实现由多个构成要素实现的一个功能。另外，可以省略上述实施方式的结构的一部分。另外，也可以对其它上述实施方式的结构附加或者替换上述实施方式的结构的至少一部分。此外，仅由权利要求书所记载的语句确定的技术构思所包含的所有方式均为本公开的实施方式。

(2j)除了上述的具备图像处理部19的ECU7之外，也能够以将该ECU7作为构成要素的图像显示系统1、用于使计算机作为该图像处理部19发挥作用的程序、记录该程序的半导体存储器等永久性实体记录介质、图像显示方法等各种方式实现本公开。