图像处理装置、移动装置、方法和程序与流程

本公开涉及图像处理装置、移动装置、方法和程序。更具体而言，本公开涉及基于由安装在诸如汽车之类的移动装置中的相机捕获的图像来控制显示图像输出到驾驶员座位处的显示单元(监视器)的图像处理装置、移动装置、方法和程序。

背景技术：

如今，可以安装相机监视系统(cms)，并且cms已开始实际引入到汽车中。在cms中，由安装在汽车上的相机捕获的图像被显示在驾驶员座位处的监视器上，并且可以检查汽车周围的状况，例如，汽车后方(向后方向)的状况。

例如，专利文献1(wo2018/012299)公开了本车辆中的相机监视系统(cms)。在cms中，由安装在车辆后部的后相机捕获的车辆的后面图像、由安装在车辆右侧和左侧的后视镜(rearviewmirror)位置处的侧相机捕获的右后图像和左后图像或其合成图像被显示在显示单元上。

引用列表

专利文献

专利文献1：wo2018/012299

技术实现要素：

本发明要解决的问题

相机监视系统(cms)使得能够通过使用相机捕获的图像来检查已经用后照镜(backviewmirror)(诸如，所谓传统的汽车的后视镜和侧视镜)检查过的周围状态。

例如，后方捕获图像、左后捕获图像和右后捕获图像的三个图像被单独显示在能够由驾驶员观察到的显示单元(监视器)上。后方捕获图像由对车辆后方成像的后相机捕获。左后捕获图像和右后捕获图像分别由安装在车辆的左侧视镜和右侧视镜位置附近的左侧相机和右侧相机捕获。可替代地，通过适当地合成这三个图像而生成的单个合成图像被显示在监视器上。

但是，在这样的图像显示系统中，在从由后相机和左右侧相机捕获的三个图像生成并显示一个连续的合成图像的情况下，在这三个图像中的任何图像中捕获的被摄体有时会消失，而不是被显示。这是因为由后相机、l侧相机和r侧相机的三个相机捕获的图像具有不同的视点，并且这是由例如在生成合成图像时从一个视点(例如，后相机的视点)转换为图像的处理引起的。

如果在生成合成图像时相对于后相机的视点生成合成图像，那么由左侧相机和右侧相机捕获的被摄体(诸如例如在大型车辆后面紧随其后的摩托车以及从远处高速接近的车辆)从合成图像中消失。这是因为，例如，摩托车位于大型车辆后面的区域中，即，从后相机的视点来看是遮挡区域。

本公开鉴于例如上述问题而做出，并且本公开的目的是提供一种图像处理装置、移动装置、方法和程序，其中通过根据驾驶员的行为(例如头部的移动)顺序地切换和显示由具有不同成像视点的多个相机捕获的图像，类似于检查传统的后视镜和侧视镜的情况，驾驶员几乎可以连续地(无缝地)检查从各种视点观察到的后侧图像。

问题的解决方案

本公开的第一方面在于一种包括数据处理单元的图像处理装置，该数据处理单元执行以下内容的图像显示控制：

输入

示出移动装置的驾驶员的行为的驾驶员信息；以及

由多个相机捕获的图像，该多个相机从不同的视点对移动装置周围的状况进行成像；以及

根据驾驶员信息，将输出到显示单元的图像切换为由该多个相机捕获的图像中的任何图像或虚拟视点合成图像。

此外，本公开的第二方面在于一种移动装置，其包括：

多个相机，该多个相机从不同的视点对移动装置周围的状况进行成像；

驾驶员信息检测单元，其检测示出移动装置的驾驶员的行为的驾驶员信息；以及

数据处理单元，其输入驾驶员信息和由该多个相机捕获的图像，并且根据驾驶员信息，将输出到显示单元的图像切换为由该多个相机捕获的图像中的任何图像或虚拟视点合成图像。

此外，本公开的第三方面在于一种在图像处理装置中执行的图像处理方法，

其中数据处理单元执行以下内容的图像显示控制：

输入

示出移动装置的驾驶员的行为的驾驶员信息；以及

由多个相机捕获的图像，该多个相机从不同的视点对移动装置周围的状况进行成像；以及

根据驾驶员信息，将输出到显示单元的图像切换为由该多个相机捕获的图像中的任何图像或虚拟视点合成图像。

此外，本公开的第四方面在于一种在移动装置中执行的显示图像控制方法，包括：

图像捕获步骤，其中多个相机从不同的视点对移动装置周围的状况进行成像；

驾驶员信息检测步骤，其中驾驶员信息检测单元检测示出移动装置的驾驶员的行为的驾驶员信息；以及

图像显示控制步骤，其中数据处理单元输入驾驶员信息和由该多个相机捕获的图像，并且根据驾驶员信息将输出到显示单元的图像切换为由该多个相机捕获的图像中的任何图像或虚拟视点合成图像。

此外，本公开的第五方面在于一种用于在图像处理装置中执行图像处理的程序，该程序使得数据处理单元执行以下内容的图像显示控制：

输入

示出移动装置的驾驶员的行为的驾驶员信息；以及

由多个相机捕获的图像，该多个相机从不同的视点对移动装置周围的状况进行成像；以及

根据驾驶员信息，将输出到显示单元的图像切换为由该多个相机捕获的图像中的任何图像或虚拟视点合成图像。

注意的是，本公开的程序可以由能够以计算机可读格式提供各种程序代码的存储介质或通信介质提供给能够执行各种程序代码的信息处理装置和计算机系统。通过以计算机可读格式提供这样的程序，在信息处理装置和计算机系统上执行根据程序的处理。

基于本公开稍后描述的实施例和附图的更详细的描述，本公开的其它目的、特征和优点将变得显而易见。注意的是，说明书中的系统具有多个装置的逻辑集合的配置。该系统不限于其中具有各种配置的装置被放置在同一壳体中的系统。

发明的效果

根据本公开的一个实施例的配置，实现了其中根据驾驶员的行为(诸如驾驶员头部的移动)切换和显示输出到显示单元的图像的配置。

具体而言，例如，输入示出移动装置的驾驶员的行为的驾驶员信息以及由从不同视点对移动装置周围的状况进行成像的多个相机捕获的图像。根据驾驶员信息切换输出到显示单元的图像。多个相机是例如安装在移动装置后部的多个后相机。例如，检测驾驶员的面部或视线方向。选择与检测到的驾驶员的面部或视线方向对应的方向上的图像作为输出图像，并将其显示在显示单元上。可替代地，选择驾驶员的手势所指示的方向上的图像，并将其显示在显示单元上。

该配置实现了其中根据驾驶员的行为(诸如驾驶员的头部的移动)切换和显示输出到显示单元的图像的配置。

注意的是，说明书中描述的效果仅是示例的而不是限制，并且可能展现出附加的效果。

附图说明

图1概述了安装在汽车中的相机监视系统(cms)。

图2图示了cms的使用示例。

图3图示了cms的使用示例。

图4图示了cms的使用示例。

图5图示了本公开的移动装置和图像处理装置的配置以及其中的处理。

图6图示了本公开的移动装置和图像处理装置的配置以及其中的处理。

图7图示了本公开的移动装置和图像处理装置的配置以及其中的处理。

图8图示了在显示单元上的图像显示的示例。

图9图示了在显示单元上的图像显示的示例。

图10图示了在显示单元上的图像显示的示例。

图11图示了在显示单元上的图像显示的示例。

图12图示了移动装置和图像处理装置的配置以及其中的处理。

图13图示了在显示单元上的图像显示的示例。

图14图示了在显示单元上的图像显示的示例。

图15图示了移动装置中的相机布置的示例。

图16图示了移动装置中的相机布置的示例。

图17图示了移动装置中的相机布置和显示图像的示例。

图18图示了移动装置中的相机布置和显示图像的示例。

图19图示了移动装置中的相机布置和显示图像的示例。

图20图示了移动装置中的相机布置和显示图像的示例。

图21图示了移动装置中的相机布置和显示图像的示例。

图22图示了移动装置中的相机布置的示例。

图23是图示由图像处理装置执行的处理序列的流程图。

图24是图示由图像处理装置执行的处理序列的流程图。

图25图示了图像处理装置的硬件配置的示例。

具体实施方式

下面将参考附图描述本公开的图像处理装置、移动装置、方法和程序的细节。注意的是，将根据以下项目给出描述。

1.车载相机监视系统(cms)概述

2.本公开的图像处理装置和移动装置的配置示例

3.其它实施例

4.图像处理装置和由移动装置执行的处理序列

5.图像处理装置的配置示例

6.本公开的配置总结

[1.车载相机监视系统(cms)概述]

首先，将参考图1和后续图概述安装在汽车中的相机监视系统(cms)。

图1概述了安装在汽车10中的cms。cms在驾驶员可以观察的显示单元上显示由安装在汽车上的相机捕获的图像。

图1中的汽车10包括后相机11、左侧相机12和右侧相机13。后相机11安装在汽车10的后部。左侧相机12安装在汽车10的左侧。右侧相机13安装在汽车10的右侧。从每个相机的安装位置观察，这些相机中的每个相机都捕获汽车10后面的图像。

由这些相机捕获的图像或基于这些捕获图像生成的合成图像显示在汽车10内部的显示单元20上。汽车10的驾驶员可以通过观看显示单元20上的显示图像来检查汽车10后面的状态。

将参考图2和后续图描述显示在显示单元20上的特定图像示例。图2图示了汽车10后面的状态。在图2中，汽车10正在沿着图中箭头的方向(向前)行驶。

在这种状态下，后相机11、左侧相机12和右侧相机13的三个相机以每个相机位置作为视点位置来捕获图像。

图3图示了在显示单元20上显示的、汽车10的驾驶员可以检查的图像的示例。图3图示了其中由后相机11、左侧相机12和右侧相机13的三个相机捕获的图像被单独显示在显示单元20上的示例。在显示单元20上，由后相机11捕获的后相机图像21被显示在显示单元20的中央，由左侧相机12捕获的左侧相机图像22被显示在显示单元20的左侧，由右侧相机13捕获的右侧相机图像23被显示在显示单元20的右侧。

驾驶员可以通过观看这三个图像来以类似于观看后视镜和左右侧视镜的情况检查周围状况。

但是，在以这种方式并排显示三个图像的情况下，驾驶员主要只注意与后照镜对应的中央图像。如果驾驶员不注意左右图像，那么驾驶员趋于忽视主要反映在左右图像中的信息。

在图3的示例中，反映在左侧相机图像22中的自行车被隐藏在中央后相机图像21中的大型车辆后面，并且几乎是不可见的。在这种情况下，如果驾驶员仅注意显示在显示单元20的中央的后相机图像21，那么驾驶员有没意识到自行车的危险。

虽然图3图示了其中由相机捕获的图像被单独显示在显示单元20上的示例，但是已经提出和使用了通过将这三个图像组合成一个图像并显示在显示单元20上来生成合成图像的配置。图4图示了合成图像的显示示例。

图4图示了显示在显示单元20上的合成图像25的一个示例。以后相机11的视点为基准生成合成图像25。后相机11、左侧相机12和右侧相机13从不同的视点捕获图像，以至于例如转换每个图像的视点位置的处理、转换对象(被摄体)的大小的处理、以及调整位置的处理对于生成一个合成图像是必要的。具体而言，执行诸如例如仿射变换之类的图像转换处理。

通过这样的图像转换处理合并多个图像来生成一个合成图像。图4图示了通过将由左侧相机12和右侧相机13捕获的图像转换成从后相机11的视点的捕获图像而生成的合成图像的示例。但是，在生成这种合成图像的情况下，由左侧相机或右侧相机捕获的被摄体可能会消失。

虽然在上述图3中的左侧相机图像22中可以清楚地确认作为被摄体的自行车，但是该自行车被隐藏在车辆后面，并且在图4中的合成图像25中几乎不可见。这是因为自行车在该车辆前面的大型车辆后面的区域中，即从后相机的视点来看是遮挡区域。

即使观看合成图像25，驾驶员也不能确认从后面接近的自行车。如果驾驶员以例如突然向左转的方式驾驶，那么可能发生诸如与从后面接近的自行车接触的事故。

[2.本公开的图像处理装置和移动装置的配置示例]

接下来，将参考图4和后续图描述本公开的图像处理装置和移动装置的配置示例。例如，本公开解决了参考图4描述的问题。具体而言，例如，根据驾驶员的行为(诸如例如头部、面部和视线的移动)顺序地切换并显示由具有不同成像视点的多个相机捕获的图像。

图5图示了本公开的汽车10(移动装置)的一个配置示例。图5中的汽车10包括在汽车10的左侧的左侧相机12和在汽车10的右侧的右侧相机13，其方式与以上参考图1所述的方式类似。在汽车10的后部安装有三个后相机，即后部中央(c)相机31、后部左(l)相机32和后部右(r)相机33。后部c相机31安装在汽车10的后部的中央。后部l相机32安装在汽车10的后部的左侧。后部r相机33安装在汽车10的后部的右侧。

注意的是，虽然在该示例中在汽车10的后部安装有三个相机，但是可以使用除三个以外的多个各种相机。稍后将描述使用三个或更多个相机的示例。

图6图示了安装在汽车10后部的三个相机的成像区域的示例。图6图示了后部中央(c)相机31、后部左(l)相机32和后部右(r)相机33的三个相机的成像区域。后部c相机31安装在汽车10的后部的中央。后部l相机32安装在汽车10的后部的左侧。后部r相机33安装在汽车10的后部的右侧。

如图6所示，三个相机的设置是从不同的视点对汽车的后方进行成像，并且成像区域的部分相互重叠。在本公开的配置中，根据驾驶员的行为(例如头部的移动)，顺序地切换并显示由具有这样的不同成像视点的多个相机捕获的图像。检测头部的移动，以检测与驾驶员在观看传统的后视镜和侧视镜时的动作和运动相当的移动并使用该标志作为用于切换显示的触发器。

图7图示了与上述图2类似的成像环境。汽车10正在沿着图中箭头的方向(向前)行驶。

大型车辆正在汽车10后面行驶，并且自行车正在大型车辆的左后方行驶。

图8图示了在显示单元20上显示的、汽车10的驾驶员可以检查的图像的示例。由左侧相机12捕获的左侧相机图像22被显示在显示单元20的左侧。由右侧相机13捕获的右侧相机图像23被显示在显示单元20的右侧。

显示单元20的中央部分中的图像显示区域被设置为后相机图像切换显示区域41。根据驾驶员的行为(例如头部的移动)，在后相机图像切换显示区域41上顺序地切换并显示由安装在汽车10后部的三个相机(即后部中央(c)相机31、后部左(l)相机32和后部右(r)相机33)捕获的图像。后部c相机31安装在汽车10的后部的中央。后部l相机32安装在汽车10的后部的左侧。后部r相机33安装在汽车10的后部的右侧。

将参考图9描述在后相机图像切换显示区域41上的图像显示的示例，即，图像切换显示示例。

图9图示了驾驶员50的头部的移动(面部或视线的方向)与后相机图像切换显示区域41上的图像显示的示例之间的对应数据。下面给出图像显示的三个示例。

(r)后部r相机捕获图像的显示示例

(c)后部c相机捕获图像的显示示例

(l)后部l相机捕获图像的显示示例

图9图示了在驾驶员50的面部或视线在右方向上的情况下后部r相机捕获图像的(r)显示示例。以这种方式，在汽车10的驾驶员50向右看的情况下，在显示单元20的后相机图像切换显示区域41上显示由安装在汽车10的后部的右侧的后部右(r)相机33捕获的图像。

此外，图9图示了在驾驶员50的面部或视线大致在正面方向的情况下后部c相机捕获图像的(c)显示示例。以这种方式，在汽车10的驾驶员50向前看的情况下，在显示单元20的后相机图像切换显示区域41上显示由安装在汽车10的后部中央的后部中央(c)相机31捕获的图像。

此外，图9图示了在驾驶员50的面部或视线在左方向上的情况下后部l相机捕获图像的(l)显示示例。以这种方式，在汽车10的驾驶员50向左看的情况下，在显示单元20的后相机图像切换显示区域41上显示由安装在汽车10的后部的左侧的后部左(l)相机32捕获的图像。

注意的是，在驾驶员50展现出例如首先向右看、然后向前看、最后向左看的行为的情况下，在显示单元20的后相机图像切换显示区域41上的显示图像如下顺序地切换。首先，显示由后部右(r)相机33捕获的图像，切换到由后部中央(c)相机31捕获的图像，然后切换为显示由后部左(l)相机32捕获的图像。

在汽车10中安装有检测驾驶员50的行为的驾驶员信息检测单元。汽车10的图像处理装置基于来自驾驶员信息检测单元的检测信息执行切换显示单元20上的显示图像的控制。

在图9的三个图像中的左侧描述的后部l相机捕获图像的(l)显示示例中，可以清楚地确认自行车的图像。这是因为后部左(l)相机33从汽车10的后部的左侧捕获图像，并且可以捕获未被隐藏在自行车前面的大型车辆后面的自行车的图像。

驾驶员50通过观看图像可以清楚地确认自行车在大型车辆后面。

注意的是，虽然图9中的每个图像可以与如上面参考图8描述的显示单元20的显示示例中的那两个图像一起显示在左侧相机图像22和右侧相机图像23之间的中央区域上，但是根据驾驶员50的面部或视线方向，可以在显示单元20上独立地显示仅图9中的图像，而不显示左侧相机图像22和右侧相机图像23。

注意的是，图9图示了根据驾驶员50的面部或视线方向来切换显示单元20上的显示图像(该显示图像即后相机图像切换显示区域41上的图像，该后相机图像切换显示区域41是图8中的显示单元20的中央区域)的设置，可以根据例如驾驶员50的面部或视线方向改变后视图像切换显示区域41的位置。即，后相机图像切换显示区域41的位置被改变为与驾驶员50的面部或视线方向匹配的位置。

将参考图10描述图像位置改变显示示例。与图9类似，图10图示了驾驶员50的头部的移动(面部或视线的方向)与后相机图像切换显示区域41上的图像显示示例之间的对应数据。下面给出图像显示的三个示例。

(r)后部r相机捕获图像的显示示例

(c)后部c相机捕获图像的显示示例

(l)后部l相机捕获图像的显示示例

图10中的显示单元20设置在汽车的前面板的上部，并且具有在左右方向上较长的显示区域。

图10图示了在驾驶员50的面部或视线在左方向上的情况下后部l相机捕获图像的(l)显示示例。在驾驶员50向左看的情况下，在显示单元的左端部分上显示由安装在汽车10的后部的左侧的后部左(l)相机32捕获的图像。

此外，图10图示了在驾驶员50的面部或视线大致在正面方向的情况下后部c相机捕获图像的(c)显示示例。在驾驶员50向前看的情况下，在显示单元的中央部分中显示由安装在汽车10的后部中央的后部中央(c)相机31捕获的图像。

此外，图10图示了在驾驶员50的面部或视线在右方向上的情况下后部r相机捕获图像的(r)显示示例。在驾驶员50向右看的情况下，在显示单元的右端部分上显示由安装在汽车10的后部的右侧的后部右(r)相机33捕获的图像。

图10图示了其中后相机图像切换显示区域41的位置被改变为与驾驶员50的面部或视线方向匹配的位置的示例。这样的显示位置控制允许驾驶员50将驾驶员50想要看到的图像显示在他/她自己的视线方向上。因此，驾驶员50可以肯定地确认在驾驶员50正在关注的方向上的图像，同时将视线保持在该方向上。

注意的是，对图像显示位置的控制还基于来自安装在汽车10中的驾驶员信息检测单元的检测信息来执行，该驾驶员信息检测单元检测驾驶员50的行为。

而且，与驾驶员50的面部或视线方向分开，可以根据例如利用驾驶员50的头部移动序列、手或手指的指示来改变显示图像。

将参考图11描述根据利用驾驶员50的手或手指的指示改变显示图像的配置的示例。

图11图示了在驾驶员50的手指指示左方向的情况下后部l相机捕获图像的(l)显示示例。在驾驶员50的手指指示左的情况下，在显示单元20上显示由安装在汽车10的后部的左侧的后部左(l)相机32捕获的图像。

此外，图11图示了在驾驶员的手指指示大致正面方向的情况下后部c相机捕获图像的(c)显示示例。在驾驶员50的手指指示前的情况下，在显示单元20上显示由安装在汽车10的后部中央的后部中央(c)相机31捕获的图像。

此外，图11图示了在驾驶员50的手指指示右的情况下后部r相机捕获图像的(r)显示示例。在驾驶员50的手指指示右的情况下，在显示单元20上显示由安装在汽车10的后部的右侧的后部右(r)相机33捕获的图像。

图11图示了其中根据利用驾驶员50的手或手指的指示(手势)来改变在后相机图像切换显示区域41上显示的图像的示例。注意的是，头部的运动序列可以被检测为手势。这样的控制使得驾驶员50能够改变图像而不会显著改变视线方向。

图12图示了用于设在作为移动装置的汽车10中的图像切换显示控制的配置示例。如图12所示，汽车10包括驾驶员信息检测单元52，该驾驶员信息检测单元52检测驾驶员50的面部或视线方向或者利用手或手指的指示(手势)。具体而言，驾驶员信息检测单元52包括例如相机或移动传感器。来自驾驶员信息检测单元52的检测信息被输入到数据处理单元60。

数据处理单元60执行切换显示在显示单元20上的图像的处理，并且基于来自驾驶员信息检测单元52的检测信息来改变显示位置。

注意的是，用户(驾驶员50)可以执行切换在显示单元20上显示的图像的操作。例如，如图13所示，例如，可以将用户操作单元显示在设置在显示单元20附近的操作单元或触摸面板类型的显示单元上。用户可以操作操作单元来切换显示图像。

图13中的后部l相机捕获图像的(l)显示示例是在用户将操作单元向左移动的情况下在显示单元20上的显示图像的示例。在这种情况下，在显示单元20上显示由安装在汽车10的后部的左侧的后部左(l)相机32捕获的图像。

后部c相机捕获图像的(c)显示示例是在用户将操作单元移动到中央的情况下在显示单元20上的显示图像的示例。在这种情况下，在显示单元20上显示由安装在汽车10的后部中央的后部中央(c)相机31捕获的图像。

后部r相机捕获图像的(r)显示示例是在用户将操作单元向右移动的情况下在显示单元20上的显示图像的示例。在这种情况下，在显示单元20上显示由安装在汽车10的后部的右侧的后部右(r)相机33捕获的图像。

注意的是，可以采用与以上参考图9描述的设置类似的设置。在该设置中，与以上参考图8描述的显示单元20的显示示例一样，图9至图13中的每个图像与左侧相机图像22和右侧相机图像23一起被显示。此外，根据驾驶员50的面部或视线的方向以及指示，可以在显示单元20上独立地显示仅图9至图13中的图像，而不显示左侧相机图像22和右侧相机图像23。

参考图9至图13描述的图像切换显示示例是其中基于驾驶员的头部/面部的位置、视线方向或指示对由安装在汽车10后部的三个相机(即，后部左(l)相机32、后部中央(c)相机31和后部右(r)相机33)捕获的图像进行切换并显示的配置示例。

此外，可以将由左侧相机12捕获的图像和由右侧相机13捕获的图像添加到由这三个相机捕获的图像作为切换图像的目标。

将参考图14描述具体示例。

图14图示了基于例如驾驶员50的面部或视线方向、指示或对操作单元的输入的显示单元20的显示图像切换序列的示例。

例如，随着驾驶员50的面部或视线方向从右到左改变，显示单元20上的显示图像以以下次序被顺序地切换。

(1)由右侧相机13捕获的右侧相机图像

(2)由后部r相机33捕获的后部r相机捕获图像

(3)由后部c相机31捕获的后部c相机捕获图像

(4)由后部l相机32捕获的后部l相机捕获图像

(5)由左侧相机12捕获的左侧相机捕获图像

此外，随着驾驶员50的面部或视线方向从左到右改变，显示单元20上的显示图像以上面的(5)到(1)的次序被顺序地切换。

[3.其它实施例]

参考图5至图14描述的实施例是其中基于驾驶员的面部或视线方向、利用例如头部的姿势指示或对操作单元的输入对由安装在汽车10后部的三个相机(即，后部左(l)相机32、后部中央(c)相机31和后部右(r)相机33)捕获的图像进行切换并显示的配置示例。

除了三个相机之外的任何多个数量的相机都可以安装在汽车10的后部。

图15图示了其中在汽车10的后部安装五个相机的示例。图15图示了类似于参考图5至图14描述的实施例的示例。在这个示例中，安装了后部左(l)相机32、后部中央(c)相机31和后部右(r)相机33。此外，设有后部中央左(cl)相机34和后部中央右(cr)相机35。后部cl相机34从后部l相机32和后部c相机31之间的中间视点捕获图像。后部cr相机35从后部c相机31和后部r相机33之间的中间视点捕获图像。

图16图示了这五个相机的成像区域的示例。图16图示了后部左(l)相机32、后部中左(cl)相机34、后部中央(c)相机31、后部中右(cr)相机35和后部右(r)相机33这五个相机的成像区域。这五个相机从汽车10后部的左侧到右侧安装。

如图16所示，五个相机从不同的视点对汽车的后部进行成像。成像区域的部分彼此重叠。通过根据驾驶员的行为(例如头部的移动)顺序地切换并显示由具有这些不同成像视点的五个相机捕获的图像，可以进行更平滑的图像切换显示。

图17图示了在汽车10的后部部署更多相机(c1至cn＝15)并且对图像进行切换的情况下切换图像的示例。

通过以这种方式顺序地切换由多个相机捕获的手动图像，驾驶员可以观察到像运动图像一样平滑变化的图像。

图18图示了其中将安装在汽车10的后部的相机的数量设置为小于图17中的示例中的数量的示例。虽然可以以这种方式用少量相机切换图像，但是相机之间的视差会导致间歇的图像。在这种情况下，执行校准每个相机捕获图像的处理，以在图像的固定位置处设置和显示每个图像的无限远点101。该处理使得能够抑制在切换图像时产生的被摄体模糊，并且使得图像查看者(驾驶员)能够观察到平滑变化的图像而没有不自然的变化。

此外，可以执行根据驾驶员的头部的移动在图像中的相邻点处在横向方向上对图像进行扫描(sweeping)和移位的图像校正。该处理使得驾驶员能够在视觉上和直观上识别相机图像之间的切换。

此外，在汽车10的后部安装少量相机并且相机之间的视差引起间歇图像的情况下，可以基于由两个相邻相机捕获的图像合成并显示两个相邻相机之间的中间视点的虚拟视点图像。

即，执行将输出到显示单元的图像切换成由多个相机捕获的图像中的任何图像或虚拟视点合成图像的图像显示控制。

图19图示了生成虚拟视点图像的示例。这里，图19中的(1)相机c3捕获图像和(4)相机c4捕获图像是由相邻相机c3和c4实际捕获的图像。

基于这两个实际捕获的图像，生成(2)和(3)的虚拟视点合成图像。

这里，(2)虚拟视点合成图像是按照65％的(1)相机c3捕获图像和35％的(4)相机c4捕获图像的比例生成的合成图像。

这里，(3)虚拟视点合成图像是按照35％的(1)相机c3捕获图像和65％的(4)相机c4捕获图像的比例生成的合成图像。

通过顺序地切换并显示图19中的四个图像(1)至(4)，可以为驾驶员呈现平滑变化的图像。

但是，对于驾驶员而言重要的是，不要在相机之间的中途视点处视觉检查图像的细节，而要判断后方状况。驾驶员有时不能仅仅通过即时查看在后部c相机位置处由在汽车后部中央的后部c相机31捕获的获取图像和从部署在侧面的相机拍摄的图像来判断切换的状况。为驾驶员切换并呈现多个中途图像使得驾驶员能够感官上且自然地识别图像切换。因此，可以避免在需要即时状况判断时思考上的混乱。

可以使用基于例如面部的朝向和视线的方向的切换、根据诸如手或脖子摇动之类的所谓手势的切换等来切换图像。用手势切换可以带来不需要维持不适当的姿势的优点。但是，注意的是，在不依据面部的朝向或视线的方向而切换图像的情况下，驾驶员的观察姿势是相同的。因此，优选地显示指示图像的切换和过渡的信息，例如，诸如切换标记之类的辅助信息。

在本公开的处理中，通过提供从多个不同的视点获得的车辆后部的相机图像，提供了一种用于适当地检查后方而没有遮挡的装置。使具有不同视点的相机图像具有连续性。通过使用人的视觉特性模拟生成在切换中途的图像，并将其呈现在监视器上。以这种方式，驾驶员可以从图像感官地掌握视点移动。可以在抑制掌握状况的减少或损失的同时提供信息。即，在人体工程学上，可以由查看在具有不同视点的变化的相机之间卷曲(wrap)的图像的驾驶员来很好地掌握视点。

图20图示了其中在显示单元20上显示的图像上叠加并显示相机位置图标102的示例。相机位置图标102指示相机成像视点。以这种方式，与图像一起显示指示已经捕获该图像的相机的位置的相机位置图标102使得驾驶员能够立即检查图像捕获位置并更快地识别出被摄体在图像中的位置。

图21图示了其中在显示单元20上并排显示后部左端相机图像和左侧相机图像的示例。后部左端相机图像是由安装在汽车10后部的左端的后部左端相机捕获的图像。左侧相机图像是由左侧相机12捕获的图像。这样的显示使得能够肯定地掌握汽车10左侧的状况。

注意的是，类似地，并排显示由安装在汽车10后部的右端的后部右端相机捕获的图像和由右侧相机13捕获的图像使得能够肯定地掌握汽车10右侧的状况。

虽然图21图示了其中在车辆保险杠附近显示表示相机的象形图的示例，但是可以将简单的颜色标记、整个屏幕或左右框架显示为加粗和使其闪烁。可以简单地显示流动斑马线警告。可以进行另一种警告呼叫显示，只要驾驶员在观看屏幕时能直观地理解相机的布置即可。此外，可以组合多个显示。此外，可以根据驾驶员的偏好采用可以切换到不损害直观理解的显示方法的配置。

注意的是，例如，如图22所示，主要采用以下两种安装方面作为安装部署在汽车10后部的多个相机的方面。

(a)径向布置

(b)线性布置

这里，(a)径向布置是将相机部署在具有预定曲率的曲线上的示例，并且其特征在于能够捕获更宽范围的图像。相比之下，(b)线性布置的优点在于，虽然成像范围变窄，但是每个图像中的对象的变形量小，并且减少了显示图像的校正处理量。注意的是，虽然与(a)的径向类型相反，在会聚布置中沿着会聚到后方相邻点的方向布置是可能的，但是安装方面具有不能获得向着左侧相机12和右侧相机13的方向上的连续性的缺点。实际安装的相机的图像用作中央投影图像的投影图像，并且不必在每个方向上部署光轴。图像可以从鱼眼投影图像进行转换，并且可以使用图像转换使得虚拟中央投影图像的光轴对应于根据每个安装方面的光轴。

[4.图像处理装置和由移动装置执行的处理序列]

接下来，将参考图23的流程图描述本公开的图像处理装置和由移动装置执行的处理序列。

图23及后续图中的流程的处理在移动装置或安装在移动装置中的图像处理装置中执行。例如，在包括诸如cpu之类的处理器的数据处理单元的控制下执行处理。处理器具有根据存储在装置中的存储单元中的程序执行程序的功能。

下面将描述图23中流程的每个步骤的处理。

(步骤s101)

首先，在步骤s101中，数据处理单元检测驾驶员的面部、视线方向或手势，或者关于驾驶员的操作的信息。

这是例如图12中的数据处理单元60的处理，其将来自驾驶员信息检测单元52的检测信息和关于驾驶员的操作的信息输入到操作单元。

(步骤s102)

接下来，在步骤s102中，数据处理单元确定是否检测到驾驶员的面部、视线方向的改变或手势或者关于驾驶员的操作的信息的输入。

如果检测到输入，那么处理进行到步骤s103。如果未检测到输入，那么继续步骤s101的检测处理。

(步骤s103)

接下来，在步骤s103中，数据处理单元在根据步骤s102中已输入的驾驶员的面部、视线方向或手势或者操作信息的方向上选择相机捕获图像。

注意的是，例如，如果不存在与驾驶员的视线方向完全匹配的图像，那么选择最接近方向上的图像。

例如，如果驾驶员的面部、视线或手势或者对操作单元的输入在左方向，那么选择由在汽车10的后部的左侧的相机(后部l相机)捕获的图像。

此外，例如，如果驾驶员的面部、视线或手势或者对操作单元的输入在中央方向，那么选择由在汽车10的后部的中央的相机(后部c相机)捕获的图像。可替代地，例如，如果驾驶员的面部、视线或手势或者对操作单元的输入在右方向，那么选择由汽车10的后部的右侧的相机(后部r相机)捕获的图像。

(步骤s104)

接下来，在步骤s104中，数据处理单元在显示单元上显示已经在步骤s103中选择的图像。

注意的是，可以对显示在显示单元上的图像采用各种设置。该各种设置包括例如，其中仅显示所选择的后相机捕获图像的设置，以及其中将由左右侧相机捕获的两个侧相机图像一起显示的设置。

在图23的流程中，在选择例如根据步骤s102中已输入的驾驶员的面部、视线方向或手势或者操作信息的方向上的相机捕获图像时没有与驾驶员的视线方向完全匹配的图像情况下，执行选择在最近方向上的图像的处理。

接下来，将参考图24的流程图描述在这样的情况下(即，在没有与驾驶员的视线方向完全匹配的图像的情况下)对驾驶员的视线方向上的图像进行合成的处理序列。

下面将描述图24中的流程的每个步骤的处理。

(步骤s201)

首先，在步骤s201中，数据处理单元检测驾驶员的面部、视线方向或手势，或者关于驾驶员的操作的信息。

这是例如图12中的数据处理单元60的处理，其将来自驾驶员信息检测单元52的检测信息和关于驾驶员的操作的信息输入到操作单元。

(步骤s202)

接下来，在步骤s202中，数据处理单元确定是否检测到驾驶员的面部、视线方向的改变、手势或者关于驾驶员的操作的信息的输入。

如果检测到输入，那么处理进行到步骤s203。如果未检测到输入，那么继续步骤s201的检测处理。

(步骤s203)

接下来，在步骤s203中，数据处理单元确定在根据步骤s202中已输入的驾驶员的面部、视线方向的改变或手势或者关于驾驶员的操作的信息的方向上相机捕获图像存在与否。

如果在匹配方向上有捕获图像，那么处理进行到步骤s204。

相比之下，如果在匹配方向上没有捕获图像，那么处理进行到步骤s206。

(步骤s204)

在步骤s203中确定在根据步骤s202中已输入的驾驶员的面部、视线方向的改变或手势或者关于驾驶员的操作的信息的方向上有相机捕获图像的情况下，执行步骤s204和s205的处理。该显示主要适用于在切换时相机被相邻部署的情况并且描述图像没有飞跃。如果切换图像的成像方向彼此远离，那么执行根据稍后描述的步骤s206的切换。

在步骤s204中，选择在根据步骤s202中已输入的驾驶员的面部、视线方向或手势或者操作信息的方向上的相机捕获图像。

例如，如果驾驶员的面部、视线或手势或者对操作单元的输入在左方向，那么选择由在汽车10的后部的左侧的相机(后部l相机)捕获的图像。

此外，例如，如果驾驶员的面部、视线或手势或者对操作单元的输入位于中央方向，那么选择由在汽车10的后部的中央的相机(后部c相机)捕获的图像。可替代地，例如，如果驾驶员的面部、视线或手势或者对操作单元的输入在右方向，那么选择由在汽车10的后部的右侧的相机(后部r相机)捕获的图像。

(步骤s205)

接下来，在步骤s205中，数据处理单元在显示单元上显示已在步骤s204中选择的图像。

注意的是，可以对显示在显示单元上的图像采用各种设置。各种设置包括例如，其中仅显示所选择的后相机捕获图像的设置，以及其中将由左右侧相机捕获的两个侧相机图像一起显示的设置。

(步骤s206)

相比之下，在步骤s203中确定根据步骤s202中已输入的驾驶员的面部、视线方向的改变或手势或者关于驾驶员的操作的信息的方向上没有相机捕获图像的情况下，执行步骤s206和s207的处理。

首先，在步骤s206中，执行生成在根据步骤s202中已输入的驾驶员的面部、视线方向的改变或手势或者关于驾驶员的操作的信息的方向上的相机捕获图像作为合成图像的处理。

合成图像生成处理对应于例如以上参考图19描述的图像合成处理。

图像合成处理例如可以通过对相邻相机实际捕获的图像简单地加权来执行。此外，可以通过针对每个区域检测移动对象并基于检测信息执行校正来生成中间虚拟图像。注意的是，通过将实际捕获图像之间的中间视点的合成图像呈现给驾驶员来防止驾驶员的信息丢失。具体而言，例如，如果将捕获图像从后部中央(c)相机31切换到侧相机，那么图像在瞬间变化很大。合成图像有效地防止了在这种情况下可能发生的驾驶员的信息丢失。

注意的是，例如，步骤s206中驾驶员的面部、视线方向或手势或者图像选择指示的输入产生各种移动，诸如中等移动和急剧移动。步骤206和207被执行为根据检测到的移动生成一个或两个或更多个多个中间图像(即合成图像)的步骤。

(步骤s207)

接下来，在步骤s207中，数据处理单元在显示单元上显示已经在步骤s206中生成的合成图像。另外，当将步骤s207中的合成图像输出到显示单元时，驾驶员可以通过在图21中的显示单元20的屏幕上叠加并显示描述相机位置来掌握显示图像的相机位置。注意的是，可以对显示在显示单元上的图像采用各种设置。各种设置包括例如，其中仅显示所选择的后相机捕获图像的设置，以及其中将由左右侧相机捕获的两个侧相机图像一起显示的设置。

此外，在对序列的描述中，基于驾驶员的意愿、手势或操作，通过例如面部、视线和头部的移动来切换图像。相比之下，如以上参考图7、图8和图9所描述的，可以检测到后方的车辆后面的对象，即遮挡区域中的对象，并且当驾驶员看后部中央(c)相机31时，可以显示提示驾驶员视觉检查细节的警示，作为让驾驶员检查侧相机图像的触发器。该警示包括在产生遮挡的后部对象边界处的斑马图案和闪烁的重叠警示显示。

即，例如，如果大型车辆从后面接近并且仅使用由中央相机捕获的图像，那么在大型车辆后面的接近的车辆等由于遮挡而容易被忽视。在这种情况下，显示指示对象在遮挡区域中的警示。该警示提示驾驶员对由具有不同视点的相机捕获的图像进行检查。该处理使得驾驶员即使在有遮挡的情况下也能够改变相机视点并肯定地检查后方情况，从而提高了安全性。

注意的是，可以在提供单个飞跃的不同相机捕获图像的配置中切换图像。优选地，在不同的相机捕获图像之间输出在相机之间具有虚拟视点的图像，并且执行具有图像过渡和连续性的显示。该处理防止了驾驶员在掌握状况中的损失，并且实现了对后侧的安全检查。

[5.图像处理装置的配置示例]

接下来，将描述执行上述处理的图像处理装置的硬件配置示例。

图25图示了图像处理装置的硬件配置示例。

中央处理单元(cpu)501用作数据处理单元，其根据存储在只读存储器(rom)502或存储单元508中的程序执行各种处理。例如，根据上述实施例中描述的序列执行处理。

例如，要由cpu501执行的程序和数据被存储在随机存取存储器(ram)503中。这些cpu501、rom502和ram503通过总线504相互连接。

cpu501经由总线504连接到输入/输出接口505。输入单元506和输出单元507连接到输入/输出接口505。输入单元506包括例如状况数据获取单元，诸如各种开关、键盘、触摸面板、鼠标、麦克风、传感器、相机和gps。输出单元507包括例如显示器和扬声器。

cpu501输入例如从输入单元506输入的命令和状况数据、执行各种处理、并且将处理结果输出到例如输出单元507。

连接到输入/输出接口505的存储单元508包括例如硬盘，并且存储要由cpu501执行的程序和各种数据。通信单元509用作用于经由诸如互联网或局域网之类的网络进行数据通信的发送/接收单元，并且与外部装置通信。

连接到输入/输出接口505的驱动器510驱动可移动介质511，该可移动介质511包括磁盘、光盘、磁光盘和诸如存储器卡之类的半导体存储器。驱动器510记录或读取数据。

[6.本公开的配置总结]

上面已经参考具体实施例详细描述了本公开的实施例。但是，显而易见的是，本领域技术人员可以在不脱离本公开的要旨的情况下修改或替代这些实施例。即，已经以例示的形式公开了本发明，并且不应限制性地解释本发明。为了确定本公开的要旨，应当考虑权利要求。

注意的是，说明书中公开的技术可以具有如下配置。

(1)一种包括数据处理单元的图像处理装置，该数据处理单元执行以下内容的图像显示控制：

输入

示出移动装置的驾驶员的行为的驾驶员信息；以及

由多个相机捕获的图像，该多个相机从不同的视点对移动装置周围的状况进行成像；以及

根据驾驶员信息，将输出到显示单元的图像切换为由该多个相机捕获的图像中的任何图像或虚拟视点合成图像。

(2)根据(1)的图像处理装置，

其中，多个相机包括安装在移动装置后部的多个后相机，以及

数据处理单元根据驾驶员信息切换到并显示由该多个后相机捕获的图像中的任何图像或虚拟视点合成图像。

(3)根据(1)的图像处理装置，

其中，多个相机是安装在移动装置后部的多个后相机以及安装在移动装置侧面的侧相机，以及

数据处理单元根据驾驶员信息切换到并显示由该多个后相机和侧相机捕获的图像中的任何图像或虚拟视点合成图像。

(4)根据(1)至(3)中的任一项的图像处理装置，

其中，数据处理单元在显示单元上并排显示一个后相机捕获图像和由侧相机捕获的图像，该后相机捕获图像是根据驾驶员信息从由安装在移动装置后部的多个后相机捕获的图像中选择的，该侧相机被安装在移动装置的侧面。

(5)根据(1)至(4)中的任一项的图像处理装置，

其中，驾驶员信息是通过检测驾驶员的面部或视线方向而获得的信息，以及

数据处理单元在显示单元上显示与驾驶员的面部或视线方向对应的方向上的图像。

(6)根据(1)至(4)中的任一项的图像处理装置，

其中，驾驶员信息是通过检测驾驶员的手势而获得的信息，

数据处理单元在显示单元上显示与驾驶员的手势对应的方向上的图像。

(7)根据(1)至(4)中的任一项的图像处理装置，

其中，数据处理单元在显示单元上显示根据驾驶员对操作单元的输入的方向上的图像。

(8)根据(1)至(7)中的任一项的图像处理装置，

其中，虚拟视点合成图像是基于由多个相机捕获的图像的合成图像，并且是与从多个相机的成像视点之间的虚拟视点捕获的图像相当的合成图像。

(9)根据(1)至(8)中的任一项的图像处理装置，

其中，驾驶员信息是通过检测驾驶员的面部或视线方向而获得的信息，以及

数据处理单元通过合成由多个相机捕获的图像来生成在与驾驶员的面部或视线方向对应的方向上的图像，并将该图像显示在显示单元上。

(10)根据(1)至(9)中的任一项的图像处理装置，

其中，所述数据处理单元在显示单元上切换显示图像时执行使各图像的无限远点的位置一致的图像校准处理。

(11)一种移动装置，包括：

多个相机，其从不同的视点对移动装置周围的状况进行成像。

驾驶员信息检测单元，其检测示出移动装置的驾驶员的行为的驾驶员信息；以及

数据处理单元，其输入驾驶员信息和由多个相机捕获的图像，并且根据驾驶员信息将输出到显示单元的图像切换为由多个相机捕获的图像中的任何图像或虚拟视点合成图像。

(12)根据(11)的移动装置，

其中，多个相机包括安装在移动装置后部的多个后相机，以及

数据处理单元根据驾驶员信息切换到并显示由该多个后相机捕获的图像中的任何图像或虚拟视点合成图像。

(13)根据(11)或(12)的移动装置，

其中，驾驶员信息检测单元检测驾驶员的面部或视线方向，以及

数据处理单元在显示单元上显示与驾驶员的面部或视线方向对应的方向上的图像。

(14)一种在图像处理装置中执行的图像处理方法，

其中，数据处理单元执行以下内容的图像显示控制：

输入

示出移动装置的驾驶员的行为的驾驶员信息；以及

由多个相机捕获的图像，该多个相机从不同的视点对移动装置周围的状况进行成像；以及

根据驾驶员信息，将输出到显示单元的图像切换为由多个相机捕获的图像中的任何图像或虚拟视点合成图像。

(15)一种在移动装置中执行的显示图像控制方法，包括：

图像捕获步骤，其中多个相机从不同的视点对移动装置周围的状况进行成像；

驾驶员信息检测步骤，其中驾驶员信息检测单元检测示出移动装置的驾驶员的行为的驾驶员信息；以及

图像显示控制步骤，其中数据处理单元输入驾驶员信息和由该多个相机捕获的图像，并且根据驾驶员信息将输出到显示单元的图像切换为由该多个相机捕获的图像中的任何图像或虚拟视点合成图像。

(16)一种用于在图像处理装置中执行图像处理的程序，该程序使得数据处理单元执行以下内容的图像显示控制：

输入

示出移动装置的驾驶员的行为的驾驶员信息；以及

由多个相机捕获的图像，该多个相机从不同的视点对移动装置周围的状况进行成像；以及

根据驾驶员信息，将输出到显示单元的图像切换为由该多个相机捕获的图像中的任何图像或虚拟视点合成图像。

此外，说明书中描述的一系列处理可以通过硬件、软件或两者的组合配置来执行。在通过软件执行处理的情况下，记录有处理序列的程序可以通过被安装在专用硬件中结合的计算机中的存储器中或者被安装在能够执行各种处理的通用计算机中来执行。例如，程序可以被预先记录在记录介质中。除了从记录介质安装在计算机中之外，还可以经由诸如局域网(lan)和互联网之类的网络接收程序，并且将其安装在诸如内置的硬盘之类的记录介质中。

注意的是，说明书中描述的各种处理不仅可以根据描述按时间次序执行，而且可以根据处理能力或执行处理的装置的需要并行或单独执行。此外，说明书中的系统具有多个装置的逻辑集合的配置。该系统不限于其中具有每种配置的装置被放置在同一壳体中的系统。

工业适用性

如上所述，根据本公开的一个实施例的配置，实现了根据驾驶员的行为(诸如驾驶员头部的移动)切换并显示输出到显示单元的图像的配置。

具体而言，例如，输入指示移动装置的驾驶员的行为的驾驶员信息以及由从不同视点对移动装置周围的状况进行成像的多个相机捕获的图像。根据驾驶员信息切换输出到显示单元的图像。多个相机是例如安装在移动装置的后部的多个后相机。例如，检测驾驶员的面部或视线方向。选择与检测到的驾驶员的面部或视线方向对应的方向上的图像作为输出图像，并将其显示在显示单元上。可替代地，选择驾驶员的手势所指示的方向上的图像，并将其显示在显示单元上。此外，当切换不同的相机捕获图像时，适当地生成并显示具有中间视点的合成图像，从而防止驾驶员在掌握情况方面的损失。

该配置实现了其中根据驾驶员的行为(诸如驾驶员头部的移动)来切换并显示输出到显示单元的图像的配置。

附图标记列表

10汽车

11后相机

12左侧相机

13右侧相机

20显示单元

21后相机图像

22左侧相机图像

23右侧相机图像

25合成图像

31后部中央(c)相机

32后部左(l)相机

33后部右(r)相机

34后部中央左(cl)相机

35后部中央右(cr)相机

41后相机图像切换显示区域

50驾驶员

52驾驶员信息检测单元

60数据处理单元

101无限远点

102相机位置图标

501cpu

502rom

503ram

504总线

505输入/输出接口

506输入单元

507输出单元

508存储单元

509通信单元

510驱动器

511可移动介质