图像处理装置、图像处理方法和图像处理系统与流程

本技术涉及图像处理装置、图像处理方法和图像处理系统，并且更具体地涉及适合应用于车载电子镜的图像处理装置等。

背景技术：

传统地，已经提出了车载电子镜，其中将车辆的后视镜(室内镜和左右门镜)替换为相机和显示器。专利文献1提出了一种技术，该技术通过使用驾驶员的头部相对于显示器的相对位置来改变要显示在显示器上的相机图像的范围，以便解决电子镜中的外观与实际镜子中的外观的差异。

引用列表

专利文献

专利文献1：日本特开2013-216286号公报

技术实现要素：

本发明要解决的问题

专利文献1中描述的技术可以提供直观且容易观看的视野，这是因为后方视频图像的显示视角根据头部运动而改变。然而，即使在驾驶员未在执行观看操作的情况下，后方视频图像的显示视角也会根据驾驶员的头部运动而改变，并且显示将不是稳定的，这可能导致乘客感到不适。

本技术的目的是为驾驶员提供直观且容易观看的视野，以及在驾驶员未在执行观看操作的情况下使显示稳定。

问题的解决方案

本技术的一种概念是

一种图像处理装置，包括：

处理单元，被配置为：当驾驶员的视线位于包括显示单元的特定区域中时，基于通过捕获车辆后侧的图像而获得的捕获图像，根据上述驾驶员的视点的运动来获得要显示在上述显示单元上的显示图像。

在本技术中，当驾驶员的视线位于包括显示单元的特定区域中时，处理单元基于通过捕获车辆后侧的图像而获得的捕获图像根据驾驶员的视点的运动来获得要显示在显示单元上的显示图像。例如，可以使处理单元根据驾驶员的视点位置相对于参考视点位置的偏差来获得显示图像。该配置使得可以根据视点运动获得良好的显示图像。

如上所述，在本技术中，当驾驶员的视线位于包括显示单元的特定区域中时，基于捕获图像根据驾驶员的视点的运动来获得显示图像。因此，可以向驾驶员提供直观且容易观看的视野，以及在驾驶员未在执行观看操作的情况下使显示稳定。

注意，在本技术中，例如，可以使处理单元基于视点位置的长期波动来更新参考视点位置。因此，例如，即使由于驾驶员的姿势的变化而存在视点位置的长期波动，也可以获得适当的后方视野。

在这种情况下，例如，可以使处理单元针对每个固定间隔对以预定采样率获得的视点位置求平均，并依次获得参考视点位置的更新值。该配置使得可以适当地获得与由于驾驶员的姿势变化而引起的视点位置的长期波动相对应的参考视点位置的更新值。

另外，在这种情况下，例如，当驾驶员的视线位于包括显示显示图像的显示单元的特定区域中时，可以使处理单元不更新参考视点位置。在这种情况下，由于响应于驾驶员的视点波动而准确地改变后方视频图像的显示视角，因此可以准确地提供直观且容易观看的视野。

另外，本技术还可包括登记单元，被配置为：例如当驾驶员的视点位置进入与就座状态相对应的特定区域时，将在驾驶员的视线在特定时间段内连续存在于显示显示图像的显示单元上的情况下的驾驶员的视点位置登记为初始参考视点位置。以这种方式登记初始参考视点位置使得即使在驾驶员改变的情况下也可以从驾驶开始就向驾驶员提供适当的后方视野。

另外，在本技术中，例如，可以使处理单元将示出车辆的图像叠加在捕获图像上，以获得显示图像。在这种情况下，由于显示图像不仅由通过捕获车辆后侧的图像而获得的捕获图像制成，而且通过将示出车辆的图像叠加在捕获图像上来获得显示图像，因此可以通过运动视差容易地提供距离感。

在这种情况下，例如，示出车辆的图像可以是计算机图形图像。使用计算机图形图像允许在生成示出车辆的图像时的更高自由度。

另外，例如，通过捕获车辆后侧的图像而获得的捕获图像可以是由附接到车辆后部的图像捕获设备捕获的捕获图像，并且示出车辆的图像可以是车辆内部图像。在这种情况下，显示图像对应于室内镜显示。另外，例如，通过捕获车辆后侧的图像而获得的捕获图像可包括由附接到车辆侧部的图像捕获设备捕获的捕获图像，并且示出车辆的图像可以是车身图像。在这种情况下，显示图像对应于侧镜显示。

另外，例如，可以使处理单元根据驾驶员的视点位置相对于参考视点位置的偏差来改变捕获图像与示出车辆的图像之间的叠加位置关系。该配置可以产生与看着实际后视镜的运动视差接近的运动视差，并且可以辅助驾驶员对距离之间的感知。

在这种情况下，例如，可以使处理单元将捕获图像和示出车辆的图像布置在三维空间中，获得根据驾驶员的视点位置相对于参考视点位置的偏差而改变的虚拟视点位置，以及借助由虚拟视点位置确定的视野将捕获图像和示出车辆的图像转换至投影坐标系，以获得显示图像。该配置使得可以根据驾驶员的视点的运动来准确地改变捕获图像与示出车辆的图像之间的叠加位置关系。

然后，在这种情况下，例如，可以使处理单元将捕获图像布置在存在于车辆后侧的预定对象的位置处。例如，预定对象可以是最接近车辆的对象，或是驾驶员正在看的对象。通过以这种方式将捕获图像布置在存在于车辆后侧的预定对象的位置处，可以在三维空间中的恰当位置处以恰当的尺寸来布置预定对象，并且可以正确地表达在预定对象与示出车辆的图像之间出现的运动视差。

另外，例如，可以使处理单元将示出车辆的图像叠加在捕获图像上，以允许透视捕获图像。即使当通过叠加示出车辆的图像来提供运动视差时，该配置也可以防止对后方能见度的损害。

附图说明

图1是示出作为一个实施例的车辆的组件布置的示例的视图。

图2是示出车身(汽车身)、车身开口(窗)以及车辆的内部对象的视图。

图3是示出图像处理装置的配置示例的框图。

图4是示出虚拟空间中的组件布置的视图。

图5是用于说明视点运动和虚拟视点运动的视图。

图6是示出具有参考视野的电子镜中的外观的示例的视图。

图7是示出初始化流程的示例的流程图。

图8是示出视点检测区域和视线检测区域的示例的视图。

图9是示出驾驶员进行的视野设定的调整的示例的视图。

图10是示出视点运动和运动平均值的示例的视图。

图11是用于说明捕获的相机图像的视图。

图12是示出相机图像的布置示例的视图。

图13是示出由相机图像的布置差异导致的相机图像的外观变化的视图。

图14是示出相机图像布置计算单元的处理流程的示例的流程图。

图15是示出相机图像布置计算单元的处理流程的另一示例的流程图。

图16是示出相机图像布置计算单元的处理流程的另一示例的流程图。

图17是示出虚拟空间中的相机图像布置的视图。

图18是示出在虚拟空间中进行绘制所必需的元素的布置示例的视图。

图19是示出由图像绘制单元获得的显示图像的示例的视图。

图20是示出图像处理装置中的正常操作流程的处理示例的流程图。

图21是示出显示图像处理的示例的流程图。

图22是示出由视点运动引起的绘制对象运动的重叠度的变化的视图。

图23是示出绘制处理的变化的图。

图24是用于说明常规的电子镜(后视镜)技术的视图。

图25是用于说明本技术的电子镜(后视镜)技术的视图。

图26是用于说明关于侧镜的现有技术的视图。

图27是用于说明替代侧镜并且应用了本技术的电子镜的视图。

图28是示出车辆的组件布置的示例的视图。

图29是示出图像处理装置的配置示例的框图。

图30是示出相机图像在虚拟空间中的布置位置的视图。

图31是示出在虚拟空间中进行绘制所必需的元素的布置示例的视图。

图32是示出计算机的硬件的配置示例的框图。

具体实施方式

在下文中，将描述用于实施本发明的实施例(在下文中，称为实施例)。注意，将按以下顺序给出描述。

1.实施例

2.修改示例

<1.实施例>

[车辆的组件布置]

图1示出了作为一个实施例的车辆10的组件布置的示例。车辆10具有车身(车身)100、车身开口(窗)101以及诸如座椅之类的内部对象102。图2(a)示出了车身(汽车身)100，图2(b)的阴影部分示出了车身开口(窗)101，图2(c)示出了诸如座椅之类的内部对象102。

另外，车辆10具有后方图像捕获单元103、后方距离测量单元104、视点测量单元105以及视线测量单元106。后方图像捕获单元103例如由互补金属氧化物半导体(cmos)相机构成，并且附接到车辆10的后侧外壳，以便捕获后侧图像。后方距离测量单元104例如由飞行时间(tof)距离图像传感器构成，并且附接到车辆10的后侧外壳，以便获取后方距离图像。

视点测量单元105检测驾驶员(用户)的视点位置。视点测量单元105在车辆10的前侧附接在内部。视点测量单元105包括例如cmos相机，并且基于该相机的捕获图像来测量驾驶员的眼睛的位置作为视点位置。注意，视点测量单元105可以基于例如由红外相机捕获的图像来测量驾驶员的视点位置。视线测量单元106检测驾驶员的视线。视线测量单元106在车辆10的前侧附接在内部。视线测量单元106包括例如cmos相机，并且基于驾驶员的瞳孔的图像来检测驾驶员的视线，即驾驶员正在看的地方。

另外，车辆10具有视频图像显示单元(显示器)107、用户操作单元108以及图像处理装置109。视频图像显示单元107代替常规的室内镜在车辆10的前侧附接在内部，并具有基本上矩形的显示表面。视频图像显示单元107包括液晶显示器(lcd)、有机电子发光(el)面板等。

用户操作单元108构成用户接口，该用户接口接收驾驶员的各种操作。该用户操作单元108包括例如布置在前面板上的机械操作按钮，并且还包括布置在视频图像显示单元107的屏幕上的触摸面板等。视频图像显示单元107基本上显示车辆10的后方图像。然而，在提供触摸面板功能的情况下，视频图像显示单元107还在必要时显示用于用户操作的用户接口(ui)。

图像处理装置109执行用于获得要在视频图像显示单元107上显示的显示图像的处理。图像处理装置109布置在车辆10内的任何位置，例如布置在如图所示的前面板部分中。基于由后方图像捕获单元103获得的相机图像，图像处理装置109根据驾驶员的视点位置相对于参考视点位置的偏差来获得显示图像。然后，在这种情况下，图像处理装置109基于视点位置的长期波动来更新参考视点位置。该配置使得可以提供直观且容易观看的视野，并且即使驾驶员的姿势改变也可以获得适当的后方视野。

在这种情况下，当驾驶员的视线位于包括显示显示图像的显示单元的特定区域中时，图像处理装置109将不更新参考视点位置。该配置使得响应于驾驶员的视点波动而准确地改变后方视频图像的显示视角，这使得可以准确地提供直观且容易观看的视野。

另外，在这种情况下，当驾驶员的视点位置进入与就座状态相对应的特定区域时，图像处理装置109将在驾驶员的视线在某个时间段内连续存在于显示显示图像的显示单元上的情况下的驾驶员的视点位置登记为初始参考视点位置。该配置使得即使在驾驶员改变的情况下也可以从驾驶开始就向驾驶员提供适当的后方视野。

另外，在这种情况下，图像处理装置109通过用3dcg将车辆内部图像(座椅、头枕、窗户、柱子等)构成为示出车辆10的图像并将其叠加在由后方图像捕获单元103获得的相机图像上来获得显示图像。在这种情况下，显示图像不仅由相机图像制成，而且通过将车辆内部图像叠加在相机图像上来获得显示图像。因此，可以通过运动视差容易地提供距离感。

在这种情况下，图像处理装置109根据由视点测量单元105获得的驾驶员的视点位置相对于参考视点位置的偏差来改变捕获图像与车辆内部图像之间的叠加位置关系。该配置允许驾驶员具有与看着实际室内镜的运动视差接近的运动视差，并且可以帮助驾驶员对距离之间的感知。

[图像处理装置的配置]

图3示出了图像处理装置109的配置示例。图像处理装置109包括存储单元111，视锥体形状位置计算单元112，物体历史存储单元113，长期视点运动测量单元114，相机图像布置计算单元115，虚拟空间布置计算单元116，投影计算单元117，以及图像绘制单元118。

如图4所示，除了要进行图像处理的组件(即车辆10的3dcg数据(车身、窗、内部等))之外，图像处理装置109还将通过捕获后侧图像而获得的相机图像布置在虚拟空间中，并且放置基于虚拟视点位置和虚拟视频图像显示单元107a获得的视锥体。然后，在执行放大/缩小处理之后，在必要时，图像处理装置109输出用视锥体生成的图像，作为要在视频图像显示单元107上显示的显示图像。注意，在虚拟视频图像显示单元107a的尺寸与视频图像显示单元107的尺寸相同的情况下，不需要放大/缩小处理。

在这种情况下，如图5所示，图像处理装置109测量由视点测量单元105测量的驾驶员的视点位置的移动，作为相对于参考视点位置的相对运动。与之对应地，图像处理装置109从参考虚拟视点位置移开虚拟视点位置以改变在虚拟视频图像显示单元107a上并因此在视频图像显示单元107上显示的图像(视频图像)，并向驾驶员提供适当的运动视差。

返回图3，存储单元111存储与参考视点位置和参考视野设定有关的信息以及车辆的3dcg数据。在这里，参考视野是参考后方视野，并且表示具有由虚拟视点位置和虚拟视频图像显示单元107a形成的视锥体的视野。因此，与参考视野设定有关的信息是与参考虚拟视点位置以及虚拟视频图像显示单元107a的位置和尺寸有关的信息。

作为参考视野的优选的后方视野根据驾驶状况和个人而变化，但是其中以均衡的方式反映了上、下、左和右并且消失点略高于屏幕中心的视野被认为是一般的参考视野。图6示出了优选作为参考视野的后方视野的示例。在该示例中，在直线水平道路上行驶的状态下，消失点略高于屏幕的中心。注意，在图6中，在垂直方向和水平方向上延伸的虚线的交点表示屏幕的中心。

图像处理装置109在驾驶员(用户)坐在驾驶员的座位上之后执行初始化流程，并自动将驾驶员的适当参考视点位置登记在存储单元111中。在该初始化流程中登记的参考视点位置是初始参考视点位置。通过以这种方式登记初始参考视点位置，可以吸收应该是驾驶员的参考的视点位置的个体差异。另外，即使在驾驶员改变的情况下，也变得可以从驾驶开始就向驾驶员提供适当的后方视野。在本实施例中，如稍后描述，基于视点位置的长期波动，从初始参考视点位置起顺次更新参考视点位置。

图7的流程图示出了初始化流程的示例。在步骤st11中，图像处理装置109开始处理。接下来，在步骤st12中，图像处理装置109基于视点测量单元105的检测结果来获取驾驶员的当前视点位置，并且基于视线测量单元106的检测结果来获取驾驶员的当前视线位置。

接下来，在步骤st13中，图像处理装置109确定视点是否在视点检测区域内(见图8)。在这里，视点检测区域被预先设置为包括驾驶员在就座于驾驶员座位上的状态下的视点。因此，驾驶员的视点在该视点检测区域内的事实可以被认为是驾驶员正坐在驾驶员座位上。

当视点不在视点检测区域内时，图像处理装置109返回到步骤st12的处理。而当视点在视点检测区域内时，图像处理装置109在步骤st14中判定视线是否在视线检测区域中的视频图像显示单元107上(参见图8)。在这里，视线检测区域预先设置在包括视频图像显示单元107及其外围的区域中。

当视线不在视频图像显示单元107上时，图像处理装置109返回到步骤st12的处理。而当视线在视频图像显示单元107上时，图像处理装置109转移到步骤st15的处理。在步骤st15中，图像处理装置109判定视线是否在某个时间段或更长的时间内(在这里为在一秒或更长时间内)连续存在于视频图像显示单元107上。

当视线不在一秒或更长时间内连续存在于视频图像显示单元107上时，图像处理装置109返回到步骤st12的处理。而当视线在一秒或更长时间内连续存在于视频图像显示单元107上时，图像处理装置109在步骤st16中将当前视点位置作为参考视点位置登记在存储单元111中。此后，在步骤st17中，图像处理装置109结束一系列处理。

可以通过驾驶员在视频图像显示单元107的用户操作单元108(例如，布置在屏幕上的触摸面板)上执行触摸操作来执行参考视野设定的登记。在这种情况下，调整视野设定(虚拟视点位置等)以获得在参考视点位置处的后方视野的期望外观，并将调整后的视野设定登记在存储单元111中作为参考视野设定。

图9(a)和图9(b)示出了驾驶员对视野设定进行调整的示例。该示例示出了，当驾驶员如图9(a)所示在触摸面板上沿向右方向执行滑动操作时，如图9(b)所示进行从虚拟视点位置a到虚拟视点位置b的移动，并且将参考视野a改变为参考视野b。

注意，坐在驾驶员座位上的驾驶员不一定必须登记参考视野设定。在未登记参考视野设定的情况下，原样使用已经在存储单元111中登记的参考视野设定。另外，还可以想到，存储单元111保持多个参考视野设定，并且根据驾驶状况来手动或自动切换要使用的多个参考视野设定。

在正常操作流程中使用与在存储单元111中存储(登记)的参考视野设定和参考视点位置有关的信息，但是将基于视点位置的长期波动来顺序地更新参考视点位置。因此，即使驾驶员的姿势改变，也可以始终获得适当的后方视野。

返回图3，在正常操作流程中，长期视点运动测量单元114基于由视点测量单元105获得的驾驶员的视点位置的长期波动来更新在存储单元111中存储的参考视点位置。在这种情况下，长期视点运动测量单元114针对每个固定的移动平均间隔对以预定采样率获得的视点位置求平均，并按顺序获得参考视点位置的更新值。

图10示出了视点运动和移动平均值(即，更新值)的示例。所示出的示例示出了视点位置的采样率为60样本/秒并且移动平均间隔为500毫秒的情况。另外，所示出的示例仅针对一个轴，但是可以跟随视点位置的长期波动(诸如姿势波动之类)，并通过在上下方向、前后方向和左右方向中的每个方向上执行类似的计算并采用移动平均值作为参考视点位置来始终提供良好的后方视野。注意，视点位置的采样率和移动平均间隔不限于这些值。

在本实施例中，当驾驶员的视线在包括视频图像显示单元107的视线检测区域(见图8)内时，长期视点运动测量单元114不更新参考视点位置。该配置使得响应于驾驶员的视点波动而准确地改变后方视频图像的显示视角，这使得可以准确地提供直观且容易观看的视野。注意，也可以想到无论驾驶员的视线是否在包括视频图像显示单元107的视线检测区域内都更新参考视点位置。

返回图3，基于与从存储单元111中读取的参考视点位置和参考视野设定有关的信息以及由视点测量单元105检测到的当前视点位置，视锥体形状位置计算单元112计算视锥体在虚拟空间中的形状和位置。在这种情况下，根据视点位置(当前视点位置)相对于参考视点位置的偏差(在距离或方向上的偏差)来获得(参见图5)偏离参考虚拟视点位置的虚拟视点位置(当前虚拟视点位置)。另外，基于该虚拟视点位置以及虚拟视频图像显示单元107a的尺寸和位置，获得以虚拟视点为顶点的视锥体的位置和形状(参见图4)。

基于由后方距离测量单元104获取的后方距离图像、由后方图像捕获单元103获取的后方相机图像、由视锥体形状布置计算单元112获得的视锥体的形状和位置等，相机图像布置计算单元115计算虚拟空间中的相机图像的布置距离。根据相机图像的该布置位置，当驾驶员移动视点位置时，在相机图像中示出并且在车辆内部图像(车身，窗，内部)中出现和消失的被摄体的外观(运动视差)有所不同。为了提供适当的运动视差，有必要将相机图像放置在虚拟空间中的适当位置。

如图11所示，通过在距离方向上压缩三维空间来获得由相机实际捕获的图像，并且将处于不同距离的物体(对象)a至d捕获为与距离相对应的尺寸的二维图像。因此，通过将该相机图像放置在三维空间中的任何地方并不是完全合适的，并且仅对于处于放置相机图像的距离处的物体可以获得恰当的位置。注意，实际上，相机镜头的景深之外的图像是模糊的，但是在这里，它被认为是理想的泛焦相机。

图12示出了将相机图像放置在物体a距离处的情况(图像布置a)和将相机图像放置在物体d距离处的情况(图像布置d)。然后，图13(a)、图13(b)和图13(c)示出了在视野(对应于由虚拟视点位置确定的视锥体)分别向右移动、向中心移动和向左移动的情况下的景象。

比较图13(a)、图13(b)和图13(c)，进入视野的相机图像的范围在图像布置a的情况和图像布置d的情况之间有所不同。另外，可以看出，相机图像的移动范围根据视野的运动而不同。这是相机图像中的物体的运动视差。通过将相机图像放置在感兴趣的物体(对象)的距离处，可以正确地表达在物体和车辆之间出现的运动视差。

应当注意，对于除感兴趣的物体之外的物体，显示的尺寸和由视点运动引起的运动视差未被正确表达。为了为所有物体提供恰当的运动视差，有必要以3d捕获后侧图像，并将所有物体分离以放置在虚拟空间中。然而，这样的处理需要大量的计算能力。

本技术具有通过放弃除了感兴趣的物体以外的运动视差来以相对小的计算量提供感兴趣的物体的运动视差的特征。

为了通过有限的运动视差来呈现有用的距离感，有必要选择适合于向驾驶员呈现距离感的感兴趣的物体。以下是在选择适合于呈现距离感的物体时要考虑的事件。

(1)车辆与物体(最接近车辆的物体)之间的距离。

(2)车辆与物体之间的距离的变化(无论是正在接近还是正在离开)。

(3)物体的尺寸(不必关注尺寸小于某个水平的物体，例如昆虫)。

(4)物体是什么(汽车，自行车，人，墙壁，或植物)。

(5)驾驶员正在看的事物(驾驶员正在看哪里)。

理想情况下，应该考虑所有这些事件来进行综合判定，但是即使仅利用一些事件也可以提供有用的系统。图14的流程图示出了相机图像布置计算单元115的处理流程的示例。该处理示例考虑到上述事件(1)、(2)和(3)，并且可以通过仅使用由后方距离测量单元104获取的距离图像来实现。

每当后方距离测量单元104获取距离图像时，相机图像布置计算单元115执行图14的流程图所示的处理流程。注意，后方距离测量单元104以例如120fps的频率获取距离图像。

在步骤st21中，相机图像布置计算单元115在后方距离测量单元104获取距离图像的时刻开始处理。接下来，在步骤st22中，相机图像布置计算单元115从距离图像中提取物体(对象)，并创建具有某个尺寸或更大尺寸的物体的位置、形状、尺寸和距离的列表。然后，在步骤st23中，相机图像布置计算单元115将所创建的列表存储在物体历史存储单元113中。

接下来，在步骤st24中，相机图像布置计算单元115浏览物体历史存储单元113的历史数据，根据形状的特性来搜索相同的物体，从列表中删除没有历史的物体，并针对具有历史的物体计算与车辆的相对速度以添加到列表中。

接下来，在步骤st25中，相机图像布置计算单元115从所创建的列表中排除偏离相机的有效图像捕获距离的物体。这是为了去除处于相机失焦的距离处的物体。如果即使可以测量距离也无法捕获相机图像，则物体对于相机图像布置距离是不适当的并被排除在外。

接下来，在步骤st26中，相机图像布置计算单元115从列表中删除以某个速度或更高速度离开的物体。接下来，在步骤st27中，相机图像布置计算单元115从列表中删除偏离视锥体及其附近的物体。然后，在步骤st28中，相机图像布置计算单元115判定数据是否留在列表中。

当数据留在列表中时，在步骤st29中，相机图像布置计算单元115采用距最接近车辆的物体的距离作为相机图像布置距离。在步骤st29中的处理之后，相机图像布置计算单元115在步骤st30中结束一系列处理。

另外，当在步骤st28中没有数据留在列表中时，在步骤st31中采用预定的默认距离作为相机图像布置距离。在这里，默认距离是适合于布置远景的距离。在呈现距离感时，希望是计算能力所允许的最远距离。然而，实际上，例如，默认距离是参考后方距离测量单元104的计算能力来确定的。例如，对于光检测和测距(lidar)，默认距离可以是大约100m，而对于tof传感器，默认距离可以是大约250m。在步骤st31中的处理之后，相机图像布置计算单元115在步骤st30中结束一系列处理。

图15的流程图示出了相机图像布置计算单元115的处理流程的另一示例。该处理示例考虑了上述事件(1)、(3)和(4)，并且可以通过除了由后方距离测量单元104获取的距离图像之外还使用由后方图像捕获单元103获得的相机图像来实现。

每当后方距离测量单元104获取距离图像时，相机图像布置计算单元115执行图15的流程图所示的处理流程。注意，后方距离测量单元104以例如120fps的频率获取距离图像。

在步骤st61中，相机图像布置计算单元115在后方距离测量单元104获取距离图像的时刻开始处理。接下来，在步骤st62中，相机图像布置计算单元115从距离图像中提取物体，并创建具有某个尺寸或更大尺寸的物体的位置、形状、尺寸和距离的列表。

接下来，在步骤st63中，相机图像布置计算单元115从所创建的列表中排除偏离相机的有效图像捕获距离的物体。这是为了去除处于相机失焦的距离处的物体。如果即使可以测量距离也无法捕获相机图像，则物体对于相机图像布置距离是不适当的并被排除在外。

接下来，在步骤st64中，相机图像布置计算单元115通过图像识别来识别物体，并从列表中删除不适合于图像布置的物体(例如，鸟、枯叶等)。接下来，在步骤st65中，相机图像布置计算单元115从列表中删除偏离视锥体及其附近的物体。然后，在步骤st66中，相机图像布置计算单元115判定数据是否留在列表中。

当数据留在列表中时，在步骤st67中，相机图像布置计算单元115采用距最接近车辆的物体的距离作为相机图像布置距离。在步骤st67中的处理之后，相机图像布置计算单元115在步骤st68中结束一系列处理。

另外，当在步骤st66中没有数据留在列表中时，在步骤st69中采用预定的默认距离(适合于布置远景的距离)作为相机图像布置距离。在步骤st69中的处理之后，相机图像布置计算单元115在步骤st68中结束一系列处理。

图16的流程图示出了相机图像布置计算单元115的处理流程的又一示例。该处理示例考虑了上述事件(1)、(3)和(5)，并且可以通过除了由后方距离测量单元104获取的距离图像之外还使用视线测量单元106对驾驶员(用户)的视线检测结果来实现。

每当后方距离测量单元104获取距离图像时，相机图像布置计算单元115执行图16的流程图所示的处理流程。注意，后方距离测量单元104以例如120fps的频率获取距离图像。

在步骤st71中，相机图像布置计算单元115在后方距离测量单元104获取距离图像的时刻开始处理。接下来，在步骤st72中，相机图像布置计算单元115从距离图像中提取物体，并创建具有某个尺寸或更大尺寸的物体的位置、形状、尺寸和距离的列表。

接下来，在步骤st73中，相机图像布置计算单元115从所创建的列表中排除偏离相机的有效图像捕获距离的物体。然后，在步骤st74中，相机图像布置计算单元115判定数据是否留在列表中。

当数据留在列表中时，在步骤st75中，相机图像布置计算单元115获取由视线测量单元106获得的驾驶员(用户)的视线。然后，在步骤st76中，相机图像布置计算单元115采用最接近视线的位置处的物体的距离作为相机图像布置距离。在步骤st76中的处理之后，相机图像布置计算单元115在步骤st77中结束一系列处理。

另外，当在步骤st74中没有数据留在列表中时，在步骤st78中采用预定的默认距离(适合于布置远景的距离)作为相机图像布置距离。在步骤st78中的处理之后，相机图像布置计算单元115在步骤st77中结束一系列处理。

图17示出了相机图像在虚拟空间中的布置位置。通过用后方图像捕获单元103以预定的图像捕获视角进行捕获而获得了相机图像。该相机图像布置在虚拟空间中的如下位置处，该位置与车辆10的后部相隔由相机图像布置计算单元115计算出的相机图像布置距离。

返回图3，虚拟空间布置计算单元116在虚拟空间中布置绘制所必需的元素。即，虚拟空间布置计算单元116在虚拟空间中布置存储在存储单元111中的车辆10(车身、窗、内部等)的3dcg数据。虚拟空间布置计算单元116还将相机图像布置在由相机图像布置计算单元115计算出的相机图像布置距离的位置处，并且还基于由视锥体形状布置计算单元112计算出的形状和位置来布置视锥体。图18示出了虚拟空间中的绘制所必需的元素的布置示例。

以虚拟视频图像显示单元107a作为投影表面，投影计算单元117将虚拟空间中的对象转换为投影图像。图像绘制单元118执行用于在由投影计算单元117获得的投影图像上绘制相机图像和3dcg数据的细节的处理。图像绘制单元118还执行用于使图像的尺寸与视频图像显示单元107的尺寸相匹配的放大/缩小处理，以输出要提供给视频图像显示单元107的显示图像。图19示出了由图像绘制单元118获得的显示图像的示例。

图20的流程图示出了图像处理装置109中的正常操作流程的处理的示例。图像处理装置109使在图20的流程图中示出的处理与视点测量单元105和视线测量单元106中的视点和视线的检测周期(例如1/60秒)同步，并以该周期执行处理。

在步骤st40中，图像处理装置109开始处理。接下来，在步骤st41中，图像处理装置109基于视点测量单元105的检测结果来获取当前视点位置，并且还基于视线测量单元106的检测结果来获取当前视线位置。然后，图像处理装置109在步骤st42中累积视点位置数据。

接下来，在步骤st43中，图像处理装置109判定视线是否在视线检测区域内(参见图8)。当视线在视线检测区域内时，图像处理装置109在步骤st44中将参考视点位置与当前视点位置之间的差转换为虚拟视点与参考虚拟视点位置的差，以计算虚拟视点位置(参见图5)。接下来，在步骤st45中，图像处理装置109根据虚拟视点位置计算视锥体的形状和位置。在步骤st45的处理之后，图像处理装置109进行到步骤st46的处理。

而当在步骤st43中视线不在视线检测区域内时，图像处理装置109在步骤st47中通过针对每个固定的移动平均间隔对视点位置求平均来获取长期视点位置并因此获取参考视点位置的更新值。然后，在步骤st48中，图像处理装置109采用在步骤st47中获取的长期视点位置作为参考视点位置，并存储在存储单元111中。

注意，针对每个固定的移动平均间隔(例如每500毫秒)，执行步骤st47和步骤st48。然而，可以想到以视点测量单元105和视线测量单元106的视点和视点检测周期来执行步骤st47和st48。在这种情况下，在步骤st47中，对过去恒定移动平均间隔的视点位置求平均，以获取长期视点位置。

接下来，在步骤st49中，图像处理装置109根据参考虚拟视点位置计算视锥体的形状和位置。以这种方式，当视线不在视线检测区域内时，视锥体的形状和位置总是根据参考虚拟视点位置计算，而不受当前视点位置的影响。因此，无论驾驶员(用户)的视点位置的运动如何，在视频图像显示单元107上显示的后方视野的显示图像都变得稳定。在步骤st49的处理之后，图像处理装置109进行到步骤st46的处理。图像处理装置109在步骤st46中执行显示图像处理，然后返回到步骤st41中的处理，并且重复如上所述的类似处理。

图21的流程图示出了显示图像处理的示例。在步骤st50中，图像处理装置109开始处理。接下来，在步骤st51中，图像处理装置109获取由后方图像捕获单元103获得的后方相机图像。接下来，在步骤st52中，图像处理装置109计算相机图像布置距离。

接下来，在步骤st53中，图像处理装置109在虚拟空间中布置车辆10(车身、窗、内部等)的3dcg数据、相机图像以及视锥体，这些是绘制所必需的元素(参见图18)。接下来，在步骤st54中，图像处理装置109将虚拟空间中的组件转换至投影坐标系，以获得投影图像。

接下来，在步骤st55中，图像处理装置109执行用于在投影图像上绘制相机图像和3dcg数据的细节的处理，以获得显示图像。接下来，在步骤st56中，图像处理装置109将显示图像输出到视频图像显示单元107。在步骤st56中的处理之后，图像处理装置109在步骤st57中结束一系列处理。

图像处理装置109针对视点和视线的每个检测周期执行上述正常操作流程的处理。因此，在驾驶员(用户)的视线在视频图像显示单元107上的情况下，在视频图像显示单元107上显示的显示图像中，根据视点的运动以及与后侧的感兴趣的物体之间的距离适当改变绘制目标对象的重叠度，即，可以获得适当的运动视差。然后，驾驶员可以获得相对于后方相机图像的适当的距离感。

图22(a)、图22(b)和图22(c)示出了在视频图像显示单元107上显示的显示图像的示例。图22(a)示出了驾驶员的视点位置处于标准视点位置处的情况，图22(b)示出了驾驶员的视点位置从标准视点位置向右移动的情况，并且图22(c)示出了驾驶员的视点位置从标准视点位置向左移动的情况。可以看出，车辆内部cg图像与相机图像中的对象(汽车)之间的重叠度根据驾驶员的视点位置而改变。

注意，在真实的镜子中，内部对象和车身产生无法被看见的后侧的盲点。然而，在本技术中，通过在绘制时透明地绘制或者通过隐藏一部分，还可以维持宽后方视野，同时通过运动视差辅助感知距离感。例如，图23(a)是隐藏作为内部对象的后座的状态。另外，图23(b)示出了具有低透明度的作为内部对象的后座和车身，并且图23(c)示出了具有高透明度的作为内部对象的后座和车身。

当然，如果盲点的发生不是关注点，则可以以0％的透明度绘制内部对象或车身，以生成并显示像真实镜子一样的图像。

另外，内部对象不限于片材等，并且例如可以通过在窗玻璃上绘制图案来进一步强调距离感知。图23(d)示出了设置水平线作为窗玻璃上的对象的状态。

通过执行上述正常操作流程的处理，在驾驶员(用户)的视线不在视频图像显示单元107上的情况下，图像处理装置109基于驾驶员的视点位置的长期波动来更新参考视点位置。因此，即使驾驶员的姿势改变，也可以在视频图像显示单元107上适当地连续显示后方视野。

图24(a)至图24(c)示出了常规的电子镜(后视镜)技术。图24(a)示出了：在驾驶员(用户)的姿势处于适当位置的情况下，后方视野被恰当地显示在具有参考视野的视频图像显示单元上。图24(b)示出了：在由于驾驶员的整个身体陷入座位而存在驾驶员的视点位置的突然波动(短期视点波动)的情况下，显示在视频图像显示单元上的后方视野指向上方。图24(c)示出了：在由于驾驶员的整个身体连续陷入座位而存在驾驶员的视点位置的波动(长期视点波动)的情况下，显示在视频图像显示单元上的后方视野保持指向上方。

图25(a)至图25(c)示出了本技术的电子镜(后视镜)技术。图25(a)示出了：在驾驶员(用户)的姿势处于适当位置的情况下，后方视野被恰当地显示在具有参考视野的视频图像显示单元107上。图25(b)示出了：在由于驾驶员的整个身体陷入座位而存在驾驶员的视点位置的突然波动(短期视点波动)的情况下，显示在视频图像显示单元107上的后方视野指向上方。图25(c)示出了：在由于驾驶员的整个身体连续陷入座位而存在驾驶员的视点位置的波动(长期视点波动)的情况下，显示在视频图像显示单元107上的后方视野回到参考视野并被恰当地显示。

如上所述，在图1所示的车辆10中，当驾驶员的视线处于包括视频图像显示单元107的特定区域(视线检测区域)中时，图3所示的图像处理装置109基于通过捕获车辆10后侧的图像而获得的相机图像，根据驾驶员的视点位置的运动来获得显示图像。因此，可以向驾驶员提供直观且容易观看的视野，并且在驾驶员未在执行观看操作的情况下使显示稳定。

另外，在图1所示的车辆10中，图3所示的图像处理装置109基于视点位置的长期波动来更新参考视点位置。因此，变得可以显示直观且容易观看的视野，并且即使驾驶员的姿势改变，也可以获得适当的后方视野。

另外，在图1所示的车辆10中，当驾驶员的视线处于包括显示显示图像的视频图像显示单元107的特定区域(视线检测区域)中时，图3所示的图像处理装置109不更新参考视点位置。因此，由于响应于驾驶员的视点波动而准确地改变后方视频图像的显示视角，因此可以准确地提供直观且容易观看的视野。

另外，在图1所示的车辆10中，当驾驶员的视点位置进入与就座状态相对应的特定区域时，在驾驶员的视线在某个时间段内连续存在于显示显示图像的视频图像显示单元107上的情况下，图3所示的图像处理装置109将驾驶员的该视点位置登记为初始参考视点位置。因此，即使在驾驶员改变的情况下，也变得可以从驾驶开始就向驾驶员提供适当的后方视野。

另外，在图1所示的车辆10中，图3所示的图像处理装置109将车辆内部图像叠加在通过捕获车辆后侧的图像而获得的相机图像上，并获得要显示在代替常规室内镜而布置的视频图像显示单元107上的显示图像。显示图像不仅由通过捕获车辆后侧的图像而获得的相机图像制成，而且通过将车辆内部图像叠加在相机图像上来获得显示图像。因此，可以通过运动视差容易地提供距离感。

另外，在图1所示的车辆10中，图3所示的图像处理装置109根据驾驶员的视点位置相对于参考视点位置的偏差来改变相机图像与车辆内部图像之间的叠加位置关系。因此，可以产生与看着实际后视镜的运动视差接近的运动视差，并且可以辅助驾驶员对距离之间的感知。

另外，在图1所示的车辆10中，图3所示的图像处理装置109在三维空间中布置相机图像和示出车辆10的图像，获得根据驾驶员的视点的运动而改变的虚拟视点位置，并借助由虚拟视点位置确定的视野，将相机图像和车辆内部图像转换至投影坐标系，以获得显示图像。因此，可以根据驾驶员的视点的运动来准确地改变相机图像与车辆内部图像之间的叠加位置关系。

另外，在图1所示的车辆10中，图3所示的图像处理装置109将相机图像布置在车辆10的后侧上存在的感兴趣的物体(对象)的位置处，以获得显示图像。因此，可以在三维空间中的恰当位置处以恰当的尺寸来布置感兴趣的物体，并且可以正确地表达在物体与车辆内部图像之间出现的运动视差。

注意，在本说明书中描述的效果仅仅是示例并且不受限制，并且可存在附加的效果。

<2.修改示例>

注意，上述实施例已经示出了将本技术应用于替代车辆的室内镜的电子镜的示例。然而，本技术也可以应用于替代车辆的侧镜的电子镜。另外，通过应用本技术，不仅车辆的电子镜，而且假设由人使用的电子镜也可以呈现与实际镜子的距离感接近的距离感。类似地，在由人使用的假设下，本技术可以应用于电子窗而不是电子镜。

将描述将本技术应用于替代车辆的侧镜的电子镜的情况。图26(a)示出了在使用常规侧镜或使用替代常规侧镜的电子镜的情况下的盲点的范围的示例。图26(b)示出了在常规侧镜中反射的图像的示例。在这种情况下，可以通过后侧的物体的尺寸的差异和与所示出的车身的运动视差来获得后侧的物体的距离感。图26(c)示出了替代常规侧镜的电子镜的显示图像的示例。在这种情况下，由于即使视点移动也不发生运动视差，因此与真实的镜子不同，难以获得距离感。

图27(a)示出了在使用替代侧镜并且应用了本技术的电子镜的情况下的盲点的范围的示例。驾驶员还可以在视觉上识别自身车辆后面，这对于常规侧镜或替代常规侧镜的电子镜是盲点。图27(b)和图27(c)示出了替代侧镜并且应用了本技术的电子镜的显示图像的示例。在这种情况下，由于自身车身被叠加并通过3dcg来绘制，因此可以用运动视差提供距离感。另外，如图27(c)所示，透明地叠加自身车身允许对自身车辆后面的视觉识别。

图28示出了车辆10的组件布置的示例。在该图28中，向与图1中的部件相对应的部件赋予相同的附图标记，并且将适当地省略其详细描述。车辆10具有车身(车身)100，车身开口(窗)101，以及诸如座椅之类的内部对象102。另外，车辆10具有后方图像捕获单元103、后方距离测量单元104、视点测量单元105、以及视线测量单元106。

另外，车辆10具有右侧后方图像捕获单元103r、右侧后方距离测量单元104r、左侧后方图像捕获单元103l、以及左侧后方距离测量单元104l。右侧后方图像捕获单元103r和左侧后方图像捕获单元103l各自由例如cmos相机构成，并附接到例如车辆10的常规侧镜位置以便捕获后方图像。另外，右侧后方距离测量单元104r和左侧后方距离测量单元104l各自由例如tof距离图像传感器构成，并附接到例如车辆10的常规侧镜位置以便获取后方距离图像。

另外，车辆10具有右侧后方视频图像显示单元(显示器)107r、左侧后方视频图像显示单元(显示器)107l、用户操作单元108、以及图像处理装置109s。右侧后方视频图像显示单元107r和左侧后方视频图像显示单元107l各自由lcd、有机el面板等构成，在车辆10的前侧附接到内部的右侧位置和左侧位置，并具有基本上矩形的显示表面。

用户操作单元108构成用户接口，该用户接口接收驾驶员的各种操作。用户操作单元108例如包括布置在前面板上的机械操作按钮，并且还包括布置在右侧后方视频图像显示单元107r或左侧后方视频图像显示单元107l等的屏幕上的触摸面板。

图像处理装置109s执行用于获得要在右侧后方视频图像显示单元107r和左侧后方视频图像显示单元107l上显示的显示图像的处理。图像处理装置109s布置在车辆10内部的任何位置，例如如图所示布置在前面板部分中。图像处理装置109s通过用3dcg将车身(汽车身)构成为示出车辆10的图像并将其叠加在通过用后方图像捕获单元103、右侧后方图像捕获单元103r和左侧后方图像捕获单元103l捕获图像而获得的相机图像上来获得显示图像。

以这种方式，显示图像不仅由相机图像构成，而且通过将车身图像叠加在相机图像上来获得显示图像。因此，可以通过运动视差容易地提供距离感。另外，通过透明地叠加车身图像，驾驶员(用户)可以在视觉上识别隐藏在自身车辆后面的不可见物体。

图29示出了图像处理装置109s的配置示例。在该图29中，向与图3中的部件相对应的部件赋予相同的附图标记，并且将适当地省略其详细描述。图像处理装置109s包括存储单元111、视锥体形状位置计算单元112、物体历史存储单元113、长期视点运动测量单元114、相机图像布置计算单元115、虚拟空间布置计算单元116、投影计算单元(右)117r、投影计算单元(左)117l、图像绘制单元(右)118r、以及图像绘制单元(左)118l。

除了要进行图像处理的组件(即，车辆10的3dcg数据(车身等)之外，图像处理装置109s还在虚拟空间中布置通过捕获后侧图像而获得的相机图像。然后，图像处理装置109s基于与右侧后方显示有关的虚拟视点位置和虚拟视频图像显示单元来获得视锥体，在必要时对用该视锥体生成的图像进行放大/缩小处理，并且然后输出作为要显示在右后方视频图像显示单元107r上的右侧后方显示图像。

另外，类似地，图像处理装置109s基于与左侧后方显示有关的虚拟视点位置和虚拟视频图像显示单元来获得视锥体，在必要时对用该视锥体生成的图像进行放大/缩小处理，并且然后输出作为要显示在左后方视频图像显示单元107l上的左侧后方显示图像。

在这种情况下，图像处理装置109s作为相对于参考视点位置的相对运动来测量由视点测量单元105测量的驾驶员的视点位置的移动。与此相对应，图像处理装置109s从参考虚拟视点位置移开虚拟视点位置以改变要显示在右侧后方视频图像显示单元107r和左侧后方视频图像显示单元107l上的图像(视频图像)，并向驾驶员提供适当的运动视差。

存储单元111存储关于与右侧后方显示和左侧后方显示有关的参考视点位置和参考视野设定的信息，以及车辆的3dcg数据。图像处理装置109在驾驶员(用户)坐在驾驶员座位上之后执行初始化流程，并自动将驾驶员的适当参考视点位置登记在存储单元111中。基于视点位置的长期波动，从初始参考视点位置起依次更新该参考视点位置。

图像处理装置109在驾驶员(用户)坐在驾驶员座位上之后执行初始化流程，并自动将驾驶员的适当参考视点位置登记在存储单元111中。在该初始化流程中登记的参考视点位置是初始参考视点位置。通过以这种方式登记初始参考视点位置，可以吸收应该是驾驶员的参考的视点位置的个体差异。另外，即使在驾驶员改变的情况下，也变得可以从驾驶开始就向驾驶员提供适当的后方视野。

基于由视点测量单元105获得的驾驶员的视点位置的长期波动，长期视点运动测量单元114在正常操作流程中更新存储在存储单元111中的参考视点位置。基于从存储单元111中读取的关于参考视点位置和参考视野设定的信息以及由视点测量单元105检测到的当前视点位置，视锥体形状位置计算单元112计算虚拟空间中的右侧后方显示和左侧后方显示的两个视锥体的形状和位置。

相机图像布置计算单元115基于以下各项来计算虚拟空间中的相机图像的布置距离：由右侧后方距离测量单元104r、后方距离测量单元104和左侧后方距离测量单元104l获取的后方距离图像；由右侧后方图像捕获单元103r、后方图像捕获单元103和左侧后方图像捕获单元103l获取的后方相机图像；由视锥体形状布置计算单元112获得的右侧后方显示和左侧后方显示的两个视锥体的形状和位置；等等。

取决于相机图像的该布置位置，当驾驶员移动视点位置时，在相机图像中示出并且在车身(汽车身)中出现和消失的被摄体的外观(运动视差)有所不同。在这种情况下，为了允许为感兴趣的物体提供适当的运动视差，将到物体的距离计算为布置距离。在这里，还假设感兴趣的物体对于右侧后方显示和左侧后方显示不同的情况。在那种情况下，对于右侧后方显示和左侧后方显示，相机图像的布置距离被计算为不同的值。

图30示出了相机图像在虚拟空间中的布置位置。通过用右侧后方图像捕获单元103r、后方图像捕获单元103和左侧后方图像捕获单元103l以预定图像捕获视角捕获图像而获得了相机图像。该相机图像布置在虚拟空间中的如下位置处，该位置与车辆10的后部相隔由相机图像布置计算单元115计算出的相机图像布置距离。

虚拟空间布置计算单元116在虚拟空间中布置绘制所必需的元素。即，虚拟空间布置计算单元116在虚拟空间中布置存储在存储单元111中的车辆10(车身等)的3dcg数据。虚拟空间布置计算单元116还将相机图像布置在由相机图像布置计算单元115计算出的相机图像布置距离的位置处，并且还基于由视锥体形状布置计算单元112计算出的形状和位置来布置右侧后方显示和左侧后方显示的两个视锥体。图31示出了虚拟空间中的绘制所必需的元素的布置示例。

返回图29，投影计算单元(右)117r以右侧的虚拟视频图像显示单元107a作为投影表面将虚拟空间中的对象转换为投影图像。图像绘制单元(右)118r执行用于在由投影计算单元117r获得的投影图像上绘制相机图像和3dcg数据的细节的处理。图像绘制单元(右)118r还执行用于使图像的尺寸与右侧后方视频图像显示单元107r的尺寸相匹配的放大/缩小处理，以输出要提供给右侧后方视频图像显示单元107r的显示图像。

另外，投影计算单元(左)117l以左侧的虚拟视频图像显示单元107a作为投影表面将虚拟空间中的对象转换为投影图像。图像绘制单元(左)118l执行用于在由投影计算单元117l获得的投影图像上绘制相机图像和3dcg数据的细节的处理。图像绘制单元(左)118l还执行用于使图像的尺寸与左侧后方视频图像显示单元107l的尺寸相匹配的放大/缩小处理，以输出要提供给左侧后方视频图像显示单元107l的显示图像。

由于除了左显示单元和右显示单元被分别处理之外图像处理装置109s中的基本处理流程与上述实施例中的图像处理装置109的处理流程类似，因此在这里将省略其描述。

注意，上述图像处理装置109和109s中的一系列处理可以由硬件执行，或者也可以由软件执行。在由软件执行一系列处理的情况下，将配置该软件的程序安装在计算机中。在这里，计算机的示例例如包括：内置于专用硬件中的计算机、可以通过安装各种程序来执行各种功能的通用个人计算机，等等。

图32是示出根据程序执行上述一系列处理的计算机400的硬件的配置示例的框图。

在计算机400中，中央处理单元(cpu)401、只读存储器(rom)402和随机存取存储器(ram)403通过总线404相互连接。

总线404还与输入/输出接口405连接。输入单元406、输出单元407、记录单元408、通信单元409和驱动器410连接到输入/输出接口405。

输入单元406包括输入开关、按钮、麦克风、图像传感器等。输出单元407包括显示器、扬声器等。记录单元408包括硬盘、非易失性存储器等。通信单元409包括网络接口等。驱动器410驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动介质411。

在如上所述配置的计算机400中，例如通过cpu401经由输入/输出接口405和总线404将记录在记录单元408中的程序加载到ram403中并进行执行来执行上述一系列处理。

由计算机400(cpu401)执行的程序可以通过记录在例如作为包装介质等的可移动介质411上来提供。另外，可以经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供程序。

在计算机中，通过将可移动介质411附接到驱动器410，可以经由输入/输出接口405将程序安装在记录单元408中。另外，程序可以由通信单元409经由有线或无线的传输介质来接收，并安装在记录单元408中。此外，程序可以预先安装在rom402和记录单元408中。

注意，由计算机执行的程序可以是根据本说明书中描述的顺序按时间序列执行处理的程序，或者可以是并行地执行处理或在诸如打电话时的必要时刻执行处理的程序。

另外，尽管上面已经参考附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于这样的示例。显然，本公开的技术领域的普通技术人员可以在权利要求书中描述的技术思想的范围内达成各种变型或修改，并且自然明白这些也属于本公开的技术范围。

另外，本技术还可以具有以下配置。

(1)一种图像处理装置，包括：

处理单元，被配置为：当驾驶员的视线位于包括显示单元的特定区域中时，基于通过捕获车辆后侧的图像而获得的捕获图像，根据所述驾驶员的视点的运动来获得要显示在所述显示单元上的显示图像。

(2)根据上面的(1)所述的图像处理装置，其中

所述处理单元根据驾驶员的视点位置相对于参考视点位置的偏差来获得所述显示图像。

(3)根据上面的(2)所述的图像处理装置，其中

所述处理单元基于所述视点位置的长期波动来更新所述参考视点位置。

(4)根据上面的(3)所述的图像处理装置，其中

当所述驾驶员的视线位于所述特定区域中时，所述处理单元不更新所述参考视点位置。

(5)根据上面的(3)或(4)所述的图像处理装置，其中

所述处理单元针对每个固定间隔对以预定采样率按顺序获得的视点位置求平均，以获得所述参考位置的更新值。

(6)根据上面的(2)至(5)中的任一项所述的图像处理装置，还包括：

登记单元，被配置为：当所述驾驶员的视点位置进入与就座状态相对应的特定区域时，将在所述驾驶员的视线在特定时间段内连续存在于显示所述显示图像的显示单元上的情况下的所述驾驶员的视点位置登记为参考视点位置。

(7)根据上面的(1)至(6)中的任一项所述的图像处理装置，其中

所述处理单元将示出所述车辆的图像叠加在所述捕获图像上，以获得所述显示图像。

(8)根据上面的(7)所述的图像处理装置，其中

示出所述车辆的图像为计算机图形图像。

(9)根据上面的(7)或(8)所述的图像处理装置，其中

通过捕获所述车辆后侧的图像而获得的捕获图像为由附接到所述车辆后部的图像捕获设备捕获的捕获图像，并且

示出所述车辆的图像为车辆内部图像。

(10)根据上面的(7)或(8)所述的图像处理装置，其中

通过捕获所述车辆后侧的图像而获得的捕获图像包括由附接到所述车辆侧部的图像捕获设备捕获的捕获图像，并且

示出所述车辆的图像为车身图像。

(11)根据上面的(7)至(10)中的任一项所述的图像处理装置，其中

所述处理单元根据所述驾驶员的视点位置相对于参考视点位置的偏差来改变所述捕获图像与示出所述车辆的图像之间的叠加位置关系。

(12)根据上面的(11)所述的图像处理装置，其中

所述处理单元

将所述捕获图像和示出所述车辆的图像布置在三维空间中，以及

获得根据所述驾驶员的视点位置相对于参考视点位置的偏差而改变的虚拟视点位置，并且借助由所述虚拟视点位置确定的视野将所述捕获图像和示出所述车辆的图像转换至投影坐标系，以获得所述显示图像。

(13)根据上面的(12)所述的图像处理装置，其中

所述处理单元将所述捕获图像布置在存在于所述车辆后侧的预定对象的位置处。

(14)根据上面的(13)所述的图像处理装置，其中

所述预定对象为最接近所述车辆的对象。

(15)根据上面的(13)所述的图像处理装置，其中

所述预定对象为所述驾驶员正在看的对象。

(16)根据上面的(7)至(15)中的任一项所述的图像处理装置，其中

所述处理单元将示出所述车辆的图像叠加在所述捕获图像上，以允许透视所述捕获图像。

(17)一种图像处理方法，包括：

当驾驶员的视线位于包括显示单元的特定区域中时，基于通过捕获所车辆后侧的图像而获得的捕获图像，根据所述驾驶员的视点的运动来获得要显示在所述显示单元上的显示图像的步骤。

(18)一种图像处理系统，包括：

图像捕获单元，被配置为捕获车辆后侧的图像；

处理单元，被配置为：当驾驶员的视线位于包括显示单元的特定区域中时，基于通过用所述图像捕获单元捕获图像而获得的捕获图像，根据所述驾驶员的视点的运动来获得显示图像；和

显示单元，被配置为显示由所述处理单元获得的显示图像。

(19)一种用于使计算机用作以下装置的程序：

处理装置，其被配置为：当驾驶员的视线位于包括显示单元的特定区域中时，基于通过捕获车辆后侧的图像而获得的捕获图像，根据所述驾驶员的视点的运动来获得要显示在所述显示单元上的显示图像。

标号列表

10车辆

100车身(汽车身)

101车身开口(窗)

102内部对象

103后方图像捕获单元

103r右侧后方图像捕获单元

103l左侧后方图像捕获单元

104后方距离测量单元

104r右侧后方距离测量单元

104l左侧后方距离测量单元

105视点测量单元

106视线测量单元

107视频图像显示单元

107a虚拟视频图像显示单元

107r右侧后方视频图像显示单元

107l左侧后方视频图像显示单元

108用户操作单元

109、109s图像处理装置

111存储单元

112视锥体形状布置计算单元

113物体历史存储单元

114长期视点运动测量单元

115相机图像布置计算单元

116虚拟空间布置计算单元

117投影计算单元

117r投影计算单元(右)

117l投影计算单元(左)

118图像绘制单元

118r图像绘制单元(右)

118l图像绘制单元(左)