图像处理装置、图像处理方法和图像处理系统与流程

本技术涉及图像处理装置、图像处理方法和图像处理系统，并且更具体地涉及适于应用于车载电子镜的图像处理装置等。

背景技术：

常规上已经提出了车载电子镜，其中车辆的后视镜(室镜和左右门镜)用相机和显示器替换。专利文献1提出了用于通过使用驾驶员头部相对于显示器的相对位置来改变要在显示器上显示的相机图像的范围的技术，以便解决电子镜中的外观与实际镜子中的外观的差异。

引文列表

专利文献

专利文献1：日本专利申请公开号2013-216286

技术实现要素：

本发明要解决的问题

驾驶员视觉识别的重要信息之一是从运动视差获得的距离感。在移动视点时，人类根据体的透视位置从体变化的出现和消失现象中感知与体的距离以及各体之间的相对距离。专利文献1中提出的技术不能有助于上述感知。

作为实现提供适当运动视差的系统的常见方法，使用了从通过多个相机捕获的多视点视频图像生成各个对象的3d模型、并在虚拟空间中重新布置3d模型的技术。近年来，这种技术已经开始用于电视广播，诸如观看体育赛事。然而，一系列图像处理所需的计算量是巨大的，并且向实时且计算受限系统(诸如车载电子镜)的应用需要等待图像处理性能的进一步改善。

本技术的目的是容易地通过运动视差提供距离感。

解决问题的方案

本技术的概念是

一种图像处理装置，包括：

处理单元，被配置为通过在通过捕获上述车辆后侧的图像而获得的捕获图像上叠加示出车辆的图像，来获得显示图像。

在本技术中，处理单元在通过捕获车辆后侧的图像而获得的捕获图像上叠加示出车辆的图像，以获得显示图像。例如，示出车辆的图像可以是计算机图形图像。使用计算机图形图像允许在生成示出车辆的图像中更高的自由度。

例如，通过捕获车辆后侧的图像而获得的捕获图像可以是由附接到车辆后部的图像捕获设备捕获的捕获图像，并且示出车辆的图像可以是车辆内部图像。在该情况下，显示图像对应于室镜显示。此外，例如，通过捕获车辆后侧的图像而获得的捕获图像可以包括由附接到车辆侧部的图像捕获设备捕获的捕获图像，并且示出车辆的图像可以是车身图像。在该情况下，显示图像对应于侧视镜显示。

如上描述的，在本技术中，在通过捕获车辆后侧的图像而获得的捕获图像上叠加示出车辆的图像而获得显示图像。在该情况下，由于显示图像不仅根据通过捕获车辆后侧的图像而获得的捕获图像得出，而且通过在捕获图像上叠加显示车辆的图像来获得显示图像，因此可以容易地通过运动视差提供距离感。

注意，在本技术中，例如，处理单元可以根据驾驶员视点的运动改变捕获图像和示出车辆的图像之间的叠加位置关系。该配置可以生成与观看实际后视镜的运动视差接近的运动视差，并且可以辅助驾驶员对距离的感知。

在该情况下，例如，可以使处理单元将捕获图像和示出车辆的图像布置在三维空间中，获得根据驾驶员视点的运动改变的虚拟视点位置，并且根据由虚拟视点位置确定的视野将捕获图像和示出车辆的图像转换到投影坐标系中，以获取显示图像。该配置使得可以根据驾驶员视点的运动准确地改变捕获图像和示出车辆的图像之间的叠加位置关系。

然后，在该情况下，例如，可以使处理单元将捕获图像布置在车辆的后侧存在的预定物体的位置处。例如，预定物体可以是最接近车辆的物体，或者驾驶员看到的物体。通过以这种方式将捕获图像布置在车辆的后侧存在的预定物体的位置处，可以在三维空间中的适当位置处以适当尺寸布置预定物体，并且可以正确表达预定物体和示出车辆的图像之间发送的运动视差。

例如，可以使处理单元基于为每个驾驶员登记的参考视点位置和参考虚拟视点位置来获得根据驾驶员视点的运动变化的虚拟视点位置。该配置使得可以为每个驾驶员获得最佳显示图像。

此外，在本技术中，例如，可以使处理单元在捕获图像上叠加示出车辆的图像以允许透视捕获图像。即使通过叠加示出车辆的图像提供运动视差，该配置也可以防止后方可见性的损害。

附图说明

图1是示出作为实施例的车辆的部件布置的示例的图。

图2是示出车身(车体)、车身开口(窗)和车辆的内部物体的图。

图3是示出图像处理装置的配置示例的框图。

图4是示出虚拟空间中的部件布置的图。

图5是用于说明视点运动和虚拟视点运动的图。

图6是示出具有参考视野的电子镜中的外观的示例的图。

图7是示出初始化流程的示例的流程图。

图8是示出用于参考视点位置的登记流程的示例的流程图。

图9是示出视点检测区域和视线检测区域的示例的图。

图10是用于说明捕获的相机图像的图。

图11是示出相机图像的布置示例的图。

图12是示出由于相机图像的布置差异引起相机图像的外观变化的图。

图13是示出相机图像布置计算单元的处理流程的示例的流程图。

图14是示出相机图像布置计算单元的处理流程的另一示例的流程图。

图15是示出相机图像布置计算单元的处理流程的另一示例的流程图。

图16是示出虚拟空间中的相机图像布置的图。

图17是示出在虚拟空间中绘制所需的元素的布置示例的图。

图18是示出由图像绘制单元获得的显示图像的示例的图。

图19是示出图像处理装置中的正常操作流程的示例的流程图。

图20是示出由于视点运动引起的绘制物体运动的重叠程度的变化的图。

图21是示出绘制处理的变型的图。

图22是用于说明关于侧视镜的相关技术的图。

图23是用于说明替换侧视镜并应用本技术的电子镜的图。

图24是示出车辆的部件布置的示例的图。

图25是示出图像处理装置的配置示例的框图。

图26是示出虚拟空间中的相机图像的布置位置的图。

图27是示出在虚拟空间中绘制所需的元素的布置示例的图。

图28是示出计算机的硬件的配置示例的框图。

具体实施方式

在下文中，将描述用于实现本发明的实施例(下文中称为实施例)。请注意，将按以下顺序提供描述。

1、实施例

2、修改示例

<1、实施例>

[车辆的部件布置]

图1示出作为实施例的车辆10的部件布置的示例。车辆10具有车身(车体)100、车身开口(窗)101和诸如座椅的内部物体102。图2(a)示出车身(车体)100，图2(b)的阴影部分示出车身开口(窗)101，图2(c)示出诸如座椅的内部物体102。

此外，车辆10具有后方图像捕获单元103、后方距离测量单元104、视点测量单元105和视线测量单元106。后方图像捕获单元103由例如互补金属氧化物半导体(cmos)相机构成，并且附接到车辆10的后侧外壳以便在后侧捕获图像。后方距离测量单元104由例如飞行时间(tof)距离图像传感器构成，并且附接到车辆10的后侧外壳以便获取后方距离图像。

视点测量单元105检测驾驶员(用户)的视点位置。视点测量单元105在内部附接在车辆10的前侧。视点测量单元105包括例如cmos相机，并基于相机的捕获图像测量驾驶员眼睛的位置作为视点位置。注意，视点测量单元105可以基于例如红外相机捕获的图像来测量驾驶员的视点位置。视线测量单元106检测驾驶员的视线。视线测量单元106在内部附接在车辆10的前侧。视线测量单元106包括例如cmos相机，并基于驾驶员瞳孔的图像检测驾驶员的视线，即驾驶员正在看的地方。

此外，车辆10具有视频图像显示单元(显示器)107、用户操作单元108和图像处理装置109。视频图像显示单元107在内部附接在车辆10的前侧，代替常规室镜，并且具有大致矩形的显示表面。视频图像显示单元107包括液晶显示器(lcd)、有机电子发光(el)板等。

用户操作单元108构成用户接口，该用户接口接收驾驶员的各种操作。用户操作单元108包括例如布置在前面板上的机械操作按钮，并且还包括布置在视频图像显示单元107的屏幕上的触摸板等。视频图像显示单元107基本上显示车辆10的后方图像。然而，在提供触摸板功能的情况下，视频图像显示单元107还提供用于用户操作的用户界面(ui)，如有必要的话。

图像处理装置109执行用于获得要在视频图像显示单元107上显示的显示图像的处理。图像处理装置109布置在车辆10内的任何位置处，例如在如图所示的前面板部分中。图像处理装置109通过用3dcg构成车辆内部图像(座椅、头枕、窗、柱等)作为示出车辆10的图像，并将其叠加在通过后方图像捕获单元103获得的相机图像上而获得显示图像。以这种方式，显示图像不是仅用相机图像得出的，而是通过在相机图像上叠加车辆内部图像来获得显示图像。因此，可以通过运动视差容易地提供距离感。

在该情况下，图像处理装置109根据由视点测量单元105获得的驾驶员视点的运动来改变捕获图像和车辆内部图像之间的叠加位置关系。该配置允许驾驶员具有的运动视差与看实际室镜的运动视差接近，并且可以辅助驾驶员对距离的感知。

[图像处理装置的配置]

图3示出图像处理装置109的配置示例。图像处理装置109包括存储单元111、视截锥形状位置计算单元112、体历史存储单元113、相机图像布置计算单元115、虚拟空间布置计算单元116、投影计算单元117和图像绘制单元118。

如图4所示，除了要经受图像处理的部件之外，即车辆10的3dcg数据(车体、窗、内部等)，图像处理装置109还在虚拟空间中布置通过在后侧捕获图像而获得的相机图像，并放置基于虚拟视点位置和虚拟视频图像显示单元107a获得的视截锥。接着，在执行放大/缩小处理之后，根据需要，图像处理装置109将用视截锥生成的图像作为要在视频图像显示单元107上显示的显示图像。注意，在虚拟视频图像显示单元107a与视频图像显示单元107的尺寸相同的情况下，不需要放大/缩小处理。

在该情况下，如图5所示，图像处理装置109将由视点测量单元105测量的驾驶员的视点位置移动测量为相对于参考视点位置的相对运动。与此相对应，图像处理装置109从参考虚拟视点位置移动虚拟视点位置，以改变在虚拟视频图像显示单元107a上以及因此在视频图像显示单元107上显示的图像(视频图像)，并向驾驶员提供适当的运动视差。

返回图3，存储单元111存储关于为每个驾驶员登记的参考视野设置和参考视点位置的信息，以及车辆的3dcg数据。这里，参考视野是参考后方视野，并且表示具有由虚拟视点位置和虚拟视频图像显示单元107a形成的视截锥的视野。因此，关于参考视野设置的信息是关于参考虚拟视点位置和虚拟视频图像显示单元107a的位置和尺寸的信息。注意，还可以想到固定关于参考视野设置的所有信息。此外，还可以想到在关于参考视野设置的信息中仅固定虚拟视频图像显示单元107a的位置和大小。

作为参考视野的优选后方视野根据驾驶情况和个体而变化，但是其中以良好平衡的方式反映顶、底、左和右并且消失点略高于屏幕中心的视野被认为是一般参考视野。图6示出优选作为参考视野的后方视野的示例。在该示例中，在直线水平道路上行进的状态下消失点略高于屏幕中心。注意，在图6中，在垂直方向和水平方向上延伸的虚线的交叉点表示屏幕中心。

图像处理装置109在启动时(例如像接通电源)执行初始化流程，指定驾驶员(用户)，并从存储单元111读出与驾驶员对应的关于参考视点位置和参考视野设置的信息，以在随后的正常操作流程中使用该信息。驾驶员由例如来自用户操作单元108的操作指定。注意，尽管省略了详细描述，但是可以想到通过诸如面部认证、指纹认证或语音认证的认证方法自动指定驾驶员，这是众所周知的。

图7的流程图示出初始化流程的示例。在步骤st1中，图像处理装置109开始处理。接下来，在步骤st2中，图像处理装置109指定用户，即驾驶员。接下来，在步骤st3中，图像处理装置109从存储单元111读出关于指定驾驶员的参考视野设置的信息。接下来，在步骤st3中，图像处理装置109从存储单元111读出关于指定驾驶员的参考视点位置的信息。接着，图像处理装置109在步骤st5中结束初始化流程的一系列处理。

注意，可以新登记其关于参考视点位置和参考视野设置的信息未在存储单元111中登记的驾驶员。图8的流程图示出用于参考视点位置的登记流程的示例。

在步骤st11中，图像处理装置109开始处理。接下来，在步骤st12中，图像处理装置109基于视点测量单元105的检测结果获取驾驶员的当前视点位置，并且还基于视线测量单元106的检测结果获取驾驶员的当前视线位置。

接下来，在步骤st13中，图像处理装置109确定视点是否在视点检测区域(参见图9)内。当视点不在视点检测区域内时，图像处理装置109返回到步骤st12的处理。然而，当观点在视点检测区域内时，图像处理装置109在步骤st14中确定视线在视线检测区域(参见图9)中是否在视频图像显示单元107上。当视线不在视频图像显示单元107上时，图像处理装置109返回到步骤st12的处理。然而，当视线在视频图像显示单元107上时，图像处理装置109转移到步骤st15的处理。

在步骤st15中，图像处理装置109确定视线是否连续地存在于视频图像显示单元107上一段时间或更长的时间，这里是一秒或更长。当视线不是连续地存在于视频图像显示单元107上一秒或更长时，图像处理装置109返回到步骤st12的处理。然而，当视线连续地存在于视频图像显示单元107上一秒或更长时，在步骤st16中，图像处理装置109在存储单元111中将当前视点位置登记为与驾驶员相关联的参考视点位置。此后，在步骤st17中，图像处理装置109结束一系列处理。

参考视野设置的登记可以由在用户操作单元108上执行操作的驾驶员执行，用户操作单元108例如视频图像显示单元107的屏幕上布置的触摸板。在该情况下，调整视野设置(虚拟视点位置等)以在参考视点位置处获得后方视野的期望的外观，并且调整的视野设置在存储单元111中登记为与驾驶员相关联的参考视野设置。

注意，在上面的描述中已经示出，对于在存储单元111中未登记关于参考视点位置和参考视野设置的信息的驾驶员可以进行新登记。然而，即使在已经登记的情况下，可以通过类似处理更新登记的内容。

返回图3，基于从存储单元111读出的关于参考视点位置和参考视野设置的信息，以及由视点测量单元105检测的当前视点位置，视截锥形状位置计算单元112计算虚拟空间中视截锥的形状和位置。在该情况下，根据视点位置(当前视点位置)与参考视点位置的偏差(距离或方向上的偏差)获得(参见图5)偏离参考虚拟视点位置的虚拟视点位置(当前虚拟视点位置)。此外，基于该虚拟视点位置和虚拟视频图像显示单元107a的尺寸和位置，获得虚拟视点作为顶点的视截锥的位置和形状(参见图4)。

相机图像布置计算单元115基于通过后方距离测量单元104获取的后方距离图像、通过后方图像捕获单元103获取的后方相机图像、通过视截锥形状布置计算单元112获得的视截锥的形状和位置等，计算在虚拟空间中相机图像的布置距离。根据相机图像的该布置位置，在相机图像中显示并在车辆内部图像(车体、窗、内部)中出现和消失的对象的外观(运动视差)当驾驶员移动视点位置时有所不同。为了提供适当的运动视差，有必要将相机图像放置在虚拟空间中的适当位置。

如图10所示，通过在距离方向上压缩三维空间来获得由相机捕获的图像，并且在不同距离处的体(物体)a至d被捕获为尺寸与距离对应的二维图像。因此，将该相机图像放置在三维空间中的任何位置并不完全适当，并且仅针对在放置相机图像的距离处的体可以获得合适的位置。注意，实际上，在相机镜头的景深之外的图像是模糊的，但在这里其被认为是理想的泛焦相机。

图11示出相机图像放置在体a(图像布置a)的距离处的情况以及相机图像放置在体d(图像布置d)的距离处的情况。然后，图12(a)、图12(b)和图12(c)示出视野(对应于虚拟视点位置所确定的视截锥)分别向右、中心以及左移动的情况下的情景。

比较图12(a)、图12(b)和图12(c)，进入视野的相机图像的范围在图像布置a的情况和图像布置d的情况下是不同的。此外，可以看出相机图像中的移动范围根据视野的运动而不同。这是相机图像中的体的运动视差。通过将相机图像放置在感兴趣的体(物体)的距离处，可以正确地表达在体和车辆之间发生的运动视差。

应当注意，对于除感兴趣的体之外的体，由视点运动引起的运动视差和显示尺寸未被正确表达。为了为所有体提供适当的运动视差，有必要以3d在后侧捕获图像，并将所有体分离以放置在虚拟空间中。然而，这种处理需要大量的计算能力。

本技术具有通过放弃除感兴趣体之外的运动视差以相对少量的计算来提供感兴趣体的运动视差的特征。

为了通过有限的运动视差呈现有用的距离感，需要选择适合于向驾驶员呈现距离感的感兴趣体。以下是选择适合呈现距离感的体时要考虑的事件。

(1)车辆和体之间的距离(最接近车辆的体)。

(2)车辆与体之间距离的变化(无论是靠近还是离开)。

(3)体的尺寸(不需要注意尺寸小于一定水平的体。例如昆虫)。

(4)体是什么(汽车、自行车、人、墙或植物)。

(5)驾驶员正在看的东西(驾驶员正在看哪里)。

理想情况下，应考虑到所有这些来进行综合确定，但是即使仅使用一些事件也可以提供有用的系统。图13示出相机图像布置计算单元115的处理流程的示例。该处理示例考虑了上述事件(1)、(2)和(3)，并且可以通过仅使用通过后方距离测量单元104获取的距离图像来实现。

每次后方距离测量单元104获取距离图像时，相机图像布置计算单元115执行图13的流程图中所示的处理流程。注意，后方距离测量单元104以例如120fps的频率获取距离图像。

在步骤st21中，相机图像布置计算单元115在后方距离测量单元104获取距离图像的时刻开始处理。接下来，在步骤st22中，相机图像布置计算单元115从距离图像中提取体(物体)，并创建具有特定尺寸或更大的体的位置、形状、尺寸和距离的列表。接着，在步骤st23中，相机图像布置计算单元115将所创建的列表存储在体历史存储单元113中。

接下来，在步骤st24中，相机图像布置计算单元115浏览体历史存储单元113的历史数据，根据形状特征搜索相同的体，从列表中删除没有历史的体，并计算具有历史的体与车辆的相对速度以添加到列表。

接下来，在步骤st25中，相机图像布置计算单元115从创建的列表中排除偏离相机的有效图像捕获距离的体。这旨在去除相机失焦的距离处的体。如果即使距离可以被测量也不能捕获相机图像，则体对于相机图像布置距离不适合并且被排除。

接下来，在步骤st26中，相机图像布置计算单元115从列表中删除以一定速度或更快移动离开的体。接下来，在步骤st27中，相机图像布置计算单元115从列表中删除偏离视截锥及其附近的体。然后，在步骤st28中，相机图像布置计算单元115确定数据是否保留在列表中。

当数据保留在列表中时，在步骤st29中，相机图像布置计算单元115采用与最接近车辆的体的距离，作为相机图像布置距离。在步骤st29中的处理之后，相机图像布置计算单元115在步骤st30中结束一系列处理。

此外，当在步骤st28中没有数据保留在列表中时，在步骤st31中采用预定的默认距离作为相机图像布置距离。这里，默认距离是适合于布置远景的距离。在呈现距离感时，期望在计算能力允许下尽量远。然而实际上，例如，参考后方距离测量单元104的计算能力来确定默认距离。例如，默认距离对于光检测和测距(lidar)可以为约100米，对于tof传感器可以为约250米。在步骤st31中的处理之后，相机图像布置计算单元115在步骤st30中结束一系列处理。

图14的流程图示出相机图像布置计算单元115的处理流程的另一示例。该处理示例考虑了上述事件(1)、(3)和(4)，并且可以是除了由后方距离测量单元104获取的距离图像之外还通过使用由后方图像捕获单元103获得的相机图像来实现。

每次后方距离测量单元104获取距离图像时，相机图像布置计算单元115执行图14的流程图中所示的处理流程。注意，后方距离测量单元104以例如120fps的频率获取距离图像。

在步骤st61中，相机图像布置计算单元115在后方距离测量单元104获取距离图像的时刻开始处理。接下来，在步骤st62中，相机图像布置计算单元115从距离图像中提取体，并创建具有一定尺寸或更大的体的位置、形状、尺寸和距离的列表。

接下来，在步骤st63中，相机图像布置计算单元115从创建的列表中排除偏离相机的有效图像捕获距离的体。这旨在去除相机失焦的距离处的体。如果即使距离可以被测量也不能捕获相机图像，则体对于相机图像布置距离不合适并且被排除。

接下来，在步骤st64中，相机图像布置计算单元115通过图像识别来识别体，并且从列表中删除不适于图像布置的体(例如鸟、枯叶等)。接下来，在步骤st65中，相机图像布置计算单元115从列表中删除偏离视截锥及其附近的体。接着，在步骤st66中，相机图像布置计算单元115确定数据是否保留在列表中。

当数据保留在列表中时，在步骤st67中，相机图像布置计算单元115采用与最接近车辆的体的距离，作为相机图像布置距离。在步骤st67中的处理之后，相机图像布置计算单元115在步骤st68中结束一系列处理。

此外，当在步骤st66中没有数据保留在列表中时，在步骤st69中采用预定的默认距离(适于布置远景的距离)作为相机图像布置距离。在步骤st69中的处理之后，相机图像布置计算单元115在步骤st68中结束一系列处理。

图15的流程图示出相机图像布置计算单元115的处理流程的又一示例。该处理示例考虑了上述事件(1)、(3)和(5)，并且可以是除了由后方距离测量单元104获取的距离图像之外通过使用视线测量单元106的驾驶员(用户)的视线检测结果来实现。

每次后方距离测量单元104获取距离图像时，相机图像布置计算单元115执行图15的流程图中所示的处理流程。注意，后方距离测量单元104以例如120fps的频率获取距离图像。

在步骤st71中，相机图像布置计算单元115在后方距离测量单元104获取距离图像的时刻开始处理。接下来，在步骤st72中，相机图像布置计算单元115从距离图像中提取体，并创建具有一定尺寸或更大的体的位置、形状、尺寸和距离的列表。

接下来，在步骤st73中，相机图像布置计算单元115从创建的列表中排除偏离相机的有效图像捕获距离的体。接着，在步骤st74中，相机图像布置计算单元115确定数据是否保留在列表中。

当数据保留在列表中时，在步骤st75中，相机图像布置计算单元115获取由视线测量单元106获得的驾驶员(用户)的视线。接着，在步骤st76中，相机图像布置计算单元115采用最接近视线的位置处的主体的距离，作为相机图像布置距离。在步骤st76中的处理之后，相机图像布置计算单元115在步骤st77中结束一系列处理。

此外，当在步骤st74中没有数据保留在列表中时，在步骤st78中采用预定的默认距离(适于布置远景的距离)作为相机图像布置距离。在步骤st78中的处理之后，相机图像布置计算单元115在步骤st77中结束一系列处理。

图16示出在虚拟空间中相机图像的布置位置。通过用后方图像捕获单元103在预定图像捕获视角的捕获获得了相机图像。该相机图像在虚拟空间中被布置在与车辆10的后部分开由相机图像布置计算单元115计算的相机图像布置距离的位置处。

返回图3，虚拟空间布置计算单元116布置在虚拟空间中绘制所需的元素。也就是，虚拟空间布置计算单元116在虚拟空间中布置存储在存储单元111中的车辆10的3dcg数据(车体、窗、内部等)。虚拟空间布置计算单元116还在由相机图像布置计算单元115计算的相机图像布置距离的位置处布置相机图像，并且还基于由视截锥形状布置计算单元112计算的形状和位置来布置视截锥。图17示出在虚拟空间中绘制所需的元素的布置示例。

投影计算单元117将虚拟空间中的物体转换为投影图像，虚拟视频图像显示单元107a作为投影表面。图像绘制单元118执行用于在由投影计算单元117获得的投影图像上绘制相机图像的细节和3dcg数据的处理。图像绘制单元118还执行放大/缩小处理以便匹配图像尺寸与视频图像显示单元107的尺寸，以输出要提供给视频图像显示单元107的显示图像。图18示出由图像绘制单元118获得的显示图像的示例。

图19的流程图示出图像处理装置109中的正常操作流程的示例。在步骤st41中，图像处理装置109开始处理。接下来，在步骤st42中，图像处理装置109基于视点测量单元105的检测结果获取当前视点位置。

接下来，在步骤st43中，图像处理装置109将参考视点位置和当前视点位置之间的差转换为虚拟视点与参考虚拟视点位置的差，以计算虚拟视点位置(参见图5)。接下来，在步骤st44中，图像处理装置109根据虚拟视点位置计算视截锥的形状和位置。

接下来，在步骤st45中，图像处理装置109获取由后方图像捕获单元103获得的后方相机图像。接下来，在步骤st46中，图像处理装置109计算相机图像布置距离。

接下来，在步骤st47中，图像处理装置109在虚拟空间中布置车辆10的3dcg数据(车体、窗、内部等)、相机图像和视截锥，这些是绘制所需的元素(参见图17)。接下来，在步骤st48中，图像处理装置109将虚拟空间中的部件转换到投影坐标系，以获得投影图像。

接下来，在步骤st49中，图像处理装置109执行用于在投影图像上绘制相机图像的细节和3dcg数据的处理，以获得显示图像。接下来，在步骤st50中，图像处理装置109将显示图像输出到视频图像显示单元107。在步骤st50的处理之后，图像处理装置109返回到步骤st42的处理，并重复如上描述的类似处理。

图像处理装置109与视频图像显示单元107的更新频率(例如120fps)同步地连续执行上述正常操作流程的处理。因此，在显示在视频图像显示单元107上的显示图像中，根据视点的运动和后侧与感兴趣体之间的距离来适当地改变绘图目标物体的重叠程度，即可以获得适当的运动视差。接着，驾驶员(用户)可以相对于后方相机图像获得适当的距离感。

图20(a)、图20(b)和图20(c)示出在视频图像显示单元107上显示的显示图像的示例。图20(a)示出驾驶员的视点位置处于标准视点位置的情况，图20(b)示出驾驶员的视点位置从标准视点位置向右移动的情况，图20(c)示出驾驶员的视点位置从标准视点位置向左移动的情况。可以看出，在相机图像中车辆内部cg图像和体(汽车)之间的重叠程度根据驾驶员的视点位置改变。

注意，在真实镜子中，内部体和车身产生盲点，即无法看到后侧。然而，在本技术中，通过在绘图时透明地绘制或者通过隐藏一部分，也可以维持宽的后视野，同时通过运动时差辅助感知距离感。例如，图21(a)是作为内部体的后座椅被隐藏的状态。此外，图21(b)示出作为内部体的具有低透射率的车身和后座椅，图21(c)示出作为内部体的具有高透射率的车身和后座椅。

当然，如果盲点的出现不是问题，则可以用0％的透射率绘制内部体或车身以生成并显示像真实镜子的图像。

此外，内部体不限于片材等，并且可以通过在窗玻璃上绘制图案进一步强调距离感知。图21(d)示出在窗玻璃上提供水平线作为物体的状态。

如上所描述的，在图1所示的车辆10中，图3所示的图像处理装置109在通过从车辆10捕获后侧的图像所获得的相机图像上叠加车辆内部图像，并获得显示图像以显示在替代常规室镜而布置的视频图像显示单元107上。显示图像不仅是根据通过捕获车辆10的后侧的图像而获得的相机图像得出的，而且是通过在相机图像上叠加车辆内部图像来获得显示图像。因此，可以通过运动视差容易地提供距离感。

此外，在图1所示的车辆10中，图3所示的图像处理装置109根据驾驶员视点的运动改变相机图像和车辆内部图像之间的叠加位置关系。因此，可以生成与观看实际后视镜的运动视差接近的运动视差，并且可以辅助驾驶员对距离的感知。

此外，在图1所示的车辆10中，图3所示的图像处理装置109在三维空间中布置相机图像和示出车辆的图像，获得根据驾驶员的视点的运动改变的虚拟视点位置，并将相机图像和车辆内部图像转换到投影坐标系(视野由虚拟视点位置确定)，以获得显示图像。因此，可以根据驾驶员的视点的运动精确地改变相机图像和车辆内部图像之间的叠加位置关系。

此外，在图1所示的车辆10中，图3所示的图像处理装置109在车辆10的后侧存在的感兴趣体(物体)的位置处布置相机图像，以获得显示图像。因此，感兴趣体可以在三维空间中的适当位置处以适当的尺寸布置，并且可以正确地表达在体和车辆内部图像之间发生的运动视差。

注意，本说明书中描述的效果仅仅是示例并且并非限制，可以存在附加的效果。

用于车辆的电子镜具有以下优势，即能够提供不受装载行李影响的后视野，并且与实际镜子相比具有更少的盲点。然而，电子镜具有难以直观地感知距离感的问题。人类感知距离的重要元素的实例包括双目视差、会聚角度、调节和运动视差。

其中，运动视差是这样一种现象，其中不同距离的两个或更多的体响应于视点的运动而出现和消失。考虑到在上面描述的专利文献1描述的技术中仅引起相机图像的显示部分的运动，出现和消失的变化是不足的，并且用运动视差呈现距离感的效果非常弱。本技术可以提供电子镜，其通过在后方相机图像上叠加和绘制车辆内部中的物体并向它们添加运动视差积极地提供距离感，并且对于驾驶员(用户)直观且熟悉。

<2、修改示例>

注意，上述实施例示出了本技术应用于替代车辆室镜的电子镜的示例。然而，本技术也可以应用于替代车辆侧视镜的电子镜。此外，通过应用本技术，不仅是用于车辆的电子镜，可以由个人使用的电子镜也可以呈现接近实际镜子的距离感的距离感。类似地，代替电子镜，本技术可以应用于电子窗，假设也由个人使用。

将描述本技术应用于电子镜的情况，其中电子镜替代车辆的侧视镜。图22(a)示出在使用常规侧视镜或替代常规侧视镜的电子镜的情况下盲点的范围的示例。图22(b)示出在常规侧视镜中反射的图像的示例。在该情况下，后侧的体的距离感可以通过后侧的体的尺寸和与所示车身的运动视差的差异来获得。图22(c)示出替代常规侧视镜的电子镜的显示图像的示例。在该情况下，由于即使视点移动也不出现运动视差，因此难以如真实镜子那样获得距离感。

图23(a)示出使用替代侧视镜并且应用本技术的电子镜的情况下盲点的范围的示例。驾驶员还可以视觉上识别自身车辆后面，这对于常规侧视镜或替代常规侧视镜的电子镜是盲点。图23(b)和图23(c)示出替代侧视镜并且应用本技术的电子镜的显示图像的示例。在该情况下，由于自身车身通过3dcg叠加并绘制，因此可以用运动视差提供距离感。此外，如图23(c)所示，透明地叠加自身车身允许自身车辆后面的视觉识别。

图24示出车辆10的部件布置的示例。在图24中，与图1中相对应的部分具有相同的附图标记，并且将适当地省略其详细描述。车辆10具有车身(车体)100、车身开口(窗)101和诸如座椅的内部物体102。此外，车辆10具有后方图像捕获单元103、后方距离测量单元104、视点测量单元105和视线测量单元106。

此外，车辆10具有右侧后方图像捕获单元103r、右侧后方距离测量单元104r、左侧后方图像捕获单元103l和左侧后方距离测量单元104l。右侧后方图像捕获单元103r和左侧后方图像捕获单元103l均由例如cmos相机构成，并且附接到例如车辆10的常规侧视镜位置以便捕获后方图像。此外，右侧后方距离测量单元104r和左侧后方距离测量单元104l均由例如tof距离图像传感器构成，并且附接到例如车辆10的常规侧视镜位置以便获取后方距离图像。

此外，车辆10具有右侧后方视频图像显示单元(显示器)107r、左侧后方视频图像显示单元(显示器)107l、用户操作单元108和图像处理装置109s。右侧后方视频图像显示单元107r和左侧后方视频图像显示单元107l均由lcd或有机el面板等构成，附接到车辆10前侧的右侧和左侧内部位置，并且具有基本矩形的显示表面。

用户操作单元108构成用户接口，该用户接口接收驾驶员的各种操作。用户操作单元108包括例如布置在前面板上的机械操作按钮，并且还包括布置在右侧后方视频图像显示单元107r或左侧后方视频图像显示单元107l的屏幕上的触摸板等。

图像处理装置109s执行用于获得要在右侧后方视频图像显示单元107r和左侧后方视频图像显示单元107l上显示的显示图像的处理。图像处理装置109s布置在车辆10内的任何位置处，例如在如图所示的前面板部分中。图像处理装置109s通过用3dcg构成车身(车体)作为示出车辆10的图像并将其叠加在通过用后方图像捕获单元103、右侧后方图像捕获单元103r和左侧后方图像捕获单元103l捕获图像获得的相机图像上。

以这种方式，显示图像不是仅使用相机图像作出的，而是通过在相机图像上叠加车身图像来获得显示图像。因此，可以通过运动视差容易地提供距离感。此外，通过透明地叠加车体图像，驾驶员(用户)可以在视觉上识别隐藏在自身车辆后面的不可见体。

图25示出图像处理装置109s的配置示例。在该图25中，与图3中对应的部分具有相同的附图标记，并且将适当地省略其详细描述。图像处理装置109s包括存储单元111、视截锥形状位置计算单元112、体历史存储单元113、相机图像布置计算单元115、虚拟空间布置计算单元116、投影计算单元(右)117r、投影计算单元(左)117l、图像绘制单元(右)118r和图像绘制单元(左)118l。

图像处理装置109s在虚拟空间中布置通过捕获后侧上的图像而获得的相机图像，除了要处理的分量，即3dcg数据(车身等)然后，车辆10。接着，图像处理装置109s基于与右侧后方显示器相关的虚拟视频图像显示单元和虚拟视点位置获得视截锥，根据需要对用该视截锥生成的图像执行放大/缩小处理，然后输出为右侧后方显示图像以显示在右侧后方视频图像显示单元107r上。

此外，类似地，图像处理装置109s基于与左侧后方显示器相关的虚拟视频图像显示单元和虚拟视点位置获得视截锥，根据需要对用该视截锥生成的图像执行放大/缩小处理，然后输出为左侧后方显示图像以显示在左侧后方视频图像显示单元107l上。

在该情况下，图像处理装置109s将由视点测量单元105测量的驾驶员的视点位置的移动，测量为相对于参考视点位置的相对运动。与此相对应，图像处理装置109s从参考虚拟视点位置移动虚拟视点位置，以改变在右侧后方视频图像显示单元107r和左侧后方视频图像显示单元107l上显示的图像(视频图像)，并为驾驶员提供适当的运动视差。

存储单元111存储关于与右侧后方显示器和左侧后方显示器相关的参考视野设置和参考视点位置的信息(为每个驾驶员登记)，以及车辆的3dcg数据。视截锥形状位置计算单元112基于从存储单元111读出的关于参考视野设置和参考视点位置的信息以及由视点测量单元105检测的当前视点位置，在虚拟空间中对于右侧后方显示器和左侧后方显示器计算两个视截锥的形状和位置。

相机图像布置计算单元115基于以下计算在虚拟空间中相机图像的布置距离：由右侧后方距离测量单元104r、后方距离测量单元104和左侧后方距离测量单元104l获取的后侧距离图像；由右侧后方图像捕获单元103r、后方图像捕获单元103和左侧后方图像捕获单元103l获取的后方相机图像；由视截锥形状布置计算单元112获得的对于右侧后方显示器和左侧后方显示器的两个视截锥的形状和位置；等等。

根据相机图像的该布置位置，在相机图像中示出并且在车身(车体)中出现和消失的对象的外观(运动视差)当驾驶员移动视点位置时有所不同。在该情况下，为了允许为感兴趣的体提供适当的运动视差，将与体的距离计算为布置距离。这里，还假设其中感兴趣主对于右侧后方显示器和左侧后方显示器不同的情况。在该情况下，对于右侧后方显示器和左侧后方显示器，相机图像的布置距离被计算为不同值。

图26示出虚拟空间中相机图像的布置位置。通过在预定图像捕获视角用右侧后方图像捕获单元103r、后方图像捕获单元103和左侧后方图像捕获单元103l捕获图像，获得了相机图像。该相机图像在虚拟空间中布置在与车辆10的后部分开由相机图像布置计算单元115计算的相机图像布置距离的位置处。

虚拟空间布置计算单元116布置在虚拟空间中绘制所需的元素。也就是，虚拟空间布置计算单元116在虚拟空间中布置在存储单元111中所存储的车辆10的3dcg数据(车体等)。虚拟空间布置计算单元116还在由相机图像布置计算单元115计算的相机图像布置距离的位置处布置相机图像，并且还基于由视截锥形状布置计算单元112计算的形状和位置布置用于右侧方后显示器和左侧后方显示器的两个视截锥。图27示出在虚拟空间中绘制所需的元素的布置示例。

返回图25，投影计算单元(右)117r将虚拟空间中的对象转换为投影图像，在右侧的虚拟视频图像显示单元107a作为投影表面。图像绘制单元(右)118r执行用于在由投影计算单元117r获得的投影图像上绘制3dcg数据和相机图像的细节的处理。图像绘制单元(右)118r进一步执行用于将图像的尺寸与右侧后方视频图像显示单元107r的尺寸匹配的放大/缩小处理，以输出要提供给右侧后方视频图像显示单元107r的显示图像。

此外，投影计算单元(左)117l将虚拟空间中的物体转换为投影图像，在左侧的虚拟视频图像显示单元107a作为投影表面。图像绘制单元(左)118l执行用于在由投影计算单元117l获得的投影图像上绘制3dcg数据和相机图像的细节的处理。图像绘制单元(左)118l进一步执行用于将图像的尺寸与左侧后方视频图像显示单元107l的尺寸匹配的放大/缩小处理，以输出要提供给左侧后方视频图像显示单元107l的显示图像。

由于图像处理装置109s中的基本处理流程类似于上述实施例中的图像处理装置109的处理流程，除了分开处理左右显示单元以外，因此这里将省略其描述。

注意，上述图像处理装置109和109s中的一系列处理可以由硬件执行或者也由软件执行。在通过软件执行一系列处理的情况下，配置软件的程序安装在计算机中。这里，计算机的示例包括例如以专用硬件构造的计算机，可以通过安装有各种程序来执行各种功能的通用个人计算机等。

图28是示出根据程序执行上述一系列处理的计算机400的硬件的配置示例的框图。

在计算机400中，中央处理单元(cpu)401、只读存储器(rom)402和随机存取存储器(ram)403由总线404相互连接。

总线404还与输入/输出接口405连接。输入单元406、输出单元407、记录单元408、通信单元409和驱动器410连接到输入/输出接口405。

输入单元406包括输入开关、按钮、麦克风、图像传感器等。输出单元407包括显示器、扬声器等。记录单元408包括硬盘、非易失性存储器等。通信单元409包括网络接口等。驱动器410驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质411。

在如上描述配置的计算机400中，例如通过cpu401经输入/输出接口405和总线404将记录在记录单元408中的程序加载到ram403中并执行，来执行上述一系列处理。

可以通过在例如可移除介质411上被记录为包装介质等来提供由计算机400(cpu401)执行的程序。此外，该程序可以通过诸如局域网、因特网或数字卫星广播的有线或无线传输介质提供。

在计算机中，通过将可移除介质411附接到驱动器410，可以经由输入/输出接口405将程序安装在记录单元408中。此外，可以通过通信单元409经有线或无线传输介质接收程序，并安装在记录单元408中。此外，程序可以预先安装在rom402和记录单元408中。

注意，由计算机执行的程序可以是根据本说明书中描述的顺序以时间序列执行处理的程序，或者可以是并行或者在必要时间(例如当做出调用时)执行处理的程序。

此外，尽管已经参考附图详细描述了本公开的优选实施例，但是本公开的技术范围不限于这种示例。显然，具有本公开技术领域中的普通技术的人员可以在权利要求中描述的技术理念的范围内得到各种变型或修改，并且自然地理解，这些也落入本公开技术范围内。

此外，本技术还可以具有以下配置。

(1)一种图像处理装置，包括：

处理单元，被配置为通过在捕获上述车辆后侧的图像而获得的捕获图像上叠加示出车辆的图像来获得显示图像。

(2)根据上述(1)的图像处理装置，其中

示出上述车辆的图像是计算机图形图像。

(3)根据上述(1)或(2)的图像处理装置，其中

通过捕获上述车辆后侧的图像而获得的捕获图像是由附接到上述车辆后部的图像捕获设备捕获的捕获图像，以及

示出上述车辆的图像是车辆内部图像。

(4)根据上述(1)或(2)的图像处理装置，其中

通过捕获上述车辆后侧上的图像而获得的捕获图像包括由附接到上述车辆侧部的图像捕获设备捕获的捕获图像，以及

示出上述车辆的图像是车身图像。

(5)根据上述(1)至(4)中任一项的图像处理装置，其中

处理单元根据驾驶员的视点的运动改变上述捕获图像和示出上述车辆的图像之间的叠加位置关系。

(6)根据上述(5)的图像处理装置，其中

上述处理单元

在三维空间中布置上述捕获图像和示出上述车辆的图像，以及

获得根据上述驾驶员的视点的运动改变的虚拟视点位置，并根据由虚拟视点位置确定的视野将上述捕获图像和示出上述车辆的图像转换到投影坐标系中，以获得上述显示图像。

(7)根据上述(6)的图像处理装置，其中

上述处理单元将上述捕获图像布置在上述车辆的后侧存在的预定物体的位置处。

(8)根据上述(7)的图像处理装置，其中

上述预定物体是最接近上述车辆的物体。

(9)根据上述(7)的图像处理装置，其中

上述预定物体是由上述驾驶员看到的物体。

(10)根据上述(6)至(9)中任一项的图像处理装置，其中

上述处理单元基于为每个驾驶员登记的参考视点位置和参考虚拟视点位置获得根据上述驾驶员的视点的运动而改变的虚拟视点位置。

(11)根据上述(1)至(10)中任一项的图像处理装置，其中

处理单元在上述捕获图像上叠加示出上述车辆的图像以使得能够透视捕获图像。

(12)一种图像处理方法，包括：

通过在捕获上述车辆后侧的图像而获得的捕获图像上叠加示出车辆的图像来获得显示图像的过程。

(13)一种图像处理系统，包括：

图像捕获设备，被配置为捕获车辆后侧的图像；

处理单元，被配置为通过在通过用上述图像捕获设备的捕获而获得的捕获图像上叠加示出上述车辆的图像来获得显示图像；以及

显示设备，被配置为显示由上述处理单元获得的显示图像。

(14)一种使计算机如下工作的程序：

处理部件，被配置为通过在捕获上述车辆后侧的图像而获得的捕获图像上叠加示出车辆的图像来获得显示图像。

附图标记列表

10车辆

100车身(车体)

101车身开口(窗)

102内部物体

103后方图像捕获单元

103r右侧后方图像捕获单元

103l左侧后方图像捕获单元

104后方距离测量单元

104r右侧后方距离测量单元

104l左侧后方距离测量单元

105视点测量单元

106视线测量单元

107视频图像显示单元

107a虚拟视频图像显示单元

107r右侧后方视频图像显示单元

107l左侧后方视频图像显示单元

108用户操作单元

109、109s图像处理装置

111存储单元

112视截锥形状布置计算单元

113体历史存储单元

115相机图像布置计算单元

116虚拟空间布置计算单元

117投影计算单元

117r投影计算单元(右)

117l投影计算单元(左)

118图像绘制单元

118r图像绘制单元(右)

118l图像绘制单元(左)