图像处理装置、图像处理方法和车载设备的制造方法
【专利摘要】根据实施例的一方面的图像处理装置包括：图像生成单元，所述图像生成单元基于图像采集单元的被采集图像而生成位于虚拟视点处的图像；和图像处理单元，所述图像处理单元生成其中用于合成的图像被显示在位于虚拟视点处的图像上的图像。当位于虚拟视点处的图像是视点位置正在移动的同时位于虚拟视点的视点位置处的图像时，图像处理单元执行用于降低用于合成的图像的可见度的处理。
【专利说明】
图像处理装置、图像处理方法和车载设备
技术领域
[0001]本文中讨论的实施例涉及图像处理装置，图像处理方法和车载设备。
【背景技术】
[0002]具有用于生成虚拟视点图像并且在显示器装置上显示虚拟视点图像的已知的常规技术。本文中，虚拟视点图像是基于由位于车辆的预定位置处的图像采集机构采集的车辆外围图像从虚拟视点观察到的图像(例如，如日本特开专利公开号2011-244239所示)。
[0003]然而，常规技术仅显示虚拟视点图像。如果可以使用虚拟视点图像更适当地进行显示，则认为改进了其方便性。
[0004]已经鉴于上述问题而实现本发明，并且本发明的目的是提供图像处理装置、图像处理方法和车载设备，其中可以使用虚拟视点图像更适当地进行显示。
【发明内容】
[0005]根据实施例的一个方面，图像处理装置包括图像生成单元和图像处理单元。图像生成单元基于图像采集单元的被采集图像而生成位于虚拟视点处的图像。图像处理单元生成图像，其中用于合成的图像被显示在位于虚拟视点处的图像上。当位于虚拟视点处的图像是视点位置正在移动的同时位于虚拟视点的视点位置处的图像时，图像处理单元执行用于降低用于合成的图像的可见度的处理。
[0006]根据实施例的一个方面，可以提供图像处理装置、图像处理方法和车载设备，其中可以使用虚拟视点图像更适当地进行显示。
【附图说明】
[0007]当联系附图考虑时，通过参照以下详细描述，更好理解并且将很容易地获得对实施例的更完整的认识和其许多随附的优点，其中:
[0008]图1A和IB是描述根据实施例的图像处理方法的示意图；
[0009]图2是图示根据实施例的车载设备的构造示例的示意图；
[0010]图3是图示图像采集装置的布置示例的示意图；
[0011]图4是描述当导向标图像用作用于合成的图像时由合成单元执行的合成处理的示意图。
[0012]图5是图示当视点从作为开始点的视点位置连续地移动到作为结束点的视点位置时的视点位置的示例的示意图；
[0013]图6是描述当虚拟视点被移动时由图像处理单元执行的处理细节的示意图；并且
[0014]图7是图示由图像处理装置执行的图像处理的流程图。
【具体实施方式】
[0015]在下文，将参照附图具体地描述根据本申请的图像处理装置、图像处理方法和车载设备的实施例。此外，本发明不受限于以下实施例。
[0016]1.图像处理方法
[0017]图1A和IB是描述根据实施例的图像处理方法的示意图。图像处理方法例如通过安装在车辆上的车载图像处理装置(在下文，称为图像处理装置)被执行。
[0018]如图1A所示，根据实施例的图像处理装置基于由图像采集装置(未示出:图像采集单元的示例)采集的图像(在下文，称为被采集图像)生成从虚拟视点观察到的图像(在下文，称为虚拟视点图像)，图像采集装置被设置在车辆的预定位置处以采集车辆的外围图像。
[0019]此外，图像处理装置生成通过合成虚拟视点图像和用于合成的图像而获得的合成图像，并且将合成图像输出到显示装置(显示单元的示例)上，以在显示装置上显示如下的图像，在该图像中，用于合成的图像被显示在虚拟视点图像上。
[0020]用于合成的图像是用作用于驾驶辅助的指标的图像。例如，用于合成的图像是导向标图像、警告图像、指示停车位的图像等。用于合成的图像例如通过图像生成装置(未示出)而生成，并且输出到图像处理装置。
[0021]导向标图像例如是表示车辆的行进路径的导向标图像，其中基于由设置在车辆中的舵角传感器(未示出)而检测到的舵角等来预测行进路径。警告图像例如是用于当障碍存在于车辆后部时向乘客警告障碍位置的图像。例如，警告图像是包封障碍的包封线的图像。在这种情况下，因为导向标、障碍或停车位的位置根据虚拟视点的改变而改变，所以图像生成装置根据虚拟视点的改变而生成用于合成的图像。
[0022]当用于合成的图像与其中虚拟视点的视点位置正在移动的虚拟视点图像进行合成时，在连续地改变视点位置的同时，图像处理装置一起显示用于合成的图像和虚拟视点图像。因此，因为车辆的乘客视觉上分别地识别虚拟视点图像和用于合成的图像的改变，乘客可能不会获取图像并且也不能获取距离感等。
[0023]当虚拟视点图像是位于视点位置处的图像而同时虚拟视点正在移动时，图像处理装置执行用于降低用于合成的图像的可见度的处理。结果，车辆的乘客可以容易地获取图像、距离感等。
[0024]例如，如图1B所示，当虚拟视点图像是在虚拟视点移动之前和之后位于视点位置A和B处的图像时，图像处理装置向显示装置输出图像，其中用于合成的图像被显示在虚拟视点图像上。另一方面，当虚拟视点图像是位于视点位置处的图像而同时虚拟视点正在移动时，图像处理装置向显示装置输出其中用于合成的图像未显示在虚拟视点图像上的图像。
[0025]用于降低用于合成的图像的可见度的处理不受限于如下的处理:在没有合成用于合成的图像的情况下，仅仅将虚拟视点图像向显示装置输出以零度化用于合成的图像的可见度。例如，用于降低用于合成的图像的可见度的处理包括如下的处理:向显示装置输出通过合成虚拟视点图像和具有较高透射率的用于合成的图像而获得的图像。在下文，将具体地描述在没有合成用于合成的图像的情况下用于向显示装置输出虚拟视点图像的处理的示例。
[0026]2.车载设备的构造
[0027]图2是图示根据实施例的车载设备100的构造示例的示意图。如图2所示，车载设备100包括图像采集装置I (图像采集单元的示例)、图像控制装置2、图像处理装置3和显示装置4(显示单元的示例)。本文中，图像处理装置3可以具有例如包括图像控制装置2和显示装置4中的至少一个的构造。
[0028]图像采集装置I包括例如图像采集元件，诸如电荷耦合装置(CCD)和互补金属氧化物半导体(CMOS)。图像采集装置I向图像处理装置3输出被采集图像，所述被采集图像是通过图像采集元件被被采集移动图像。例如，如图3所示，图像采集装置I被布置在车辆5的后部中以采集车辆5的后部图像。图3是图示图像采集装置I的布置示例的示意图。应该说明的是，图像采集装置I的布置和图像采集装置的数量不受限于图3图示的示例。
[0029]图像控制装置2包括用于合成的图像生成单元6、图像控制单元7和操作单元8。用于合成的图像生成单元6生成和输出用于合成的图像，以用于在虚拟视点图像上执行色度键合成。用于合成的图像是用作用于驾驶辅助的指标的图像。例如，用于合成的图像是导向标图像和警告图像。
[0030]例如，当生成导向标图像时，用于合成的图像生成单元6需要诸如由设置在车辆中的舵角传感器(未示出)检测到的舵角的信息，并且基于舵角等来预测车辆的行进路径。用于合成的图像生成单元6生成表示预测的行进路径的导向标的图像。
[0031]例如，当生成警告图像时，用于合成的图像生成单元6分析图像采集装置I的被采集图像，并且检测位于车辆后方的障碍。用于合成的图像生成单元6生成警告图像以警告车辆的乘客存在障碍。例如，警告图像是用于警告乘客障碍的位置的图像，或是包封障碍的包封线的图像。
[0032]图像控制单元7例如基于到操作单元8的输入操作而控制图像处理装置3和用于合成的图像生成单元6。当通过操作单元8的输入操作而具有对虚拟视点的改变的请求时，图像控制单元7对虚拟视点执行改变处理。
[0033]例如，当具有从目前的虚拟视点的视点位置(在下文，称为视点位置A)到改变之后的目的地视点位置(在下文，称为视点位置B)的改变请求时，图像控制单元7向用于合成的图像生成单元6和图像处理装置3输出关于视点位置B的信息。
[0034]用于合成的图像生成单元6基于从图像控制单元7输出的关于视点位置B的信息生成与视点位置B对应的用于合成的图像，并且向图像处理装置3输出用于合成的图像。此外，基于从图像控制装置2输出的关于视点位置B的信息，图像处理装置3生成虚拟视点图像，所述虚拟视点图像是从一直到视点位置B的多个连续视点位置观察到的图像。
[0035]图像处理装置3从图像采集装置I获得被采集图像并且还从图像控制装置2获得用于合成的图像。图像处理装置3基于获得的被采集图像而生成位于虚拟视点处的图像(在下文称为虚拟视点图像)，执行关于虚拟视点图像和用于合成的图像的色度键合成，并且向显示装置4输出生成的合成图像。
[0036]显示装置4包括液晶显示器(IXD)，并且基于从图像处理装置3获得的合成图像和虚拟视点图像的数据而显示合成图像和虚拟视点图像。
[0037]3.图像处理装置3的构造
[0038]如图2所示，图像处理装置3包括图像生成单元11、图像处理单元12和特性管理单元13。特性管理单元13可以被分别设置在图像生成单元11和图像处理单元12中。
[0039]图像生成单元11对从图像采集装置I输出的被采集图像执行坐标变换处理以生成作为从虚拟视点观察到的图像的虚拟视点图像，并且向图像处理单元12输出虚拟视点图像。图像处理单元12从图像控制装置2获得用于合成的图像并且将用于合成的图像与虚拟视点图像进行合成，并且然后向显示装置4输出合成图像。特性管理单元13管理图像生成单元11和图像处理单元12的特性。
[0040]图像处理装置3是由集成电路执行的装置，所述集成电路诸如专用集成电路(ASIC)和现场可编程门阵列(FPGA)。可选地，图像处理装置3可以具有如下的构造:该构造包括诸如CPU和MPU等的处理器和诸如半导体存储装置等的存储器，所述半导体存储装置诸如为随机存取存储器(RAM)和闪存存储器，其中处理器执行存储在存储器中的程序以实现所描述单元的功能。
[0041]图像生成单元11包括采集图像获得单元21和虚拟视点图像生成单元22。采集图像获得单元21从图像采集装置I获得被采集图像。例如，图像采集装置I通过使用诸如RGB信号和分量信号的视频信号向图像处理装置3输出被采集图像的数据(在下文，称为被采集图像数据)。
[0042]一旦从图像采集装置I获得被采集图像数据，采集图像获得单元21向虚拟视点图像生成单元22输出获得的被采集图像数据。本文中，被采集图像数据是与由图像采集装置I采集的移动图像的每帧的图像对应的数据。被采集图像数据以来自采集图像获得单元21的获得的移动图像的帧为单位向虚拟视点图像生成单元22连续地输出。
[0043]虚拟视点图像生成单元22对被采集图像执行坐标变换变换，以生成为从虚拟视点观察到的图像的虚拟视点图像，并且向合成单元35输出虚拟视点图像的数据(在下文，称为虚拟视点图像数据)。
[0044]在坐标变换处理中，虚拟视点图像生成单元22例如在预定投影平面上投影(映射)被采集图像，并且在被投影在预定投影平面上的多个被采集图像中，将位于从虚拟视点的预定观察角度中的区域内的图像设置为虚拟视点图像。
[0045]预定投影平面可以例如是虚拟三维空间中的三维弧形表面，或是图1A图示的路面。此外，可以例如通过将其中图像采集装置I作为原点坐标的被采集图像的坐标转换为投影平面被用作参照的坐标系，执行被采集图像在预定投影平面上的投影。
[0046]图像处理单元12包括用于合成的图像获得单元31、压缩单元32、存储器33、解压单元34、合成单元35、图像质量调节处理单元36和图像输出单元37。
[0047]用于合成的图像获得单元31从图像控制装置2获得用于合成的图像。图像控制装置2通过例如使用诸如RGB信号和分量信号的视频信号而向图像处理装置输出用于合成的图像的数据(在下文，称为用于合成的图像数据)。一旦从图像控制装置2获得用于合成的图像数据，则用于合成的图像获得单元31向压缩单元32输出获得的用于合成的图像数据。
[0048]压缩单元32通过使用预定压缩处理以压缩用于合成的图像数据，并且在存储器33中存储被压缩的用于合成的图像数据(在下文，称为压缩图像数据)。例如，当之前指定的颜色被用于所述用于合成的图像数据时，压缩单元32可以通过使用颜色查找表(CLUT)执行数据压缩，并且可以通过使用运行长度方法以进一步压缩被压缩的数据。应该说明的是，压缩单元32可以执行其他压缩处理以代替CLUT和运行长度方法。
[0049]解压单元34执行用于将存储在存储器33中的压缩图像数据解压成用于合成的图像数据的处理。例如，解压单元34通过使用运行长度方法对存储在存储器33中的压缩图像数据执行逆变换，并且通过使用CLUT进一步地执行逆变换，以将压缩图像数据解压成用于合成的图像数据。
[0050]基于从图像生成单元11获得的虚拟视点图像数据和从解压单元34获得的用于合成的图像数据，合成单元35生成合成图像的数据(在下文，称为合成图像数据)，其中通过使用色度键合成而在虚拟视点图像上合成用于合成的图像而获得的该合成图像。例如，在构成用于合成的图像的多个像素中，合成单元35将像素的与之前指定的颜色(例如，蓝色)相对应的颜色设定为透明颜色，、，并且然后在虚拟视点图像上合成用于合成的图像。
[0051]合成单元35例如根据来自特性管理单元13的请求而开启或关闭用于合成虚拟视点图像和用于合成的图像的合成功能。当合成功能被开启时，合成单元35在虚拟视点图像上合成用于合成的图像。当合成功能被关闭时，合成单元35不合成虚拟视点图像和用于合成的图像，并且向图像质量调节处理单元36输出从图像生成单元11获得的虚拟视点图像数据。
[0052]图4是描述当导向标图像被用作所述用于合成的图像时由合成单元35执行的合成处理的示意图。在图4图示的示例中，合成单元35生成通过在虚拟视点图像上合成导向标图像而获得的合成图像。通过使用合成图像，车辆的乘客可以看到导向标所叠加于的虚拟视点图像，并且因而可以更适当地驾驶车辆。
[0053]图像质量调节处理单元36执行用于调节从合成单元35输出的图像的图像质量的处理，并且在图像质量调节处理完成之后向图像输出单元37输出图像的数据。图像输出单元37将从图像质量调节处理单元36输出的图像数据转换成可以被显示装置4接收的视频信号格式，并且向显示装置4输出被转换的数据。
[0054]基于关于从图像控制装置2输出的作为移动目的地的视点位置B的信息，特性管理单元13向图像生成单元11输出一直到移动后视点位置B的多个连续视点位置(在下文，称为CgljCn:n是自然数)。结果，图像生成单元11连续地生成和输出位于移动前视点位置A和移动后视点位置B之间的多个连续视点位置CgIjCn处(在下文，可以共同地称为视点位置C)的虚拟视点图像。
[0055]图5是描述当视点从视点位置A连续地移动到视点位置B时视点位置A、CgljCdPB的示意图。在图5中，仅视点位置C1到Cn中的视点位置Cn/3和C2n/3被图示以用于叙述目的。在图5图示的示例中，在视点从视点位置A移动到视点位置B的情况下，视点位置变得更高。
[0056]视点位置A和B之间的视点位置C的数量是位于在视点位置A和B之间连续地移动的视点位置处的虚拟视点图像的数量，其中车辆的乘客可以在视觉上例如以无缝方式识别虚拟视点图像。可选地，视点位置C的数量可以是能够在视觉上以逐帧方式被识别的虚拟视点图像的数量。
[0057]返回图2，特性管理单元13将被随后描述。特性管理单元13可以控制通过在虚拟视点图像上显示用于合成的图像而获得的图像是否被从图像处理单元12输出到显示装置4，或在其上没有显示用于合成的图像的虚拟视点图像是否被从图像处理单元12输出到显示装置4。
[0058]当位于视点位置A和B处的虚拟视点图像被从图像生成单元11输出时，特性管理单元13促使图像处理单元12生成和输出通过在虚拟视点图像上合成用于合成的图像而获得的图像。另一方面，当位于视点位置C处的虚拟视点图像被从图像生成单元11输出时，特性管理单元13促使图像处理单元12向显示装置4输出在其上未合成用于合成的图像的虚拟视点图像。
[0059]图6是描述当虚拟视点从视点位置A移动到视点位置B时由图像处理单元12执行的处理细节的示意图。在图6中，竖直同步信号、虚拟视点图像的视点位置和合成单元35的合成功能的开/关被彼此关联地图示。
[0060]图6图示了以下示例，其中特性管理单元13在时间t2之前从图像控制装置2获得关于作为移动目的地的视点位置B的信息，并且基于该信息而从时间t2改变视点位置。图6图示的竖直同步信号被图示以用于叙述目的来以帧为单位分离图像。
[0061]如图6所示，在时间t2时，特性管理单元13促使图像生成单元11生成位于移动前视点位置A处的虚拟视点图像，并且促使图像处理单元12生成和输出通过在位于视点位置A处的虚拟视点图像上合成与视点位置A对应的用于合成的图像而获得的合成图像。
[0062]然后，从时间t2到时间t8，特性管理单元13促使图像生成单元11生成位于移动中视点位置Cl到C6处的虚拟视点图像，并且促使图像处理单元12输出位于视点位置Cl到C6处的在其上未合成用于合成的图像的虚拟视点图像。在图6图示的示例中，每一帧下，视点都被改变。可选地，视点可以针对每帧被改变。
[0063]从时间t2到时间t8，图像处理单元12停止解压单元34的解压处理和合成单元35的合成处理，并且基于来自特性管理单元13的控制，促使合成单元35在没有合成的情况下向图像质量调节处理单元36输出位于视点位置Cl到C6处的虚拟视点图像。结果，位于视点位置Cl到C6处的在其上未合成用于合成的图像的虚拟视点图像从图像处理单元12被输出。
[0064]然后，在时间t8时，特性管理单元13促使图像生成单元11生成并且向图像处理单元12输出在移动停止之后位于视点位置B处的虚拟视点图像，并且促使图像处理单元12生成并且向显示装置4输出通过在位于视点位置B处的虚拟视点图像上合成与视点位置B对应的用于合成的图像而获得的合成图像。
[0065]在时间t8之前(例如在时间t2或时间t3之前)，与视点位置B对应的用于合成的图像被图像控制装置2生成，并且输出到图像处理装置3。特性管理单元13控制图像处理单元12，并且因而促使压缩单元32压缩从图像控制装置2输出的与视点位置B对应的用于合成的图像的数据，并且然后将压缩数据存储在存储器33中。
[0066]然后，特性管理单元13促使解压单元34解压存储在存储器33中的压缩图像数据，并且将解压数据输出到合成单元35，并且在时间t8时，促使合成单元35在位于视点位置B处的虚拟视点图像上合成与视点位置B对应的用于合成的图像。结果，通过在位于视点位置B处的虚拟视点图像上合成与视点位置B对应的用于合成的图像而获得的合成图像可以从图像处理单元12输出。
[0067]图像处理单元12可以预先从图像控制装置2获得与视点位置对应的用于合成的图像，并且将用于合成的图像存储在存储器33中。在这种情况下，特性管理单元13可以促使解压单元34从存储器33获得与虚拟视点图像的视点位置对应的用于合成的图像，并且解压获得的用于合成的图像，并且向合成单元35输出解压数据。
[0068]如上所述，当虚拟视点图像是在虚拟视点移动之前和之后位于视点位置处的图像时，图像处理单元12在显示装置4上显示合成图像，并且当虚拟视点图像是在虚拟视点移动的同时位于视点位置处的图像时，在显示装置4上显示虚拟视点图像而非合成图像。结果，因为当虚拟视点移动时，车辆的乘客未在视觉上分离地认识到虚拟视点图像和用于合成的图像，因而乘客可以基于显示在显示装置4上的虚拟视点图像而容易地获取距离感等。
[0069]此外，因为当虚拟视点图像是在虚拟视点移动的同时位于视点位置处的图像时，图像处理单元12停止合成虚拟视点图像和用于合成的图像，因而可以减少处理载荷。
[0070]图像处理单元12在位于虚拟视点处的图像上合成作为用于合成的图像且与虚拟视点对应的图像。因此，因为乘客未在视觉上同时地认识到视点位置一起连续地改变的虚拟视点图像和用于合成的图像，因而容易例如从虚拟视点图像获取距离感等。
[0071]在上述示例中，已经描述了用于合成的图像是与虚拟视点的视点位置对应的图像。然而，用于合成的图像可以不根据虚拟视点的视点位置的改变而连续地改变。甚至在这种情况下，因为通过未在视点位置连续地改变的虚拟视点图像上合成用于合成的图像，可见度被提高，因而可以使用虚拟视点图像更适当地进行显示。
[0072]4.图像处理装置3的图像处理
[0073]然后，将参照图7描述被图像处理装置3执行的图像处理。图7是图示由图像处理装置3执行的图像处理的流程图。
[0074]如图7所示，图像处理装置3的图像生成单元11和图像处理单元12执行图像获取处理(步骤SI)。在图像获取处理中，图像生成单元11从图像采集装置I获得被采集图像，并且图像处理单元12从图像控制装置2获得和存储用于合成的图像。
[0075]然后，图像生成单元11通过使用坐标变换处理将在步骤SI中获得的被采集图像转换成虚拟视点图像(步骤S2)。特性管理单元13确定虚拟视点的视点位置是否正在移动(步骤S3) 0
[0076]在步骤S3中，当确定虚拟视点的视点位置未移动时(步骤S3:否)，图像处理单元12获得存储在步骤SI中的用于合成的图像(步骤S4)，并且执行合成处理(步骤S5)。合成处理通过在步骤S2中生成的虚拟视点图像上合成在步骤S4中获得的用于合成的图像而被执行。
[0077]在步骤S3中，当确定虚拟视点的视点位置正在移动时(步骤S3:是)，或当步骤S5中的处理结束时，图像处理单元12对将被输出到显示装置4的图像执行图像质量调节(步骤S6)，并且在图像质量调节之后输出图像(步骤S7)，并且结束处理。
[0078]如上所述，因为当虚拟视点图像是在虚拟视点移动的同时位于视点位置处的图像时，根据实施例的图像处理装置3向显示装置4输出虚拟视点图像而非合成图像，因而可以降低用于合成的图像的可见度并且使用虚拟视点图像适当地进行显示。
[0079]在上述实施例中，图像处理装置3未显示用于合成的图像而零度化用于合成的图像的可见度。然而，图像处理装置3可以提高用于合成的图像的透射比，或减轻用于合成的图像的颜色，以降低用于合成的图像的可见度。
[0080]例如，当虚拟视点图像是在虚拟视点移动的同时位于视点位置处的图像时，合成单元35可以提高与移动中视点位置对应的用于合成的图像的透射比或弱化用于合成的图像的颜色，并且然后分别在虚拟视点图像上合成用于合成的图像。此外，图像处理装置3可以在用于合成的图像上合成虚拟视点图像，从而零度化用于合成的图像的可见度。
[0081]在上述实施例中，已经描述图像采集装置I被放置在车辆的后部中，以通过使用图像采集装置I来采集车辆的后部图像。然而，如果图像采集装置I采集车辆的外围图像以用于驾驶辅助，例如，则图像采集装置I可以具有任何布置和任何成像方向。可选地，图像采集装置可以被布置在车辆中，并且图像处理装置3可以基于从图像采集装置输出的采集图像而生成虚拟视点图像。
[0082]在上述实施例中，已经描述图像处理装置3被示例性地包括在安装于车辆上的车载设备100中。然而，图像处理装置3可以是嵌入智能手机等中的图像处理装置。
[0083]在上述实施例中，已经描述了用于合成的图像示例性地是用作驾驶辅助的指标的图像。然而，用于合成的图像是例如用于提高用户方便性的图像。
[0084]在上述实施例中，已经描述了，当虚拟视点移动时，合成图像被输出在虚拟视点的视点位置(开始点和结束点)处，并且在开始点和结束点之间的视点位置处未输出合成图像。然而，应用不受限于该示例。
[0085]例如，图像处理单元12可以输出位于虚拟视点的开始点和结束点之间的一个或多个视点位置处的合成图像。在这种情况下，因为乘客可以不完全地获取用于合成的图像的改变，因而乘客可以基于虚拟视点图像容易地获取距离感等，并且还容易地获取用于合成的图像的位置的改变。
[0086]在上述实施例中，已经描述了一个用于合成的图像在虚拟视点图像上被合成。然而，不同类型的用于合成的图像可以在虚拟视点图像上被合成。在这种情况下，当虚拟视点图像是在虚拟视点移动的同时位于视点位置处的图像时，图像处理单元12例如通过未在虚拟视点图像上合成不同类型的用于合成的图像中的至少一个而降低其可见度。甚至在这种情况下，可以使用虚拟视点图像更适当地进行显示。
[0087]在这种情况下，通过例如使用用于弱化合成在虚拟视点图像上的用于合成的图像的颜色的处理，图像处理单元12可以通过未单独生成用于合成的图像来执行虚拟视点图像和用于合成的图像的合成处理。
[0088]在上述实施例中，已经描述当获得关于作为移动目的地的视点位置B的信息时，图像处理装置3生成关于视点位置CjIjCn的信息。然而，视点位置CjIjCn可以被图像控制装置2生成，并且被输出到图像处理装置3。
[0089]在上述实施例中，已经描述图像处理装置3存储对其执行数据压缩的用于合成的图像。然而，图像处理装置3可以存储不对其执行数据压缩的用于合成的图像。
【主权项】
1.一种图像处理装置，包括: 图像生成单元，所述图像生成单元基于图像采集单元的被采集图像而生成位于虚拟视点处的图像;和 图像处理单元，所述图像处理单元生成其中用于合成的图像被显示在位于虚拟视点处的图像上的图像， 其中当位于虚拟视点处的图像是视点位置正在移动的同时位于虚拟视点的视点位置处的图像时，图像处理单元执行用于降低用于合成的图像的可见度的处理。2.根据权利要求1所述的图像处理装置，其中: 当位于虚拟视点处的图像是在视点位置正在移动的同时位于虚拟视点的视点位置处的图像时，图像处理单元向显示单元输出位于虚拟视点处的图像，在位于虚拟视点处的所述图像上，未显示用于合成的图像以零度化用于合成的图像的可见度。3.根据权利要求2所述的图像处理装置，其中: 当位于虚拟视点处的图像是在视点位置正在移动的同时位于虚拟视点的视点位置处的图像时，图像处理单元停止合成位于虚拟视点处的图像和用于合成的图像，并且向显示单元输出位于虚拟视点处的图像。4.根据权利要求1到3中的任一项所述的图像处理装置，其中: 用于合成的图像包括与虚拟视点对应的图像。5.根据权利要求1到3中的任一项所述的图像处理装置，其中: 图像采集单元被放置在车辆上，并且采集车辆的外围图像，并且将作为被采集图像的车辆的所述外围图像输出到图像处理装置，并且 图像处理单元将作为用于合成的图像的导向标图像合成在虚拟视点处的图像上，所述导向标图像表示车辆的预期行进路径。6.—种图像处理方法，包括: (i)基于图像采集单元的被采集图像而生成作为从虚拟视点观察到的图像的虚拟视点图像;并且 (ii)生成其中用于合成的图像被显示在位于虚拟视点处的图像上的图像，其中 生成步骤(ii)包括以下步骤:当位于虚拟视点处的图像是视点位置正在移动的同时位于虚拟视点的视点位置处的图像时，执行用于降低用于合成的图像的可见度的处理。7.—种车载设备，包括: 显示单元，所述显示单元在其上显示图像； 图像采集单元，所述图像采集单元采集车辆的外围图像并且输出被采集图像； 虚拟视点图像生成单元，所述虚拟视点图像生成单元基于图像采集单元的被采集图像而生成位于虚拟视点处的图像； 用于合成的图像生成单元，所述用于合成的图像生成单元生成用于合成的图像;和 图像处理单元，所述图像处理单元生成其中用于合成的图像被显示在位于虚拟视点处的图像上的图像，并且向显示单元输出被生成的图像，其中 当位于虚拟视点处的图像是视点位置正在移动的同时位于虚拟视点的视点位置处的图像时，图像处理单元执行用于降低用于合成的图像的可见度的处理。
【文档编号】H04N5/232GK106067942SQ201610245212
【公开日】2016年11月2日
【申请日】2016年4月19日 公开号201610245212.5, CN 106067942 A, CN 106067942A, CN 201610245212, CN-A-106067942, CN106067942 A, CN106067942A, CN201610245212, CN201610245212.5
【发明人】小笹隆幸, 上林辉彦, 大西康司, 松本武生, 藤本知之, 山本大辅
【申请人】富士通天株式会社