信息处理装置、信息处理方法和程序的制作方法

信息处理装置、信息处理方法和程序的制作方法
【专利摘要】一种设备包括：图像处理器，被构造为接收视频，在相对于参考点的一定距离处把物体叠加在视频上，并且基于稍后帧中物体和参考点之间的距离修改物体的位置。
【专利说明】信息处理装置、信息处理方法和程序
【技术领域】
[0001]本公开涉及一种信息处理装置、信息处理方法和在非暂态计算机可读介质上编码的程序。
【背景技术】
[0002]近年来，把真实图像与另外的信息交叠并且为用户呈现该信息的称为增强现实(AR)的技术已引起关注。在AR技术中呈现给用户的信息被称为注释，并且被以虚拟物体的各种形式(诸如，文本、图标和动画)可视化。作为AR技术的例子，在专利文献I中公开了这样的技术:把真实图像与模仿真实物体(诸如，家具)的虚拟物体图像交叠，显示虚拟图像，并且简化布置该物体(诸如，家具)的尝试。
[0003]例如，上述AR技术使用由用户握住的装置对真实图像执行成像并且识别图像中示出的物体。拍摄的图像与和识别的物体关联的虚拟物体交叠，并且被显示。
[0004]引用列表
[0005]专利文献
[0006]PTLl JP2003-256876A

【发明内容】

[0007]技术问题
[0008]在这种情况下，虚拟物体被显示在基于识别的物体的位置确定的坐标空间上。识别的物体的位置包括由于各种因素导致的噪声。当在识别的物体的位置包括噪声时，在显示虚拟物体的位置发生波动。该波动引起用户不愉快。在这种情况下，虚拟物体被显示得与参考点相距越远，虚拟物体越容易受到噪声影响。
[0009]考虑到这一点，本公开提出这样一种新的改进的信息处理装置、信息处理方法和在非暂态计算机可读介质上编码的程序:能够通过根据相对于参考点的距离合适地显示虚拟物体来减小对参考点的噪声影响。
[0010]问题的解决方案
[0011]在一个实施例中，本发明包括一种设备，所述设备包括:图像处理器，被构造为接收视频，在相对于参考点的一定距离处把物体叠加在视频上，并且基于稍后帧中物体和参考点之间的距离修改物体的位置。
【专利附图】

【附图说明】
[0012]图1是表示根据本公开的实施例的信息处理装置的功能的概述的示图。
[0013]图2是表示由根据本公开的实施例的信息处理装置显示的屏幕的例子的示图。
[0014]图3是表示显示由根据本公开的实施例的信息处理装置显示的屏幕的方法的示图。
[0015]图4是表示在根据本公开的实施例的信息处理装置上发生的显示位置的波动的示图。
[0016]图5是表示根据本公开的实施例的信息处理装置的硬件结构的例子的方框图。
[0017]图6是表示根据本公开的第一实施例的信息处理装置的功能结构的方框图。
[0018]图7是表示由根据本公开的第一实施例的信息处理装置利用索引识别的物体的状态的示图。
[0019]图8是表示根据本公开的第一实施例的信息处理装置的噪声估计的示图。
[0020]图9是表示在根据本公开的第一实施例的信息处理装置中使用多个虚拟物体的代表性点的例子的示图。
[0021]图10是表示根据本公开的第一实施例的信息处理装置的示例性操作的流程图。
[0022]图11是表示根据本公开的第二实施例的信息处理装置的功能结构的方框图。
[0023]图12是表示由根据本公开的第二实施例的信息处理装置实现的视觉效果的示图。
[0024]图13是表示根据本公开的第二实施例的信息处理装置的示例性操作的流程图。
[0025]图14是表示根据本公开的第三实施例的信息处理装置的功能结构的示图。
【具体实施方式】
[0026]以下，将参照附图详细描述本公开的优选实施例。需要注意的是，在本说明书和附图中，具有基本上相同的功能和结构的结构元素由相同的标号表示，并且省略这些结构元
素的重复解释。
[0027]另外，按照下面的次序进行描述。
[0028]1.概述
[0029]2.硬件结构的例子
[0030]3.第一实施例(校正位置的例子)
[0031]3-1.功能结构
[0032]3-2.操作
[0033]4.第二实施例(添加视觉效果的显示的例子)
[0034]4-1.功能结构
[0035]4-2.操作
[0036]5.第三实施例(位置校正+视觉效果)
[0037]〈1.概述〉
[0038]首先，将参照图1至4描述根据本公开的实施例的信息处理装置的概述。图1是表示根据本公开的实施例的信息处理装置的功能的概述的示图。图2是表示由根据本公开的实施例的信息处理装置显示的屏幕的例子的示图。图3是表示显示由根据本公开的实施例的信息处理装置显示的屏幕的方法的示图。图4是表示在根据本公开的实施例的信息处理装置上发生的显示位置的波动的示图。
[0039]另外，在本公开中的“根据一个实施例的信息处理装置”的情况下，描述与将在稍后描述的多个实施例共同的主题。
[0040]信息处理装置100是为用户提供AR应用的装置。信息处理装置100可以是例如终端装置，诸如智能电话、个人数字助手(PDA)、便携式游戏装备和便携式音乐再现装备。替代地，信息处理装置100可以是诸如个人计算机(PC)或工作站的信息处理装置。
[0041]在本公开中，用户启动信息处理装置100的特定AR应用，然后例如举起信息处理装置100，以使得作为位于真实空间中的物体的真实物体必彳^被显示在信息处理装置100的显示屏幕内(图1)。然后，在信息处理装置100的显示屏幕中在拍摄(imaged)的真实物体obj_r附近的空间中显示虚拟物体obj_v(图2)。这里,虚拟物体ob j_v包括多个卡片。
[0042]在这种情况下，信息处理装置100识别拍摄的图像中的真实物体ob j_r。信息处理装置100随后使虚拟物体obj_v显示在基于识别的真实物体obj_r假设的坐标空间上的位置(图3)。这里，例如，该坐标空间可使用识别的物体的参考点RP作为原点。例如，物体的参考点RP可以是物体的质心。替代地，可基于识别的真实物体obj_r的姿态确定坐标轴的方向。
[0043]这里，噪声由于各种因素而被包括在确定的坐标空间中。例如，通过识别真实物体obj_r的参考点RP的位置、大小和姿态来确定坐标空间。当在识别参考点RP的位置、大小和姿态时包括噪声时，在基于所述位置、大小和姿态确定的虚拟物体obj_v的位置也包括
噪声影响。
[0044]例如，参照图4，示出坐标空间上的两个虚拟物体obj_v (第一虚拟物体obj_vl和第二虚拟物体obj_v2)的位置。这里，示出当不包括噪声时的坐标空间上的第一虚拟物体obj_vla和第二虚拟物体obj_v2a以及当包括噪声时的坐标空间上的第一虚拟物体obj_vlb和第二虚拟物体obj_v2b。
[0045]这里，例如，示出在真实物体obj_r的旋转分量中包括噪声的情况。在这种情况下，第一虚拟物体obj_vl和参考点RP之间的距离dl小于第二虚拟物体obj_v2和参考点RP之间的距离d2。在这种情况下，由于对第二虚拟物体obj_v2的噪声影响导致的显示部分的差D2大于由于对第一虚拟物体obj_vl的噪声影响导致的显示部分的差D1。本公开提出通过根据距离D合适地改变虚拟物体obj_v的显示来减小对用户的噪声影响。以下将详细描述改变虚拟物体的显示的例子，所述改变虚拟物体的显示的例子包括校正显示位置的例子和执行添加有视觉效果的显示的例子。另外，给出应用余像效果的例子作为用于减少由因为噪声而产生的波动对用户引起的不愉快的视觉效果的例子。
[0046]〈2.硬件结构的例子〉
[0047]这里，将参照图5描述根据本公开的实施例的信息处理装置的硬件结构的例子。图5是表示根据本公开的实施例的信息处理装置的硬件结构的例子的方框图。
[0048]另外，硬件结构是根据将在稍后描述的本公开的每个实施例实现信息处理装置的功能的例子。本公开不限于这种例子，并且这里描述的一些部件可被省略。另外，可还包括除这里描述的部件之外的其它部件。另外，这里描述的部件可由具有相同功能的其它部件替代。
[0049]信息处理装置100包括成像单元102、传感器单元104、输入单元106、存储单元108、显示单元110、通信单元112、控制单元114和总线116。
[0050](成像单元IO2)
[0051]成像单元102是拍摄图像的照相机模块。成像单元102使用成像元件(诸如，电荷耦合装置(CXD)或互补金属氧化物半导体(CMOS))对真实空间成像，并且产生拍摄的图像。由成像单元102产生的拍摄的图像包括视频输入的每一帧。[0052](传感器单元104)
[0053]传感器单元104包括测量成像单元102的移动的运动传感器组。例如，运动传感器可以是测量成像单元102的加速度的加速度传感器、测量倾角的陀螺传感器或测量成像单元102的指向的地磁传感器。另外，传感器单元104可包括接收GPS信号并且测量装置的纬度、经度和高度的全球定位系统(GPS)传感器。
[0054](输入单元106)
[0055]输入单元106是用于使用户操作信息处理装置100或者把信息输入到信息处理装置100的输入装置。通常，输入单元106包括检测由用户在显示单元110的屏幕上执行的触摸的触摸传感器。替代地(或者另外)，输入单元106可包括:定点装置，诸如鼠标或触摸垫；手势识别模块，识别图像中示出的用户的手势；或视线检测模块，检测佩戴着头戴式显示器(HMD)的用户的视线方向。另外，输入单元106可包括各种其它输入装置，诸如键盘、键区、按钮或开关。
[0056](存储单元IO8)
[0057]存储单元108包括存储介质(诸如，半导体存储器或硬盘)，并且存储用于由信息处理装置100处理的程序和数据。例如，由存储单元108存储的数据包括由成像单元102产生的图像数据和由传感器单元104产生的传感器数据。另外，例如，由存储单元108存储的数据包括当信息处理装置100识别物体时使用的模型数据、定义虚拟物体obj_v的物体数据等。
[0058](显示单元110)
[0059]显示单元110是包括液晶显示器(IXD)、有机发光二极管(OLED)、阴极射线管(CRT)等的显示模块。例如，显示单元110在屏幕上显示由成像单元102拍摄的图像或由控制单元114实现的AR应用的图像。显示单元110可以是由用户握住的信息处理装置100的屏幕，或者可以是用户佩戴的透明(see-through)类型或非透明(non-see-through)类型HMD。在一个实施例中，传感器单元104相对于显示单元110位于信息处理装置100的相反表面上。
[0060](通信单元112)
[0061]通信单元112是传达信息处理装置100和其它装置之间的通信的通信接口。通信单元112支持任何无线通信协议或有线通信协议，并且建立与其它装置的通信连接。
[0062](控制单元114)
[0063]控制单元114对应于处理器，诸如中央处理单元(CPU)或数字信号处理器(DSP)。控制单元114执行存储在存储单元108或其它存储介质中的程序以使得执行将在稍后描述的信息处理装置100的各种功能。
[0064](总线116)
[0065]总线116将成像单元102、传感器单元104、输入单元106、存储单元108、显示单元110、通信单元112和控制单元114彼此互连。
[0066]已描述根据本公开的实施例的信息处理装置100的硬件结构的例子。信息处理装置100可通过使上述控制单元114执行描述实现根据将在稍后描述的每个实施例的信息处理装置100的功能的处理次序的控制程序来实现本公开的功能。另外，可创建用于实现根据将在稍后描述的每个实施例的信息处理装置100的每个功能的计算机程序并且该计算机程序可被安装在个人计算机等。另外，还可提供存储计算机程序的计算机可读记录介质。例如，记录介质包括磁盘、光盘、闪存等。另外，也可在不使用记录介质的情况下经例如网络发布上述计算机程序。
[0067]〈3.第一实施例(校正位置的例子)>
[0068]首先，将描述根据参考点和虚拟物体obj_v之间的距离校正位置的本公开的第一实施例的信息处理装置。
[0069](3-1.功能结构)
[0070]这里，将参照图6至9描述由根据本公开的第一实施例的信息处理装置100的控制单元114实现的功能结构的例子。图6是表示根据本公开的第一实施例的信息处理装置的功能结构的方框图。图7是表示由根据本公开的第一实施例的信息处理装置利用索引识别的物体的状态的示图。图8是表示根据本公开的第一实施例的信息处理装置的噪声估计的示图。图9是表示在根据本公开的第一实施例的信息处理装置中使用多个虚拟物体obj_V的代表性点的例子的示图。
[0071]参照图6，控制单元114a通常包括图像获取单元120、图像识别单元125、物体数据获取单元130、位置姿态计算单元135、识别噪声估计单元140、校正单元145和显示控制单兀 150ao
[0072](图像获取单元120)
[0073]图像获取单元120获取示出使用成像单元102 (或另一成像装置)拍摄的真实空间的输入图像。输入图像是示出布置虚拟物体obj_v的真实空间内的地点或物体的图像。图像获取单元120把获取的输入图像提供给图像识别单元125和显示控制单元150a。例如，当成像单元102 (或另一成像装置)连续地拍摄真实空间时，图像获取单元120可连续地获取输入图像。
[0074](图像识别单元125)
[0075]图像识别单元125可识别从图像获取单元120提供的输入图像中示出的物体。例如，图像识别单元125可使用存储在存储单元108中的模型数据或存储在经通信单元112连接的外部装置中的模型数据执行物体识别。模型数据是与作为将要由信息处理装置100识别的目标的物体的形状或外观关联的信息。在本实施例中，例如，信息处理装置100的识别目标可以是存在于真实空间中的任何物体，诸如图1中示出的真实物体obj_r。模型数据可包括定义每个物体的形状的数据、附属于每个物体的图像数据(诸如，预定符号标记或文本标签)或从每个物体的已知图像提取的特征量集合的数据。
[0076]图像识别单元125识别在从图像获取单元120提供的输入图像中示出什么物体和输入图像中示出的物体的状态。由图像识别单元125识别的物体的状态包括物体的位置和姿态中的至少一个。在本实施例中，图像识别单元125识别图像内的物体的位置、姿态和尺寸。例如，图像识别单元125可比对从输入图像提取的特征点集合与可由模型数据定义的物体的形状。另外，图像识别单元125可比对可由模型数据定义的图像数据(诸如，符号标记或文本标签)与输入图像。另外，图像识别单元125可比对可由模型数据定义的物体的已知图像的特征量与从输入图像提取的特征量。在任何情况下，图像识别单元125可使用与比对得分对应的位置、姿态和大小识别出:指示比预定阈值好的比对得分的物体被示出在输入图像中。因此，图像识别单元125识别每一帧中的物体，并且从一帧到另一帧跟踪物体。
[0077]图7是用于解释由根据本公开的第一实施例的图像识别单元125识别的物体的状态量的解释示图。参照图7，示出由与拍摄输入图像的成像装置的光轴方向正交的平面上的X轴和I轴以及沿着光轴方向的Z轴形成的全局坐标系。给出由图像识别单元125识别的真实物体obj_r的位置P作为该物体的参考点在全局坐标系中的位置坐标。另外，给出真实物体obj_r的姿态W作为围绕每个轴的旋转角度。另外，给出真实物体obj_r的大小Sc作为朝着每个轴方向的放大率。另外，为了本公开中的简单而清楚的描述，每个真实物体ob j_r的位置P、姿态W和大小Sc被描述为单独的变量(状态量)。然而，每个真实物体ob j_r的位置P、姿态W和大小Sc可由指示每个真实物体obj_r的全局坐标系和模型坐标系之间的变换的4行*4列的一个齐次变换矩阵综合地表示。在这种情况下，根据需要从齐次变换矩阵提取每个状态量(即，位置P、姿态W和大小Sc中的每一个)并且使用每个状态量。另夕卜，全局坐标系可以是使用成像装置的位置作为原点表示相对坐标的坐标系。替代地，全局坐标系可以是表示在真实空间内定义并且固定的绝对坐标的坐标系。图像识别单元125可输出输入图像中不出的每个真实物体obj_r的标识符、位置P、姿态W和大小Sc。
[0078](物体数据获取单元130)
[0079]物体数据获取单元130具有获取关于通过显示控制单元150而与输入图像交叠的虚拟物体obj_v的数据的功能。由物体数据获取单元130获取的数据包括定义虚拟物体obj_v的物体数据。例如，该物体数据可以是定义虚拟物体obj_v的种类的数据、关联的物体的标识符、关于虚拟坐标空间(以下，称为虚拟空间)上的虚拟物体obj_v的位置信息和信息内容的内容。物体数据获取单元130可获取基于由图像识别单元125识别的真实物体obj_r的标识符提取的物体数据。物体数据获取单元130可把获取的信息提供给位置姿态计算单元135。
[0080](位置姿态计算单元135)
[0081]位置姿态计算单元135可基于从物体数据获取单元130提供的关于虚拟物体ob j_V的数据和输入图像计算虚拟物体obj_v的位置和姿态。另外，例如，这里使用的真实物体obj_r的参考点RP可以是真实物体obj_r的质心。另外,参考点RP可以是通过分析输入图像而获得并且具有小的位置变化的点。例如，位置姿态计算单元135可通过基于从输入图像识别的真实物体obj_r的位置和姿态定义虚拟空间的原点位置和坐标轴方向来使虚拟空间与真实空间关联。另外，位置姿态计算单元135可用作计算真实物体obj_r和虚拟物体obj_v之间的距离的距离计算单元。例如，如上所述，定义虚拟物体的布置的虚拟空间和真实空间彼此关联。然而，当参考点RP和虚拟空间的原点位置匹配时，位置姿态计算单元135可基于关于虚拟空间上的虚拟物体的位置信息计算该距离。另外，当参考点RP和虚拟空间的原点位置不匹配时，位置姿态计算单元135可基于关于虚拟物体相对于虚拟空间的原点位置的位置信息以及该原点和参考点RP之间的位置关系计算该距离。
[0082](识别噪声估计单元140)
[0083]识别噪声估计单元140具有估计来自图像识别单元125的识别结果中所包括的噪声的功能。例如，识别噪声估计单元140可估计噪声是否被包括在识别结果中以及噪声被包括在指示物体的状态的信息之中的什么分量中。例如，识别噪声估计单元140可通过分析识别出的真实物体obj_r的状态量X的值的时间过程来估计是否包括噪声或者估计噪声的大小。这里，状态量X可以是位置P、姿态W、大小Sc或者P、W和Sc的组合。
[0084]在图8中示出状态量X的变化的例子。图8的水平轴是时间t，并且垂直轴是状态量X和状态量的一阶导数(dX/dt)。在图8的例子中，状态量X在从时间TO到时间Tl的时间段中缓慢地变化。在这种情况下，例如，当通过傅里叶变换提取状态量X的频率分量时，状态量X的高频分量变小。另外，状态量X的一阶导数的绝对值不超过预定水平(与物体相对于成像装置移动的真实界限对应的水平)。这同样适用于状态量X的二阶导数。另外，由于状态量X的变化缓慢的事实，状态量X的当前值相对于状态量X的过去m个采样的历史没有很大不同。状态量X的历史可以是过去m个采样的简单平均值，或者可以是过去m个采样的加权平均值(较近的采样的权重可被设置得较大)。
[0085]另一方面，状态量X在从时间Tl到时间T2的时间段中剧烈地变化。在这种情况下，当提取状态量X的频率分量时，状态量X的高频分量变大。另外，状态量X的一阶导数围绕零振荡。一阶导数的绝对值超过上述预定水平。另外，状态量X的当前值可相对于状态量X的过去m个采样的历史大大改变。
[0086]因此，识别噪声估计单元140可将物体的状态量的高频分量的大小、状态量的一阶导数(或二阶导数)的绝对值(或绝对值的积分值)或者状态量的当前值与状态量的历史比较以评估状态量的时间变化。识别噪声估计单元140可随后在评估的时间变化较剧烈时估计识别的稳定性低并且噪声大。在图8中示出的例子中，在时间段TO至Tl中的噪声被估计为“小”，在时间段Tl至T2中的噪声被估计为“大”，在时间段T2至T3中的噪声被估计为“中”，并且在时间段T3至T4中的噪声被估计为“大”。
[0087]另外，识别噪声估计单元140可针对每种状态量X估计噪声被包括在指示识别的物体的状态的索引之中的哪个分量中。如图8中所示，识别噪声估计单元140将状态量X的高频分量的大小、状态量的一阶导数(或二阶导数)的绝对值(或绝对值的积分值)或者状态量的历史与状态量的当前值比较以评估状态量的时间变化。例如，当识别噪声估计单元140使用姿态W作为状态量X执行评估并且评估出噪声大时，识别噪声估计单元140可估计噪声被包括在真实物体obj_r的旋转分量中。
[0088](校正单元145)
[0089]校正单元145可校正基于识别的真实物体ob j_r和虚拟物体ob j_v的物体数据计算的虚拟物体obj_v的位置或姿态。校正单元145可基于真实物体obj_r和虚拟物体ob j_V之间的距离校正虚拟物体obj_v的位置或姿态。校正单元145可校正位置或姿态，以使得跟随真实物体obj_r的更新速率变低到虚拟物体obj_v与参考点相距较远。例如，校正单元145可基于来自识别噪声估计单元140的估计结果仅校正被估计为包括噪声的分量。替代地，校正单元145可仅校正旋转分量。
[0090]虚拟物体obj_v与真实空间上的位置关联以跟随真实物体obj_r的位置或姿态。显示控制单元150随后把虚拟物体obj_v与输入图像交叠以使得虚拟物体obj_v存在于关联位置，并且使虚拟物体被显示。这里，虚拟物体obj_v的位置因此指示在真实空间上关联的位置。
[0091]另外，当如图9中所示多个虚拟物体ob j_v保持不同相位状态时，所述多个虚拟物体obj_v可被视为一组 。校正单元145可随后确定所述多个虚拟物体obj_v的代表性点，并且计算代表性点和参考点之间的距离。图9中示出的所述多个虚拟物体必彳^可形成收集所述多个虚拟物体obj_v的一个相干显示状态。例如，虚拟物体obj_vll、虚拟物体obj_vl2、虚拟物体obj_vl3和虚拟物体obj_vl4相对于彼此保持相对位置以形成相干形状。在这种情况下，由于当多个虚拟物体obj_v的显示变化时所述多个虚拟物体obj_v的相对位置被破坏，所以优选地把所述多个虚拟物体obj_v视为一组并且针对所述多个虚拟物体obj_v相似地改变显示。
[0092]校正方法的例子包括根据识别的真实物体ob j_r相对于参考点的距离d执行滤波的方法。例如，当通过识别的矩阵和模型数据确定的在下一时间t+Ι的肖像元素的位置或姿态是M’ (t+Ι)并且在时间t的肖像元素的位置或姿态是M(t)时，在时间t+Ι的肖像元素的校正的位置M(t+1)被表示为以下的方程I。在这种情况下，a指示根据距离d的系数。
[0093](数学表达式I)
[0094]M(t+1) = a*M，(t+l) + (l.0_a)*M(t)
[0095]当d增加时，也就是说，当肖像元素与参考点相距较远时，系数a接近零。另外，当d较小时,系数a接近I。
[0096]另外，在上述图9的例子中，当所述多个虚拟物体obj_v被视为一组时，优选地基于代表性点和参考点之间的距离针对所述多个虚拟物体obj_V使用共同的滤波系数。利用这种结构，可保持所述多个虚拟物体obj_V的相对位置。
[0097](显示控制单元150a)
[0098]显示控制单元150a具有控制显示装置的显示的功能。显示控制单元150a可使输入图像与虚拟物体obj_v交叠并且使虚拟物体被显示。在这种情况下，显示控制单元150a可使虚拟物体ob j_v被显示以使虚拟物体ob j_v跟随真实物体ob j_r的位置和姿态中的至少一个。显示控制单元150a可随后基于虚拟物体obj_v和参考点之间的距离改变虚拟物体obj_v的显示。显示控制单元150a可通过使虚拟物体obj_v基于关于由校正单元145校正的位置的信息而被显示来改变虚拟物体obj_v的显示。
[0099](3-2.操作)
[0100]接下来，将参照图10描述根据本公开的第一实施例的信息处理装置的操作的例子。图10是表示根据本公开的第一实施例的信息处理装置的示例性操作的流程图。
[0101]信息处理装置100确定AR应用过程是否完成(SlOO)。当在步骤SlOO中确定AR应用过程完成时，AR应用的操作完成。另一方面，当在步骤SlOO中确定AR应用过程未完成时，图像获取单元120获取图像(S105)。图像识别单元125随后识别通过图像获取单元120获取的图像内的真实物体obj_r (SllO)。这里，图像识别单元125识别真实物体obj_r所使用的图像可以是由成像装置拍摄的图像自身，或者可以是在对拍摄的图像执行某一过程之后获得的图像。图像识别单元125可识别真实物体obj_r的位置或姿态。
[0102]接下来，图像识别单元125确定是否通过该识别检测到标记(与虚拟物体obj_v关联的真实物体obj_r) (S115)。当在步骤S115中确定检测到标记时，物体数据获取单元130获取与标记关联的物体数据(S120)。在一个实施例中，该标记是赛博码(CyberCode)、条形码或快速响应(QR)码。
[0103]接下来，位置姿态计算单元135计算虚拟物体obj_v的位置或姿态(S125)。识别噪声估计单元140随后估计在标记位置包括的噪声(S130)。在这种情况下，识别噪声估计单元140可估计在标记位置的噪声的性质。[0104]识别噪声估计单元140确定在标记位置是否包括噪声(S135)。当在步骤S135中确定包括噪声时，校正单元145计算虚拟物体obj_v和标记的参考点之间的距离(S140)。校正单元145随后根据噪声和该距离校正虚拟物体ob j_v的位置或姿态(S145)。显示控制单元150a随后使虚拟物体obj_v与图像交叠并且使虚拟物体被显示(S150)。在这种情况下，当由校正单元145执行校正时，显示控制单元150a可使用校正的位置和姿态使图像与虚拟物体obj_v交叠。
[0105]〈4.添加视觉效果的显示的例子〉
[0106]接下来，将描述根据参考点和虚拟物体obj_v之间的距离执行视觉效果的根据本公开的第二实施例的信息处理装置。
[0107](4-1.功能结构)[0108]这里，将参照图11和12描述由根据本公开的第二实施例的信息处理装置100的控制单元114b实现的功能结构的例子。图11是表示根据本公开的第二实施例的信息处理单元的功能结构的方框图。图12是表示由根据本公开的第二实施例的信息处理装置100实现的视觉效果的示图。
[0109]参照图11，控制单元114b通常包括图像获取单元120、图像识别单元125、物体数据获取单元130、位置姿态计算单元135、识别噪声估计单元140、视觉效果信息产生单元147和显示控制单元150b。
[0110](视觉效果信息产生单元147)
[0111]视觉效果信息产生单元147具有根据真实物体obj_r的参考点RP和虚拟物体ob 间的距离产生视觉效果信息的功能。例如，视觉效果可以是代表由于运动导致的物体的模糊的运动模糊效果。例如，可通过使虚拟物体obj_v的余像层叠来表示运动模糊效果。例如，视觉效果信息产生单元147可产生用于添加视觉效果的视觉效果信息，根据该视觉效果显示虚拟物体obj_v的余像。视觉效果信息产生单元147可产生视觉效果信息，根据该视觉效果信息，当该距离增加时，显示更多余像。
[0112]另外，在上述图9的例子中，当所述多个虚拟物体obj_v被视为一组时，视觉效果信息产生单元147可基于代表性点和参考点之间的距离针对所述多个虚拟物体obj_v产生共同的视觉效果信息。利用如上所述的结构，保持所述多个虚拟物体obj_v的相对位置。
[0113](显示控制单元150b)
[0114]显示控制单元150b具有控制显示装置的显示的功能。显示控制单元150b可使输入图像与虚拟物体ob j_v交叠并且使虚拟物体被显示。在这种情况下，显示控制单元150b可使虚拟物体ob j_v被显示以使虚拟物体ob j_v跟随真实物体ob j_r的位置和姿态中的至少一个。显示控制单元150b可随后基于虚拟物体01^__￥和参考点之间的距离改变虚拟物体obj_v的显示。显示控制单元150b可通过使虚拟物体ob j_v根据由视觉效果信息产生单元147产生的视觉效果信息而被显示来改变虚拟物体obj_v的显示。在图12中示出这样的显示的情况:视觉效果信息是指示虚拟物体obj_v的余像的程度的信息。当基于虚拟物体ob j_v和参考点RP之间的距离产生视觉效果信息时，当虚拟物体ob j_v与真实物体ob j_r的参考点相距更远时显示更多的余像。
[0115](4-2.操作)
[0116]接下来，将参照图13描述根据本公开的第二实施例的信息处理装置的示例性操作。图13是表示根据第二实施例的信息处理装置的示例性操作的流程图。
[0117]信息处理装置100确定AR应用过程是否完成(S200)。当在步骤S200中确定AR应用过程完成时，AR应用操作完成。另一方面，当在步骤S200中确定AR应用过程未完成时，图像获取单元120获取图像(S205)。图像识别单元125识别由图像获取单元120获取的图像内的真实物体obj_r (S210)。这里，图像识别单元125识别真实物体obj_r所使用的图像可以是由成像装置拍摄的图像，或者可以是在对拍摄的图像执行某一过程之后获得的图像。图像识别单元125可识别真实物体obj_r的位置或姿态。
[0118]接下来，图像识别单元125确定是否通过该识别检测到标记(与虚拟物体obj_v关联的真实物体ob j_r) (S215)。当在步骤S215中确定检测到标记时，物体数据获取单元130获取与标记关联的物体数据(S220)。
[0119]接下来，位置姿态计算单元135计算虚拟物体obj_v的位置或姿态(S225)。识别噪声估计单元140随后估计在标记位置包括的噪声(S230)。在这种情况下，识别噪声估计单元140可估计在标记位置中的噪声的性质。
[0120]识别噪声估计单元140随后确定在标记位置是否包括噪声(S235)。当在步骤S235中确定包括噪声时，校正单元145计算虚拟物体obj_v和标记的参考点之间的距离(S240)。视觉效果信息产生单元147根据噪声和该距离产生虚拟物体ob j_v的视觉效果信息(S245)。显示控制单元150b随后使图像与虚拟物体obj_v交叠并且使虚拟物体被显示(S250)。在这种情况下，当由视觉效果信息产生单元147产生视觉效果信息时，显示控制单元150b可根据产生的视觉效果信息使图像与虚拟物体obj_v交叠。
[0121 ] <5.第三实施例(位置校正+视觉效果)>
[0122]接下来，将描述具有根据参考点和虚拟物体obj_v之间的距离校正虚拟物体obj_V的位置的功能和执行视觉效果的功能中的至少一个功能的根据本公开的第三实施例的信
息处理装置。
[0123]首先，将参照图14描述由根据本公开的第三实施例的信息处理装置100的控制单元114c实现的功能结构的例子。图14是表示根据本公开的第三实施例的信息处理装置的功能结构的示图。
[0124]参照图14，控制单元114c通常包括图像获取单元120、图像识别单元125、物体数据获取单元130、位置姿态计算单元135、识别噪声估计单元140、校正单元145、视觉效果信息产生单元147和显示控制单元150c。
[0125](显示控制单元150c)
[0126]当由校正单元145校正虚拟物体ob j_v的位置时，显示控制单元150c可使虚拟物体obj_v被显示在校正的位置。另外，当由视觉效果信息产生单元147产生视觉效果信息时，显示控制单元150c可使虚拟物体01^_]根据产生的视觉效果信息而被显示。因此，在这种情况下，当虚拟物体ob j_v与参考点RP相距更远时，跟随真实物体ob j_r更慢，并且当虚拟物体obj_v与参考点RP相距更远时，显示更多的余像。
[0127]本领域技术人员应该理解，在不脱离所附权利要求或其等同物的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。
[0128]例如，虽然在上述实施例中，用于图像识别单元的识别的图像和由显示控制单元显示的图像彼此相同，但本公开不限于这种例子。例如，图像识别单元可使用由图像获取单元获取并且经受预定处理(例如，减小图像尺寸的处理)的图像。
[0129]另外，在上述实施例中已主要描述:图像被显示在信息处理装置100的显示单元110的屏幕上。然而，具有由上述实施例中的信息处理装置100的控制单元114实现的功能的装置和具有上述实施例中的显示单元的装置可以是彼此分开的装置。在这种情况下，与虚拟物体obj_v交叠的图像被发送给具有显示单元的装置，然后被显示在显示单元上。
[0130]另外，在上述实施例中已描述:信息处理装置100的功能被安装在一个装置上。然而，本公开不限于这种例子。例如，在本公开的技术范围内也包括这样的情况:上述功能分布在多个信息处理装置上。
[0131]另外，当然，在说明书中的流程图中描述的步骤是根据描述的次序按照时间顺序方式执行的步骤，但并不是必需按照时间顺序处理这些步骤，并且这些步骤包括并行地或单独地执行的处理步骤。另外，按照时间顺序执行步骤的次序当然可在一些情况下被合适地改变。
[0132]另外，还可如下构造本技术。
[0133](I) 一种设备，包括:
[0134]图像处理器，被构造为
[0135]接收视频，
[0136]在相对于参考点的一定距离处把物体叠加在视频上，并且
[0137]基于稍后帧中物体和参考点之间的距离修改物体的位置。
[0138](2)如(I)所述的设备，其中所述图像处理器基于稍后帧中物体和参考点之间的距离以一定速率修改物体的位置。
[0139](3)如(I)所述的设备，其中所述图像处理器基于稍后帧中物体和参考点之间的距离以更新速率修改物体的位置，以使得当稍后帧中物体和参考点之间的距离减小时，所述更新速率增加。
[0140](4)如(I)至(3)所述的设备，其中所述图像处理器测量稍后帧中物体和参考点之间的距离的噪声量，并且基于该噪声量和稍后帧中物体和参考点之间的距离确定位置。
[0141](5)如(4)所述的设备，其中所述图像处理器基于大于稍后帧中物体和参考点之间的第二距离的稍后帧中物体和参考点之间的第一距离的噪声量改变位置，其中第一距离大于第二距离。
[0142](6)如(4)所述的设备，其中所述图像处理器基于噪声量和稍后帧中物体和参考点之间的距离确定位置，以使得仅包括噪声的物体和参考点之间的距离的分量由图像处理器修改。
[0143](7)如(4)所述的设备，其中所述图像处理器基于噪声量和稍后帧中物体和参考点之间的距离确定位置，以使得仅物体的旋转分量由图像处理器修改。
[0144](8)如(I)至(7)所述的设备，其中所述图像处理器确定视频中的真实物体的位置并且使用真实物体的位置作为参考点。
[0145](9)如(I)至(8)所述的设备，还包括:
[0146]照相机，被构造为创建视频。
[0147](10)如(I)至(9)所述的设备，还包括:
[0148]显示器，被构造为显示视频，该视频具有叠加在它上面的物体。[0149](11)如(I)所述的设备，其中所述图像处理器基于稍后帧中物体和参考点之间的距离产生视觉效果。
[0150](12)如(11)所述的设备，其中所述图像处理器产生视觉效果，以使得产生代表由于物体的运动导致的物体的模糊的模糊效果。
[0151](13)如(11)所述的设备，其中所述图像处理器通过使物体的余像层叠来产生视觉效果。
[0152](14)如(13)所述的设备，其中所述稍后帧中物体和参考点之间的距离越大，所述图像处理器使物体的越多数量的余像层叠。
[0153](15)如(I)至(14)所述的设备，其中所述图像处理器在相对于参考点的不同距离处把多个物体叠加在视频上，并且基于稍后帧中每个物体和参考点之间的距离修改每个物体的位置。
[0154](16)如(3)所述的设备，其中所述图像处理器基于稍后帧中物体和参考点之间的距离产生视觉效果。
[0155](17)如(16)所述的设备，其中所述图像处理器产生视觉效果，以使得产生代表由于物体的运动导致的物体的模糊的模糊效果。
[0156](18)如(17)所述的设备，其中所述图像处理器通过使物体的余像层叠来产生视觉效果。
[0157](19)如⑴至(18)所述的设备，其中所述图像处理器从较早帧到稍后帧跟踪物体的位置和参考点。
[0158](20)如(I)至(19)所述的设备，还包括:
[0159]传感器，被构造为产生视频并且把视频发送给图像处理器；和
[0160]显示器，被构造为显示视频，该视频具有叠加在它上面的物体，显示器相对于传感器位于所述设备的相反表面上。
[0161](21)如⑴至(20)所述的设备，其中所述物体是标记。
[0162](22) —种方法，包括:
[0163]接收视频；
[0164]在相对于参考点的一定距离处把物体叠加在视频上；以及
[0165]基于稍后帧中物体和参考点之间的距离修改物体的位置。
[0166](23) 一种利用程序编码的非暂态计算机可读介质，当所述程序被加载到处理器上时，所述程序使处理器执行一种方法，所述方法包括:
[0167]接收视频；
[0168]在相对于参考点的一定距离处把物体叠加在视频上；以及
[0169]基于稍后帧中物体和参考点之间的距离修改物体的位置。
[0170]标号列表
[0171]100信息处理装置
[0172]102成像单元
[0173]104传感器单元
[0174]106输入单元
[0175]108存储单元[0176]110显示单元
[0177]112通信单元
[0178]114控制单元
[0179]120图像获取单元
[0180]125图像识别单元
[0181]130物体数据获取单元
[0182]135姿态位置计算单元
[0183]140识别噪声估计单元
[0184]145校正单元
[0185]147视觉效果信息产生单元
[0186]150显示控制单元。
【权利要求】
1.一种设备，包括: 图像处理器，被构造为 接收视频， 在相对于参考点的一定距离处把物体叠加在视频上，并且 基于稍后帧中物体和参考点之间的距离修改物体的位置。
2.如权利要求1所述的设备，其中所述图像处理器基于稍后帧中物体和参考点之间的距离以一定速率修改物体的位置。
3.如权利要求1所述的设备，其中所述图像处理器基于稍后帧中物体和参考点之间的距离以更新速率修改物体的位置，以使得所述更新速率随着稍后帧中物体和参考点之间的距离减小而增加。
4.如权利要求1所述的设备，其中所述图像处理器测量稍后帧中物体和参考点之间的距离中的噪声量，并且基于该噪声量和稍后帧中物体和参考点之间的距离确定位置。
5.如权利要求1所述的设备，其中所述图像处理器从较早帧到稍后帧跟踪物体的位置和参考点。
6.如权利要求1所述的设备，还包括: 传感器，被构造为产生视频并且把视频发送给图像处理器；和 显示器，被构造为显示上面叠加了物体的视频，显示器相对于传感器位于所述设备的相反表面上。
7.如权利要求1所述的设备，其中所述物体是标记。
8.如权利要求1所述的设备，其中所述图像处理器确定视频中的真实物体的位置并且使用真实物体的位置作为参考点。
9.如权利要求1所述的设备，还包括: 照相机，被构造为创建视频。
10.如权利要求1所述的设备，还包括: 显示器，被构造为显示上面叠加了物体的视频。
11.如权利要求1所述的设备，其中所述图像处理器基于稍后帧中物体和参考点之间的距离产生视觉效果。
12.如权利要求11所述的设备，其中所述图像处理器产生视觉效果，以使得产生代表由于物体的运动导致的物体的模糊的模糊效果。
13.如权利要求11所述的设备，其中所述图像处理器通过使物体的余像层叠来产生视觉效果。
14.如权利要求13所述的设备，其中所述稍后帧中物体和参考点之间的距离越大，所述图像处理器使物体的越多数量的余像层叠。
15.如权利要求1所述的设备，其中所述图像处理器在相对于参考点的不同距离处把多个物体叠加在视频上，并且基于稍后帧中每个物体和参考点之间的距离修改每个物体的位置。
16.如权利要求3所述的设备，其中所述图像处理器基于稍后帧中物体和参考点之间的距离产生视觉效果。
17.如权利要求16所 述的设备，其中所述图像处理器产生视觉效果，以使得产生代表由于物体的运动导致的物体的模糊的模糊效果。
18.如权利要求17所述的设备，其中所述图像处理器通过使物体的余像层叠来产生视觉效果。
19.一种方法,包括: 接收视频； 在相对于参考点的一定距离处把物体叠加在视频上；以及 基于稍后帧中物体和参考点之间的距离修改物体的位置。
20.一种利用程序编码的非暂态计算机可读介质，当所述程序被加载到处理器上时，所述程序使处理器执行一种方法，所述方法包括: 接收视频； 在相对于参考点的一定距离处把物体叠加在视频上；以及 基于稍后帧中物体和参考点之间的距离修改物体的位置。
【文档编号】G06T19/00GK103907139SQ201280053969
【公开日】2014年7月2日 申请日期:2012年10月3日 优先权日:2011年11月11日
【发明者】笠原俊一 申请人:索尼公司