信息处理设备、信息处理方法及记录介质的制作方法
【专利摘要】本发明提供了一种信息处理设备、信息处理方法及记录介质。所述信息处理设备包括：图像获取部，其被配置成获取由成像部拍摄的图像；以及显示控制器，其被配置成使得根据在图像中示出的真实对象的识别结果来显示虚拟对象。显示控制器基于真实对象在真实空间中的大小来控制虚拟对象。
【专利说明】信息处理设备、信息处理方法及记录介质
[0001]相关申请的交叉引用
[0002]本申请要求于2013年3月29日提交的日本优先权专利申请JP2013-072689的优先权,其全部内容通过引用合并到本文中。
【背景技术】
[0003]本公开内容涉及一种信息处理设备、一种信息处理方法和一种记录介质。
[0004]一种称为增强现实(AR)的技术最近引起了人们的注意，其向用户呈现了具有叠加在其上的额外信息的真实空间。可以使用各种形式的虚拟对象如文本、图标或动画等来对在AR技术中呈现给用户的信息进行视觉化。一般基于在图像中显示的真实空间的三维结构的识别来执行注释在AR空间上的放置。
[0005]运动恢复结构(SfM)技术和同步定位与绘图(SLAM)技术已知为用于识别真实空间中的三维结构的技术。在SfM技术中，从不同的视点来拍摄多个图像，并且根据这些图像，利用视差来识别在图像中显示的真实空间中的三维结构。在AndrewJ.Davison, "Real-Time Simultaneous Localizat1n and Mapping with a SingleCamera", Proceedings of the9th IEEE Internat1nal Conference on Computer Vis1n卷2，2003，第1403页-1410页中对SLAM技术进行了描述。JP2009-237845A公开了一种通过使用SfM技术来识别针对SLAM技术中的初始化而选择的特征点的三维位置的技术。
【发明内容】
[0006]被添加至真实空间的虚拟对象一般可以基于真实对象在图像中的大小来控制。但是，真实对象在图像中的大小可以根据成像部与真实对象之间的距离等而变化。从而，仅通过将真实对象在图像中的大小考虑在内很难说是充分考虑了真实对象在真实空间中的大小。
[0007]鉴于前述内容，期望在本公开内容中提供一种使得可以考虑真实对象在真实空间中的大小来控制虚拟对象的技术。
[0008]根据本公开内容的一种实施方式，提供了一种信息处理设备，包括:图像获取部，其被配置成获取由成像部拍摄的图像；以及显示控制器，其被配置成使得根据在图像中示出的真实对象的识别结果来显示虚拟对象。显示控制器基于真实对象在真实空间中的大小来控制虚拟对象。
[0009]根据本公开内容的另一种实施方式，提供了一种信息处理方法，包括:获取通过成像部拍摄的图像；使得根据在图像中示出的真实对象的识别结果来显示虚拟对象；以及基于真实对象在真实空间中的大小来控制虚拟对象。
[0010]根据本公开内容的另一种实施方式，提供了一种记录有程序的非瞬态计算机可读记录介质，所述程序用于使计算机用作信息处理设备，所述信息处理设备包括:图像获取部，其被配置成获取由成像部拍摄的图像；以及显示控制器，其被配置成使得根据在图像中示出的真实对象的识别结果来显示虚拟对象。显示控制器基于真实对象在真实空间中的大小来控制虚拟对象。
[0011]根据本公开内容的实施方式中的一种或更多种，可以考虑真实对象在真实空间中的大小来控制虚拟对象。
【专利附图】
【附图说明】
[0012]图1是示出了根据本公开内容的第一实施方式的信息处理设备的概要的图；
[0013]图2是示出了根据本公开内容的第一实施方式的信息处理设备的功能配置示例的图；
[0014]图3是示出了根据成像部所拍摄的图像来识别真实对象的技术的示例的图；
[0015]图4是示出了各自在真实空间中具有不同大小的两种类型的真实对象被识别的情况的图；
[0016]图5是示出了基于真实对象在真实空间中的大小来选择虚拟对象的示例的图；
[0017]图6是示出了基于真实对象在真实空间中的大小来控制虚拟对象的运动的示例的图；
[0018]图7是示出了基于真实对象在真实空间中的大小来控制虚拟对象在图像中的大小的示例的图；
[0019]图8是示出了根据本公开内容的第一实施方式的信息处理设备所执行的操作流程的示例的流程图；
[0020]图9是示出了根据本公开内容的第二实施方式的信息处理设备的功能配置示例的图；
[0021]图10是示出了用于计算真实对象在真实空间的大小的技术的示例的图；
[0022]图11是示出了用于计算真实对象在真实空间的大小的技术的示例的图；
[0023]图12是示出了用于计算真实对象在真实空间的大小的技术的示例的图；
[0024]图13是示出了基于在真实空间中真实对象与地板表面之间的距离来控制虚拟对象的示例的图；
[0025]图14是示出了基于重力方向与预定物体的姿势之间的关系来控制虚拟对象的示例的图；
[0026]图15是示出了基于预定物体的姿势与地板表面的姿势之间的关系来控制虚拟对象的示例的图；
[0027]图16是示出了根据本公开内容的第二实施方式的信息处理设备所执行的操作流程的示例的流程图；以及
[0028]图17是示出了根据本公开内容的一种实施方式的信息处理设备的硬件配置示例的图。
【具体实施方式】
[0029]下文中，将参考附图详细地描述本公开内容的优选实施方式。注意，在本说明书和附图中，具有基本上相同功能和结构的结构要素用相同的附图标记来表示，并且省略这些结构要素的重复说明。
[0030]此外，在本说明书和附图中，有些情况下，具有基本上相同功能和结构的多个结构要素通过在相同的附图标记后的不同字母或数字来彼此区分。注意，在不必彼此区分具有相同功能和结构的多个结构要素的情况下，仅使用相同的附图标记来表示多个结构要素。[0031 ] 此外，将按照以下次序来描述“【具体实施方式】”。
[0032]1.信息处理设备的概要
[0033]2.第一实施方式
[0034]2-1.信息处理设备的功能配置示例
[0035]2-2.用于识别真实对象的技术
[0036]2-3.显示控制的示例
[0037]2-4.信息处理设备的操作示例
[0038]3.第二实施方式
[0039]3-1.信息处理设备的功能配置示例
[0040]3-2.真实对象在真实空间中的大小
[0041]3-3.显示控制的示例
[0042]3-4.信息处理设备的操作示例
[0043]4.硬件配置示例
[0044]5.总结
[0045]《1.信息处理设备的概要》
[0046]首先，将描述根据本公开内容的实施方式的信息处理设备10的概要。图1是根据本公开内容的实施方式的信息处理设备10的概要的图。参考图1，示出了用户Ua所持有的信息处理设备10。信息处理设备10包括指向真实空间E的成像部120、操作部140和显示部160。成像部120通过拍摄真实空间E来生成图像。
[0047]在图1所示的示例中，显示部160显示成像部120所拍摄的图像Im。用户Ua能够通过在显示部160所显示的图像Im上放置视点来抓取真实空间E。但是，图像Im可以不必显示在显示部160上。例如，在显示部160为透射式头戴显示器(HMD)的情况下，显示部160不显示图像Im，并且用户Ua可以直接将视点放置在真实空间E上而不是图像Im上。
[0048]此外，在图像Im中显示了真实对象A。例如，当根据图像Im识别真实对象A时，信息处理设备10基于真实对象A的识别结果将虚拟对象放置在与真实空间E对应的AR空间。以此方式，用户Ua能够通过显示部160来观察由信息处理设备10放置在AR空间中的虚拟对象。真实对象A可以通过信息处理设备10来识别，或可以通过不同于信息处理设备10的装置(例如，服务器)来识别。
[0049]此处，被添加至真实空间E的虚拟对象一般可以基于真实对象A在图像Im中的大小来控制。但是，真实对象A在图像Im中的大小可以根据成像部120与真实对象A之间的距离而变化。从而，仅通过将真实对象A在图像Im中的大小考虑在内很难说是充分考虑了真实对象A在真实空间E中的大小。
[0050]鉴于前述内容，本公开内容提供了一种使得可以考虑真实对象在真实空间中的大小来控制虚拟对象的技术。在本公开内容的第一实施方式中，主要针对真实对象A在真实空间E中的大小已知的情况来进行描述，并且在本公开内容的第二实施方式中，主要针对真实对象A在真实空间E中的大小被计算的情况来进行描述。
[0051]注意，尽管以下描述将作为信息处理设备10被用作装配有相机的智能手机的情况的示例来做出，但是信息处理设备10还可以用作除智能手机以外的装置。例如，信息处理设备10可以用作摄影机、数码相机、个人数字助理(PDA)、个人计算机(PC)、移动电话、移动音乐回放装置、移动视频处理装置、移动游戏机、望远镜或双筒镜。
[0052]至此，描述了本公开内容的实施方式的信息处理设备10的概要。接着，将按照所述次序描述本公开内容的第一实施方式和本公开内容的第二实施方式。注意，在本公开内容的第一实施方式中描述的信息处理设备10和在本公开内容的第二实施方式中描述的信息处理设备10的功能可以组合使用，或仅一些功能可以组合使用。
[0053]《2.第一实施方式》
[0054]接着将描述本公开内容的第一实施方式。
[0055][2-1.信息处理设备的功能配置示例]
[0056]首先，将描述根据本公开内容的第一实施方式的信息处理设备1A的功能配置示例。图2是根据本公开内容的第一实施方式的信息处理设备1A的功能配置示例的图。如图2所示，信息处理设备1A包括控制器110、成像部120、传感器部130、操作部140、存储器150和显示部160。
[0057]控制器110例如对应于如中央处理单元(CPU)或数字信号处理器(DSP)等处理器。控制器I1通过执行存储在存储器150或另外的存储介质中的程序来展现控制器110所具有的各种功能。控制器110具有如图像获取部111、图像识别部113和显示控制器115等功能块。随后将描述各个功能块的功能。
[0058]成像部120是拍摄图像Im的相机模块。成像部120使用图像传感器如电荷耦合器件(CXD)或互补金属氧化物半导体(CMOS)，并且生成图像Im。成像部120所生成的图像Im被输出至控制器110。注意，尽管在图2所示的示例中以与信息处理设备1A的集成方式提供了成像部120，但是还可以与信息处理设备1A分离地提供成像部120。例如，通过电线或无线电连接至信息处理设备1A的成像装置可以用作成像部120。
[0059]传感器部130获取传感器数据。例如，传感器部130包括3轴加速传感器。3轴加速传感器测量施加给成像部120的重力加速度，并且生成表明三维的重力加速度的大小和方向的传感器数据(加速度数据)。此外，传感器部130可以包括地磁传感器。地磁传感器生成表明成像部120在坐标系中的地磁方向的传感器数据(地磁数据)。此外，传感器部130还可以包括定位传感器(例如,全球定位系统(GPS)传感器)。定位传感器生成表明信息处理设备1A在真实空间中的经度和纬度的传感器数据(定位数据)。注意，尽管在图2所示的示例中以与信息处理设备1A集成的方式提供了传感器部130，但是还可以与信息处理设备1A分离地提供传感器部130。
[0060]操作部140检测用户所进行的操作并且将操作输出给控制器110。在本说明书中，由于假设了操作部140由触摸面板形成的情况，所以用户所进行的操作对应于轻敲触摸面板的操作。但是，操作部140还可以由除触摸面板以外的硬件(例如，按钮)形成。注意，尽管在图2所示的示例中以与信息处理设备1A的集成方式提供了操作部140，但是还可以与信息处理设备1A分离地提供操作部140。
[0061]存储器150使用如半导体存储器或硬盘等记录介质存储用于使控制器110操作的程序。此外，例如，存储器150还可以存储程序所使用的各种类型的数据(例如，各种类型的传感器数据和虚拟对象)。注意，尽管在图2所示的示例中以与信息处理设备1A集成的方式提供了存储器150，但是还可以与信息处理设备1A分离地提供存储器150。
[0062]显示部160根据显示控制器115所执行的控制来显示各种类型的信息。例如，显示部160显示信息处理设备1A所生成的AR应用的图像。显示部160例如由液晶显示器(IXD)或有机电致发光(EL)显示装置形成。注意，尽管在图2所示的示例中以与信息处理设备1A集成的方式提供了显示部160，但是还可以与信息处理设备1A分离地提供显示部160。例如，通过电线或无线电连接至信息处理设备1A的显示装置可以用作成显示部160。
[0063]至此，描述了根据本公开内容的第一实施方式的信息处理设备1A的功能配置示例。
[0064][2-2.用于识别真实对象的技术]
[0065]首先，将描述用于识别真实对象A的技术。图3是示出了根据成像部120所拍摄的图像Im来识别真实对象A的技术的示例的图。参考图3，在成像部120所拍摄的图像Im中，显示有真实对象A。此外，通过图像识别部113来识别真实对象A，并且通过显示控制器115将与识别结果相关联的虚拟对象被放置在与真实空间对应的AR空间中。
[0066]更加详细地，当图像识别部113识别真实对象A的位置和姿势时，显示控制器115根据真实对象A的位置来确定虚拟对象的位置，还根据真实对象A的姿势来确定虚拟对象的姿势，以及根据所确定的位置和姿势来放置虚拟对象。真实对象A的位置与虚拟对象的位置之间的关系可以预先被确定。此外，真实对象A的姿势与虚拟对象的姿势之间的关系也可以预先被确定。
[0067]例如，图像识别部113对照包括在特征数据中的相应的特征点的片(patch)来检查包括在图像Im中的部分图像，并且检测包括在图像Im中的特征点。在图像Im内的区域中高密度地检测到属于真实对象A的特征点时，图像识别部113可以识别真实对象A被显示在该区域中。图像识别部113还可以基于所检测的特征点与三维形状数据之间的位置关系来识别所识别的真实对象A的位置和姿势。
[0068]在图3所示的示例中，在地板平面上设置有块，并且用作真实对象A的电视设备被放置在块上。但是，对真实对象A的类型不做具体限制。参考图3，真实对象A在真实空间E中的大小由大小Zar表示，真实对象A在图像Im中的大小由大小Zai表示。注意,尽管真实对象A的高度在图3所示的示例中被设置为真实对象A的大小，但是真实对象A的大小可以是除了真实对象A的高度以外的部分的长度。
[0069]此处，当用户Ua将成像部120保持在真实对象A上并且图像识别部113识别真实对象A时，与识别结果相关联的虚拟对象通过显示控制器115放置在与真实空间E对应的AR空间中。在该情况下，为了控制虚拟对象，一般考虑真实对象A在图像Im中的大小Zai而不考虑真实对象A在真实空间E中的大小Zar。
[0070]图4是示出了各自在真实空间中具有不同大小的两种类型的真实对象被识别的情况的图。参考图4，在真实空间El中存在真实对象Al，真实对象Al在真实空间El中的大小由大小Zarl表示并且图像识别部113将真实对象Al在图像ImlO中的大小识别为大小 ZaiI。
[0071]另一方面，在真实空间E2中存在真实对象A2，真实对象A2在真实空间E2中的大小由大小Zar2表示并且图像识别部113将真实对象A2在图像Im20中的大小识别为大小Zai2。例如，参考图4，真实对象Al在图像ImlO中的大小Zarl大约与真实对象A2在图像Im20中的大小Zar2相同。
[0072]但是，现实中，成像部120与真实对象Al之间的距离比成像部120与真实对象A2之间的距离长。替代地，真实对象Al在真实空间El中的大小Zarl比真实对象A2在真实空间E2中的大小Zar2大。以此，通常不能仅根据真实对象A在图像Im中的大小而直接掌握真实对象A在真实空间E中的大小。
[0073]从而，在本公开内容的实施方式中，图像获取部111获取由成像部120拍摄的图像Im，并且显示控制器115使得根据图像Im中示出的真实对象A的识别结果来显示虚拟对象。在该情况下，显示控制器115基于真实对象A在真实空间E中的大小来控制虚拟对象。根据这样的配置，将真实对象A在真实空间E中的大小考虑在内来控制虚拟对象变得可能。
[0074]根据本公开内容的第一实施方式，显示控制器115能够获取真实对象A在真实空间E中的大小。真实对象A在真实空间E中的大小可以预先登记在存储器150中，可以由用户通过操作部140来输入并且可以通过另一个装置来接收。
[0075][2-3.显示控制的示例]
[0076]此处，可以采用各种技术作为用于控制虚拟对象的方法。图5是示出了基于真实对象A在真实空间E中的大小来选择虚拟对象的示例的图。首先，参考图5，将描述基于真实对象A在真实空间E中的大小来选择虚拟对象的示例。
[0077]参考图5，以与图4所示的情况相同的方式，真实对象Al在真实空间El中的大小为大小Zarl。显示控制器115可以选择具有与真实对象Al在真实空间El中的大小Zarl对应的大小的虚拟对象VII。例如，显示控制器115可以在真实对象Al在真实空间El中的大小Zarl超过预定阈值的情况下选择虚拟对象VII。对虚拟对象Vll不做具体限制。
[0078]另一方面，参考图5，以与图4所示的情况相同的方式，真实对象A2在真实空间E2中的大小为大小Zar2。显示控制器115可以选择具有与真实对象A2在真实空间E2中的大小Zar2对应的大小的虚拟对象V21。例如，显示控制器115可以在真实对象A2在真实空间E2中的大小Zar2低于预定阈值的情况下选择虚拟对象V21。对虚拟对象V21不做具体限制。
[0079]至此，尽管已经描述了基于真实对象A在真实空间E中的大小选择虚拟对象的示例，但是显示控制器115还可以根据真实对象A在真实空间E中的大小来控制虚拟对象的显示模式。例如，显示控制器115可以根据真实对象A在真实空间中的大小来控制虚拟对象的移动。
[0080]图6是示出了基于真实对象A在真实空间E中的大小来控制虚拟对象的运动的示例的图。参考图6，将描述基于真实对象A在真实空间E中的大小来控制虚拟对象的运动的示例。
[0081]参考图6，以与图4所示的情况相同的方式，真实对象Al在真实空间El中的大小为大小Zarl。显示控制器115可以基于真实对象Al在真实空间El中的大小Zarl来控制虚拟对象V12的运动。例如，显示控制器115可以进行控制以使得虚拟对象V12在真实对象Al在真实空间El中的大小Zarl超过预定阈值的情况下具有预定的第一运动。对预定的第一运动不做具体限制，并且预定的第一运动与图6所示的示例中的虚拟对象V12从真实对象Al飞出的运动对应。
[0082]另一方面，参考图6，以与图4所示的情况相同的方式，真实对象A2在真实空间E2中的大小为大小Zar2。显示控制器115可以基于真实对象A2在真实空间E2中的大小Zar2来控制虚拟对象V22的运动。例如，显示控制器115可以进行控制以使得虚拟对象V22在真实对象A2在真实空间E2中的大小Zar2低于预定阈值的情况下具有预定的第二运动。对预定的第二运动不做具体限制，并且预定的第二运动与图6所示的示例中的虚拟对象V22保持在真实对象Al内的运动对应。
[0083]此外，例如，显示控制器115还可以根据真实对象A在真实空间E中的大小来控制虚拟对象在图像中的大小。例如，显示控制器115可以控制虚拟对象在图像Im中的大小以使得:真实对象A在真实空间E中的大小越大,虚拟对象在图像Im中的大小越大。
[0084]图7是示出了基于真实对象A在真实空间E中的大小来控制虚拟对象在图像Im中的大小的示例的图。首先，参考图7，将描述基于真实对象A在真实空间E中的大小来控制虚拟对象在图像Im中的大小的示例。
[0085]参考图7，以与图4所示的情况相同的方式，真实对象Al在真实空间El中的大小为大小Zarl。以与图4所示的情况相同的方式，真实对象A2在真实空间E2中的大小为大小Zar2。由于真实对象Al在真实空间El中的大小Zarl大于真实对象A2在真实空间E2中的大小Zar2，所以显示控制器115可以将虚拟对象V13在图像Iml3中的大小呈现为比虚拟对象V23在图像Im23中的大小大。
[0086]至此，已经描述了基于真实对象A在真实空间E中的大小来控制虚拟对象的显示模式的示例。注意，显示控制器115还能够基于真实对象A在真实空间E中的大小来计算真实对象A在真实空间E中的位置。具体地，显示控制器115可以基于真实对象A在图像Im中的位置以及真实对象A在真实空间E中的大小与真实对象A在图像Im中的大小的比率来计算真实对象A在真实空间E中的位置。
[0087]显示控制器115基于由此计算的真实对象A在真实空间E中的位置来控制虚拟对象。或者，显示控制器115还能够基于真实对象A在真实空间E中的位置来计算成像部120与真实对象A之间的距离。从而，显示控制器115还可以基于成像部120与真实对象A之间的距离来控制虚拟对象。可以以与以下情况相同的方式来进行用于控制虚拟对象的技术:如上所述，基于真实对象A在真实空间E中的大小来控制虚拟对象。
[0088][2-4.信息处理设备的操作示例]
[0089]接着，将描述根据本公开内容的第一实施方式的信息处理设备1A所进行的操作流程的示例。图8是示出了根据本公开内容的第一实施方式的信息处理设备1A所执行的操作流程的示例的流程图。首先，成像部120拍摄图像，图像获取部111获取图像，然后图像识别部113从图像获取部111获取的图像中识别真实对象A (Sll)0显示控制器115确定与真实对象A的识别结果相关联的虚拟对象(S12)，并且获取真实对象A在真实空间E中的大小(S13)。
[0090]接着，显示控制器115基于真实对象A在真实空间E中的大小来控制虚拟对象(S14)，并且使得虚拟对象被显示(S15)。例如，在图像识别部113识别真实对象A的位置和姿势的情况下，显示控制器115可以使得以与所识别的位置和姿势对应的位置和姿势来显示虚拟对象。
[0091]至此，已经描述了根据本发明的第一实施方式的由信息处理设备1A进行的操作的流程的示例。
[0092]?3.第二实施方式>>
[0093]接着将描述本公开内容的第二实施方式。在本公开内容的第一实施方式中，描述了真实对象A在真实空间E中的大小已知的情况，而在本公开内容的第二实施方式中，将主要描述计算真实对象A在真实空间E中的大小的情况。
[0094][3-1.信息处理设备的功能配置示例]
[0095]接着，将描述根据本公开内容的第二实施方式的信息处理设备1B的功能配置示例。图9是根据本公开内容的第二实施方式的信息处理设备1B的功能配置示例的图。如图9所示，信息处理设备1B包括控制器110、成像部120、传感器部130、操作部140、存储器150和显示部160。控制器110具有如图像获取部111、传感器数据获取部112、图像识别部113、环境识别部114和显示控制器115等功能块。随后将描述各个功能块的功能。
[0096][3-2.真实对象在真实空间中的大小]
[0097]首先，将描述用于计算真实对象A在真实空间E中的位置的技术。图10至图12是每个都示出了用于计算真实对象A在真实空间E中的大小的技术的示例。参考图10，物体B被布置在地板表面F上。在图10中，物体B在真实空间E中的大小由大小Zbr表示，并且物体B在真实空间E中的大小Zbr为已知。从而，物体B在真实空间E中的大小Zbr可以预先登记在存储器150中，或可以由用户Ua通过操作部140来输入。
[0098]注意，尽管将主要描述物体B是数字多功能盘(DVD)的封装的情况，但是由于物体B仅为预定物体的示例，所以物体B可以是除了 DVD的封装以外的物体。此外，尽管以下将主要描述物体B被布置在地板表面F上的情况，但是物体B不是必需地布置在地板表面F。此外，即使在物体B布置在地板表面F的情况下，由于地板表面F仅是预定平面的示例，所以物体B可以布置在除了地板表面F以外的平面上。
[0099]当用户Ua将成像部120保持在真实空间E上时，成像部120拍摄图像Iml，并且图像识别部113根据图像Iml识别物体B。具体地，图像识别部113识别物体B在图像Iml中的大小Zb1、物体B在图像Iml中的位置以及物体B的姿势Qbr。显示控制器115基于物体B在真实空间E中的大小Zbr、物体B在图像Iml中的大小Zbi以及物体B在图像Iml中的位置Pbi来计算物体B在真实空间E中的位置Pbr。
[0100]显示控制器115能够基于物体B在真实空间E中的位置Pbr和物体B的姿势Qbr来确定地板表面F在真实空间E中的位置Pfr和地板表面F的姿势Qfr。例如，显示控制器115能够将物体B在真实空间E中的位置Pbr确定为地板表面F在真实空间F中的位置Pfr,并且将物体B的姿势Qbr确定为底边表面F的姿势Qfr。
[0101]注意，优选地将物体B在真实空间E中的位置Pbr已经被确定的事实通知给用户Ua0例如，显示控制器115可以使物体B在真实空间E中的位置Pbr已经被确定的事实被显示。在图10所示的示例中，物体B在真实空间E中的位置Pbr已经被确定的事实被示出为“大小已知的物体已经被识别”的消息M。但是，物体B在真实空间E中的位置Pbr已经被确定的事实不限于这样的示例。
[0102]接着，可能存在以下情况:用户Ua改变成像部120的位置和姿势以使成像部120拍摄真实对象A。相应地，显示控制器115可以跟踪成像部120的位置和姿势，并且基于跟踪结果，可以跟踪物体B的位置和姿势。显示控制器115可以用任何技术来跟踪成像部120的位置和姿势，并且如图11所示，例如，显示控制器115可以基于环境识别部114所进行的环境识别的结果来跟踪成像部120的位置和姿势。
[0103]作为环境识别部114所进行的环境识别，可以使用基于SLAM技术的计算。根据基于SLAM技术的计算，可以动态地识别成像部120所拍摄的图像示出的真实空间E的三维结构以及成像部120的位置和姿势。为了 SLAM技术中的状态变量的初始化，可以使用物体B在真实空间E中的位置Pbr和物体B的姿势Qbr。
[0104]接着，显示控制器115可以基于由图像识别部113识别的物体B的识别结果、环境识别部114所进行的环境识别的结果、以及由图像识别部113识别的真实对象A的识别结果来计算真实对象A在真实空间E中的位置Par。具体地，在图像识别部113识别真实对象A的情况下，显示控制器115可以对照作为环境识别结果而获得的特征点来检查图像识别部113所识别的特征点，并且可以计算真实对象A在真实空间E中的位置Par作为匹配检查的结果。
[0105]此外，显示控制器115还能够基于由此计算的真实对象A在真实空间E中的位置Par、真实对象A在图像Im3中的大小Za1、以及物体B在真实空间E中的位置Pbr来计算真实对象A在真实空间E中的大小Zar。
[0106]至此，已经描述用于计算真实对象A在真实空间E中的位置的技术。
[0107][3-3.显示控制的示例]
[0108]接着，将描述控制虚拟对象的显示的示例。如上所述，由于地板表面F的位置和姿势被确定，所以显示控制器115能够基于真实空间E中真实对象A与地板表面F之的距离来控制虚拟对象。图13是示出了基于真实空间E中真实对象A与地板表面F之间的距离来控制虚拟对象的示例。
[0109]参考图13，真实空间El中真实对象Al与地板表面F之间的距离通过距离Harl表示。显示控制器115能够基于真实对象Al在真实空间El中的位置Par以及地板表面F的位置Pfr和姿势Qfr来计算真实空间El中真实对象Al与地板表面F之间的距离Harl。显示控制器115能够根据距离Harl调节具有与真实对象Al在真实空间El中的大小对应的大小的虚拟对象V14。
[0110]例如，显示控制器115能够在真实空间El中将具有与真实对象Al在真实空间El中的大小对应的大小的虚拟对象V14的位置靠近地板平面F移动距离Harl。以此方式，如图13所示，显示控制器115能够正常进行虚拟对象V14的放置，其正常状态是虚拟对象V14呈现为与地板表面F接触。
[0111]此外，参考图13，真实空间El中真实对象A2与地板表面F之间的距离由距离Har2表示。显示控制器115能够基于真实对象A2在真实空间E2中的位置Par2以及地板表面F的位置Pfr和姿势Qfr来计算真实空间E2中真实对象A2与地板表面F之间的距离Har2。显示控制器115能够根据距离Har2调节具有与真实对象A2在真实空间E2中的大小对应的大小的虚拟对象V24。
[0112]例如，显示控制器115能够在真实空间E2中将具有与真实对象A2在真实空间E2中的大小对应的大小的虚拟对象V24的位置靠近地板平面F移动距离Har2。以此方式，如图13所示，显示控制器115能够正常进行虚拟对象V24的放置，其正常状态是虚拟对象V24呈现为与地板表面F接触。
[0113]注意，在图13所示的示例中，根据真实对象Al在真实空间El中的大小来控制虚拟对象V14在图像Iml4中的大小。以相同的方式，在图13所示的示例中，根据真实对象A2在真实空间E2中的大小来控制虚拟对象V24在图像Im24中的大小。如果虚拟对象在AR空间中被按照真实大小来放置，则能够使用户Ua更加现实地感受虚拟对象的大小。
[0114]从而，为了在AR空间中按照真实大小来放置虚拟对象，显示控制器115可以基于真实对象A在真实空间E中的大小和与虚拟对象的真实大小有关的已知数据来控制虚拟对象。例如，显示控制器15可以基于真实空间E中真实对象A的大小与和虚拟对象的真实大小有关的已知数据之间的关系来确定虚拟对象在图像中的大小与真实对象A在图像中的大小的比率。
[0115]例如，显示控制器115可以进行控制，以使得和虚拟对象的真实大小有关的已知数据与真实对象A在真实空间E中的大小的比率等于虚拟对象在图像中的大小与真实对象A在图像中的大小的比率。以此方式，由于放置在真实空间El中的虚拟对象V14和放置在真实空间E2中的虚拟对象V24各自具有虚拟对象的真实大小，这使得用户Ua能够更加现实地感受虚拟对象的大小。
[0116]此外，显示控制器115可以基于对象的倾斜来控制虚拟对象。例如，在传感器部130能够检测重力方向G的情况下，显示控制器115可以基于传感器部130所检测到的重力方向G与对象之间的关系来控制虚拟对象。例如，可以通过加速度传感器等来检测重力方向G。传感器部130所检测到的重力方向G可以通过传感器数据获取部112来获取。
[0117]图14是基于重力方向G与物体B的姿势之间的关系来控制虚拟对象的示例的图。显示控制器115能够基于重力方向G与物体B的姿势之间的关系来控制虚拟对象。
[0118]参考图14，在真实空间E30中，具有匹配重力方向G的姿势的物体B被布置在地板平面F上。在这样的情况下，与真实对象A的识别结果相关联的虚拟对象V30可以被放置在地板表面F上。另一方面，在真实空间E31中，具有不匹配重力方向G的姿势的物体B被布置在地板平面F上。在这样的情况下，与真实对象A的识别结果相关联的虚拟对象V31可以放置在地板表面F上。
[0119]在图14中，显示控制器115在物体B的姿势匹配重力方向G的情况下在AR空间中放置表明虚拟对象V30的姿势相对于地板表面F保持静止的状态的虚拟对象V30。另一方面，显示控制器115在物体B的姿势不与重力方向G匹配的情况下在AR空间中放置表明虚拟对象V31在地板表面F上滑行的状态的虚拟对象V31。但是，虚拟对象V30和虚拟对象V31各自可以以任何方式被控制。
[0120]图15是基于重力方向G与真实对象A的姿势之间的关系来控制虚拟对象的示例的图。显示控制器115还能够基于重力方向G与真实对象A的姿势之间的关系来控制虚拟对象。
[0121]参考图15，在真实空间E30中，具有匹配重力方向G的真实对象A被布置在地板平面F上。在这样的情况下，与真实对象A的识别结果相关联的虚拟对象V30可以被放置在地板表面F上。另一方面，在真实空间E32中，具有不匹配重力方向G的姿势的真实对象A被布置在地板平面F上。在这样的情况下，与真实对象A的识别结果相关联的虚拟对象V32可以放置在地板表面F上。
[0122]在图15中，在真实对象A的姿势匹配重力方向G的情况下，显示控制器115在AR空间中放置表明虚拟对象V30的姿势相对于地板表面F保持静止的状态的虚拟对象V30。另一方面，在真实对象A的姿势不与重力方向G匹配的情况下，显示控制器115在AR空间中放置表明虚拟对象V32在地板表面F上滑行的状态的虚拟对象V32。但是，虚拟对象V30和虚拟对象V32各自可以以任何方式被控制。
[0123]此外，显示控制器115可以基于地板表面F的姿势与真实对象A的姿势之间关系来控制虚拟对象。以与图15所示的情况中相同的方式，显示控制器115在真实对象A的姿势匹配地板平面F的姿势的情况下在AR空间中放置表明虚拟对象V30的姿势相对于地板平面保持静止的状态的虚拟对象30。另一方面，显示控制器115在真实对象A的姿势不匹配地板平面F的姿势的情况下在AR空间中放置表明虚拟对象V32在地板表面F上滑行的状态的虚拟对象V32。但是，虚拟对象V30和虚拟对象V32各自可以以任何方式被控制。
[0124][3-4.信息处理设备的操作示例]
[0125]接着，将描述根据本公开内容的第二实施方式的信息处理设备1B所进行的操作的流程的示例。图16是示出了根据本公开内容的第二实施方式的信息处理设备1B所执行的操作流程的示例的流程图。首先，当成像部120拍摄图像并且图像获取部111获取该图像时，图像识别部113从图像获取部111所获取的图像中识别物体B (S21)。显示控制器115确定物体B在真实空间E中的位置Pbr (S22)，并且环境识别部114开始环境识别(S23)。
[0126]接着，图像识别部113从图像获取部111所获取的图像中识别真实对象A (S24)。显示控制器115确定与真实对象A的识别结果相关联的虚拟对象(S25)，并且计算真实对象A在真实空间E中的位置Par (S26)。此外，显示控制器115计算真实对象A在真实空间E中的大小Zar (S27)，基于真实对象A在真实空间E中的大小Zar控制虚拟对象(S28)，以及使虚拟对象被显示(S29)。
[0127]至此，已经描述了根据本发明的第二实施方式的由信息处理设备1B进行的操作的流程的示例。
[0128]〈〈4.硬件配置示例》
[0129]接着，将描述根据本公开内容的实施方式的信息处理设备10的硬件配置示例。图17是示出了根据本公开内容的实施方式的信息处理设备10的硬件配置示例的图。应当注意，图17所示的硬件配置示例仅仅是信息处理设备10的硬件配置的示例。因此，信息处理设备10的硬件配置不限于图17所示的示例。
[0130]如图17所示，信息处理设备10包括中央处理单元(CPU) 801、只读存储器(ROM)802、随机存取存储器(RAM) 803、传感器804、输入装置808、输出装置810、存储装置811、驱动器812、成像装置813和通信装置815。
[0131]CPU801用作算法处理单元和控制单元，并且根据各种程序来控制信息处理设备10的整个操作。此外，CPU801还可以是微处理器。R0M802存储CPU801所使用的程序、计算参数等。RAM803临时存储用于CPU801中执行的程序、在执行期间适当地变化的参数等。CPU801、R0M802和RAM803通过根据CPU总线等来进行配置的主机总线彼此连接。
[0132]传感器804包括各种类型的检测传感器如用于检测信息处理设备10及其外围电路的状态的终端状态检测传感器等。传感器804的示例包括倾斜传感器、加速度传感器、方向传感器、温度传感器、湿度传感器和光强度传感器。传感器804所获得的检测信息被发送给CPU801。以此方式，CPU801可以知道信息处理设备10的状态(倾斜、加速度、方向、温度、湿度、光强度等)。
[0133]输入装置808例如由用于用户输入信息的输入部如鼠标、键盘、触摸面板、按钮、麦克风、开关和控制杆等，以及基于用户的输入生成输入信号并且将所生成的输入信号输出给CPU801的输入控制电路来配置。信息处理设备10的用户可以向信息处理设备10输入各种数据，并且可以通过操作输入装置808来指示信息处理设备10进行处理操作。
[0134]输出装置810可以包括例如显示装置如液晶显示器(IXD)装置、有机发光二极管(OLED)装置和灯。此外，输入装置810包括音频输出装置如扬声器和耳机。例如，显示装置各自显示所拍摄的图像、所生成的图像等。另一方面，音频输出装置各自将音频数据等转换成音频并且输出该音频。
[0135]存储装置811是用于存储数据的装置，其被配置作为信息处理设备10的存储器的示例。存储装置811可以包括例如存储介质、用于将数据记录在存储介质中的记录装置、用于从存储介质中读出数据的读取装置以及用于删除记录在存储介质中的数据的删除装置。存储装置811存储CPU801所执行的程序和各种数据。
[0136]驱动器812是存储介质的读取器/写入器，并且被构建在信息处理设备10内或外接至信息处理设备10。驱动器812读出记录在安装至驱动器812的可移动存储介质71(如磁盘、光盘、磁光盘或半导体存储器)中的信息，并且向RAM803输出所述信息。此外，驱动器812还可以将信息写入可移动存储介质71。
[0137]成像设备813包括成像光学系统如用于聚光的拍摄透镜和缩放透镜，以及信号转换装置如电荷耦合器件(CXD)或互补金属氧化物半导体(CMOS)。成像光学系统聚集从物体发出的光并且在信号转换部形成物体的图像，并且信号转换装置将所形成的物体的图像转换为电图像信号。
[0138]通信装置815是例如由用于建立与网络的连接的通信装置配置的通信接口。此夕卜，通信装置815可以是无线局域网(LAN)使能通信装置、长期演进(LTE)使能通信装置或用于进行有线通信的有线通信装置。通信装置815可以利用网络30与其他装置进行通信。
[0139]至此，描述了根据本公开内容的实施方式的信息处理设备10的硬件配置示例。
[0140]〈〈5.总结》
[0141]如上所述，根据本公开内容的实施方式，提供了一种信息处理设备10，包括:图像获取部111，其被配置成获取成像部120所拍摄的图像Im;以及显示控制器115，其被配置成根据在图像Im中示出的真实对象A的识别结果来使得虚拟对象被显示，其中所述显示控制器115基于真实对象A在真实空间E中的大小Zar来控制虚拟对象。根据这样的配置，考虑真实对象A在真实空间E中的大小来控制虚拟对象变得可能。
[0142]本领域普通技术人员应当理解，取决于设计要求和其他因素，本领域技术人员可以做出各种改型、组合、子组合和替代，只要所述改型、组合、子组合和替代处于所附权利要求及其等同物的范围内。
[0143]例如，上述显示部可以是头戴式显示器(HMD)。例如，在非透射式HMD被用作显示部的情况下，图像不必显示在显示部上。在这样的情况下，显示部可以将虚拟对象叠加在真实空间上而不是叠加在图像上。
[0144]此外，在本公开内容的实施方式中，主要描述了通过信息处理设备10控制虚拟对象的结果被反映在信息处理设备10的AR空间中的示例。但是，例如，在信息处理设备10与其他装置之间共享单个AR空间的情况下，通过信息处理设备10控制虚拟对象的结果可以被反映在与信息处理设备10进行通信的其他装置的AR空间中。
[0145]此外，还可以创建程序，所述程序用于使得构建在计算机中的硬件如CPU、ROM和RAM充分展示与上述信息处理设备10的相应结构的功能相同的功能。此外，还提供了一种记录有程序的非瞬态计算机可读记录介质。
[0146]此外，本技术还可以被配置如下。
[0147](I).一种信息处理设备，包括:
[0148]图像获取部，其被配置成获取由成像部拍摄的图像；以及
[0149]显示控制器，其被配置成使得根据在所述图像中示出的真实对象的识别结果来显示虚拟对象，
[0150]其中，所述显示控制器基于所述真实对象在真实空间中的大小来控制所述虚拟对象。
[0151](2).根据(I)所述的信息处理设备，
[0152]其中，所述显示控制器基于预定物体在所述真实空间中的位置、所述真实对象在所述图像中的大小以及所述真实对象在所述真实空间中的位置来计算所述真实对象在所述真实空间中的大小，所述预定物体在所述真实空间中的位置根据与所述预定物体在所述真实空间中的大小有关的已知数据、所述预定物体在所述图像中的大小以及所述预定物体在所述图像中的位置来确定。
[0153](3).根据(2)所述的信息处理设备，
[0154]其中，所述显示控制器基于在所述真实空间中所述真实对象与预定平面之间的距离来控制所述虚拟对象。
[0155](4).根据(2)所述的信息处理设备，
[0156]其中，所述显示控制器基于重力方向与所述预定物体的姿势之间的关系来控制所述虚拟对象。
[0157](5).根据(2)所述的信息处理设备，
[0158]其中，所述显示控制器基于重力方向与所述真实对象的姿势之间的关系来控制所述虚拟对象。
[0159](6).根据(2)所述的信息处理设备，
[0160]其中，所述显示控制器基于预定平面的姿势与所述真实对象的姿势之间的关系来控制所述虚拟对象。
[0161](7).根据(3)至(6)中任意一项所述的信息处理设备，
[0162]其中，当所述预定物体被设置在所述预定平面上时，所述显示控制器基于所述预定物体在所述真实空间中的位置和姿势来确定所述预定平面在所述真实空间中的位置和姿势。
[0163](8).根据(2)所述的信息处理设备，
[0164]其中，所述显示控制器使所述预定物体在所述真实空间中的位置已经被确定的事实被显示。
[0165](9).根据(I)所述的信息处理设备，
[0166]其中，所述显示控制器基于所述真实对象在所述真实空间中的位置来控制所述虚拟对象。
[0167](10).根据(I)所述的信息处理设备，
[0168]其中，所述显示控制器基于所述成像部与所述真实对象之间的距离来控制所述虚拟对象。
[0169](11).根据(I)至(10)中任意一项所述的信息处理设备，
[0170]其中，所述显示控制器基于所述真实对象在所述真实空间中的大小和与所述虚拟对象的真实大小有关的已知数据来控制所述虚拟对象。
[0171](12).根据(11)所述的信息处理设备，
[0172]其中，所述显示控制器基于所述真实对象在所述真实空间中的大小和与所述虚拟对象的真实大小有关的所述已知数据之间的关系来确定所述虚拟对象在所述图像中的大小与所述真实对象在所述图像中的大小的比率。
[0173](13).根据(I)所述的信息处理设备，
[0174]其中，所述显示控制器获取所述真实对象在所述真实空间中的大小。
[0175](14).根据(2)所述的信息处理设备，
[0176]其中，所述显示控制器基于所述预定物体的识别结果、环境识别的结果以及所述真实对象的识别结果来计算所述真实对象在所述真实空间中的位置。
[0177](15).根据(I)至(14)中任意一项所述的信息处理设备，
[0178]其中，所述显示控制器基于所述真实对象在所述真实空间中的大小来选择所述虚拟对象。
[0179](16).根据(I)至(14)中任意一项所述的信息处理设备，
[0180]其中，所述显示控制器根据所述真实对象在所述真实空间中的大小来控制所述虚拟对象的显示模式。
[0181](17).根据(16)所述的信息处理设备，
[0182]其中，所述显示控制器根据所述真实对象在所述真实空间中的大小来控制所述虚拟对象的运动。
[0183](18).根据(16)所述的信息处理设备，
[0184]其中，所述显示控制器根据所述真实对象在所述真实空间中的大小来控制所述虚拟对象在所述图像中的大小。
[0185](19).一种信息处理方法,包括:
[0186]获取由成像部拍摄的图像；
[0187]使得根据在所述图像中示出的真实对象的识别结果来显示虚拟对象；以及
[0188]基于所述真实对象在真实空间中的大小来控制所述虚拟对象。
[0189](20).一种记录有程序的非瞬态计算机可读记录介质，所述程序用于使计算机用作信息处理设备，所述信息处理设备包括:
[0190]图像获取部，其被配置成获取由成像部拍摄的图像；以及
[0191]显示控制器，其被配置成使得根据在所述图像中示出的真实对象的识别结果来显示虚拟对象，
[0192]其中，所述显示控制器基于所述真实对象在真实空间中的大小来控制所述虚拟对象。
【权利要求】
1.一种信息处理设备,包括: 图像获取部，其被配置成获取由成像部拍摄的图像；以及 显示控制器，其被配置成使得根据在所述图像中示出的真实对象的识别结果来显示虚拟对象， 其中，所述显示控制器基于所述真实对象在真实空间中的大小来控制所述虚拟对象。
2.根据权利要求1所述的信息处理设备， 其中，所述显示控制器基于预定物体在所述真实空间中的位置、所述真实对象在所述图像中的大小以及所述真实对象在所述真实空间中的位置来计算所述真实对象在所述真实空间中的大小，所述预定物体在所述真实空间中的位置根据与所述预定物体在所述真实空间中的大小有关的已知数据、所述预定物体在所述图像中的大小以及所述预定物体在所述图像中的位置来确定。
3.根据权利要求2所述的信息处理设备， 其中，所述显示控制器基于在所述真实空间中所述真实对象与预定平面之间的距离来控制所述虚拟对象。
4.根据权利要求2所述的信息处理设备， 其中，所述显示控制 器基于重力方向与所述预定物体的姿势之间的关系来控制所述虚拟对象。
5.根据权利要求2所述的信息处理设备， 其中，所述显示控制器基于重力方向与所述真实对象的姿势之间的关系来控制所述虚拟对象。
6.根据权利要求2所述的信息处理设备， 其中，所述显示控制器基于预定平面的姿势与所述真实对象的姿势之间的关系来控制所述虚拟对象。
7.根据权利要求3所述的信息处理设备， 其中，当所述预定物体被设置在所述预定平面上时，所述显示控制器基于所述预定物体在所述真实空间中的位置和姿势来确定所述预定平面在所述真实空间中的位置和姿势。
8.根据权利要求2所述的信息处理设备， 其中，所述显示控制器使所述预定物体在所述真实空间中的位置已经被确定的事实被显不O
9.根据权利要求1所述的信息处理设备， 其中，所述显示控制器基于所述真实对象在所述真实空间中的位置来控制所述虚拟对象。
10.根据权利要求1所述的信息处理设备， 其中，所述显示控制器基于所述成像部与所述真实对象之间的距离来控制所述虚拟对象。
11.根据权利要求1所述的信息处理设备， 其中，所述显示控制器基于所述真实对象在所述真实空间中的大小和与所述虚拟对象的真实大小有关的已知数据来控制所述虚拟对象。
12.根据权利要求11所述的信息处理设备，其中，所述显示控制器基于所述真实对象在所述真实空间中的大小和与所述虚拟对象的真实大小有关的所述已知数据之间的关系来确定所述虚拟对象在所述图像中的大小与所述真实对象在所述图像中的大小的比率。
13.根据权利要求1所述的信息处理设备， 其中，所述显示控制器获取所述真实对象在所述真实空间中的大小。
14.根据权利要求2所述的信息处理设备， 其中，所述显示控制器基于所述预定物体的识别结果、环境识别的结果以及所述真实对象的识别结果来计算所述真实对象在所述真实空间中的位置。
15.根据权利要求1所述的信息处理设备， 其中，所述显示控制器基于所述真实对象在所述真实空间中的大小来选择所述虚拟对象。
16.根据权利要求1所述的信息处理设备， 其中，所述显示控制器根据所述真实对象在所述真实空间中的大小来控制所述虚拟对象的显示模式。
17.根据权利要求16所述的信息处理设备， 其中，所述显示控制器根据所述真实对象在所述真实空间中的大小来控制所述虚拟对象的运动。
18.根据权利要求16所述的信息处理设备， 其中，所述显示控制器根据所述真实对象在所述真实空间中的大小来控制所述虚拟对象在所述图像中的大小。
19.一种信息处理方法,包括: 获取由成像部拍摄的图像； 使得根据在所述图像中示出的真实对象的识别结果来显示虚拟对象；以及 基于所述真实对象在真实空间中的大小来控制所述虚拟对象。
20.一种记录有程序的非瞬态计算机可读记录介质，所述程序用于使计算机用作信息处理设备，所述信息处理设备包括: 图像获取部，其被配置成获取由成像部拍摄的图像；以及 显示控制器，其被配置成使得根据在所述图像中示出的真实对象的识别结果来显示虚拟对象， 其中，所述显示控制器基于所述真实对象在真实空间中的大小来控制所述虚拟对象。
【文档编号】G06F9/44GK104077024SQ201410108370
【公开日】2014年10月1日 申请日期:2014年3月21日 优先权日:2013年3月29日
【发明者】鹤见辰吾 申请人:索尼公司