信息处理设备和信息处理方法、显示设备和显示方法与信息处理系统的制作方法
【技术领域】
[0001]本说明书中公开的技术涉及一种用于在增强现实图像中执行关于与真实图像相结合的虚拟图像的处理的信息处理设备和信息处理方法、一种显示设备和显示方法、以及一种信息处理系统。具体地，该技术涉及一种用于呈现虚拟物体与真实空间之间的交互的信息处理设备和信息处理方法、一种显示设备和显示方法、以及一种信息处理系统。
【背景技术】
[0002]现在，在信息处理中的记述领域中，虚拟生物广泛地用作2D或3D游戏中的人物、玩家(用户)的化身或计算机的用户界面。在信息处理设备中生成这种类型的虚拟生物的移动，使得虚拟生物在屏幕上自由移动或者发出声音。
[0003]另外，最近，用于在真实图像重叠虚拟图像的技术(如，增强现实(AR)和混合现实)正在传播。要在虚拟图像上重叠的虚拟图像可以是虚拟生物的图像，例如，游戏中的人物、玩家(用户)的化身、虚拟宠物或计算机的用户界面、或虚拟移动物体，例如，汽车。
[0004]例如，提出了一种娱乐装置，显示与真实环境的图像相结合的虚拟宠物。虚拟宠物可以与用户交谈并且在虚拟屏幕上四处走动(例如，参见专利文献I)。在这个娱乐装置中，由系统单元生成的虚拟宠物被呈现(rendered)在通过摄影机捕捉的真实图像中，并且在显示/声音输出设备上显示，例如，装有显示器和扬声器的监控器或电视机。然而，虚拟宠物仅仅在屏幕中移动，并且表现虚拟宠物的动作或反应的声音等仅仅从显示/声音输出设备的安装地点中输出。因此，存在对虚拟宠物与真实空间之间的交互的现实表现的限制。
[0005]还提出了一种物体显示设备。在这个物体显示设备中，将在DFD (深度融合显示)型的三维显示设备上显示的三维图像的深度位置调整为真实物体穿过的深度位置，以便给出虚拟物体三维地存在于与观看者相同的空间内的感觉，并且观看者彼此交互(例如，见专利文献2)。然而，这个物体显示设备仅仅可以提供视觉交互效果。而且，这种交互效果仅仅在显示虚拟物体的物体显示设备的安装地点内有效。
[0006]还提出了一种图像处理方法，用于在真实空间上叠加包括虚拟物体的虚拟空间的视频图像，并且通过头戴式显示器呈现视频图像(例如，见专利文献3)。根据这个图像处理方法，扬声器输出声音效果，例如，虚拟物体在虚拟空间内四处移动的声音。然而，这种声音效果表现虚拟物体在虚拟空间内的交互，并且不表现虚拟物体与真实空间的交互。
[0007]还提出了一种信息终端装置，其显示虚拟宠物的图像，使得虚拟宠物看起来如同在实际视场中的人体皮肤上的虚拟图像(例如，见专利文献4)。在虚拟宠物与手等的皮肤的移动一起移动时，用户可以获得虚拟宠物对皮肤的移动作出反应的印象。即，通过这个信息终端装置，在真实空间内的用户可以在虚拟宠物上执行动作，但是虚拟宠物不能在真实空间内执行任何动作。简言之，未呈现出虚拟宠物与真实空间之间的交互(interact1n)。
【发明内容】
[0008]本发明要解决的问题
[0009]本说明书中公开的技术旨在提供一种信息处理设备和信息处理方法、一种显示设备和显示方法、以及一种信息处理系统，其擅长于通过优选的方式呈现虚拟物体与真实空间之间的交互。
[0010]问题的解决方案
[0011]鉴于以上问题，已经作出本申请，并且在权利要求1中公开的技术是一种信息处理设备，包括:
[0012]输出单元，向实际物体施加动作；以及
[0013]控制单元，其根据由虚拟物体对所述实际物体执行的动作或者由所述实际物体将要对所述虚拟物体执行的动作，控制所述输出单元的输出。
[0014]根据在本申请的权利要求2中公开的技术，在权利要求1中公开的信息处理设备进一步包括识别信息，用于识别所述信息处理设备。
[0015]根据在本申请的权利要求3中公开的技术，在权利要求1中公开的信息处理设备进一步包括接收单元，其接收由所述虚拟物体对所述实际物体执行的动作的检测结果。所述控制单元根据所接收的检测结果控制所述输出单元的输出。
[0016]根据在本申请的权利要求4中公开的技术，在权利要求1中公开的信息处理设备进一步包括虚拟物体控制单元，其控制所述虚拟物体的动作。所述控制单元根据由所述虚拟物体控制单元控制的虚拟物体的动作控制所述输出单元的输出。
[0017]根据在本申请的权利要求5中公开的技术，在权利要求1中公开的信息处理设备的输出单元包括:组装在实际物体内的至少一个以下输出装置:振动装置、脉冲生成装置、发热装置、冷却装置、吹风装置、音响装置、发光装置和移动装置。
[0018]在本申请的权利要求6中公开的技术是一种信息处理方法，包括:
[0019]获取由虚拟物体对实际物体执行的动作或者由所述实际物体将要对所述虚拟物体执行的动作的步骤；以及
[0020]根据由所述虚拟物体对所述实际物体执行的动作或者由所述实际物体将要对所述虚拟物体执行的动作，向所述实际物体施加动作的步骤。
[0021]在本申请的权利要求7中公开的技术是一种显示设备，包括:
[0022]检测单元，其检测特定实际物体；以及
[0023]显示单元，其响应于对所述特定实际物体的检测，显示虚拟物体。
[0024]根据在本申请的权利要求8中公开的技术，在权利要求7中公开的显示设备的检测单元识别所述实际物体，并且所述显示单元显示与所识别的实际物体对应的虚拟物体。
[0025]根据在本申请的权利要求9中公开的技术，在权利要求7中公开的显示设备的检测单元根据所述实际物体带有的识别信息，识别所述实际物体，或者通过物体识别识别所述实际物体。
[0026]根据在本申请的权利要求10中公开的技术，在权利要求7中公开的显示设备的检测单元从用户的视场中检测所述实际物体，并且所述显示单元显示在所述实际物体上重叠的虚拟物体。
[0027]根据在本申请的权利要求11中公开的技术，在权利要求7中公开的显示设备进一步包括虚拟物体控制单元，其控制所述虚拟物体的动作。
[0028]根据在本申请的权利要求12中公开的技术，在权利要求11中公开的显示设备的虚拟物体控制单元根据用户的移动，控制所述虚拟物体的出现或消失。
[0029]根据在本申请的权利要求13中公开的技术，在权利要求11中公开的显示设备的虚拟物体控制单元根据用户的移动或状态或时间段，控制关于在所述显示单元上显示的所述虚拟物体的信息量。
[0030]根据在本申请的权利要求14中公开的技术，在权利要求11中公开的显示设备的虚拟物体控制单元控制所述虚拟物体对所述实际物体的动作，或者根据由所述虚拟物体从所述实际物体中接收的动作，控制所述虚拟物体的动作。
[0031]根据在本申请的权利要求15中公开的技术，在权利要求11中公开的显示设备的检测单元检测所述虚拟物体对所述实际物体的动作或者由所述虚拟物体从所述实际物体中接收的动作，并且所述虚拟物体控制单元根据由所述检测单元执行的检测结果控制所述虚拟物体的控制。
[0032]根据在本申请的权利要求16中公开的技术，在权利要求11中公开的显示设备的虚拟物体控制单元控制所述虚拟物体的动作以使所述虚拟物体的动作与所述实际物体的动作同步。
[0033]根据在本申请的权利要求17中公开的技术，在权利要求7中公开的显示设备的显示单元安装在用户的头部或面部上，且然后被使用，并且所述显示设备进一步包括位置/姿势检测单元，其检测用户的头部或面部的位置和姿势。所述显示单元从与用户的头部或面部的位置或姿势的变化相反的方向校正所述虚拟物体的显示。
[0034]在本申请的权利要求18中公开的技术是一种显示方法，包括:
[0035]检测特定的实际物体的检测步骤；以及
[0036]响应于对所述特定的实际物体的检测，显示虚拟物体的显示步骤。
[0037]在本申请的权利要求19中公开的技术是一种信息处理系统，包括:
[0038]控制设备，其控制虚拟物体的动作；
[0039]显示设备，其检测实际物体并且显示与所述实际物体对应的虚拟物体；以及
[0040]输出设备，其根据由所述虚拟物体对所述实际物体执行的动作或者由所述实际物体将要对所述虚拟物体执行的动作，向所述实际物体施加动作。
[0041]应注意的是，术语“系统”是装置(或实现特定功能的功能模块)的逻辑组件，并且各个装置或功能模块不必位于单个壳体内(这同样适用于以下描述)。
[0042]在本申请的权利要求20中公开的技术是一种信息处理系统，包括:
[0043]显示设备，其检测实际物体并显示与所述实际物体对应的虚拟物体，并且控制所述虚拟物体的动作；以及
[0044]输出设备，其根据由所述虚拟物体对所述实际物体执行的动作或者由所述实际物体将要对所述虚拟物体执行的动作，向所述实际物体施加动作。
[0045]本发明的效果
[0046]根据在本说明书中公开的技术，能够提供一种信息处理设备和信息处理方法、一种显示设备和显示方法、以及一种信息处理系统，其擅长于通过优选的方式呈现虚拟物体与真实空间之间的交互。
[0047]通过下面描述的实施方式以及参照附图进行的详细描述，本说明书中公开的技术的其他目标、特征以及优点将显而易见。
【附图说明】
[0048][图1]图1是示意性示出向用户呈现增强现实的图像的信息处理系统100的功能构造的示图；
[0049][图2]图2是具体示出信息处理系统的一个示例结构100-2的示图。
[0050][图3]图3是示出在信息处理系统100-2内的一个示例通信顺序的示图。
[0051][图4]图4是具体示出信息处理系统的一个示例结构100-4的示图。
[0052][图5]图5是具体示出在图4所示的信息处理系统的变形100-5的示图。
[0053][图6]图6是示出在信息处理系统100-4内的一个示例通信顺序的示图。
[0054][图7]图7是示出可以应用于在本说明书中公开的技术中的图像显示设备700的外部结构的示图。
[0055][图8]图8是示出从上面观看的用户佩戴的图像显示设备700的示图。
[0056][图9]图9是示出图像显示设备700的一个示例内部结构的示图。
[0057][图10]图10是示意性示出形成为专用硬件设备的输出设备202的一个示例内部结构的示图。
[0058][图11]图11是示意性示出致动器单元1020的一个示例结构的示图。
[0059][图12A]图12A是示出输出设备202的一个具体实例的示图。
[0060][图12B]图12B是示出输出设备202的一个具体实例的示图。
[0061][图12C]图12C是示出输出设备202的一个具体实例的示图。
[0062][图13]图13是示出振动装置1101的一个示例结构的示图。
[0063][图14]图14是示出在图13所示的振动装置1101的一个示例操作的示图。
[0064][图15]图15是示出在图13所示的振动装置1101的一个示例操作的示图。
[0065][图16]图16是示出在图12C所示的输出设备202的一个示例操作的示图。
[0066][图17]图17是示出在图12C所示的输出设备202的一个示例操作的示图。
[0067][图18]图18是示出在图12C所示的输出设备202的一个示例操作的示图。
[0068][图19]图19是示出在图12C所示的输出设备202的一个示例操作的示图。
[0069][图20]图20是示出在图12C所示的输出设备202的一个示例操作的示图。
[0070][图21]图21是示出一种情况的示图，其中，呈现了追踪用户的头部移动的虚拟物体 150。
[0071][图22]图22是示出一种情况的示图，其中，呈现了不追踪用户的头部移动的虚拟物体150。
[0072][图23]图23是示出虚拟物体150的图像的移动相对于用户的头部移动的延迟的示图。
[0073][图24A]图24A是示出一种情况的示图，其中，用户通过头戴式显示器2401观察实际物体151。
[0074][图24B]图24B是示出一种情况的示图，其中，用户通过头戴式显示器2401观察虚拟物体150。
[0075][图25]图25是示出一种情况的示图，其中，用户分别通过头戴式显示器2501、2502、2503、...观察虚拟物体 150A、150B、150C、...。
[0076][图26]图26是示出一个示例情况的示图，其中，在房间内设有识别信息152的区域用作实际物体。
[0077][图27]图27是示出一个示例情况的示图，其中，用户的身体部分用作实际物体。
[0078][图28]图28是示出一个示例情况的示图，其中，用户的身体部分用作实际物体。
[0079][图29]图29是示出在图4所示的信息处理系统的变形100-29的示图。
【具体实施方式】
[0080]下面是参照附图在本说明书中公开的技术的实施方式的详细描述。
[0081]图1示意性示出了向用户呈现通过在真实图像上重叠虚拟图像所形成的增强现实或者混合现实的图像的信息处理系统100的功能构造的示图。在图中所示的信息处理系统100通过组合虚拟物体150和真实空间来呈现虚拟图像，并且包括虚拟物体控制单元101、虚拟物体生成单元102、显示单元103、检测单元104、输出单元105、输出控制单元106、环境检测单元107以及状态检测单元108。
[0082]例如，在本实施方式中的“虚拟物体”可以是用户的化身、在2D或3D游戏中的人物、或计算机的用户界面。虚拟物体150不必是人，而是可以是动物，例如，虚拟宠物。虚拟物体150也不必是生物，而是可以是移动物体，例如，汽车、直升飞机或船舶。虚拟物体150可以不是物体的图像，而是可以是文本。虚拟物体150可以是声音(不伴有任何图像显示的语音助理)。在虚拟物体150由物体的图像和声音的组合表示时，图像的显示位置和声音的发出位置需要相同。在以下描述中，为了便于说明，虚拟物体150是人。组合虚拟物体和真实图像的方法可以是在使用透视型头戴式显示器观察的作为用户的视场的真实空间上重叠虚拟物体的方法、或者在通过相机(例如，视频透视型头戴式显示器)捕捉的真实空间的图像上重叠虚拟物体的方法。
[0083]虚拟物体控制单元101控制虚拟物体150 (在真实空间内)的出现、虚拟物体150 (从真实空间中)的消失、以及正在观察的虚拟物体150 (在真实空间内)的运动或行为。基本上，根据用户观看和寻找实际物体151，虚拟物体控制单元101使与实际物体151对应的虚拟物体150出现(假设虚拟物体150与实际物体151提前相关联)。
[0084]在此处，实际物体151设置有识别信息152，例如，IC标签或条形码(或QR码(注册商标)或DOT码)。在实际物体151是具有显示单元的信息终端(例如，智能电话)时，识别信息152可以是条形码等的显示图像。实际物体151可以是印刷材料或具有特征的物体(例如，在图像中容易识别的物体)，并且不必包括识别信息152，例如，IC标签。上述“根据用户观看或寻找实际物体151”在实践中是通过识别在实际物体151上设置的识别信息152的处理或者通过图像中的物体识别来识别实际物体151的处理来实现的。将关于与识别信息152的各条信息对应的虚拟物体150的信息输入到库中。
[0085]使虚拟物体150出现的方法分成:拉(PULL)型，通过该类型，根据由用户通过姿势或输入操作等作出的出现请求，使虚拟物体150出现；以及推(PUSH)型，通过该类型，虚拟物体150随着在系统侧上发生的预定事件而出现，与用户的意图无关。
[0086]使与实际物体151对应的虚拟物体150出现的上述方法属于HJLL型。在用户的眼睛从虚拟物体150或实际物体151存在的区域中离开时(或者在自用户的眼睛从虚拟物体150或该区域中离开起已经过预定时