本发明涉及基于捕获图像执行信息处理的信息处理装置，以及由该信息处理装置实施的警告呈现方法。
背景技术：
如今，可以由用户观看穿戴在头上并连接到游戏机的头戴式显示器(以下称为HMD)的显示屏幕来玩视频游戏(例如，参见PTL 1)。如果获取用户头部的位置和姿势，使得虚拟世界的图像以例如根据所获取的用户的面部的方向来改变视野的方式向用户呈现，则可能产生用户感觉他或她实际上处于虚拟世界中的情况。通常，例如通过分析所捕获的用户的可见光或红外光图像或基于HMD内部的运动传感器所获得的测量来获取用户的位置和姿势。
[引用列表]
[专利文献]
[PTL 1]
日本专利号5580855
技术实现要素：
[技术问题]
用于基于捕获图像执行任何类型的信息处理的技术是在基于诸如用户的目标对象在相机的视角内的假设而预测的。然而，由于穿戴HMD的用户无法观看外部世界，所以用户可能迷失方向或者可能沉浸在游戏中，以至于用户可能移动到真实空间中的不希望的位置，而没有注意到。这种可能性将用户置于相机的视角之外，这可能导致干扰正在进行的信息处理或恶化其准确性。此外，用户可能仍然不知道这种违规行为的原因。用户对真实世界中发生的事情(诸如用户与相机的位置关系)越了解，信息处理的准确性保持越稳定。困境在于通过使用HMD创造的虚拟世界的世界观很可能同时被打乱。
本发明是鉴于上述情况而进行的。因此，本发明的目的是提供用于优化由HMD提供的娱乐方面与信息处理的准确性之间的平衡的技术。
[解决问题的技术方案]
根据本发明的一个方面，提供了一种信息处理装置，包括：信息处理部分，其被配置为基于从通过目标对象的视频成像由成像设备获得的捕获图像中检测到的目标对象的图像来执行信息处理；图像生成部分，其被配置为生成要被显示作为信息处理结果的图像的数据；警告状态确定部分，其被配置为在目标对象离开参考成像设备的视野设置在对象空间中的游戏区域时确定需要被警告的用户，该警告状态确定部分进一步使得该图像生成部分在要被显示的图像上叠加警告图像；以及输出数据发送部分，其被配置为将由图像生成部分生成的图像的数据发送到显示设备。警告状态确定部分根据对象空间中的方向改变游戏区域的边界表面相对于视野的边界表面的位置。
根据本发明的另一方面，提供了一种警告呈现方法，包括：基于从通过目标对象的视频成像由成像设备获得的捕获图像中检测到的目标对象的图像来执行信息处理的步骤；生成要被显示作为信息处理结果的图像的数据的步骤；在目标对象离开参考成像设备的视野设置在对象空间中的游戏区域时确定需要被警告的用户的步骤；根据该确定在要被显示的图像上叠加警告图像的步骤；以及将生成的图像的数据发送到显示设备的步骤。该确定步骤根据对象空间中的方向改变游戏区域的边界表面相对于视野的边界表面的位置。
顺便提及，如果以上概述的组成元件或本发明的以上表达的其他组合在诸如方法、装置、系统、计算机程序和在其上记录有计算机程序的记录介质的不同形式之间转换，它们仍构成本发明的有效实施例。
[发明的有益效果]
根据本发明，穿戴HMD的用户可以在最小程度地意识到真实世界的约束的同时享受表达的世界。
附图说明
图1是描绘可以应用本发明的一个实施例的信息处理系统的典型配置的示意图。
图2是描绘该实施例的HMD的典型外部形状的示意图。
图3是描绘该实施例的信息处理装置的内部电路配置的示意图。
图4是描绘该实施例的HMD的内部电路配置的示意图。
图5是描绘该实施例的信息处理装置的功能块配置的示意图。
图6是说明通过该实施例从捕获图像获得的信息的说明图。
图7是描绘如何设置由确定需要发出警告的实施例的警告状态确定部分参考的典型游戏区域的示意图。
图8是描绘如何为该实施例设置另一个典型游戏区域的示意图。
图9是说明余量区域的存在与否如何影响该实施例的处理的说明图。
图10是说明用该实施例在图像平面上设置游戏区域的方法的说明图。
图11是描绘由确定需要警告的实施例生成的显示屏幕的示意图。
图12是描绘通过该实施例的信息处理装置与用户的移动保持一致来生成输出数据的处理的流程图。
图13是描绘该实施例的警告图像的显示与非显示之间的状态转变的示意图。
具体实施例
图1描绘了可以应用本发明的一个实施例的信息处理系统的典型配置。信息处理系统8包括对目标对象进行成像的成像设备12、基于捕获图像执行信息处理的信息处理装置10、用于显示获得作为信息处理的结果的图像的平面显示器16和HMD 18、以及由用户操作的输入设备14。
信息处理装置10可以通过电缆或通过诸如蓝牙(注册商标)的已知无线通信技术与成像设备12、输入设备14、平面显示器16和HMD 18连接。依据由信息处理装置10实施的信息处理，可以省略平面显示器16。装置和设备的外部形状不限于图示的内容。两个或更多个这样的设备可以集成在单个设备或装置中。例如，信息处理装置10、输入设备14和平面显示器16可以在移动终端中实现。
成像设备12包括以预定帧速率对诸如用户的目标对象进行成像的相机，以及在将输出数据发送到信息处理装置10之前，通过执行诸如对来自相机的输出信号进行去马赛克的已知处理来生成捕获图像的输出数据的机构。提供包括用于常用数字相机或数字摄像机中的可见光传感器的相机，例如电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。如图所示，成像设备12可以包括单个相机或具有以已知距离分开左右布置的两个相机的所谓的立体相机。
作为另一种替代方案，成像设备12可以通过将单目相机与发射诸如红外线的参考光的设备组合到目标对象来形成，并且测量来自其的反射光。在提供立体相机或反射光测量机构的情况下，可能在三维真实空间中找到目标对象的位置。这允许信息处理装置10执行信息处理或显示设备以更多样化的方式进行图像显示。众所周知，立体相机通过采用使用从右视点和左视点捕获的立体图像的三角测量原理来确定从相机到目标对象的距离。同样众所周知的是通过基于飞行时间(TOF)或通过使用图案投影方法的反射光的测量结果来确定从相机到目标对象的距离的技术。
以下主要描述成像设备12捕获立体图像的方式。然而，这不是对如何实施本发明的限制。只需要在成像设备12中包括至少一个相机。信息处理装置10使用从成像设备12发送的数据执行必要的信息处理，以便生成诸如图像和音频数据的输出数据。由信息处理装置10实施的处理的内容没有特别限制，并且可以依据由用户期望的功能或者应用的内容根据需要来确定。
例如，信息处理装置10典型地执行诸如面部检测和对捕获图像的跟踪的已知的处理以便推进视频游戏，在该视频游戏中出现反映作为目标对象的用户的移动的角色或者将用户的移动转换为用于信息处理的命令输入。此时，附接到输入设备14的标记可以用于输入设备14的移动的获取。而且，可以跟踪附接到HMD 18的外表面的多个标记，以便识别穿戴HMD 18的用户的头部的位置和姿势。然后，可以使得HMD 18以与用户的头部的识别的位置和姿势保持一致显示从被移动的视点观看的虚拟世界。由信息处理装置10生成的输出数据至少被发送到HMD 18。
HMD 18是一种显示设备，其向穿戴它的用户呈现在位于用户眼睛之前的诸如有机电致发光(EL)面板的显示面板上的图像。例如，从右视点和左视点捕获的视差图像被生成并显示在平分显示屏幕的右侧和左侧显示区域上，使得图像可以被立体地观看。然而，这不是对如何实施本发明的限制。例如，可以在整个显示屏幕上显示单个图像。此外，HMD 18可以结合将声音输出到对应于用户耳朵的位置的扬声器或耳机。
平面显示器16可以是配备有输出二维图像的显示单元和输出声音的扬声器的电视机。例如，平面显示器16可以是液晶显示电视机、有机EL电视机、等离子显示电视机或个人计算机(PC)显示单元。可替代地，平面显示器16可以是配备有扬声器的平板终端或移动终端的显示单元。当由用户操作时，输入设备14接收开始或结束处理、选择功能、或者例如输入各种命令的请求，并且将接收到的请求作为电信号提供给信息处理装置10。
输入设备14可以被实现为诸如游戏控制器、键盘、鼠标、操纵杆和平面显示器16的显示屏幕上的触摸板的常用输入设备中的一个或其组合。显示设备14也可以配备有发光标记安排，该发光标记安排由发射预定颜色的光的一个或一组发光元件组成。在这种情况下，如果信息处理装置10使用捕获图像来跟踪标记的移动，则输入设备14本身的移动可以被视为用户的操作。作为另一种替代方案，输入设备14可以仅由发光标记和附接于其上的夹持机构构成。
图2描绘了HMD 18的典型外部形状。在该示例中，HMD 18由输出机构部分102和穿戴机构部分104组成。穿戴机构部分104包括穿戴带106，穿戴带106由用户以围绕用户的头部这样的方式穿戴穿戴带106来实现装置的固定。穿戴带106由这样的材料制成或以这样的方式构造，使得带的长度可调节以适应每个用户的头部的周长。例如，穿戴带106可以由弹性体制成，或者可以利用带扣和齿轮进行长度调节。
输出机构部分102包括当用户穿戴HMD 18时成形为覆盖双眼的外壳。在外壳108内部是直面用户的眼睛的显示面板。发光标记110a、110b、110c和110d附接到外壳108的外表面。虽然发光标记的数量或其安排不受特别限制，但是该实施例具有附接到输出机构部分102的前面的外壳的四个角的发光标记。
发光标记110e和110f进一步附接到穿戴带106背面的两侧。利用以这种方式安排的发光标记，仍然可以基于捕获图像中的发光标记的数量和位置来识别相对于成像设备12侧向或背向的移动用户。应该注意的是，输出机构部分102下面的发光标记110c和110d以及穿戴带106外面的发光标记110e和110f实际上从图2的视点看不见，使得这些发光标记的轮廓在图中用虚线表示。
图3描绘了信息处理装置10的内部电路配置。信息处理装置10包括中央处理单元(CPU)22、图形处理单元(GPU)24和主存储器26。这些组件经由总线30互连。总线30进一步与输入/输出接口28连接。输入/输出接口28与通信部分32连接，通信部分32包括诸如通用串行总线(USB)和电气和电子工程师协会(IEEE)1394端口和有线或无线局域网(LAN)网络接口、诸如硬盘驱动器或非易失性存储器的存储部分34、向平面显示器16以及HMD 18输出数据的输出部分36、接收来自成像设备12、输入设备14和HMD 18的数据的输入的输入部分38；以及驱动诸如磁盘、光盘或半导体存储器的可移除记录介质的记录介质驱动部分40。
CPU 22通过执行存储在存储部分34中的操作系统来控制整个信息处理装置10。而且，CPU 22执行从可移动记录介质读取并加载到主存储器26中或已经通过通信部分32下载的各种程序。GPU 24具有几何引擎和渲染处理器的功能。GPU 24根据来自CPU 22的渲染指令执行渲染处理，以将显示图像存储到未示出的帧缓冲器中。GPU 24继续将存储在帧缓冲器中的显示图像转换为输出到输出部分36的视频信号。主存储器26由存储处理所需的程序和数据的随机存取存储器(RAM)组成。
图4描绘了HMD 18的内部电路配置。HMD 18包括CPU 50、主存储器52、显示部分54和音频输出部分56。这些部分经由总线58互连。总线58进一步与输入/输出接口60连接。输入/输出接口60与由有线或无线LAN网络接口、加速度传感器64和发光部分66形成的通信部分62连接。
CPU 50经由总线58处理从HMD 18的部分获取的信息，并将输出数据提供给显示部分54和音频输出部分56。主存储器52存储CPU 50用于处理所需的程序和数据。然而，依据要被执行的应用或要被使用的装置的设计，HMD 18仅需要输出从执行几乎所有涉及的处理的信息处理装置10转发的数据。在这种情况下，CPU 50和主存储器52可以用更简单的设备代替。
由诸如液晶显示面板或有机EL面板的显示面板制成的显示部分54在穿戴HMD 18的用户的眼睛之前显示图像。如上所述，一对视差图像可以显示在对应于右眼和左眼的两个显示区域以呈现立体视图。当用户穿戴HMD 18时，显示部分54可以进一步包括位于显示面板和用户眼睛之间的一对透镜，该透镜用于扩大用户的视角。
当HMD 18被穿戴时，由对应于用户的耳朵的位置的扬声器或耳机制成的音频输出部分56向用户提供声音。输出音频声道的数量没有特别限制。该声道可以是单声道、立体声或环绕声。通信部分62用作与信息处理装置10或与平面显示器16交换数据的接口。例如，通信部分62可以使用诸如蓝牙(注册商标)的已知的无线通信技术来实现。
加速度传感器64通过测量给定轴方向上的重力加速度来检测HMD 18的倾斜度。HMD 18还可以配备有包括陀螺仪传感器的其他传感器。由传感器获取的测量结果经由通信部分62被发送到信息处理装置10。发光部分66是发光元件或者发光元件的集合体。如图2所示的，发光元件附接到HMD 18的外表面上的多个位置。发光元件作为标记被跟踪以获取HMD 18的位置。而且，从捕获图像中的相互位置关系和发光元件图像的数量中获取HMD 18的姿势。
信息处理装置10通过集成从诸如加速度传感器64和发光部分66的多个装置获得的信息来以更高的准确性获取用户的头部的位置和姿势。在一些情况下，该实施例可以省略加速度传感器64。
图5描绘了信息处理装置10的功能块配置。图5中描绘的功能块可以通过例如使用图3中描绘的CPU、GPU、存储器和数据总线的硬件来配置，或者通过使用通常从记录介质加载到存储器中的程序来实现诸如数据输入、数据保留、图像处理和通信的功能的软件来配置。因此，本领域技术人员将会理解，这些功能块仅由硬件、仅由软件或以其各种形式的组合来配置，并且不限于这些形式中的任何一种。
信息处理装置10包括输入信息获取部分72，其从输入设备14和HMD 18获取输入信息；捕获图像获取部分74，其从成像设备12获取捕获图像数据；信息处理部分76，其执行与诸如视频游戏的内容保持一致的信息处理，输出数据生成部分78，其生成要被输出的数据，以及内容数据存储部分84，其存储用于信息处理和图像生成所需的数据。信息处理装置10进一步包括：位置信息获取部分80，其基于捕获图像获取关于用户的位置信息；警告状态确定部分82，其基于用户的位置确定需要警告的状态；区域设置信息存储部分85，其存储用于确定所需的真实空间区域有关的设置信息；以及输出数据发送部分86，其将输出数据发送到HMD 18。
输入信息获取部分72从输入设备14取得用户的操作内容。在这种情况下，用户的操作可以包括应用或要被执行的内容的选择、处理的开始和结束、命令的输入和在常用信息处理装置上执行的其他操作。输入信息获取部分72依据获取的信息的内容将从输入设备14获取的信息提供给捕获图像获取部分74或信息处理部分76。此外，输入信息获取部分72从HMD 18的加速度传感器64接收测量结果，并将接收到的测量结果转发给信息处理部分76。
捕获图像获取部分74以预定速率获取由成像设备12通过视频成像获得的诸如立体图像的捕获图像的数据。捕获图像获取部分74可以进一步根据输入信息获取部分72从用户获取的处理开始/结束请求来控制通过成像设备12的成像的开始和结束，或者也可以控制与由信息处理部分76处理的结果保持一致的要从成像设备12获取的数据的类型。
位置信息获取部分80通过检测来自捕获图像的预定目标对象的图像以预定速率获取关于用户的位置信息。例如，位置信息获取部分80基于附接到HMD 18或输入设备14上的发光标记的图像，获取真实空间内的用户的头部和手的位置。位置信息获取部分80也可以结合使用图像分析技术。使用这些技术，位置信息获取部分80可以通过轮廓跟踪用户身体的一部分，或者通过图案匹配使用特定图案识别面部或目标对象。依据成像设备12的配置，位置信息获取部分80可以通过如上所述测量反射的红外线来识别到用户的距离。
信息处理部分76处理诸如由用户指定的视频游戏的电子内容。该处理包括使用由位置信息获取部分80获取的用户位置信息。信息处理部分76可以通过根据需要对例如来自HMD 18的加速度传感器的测量结果进行集成来识别用户的姿势。如上所述，对于信息处理部分76响应于通过输入设备14给出的用户的操作或移动而执行的下游信息处理的内容没有特别的限制。
根据来自信息处理部分76的请求，输出数据生成部分78生成作为信息处理结果而输出的视频和音频数据。例如，输出数据生成部分78生成从与用户头部的位置和姿势相对应的视点看到的虚拟世界作为右视差图像和左视差图像。当与HMD 18中的眼睛之前呈现的视差图像一起从虚拟世界输出音频时，用户获得他或她实际上处于虚拟世界中的感觉。内容数据存储部分84存储用于由信息处理部分76进行信息处理和用于由输出数据生成部分78进行数据生成处理所需的程序和视频和音频数据。
警告状态确定部分82基于由位置信息获取部分80获取的用户位置信息，持续监视并确定需要警告的状态的发生。具体地，警告状态确定部分82对在真实世界的三维空间中直接或间接设置的游戏区域执行内部/外部确定，并且如果用户在游戏区域外被发现则确定需要警告。在该实施例中，使用捕获图像来获取位置信息。这意味着信息处理是基于用户处于相机视角内的假设而被预测的。
然而，穿戴如图2所示的HMD的用户难以识别周围环境或者难以识别他或她是否处于视角内。为了继续正常的信息处理，有必要通过一些手段向用户提供关于真实世界的信息，但这有可能破坏由内容表示的世界观。克服这种困境的一种方法是仅在用户即将离开视角时向用户发出警告。发出警告的时机如果太早，则会触发频繁的警告，其将会缩小用户可以有效移动的可移动范围。但是如果时机太晚，则用户不会被警告不要离开视角。这可能导致位置信息在该时间段不可用。
在该实施例中，如上所述，为了确定发出警告的时机，对设置为真实世界中的游戏区域的区域实施内部/外部确定。此外，在这种情况下，游戏区域与视角之间的关系以优化可移动范围与处理准确性之间的平衡的方式进行调整。关于游戏区域的设置信息被预先存储在区域设置信息存储部分85中。具体的设置细节将在后面讨论。在确定需要警告时，警告状态确定部分82通知输出数据生成部分78该效果。
此时，输出数据生成部分78另外在显示图像中渲染指示警告的分量图像。例如，当由于用户已经返回到正常位置而确定不需要警告时，警告状态确定部分82通知输出数据生成部分78该效果。作为响应，输出数据生成部分78使得指示警告的分量图像消失。作为图像的警告可能伴随着声音。输出数据发送部分86连续获取由输出数据生成部分78生成的输出数据，并且在根据需要处理数据之后，将数据发送到HMD 18。
图6是说明通过该实施例从捕获图像获得的信息的说明图。在图6中，用户120用手保持输入设备14并穿戴HMD 18。输入设备14配备有发光标记122，当该装置以适于该操作的方式被保持时，该发光标记122直面成像设备12。HMD 18的发光标记被配置为如图2所示。如果成像设备12是立体相机，则基于组成立体图像的图像之间的视差来获得从成像设备12的成像表面到每个发光标记的距离Z。发光标记图像在右侧或左侧捕获图像的图像平面(X-Y平面)上的位置表示来自成像设备12的外观(apparent)标记位置。
为了找到每个发光标记在真实世界的三维空间中的位置，使用距成像设备12的距离Z反向投影集成这些信息片段的位置，具体地，即在XY平面上的位置。此外，使用HMD 18上的发光标记的图像的数量以及这些图像之间的位置关系来获得HMD 18在真实空间(矢量va)中的姿势。使用输入设备14上的发光标记122的图像的配置来获得输入设备14在真实空间(矢量vb)中的姿势。
基于这些设备在真实空间中的位置和姿势，信息处理装置10中的信息处理部分76可以表示视野随着用户120的面部的方向而改变的虚拟世界，或者描绘图像中的对象与输入设备14的移动保持一致来移动的方式。如果使用标记的外观尺寸估计距离成像设备12的距离，或者如果要实施的信息处理没有沿深度方向的移动的需要，则成像设备12不需要是立体相机。在采用利用参考光的距离测量技术的情况下也是如此。可能不需要同时跟踪HMD 18和输入设备14。
在如上所述使用发光标记图像的情况下，准确地说，直接获取的是HMD 18和输入设备14上的发光标记的位置。然而，由于用户在头上穿戴HMD 18，HMD 18的位置可以被视为用户头部的位置。当基于不同于发光标记的对象执行位置识别时，严格地说，首先获得这些对象的位置。例如，关于这些位置的信息然后被用于估计用户的重心。
在下面的描述中，措辞“用户的位置”可以被解释为用户的位置或者用作用户位置获取的基础的对象的位置。用于内部/外部确定的标准可以以反映对象性质和环境的方式提供。例如，可以确定，即使输入设备14在游戏区域外，如果HMD 18在游戏区域内，也不需要警告。
图7示意性地描绘了如何设置由确定需要警告的警告状态确定部分82参考的典型游戏区域。该图忽略了用户120在成像设备12处直面的真实空间。成像设备12中的相机的水平视角θh确定由虚线指示的视野的边界表面182a和182b。在立体相机的情况下，边界表面是组成立体相机的两个分量相机的视野的积集(product set)。在视野的垂直方向上的这些边界表面被用作基于预定规则用于设置游戏区域184的边界表面的标准。当用户被发现在游戏区域184的外部时，警告状态确定部分82确定需要警告。
在所示的示例中，在距离成像设备12的距离Z落入Z1≤Z<Z3的范围内的情况下，游戏区域184被设置在视野的边界表面182a和182b内部。在距离成像设备12较近的Z1≤Z<Z2的范围内，以相机的光轴为中心与距离Z成比例地使游戏区域184扩大。在Z2≤Z<Z3的范围内，游戏区域184被设置为具有恒定的宽度W。确定Z1≤Z<Z2范围内的游戏区域边界的垂直表面186a和186b对应于以预定量位于捕获图像的右边缘和左边缘内的图像信息位置，而不管深度方向位置如何。因此当游戏区域至少设置在垂直表面186a和186b内时，上述预定量用作图像的余量区域(margin area)。这可以在用户离开视角之前很好地发出警告。
用户越靠近成像设备12，视野变得越窄，这使得用户的可移动范围变窄。由于这个原因，在成像设备12在附近的情况下，通过最大限度地利用游戏区域保持在垂直表面186a和186b内的条件，广泛地设置不需要警告的范围。在成像设备12远离用户的情况下，视野被扩大。在这种情况下，如果标准涉及用户是否在视角之外的确定，并且如果游戏区域被设置在垂直表面186a和186b内，则不需要在更广泛的范围内发出警告。但是，在所示的示例中，考虑到信息处理的适合性和周围环境存在的障碍物，游戏区域被限制在较小的宽度W。
如上所述，游戏区域184具有两个目的：减少偏离视角的可能性，以及建立适当的可移动范围。当根据依据距离相机的距离的不同规则设置游戏区域时，可以自适应地改变优先级。例如，在视野较窄的情况下，可以优先考虑可移动范围。在视野更广泛的情况下，可以优先考虑其他因素，诸如内容的性质。
图8示意性地描绘了如何设置另一个典型的游戏区域。该图描绘了从直面成像设备12的用户120的左侧看到的真实空间。成像设备12中的相机的垂直视角θv确定了由虚线指示的视野的边界表面192a和192b。在视野的水平方向上的这些边界表面被用作用于设置在距离成像设备12的距离Z落入Z1≤Z<Z3的范围内的游戏区域边界表面的标准。
在图8的示例中，使视野的边界表面192a、192b与Z1≤Z<Z3的范围的游戏区域194的边界表面一致。也就是说，与图7所示的游戏区域相比，在游戏区域边界表面和视野的边界表面之间不设置余量区域。也就是说，与捕获图像的上边缘和下边缘之间相对应的区域被设置为游戏区域，在捕获图像的上边缘和下边缘内没有预定量的余量区域，诸如在其中形成图像的水平平面196a和196b。这些设置可以在用户离开视角时发出警告。这提高了即使在无限小的时间段内停用位置获取的可能性。另一方面，不需要在更广泛的范围内发出警告。
以上设置对于具有较窄视角的相机有效。如果视角有限，并且如图7所示设置了余量区域，则即使很小的移动也会触发频繁的警告。因此，以恶化信息处理的准确性为代价通过放置广阔的游戏区域来优先考虑用户的舒适度。例如，如果使用的相机具有宽的水平视角和窄的垂直视角，则游戏区域边界表面与视野的边界表面的位置关系可以依据图7和8所示的真实空间中的方向而改变。这提供了信息处理的准确性和令人满意的操作环境之间的舒适平衡。
图9是说明余量区域的存在与否如何影响处理的说明图。图9上半部分的子图(a)是描绘当游戏区域与在视野中划拨的余量区域一起设置时，涉及的处理和用户的移动的时序图。图9下半部分的子图(b)是当游戏区域被设置为与视野中一致时，涉及的处理和用户的移动的时序图。如右侧示意性所示，该游戏区域被设置为相对于成像设备12的白色空间。在子图(a)中，提供了在白色游戏区域和视野外部的黑色区域之间阴影所示的余量区域。在时序图中，“位置”层中的白色、阴影和黑色矩形分别表示用户在游戏区域内、余量区域内和视野外的时间段。
为了比较两个时序图，假设用户在时间t2离开视野，并且在显示对于同一时间段的警告时，用户返回到游戏区域。通过用户的这种移动，“位置获取”层描绘了指示位置信息获取部分80可以获取位置信息的时间段的矩形，并且“警告”层描绘了指示显示警告的时间段的矩形。在(a)的情况下，用户在比用户离开视野的时刻t2更早的时刻t1离开游戏区域。因此，从时间t1到时间t3显示警告，用户在时间t3返回到游戏区域。另一方面，在(b)的情况下，不设置余量区域，从而从时间t2到时间t4显示警告，在此期间用户在视野外。
在(a)的情况下，如所指示的，即使在显示警告之后也获取位置信息。这样，位置信息成为用于确保对在游戏区域外的用户的警告的有效性的基础。在(b)的情况下，在发出警告时，位置信息变得不可用。这意味着在显示警告期间不能保证警告的有效性。例如，如果典型地由于遮挡而在视野的边界上未检测到用户的图像，则可能错误地确定用户位于视野之外，并且错误地显示警告。
即使用户在(a)和(b)的情况下的显示警告的同时返回到游戏区域，位置信息保持不可用的时间段在(b)的情况下更长。在图示的示例中(a)的情况下，出现用户在视野外的时间段，但是依据余量区域的宽度，用户可能会在离开视野之前响应于警告显示而返回到游戏区域。这意味着在(a)的情况下不能获取位置信息的时间段比在(b)的情况下更不可能发生。另一方面，在(a)的情况下，因为在早于(b)的情况的时间t1显示警告，用户的约束更严格，用户在两种情况下都以类似的方式移动。因此优选的是，考虑到这些特征，可以在逐个优先级的基础上设置最佳游戏区域。例如，优先级可以是最大化不需要警告的区域，或者可以是确定游戏区域具有足够的空间而不采取这种区域最大化。
除了确定是否提供余量区域之外，余量区域的宽度和游戏区域的形状可以与预期情况或真实空间中的方向保持一致来进行优化。例如，考虑到相同的视角，游戏区域的形状可根据诸如视频游戏和与其相关的环境的内容的性质而依据用户的推测姿势而改变。具体地，例如，依据用户是否在站立或坐着时玩游戏，以及如果坐着，用户是坐在桌子前方还是坐在沙发上，可以不同地设置游戏区域。
在图7和图8的设置同时被应用的情况下，要被设置的游戏区域具有相对于距离相机的距离Z的矩形横截面。然而，这不是对该实施例的限制；游戏区域可被设置为具有诸如圆柱形横截面的其他横截面。如果光轴不是水平的，则距离相机的距离Z不会与地平面平行。在这种情况下，可以使用真实空间中光轴方向上的距离或水平方向上的距离来限定游戏区域的形状。例如，如果使用成像设备12中的加速度传感器来测量相机的光轴与真实空间的水平面之间形成的角度，则可以容易地实现坐标变换。本领域技术人员将理解，存在用于在三维空间中设置区域的各种特定数据格式。
同时，可以通过在图像平面上限定对应区域来间接设置游戏区域。图10是说明在图像平面上设置游戏区域的方法的说明图。该图描绘了面向对象空间的相机的视野以及捕获图像的平面。上面的子图(a)应用于单目相机的情况，下面的子图(b)应用于立体相机的情况。在由单目相机给出的捕获图像300的平面上，每个具有宽度x的左右图像边缘被定义为余量区域。区域302减去余量区域被定义为游戏区域对应区域。
由区域302限定的三维空间区域是水平宽度与深度方向上的距离Z成比例地增加的区域304。也就是说，在考虑水平方向的情况下，设置区域302等同于将游戏区域设置在图8所示的垂直表面186a和186b内。当如上所述将游戏区域对应区域302设置在图像平面上时，真实空间中的游戏区域的横截面类似于反映距离Z的尺寸。这导致设置游戏区域的自由度低于直接在真实空间中设置游戏区域的自由度。
另一方面，可以直接通过相对于游戏区域对应区域302对捕获图像中的目标图像执行内部/外部确定来确定对于警告的需要。这使得错误的空间比使用用户位置信息时少。尽管所示示例描绘了余量区域被设置在水平方向的情况，但是在余量区域被设置在垂直方向的情况下也是如此。而且，出于上述相同的原因，是否设置余量区域的确定，以及如果要设置余量区域，则可以针对每个方向独立地实施余量宽度x应该有多大的调整。这些因素也可能依据内容的性质和相关状态而改变。
在上面的子图(b)中描绘的立体相机的情况下，依据用户是在相机视野的左边缘还是右边缘附近，立体相机中的不同的组件相机首先使用户从其视野中丢失。例如，如图所示，如果用户是在相机视野的右边缘附近，则与右视点相机的图像306b中的图像308a相比，左视点相机的图像306a中的图像308a更接近右图像边缘。因此，如果用户继续向右移动，则左视点相机首先将用户从其视野中丢失。相反，如果用户是在相机视野的左边缘附近，则右视点相机首先将用户从其视野中丢失。
因此，如果要在由立体相机的两个组件相机覆盖的视野中设置游戏区域，则要同时设置两个游戏区域对应区域：左视点相机的捕获图像平面上的区域310a减去具有宽度x的右边缘余量区域，以及右视点相机的捕获图像平面上的区域310b减去具有宽度x的左边缘余量区域。当用户的图像在两个游戏区域对应区域之外时，确定需要警告。
图11描绘由确定需要警告的警告状态确定部分82生成的显示屏幕。显示屏幕200被配置为将指示警告的警告图像202添加到诸如游戏屏幕的内容图像上。在所示的示例中，警告图像202使用文本信息“游戏区域外”来指示用户在游戏区域外。指示危险的标记进一步被包括以表示紧急性。
然而，该示例不是警告图像202如何设置的限制。通过根据需要对其颜色和形状进行详细描述，警告图像202可以单独显示为形状或标记，或者可以显示为这种形状和/或标记以及文本信息的组合。作为另一种替代方案，警告图像202可以从一个内容到另一个内容改变，或者与正在进行的显示细节保持一致。由于其提醒用户的角色，警告图像202基本上叠加在内容图像上。另一方面，当内容图像构成具有深度感的虚拟世界时，如果没有深度感的分量图像突然出现在眼前，则用户可能会感到惊讶或恼怒。
为了避免这种不愉快，例如，警告图像202的轮廓可以通过模糊或通过α混合而被软化。可替代地，整个警告图像202可以被制成半透明的。这些措施有助于增强前景中警告图像与后景中虚拟世界的亲和力。而且，警告图像优选地显示在远离视点的位置处，使得用户不会经历视线的突然中断。例如，如果显示器使得视野根据用户的视线而改变，则视点不可避免地固定在屏幕中心。在这种情况下，警告图像202被显示在离屏幕中心至少预定距离的位置。
而且，由于人们相比于向上看可以更容易地向下看，所以警告图像202可以显示在显示屏幕的下半区域(水平中心线C下方的屏幕区域)，而不依赖于精心制作的显示模式。用户然后可以毫不费力地将他或她的观点从内容图像移动到警告图像。这些措施有助于抑制用户需要花时间专注于突然出现的图像或强迫小眼球移动使用户感到不适的情况。
以下说明使用上述配置实现的信息处理装置10的操作。图12是描绘通过实施例的信息处理装置与用户的移动保持一致来生成输出数据的处理的流程图。例如，当用户经由输入设备14向信息处理装置10发送处理开始请求时，开始该流程图的处理。
首先，信息处理装置10的捕获图像获取部分74请求成像设备12开始成像，并开始获取由成像设备12捕获并输出的图像的数据(S10)。同时，警告状态确定部分82从区域设置信息存储部分85读取关于游戏区域的设置信息(S12)。此时，警告状态确定部分82可以选择与例如由用户选择要被实施的内容相关联的设置信息。例如，警告状态确定部分82还可以基于诸如用户是否正在坐着以及如何通过分析捕获图像来安排用户的周围环境这样的信息来选择设置信息。
接下来，信息处理部分76请求输出数据生成部分78向HMD 18输出由捕获图像获取部分74实时捕获图像。使显示在HMD 18上的捕获图像提示用户确认附近没有障碍物(S14和S16)。此时，输出数据生成部分78在捕获图像上叠加诸如“是否有障碍物？”的文本信息以及用户通过其输入确认的图形用户界面(GUI)。这使得用户能够预先识别相机的视角，并且允许用户以始终牢记游戏区域对应区域的方式移动。
事先知道游戏区域可以阐明对于用户的可移动范围。对于用户也可以确定附近是否有障碍物。在由用户根据需要去除任何障碍物的情况下，允许该处理在用户输入确认的情况下进行。这同时完成了两件事情：监视用户与相机视野的偏差，并注意与障碍物碰撞。只要没有用户确认的输入，捕获图像就连续显示(S16和S14中的“否”)。
当输入用户的确认时(S16中的“是”)，位置信息获取部80基于捕获图像开始获取关于用户的位置信息(S18)。信息处理部分76使用获取的信息执行信息处理。作为信息处理的结果，输出数据生成部分78渲染内容显示图像(S20)。同时，警告状态确定部分82监视用户是否在游戏区外(S22)。严格地说，当附接到由用户穿戴的HMD 18的标记或由用户保持的输入设备14上的标记被发现在游戏区域外时，做出用户在游戏区域外的确定。
用于确定的标准可以依据用于获取用户位置信息的方式而改变。例如，如果通过从在立体图像中的用户图像创建深度图来获取位置信息，则可以在用户的重心在游戏区域外时将用户确定为在游戏区域外。跟踪用户轮廓用于位置信息获取时的情况也是如此。如果通过在面部检测处理中通过图案匹配跟踪用户的面部来获取用户位置，例如，则当用户的面部不再被识别时，可以确定用户在游戏区域外。
如果用户不在游戏区域之外(S22中的“否”)，则输出数据发送部分86将在S20中渲染的内容图像输出到HMD 18(S26)。如果用户在游戏区域之外(S22中的“是”)，则警告状态确定部分82将该效果通知给输出数据生成部分78。输出数据生成部分78又将警告图像叠加在内容图像上(S24)。输出数据发送部分86将与警告图像叠加的图像输出到HMD 18(S26)。在S26的处理中，可以同时输出音频数据。
除非需要终止诸如当用户进行处理停止请求时的处理，基于位置信息渲染内容图像。根据需要，将警告图像叠加在内容图像上并输出到HMD 18。这些步骤以预定速率重复(S28中的“否”，以及S20至S26)。当需要上升到终止该处理时，整个处理结束(S28中的“是”)。
在图12的流程图中，用户离开游戏区域的时间段与警告图像被叠加的时间段一致。也就是说，当用户返回到游戏区域时，使警告图像消失。可替代地，可以独立于用于显示警告图像的条件来建立用于使警告图像消失的条件。图13示意性地描绘了警告图像的显示和不显示之间的状态转变。如上所述，警告图像从非显示状态到显示状态的转变的确定是基于用户离开游戏区域(右指向箭头)。
另一方面，警告图像从显示状态到非显示状态的转变的确定可以不是基于用户返回到游戏区域，而是基于满足单独建立的条件(左指向箭头)。例如，可以留出比游戏区域更窄的警告非显示区域。当用户进入该警告非显示区域时，不显示警告图像。在另一示例中，当从用户处于游戏区域起经过预定时间时使得警告图像消失。这些措施使得警告一旦显示就可以保持更长时间的显示。这防止了即使通过例如当用户靠近游戏区域边界时，使得警告反复出现和消失的用户的小运动来改变关于游戏区域的内部/外部确定的结果的“抖动”现象。
本发明的上述实施例构成信息处理系统，其从捕获图像中的目标图像获取用户位置信息，并使用所获取的信息执行信息处理。该系统具有设置在真实世界的三维空间中的游戏区域。如果用户离开游戏区域，则系统向用户呈现警告显示以警告偏差。例如，这防止用户在穿戴HMD的用户不能看到外部世界或沉浸在所显示的虚拟世界中时不知不觉地离开相机视野并中断信息处理。
游戏区域参考相机视野进行设置。此时，需要优化几个因素：游戏区域是否与视野内的余量区域一起设置、游戏区域是否设置为与视野一致，并且如果余量区域要被包括在内，他们的宽度是多少。以这种方式调整余量区域等同于建立用户可以在没有警告的情况下移动的区域，确定位置信息对于在视野之外的用户不可用的频率，并且最终调整位置信息获取的准确性。这使得可以根据优先级来设计该设置，例如以允许位置信息获取的准确性略微恶化为代价而允许最大可移动范围，或者可移动范围被限制为保持位置信息获取的准确性的方式。
例如，优先级依据相机的水平/垂直视角、信息处理的内容以及用户的状态和用户的周围环境的状态而改变。当如上所述优化时，这些设置允许保持位置信息获取的准确性和用户的舒适度。由于游戏区域的形状没有特别限制，因此适当地设置游戏区域的形状和尺寸可以实现多个目标：遵守诸如视频游戏的内容的假设移动的适当值，以及避免与附近的障碍物发生碰撞，并防止用户离开相机视野。
在显示警告时，指示警告的分量图像被叠加在诸如游戏屏幕的正常显示图像上。此时，警告图像的轮廓可能会模糊或图像可能变得半透明，以改善该图像与正常显示图像的亲和力。这是为了减少用户在眼前突然遇到不相关图像时的不适。而且，使警告图像显示在远离视点预定距离或位于显示屏幕下半部分的位置允许用户观看图像并识别正在发生的情况，而不会由于视线的中断而被激怒或感觉不适。
虽然已经结合作为示例给出的具体实施例描述了本发明，但是本领域技术人员应该理解的是，上述组成元件和各种处理可以以各种方式组合，并且这样的组合、改变并且修改也落入本发明的范围内。
[附图标记列表]
8 信息处理系统
10 信息处理装置
12 成像设备
14 输入设备
16 平面显示器
18 HMD
22 CPU
24 GPU
26 主存储器
72 输入信息获取部分
74 捕获图像获取部分
76 信息处理部分
78 输出数据生成部分
80 位置信息获取部分
82 警告状态确定部分
85 区域设置信息存储部分
86输出数据发送部分
[工业实用性]
如上所述，例如，本发明可应用于游戏机、信息处理装置、图像显示装置以及包括这些装置中的任何一个的系统。