信息处理设备和位置信息获取方法与流程

本发明涉及伴随着所拍摄图像中的对象的检测的信息处理技术。

背景技术：

已知一种游戏，其中用户的身体或标记由相机拍摄并且其图像的区域被另一个图像替代以在显示器上显示该图像(参见例如PTL 1)。而且，接收由相机拍摄的嘴或手的移动作为应用的操作指令的用户接口系统是已知的。以这种方式，无论其规模如何，用于拍摄真实世界、显示响应于其移动的虚拟世界、以及执行某种信息处理的技术已经在从移动终端到休闲设施的广泛领域中使用。

引文列表

专利文献

PTL 1

欧洲公开专利No.0999518 A1

技术实现要素：

技术问题

在上面提到的技术中，如何准确且快速地从所拍摄的图像获取关于真实世界的信息一直是重要问题。因此，预先获取相机的基本特征，诸如光轴偏离，并且在操作时添加这些特征以执行图像分析是重要的。但是，当相机在普通家庭中使用时，拍摄环境尤其是各种各样的，并且，当更加追求特征获取的准确性时，用户调节拍摄环境的负担增加更多。由于由对这种预先过程感到厌烦的用户在准备不足的情况下开始使用设备，不能发挥设备的原始性能并且可能生成恶化的用户体验。

鉴于上述内容，本发明的目标在于提供一种技术，该技术用于基于所拍摄的图像根据设备中获取关于对象的位置信息的相机的特征获取来减轻用户的负担。

问题的解决方案

本发明的一种模式涉及一种信息处理设备。这种信息处理设备是从由立体相机拍摄的图像中获取关于对象的位置信息并执行信息处理的信息处理设备，该信息处理设备包括：校准单元，被配置为从由立体相机从左视点和右视点拍摄的立体图像中检测对应的点并由此执行立体相机的校准；以及位置信息获取单元，被配置为校正通过由立体相机拍摄对象的运动图片而获得的立体图像，并进一步检测对应的点，由此基于校准的结果导出视差，并且基于视差获取并输出关于对象的位置信息，其中校准单元重复用于呈现规定信息并且根据校准的不成功以基于用户的低负担所设置的次序重试校准的逐步处理、并且在校准成功的阶段结束操作。

本发明的另一种模式涉及一种位置信息获取方法。这种位置信息获取方法是由信息处理设备执行的位置信息获取方法，该信息处理设备从由立体相机拍摄的图像中获取关于对象的位置信息并执行信息处理，该方法包括：从由立体相机从左视点和右视点拍摄的立体图像中检测对应的点并由此执行立体相机的校准的步骤；以及校正通过由立体相机拍摄对象的运动图片而获得的立体图像，并进一步检测对应的点，由此基于校准的结果导出视差，并且基于视差获取并输出关于对象的位置信息的步骤，其中执行校准的步骤重复用于呈现规定信息并且根据校准的不成功以基于用户的低负担所设置的次序重试校准的逐步处理、并且在校准成功的阶段结束操作。

另外，通过转换方法、设备、系统、计算机程序、在其中记录计算机程序的记录介质等获得的本发明的上述部件和表述的任意组合对于本发明的模式也是有效的。

发明的有益效果

根据本发明，在使用拍摄的图像的位置信息获取技术中，可以减轻用户的负担。

附图说明

图1是图示本实施例适用的信息处理系统的配置示例的图。

图2是图示本实施例中的信息处理设备的内部电路配置的图。

图3是图示本实施例中用于通过使用由成像设备拍摄的图像来获取对象的位置的方法的图。

图4是图示左和右相机的光轴或纵向方向的位置偏离时的立体图像的图。

图5是图示本实施例中的信息处理设备的功能块配置的图。

图6是图示本实施例中信息处理设备执行校准连同必要的初始处理的处理过程的流程图。

图7是图示在图6的S12和S14中显示的屏幕的示例的图。

图8是图示在图6的S22中显示的屏幕的示例的图，其作为本实施例中的第二阶段中的处理。

图9是图示在图6的S22中显示的屏幕的另一个示例的图，其作为本实施例中的第二阶段中的处理。

图10是图示在图6的S22中显示的屏幕的示例的图，其作为本实施例中的第三阶段中的处理。

具体实施方式

图1图示了本实施例适用的信息处理系统的配置示例。信息处理系统8包括拍摄对象的成像设备12、基于拍摄的图像执行信息处理的信息处理设备10、显示作为信息处理的结果而获得的图像的平板显示器16a和头戴式显示器(以下称为“HMD”)16b，以及由用户操作的输入设备14。

信息处理设备10可以通过使用有线电缆或众所周知的无线通信技术(诸如蓝牙(注册商标))连接到成像设备12、输入设备14、平板显示器16a和HMD 16b。另外，输入设备14、平板显示器16a或HMD 16b可以取决于信息处理设备10执行的信息处理而被选择性地引入。另外，这些设备的外观形状不限于图中所示的那些。另外，可以使用一体地包括这些设备中的两个或更多个设备的设备。例如，信息处理设备10、输入设备14和平板显示器16a可以通过使用包括它们的移动终端等来实现。

成像设备12具有以规定的帧速率拍摄对象(诸如用户)的相机，以及通过使输出信号经受来自相机的一般处理(诸如去马赛克处理)来生成作为拍摄的图像的输出数据、并将输出数据发送到信息处理设备10的机制。相机是立体相机，其中普通的可见光传感器以众所周知的间隔在左边和右边布置，诸如CCD(电荷耦合器件)传感器或CMOS(互补金属氧化物半导体)传感器。

信息处理设备10通过使用从成像设备12发送的数据来执行必要的信息处理，并且生成输出数据(诸如图像或语音)。在本文中，由信息处理设备10执行的处理的内容没有特别限制，并且可以根据用户所请求的应用的功能或内容等适当地确定。例如，拍摄的图像经历跟踪处理，由此进行游戏，其中出现了反映作为对象的用户的移动的角色(character)，或者用户的移动被转换成命令输入以执行信息处理。

在这个时候，输入设备14的操作可以通过使用安装在输入设备14处的标记来获取。通过跟踪安装在HMD 16b的外表面处的多个标记，可以指定(specify)穿戴HMD 16b的用户的头部位置或姿态(attitude)，并且可以允许HMD 16b显示从根据头部或姿态移动的视点看到的虚拟世界。由信息处理设备10生成的输出数据被发送到平板显示器16a和HMD 16b中的至少一个。

平板显示器16a可以是具有输出二维图像的显示器和输出语音的扬声器的电视机，并且可以是例如液晶电视机、有机EL(电致发光)电视机、等离子体电视机、PC(个人计算机)显示器等。可替代地，平板显示器16a可以是平板终端或移动终端的显示器和扬声器。HMD 16b是由用户穿戴在头上并由此在位于用户眼睛前方的显示面板(诸如有机EL面板)上显示图像的显示设备。在HMD 16b中，例如，从左视点和右视点看到的视差图像可以被生成并分别显示在通过将显示屏划分为两个而获得的左和右区域上，由此提供图像的立体视图。

但是，要注意的是，本实施例不是限于上述示例的主旨，并且可以在整个显示屏幕上显示一个图像。HMD 16b还可以容纳将语音输出到用户的耳朵的对应位置的扬声器或耳机。此外，在随后的描述中，平板显示器16a和HMD 16b可以被统称为显示设备16。输入设备14由用户操作，由此接收命令(诸如处理的开始或结束、功能的选择或者各种命令的输入)，并将命令作为电信号供给信息处理设备10。

输入设备14可以由通用输入设备中的任何一种或其组合来实现，诸如安装在游戏控制器的显示屏上的触摸板、键盘、鼠标、游戏杆或平板显示器16a。输入设备14还可以包括光发射标记，其包括以规定颜色发射光的元件或其组件。在这种情况下，信息处理设备10通过使用拍摄的图像来跟踪标记的移动，由此输入设备14自身的操作可以作为用户操作来执行。此外，输入设备14可以仅由光发射标记和把持(grip)光发射标记的机构(mechanism)配置。

图2图示了信息处理设备10的内部电路配置。信息处理设备10包括CPU(中央处理单元)22、GPU(图形处理单元)24和主存储器26。它们中的每一个经由总线30彼此连接。进一步连接到总线30的是输入/输出接口28。连接到输入/输出接口28的是外围设备接口，诸如USB(通用串行总线)、IEEE(电气电子工程师学会)1394、包括有线或无线LAN(局域网)的网络接口的通信单元32、诸如硬盘驱动器或非易失性存储器之类的存储单元34、将数据输出到显示设备16的输出单元36、从成像设备12或输入设备14输入数据的输入单元38，以及驱动可移动记录介质(诸如磁盘、光盘或半导体存储器)的记录介质驱动单元40。

CPU 22执行存储在存储单元34中的操作系统，由此控制整个信息处理设备10。CPU 22还执行从可移动记录介质读出、并加载到主存储器26中、或者经由通信单元32下载的各种程序。GPU 24具有几何引擎(geometry engine)的功能和渲染处理器(rendering processor)的功能；另外，GPU 24根据来自CPU 22的绘图命令执行绘图处理，并将显示图像存储在帧缓冲器(未示出)中。然后，GPU 24将存储在帧缓冲器中的显示图像转换成视频信号，并将视频信号输出到输出单元36。主存储器26包括RAM(随机存取存储器)并存储处理所需的程序或数据。

图3是图示用于通过使用由成像设备12拍摄的图像由信息处理设备10获取对象的位置的方法的图。如上所述，成像设备12由其中两个相机以众所周知的间隔布置在左和右的立体相机配置。在由立体相机从左视点和右视点拍摄的一对图像(立体图像)上，取决于相机的间隔以及拍摄对象距相机的距离，在图像的横向方向上出现视差。在图中所示的立体图像120a和120b中，用户的图像从左视点被反射到图像120b中的右边并且从右视点被反射到图像120a中的左边。

当基于特征点等检测出对象的这种图像并且计算出两个图像的横向方向上位置坐标的差异(例如，x_1-x_r)时，从成像表面到对象的距离可以基于该差异获取。对于用于基于立体图像中图像的横向方向上的位置的差异来计算距成像表面的距离的方法，基于三角测量原理(a principle of triangulation)的一般方法适用。然后，基于计算出的距离，将像平面(image plane)中对象的图像的位置坐标反向投影到真实空间上，由此可以识别对象在真实空间中的位置。

当配置成像设备12的两个相机的光轴平行并且不存在纵向方向上的位置偏差时，立体图像120a和120b中相同对象的图像在纵向方向上的位置(例如，y_1和y_r)彼此匹配。当如上所述纵向方向上的位置彼此匹配时，与一个图像的特征点对应的另一个图像的特征点基本上存在于相同位置的线上，因此容易检测到特征点。但是，实际上，由于组装准确性等，可能发生细微的光轴偏差。

图4图示了当左和右相机的光轴(特别是俯仰角)或者纵向方向上的位置偏离时的立体图像。在这个示例中，来自左视点的图像120a中对象的图像在纵向方向上的位置(例如，y_l)存在于与来自右视点的图像120b对应的图像的位置(例如，y_r)上方Δy处。在这种状态下，当根据对应图像存在于两个图像的同一条线上的一般规则执行关联时，即使Δy是大约十个像素的差异，也可能错误地识别关联。因此，不能获得准确的视差，并且最终可能无法充分获得对象的位置获取准确性。

为此，当为了获取纵向方向上的位置偏差Δy而预先执行相机校准时，在操作期间所拍摄的立体图像中的任一个在像平面上在纵向方向上虚拟地偏离Δy，然后检测出对应的点，可以快速并准确地获取位置信息。在图4的示例中，来自右视点的图像120b向上移动Δy，由此生成其中以断线表示框的校正图像122。然后，当来自左视点的图像120a与校正图像122彼此进行比较时，可以在纵向方向上的相同位置处容易地检测到相同对象的图像。

由于更加严格地计算位置偏差Δy的值，因此在操作期间信息处理中响应或准确性被进一步改进；另外，在校准阶段对应的点基本上存在于图像上的任何位置是未知的，并且因此需要高负担的处理(诸如在二维平面中的宽范围被搜索)。为了高效且准确地执行上述处理，需要准备容易识别特征点的对象作为拍摄对象或者需要调节照明环境以获得容易分析的图像。但是，用户的合作对于这种预先准备是绝对需要的，并且随着更加追求准确性，用户的负担增加更多。

特别地，在为娱乐(诸如游戏)设计的信息处理中，当这种工作增加更多时，其结果是用户的兴趣或乐趣会损失更多。而且，对于感觉到该工作本身困难的用户(诸如婴幼儿或老年人)，发生难以自由使用的问题。由于麻烦的工作而被用户省略必要的校准的结果是，位置信息获取的准确性下降或响应迟到，并且娱乐被认为是在没有获取原始性能的情况下结束。

为了解决上述问题，在本实施例中，设备根据个人情况确定最小必需措施，并且如果必要的话在显示信息的同时尝试逐步校准，由此尽可能减小用户的负担。在以下描述中，假设位置偏差Δy通过校准获取；另外，其它参数可以作为拍摄的图像或相机的特征被获取。另外，用于校准的方法没有特别限制，并且作为其结果获得的参数可以直接指示位置偏差Δy或间接指示位置偏差Δy。

图5图示了信息处理设备10的功能块配置。作为硬件，图5中所示的每个功能块都可以通过使用图2中所示的CPU、GPU、主存储器等的配置来实现；另外，作为软件，它可以通过用于执行许多功能(诸如数据输入功能、数据保持(retention)功能、图像处理功能以及从记录介质等加载到存储器中的输入/输出功能)的程序来实现。因而，本领域技术人员应当理解的是，这些功能块可以通过仅使用硬件、仅使用软件或其组合来以各种形式实现，并且不限于其中的任何一种。

信息处理设备10包括：输入信息获取单元50，其从输入设备14获取输入信息；拍摄图像获取单元52，其从成像设备12获取关于拍摄图像的数据；位置信息获取单元54，其获取关于对象的位置信息；初始处理单元60，其执行诸如连接确认、用户注册或各种校准的初始处理；信息处理单元64，其通过使用位置信息来执行信息处理；以及输出数据生成单元66，其生成诸如显示图像之类的输出数据。输入信息获取单元50从输入设备14获取用户操作的内容。在本文中，用户操作可以在一般信息处理(诸如选择要执行的应用、处理的开始/结束或者命令输入)中执行。输入信息获取单元50根据内容将从输入设备14获取的信息供给拍摄图像获取单元52、初始处理单元60或信息处理单元64。

拍摄图像获取单元52以规定的帧速率获取关于通过由成像设备12拍摄运动图片而获得的拍摄图像的数据。拍摄图像获取单元52还可以根据由输入信息获取单元50获取的来自用户的处理开始/结束要求来控制成像设备12中拍摄的开始/结束，或者根据信息处理单元64中处理的结果来控制从成像设备12获取的数据的类型。

位置信息获取单元54基于拍摄图像中包括的对象的图像的位置来指定真实空间中的位置或移动。具体地，位置信息获取单元54包括校正数据存储单元56和位置数据生成单元58。校正数据存储单元56存储通过校准获得并用于获取位置信息的各种参数，诸如在立体图像的纵向方向上的位置偏差值。位置数据生成单元58从拍摄图像获取单元52获取关于通过拍摄运动图片而获得的每一帧的立体图像的数据，并且检测两个图像中的对应的点。

在这个时候，位置数据生成单元58首先参考存储在校正数据存储单元56中的位置偏差值，并且在像平面上的纵向方向中将任一图像移位，以如上所述地对准左边和右边的图像的位置。对于在一个图像中设置的每个参考块，位置数据生成单元58然后计算相似程度等，并且在与另一个图像对应的线上移动搜索窗口的同时确定对应的块。基于参考块和与参考块对应的块之间在横向方向上的位置差异，位置数据生成单元58还通过三角测量的原理来指定从其中反映的对象距相机的距离。位置数据生成单元58还生成深度图像，其中距相机的距离作为像素值等被映射到像平面，以生成最终的位置数据，并将最终的位置数据供给信息处理单元64。

初始处理单元60向用户呈现开始信息处理所必需的规定信息，或者促使(persuade)用户进行连接确认或各种设置输入，以管理其结果。作为初始处理单元60执行这种处理的定时(timing)，例如，其被考虑为电力供应首先被放入信息处理设备10的时间或者个人用户执行登录注册的时间。要在这种定时执行的信息呈现或设置输入可以类似于在一般信息处理设备中执行的那些。在本实施例中，校准单元62安装在初始处理单元60中，并且上述成像设备12的规定的初始处理和校准被同时执行。

校准单元62基本上获取立体图像的纵向方向上的位置偏差值，并将其结果存储在位置信息获取单元54的校正数据存储单元56中。但是，要注意的是，位置偏差值的初始值可以在用于运送成像设备12或信息处理设备10的阶段中存储，并且如果必要的话可以更新初始值。对于每次登录注册，当执行校准时，如果必要，那么可以更新在先前用户执行注册时获取的位置偏差值。在校准中，如上所述，通过在另一个图像的相对宽范围内的区域中进行搜索来检测与在一个立体图像中设置的参考块具有高相似程度的块，并且从纵向方向上的位置关系来获取偏差。

在这个时候，基于在这个时间点的拍摄环境、与先前获取的位置偏差值的变化等，确定对于用户是否有必要针对校准执行某种措施；另外，即使有必要执行这些措施，负担水平等也是不同的。为了解决上述问题，校准单元62首先确定用户是否有必要执行某种措施，并且如果没有必要执行该措施，那么与由初始处理单元60执行的其它处理并行地原样(as it is)完成校准，并且将获取的位置偏差值存储在校正数据存储单元56中。

可以基于通过执行校准获得的真实位置偏差值来确定用户是否有必要执行某种措施，或者可以使用其它确定标准。例如，在相机方向上存在明显异常的情况下，当用户认识到那个效果时，可以容易地执行措施，因此可以省略执行校准而不考虑这种情况的浪费。因此，除校准之外，校准单元62还可以具有确定用户是否有必要执行针对校准的措施的功能。例如，校准单元62适当地包括从由成像设备12容纳(house)的加速度传感器的传感器值获取成像设备的姿态的功能、从拍摄图像检测脸部的功能、获取拍摄图像的亮度分布或频率特性的功能等。可替代地，可以通过使用位置信息获取单元54来生成深度图像，并且可以基于结果来确定是否有必要让用户执行措施。

无论如何，当校准可以在用户不执行某种措施的情况下完成时，用户可以结束初始处理而不会意识到执行的校准本身并开始期望的信息处理。一方面，当用户需要执行某种措施时，校准单元62以与执行具有低负担水平的措施的信息对应的次序呈现信息，并且每当执行措施时，尝试校准。然后，当校准成功时，校准单元62将获得的位置偏差值存储在校正数据存储单元56中，然后结束处理。

通过这种处理，可以根据个体情况(诸如拍摄环境)以最小的负担开始信息处理。此外，在一些情况下，可以在除了上述所谓“初始处理”以外的定时执行校准。无论如何，校准都与某种处理并行地执行，并且由此实现用户尽可能不会意识到校准并且校准已经完成的情况。

信息处理单元64执行信息处理(诸如由用户指定的游戏)。在这种情况下，从位置数据生成单元58针对每一帧获取关于对象的位置信息，由此在信息处理上反映对象的位置或移动。信息处理单元64还可以反映由输入信息获取单元50从输入设备14获取的用户操作的内容。如上所述，由信息处理单元64通过使用这些输入数据执行的信息处理的内容没有特别限制。

输出数据生成单元66根据来自信息处理单元64的请求生成关于要作为信息处理的结果输出图像或语音的数据。如上所述，例如，输出数据生成单元66绘制从与用户的头部的位置或姿态对应的视点看到的虚拟世界，作为左边和右边的视差图像。当视差图像显示在左边和右边的眼睛的前方或者虚拟世界中的语音在HMD 16b中输出时，用户获得如同进入虚拟世界的感觉。此外，本领域技术人员应当理解的是，可以通过使用关于对象或用户操作的位置信息来实现各种信息处理。

输出数据生成单元66还根据来自初始处理单元60的请求生成关于用于指示初始处理所必需的信息或接收信息的设置的图像或语音的数据。当确定用户需要被允许执行针对校准的某种措施时，输出数据生成单元66从校准单元62接收对效果的请求，并且还根据该请求生成关于显示图像或语音的数据。生成的输出数据被适当地输出到平板显示器16a或HMD 16b，由此作为图像或语音被输出。

随后，将描述通过上述配置实现的信息处理设备10的操作。图6是图示根据本实施例的信息处理设备10执行校准连同必要的初始处理的处理过程的流程图。这个流程图在用户首次启动信息处理设备10等时开始。如上所述，在本实施例中，信息进一步以关于用户的低负担的信息的次序呈现，由此逐步提前校准。在所述流程图中，每个时间点的阶段编号由升序的整数n表示，并且在流程图开始的时间点的n的值被设置为1(S10)。

当用户适当地将信息处理设备10、输入设备14、显示设备16、成像设备12等彼此连接并启动信息处理设备10时，初始处理单元60允许显示设备16经由输出数据生成单元66显示规定的初始图像(S12)。这个初始图像一般可以包括指示信息处理设备10正常启动的字符串，诸如设备的徽标或“欢迎”。随后，初始处理单元60允许显示设备16显示用于接收各种初始设置的屏幕或用于显示许可协议的屏幕，并适当地接收来自用户的输入(S14)。在这个时候，初始处理单元60确认各种设备的连接状态，并且当连接不合适时，通知用户那个效果。

在确认成像设备12被连接之后，初始处理单元60允许成像设备12经由拍摄图像获取单元52开始拍摄，并且拍摄图像获取单元52获取关于根据开始所拍摄的立体图像的数据(S16)。然后，作为第一阶段的处理的一部分，校准单元62首先确定用户是否需要某种措施(S18)。即，如上所述，除了相机的方向不适当的情况之外，当不适于校准的情况明显(诸如在成像表面的前方存在障碍物、照度(illuminance)不足，或者在视场中不存在获得适当特征点的对象)时，预先检测那些情况，由此不会徒劳地执行具有高处理负担的校准。

具体而言，在以下情况下，确定需要采取措施。

1.作为脸部检测处理的结果，未检测到脸部。

2.未检测到规定量或更多的特征点。

3.亮度分布或频率特性不在适当的范围内。

4.通过使用过去获取的位置偏差值所生成的深度图像不指示正常值。

5.加速度传感器等的测量值等指示成像设备12的姿态不适当。

上面提到的条件一直是说明性的，并且当可以检测到可以适当地执行校准的情况时，要使用的方法或手段没有限制。另外，可以采用此类条件之一或可以组合采用多个条件。另外，上面提到的条件是以句子描述的；但是，实际上，每种情况都被数字化，并且与情况对应的确定标准被单独设置。如果确定不满足上面提到的条件并且可以在无需用户采取措施的情况下执行校准(S18中的“否”)，那么校准单元62通过使用在那个时间点获得的立体图像来执行校准并且获取在纵向方向上的位置偏差值(S24)。

然后，如果校准成功(诸如获取的位置偏差值存在于正常范围内)(S26中的“是”)，那么将该值存储在校正数据存储单元56中，并且初始处理结束(S28)。此外，在这个时候根据S16、S18、S24和S26中的校准的处理可以与S14中的信息显示或各种输入接收处理并行地在所谓后台执行。因此，当在第一阶段中校准成功时，用户可以在不知道校准单元62的操作被执行的情况下结束初始阶段所需的过程。

如果在S18中情况与上面提到的条件匹配并且确定需要用户的措施(S18中的“是”)，那么校准单元62在第一阶段中不执行校准而使阶段前进一个(S20)。即使在S26中校准不成功，校准单元62也使阶段前进一个(S26和S20中的“否”)。在这个阶段，通过改进用户最小负担的情况来确认校准是否成功。具体而言，允许显示设备16照原样显示由成像设备12拍摄的图像(S22)。

在诸如相机的方向不适当或者在成像表面的前方存在障碍物的一类情况下，当观看拍摄图像时，问题可以被清楚地掌握并容易地解决。因此，作为第二阶段，在S22中立即显示拍摄图像，并且促使用户直观地掌握问题。可替代地，在观看拍摄图像的同时，可以通过字符串等向用户给出简单且可操作的指令或指导。根据上面所述，当检测到用户执行某种措施时，校准单元62通过使用在那个时间点获得的立体图像来执行校准，并获取纵向方向上的位置偏差值(S24)。

然后，如果校准成功(诸如获取的位置偏差值存在于正常范围内)(S26中的“是”)，那么将该值存储在校正数据存储单元56中，并且初始处理结束(S28)。通过这种处理，校准的用户负担是简单的工作(诸如校正相机的方向或移除障碍物)。一方面，即使执行了这种操作，如果校准不成功(S26中的“否”)，那么阶段进一步前进一个(S20)并且出现关于用于校准的第三阶段的信息(S22)。

在本文中，所呈现的信息比第二阶段中呈现的信息稍微复杂一些，或者请求高负担的措施并且包括对于用户的指令(诸如使照明变亮或者用户站在使对象的特征点容易识别的规定位置)。当检测到用户服从该指令时，校准单元62通过使用在那个时间点获得的立体图像来执行校准，并且获取纵向方向上的位置偏差值(S24)。

然后，如果校准成功(诸如获取的位置偏差值存在于正常范围内)(S26中的“是”)，那么将该值存储在校正数据存储单元56中，并且初始处理结束(S28)。即使执行了上述操作，如果校准不成功(S26中的“否”)，那么阶段也进一步前进一个(S20)并且重复请求更高负担的措施并尝试校准的处理(S22、S24和S26)，直到校准成功。但是，要注意的是，校准不成功的结果可以在规定的阶段编号输出，并且可以退出该处理。

如上所述，用户的负担水平和要呈现的信息彼此相关联，信息以低负担的次序呈现，并且在每种情况下尝试校准；由此根据用户的个人情况以最小的负担完成校准。校准单元62在内部保持其中阶段编号n与要显示的信息彼此相关联的数据，并且每当校准的处理阶段前进时呈现对应的信息。此外，在上面提到的描述中，拍摄图像在第二阶段被立即显示，并且在第三阶段中显示包括指令的图像；但是，本实施例不是限于上述示例的主旨。例如，可要呈现的信息可以被进一步分解为多个部分并且可以将阶段细分(separated minutely)，或者要呈现的信息可以结合拍摄图像的即时显示和指令显示而被多样化。

随后，图示本实施例中的初始处理期间显示的屏幕的示例。图7图示了图6的S12和S14中显示的屏幕的示例。图7(a)的屏幕包括用于通知用户初始处理从现在起开始的字符串“开始设置”以及用于选择接受上述操作或返回到前一屏幕的输入按钮或GUI(图形用户界面)的引导显示。在本文中，当用户接受初始处理的启动(诸如指示输入设备14的“确定”的“○”按钮被按下)时，初始处理单元60开始规定的初始处理。

作为检查各种设备是否适当地连接(这是作为初始处理的一部分)的结果，例如，当成像设备12未连接时，促进用户进行连接(the connection is persuaded to the user)，同时指示诸如“连接相机”的字符串或如图7(b)的屏幕中所示的图形。同一屏幕还显示用于选择输入用户完成工作或返回到前一屏幕的效果的输入按钮或GUI的指导。当成像设备12的连接完成时，用户按下指示“确定”的“○”按钮，由此初始处理单元60检测到那个效果，再次确认连接，并开始其它初始处理。

当每个设备从一开始就彼此适当地连接时，(b)的屏幕不显示。无论如何，当可以确认成像设备12连接的状态时，校准单元62执行校准的第一阶段。如上所述，由于在第一阶段不需要用户的措施，因此可以与第一阶段并行地显示许可协议或者可以接收各种设置输入。可替代地，可以显示“等待一段时间”的字符串，并且可以清楚地指定执行某种校准处理。当在这个阶段中校准成功时，校准单元62结束操作。

当用户的措施在校准之前检测到必要的情况或者当校准不成功时，校准单元62移动到校准的第二阶段。图8图示了在图6的S22中显示的屏幕的示例，作为第二阶段的处理。在这个示例中，显示立即显示立体图像的一个图像的图像显示区域80和其中表示那个区域中的规定区域(诸如中心部分)的框82。而且，以字符串显示对用户的指示，诸如“把脸部放在框中”。另外，显示用于选择输入用户服从指令或返回到前一屏幕的输入按钮或GUI的指导。

当采取他/她自己的脸部放在框82中的位置或姿态时，用户按下指示“确定”的“○”按钮，由此校准单元62检测到那个效果并开始校准。当在这个阶段中校准成功时，校准单元62结束操作。以这种方式立即显示拍摄图像，并且通过使用图像执行校准，使得具有明显特征点的“人脸”被明确地放在规定区域中；由此可以提高校准成功的概率。

一方面，在第二阶段中，为了排除在较低负担下更容易解决的问题(诸如移除相机前方的障碍物)，拍摄图像被认为仅立即显示。图9图示了图6的S22中显示的屏幕的另一个示例，作为第二阶段中的处理。在这个示例中，显示出其中立即显示两个立体图像的图像显示区域84a和84b。如图所示，一眼就可以看出，在一个图像显示区域84b中显示的拍摄图像的一部分被隐藏，并且存在某种障碍物(诸如挂在对应相机的成像表面上的布)。在这种情况下，用户拿走布等并按下指示“确定”的“○”按钮，由此校准单元62检测到那种效果并开始校准。

当校准即使在第二阶段中也不成功时，校准单元62移动到校准的第三阶段。图10图示了在图6的S22中显示的屏幕的示例，作为第三阶段的处理。但是，要注意的是，在这个示例中，假设在第三阶段中首先显示的屏幕，随后显示用于通知用户需要完全执行校准的“需要相机的调节”的字符串以及用于选择是否接受该字符串的GUI等。在本文中，当用户按下指示“确定”等的“○”按钮并输入接受的意图时，校准单元62移动到针对被设置为第三阶段的措施的信息呈现(未示出)和其中执行与在措施之后拍摄的图像对应的校准的例程。

在这个示例中，假设第三阶段是校准操作的最后阶段。因此，要呈现的信息基本上是对用户的站立位置或把持对象(gripping object)给出详细指令的一类。从这些指令中，可以先呈现用户低负担的指令。可替代地，基于校准的结果、图像分析结果等，可以选择要呈现的指令。当在第一阶段至第三阶段中的任何阶段中校准成功并且其它初始处理也完成时，初始处理单元60显示例如“设置已结束”等字符串，并且通知用户初始处理完成并结束处理。这种处理允许用户分开显示菜单屏幕等并开始期望的信息处理(诸如游戏)。

在本实施例中，校准完成的可能性变高，同时用户不会意识到校准的完成；因此，每当执行登录注册时，新用户可以在注册许可协议等时与必要信息的显示并行地在后台执行校准。在这种情况下，首先当用户注册登录时获取的位置偏差值不改变时，该值维持，并且当位置偏差值改变时，存储在校正数据存储单元56中的值被更新。因此，随着注册登录的用户数量增加，操作中使用的位置偏差值的准确性可以更加提高。

另外，在登录时执行脸部认证的系统中，在注册登录时获取用于认证的脸部的特征量。通过使用脸部的特征量，可以基于在拍摄图像中反映的脸部来改变校准的实现的正确与否或用于推进校准的阶段的方法。例如，即使当新用户执行登录注册时，在过去执行登录注册的用户的脸部也全部一起反映的情况下，由于已经获取的位置偏差值的高准确性，省略校准或者在不执行向用户的信息呈现的范围内仅执行第一阶段中的校准。在后一种情况下，当校准成功并且位置偏差值从先前获取的位置偏差值改变时，可以更新位置偏差值，并且当校准不成功时，可以照原样采用先前获取的位置偏差值。

相反，当先前注册的用户的脸部没有被反映时，由于环境或情况可以改变，因此可以省略第一阶段中的校准，并且可以从第二阶段或第三阶段中的校准开始执行校准。如上所述，增加了情况的随时间的变化，然后可以适当地确定简化校准的正确与否。而且，除了脸部的特征量以外，可以基于相机的视场中的家具等的空间结构来检测环境或情况的改变。

根据上述本实施例，在用于通过使用立体图像来获取对象的位置信息的信息处理技术中，与根据真实情况的需要相比，通过准备适当的拍摄环境而常规被执行的相机校准被逐步执行。具体而言，当情况是不特别需要措施并且获得适当的拍摄环境时，通过使用那个时候的拍摄图像来执行校准。在这种情况下，由于不需要向用户通知，因此该处理与其它处理并行地执行，并且由此在用户不知道处理的情况下完成处理。

作为在维持当前情况时当校准不成功的时候的下一个阶段，拍摄图像被立即显示。通过这种处理，在相对容易解决的问题(例如相机的方向不适当或者在成像表面的前方存在障碍物)造成失败的情况下，允许用户一目了然地掌握问题，并且校准可以通过低负担通向成功。即使这样做，当校准不成功时，指令还是被给予用户并且适当的拍摄环境被明确地(positively)创建，由此校准被明确地(definitely)执行。

另外，在实际执行高负担的校准之前，基于除校准结果以外的其它观点(诸如脸部检测结果或内部传感器的测量值)，确定校准是否被执行并且确定当执行校准时在哪个阶段中执行校准。通过这种处理，可以添加各种事件(诸如个人环境或情况的变化)，并且可以更高效地执行校准。通过这种处理，可以尽可能地减少首次使用设备时容易造成的设置的麻烦，并且可以减少使用新设备的精神障碍。因此，作为在没有执行足够校准的情况下开始使用设备的结果，防止生成恶化的用户体验。

如上所述，基于实施例描述了本发明。上面提到的实施例将是说明性的，并且本领域技术人员应当理解的是，可以结合每个配置元件或其每个处理过程产生各种修改示例，并且此类修改示例存在于本发明的范围内。

附图标记列表

8 信息处理系统

10 信息处理设备

12 成像设备

14 输入设备

16a 平板显示器

16b HMD

16 显示设备

50 输入信息获取单元

52 拍摄图像获取单元

54 位置信息获取单元

56 校正数据存储单元

58 位置数据生成单元

60 初始处理单元

62 校准单元

64 信息处理单元

66 输出数据生成单元

工业适用性

如上所述，本发明可以用于游戏设备、图像处理设备、信息处理设备、对象识别设备、图像分析设备、包括它们中的任何一个的系统等。