信息处理装置以及信息处理方法

专利名称：信息处理装置以及信息处理方法
技术领域：
本发明涉及信息处理技术，特别涉及包含用于进行对应于用户的输入的处理的用户接口的信息处理装置，以及在该装置中执行的信息处理方法。
背景技术：
近年来，包含游戏装置或电器产品等的电子仪器的功能正在显著地高度化。伴随着这一变化，用户通过用户接口可以进行的输入体系变得复杂化。为了即使是这样复杂的输入体系，也可以容易进行输入，对用户接口想了各种各样的办法。比如，在控制器的按钮的分配上想办法，或使用触摸屏之外，也有提议将对用户进行拍摄的装置作为接口，通过检测用户的面部的状态，进行各种各样的处理的技术(参照比如专利文献1)。这样，在将摄像装置作为用户接口的情况下，为了检测用户的面部状态，可以使用一般的面部检测技术。比如对预先准备的基准图像和检测的面部区域的图像进行匹配，根据面部区域的面积判断面部的朝向和倾斜。专利文献1特开2008-15942号公报

发明内容
由于信息处理技术进步，使用电子仪器或信息处理装置的环境、用户、处理内容等也多样化，相应于这些因素，期望的用户接口也不同。因此，为了符合这样的需求，用户接口形式需要更加多样化。特别是可以不进行通过多个按钮的复杂的输入，而由自然的动作来进行输入的用户接口很受欢迎。本发明是鉴于这样的课题而做出的，其目的在于提供一种包含根据人的动作可以进行正确且多样的输入的用户接口的信息处理技术。本发明的一种形式是信息理装置。该信息处理装置具有摄像装置，将对象物的运动作为视频图像进行拍摄；输入值取得单元，根据对象物的轮廓线，从视频图像推定摄像装置的对象物从位于竖向、横向、纵深方向的三维空间中的基准位置的运动量；输出数据生成单元，根据输入值取得单元取得的在三维空间的运动量，进行不同的处理，生成输出数据。本发明的另一种形式也是信息理装置。该信息处理装置具有摄像装置，将对象物的运动作为视频图像进行拍摄；输入值取得单元，从所述视频图像推定摄像装置的对象物从位于竖向、横向的二维空间中的基准位置的运动量、以及离开纵深方向的基准位置的距离；输出数据生成单元，对应于追踪处理单元取得在二维空间中的运动量，进行不同的处理并生成输出数据。输入值取得单元根据离开对象物的纵深方向的基准位置的距离，修正从摄像装置来看的表面上的竖向以及横向的运动量，由此分别推定实际的竖向以及横向的运动量。本发明的另一种形式是信息处理方法。该信息处理方法具有将对象物的运动作为视频图像由摄像装置进行拍摄的步骤；根据对象物的轮廓线，从视频图像推定摄像装置的对象物从位于竖向、横向、纵深方向的三维空间中的基准位置的运动量的步骤；根据推定的在三维空间中的运动量，进行不同的处理并生成输出数据的步骤。以上构成要素的任意组合、将本发明的表现方式在方法、装置、系统、计算机程序、 记录有计算机程序的记录介质等之间转换而成的形式，均作为本发明的形式有效。根据本发明，在各种各样的信息处理中，可以将用户自身的自然的运动作为输入值，高精度地进行多种多样的处理。


图1是表示可适用于本实施方式的信息处理系统的构成例的图。图2是用于说明将人物作为追踪对象的情况下的视觉追踪方法的图。图3是说明使用粒子过滤器(粒子过滤器)的概率密度分布推定的方法的图。图4是详细表示在本实施方式中的信息处理装置的构成的图。图5是表示在本实施方式中的追踪处理单元的构成的图。图6是详细表示在本实施方式中的输入值转换单元的构成的图。图7是表示在本实施方式的初期处理单元进行的校准(* V」O — * 3 > )中拍摄用户时的头部的位置的图。图8是示意性地表示在本实施方式中用户纵深方向的移动和图像规定参数的对应关系的图。图9是用于说明修正表示本实施方式中表面上的移动量的直行运动(並進)量的值的原理的图。图10是表示本实施方式的信息处理装置的处理顺序的流程图。图11是表示在图10的流程图中，作为处理对象的游戏显示在显示装置上的图像相对于用户的位置的变化的例子的图。图12是表示在图10的流程图中，作为处理对象的游戏显示在显示装置上的图像相对于用户的位置的变化的例子的图。
具体实施例方式图1表示适用于本实施方式的信息处理系统的构成例。信息处理系统10具有对用户18进行拍摄的摄像装置12、检测用户的动作并进行对应于该动作的信息处理的信息处理装置14、将作为信息处理装置处理的结果而得到的图像数据进行输出的显示装置16。信息处理装置14与摄像装置12或显示装置16的连接可以通过有线、无线、或各种网络进行。另外，摄像装置12、信息处理装置14、显示装置16中的任何2个或全部可以组合为一体。摄像装置12不一定设置在显示装置16上。在下面的说明中，以摄像装置12 从正面拍摄与显示装置16相对着的用户18为前提，但即使拍摄方向不同，也可以根据简单的坐标转换来进行同样的处理。另外，将摄像装置12的镜头朝着的方向作为“纵深方向”， 加上与镜头面平行的平面中的“纵方向”以及“横向”后的这3个方向，作为用户移动的三维空间的轴来表现。摄像装置12以设定的帧速率取得包含用户18的图像的数据。取得的视频图像数据被输入到信息处理装置14。信息处理装置14根据从摄像装置12取得的视频图像数据检测用户的动作。在本实施方式中，为了提高用户根据自己的动作可以进行的输入的自由度，也取得对于摄像装置12的纵深方向的移动的信息。具体的方法将在后面叙述，但通过检测纵深方向的运动，不只是可以进行纵深方向的参数的输入，也可以正确检测竖向、横向的运动。其结果，与只检测图像平面上的运动相比，可以大大提高输入的自由度。信息处理装置14检测包含纵深方向的运动的用户的动作，并据此改变处理。在此，信息处理装置14执行的、与用户接口相关的处理以外的处理的内容不被限定。比如、可以想象将显示在显示装置16中的图像作为用户18的视野，或把与用户18对应的对象作为化身来显示，在洞穴或街中等假想空间一边移动，一边进行各种各样的动作的游戏等。角色扮演游戏或射击游戏、拳击游戏、足球游戏等，可以考虑各种使用这种状态的游戏。在游戏以外，也可以在假想空间内的假想店铺购物，选择显示处理菜单的对象。这些处理都是基于使显示装置16显示的图像和用户18的动作联动这一想法，但本实施方式不限于此，可以是根据用户的输入而动作的所有应用软件(7 7。」D 3 > )。即，如果事先进行用户的动作和处理的对应，也可以考虑根据动作来切换显示在显示装置16上的电视节目或网站等的使用。另外，也可以只选择菜单但不伴随图像显示。无论哪种方式，即时将用户的运动这一单纯的变化作为“输入值”，也可以提高输入的自由度，同时可以高精度地检测“输入值”，因此，可以和各种各样的应用软件进行组合。显示装置16取得反映信息处理装置14检测的用户18动作的结果而生成的图像数据，并作为图像输出。在后面的说明中，将着眼于处理让用户的动作和显示在显示装置16 上的图像联动的游戏的形式，如上所述，可适用的应用软件很多。下面对信息处理装置14进行的用户18的动作检测的原理进行说明。在本实施方式中，摄像装置12拍摄的包含用户18的图像执行使用粒子过滤器的视觉追踪处理。图2 是用于说明将人物作为追踪对象的情况下的视觉追踪方法的图。人物图像150是构成拍摄的视频图像的图像流的图像帧之一，成为追踪对象的人物152映照在其中。该人物152与图1中的用户18相对应。为了追踪该人物152的运动，用已知的表现方式记载将人物152的头部轮廓的形状近似化的Ω形的曲线154。另一方面，对包含人物152的人物图像150进行边缘抽出处理，取得边缘影像。通过使规定曲线154的参数，使该曲线IM直行运动、伸缩、旋转，搜索其附近的边缘，由此确定被推定为和人物152的头部轮廓最符合的参数的值。通过对每个帧反复进行以上的处理，来进行人物152的追踪。此处的边缘一般是指图像的浓度和颜色发生突然变化的地方。为了进行将规定的参数的值发生了各种变化的曲线IM和人物152的头部轮廓的匹配，引入通过粒子过滤器进行概率分布预测的技术。即，对应于前一个帧的参数空间上的对象物的概率分布，增减曲线154的样本数，进行追踪候补的优选。由此，可对存在概率高的部分重点进行搜索，高效地进行高精度的匹配。对于着眼于对象物的轮廓的追踪适用粒子过滤器的方法，比如非专利文献 (!Condensation Unifying low-level and high-level tracking in a stochastic framework, Michael Isard and Andrew Blake, Proc 5th European Conf. Computer Vision, 1998)中有所记载。在此，着眼于与本实施方式相关的部分进行说明。首先将Ω形曲线巧4用B样条曲线(B ^ ，^ >曲線)记述。B样条曲线有η 个控制点⑴0，...，Q η)和η个节点(7 7卜)(s 0，. . .，sn)来定义。优先设定这些参数，使得基本的曲线性在该情况下成为Ω形曲线。以下将由此时的设定得到的曲线称为模板(〒>:/> 一卜)Qt。在进行图2所示的人物图像150中的人物152的追踪的情况下，模板Qt是Ω形，使该形状根据追踪对象而变化。即，如果追踪对象是球时成为圆形，是手掌时成为手的形状等。作为用于使模板的状态变化的转换参数，准备了形状空间矢量X。形状空间矢量χ 由以下的6个参数构成。χ = (shiftx, shifty, extendxcos θ -1, extendycos θ -1, -extendxsin θ , extendysin θ )τ (1)此处(shiftx，shifty)是向(χ，y)方向的直行运动量，(extend,, extendy)是放大率，θ是旋转角。如使用将形状空间矢量χ作用于模板Qt的互动矩阵W，变形后的曲线， 即，候补曲线Q可以表述如下。
权利要求
1.一种信息处理装置，其特征在于包括摄像装置，将对象物的运动作为视频图像进行拍摄；输入值取得单元，根据所述对象物的轮廓线，从所述视频图像推定所述对象物相对于所述摄像装置、在竖向、横向、纵深方向的三维空间离开基准位置的运动量；输出数据生成单元，根据所述输入值取得单元推定的、在三维空间的运动量，进行不同的处理，生成输出数据。
2.如权利要求1所述的信息处理装置，其特征在于，所述输入值取得单元包括追踪处理单元，用曲线表示所述对象物的一般形状，至少使该曲线的放大率以及直行运动量变化的同时，与构成所述摄像装置拍摄的视频图像的图像帧的边缘影像进行匹配， 由此对每个图像帧取得规定与该图像帧中的所述对象物最吻合的曲线的放大率以及直行运动量的数据；输入值转换单元，使用所述追踪处理单元取得的所述直行运动量的数据，推定竖向以及横向的运动量，使用所述放大率的数据，推定纵深方向的运动量。
3.如权利要求1所述的信息处理装置，其特征在于，所述输入值取得单元包括追踪处理单元，用曲线表示所述对象物的一般形状，至少使该曲线的放大率以及直行运动量变化的同时，与构成所述摄像装置拍摄的视频图像的图像帧的边缘影像进行匹配， 由此对每个图像帧取得与该图像帧中的所述对象物最吻合的曲线；输入值转换单元，使用由所述追踪处理单元取得的曲线围着的区域的像素数，推定纵深方向的运动量。
4.如权利要求2或3所述的信息处理装置，其特征在于，所述追踪处理单元将人的头部的轮廓形状作为所述对象物并用Ω形状的曲线来表示；所述输入值转换单元推定用户的头部在三维空间的运动量。
5.如权利要求1至3中任一项所述的信息处理装置，其特征在于，所述输出数据生成单元根据所述运动量将唯一决定的变数作为输入值进行处理；还具有初期处理单元，在所述输出数据生成单元的处理之前，对每个对象物确定所述对象物在各方向的运动范围，决定该运动范围和所述输出数据生成单元的输入值的对应关系。
6.如权利要求1至3中任一项所述的信息处理装置，其特征在于，所述输出数据生成单元根据预先设定的对应关系，将对应于所述运动量唯一地决定的变数作为输入值进行处理；还具有初期处理单元，在所述输出数据生成单元的处理之前，将所述摄像装置拍摄的用户的图像的镜象显示到显示装置上后，在由所述对应关系规定的、与所述对象物在各方向的许可移动范围的端点相对应的镜象上的位置，还显示表示所述对象物的一般形状的曲线，以在显示图像上使该曲线和所述对象物的实际的轮廓线相一致的方式移动所述对象物，由此，让用户认识所述对象物的许可移动范围。
7.如权利要求1所述的信息处理装置，其特征在于，所述输入值取得单元根据所述对象物的纵深方向的运动量，修正从摄像装置看上去的竖向以及横向的运动量，由此，分别推定实际的竖向以及横向的运动量。
8.如权利要求1所述的信息处理装置，其特征在于，所述输出数据生成单元在所述三维空间的、离开基准位置的运动量没有超过预先设定的阈值的情况下，不使该运动量的变化反映到执行的处理中。
9.如权利要求2所述的信息处理装置，其特征在于，所述输入值转换单元对于在各图像帧取得的所述直行运动量的数据和所述放大率的数据，使用此前的图像帧的各数据的时间变化，实施去噪过滤，进行修正。
10.如权利要求4所述的信息处理装置，其特征在于，所述输出数据生成单元生成表示在用户的假想世界的视野的图像的数据，根据用户的头部在三维空间的运动量，使该视野的视点变化；还具有显示装置，以用户在三维空间移动的同时可以确认的方式，显示所述输出数据生成单元生成的图像显示。
11.如权利要求4所述的信息处理装置，其特征在于，所述输出数据生成单元生成表现表示在假想世界中的用户的对象的图像的数据，根据用户的头部在三维空间的运动量，使该对象运动；还具有显示装置，以用户在三维空间移动的同时可以确认的方式，显示所述输出数据生成单元生成的图像。
12.一种信息处理装置，其特征在于具有摄像装置，将对象物的运动作为视频图像进行拍摄；输入值取得单元，从所述视频图像推定所述对象物对于所述摄像装置在竖向、横向的二维空间离开基准位置的运动量、和纵深方向离开基准位置的距离；输出数据生成单元，根据所述输入值取得单元推定的、在二维空间的运动量，进行不同的处理，生成输出数据；所述输入值取得单元根据所述对象物离开纵深方向的基准位置的距离，修正从摄像装置看上去的竖向以及横向的运动量，由此，分别推定实际的竖向以及横向的运动量。
13.一种信息处理方法，其特征在于具有将对象物的运动作为视频图像，由摄像装置进行拍摄的步骤； 根据所述对象物的轮廓线，从所述视频图像推定所述对象物对于摄像装置在竖向、横向、纵深方向的三维空间离开基准位置的运动量的步骤；根据推定的在三维空间的运动量进行不同的处理，生成输出数据的步骤。
14.如权利要求13所述的信息处理方法，其特征在于生成所述输出数据的步骤与所述对象物在三维空间的运动量相联动，生成变化的视频图像的数据；还具有显示所述视频图像的步骤。
15.一种计算机程序，其特征在于，使计算机实现如下功能 将对象物的运动作为视频图像，由摄像装置进行拍摄的功能；根据所述对象物的轮廓线，从所述视频图像推定所述对象物对于摄像装置在竖向、横向、纵深方向的三维空间离开基准位置的运动量的功能；根据推定的、在三维空间的运动量，进行不同的处理，生成输出数据的功能。
16.一种存储介质，其特征在于，存储有使计算机实现如下功能的计算机程序 将对象物的运动作为视频图像，由摄像装置进行拍摄的功能；根据所述对象物的轮廓线，从所述视频图像推定所述对象物对于摄像装置在竖向、横向、纵深方向的三维空间离开基准位置的运动量的功能；根据推定的、在三维空间的运动量，进行不同的处理，生成输出数据的功能。
全文摘要
本发明涉及信息处理装置以及信息处理方法。信息处理装置(14)的图像取得单元(20)取得摄像装置(12)取得的、包含用户姿态的视频图像的数据。初期处理单元(22)决定用户的移动量和规定最终输出的图像的参数的对应关系，存储到转换信息存储单元(24)。追踪处理单元(26)对视频图像进行通过粒子过滤器的视觉追踪，推定用户的头部轮廓的放大率、直行运动量。输入值转换单元(28)以放大率、直行运动量为媒介，将用户的移动量转换成规定图像的参数。输出数据生成单元(30)根据该参数生成图像。输出控制单元(32)以将生成的图像显示到显示装置(16)上的方式进行控制。
文档编号G06F3/01GK102317888SQ200980156868
公开日2012年1月11日 申请日期2009年10月23日 优先权日2009年2月19日
发明者池上涉一 申请人:索尼计算机娱乐公司