专利名称：信息处理设备、信息处理方法和程序的制作方法
技术领域：
本发明涉及信息处理设备、信息处理方法和程序。
背景技术：
这样的一种在三维空间中通过使用来自于照相机的输入图像(跟踪图像)来跟踪对象的技术已被广泛使用。在此技术中，通过使用学习图像来学习跟踪对象的特征(学习阶段)，并且基于所学习的跟踪对象的特征来跟踪包括在跟踪图像中的跟踪对象(跟踪阶段)。这里，在学习阶段和跟踪阶段，跟踪对象的形状特征、跟踪对象的颜色特征、以及形状特征和颜色特征的组合用作跟踪对象的特征(例如，参考Ying-Ii Tian等人的"Robust Lip Tracking by Combining Shape, Color and Motion",[在线]，Carnegie Mellon School of ComputerScience, 2000 [2010 年2 月 1 日搜索]因特网 <URL :http://www. cs. emu. edu/ face/Papers/accv2000camera. pdf>)。
发明内容
在现有技术中，当使用跟踪对象的形状特征和颜色特征的组合时，形状特征和颜色特征被分开使用。也就是说，分开计算形状特征和颜色特征，并且通过适当的加权系数分开地对它们加权并组合。例如，在Ying-Ii Tian等人的〃 Robust Lip Tracking by CombiningShape, Color and Motion",[在线]，Carnegie Mellon School ofComputer Science, 2000 [2010 年2 月 1 日搜索]因特网 <URL :http://www. cs. emu. edu/ face/ Papers/accv2000camera. pdf>，首先计算对象的颜色特征，并且基于颜色特征的计算结果来计算对象的形状特征的位置，以便指定对象的状态。因而，没有充分考虑跟踪对象的形状特征和颜色特征之间的相关性，并且没有充分考虑可以表示为跟踪对象的形状特征和颜色特征的组合的特征。此外，跟踪结果随加权系数的设置而改变。因此，会降低跟踪的稳定性(鲁棒特性)。期望提供可以提高跟踪的稳定性的信息处理设备、信息处理方法和程序。根据本发明的实施例，提供一种信息处理设备，包括学习图像输入单元，被配置为与拍摄条件一起输入在不同的拍摄条件下捕获了跟踪对象的学习图像；特征响应计算单元，被配置为在根据拍摄条件改变参数的同时，计算一个或更多个综合特征对于所述学习图像的响应，所述综合特征是通过至少部分重叠所述跟踪对象的形状特征和颜色特征而获得的，所述参数限定所述一个或更多个综合特征在所述学习图像上的位置、大小和角度中的至少一个；特征学习单元，被配置为基于所述响应的计算结果识别该一个或更多个综合特征在所述学习图像中的空间分布，并且评价所述拍摄条件和所述参数之间的关系，以及评价所述综合特征之间的空间关系，以便学习所述跟踪对象的特征；和特征存储单元，被配置为存储所述特征的学习结果。根据这样的配置，跟踪对象的特征被作为通过至少部分重叠跟踪对象的形状特征和颜色特征获得的一个或更多个综合特征而加以学习。因此，充分学习被表示为跟踪对象的形状特征和颜色特征的组合的特征，并且不必将形状特征和颜色特征分开以适当的加权系数进行加权并组合。因此，可以在跟踪阶段使用该特征的学习结果来稳定地跟踪跟踪对象。该信息处理设备还可以包括跟踪图像输入单元，被配置为对于每个帧输入包括所述跟踪对象的跟踪图像；特征分数计算单元，被配置为对于该跟踪图像，通过使用所述一个或更多个综合特征的学习结果，在改变参数的同时计算该一个或更多个综合特征的分数， 所述参数限定所述一个或更多个综合特征在所述跟踪图像上的位置、大小和角度中的至少一个，所述综合特征是通过至少部分重叠该跟踪对象的形状特征和颜色特征而获得的；存在概率计算单元，被配置为计算跟踪对象存在于所述跟踪图像的预定区域中的概率；以及对象跟踪单元，被配置为基于分数的计算结果和存在概率的计算结果指定跟踪对象在所述跟踪图像中的位置并且跟踪包括在所述跟踪图像中的跟踪对象。因此，基于作为通过至少部分重叠跟踪对象的形状特征和颜色特征获得的一个或更多个综合特征而学习的特征的学习结果来跟踪跟踪对象。因而，基于跟踪对象的被表示为形状特征和颜色特征的组合的特征来跟踪跟踪对象，以使得不必将形状特征和颜色特征分开以适当的加权系数进行加权并组合。因此，可以稳定地跟踪跟踪对象。根据本发明的另一个实施例，提供一种信息处理方法，包括以下步骤与拍摄条件一起输入在不同的拍摄条件下捕获了跟踪对象的学习图像；在根据该拍摄条件改变参数的同时，计算一个或更多个综合特征对于所述学习图像的响应，所述综合特征是通过至少部分重叠所述跟踪对象的形状特征和颜色特征而获得的，所述参数限定所述一个或更多个综合特征在所述学习图像上的位置、大小和角度中的至少一个；基于该响应的计算结果识别所述一个或更多个综合特征在所述学习图像中的空间分布，并且评价所述拍摄条件和所述参数之间的关系，以及评价所述综合特征之间的空间关系，以便学习所述跟踪对象的特征； 以及存储该特征的学习结果。根据本发明的另一个实施例，提供一种使得计算机执行上述信息处理方法的程序。这里，程序可以通过使用可以由计算机读出的存储介质提供或者可以通过通信装置提{共。根据本发明的实施例，可以提供能够提高跟踪的稳定性的信息处理设备、信息处理方法和程序。
图1是显示根据本发明的实施例的信息处理设备的主要功能配置的框图。图2是显示信息处理设备的学习阶段的操作程序的流程图；图3是显示信息处理设备的跟踪阶段的操作程序的流程图；图4示出了综合特征滤波器的示例；图5示出了由综合特征滤波器表达跟踪对象的特征的示例；图6A示出了跟踪对象的跟踪结果的示例(1/2)；和图6B示出了跟踪对象的跟踪结果的示例(2/2)。
具体实施方式
下面将参考附图详细描述本发明的优选实施例。在此说明书和附图中，给定基本上具有相等的功能和配置的组成元件相同的参考字符以便省略重复的说明。[1.信息处理设备1的配置]首先参考图1描述信息处理设备1的配置。图1示出了信息处理设备1的主要功能配置。如图1所示，信息处理设备1包括学习图像输入单元11、特征响应计算单元12、特征学习单元13、特征存储单元14、跟踪图像输入单元21、特征分数计算单元22、存在概率计算单元23和对象跟踪单元对。学习图像输入单元11由一个或多个照相机组成。学习图像输入单元11接收标记的学习图像Is并且将学习图像Is提供给特征响应计算单元12。学习图像Is是在由标签显示的不同的拍摄条件(来自于学习图像输入单元11的每一个照相机的拍摄距离、拍摄角度等等)下捕获的跟踪对象0的图像。输入学习图像Is以作为用于识别位于三维空间中的跟踪对象0的位置和形状的立体图像。特征响应计算单元12计算对于所提供的学习图像Is的响应(适合性)，作为跟踪对象0的特征。特征学习单元13基于该响应的计算结果学习包括在学习图像Is中的跟踪对象0的特征。这里，将跟踪对象0的特征作为综合了形状特征和颜色特征的综合特征来处理。形状特征被表示为在学习图像Is的亮度区域中的边缘、梯度、矩形滤波等等。颜色特征被表示为在学习图像Is的颜色区域中的局部区域中的平方差的和(SSD)、直方图等寸。综合特征被表示为形状特征和颜色特征的组合。表达综合特征以使得至少部分地重叠一个或多个形状特征和一个或多个颜色特征。这里，在形状特征和颜色特征彼此重叠的部分中反映形状特征和颜色特征之间的相关性，并且由形状特征和颜色特征的组合组成的特征表示在该部分中。特征存储单元14存储跟踪对象0的特征信息和特征的学习结果。跟踪对象0的特征信息包括跟踪对象0的形状特征和颜色特征以及由形状特征和颜色特征的组合组成的综合特征。特征的学习结果包括在学习阶段中作为跟踪对象0的特征而累积的信息。跟踪图像输入单元21由一个或多个照相机组成。跟踪图像输入单元21接收每个帧的跟踪图像It并且将跟踪图像It提供给特征分数计算单元22。跟踪图像It是包括相对于跟踪图像输入单元21移动的跟踪对象0的图像。跟踪图像It被作为用于识别位于三维空间中的跟踪对象0的位置和形状的立体图像而输入。特征分数计算单元22基于特征的学习结果计算所提供的跟踪图像的特征的分数 (适合性)。特征分数计算单元22计算包括在跟踪图像It中的跟踪对象0的特征。这里， 将跟踪对象0的特征处理为通过综合形状特征和颜色特征而获得的综合特征。存在概率计算单元23计算跟踪对象0存在于跟踪图像It中的预定区域中的概率。对象跟踪单元M基于分数的计算结果和存在概率的计算结果指定包括在跟踪图像It 中的跟踪对象0的位置，以便跟踪跟踪对象0并输出跟踪结果。这里，基于特征的计算结果利用粒子滤波器跟踪跟踪对象0。这里，如上所述的功能配置的至少一部分可以由在信息处理设备1中操作的软件(程序)实现或可以由硬件实现。在该配置由软件实现的情况下，程序可以预先存储在信息处理设备1中或可以从外部提供。[2.信息处理设备1的操作]接着参考图2到图6B描述信息处理设备1的操作。图2和图3分别示出了在信息处理设备1的学习阶段的操作程序和跟踪阶段的操作程序。信息处理设备1在学习阶段和跟踪阶段执行不同的操作。在学习阶段，通过使用学习图像Is学习跟踪对象0的特征。在跟踪阶段，基于该特征的学习结果跟踪包括在跟踪图像It中的跟踪对象0。在下面的描述中，描述脱机执行学习阶段的情况。但是，可以联机 (即，在跟踪阶段期间)执行学习阶段。如图2所示，在学习阶段，首先产生表达跟踪对象0的特征的一个或多个综合特征滤波器F(步骤Sll)。所产生的综合特征滤波器F存储为跟踪对象0的特征信息。图4示出了综合特征滤波器F的示例。如图4所示，通过组合一个或多个形状特征滤波器Fs和一个或多个颜色特征滤波器Fc产生综合特征滤波器F。在图4所示的示例中，通过组合形状特征滤波器Fsa和Fsb以及颜色特征滤波器Fca产生综合特征滤波器F。 通过至少部分重叠形状特征滤波器Fs和颜色特征滤波器Fc产生综合特征滤波器F。在图 4所示的示例中，通过对形状特征和颜色特征进行综合而获得的综合特征显示在区域P(由斜线表示的区域)中，在该区域上，滤波器Fsa和滤波器Fca彼此重叠并且滤波器Fsb和滤波器Fca彼此重叠。滤波器Fs和Fc的每一个的形状不局限于矩形形状。此外，形状特征滤波器Fs和颜色特征滤波器Fc可以被组合为一个滤波器对一个滤波器、一个滤波器对多个滤波器、多个滤波器对一个滤波器、或多个滤波器对多个滤波器。此外，在综合特征滤波器F中，可以组合彼此具有不同的大小的滤波器Fs和Fc或者可以彼此不同的角度组合滤波器Fs和Fe。图5示出了由综合特征滤波器F表达跟踪对象0的特征的示例。在图5的示例中，作为跟踪对象0的示例的手的特征由显示手掌中的一部分的第一综合特征滤波器F1、 显示拇指的一部分的第二综合特征滤波器F2、以及显示中指的一部分的第三综合特征滤波器F3表达。第一综合特征滤波器Fl由两个形状特征滤波器Fsll和Fsl2以及一个颜色特征滤波器Fcl组成。第二综合特征滤波器F2由形状特征滤波器Fs2和颜色特征滤波器Fc2 组成，并且第三综合特征滤波器F3由形状特征滤波器Fs3和颜色特征滤波器Fc3组成。第二，学习图像Is与显示拍摄条件的标签一起被输入(Si》，在所述学习图像Is 中，所述跟踪对象0是在不同的拍摄条件下捕获的。学习图像Is包括在由标签显示的拍摄条件下捕获的跟踪对象0的特征。把包括在学习图像Is中的信息从三维空间坐标投射到二维空间坐标。第三，计算投射的学习图像对于一个或多个综合特征滤波器F(—组综合特征滤波器F)的响应(适合性)(S13)。在综合特征滤波器F方面，通过计算构成综合特征滤波器 F的形状特征滤波器Fs和学习图像Is之间的响应以及构成综合特征滤波器F的颜色特征滤波器Fc和学习图像Is之间的响应，来计算整个综合特征滤波器F和学习图像Is之间的响应。在根据由标签显示的拍摄条件改变诸如在学习图像Is中的位置、大小或角度之类的参数的同时，计算一个或多个综合特征滤波器F对于学习图像Is的响应。这里，通过使用学习图像Is的亮度区域中的边缘、梯度、矩形滤波器等等计算形
7状特征的响应。此外，可以通过使用方向梯度的直方图(HOG)的特征和支持向量机(SVM) 来计算形状特征的响应。通过使用学习图像Is的颜色区域中的局部区域中的SSD、直方图等等来计算颜色特征的响应。第四，基于响应的计算结果学习跟踪对象0的特征(S14)。基于对该学习图像Is 的响应的计算结果执行包括在学习图像Is中的跟踪对象0的特征和综合特征滤波器F之间的匹配，由此可以识别综合特征在该学习图像Is上的空间分布。通过评价由标签显示的拍摄条件和综合特征的参数(诸如在学习图像上的位置、大小或角度)之间的关系以及综合特征之间的空间关系，学习跟踪对象0的特征。第五，存储特征的学习结果(S15)。当评价在其它学习图像Is中的综合特征等等之间的空间关系时，再次参考特征的学习结果。也就是说，考虑之前学习结果使得能够高效地学习该特征。在学习阶段，通过重复步骤S12到S15的处理来将跟踪对象0的特征作为综合特征来学习，直到最后一个学习图像Is的处理完成为止(S16)。因此，累积如何表达在不同的拍摄条件下捕获的跟踪对象0的特征的信息作为该特征的学习结果。这里，将跟踪对象0的特征作为综合了形状特征和颜色特征的综合特征来学习。 因此，充分学习被表示为跟踪对象0的形状特征和颜色特征的组合的特征，以使得不必将这些特征分开加权适当的加权系数并组合。因此，在跟踪阶段，可以通过使用特征的学习结果来稳定地跟踪跟踪对象0。另一方面，如图3所示，在跟踪阶段首先读出特征的学习结果(S21)。也就是说，读出用于指定在不同的拍摄条件下在跟踪图像It中捕获的跟踪对象0的特征的信息。第二，对于每个帧输入包括跟踪对象0的跟踪图像It (S22)。跟踪图像It包括相对于跟踪图像输入单元21移动的跟踪对象0的图像。把包括在跟踪图像It中的信息从三维空间坐标投射到二维空间坐标。第三，计算一个或多个综合特征滤波器F ( —组综合特征滤波器F)在输入的跟踪图像It中的分数(适合性)(S23)。在综合特征滤波器F方面，可以通过计算构成综合特征滤波器F的形状特征滤波器Fs和颜色特征滤波器Fc的分数来计算综合特征滤波器F的整体的分数。在改变诸如在跟踪图像It上的位置、大小或角度之类的参数的同时，计算一个或多个综合特征滤波器F的分数。这里，通过使用跟踪图像It的亮度区域中的边缘、梯度、矩形滤波器等等来计算形状特征滤波器Fs的分数，并且通过使用跟踪图像It的颜色区域中的局部区域中的SSD、 直方图等等来计算颜色特征滤波器Fc的分数。第四，计算跟踪对象0存在于跟踪图像It中的预定区域中的概率(SM)。利用粒子滤波器计算跟踪对象0的存在概率。粒子滤波器是这样一种技术，该技术中将跟踪对象 0表示为离散的概率密度乘以多个具有状态数量和似然性的假定组并且利用状态转变模型传输离散的概率密度以便跟踪对象。在粒子滤波器的应用中，通过使用评价模型等等预先对跟踪对象0的操作建模以便形成多个假定组。第五，基于分数和存在概率的计算结果指定跟踪对象0的位置(S2Q。将跟踪对象 0的位置指定为综合特征滤波器F的分数超过预定阈值的区域当中的跟踪对象0的存在概率最高的区域。指定的位置用于计算跟踪对象0存在于下一帧的跟踪图像It中的预定区域中的概率。第六，把指定的跟踪对象0的位置作为跟踪结果输出(S26)。图6A和图6B示出了跟踪对象0的跟踪结果的示例。在图6A和图6B所示的示例中，在跟踪图像Itl到It4(跟踪图像Itl到It4不是连续帧)中跟踪作为跟踪对象0的示例的手。跟踪对象0的特征由图5所示的第一到第三综合特征滤波器Fl到F3表达。跟踪对象0相对于跟踪图像输入单元21进行三维移动。在跟踪图像It上，基于特征的学习结果计算第一到第三综合特征滤波器Fl到F3的分数。此外，利用粒子滤波器计算跟踪对象0的存在概率。因此，指定包括在跟踪图像It中的跟踪对象0的位置，由此可以跟踪该跟踪对象0。在图6A和图6B中，由跟踪窗口 W指定跟踪对象0的位置。在跟踪阶段，通过重复步骤S22到S26的处理来跟踪相对于跟踪图像输入单元21 移动的跟踪对象0，直到最后一个帧的跟踪图像It的处理完成为止(S27)。在跟踪阶段，基于作为综合了形状特征和颜色特征的综合特征而被学习的特征的学习结果来跟踪该跟踪对象0。因而，基于跟踪对象0的特征(被表示为形状特征和颜色特征的组合)来跟踪跟踪对象0，以使得不必将这些特征分开加权适当的加权系数并组合。 因此，可以在跟踪阶段稳定地跟踪跟踪对象0。上面参考附图详细描述了本发明的优选实施例，但是本发明的实施例不局限于上述示例。对本领域技术人员显而易见的是，在根据本发明的实施例的技术概念的范围内可以发生各种修改和替换，并且应当理解，这些修改和替换在本发明的技术范围内。例如，在上述实施例中，学习阶段和跟踪阶段由单个信息处理设备1执行，但是可以由分开的信息处理设备执行。此外，在上述实施例中，通过组合形状特征和颜色特征获得综合特征。但是，形状特征可以由方向梯度(HOG)的直方图的特征或比例不变的特征变换(SIFT)的特征代替，并且颜色特征可以由iTexton特征代替。本申请包含与2010年3月4日在日本专利局提交的日本优先权专利申请JP 2010-047780中公开的主题有关的主题，其全部内容通过引用被合并于此。本领域技术人员应该理解，可以在所附的权利要求书或它们的等价物的范围内根据设计要求及其它因素而进行各种修改、组合、子组合和替换。
权利要求
1.一种信息处理设备，包括学习图像输入单元，被配置为与拍摄条件一起输入在不同的拍摄条件下捕获了跟踪对象的学习图像；特征响应计算单元，被配置为在根据拍摄条件改变参数的同时，计算一个或更多个综合特征对于所述学习图像的响应，所述综合特征是通过至少部分重叠所述跟踪对象的形状特征和颜色特征而获得的，所述参数限定所述综合特征在所述学习图像上的位置、大小和角度中的至少一个；特征学习单元，被配置为基于所述响应的计算结果识别该一个或更多个综合特征在所述学习图像中的空间分布，并且评价所述拍摄条件和所述参数之间的关系，以及评价所述综合特征之间的空间关系，以便学习所述跟踪对象的特征；和特征存储单元，被配置为存储所述特征的学习结果。
2.根据权利要求1所述的信息处理设备，还包括跟踪图像输入单元，被配置为对于每个帧输入包括所述跟踪对象的跟踪图像；特征分数计算单元，被配置为对于该跟踪图像，通过使用所述一个或更多个综合特征的学习结果，在改变参数的同时计算该一个或更多个综合特征的分数，所述参数限定所述一个或更多个综合特征在所述跟踪图像上的位置、大小和角度中的至少一个，所述综合特征是通过至少部分重叠该跟踪对象的形状特征和颜色特征而获得的；存在概率计算单元，被配置为计算跟踪对象存在于所述跟踪图像的预定区域中的概率；以及对象跟踪单元，被配置为基于分数的计算结果和存在概率的计算结果指定跟踪对象在所述跟踪图像中的位置并且跟踪包括在所述跟踪图像中的跟踪对象。
3.一种信息处理方法，包括以下步骤与拍摄条件一起输入在不同的拍摄条件下捕获了跟踪对象的学习图像；在根据该拍摄条件改变参数的同时，计算一个或更多个综合特征对于所述学习图像的响应，所述综合特征是通过至少部分重叠所述跟踪对象的形状特征和颜色特征而获得的， 所述参数限定所述一个或更多个综合特征在所述学习图像上的位置、大小和角度中的至少一个；基于该响应的计算结果识别所述一个或更多个综合特征在所述学习图像中的空间分布，并且评价所述拍摄条件和所述参数之间的关系，以及评价所述综合特征之间的空间关系，以便学习所述跟踪对象的特征；以及存储该特征的学习结果。
4.一种使得计算机执行信息处理方法的程序，所述方法包括以下步骤与拍摄条件一起输入在不同的拍摄条件下捕获跟踪对象的学习图像；在根据所述拍摄条件改变参数的同时，计算一个或更多个综合特征对于所述学习图像的响应，所述综合特征是通过至少部分重叠所述跟踪对象的形状特征和颜色特征而获得的，所述参数限定所述一个或更多个综合特征在所述学习图像上的位置、大小和角度中的至少一个；基于所述响应的计算结果识别所述一个或更多个综合特征在所述学习图像中的空间分布，并且评价所述拍摄条件和所述参数之间的关系，以及评价所述综合特征之间的空间关系，以便学习所述跟踪对象的特征；以及存储该特征的学习结果。
全文摘要
本发明涉及信息处理设备、信息处理方法和程序。一种信息处理设备，包括学习图像输入单元，被配置为与不同的拍摄条件一起输入在不同的拍摄条件下捕获跟踪对象的学习图像；特征响应计算单元，被配置为在根据该拍摄条件改变参数的同时计算一个或多个综合特征对于学习图像的响应；特征学习单元，被配置为基于该响应的计算结果识别该一个或多个综合特征在该学习图像中的空间分布，并评价该拍摄条件和参数之间的关系以及评价综合特征之间的空间关系，以便学习跟踪对象的特征；和特征存储单元，被配置为存储该特征的学习结果。
文档编号G06T7/20GK102194237SQ20111004429
公开日2011年9月21日 申请日期2011年2月24日 优先权日2010年3月4日
发明者周宁, 山冈启介, 横野顺, 长谷川雄一 申请人:索尼公司