动态估计设备、动态估计方法和程序的制作方法

专利名称：动态估计设备、动态估计方法和程序的制作方法
技术领域：
本发明涉及使用例如三维物体的观测图像来估计该三维物体的动态
的动态估计设备和动态估计方法。本发明还涉及由该动态估计设^C行的程序。
背景技术：
已提出了在进行三维物体和它们的观测图4象之间的匹配的同时估计 三维物体的位置和运动的许多动态估计方法。
在这些动态估计方法中的 一种典型方法中，在仿射变换中描述因物体 的位置变化或运动而造成的该物体外观的变化，以估计在仿射变换中使用 的錄。
然而，三维物体必须是刚体。此外，从三维参数变换成仿射变换M 需要进行复杂的计算，而且不可能适于掩蔽。
因而，在例如日本特开2000-194859号公报和J. Deutscher， A. Blake， and I. Reid. "Articulated Body Motion Capture by Annealed Particle Filtering", In Proc. CVPR, 2:126-133， 2000.(非专利文献1)中提出了其
它动态估计方法o
日本特开2000-194859号公报记栽了这样的方法基于从被摄物图像
切出的被摄物图像来修正与被摄物相似的标准三维形;!^型的形状。
非专利文献l记载了这样的方法在摄像图像上提^A的轮廓，并从 该图像获取设定在模型中的每个采样点，以进行判断该获取的采样点是否 位于该l^廓内的匹配处理。
以上述方式为三维模型设定的采样点(三维控制点)可用于描述^r 物体运动，并有可能根据每个控制点是否被掩蔽来改变所应用的匹配方 法。

发明内容
希望提供一种供三维物体用的动态估计方法，该方法与相关技术中的 方法相比具有更高的性能。
根据本发明的一个实施例， 一种动态估计设备包括:控制点设定单元， 所述控制点i殳定单元为三维物g型i殳定多个控制点；控制点色彩信息获 取单元，所述控制点色彩信息获取单元当三维物M型的实体作为被摄物 而在被摄物图像上投影时获取控制点色彩信息，所述控制点色彩信息表示 每个控制点在所述被摄物图像上投影的投影位置处的色彩；初始控制点色 彩信息保存单元，所述初始控制点色彩信息保存单元将由控制点色彩信息 获取单元从供初始设置用的上述被摄物图像获取的控制点色彩信息作为 初始控制点色彩信息而M;控制点位置估计单元，所述控制点位置估计 单元估计每个控制点在当前时刻的位置；当前控制点色彩信息获取单元， 所述当前控制点色彩信息获取单元获取由所述控制点位置估计单元估计
其位置的上述控帝;j点在当前时刻的被摄物图像上投影而产生的当前控制
点色彩信息；以及似真度计算单元，所述似真度计算单元使用当前控制点 色彩信息和初始控制点色彩信息来计算似真度。
，本发明的另一个实施例， 一种动态估计方法包括以下步骤为三 维物体模型设定多个控制点；当三维物g型的实体作为被摄物而在被摄
物图像上投影时获取控制点色彩信息，所述控制点色彩信息表示每个控制 点在所述被摄物图像上投影的投影位置处的色彩；将在控制点色彩信息获
初始控制点色彩信息而保存；估计每个控制点在当前时刻的位置；获M 所述控制点位置估计步骤中被估计其位置的上述控制点在当前时刻的被 摄物图像上投影而产生的当前控制点色彩信息；以及使用当前控制点色彩 信息和初始控制点色彩信息来计算似真度。
根据本发明的另一个实施例， 一种程序4吏得动态估计设^L行以下步 骤为三维物体模型设定多个控制点；当三维物g型的实体作为被摄物 而在被摄物图像上投影时获取控制点色彩信息，所述控制点色彩信息表示 每个控制点在所述被摄物图像上投影的投影位置处的色彩；将在所述控制 点色彩信息获取步骤中从供初始设置用的上述被摄物图像获取的控制点 色彩信息作为初始控制点色彩信息而保存；估计每个控制点在当前时刻的 位置；获取在所述控制点位置估计步骤中被估计其位置的上述控制点在当 前时刻的被摄物图像上投影而产生的当前控制点色彩信息；以及使用当前控制点色彩信息和初始控制点色彩信息来计算似真度。
在上述构造中，为三维物M型设定多个控制点，并获取表示每个控 制点的色彩的控制点色彩信息。将表示每个控制点的色彩的初始控制点色 彩信息作为初始设定值而保存。在动态估计处理中，估计随时间变化的每 个控制点的位置，以获^示图像上的每个控制点的色彩的、被估计其位 置的控制点在该图像上投影而产生的当前控制点色彩信息。将初始控制点 色彩信息用作假定信息并将当前控制点色彩信息用作观测值，来计算似真 度。
根据本发明，不^于每个控制点的位置、而且还基于每个控制点所 对应的色彩信息来进行动态估计。因此，与不使用每个控制点所对应的色 彩信息的动态估计相比，有可能实现更高的性能。


图1是示出了M本发明的实施例的动态估计系统的构造的例子的
框图2A和2B示出了"gt定三维控制点的一般方法；
图3是示出了根据本发明的实施例的设定三维控制点的方法的图4A和4B是示出了根据本发明的实施例的设定三维控制点的方法 的其它图5A和5B是示出了根据本发明的实施例的设定三维控制点的方法 的其它图6A和6B示出了在本发明的本实施例中设定的三维控制点的例子； 图7示出了控制点色彩;^板的结构的例子；
图8示出了真实三维空间中的三维物，型和投影到摄像图像上的 三维物g型之间的关系；
图9示意性地示出了在根据本发明的实施例的控制点提取处理中生 成的分层图像的例子；
图IO是示出了计算机设备的构造的例子的框图。
具体实施方式
图1是示出了与根据本发明的实施例的动态估计设备对应的动态估 计系统1的构造的例子的框图。
参照图1,本实施例的动态估计系统1包括控制点设定部11 (控制点
设定装置)、控制点初始色彩寄存部12 (初始控制点色彩信息保存装置)、 控制点移动处理部13 (控制点位置估计装置)、移动控制点色彩获取部14 (当前控制点色彩信息获取装置)、控制点色彩提取部15 (控制点色彩信 息获取装置)以及似真度计算部16 (似真度计算装置)。
控制点设定部11为对三维物体进行建模而得到的、并且要被估计其 动态的三维物，型设定每个控制点(三维控制点)，作为用于动态估计 处理的一个初始设定。下面参照图2A~5B来说明控制点设定部11是怎 样设定每个控制点的。
图2A濕JHliL估计其动态的三维物^^型20的透视图。图2A所示的 三维物体模型20具有渐尖圃锥截体的形状。
在具有某一特定形状的三维物M型20的表面上这样设定必要数目 的控制点Dt:使得控制点Dt具有提供均匀性的位置关系。
为了均匀地布置控制点Dt，在相关技术中常常使用例如这样的方法 将控制点Dt布置成矩阵，使得对于每一行和对于第一列在相邻控制点Dt 之间保持一定距离。
在图2A所示的例子中，在包括5个控制点Dt的每一列中在竖直方 向上相邻的控制点Dt之间设定距离A。
在都包括7个控制点Dt的第一至第五行中在水平方向上相邻的控制 点Dt之间分别设定距离Bl B5。然而，由于图2A的例子中的三维物体 模型20具有4吏三维物M型20的直径从顶部到底部地减小的渐尖圃锥截 体的形状，因此最高行中的相邻控制点Dt之间的距离Bl具有最大值。 越接近底部，相邻控制点Dt之间的距离越小，且最低行中的相邻控制点 Dt之间的距离B5具有最小值。
然而，当以上述方式在三维物^^型20的表面上设定控制点从而在 相邻控制点Dt之间保持一定距离时，在将三维物^型20投影而得到的 图像上，均匀性大为下降。
例如，图2B是三维物体模型20的平面图并且示出了一行中的7个控 制点Dt。当以上述方式设定控制点Dt从而在相邻控制点Dt之间保持一 定距离B(对应于距离B1~B5中的任一个)时，如从侧面看去的距离Pl~P6所示，相邻控制点Dt之间的距离随行的位置而变化.W明在对三 维物体模型20进行投影变换而得到的图像上，相邻控制点Dt之间的距离 AU巨离Pl变化到距离P6,
在后面说明的动态估计处理中，本实施例的动态估计系统1使用三维 物体模型20的随时间流逝而形成的图像作为观测图像。当使用观测图像 来以根据本实施例的方式为三维物体设定控制点时，为了达到更高的估计 精度，优选地在对三维物M型进行投影变换而得到的图像中均匀地布置 控制点.
因而，在本实施例中以如下方式设定控制点。
在进行本实施例中的控制点的设定时，设想图3中的状态，即，由摄 像设备30拍摄三维物M型20的图像，
图4A和4B分别是以图3所示的方式由摄像设备30拍摄三维物^ 型20的图係逸一状态的侧视图和平面图。
在摄像设备30中形成来自摄4象图像的光所到达的成4象平面30a。当 摄像设备30设有摄像装置时，成像平面30a对应于该摄像装置的光接收 表面。
假设三维物M型20沿着与成像平面30a平行的平面(模型切断面) 切断。在图4A和4B中，点划线M1表示沿着成4象平面30a的平面，而 点划线M2表示与对应于点划线Ml的平面(即成像平面30a)平行的模 型切断面。
沿着对应于点划线M2的切断面切断的三维物⑩型20的最大截面 被设定为基准截面。
如上所述，三维物g型20具有横截面呈圆形的渐尖圆锥截体的形 状。因而，如图4B所示，当切断面(即点划线M2)沿着三维物M型 20的每个圆形横截面的半径穿过时，三维物体模型20具有最大截面。
图5A示出了由上述方法给出的三维物M型20的基准截面21。
图5B是三维物M型20的示出了基准截面21的平面图。
根据本实施例，如图5B所示，对应于基准截面21的线(基准线21a) 被等分成与一行中的控制点Dt的数目对应的数目的线段。在图5B的例 子中，由于一行中的控制点Dt的数目等于7，所以将基准线21a等分成6 条线段。每条线段的长度记为L。接着，设想直线V1 V7.直线Vl V7穿过基准线21a的两端以及 该两端之间的由该等分得到的5个点。控制点Dt被设定于直线VI ~ V7 与三维物^型20的表面相交的位置。以相同的方式为每一朽设定控制 点.此外，依据三维物体模型20的实际形状、以类似的方式为每一列设 定控制点。
当以上述方式i殳定控制点Dt时，在一个布置方向(即， 一行或一列) 上相邻控制点之间的距离随控制点的位置而变化。然而，当控制点Dt被 投影到与基准截面21平行的二维平面上时，在一个布置方向上在相邻控 制点Dt之间保持一定距离。具体地，图5B所示的距离PI ~ P6等于将基 准线21a等分而得到的长度L。
结果，当从图5B中的空心箭头所示的方向(摄像方向)由摄像设备 30拍摄三维物体模型20的图像时，在摄像图像上在相邻控制点Dt (投影 点)之间保持一定距离。
根据本实施例，控制点设定部11以上述方式设定控制点。因而，与 例如图2A和2B的情形(即，在三维物体模型20的表面上以相等间隔布 置控制点)相比，更均匀地布置了每个观测图像上的控制点。
控制点设定部11接收其中要被估计其动态的三维物M型20作为被 摄物而存在的图像(即，以图3所示的方式由摄像设备30拍摄的三维物 M型20的实体的图像(图像数据))，作为初始设置图像(供初始设置 用的被摄物图像)。在初始设置图像中，三维物体模型20的实体被固定在 这样的位置状态其中三维物体模型20面朝摄像设备30以便指向适合于 进行控制点设定的方向.因而，可^吏用三维物g型20的所拍摄的静止 图像上的图^Jt据作为初始设置图像.
控制点设定部11通过上面参照图2A 5B说明的方法来i殳定三维物 M型20的摄像图像上的必要数目的控制点.
在进行控制点的设定时，预先设定从摄像设备30到作为被摄物的三 维物⑩型20的距离、摄像设备30中的视角(缩放比率)和其它摄<|# 数。因而，可使用这些预定^:来确定每个控制点在摄像图像上投影的位 置。
图6A和6B示意性地示出了以上述方式由控制点设定部11设定的控 制点的例子。
参照图6A，作为被摄物的三维物^型20的实体的图像包含在由摄像设备30拍摄的摄像图像40中.三维物M型20的实体是人，由摄像 设备30拍^A的正面图像。
在图6A的例子中，作为三维物M型20的实体的人的身体被用作 三维物M型20。控制点被设定于通过上面参照图3 5B说明的方法而 确定的、摄像图像40上的位置。图6B示出了为三维物体模型20设定的 控制点的示例布置图案。
在图6B所示的示例布置图案中，在竖直方向上从上到下布置行rl-r5，并在水平方向上从左到右布置列cl~c7。在图6B的例子中，35个控 制点(5行x7列)被布置成矩阵。
在上述初始设置处理中，控制点设定部11设定摄像图像上的控制点， 此后，图1所示的控制点初始色彩寄存部12 M个控制点的初始色彩的 信息作为初始设置信息而寄存。
为了寄存初始设置信息，控制点初始色彩寄存部12有必要获取由控 制点设定部ll设定的、每个控制点所对应的色彩信息。每个控制点所对 应的色彩信息的获取是由控制点色彩提取部15进行的。
具体地，控制点色彩提取部15从初始设置图像中提取每个控制点被 控制点i殳定部11所设定的位置的色彩信息。以上述方式提取的色彩信息 被用作每个控制点的初始色彩的信息。
控制点初始色彩寄存部12将由控制点设定部11设定的、每个控制点 所对应的初始色彩信息作为初始设置信息而寄存。
在本实施例中，以图7中示意性地示出的模板格式来提^^个控制点 所对应的色彩信息。每个控制点所对应的色彩信息的模板格式也称作控制
图7所示的控制点色彩模板对应于以图6B所示的方式设定的控制点。
参照图7，与图6B所示的控制点的布置图案对应的、由行rl r5和 列cl ~ c7构成的35个正方形被布置成矩阵。控制点色彩模板中的每个正 方形对应于以图6B所示的方式布置的每个控制点的色彩信息。
将在后面说明分配给正方形(色彩信息)的样本编号1 ~35。
为了创建与初始色彩信息对应的控制点色彩;^板，为图7中的每个正 方形设定由控制点色彩提取部15提取的、每个控制点所对应的初始色彩 信息。在图1所示的构造中，与初始色彩信息对应的控制点色彩模板中的数
据既可以由控制点色彩提取部15生成，也可以由控制点初始色彩寄存部 12利用从控制点色彩提取部15接收到的每个控制点所对应的色彩信息来 生成。在任一情形下，控制点初始色彩寄存部12都获取与初始色彩信息 对应的控制点色彩^板(初始控制点色彩信息)。
在下文中，与初始色彩信息对应的控制点色彩模板也称作"初始模板"。
控制点初始色彩寄存部12将以上述方式获取的初始模板的数据作为 初始设置信息而寄存.亦即，控制点初始色彩寄存部12将以上述方式获 取的初始模板的数据保存在预定的存储区域中。实际上，例如使用随M M储器(RAM)或快闪存储器等存^i殳备作为存储区域。
在初始设置处理(即，寄存初始模板的处理)完成之后，动态估计设 备1如后面所说明的那样使用三维物M型20的所拍摄的运动图像的图 ^Jt据作为观测值，来进行对于三维物M型20的在三维空间中的动态 估计处理.
图8示意性地示出了怎样进行根据本实施例的动态估计处理的例子。 在图8中示出了真实三维空间中的三维物体模型20和摄像图像40上的三 维物体模型20的投影图像(即，投影模型图像)之间的关系.
参照图8，在真实三维空间中具有特定取向和位置状态的三维物M 型20 (t-l)的图像由摄像设备30在前一时刻t-l拍摄，从而生成摄像图 像40上的三维物^^型20的图像，即投影模型图像20A (t-l )。
响应于三维物^型20的移动，前一时刻t-l的三维物M型20(t-l) 的取向和位置转移为当前时刻t的三维物体模型20 (t)的取向和位置。 响应于三维物体模型20的转移，在摄像图像40上，前一时刻t-l的投影 模型图像20A (t-l)移动到当前时刻t的投影模型图像20A (t )。
如上所述，在根据本实施例的动态估计处理中，基于物体的实际移动 来估计三维物#^型的动态。
根据本实施例的动态估计处理是以已为三维物M型20设定了控制 点并且已进行了用于寄存初始模板的初始设置为前提、主要由进行下列处 理的控制点移动处理部13、移动控制点色彩获取部14、控制点色彩H取 部15和似真度计算部16来实现的。
响应于以上面参照图8说明的方式进行的三维物^型20的移动，以上述方式为三维物M型20设定的控制点也随之移动。
控制点移动处理部13移动响应于三维物g型20的移动而设定的控 制点Dt。具体地，控制点移动处理部13估计并ilJ^每个控制点Dt在当 前时刻t的位置。
当作为追踪算法的一个例子而应用使用粒子滤波器的算法时，控制点 移动处理部13进:行例如以下处理，
首先，控制点移动处理部13获^后面说明的似真度计算部16输出 的似真度信息。该似真度信息作为前一时刻t-l的信息而被处理.接着， 控制点移动处理部13获取作为当前时刻t的观测图《象的图傳Jt据(对应 于摄像图像40),控制点移动处理部13基于前一时刻t-l的粒子的权重来 选择粒子.控制点移动处理部13使用例如匀速运动模型来预测所选择的 粒子在当前时刻t的位置。接着，控制点移动处理部13基于该预测结果 来估计每个控制点Dt在当前时刻t在三维空间中的位置。
由控制点移动处理部13用来移动控制点的算法(即，用于估计每个 控制点的位置的算法)不限于使用粒子滤波器的算法，而是还可采用用于 物体追踪和取向追踪(取向估计)的各种算法。
在以上述方式由控制点移动处理部13设定(估计)每个控制点在当 前时刻t的位置之后，移动控制点色彩获取部14获取当前时刻t每个控制 点所对应的色彩信息。与初始色彩信息一样，也获取该色彩信息作为控制 点色彩^^L。
在下文中，包含当前时刻t每个控制点所对应的色彩信息的控制点色 彩^^L也称作"当前;^板"，以与包含初始色彩信息的控制点色彩模板(即 "初始模板")相区别。
在获取当前模板时，与初始模板一样，控制点色彩提取部15从当前 时刻t的图傳教据中提取每个控制点所对应的色彩信息。
具体地，控制点色彩4^取部15将由控制点移动处理部13估计的当前 时刻t的控制点Dt投影到当前时刻t的观测图像(摄像图像40)上。结 果，在当前时刻t估计的每个控制点的位置衫L设定在当前时刻t的观测图 像中。控制点色彩提取部15在当前时刻t的观测图像中提取表示每个控 制点被i更定于的位置处所呈现的色彩的色彩信息。
然而，控制点在观测图像上投影的点(投影点)的图案实际上可能不 与构成观测图像的像素的栅格匹配。也就是说，在摄像图像40中相邻投影点之间的距离会变得大于或小于一个像素的大小。
如^f目邻投影点之间的距离小于一个像素的大小，则可通过插值来获 取图像数据。然而，如W目邻投影点之间的距离大于一个像素的大小，则 在观测图像中从每个投影点所对应的像素中直接提取色彩信息等价于以
样，在这种情形下，如果采样频率低于预定值，则与色彩信息的4C取对应 的重采样所得到的数据中会产生混叠噪声。
为了M这种情况，例如可采用如下方法。
具体地，如^目邻投影点之间的距离大于或等于预定值，则在这些投 影点之间规定边界，并##个投影点包含在由边界所包围的任何图像区域 中.接着，计算每个图像区域中所包含的像素的平均值，并将计算出的平
均值用作每个投影点所对应的控制点的色彩信息。如^曰邻投影点之间的 距离低于预定值，则计算每个投影点所对应的像素的内插值，并将计算出 的内插值用作色彩信息。
然而，由于在上述方法中规定边界需要进行复杂的计算，因此上述方 法对于高速处理是不利的。
根据本实施例，控制点色彩提取部15采用如下方法来提取色彩信息。
如图9所示的例子那样，控制点色彩提取部15基于当前时刻t的观 测图像(摄像图像40)中的图像数据(观测图^Jt据)来生成用于色彩 提取的第一层图像到第n层图像，
第一层图像是通过以最小单位为axa (水平像素数目x垂直像素数目) 的分辨率对当前时刻t的观测图傳Jt据进行重采样而得到的。当a = 1时， 第一层图像等价于当前时刻t的观测图^Jt据。
第二层图像是通过以最小单位为2ax2a (水平像素数目x垂直像素数 目)的分辨率对当前时刻t的观测图像数据进行重采样而得到的。类似地， 笫三层图像是通过以最小单位为3ax3a (水平像素数目x垂直像素数目) 的分辨率对当前时刻t的观测图像数据进行重采样而得到的，第n层图像 是通过以最小单位为naxiia (水平像素数目x垂直像素数目)的分辨率对 当前时刻t的观测图INft据进行重采样而得到的。因而，从等价于当前时 刻t的观测图像数据的笫一层图像到第n层图像，分辨率逐步地减小。
为了提:ML观测图像上设定的一个投影点(目标投影点)所对应的色 彩信息，控制点色彩提取部15计算该目标投影点与每个相邻投影点之间的距离，并从计算出的距离中选择最小的距离(目标投影点最小距离)。
所选择的目标投影点最小距离记作d.
从dl层图像和d2层图像这两层图像中对目标投影点所对应的像素进 行重采样。dl层图像对应于将目标投影点最小距离d下舍入而得到的整 数值(记作dl )， d2层图像对应于将目标投影点最小距离d上舍入而得到 的整数值(记作d2)。接着，获取对重采样得到的像素值进行线性插值而 得到的值，作为最终目标投影点所对应的控制点的色彩信息(目标控制点 色彩信息)。该色彩信息是才艮据例如式(1)来计算的
P^/PW(.) = (d-[^」)/^e/r"/w(.) + (「《n-d)^^^/k」(')(1) "…目标投影点最小距离
L.」…下舍入 「-"i…上舍入
尸/^/f"/(.)…目标控制点色彩信息的值 尸^/&/ w (.) --从第w层图像采样得到的像素值 尸,;xe,/ w (.)…从第W层图像采样得到的像素值 以上述方式获取每个目标控制点所对应的色彩信息等价于对以比原
始图像的采样频率低的采样频率进行采样而得到的摄像图像40中的像素 进行重采样，从而不产生混叠噪声。由于不需要进行例如规定图傳Jt据中
每个投影点的边界线这样的复杂处理，因此利用简单的处理即可i2d^地提
^L每个控制点所对应的色彩信息。
移动控制点色彩获取部14获取基于以上述方式提取的每个控制点 (投影点)所对应的色彩信息而创建的、并且具有图7所示的示意性结构 的当前模板中的数据。在这种情形下，当前模板中的数据的生成既可以由 控制点色彩提取部15进行，也可以由移动控制点色彩获取部14进行。
上面参照图9所说明的由控制点色彩提取部15进行的提取每个目标 控制点所对应的色彩信息的方法(控制点色彩41取处理)亦适用于为控制 点初始色彩寄存部12所寄存的初始模板提取每个控制点的初始色彩。
移动控制点色彩获取部14以上述方式获取当前模板(即，当前时刻 t的控制点色彩模板)中的数据，接下来，似真度计算部16在由控制点初始色彩寄存部12获取的初始 模板中的数据(假定信息)和由移动控制点色彩获取部14获取的当前模 板中的数据(观测值)之间进行匹配，以计算每个控制点的似真度。
根据本实施例，似真度计算部16采用这样的算法使用初始;^板与 当前模板之间的归一化相关值以及色彩直方图的距离的信息这两者来计 算似真度。
归一化相关值是根据式(2)计算的<formula>formula see original document page 16</formula>
a^(t;,7;)…归一化相关值
ro…初始^K板 匸…当前模板
…初始;^板样本编号i的亮度 《(0…当前^^:样本编号i的亮度
在式(2)中，变量i表示初始模板和当前模板中为每个控制点所对 应的色彩信息分配的样本编号。该样本编号例如以图7所示的顺序分配给 每个控制点。
色彩直方图的距离是以如下方式计算的。
首先，在初始模板和当前模板中#^个控制点所对应的色彩信息变换 到HSI空间中，并对色调(H)分量、色饱和度(S )分量和亮度(I)分 量进行量化。对色调(H)分量和色饱和度(S)分量以3位即8阶进行 量化，并对亮度(I)分量以2位即4阶进行量化。
接着，使用经量化的色调(H)、色饱和度(S)和亮度(I)值(量 化值)根据式(3)针对每个控制点计算色彩直方图的索引。例如，在图 6A、 6B和图7所示的例子中，在初始^^板和当前^^板中计算出色彩直方 图的35个索引。zWex = //.32 + ^.4 + /……(3)
^…色调的量化值 S…色饱和度的量化值 /…亮度的量化值
在式(3)中，为色调(H)、色饱和度(S)和亮度(I)分别设定系 数"32"、 "4"和"1"。这些设定基于如下事实当在色彩直方图中辨别 色彩时，色调(H)具有最高的重要度而亮度(I)具有最低的重类v^。在 式(3)中设定的系数是示例值，并且也可以例如考虑到似真度的实际精 度而适当地改变。
为色彩直方图准备总共260维(260元)。
这是因为，色调(H)、色饱和度(S)和亮度(I)基本上分别具有3 个量化位、3个量化位和2个量化位，量化位的数目总计是8个。因而， 根据式(3 )计算出的索引可按十进制系统采取0 ~ 255这256个值，因此 有必要为色彩直方图设定256维。
然而，在灰度级中，色调(H)和色饱和度(S)的值不稳定。因而， 当色彩信息^IA度级时，对于控制点不应用式(3)而只采用数I (亮度) 的量化值。当只采用数I(亮度)的量化值时，向256维添加4维(4元)。 由此，为色彩直方图准备260维。
对每个控制点所对应的色彩信息是否为灰度级的判断是基于作为色 彩信息而示出的红(R)值、绿(G)值和蓝(B)值之间的差异是否在预 定范围内而作出的.如果该差异在预定范围内，则判断红(R)值、绿(G) 值和蓝(B)值彼此相等.
在当前模板和初始模板中，将根据式(3)计算出的色彩直方图的每
个索引投票到以上述方式规定的色彩直方图中对应的值的维(元)中。这 就创建了与当前模板和初始;^;M"应的色彩直方图.
在初始模板中，由于在初始设置时寄存的色彩信息的值是固定的，因 此可将预先创建的色彩直方图作为初始设置信息而保存。在这种情形下， 当必须使用初始模板的色彩直方图时，似真度计算部16获取作为初始设 置信息而M的初始模板的色彩直方图中的数据。
在创建了当前模板的色彩直方图和初始模板的色彩直方图之后，似真 度计算部16计算这两个色彩直方图之间的距离(似真度)。色彩直方图之间的距离可根据式(4)计算为Bhattacharyya系数<formula>formula see original document page 18</formula>5《,7;)=艺冉眺((/)=i ...... (4)Sc(7;,7;)…色彩直方图之间的距离M…色彩直方图的维数/…分配给色彩直方图的每个维的编号^。 (0'初始模板的色彩直方图维i的投票数A(z')…当前模板的色彩直方图维i的投票数似真度计算部16使用根据式(2)和(3)计算出的归一化相关值和 色彩直方图之间的距离(Bhattacharyya系数)，以根据式(5)计算最终 的似真度。pr(r。, 7;) = exp[-;i. ((r。,『,))2—尸(r。 ， 7;))2]……(5)z，/…调整因子 pr(; ;)…似真度式(5)中的调整因子k和Y是例如考虑到实际计算的似真度的精度 而调整的。本发明的发明人确认基于归一化相关的似真度计算算法和基于色彩 直方图的似真度计算算法是有效的，尽管使用初始模板和当前模板的其它 似真度计算算法也适用于似真度计算部16。因而，根据本实施例，将以 上两种算法彼此整合来计算最终的似真度。在例如非专利文献1中记载了对于模型设定而言与本实施例中的控 制点相当的4象素映射采样点(pixel map sampling point).然而，在非专 利文献l中，U于怎样在图像中的模型的轮廓内设定像素映射釆样点来 计算似真度的。相比之下，根据本实施例，为每个控制点设定色彩，并且可在计算最 终的似真度时使用假定信息和观测值中每个控制点所对应的色彩信息。因 此，与不使用色彩信息而将每个控制点的位置与其轮廓相比较的情况相 比，有可能精确地计算似真度，从而实现更高的估计精度。根据以上说明的本实施例的动态估计处理(即，动态估计系统l)可由与图1所示的功能构造对应的硬件来实现。动态估计系统1也可由这，样的软件来实现该软件描述了使得计算机执行与图1所示的功能构it^t应 的处理的程序。或者，该硬件可与该软件相结合。为了由软件来实现本实施例的动态估计处理的至少一部分，可由担当 动态估计系统的硬件资源即计算机设备(中央处理装置(CPU))来执行 构成该软件的程序。或者，也可使得通用个人计算机等计算^U殳4^M 序，以给予计算机设^L行动态估计处理的功能。图10是示出了能够执行与本实施例的动态估计系统对应的程序的计 算机设备(信息处理设备)的构造的例子的框图。参照图10，计算机设备200包括经由总线204相互连接的CPU201、只读存储器(ROM) 202和随^取存储器(RAM) 203。输入_输出接口 205也连接至总线204。输入单元206、输出单元207、存储单元208、通信单元209和驱动 器210连接至输入-输出接口 205。输入单元206 ，，键，和鼠标等操作和输，设备。输入单元20，能够输出单元207包括显示设备和扬声器。 存储单元208是例如硬盘或非易失性存储器。 通信单元209是例如网络接口 。驱动器210驱动磁盘、光盘、磁光盘或半导体存储器等记录介质211。在具有上i^J造的计算机i殳备200中，CPU 201将存储在例如存储单 元208中的程序经由输入-输出接口 205和总线204加栽到RAM 203中， 并执行所加栽的程序以进行上述一系列处理。由CPU 201执行的程序可记录在包括例如磁盘(包括软盘)、光盘(致 密盘只读存储器(CD-ROM)或数字通用盘(DVD )等)、磁光盘或半导 体存储器在内的封装介质即记录介质2U中，或者可通过局域网、因特网 或数字卫星广播等有线或无线传输介质来提供。通过将记录介质211加载到驱动器210中，可将程序通过输入-输出 接口 205安装在存储单元208中。程序亦可由通信单元209通过有线或无 线传输介质接收，以安M存储单元208中。或者，程序可预先安^fc理可以按本说明书中说 明的顺序依次进行，可以并行地进行，或者可以响应于调用而进行。本申请包含与2008年9月16日在日本专利局提交的日本在先专利申 请JP2008-236381相关的主题，其全部内^ii过引用合并于此。本领域的普通技术人员应当理解，取决于设计需求和其它有关因素， 可以发生各种修改、组合、子组合和变更，只要它们落入所附权利要求的 范围或其等^H殳置之内。
权利要求
1.一种动态估计设备，包括控制点设定装置，所述控制点设定装置为三维物体模型设定多个控制点；控制点色彩信息获取装置，所述控制点色彩信息获取装置当所述三维物体模型的实体作为被摄物而在被摄物图像上投影时获取控制点色彩信息，所述控制点色彩信息表示每个控制点在所述被摄物图像上投影的投影位置处的色彩；初始控制点色彩信息保存装置，所述初始控制点色彩信息保存装置将由所述控制点色彩信息获取装置从供初始设置用的所述被摄物图像获取的控制点色彩信息作为初始控制点色彩信息而保存；控制点位置估计装置，所述控制点位置估计装置估计每个控制点在当前时刻的位置；当前控制点色彩信息获取装置，所述当前控制点色彩信息获取装置获取由所述控制点位置估计装置估计其位置的所述控制点在当前时刻的所述被摄物图像上投影而产生的当前控制点色彩信息；以及似真度计算装置，所述似真度计算装置使用所述当前控制点色彩信息和所述初始控制点色彩信息来计算似真度。
2. 根据权利要求1所述的动态估计设备，其中所述控制点设定装置以使得在一个布置方向上的所述投影位置之间的距离相等的方式在所述三维物^型的表面上布置所述控制点。
3. 根据权利要求1或2所述的动态估计设备，其中所述控制点色彩信息获取装置通过使用以由根据相邻控制点之间的距离设定的像素数构成的最小采样单位对所述被摄物图像进行重釆样而得到的重采样图像上的每个投影位置处的像素值，来获取所述控制点色彩信息。
4. 一种动态估计方法，包括以下步骤为三维物体^^设定多个控制点；当所述三维物体模型的实体作为被摄物而在被摄物图像上投影时获取控制点色彩信息，所述控制点色彩信息表示每个控制点在所述被摄物图像上投影的投影位置处的色彩；将在所述控制点色彩信息获取步骤中从供初始设置用的所述被摄物图4象获取的控制点色彩信息作为初始控制点色彩信息而M;估计每个控制点在当前时刻的位置；获取在所述控制点位置估计步骤中被估计其位置的所述控制点在当前时刻的所述被摄物图像上投影而产生的当前控制点色彩信息；以及^^用所述当前控制点色彩信息和所述初始控制点色彩信息来计算似真度。
5. —种程序，其使得动态估计设^Mt以下步骤为三维物^型设定多个控制点；当所述三维物体模型的实体作为被摄物而在被摄物图像上投影时获取控制点色彩信息，所述控制点色彩信息表示每个控制点在所述被摄物图像上投影的投影位置处的色彩；将在所述控制点色彩信息获取步骤中从供初始设置用的所述^L摄物图像获取的控制点色彩信息作为初始控制点色彩信息而M;估计每个控制点在当前时刻的位置；获取在所述控制点位置估计步骤中被估计其位置的所述控制点在当前时刻的所述被摄物图像上投影而产生的当前控制点色彩信息；以及使用所述当前控制点色彩信息和所述初始控制点色彩信息来计算似真度，
6. —种动态估计i殳备，包括控制点设定单元，所述控制点设定单元为三维物,型设定多个控制点；控制点色彩信息获取单元，所述控制点色彩信息获取单元当所述三维物体模型的实体作为被摄物而在被摄物图像上投影时获取控制点色彩信息，所述控制点色彩信息表示每个控制点在所述被摄物图像上投影的投影位置处的色彩；初始控制点色彩信息保存单元，所述初始控制点色彩信息保存单元将由所述控制点色彩信息获取单元从供初始设置用的所述被摄物图像获取的控制点色彩信息作为初始控制点色彩信息而恭萍；控制点位置估计单元，所述控制点位置估计单元估计每个控制点在当前时刻的位置；当前控制点色彩信息获取单元，所述当前控制点色彩信息获取单元获取由所述控制点位置估计单元估计其位置的所述控制点在当前时刻的所述被摄物图像上投影而产生的当前控制点色彩信息；以及似真度计算单元，所述似真度计算单元使用所述当前控制点色彩信息和所述初始控制点色彩信息来计算似真度。
全文摘要
本发明提供了一种动态估计设备、动态估计方法和程序。该动态估计设备包括控制点设定单元，其为三维物体模型设定多个控制点；控制点色彩信息获取单元，其获取控制点色彩信息，所述控制点色彩信息表示每个控制点在被摄物图像上投影的投影位置处的色彩；初始控制点色彩信息保存单元，其将从供初始设置用的上述被摄物图像获取的控制点色彩信息作为初始控制点色彩信息而保存；控制点位置估计单元，其估计每个控制点在当前时刻的位置；当前控制点色彩信息获取单元，其获取上述控制点在当前时刻的被摄物图像上投影而产生的当前控制点色彩信息；以及似真度计算单元，其使用当前控制点色彩信息和初始控制点色彩信息来计算似真度。
文档编号G06T7/00GK101676952SQ20091017621
公开日2010年3月24日 申请日期2009年9月16日 优先权日2008年9月16日
发明者刘玉宇 申请人:索尼株式会社