本公开涉及图像处理装置和方法，并且更具体地涉及能够执行更稳定且高度精确的姿势估计的图像处理装置和方法。
背景技术：
关于来自相机等的输入图像，存在将通过能量优化的人体模型应用于通过背景减法算法等的移动被摄体部分的轮廓区域来估计姿势的姿势估计技术(例如，参见非专利文献1)。
另外，还有一种使用被称为visualhull的技术的技术(例如，参见非专利文献2)，所述被称为visualhull的技术三维地投影多个移动被摄体部分的轮廓并且估计表示人体部分的三维形状，然后执行人体模型的优化。
引用列表
非专利文献
非专利文献1：<通过随机搜索的关节式人体运动捕捉(国际计算机视觉期刊，2005)，jonathandeutscherandlanreid，牛津大学工程科学系，英国，牛津，ox13pj，2003年8月19日接收。>(<articulatedbodymotioncapturebystochasticsearch(internationaljournalofcomputervision,2005),jonathandeutscherandlanreid,departmentofengineeringscience,universityofoxford,oxford,ox13pj,unitedkingdom,receivedaugust19,2003.>)
非专利文献2：<研究肌肉生物力学的无标记运动捕捉系统、visualhull和模拟退火方法，s.corazza,l.mundermann,a.m.chaudhari,t.demattio,c.cobelli,t.p.andriacchi,生物医学工程年会-annbiomedeng，第34卷,第6期,第1019-1029页,2006>(<markerlessmotioncapturesystemtostudymusculockeletalbiomechanics,visualhullandsimulatedannealingapproach,s.corazza,l.mundermann,a.m.chaudhari,t.demattio,c.cobelli,t.p.andriacchi,annalsofbiomedicalengineering-annbiomedeng,vol.34,no.6,pp.1019-1029,2006>)
技术实现要素：
技术问题
这些技术都会导致能量函数优化问题，但优化问题通常难以确保全局最优解，并且有可能陷入局部最优解。如果利用高质量的初始值，则可以稳定地获得全局最优解，但通常很难获得这样的初始值。
因此，直到现在仍然难以继续稳定地估计正确的姿势。
本公开是鉴于这样的情况而做出的，并且可以执行更稳定且高度精确的姿势估计。
问题的解决方案
根据本技术的一个方面，图像处理装置包括：第一姿势优化单元，被配置为针对从输入图像中提取的人体区域，通过使用第一优化技术来优化人体模型的姿势参数；第二姿势优化单元，配置为针对所述人体区域，通过使用与所述第一优化技术不同的第二优化技术来优化所述人体模型的姿势参数；以及选择单元，被配置为选择由第一优化技术获得的第一优化结果和由第二优化技术获得的第二优化结果中的一个。
图像处理装置还可以包括被配置为从输入图像中检测对象的对象检测单元。选择单元可以根据由对象检测单元获得的对象检测结果来选择第一优化结果和第二优化结果中的一个。
图像处理装置还可以包括可靠度评估单元，被配置为评估第一优化结果的可靠度和第二优化结果的可靠度。选择单元可以根据由可靠程度评估单元获得的可靠程度评估结果来选择第一优化结果和第二优化结果中的一个。
在第一优化结果和第二优化结果的可靠度均低于阈值的情况下，选择单元可以选择初始状态下的姿势参数。
在第一优化结果和第二优化结果的可靠度都低于阈值的情况下，选择单元可以暂停使用第一优化技术和第二优化技术进行处理，并且提示用户执行校准。
第一优化技术和第二优化技术涉及算法、初始值和限制条件中的至少一个。
第一优化技术和第二优化技术中的一个是基于极值搜索算法的技术。
第一优化技术和第二优化技术中的一个是基于特定姿势或特定动作的技术。
图像处理装置还包括被配置为从输入图像中检测对象的对象检测单元。第一优化技术和第二优化技术中的一个使用先前帧中的优化结果作为初始值来执行优化，而第一优化技术和第二优化技术中的另一个使用基于由对象检测单元获得的对象检测结果确定的初始值来执行优化。
图像处理装置还包括被配置为从输入图像中检测对象的对象检测单元。第一优化技术和第二优化技术中的一个使用基于由对象检测单元获得的对象检测结果确定的限制来执行优化。
人体模型的姿势参数包括关节位置、角度和关节数量。
根据本技术的一个方面，一种图像处理图像方法包括：通过处理装置：针对从输入图像中提取的人体区域，通过使用第一优化技术来优化人体模型的姿势参数；针对所述人体区域，通过使用与第一优化技术不同的第二优化技术来优化人体模型的姿势参数；并且选择由第一优化技术获得的第一优化结果和由第二优化技术获得的第二优化结果中的一个。
根据本技术的一个方面：针对从输入图像中提取的人体区域，通过使用第一优化技术来优化人体模型的姿势参数；针对所述人体区域，通过使用与第一优化技术不同的第二优化技术来优化人体模型的姿势参数；并且选择由第一优化技术获得的第一优化结果和由第二优化技术获得的第二优化结果中的一个。
发明的有益效果
根据本技术，能够执行更稳定且高度精确的姿势估计。
注意，本说明书中描述的效果仅仅是示例性的，并且本技术的效果不限于本说明书中描述的效果，而是可以有附加的效果。
附图说明
[图1]图1是示出应用本技术的图像处理装置的配置示例的框图。
[图2]图2是描述人体区域信息和人体模型之间的比较的图。
[图3]图3是示出图1的姿势优化单元的配置示例的框图。
[图4]图4是描述图像处理装置的图像处理的流程图。
[图5]图5是描述图4的步骤s15中的人体姿势优化处理的流程图。
[图6]图6是示出个人计算机的配置示例的框图。
具体实施方式
以下将描述用于执行本公开的模式(以下称为实施例)。
<图像处理装置的配置示例>
图1是示出已经应用了本技术的图像处理装置的配置示例的图。图1的示例是图像处理装置，其执行从来自相机等的输入图像中提取看起来像人体的区域，并且优化人体模型的关节位置和角度以便匹配所提取的看起来像人体的区域的图像处理。
在图1的示例中，图像处理装置1包括人体区域提取单元11、对象检测单元12和姿势优化单元13。注意，图像从未示出的外部输入到人体区域提取单元11和对象检测单元12作为输入图像。
人体区域提取单元11从输入图像中提取作为认证目标的人体可存在的空间区域。例如，使用背景减法算法从输入图像中提取看起来像人体的区域，并且生成人体区域信息并将其输出到姿势优化单元13。
对象检测单元12仅针对特定对象或使用环境对输入图像执行检测和位置指定。例如，对象检测单元12检测人体的个体部位(例如，面部检测、手部检测等)、标记(例如，放置在身体上的用于位置追踪的标记等)以及特定对象(例如，运动中使用的游戏控制器或者球拍、球板等)中的任何一个或多个，并且输出该位置。
注意，在检测失败的情况下，向姿势优化单元13通知失败。另外，不仅可以使用图像，而且还可以使用感测信息(红外传感器、激光定位等)。
姿势优化单元13根据对象检测结果在多种优化技术之间切换并使用最优技术。另外，姿势优化单元13通过多种优化技术来优化作为人体模型(树结构)的姿势参数的关节位置、角度、关节数量等，以便匹配人体可存在的区域，并且在多种优化技术之间切换并且使用最优技术。例如，在姿势优化单元13中，执行优化，使得人体模型的轮廓符合从输入图像获得的人体区域信息，如图2所示。
在图2的示例中，从输入图像获得的人体区域信息显示在左侧，而人体模型的轮廓显示在右侧。
此时，使用符合度(例如，绝对差值的总和)作为能量，优化姿势参数(关节位置、角度和关节数量)，从而使得能量被最小化。注意，优化技术包括1.初始值，2.算法和3.限制，并且通过在这三者之间切换来执行优化。
另外，姿势优化单元13使对象检测单元12仅根据优化结果来使用检测控制指令执行必要的操作。
注意，在图1的示例中，由于对象检测单元12通常具有大吞吐量，因此其被配置为使得对象检测单元12仅使用检测控制指令执行必要的操作，同时可以使对象检测单元12总是恒定地操作而不发出检测控制指令。另外，可以在从外部接收到控制指令时切换对象检测单元12的存在或不存在，或者可以始终使对象检测单元12操作。
图3是示出姿势优化单元13的详细配置示例的框图。
图3的示例包括限制生成单元51、姿势调整单元52、姿势信息存储单元53、能量优化单元54-1和54-2、姿势评估单元55、姿势优化控制单元56以及选择单元57。
来自人体区域提取单元11的人体区域信息被输入到能量优化单元54-1和54-2。作为来自对象检测单元12的对象检测结果的对象位置信息和检测成功/失败通知被输入到限制生成单元51、姿势调整单元52和姿势优化控制单元56。
限制生成单元51根据来自对象检测单元12的对象检测结果生成用于对优化施加限制条件的“优化限制”。例如，在可以通过面部检测在对象检测单元12中指定面部位置的情况下，限制生成单元51生成将姿势参数可以采取的变量空间限制为“面部位置符合检测结果的部分空间”的优化限制(条件)，并将生成的优化限制输出到能量优化单元54-1和54-2。
姿势调整单元52根据在先前时间获得的姿势评估结果或对象检测结果来调整要用作优化的输入初始值的姿势信息(姿势参数)。例如，作为对象检测结果的示例，在通过面部检测识别出面部位置的情况下，调整姿势参数以便符合检测结果的位置。
另外，作为在先前时间获得的姿势评估结果的示例，在优化结果的可靠性已经降低的情况下，将要用作下一次优化的输入的姿势再次设定为特定姿态(例如，张开双臂的直立姿势)。
在图3的示例中，作为输出的姿势信息被用作下一次优化的输入初始值以用于时间运动连续性和便于优化处理，同时在作为优化的结果获得不正确的姿势的情况下，影响可能继续到下一次以及随后。因此，通过再次设置(调整)为特定姿态，能够重置时间连续性。
作为可靠性由于优化而降低的情况下的另一补救，还能够实现使用都没有示出的显示单元、扬声器等提示用户通过使用规定姿势来进行人体校准的系统配置，例如，以进行返回，从而使得可以再次执行正确的姿势估计。
姿势信息存储单元53存储在先前时间获得的优化结果的姿势信息，并将该姿势信息提供给姿势调整单元52。
能量优化单元54-1和54-2各自通过输入用于给出优化的初始值的姿势信息和人体区域信息来执行用于确定姿势的参数的优化，并且将所得到的优化姿势信息和可靠度输出到姿势优化控制单元56和选择单元57。
这里，例如，可靠度是用于评估作为优化的结果，姿势适用程度的值，并且可靠度应该指的是将最小化的优化的能量的最终程度。
能量优化单元54-1和54-2在优化方法和性能方面彼此不同。例如，能量优化单元54-1具有根据诸如梯度法的极值搜索算法的配置，并且能量优化单元54-2具有根据另一算法(诸如对解空间的离散搜索(对确定模式的全搜索，即输入人在面部位置固定而不采取函数值的情况下可能采取的大约1000种姿势模式，并使它们经历全搜索))的配置。另外，可选地，能量优化单元54-1具有能够执行通用姿势优化的配置，并且能量优化单元54-2具有能够执行针对特定姿势(例如，高尔夫挥杆或棒球形式)专门设计的优化的配置。当能量优化单元54-1的配置(梯度法)等导致局部最小值等时，能量优化单元54-2的配置是合适的。
也就是说，假设能量优化单元54-1使用梯度法的算法，能量优化单元54-2相比之下使用的另一种算法包括概率优化算法，并且概率优化算法包括遗传算法、模拟退火等。作为通过使用知识的方法，其他方法包括使用姿势信息数据库的算法和考虑代表性姿势的算法，以及作为全搜索方法，其他方法包括使参数空间经历全稀疏搜索的算法和对头部、躯干、手等的各部位依次执行准全搜索的算法。
另外，作为变型，能量优化单元54-1和54-2接收来自限制生成单元51的优化限制作为输入。例如，能量优化单元54-1和54-2使用通过对象检测获得的对象位置信息对姿势参数施加限制，并执行优化。例如，在人的位置可以通过人检测来指定的情况下，执行优化从而将姿势参数可以采用的变量空间限制到人的位置符合检测结果的部分空间。
姿势评估单元55评估由能量优化单元54-1和54-2获得的优化结果是否可靠，并且将评估结果输出到姿势调整单元52、姿势优化控制单元56和选择单元57。简而言之，姿势评估单元55将从能量优化单元54-1和54-2输出的可靠度与固定阈值进行比较，以确定优化结果是否可靠。
其他评估方法还包括比较由能量优化单元54-1和54-2获得的优化结果并组合输出该结果的方法，姿势评估单元55在内部保持过去获得的可靠度，并且在新的可靠度与过去的程度显着变化的情况下，确定优化不正确的方法，以及如果优化的姿势信息对于人体姿势或运动变化不自然，则确定优化不正确的方法。注意，这些方法中只有一种可以采用，或者这些方法可以组合采用。
姿势优化控制单元56具有接收对象检测结果并切换任一能量优化(例如，梯度法的优化)的功能，并且将切换指令输出到选择单元57。另外，姿势优化控制单元56将控制是否使对象检测处理在下一次(帧)进行操作的检测控制指令作为变形输出到对象检测单元12。
另外，姿势优化控制单元56可以从姿势评估单元55接收评估结果以切换检测控制指令。具体地，姿势优化控制单元56进行这样的控制，即，当优化结果足够可靠时，不执行对象检测，并且仅在可靠性降低时，执行对象检测。
选择单元57根据来自姿势优化控制单元56的切换指令在具有不同性能的第一优化结果和第二优化结果之间进行选择。另外，选择单元57可以同时接收姿势评估单元55的输出，并且可以做出选择。例如，在能量优化单元54-1执行通用姿势优化，并且能量优化单元54-2执行针对特定姿势专门设计的优化的配置中，还能够采用由当优化结果具有较高可靠性时的切换指令指示的优化结果之一作为姿势评估单元55的评估结果，并且在其它情况下，采用能量优化单元54-1的结果。注意，选择单元57可以存储先前帧中的姿势参数，并且在任一评估结果低于特定阈值的情况下，可以选择先前帧中的姿势参数，或者如上所述，可以提示用户通过使用规定姿势进行人体校准以进行返回，从而使得可以再次执行正确的姿势估计。
选择单元57将所选择的优化结果的姿势信息输出到未示出的随后阶段。
注意，在图3的示例中，由虚线示出的限制生成单元51、姿势调整单元52和姿势评估单元55表示可以将其中不存在(未使用)它们中的每一个的配置视为变型。另外，图3的示例示出了存在两种类型的用于能量优化单元54-1和54-2的算法的示例，同时可以存在三种或四种类型，即只要存在多种算法就可以有更多的算法。
<图像处理装置的处理示例>
接下来，参照图4的流程图，将描述图像处理装置1的图像处理。
在步骤s11中，输入图像被从未示出的外部输入到人体区域提取单元11和对象检测单元12。
在步骤s12中，人体区域提取单元11从在步骤s11中输入的输入图像中提取看起来像人体的区域，并且生成人体区域信息。人体区域提取单元11将生成的人体区域信息输出到姿势优化单元13。
在先前帧的处理中，已经从姿势优化单元13输入了控制是否使对象检测处理进行操作的检测控制指令。据此，在步骤s13中，对象检测单元12确定是否执行对象检测，并且在确定要执行对象检测的情况下，处理进入步骤s14的处理。
在步骤s14中，对象检测单元12从在步骤s11中输入的输入图像中检测对象。对象检测单元12将检测到的对象位置信息以及根据需要将检测成功/失败通知输出到姿势优化单元13。
在步骤s13中，在确定不要执行对象检测的情况下，跳过步骤s14。
在步骤s15中，姿势优化单元13优化人体模型的姿势。随后将参照图5描述该人体姿势优化处理的细节，但是在步骤s15中，使用从输入图像获得的人体区域信息与人体模型的轮廓之间的符合度作为能量，通过多种方法优化姿势参数(关节位置、角度和关节数量)等，从而使得能量被最小化，并且根据优化结果的可靠度评估结果或对象检测结果从多个优化结果中进行选择。然后，通过姿势优化单元13向未示出的随后阶段输出通过多种方法优化以及选择的姿势信息，并且终止图像处理。
接下来，参照图5的流程图，将描述图4的步骤s15中的人体姿势最优化处理。来自人体区域提取单元11的人体区域信息被输入到能量优化单元54-1和54-2。作为来自对象检测单元12的对象检测结果的对象位置信息和检测成功/失败通知被输入到限制生成单元51、姿势调整单元52和姿势优化控制单元56。
在步骤s51中，姿势优化控制单元56根据来自对象检测单元12的对象检测结果(对象位置信息和检测成功/失败通知)，判断是否已经检测到对象。在步骤s51中，在确定已经检测到对象(例如，面部)的情况下，处理进入步骤s52。
例如，姿势优化控制单元56向选择单元57发出切换到通过能量优化单元54-1的梯度法获得的优化结果的切换指令。响应于此，在步骤s52中，选择单元57选择通过能量优化单元54-1的梯度法获得的优化结果，并且将所选择的优化结果的姿势信息输出到随后阶段。
在步骤s51中，在确定没有检测到对象(例如，面部)的情况下，处理进入步骤s53。
在步骤s53中，限制生成单元51根据来自对象检测单元12的对象检测结果生成用于对优化施加限制条件的优化限制。限制生成单元51将生成的优化限制输出到能量优化单元54-1和54-2。
在步骤s54中，姿势调整单元52根据先前时间的姿势评估结果和对象检测结果，调整来自姿势信息存储单元53的先前时间处的姿势信息(姿势参数)。姿势调整单元52将表示调整的姿势参数的姿势信息输出到能量优化单元54-1和54-2。
在步骤s55中，能量优化单元54-1输入用于给出优化的初始值的姿势信息和人体区域信息，并且例如通过梯度法来执行确定姿势的参数的优化。能量优化单元54-1向姿势优化控制单元56和选择单元57输出得到的优化姿势信息和可靠度。
在步骤s56中，能量优化单元54-2输入用于给出优化的初始值的姿势信息和人体区域信息，并且通过除了梯度法之外的方法(例如，概率优化算法)来执行确定姿势的参数的优化。能量优化单元54-2将得到的优化姿势信息和可靠度输出到姿势优化控制单元56和选择单元57。
在步骤s57中，姿势评估单元55评估由能量优化单元54-1和54-2获得的优化结果是否可靠，并且将评估结果输出到姿势调整单元52、姿势优化控制单元56和选择单元57。
在步骤s58中，选择单元57基于来自姿势评估单元55的评估结果来选择优化结果中可靠度较高的一个。然后，选择单元57将所选择的优化结果的姿势信息输出到随后阶段。
在步骤s52或步骤s58之后，处理进入步骤s59。在步骤s59中，姿势优化控制单元56基于来自姿势评估单元55的评估结果，向对象检测单元12输出控制是否使对象检测处理在下一次(帧)进行操作的检测控制指令。
以上述方式，通过多种优化方法来执行人体姿势的优化，并且根据优化结果的可靠度评估结果或对象检测结果进行选择。
注意，在图5中，步骤s55和s56是并行执行的操作。另外，图5的示例描述了这样的示例，其中在步骤s51中没有检测到对象的情况下，评估多个优化结果并进行选择，同时在步骤s51中没有检测到对象的情况下，可以选择不同于在步骤s52中选择的优化方法的其他优化方法的选择结果。
以上述方式，在本技术中，由于根据姿势估计的可靠度从多个优化技术(优化算法、初始值设置和限制中的至少一个)中选择最优技术，因此能够执行更稳定且高度精度的姿势估计。
另外，在姿势估计的可靠性显着降低的情况下，能够通过诸如执行校准或者可选地请求用户执行校准的处理来使得返回到正常状态。
从以上所述，根据本技术，能够执行更稳定且高度精确的姿势估计。
<个人计算机>
上述一系列处理可以通过硬件或通过软件来执行。在通过软件执行一系列处理的情况下，构成该软件的程序被安装在计算机中。这里，计算机的示例包括结合到专用硬件中的计算机和能够根据各种安装的程序执行各种功能的通用个人计算机。
图6是图示根据程序执行上述一系列处理的个人计算机的硬件的配置示例的框图。
在个人计算机500中，中央处理单元(cpu)501、只读存储器(rom)502和随机存取存储器(ram)503经由总线504彼此连接。
输入/输出接口505进一步连接到总线504。输入单元506、输出单元507、存储单元508、通信单元509和驱动器510连接到输入/输出接口505。
输入单元506包括键盘、鼠标、麦克风等。输出单元507包括显示器、扬声器等。存储单元508包括硬盘、非易失性存储器等。通信单元509包括网络接口等。驱动器510驱动诸如磁盘、光盘、磁光盘或半导体存储器的可移除介质511。
在如上所述配置的个人计算机500中，例如，cpu501经由输入/输出接口505和总线504将存储在存储单元508中的程序加载到ram503上并执行该程序。因此，执行上述一系列处理。
由计算机(cpu501)执行的程序可以被记录在可移除介质511中并被提供。例如，可移除介质511是包括磁盘(包括软盘)、光盘(光盘只读存储器(cd-rom)、数字多功能盘(dvd)等)、磁光盘、半导体存储器等的封装介质。此外，可选地，该程序可以经由有线或诸如局域网、因特网或数字卫星广播的无线传输介质来提供。
在计算机中，可移除介质511可以被加载到驱动器510中，并且程序可以经由输入/输出接口505被安装在存储单元508中。此外，程序可以通过通信单元509经由有线或无线传输介质接收并且安装在存储单元508中。此外，程序可以预先安装在rom502或存储单元508中。
注意，由计算机执行的程序可以是按照本说明书中描述的顺序以时间序列进行处理的程序，或者可以是并行或在必要的时刻(诸如当这些处理被调用时)进行处理的程序。
此外，在本说明书中，要记录在记录介质中的程序所写入的步骤不一定必须按照步骤的顺序以时间序列执行，而是可以包括并行或单独执行的处理。
此外，在本说明书中，“系统”指的是包括多个装置的整个装置。
注意，本公开的实施例不限于上述实施例，并且可以在不脱离本公开的范围的情况下进行各种改变和修改。
例如，本公开可以采用经由网络通过多个设备分配和连接一个功能来进行处理的云计算的配置。
此外，上述被描述为单个装置(或处理单元)的元件可以被划分并配置为多个装置(或处理单元)。相反，上述被描述为多个装置(或处理单元)的元件可以被统一配置为单个装置(或处理单元)。此外，除了上述那些之外的元件可以被添加到每个装置(或处理单元)。此外，给定装置(或处理单元)的元件的一部分可以被包括在另一装置(或另一处理单元)的元件中，只要该系统的配置或操作作为整体基本相同即可。换句话说，本公开的实施例不限于上述实施例，并且可以在不脱离本公开的范围的情况下做出各种改变和修改。
以上参照附图描述了本公开的优选实施例(一个或多个)，而本公开不限于上述示例。本领域技术人员可以在随附权利要求的范围内发现各种改变和修改，并且应该理解，它们自然会落入本公开的技术范围内。
另外，本技术也可以如下配置。
(1)一种图像处理装置，包括：
第一姿势优化单元，被配置为针对从输入图像中提取的人体区域，通过使用第一优化技术来优化人体模型的姿势参数；
第二姿势优化单元，被配置为针对所述人体区域，通过使用与第一优化技术不同的第二优化技术来优化所述人体模型的姿势参数；以及
选择单元，被配置为选择由第一优化技术获得的第一优化结果和由第二优化技术获得的第二优化结果中的一个。
(2)根据(1)所述的图像处理装置，还包括：
对象检测单元，被配置为从输入图像中检测对象，其中
选择单元根据由对象检测单元获得的对象检测结果来选择第一优化结果和第二优化结果中的一个。
(3)根据(1)所述的图像处理装置，还包括：
可靠度评估单元，被配置为评估第一优化结果的可靠度和第二优化结果的可靠度，其中
选择单元根据由可靠度评估单元获得的可靠度评估结果来选择第一优化结果和第二优化结果中的一个。
(4)根据(3)所述的图像处理装置，其中
在第一优化结果和第二优化结果的可靠度均低于阈值的情况下，选择单元选择初始状态下的姿势参数。
(5)根据(3)所述的图像处理装置，其中
在第一优化结果和第二优化结果的可靠度均低于阈值的情况下，选择单元暂停使用第一优化技术和第二优化技术进行处理，并且提示用户执行校准。
(6)根据(1)至(5)中任一项所述的图像处理装置，其中
第一优化技术和第二优化技术涉及算法、初始值和限制条件中的至少一个。
(7)根据(1)至(6)中任一项所述的图像处理装置，其中
第一优化技术和第二优化技术中的一个是基于极值搜索算法的技术。
(8)根据(1)至(7)中任一项所述的图像处理装置，其中
第一优化技术和第二优化技术中的一个是基于特定姿势或特定动作的技术。
(9)根据(1)所述的图像处理装置，还包括：
对象检测单元，被配置为从输入图像中检测对象，其中
第一优化技术和第二优化技术中的一个使用先前帧中的优化结果作为初始值来执行优化，并且第一优化技术和第二优化技术中的另一个使用基于由对象检测单元获得的对象检测结果确定的初始值来执行优化。
(10)根据(1)所述的图像处理装置，还包括：
对象检测单元，被配置为从输入图像中检测对象，其中
第一优化技术和第二优化技术中的一个使用基于由对象检测单元获得的对象检测结果确定的限制来执行优化。
(11)根据(1)至(11)中任一项所述的图像处理装置，其中
人体模型的姿势参数包括关节位置、角度和关节数量。
(12)一种图像处理图像方法，包括：通过处理装置：
针对从输入图像中提取的人体区域，通过使用第一优化技术来优化人体模型的姿势参数；
针对所述人体区域，通过使用与第一优化技术不同的第二优化技术来优化人体模型的姿势参数；以及
选择由第一优化技术获得的第一优化结果和由第二优化技术获得的第二优化结果中的一个。
附图标记列表
1图像处理装置
11人体区域提取单元
12对象检测单元
13姿势优化单元
51限制生成单元
52姿势调整单元
53姿势信息存储单元
54-1，54-2能量优化单元
55姿势评估单元
56姿势优化控制单元
57选择单元