图像处理装置、图像处理方法和程序的制作方法

专利名称：图像处理装置、图像处理方法和程序的制作方法
图像处理装置、图像处理方法和程序
背景技术：
本发明涉及一种图像处理装置、图像处理方法和程序。近来，用于保持或改善健康或者从创伤恢复的运动已变为日常生活的一部分。肌肉力量训练、康复、塑形等是这种运动的例子。日本未审专利申请公开(PCT申请的译本)N0.2000-504854提出一种用于在显示器上并行显示教师的运动的图像序列和学生的运动的图像序列的技术。根据这种技术，作为学生的用户容易模仿教师的运动，并且预期更高效地提高用户的运动能力。

发明内容
然而，通常，据称为了使运动高效，重要的是，对进行运动的人给出关于运动有效性的充分反馈。由日本未审专利申请公开(PCT申请的译本)N0.2000-504854提出的技术仅呈现视为目标的运动，而不对用户给出充分反馈。例如，当人与目标运动的差距或人的健康的改善以可见的方式呈现时，人继续进行运动的动力增强，并且人也被激发以通过改进他/她自己的运动执行有效的运动。因此，优选地提供一种能够以可见的形式把关于运动的有效性的反馈呈现给用户的结构。根据本发明的实施例，提供了一种图像处理装置，包括:识别单元，识别输入图像中反映的人的运动；和显示控制单元，在输入图像上叠加虚拟对象，所述虚拟对象根据由识别单元识别的运动的有效性而变化。根据本发明的另一实施例，提供了一种图像处理方法，包括:识别输入图像中反映的人的运动；以及在输入图像上叠加虚拟对象，所述虚拟对象根据识别的运动的有效性而变化。根据本发明的另一实施例，提供了一种程序，该程序用于使控制图像处理装置的计算机用作:识别单元，识别输入图像中反映的人的运动；和显示控制单元，在输入图像上叠加虚拟对象，所述虚拟对象根据由识别单元识别的运动的有效性而变化。根据本发明的实施例，可以以可见的形式把关于运动的有效性的反馈呈现给用户。


图1A是表示根据本发明的图像处理装置的概述的第一解释示图；图1B是表示根据本发明的图像处理装置的概述的第二解释示图；图1C是表示根据本发明的图像处理装置的概述的第三解释示图；图2是显示根据一个实施例的图像处理装置的硬件结构的例子的方框图；图3是显示根据第一实施例的图像处理装置的逻辑功能的结构的例子的方框图；图4是表示由图3中例示的运动识别单元执行的运动识别处理的例子的解释示图5是表示由图3中例示的得分计算单元计算的有效性得分的例子的解释示图；图6A是表示用于计算有效性得分的第一方法的解释示图；图6B是表示用于计算有效性得分的第二方法的解释示图；图6C是表示用于计算有效性得分的第三方法的解释示图；图6D是表示用于计算有效性得分的第四方法的解释示图；图7A是表示第一实施例中显示的虚拟对象的第一例子的解释示图；图7B是表示第一实施例中显示的虚拟对象的第二例子的解释示图；图7C是表示第一实施例中显示的虚拟对象的第三例子的解释示图；图8是显示关于第一实施例的图像处理流程的例子的流程图；图9是显示关于第二实施例的图像处理装置的逻辑功能的结构的例子的方框图；图10是表示由图9中例示的模型产生单元执行的模型产生处理的例子的解释示图；图11是显示在第二实施例中在运动开始时显示的图像的例子的解释示图；图12是表示第二实施例中显示的虚拟对象的例子的解释示图；图13是显示关于第二实施例的图像处理流程的例子的流程图；图14是显示关于第三实施例的图像处理装置的逻辑功能的结构的例子的方框图；图15是显示生活历史数据的例子的解释示图；图16是显示在第三实施例中在运动开始时显示的图像的例子的解释示图；图17是表示由图4中例示的对象产生单元执行的对象产生处理的例子的解释示图；图18是表示第三实施例中显示的虚拟对象的例子的解释示图；和图19是显示关于第三实施例的图像处理流程的例子的流程图。
具体实施例方式以下，将参照附图详细描述本发明的优选实施例。需要注意的是，在本说明书和附图中，具有基本上相同的功能和结构的结构元素由相同的标号表示，并且省略这些结构元
素的重复解释。将按照下面的次序进行描述。1.概述2.第一实施例2-1.硬件结构2-2.功能结构2-3.处理的流程2-4.第一实施例的总结3.第二实施例3-1.功能结构3-2.处理的流程3-3.第二实施例的总结
4.第三实施例4-1.功能结构4-2.处理的流程4-3.第三实施例的总结〈1.概述〉图1A至图1C是表示根据本发明的图像处理装置的概述的解释示图。参照图1A，作为示例显示图像处理装置100a。图像处理装置IOOa包括:成像单元102,具有朝着运动者的镜头；和显示单元110，用于显示图像。在图1A的例子中，用户Ua站在图像处理装置IOOa前面，并且由成像单元102拍摄的用户Ua的图像由显示单元110显示。图像处理装置IOOa获取这种捕捉的图像作为输入图像，并执行将在稍后详细描述的用于支持运动的各种图像处理。在这种情况下，用户Ua进行运动，例如肌肉力量训练、康复、塑形等。在图1B的例子中，图像处理装置IOOa还包括通信单元112。通信单元112与由例如用户Ua操纵的终端装置10通信。在对输入图像执行的图像处理中，图像处理装置IOOa可使用通过这种通信连接获取的另外的数据。在图1A和图1B中，数字电视装置显示为图像处理装置IOOa的例子。然而，图像处理装置IOOa不限于这个例子。图像处理装置IOOa可以是任意装置，例如桌上型PC、平板PC、笔记本PC、智能电话、数字照相机、游戏终端等。此外，图像处理装置IOOa的显示单元110的屏幕可以是这样的屏幕:在该屏幕的表面上，安装半反光镜。在这种情况下，用户Ua能够在运动期间看见由半反光镜反射的他/她自己的图像，还能够看见由显示单元110部分地显示的图像。参照图1C，图像处理装置IOOb显示为另一例子。图像处理装置IOOb是具有头戴式显示器的可穿戴装置。用户Ub装备有图像处理装置100b。当用户Ub运动时，图像处理装置IOOb可拍摄用户Ub的身体的一部分(例如，手臂等)。另一方面，图像处理装置IOOb可拍摄运动的用户Uao用户Ub通过头戴式显示器看见由图像处理装置IOOb拍摄并处理的图像。图像处理装置IOOb的头戴式显示器可以是透明类型或非透明类型。在随后部分中描述的根据本发明的三个实施例中，由这种装置以可见的形式把关于运动的有效性的反馈呈现给用户。在下面的描述中，图像处理装置IOOa和IOOb—般称为图像处理装置100。<2.第一实施例>[2-1.硬件结构]图2是显示根据第一实施例的图像处理装置100的硬件结构的例子的方框图。参照图2，图像处理装置100包括成像单元102、传感器单元104、输入单元106、存储单元108、显示单元110、通信单元112、总线116和控制单元118。(I)成像单元成像单元102是拍摄图像的照相机模块。成像单元102使用成像元件(诸如，电荷耦合器件(CCD)、互补金属氧化物半导体(CMOS)等)拍摄被摄体，并产生捕捉的图像。成像单元102不必是图像处理装置100的一部分。例如，以有线方式或以无线方式与图像处理装置100连接的成像装置可用作成像单元102。(2)传感器单元
传感器单元104是产生用于支持在图像处理装置100中执行的处理的传感器数据的传感器模块。例如，传感器单元104可包括通过连接到用户的皮肤的电极感测用户的肌肉的动作的肌电传感器。此外，传感器单元104可包括测量用户的体表的温度的红外温度传感器。另外，传感器单元104可包括测量应用于用户的特定部位的加速度的加速度计。(3)输入单元输入单元106是用于使用户操纵图像处理装置100或者在图像处理装置100中输入信息的输入装置。输入单元106可包括检测例如由用户在显示单元110的屏幕上进行的触摸的触摸传感器。替代于触摸传感器(或者除了触摸传感器之外)，输入单元106可包括定点装置，诸如鼠标、触摸板等。另外，输入单元106可包括另一类型的输入装置，诸如键盘、小键盘、按钮、开关、遥控器等。(存储单元)存储单元108包括存储介质(诸如，半导体存储器或硬盘)，并存储用于由图像处理装置100执行的处理的程序和数据。存储在存储单元108中的数据可包括例如由成像单元102产生的捕捉的图像数据、由传感器单元104产生的传感器数据和数据库中的各种数据，稍后将对此进行描述。此外，能够从外部数据源(例如，数据服务器、网络存储器、外部存储器)获取在本说明书中描述的程序和数据的一些或全部，而不必存储在存储单元108中。(5)显示单元显示单元110是包括液晶显示器(IXD)、有机发光二极管(OLED)、阴极射线管(CRT)等的显示模块。在这个实施例中，显示单元110能够用于把用于支持用户的运动的虚拟对象叠加在输入图像上。显示单元110也不必是图像处理装置100的一部分。例如，以有线方式或以无线方式与图像处理装置100连接的显示装置可用作显示单元110。(6)通信单元通信单元112是中继转发图像处理装置100和另一装置之间的通信的通信接口。通信单元112支持任意无线通信协议或有线通信协议，由此与另一装置建立通信连接。(7)总线总线116把成像单元102、传感器单元104、输入单元106、存储单元108、显示单元110、通信单元112和控制单元118彼此连接在一起。(8)控制单元控制单元118对应于处理器，诸如中央处理单元(CPU)、数字信号处理器(DSP)等。控制单元118执行存储在存储单元108或另一存储介质中的程序，由此导致执行将在稍后描述的图像处理装置100的各种功能。[2-2.功能结构]图3是显示由图2中显示的图像处理装置100的存储单元108和控制单元118实现的逻辑功能的结构的例子的方框图。参照图3，图像处理装置100包括:输入图像获取单元120、运动识别单元130、运动模型数据库(DB) 140、用户DB150、得分计算单元160、对象产生单元170和显示控制单元180。(I)输入图像获取单元输入图像获取单元120获取由成像单元102产生的捕捉图像作为输入图像。在输入图像中，显示运动者，诸如图1A至图1C等例示的用户Ua或Ub。由输入图像获取单元120获取的一系列输入图像通常构成移动画面。输入图像获取单元120顺序地把获取的输入图像输出到运动识别单元130和显示控制单元180。(2)运动识别单元运动识别单元130识别来自输入图像获取单元120的输入图像中反映的人的运动。由运动识别单元130识别的运动可以是任何运动，诸如关节弯曲和伸直(例如，腹部运动或下蹲运动)、跑步、跳舞、瑜伽、健身操、体育动作(例如，高尔夫挥杆或网球挥拍)等。运动识别单元130根据已知的姿势识别技术识别输入图像中反映的人的运动。此外，运动识别单元130可使用来自加速度计的传感器数据识别输入图像中反映的人的运动。图4是表示由运动识别单元130执行的运动识别处理的例子的解释示图。参照图4，沿着时间轴显示一系列输入图像中所包括的七个帧FOl至R)7。在帧FOl至F04中，显示这些帧中反映的人的一组腹部运动。在帧F05和后面的帧中反映下一组腹部运动。运动识别单元130识别一组腹部运动作为一个姿势单位，并在时间轴上确定与每个识别的姿势单位对应的区段。在图4的例子中，确定与帧FOl至F04对应的区段SEGOl和与帧F05至R)7对应的区段SEG02。对于以这种方法确定的每个区段，将在稍后描述的得分计算单元160计算显示由运动识别单元130识别的运动的有效性的得分。(3)运动模型 DB140运动模型DB140是积累运动模型的数据库(DB)，运动模型是通过对视为目标的运动建模获得的数据。运动模型可以是反映运动者的移动画面数据、包括一组运动者的特征点位置的帧数据、包括视为目标的运动的次数和参数(诸如，强度等)的数值数据或者这些数据的组合。在这个实施例中，运动模型是通过提前对作为教师的人的运动建模获得的数据。从通过对其属性(诸如，年龄、性别等)彼此不同的教师的运动建模获得的多个运动模型，能够选择适合用户的运动模型。在另一实施例中，根据每个个体用户的运动的历史和目标自适应地产生运动模型。(4)用户 DBl5O用户DB150是积累为每个个体用户准备的各种数据的DB。在这个实施例中，用户DB150存储属性数据152，属性数据152可包括用户的基本属性(诸如，年龄、性别等)和体型属性(诸如，身高、坐高、胸围、腰围等)。(5)得分计算单元得分计算单元160计算显示由运动识别单元130识别的运动的有效性的得分。更具体地讲，在这个实施例中，得分计算单元160首先获取由运动模型DB140存储的任何运动模型。得分计算单元160可选择性地从多个运动模型获取适合运动者的基本属性的运动模型。此外，得分计算单元160可根据运动者的体型属性修改获取的运动模型(例如，执行归一化以使教师的身高变为与运动者的身高相同)。当运动被运动识别单元130识别时，得分计算单元160在识别的运动和运动模型之间的差异的基础上针对由运动识别单元130确定的每个区段计算有效性得分。图5是表示由得分计算单元160计算的有效性得分的例子的解释示图。参照图5，有效性得分的计算结果显示在表中。在图5的例子中，针对区段SEGOl和SEG02计算的所有有效性得分是四。针对区段SEG03计算的有效性得分是三。针对区段SEGlO计算的有效性得分是二。在图5的例子中，有效性得分按照五个级别显示从一到五的值，并且值越大，运动越有效。然而，有效性得分不限于这个例子，并且可使用以其它形式定义的有效性得分。以下将参照图6A至图6D描述用于计算有效性得分的四种示例性方法。(5-1)第一方法图6A是表示用于计算有效性得分的第一方法的解释示图。在附图的左上侧，显示运动模型Ma中反映的教师的轮廓(例如，相对于背景的差异)，运动模型Ma是移动画面数据。在附图的右上侧，显示从输入图像提取的用户Ua的轮廓。得分计算单元160重叠这两个轮廓，并随着由这些轮廓占据的重叠区域的比例增加而增加有效得分值。(5-2)第二方法图6B是表示用于计算有效性得分的第二方法的解释示图。在附图的左上侧，显示构成运动模型Mb中所包括的教师的帧的三个特征点位置Pml、Pm2和Pm3，运动模型Mb是帧数据。在附图的右上侧，显示构成从输入图像提取的用户的帧的三个特征点位置P11、P12和P13。特征点位置Pml和Pll可对应于头，特征点位置Pm2和P12可对应于肩，并且特征点位置Pm3和P13可对应于髋关节。得分计算单元160调整例如特征点位置Pm3和P13以重叠，然后计算从位置Pml到位置Pll的位移和从位置Pm2到位置P12的位移之和，随着计算的和减小而增加有效性得分。(5-3)第三方法图6C是表示用于计算有效性得分的第三方法的解释示图。图6C再次显示作为图6B中例示的帧数据的运动模型Mb和从输入图像提取的用户Ua的帧。得分计算单元160从这些帧数据计算教师的髋关节的角度Rm和用户Ua的髋关节的角度Ru，由此计算角度差Ru-Rm。然后，得分计算单元160随着计算的角度差减小而增加有效性得分值。上述第一至第三方法可应用于与每个区段对应的所有帧或者一个或多个帧。例如，得分计算单元160可从与每个区段对应的帧中选择一个或多个区别帧(例如，反映运动期间的预定姿势的帧)，并确定从选择的帧计算的得分(得分的总和)作为该区段的有效性得分。(5-4)第四方法图6D是表示用于计算有效性得分的第四方法的解释示图。在图6D的上部，针对用户Ua显示一个运动单位的区段特定所需时间和区段特定最大加速度作为运动识别单元130的运动识别结果，区段特定所需时间和区段特定最大加速度是基于传感器数据的统计值。最大加速度是补充地表示运动的有效性的参数。图6D的下部显示运动模型Mc，运动模型Mc是教师的运动的同种数据。得分计算单元160针对每个区段比较这种运动识别结果与运动模型，并随着识别的运动的值变得接近运动模型的值而增加有效性得分值。在图6D的例子中，区段SEGOl的有效性得分计算为四，区段SEG02和SEG03的有效性得分计算为三，并且区段SEGlO的有效性得分计算为二。得分计算单元160可仅使用上述四种方法中的任何一种方法，或者通过诸如加权加法等的计算组合多种方法。以这种方式，得分计算单元160针对每个区段计算显示运动的有效性的有效性得分，并把计算的有效性得分输出到对象产生单元170。(6)对象产生单元对象产生单元170产生根据识别的运动的有效性而变化的虚拟对象。由对象产生单元170产生的虚拟对象可通常是代表由得分计算单元160计算的有效性得分的大小程度的对象。视为用于产生虚拟对象的基础的有效性得分的大小程度可以是针对每个区段计算的有效性得分的大小程度、如图5中所例示的有效性得分的累加值或者它们的组合。在这个实施例中，由对象产生单元170产生的虚拟对象是强调运动的目标部位的对象。运动的目标部位能够在腹部运动的情况下对应于例如腹部，并且在下蹲运动的情况下对应于股骨部位。运动的目标部位可结合运动的类型预先定义，或者动态地确定，诸如由来自红外温度传感器的传感器数据指示的具有高温的部位。虚拟对象可按照各种方法强调运动的目标部位。例如，有效性得分的大小程度可由模仿位于目标部位周围的火焰或光的虚拟对象的颜色、数量或尺寸来表示。此外，可根据有效性得分的大小程度夸张地表达目标部位的外观的变化。稍后将更详细地描述能够由对象产生单元170产生的虚拟对象的一些例子。(7)显示控制单元显示控制单元180把由对象产生单元170产生的虚拟对象叠加在来自输入图像获取单元120的输入图像上，由此把虚拟对象呈现给用户。显示控制单元180可把强调目标部位的虚拟对象叠加在输入图像中的显示目标部位的位置上。此时，通过把虚拟对象设置为半透明，显示控制单元180可使用户能够看见并检查运动者和虚拟对象的图像。另一方面，显示控制单元180可把虚拟对象叠加在输入图像中的运动者周围。此外，显示控制单元180可把代表选择的运动模型的虚拟对象叠加在输入图像上。以下将参照图7A至图7C描述由显示控制单元180显示的虚拟对象的三个例子。(7-1)第一例子图7A是表示在这个实施例中显示的虚拟对象的第一例子的解释示图。在图7A中，输出图像Iml显示为能够由显示单元110显示的例子，并且输出图像Iml显示正在执行腹部运动的用户Ua0此外，在输出图像Iml中，虚拟对象Al叠加在用户Ua的腹部上，用户Ua的腹部是腹部运动的目标部位。虚拟对象Al是强调运动的目标部位并且还使用它的颜色代表由得分计算单元160计算的有效性得分的大小程度的对象。在图7A的例子中，虚拟对象Al的中心部分的颜色设置为代表高有效性得分。通过观看虚拟对象Al，用户Ua能够直观而清楚地知道他的/她的运动对哪个目标部位产生多大效果。另外，代表运动模型Ma的虚拟对象也叠加在输出图像Iml上。(7-2)第二例子图7B是表示在这个实施例中显示的虚拟对象的第二例子的解释示图。在图7B中，输出图像Im2显示为能够由显示单元110显示的例子，并且输出图像Im2显示正在执行腹部运动的用户Ua。此外，在输出图像Im2中，虚拟对象A2叠加在用户Ua的腹部上，用户Ua的腹部是腹部运动的目标部位。虚拟对象A2是强调运动的目标部位并且还根据有效性得分的大小程度夸张地表示目标部位的外观的变化的对象。在图7B的例子中，根据有效性得分的大小程度夸大用户Ua的腰围的减小。通过观看虚拟对象A2，用户Ua能够直观且清楚地知道他的/她的运动对哪个目标部位产生多大效果。此外，通过观看变得接近目标的他的/她的图像，用户Ua运动的动力能够增强。(7-3)第三例子图7C是表示在这个实施例中显示的虚拟对象的第三例子的解释示图。在图7C中，输出图像Im3显示为能够由显示单元110显示的例子，并且输出图像Im3显示正在执行腹部运动的用户Ua。此外，代表用户Ua的虚拟对象A3紧挨着用户Ua叠加在输出图像Im3上。图7A中例示的虚拟对象Al还叠加在虚拟对象A3的腹部上。在图7C的例子中，用户Ua的图像未被虚拟对象遮掩，因此用户Ua能够清楚地看见并检查他的/她的运动，并且还同时知道运动的效果。[2-3.处理的流程]图8是显示根据这个实施例的图像处理装置100的图像处理的流程的例子的流程图。参照图8，在大约开始运动时，得分计算单元160获取存储在运动模型DB140中的任何运动模型(步骤S100)。对于一系列输入图像中的每个图像重复下面的步骤SllO至S190的处理。首先，输入图像获取单元120获取由成像单元102产生的捕捉图像作为输入图像(步骤 SI 10)。接下来，运动识别单元130识别来自输入图像获取单元120的输入图像中反映的人的运动(步骤S120)。运动识别单元130确定输入图像所属于的时间轴上的区段(步骤S130)。例如，当识别出新的姿势单位开始时，运动识别单元130能够确定输入图像属于新的区段。同时，当识别出姿势从前一输入图像继续进行时，运动识别单元130能够确定输入图像属于与前一输入图像相同的区段。接下来，得分计算单元160确定是否针对输入图像计算有效性得分(步骤S140)。例如，当仅针对反映预定姿态的帧计算有效性得分并且在输入图像中未反映所述预定姿态时，能够跳过针对输入图像的有效性得分的计算。当在步骤S140中确定计算有效性得分时，得分计算单元160比较由运动识别单元130识别的运动与运动模型，并在它们之间的差异的基础上计算有效性得分(步骤S150)。接下来，对象产生单元170产生代表由得分计算单元160计算的有效性得分的大小程度的虚拟对象(步骤S160)。这里，产生的虚拟对象可以是诸如图7A至图7C中例示的虚拟对象Al至A3。此外，对象产生单元170根据设置确定是否需要显示运动模型(步骤S170)，并且在需要显示运动模型时还产生代表运动模型的虚拟对象(步骤S180)。显示控制单元180把由对象产生单元170产生的虚拟对象叠加在输入图像上，并使显示单元Iio显示虚拟对象(步骤S190)。[2-4.第一实施例的总结]到目前为止，已描述根据本发明的技术的第一实施例。在这个实施例中，产生根据输入图像中反映的人的运动的有效性而变化的虚拟对象，并且产生的虚拟对象被叠加在输入图像上。因此，可以以可见的形式把关于运动的有效性的反馈呈现给用户。此外，在这个实施例中，运动的有效性被定量地计算为有效性得分。在运动和被运动者视为目标的运动模型之间的差异的基础上，能够计算有效性得分。因此，有效性得分的大小程度根据目标的实现的程度而变化，并且用户实现目标的动力能够增强。 此外，在这个实施例中，叠加在输入图像上的虚拟对象是强调运动的目标部位的对象。由于通过根据有效性得分的大小程度的方法强调运动的目标部位，所以用户能够直观且清楚地知道运动对哪个目标部位产生多大效果。另外，运动者和观看来自图像处理装置100的输出图像的用户不必是同一人。例如，通过执行由图像处理装置100提供的结构的实际应用，如同在视频聊天中一样在多个用户之间交换图像以互相检查运动的效果，并且激发用户之间的竞争精神，从而能够进一步提闻运动的效果。〈3.第二实施例〉在这个章节中描述的第二实施例中，产生适合运动者的情况的运动模型。根据这个实施例的图像处理装置200处理例如用于康复的运动。然而，这个实施例不限于这个例子，并且也能够应用于其它类型的运动。[3-1.功能结构]图像处理装置200的硬件结构可等同于图2中例示的图像处理装置100的硬件结构。图9是显示在图像处理装置200中实现的逻辑功能的结构的例子的方框图。参照图9，图像处理装置200包括:输入图像获取单元120、用户接口单元225、运动识别单元130、运动模型DB140、用户DB250、模型产生单元255、得分计算单元160、对象产生单元270和显示控制单元180。(I)用户接口单元用户接口单元225为用户提供用户接口，该用户接口接收用于产生运动模型的目标数据的输入，稍后将对此进行描述。目标数据能够包括例如视为运动的目标的参数值和必须实现目标的日期。视为运动的目标的参数的类型可以是任何类型，例如用于关节弯曲和伸直运动的弯曲角度、用于步行运动的步行速度等。用于康复运动的目标数据可由运动的病人或医生或管理运动的教练输入。⑵用户DB用户DB250是积累为每个个体用户准备的各种数据的DB。用户DB250存储已结合第一实施例描述的属性数据152。另外，在这个实施例中，用户DB250存储运动历史数据254，在运动历史数据254中保持每个运动者的运动的目标和实际成绩。运动的目标由通过用户接口单元225获取的目标数据给出。作为运动识别单元130和得分计算单元160的运动识别的结果输入并积累运动的实际成绩。运动历史数据254用于由模型产生单元255产生运动模型。(3)模型产生单元模型产生单元255产生用于在运动者的运动情况的基础上计算有效性得分的运动模型。在这个实施例中，运动情况由被用户DB250存储的运动历史数据254代表。图10是表示由模型产生单元255执行的模型产生处理的例子的解释示图。在图10中的左侧，显示运动历史数据254作为例子。运动历史数据254具有五个数据种类，称为“人员ID”、“记录类型”、“日期”、“参数”和“次数”。“人员ID”是用于唯一地标识运动者的标识符。“记录类型”是表示称为“目标”或“实际成绩”的任何值的分类值。“日期”表示提出由对应记录表示的目标的日期或达到由对应记录表示的实际成绩的日期。“参数”表示作为目标输入的参数值或实现的参数值。“次数”表示作为目标输入的运动的次数或实现运动的次数。使用像这样的运动历史数据254，模型产生单元255在运动者的运动的目标和实际成绩的基础上产生在图10中的右侧例示的运动模型242。在图10的例子中，运动模型242表示人员ID为“UA”的人必须在“2011年11月I日”执行运动“50”次并具有参数值“P24”的目标。可通过以前实际成绩值和未来目标值之间的内插计算目标参数值。此外，可通过计算并使用类似的人(例如，具有有着类似症状的疾病的另一康复病人)的一般统计数据计算目标参数值。像在第一实施例中一样，图像处理装置200的运动识别单元130识别来自输入图像获取单元120的输入图像中反映的人的运动。然后，得分计算单元160在由模型产生单元255产生的运动模型和识别的运动之间的差异的基础上针对由运动识别单元130确定的每个区段计算有效性得分。(4)对象产生单元对象产生单元270产生代表由得分计算单元160计算的有效性得分的大小程度的虚拟对象。在这个实施例中，由对象产生单元270产生的虚拟对象可以是例如根据得分的大小程度夸张地表示目标部位的移动的对象。图11是显示在这个施例中在运动开始时显示的图像的例子的解释示图。参照图11，在输出图像Im4中反映执行肘关节的康复运动的用户Ua的右臂。特征点位置P21是右臂的手掌将会最终到达的目标位置。特征点位置P23是右臂的手掌已在以前康复运动中到达的位置。特征点位置P24是右臂的手掌将会在这次的康复运动中到达的目标位置。另夕卜，输出图像Im4不仅可以在运动开始时显示，还可以在运动期间(例如，当运动暂停时)显不O图12是表示在这个实施例中显示的虚拟对象的例子的解释示图。在图12中，输出图像Im5显示为能够由图像处理装置200的显示单元110显示的例子，并且输出图像Im5显示正在执行肘部的康复运动的用户Ua的右臂。虚拟对象A4叠加在输出图像Im5上。通过处理作为运动的目标部位的右臂的图像产生虚拟对象A4，并且虚拟对象A4根据得分的大小程度夸张地表示目标部位的移动。换句话说，在图12的例子中，手掌的实际到达位置P25不同于虚拟对象A4的手掌的到达位置P26。到达位置P26被确定为随着有效性得分增加而接近目标位置P21。像这样的虚拟对象A4被显示给康复病人，并且病人由此变为知道在从症状恢复之后他的/她的图像，从而康复运动的动力能够增强。[3-2.处理的流程]图13是显示根据这个实施例的图像处理装置200的图像处理的流程的例子的流程图。参照图13，在大约开始运动时，模型产生单元255在运动者的运动的目标和实际成绩的基础上产生运动模型(步骤S200)。对于一系列输入图像中的每个图像重复下面的步骤S210至S290的处理。首先，输入图像获取单元120获取由成像单元102产生的捕捉图像作为输入图像(步骤 S210)。接下来，运动识别单元130识别来自输入图像获取单元120的输入图像中反映的人的运动(步骤S220)。然后，运动识别单元130确定输入图像所属于的时间轴上的区段(步骤 S230)。接下来，得分计算单元160确定是否针对输入图像计算有效性得分(步骤S240)。当在步骤S240中确定计算有效性得分时，得分计算单元160比较输入图像中反映的人的运动与由模型产生单元255产生的运动模型，并在它们之间的差异的基础上计算有效性得分(步骤 S250)。接下来，对象产生单元270产生根据由得分计算单元160计算的有效性得分的大小程度夸大目标部位的移动的虚拟对象(步骤S260)。此外，对象产生单元270根据设置确定是否需要显示运动模型(步骤S270)，并且在需要显示运动模型时还产生代表运动模型的虚拟对象(步骤S280)。显示控制单元180把由对象产生单元270产生的虚拟对象叠加在输入图像上，并使显示单元Iio显示虚拟对象(步骤S290)。[3-3.第二实施例的总结]到目前为止，已描述根据本发明的技术的第二实施例。在这个实施例中，计算代表输入图像中反映的人的运动的有效性的有效性得分，并且代表计算的有效性得分的大小程度的虚拟对象叠加在输入图像上。因此，可以以可见的形式把关于运动的有效性的反馈呈现给用户。此外，由于在视为目标的运动模型和运动之间的差异的基础上计算有效性得分，所以用户的实现目标的动机能够增强。 此外，在这个实施例中，在运动的目标和实际成绩的基础上产生适合运动者的运动模型。因此，当每个个人需要运动管理时，计算更加适合运动情况的有效性得分，并且能够有效地支持每个运动。此外，在这个实施例中，根据有效性得分的大小程度由虚拟对象夸张地表示运动的目标部位的移动。换句话说，当日常运动(诸如，康复运动等)的结果显示为几乎不像实际移动时，结果被以强调的形式呈现给用户。因此，用户的运动的动力能够进一步增强。〈4.第三实施例〉在这个章节中描述的第三实施例中，运动者的外观的预期变化被呈现给用户。根据这个实施例的图像处理装置300处理例如用于训练的运动。然而，这个实施例不限于这个例子，并且也能够应用于其它类型的运动。[4-1.功能结构]图像处理装置300的硬件结构可等同于图2中例示的图像处理装置100的硬件结构。图14是显示在图像处理装置300中实现的逻辑功能的结构的例子的方框图。参照图14，图像处理装置300包括:输入图像获取单元120、用户接口单元325、运动识别单元130、运动模型DB140、用户DB350、得分计算单元360、对象产生单元370和显示控制单元180。(I)用户接口单元用户接口单元325为用户提供用户接口，该用户接口接收用于从有效性得分到体型得分的转换的生活历史数据的输入，稍后将对此进行描述。生活历史数据能够包括以预定时间段(一天、一周等)输入的例如用户饭量、在用户外出时的运动量、睡眠量等。可通过图像处理装置300的输入单元106输入这些数据，或者这些数据输入到如图1B中所例示的终端装置10并通过通信单元112被接收。⑵用户DB用户DB350是积累为每个个体用户准备的各种数据的DB。用户DB350存储已结合第一实施例描述的属性数据152。另外，在这个实施例中，用户DB350存储通过用户接口单元325获取的前述生活历史数据356。参照图15，生活历史数据356显示为存储在用户DB350中的例子。生活历史数据356具有五个数据种类，称为“人员ID”、“日期”、“饭量”、“运动量”和“睡眠量”。“人员ID”是用于唯一地标识运动者的标识符。“日期”表示与由对应记录表示的生活历史相关的日期。“饭量”表示在对应时间段中由人员ID标识的人吃饭的量。“运动量”表示在对应时间段中在人在外出时他/她已执行的运动的量等。“睡眠量”表示在对应时间段中人已经睡眠的时间的量。(3)得分计算单元得分计算单元360计算代表由运动识别单元130识别的运动的有效性的得分，像根据第一实施例的得分计算单元160 —样。更具体地讲，当运动被运动识别单元130识别时，得分计算单元360根据参照图6A至图6D描述的任何方法(或另一方法)在识别的运动和运动模型之间的差异的基础上计算有效性得分。另外，在这个实施例中，得分计算单元360从用户DB350获取运动者的生活历史数据356，并使用获取的数据把有效性得分转换成体型得分。这里，作为例子，体型得分越大，人越重。根据至少以下的基准Cl计算体型得分。此外，基准C2至基准C4中的一种或多种可与基准Cl组合。-基准Cl:有效性得分越大，体型得分越小-基准C2:在预定时间段中的饭量越大，体型得分越大-基准C3:在预定时间段中的运动量越大，体型得分越小-基准C4:在预定时间段中的睡眠量越大，体型得分越大得分计算单元360以这种方法针对每个区段计算体型得分，并把计算的体型得分输出到对象产生单元370。(4)对象产生单元对象产生单元370产生代表有效性得分的大小程度的虚拟对象。在这个实施例中，对象产生单元370实际上根据从有效性得分转换的体型得分的值产生将要叠加在输入图像上的虚拟对象。由对象产生单元370产生的虚拟对象可以是代表针对当前执行的运动被持续地执行的情况下的目标部位的未来外观的对象。图16是显示在第三施例中在运动开始时显示的图像的例子的解释示图。图16显示用于使用户选择根据运动时间的长度分类的课程和未来时间点的用户界面的图像Im6。在运动开始时，用户选择课程和未来时间点。这里，当对象产生单元370估计目标部位的未来外观时，由用户选择的未来时间点变为时间基准。图17是表示由对象产生单元370执行的目标产生处理的例子的解释示图。在图17的左上侧，显示作为运动者的用户Ua的轮廓。这里，运动的目标部位是躯干。根据与由用户选择的课程对应的运动时间的长度、到未来时间点为止过去的时间的长度和由得分计算单元360在运动期间计算的体型得分，对象产生单元370估计在选择的未来时间点的目标部位的外观。例如，针对一天一次持续地执行相同课程的运动直至未来时间点为止的情况，能够估计目标部位的外观。这里，重要的是，以可见的形式改变估计的体型，并且估计的准确性不重要。因此，估计可以不是精确的。图17中显示的虚拟对象A51是代表用户Ua的稍微变细的躯干的对象，并且当选择“ 10分钟课程”和“在一个月之后”时能够产生该虚拟对象A51。虚拟对象A52是代表用户Ua的进一步变细的躯干的对象，并且当选择“30分钟课程”和“在六个月之后”时能够产生虚拟对象A52。此外，针对不执行运动的情况，对象产生单元370可产生代表目标部位的未来外观的对象。图17中显示的虚拟对象A59是代表当假设不执行运动时的用户Ua的肥胖的躯干的对象。图18是表示在这个实施例中显示的虚拟对象的例子的解释示图。在图18中，输出图像Im7显示为能够由图像处理装置300的显示单元110显示的例子，并且输出图像Im7显示正在执行塑形运动的用户Ua。在塑形运动开始时，已选择“10分钟课程”和“在一个月之后”。在输出图像Im7中，图17中例示的虚拟对象A51叠加在用户Ua的躯干上。此外，虚拟对象A61叠加在用户Ua的头部。各虚拟对象A51和A61代表用户Ua的在选择的未来时间点稍微变细的目标部位。虽然在图中未示出，但代表当假设不执行运动时估计的外观的虚拟对象(图17中例示的虚拟对象A59等)可另外叠加在用户Ua附近。这些虚拟对象被显示给用户，并且用户由此变为知道运动的预期结果，从而能够激发用户继续执行塑形运动。[4-2.处理的流程]图19是显示根据这个实施例的图像处理装置300的图像处理的流程的例子的流程图。参照图19，在大约开始运动时，得分计算单元360获取用户DB350中积累的生活历史数据356 (步骤S300)。此外，得分计算单元360获取由运动模型DB140存储的任何运动模型(步骤S304)。对象产生单元370标识已由用户通过用户接口单元325选择的运动课程和未来时间点(步骤S308)。对于一系列输入图像中的每个图像重复下面的步骤S310至S390的处理。首先，输入图像获取单元120获取由成像单元102产生的捕捉图像作为输入图像(步骤 S310)。接下来，运动识别单元130识别来自输入图像获取单元120的输入图像中反映的人的运动(步骤S320)。然后，运动识别单元130确定输入图像所属于的时间轴上的区段(步骤 S330)。接下来，得分计算单元360确定是否针对输入图像计算得分(步骤S340)。当在步骤S340中确定计算得分时，得分计算单元360比较输入图像中反映的人的运动与运动模型，并在它们之间的差异的基础上计算有效性得分(步骤S350)。此外，得分计算单元360使用生活历史数据356把有效性得分转换成体型得分(步骤S355)。接下来，对象产生单元370根据从得分计算单元360输入的体型得分以及由用户选择的课程和未来时间点产生代表目标部位的未来外观的虚拟对象(步骤S360)。此外，对象产生单元370根据设置确定是否需要显示运动模型(步骤S370)，并且在需要显示运动模型时还产生代表运动模型的虚拟对象(步骤S380)。显示控制单元180把由对象产生单元370产生的虚拟对象叠加在输入图像上，并使显示单元110显示虚拟对象(步骤S390)。[4-3.第三实施例的总结]到目前为止，已描述根据本发明的技术的第三实施例。在这个实施例中，表示输入图像中反映的人的运动的有效性的有效性得分被转换成体型得分，并且代表体型得分的大小程度的虚拟对象叠加在输入图像上。因此，可以以称为用户的虚拟体型的可见的形式把关于运动的有效性的反馈呈现给用户。此外，在这个实施例中，叠加在输入图像上的虚拟对象根据体型得分的大小程度夸张地表示运动的目标部位的外观的变化。此外，针对持续地执行运动的情况估计的目标部位的未来外观被呈现给用户。因此，用户能够清楚地知道未来预期的运动的结果，并且能够被激发以继续执行运动。到目前为止，已详细描述根据本发明的三个实施例。这些实施例的各种特性可按照任何形式组合。例如，在第一实施例和第三实施例的应用中，可在运动的目标和实际成绩的基础上产生适合运动者的运动模型。此外，例如在第一实施例和第二实施例的应用中，通过计算并使用生活历史数据可计算有效性得分。另外，根据各种运动情况，有效性得分可以以某种方式被修改或转换成另一类型的得分。可使用软件、硬件以及软件和硬件的组合中的任何一种实现由本说明书中描述的各装置执行的一系列控制处理。构成该软件的程序被提前包含在例如安装在每个装置中或在每个装置外面的存储介质中。在执行时，每个程序由例如随机存取存储器(RAM)读取并由处理器(诸如，中央处理单元(CPU)等)执行。此外，每个装置的一些逻辑功能可安装在存在于云计算环境中的装置上而非安装在对应装置上。在这种情况下，能够通过图2中例示的通信单元112在装置之间发送或接收在逻辑功能之间交换的信息。本领域技术人员应该理解，在不脱离所附权利要求或其等同物的范围的情况下，可以根据设计的需要和其它因素做出各种变型、组合、子组合和替换。另外，本技术也可如下构造。(I) 一种图像处理装置，包括:识别单元，识别输入图像中反映的人的运动；和显示控制单元，在输入图像上叠加虚拟对象，所述虚拟对象根据由识别单元识别的运动的有效性而变化。(2)如(I)所述的图像处理装置，还包括:得分计算单元，计算表示由识别单元识别的运动的有效性的得分，其中显示控制单元在输入图像上叠加代表由得分计算单元计算的得分的大小的虚拟对象。(3)如⑵所述的图像处理装置，其中所述得分计算单元基于视为目标的运动模型和运动之间的差异计算得分。(4)如(3)所述的图像处理装置，其中所述运动模型是通过预先对作为教师的人的运动建模获得的数据。(5)如(3)所述的图像处理装置，还包括:模型产生单元，在人的运动的目标和实际成绩的基础上产生运动模型。(6)如(2)至(5)中任何一项所述的图像处理装置，其中所述虚拟对象是强调运动的目标部位的对象。(7)如(6)所述的图像处理装置，其中所述虚拟对象根据得分的大小夸张地表示目标部位的外观的变化。(8)如(7)所述的图像处理装置，其中所述虚拟对象代表针对持续地执行运动的情况下的目标部位的未来外观。(9)如(6)所述的图像处理装置，其中所述虚拟对象根据得分的大小夸张地表示目标部位的移动。
(10)如(6)至(9)中任何一项所述的图像处理装置，其中所述显示控制单元把虚拟对象叠加在输入图像中的反映目标部位的位置上。(11)如⑵至(9)中任何一项所述的图像处理装置，其中所述显示控制单元把虚拟对象叠加在输入图像中的人附近。(12)如⑵至(11)中任何一项所述的图像处理装置，其中所述得分计算单元通过另外使用补充地表示运动的有效性的传感器数据来计算得分。(13)如⑵至(11)中任何一项所述的图像处理装置，其中所述得分计算单元通过另外使用代表人的生活历史的生活历史数据来计算得分。(14)如⑵至(13)中任何一项所述的图像处理装置，其中由存在于云计算环境中的装置来替代所述图像处理装置实现识别单元、得分计算单元和显示控制单元中的至少一个。(15) —种图像处理方法，包括:识别输入图像中反映的人的运动；以及在输入图像上叠加虚拟对象，所述虚拟对象根据识别的运动的有效性而变化。(16) 一种程序，用于使控制图像处理装置的计算机用作:识别单元，识别输入图像中反映的人的运动；和显示控制单元，在输入图像上叠加虚拟对象，所述虚拟对象根据由识别单元识别的运动的有效性而变化。本发明包含与2011年11月15日提交给日本专利局的日本优先权专利申请JP2011-249751中公开的主题相关的主题，该专利申请的全部内容通过引用包含于此。
权利要求
1.一种图像处理装置，包括: 识别单元，识别输入图像中反映的人的运动；和 显示控制单元，在输入图像上叠加虚拟对象，所述虚拟对象根据由识别单元识别的运动的有效性而变化。
2.如权利要求1所述的图像处理装置，还包括: 得分计算单元，计算表示由识别单元识别的运动的有效性的得分， 其中显示控制单元在输入图像上叠加代表由得分计算单元计算的得分的大小的虚拟对象。
3.如权利要求2所述的图像处理装置，其中 所述得分计算单元基于视为目标的运动模型和运动之间的差异计算得分。
4.如权利要求3所述的图像处理装置，其中 所述运动模型是通过预先对作为教师的人的运动建模获得的数据。
5.如权利要求3所述的图像处理装置，还包括: 模型产生单元，在人的运动的目标和实际成绩的基础上产生运动模型。
6.如权利要求2所述的图像处理装置， 其中所述虚拟对象是强调运动的目标部位的对象。
7.如权利要求6所述的图像处理装置， 其中所述虚拟对象根据得分的大小夸张地表示目标部位的外观的变化。
8.如权利要求7所述的图像处理装置， 其中所述虚拟对象代表针对持续地执行运动的情况下的目标部位的未来外观。
9.如权利要求6所述的图像处理装置， 其中所述虚拟对象根据得分的大小夸张地表示目标部位的移动。
10.如权利要求6所述的图像处理装置， 其中所述显示控制单元把虚拟对象叠加在输入图像中的反映目标部位的位置上。
11.如权利要求2所述的图像处理装置， 其中所述显示控制单元把虚拟对象叠加在输入图像中的人附近。
12.如权利要求2所述的图像处理装置， 其中所述得分计算单元通过另外使用补充地表示运动的有效性的传感器数据来计算得分。
13.如权利要求2所述的图像处理装置， 其中所述得分计算单元通过另外使用代表人的生活历史的生活历史数据来计算得分。
14.如权利要求2所述的图像处理装置， 其中由存在于云计算环境中的装置来替代所述图像处理装置实现识别单元、得分计算单元和显示控制单元中的至少一个。
15.—种图像处理方法,包括: 识别输入图像中反映的人的运动；以及 在输入图像上叠加虚拟对象，所述虚拟对象根据识别的运动的有效性而变化。
16.一种程序，用于使控制图像处理装置的计算机用作: 识别单元，识别输入图像中反映的人的运动；和显示控制单元，在输入图像上叠加虚拟对象，所述虚拟对象根据由识别单元识别的运动的有效性而变化 。
全文摘要
提供了一种图像处理装置，包括识别单元，识别输入图像中反映的人的运动；和显示控制单元，在输入图像上叠加虚拟对象，所述虚拟对象根据由识别单元识别的运动的有效性而变化。图像处理装置还包括得分计算单元，计算表示由识别单元识别的运动的有效性的得分，并且显示控制单元在输入图像上叠加代表由得分计算单元计算的得分的大小的虚拟对象。
文档编号A63B69/00GK103100193SQ20121044240
公开日2013年5月15日 申请日期2012年11月8日 优先权日2011年11月15日
发明者下村秀树, 芦原隆之, 胁田能宏, 小林诚司 申请人:索尼公司