动作处理装置及动作处理方法
【技术领域】
[0001]本发明涉及动作处理装置及动作处理方法。
【背景技术】
[0002]近年来，提出了将影像投影到成形为人形的投影屏幕的所谓“虚拟人模”(例如参照专利文献1)。虚拟人模能够得到仿佛真的有人站在那里一样的具有存在感的投影像，在展示会等能够进行崭新且有效的展示演出。
[0003]为了使这样的虚拟人模的脸部表情更加丰富，已知使构成照片或插图或漫画等图像中的脸部的主要部分(例如眼睛、嘴等)变形来表现动作的技术。具体地说，有使3维形状模型变形而生成动画以进行有意识的动作和无意识的动作的方法(例如参照专利文献2)、以及按照发出的语音的每个母音或子音使嘴的形状变化而对口型的方法(例如参照专利文献3)等。
[0004]专利文献1:特开2011-150221号公报
[0005]专利文献2:特开2003-123094号公报
[0006]专利文献3:特开2003-58908号公报
[0007]然而，如果逐一通过手动作业来指定主要部分的动作形态，例如使作为处理对象的脸部的主要部分以何种程度变形等，其作业量增大，所以并不现实。
[0008]另一方面，例如还可以想到根据脸部区域的大小和主要部分相对于脸部区域的大小来决定该主要部分的变形量等的动作形态的方法，但是如果使主要部分一样地变形，会导致不自然的变形，存在给视听者带来不协调感的问题。
【发明内容】
[0009]本发明是鉴于这样的问题而做出的，本发明的课题在于，更自然地进行脸部的主要部分的动作。
[0010]本发明的一方式涉及动作处理装置，具备:取得部，取得包含脸部的图像；检测部，从由所述取得部取得的包含脸部的图像，检测与脸部相关联的特征；确定部，基于所述检测部的检测结果，确定具有所述图像中包含的脸部的物体的特征；以及设定部，基于由所述确定部确定的所述物体的特征，设定使构成所述图像中包含的脸部的主要部分动作时的控制条件。
[0011]本发明的另一方式涉及动作处理方法，使用动作处理装置，其特征在于，包括:取得包含脸部的图像的处理；从所取得的包含脸部的图像，检测与脸部相关联的特征的处理；基于与脸部相关联的特征的检测结果，确定具有图像中包含的脸部的物体的特征的处理；以及基于所确定的所述物体的特征，设定使构成所述图像中包含的脸部的主要部分动作时的控制条件的处理。
[0012]根据本发明，能够更自然地进行脸部的主要部分的动作。
【附图说明】
[0013]图1是表示应用了本发明的一个实施方式的动作处理装置的概略构成的框图。
[0014]图2是表示由图1的动作处理装置进行的脸部动作处理的动作的一例的流程图。
[0015]图3是表示图2的脸部动作处理中的主要部分控制条件设定处理的动作的一例的流程图。
[0016]图4A是用于说明图3的主要部分控制条件设定处理的图。
[0017]图4B是用于说明图3的主要部分控制条件设定处理的图。
[0018]符号的说明:
[0019]100动作处理装置；1中央控制部；5动作处理部；5a图像取得部；5c脸部特征检测部；5d物体特征确定部；5e动作条件设定部；5g动作控制部
【具体实施方式】
[0020]以下，使用【附图说明】本发明的具体方式。但是，发明的范围不限于图示例。
[0021]图1是表示应用了本发明的一个实施方式的动作处理装置100的概略构成的框图。
[0022]动作处理装置100例如由个人计算机或工作站等计算机等构成，如图1所示，具备中央控制部1、存储器2、存储部3、操作输入部4、动作处理部5、显示部6、显示控制部7。
[0023]此外，中央控制部1、存储器2、存储部3、动作处理部5及显示控制部7经由总线8连接。
[0024]中央控制部1对动作处理装置100的各部分进行控制。
[0025]具体地说，中央控制部1具备对动作处理装置100的各部分进行控制的CPU (Central Processing Unit ;省略图不)、RAM (Random Access Memory)、ROM (Read OnlyMemory)，按照动作处理装置100用的各种处理程序(省略图示)进行各种控制动作。
[0026]存储器2例如由DRAM (Dynamic Random Access Memory)等构成，除了由中央控制部1处理的数据之外，还暂时存储由该动作处理装置100的各部分处理的数据等。
[0027]存储部3例如由非易失性存储器(闪存器)、硬盘驱动器等构成，存储中央控制部1的动作所需的各种程序和数据(省略图示)。
[0028]此外，存储部3存储脸部图像数据3a。
[0029]脸部图像数据3a是包含脸部的二维的脸部图像的数据。此外，脸部图像数据3a只要是至少包含脸部的图像的图像数据即可，例如可以是仅脸部的图像数据，也可以是胸以上部分的图像数据。此外，脸部图像例如可以是照片图像，也可以是通过漫画或插图等描绘的图像。
[0030]另外，脸部图像数据3a的脸部图像只是一例，并不限于此，可以适当地变更。
[0031 ] 此外，存储部3存储基准动作数据3b。
[0032]基准动作数据3b包含表示在表现脸部的各主要部分(例如眼睛、嘴等)的动作时成为基准的动作的信息。具体地说，基准动作数据3b按照各主要部分的每一个来规定，包含表示规定空间内的多个控制点的动作的信息，例如将表示多个控制点在规定空间内的位置坐标(x，y)的信息和变形矢量等沿着时间轴排列。
[0033]S卩，例如对于嘴的基准动作数据3b，设定了与上唇、下唇及左右的嘴角对应的多个控制点，并规定了这些控制点的变形矢量。
[0034]此外，存储部3存储着条件设定用表3c。
[0035]条件设定用表3c是在设定脸部动作处理中的控制条件时使用的表。具体地说，条件设定用表3c按照各主要部分的每一个来规定。此外，条件设定用表3c按照物体的特征(例如笑脸度、年龄、性别、人种等)的每一个来规定，将特征的内容(例如笑脸度等)和动作基准数据的修正程度(例如嘴的开闭动作中的开闭量的修正程度等)建立对应。
[0036]操作输入部4具备键盘及鼠标等操作部(省略图示)，该键盘例如由用于输入数值和文字等的数据输入键盘、用于进行数据的选择和发送操作等的上下左右移动键、以及各种功能键等构成，根据这些操作部的操作，向中央控制部1输出规定的操作信号。
[0037]动作处理部5具备:图像取得部5a、脸部主要部分检测部5b、脸部特征检测部5c、物体特征确定部5d、动作条件设定部5e、动作生成部5f、动作控制部5g。
[0038]另外，动作处理部5的各部分例如由规定的逻辑电路构成，但是该构成只是一例，并不限于此。
[0039]图像取得部5a取得脸部图像数据3a。
[0040]S卩，图像取得部(取得手段)5a取得包含成为脸部动作处理的处理对象的脸部的二维图像的脸部图像数据3a。具体地说，图像取得部5a例如在存储部3所存储的规定数量的脸部图像数据3a中，取得基于用户对操作输入部4的规定操作而指定的用户期望的脸部图像数据3a，作为脸部动作处理的处理对象。
[0041]另外，图像取得部5a可以从经由未图示的通信控制部连接的外部设备(省略图示)取得脸部图像数据，也可以取得通过由未图示的摄像部摄像而生成的脸部图像数据。
[0042]脸部主要部分检测部5b从脸部图像检测构成脸部的主要部分。
[0043]S卩，脸部主要部分检测部5b从由图像取得部5a取得的脸部图像数据的脸部图像，例如通过使用了 AAM(Active Appearance Model (主动外观模型))的处理，检测左右各自的眼睛、鼻子、嘴、眉毛、脸部轮廓等主要部分。
[0044]在此，AAM指的是视觉事物的模型化的一种方法，是进行任意的脸部区域的图像的模型化的处理。例如，脸部主要部分检测部5b将多个样品脸部图像中的规定的特征部位(例如眼尾角、鼻头、脸部轮廓线等)的位置和像素值(例如亮度值)的统计分析结果预先登录到规定的登录单元。然后，脸部主要部分检测部5b以上述的特征部位的位置为基准，设定表示脸部形状的形状模型或表示平均形状中的“外观(Appearance) ”的结构模型，并使用这些模型将脸部图像模型化。由此，在脸部图像内，例如眼睛、鼻子、嘴、眉毛、脸部轮廓等主要部分被模型化。
[0045]另外，主要部分的检测中使用了 AAM来进行，但这只是一例，并不限于此，也可以适当变更为例如边缘提取处理、各