判定程序、判定装置以及判定方法与流程

1.本发明涉及判定技术。


背景技术：

2.在非语言沟通中，表情起着重要的作用。在开发理解人并辅助人的计算机方面，表情估计是必需的技术。为了估计表情，首先必须规定表情的描述方法。作为表情的描述方法，已知有au(action unit：动作单元)。au是基于面部肌肉的解剖学知识定义的、与表情表露相关的面部上的动作，迄今为止也提出了估计au的技术。
3.估计au的au估计引擎的代表性的方式以基于大量的训练数据的机器学习为基础，使用面部表情的图像数据和各au的occurrence(有无产生)、intensity(产生强度)作为训练数据。另外，训练数据的occurrence、intensity由被称为coder(编码员)的专家annotation(注释)。
4.专利文献1：日本特开2011－237970号公报
5.非专利文献1：x.zhang,l.yin,j.cohn,s.canavan,m.reale,a.horowitz,p.liu,and j.m.girard.bp4d-spontaneous:a high-resolution spontaneous 3d dynamic facial expression database.image and vision computing,32,2014.1
6.然而，在以往的方法中，存在有时难以生成用于au估计的训练数据的问题。例如，在通过编码员进行注释时，由于花费费用以及时间成本，所以难以大量地创建数据。另外，在通过面部图像的图像处理进行面部的各部位的移动测量中，难以正确地捕捉较小的变化，计算机很难不经过人的判断根据面部图像来进行au的判定。因此，计算机不经过人的判断而生成对面部图像附加了au的标签的训练数据很困难。


技术实现要素：

7.在一个方面，目的在于生成用于au估计的训练数据。
8.在一个方式中，判定程序使计算机执行获取包含附加了标记的面部的拍摄图像组的处理。判定程序使计算机执行基于拍摄图像所包含的标记的位置来计算第一矢量的处理。判定程序使计算机执行将第一矢量分割为第二矢量和第三矢量的处理，其中，第二矢量和与标记建立有对应关系的第一动作单元的判定方向相对应，第三矢量和与标记建立有对应关系的第二动作单元的判定方向相对应。判定程序使计算机执行基于第二矢量和第三矢量，来判定第一动作单元的第一产生强度和第二动作单元的第二产生强度的处理。
9.在一个方面，能够生成用于au估计的训练数据。
附图说明
10.图1是表示本实施方式所涉及的判定系统的结构例的图。
11.图2是表示本实施方式所涉及的相机的配置例的图。
12.图3是表示本实施方式所涉及的标记移动的一个例子的图。
13.图4是表示本实施方式所涉及的产生强度的判定方法的一个例子的图。
14.图5是表示本实施方式所涉及的产生强度的判定方法的一个例子的图。
15.图6是表示本实施方式所涉及的移动矢量相对于规定矢量的一个例子的图。
16.图7是表示本实施方式所涉及的与一个标记对应的多个au的规定矢量的一个例子的图。
17.图8是表示本实施方式所涉及的与一个标记对应的相反的多个au的规定矢量的一个例子的图。
18.图9是表示本实施方式所涉及的判定装置的结构例的框图。
19.图10是表示本实施方式所涉及的移动矢量的分割方法的一个例子的图。
20.图11是表示本实施方式所涉及的标记位置的形变的一个例子的图。
21.图12是表示本实施方式所涉及的用于去除标记的掩模图像的生成方法的一个例子的图。
22.图13是表示本实施方式所涉及的标记的去除方法的一个例子的图。
23.图14是表示本实施方式所涉及的判定处理的流程的一个例子的流程图。
24.图15是表示本实施方式所涉及的判定装置的硬件结构例的图。
具体实施方式
25.以下，基于附图对本实施方式所涉及的判定程序、判定装置以及判定方法的实施例进行详细说明。此外，本实施方式并不受该实施例限定。另外，各实施例能够在不矛盾的范围内适当地组合。
26.使用图1，对本实施方式所涉及的判定系统的结构进行说明。图1是表示本实施方式所涉及的判定系统的结构的图。如图1所示，判定系统1具有rgb(red green blue)相机31、ir(infrared：红外线)相机32、判定装置10以及机器学习装置20。
27.如图1所示，首先，rgb相机31和ir相机32朝向附加有标记的人的面部。例如，rgb相机31是一般的数字相机，接受可见光并生成图像。另外，例如，ir相机32感知红外线。另外，标记例如是ir反射(回归性反射)标记。ir相机32能够利用基于标记的ir反射来进行运动捕捉。另外，在以下的说明中，将拍摄对象的人称为受检者。
28.判定装置10获取由rgb相机31拍摄的图像、由ir相机32进行的运动捕捉的结果。而且，判定装置10判定au的产生强度121，并将产生强度121和通过图像处理从拍摄图像中删除了标记的图像122输出到机器学习装置20。例如，产生强度121可以是用0～1的六个阶段评价来表现各au的产生强度，如“au1：2，au2：5，au4：0，
…”
这样进行了注释的数据。另外，产生强度121也可以是用意味着未产生的0和a到e的五个阶段评价来表现各au的产生强度，如“au1：b，au2：e，au4：0，
…”
这样进行了注释的数据。并且，产生强度并不限于用五个阶段评价来表现的结构，例如也可以通过两个阶段评价(有无产生)来表现。
29.机器学习装置20使用从判定装置10输出的图像122以及au的产生强度121来进行机器学习，生成用于根据图像计算au的产生强度的估计值的模型。机器学习装置20能够使用au的产生强度作为标签。此外，机器学习装置20的处理也可以由判定装置10来进行。在该情况下，机器学习装置20也可以不包含于判定系统1。
30.在这里，使用图2，对相机的配置进行说明。图2是表示本实施方式所涉及的相机的
配置例的图。如图2所示，多个ir相机32也可以构成标记跟踪系统。在该情况下，标记跟踪系统能够通过立体拍摄来检测ir反射标记的位置。另外，多个ir相机32中的各个ir相机32间的相对位置关系通过相机校准来修正。
31.另外，在被拍摄的受检者的面部，以覆盖作为对象的au(例：au1至au28)的方式附加多个标记。标记的位置根据受检者的表情的变化而变化。例如，标记401配置在眉毛的根部附近。另外，标记402以及标记403配置在法令纹的附近。标记也可以配置在与一个以上的au以及表情肌的运动对应的皮肤上。另外，标记也可以避开因靠近褶皱等而纹理变化增大的皮肤上来配置。
32.并且，受检者佩戴附加了基准标记的器具40。即使受检者的表情变化，附加在器具40上的基准标记的位置也不变化。因此，判定装置10能够根据与基准标记的相对的位置的变化，来检测附加在面部上的标记的位置的变化。另外，判定装置10能够基于与基准标记的位置关系，来确定各标记在平面上或者空间上的坐标。此外，判定装置10可以根据基准坐标系确定标记位置，也可以根据基准面的投影位置确定标记位置。另外，通过使基准标记的数量成为三个以上，判定装置10能够确定三维空间中的标记位置。
33.器具40例如是头带，在面部的轮廓外配置基准标记。另外，器具40也可以是vr头戴式耳机以及坚硬材料的面罩等。在该情况下，判定装置10能够利用器具40的刚性表面作为基准标记。
34.判定装置10基于au的判定基准和多个标记的位置，来判定多个au各自有无产生。判定装置10对多个au中的产生的一个以上的au判定产生强度。
35.例如，判定装置10根据基于与判定基准所包含的第一au建立有对应关系的第一标记的基准位置与第一标记的位置的距离计算出的第一标记的移动量，来判定第一au的产生强度。此外，第一标记能够为与特定的au对应的一个或者多个标记。
36.au的判定基准例如表示多个标记中的为了对每个au判定au的产生强度而使用的一个或者多个标记。au的判定基准也可以包含多个标记的基准位置。au的判定基准也可以对于多个au中的每个au，包含用于产生强度的判定的标记的移动量与产生强度的关系(换算规则)。此外，标记的基准位置也可以根据受检者无表情的状态(未产生任何au)的拍摄图像中的多个标记的各位置来确定。
37.在这里，使用图3对标记的移动进行说明。图3是表示本实施方式所涉及的标记的移动的一个例子的图。图3的(a)、(b)、(c)是由rgb相机31拍摄的图像。另外，图像是按照(a)、(b)、(c)的顺序拍摄的。例如，(a)是受检者无表情时的图像。判定装置10能够将(a)的图像的标记的位置视为移动量为0的基准位置。
38.如图3所示，受检者取如皱眉那样的表情。此时，标记401的位置根据表情的变化向下方移动。此时，标记401的位置与附加在器具40上的基准标记之间的距离增大。
39.另外，标记401的距基准标记的x方向以及y方向的距离的变动值如图4所示。图4是表示本实施方式所涉及的产生强度的判定方法的一个例子的图。如图4所示，判定装置10能够将变动值换算为产生强度。此外，产生强度可以依据facs(facial action coding system：面部动作编码系统)量化为五个阶段，也可以定义为基于变动量的连续量。
40.作为判定装置10将变动量换算成产生强度的规则，考虑各种规则。判定装置10可以根据规定的一个规则进行换算，也可以以多个规则进行换算，采用产生强度最大的规则。
41.例如，判定装置10也可以预先获取受检者使表情最大限度地变化时的变动量亦即最大变动量，基于变动量相对于最大变动量的比例换算产生强度。另外，判定装置10也可以使用通过现有方法由编码员附加了标签的数据来规定最大变动量。另外，判定装置10也可以将变动量线性地换算成产生强度。另外，判定装置10也可以使用根据多个受检者的预先测定创建的近似式来进行换算。
42.另外，例如，判定装置10能够根据第一标记的移动矢量来判定产生强度，其中，该第一标记的移动矢量基于被设定为判定基准的位置和第一标记的位置来计算。在该情况下，判定装置10根据第一标记的移动矢量和与第一au建立有对应关系的规定矢量的一致程度，来判定第一au的产生强度。另外，判定装置10也可以使用现有的au估计引擎，来修正矢量的大小与产生强度的对应。
43.对au的产生强度的判定方法更具体地进行说明。图5是表示本实施方式所涉及的产生强度的判定方法的一个例子的图。例如，与au4对应的规定矢量被规定为(x，y)＝(－2mm，－6mm)。此时，判定装置10计算标记401的移动矢量与规定矢量的内积，并以规定矢量的大小进行标准化。在这里，若内积与au4的规定矢量的大小一致，则判定装置10将au4的产生强度判定为五个阶段中的5。另一方面，若内积为au4的规定矢量的一半，则例如，在为上述的线性的换算规则的情况下，判定装置10将au4的产生强度判定为五个阶段中的3。
44.另外，例如，在图5中，与au11对应的规定矢量的大小被规定为3mm。此时，若标记402与标记403之间的距离的变动量与au11的规定矢量的大小一致，则判定装置10将au11的产生强度判定为五个阶段中的5。另一方面，若距离的变动量为au11的规定矢量的一半，则例如，在为上述的线性的换算规则的情况下，判定装置10将au11的产生强度判定为五个阶段中的3。这样，判定装置10能够根据第一标记的位置和第二标记的位置之间的距离的变化来判定产生强度。
45.然而，存在在各标记的移动矢量中可能发生分散，与规定矢量的判定方向完全不一致的情况。图6是表示本实施方式所涉及的移动矢量相对于规定矢量的一个例子的图。在图6的例子中，示出与标记403建立有对应关系的au4的规定矢量411以及标记403的移动矢量421和422。
46.如图6所示，例如，相对于au4的规定矢量411，在由标记401的移动矢量421、422表示的方向上产生偏差。虽然只是一个例子，但是像这样，标记401的移动矢量可以在分散范围501内分散。
47.然而，即使移动矢量发生分散，通过计算移动矢量与规定矢量的内积，也能够判定与规定矢量对应的au的产生强度。在图6中，内积431是移动矢量421与规定矢量411的内积。如使用图5具体地说明的那样，能够通过内积431判定与规定矢量411对应的au4的产生强度。此外，在图6中，为了方便，将内积431与规定矢量411错开一些来表示，但实际上是重合的。
48.以上，对一个au与一个标记建立有对应关系的例子进行了说明，但也有多个au与一个标记建立有对应关系的情况。换句话说，在以特定部位的运动(单一标记的移动量)来估计表情判定的情况下，存在仅对单一的au有贡献的部位和与多个au相关联的部位。对于与多个au相关联的部位(标记)，由于被用于多个au的产生强度估计，所以多个au与一个标记建立有对应关系。
49.图7是表示本实施方式所涉及的与一个标记对应的多个au的规定矢量的一个例子的图。在图7的例子中，示出与同一标记404建立有对应关系的两个au的规定矢量412以及413。另外，示出标记404的移动矢量423。在移动矢量仅沿着规定矢量412或规定矢量413中的任意一方产生的情况下，产生任意一方au。与此相对，移动矢量423是根据受检者的表情同时产生两个au的情况下的移动矢量。
50.即使在像这样同时产生了两个au的情况下，通过对各au的规定矢量412以及413中的每个规定矢量计算与移动矢量423的内积432以及433，也能够判定各au的产生强度。
51.然而，对于部分部位的运动，存在在au的产生强度判定中表示相反的运动的情况。换句话说，在同时产生的au的规定矢量相反的情况下，在与移动矢量的内积中，存在无法正确地判定au的产生强度的情况。在这里，所谓的规定矢量相反例如是两个规定矢量至少在x轴或者y轴方向具有相反的成分。图8是表示本实施方式所涉及的与一个标记对应的相反的多个au的规定矢量的一个例子的图。在图8的例子中，示出与标记405建立有对应关系的两个au的规定矢量414以及415。另外，示出标记405的移动矢量424。移动矢量424是根据受检者的表情同时产生了两个au的情况下的移动矢量。
52.如图8所示，若对相反的规定矢量414以及415中的每个规定矢量计算与移动矢量424的内积434以及435，则内积435相对于对应的规定矢量415为负。因此，虽然将规定矢量414作为判定方向的au的产生强度例如能够判定为2，但内积为0以下的将规定矢量415作为判定方向的au的产生强度被判定为0，而无法正确地判定。因此，即使与同一标记对应的规定矢量相反，本实施方式所涉及的判定装置10也正确地判定各个au的产生强度。
53.使用图9，对本实施方式所涉及的判定装置10的功能结构进行说明。图9是表示判定装置的结构例的框图。如图9所示，判定装置10具有输入部11、输出部12、存储部13以及控制部14。
54.输入部11是用于输入数据的接口。例如，输入部11经由rgb相机31、ir相机32、鼠标以及键盘等输入装置受理数据的输入。例如，输入由rgb相机31拍摄到的图像以及由ir相机32进行的运动捕捉的结果。另外，输出部12是用于输出数据的接口。例如，输出部12向显示器等输出装置输出数据。例如，输出au的产生强度121和通过图像处理从拍摄图像中删除了标记的图像122。
55.存储部13是存储数据、由控制部14执行的程序等的存储装置的一个例子，例如是硬盘、存储器等。存储部13存储au信息131以及au产生强度估计模型132。
56.au信息131是表示标记与au的对应关系的信息。例如，将各标记的基准位置、与各标记对应的一个或者多个au、各au的规定矢量的方向和大小建立对应关系地储存。
57.au产生强度估计模型132储存将去除了标记的拍摄图像作为特征量，并将包含与一个标记对应的多个au的au的产生强度作为正解标签，通过机器学习生成的模型。
58.控制部14是掌管判定装置10整体的处理部，具有获取部141、计算部142、分割部143、判定部144以及生成部145。
59.获取部141获取包含面部的拍摄图像。例如，获取部141获取包含在与多个au对应的多个基准位置附加了标记的受检者的面部的连续地拍摄的拍摄图像组。由获取部141获取的拍摄图像如上所述通过rgb相机31、ir相机32来拍摄。
60.在这里，在通过rgb相机31和ir相机32进行拍摄时，受检者使表情变化。此时，受检
者可以自由地使表情变化，也可以使表情沿着规定的场景变化。由此，rgb相机31和ir相机32能够将表情沿着时间序列变化的情况拍摄为图像。另外，rgb相机31也能够进行基于视频的拍摄。即，视频能够视为按时间序列排列的多个静止图像。
61.计算部142基于拍摄图像所包含的标记的位置来计算移动矢量。例如，计算部142根据拍摄图像的标记的基准位置，导出根据受检者的表情变化而移动的标记的移动量和移动方向。
62.另外，计算部142也能够对根据面部的皮肤、肌肉产生的标记位置的形变进行修正，并基于修正后的标记位置来计算移动矢量。对于标记位置的形变修正后述。
63.另外，在与标记建立有对应关系的au为一个的情况下，计算部142计算移动矢量和表示与标记建立有对应关系的au的判定方向的规定矢量的内积。
64.在与标记建立有对应关系的au为多个的情况下，分割部143将移动矢量分割成和与标记建立有对应关系的各au的判定方向相对应的多个矢量。图10是表示本实施方式所涉及的移动矢量的分割方法的一个例子的图。移动矢量424与图8中所示的结构相同，是同时产生了将与标记405建立有对应关系的规定矢量414以及415作为判定方向的两个au的情况下的移动矢量。分割部143将移动矢量424分割成与规定矢量414以及415分别对应的分割矢量444以及445。
65.移动矢量的分割能够基于移动矢量是各规定矢量的线性和，使用下式(1)来计算。
66.[式1]
[0067][0068]
在这里，式1中的(x，y)是移动矢量的二维坐标，(xa，ya)以及(xb，yb)是各规定矢量的二维坐标，α以及β是各规定矢量的线性系数。此外，在与标记建立有对应关系的au为三个以上的情况下，将在式(1)中相加的规定矢量的二维坐标增加为(xc，yc)、(xd，yd)、
…
，并将各个线性系数也增加为γ、σ
…
。
[0069]
分割部143能够将式(1)例如转换为下式(2)，来计算线性系数α以及线性系数β。
[0070]
[式2]
[0071][0072]
在图10的例子中，规定矢量414的二维坐标为(0，10)，规定矢量415的二维坐标为(2.4，－9.7)，移动矢量424的二维坐标为(1.5，4.2)。在该情况下，分割部143将各值代入到式(1)和式(2)，能够将(α，β)计算为(1，0.6)。另外，判定部144能够基于(α，β)＝(1，0.6)，将规定矢量414的产生强度判定为5，将规定矢量415的产生强度判定为3。
[0073]
如上所述，判定部144基于各规定矢量来判定分别对应的au的产生强度。另外，判定部144也能够不仅基于产生强度，还基于移动矢量、或者由分割矢量表示的标记的移动量是否超过规定阈值，来判定有无au的产生。
[0074]
以上，对从计算移动矢量到判定au的产生强度进行了说明，但为了更高精度地进行判定，也可以对根据面部的皮肤、肌肉产生的标记位置的形变进行修正。图11是表示本实施方式所涉及的标记位置的形变的一个例子的图。
[0075]
在图11中，标记406－1是受检者无表情时的标记406的位置。如图11的左侧所示，
标记406例如能够以标记406－1到标记406－2为最远位置在四边状的范围内移动。然而，实际上，标记406由于面部的皮肤、肌肉而受到移动的限制，例如，只能在如图11的右侧所示的扇状的范围内移动。在该情况下，本来应成为标记406－2的位置的标记位置受到移动限制，例如，成为标记406－3的位置。
[0076]
更具体而言，如图11的中央所示，例如，若受检者使表情变化，则标记406被表情肌441和表情肌442向箭头的方向拉动。与此相对，标记406也被其他表情肌、皮肤亦即锚基451向相反方向拉动，结果是移动受到限制。将这样的标记位置的移动限制称为标记位置的形变。因此，在本实施方式所涉及的判定装置10中，在修正了标记位置的形变后，基于修正后的标记位置来计算移动矢量。由此，判定装置10能够更高精度地判定au的产生强度、有无产生。
[0077]
对标记位置的形变修正进行具体说明。标记位置的形变修正例如能够使用发生了形变的情况下的标记位置与本来的标记位置的映射表来进行。前者的形变发生标记位置的一个例子是图11中所说的标记406－3的位置，后者的本来的标记位置的一个例子是标记406－2的位置。对于发生形变的部位的标记，将这样的形变发生标记位置的各位置和与各个形变发生标记位置对应的本来的标记位置设定于映射表。而且，对于发生形变的部位的标记，根据移动矢量表示的标记位置的移动量来计算形变发生标记位置，通过检索映射表，能够导出对应的本来的标记位置。此外，当在映射表中没有与形变发生标记位置相同位置的数据的情况下，也能够检索最接近形变发生标记位置的位置的数据，导出对应的本来的标记位置。
[0078]
映射表例如能够基于来自受检者的实测数据来创建。更具体而言，例如，对受检者的面部附加标记，作出指定的表情，创建与各表情数据对应的移动量数据。接下来，基于表情数据，使编码员对au的产生强度进行注释。而且，根据实测数据导出形变发生标记位置，根据注释结果导出本来的标记位置，并设定在映射表。
[0079]
另外，对于标记位置的形变修正，例如，能够使用分别对如图11的中央所示的那样的表情肌441和表情肌442以及锚基451设定弹簧常量而生成的弹簧模型来进行。即，通过进行对该弹簧模型附加了从标记的基准位置到本来的标记位置的移动量相当的力的模拟，可知形变发生标记位置。因此，通过对该弹簧模型施加适当的力，求出想要知道本来的标记位置的形变发生标记位置，从而能够基于此时施加的力导出本来的标记位置。另外，通过使用该弹簧模型，进行针对本来的标记位置的模拟，也能够创建上述的映射表。另外，弹簧模型的弹簧常量能够根据判定装置10对au的产生强度的判定结果等适当地调整。
[0080]
生成部145创建对拍摄图像组和au的产生强度建立有对应关系的数据集。通过进行使用了该数据集的机器学习，能够生成用于根据拍摄图像组计算au的产生强度的估计值的模型亦即au产生强度估计模型132。另外，生成部145通过图像处理从拍摄图像组中去除标记。对于标记的去除，具体地进行说明。
[0081]
生成部145能够使用掩模图像去除标记。图12是对本实施方式所涉及的用于标记去除的掩模图像的生成方法进行说明的说明图。图12的(a)是由rgb相机31拍摄的图像。首先，生成部145提取有意附加的标记的颜色并定义为代表颜色。而且，如图12的(b)所示，生成部145生成代表颜色附近的颜色的区域图像。并且，如图12的(c)所示，生成部145对代表颜色附近的颜色的区域进行收缩、膨胀等处理，生成标记去除用的掩模图像。另外，也可以
通过将标记的颜色设定为难以作为面部的颜色而存在的颜色，来提高标记的颜色的提取精度。
[0082]
图13是对本实施方式所涉及的标记的去除方法进行说明的说明图。如图13所示，首先，生成部145对从视频中获取到的静止图像应用掩模图像。并且，生成部145将应用了掩模图像的图像例如输入到神经网络，得到处理完毕的图像。此外，神经网络使用受检者的有掩模的图像以及无掩模的图像等完成了训练。此外，通过从视频中获取静止图像，具有可以得到表情变化的中途数据、在短时间内得到大量的数据的优点。另外，生成部145可以使用gmcnn(generative multi-column convolutional neural networks：生成式多列卷积神经网络)、gan(generative adversarial networks：生成式对抗网络)作为神经网络。
[0083]
此外，生成部145去除标记的方法并不限于上述的方法。例如，生成部145也可以根据规定的标记的形状来检测标记的位置，生成掩模图像。另外，也可以预先进行ir相机32和rgb相机31的相对位置的校准。在该情况下，生成部145能够根据ir相机32的标记跟踪的信息来检测标记的位置。
[0084]
另外，生成部145也可以根据标记采用不同的检测方法。例如，由于鼻上的标记的运动较少，容易识别形状，所以生成部145也可以根据形状识别来检测位置。另外，由于嘴边的标记的运动较大，难以识别形状，所以生成部145也可以通过提取代表颜色的方法来检测位置。
[0085]
接下来，使用图14对由判定装置10进行的au的产生强度的判定处理的流程进行说明。图14是表示本实施方式所涉及的判定处理的流程的一个例子的流程图。如图14所示，首先，获取部141获取包含对与多个au对应的多个基准位置附加了标记的受检者的面部的拍摄图像组(步骤s101)。
[0086]
接下来，计算部142基于由获取部141获取到的拍摄图像所包含的标记的位置来计算移动矢量(步骤s102)。此外，对于发生形变的部位的标记，在修正了标记位置的形变后，计算移动矢量。
[0087]
接下来，在与用于移动矢量的计算的标记对应的au为一个的情况下(步骤s103：是)，计算部142计算移动矢量和与标记建立有对应关系的au的规定矢量的内积(步骤s104)。
[0088]
另一方面，在与用于移动矢量的计算的标记对应的au为两个以上的情况下(步骤s103：否)，分割部143将移动矢量分割成与标记建立有对应关系的各au的矢量(步骤s105)。
[0089]
接下来，判定部144基于在步骤s104中计算出的与au的规定矢量的内积、或者在步骤s105中分割出的各au的分割矢量，来判定对应的au的产生强度(步骤s106)。具体而言，在计算出移动矢量与规定矢量的内积的情况下，通过以规定矢量的大小将内积标准化能够判定au的产生强度。另一方面，在移动矢量被分割成与各au对应的矢量的情况下，通过以规定矢量的大小将分割后的矢量标准化能够判定au的产生强度。此外，即使与用于移动矢量的计算的标记对应的au为两个以上，在各规定矢量不相反的情况下，也可以计算移动矢量和与标记建立有对应关系的au的规定矢量的内积(不执行步骤s106而执行步骤s104)。在步骤s106后，图14所示的判定处理结束。
[0090]
接下来，对使用储存于au产生强度估计模型132的模型的au产生强度的估计处理进行说明。通过向该模型输入拍摄估计对象的人的面部得到的图像，来输出一个或者多个
au的产生强度。无需对估计对象的人的面部附加标记。另外，该模型对于多个au与同一标记建立有对应关系，且各au的规定矢量相反的情况下的au的产生强度也完成了训练。因此，通过使用该模型，对于产生规定矢量相反的多个au的表情，也能够正确地估计au的产生强度。此外，该模型也可以储存于判定装置10以外的装置用于au产生强度的估计处理。
[0091]
如上所述，判定装置10获取包含附加了标记的面部拍摄图像组，基于拍摄图像所包含的标记的位置来计算作为第一矢量的移动矢量，并将第一矢量分割成作为第二矢量的分割矢量和作为第三矢量的分割矢量，其中，第二矢量和与标记建立有对应关系的第一au的判定方向相对应，第三矢量和与标记建立有对应关系的第二au的判定方向相对应，并基于第二矢量和第三矢量判定第一au的第一产生强度和第二au的第二产生强度。
[0092]
由此，即使与同一标记对应的规定矢量相反，判定装置10也能够正确地判定各个au的产生强度。具体而言，在与同一标记对应的规定矢量相反的情况下，如图8所示，若求出移动矢量424和规定矢量415的内积则内积为负，将au的产生强度判定为0。另一方面，在判定装置10中，如图10所示，将移动矢量424分割成与各au的判定方向相对应的分割矢量444以及445，能够判定各au的产生强度。
[0093]
另外，由判定装置10执行的将第一矢量分割成第二矢量和第三矢量的处理包含基于第一矢量是第二矢量与第三矢量的线性和，将第一矢量分割成第二矢量和第三矢量的处理。
[0094]
由此，判定装置10能够更容易地分割移动矢量。
[0095]
另外，由判定装置10执行的计算第一矢量的处理包含修正标记的位置的形变，并基于修正后的标记的位置来计算第一矢量的处理。
[0096]
由此，判定装置10能够更高精度地判定au的产生强度。
[0097]
另外，由判定装置10执行的修正标记的位置的形变的处理包含使用将标记的第一位置和对形变进行了修正的第二位置建立有对应关系的存储部，来修正标记的位置的形变的处理。
[0098]
由此，判定装置10能够更高精度地判定au的产生强度。
[0099]
另外，判定装置10进一步在与标记建立有对应关系的au为一个的情况下，计算第一矢量和与该au的判定方向相对应的矢量的内积，并基于该内积判定该au的产生强度。
[0100]
由此，判定装置10能够更高效地判定au的产生强度。
[0101]
另外，判定装置10进一步基于从拍摄图像中去除了标记的图像以及第一产生强度和第二产生强度，来生成机器学习用的数据。
[0102]
由此，进行使用了所生成的数据的机器学习，能够生成用于在与同一标记对应的规定矢量相反的情况下根据拍摄图像计算au的产生强度的估计值的模型。
[0103]
除非另有说明，否则能够任意地变更在上述说明书中、附图中示出的处理步骤、控制步骤、具体的名称、包含各种数据、参数的信息。另外，上述具体例、分布、数值等只是一个例子，能够任意地变更。
[0104]
另外，图示出的各装置的各构成要素是功能概念性的，不一定需要在物理上如图示那样构成。即，各装置的分散、统合的具体形式并不限于图示的形式。例如，能够将判定装置10的计算部142分散到多个处理部、或将判定装置10的计算部142和分割部143统合到一个处理部。换句话说，能够将其全部或者一部分根据各种负荷、使用状况等以任意的单位在
功能上或者物理上分散、统合而构成。并且，由各装置进行的各处理功能的全部或者任意一部分可以通过cpu以及由该cpu解析执行的程序来实现、或者作为基于布线逻辑的硬件来实现。
[0105]
图15是表示本实施方式所涉及的判定装置的硬件结构例的图。如图15所示，判定装置10具有通信接口10a、hdd(hard disk drive：硬盘驱动器)10b、存储器10c、处理器10d。另外，图15所示的各部通过总线等相互连接。
[0106]
通信接口10a是网络接口卡等，与其他服务器进行通信。hdd10b存储使图9等所示的功能动作的程序、db。
[0107]
处理器10d是cpu(central processing unit：中央处理器)、mpu(micro processing unit：微处理单元)、gpu(graphics processing unit：图形处理器)等。另外，处理器10d也可以通过asic(application specific integrated circuit：专用集成电路)、fpga(field programmable gate array：现场可编程门阵列)等集成电路来实现。处理器10d是通过从hdd10b等读出执行与图9等所示的各处理部相同的处理的程序并在存储器10c中展开，来使执行在图9等中说明的各功能的进程动作的硬件电路。即，该进程执行与判定装置10所具有的各处理部相同的功能。
[0108]
另外，判定装置10也能够通过利用介质读取装置从记录介质读出上述程序并执行读出的上述程序来实现与上述实施例相同的功能。此外，在该其他实施例中所说的程序并不限定于由判定装置10来执行。例如，在其他计算机或者服务器执行程序的情况下、在它们配合来执行程序的情况下，也能够相同地应用本发明。
[0109]
该程序能够经由因特网等网络分发。另外，该程序被记录于硬盘、软盘(fd)、cd－rom、mo(magneto－optical disk：磁光盘)、dvd(digital versatile disc：数字多功能光盘)等能够由计算机读取的记录介质，能够通过由计算机从记录介质读出来执行。
[0110]
附图标记说明
[0111]1…
判定系统；10
…
判定装置；10a
…
通信接口；10b
…
hdd；10c
…
存储器；10d
…
处理器；11
…
输入部；12
…
输出部；13
…
存储部；14
…
控制部；20
…
机器学习装置；31
…
rgb相机；32
…
ir相机；40
…
器具；121
…
产生强度；122
…
图像；131
…
au信息；132
…
au产生强度估计模型；141
…
获取部；142
…
计算部；143
…
分割部；144
…
判定部；145
…
生成部；401、402、403、404、405、406
…
标记；411、412、413、414、415
…
规定矢量；421、422、423、424
…
移动矢量；431、432、433、434、435
…
内积；441、442
…
表情肌；444、445
…
分割矢量；451
…
锚基；501
…
分散范围。