分析装置、分析方法、存储有程序的存储介质及校正方法与流程

1.本发明涉及一种分析装置、分析方法、存储有程序的存储介质及校正方法。


背景技术：

2.以往，公开了下述技术(动作捕捉(motion capture))，即：将多个能够测量角速度及加速度的惯性测量传感器(inertial measurement unit，imu传感器)安装于身体，由此来推定身体姿势及其变化(运动)(例如参照专利文献1)。
3.[现有技术文献]
[0004]
[专利文献]
[0005]
[专利文献1]日本专利特开2020
‑
42476号公报


技术实现要素：

[0006]
[发明所要解决的问题]
[0007]
利用imu传感器的推定技术中，在将imu传感器安装于对象者的身体时，有时对在初始姿势下将imu传感器的输出变换为某个坐标系的规则使用校正。但是，视随后的对象者的动作不同，有时在进行imu传感器的校正后，imu传感器的安装位置或姿势与校正时相比发生改变，变换规则变得不合适。
[0008]
本发明是考虑此种情况而成，其一个目的在于提供一种分析装置、分析方法、程序以及校正方法，可适当地进行与使用imu传感器的姿势推定有关的校正。
[0009]
[解决问题的技术手段]
[0010]
本发明的分析装置、分析方法、存储有程序的存储介质及校正方法采用以下结构。
[0011]
(1)：本发明的一实施例的分析装置包括：姿势推定部，进行推定对象的姿势推定，所述推定对象的姿势推定包含将以传感器坐标系表示的惯性测量传感器的输出变换为区段坐标系的处理，所述传感器坐标系以安装于所述推定对象的多个部位且检测角速度及加速度的多个所述惯性测量传感器各自的位置为基准，所述区段坐标系表示与所述推定对象的安装有所述惯性测量传感器的位置对应的每个区段的姿势；获取部，获取由摄像部所拍摄的图像，所述摄像部拍摄对所述推定对象赋予的一个以上的第一标记；以及校正部，基于所述图像，对从所述传感器坐标系向所述区段坐标系的变换规则进行校正，所述第一标记具有下述形态：相对于所述多个惯性测量传感器中的至少一个的相对姿势不变化，通过对所拍摄的图像进行分析从而相对于所述摄像部的姿势能够被识别，所述校正部导出所述第一标记相对于所述摄像部的姿势，基于所导出的姿势而导出从传感器坐标系向相机坐标系的变换矩阵，使用所导出的从传感器坐标系向相机坐标系的变换矩阵，来对从所述传感器坐标系向所述区段坐标系的变换规则进行校正。
[0012]
(2)：所述(1)的实施例中，所述摄像部还拍摄第二标记，所述第二标记在所述推定对象存在的空间中静止，所述第二标记具有下述形态：通过对所拍摄的图像进行分析从而相对于所述摄像部的姿势能够被识别，所述校正部导出所述第二标记相对于所述摄像部的
姿势，基于所导出的姿势而导出从表示所述空间的全局坐标系向相机坐标系的变换矩阵，将所述区段坐标系与所述全局坐标系视为相同，由此基于从所述传感器坐标系向相机坐标系的变换矩阵、及从所述全局坐标系向相机坐标系的变换矩阵而导出从所述传感器坐标系向所述区段坐标系的变换矩阵，并基于所述导出的从所述传感器坐标系向所述区段坐标系的变换矩阵，而对从所述传感器坐标系向所述区段坐标系的变换规则进行校正。
[0013]
(3)：所述(1)或(2)的实施例中，所述摄像部还拍摄对所述推定对象赋予的第三标记，所述第三标记具有下述形态：相对于所述区段中的至少一个的相对姿势不变化，通过对所拍摄的图像进行分析从而相对于所述摄像部的姿势能够被识别，所述校正部导出所述第三标记相对于所述摄像部的姿势，基于所导出的姿势而导出从所述区段坐标系向相机坐标系的变换矩阵，基于从所述传感器坐标系向相机坐标系的变换矩阵、及从所述区段坐标系向相机坐标系的变换矩阵而导出从所述传感器坐标系向所述区段坐标系的变换矩阵，并基于所述导出的从所述传感器坐标系向所述区段坐标系的变换矩阵，而对从所述传感器坐标系向所述区段坐标系的变换规则进行校正。
[0014]
(4)：本发明的另一实施例的分析方法中，计算机执行下述操作：进行推定对象的姿势推定，所述推定对象的姿势推定包含将以传感器坐标系表示的惯性测量传感器的输出变换为区段坐标系的处理，所述传感器坐标系以安装于所述推定对象的多个部位且检测角速度及加速度的多个所述惯性测量传感器各自的位置为基准，所述区段坐标系表示与所述推定对象的安装有所述惯性测量传感器的位置对应的每个区段的姿势；获取由摄像部所拍摄的图像，所述摄像部拍摄对所述推定对象赋予的一个以上的第一标记；以及基于所述图像，对从所述传感器坐标系向所述区段坐标系的变换规则进行校正，并且，所述第一标记具有下述形态：相对于所述多个惯性测量传感器中的至少一个的相对姿势不变化，通过对所拍摄的图像进行分析从而相对于所述摄像部的姿势能够被识别，在所述校正的处理中，导出所述第一标记相对于所述摄像部的姿势，基于所导出的姿势而导出从传感器坐标系向相机坐标系的变换矩阵，使用所导出的从传感器坐标系向相机坐标系的变换矩阵，来对从所述传感器坐标系向所述区段坐标系的变换规则进行校正。
[0015]
(5)：本发明的另一实施例的存储有程序的存储介质，所述程序使计算机执行下述操作：进行推定对象的姿势推定，所述推定对象的姿势推定包含将以传感器坐标系表示的惯性测量传感器的输出变换为区段坐标系的处理，所述传感器坐标系以安装于所述推定对象的多个部位且检测角速度及加速度的多个所述惯性测量传感器各自的位置为基准，所述区段坐标系表示与所述推定对象的安装有所述惯性测量传感器的位置对应的每个区段的姿势；获取由摄像部所拍摄的图像，所述摄像部拍摄对所述推定对象赋予的一个以上的第一标记；以及基于所述图像，对从所述传感器坐标系向所述区段坐标系的变换规则进行校正，并且，所述第一标记具有下述形态：相对于所述多个惯性测量传感器中的至少一个的相对姿势不变化，通过对所拍摄的图像进行分析从而相对于所述摄像部的姿势能够被识别，在所述校正的处理中，导出所述第一标记相对于所述摄像部的姿势，基于所导出的姿势而导出从传感器坐标系向相机坐标系的变换矩阵，使用所导出的从传感器坐标系向相机坐标系的变换矩阵，来对从所述传感器坐标系向所述区段坐标系的变换规则进行校正。
[0016]
(6)：本发明的另一实施例的校正方法通过搭载于无人飞行器的所述摄像部来拍摄对所述推定对象赋予的一个以上的第一标记，所述(1)至(3)的实施例的分析装置获取由
所述摄像部所拍摄的图像，对从所述传感器坐标系向所述区段坐标系的变换规则进行校正。
[0017]
(7)：本发明的另一实施例的校正方法通过安装于静止物的所述摄像部来拍摄对所述推定对象赋予的一个以上的第一标记，所述(1)至(3)的实施例的分析装置获取由所述摄像部所拍摄的图像，对从所述传感器坐标系向所述区段坐标系的变换规则进行校正。
[0018]
(8)：本发明的另一实施例的校正方法通过安装于所述推定对象的所述摄像部来拍摄对所述推定对象赋予的一个以上的第一标记，所述(1)至(3)的实施例的分析装置获取由所述摄像部所拍摄的图像，对从所述传感器坐标系向所述区段坐标系的变换规则进行校正。
[0019]
[发明的效果]
[0020]
根据所述(1)～(8)的实施例，可适当地对imu传感器进行校正。
附图说明
[0021]
图1为表示分析装置100的使用环境的一例的图。
[0022]
图2为表示imu传感器40的配置的一例的图。
[0023]
图3为表示姿势推定部120的更详细的结构及功能的一例的图。
[0024]
图4为用于说明修正部160进行的平面设想处理的图。
[0025]
图5为用于说明修正部160进行的方向向量vi的定义处理的图。
[0026]
图6为表示方向向量vi因推定对象tgt的姿势变化而打转的状况的图。
[0027]
图7为用于说明分析装置100进行的修正处理的概要的图。
[0028]
图8为表示全身修正量计算部164的结构的一例的图。
[0029]
图9为表示全身修正量计算部164的结构的另一例的图。
[0030]
图10为示意性地表示全身修正量计算部164整体的图。
[0031]
图11为用于阶段性地说明全身修正量计算部164的处理流程的图。
[0032]
图12为用于阶段性地说明全身修正量计算部164的处理流程的图。
[0033]
图13为用于阶段性地说明全身修正量计算部164的处理流程的图。
[0034]
图14为表示第一标记mk1的外观的一例的图。
[0035]
图15为表示拍摄图像im1的一例的图。
[0036]
图16为用于对校正部180的处理内容进行说明的图。
[0037]
图17为表示拍摄图像im2的一例的图。
[0038]
图18为用于对拍摄图像的获取方法的变形例(其一)进行说明的图。
[0039]
图19为用于对拍摄图像的获取方法的变形例(其二)进行说明的图。
[0040]
[符号的说明]
[0041]
10：终端装置
[0042]
30：测量用装备
[0043]
40：惯性测量传感器
[0044]
50、50a、50b：摄像装置
[0045]
100：分析装置
[0046]
110：通信部
[0047]
120：姿势推定部
[0048]
130：第一获取部
[0049]
140：一次变换部
[0050]
150：积分部
[0051]
160：修正部
[0052]
170：第二获取部
[0053]
180：校正部
[0054]
190：存储部
具体实施方式
[0055]
以下，参照附图对本发明的分析装置、分析方法、程序以及校正方法的实施方式进行说明。
[0056]
分析装置是由至少一个以上的处理器(processor)实现。分析装置例如为经由网络(network)而与用户的终端装置通信的服务器(service server)。取而代之，分析装置也可为安装有应用程序(application program)的终端装置。以下的说明中，以分析装置为服务器作为前提。
[0057]
分析装置为从安装于人体等推定对象的多个惯性式传感器(imu传感器)获取检测结果，并基于检测结果来进行推定对象的姿势推定等的装置。推定对象只要包括区段(臂、手、腿、脚等在分析力学中被视为刚体者，换言之连杆(link))、及将两个以上的区段相连的接头(joint)(关节部)，则不限于人体。即，推定对象为人、动物或关节的可动域受限的机器人等。
[0058]
＜第一实施方式＞
[0059]
图1为表示分析装置100的使用环境的一例的图。终端装置10为智能手机(smartphone)或平板终端、个人计算机(personal computer)等。终端装置10经由网络nw而与分析装置100通信。网络nw包含广域网(wide area network，wan)或局域网(local area network，lan)、国际互联网(internet)、蜂窝网(cellular net)等。摄像装置50例如为搭载有摄像部(相机)的无人飞行器(无人机)。摄像装置50例如由终端装置10操作，将所拍摄的图像经由终端装置10发送至分析装置100。摄像装置50所拍摄的图像由校正部180使用。关于这一情况，将在下文中描述。
[0060]
imu传感器40例如安装于作为推定对象的用户穿戴的测量用装备30。测量用装备30例如是在运动用的容易活动的衣物安装有多个imu传感器40而成。另外，测量用装备30也可为在橡胶带(gum band)或泳衣、护具(supporter)那样的简易穿戴设备安装有多个imu传感器40而成。
[0061]
imu传感器40例如为针对三轴分别检测加速度和角速度的传感器。imu传感器40包括通信机，以无线通信的方式将与应用协同检测的加速度或角速度发送至终端装置10。若测量用装备30由用户穿戴，则自然而然地决定各imu传感器40对应用户身体的哪个部位(以下称为配置信息)。
[0062]
[关于分析装置100]
[0063]
分析装置100例如包括通信部110、姿势推定部120、第二获取部170及校正部180。
姿势推定部120例如包括第一获取部130、一次变换部140、积分部150及修正部160。这些结构元件例如通过中央处理器(central processing unit，cpu)等硬件处理器执行程序(软件)从而实现。这些结构元件中的一部分或全部也可借由大规模集成电路(large scale integration，lsi)或特殊应用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field
‑
programmable gate array，fpga)、图形处理器(graphics processing unit，gpu)等硬件(电路部；包含电路系统(circuitry))来实现，或也可借由软件与硬件的协作来实现。程序可预先保存于硬盘驱动器(hard disk drive，hdd)或闪速存储器(flash memory)等存储装置(包括非暂时性的存储介质的存储装置)，或也可保存于数字多功能光盘(digital versatile disc，dvd)或只读光盘(compact disc read
‑
only memory，cd
‑
rom)等能够装卸的存储介质(非暂时性的存储介质)，并通过将存储介质安装于驱动装置从而安装。另外，分析装置100包括存储部190。存储部190是借由hdd或闪速存储器、随机存取存储器(random access memory，ram)等来实现。
[0064]
通信部110为用于接入网络nw的网卡(network card)等通信接口。
[0065]
[姿势推定处理]
[0066]
以下，对姿势推定部120进行的姿势推定处理的一例进行说明。图2为表示imu传感器40的配置的一例的图。例如，在用户的头部、胸部、骨盆周边、左右的手脚等多个部位安装有imu传感器40
‑
1～imu传感器40
‑
n(n为imu传感器的总数)。以下，有时将穿戴测量用装备30的用户称为推定对象tgt。另外，以1～n的任一个的含意来采用参数(argument)i，称为imu传感器40
‑
i等。图2的示例中，在测量用装备30也安装有心率传感器或温度传感器。
[0067]
例如，以imu传感器40
‑
1位于右肩，imu传感器40
‑
2位于右上臂，imu传感器40
‑
8位于左大腿，imu传感器40
‑
9位于左膝下的方式来配置imu传感器40。另外，imu传感器40
‑
p安装于成为基准部位的部位的周边。所谓基准部位，例如用户的骨盆等躯干部的一部分相当于此基准部位。以下的说明中，将安装有一个以上的imu传感器40且其活动被测量的对象部位称为“区段”。区段中，包含基准部位及基准部位以外的传感器安装部位(以下称为参照部位)。
[0068]
以下的说明中，针对与imu传感器40
‑
1～imu传感器40
‑
n各自对应的结构元件，对符号标注连字符(hyphen)之后的符号来进行说明。
[0069]
图3为表示姿势推定部120的更详细的结构及功能的一例的图。第一获取部130从多个imu传感器40获取角速度及加速度的信息。一次变换部140将由第一获取部130所获取的信息从各imu传感器40的三轴方向的坐标系(以下称为传感器坐标系)变换为区段坐标系的信息，并将变换结果输出至修正部160。
[0070]
一次变换部140例如包括与各区段对应的区段角速度计算部146
‑
i及加速度集合部148。区段角速度计算部146
‑
i将由第一获取部130所输出的imu传感器40i的角速度变换为区段坐标系的信息。所谓区段坐标系，为表示每个区段的姿势的坐标系。区段角速度计算部146
‑
i所得的处理结果(基于imu传感器40的检测结果而得，为表示推定对象tgt的姿势的信息)例如以四元数(quaternion)的形式保持。此外，以四元数的形式来表现imu传感器40
‑
i的测量结果仅为一例，也可使用三维的旋转群so3的旋转矩阵等其他表现方法。
[0071]
加速度集合部148将与区段对应的imu传感器40
‑
i所检测出的加速度分别集合。加速度集合部148将集合结果变换为推定对象tgt全身的加速度(以下有时称为总imu加速
度)。
[0072]
积分部150通过对与经区段角速度计算部146
‑
i变换为基准坐标系的信息的区段对应的角速度求积分，从而算出推定对象tgt中安装有imu传感器40
‑
i的区段的朝向作为推定对象的姿势的一部分。积分部150将积分结果输出至修正部160及存储部190。
[0073]
此外，积分部150中，在处理循环为第一次的情况下，输入有由一次变换部140输出的角速度(未经修正部160进行修正的角速度)，但在这以后，输入有反映出修正的角速度，所述修正是由后述的修正部160基于前一次处理循环的处理结果而导出。
[0074]
积分部150例如包括与各区段对应的角速度积分部152
‑
i。角速度积分部152
‑
i通过对由区段角速度计算部146
‑
i所输出的区段的角速度求积分，从而算出推定对象中安装有imu传感器40
‑
i的参照部位的朝向作为推定对象的姿势的一部分。
[0075]
修正部160设想穿过推定对象所含的基准部位的代表平面，以代表平面的法线、与由积分部150所算出的参照部位的朝向接近正交方向的方式，来修正参照部位的经变换的角速度。关于代表平面，将在下文中描述。
[0076]
修正部160例如包括推定姿势集合部162、全身修正量计算部164、修正量分解部166及与各区段对应的角速度修正部168
‑
i。
[0077]
推定姿势集合部162将角速度积分部152
‑
i所得的计算结果即表示各区段的姿势的四元数集合成一个向量。以下，将所集合的向量称为推定全身姿势向量。
[0078]
全身修正量计算部164基于由加速度集合部148所输出的总imu加速度、及由推定姿势集合部162所输出的推定全身姿势向量，计算所有区段的角速度的修正量。此外，关于由全身修正量计算部164所计算的修正量，以作为推定对象的全身姿势而不会变得不自然的方式，考虑各区段的关系性而进行调整。全身修正量计算部164将计算结果输出至修正量分解部166。
[0079]
修正量分解部166将由全身修正量计算部164所计算的修正量以可反映给各区段的角速度的方式分解为每个区段的角速度的修正量。修正量分解部166将分解的每个区段的角速度的修正量输出至对应区段的角速度修正部168
‑
i。
[0080]
角速度修正部168
‑
i针对由区段角速度计算部146
‑
i所输出的、每个区段的角速度的计算结果，反映由修正量分解部166所输出的、对应区段的角速度的修正量的分解结果。由此，在下一循环的处理中积分部150求积分的对象成为反映出修正部160进行的修正的状态的角速度。角速度修正部168
‑
i将修正结果输出至角速度积分部152
‑
i。
[0081]
作为积分部150所得的积分结果的、每个区段的姿势的推定结果发送至终端装置10。
[0082]
图4为用于说明修正部160进行的平面设想处理的图。如图4的左图那样，在基准部位为推定对象tgt的骨盆的情况下，修正部160设想穿过骨盆中央的正中矢状面(图中的矢状面(sagittal plane))作为代表平面。所谓正中矢状面，是指相对于左右对称的推定对象tgt的身体的正中，平行地将身体分为左右的面。进而，如图4的右图那样，修正部160设定所设想的正中矢状面的法线n(图中的箭头记号法向量(normal vector))。
[0083]
图5为用于说明修正部160进行的方向向量vi的定义处理的图。修正部160以某个imu传感器40
‑
i的输出作为初始状态，将其朝向定义为水平且与代表平面平行的朝向(第一校正处理)。然后，方向向量沿着对imu传感器40
‑
i的输出求积分所得的三个方向的旋转而
在三个方向打转。
[0084]
如图5所示，在推定对象tgt的参照部位中包含胸部、左右的大腿部及左右的膝下部的情况下，修正部160基于第一校正处理的结果来进行imu传感器40的安装姿势的推定，以法线n与由积分部150算出的参照部位的朝向接近正交方向的方式，分别修正参照部位的经变换的角速度，如图示那样导出参照部位朝向的方向向量v1～方向向量v5(图中的前向向量(forward vector))。如图示那样，方向向量v1表示胸部的方向向量，方向向量v2及方向向量v3表示大腿部的方向向量，方向向量v4及方向向量v5表示膝下部的方向向量。此外，图中的x轴、y轴、z轴为基准坐标系的方向的一例。
[0085]
图6为表示方向向量vi因推定对象tgt的姿势变化而打转的状况的图。代表平面在将某个基准部位的imu传感器40
‑
p的输出设为初始状态的情况下，沿着对imu传感器40
‑
p的输出求积分所得的偏摆(yaw)方向的移位而在偏摆方向打转。修正部160与前一次循环中由积分部150所算出的参照部位的朝向持续地偏离相对于正中矢状面的法线n而正交的朝向相应地，增大参照部位的经变换的角速度的修正程度。
[0086]
[姿势的推定]
[0087]
修正部160例如在如图5所示那样参照部位的方向向量vi与法线n的内积为0的情况下，判定为参照部位的朝向并未偏离相对于正中矢状面的法线n而正交的朝向的、原始位置(home position)的姿势，在如图6所示那样方向向量vi与法线n的内积大于0的情况下，判定为参照部位的朝向偏离相对于正中矢状面的法线n而正交的朝向。所谓原始位置，是指作为在推定对象tgt安装imu传感器40后的第一校正处理的结果而获取的、推定对象tgt的基本体势(但是，为相对于代表平面的相对体势)，例如为静止直立状态。修正部160基于对推定对象tgt进行规定的动作(校正动作)结果所得的、imu传感器40的测量结果，来进行原始位置的定义。
[0088]
由此，修正部160基于推定对象很少长时间维持偏离相对于正中矢状面的法线n而正交的朝向的姿势(即，如图6所示那样扭转身体的状态)，或很少保持偏离相对于正中矢状面的法线n而正交的朝向的姿势而运动等假设，来进行反映出下述情况的修正，即：若时间经过则偏离变小(接近图5所示那样的原始位置)。
[0089]
图7为用于说明分析装置100进行的修正处理的概要的图。分析装置100在推定对象tgt的骨盆与除此以外的区段中定义不同的最优化问题。首先，分析装置100计算推定对象tgt的骨盆姿势，利用骨盆姿势来计算其他区段姿势。
[0090]
假设若对骨盆姿势的计算、与骨盆以外的其他区段的姿势的计算分别求解，则骨盆姿势会仅使用重力修正来推定。分析装置100以可也考虑其他区段姿势而进行骨盆姿势的推定的方式，来同时进行骨盆姿势的推定与其他区段姿势的推定，目标在于考虑到所有imu传感器40彼此的影响而最优化。
[0091]
[运算例]
[0092]
以下，按照数式对推定姿势时的具体运算例进行说明。
[0093]
对用于表现姿势的四元数的表现方法进行说明。若以四元数来表示从某个坐标系frame a到某个坐标系frame b的旋转，则成为以下的式(1)那样。其中，frame b是相对于frame a绕经归一化的轴旋转θ而成。
[0094]
[数1]
[0095][0096]
此外，以下的说明中，将对四元数q标注帽子(hat)记号而成的数(表现旋转的单位四元数)表示为“q(h)”来进行说明。所谓单位四元数，是将四元数除以范数(norm)而成。q(h)为如式(1)所示那样的具有四个实数值元素的列向量。若使用所述表现方法来表示推定对象tgt的推定全身姿势向量q，则可如以下的式(2)那样表示。
[0097]
[数2]
[0098][0099]
此外，
se
q(h)
i
(i为表示区段的1～n的整数、或表示基准位置的p)以四元数来表示从参照部位的imu传感器40的坐标系s(区段坐标系)的基准位置到基准坐标位置e(例如，能够根据地球的重力方向定义的坐标系)的旋转。所述推定对象tgt的推定全身姿势向量q为将所有的表示区段姿势的单位四元数集合成一个的、具有4(n+1)个实数值元素的列向量。
[0100]
为了进行推定对象tgt的姿势推定，首先考虑安装有imu传感器40的某一个区段的姿势推定。
[0101]
[数3]
[0102][0103][0104][0105][0106][0107]
式(3)为最优化问题的更新式的一例，为用于通过导出式(4)所示的函数的导出结果的范数的1/2的最小值，从而导出翻滚(roll)、俯仰(pitch)方向的修正量的式子。式(4)的右边为由以传感器坐标系表现的根据推定姿势所求出的、表示基准应存在的方向(例如重力或地磁场等的方向)的信息，减去以传感器坐标系表现的imu传感器40所测量的基准方向的式子。
[0108]
如式(5)所示，
se
q为以矩阵形式来表现单位四元数
se
q(h)的一例。另外，如式(6)所示，
e
d(h)为表示为了修正偏摆方向而使用的基准方向(例如重力或地磁场等的方向)的向量。另外，如式(7)所示，
s
s(h)表示以传感器坐标系表现的imu传感器40所测量的基准方向的向量。
[0109]
此外，在使用重力为基准的情况下，式(6)及式(7)可如以下的式(8)及式(9)那样表示。ax、ay、az分别表示x轴方向的加速度、y轴方向的加速度、及z轴方向的加速度。
[0110]
e
d(h)＝〔0 0 0 1〕
[0111]
s
s(h)＝〔0 a
x a
y a
z
〕
…
(9)
[0112]
式(3)所示的关系式例如可通过梯度下降法来求解。此时，推定姿势的更新式可由式(10)表示。另外，目标函数的梯度是使用以下的式(11)来表示。另外，表示梯度的式(11)可如式(12)所示那样，使用雅可比式(jacobian)来计算。此外，式(12)所示的雅可比式为以全身的方向向量vi的各元素将重力误差项和偏摆方向误差项偏微分所得的矩阵。关于重力误差项及偏摆方向误差项，将在下文中描述。
[0113]
[数4]
[0114][0115][0116][0117]
如式(10)的右边所示，单位四元数
se
q(h)
k+1
可通过由表示当前的推定姿势的单位四元数
seq
(h)
k
减去系数μ(1以下的常数)与梯度之积从而导出。另外，如式(11)及式(12)所示，梯度能以相对较少的计算量导出。
[0118]
此外，将使用重力为基准的情况的式(4)及式(12)的实际计算例示于以下的式(13)及式(14)。
[0119]
[数5]
[0120][0121][0122]
使用上图的式(3)～式(7)及式(10)～式(12)所表示的方法中，通过针对每次采样(sampling)计算一次更新式，从而能够推定姿势。另外，在如式(8)、式(9)、式(13)、式(14)所举出那样使用重力为基准的情况下，可进行翻滚轴方向、俯仰轴方向的修正。
[0123]
[全身修正量计算]
[0124]
以下，对导出针对推定姿势的全身修正量(特别是偏摆方向的修正量)的方法进行说明。图8为表示全身修正量计算部164的结构的一例的图。全身修正量计算部164例如包括偏摆方向误差项计算部164a、重力误差项计算部164b、目标函数计算部164c、雅可比式计算部164d、梯度计算部164e及修正量计算部164f。
[0125]
偏摆方向误差项计算部164a根据所推定的全身的姿势，计算用于实现偏摆角方向的修正的偏摆方向误差项。
[0126]
重力误差项计算部164b基于所推定的全身的姿势及由imu传感器40所检测的加速度，来计算用于实现翻滚轴方向及俯仰轴方向的修正的重力误差项。
[0127]
目标函数计算部164c基于所推定的全身的姿势、由imu传感器40所检测的加速度、偏摆方向误差项计算部164a的计算结果及重力误差项计算部164b的计算结果，计算目标函数，此目标函数用于以推定对象tgt的正中矢状面与方向向量vi成平行的方式进行修正。此外，将重力误差项与偏摆方向误差项的平方和作为目标函数。关于目标函数的详情，将在下文中描述。
[0128]
雅可比式计算部164d根据所推定的全身的姿势及由imu传感器40所检测的加速度，来计算通过推定全身姿势向量q的偏微分所求出的雅可比式。
[0129]
梯度计算部164e使用目标函数计算部164c所得的计算结果、及雅可比式计算部164d所得的计算结果，导出最优化问题的解，计算梯度。
[0130]
修正量计算部164f使用梯度计算部164e的计算结果，导出对推定对象tgt的推定全身姿势向量q适用的全身修正量。
[0131]
图9为表示全身修正量计算部164的结构的另一例的图。图9所示的全身修正量计算部164使用正中矢状面和各区段的方向向量vi来导出全身修正量，除了图8所示的结构元件以外，还包括代表平面法线计算部164g及区段向量计算部164h。
[0132]
代表平面法线计算部164g基于全身推定姿势来计算作为代表平面的正中矢状面的法线n。区段向量计算部164h基于全身推定姿势来计算区段的方向向量vi。
[0133]
[全身修正量的导出例]
[0134]
以下，对全身修正量的导出例进行说明。
[0135]
偏摆方向误差项计算部164a使用以下所示的式(15)，进行用于以正中矢状面与区段的方向向量成平行的方式进行修正的、偏摆方向误差项fb的内积计算。
[0136]
[数6]
[0137][0138]
偏摆方向误差项f
b
为基于表示区段i的推定姿势的单位四元数
se
q(h)
i
、和表示作为基准部位的骨盆的推定姿势的单位四元数
se
q(h)
p
来导出修正量的式子。式(15)的右边导出由代表平面法线计算部164g所计算的以传感器坐标系表示的正中矢状面的法线n、与由区段向量计算部164h所计算的以传感器坐标系表示的区段的方向向量vi的内积。由此，在为推定对象tgt扭转身体的状态的情况下，可进行对修正内容增加了消除所述扭转(接近图5所示那样的原始位置)的修正。
[0139]
接下来，重力误差项计算部164b如式(16)所示，进行用于每个区段的基准修正(例如重力修正)的计算。
[0140]
[数7]
[0141][0142]
式(16)为表示任意的区段i的推定姿势的单位四元数
se
q(h)
i
、与imu传感器40
‑
i所测量的加速度(重力)的关系式，如式(16)的右边所示，可通过下述方式导出，即：由根据推定姿势所求出的、以传感器坐标系表现的重力应存在的方向(设想重力加速度方向)，减去以传感器坐标系表现的所测量的重力方向(测量重力加速度方向)
s
a
i
(h)。
[0143]
此处，将所测量的重力方向
s
a
i
(h)的具体例示于式(17)。另外，表示重力方向的常数
e
d
g
(h)可分别由式(18)所示那样的常数来表现。
[0144]
[数8]
[0145][0146][0147]
接下来，目标函数计算部164c计算将重力误差项与偏摆方向误差项综合的、作为区段i的修正函数的式(19)。
[0148]
[数9]
[0149][0150]
此处，c
i
为代表平面修正的权重系数。表示区段i的修正函数的式(19)若作为最优化问题而形式化，则可如式(20)那样表现。
[0151]
[数10]
[0152][0153]
此外，式(20)与能以重力修正与代表平面修正的目标函数之和表示的修正函数的式(21)等价。
[0154]
[数11]
[0155][0156]
目标函数计算部164c对所有区段同样地进行姿势推定，定义将全身的目标函数综合的最优化问题。式(22)为将全身的目标函数综合的修正函数f(q,α)。α为由imu传感器所测量的总imu加速度，可如式(23)那样表示。
[0157]
[数12]
[0158]
[0159][0160]
此外，式(22)的右边的第一行表示与骨盆对应的修正函数，右边的第二行以后表示与骨盆以外的各区段对应的修正函数。用于使用式(22)所示的修正函数来修正推定对象tgt的全身的姿势的最优化问题可如下述的式(24)那样定义。式(24)能以与上文已述的作为各区段的修正函数的式(21)相同的形式，如式(25)所示那样变形。
[0161]
[数13]
[0162][0163][0164]
接下来，梯度计算部164e使用通过推定全身姿势向量q的偏微分所求出的雅可比式j
f
，如以下的式(26)那样计算所述目标函数的梯度。此外，雅可比式j
f
为式(27)所示。
[0165]
[数14]
[0166][0167][0168]
式(27)所示的各元素的尺寸成为以下的式(28)及(29)那样。
[0169]
[数15]
[0170][0171][0172]
即，式(27)所示的雅可比式j
f
成为(3+4n)
×
4(n+1)(n为基准部位测量用的imu传
感器以外的总imu传感器数)的大矩阵，但实际上以下的式(30)及(31)所示的元素成为0，因而计算可省略，即便是低速的运算装置能够可进行实时的姿势推定。
[0173]
[数16]
[0174][0175][0176]
若将式(30)及式(31)代入上文已述的式(27)，则可如式(32)那样表示。
[0177]
[数17]
[0178][0179]
梯度计算部164e可使用式(32)的计算结果来计算式(26)所示的梯度。
[0180]
[全身修正量计算部的处理像]
[0181]
图10～图13为示意性地表示全身修正量计算部164的运算处理的流程的图。图10为示意性地表示全身修正量计算部164整体的图，图11～图13为用于阶段性地说明全身修正量计算部164的处理流程的图。
[0182]
如图10所示，加速度集合部148对在时刻t测量的各imu传感器40
‑
i的加速度
s
a
i,t
(i也可为表示作为基准部位的骨盆的p，以下相同)的、由第一获取部130所得的获取结果进行变换，变换为作为集合结果的推定对象tgt的总imu加速度α
t
。另外，由第一获取部130所获取的、在时刻t测量的各imu传感器40
‑
i的角速度
s
ω
i,t
分别输出至对应的角速度积分部152
‑
i。
[0183]
另外，图10的右上部分所示的z
‑1到β的处理框表示修正部160导出下一次处理循环的修正量。
[0184]
此外，图10～图13中，若将下述式(33)所示的目标函数的梯度设为δq
t
，则对时刻t的角速度q
t
(
·
)(标注有点记号作为q
t
的上方字符，为时刻t的推定全身姿势向量q
t
的时间微分结果)的反馈可如下述式(34)那样表现。此外，式(34)的β为用于调整修正量的增益的、0≦β≦1的实数。
[0185]
[数18]
[0186]
[0187][0188]
全身修正量计算部164如式(34)所示，对角速度q
t
(
·
)进行梯度δq的归一化，结果将任意的实数β反映为修正量。
[0189]
如图11所示，积分部150对各区段的角速度求积分。接下来，如图12所示，修正部160使用各区段的角速度和推定姿势来计算梯度δq。接下来，如图13所示，修正部160将所导出的梯度δq反馈给各imu传感器的角速度。若第一获取部130获取imu传感器40的下一测量结果，则积分部150如图11所示，再次对各区段的角速度求积分。分析装置100通过反复进行图11～图13所示的处理从而进行推定对象tgt的姿势推定的处理，由此将人的身体特性或经验法则反映在各区段的姿势的推定结果中，因而分析装置100的推定结果的精度提高。
[0190]
通过反复进行图11～图13所示那样的处理，且推定姿势集合部162将积分部150的角速度的积分结果集合，从而可使各imu传感器40的测量角速度所具有的误差平均化，导出式(2)的推定全身姿势向量q。所述推定全身姿势向量q中，反应出使用人的身体特性或经验法则的、根据全身姿势计算偏摆方向修正量的结果。通过利用所述方法来进行推定对象tgt的姿势推定，从而可不利用地磁场来推定抑制了偏摆角方向漂移(drift)的、看似合理的人的全身姿势，因而即便在进行长时间测量的情况下，也可进行抑制了偏摆方向漂移的全身姿势推定。
[0191]
分析装置100一边将全身姿势推定结果作为分析结果而存储于存储部190，一边将表示分析结果的信息提供给终端装置10。
[0192]
[校正处理]
[0193]
以下，对校正部180进行的校正处理的一例进行说明。第二获取部170获取由摄像装置50的摄像部所拍摄的图像(以下记作拍摄图像)。摄像装置50例如由来自终端装置10的控制(可为自动控制，也可为手动控制)以拍摄推定对象tgt的方式进行飞行控制。在推定对象tgt，赋予有一个以上的第一标记。第一标记可印刷于测量用装备30，也可作为封条(seal)而贴附。第一标记包含能够由机械容易地识别的图像，位置及姿势与赋予位置的区段联动地变化。所述图像中，优选包含表示空间方向的图像。
[0194]
图14为表示第一标记mk1的外观的一例的图。第一标记mk1例如以容易从拍摄图像中提取的对比度描画，具有矩形等二维形状。
[0195]
图15为表示拍摄图像im1的一例的图。以拍摄图像im1中除了第一标记mk1以外还包含第二标记mk2的方式，来控制摄像装置50。第二标记mk2是对地面等静止体赋予的标记。第二标记mk2也与第一标记mk1同样地，以容易从拍摄图像中提取的对比度描画，具有矩形等二维形状。
[0196]
第一标记mk1的姿势符合传感器坐标系。第一标记mk1例如是以相对于imu传感器40的姿势而相对姿势不变化的形式赋予。例如，对构成imu传感器40的刚体构件印刷或贴附有第一标记mk1。校正部180基于拍摄图像im中的第一标记mk1及第二标记mk2，对从传感器坐标系向区段坐标系的变换规则进行校正。权利要求的“变换部”至少包含一次变换部140，也可还包含积分部150或修正部160。因此，所谓变换规则，可指一次变换部140将imu传感器40
‑
i的角速度变换为区段坐标系的信息的规则，也可指还包含积分部150或修正部160进行的处理的规则。
[0197]
此处，将传感器坐标系定义为＜m＞，将区段坐标系定义为＜s＞，将以摄像装置50的位置为原点的相机坐标系定义为＜e＞，将作为静止的坐标系的全局坐标系定义为＜g＞。全局坐标系＜g＞例如为将重力方向设为一个轴的地上坐标系。成为校正对象的是从传感器坐标系＜m＞向区段坐标系＜s＞的变换规则(以下记作变换矩阵)
ms
r。
[0198]
图16为用于对校正部180的处理内容进行说明的图。在上文所述的原始位置的设定时间点t0，校正部180获取图15所示那样的拍摄图像im，基于第一标记mk1的顶点的位置而导出第一标记mk1相对于摄像部的姿势，根据所导出的姿势来求出坐标系彼此所成的旋转角度，由此导出从传感器坐标系＜m＞向相机坐标系＜e＞的变换矩阵
me
r。此技术例如作为开放源代码的计算机视觉库(open source computer vision library，opencv)功能而众所周知。另外，校正部180基于第二标记mk2的顶点的位置而导出第二标记mk2相对于摄像部的姿势，根据所导出的姿势而求出坐标系彼此所成的旋转角度，由此导出从全局坐标系＜g＞向相机坐标系＜e＞的变换矩阵
ge
r。此时，在推定对象tgt成为直立姿势的情况下，可假定为区段坐标系＜s＞与全局坐标系＜g＞一致。因此，可假定为变换矩阵
se
r＝变换矩阵
ge
r。此时，将从传感器坐标系＜m＞向区段坐标系＜s＞的变换矩阵设为
ms
r。
[0199]
若在原始位置的设定时间点t0之后的校正时间点t1，imu传感器40相对于推定对象tgt的位置及姿势发生偏移，则从传感器坐标系＜m＞向区段坐标系＜s＞的变换矩阵变化为
ms
r#。此时，变换矩阵
ms
r#是由式(35)求出。由于如上文所述那样可假定为
se
r＝
ge
r，因而在推定对象tgt采取与原始位置的设定时间点t0相同的直立姿势的情况下，可获得式(36)的关系。因此，通过将从全局坐标系＜g＞向相机坐标系＜e＞的变换矩阵
ge
r的逆矩阵
eg
r、与从传感器坐标系＜m＞向相机坐标系＜e＞的变换矩阵
me
r相乘，从而可导出从传感器坐标系＜m＞向区段坐标系＜s＞的变换矩阵
ms
r#。
[0200]
ms
r#＝
se
r
t
·
me
r
…
(35)
[0201]
ms
r#＝
ge
r
t
·
me
r
[0202]
＝(
eg
r
t
)
t
·
me
r
[0203]
＝
eg
r
·
me
r
…
(36)
[0204]
若如所述那样获取从传感器坐标系＜m＞向区段坐标系＜s＞的变换矩阵
ms
r#，则校正部180基于变换矩阵
ms
r#，对从传感器坐标系向区段坐标系的变换规则进行校正。由此，可在原始位置的设定时间点t0之后的校正时间点t1，适当地进行与使用imu传感器40的姿势推定有关的校正。
[0205]
根据以上说明的第一实施方式，可适当地进行与使用imu传感器40的姿势推定有关的校正。
[0206]
＜第二实施方式＞
[0207]
以下，对第二实施方式进行说明。第二实施方式与第一实施方式相比，校正部180的处理内容不同。因此，以所述不同点为中心进行说明
[0208]
第二实施方式中，对推定对象tgt赋予有一个以上的第三标记mk3。第三标记mk3与第一标记mk1不同，表示轴图形，此轴图形表示区段坐标系的轴方向。另外，第二实施方式中，第二标记mk2并非必需结构，但通过存在第二标记mk2从而可期待精度的提高。
[0209]
图17为表示拍摄图像im2的一例的图。以拍摄图像im2中除了第一标记mk1以外还包含第三标记mk3的方式，来控制摄像装置50。图17的示例中拍摄到第二标记mk2。第三标记
mk3也例如以容易从拍摄图像中提取的对比度描画，具有矩形等二维形状。
[0210]
第三标记mk3的姿势符合区段坐标系。例如，第三标记mk3是以抵接于靠近推定对象tgt的骨盆或背骨等刚体的部分的方式，印刷或贴附于测量用装备30。校正部180基于拍摄图像im中的第一标记mk1及第三标记mk3的轴图形，对从传感器坐标系向区段坐标系的变换规则进行校正。
[0211]
结合与第一实施方式相同的定义来进行说明。在上文所述的原始位置的设定时间点t0、和其后的校正时间点t1，校正部180获取图17所示那样的拍摄图像im，基于第一标记mk1的顶点的位置而导出从传感器坐标系＜m＞向相机坐标系＜e＞的变换矩阵
me
r。另外，校正部180基于第三标记mk3的顶点的位置而导出第三标记mk3相对于摄像部的姿势，根据所导出的姿势而求出坐标系彼此所成的旋转角度，由此导出从区段坐标系＜s＞向相机坐标系＜e＞的变换矩阵
se
r。校正时间点t1的从传感器坐标系＜m＞向区段坐标系＜s＞的变换矩阵
ms
r#是由上文所述的式(35)直接求出。
[0212]
若如所述那样获取从传感器坐标系＜m＞向区段坐标系＜s＞的变换矩阵
ms
r#，则校正部180基于变换矩阵
ms
r#，对从传感器坐标系向区段坐标系的变换规则进行校正。由此，可在原始位置的设定时间点t0之后的校正时间点t1，适当地进行与使用imu传感器40的姿势推定有关的校正。
[0213]
根据以上所说明的第二实施方式，可适当地进行与使用imu传感器40的姿势推定有关的校正。
[0214]
＜第二实施方式的变形例＞
[0215]
第二实施方式中，校正部180基于拍摄图像im2所含的第三标记mk3，导出从区段坐标系＜s＞向相机坐标系＜e＞的变换矩阵
se
r。取而代之，校正部180也可通过分析拍摄图像从而导出推定对象tgt的区段的位置及姿势，由此导出从区段坐标系＜s＞向相机坐标系＜e＞的变换矩阵
se
r。例如，可利用根据脸的特征点来推定脸朝向的技术，推定区段中头部的位置及姿势。此时，摄像装置50若如飞行时间(time of flight，tof)相机那样能够测定距离，则可获取推定对象tgt的立体轮廓，因而合适。
[0216]
＜拍摄图像的获取方法的变形例＞
[0217]
以下，对使用无人机的方法以外的拍摄图像的获取方法进行说明。图18为用于对拍摄图像的获取方法的变形例(其一)进行说明的图。如图所示，例如也可在推定对象tgt经过的门等安装一个以上的摄像装置50a，对应于推定对象tgt经过而获取一个以上的拍摄图像。此时，摄像装置50a静止，因而可将全局坐标系＜g＞与相机坐标系＜e＞视为相同。因此，即便在不存在第三标记mk3的情况下，也可省略第二标记mk2。
[0218]
图19为用于对拍摄图像的获取方法的变形例(其二)进行说明的图。如图所示，例如也可对推定对象tgt装上安装于手腕带(wrist band)或脚腕带(ankle band)的一个以上的摄像装置50b(微相机环)，获取一个以上的拍摄图像。此时，优选存在第二标记mk2，而且合适的是在使摄像装置50b进行拍摄时指导推定对象tgt摆出规定的姿势。
[0219]
也可代替上文所述，而在地面或墙面、顶棚等安装一个以上的摄像装置，获取拍摄图像。
[0220]
以上，关于本发明的实施方式，使用实施方式进行了说明，但本发明不受这种实施方式的任何限定，可在不偏离本发明的主旨的范围内进行各种变形及替换。