动作信息处理装置制造方法

动作信息处理装置制造方法
【专利摘要】一种动作信息处理装置。提供一种能够评估与着眼点对应的康复的动作信息处理装置。实施方式的动作信息处理装置具备取得部、指定操作受理部、分析部以及显示控制部。取得部取得执行规定的动作的对象者的动作信息。指定操作受理部受理指定对象者的部位的操作。分析部对上述动作信息进行分析来求与上述指定的部位的活动相关的分析值。显示控制部显示基于与上述指定的部位的活动相关的分析值的显示信息。
【专利说明】动作信息处理装置
[0001]本申请主张2013年7月I日申请的日本专利申请号2013-138418以及2013年8月21日申请的日本专利申请号2013-171756的优先权，并在本申请中引用上述日本专利申请的全部内容。

【技术领域】
[0002]实施方式涉及动作信息处理装置。

【背景技术】
[0003]以往,在康复(rehabilitat1n)中，为了对由于疾病、外伤、或老化现象等各种原因产生的身心障碍、或具有先天性障碍的人提供良好的生活，进行由多位专家合作的辅助。例如，康复通过康复专家、康复护士、物理治疗师、职能治疗师、语言听觉治疗师、临床心理师、义肢矫具师、社会工作者(social worker)等多位专家进行合作的辅助。
[0004]另一方面，近年来，开发了将人物、物体的活动数字(digital)地进行记录的动作捕捉(mot1n capture)技术。作为动作捕捉技术的方式，例如，知道有光学式、机械式、磁性式、摄像(camera)式等。列举一个例子,知道有对人物佩戴标记(marker),通过摄像机等跟踪器(tracker)检测标记，并对检测到的标记进行处理，由此，将人物的活动数字地进行记录的摄像方式。另外，作为不使用标记以及跟踪器的方式，知道有利用红外线传感器，测量从传感器(sensor)到人物的距离，检测该人物的大小、骨格的各种活动从而数字地记录人物的活动的方式。作为利用这样的方式的传感器，例如，知道有Kinect (注册商标)。


【发明内容】

[0005]本发明要解决的问题在于，提供一种能够评估与着眼点对应的康复的动作信息处理装置。
[0006]实施方式的动作信息处理装置具备:取得部、指定操作受理部、分析部、以及显示控制部。取得部取得执行规定的动作的对象者的动作信息。指定操作受理部受理指定对象者的部位的操作。分析部对上述动作信息进行分析求得与上述指定的部位的活动相关的分析值。显示控制部显示基于与上述指定的部位的活动相关的分析值的显示信息。
[0007]根据实施方式的动作信息处理装置，能够评估与着眼点对应的康复。

【专利附图】

【附图说明】
[0008]图1是表示第I实施方式所涉及的动作信息处理装置的构成的一个例子的图。
[0009]图2A是用于说明第I实施方式所涉及的动作信息生成部的处理的图。
[0010]图2B是用于说明第I实施方式所涉及的动作信息生成部的处理的图。
[0011]图2C是用于说明第I实施方式所涉及的动作信息生成部的处理的图。
[0012]图3是表示通过第I实施方式所涉及的动作信息生成部生成的骨格信息的一个例子的图。
[0013]图4是表示第I实施方式所涉及的动作信息处理装置的详细的构成的一个例子的图。
[0014]图5是表示通过第I实施方式涉及的动作信息存储部存储的动作信息的一个例子的图。
[0015]图6A是表示通过第I实施方式涉及的显示控制部显示的显示信息的一个例子的图。
[0016]图6B是表示通过第I实施方式涉及的显示控制部显示的显示信息的一个例子的图。
[0017]图7是用于说明第I实施方式涉及的实时(real time)显示的设定的一个例子的图。
[0018]图8A是用于说明第I实施方式涉及的角度测量的设定的一个例子的图。
[0019]图SB是用于说明第I实施方式涉及的角度测量的设定的一个例子的图。
[0020]图9A是用于说明第I实施方式涉及的分析部进行的角度测量的一个例子的图。
[0021]图9B是用于说明第I实施方式涉及的分析部进行的角度测量的一个例子的图。
[0022]图9C是用于说明第I实施方式涉及的分析部进行的角度测量的一个例子的图。
[0023]图9D是用于说明第I实施方式涉及的分析部进行的角度测量的一个例子的图。
[0024]图10是用于说明第I实施方式涉及的分析部进行的脚的着地点的计算的一个例子的图。
[0025]图11是用于说明第I实施方式涉及的设定文件(file)的保存和读入的一个例子的图。
[0026]图12是表示第I实施方式涉及的辅助应用程序(applicat1n)的一个例子的图。
[0027]图13是表示第I实施方式涉及的动作信息处理装置进行的处理的步骤的流程图(flowchart)。
[0028]图14是表示通过第2实施方式涉及的显示控制部显示的膝盖微动的分析结果的一个例子的图。
[0029]图15是表示第2实施方式涉及的动作信息处理装置进行的膝盖微动的分析处理的步骤的流程图。
[0030]图16A是用于说明通过第3实施方式涉及的分析部参照的膝盖的内翻外翻角度的参考信息的一个例子的图。
[0031]图16B是用于说明第3实施方式涉及的分析部进行的膝盖的角度计算的图。
[0032]图17是表示第3实施方式涉及的动作信息处理装置进行的角度的计算处理的步骤的流程图。
[0033]图18是用于说明第4实施方式涉及的动作信息处理装置进行的处理内容的一个例子的图。
[0034]图19是用于说明第5实施方式涉及的分析部进行的处理的一个例子的图。
[0035]图20是表示通过第5实施方式涉及的显示控制部显示的角度的分析结果的一个例子的图。
[0036]图21是表示第6实施方式涉及的线指定的一个例子的图。
[0037]图22是表示第7实施方式涉及的动作信息处理装置的详细的构成的一个例子的图。
[0038]图23A是用于说明第7实施方式涉及的设定部设定基准面信息的处理的图。
[0039]图23B是用于说明第7实施方式涉及的设定部设定基准面信息的处理的图。
[0040]图23C是用于说明第7实施方式涉及的设定部设定基准面信息的处理的图。
[0041]图24A是用于针对第7实施方式涉及的测量部使用前额面信息测量的指标值进行说明的图。
[0042]图24B是用于针对第7实施方式涉及的测量部使用前额面信息测量的指标值进行说明的图。
[0043]图24C是用于针对第7实施方式涉及的测量部使用前额面信息测量的指标值进行说明的图。
[0044]图24D是用于针对第7实施方式涉及的测量部使用前额面信息测量的指标值进行说明的图。
[0045]图24E是用于针对第7实施方式涉及的测量部使用前额面信息测量的指标值进行说明的图。
[0046]图24F是用于针对第7实施方式涉及的测量部使用前额面信息测量的指标值进行说明的图。
[0047]图24G是用于针对第7实施方式涉及的测量部使用前额面信息测量的指标值进行说明的图。
[0048]图24H是用于针对第7实施方式涉及的测量部使用前额面信息测量的指标值进行说明的图。
[0049]图25A是用于针对第7实施方式涉及的测量部使用矢状面信息测量的指标值进行说明的图。
[0050]图25B是用于针对第7实施方式涉及的测量部使用矢状面信息测量的指标值进行说明的图。
[0051]图25C是用于针对第7实施方式涉及的测量部使用矢状面信息测量的指标值进行说明的图。
[0052]图2?是用于针对第7实施方式涉及的测量部使用矢状面信息测量的指标值进行说明的图。
[0053]图25E是用于针对第7实施方式涉及的测量部使用矢状面信息测量的指标值进行说明的图。
[0054]图26A是用于针对第7实施方式涉及的测量部使用水平面信息测量的指标值进行说明的图。
[0055]图26B是用于针对第7实施方式涉及的测量部使用水平面信息测量的指标值进行说明的图。
[0056]图27是用于说明第7实施方式涉及的显示控制部的处理的图。
[0057]图28是表示第7实施方式涉及的动作信息处理装置进行的处理步骤的流程图。
[0058]图29A是用于针对第8实施方式涉及的测量部使用基准线信息测量的指标值进行说明的图。
[0059]图29B是用于针对第8实施方式涉及的测量部使用基准线信息测量的指标值进行说明的图。
[0060]图30是表示第9实施方式涉及的动作信息处理装置的详细的构成例的框图。
[0061]图31是用于说明第9实施方式涉及的设定部的处理的图。
[0062]图32A是用于说明第9实施方式涉及的检测空间设定部的处理的图。
[0063]图32B是用于说明第9实施方式涉及的检测空间设定部的处理的图。
[0064]图33是用于说明第9实施方式涉及的检测部的处理的图。
[0065]图34是用于说明第9实施方式涉及的计算部的处理的图。
[0066]图35是用于说明第9实施方式涉及的测量部测量指标值的处理的图。
[0067]图36A是用于说明第9实施方式所涉及的测量部测量其他的转动方向的运动的指标值的情况的图。
[0068]图36B是用于说明第9实施方式涉及的测量部测量其他的转动方向的运动的指标值的情况的图。
[0069]图36C是用于说明第9实施方式涉及的测量部测量其他的转动方向的运动的指标值的情况的图。
[0070]图36D是用于说明第9实施方式涉及的测量部测量其他的转动方向的运动的指标值的情况的图。
[0071]图36E是用于说明第9实施方式涉及的测量部测量其他的转动方向的运动的指标值的情况的图。
[0072]图36F是用于说明第9实施方式涉及的测量部测量其他的转动方向的运动的指标值的情况的图。
[0073]图36G是用于说明第9实施方式涉及的测量部测量其他的转动方向的运动的指标值的情况的图。
[0074]图36H是用于说明第9实施方式涉及的测量部测量其他的转动方向的运动的指标值的情况的图。
[0075]图361是用于说明第9实施方式涉及的测量部测量其他的转动方向的运动的指标值的情况的图。
[0076]图36J是用于说明第9实施方式涉及的测量部测量其他的转动方向的运动的指标值的情况的图。
[0077]图36K是用于说明第9实施方式涉及的测量部测量其他的转动方向的运动的指标值的情况的图。
[0078]图37A是用于说明第11实施方式涉及的动作信息处理装置进行的处理的一个例子的图。
[0079]图37B是用于说明第11实施方式涉及的动作信息处理装置进行的处理的一个例子的图。
[0080]图38是用于说明适用于第12实施方式涉及的服务提供装置时的一个例子的图。

【具体实施方式】
[0081]以下，参照附图，说明实施方式涉及的动作信息处理装置。另外，以下说明的动作信息处理装置可以作为动作信息处理装置单体来使用，或者，例如，也可以编入病历系统(chart system)、康复部门系统等系统来使用。
[0082](第I实施方式)
[0083]图1是表示第I实施方式涉及的动作信息处理装置100的构成的一个例子的图。例如，第I实施方式涉及的动作信息处理装置100是辅助在医疗机关、住宅、办公场所等中进行的康复的装置。在此，所谓“康复”是指用于提高障碍、慢性疾病、老年病等、治疗时间长的患者的潜在能力，恢复、促进生活功能乃至社会功能的技术、方法。作为该技术、方法，例如，包含用于恢复、促进生活功能、社会功能的功能训练等。在此，作为功能训练，例如，能够列举出步行训练、关节可动区训练等。另外，将成为康复的对象的人记为“对象者”。该对象者例如是病人、伤者、老年人、残疾人等。另外，当进行康复时，将帮助对象者的人记为“助手”。该助手例如是从业于医疗机关的医师、物理治疗师、护士等医疗从业者、在家中护理对象者的护理者、家人、友人等。另外，康复简称为“康复(rehab)”。
[0084]如图1所示，在第I实施方式中，动作信息处理装置100与动作信息收集部10连接。
[0085]动作信息收集部10检测进行康复的空间中的人物、物体等的动作，收集表示人物、物体等的动作的动作信息。另外，针对动作信息，在说明后述的动作信息生成部14的处理时详述。另外，作为动作信息收集部10，例如，使用Kinect (注册商标)。
[0086]如图1所示，动作信息收集部10具有彩色(color)图像收集部11、距离图像收集部12、声音识别部13、以及动作信息生成部14。另外，图1所示的动作信息收集部10的构成仅仅是一个例子，实施方式并不限定于此。
[0087]彩色图像收集部11对进行康复的空间中的人物、物体等被拍摄体进行摄影，收集彩色图像信息。例如，彩色图像收集部11由光接收元件检测由被拍摄体表面反射的光，将可见光转换成电信号。并且，彩色图像收集部11通过将该电信号转换成数字数据，来生成与摄影范围对应的I帧(frame)的彩色图像信息。在该I帧量的彩色图像信息中，例如，包含摄影时刻信息、和将RGB (Red Green Blue)值与该I帧包含的各像素建立对应的信息。彩色图像收集部11通过根据分别检测到的可见光生成连续的多帧的彩色图像信息，对摄影范围进行动画摄影。另外，通过彩色图像收集部11生成的彩色图像信息也可以作为将各像素的RGB值配置于位图(bit map)得到的彩色图像来输出。另外，作为光接收元件，例如，彩色图像收集部 11 具有 CMOS (Complementary Metal Oxide Semiconductor)、CCD (ChargeCoupled Device)。
[0088]距离图像收集部12对进行康复的空间中的人物、物体等被拍摄体进行摄影，收集距离图像信息。例如，距离图像收集部12向周围照射红外线，由光接收元件检测照射波在被拍摄体表面反射的反射波。并且，距离图像收集部12根据照射波与该反射波的相位差、从照射到检测的时间，来求被拍摄体与距离图像收集部12的距离，生成与摄影范围对应的I帧的距离图像信息。在该I帧量的距离图像信息中，例如，包含摄影时刻信息、和针对摄影范围所包含的各像素，将该像素对应的被拍摄体与图像收集部12的距离建立对应而得的信息。距离图像收集部12通过根据分别检测到的反射波生成连续多帧的距离图像信息，从而对摄影范围进行动画摄影。另外，通过距离图像收集部12生成的距离图像信息也可以作为将与各像素的距离对应的颜色的浓淡配置于位图而得到的距离图像来输出。另外，例如，距离图像收集部12具有作为光接收元件的CMOS或CCD。该光接收元件与彩色图像收集部11所使用的光接收元件可以被共用。另外，例如，通过距离图像收集部12计算的距离的单位例如是米[m]。
[0089]声音识别部13收集周围的声音,进行音源的方向确定以及声音识别。声音识别部13具有具备多个麦克风(microphone)的微阵列(microarray),进行波束成形(beamforming)。波束成形是选择性地收集来自确定的方向的声音的技术。例如，声音识别部13通过使用微阵列的波束成形，来确定音源的方向。另外，声音识别部13使用已知的声音识别技术，根据收集到的声音来识别单词。即，例如，声音识别部13将通过声音识别技术识别出的单词、发出该单词的方向以及识别该单词的时刻建立对应得到的信息生成为声音识别结果来。
[0090]动作信息生成部14生成表示人物、物体等的动作的动作信息。该动作信息例如通过将人物的动作(肢体行为(gesture))作为多个姿势(姿态(pose))的连续来捕捉而生成。对概要进行说明，首先，动作信息生成部14通过使用人体图案(pattern)的图案匹配(pattern matching),根据通过距离图像收集部12生成的距离图像信息,得到形成人体的骨格的各关节的坐标。根据距离图像信息得到的各关节的坐标是由距离图像的坐标系(以下，称为“距离图像坐标系”)表示的值。因此，接着，动作信息生成部14将距离图像坐标系中的各关节的坐标转换成由进行康复的三维空间的坐标系(以下，称为“世界坐标系”)表示的值。由该世界坐标系表示的各关节的坐标是I帧量的骨格信息。另外，多帧量的骨格信息是动作信息。以下，具体地说明第I实施方式涉及的动作信息生成部14的处理。
[0091]图2A至图2C是用于说明第I实施方式涉及的动作信息生成部14的处理的图。在图2A中，示出通过距离图像收集部12生成的距离图像的一个例子。另外，在图2A中，为了便于说明，示出由画线表现的图像，实际的距离图像是由与距离对应的颜色的浓淡来表现的图像等。在该距离图像中，各像素具有将距离图像的左右方向的“像素位置X”、距离图像的上下方向的“像素位置Y”、与该像素对应的被拍摄体与距离图像收集部12的“距离Z”建立对应而得的三维的值。以下，由该三维的值(X，Y，Z)表示距离图像坐标系的坐标的值。
[0092]在第I实施方式中，例如，动作信息生成部14通过学习来预先存储与各种姿势对应的人体图案。每当通过距离图像收集部12生成距离图像信息时，动作信息生成部14便取得所生成的各帧的距离图像信息。并且，动作信息生成部14对所取得的各帧的距离图像信息进行使用人体图案的图案匹配。
[0093]在此，针对人体图案进行说明。在图2B中，示出人体图案的一个例子。在第I实施方式中，人体图案是与距离图像信息的图案匹配所使用的图案，因此，由距离图像坐标系表现，另外，与距离图像所描绘出的人物相同，具有人体的表面的信息(以下，称为“人体表面”)。例如，人体表面与该人物的皮肤、衣服的表面对应。另外，如图2B所示，人体图案具有形成人体的骨格的各关节的信息。即，在人体图案中，人体表面与各关节的相对的位置关系是已知的。
[0094]在图2B所示的例子中，人体图案具有从关节2a到关节2t的20个点的关节的信息。其中，关节2a与头部对应，关节2b与两肩的中央部对应，关节2c与腰对应，关节2d与臀部的中央部对应。另外，关节2e与右肩对应，关节2f与右肘对应，关节2g与右手腕对应，关节2h与右手对应。另外，关节2i与左肩对应，关节2j与左肘对应，关节2k与左手腕对应，关节21与左手对应。另外，关节2m与右臀部对应，关节2n与右膝盖对应，关节2o与右脚踝对应，关节2p与右脚的跗骨对应。另外，关节2q与左臀部对应，关节2r与左膝盖对应，关节2s与左脚踝对应，关节2t与左脚的跗骨对应。
[0095]另外，在图2B中，说明了人体图案具有20个点的关节的信息的情况，但实施方式并不限定于此，关节的位置以及数量也可以由操作者任意地设定。例如，当只捕捉四肢的活动的变化时，也可以不取得关节2a至关节2d中，关节2b以及关节2c的信息。另外，当详细地捕捉右手的活动的变化时，除了关节2h之外，也可以新设定右手指的关节。另外，图2B的关节2a、关节2h、关节21、关节2p、关节2t与作为骨的末端部分的所谓的关节不同，但为表示骨的位置以及朝向的重要的点，因此，为了便于说明，在此，将其作为关节来说明。
[0096]动作信息生成部14使用该人体图案来进行与各帧的距离图像信息的图案匹配。例如，动作信息生成部14通过对图2B所示的人体图案的人体表面和图2A所示的距离图像进行图案匹配，来从距离图像信息中，提取某一姿势的人物。这样，动作信息生成部14得到距离图像所描绘出的人物的人体表面的坐标。另外，如上所述，在人体图案中，人体表面与各关节的相对的位置关系是已知的。因此，动作信息生成部14根据距离图像所描绘出的人物的人体表面的坐标，计算该人物内的各关节的坐标。这样，如图2C所示，动作信息生成部14根据距离图像信息，取得形成人体的骨格的各关节的坐标。另外，在此得到的各关节的坐标是距离坐标系的坐标。
[0097]另外，当进行图案匹配时，动作信息生成部14也可以辅助地使用表示各关节的位置关系的信息。在表示各关节的位置关系的信息中，例如，包含关节彼此的连结关系(例如，连结“关节2a和关节2b”等)、各关节的可动区。关节是连结2个以上的骨的部位。根据姿势的变化，骨与骨所形成的角发生变化，另外，根据关节，其可动区不同。例如，可动区由各关节连结的骨彼此所形成的角的最大值以及最小值等来表示。例如，当学习人体图案时，动作信息生成部14还学习各关节的可动区，与各关节建立对应地来存储。
[0098]接着，动作信息生成部14将距离图像坐标系中的各关节的坐标转换成由世界坐标系表示的值。所谓世界坐标系是指进行康复的三维空间的坐标系，例如，是以动作信息收集部10的位置为原点，设水平方向为X轴，设铅直方向(垂直方向)为y轴，设与Xy平面正交的方向为z轴的坐标系。另外，有时将该z轴方向的坐标的值称为“深度”。
[0099]在此，针对从距离图像坐标系向世界坐标系转换的处理进行说明。在第I实施方式中，假设动作信息生成部14预先存储用于从距离图像坐标系向世界坐标系转换的转换式。例如，该转换式以距离图像坐标系的坐标、以及与该坐标对应的反射光的入射角为输入，输出世界坐标系的坐标。例如，动作信息生成部14将某一关节的坐标(XI，Yl, Zl)，以及与该坐标对应的反射光的入射角输入该转换式，将某一关节的坐标(XI，Yl, Zl)转换成世界坐标系的坐标(xl，yl，zl)。另外，距离图像坐标系的坐标与反射光的入射角的对应关系是已知的，因此，动作信息生成部14能够将与坐标(XI，Yl, Zl)对应的入射角输入转换式。另外，在此，说明了动作信息生成部14将距离图像坐标系的坐标转换成世界坐标系的坐标的情况，但还能够将世界坐标系的坐标转换成距离坐标系的坐标。
[0100]并且，动作信息生成部14根据由该世界坐标系表示的各关节的坐标生成骨格信息。图3是表示通过第I实施方式所涉及的动作信息生成部14生成的骨格信息的一个例子的图。各帧的骨格信息包含该帧的摄影时刻信息和各关节的坐标。例如，如图3所示，动作信息生成部14生成将关节识别信息和坐标信息建立对应的骨格信息。另外，在图3中，摄影时刻信息省略图示。关节识别信息是用于识别关节的识别信息，其被预先设定。例如，关节识别信息“2a”与头部对应，关节识别信息“2b”与两肩的中央部对应。针对其他的关节识别信息也相同，各关节识别信息分别表示对应的关节。另外，坐标信息由世界坐标系表示各帧中的各关节的坐标。
[0101]在图3的第一行，将关节识别信息“2a”与坐标信息“ (xl,yl,zl) ”建立对应。即，图3的骨格信息表示在某一帧中，头部存在于坐标(xl，yl，zl)的位置这一情况。另外，在图3的第2行，将关节识别信息“2b”和坐标信息“ (x2,y2,z2) ”建立对应。S卩，图3的骨格信息表示在某一帧中，两肩的中央部存在于坐标(x2，y2，z2)的位置的情况。另外，针对其他的关节也相同，表示在某一帧中各个关节位于由各个坐标表示的位置的情况。
[0102]这样，每当从距离图像收集部12取得各帧的距离图像信息时，动作信息生成部14对各帧的距离图像信息进行图案匹配，从距离图像坐标系转换成世界坐标系，从而，生成各帧的骨格信息。并且，动作信息生成部14将所生成的各帧的骨格信息向动作信息处理装置100输出，向后述的动作信息存储部131存储。
[0103]另外，动作信息生成部14的处理并不限定于上述的方法。例如，在上述中，说明了动作信息生成部14使用人体图案进行图案匹配的方法，但实施方式并不限定于此。例如，也可以是代替人体图案，或者与人体图案一起，使用按照部位而不同的图案进行图案匹配的方法。
[0104]另外，例如，在上述中，说明了动作信息生成部14根据距离图像信息得到各关节的坐标的方法，但实施方式并不限定于此。例如，也可以是动作信息生成部14使用彩色图像信息和距离图像信息来取得各关节的坐标的方法。此时，例如，动作信息生成部14通过在彩色图像的坐标系表现的人体图案和彩色图像信息进行图案匹配，来根据彩色图像信息得到人体表面的坐标。在该彩色图像的坐标系中，不包含在距离图像坐标系中所谓的“距离Z”的信息。因此，例如，动作信息生成部14根据距离图像信息得到该“距离Z”的信息，通过使用这2个信息的计算处理，得到各关节的世界坐标系的坐标。
[0105]另外，动作信息生成部14将通过彩色图像收集部11生成的彩色图像信息、通过距离图像收集部12生成的距离图像信息以及通过声音识别部13输出的声音识别结果根据需要适当地向动作信息处理装置100输出，保存在后述的动作信息存储部131中。其中，彩色图像信息的像素位置以及距离图像信息的像素位置能够根据彩色图像收集部11以及距离图像收集部12的位置以及摄影方向而预先建立对应。因此，彩色图像信息的像素位置以及距离图像信息的像素位置还能够与通过动作信息生成部14计算的世界坐标系建立对应。另外，能够通过使用该对应和由距离图像收集部12计算出的距离[m]，求身高、身体的各部分的长度(臂的长度或腹部的长度)，或者求在彩色图像上指定的2像素间的距离。另外，同样地，彩色图像信息的摄影时刻信息以及距离图像信息的摄影时刻信息也能够预先建立对应。另外，动作信息生成部14参照声音识别结果与距离图像信息，如果在某一时刻发出被声音识别的单词的方向的附近存在关节2a，则能够输出为包含该关节2a的人物所发出的单词。另外，动作信息生成部14针对表示各关节的位置关系的信息，也根据需要适当地向动作信息处理装置100输出，保存在后述的动作信息存储部131。
[0106]另外，动作信息生成部14使用作为世界坐标系的z轴方向的坐标值的深度，生成与摄影范围对应的I帧的深度图像信息。在该I帧量的深度图像信息中，例如，包含摄影时刻信息、和针对摄影范围所包含的各像素，将该像素对应的深度建立对应的信息。换而言之，深度图像信息是代替与距离图像信息的各像素建立对应的距离信息而将深度信息建立对应而得的信息，能够以与距离图像信息相同的距离图像坐标系表示各像素位置。动作信息生成部14将生成的深度图像信息向动作信息处理装置100输出，保存于后述的动作信息存储部131。另外，深度图像信息也可以作为将与各像素的深度对应的颜色的浓淡配置于位图的深度图像来输出。
[0107]另外，在此，说明了通过动作信息收集部10检测一个人物(对象者)的动作的情况，但实施方式并不限定于此。只要包含于动作信息收集部10的摄影范围内(检测范围)，动作信息收集部10也可以检测多个人物(对象者)的动作。另外，当在同一帧的距离图像信息对多个人物进行摄影时，动作信息收集部10将根据同一帧的距离图像信息生成的多个人物的骨格信息建立对应，将其作为动作信息向动作信息处理装置100输出。
[0108]另外，动作信息收集部10的构成并不限定于上述的构成。例如，当通过光学式、机械式、磁性式等、其他的运动捕捉检测人物的动作来生成动作信息时，动作信息收集部10也可以不一定具有距离图像收集部12。此时，动作信息收集部10具有为了检测人物的动作而佩戴于人体的标记和检测标记的传感器作为运动传感器(mot1n sensor)。并且，动作信息收集部10使用运动传感器检测人物的动作生成动作信息。另外，动作信息收集部10使用通过彩色图像收集部11摄影得到的图像所包含的标记的位置，将彩色图像信息的像素位置与动作信息的坐标建立对应，并根据需要适当地向动作信息处理装置100输出。另外，例如，当不将声音识别结果向动作信息处理装置100输出时，动作信息收集部10也可以不具有声音识别部13。
[0109]另外，在上述的实施方式中，动作信息收集部10输出世界坐标系的坐标作为骨格信息，但实施方式并不限定于此。例如，动作信息收集部10输出转换前的距离图像坐标系的坐标，从距离图像坐标系向世界坐标系的转换也可以根据需要在动作信息处理装置100侧进行。
[0110]返回到图1的说明。动作信息处理装置100使用从动作信息收集部10输出的动作信息，进行用于辅助康复的处理。具体而言，动作信息处理装置100在使用通过动作信息收集部10收集到的动作信息辅助康复时，能够简化与着眼点对应的辅助(康复的评估)。
[0111]如上所述，以往，进行各种训练作为康复的功能训练。例如，进行步行训练、关节可动区训练、下蹲(squat)训练、跳跃(jump)训练等。另外，例如，在步行训练中，对象者的疾病(例如，整形外科疾病、脑部疾病等)或所负责的医疗从业者等各不同。即，在康复的现场，根据各种状况，康复中的着眼点不同。因此，在辅助康复时，并不是进行统一的辅助，而是进行与着眼点对应的灵活的辅助是很重要的。鉴于此，本实施方式涉及的动作信息处理装置100构成为能够简单地进行与着眼点对应的辅助。
[0112]例如，动作信息处理装置100是计算机(computer)、工作站(workstat1n)等信息处理装置，如图1所示，具有输出部110、输入部120、存储部130、以及控制部140。
[0113]输出部110输出用于辅助使用实施康复的对象者的动作信息的康复的各种信息。例如，输出部110输出后述的控制部140进行的各种处理结果。另外，例如，输出部110显示用于操作动作信息处理装置100的操作者使用输入部120输入各种请求的⑶I (GraphicalUser Interface),或者显示在动作信息处理装置100中生成的输出图像等显示信息，或者输出警告音。例如，输出部I1是显不器(monitor)、扬声器(speaker)、头戴式耳机(headphone)、耳机(headset)的头戴式耳机部分等。另外，输出部110也可以是眼镜型显示器(display)或头戴式显示器(head-mounted display)等、佩戴于利用者的身体的方式的显不器。
[0114]输入部120受理用于执行与着眼点对应的康复的辅助的各种信息的输入。例如，输入部120从动作信息处理装置100的操作者受理各种请求(例如，各种信息的选择请求、用于在GUI上执行测量的测量请求等)的输入，并将受理的各种请求向动作信息处理装置100转送。另外，输入部120通过受理用于指定对象者的部位的操作，来指定对象者的部位。例如，输入部120是鼠标(mouse)、键盘(keyboard)、触摸指令屏(touch commanddisplay)、轨迹球(trackball)、麦克风、耳机的麦克风部分等。另外,输入部120也可以是血压计、心率计、体温计等取得生物体信息的传感器。另外，输入部120还称为指定操作受理部。
[0115]存储部130 例如是 RAM (Random Access Memory)、闪存器(Flash Memory)等半导体存储器元件、硬盘装置或光盘装置等存储装置。另外，控制部140能够通过ASIC (Applicat1n Specific Integrated Circuit)或 FPGA (Field Programmable GateArray)等集成电路、或者CPU (Central Processing Unit)执行规定的程序(program)来实现。
[0116]以上，针对第I实施方式涉及的动作信息处理装置100的构成进行了说明。根据该构成，第I实施方式涉及的动作信息处理装置100通过以下详细地说明的构成，能够评估与着眼点对应的康复。在此，本发明涉及的动作信息处理装置100能够通过简化与着眼点对应的辅助，来评估与着眼点对应的康复。另外，本发明涉及的动作信息处理装置100能够通过评估各种康复，来评估与着眼点对应的康复。在以下的实施方式中，在第I实施方式?第6实施方式中，针对简化与着眼点对应的辅助的动作信息处理装置100进行说明，在第7实施方式?第10实施方式中，针对评估各种康复的动作信息处理装置100进行说明。并且，在第11实施方式中，针对对这些装置进行组合的动作信息处理装置100进行说明。
[0117]首先，针对简化与着眼点对应的辅助的动作信息处理装置100的实施方式进行了说明。另外，在以下的实施方式中，作为辅助的对象以康复的步行训练的情况为一个例子进行说明。图4是表示第I实施方式涉及的动作信息处理装置100的详细构成的一个例子的图。首先，针对动作信息处理装置100中的存储部130进行说明。如图4所示，在动作信息处理装置100中，例如，存储部130具备动作信息存储部131和设定文件存储部132。
[0118]动作信息存储部131存储通过动作信息收集部10收集到的各种信息。具体而言，动作信息存储部131存储通过动作信息生成部14生成的动作信息。更具体而言，动作信息存储部131存储通过动作信息生成部14生成的按每一帧的骨格信息。在此，还能够将通过动作信息存储部131、动作信息生成部14输出的彩色图像信息、距离图像信息以及声音识别结果进一步按每一帧建立对应来存储。
[0119]图5是表示通过第I实施方式涉及的动作信息存储部131存储的动作信息的一个例子的图。如图5所示，动作信息存储部131按每一姓名，存储将姓名编号、实施日、动作信息建立对应的动作信息。在此，所谓“姓名编号”是指用于唯一地确定对象者的识别符号，按每一姓名赋予。所谓“实施日”是指对象者实施步行训练的日期时间。所谓“动作信息”是指通过动作信息收集部10收集到的信息。
[0120]例如，如图5所示，动作信息存储部131存储“姓名:A、姓名编号:1、实施日:20120801 —1、动作信息:彩色图像信息，距离图像信息、声音识别结果、骨格信息、.”。作为“姓名编号”为“I”的“姓名:A”的人物在“2012年”的“8月I日”实施的“第I次”的步行训练中的动作信息，上述的信息表示存储有包含“彩色图像信息”、“距离图像信息”、“声音识别结果”、“骨格信息”的动作信息。
[0121]在此，在图5所示的动作信息中，将执行步行训练时摄影得到的所有的各帧的“彩色图像信息”、“距离图像信息”、“声音识别结果”以及“骨格信息”按照时间序列的顺序与时间建立对应来存储。
[0122]另外，如图5所示，动作信息存储部131存储“姓名:A、姓名编号:1、实施日:20120801 — 2、动作信息:彩色图像信息、距离图像信息、声音识别结果、骨格信息、.”。即，动作信息存储部131也同样存储“姓名:A”的人物在“2012年”的“8月I日”实施的“第2次”的步行训练中的动作信息。
[0123]另外，如图5所示，动作信息存储部131针对“姓名:B、姓名编号:2”的人物，也存储包含“彩色图像信息”、“距离图像信息”、“声音识别结果”以及“骨格信息”的动作信息。这样，动作信息存储部131将按每个对象者收集到的步行训练的动作信息与各个对象者建立对应来存储。另外，图5所示的动作信息仅仅是一个例子。即，动作信息存储部131能够将图5所示的“彩色图像信息”、“距离图像信息”、“声音识别结果”以及“骨格信息”以外的信息进一步建立对应来存储。另外，例如，在动作信息收集部10不具有声音识别部13时，存储不包含声音识别结果的信息。
[0124]另外，在动作信息所包含的“彩色图像信息”以及“距离图像信息”中，包含BITMAP、JPEG、其他二元(binary)形式的图像数据、或者向该图像数据(data)的链接(link)等。另外，在动作信息所包含的“声音识别结果”中，除了上述的识别信息之外，也可以包含声音数据本身、向识别信息或者声音数据的链接。
[0125]设定文件存储部132存储通过后述的控制部140保存的设定文件。具体而言，设定文件存储部132存储按每个着眼点，将取得的动作信息、分析内容等建立对应的设定文件。另外，针对设定文件的细节，之后详述。
[0126]接着，针对动作信息处理装置100的控制部140的细节进行说明。如图4所示，在动作信息处理装置100中，例如，控制部140具备取得部141、分析部142、以及显示控制部143。
[0127]取得部141取得执行规定的动作的对象者的动作信息。具体而言，取得部141取得通过动作信息收集部10收集，并通过动作信息存储部131存储的动作信息。例如，取得部141取得由动作信息存储部131按每一帧存储的彩色图像信息、距离图像信息、声音识别结果以及骨格信息等。
[0128]在此，取得部141从动作信息存储部131取得通过后述的显示控制部143的控制而显示于输出部I1的显示信息所包含的由指定部指定的动作信息。例如，取得部141取得通过显示控制部143的控制经由显示的⑶I而指定的位置的动作信息。另外，针对该处理之后详述。
[0129]分析部142使用通过取得部141取得的动作信息执行各种分析。具体而言，分析部142对动作信息进行分析求得与指定的部位的活动相关的分析值。更具体而言，分析部142对通过后述的显示控制部143的控制而显示在输出部110的显示信息所包含的与由指定部受理的指定操作对应的状态信息进行分析。例如，分析部142使用通过显示控制部143的控制经由显示的GUI指定的位置的动作信息，对实施步行训练的对象者的步行的状态进行分析。另外，针对分析部142进行的分析的细节后述。
[0130]显示控制部143显示与基于指定的部位的活动相关的分析值的显示信息。具体而言，显示控制部143以使表示通过分析部分析的分析结果(分析值)的显示信息显示于输出部110的方式进行控制。另外，显示控制部143以使显示使用由取得部141取得的动作信息表示的对象者的状态信息中的、包含指定部的显示信息的方式进行控制，上述指定部受理用于指定在输出部110中显示的状态信息的指定操作。具体而言，显示控制部143以使在康复训练中，将用于指定对象者、医疗从业者等操作者着眼的着眼点的显示信息(用于指定对象者的部位的信息)显示于输出部110的方式进行控制。例如，显示控制部143以使作为用于指定对象者的部位的信息显示在对象者的图像信息以及人型的信息中的至少一方配置了指定部的信息的方式进行控制。
[0131]图6A以及图6B是表示通过第I实施方式涉及的显示控制部143显示的显示信息的一个例子的图。在此，在图6A中，示出通过显示控制部143显示的人型的一个例子。另夕卜，在图6B中，示出包含通过显示控制部143显示的人型的窗口(window)的一个例子。例如，如图6A所示，显示控制部143使对人型50配置了多个指定部51的显示信息显示于输出部110。另外，人型50并不限定于图示的人型，还能够使用各种人型。
[0132]列举一个例子，显示控制部143使图6A所示的显示信息显示于输出部110。在此，操作者通过经由输入部120指定显示于输出部110的显示信息所包含的指定部51，从而分析部142对所指定的位置处的各种信息进行分析。在此，图6A的显示信息所包含的指定部51例如与通过动作信息收集部10识别的关节的位置对应。即，分析部142使用通过动作信息收集部10收集到的动作信息中的与所指定的指定部51对应的位置的关节的动作信息来对各种信息进行分析。
[0133]并且，作为包含人型的窗口，例如，如图6B所示，显示控制部143针对实时显示的设定、速度测量的设定、从上方观察到的步行影像(image)的设定、角度测量的设定等，使包含分别对应的人型的窗口显示于输出部110。在此，能够新追加配置于人型的指定部，或者改变位置。即，输入部120受理用于在人型的信息的任意的位置配置指定部的操作。并且，显示控制部143以使显示在由受理装置受理的位置配置了指定部的显示信息的方式进行控制。
[0134]例如，如图6B的左上方的人型所示，还能够对人型的上半身的中心新追加指定部52。另外，图示的各指定部能够移动到任意的位置。例如，操作者能够选择经由输入部120移动的指定部，将使用输入部110的光标键(cursor key)选择的指定部移动到所希望的位置，或者将使用配置于窗口内的箭头键(未图示)选择的指定部移动到所希望的位置。或者，还能够通过对想移动的指定部执行拖(drag)&放(drop),来将指定部移动到所希望的位置。在此，操作者例如能够通过将指定部移动、追加到脚尖、或重心等具有医学意义的位置，来提高分析部142进行的分析的可靠性。
[0135]以下，针对基于图6B所示的人型的设定进行说明。首先，针对实时显示的设定进行说明。如图6B所示，在实时显示的设定中，能够选择“点指定”和“线指定”，另外，能够选择“全身骨格描绘”。即，在配置于人型的指定部，以人型的信息中的规定的位置由点状以及线状中的至少一方指定操作的方式配置于人型的信息。在此，使用图7针对实时显示的设定的一个例子进行说明。图7是用于说明第I实施方式涉及的实时显示的设定的一个例子的图。
[0136]例如，如图7的(A)所示，在实时显示的设定的人型中，操作者经由输入部120选择“点指定”，另外，指定双肩以及上半身的中心的指定部。该情况下，如图7的(B)所示，显示控制部143对实施步行训练的对象者的图像，将与双肩对应的关节“2e”以及“2i”、和与上半身的中心对应的位置“2u”分别重叠来显示。另外，操作者在人型中，选择“线指定”，指定双肩以及左右的髋关节。此时，如图7的(B)所示，显示控制部143将连结关节“2e”与“2i”的线、以及连结关节“2m”与“2q”的线重叠于对象者的图像来显示。另外，当选择“全身骨格描绘”时，将所有的骨格信息(各关节以及所指定的位置、和连结关节的线)重叠于对象者的图像来显示。
[0137]即，在实时显示的设定中，例如，能够设定重叠于实施步行训练等的对象者的实时的图像的骨格信息。在此，如上所述，在本实施方式涉及的动作信息处理装置100中，能够将指定部的位置移动到任意的位置，或者能够追加新的指定部，但这些操作除了在人型中之外，还能够在图像中执行。例如，能够通过光标键等移动与图7的(A)所示的双肩对应的关节“2e”以及“2i”，或者在图像上追加新的点。
[0138]接着，针对速度测量的设定进行说明。如图6B所示，在速度测量的设定中，能够任意地指定各关节或上半身中心等各指定部。例如，当操作者经由输入部120指定配置于人型的指定部时，分析部142对所指定的指定部的速度进行分析。列举一个例子，当对速度进行分析时，分析部142计算在每一规定时间(例如，0.5秒)与对象者的所指定的指定部对应的坐标移动的移动距离[m]。并且，分析部142根据计算出的每一规定时间的移动距离，按每一规定时间计算对象者的移动速度[m/秒]。
[0139]在此，分析部142还能够将进行步行训练期间的对象者的移动速度的平均值作为对象者步行的速度来算出。列举一个例子，分析部142将操作者经由输入部120指示的部位(例如，任一关节、或者从各关节导出的身体的部位)的移动速度作为步行的速度来算出。在此，分析部142还能够使用计算出的速度来计算加速度。具体而言，分析部142使用通过上述的方法计算出的每单位时间的速度，来计算加速度(每单位时间的速度的变化率)。并且，显示控制部143将分析结果显示于输出部110。
[0140]接着，针对角度测量的设定进行说明。如图6B所示，在角度测量的设定中，能够选择“角度指定”、“与水平的角度指定”、“与垂直的角度指定”等。即，在角度测量的设定中，设定通过多个指定部形成的角度的测量和对象者相对基准的角度的测量。在此，使用图8A以及图SB针对角度测量的设定的一个例子进行说明。图8A以及SB是用于说明第I实施方式涉及的角度测量的设定的一个例子的图。在图8A中，示出设定由多个指定部形成的角度的测量情况的例子。另外，在图8B中，示出设定对象者相对基准的角度的测量情况的例子。
[0141]例如，在设定由多个指定部形成的角度的测量的情况下，如图8A所示，在角度测量的设定的人型中，操作者经由输入部120选择“角度指定”，另外，指定成为角度测量的对象的指定部。在此，例如，操作者通过接着指定三点的人型的指定部，来测量第二个指定的位置的角度。列举一个例子，当操作者依次指定图8A的关节“2e”、关节“2f ”、关节“2g”时，分析部142测量第2个指定的关节“2f”的角度。即，分析部142测量连结关节“2e”与关节“2f”的线(骨)和连结关节“2f”与关节“2g”的线(骨)所形成的角度。
[0142]另外，设定由多个指定部形成的角度的测量情况的设定方法并不限定于上述的例子，还能够通过各种方法来设定。例如，操作者也可以只指定成为角度测量的对象的指定部。列举一个例子，也可以通过只指定与右肘对应的关节“2f”，从而使分析部142测量连结关节“2e”与关节“2f”的线(骨)和连结关节“2f”与关节“2g”的线(骨)所形成的角度。
[0143]另外，也可以测量所指定的3点的指定部的正中间的指定部的角度。即，例如，当操作者按照图8A的关节“2e”、关节“2g”、关节“2f”的顺序指定了指定部时，分析部142也可以测量与3个指定部中的2个指定部相邻的关节“2f”的角度。另外，所指定的3个指定部也可以不是相邻的3点。S卩，例如，当操作者按照图8A的关节“2e”、关节“2i”、关节“2k”的顺序指定了指定部时，分析部142也可以测量第2个指定的关节“2i”的角度。另外，所指定的指定部的数量并不限定于3个，也可以指定4个以上的指定部。
[0144]另一方面，当设定对象者相对基准的角度的测量时，如图SB所示，在角度测量的设定的人型中，例如，操作者经由输入部120选择“与水平的角度指定”，另外，指定成为角度测量的对象的指定部。在此，例如，操作者通过接着指定2点人型的指定部，来测量指定的位置相对基准的角度。列举一个例子，操作者在选择了 “与水平的角度指定”之后，当指定图8B的关节“2e”、关节“2i”时，分析部142测量连结关节“2e”与关节“2i”的线相对水平方向的角度。即，分析部142测量连结关节“2e”与关节“2f”的线(骨)和连接关节“2f”与关节“2g”的线(骨)所形成的角度。另外，当选择与垂直的角度指定时，也与上述相同地执行角度测量。
[0145]在此，针对基于分析部142的角度测量进行说明。图9A?图9D是用于说明第I实施方式涉及的分析部142进行的角度测量的一个例子的图。在图9A中，示出测量由多个指定部形成的角度情况的一个例子。另外，在图9B?图9D中，示出测量对于对象者相对基准的角度情况的一个例子。
[0146]例如，如图9A所示，分析部142计算连结与右肘对应的关节“2f”和与右手腕对应的关节“2g”的线(骨)相对连接与右肩对应的关节“2e”和与右肘对应的关节“2f”的线(骨)的角度“Θ1”。即，分析部142对对象者的右臂(右肘)的角度进行分析。此时，分析部142计算通过与规定的帧中的右肩对应的关节“2e”的坐标信息(x5，y5，z5)、和与右肘对应的关节“2f”的坐标信息(X6，y6，z6)的直线。另外，分析部142计算通过与右肘对应的关节“2f”的坐标信息(x6，y6，z6)和与右手腕对应的关节“2g”的坐标信息(x7，y7，z7)的直线。并且，分析部142设所计算出的2根直线所成的角度为角度“ Θ I”进行计算。
[0147]另外，例如，如图9B所示，分析部142计算从与相对于Xz平面中的水平方向的右肩对应的关节“2e”到与左肩对应的关节“2i”的轴的角度“ Θ 2”。该情况下，分析部142计算通过与规定的帧中的右肩对应的关节“2e”的坐标信息(x5，z5)和与左肩对应的关节“2i”的坐标信息(x9，z9)的直线，设计算出的直线和与X轴平行的直线所形成的角度为角度“ Θ 2”来进行计算。即，分析部142计算以从上方观察对象者时的体轴为中心的旋转方向的身体微动的程度。另外，虽然没有图示，但分析部142还能够计算相对于图9B的箭头所示的步行的行进方向的各种角度。
[0148]例如，如图9C所示，分析部142计算从与相对于xy平面中的垂直方向的头对应的关节“2a”到与腰对应的关节“2c”的轴(体轴)的角度“Θ3”。该情况下，分析部142计算通过与规定的帧中的头对应的关节“2a”中的坐标信息(xl，yl)、和与腰对应的关节“2c”的坐标信息(x3，y3)的直线，设计算出的直线和与y轴平行的直线所形成的角度为角度“ Θ 3”来计算。即，分析部142计算从前方观察对象者时向左右的角度(对于对象者而言左右的角度)的程度。
[0149]另外，例如，如图9D所示，分析部142计算从与相对于yz平面中的垂直方向的头部对应的关节“2a”到与腰对应的关节“2c”的轴(体轴)的角度“Θ4”。该情况下，分析部142计算通过与规定的帧中的头对应的关节“2a”的坐标信息(yl，zl)、和与腰对应的关节“2c”的坐标信息(y3，z3)的直线，设所计算出的直线和与y轴平行的直线所形成的角度为角度“ Θ4”来计算。即，分析部142计算从横向观察对象者时向左右的角度(对于对象者而言前后的角度)的程度。
[0150]返回到图6B，接着，针对从上方观察到的步行影像的设定进行说明。如图6B所示，在从上方观察到的步行影像的设定中，能够选择“点指定”、“线指定”、“步行测量”等。即，在从上方观察到的步行影像的设定中，执行用于分析步行训练时对象者的局部的状态信息或身体整体的状态信息等的设定。在此，从上方观察到的步行影像的设定中的操作者进行的指定部的指定与上述的实时显示的设定相同。在此，当操作者对图6B所示的从上方观察到的步行影像的设定的人型的指定部进行指定时，分析部142针对实施步行训练的对象者，进行与指定的指定部相关的各种分析。例如，分析部142针对所指定的指定部，为了显示从上方观察到的步行影像，计算所指定的指定部的X坐标以及I坐标的值。
[0151]另外，例如，当在从图6B的上方观察的步行影像的设定中选择了 “步行测量”时，分析部142对预先设定的步行的状态信息进行分析。例如，分析部142计算对象者的脚的着地点，或者计算预先设定的指定部的速度、角度等。另外，选择步行测量时执行的分析的设定能够任意地设定。以下，针对分析部142对脚的着地点的计算的一个例子使用图10进行说明。图10是用于说明第I实施方式涉及的分析部142对脚的着地点的计算的一个例子的图。
[0152]例如，分析部142使用通过取得部141取得的各帧的骨格信息来计算对象者的脚针对地面的着地点。例如，分析部142使用执行步行训练的对象者的骨格信息中的与脚的各部位对应的关节的坐标信息来计算着地点。列举一个例子，分析部142使用与右脚的跗骨对应的关节“2p”、以及与左脚的跗骨对应的关节“2t”的坐标信息，计算对象者的着地点。例如，分析部142从所有的帧取得与右脚的跗骨对应的关节“2p”以及与左脚的跗骨对应的关节“2t”各自的z坐标的值，如图10所示，生成设纵轴为坐标，横轴为时间的曲线图(graph)。
[0153]S卩，如图10所示，分析部142计算表示左脚的跗骨的z坐标的时间变化的曲线21和右脚的跗骨的z坐标的时间变化的曲线22。并且，分析部142例如判定各曲线中的每单位时间的z坐标的值的变化成为规定的阈值以下的时刻为脚到达地面的时刻。
[0154]例如，如图10所示，分析部142在表示左脚的跗骨的z坐标的时间变化的曲线21中，判定每单位时间的坐标的变化成为规定的阈值以下的时刻31为脚到达地面的时刻。同样地，如图10所示，分析部142在表示右脚的跗骨的z坐标的时间变化的曲线22中，将每单位时间的坐标的变化成为规定的阈值以下的时刻32判定为脚到达地面的时刻。分析部142将相当于判定为脚到达地面的时刻的帧的骨格信息输出至显示控制部143。
[0155]另外，上述的例子仅仅是一个例子，所使用的坐标并不限定于上述的例子。即，除了跗骨的Z坐标之外，例如，还可以使用脚踝的Z坐标、或者膝盖的Z坐标。另外，除了单一的关节之外，例如，也可以使用跗骨以及膝盖的2个关节的z坐标的变化来综合地判定。另夕卜，所使用的坐标除了 z坐标之外，例如，也可以使用y坐标、或者X坐标。
[0156]列举一个例子，当使用y坐标时，分析部142根据各关节的y坐标的值(各关节的高度)判定脚是否到达地面。即，当关节的y坐标的值是规定的阈值以下时，分析部142判定为脚到达地面。另外，规定的阈值按每个关节任意地设定。另外，当使用X坐标时，当X坐标的值大致一定时，分析部142判定为脚到达地面。即，当对象者步行时，到达地面侧的脚的关节的X坐标的值几乎没有变化，当脚没有到达地面时，X坐标的值逐渐地变化。因此，当X坐标的值大致一定时，分析部142判定为脚到达地面。
[0157]另外，针对坐标，也可以综合地使用多个坐标来判定。例如，也可以分别分析z坐标的变化和I坐标的变化，根据各个分析结果，判定脚是否到达地面。另外，也可以对各坐标的值添加规定的系数。例如，也可以对I坐标的值添加系数“ α ”，并进行判定。
[0158]另外，如上所述，分析部142除了判定脚着地的情况之外，还能够判定脚悬浮的情况。例如，当ζ坐标的每单位时间的值的变化超过规定的阈值时，分析部142判定为脚悬浮。另外，例如，当y坐标的值超过规定的阈值时，分析部142判定为脚悬浮。另外，例如，当X坐标的值小幅度地变化时，分析部142判定为脚悬浮。并且，分析部142判定为悬浮的脚的相反侧的脚着地。例如，如果在步行中右脚悬浮，则分析部142能够判定为左脚着地。另外，通过预先将地面的坐标输入(input)系统，从而，当脚接近地面的坐标时，分析部142能够判定为着地。
[0159]如上所述，分析部142对脚的着地点的位置(坐标)进行分析。由此，分析部142例如根据分析出的着地点的位置，对重复步距离、步幅、步间隔、步数、步行率、步行时间，脚着地的时间等进行分析。即，分析部142使用着地点的坐标，对上述的各种信息进行分析。在此，分析部142能够以步行的方向为基准计算重复步距离、步幅、步间隔等。
[0160]另外，在上述的例子中，列举对象者在深度方向(ζ轴方向)步行时(沿着ζ轴步行时)为例子进行说明。然而，对象者的步行的方向是任意的，分析部142能够与方向对应。即，分析部142能够对对象者的步行的行进方向进行分析，通过上述的方法判定脚的着地点。另外，在从上方观察到的步行影像的设定中，当选择了“步行测量”时，分析部142还分析与规定的指定部对应的位置的角度、速度等。另外，角度、速度的分析方法与上述相同。
[0161]另外，在基于上述的分析部142的处理中，当指定部是新追加的指定部，或者是移动后的指定部时，分析部142能够通过使用被追加的位置或者移动后的位置与其周围的指定部的相对的位置关系等信息，执行上述的各种处理。例如，当新追加了指定部时，分析部142根据与相邻的指定部的位置关系的信息来计算追加的位置的坐标，使用计算出的坐标执行上述的各种处理。
[0162]如上所述，第I实施方式涉及的动作信息处理装置100能够将图6B所示的那样的窗口显示于输出部110，使每个操作者进行所希望的设定。从而，动作信息处理装置100能够简单地进行与着眼点对应的辅助。在此，在图6B所示的窗口中，如图6B所示，能够添加用于清除(clear)设定的线的“线设定清除”按钮(button)、用于保存设定的“设定文件保存”按钮、用于读取设定的“设定读取”按钮等。
[0163]例如，在操作者对各种指定部进行指定之后，当希望保存当前时刻的设定时，如图11所示，通过按下窗口的右上方所示的“设定文件”按钮，则出现保存窗口，将当前时刻的设定作为设定文件附加名称来保存。即，控制部140与被输入的名称建立对应，来将当前时刻的设定保存于设定文件存储部132。在此，设定文件能够按照医师、助手、对象者等每位操作者、每种疾病(例如，整形外科疾病、或脑部疾病等)的、每个训练菜单(menu)(例如，步行训练、关节可动区训练、下蹲训练、跳跃训练等)、或者每一部位(例如，膝盖、臂等)来存储。列举一个例子，作为设定文件，与步行训练建立对应地，存储实时显示的设定中的脚整体以及上半身中心的指定、速度测量的设定中的上半身中心的指定、角度测量的设定中的双肩与水平方向的角度的指定等。
[0164]并且，操作者通过按下窗口的右上方所示的“设定的读入”按钮，从而出现读入窗口，根据所显示的名称选择希望的设定文件，通过按下“打开”按钮，读入所选择的设定文件。另外，图11是用于说明第I实施方式涉及的设定文件的保存和读入的一个例子的图。
[0165]另外，在用于执行各种指定的窗口中，能够显示其他的各种信息，例如，如图6B或图11所示，能够显示“※设定中照顾患者※”的注意事项或在各设定中能够指定的最大数(最多20条线、最多3个点、各到5条线)等。
[0166]以下,使用图12，说明使用上述的窗口的应用程序的一个例子。图12是表示第I实施方式涉及的辅助应用程序的一个例子的图。另外，在图12中，示出用于辅助步行训练的辅助应用程序的一个例子。例如，如图12的左侧的窗口所示，显示控制部143具备“实时”标签(tab)以及“比较再生”标签，将具有用于显示彩色图像信息和各种分析信息的显不区域的窗口显不于输出部110。
[0167]操作者通过按下配置于窗口的左下方的“设定画面”按钮，来显示图12的右侧所示的设定窗口。并且，操作者通过在所显示的设定窗口中的针对希望的设定来对指定部进行指定，从而在实时显示中显示骨格信息，或者显示从上方观察到的步行影像，或者显示速度或角度等分析信息。在此，例如，在实时显示的区域中，如图12所示，显示控制部143显示在彩色图像上重叠了骨格信息的显示图像。另外，例如，在从上方观察到的步行影像的区域中，如图12所示，显示控制部143在表示横方向和深度的平面上显示左右脚的着地点、左右肩、以及上半身中心的移动轨迹、或连结左右肩的线段等。另外，例如，在分析信息的区域中，如图12所示，显示控制部143根据右脚或上半身中心等每个部位来显示速度信息或角度信息等。另外，图12所示的辅助应用程序仅仅是一个例子，实施方式并不限定于此。
[0168]接着，使用图13，针对第I实施方式涉及的动作信息处理装置100的处理进行说明。图13是表示第I实施方式涉及的动作信息处理装置100进行的处理的步骤的流程图。如图13所示，在第I实施方式涉及的动作信息处理装置100中，当取得部141取得对象者的动作信息时(步骤(st印)S101)，显示控制部143判定辅助功能工具(tool)是否为ON (步骤 S102)。
[0169]在此，当辅助功能工具为ON时(步骤S102肯定)，显示控制部143判定是否指定了设定文件(步骤S103)。在此，当指定了设定文件时(步骤S103肯定)，分析部142读出所指定的设定文件，实施与注册的信息对应的分析，显示控制部143显示包含基于分析部142的分析结果的显示信息(步骤S104)。
[0170]另一方面，当没有指定设定文件时(步骤S103否定)，显示控制部143判定是否指定了设定(步骤S105)。在此，当指定了设定时(步骤S105肯定)，分析部142实施与所指定的设定对应的分析，显示控制部143显示包含基于分析部142的分析结果的显示信息(步骤 S106)。
[0171]并且，控制部140判定是否要求保存设定(步骤S107)。在此，当要求保存设定时(步骤S107肯定)，控制部140保存设定文件(步骤S108)。在保存了设定文件之后，或者当没有要求保存设定时(步骤S107否定)，控制部140判定是否受理了结束命令(command)(步骤 S109)。
[0172]在此，当没有受理结束命令时(步骤S109否定)，返回到步骤S103，显示控制部143判定是否指定了设定文件(步骤S103)。另一方面，当受理了结束命令时(步骤S109肯定)，动作信息处理装置100结束处理。
[0173]如上所述，根据第I实施方式，取得部141取得执行规定的动作的对象者的动作信息。输入部120指定对象者的部位。分析部142对动作信息进行分析求得与所指定的部位的活动相关的分析值。显示控制装置显示与基于所指定的部位的活动相关的分析值的显示信息。另外，显示控制部143以使显示包含指定部的显示信息的方式进行控制，上述指定部受理用于在使用由取得部141取得的动作信息表示的对象者的状态信息中的、指定由输出部110显示的状态信息的指定操作。因此，第I实施方式涉及的动作信息处理装置100能够容易地进行操作，显示操作者所关注的对象者的状态信息，能够简化与着眼点对应的辅助。
[0174]其结果，动作信息处理装置100能够按各疾病、各训练、或者各医疗从事者容易地进行临床上有用的评估，能够对康复训练或运动训练等进行有效的辅助。例如，动作信息处理装置100能够对医疗从事者提供对于某一患者而言有用的评估方法。即，动作信息处理装置100能够对医疗从事者推荐对各患者怎样进行评估更好。
[0175]另外，根据第I实施方式，显示控制部143以使作为用于指定对象者的部位的信息的、对对象者的图像信息以及人型的信息中的至少一方配置了指定部的信息显示的方式进行控制。因此，第I实施方式涉及的动作信息处理装置100能够使操作者容易地把握着眼点。
[0176]另外，根据第I实施方式，输入部120受理用于在对象者的图像信息以及人型的信息的任意的位置配置指定部的操作。显示控制部143以使在由输入部120受理的位置配置了指定部的显示信息显示的方式进行控制。因此，第I实施方式涉及的动作信息处理装置100能够灵活地设定着眼点，能够对各种训练进行辅助。例如，动作信息处理装置100能够在具有医学含义的位置设定指定部，能够进行更准确的评估。
[0177]另外，根据第I实施方式，指定部以对象者的图像信息以及人型的信息中的规定的位置通过点状以及线状中的至少一方来指定操作的方式，配置在该对象者的图像信息以及人型的信息中。因此，第I实施方式涉及的动作信息处理装置100能够对对象者设定各种着眼点。
[0178]另外，根据第I实施方式，指定部指定用于对对象者执行规定的动作时的骨格信息、对象者的规定的位置的速度信息以及角度信息、以及对象者执行步行动作时的步行信息中的至少I个进行分析的部位。因此，第I实施方式所涉及的动作信息处理装置100能够提供以步行训练为代表的各种训练中的各种信息。
[0179]另外，根据第I实施方式，分析部142对与由指定部受理的指定操作对应的状态信息进行分析。显示控制部143以使将通过分析部142分析后的状态信息显示于输出部110的方式进行控制。因此，第I实施方式涉及的动作信息处理装置100能够提供各种分析信肩、O
[0180](第2实施方式)
[0181]在上述的第I实施方式中，针对根据所指定的指定部显示各种信息的情况进行了说明。在第2实施方式中，针对适用于在第I实施方式中说明的设定的窗口的膝盖微动的分析以及显示进行说明。另外，以下说明的膝盖微动的分析以及显示可以在选择从设定窗口的上方观察到的步行影像的设定所包含的“步行测量”时执行，或者也可以在配置专用的设定按钮时执行。第2实施方式涉及的动作信息处理装置100与第I实施方式相同，分析部142以及显示控制部143的处理内容不同。以下，以这些为中心进行说明。
[0182]第2实施方式所涉及的分析部142将膝盖向与对象者执行步行动作时的步行方向正交的方向的摆动作为状态信息来分析。例如，分析部142首先计算对象者步行时的步行方向，将计算出的步行方向的膝盖的距离作为膝盖的微动来计算。列举一个例子，分析部142根据步行训练中的对象者的规定的位置(例如，髋关节中心、头、或肩的中心等)的变化来计算步行方向。例如，分析部142将根据通过对于步行中的对象者的规定的位置的坐标的最小二乘法求得的近似曲线作为步行方向来计算。或者，分析部142将连结步行开始时的规定的位置的坐标和步行结束时规定的位置的坐标的直线作为步行方向来计算。并且，分析部142通过对按每帧计算来自计算出的步行方向的左右膝盖的距离，来分析步行中的膝盖的微动。
[0183]第2实施方式所涉及的显示控制部143将通过分析部142分析后的膝盖的微动的分析结果显示于输出部110。图14是表示通过第2实施方式涉及的显示控制部143显示的膝盖的微动的分析结果的一个例子的图。例如，如图14所示，显示控制部143显示包含彩色图像的显示区域、从上方观察的步行影像、以及分析结果的分析结果。在此，显示控制部143在分析信息的显示区域中，显示来自右膝盖与左膝盖的步行方向的微动的分析结果。
[0184]例如，如图14的(A)所示，显示控制部143针对左右膝盖，分别显示在纵方向取深度，在横方向取微动的平面的曲线图。另外，例如，如图14的⑶所示，显示控制部143显示左右的膝盖的微动的最大值。另外，表示图14所示的膝盖的微动的曲线图和表示膝盖的微动的最大值的数值能够任意地切换。
[0185]接着，使用图15，针对第2实施方式涉及的动作信息处理装置100进行的膝盖的微动的分析处理进行说明。图15是表示第2实施方式涉及的动作信息处理装置100进行的膝盖的微动的分析处理的步骤的流程图。如图15所示，在第2实施方式涉及的动作信息处理装置100中，当取得部141在按每一帧取得左右的膝盖的坐标以及髋关节中心的坐标时(步骤S201)，分析部142根据髋关节中心的坐标计算步行方向(步骤S202)。
[0186]并且，分析部142通过计算来自计算出的步行方向的膝盖的坐标的距离，来计算膝盖的微动(步骤S203)，根据步行方向计算膝盖的微动的最大值(步骤S204)。之后，显示控制部143针对膝盖的微动，显示表示膝盖的微动的曲线图、显示膝盖的微动的最大值等(步骤S205)。
[0187]如上所述，根据第2实施方式，分析部142将膝盖向与对象者执行步行动作时的步行方向正交的方向的摆动作为状态信息进行分析。因此，第2实施方式涉及的动作信息处理装置100能够详细地分析步行训练时对象者的膝盖的状态。
[0188](第3实施方式)
[0189]在上述的第2实施方式中，针对分析膝盖的微动并显示的情况进行了说明。在第3实施方式中，针对适用于在第I实施方式中说明的设定的窗口的膝盖的内翻外翻角度的分析以及显示进行说明。另外，以下说明的内翻外翻角度的分析以及显示也可以在选择从设定窗口的上方观察到的步行影像的设定所包含的“步行测量”时执行，或者，也可以在配置专用的设定按钮时执行。第3实施方式涉及的动作信息处理装置100与第I实施方式相比较，分析部142以及显示控制部143的处理内容不同。以下，以这些为中心进行说明。
[0190]第3实施方式涉及的分析部142将对象者执行步行动作时的膝盖的内翻外翻角度作为状态信息来分析。例如，分析部142根据图16A所示的信息，执行膝盖的内翻外翻角度的分析。图16A是用于说明通过第3实施方式涉及的分析部142参照的膝盖的内翻外翻角度的参照信息的一个例子的图。
[0191]例如，如图16A所示，分析部142根据步行时前额面方向的膝盖的外侧的角度，判定膝盖关节外翻的状态(外翻膝盖)、正常的状态(正常)、以及膝盖关节内翻的状态(内翻膝盖)。列举一个例子，如图16A所示，当“外侧的角度N 180° ”时，分析部142判定为“正常”，当“外侧的角度<< 180。”时，判定为“外翻膝盖”，当“外侧的角度>> 180。”时判定为“内翻膝盖”。
[0192]并且，例如，通过图16B所示的方法，分析部142计算步行时前额面方向的膝盖的外侧的角度。图16B是用于说明第3实施方式涉及的分析部142进行膝盖的角度计算的图。例如，如图16B所示，分析部142计算从右髋关节到右膝盖的向量(Vector)Vl与从右膝盖至IJ右脚踝的向量V2所形成的角度“ Θ 5”。另外，角度“ Θ 5”的计算的细节之后详述。
[0193]并且，分析部142使用计算出的角度“ Θ 5”计算外侧的角度。具体而言，首先，分析部142判定对象者是否是大腿内翻(或者，大腿外翻)。并且，当是大腿内翻(不是大腿外翻)时，分析部142将对计算出的角度“Θ 5”加上“180° ”得到的值作为外侧的角度来计算。另一方面，当不是大腿内翻(是大腿外翻)时，分析部142将从计算出的角度“ Θ 5”中减去“180° ”得到的值作为外侧的角度来计算。并且，分析部142针对左腿，也执行与上述的处理相同的处理。
[0194]在此，是否是大腿内翻例如能够使用在上述中计算出的两腿的向量来判定。例如，当对象者垂直站立时，由向量V3和向量V6形成的角度为“大约180度”，上述向量V3通过连结与右髋关节对应的关节“2m”和与右膝盖对应的关节“2n”的向量V1、和连结与右膝盖对应的关节“2n”和与右脚踝对应的关节“2ο”的向量V2的向量积表示，上述向量V6通过连接与左髋关节对应的关节“2q”和与左膝盖对应的关节“2r”的向量V4、和连结与左膝盖对应的关节“2r”和与左脚踝对应的关节“2s”的向量V5的向量积表示。在此，当对象者以大腿内翻站立时，角度小于“180度”。另外，当对象者以大腿外翻站立时，角度大于“180度”。
[0195]因此，分析部142根据通过取得部141收集到的动作信息对各向量进行计算，根据计算出的向量计算角度。并且，分析部142根据计算出的角度，判定对象者是大腿内翻还是大腿外翻。
[0196]另外，也可以根据右膝盖与左膝盖的距离(膝盖间距离)检测膝盖的分离程度，判定是大腿内翻程度还是大腿外翻程度。例如，分析部142计算各帧的膝盖间距离，将各距离的值与规定的阈值进行比较，判定大腿内翻程度、大腿外翻程度。例如，当距离小于规定的阈值时，分析部142判定为大腿内翻。另外，当距离大于规定的阈值时，分析部142判定为大腿外翻。在此，基于距离判定大腿内翻、大腿外翻时的阈值能够由利用者(例如，对象者、助手等)任意地设定。
[0197]接着，使用图17，针对第3实施方式涉及的动作信息处理装置100进行膝盖的外侧的角度的计算处理进行说明。图17是表示第3实施方式涉及的动作信息处理装置100进行的角度的计算处理的步骤的流程图。另外，在图17中，示出对于右膝盖的处理，实际上，对左腿也同样执行处理。
[0198]如图17所示，在第3实施方式涉及的动作信息处理装置100中，当取得部141取得对象者的动作信息时，分析部142计算右髋关节-右膝盖的向量Vl与右膝盖-右脚踝的向量V2所形成的角度“ Θ 5”(步骤S301)。
[0199]并且，分析部142判定对象者是否是大腿内翻(步骤S302)。在此，当判定为对象者是大腿内翻时(步骤S302肯定)，分析部142将膝盖的外侧的角度计算为“180° -Θ5”(步骤S303)。另一方面，当判定为对象者不是大腿内翻时(步骤S302否定)，分析部142将膝盖的外侧的角度计算为“180° + Θ 5”(步骤S304)。
[0200]如上所述，根据第3实施方式，分析部142将对象者执行步行动作时的膝盖的内翻外翻角度作为状态信息来分析。因此，第3实施方式涉及的动作信息处理装置100能够更详细地分析步行时膝盖的状态。
[0201](第4实施方式)
[0202]在第4实施方式中，针对适用于在第I实施方式中说明的设定的窗口的重心位置的速度的分析以及显示进行说明。另外，以下说明的重心位置的速度的分析以及显示可以在选择从设定窗口的上方观察到的步行影像的设定所包含的“步行测量”时执行，或者，也可以在配置专用的设定按钮时执行。第4实施方式涉及的动作信息处理装置100与第I实施方式相比较，分析部142以及显示控制部143的处理内容不同。以下，以这些为中心进行说明。
[0203]第4实施方式涉及的分析部142将对象者执行步行动作时的对象者的重心的速度作为状态信息进行分析。图18是用于说明第4实施方式涉及的动作信息处理装置100进行的处理内容的一个例子的图。例如，如图18的(A)所示，分析部142根据将对象者的骨盆内的骶骨(第2骶椎)的稍微靠上的位置定义为重心位置的信息，根据该重心位置的坐标的变化，计算重心位置的速度。
[0204]并且，如图18的(B)所示，第4实施方式所涉及的显示控制部143将在横轴表示时间，纵轴表示速度(m/秒)的曲线图上示出重心位置的速度的分析结果显示于输出部110。在此，如图18的(B)所示，显示控制部143还能够并列显示不同的时期的分析结果。
[0205]如上所述，根据第4实施方式，分析部142将对象者执行步行动作时的对象者的重心的速度作为状态信息来分析。从而，第4实施方式涉及的动作信息处理装置100能够设定存在医学根据的重心位置对步行时的速度进行分析，能够进行更准确的评估。
[0206](第5实施方式)
[0207]在第5实施方式中，针对适用于在第I实施方式中说明的设定的窗口的步行时膝盖弯曲及伸展的角度的分析以及显示进行说明。另外，以下说明的膝盖弯曲及伸展的角度的分析以及显示可以在选择从设定窗口的上方观察的步行影像的设定所包含的“步行测量”时执行，或者，也可以在配置专用的设定按钮时执行。第5实施方式涉及的动作信息处理装置100与第I实施方式相比较，分析部142以及显示控制部143的处理内容不同。以下，以这些为中心进行说明。
[0208]第5实施方式涉及的分析部142将对象者执行步行动作时对象者的膝盖弯曲以及伸展的角度作为状态信息来分析。图19是用于说明第5实施方式涉及的分析部142进行的处理的一个例子的图。例如，如图19的(A)所示，分析部142对膝盖弯曲的状态的角度和伸展的状态的角度进行分析。即，如图19的(A)所示，分析部142针对作为腿完全地伸展的状态的伸展状态和作为下面的腿从膝盖开始弯曲到弯曲的状态的弯曲状态，分析从腿伸展的状态到膝盖弯曲的各状态的角度。另外，一般而言，弯曲是“O?130° ”左右，伸展为 “O。”。
[0209]换而言之，如图19的(B)所示，分析部142对“2q-2r”与“2r-2s(或者，2t)”所形成的角度、以及“2m-2n”与“2n-2o(或者，2p) ”所形成的角度进行分析。在此，例如，如图19的(C)所示，当2m的坐标为(Xm, Ym, Zm)，2n的坐标为(Xn, Yn, Zn)，2o的坐标为(Xo, Yo, Zo)时，分析部 142 计算向量 Vmn (Xn-Xm, Yn-Ym, Zn-Zm)和向量 Vno (Xo-Xn, Yo-Yn, Zo-Zn)。并且,如图19的(C)所示，分析部142通过“ Θ 6 = cos-1 (Vmn.Vno/ | Vmn.Vno |) ”来计算角度“ Θ6”。分析部142通过对由取得部141取得的每帧执行上述的分析，来计算每帧的角度。另外，上述的角度“ Θ 6”的计算方法能够作为上述的角度“ Θ 5”的计算方法来使用。
[0210]第5实施方式涉及的显示控制部143使分析部142进行的分析结果显示于输出部110。图20是表示通过第5实施方式涉及的显示控制部143显示的角度的分析结果的一个例子的图。例如，如图20的(A)所示，显示控制部143通过横轴表示时间，纵轴表示角度(度)的曲线图显示分析结果。另外，例如，如图20的(B)所示，显示控制部143将表示与通过分析部142分析后的角度对应的伸展和弯曲的动画(animat1n)显示于输出部110。
[0211]另外，在上述的例子中，针对当计算角度“ Θ 6”时，计算图19的⑶所示的“2q_2r”与“2r_2s(或者，2t)”所形成的角度等的情况进行了说明。然而，实施方式并不限定于此，例如，也可以在虚拟的位置设定指定部来计算直接角度“ Θ 6”。此时，例如，通过在图19的(C)的膝盖之前的虚线上配置指定部，来直接计算角度“ Θ 6”。
[0212]如上所述，根据第5实施方式，分析部142将对象者执行步行动作时膝盖弯曲以及伸展的角度作为状态信息来分析。因此，第5实施方式涉及的动作信息处理装置100能够针对步行时脚的踢起详细地进行评估。
[0213](第6实施方式)
[0214]另外，以上，针对第I?第5实施方式进行了说明，但除了上述的第I?第5实施方式以外，也可以以各种不同的方式来实施。
[0215]在上述的第I?第5实施方式中，例如，针对当指定线时，通过在选择了线指定之后，连续指定3点的指定部来指定线的情况进行了说明。然而，实施方式并不限定于此，例如，也可以对线进行直接操作。图21是表示第6实施方式所涉及的线指定的一个例子的图。例如，如图21所示，当对人型配置多个指定部，在选择了点指定或线指定之后指定了多条线时，操作者还能够经由输入部120对线进行直接操作。
[0216]例举一个例子，如图21所示，操作者能够通过经由输入部120进行拖放，来直接指定线。另外，例如，操作者还能够通过点击(click)所指定的线，来清除线。
[0217]另外，在上述的第I?第5实施方式中，针对作为规定的动作实施康复的步行训练的情况进行了说明。然而，本发明所涉及的动作信息处理装置100除了步行训练之外，还能够适用于其他的动作。例如，本发明涉及的动作信息处理装置100还能够适用于康复的关节可动区训练、运动中的下蹲训练、或跳跃训练等。
[0218](第7实施方式)
[0219]以上，针对简化与着眼点对应的辅助的动作信息处理装置100进行了说明。接着，针对评估各种康复的动作信息处理装置100进行说明。以下，在第7实施方式中，说明动作信息处理装置100通过在康复的动作中设定作为成为评估的基准的面的基准面，来评估各种康复的情况。在此，所谓基准面，例如，是与前后切断对象者的身体的剖面对应的前额面、与左右切断对象者的身体的剖面对应的矢状面、以及与水平切断对象者的身体的剖面对应的水平面等。
[0220]图22是表示第7实施方式所涉及的动作信息处理装置100的详细的构成的一个例子的图。如图22所示，在动作信息处理装置100中，存储部130具有动作信息存储部131和指标值存储部133。
[0221]动作信息存储部131存储通过动作信息收集部10收集到的动作信息。该动作信息是通过动作信息生成部14生成的各帧的骨格信息。例如，每当通过动作信息收集部10收集动作信息时，保存于动作信息存储部131。在此，动作信息存储部131还能够将通过动作信息生成部14输出的彩色图像信息、距离图像信息以及声音识别结果按每一帧建立对应地存储。
[0222]指标值存储部133例如存储成为康复的评估的指标的指标值。在此，所谓指标值是指根据对象者进行的每个康复而定义的值。例如，当作为康复进行右肩的弯曲伸展时，指标值存储部133将前额面和上臂(连结关节2e和关节2f的线)所形成的角度作为指标值按每一帧进行存储。存储于指标值存储部133的信息通过后述的测量部142b来测量。另夕卜，存储于指标值存储部133的信息并不限定于此，例如，也可以存储作为角度的时间变化量的角速度。
[0223]在动作信息处理装置100中，控制部140具有取得部141、设定部142a、测量部142b、显示控制部143。
[0224]取得部141取得进行康复的对象者的动作信息。例如，每当对动作信息收集部10以及动作信息处理装置100接通电源，将I帧的骨格信息保存于动作信息存储部131时，取得部141分别从动作信息存储部131取得保存的骨格信息和与保存的骨格信息对应的帧的彩色图像信息。
[0225]设定部142a使用成为康复的对象的对象者的初始状态下的动作信息，设定在康复的动作中成为评估的基准的基准信息。例如，设定部142a使用通过取得部141取得的对象者的动作信息，设定作为对象者的前额面的信息的前额面信息、作为对象者的矢状面的信息的矢状面信息、以及作为对象者的水平面的信息的水平面信息中的至少一个。另外，前额面信息、矢状面信息以及水平面信息是基准信息的一个例子。另外，有时将前额面信息、矢状面信息以及水平面信息统称标记为基准面信息。
[0226]作为一个例子，设定部142a受理表示设定基准信息的意思的设定指示。该设定指示包含要设定的基准面信息，例如，包含表示设定前额面信息的意思的指示。例如，助手在确认对象者处于进行康复的初始状态的基础上，使用输入部120输入表示设定前额面信息的意思的设定指示。当受理表示设定前额面信息的意思的设定指示时，设定部142a使用与受理指示的时刻对应的动作信息，来设定前额面信息。另外，在此所谓的初始状态例如表示在康复中后述的指标值成为“O”的对象者的姿势。另外，除了助手之外，例如，设定指示也可以由对象者自身进行输入。
[0227]使用图23A?图23C，说明设定部142a设定基准面信息的处理。图23A?图23C是用于说明第7实施方式涉及的设定部142a设定基准面信息的处理的图。在图23A中，示例出对象者的骨格信息以及对象者的前额面5a。在图23B中，示例出对象者的骨格信息以及对象者的矢状面5b。在图23C中，示例出对象者的骨格信息以及对象者的水平面5c。
[0228]在图23A所示的例子中，当受理了表示设定前额面信息的意思的设定指示时，设定部142a计算通过右肩(关节2e)以及左肩(关节2i)，与世界坐标系中的y轴平行的面，并将计算出的前额面5a的信息设定为前额面信息。并且，设定部142a将设定的前额面信息向测量部142b输出。
[0229]在图23B所示的例子中，当受理了表示设定矢状面信息的意思的设定指示时，设定部142a计算在连结右肩(关节2e)以及左肩(关节2i)的线段的中点与该线段正交，与世界坐标系中的y轴平行的面，并将计算出的矢状面5b的信息设定为矢状面信息。并且，设定部142a将设定的矢状面信息向测量部142b输出。
[0230]在图23C所示的例子中，当受理了表示设定水平面信息的意思的设定指示时，设定部142a计算通过腰(关节2c)，并与世界坐标系中的XZ平面平行的面，并将计算出的水平面5c的信息设定为水平面信息。并且，设定部142a将设定的水平面信息向测量部142b输出。
[0231]另外，在此，说明了设定部142a设定前额面5a、矢状面5b以及水平面5c中指示的一个基准面的基准信息的情况，但并不限定于此，例如，当指示多个基准面时，也可以设定所指示的多个基准面。
[0232]另外，在此，说明了由利用者指示设定部142a设定的基准面的情况，但并不限定于此，例如，也可以根据康复的内容自动地选择任一基准面，设定所选择的基准面的基准面信息。该情况下，动作信息处理装置100预先存储康复的内容和与康复的内容对应的基准面。并且,例如，当开始康复时,设定部142a受理包含康复的内容的信息。并且，设定部142a参照存储的信息，选择与受理的信息所包含的康复的内容对应的基准面，设定所选择的基准面的基准面信息。
[0233]另外，上述的基准面信息的计算方法是一个例子，也可以通过其他的计算方法来设定基准面信息。例如，当设定前额面信息时，设定部142a也可以计算通过右肩(关节2e)、左肩(关节2i)以及腰(关节2c)的3点的面。另外，当设定矢状面信息时，设定部142a也可以计算通过头部(关节2a)以及腰(关节2c)，与连结右肩(关节2e)以及左肩(关节2i)的线正交的面。另外，当设定水平面信息时，设定部142a也可以计算通过右肩(关节2e)以及左肩(关节2i)，与连结头部(关节2a)以及腰(关节2c)的线正交的面。另外，并不限定于此，设定部142a也可以通过其他的计算方法来设定基准面信息。
[0234]每当取得动作信息，则测量部142b使用取得的动作信息以及基准信息，测量成为康复的评估的指标的指标值。
[0235]作为一个例子，测量部142b受理通过设定部142a设定的基准信息。并且，测量部142b受理表示开始测量的意思的开始指示。该开始指示包含表示要测量的康复的内容的信息，例如，包含表示进行右肩的弯曲伸展的康复的意思的信息。当受理包含表示进行右肩的弯曲伸展的康复的意思的信息的开始指示时，测量部142b在受理了指示的时刻以后，每当通过取得部141取得动作信息，则使用所取得的动作信息和所受理的基准信息，测量右肩的弯曲伸展的指标值。即，测量部142b按取得动作信息的每一帧，来测量右肩的弯曲伸展的指标值。在此，针对测量的指标值后述。并且，测量部142b将测量的每一帧的指标值保存于指标值存储部133。
[0236]另外，在此，说明了以测量部142b受理了开始指示为契机，开始测量的情况，但并不限定于此。例如，测量部142b也可以以从设定部142a受理了基准信息这一情况为契机，自动地开始测量。
[0237]以下，针对通过测量部142b测量的指标值进行说明。在此，针对测量部142b分别使用作为基准信息的前额面信息、矢状面信息以及水平面信息来测量的各种指标值依次进行说明。
[0238](前额面信息)
[0239]测量部142b例如通过使用前额面信息，来测量肩的弯曲伸展、肩的水平弯曲伸展、肩胛带的弯曲伸展、胯部的弯曲伸展、头部的前屈后屈、胸腰部的前屈后屈以及胸腰部的转动等康复的指标值。
[0240]图24A?图24H是用于针对第7实施方式涉及的测量部142b使用前额面信息测量的指标值进行说明的图。在此，在图24A中，示例出肩弯曲伸展的指标值，在图24B中，示例出肩水平弯曲伸展的指标值，在图24C中，示例出肩胛带弯曲伸展的指标值。另外，在图24D以及图24E中，示例出胯部弯曲伸展的指标值，在图24F中，示例出颈部前屈后屈的指标值，在图24G中，不例出胸腰部如屈后屈的指标值，在图24H中，不例出胸腰部转动的指标值。
[0241]使用图24A，说明测量肩弯曲伸展的指标值的情况。在图24A中，示例出从对象者的左侧观察的图，说明测量部142b测量左肩弯曲伸展的指标值的情况。另外，在图24A(a)中，示例出使左肩弯曲的情况，在图24A (b)中，示例出使左肩伸展的情况。
[0242]如图24A所示，测量部142b当测量左肩的弯曲伸展的指标值时，将前额面5a与左臂上臂(连结关节2i和关节2j的线)所形成的角度作为指标值来测量。具体而言，当弯曲时，测量部142b将前额面5a和线段“21-2j”所形成的角度6a作为指标值来测量。另外，当伸展时，测量部142b将前额面5a和线段“21-2j”所形成的角度6b作为指标值来测量。
[0243]另外，测量部142b测量的指标值并不限定于上述的例子，例如，当弯曲时，测量部142b也可以将前额面5a和线段“21-2k(或者21)”所形成的角度作为指标值来测量。另夕卜，当伸展时，测量部142b也可以将前额面5a与线段“21-2k(或者21) ”所形成的角度作为指标值来测量。另外，前额面5a的位置并不限定于图示的例子，也可以平行移动到利用者的任意的位置。即使前额面5a的位置发生变化，所计算的角度也不会变化。
[0244]另外，在此为了便于说明，说明了测量对象是左肩的情况，但在右肩的情况下也同样能够测量。此时，例如，测量部142b将前额面5a和右臂上臂(连结关节2e和关节2f (或者2g、2h)的线)所形成的角度作为指标值来测量。
[0245]使用图24B，说明测量肩水平弯曲伸展的指标值的情况。在图24B中，示例出从对象者的头部侧观察的图，说明测量部142b测量右肩水平弯曲伸展的指标值的情况。
[0246]如图24B所示，当测量右肩水平弯曲伸展的指标值时，测量部142b将前额面5a和右臂上臂(连结关节2e和关节2f的线)所形成的角度作为指标值来测量。具体而言，测量部142b将前额面5a、和线段“2e-2f”所形成的角度作为指标值来测量。
[0247]另外，测量部142b测量的指标值并不限定于上述的例子，例如，测量部142b也可以将前额面5a和线段“2e_2g (或者2h) ”所形成的角度作为指标值来测量。另外，前额面5a的位置并不限定于图示的例子，也可以平行移动到利用者的任意的位置。
[0248]另外，在此为了便于说明，说明了测量对象是右肩的情况，但在左肩的情况下也同样能够测量。此时，例如，测量部142b将前额面5a和左臂上臂(连结关节2i和关节2j (或者2k、21)的线)所形成的线角度作为指标值来测量。
[0249]使用图24C，说明测量肩胛带的弯曲伸展的指标值的情况。在图24C中，示例出从对象者的头部侧观察的图，说明测量部142b测量右肩胛带弯曲伸展的指标值的情况。另夕卜，在图24C中，关节2el表示使右肩弯曲时右肩的位置，关节2e2表示使右肩伸展时右肩的位置。
[0250]如图24C所示，测量部142b当测量右肩胛带弯曲伸展的指标值时，将前额面5a和连结关节2b与关节2e的线所形成的角度作为指标值来测量。具体而言，当弯曲时，测量部142b将前额面5a和线段“2b-2el”所形成的角度6c作为指标值来测量。另外，当伸展时，测量部142b将前额面5a和线段“2b-2e2”所形成的角度6d作为指标值来测量。
[0251]另外，在此为了便于说明，说明了测量对象是右肩的情况，但在左肩的情况下也同样能够测量。此时，例如，测量部142b将前额面5a和连结关节2b和关节2i的线所形成的角度作为指标值来测量。另外，前额面5a的位置并不限定于图示的例子，也可以平行移动到利用者的任意的位置。
[0252]使用图24D以及图24E，说明测量胯部弯曲伸展的指标值的情况。在图24D以及图24E中，示例出从对象者的左侧观察的图，说明测量部142b测量左侧的胯部弯曲伸展的指标值的情况。
[0253]如图24D所示，测量部142b当测量左侧的胯部弯曲伸展的指标值时，将前额面5a和左腿大腿骨(连结关节2q和关节2r的线)所形成的角度作为指标值来测量。具体而言，测量部142b将前额面5a和线段“2q_2r”所形成的角度6e作为指标值来测量。
[0254]另外，测量部142b测量的指标值并不限定于上述的例子，例如，测量部142b也可以将前额面5a和线段“2q-2s (或者2t) ”所形成的角度作为指标值来测量。另外，如图24E所示，测量部142b也可以以使膝盖弯曲的状态来进行测量。另外，前额面5a的位置并不限定于图示的例子，也可以平行移动到利用者的任意的位置。
[0255]另外，在此，为了便于说明，说明了测量对象是左侧的情况，但在右侧的情况下也同样能够测量。该情况下，例如，测量部142b将前额面5a和右腿大腿骨(连结关节2m和关节2n (或者2o、2p)的线)所形成的角度作为指标值来测量。
[0256]使用图24F，说明测量颈部前屈后屈的指标值的情况。在图24F中，示例出从对象者的左侧观察的图，说明测量部142b测量颈部前屈后屈的指标值的情况。另外，在图24F(a)中，示例出使颈部前屈的情况，在图24F(b)中，示例出使颈部后屈的情况。
[0257]如图24F所示，当测量颈部前屈后屈的指标值时,测量部142b将前额面5a和连结关节2b与关节2a的线所形成的角度作为指标值来测量。具体而言，在前屈的情况下，测量部142b将前额面5a和线段“2b-2a”所形成的角度作为指标值来测量。另外，在后屈的情况下，测量部142b将前额面5a和线段“2b-2a”所形成的角度作为指标值来测量。另外，前额面5a的位置并不限定于图示的例子，也可以平行移动到利用者的任意的位置。
[0258]使用图24G，说明测量胸腰部前屈后屈的指标值的情况。在图24G中，示例出从对象者的右侧观察的图，说明测量部142b测量胸腰部前屈后屈的指标值的情况。另外，在图24G(a)中，示例出使胸腰部前屈的情况，在图24G(b)中，示例出使胸腰部后屈的情况。
[0259]如图24G所示,测量部142b当测量胸腰部前屈后屈的指标值时,将前额面5a和胸腰部(连结关节2d和关节2b的线)所形成的角度作为指标值来测量。具体而言，在前屈的情况下，测量部142b将前额面5a和线段“2d-2b”所形成的角度作为指标值来测量。另夕卜，当在后屈的情况下，测量部142b将前额面5a和线段“2d-2b”所形成的角度作为指标值来测量。另外，前额面5a的位置并不限定于图示的例子，也可以平行移动到利用者的任意的位置。
[0260]使用图24H，说明测量胸腰部转动的指标值的情况。在图24H中，示例出从对象者的上方观察的图，说明测量部142b测量胸腰部右转的指标值的情况。
[0261]如图24H所示，测量部142b当测量胸腰部右转的指标值时，将前额面5a和两肩(连结关节2i和关节2e的线)所形成的角度作为指标值来测量。另外，前额面5a的位置并不限定于图示的例子，也可以平行移动到利用者的任意的位置。
[0262]这样，测量部142b通过使用前额面信息，来测量肩弯曲伸展、肩水平弯曲伸展、肩胛带弯曲伸展、胯部弯曲伸展、头部前屈后屈、胸腰部前屈后屈以及胸腰部转动等康复的指标值。另外，测量部142b使用前额面信息测量的指标值并不一定限定于上述的例子，也可以测量前额面5a和连结任意的2个关节的线所形成的角度。另外，测量部142b使用前额面信息测量的指标值并不限定于角度。例如，测量部142b也可以测量前额面5a与关节2j的距离作为左肩弯曲伸展的指标值。另外，测量部142b也可以同时测量上述的指标值中的2个以上的指标值。
[0263](矢状面信息)
[0264]测量部142b例如通过使用矢状面信息，来测量肩外翻内翻、肩外旋内旋、胯部外翻内翻、颈部侧屈(左屈右屈)以及胸腰部侧屈(左屈右屈)等康复的指标值。
[0265]图25A?图25E是用于针对第7实施方式所涉及的测量部142b使用矢状面信息测量的指标值进彳丁说明的图。在此，在图25A中，不例出肩外翻内翻的指标值，在图25B中，不例出肩外旋内旋的指标值。另外，在图25C中，示例出胯部外翻内翻的指标值，在图2?中，示例出颈部侧屈(左屈右屈)的指标值，在图25E中，示例出胸腰部侧屈(左屈右屈)的指标值。
[0266]使用图25A，说明测量肩外翻内翻的指标值的情况。在图25A中，示例出从对象者的正面观察的图，说明测量部142b测量左肩外翻内翻的指标值的情况。另外，在图25A中，为了便于说明，示例出将矢状面5b设置于通过关节2i的位置的情况。
[0267]如图25A所示，测量部142b当测量左肩外翻内翻的指标值时，将矢状面5b和左臂上臂(连结关节2i和关节2j的线)所形成的角度作为指标值来测量。具体而言，测量部142b将矢状面5b和线段“21-2j”所形成的角度作为指标值来测量。
[0268]另外，测量部142b所测量的指标值并不限定于上述的例子，例如，测量部142b也可以将矢状面5b和线段“21-2k(或者21) ”所形成的角度作为指标值来测量。另外，矢状面5b的位置并不限定于图示的例子，也可以平行移动到利用者的任意的位置。
[0269]另外，在此，为了便于说明，说明了测量对象是左肩的情况，在右肩的情况下也同样能够测量。此时，例如，测量部142b将矢状面5b和右臂上臂(连结关节2e和关节2f (或者2g、2h)的线)所形成的角度作为指标值来测量。
[0270]使用图25B，说明测量肩外旋内旋的指标值的情况。在图25B中，示例出从对象者的上方观察的图，说明测量部142b测量右肩外旋内旋的指标值的情况。另外，在图25B中，为了便于说明，示例出将矢状面5b设置于通过关节2f的位置的情况。
[0271]如图25B所示，测量部142b当测量右肩的外旋内旋的指标值时，将矢状面5b和右臂下臂(连结关节2f和关节2g的线)所形成的角度作为指标值来测量。具体而言，测量部142b将矢状面5b和线段“2f-2g”所形成的角度作为指标值来测量。
[0272]另外，测量部142b测量的指标值并不限定于上述的例子，例如，测量部142b也可以将矢状面5b和线段“2f-2h”所形成的角度作为指标值来测量。另外，矢状面5b的位置并不限定于图示的例子，也可以平行移动到利用者的任意的位置。
[0273]另外，在此，为了便于说明，说明了测量对象是右肩的情况，但在左肩的情况下也同样能够测量。此时，例如，测量部142b将矢状面5b和左臂下臂(连结关节2j和关节2k(或者21)的线)所形成的角度作为指标值来测量。
[0274]使用图25C，说明测量胯部外翻内翻的指标值的情况。在图25C中，示例出从对象者的正面观察的图，说明测量部142b测量右侧的胯部外翻内翻的指标值的情况。另外，在图25C中，为了便于说明，示例出将矢状面5b设置于通过关节2m的位置的情况。
[0275]如图25C所示，测量部142b当测量右侧的胯部外翻内翻的指标值时，将矢状面5b和右腿大腿骨(连结关节2m和关节2n的线)所形成的角度作为指标值来测量。具体而言，测量部142b将矢状面5b和线段“2m-2n”所形成的角度作为指标值来测量。
[0276]另外，测量部142b测量的指标值并不限定于上述的例子，例如，测量部142b也可以将矢状面5b和线段“2m-2o(或者2p) ”所形成的角度作为指标值来测量。另外，矢状面5b的位置并不限定于图示的例子，也可以平行移动到利用者的任意的位置。
[0277]另外，在此，为了便于说明，说明了测量对象是右侧的情况，但在左侧的情况下也同样能够测量。此时，例如，测量部142b将矢状面5b和左腿大腿骨(连结关节2q和关节2r (或者2s、2t)的线)所形成的角度作为指标值来测量。
[0278]使用图25D，说明测量颈部侧屈(左屈右屈)的指标值的情况。在图25D中，示例出从对象者的背面观察的图，说明测量部142b测量颈部侧屈的指标值的情况。另外，在图25D中，为了便于说明，示例出将矢状面5b设置于通过关节2b的位置的情况。
[0279]如图2?所示，测量部142b当测量颈部的侧屈的指标值时，将矢状面5b和连结关节2b和关节2a的线所形成的角度作为指标值来测量。具体而言，测量部142b将矢状面5b和线段“2b-2a”所形成的角度作为指标值来测量。另外，矢状面5b的位置并不限定于图示的例子，也可以平行移动到利用者的任意的位置。
[0280]使用图25E，说明测量胸腰部侧屈(左屈右屈)的指标值的情况。在图25E中，示例出从对象者的背面观察的图，说明测量部142b测量胸腰部侧屈的指标值的情况。另外，在图25E中，为了便于说明，示例出将矢状面5b设定于通过关节2d的位置的情况。
[0281]如图25E所示，测量部142b当测量胸腰部的侧屈的指标值时，将矢状面5b和连结关节2b与关节2c的线所形成的角度作为指标值来测量。具体而言，测量部142b将矢状面5b和线段“2b-2c”所形成的角度作为指标值来测量。
[0282]另外，测量部142b测量的指标值并不限定于上述的例子，例如，测量部142b也可以将矢状面5b和线段“2b-2d”所形成的角度作为指标值来测量。另外，例如，测量部142b也可以将矢状面5b和线段“2a-2c(或者2d)”所形成的角度作为指标值来测量。另外，矢状面5b的位置并不限定于图示的例子，也可以平行移动到利用者的任意的位置。
[0283]这样，测量部142b例如通过使用矢状面信息，来测量肩外翻内翻、肩外旋内旋、胯部外翻内翻、颈部侧屈(左屈右屈)以及胸腰部侧屈(左屈右屈)等康复的指标值。另外，测量部142b使用矢状面信息测量的指标值不一定限定于上述的例子，也可以测量矢状面5b和连结任意的2个关节的线所形成的角度。另外，测量部142b使用前额面信息测量的指标值并不限定于角度。例如，作为左肩外翻内翻的指标值，测量部142b也可以测量矢状面5b与关节2j的距离。另外，测量部142b也可以同时测量上述的指标值中的2个以上的指标值。
[0284](水平面信息)
[0285]测量部142b例如通过使用水平面信息，来测量肩胛带提起降下以及肩外旋内旋等康复的指标值。
[0286]图26A以及图26B是用于针对第7实施方式所涉及的测量部142b使用水平面信息测量的指标值进行说明的图。在此，在图26A中，示例出肩胛带提起降下的指标值，在图26B中，示例出肩外旋内旋的指标值。
[0287]使用图26A，说明测量肩胛带提起降下的指标值的情况。在图26A中，示例出从对象者的正面观察的图，说明测量部142b测量左侧的肩胛带提起降下的指标值的情况。另夕卜，在图26A中，为了便于说明，示例出水平面5c被设定于通过关节2b的位置的情况。
[0288]如图26A所示，测量部142b当测量左侧的肩胛带提起降下的指标值时，将水平面5c与连结关节2b和关节2i的线所形成的角度作为指标值来测量。具体而言，测量部142b将矢状面5b和线段“2b-2i”所形成的角度作为指标值来测量。
[0289]另外，在此，为了便于说明，说明了测量对象是左侧的情况，在右侧的情况下也同样能够测量。此时，例如，测量部142b将水平面5c和连结关节2b与关节2e的线所形成的角度作为指标值来测量。另外，水平面5c的位置并不限定于图示的例子，也可以平行移动到利用者的任意的位置。
[0290]使用图26B，说明测量肩外旋内旋的指标值的情况。在图26B中，示例出从对象者的正面观察的图，说明测量部142b测量右肩外旋内旋的指标值的情况。另外，在图26B中，为了便于说明，示例出水平面5c被设定于通过关节2f的位置的情况。
[0291]如图26B所示，测量部142b当测量右肩外旋内旋的指标值时，将水平面5c和右臂下臂(连结关节2f和关节2g的线)所形成的角度作为指标值来测量。具体而言，测量部142b将水平面5c和线段“2f-2g”所形成的角度作为指标值来测量。
[0292]另外，测量部142b测量的指标值并不限定于上述的例子，例如，测量部142b也可以将水平面5c和线段“2f-2h”所形成的角度作为指标值来测量。另外，水平面5c的位置并不限定于图示的例子，也可以平行移动到利用者的任意的位置。
[0293]另外，在此，为了便于说明，说明了测量对象是右肩的情况，但在左肩的情况下也同样能够测量。此时，例如，测量部142b将水平面5c和左臂下臂(连结关节2j和关节2k(或者21)的线)所形成的角度作为指标值来测量。
[0294]这样，测量部142b例如通过使用水平面信息，来测量肩胛带提起降下以及肩外旋内旋等康复的指标值。另外，测量部142b使用水平面信息测量的指标值不一定限定于上述的例子，也可以测量水平面5c和连结任意的2个关节的线所形成的角度。另外，测量部142b使用水平面信息测量的指标值并不限定于角度。例如，作为左侧的肩胛带提起降下的指标值，测量部142b也可以测量水平面5c与关节2i的距离。另外，测量部142b也可以同时测量上述的指标值中的2个以上的指标值。
[0295]返回到图22的说明。显示控制部143对测量出的指标值进行显示控制。例如，显示控制部143将彩色图像信息、由设定部142a设定的基准信息、以及成为由测量部142b测量的测量对象的部位中的至少一个显示于输出部110。
[0296]图27是用于说明第7实施方式涉及的显示控制部143的处理的图。在图27中，示出当右肩进行弯曲伸展时，通过显示控制部143显示的显示画面9a的一个例子。该显示画面9a包含显不图像9b、曲线图9c、曲线图9d、正常可动范围/[目息9e、注意事项/[目息9f。其中，显示图像9b是对由取得部141取得的彩色图像信息，重叠由设定部142a设定的前额面5a和作为由测量部142b测量的测量对象的右臂上臂(连结关节2e与关节2f的线)而得到的图像。另外，曲线图9c是设纵轴为角度，设横轴为时间变化的图。另外，曲线图9d表示这次进行的康复中的最大角度，点9g表示弯曲中的最大角度，点9h表示伸展中的最大角度，条9i表示当前的角度。另外，正常可动范围信息9e表示这次进行的康复的正常的指标值的范围，注意事项信息9f表示这次进行的康复的注意事项。另外，正常可动范围信息9e以及注意事项信息9f所包含的信息按照康复的各内容，存储于存储部130。
[0297]如图27所示，显示控制部143使存储于动作信息存储部131的彩色图像信息重叠通过设定部142a设定的前额面5a和作为由测量部142b测量的测量对象的右臂上臂，生成显示图像％。并且，显示控制部143将所生成的显示图像9b显示于输出部110。另外，为了便于说明，图27由单色显示，但在此重叠显示的对象优选以分别不同的颜色来显示。例如，将前额面5a由蓝色半透明的面，将右臂上臂由红色的直线来分别显示即可。另外，并不限定于示例的颜色，例如，也可以任意地选择作为背景图像的彩色图像所不包含的颜色。另夕卜，显示并不限定于图示的例子，例如，前额面5a也可以以与图示的例子不同的大小来显示，右臂上臂也可以由比图示的例子长的直线来显示。另外，曲线图9c以及曲线图9d并不限定于图示的例子，也可以是圆曲线图等其他的形式的曲线图。另外，当前的角度(测量结果)的显示方法并不限定于曲线图9c或曲线图9d，例如，也可以在画面内的任意的位置显示为数字。具体而言，可以在显示图像9b的右臂上臂的附近显示，也可以制成人物使手臂活动的动画(带有插图的动画)与动画一起显示现在的角度(数字)。
[0298]另外，显示控制部143从指标值存储部133取得各帧的角度。并且，显示控制部143对规定数的各帧，计算角度的平均值，在曲线图9c中绘制。显示控制部143每当在绘制时变更曲线图9c。另外，为了便于说明，图27由单色显示，但绘制(plot)的结果(图的波形)优选是与背景不同的颜色，例如，优选由浅绿色的曲线显示。另外，并不限定于示例的颜色，例如，也可以任意地选择与刻度线不同的颜色来显示。另外，所绘制的也可以不一定是平均值，例如，也可以数帧的各个的角度。由此，目的在于连续地显示所绘制的曲线图。
[0299]另外,显示控制部143显示表示最大角度的点9g以及点9h。例如,显示控制部143从指标值存储部133取得各帧的角度。并且，显示控制部143对规定数的各帧，计算角度的平均值并存储。并且，显示控制部143设已经计算出的角度的平均值中的最大值为弯曲中的最大角度，绘制为点9g。另外，显示控制部143设已经计算出的角度的平均值中的最小值为伸展中的最大角度，绘制为点9h。并且，显示控制部143更新显示表示最大角度的点9g以及点9h、以及包含作为其比较对象表示当前的值的条(bar)9i的曲线图9d。另外，为了便于说明，图27由单色来显示，但优选点9g、点9h以及条9i以分别不同的颜色来显示。例如，将点9g以及点9h以黄色，将条9i以蓝色分别显示即可。另外，并不限定于示例的颜色，例如，也可以任意地选择与刻度线不同的颜色。
[0300]另外，显示控制部143将正常可动范围信息9e以及注意事项信息9f显示于输出部110。例如，显示控制部143从存储部130取得与由测量部142b测量的指标值对应的正常可动范围信息9e以及注意事项信息9f。并且，显示控制部143将所取得的正常可动范围信息9e以及注意事项信息9f显示于输出部110。在图27所示的例子中，作为正常可动范围信息9e，显示控制部143显示“弯曲时正常可动范围:0?180度”和“伸展时正常可动范围:0?50度”。另外，作为注意事项信息9f，显示控制部143显示“注意事项:躯干固定不动。另外，脊柱不前后屈。”。另外，在此，示例出当测量肩弯曲伸展的指标值时所显示的正常可动范围信息9e以及注意事项信息9f，但并不限定于图示的例子。例如，存储部130按康复的各指标值，存储正常可动范围信息9e以及注意事项信息9f。并且，显示控制部143根据由测量部142b测量的指标值从存储部130取得正常可动范围信息9e以及注意事项信息9f并进行显示。另外，由曲线图9d的画影线表示的区域与正常可动范围对应。
[0301]另外，在第7实施方式中，说明了当进行某一康复时，设定I个基准面测量指标值的情况，但并不限定于此。例如，也可以使用2个以上的基准面来测量指标值。列举具体例，当左肩进行弯曲伸展时(图24A)，动作信息处理装置100也可以将前额面5a与左臂上臂(21-2j)所形成的角度作为指标值来测量，同时，将矢状面5b与左臂上臂(21-2j)所形成的角度作为康复动作的偏移来测量。另外，动作信息处理装置100也可以合并测量的指标值和偏移，来进行增加了偏移的评估。
[0302]使用图28，说明基于第7实施方式所涉及的动作信息处理装置100的处理步骤。图28是表示第7实施方式所涉及的动作信息处理装置100进行的处理步骤的流程图。
[0303]如图28所示，取得部141取得对象者的动作信息(步骤S401)。例如，每当对动作信息收集部10以及动作信息处理装置100接通电源，将I帧的骨格信息保存于动作信息存储部131时，取得部141分别从动作信息存储部131取得保存的骨格信息和与保存的骨格信息对应的帧的彩色图像信息。
[0304]设定部142a当受理设定指示时(步骤S402肯定)，使用对象者的初始状态下的动作信息，设定基准信息(步骤S403)。例如，设定部142a当受理设定前额面信息的意思的设定指示时，使用与受理指示的时刻对应的动作信息，设定前额面信息。另外，直到受理设定指示(步骤S402否定)为止，设定部142a是待机状态。
[0305]当受理开始指示时(步骤S404肯定)，每当由取得部141取得动作信息，测量部142b则使用所取得的动作信息和由设定部142a设定的基准信息，来测量康复的指标值(步骤S405)。例如，测量部142b当测量部142b测量左肩弯曲伸展的指标值时，将前额面5a和左臂上臂(连结关节2i和关节2j的线)所形成的角度作为指标值来测量。另外，直到受理开始指示(步骤S404否定)为止，测量部142b处于待机状态。
[0306]显示控制部143进行测量出的指标值的显示控制(步骤S406)。例如，如图27所示，显示控制部143将彩色图像信息、由设定部142a设定的基准信息、以及成为由测量部142b测量的测量对象的部位中的至少一个显示于输出部110。
[0307]直到受理表示结束显示控制的意思的结束指示(步骤S407否定)，显示控制部143向步骤S405转移，反复执行步骤S405的处理以及步骤S406的处理。并且，当受理结束指示时(步骤S407肯定)，显示控制部143结束处理。
[0308]如上所述，当进行康复时，第7实施方式涉及的动作信息处理装置100根据初始状态的对象者的动作信息设定成为评估的基准的基准信息。并且，动作信息处理装置100使用设定的基准信息和动作信息，测量成为康复的指标的指标值。因此，动作信息处理装置100能够评估各种康复。
[0309]例如，作为基准信息，动作信息处理装置100设定前额面、矢状面、水平面中的至少一个基准面，使用所设定的基准面和动作信息测量康复的指标值。因此，即使在进行上肢、下肢、躯干等、各种部位的康复的情况下，动作信息处理装置100也能够测量指标值。
[0310]另外，例如，动作信息处理装置100显示包含基准面和成为指标值的测量对象的部位的图像信息、以及表示指标值的曲线图中的至少一个。因此，动作信息处理装置100能够视觉性显示指标值，或者能够清晰地显示指标值的数值变化。
[0311]另外，例如，动作信息处理装置100显示表示康复中的正常的指标值的范围的正常可动范围信息、以及表示康复中的注意事项的注意事项信息中的至少一个。因此，即使对象者或助手不是康复的专家，动作信息处理装置100也能够确保所实施的康复的质量。
[0312](第8实施方式)
[0313]在第7实施方式中，说明了通过动作信息处理装置100设定基准面，来评估各种康复的情况，但并不限定于此。例如，动作信息处理装置100也可以通过设定作为在康复的动作中成为评估的基准的线的基准线，来评估康复。因此，在第8实施方式中，说明通过动作信息处理装置100设定基准线，来评估康复的情况。
[0314]第8实施方式涉及的动作信息处理装置100具有与图22所示的动作信息处理装置100相同的构成，与设定部142a以及测量部142b中的处理一部分不同。因此，在第8实施方式中，以与第7实施方式的不同点为中心进行说明，针对与在第7实施方式中说明的构成具有相同的功能的点，添加与图22相同的符号，省略说明。
[0315]第8实施方式涉及的设定部142a具有与在第7实施方式中说明的设定部142a相同的功能。另外，第8实施方式涉及的设定部142a使用通过取得部141取得的对象者的动作信息，来设定作为在康复的动作中成为评估的基准的线的基准线的信息的基准线信息。
[0316]作为一个例子，设定部142a受理表示设定基准线信息的意思的设定指示。该设定指示包含这次进行的康复的内容。例如，设定部142a从利用动作信息处理装置100的利用者(包含助手以及对象者)，受理表示进行右肘弯曲伸展的康复的意思的设定指示。当受理该设定指示时，设定部142a使用与受理设定指示的时刻对应的动作信息，计算右臂上臂(连结关节2e和关节2f的线)，并将计算出的右臂上臂的信息设定为基准线信息。并且，设定部142a将所设定的基准线信息向测量部142b输出。
[0317]另外，作为其他的例子，设定部142a从利用者，受理表示进行左膝盖弯曲伸展的康复的意思的设定指示。当受理该设定指示时，设定部142a使用与受理设定指示的时刻对应的动作信息，计算左腿大腿骨(连结关节2q和关节2r的线)，并将计算出的左腿大腿骨的信息设定为基准线信息。并且，设定部142a将所设定的基准线信息向测量部142b输出。
[0318]第8实施方式涉及的测量部142b具有与在第7实施方式中说明的测量部142b相同的功能。另外，第8实施方式涉及的测量部142b使用通过设定部142a设定的基准线信息，测量成为康复的评估的指标的指标值。
[0319]使用图29A以及图29B，针对第8实施方式涉及的测量部142b使用基准线信息测量的指标值进行说明。图29A以及图29B是用于针对第8实施方式涉及的测量部142b使用基准线信息测量的指标值进行说明的图。在图29A中，示例出从背后观察对象者的图，说明测量部142b测量右肘弯曲伸展的指标值的情况。在图29A(a)中，示例出使右肘弯曲的情况，在图29A(b)中，示例出使右肘伸展的情况。另外，在图29B中，示例出从左侧观察对象者的图，说明测量部142b测量左腿弯曲伸展的指标值的情况。在图29B(a)中，示例出使左腿弯曲的情况，在图29B(b)中，示例出使左腿伸展的情况。
[0320]如图29A所示，测量部142b当测量右肘弯曲伸展的指标值时，将通过设定部142a设定的右臂上臂(连结关节2e和关节2f的线)和右臂下臂(连结关节2f和关节2g的线)所形成的角度作为指标值来测量。具体而言，测量部142b将所设定的线段“2e-2f”和线段“2f-2g”所形成的角度作为指标值来测量。
[0321]另外，如图29B所示，测量部142b当测量左腿弯曲伸展的指标值时，将通过设定部142a设定的左腿大腿骨(连结关节2q和关节2r的线)和左腿胫骨(连结关节2r和关节2s的线)所形成的角度作为指标值来测量。具体而言，测量部142b将所设定的线段“2q-2r”与线段“2r-2s”所形成的角度作为指标值来测量。
[0322]另外，测量部142b测量的指标值并不限定于上述的例子。例如，测量部142b当测量左腿弯曲伸展的指标值时(图29B)，将在第7实施方式中说明的前额面5a和左腿胫骨(连结关节2r和关节2s的线)所形成的角度作为指标值来测量。
[0323]这样，当进行康复时，第8实施方式涉及的动作信息处理装置100根据初始状态的对象者的动作信息设定成为评估的基准的基准线信息。并且，动作信息处理装置100使用所设定的基准线信息和动作信息，测量成为康复的指标的指标值。因此，动作信息处理装置100能够评估各种康复。
[0324](第9实施方式)
[0325]在上述的实施方式中，说明了动作信息处理装置100将基准面或者基准线与成为进行康复的对象者的测量对象的部位的角度作为指标值来测量的情况，但并不限定于此。例如，当使用深度信息测量转动方向的运动时，动作信息处理装置100也可以使用基准面或者基准线。因此，在第9实施方式中，说明动作信息处理装置100使用基准面或者基准线，测量转动方向的运动的指标值的情况。
[0326]图30是表示第9实施方式涉及的动作信息处理装置100的详细的构成例的框图。第9实施方式涉及的动作信息处理装置100与图22所示的动作信息处理装置100相比较，还具有检测空间设定部142c、检测部142d、计算部142e、深度图像信息存储部134、彩色图像信息存储部135的点不同。因此，在第9实施方式中，以与第7实施方式不同的点为中心进行说明，针对具有与在第7实施方式中说明的构成相同的功能的点，赋予与图22相同的符号，省略说明。
[0327]深度图像信息存储部134存储通过动作信息收集部10生成的深度图像信息。例如，每通过动作信息收集部10生成深度图像信息，便存储于深度图像信息存储部134。
[0328]彩色图像信息存储部135存储通过动作信息收集部10收集到的彩色图像信息。例如，每通过动作信息收集部10收集彩色图像信息，便保存于彩色图像信息存储部135。
[0329]另外，在动作信息存储部131、深度图像信息存储部134以及彩色图像信息存储部135中，预先将骨格信息的各关节的坐标、深度图像信息的像素位置以及彩色图像信息的像素位置建立对应。另外，预先将骨格信息的摄影时刻信息、深度图像信息的摄影时刻信息以及彩色图像信息的摄影时刻信息建立对应。
[0330]第9实施方式所涉及的取得部141具有与在第7实施方式中说明的取得部141相同的功能。另外，第9实施方式涉及的取得部141取得包含存在于进行康复的空间内的被拍摄体的坐标信息和深度信息的深度图像信息。例如，每当对动作信息收集部10以及动作信息处理装置100接通电源，将I帧的骨格信息保存在动作信息存储部131中时，取得部141分别从动作信息存储部131、深度图像信息存储部134以及彩色图像信息存储部135取得骨格信息和对应的帧的深度图像信息以及彩色图像信息。
[0331]第9实施方式所涉及的设定部142a具有与在第7实施方式中说明的设定部142a相同的功能。图31是用于说明第9实施方式所涉及的设定部142a的处理的图。如图31所示，当进行左臂前臂的转动运动的康复时，设定部142a设定表示矢状面5b的矢状面信息。另外，并不限定于此，当进行左臂前臂的转动运动的康复时，设定部142a也可以设定表示左臂上臂(连结关节2i和关节2j的线)的基准线信息。
[0332]第9实施方式所涉及的检测空间设定部142c设定包含成为处理对象的部位的检测空间。例如，检测空间设定部142c经由输入部120从利用者受理表示指定成为康复的对象的部位以及运动内容的意思的输入。接着，检测空间设定部142c按照通过输入指定的部位以及运动内容，从由取得部141取得出的动作信息中提取成为处理对象的关节的坐标。并且，检测空间设定部142c对进行康复的空间，设定包含所提取出的关节的坐标的检测空间。
[0333]在此，检测空间设定部142c设定检测空间的操作是为了缩小在进行康复的空间中进行转动方向的运动的空间。即，针对xyz方向缩小进行转动方向的运动的空间。另外，通过在xy方向进行缩小，从而能够将对象者进行的转动方向的运动区别于其他的运动或其他的被拍摄体的位置变化进行分析。列举具体例，即使在双臂使前臂进行转动运动时，通过设定分别以右手和左手的位置为中心的检测空间，从而，能够同时分析双臂的转动运动。另外，在该检测空间中进行的转动方向的运动能够通过分析在与转动轴大致相同的摄影方向进行摄影得到的图像来体现在图像上。针对该处理的细节，之后叙述。
[0334]图32A以及图32B是用于说明第9实施方式涉及的检测空间设定部142c的处理的图。在图32A以及图32B中，示例出某一人物进行左臂前臂的转动运动的情况。此时，假设检测空间设定部142c经由输入部120从利用者受理表示进行左臂前臂的转动运动的意思的输入。另外，图32A是从正面观察进行转动运动的人物的图，与通过动作信息收集部10摄影的彩色图像对应。该彩色图像的左右方向与距离图像坐标系的“像素位置X”对应，深度图像的上下方向与距离图像坐标系的“像素位置Y”对应。另外，图32B是从横向观察进行转动运动的人物的图，图的左方向与世界坐标系的ζ轴方向对应，即，与深度对应。
[0335]如图32A以及图32B所示，检测空间设定部142c当受理表示进行左臂前臂的转动运动的意思的输入时，从由取得部141取得的动作信息中提取左手的关节21的坐标。并且，检测空间设定部142c对进行康复的空间，设定提取出的关节21的坐标。该检测空间14a由世界坐标系表示。具体而言，例如，针对检测空间14a的X轴方向，设定以关节21的X轴方向的值为中心的30cm的范围。另外，针对检测空间14a的y轴方向，设定以关节21的y轴方向的值为中心的30cm的范围。S卩，如图32A所示，检测空间14a的x轴方向的范围以及y轴方向的范围通过分别转换成距离图像坐标系(像素位置X的范围以及像素位置Y的范围)，来在彩色图像上表示。另外，针对检测空间14a的ζ轴方向，如图32B所示，设定从关节21的ζ轴方向的值的1.2倍的值的位置到动作信息收集部10的位置的范围。这样，检测空间设定部142c将包含成为处理对象的关节的位置的棱镜型的空间设定为检测空间。另夕卜，检测空间设定部142c设定的检测空间并不限定于上述的例子，上述的值也可以根据成为处理对象的部位来任意地变更。另外，检测空间设定部142c也可以将正六面体形、球形等任意的形状的空间设定为检测空间。
[0336]第9实施方式涉及的检测部142d基于深度信息，根据深度图像信息，检测被拍摄体的部位。例如，检测部142d通过使用由检测空间设定部142c设定的检测空间对深度图像信息进行二值化处理，检测成为处理对象的部位。
[0337]图33是用于说明第9实施方式涉及的检测部142d的处理的图。在图33中，示例出对与图32A对应的深度图像进行二值化处理的情况。如图33所示，检测部142d将由取得部141取得的深度图像中的、被检测空间14a的X轴方向的范围以及y轴方向的范围包围的区域作为检测处理的对象。并且，检测部142d将作为检测处理的对象的区域所包含的各像素作为关节21的ζ轴方向的值的1.2倍的值作为阈值进行二值化处理。在图33所示的例子中，检测部142d设阈值以上的像素(在检测空间14a中不存在被拍摄体的像素)为黑，设不足阈值的像素(在检测空间14a中存在被拍摄体的像素)为白进行二值化处理。由此，检测部142d检测在深度图像中人物的左手所在的区域15a。另外，深度图像中的检测空间14a以外的区域不是检测处理的对象，因此由画影线表示。
[0338]第9实施方式涉及的计算部142e使用根据深度图像信息检测到的部位的坐标信息，计算表示该部位的朝向的朝向信息。例如，计算部142e将由检测部142d 二值化处理得到的深度图像中的、被检测空间14a的X轴方向的范围以及y轴方向的范围包围的区域作为计算处理的对象。并且，计算部142e计算作为计算处理的对象的区域中的、由检测部142d检测到的部位的重心。并且，计算部142e使用计算出的重心，将检测到的部位的长轴(惯性主轴)作为朝向信息来计算。并且，计算部142e将计算出的朝向信息向测量部142b输出。
[0339]图34是用于说明第9实施方式涉及的计算部142e的处理的图。在图34中，示出计算部142e计算在图33中检测的区域15a的重心16a与长轴16b的情况。
[0340]如图34所示，计算部142e使用下述的式(I)以及(2)，计算区域15a的重心16a。另外，在式⑴以及⑵中，Xe表示重心16a的X坐标的值，Yc表示重心16a的Y坐标的值。另外，X表示检测空间14a所包含的各像素的X坐标的值，Y表示检测空间14a所包含的各像素的Y坐标的值。另外，如果坐标(X，Y)的像素为白，则f(X，Y)是“1”，如果为黑则是 “O”。
[0341]Xc= ΣΧΧ?(X, Y)/sum(f (X, Y)) — (I)
[0342]Yc= ΣΥΧ? (X, Y)/sum(f (X, Y))— (2)
[0343]并且，使用下述的式(3)至(6)，计算区域15a的长轴16b的角度。另外，在式(3)至(6)中，σ X表示X轴方向的像素的方差，σ Y表示Y轴方向的像素的方差。另外，ο Ti表不X以及Y的协方差，Θ表不长轴16b相对于图34的左右方向(水平方向)的角度。
[0344]σ X = Σ ((X-Xc)2 X f (X，Y))...(3)
[0345]σ Y = Σ ((Y-Yc)2 X f (X，Y))...(4)
[0346]σ XY = Σ ((X-Xc) X (Y-Yc) X f (X，Y))...(5)
[0347]Θ = atan2(o XY，(σ Χ-σ Y))...(6)
[0348]另外，在此计算的角度Θ表示相对于左右方向的锐角。因此，计算部142e通过追随计算出的角度，来计算转动运动中的转动角度。列举具体例，当评估左臂前臂的转动运动时，计算部142e设左手的拇指朝上的位置为O度，将外翻表示为正的角度，将内翻表示为负的角度。该情况下，计算部142e根据进行康复的对象者将左手放置于O度的位置的状态进行角度的计算，追随计算出的角度。当对象者进行外翻时，角度从O度向正方向变化，因此，计算部142e根据外翻的活动，计算O度、45度、90度、135度…和转动角度。另外，当对象者进行内翻时，角度从O度向负方向变化，因此，计算部142e根据外翻的活动，计算O度、-45度、-90度、-135度…和转动角度。另外，当显示外翻的转动角度时，可以显示为-45度、-90度、-135度…，也可以显示为外翻45度、外翻90度、外翻135度…。另外，在转动运动中，例如，当设正常可动范围为O?90度时，在O?90度的范围内评估计算出的转动角度。
[0349]这样,每当检测区域15a时,计算部142e计算从重心16a延伸的长轴16b的角度Θ。并且，计算部142e通过追随计算出的角度，来按每一帧计算转动运动的转动角度。并且，计算部142e将计算出的转动角度的长轴作为朝向信息来计算。并且，计算部142e将计算出的朝向信息向测量部142b输出。
[0350]第9实施方式涉及的测量部142b具有与在第7实施方式中说明的测量部142b相同的功能。另外，第9实施方式涉及的测量部142b使用通过设定部142a设定的基准信息和通过计算部142e计算出的朝向信息，测量指标值。
[0351]使用图35，说明第9实施方式涉及的测量部142b测量指标值的处理。图35是用于说明第9实施方式所涉及的测量部142b测量指标值的处理的图。在图35中，示例出从正面观察对象者的图，说明测量部142b测量左臂前臂的转动运动的指标值的情况。
[0352]如图35所示，测量部142b当测量左臂前臂的转动运动的指标值时，将通过设定部142a设定的矢状面5b和通过计算部142e计算出的长轴16b的角度作为指标值来测量。
[0353]另外，测量部142b测量的指标值并不限定于上述的例子，例如，作为基准信息，当设定了左臂上臂(连结关节2i和关节2j的线)时，测量部142b将左臂上臂与长轴16b的角度作为指标值来测量。
[0354]另外，针对前臂的转动运动以外的转动方向的运动，测量部142b能够测量指标值。以下，使用图36A?图36K，说明第9实施方式涉及的测量部142b测量其他的转动方向的运动的指标值的情况。图36A?图36K是用于说明第9实施方式涉及的测量部142b测量其他的转动方向的运动的指标值的情况的图。
[0355]使用图36A，说明测量手背屈掌屈的指标值的情况。在图36A中，示例出从拇指侧观察对象者的左手的图，说明测量部142b测量左手背屈掌屈的指标值的情况。另外，在图36A中，基准信息通过设定部142a设定左臂下臂(连结关节2 j和关节2k的线)，检测空间14a如图示那样设定。
[0356]如图36A所示，当测量左手背屈掌屈的指标值时，测量部142b将左臂下臂和长轴16b所形成的角度作为指标值来测量。另外，在此，为了便于说明，说明了测量对象为左手的情况，在右手的情况下也同样能够测量。该情况下，例如，测量部142b将右臂下臂(连结关节2f和关节2g的线)与根据右手的深度图像信息计算出的长轴16b所形成的角度作为指标值来测量。
[0357]使用图36B，说明测量手桡屈尺屈的指标值的情况。在图36B中，示例出从掌侧观察对象者的右手的图，说明测量部142b测量右手桡屈尺屈的指标值的情况。另外，在图36B中，基准信息通过设定部142a设定右臂下臂(连结关节2f和关节2g的线)，检测空间14a如图示那样设定。
[0358]如图36B所示，测量部142b当测量右手桡屈尺屈的指标值时，将右臂下臂与长轴16b所形成的角度作为指标值来测量。另外，在此，为了便于说明，说明了测量对象是右手的情况，但在左手的情况下也同样能够测量。该情况下，例如，测量部142b将左臂下臂(连结关节2j和关节2k的线)与根据左手的深度图像信息计算出的长轴16b所形成的角度作为指标值来测量。
[0359]使用图36C，说明母指(拇指)手桡侧外翻尺侧内翻的指标值的情况。在图36C中，示例出从掌侧观察对象者的右手的图，说明测量部142b测量右手母指手桡侧外翻尺侧内翻的指标值的情况。另外，在图36C中，基准信息通过设定部142a设定右臂下臂(连结关节2f和关节2g的线)，检测空间14a如图示那样设定。
[0360]如图36C所示，测量部142b当测量右手母指手桡侧外翻尺侧内翻的指标值时，将右臂下臂和长轴16b所形成的角度作为指标值来测量。另外，该情况下，为了便于说明，说明了测量对象为右手的情况，但在左手的情况下也同样能够测量。该情况下，例如，测量部142b将左臂下臂(连结关节2 j和关节2k的线)和根据左手的深度图像信息计算出的长轴16b所形成的角度作为指标值来测量。
[0361]使用图36D，说明测量母指掌侧外翻掌侧内翻的指标值的情况。在图36D中，示例出从母指侧观察对象者的右手的图，说明测量部142b测量右手母指掌侧外翻掌侧内翻的指标值的情况。另外，在图36D中，基准信息通过设定部142a设定右臂下臂(连结关节2f和关节2g的线)，检测空间14a如图示那样设定。
[0362]如图36D所示，测量部142b当测量右手母指的掌侧外翻掌侧内翻的指标值时，将右臂下臂和长轴16b所形成的角度作为指标值来测量。另外，在此为了便于说明，说明了测量对象为右手的情况，但在左手的情况下也同样能够测量。此时，例如，测量部142b将左臂下臂(连结关节2j与关节2k的线)与根据左手的深度图像信息计算出的长轴16b所形成的角度作为指标值来测量。
[0363]使用图36E，说明测量胯部外旋内旋的指标值的情况。在图36E中，示例出从正面观察就坐的对象者的右腿的图，说明测量部142b测量右腿外旋内旋的指标值的情况。另夕卜，在图36E中，基准信息通过设定部142a设定矢状面5b，检测空间14a如图示那样设定。
[0364]如图36E所示，测量部142b当测量右腿外旋内旋的指标值时，将矢状面5b和长轴16b所形成的角度作为指标值来测量。另外，在此，为了便于说明，说明了测量对象为右腿的情况，但在左腿的情况下也能够测量。该情况下，例如，测量部142b将矢状面5b和根据左腿的深度图像信息计算出的长轴16b所形成的角度作为指标值。
[0365]使用图36F?图36H，说明测量小腿外旋内旋的指标值的情况。在图36F中，示例出从上方观察就坐的对象者的图，说明测量部142b测量右腿小腿的外旋内旋的指标值的情况。另外，在图36F中，基准信息通过设定部142a设定矢状面5b，如图36G所示，检测空间14a使用从对象者的右腿小腿的下部摄影得到的深度图像来设定。其结果，对图36H所示例的深度图像进行摄影。
[0366]如图36H所示，测量部142b当测量右腿小腿外旋内旋的指标值时，将矢状面5b和长轴16b所形成的角度作为指标值来测量。另外，该情况下，为了便于说明，说明了测量对象是右脚的情况，但当是左脚的情况下也同样能够测量。该情况下，例如，测量部142b将矢状面5b和根据左腿的深度图像信息计算出的长轴16b所形成的角度作为指标值来测量。
[0367]使用图361，说明测量脚背屈跖屈的指标值的情况。在图361中，示例出从大拇指侧观察到的对象者的左脚的图，说明测量部142b测量左脚背屈跖屈的指标值的情况。另夕卜，在图361中，基准信息通过设定部142a设定水平面5c，检测空间14a如图示那样设定。另外，图361 (a)示例出使左脚背屈的情况，图361 (b)示例出使左脚跖屈的情况。
[0368]如图361所示，测量部142b当测量左脚背屈跖屈的指标值时，将水平面5c和长轴16b所形成的角度作为指标值来测量。另外，在此，为了便于说明，说明了测量对象是左脚的情况，在右脚的情况下也同样能够测量。该情况下，例如，测量部142b将水平面5c和根据右脚的深度图像信息计算出的长轴16b所形成的角度作为指标值来测量。另外，图361示例的检测空间14a并不限定于图示的例子，例如，也可以如图36J(a)以及图36J(b)所示那样设定。
[0369]使用图36K，说明测量颈部的转动的指标值的情况。在图36K中，示例出从上方观察对象者的头部的图，说明测量部142b测量颈部的转动的指标值的情况。另外，在图36K中，基准信息通过设定部142a设定矢状面5b，检测空间14a以只包含对象者的头部的方式，如图示那样设定。
[0370]如图36K所示，测量部142b当测量颈部转动的指标值时，将矢状面5b和长轴16b所形成的角度作为指标值来测量。
[0371]这样，第9实施方式涉及的动作信息处理装置100设定基准面或者基准线，同时计算针对各种转动方向的运动的朝向信息。并且，动作信息处理装置100使用所设定的基准面或者基准线和朝向信息，测量转动方向的运动的指标值。因此，动作信息处理装置100能够评估各种转动方向的运动。
[0372](第10实施方式)
[0373]另外，以上，针对第7?第9实施方式进行了说明，但除了上述的实施方式以外，也可以以各种不同的方式来实施。
[0374]例如，在上述的实施方式中，说明了使用输入部120输入设定指示以及开始指示的情况，但并不限定于此。例如，设定指示以及开始指示也可以使用动作信息收集部10的声音识别技术来输入。作为一个例子，当受理了 “基准面的设定”这样的声音识别结果时，可视为输入了设定指示，设定部142a可以设定基准信息。作为其他的例子，当动作信息收集部10检测到在彩色图像中被摄影的被拍摄体的手从打开的状态变化为握住的状态时，作为开始指示的输入，测量部142b也可以测量指标值。
[0375]另外，例如，在第9实施方式中，说明了使用利用动作信息设定的基准面或者基准线和表示转动方向的运动的朝向信息，测量指标值的情况，但并不限定于此。例如，动作信息处理装置100也可以使用对象者的初始状态中的朝向信息来设定基准线。并且，动作信息处理装置100通过比较所设定的基准线和进行康复期间计算出的朝向信息来测量指标值。
[0376]具体而言，在动作信息处理装置100中，每当通过取得部141取得深度图像信息时，计算部142e使用深度图像信息计算每帧的朝向信息。并且，当在对象者的初始状态下受理设定指示时，设定部142a使用与受理设定指示的时刻对应的朝向信息设定基准线信息。并且，测量部142b当受理开始指示时，将设定的基准线信息和受理开始指示的时刻以后计算出的朝向信息所形成的角度作为指标值来计算。
[0377](第11实施方式)
[0378]以上，针对评估各种康复的动作信息处理装置100进行了说明。在此，本发明所涉及的动作信息处理装置100能够适当地组合在第I?第6实施方式中说明的内容、和在第7?第10实施方式中说明的内容来执行各种处理。具体而言，取得部141取得执行规定的动作的对象者的动作信息。输入部120受理在上述对象者的部位以及康复的动作中指定成为评估的基准的基准信息的操作。并且，每当分析部142 (或者，测量部142b)取得动作信息，则根据所指定的基准信息和所指定的部位的位置关系，测量成为康复的评估的指标的指标值。以下，针对第11实施方式涉及的动作信息处理装置100的一个例子进行说明。
[0379]第11实施方式涉及的动作信息处理装置100具有与图30所示的动作信息处理装置100相同的构成(即，具备在第I?第6实施方式中说明的各部和在第7?第10实施方式中说明的各部的构成)，分析部142以及显示控制部143中的处理一部分不同。因此，在第11实施方式中，以与上述的实施方式不同的点为中心进行说明，针对与在上述的实施方式中说明的构成具有相同的功能的点，赋予同一符号，省略说明。
[0380]图37A以及图37B是用于说明第11实施方式涉及的动作信息处理装置100进行的处理的一个例子的图。例如，当按下在第I实施方式中说明的辅助应用程序的窗口(例如，参照图12)的“设定画面”按钮时，第11实施方式涉及的显示控制部143使图37A所示的那样的设定窗口显示于输出部110。S卩，如图37A所示，显示控制部143将包含对人型配置了多个指定部的显示信息、和表示前额面、矢状面以及水平面等基准面的显示信息的设定窗口显不于输出部110。
[0381]在此，操作者能够通过经由输入部120，在输出部110所显示的设定窗口中的、针对所希望的设定指定指定部，并且指定基准面，从而能够进行对于基准面的各种信息的显示。例如，操作者指定图37A的(A)的设定窗口的左侧所示的实时显示的设定、速度测量的设定、从上方观察到的步行影像的设定、角度测量的设定等，另外，从图37A的(A)的设定窗口的右侧所示的前额面、矢状面以及水平面中指定任一面，从而能够显示以前额面、矢状面或者水平面为基准的各种信息。
[0382]在此，基准面还能够由操作者移动到任意的位置。例如，当在图37A的㈧所示的设定窗口中指定矢状面时，如图37A的(B)所示，显示控制部143进一步显示相对于所指定的矢状面的设定窗口。例如，在图37A的(B)所示的设定窗口中，操作者通过拖放矢状面5b，来使矢状面5b移动到任意的位置。另外，在图37A的(B)中，列举矢状面5b为一个例子进行说明，但实施方式并不限定于此，也同样能够将前额面以及水平面移动到任意的位置。另夕卜，图37A所示的例子仅仅是一个例子，实施方式并不限定于此。即，作为配置指定部的信息，第11实施方式所涉及的动作信息处理装置100还能够使用其他的人型，或者使用对象者的图像信息。另外，设定窗口的项目也能够任意地设定。
[0383]以下，使用图37B说明一个例子。例如，如图37B的(A)所示，由操作者指定实时显示的设定中的指定部，另外，如图37B的(B)所示，当指定矢状面5b时，如图37B的(C)所示，显示控制部143将连结关节“2a”与“2c”的线和表示矢状面5b的线重叠于对象者的图像来显示。由此，能够实时确认对象者相对于矢状面5b的状况。
[0384]另外，图37B所示的例子仅仅是一个例子，实施方式并不限定于此。S卩，第11实施方式涉及的动作信息处理装置100还能够在显示于输出部110的设定窗口中，指定对象者的任意的部位和任意的基准面，测量角度等。列举一个例子，如果在图37A的(A)所示的设定窗口中指定角度测量的设定，执行基准面的指定以及移动，则分析部142测量指定的部位相对于指定以及移动的基准面的角度。例如，当在设定窗口中，在角度测量的设定的人型中指定表示臂的关节的指定部，在基准面的指定中指定前额面并移动时，分析部142测量臂相对于移动后的前额面的角度。
[0385]另外，第11实施方式所涉及的动作信息处理装置100还能够预先存储与所指定的部位以及所指定的基准面对应的指标值，根据经由设定窗口的指定，设定部142b测量康复的各种指标值。另外，第11实施方式所涉及的动作信息处理装置100还能够将设定文件存储部132所指定的设定信息作为设定文件来存储，根据设定文件的读出请求，读出存储的设定信息。这样，第11实施方式涉及的动作信息处理装置100能够针对对象者的任意的部位，显示相对于任意的基准面的各种信息。
[0386](第12实施方式)
[0387]另外，以上针对第I?第11实施方式进行了说明，但除了上述的第I?第11实施方式以外，也可以以各种不同的方式来实施。
[0388]在上述的第I?第6实施方式中，针对动作信息处理装置100显示包含指定部的显示信息的情况进行了说明。另外，在上述的第7?第10实施方式中，针对动作信息处理装置100计算指标值的情况进行了说明。然而，实施方式并不限定于此，例如，各处理也可以通过网络(network)上的服务(service)提供装置来执行。
[0389]图38是用于说明适用于第12实施方式涉及的服务提供装置时的一个例子的图。如图38所示，服务提供装置200配置于服务中心(service center)内，例如，经由网络5，分别与配置于医疗机关、住宅、工作场所、体育馆(sports gym)等的终端装置300连接。配置于医疗机关、住宅、工作场所以及体育馆等的终端装置300分别与动作信息收集部10连接。并且，各终端装置300具有利用由服务提供装置200提供的服务的客户端(client)功能。另外，不管是有线或者无线，网络5能够采用因特网(Internet)、WAN (Wide AreaNetwork)等任意种类的通信网。
[0390]服务提供装置200将与动作信息处理装置100相同的处理作为服务提供给终端装置300。即，服务提供装置200具有与取得部141和显示控制部143相同的功能部。并且，与取得部141相同的功能部取得执行规定的动作的对象者的动作信息。并且，与显示控制部143相同的功能部以使显示包含指定部的显示信息的方式进行控制，上述指定部受理用于在使用由与取得部141相同的功能部取得的动作信息而表示的对象者的状态信息中的、指定在输出部110显示的状态信息的指定操作。
[0391]另外，服务提供装置200具有分别与取得部141、设定部142a、测量部142b相同的功能部。并且，与取得部141相同的功能部取得进行康复的空间的深度信息。并且，与设定部142a相同的功能部使用成为康复的对象的对象者的初始状态下的动作信息，设定在康复的动作中成为评估的基准的基准信息。并且，每当取得动作信息，则与测量部142b相同的功能部使用动作信息以及基准信息，测量成为康复的评估的指标的指标值。因此，服务提供装置200能够评估与着眼点对应的康复。即，服务提供装置200能够简化与着眼点对应的辅助。另外，服务提供装置200能够评估各种康复。
[0392]另外，上述的第I?第11实施方式中的动作信息处理装置100的构成仅仅是一个例子，各部能够适当地进行统和以及分离。例如，能够合并动作信息存储部131和设定文件存储部132，或者将分析部142与计算关节间的距离等的计算部和对计算出的值与阈值进行比较的比较部分离。另外，例如，能够统合设定部142a以及测量部142b。
[0393]另外，上述的第I实施方式?第11实施方式中示出的康复的规则信息或指标值等除了使用由日本整形外科学会等规定的之外，也可以使用由其他的各种团体规定的。例如，也可以使用由“Internat1nal Society of OrthopaedicSurgery and Traumatology (SICOT):国际整形外科学会”、“American Academy ofOrthopaedic Surgeons (AAOS):美国整形外科学会”、“European Orthopaedic ResearchSociety (EORS):欧州整形外科学研究会”、“Internat1nal Society of Physical andRehabilitat1n Medicine (ISPRM):国际康复医学会”、“American Academy of PhysicalMedicine and Rehabilitat1n(AAPM&R):美国物理疗法康复学会”等规定的各种规则或标准。
[0394]另外，在上述的实施方式中说明的取得部141、设定部142a、测量部142b以及显示控制部143的功能还能够通过软件来实现。例如，取得部141、设定部142a、测量部142b以及显示控制部143的功能通过使计算机执行动作信息处理程序来实现，上述动作信息处理程序规定了在上述的实施方式中说明为取得部141、设定部142a、测量部142b以及显示控制部143进行的处理的步骤。该动作信息处理程序例如存储于硬盘(hard disc)或半导体存储器(memory)元件等，由CPU或MPU等处理器(processor)读出并执行。另外，该运动信息处理程序能够记录在 CD-ROM (Compact Disc - Read Only Memory)或 MO (MagneticOptical disk)、DVD (Digital Versatile Disc)等计算机可读的记录介质中来发布。
[0395]如以上说明的那样，根据至少一个实施方式，本实施方式的动作信息处理装置能够评估与着眼点对应的康复。
[0396]虽然说明了本发明的几个实施方式，但这些实施方式是作为例子而提示的，并不意图限定本发明的范围。这些实施方式能够以其他的各种方式进行实施，在不脱离发明的要旨的范围内，能够进行各种省略、置换、变更。这些实施方式或其变形与包含于发明的范围或要旨中一样，包含于权利要求书记载的发明及其均等的范围中。
【权利要求】
1.一种动作信息处理装置，其特征在于，具备: 取得部，其取得执行规定的动作的对象者的动作信息； 指定操作受理部，其受理指定对象者的部位的操作； 分析部，其对上述动作信息进行分析来求得与上述指定的部位的活动相关的分析值；以及 显示控制部，其显示基于与上述指定的部位的活动相关的分析值的显示信息。
2.根据权利要求1所述的动作信息处理装置，其特征在于， 上述显示控制部进行控制，以便显示在作为用于指定上述对象者的部位的信息的、上述对象者的图像信息以及人型的信息中的至少一方配置了指定部的信息。
3.根据权利要求2所述的动作信息处理装置，其特征在于， 上述动作信息处理装置还具备受理部，上述受理部受理用于在上述对象者的图像信息以及上述人型的信息的任意位置配置上述指定部的操作， 上述显示控制部进行控制。以便显示在由上述受理部受理的位置配置了上述指定部的信息。
4.根据权利要求2所述的动作信息处理装置，其特征在于， 上述指定部以上述对象者的图像信息以及上述人型的信息中的规定的位置由点状以及线状中的至少一方来进行指定操作的方式，配置于该对象者的图像信息以及上述人型的信息。
5.根据权利要求1?4中任一项所述的动作信息处理装置，其特征在于， 上述指定操作受理部受理指定用于对上述对象者执行上述规定的动作时的骨格信息、上述对象者的规定的位置的速度信息以及角度信息、以及上述对象者执行步行动作时的步行信息中的至少I个进行分析的部位的操作。
6.根据权利要求1所述的动作信息处理装置，其特征在于， 上述分析部对膝盖向与上述对象者执行步行动作时的步行方向正交的方向的摆动、上述膝盖的内翻外翻角度、上述对象者的重心的速度、以及上述膝盖弯曲以及伸展的角度中的至少I个进行分析来求分析值。
7.一种动作信息处理装置，其特征在于，具备: 取得部，其取得表示人物的动作的动作信息； 设定部，其使用成为康复的对象的对象者的初始状态中的上述动作信息，来设定在该康复的动作中成为评估的基准的基准信息；以及 测量部，每当取得上述动作信息时，该测量部便使用该动作信息以及上述基准信息，来测量成为康复的评估的指标的指标值。
8.根据权利要求7所述的动作信息处理装置，其特征在于， 上述设定部设定前额面、矢状面、水平面中的至少一个作为上述基准信息。
9.根据权利要求8所述的动作信息处理装置，其特征在于， 上述测量部使用通过上述设定部设定的前额面，来测量肩的弯曲伸展、肩的水平弯曲伸展、肩胛带的弯曲伸展、胯的弯曲伸展、头部的前屈后屈、胸腰部的前屈后屈以及胸腰部的转动中的至少一个指标值。
10.根据权利要求8所述的动作信息处理装置，其特征在于， 上述测量部使用通过上述设定部设定的矢状面，来测量肩的外翻内翻、肩的外旋内旋、胯的外翻内翻、颈部的侧屈以及胸腰部的侧屈中的至少一个指标值。
11.根据权利要求8所述的动作信息处理装置，其特征在于， 上述测量部使用由上述设定部设定的水平面，来测量肩胛带的提起降下以及肩的外旋内旋中的至少一个指标值。
12.根据权利要求7?11中任一项所述的动作信息处理装置，其特征在于， 上述动作信息处理装置还具备显示控制部，上述显示控制部将上述指标值显示于输出部， 上述显示控制部使包含上述基准信息和成为上述指标值的测量对象的部位的图像信息以及表示上述指标值的信息中的至少一个显示。
13.根据权利要求12所述的动作信息处理装置，其特征在于， 上述显示控制部还使表示上述康复中的正常的上述指标值的范围的信息以及表示上述康复中的注意事项的信息中的至少一个显示。
14.根据权利要求7所述的动作信息处理装置，其特征在于， 上述动作信息处理装置还具备:检测部，其根据包含上述对象者的坐标信息和深度信息的深度图像信息，来检测上述对象者的部位；和 计算部，其使用根据上述深度图像信息检测到的部位的坐标信息，来计算表示该部位的转动方向的活动的朝向信息， 上述测量部使用由上述计算部计算出的朝向信息和上述基准信息，来测量上述指标值。
15.一种动作信息处理装置，其特征在于，具备: 取得部，其取得执行规定的动作的对象者的动作信息； 指定操作受理部，其受理在上述对象者的部位以及康复的动作中指定成为评估的基准的基准信息的操作；以及 测量部，每当取得上述动作信息时，该测量部根据上述指定的基准信息和上述指定的部位的位置关系，来测量成为上述康复的评估的指标的指标值。
【文档编号】A61B5/11GK104274183SQ201410307514
【公开日】2015年1月14日 申请日期:2014年6月30日 优先权日:2013年7月1日
【发明者】宇都宫和树, 坂上弘祐, 池田智 申请人:株式会社东芝, 东芝医疗系统株式会社