信息处理装置、信息处理方法以及程序与流程

文档序号:14721829发布日期:2018-06-17 17:24阅读:341来源:国知局

本发明涉及信息处理装置、信息处理方法以及程序。



背景技术:

提出有各种例如基于由安装在用户上的传感器提供的传感器数据来检测用户的各种行动的技术。例如,专利文献1中公开了一种信息处理装置,该信息处理装置具有专门用于通过传感器数据的阈值处理所识别出的用户的行动中的特定行动的多个行动判定部,并基于各个行动判定部中的判定结果来生成行动信息。

专利文献1:日本特开2010-198595号公报

然而,由于在用户的生活中产生各种种类的行动(行为),例如在专利文献1所记载的技术中,不一定能够检测用户的所有行为,并提供与检测出的行为有关的信息。



技术实现要素:

因此,在本公开中提出能够提供与用户的更多样的行为有关的信息的新颖且改进的信息处理装置、信息处理方法以及程序。

根据本公开,提供一种信息处理装置,该信息处理装置具备传感器数据获取部,其获取由安装在用户或者被上述用户使用的器具上的传感器提供的传感器数据;行为检测部,其基于上述传感器数据来检测出上述用户的行为,上述行为包括转动;以及信息生成部,其生成与上述转动有关的信息。

另外,根据本公开,提供一种信息处理方法,该信息处理方法包括获取由安装在用户或者被上述用户使用的器具上的传感器提供的传感器数据;处理器基于上述传感器数据来检测出上述用户的行为,上述行为包括转动;以及生成与上述转动有关的信息。

另外,根据本公开,提供一种程序,该程序用于用于使计算机实现如下的功能:获取由安装在用户或者被上述用户使用的器具上的传感器提供的传感器数据的功能;基于上述传感器数据来检测出上述用户的行为的功能,上述行为包括转动;以及生成与上述转动有关的信息的功能。

如以上说明那样,根据本公开,能够提供与用户的更多样的行为有关的信息。

此外,上述的效果不旨在必然是限制性的,并且与上述的效果一起或取代所述效果,此处阐述的任意效果或能够根据本说明书理解的其它效果也可以实现。

附图说明

图1是表示本公开的一实施方式所涉及的信息处理装置的示意的功能构成的框图。

图2是表示本公开的一实施方式中,用于检测用户的行为所包括的跳跃的处理的第1例子的流程图。

图3是表示图2所示的高冲击检测处理的例子的流程图。

图4是表示图2所示的自由落体检测处理的第1例子的流程图。

图5是表示图2所示的自由落体检测处理的第2例子的流程图。

图6是表示本公开的一实施方式中,用于检测用户的行为所包括的跳跃的处理的第2例子的流程图。

图7是表示图6所示的候补区间检测处理的例子的流程图。

图8是表示图7所示的铅垂方向加速度计算处理的例子的流程图。

图9是表示图7所示的水平方向加速度计算处理的例子的流程图。

图10是表示本公开的一实施方式中,用于检测用户的行为所包含的转动区间的处理的例子的流程图。

图11是表示图10所示的旋转区间检测处理的例子的流程图。

图12是表示图10所示的摇头检测处理的例子的流程图。

图13是表示图10所示的转动检测处理的例子的流程图。

图14是表示本公开的一实施方式中,用于推定传感器安装状态的处理的例子的框图。

图15是表示本公开的一实施方式所包含的信息生成的第1例子中的处理的流程图。

图16是表示本公开的一实施方式所包含的信息生成的第1例子中的画面显示的图。

图17是表示本公开的一实施方式所包含的信息生成的第2例子中的处理示流程图。

图18是表示本公开的一实施方式所包含的信息生成的第2例子中的画面显示的图。

图19是表示本公开的一实施方式所包含的信息生成的第2例子中的画面显示的图。

图20是用于示意性地说明本公开的一实施方式所包含的信息生成的第3例子的图。

图21是表示本公开的一实施方式所包含的信息生成的第3例子中的处理的流程图。

图22是用于对图21例子所示的处理中的影像的加工进行说明的图。

图23是用于对图21所示的处理中的影像的下载的用户界面进行说明的图。

图24是表示本公开的一实施方式所包含的信息生成的第4例子中的处理的流程图。

图25是表示本公开的一实施方式所包含的信息生成的第4例子中的面显示的图。

图26是表示本公开的实施方式所涉及的信息处理装置的硬件构成例子的框图。

图27是用于对本公开的一实施方式中的用于内容控制的时间序列得分的计算进行说明的图。

图28是用于对本公开的一实施方式中的利用了时间序列得分的内容控制的例子进行说明的图。

图29是用于对本公开的一实施方式中与行为相关地定义的时机的例子进行说明的图。

图30是表示本公开的一实施方式中与行为相关地定义的时机所提供的效果的第1例子的图。

图31是表示本公开的一实施方式中与行为相关地定义的时机所提供的效果的第2例子的图。

图32是表示本公开的一实施方式中与行为相关地定义的时机所提供的效果的第3例子的图。

图33是表示本公开的一实施方式中与行为相关地定义的时机所提供的效果的第4例子的图。

图34是表示本公开的实施方式所涉及的信息处理装置的硬件构成例子的框图。

符号说明

100…信息处理装置;101…发送部;102…接收部;103…传感器设备控制部;104…传感器数据解析部;105…特征量提取部;106…行为检测部;107…解析结果处理部;108…聚类处理部;109…评分处理部;112…服务控制部

具体实施方式

以下参照添加附图,详细地对本公开的优选的实施方式进行说明。此外,在本说明书以及附图中,实际上具有相同的功能构成的构成要素通过附加同一符号来省略重复说明。

此外,说明按照以下的顺序进行。

1.信息处理装置的功能构成

2.行为检测处理的例子

2-1.跳跃的检测-1

2-2.跳跃的检测-2

2-3.转动的检测

3.附加的处理的例子

3-1.行为得分的计算

3-2.聚类处理

3-3.传感器安装状态的推定

4.信息生成的例子

4-1.第1例子

4-2.第2例子

4-3.第3例子

4-4.第4例子

4-5.用户的简档

5.硬件构成

6.补充

7.内容控制的例子

7-1.基于时间序列得分的控制

7-2.与行为相关地定义的时机的控制

7-3.用户的简档

8.硬件构成

9.补充

(1.信息处理装置的功能构成)

图1是表示本公开的一实施方式所涉及的信息处理装置的示意的功能构成的框图。参照图1,信息处理装置100包括发送部101、接收部102、传感器设备控制部103、传感器数据解析部104、解析结果处理部107、检测区间信息保持部110、附加信息保持部111、和服务控制部112。

信息处理装置100例如后述的几个具体的例子中所示,可以是构成网络上的服务器的单一装置或者装置的集合体。另外,信息处理装置100也可以是经由网络与服务器进行通信的终端装置或者单独进行动作的终端装置。或者,信息处理装置100的功能可以通过分散为经由网络相互进行通信的服务器和终端装置来实现。信息处理装置100或者实现信息处理装置100的功能的多个装置的各个的硬件构成后述。

发送部101以及接收部102通过例如利用有线或者无线的各种通信方式与传感器设备进行通信的通信装置来实现。传感器设备包括安装在用户或者被用户使用的器具上的至少一个传感器。发送部101将传感器设备控制部103输出的控制信号发送给传感器设备。接收部102从传感器设备接收传感器数据以及时刻信息(时间戳),并将它们输入至传感器设备控制部103。在图示的例子中,接收部102实现接收由安装在用户或者被用户使用的器具上的传感器提供的传感器数据的传感器数据接收部。此外,例如在信息处理装置100是具备至少一个传感器的终端装置,更具体而言是移动设备、可穿戴设备的情况下,也可以通过执行从传感器接收传感器数据的驱动程序的CPU(CentralProcessingUnit)等处理器来实现传感器数据接收部。另外,本实施方式所涉及的信息处理装置例如也可以具有从具备传感器的外部装置获取传感器数据的获取部。此处,获取部例如通过执行“经由实现发送部101以及接收部102的上述通信装置等从具备传感器的外部装置接收传感器数据的驱动程序”的CPU等处理器来实现。此外,在具备获取部的情况下,本实施方式所涉及的信息处理装置也能够采用不具备传感器数据接收部的构成。

传感器设备控制部103通过例如CPU等处理器按照储存在存储器中的程序进行动作来实现。传感器设备控制部103从接收部102获取传感器数据以及时刻信息。传感器设备控制部103将这些数据提供给传感器数据解析部104以及解析结果处理部107。传感器设备控制部103也可以根据需要实现数据的预处理。另外,传感器设备控制部103将传感器设备的控制信号输出给发送部101。在几个实施方式中,传感器设备控制部103也可以基于传感器数据解析部104或者解析结果处理部107中的处理的结果的反馈来输出控制信号。

传感器数据解析部104通过例如CPU等处理器按照储存在存储器中的程序进行动作来实现。传感器数据解析部104执行使用了从传感器设备控制部103提供的传感器数据的各种解析。在图示的例子中,传感器数据解析部104包括特征量提取部105和行为检测部106。特征量提取部105从传感器数据提取各种特征量。行为检测部106基于由特征量提取部105从传感器数据提取出的特征量来检测用户的行为。在本实施方式中,行为检测部106检测的用户的行为包括用户的转动以及/或者跳跃。并且,行为检测部106也可以检测走、跑、静止、利用交通工具移动等这样的其它用户的行为。用户的行为能够与表示其产生的区间(行为区间)的时刻信息(时间戳)建立关联地检测。传感器数据解析部104将解析结果,更具体而言例如包括由行为检测部106检测出的用户的行为区间的信息储存于检测区间信息保持部110。另外,传感器数据解析部104将解析结果提供给解析结果处理部107。

解析结果处理部107通过例如CPU等处理器按照储存在存储器中的程序进行动作来实现。解析结果处理部107基于传感器数据解析部104的解析结果,更具体而言由行为检测部106检测出的用户的行为的信息来生成供后段的服务控制部112利用的各种附加信息。在图示的例子中,解析结果处理部107包括聚类处理部108和评分处理部109。例如在检测出的用户的行为包括相同的种类的多个行为的情况下,聚类处理部108可以基于该特征量(可以是由特征量提取部105提取出的特征量,也可以是由行为检测部106计算出的中间特征量)对这些行为进行聚类。另外,相同的情况下,评分处理部109可以基于特征量来计算表示行为的评价的得分。另外,聚类处理部108以及/或者评分处理部109也可以基于从传感器设备控制部103提供的传感器数据来重新计算特征量。解析结果处理部107将处理结果,更具体而言聚类处理部108的聚类的结果、由评分处理部109计算出的得分的信息与时刻信息(时间戳)一起储存于附加信息保持部111。

检测区间信息保持部110以及附加信息保持部111通过例如各种存储器或者记忆装置来实现。检测区间信息保持部110以及附加信息保持部111如上述那样暂时或者永久地储存从传感器数据解析部104以及解析结果处理部107提供的信息。储存在检测区间信息保持部110中的信息和储存在附加信息保持部111中的信息有可能能够例如通过时刻信息(时间戳)相互建立对应。另外,也可以在检测区间信息保持部110以及附加信息保持部111中储存与多个用户的各个有关的信息。

服务控制部112通过例如CPU等处理器按照储存在存储器中的程序进行动作来实现。服务控制部112利用储存在检测区间信息保持部110以及/或者附加信息保持部111中的信息来控制服务113。更具体而言,例如服务控制部112基于从检测区间信息保持部110以及/或者附加信息保持部111读出的信息来生成服务113中提供给用户的信息。此处,如上述,储存在检测区间信息保持部110以及/或者附加信息保持部111中的信息包括与由传感器数据解析部104所包含的行为检测部106检测出的用户的行为有关的信息。换句话说,在图示的例子中,服务控制部112实现输出与由行为检测部检测出的用户的行为有关的信息的信息生成部。此外,例如在信息处理装置100为服务器的情况下,由服务控制部112输出的信息能够经由通信装置发送给终端装置。另外,例如在信息处理装置100为终端装置的情况下,由服务控制部112输出的信息能够通过给终端装置具备的显示器、扬声器或者振动器等输出装置。

(2.行为检测处理的例子)

以下,对本公开的一实施方式中所执行的行为检测处理的例子进行说明。在这些例子中检测用户单板滑雪的情况下产生的跳跃以及转动。例如单板滑雪的情况下,包括加速度传感器以及角速度传感器等的传感器设备可以通过埋入衣物中或者组装到可穿戴终端装置、移动终端装置中而直接安装在用户上。或者传感器设备也可以安装在单板滑雪的用具例如板上。

此外,本实施方式中执行的行为检测处理并不限于单板滑雪中产生的跳跃、转动,也可以例如对单板滑雪以外的运动所产生的跳跃、转动执行行为检测处理。跳跃、转动是能够在各种运动中共同产生的行为,所以例如通过以下说明的那样的检测处理,不管运动的种类都能够检测跳跃、转动。另外,也可以在本实施方式执行的行为检测处理中检测跳跃、转动以外的行为。在这种行为检测处理中能够应用例如日本特开2010-198595号公报等所记载的行动识别技术中所利用的各种技术。

(2-1.跳跃的检测-1)

图2是表示本公开的一实施方式中,用于检测用户的行为所包括的跳跃的处理的第1例子的流程图。例如在上述的信息处理装置100所包含的传感器数据解析部104执行图示的处理。

首先,传感器数据解析部104按照规定的时间帧执行高冲击检测处理(S110)和自由落体检测处理(S120)。此外,这些处理的详细后述。传感器数据解析部104所包含的行为检测部106接受这些处理的结果来判定是否产生夹在2个高冲击区间(推定为起跳以及着地)的区间(S101)。在产生这种区间的情况下,行为检测部106判定区间的持续时间(duration)是否处于2个阈值(TH1、TH2)之间(S102)。这些阈值例如在作为跳跃将判断为过长的区间、过短的区间除外的目的下设定。

S102的判定中持续时间处于2个阈值之间的情况下,行为检测部106还判定该区间中的自由落体区间的比率是否超过阈值(TH)(S103)。在自由落体区间的比率超过阈值的情况下,检测出该区间(夹在2个高冲击区间的区间)是跳跃区间(S104)。

图3是表示图2所示的高冲击检测处理(S110)的例子的流程图。参照图3,在高冲击检测处理中利用传感器数据所包含的加速度(D111)。首先,传感器数据解析部104所包括的特征量提取部105计算加速度的范数(S112),而且通过LPF(LowPassFilter:低通滤波器)对范数进行滤波(S113)。接着,特征量提取部105针对经过滤波的加速度的范数以规定的时间帧计算振幅的功率(S114)。行为检测部106判定功率是否高于阈值(TH)(S115),在功率高于阈值的情况下,检测出该时间帧为高冲击区间(S116)。

此外,在本说明书以及附图中记载为TH、TH1或者TH2等阈值在各个处理中设定适当的值。换句话说,这些阈值都记载为TH等并不是表示这些阈值是相同的值。

图4是表示图2所示的自由落体检测处理(S120)的第1例子的流程图。参照图4,在第1例子所涉及的自由落体检测处理中利用传感器数据所包含的加速度(D121)以及角速度(D125)。首先,特征量提取部105计算加速度的范数(S122),行为检测部106判定各区间中的范数是否低于阈值(TH)(S123)。行为检测部106针对加速度的范数低于阈值的区间检测出该区间是自由落体区间(S124)。

另一方面,特征量提取部105针对角速度也计算范数(S126),而且计算规定的时间帧中的范数的方差(S127)。行为检测部106判定角速度的范数的方差是否低于阈值(TH)(S128),在方差低于阈值的情况下,掩蔽S124中检测出的自由落体区间(换句话说,取消作为自由落体区间的判定)(S129)。基于这样的角速度的掩蔽处理根据由于在用户跳跃的情况下产生角速度的变化,所以角速度的变化(方差)较小的自由落体区间在跳跃以外的原因下产生这种见解。

此外,在上述的处理中,S126~S129中的掩蔽处理可以不必在S121~S124中的自由落体区间的判定处理之后执行。例如行为检测部106可以先行执行掩蔽处理,而针对被确定为掩蔽的区间的区间不执行自由落体区间的判定处理。或者,掩蔽的处理可以在图2所示的跳跃区间的检测处理(S104)之后执行,而暂时不掩蔽作为跳跃区间被检测出的区间。而且换句话说,图4等所示的自由落体处理(S120)无需必须在图2所示的区间的产生判定(S101)前执行,可以在区间的产生判定后,例如在与自由落体区间的比率有关的判定(S103)前,执行该区间自由落体检测处理。

图5是表示图2所示的自由落体检测处理(S120)的第2例子的流程图。参照图5,在第2例子所涉及的自由落体检测处理中利用由安装在用户或者被用户使用的器具上的加速度传感器提供的传感器数据所包含的加速度(D121)。在S122~S124中,特征量提取部105以及行为检测部106执行与上述的第1例子同样的处理,检测自由落体区间。

另一方面,在本例子中,特征量提取部105提取加速度的X轴成分以及Y轴成分(S132),而且计算加速度的X轴成分与Y轴成分之间的协方差(S133)。更具体而言,例如,在用户在基准面(并不限于水平面,可以是倾斜面)上走或跑的情况下,特征量提取部105将加速度传感器的坐标轴中与用户的行进方向最近的轴作为X轴、将与基准面的法线方向最近的轴作为Y轴,计算将与这些轴向的加速度成分(X轴成分、Y轴成分)的协方差。行为检测部106判定协方差是否低于阈值(TH)(S134),在协方差低于阈值的情况下,掩蔽S124中检测出的自由落体区间(S129)。基于这样的加速度的协方差的掩蔽处理例如在想要检测的跳跃并不是伴随专门基准面的法线方向的位移的所谓铅垂跳,而是伴随向用户的行进方向的位移的跳跃的情况下有效。

(2-2.跳跃的检测-2)

图6是表示本公开的一实施方式中,用于检测用户的行为所包括的跳跃的处理的第2例子的流程图。图示的处理与上述的第1例子同样地,例如在信息处理装置100所包含的传感器数据解析部104中执行。

首先,传感器数据解析部104执行候补区间检测处理(S140)。此外,该处理的详细后述。传感器数据解析部104所包括的行为检测部106接受处理的结果来判定是否产生候补区间(S105)。在产生候补区间的情况下,行为检测部106与上述的第1例子同样地,判定区间的持续时间(duration)是否处于2个阈值(TH1、TH2)之间(S102)。在持续时间处于2个阈值之间的情况下,行为检测部106进而判定区间中的铅垂方向以及水平方向的加速度的平均值(mean)是否超过各个阈值(THs)(S106)。在加速度的平均值超过各个阈值的情况下,检测出该候补区间为跳跃区间(S104)。

图7是表示图6所示的候补区间检测处理(S140)的例子的流程图。在候补区间检测处理中,首先,执行上述参照图3所说明的高冲击检测处理(S110)、铅垂方向加速度计算处理(S141)、和水平方向加速度计算处理(S142)。并且,传感器数据解析部104所包括的特征量提取部105针对各区间,计算S141、S142中计算出的铅垂方向加速度与水平方向加速度的差量(S143)。之后,行为检测部106判定是否产生夹在2个高冲击区间(推定为起跳以及着地)的区间(S144)。在产生这种区间的情况下,行为检测部106判定S143中计算出的铅垂方向加速度与水平方向加速度的差量在该区间中是否超过阈值(TH)(S145)。在差量超过阈值的情况下,检测出该区间(夹在2个高冲击区间的区间)为跳跃区间的候补区间(S146)。

图8是表示图7所示的铅垂方向加速度计算处理(S141)的例子的流程图。参照图8,在铅垂方向加速度计算处理中利用传感器数据所包含的加速度(D151)。首先,传感器数据解析部104所包括的特征量提取部105计算加速度的平均值(mean)(S152)。此处计算的平均值例如可以是移动平均。特征量提取部105基于S152中计算出的加速度的平均值来执行重力成分加速度计算处理(S153)。并且,特征量提取部105计算计算出的重力成分加速度的范数(S154)。此外,重力成分加速度也可以基于移动平均等平均值来计算,也可以使用LPF等滤波器来计算。

另一方面,特征量提取部105与上述的S152~S154的处理不同地利用BPF(BandPassFilter:带通滤波器)处理加速度(D151)(S155)。在图示的例子中,BPF以通过低频区域的滤波器除去加速度所包含的DC成分(换句话说,重力成分),再通过高频区域的滤波器对加速度进行滤波为目的而使用。此外,S155的BPF可以通过例如LPF、HPF(HighPassFilter:高通滤波器)等其它种类的滤波器的组合来代替。特征量提取部105针对经过BPF处理后的加速度,计算与S153中计算出的重力成分加速度的内积(S156)。

并且,特征量提取部105将S156中计算出的内积除以S154中计算出的重力成分加速度的范数(S157)。由此,获得铅垂方向加速度(V158)。在图示的例子中,铅垂方向加速度通过将利用BPF(S155)除去重力成分的加速度向重力成分加速度的方向射影来计算。

图9是表示图7所示的水平方向加速度计算处理(S142)的例子的流程图。参照图9,在水平方向加速度计算处理中也利用传感器数据所包含的加速度(D151)。另外,在水平方向加速度计算处理中利用上述参照图8所说明的铅垂方向加速度计算处理(S141)中计算出的铅垂方向加速度。更具体而言,传感器数据解析部104所包括的特征量提取部105对铅垂方向加速度进行平方来利用(S161)。

另一方面,利用BPF处理特征量提取部加速度(D151)(S162),除去加速度所包含的DC成分,并且对加速度进行滤波。此外,S162的BPF也可以例如通过LPF、HPF等其它种类的滤波器的组合来代替。特征量提取部105计算经过BPF处理的加速度的范数(S163),并对该范数进行平方(S164)。并且,特征量提取部105计算S161中计算出的铅垂方向加速度的平方与S164中计算出的水平方向加速度的平方的差量(S165),并通过差量的平方根(S166)来获得水平方向加速度(V167)。

在以上说明的那样的本公开的一实施方式的跳跃检测中,跳跃检测的第1例子(图2)中自由落体检测处理采用第1例子(图4)的情况、同样地跳跃检测的第1例子(图2)中自由落体检测处理采用第2例子(图5)的情况、以及跳跃检测的第2例子(图6)的情况能够进行合计3种跳跃检测处理。包括行为检测部106的传感器数据解析部104可以分别执行这3种跳跃检测处理后,基于它们的结果来检测最终的跳跃区间。更具体而言,例如,行为检测部106可以在3种跳跃检测处理中的至少一个检测出跳跃区间的情况下,检测该区间作为最终的跳跃区间。或者,行为检测部106也可以在3种跳跃检测处理中的2个以上或者3种全部中检测出跳跃区间的情况下,检测该区间作为最终的跳跃区间。

(2-3.转动的检测)

图10是表示本公开的一实施方式中,用于检测用户的行为所包含的转动区间的处理的例子的流程图。例如在上述的信息处理装置100所包含的传感器数据解析部104中执行图示的处理。在以下的处理中,传感器数据解析部104检测用户的行为所包含的旋转(S210),还检测其旋转所包含的非转动性的旋转(S230),从旋转除去非转动性的旋转的旋转中检测转动(S250)。

此处,非转动性的旋转例如包含在传感器包括被安装在用户的头部或者安装于用户的头部的器具上的传感器的情况下,因用户的摇头而产生的旋转。非转动性的旋转此外也可以包括因用户的体动而产生的旋转,更具体而言,在传感器包括被安装在用户的臂部或者安装于用户的臂部的器具的传感器的情况下,因用户的摆臂、转腕而产生的旋转等。

在本实施方式中,传感器数据解析部104通过在除了这种非转动性的旋转后再检测转动区间,能够进行更高精度的转动区间的检测。在这种意思下,非转动性的旋转可以说是针对作为检测对象的转动的噪声,在本实施方式中,可以说传感器数据解析部104检测用户的行为所包含的旋转,还检测该旋转所包含的噪声,从自旋转除去噪声之后的旋转中检测转动。

首先,传感器数据解析部104执行旋转区间检测处理(S210)。在本实施方式中,旋转区间被定义为水平面方向的角速度超过阈值的区间。传感器数据解析部104判定是否产生旋转区间(S201)。在产生旋转区间的情况下,首先,传感器数据解析部104执行摇头(HEADSHAKE)检测处理(S230)。并且,传感器数据解析部104判定是否检测出摇头(S203),在未检测出摇头的情况下,还执行转动检测处理(S250)。通过这样的处理,能够从旋转区间除去因用户的摇头(例如,传感器被搭载在头部佩戴型的可穿戴终端装置的情况下等产生的)而产生的区间,再提取旋转半径、角速度、持续时间等满足所希望的条件的转动区间。

图11是表示图10所示的旋转区间检测处理(S210)的例子的流程图。参照图11,在旋转区间检测处理中利用传感器数据所包含的加速度(D211)以及角速度(D214)。首先,传感器数据解析部104所包括的特征量提取部105计算加速度的平均值(mean)(S212)。此处计算的平均值例如可以是移动平均。特征量提取部105基于S212中计算出的加速度的平均值来执行重力成分加速度计算处理(S213)。并且,特征量提取部105计算S213中计算出的重力成分加速度与角速度(D214)的内积(S215)。由此,获得角速度向重力成分加速度的方向的射影,换句话说水平面方向(绕铅垂轴旋转)的角速度(V216)。

此处,特征量提取部105暂时对计算出的角速度进行积分(S217),计算水平面方向的角位移(V218)。特征量提取部105利用LPF对角位移进行处理(S219)。并且,特征量提取部105对角位移进行微分(S220)而成为水平面方向的角速度(V221)。V221的角速度与V218的角速度相比较,在S217中暂时进行积分,进而积分后的角位移在S219中经过LPF处理来进行滤波,从波形除去噪声。传感器数据解析部104所包含的行为检测部106判定水平面方向的角速度(V221)是否高于阈值(S222),并检测角速度高于阈值的区间作为旋转区间(S223)。

图12是表示图10所示的摇头检测处理(S230)的例子的流程图。参照图12,在摇头检测处理中利用图11所示的旋转区间检测处理中所计算出的、滤波后的水平面方向的角速度(V221)。特征量提取部105获取角速度的符号(S231)。针对旋转的方向的符号的定义可以是任意的,但在图示的例子中,作为角速度(V221)的符号,定义顺时针方向的旋转(V232)和逆时针方向的旋转(V233)。并且,特征量提取部105计算产生反向的旋转的时间间隔(S234)。换句话说,在图示的例子中,特征量提取部105计算从顺时针方向的旋转(V232)开始到产生逆时针方向的旋转(V233)为止的时间间隔、以及从产生逆时针方向的旋转(V233)开始到产生顺时针方向的旋转(V232)为止的时间间隔。行为检测部106判定S234中计算出的时间间隔是否低于阈值(TH)(S235),在时间间隔低于阈值的情况下,检测出产生摇头(S236)。

图13是表示图10所示的转动检测处理(S250)的例子的流程图。在转动检测处理中,由特征量提取部105计算多个特征量,行为检测部106基于各个特征量来实施基于阈值的判定。图13示出特征量提取部105用于计算各个特征量的处理。此外,以下的说明中按照顺序说明各个特征量的计算的处理,但特征量提取部105的处理可以不必按照说明的顺序执行,如果获取或者计算前提的量,则处理能够以任意的顺序执行。

首先,特征量提取部105计算传感器数据所包含的加速度(D251)的范数(S252),还计算规定的时间帧中的范数的平均值(S253)。这样计算出的加速度范数平均(V254)作为用于转动检测的特征量之一被利用。

另一方面,特征量提取部105利用第1LPF处理加速度(D251)(S273),计算重力成分加速度(V274)。并且,特征量提取部105计算传感器数据所包含的角速度(D255)与重力成分加速度的内积(S256)。由此,获得角速度向重力成分加速度的方向的射影,换句话说水平面方向(绕铅垂轴)的角速度(V257)。特征量提取部105对计算出的角速度进行积分(S258),来计算水平面方向的角位移(V259)。角位移(V259)也作为用于转动检测的特征量之一被利用。

并且,特征量提取部105基于角位移(V259)和成为处理的对象的旋转区间的持续时间(duration)(V260)来计算角速度(V261)。V261的角速度例如与D255的角速度相比,在更长的时间帧、例如可以在转区间整体进行滤波。旋转区间的持续时间(V260)以及角变化率(V261)也作为用于转动检测的特征量之一被利用。

另外,特征量提取部105针对规定的时间帧解析角位移(V259)(S262),来计算几个特征量。更具体而言,特征量提取部105计算时间帧内的角速度的最大值(S263、V268)、平均值(S264、V269)、方差(S265、V270)、峰度(S266、V271)、以及偏度(S267、V272)。这些特征量也作为用于转动检测的特征量被利用。

另一方面,特征量提取部105利用第2LPF处理加速度(D251)(S275)。在图示的例子中,相对于第1LPF(S273)用作提取加速度所包含的DC成分即重力成分加速度(V274),第2LPF(S275)用作对高频区域进行滤波来对加速度进行滤波。因此,这些LPF的通过频段设定可以不同。

特征量提取部105计算经过第2LPF(S275)滤波后的加速度与由第1LPF(S273)提取出的重力成分加速度(V274)的内积(S276)。由此,获得铅垂方向加速度(V277)。并且,特征量提取部105计算将重力成分加速度(V274)和铅垂方向加速度(V277)合成所得的加速度矢量的、与经过第2LPF(S275)滤波后的加速度的差量(S278)。由此,获得水平方向加速度(V279)。特征量提取部105计算水平方向加速度的平均值(S280)。这样计算出的水平方向加速度的平均值(V281)也作为用于转动检测的特征量被利用。

行为检测部106例如基于如上述那样从传感器数据提取的特征量来实施是否产生转动的判定。在图示的例子中,行为检测部106基于旋转区间的持续时间(V260)、水平面方向的角位移(V259)、被滤波的角速度(V261)、加速度范数平均(V254)、水平方向加速度的平均值(V281)、时间帧内的角速度的最大值(V268)、平均值(V269)、方差(V270)、峰度(V271)、以及偏度(V272)来实施判定。

此外,使用于判定的特征量并不限于上述的例子,例如可以使用上述的例子以外的特征量,也可以不使用上述的例子的特征量的一部分。例如也可以从能够从传感器数据提取的各种种类的特征量中,根据基于实际产生转动时的传感器数据的主成分分析来决定使用于转动检测的特征量的种类。或者,也可以基于实际产生转动时出现的传感器数据的趋势来决定使用于判定的特征量。例如,上述的例子中的加速度范数平均(V254)以及水平方向加速度的平均值(V281)是与转动的旋转半径有关系的特征量。

另外,行为检测部106的判定中所应用的各特征量的阈值例如根据基于实际产生转动时的传感器数据的机械学习的结果来决定。此时,实际是否产生转动例如可以参照与传感器数据同时获取的行为的影像手动决定。另外,并不仅仅是是否产生转动,也可以给予表示什么样的转动的标签。更具体而言,例如参照影像的结果可以在服务提供者侧,针对作为转动想要检测、作为转动不想要检测,或者判定为哪个都可以的行为,给予表示各个的属性的标签。

以上,对本公开的一实施方式中所执行的行为检测处理的几个例子进行了说明。如已经说明那样,本实施方式中所执行的行为检测处理并不限于单板滑雪中产生的跳跃、转动,例如可以对单板滑雪以外的运动,或者运动以外的场景产生的跳跃、转动行为执行检测处理。另外,本实施方式中所执行的行为检测处理中可以检测跳跃、转动以外的行为。作为一个例子,行为检测部106可以检测单板滑雪等中产生的跌倒。该情况下,特征量提取部105也可以与上述的跳跃、转动的检测同样地计算加速度的范数,而行为检测部106在加速度的范数高于阈值(例如可以是通常的滑行中不产生的程度的较大的值)的情况下检测出跌倒的产生。

(3.附加的处理的例子)

(3-1.行为得分的计算)

例如,解析结果处理部107所包含的评分处理部109针对包括通过上述参照图2~图13所说明那样的处理所检测的跳跃区间以及/或者转动区间的行为区间,计算评价产生的行为的得分(行为得分)。行为得分能够通过例如从行为区间中的传感器数据提取表示行为的好坏、特征的物理量(特征量),并将它们加权相加来计算。服务控制部112基于这样计算出的得分来生成与行为(例如跳跃或者转动)有关的信息。

例如,跳跃区间的情况下,能够提取区间的持续时间(duration)、区间中的绕X轴/Y轴/Z轴的角位移、自由落体区间的比例、起跳时/着地时的冲击的大小等,作为用于计算得分的特征量。另外,例如,转动区间的情况下,能够提取区间的持续时间、位移角、各速度的平均值、最大值、以及标准偏差、角加速度的最大值以及标准偏差等,作为用于计算得分的特征量。

此外,加权相加的系数能够例如根据由信息处理装置100提供的服务113中被重视的行为的性质来设定。另外,用于从特征量计算行为的得分的方法并不限于加权相加,也可以使用其它计算方法。例如也可以通过应用线形回归模型等机械学习的算法来计算行为得分。

(3-2.聚类处理)

另外,例如,解析结果处理部107所包含的聚类处理部108针对包括通过上述参照图2~图13所说明那样的处理所检测的跳跃区间以及/或者转动区间的行为区间,利用为了评分而提取的特征量等,应用k-means法等聚类算法,将检测出的行为分类为簇。跳跃区间、转动区间的情况下,例如可以根据区间的持续时间的长短、旋转的大小将行为分类为簇。聚类的结果例如用作作为服务而提供摘要动态图像的情况下,以动态图像包括各种种类的跳跃、转动等行为的方式提取区间。另外,通过将好的行为和坏的行为分类为各个簇,可以应用于用户自身回顾行为,或用于行为的改善的指导。

此外,解析结果处理部107也可以基于特征量的相关系数来计算行为区间彼此的类似度,作为与聚类同样的处理(类似度高的行为区间能够与被分类成相同的簇的行为区间同样地处理)。另外,例如,解析结果处理部107可以预先准备典型的类型的行为的特征量模式,利用k-NN法等来判定新产生的行为符合哪个类型。

(3-3.传感器安装状态的推定)

图14是表示本公开的一实施方式中,用于推定传感器安装状态的处理的例子的框图。更具体而言,根据图示的构成,判定提供传感器数据的传感器是直接安装在用户的身体上还是安装在被用户使用的器具上。例如在上述的信息处理装置100所包含的传感器数据解析部104中执行图示的处理。此外,在图示的例子中,具体地对滤波器的截止频率(Fc)、时间帧的长度进行说明,但这些数值是一个例子,能够根据实际的传感器的特性等适当地变更。

在图示的例子中,信息处理装置100的接收部102接收由3轴(u、v、w)的加速度传感器121提供的传感器数据。传感器数据解析部104经由传感器设备控制部103获取该传感器数据。传感器数据解析部104首先利用1段的HPF122(Fc=0.5Hz)处理传感器数据所包含的加速度,之后执行范数计算123。并且,传感器数据解析部104针对利用2段的LPF124(Fc=2Hz)以及2段的HPF(Fc=7Hz)分别处理范数的结果,计算时间帧2sec中的振幅(最大值与最小值之差)(125、127)。对这些结果(A以及B)运算A/B(128)。利用1段的HPF129(Fc=0.25Hz)处理该结果,实施阈值判定130。

上述那样的判定的处理根据在传感器直接安装在用户的身体上的情况下,因身体作为LPF发挥作用而加速度的高频成分衰减。上述的例子中的A(通过了LPF124的低频成分的振幅)/B(通过了HPF的高频成分的振幅)在原始的加速度中高频成分越衰减越成为较大的值。因此,在阈值判定130中,在利用HPF129处理A/B所得的值大于阈值的情况下,能够判定为传感器直接安装在用户的身体上,在不是大于的情况下能够判定为传感器安装在器具上。

如上述那样的推定的结果例如可以在传感器数据解析部104的内部利用。该情况下,传感器数据解析部104可以在上述那样的用户的行为的检测的处理中,根据传感器安装在身体上还是器具上来变更阈值、滤波器的设定值等。或者,上述那样的推定的结果也可以反馈给传感器设备控制部103,而利用于决定与传感器设备的测量有关的参数等的设定、传感器设备控制部103对传感器数据的预处理方法等。

在本实施方式中,例如可以如上述的传感器安装状态的推定那样,基于与传感器数据的提供侧的状态有关的推定来实施与传感器数据的处理有关的适应的控制。作为其它例子,传感器数据解析部104也可以从由加速度传感器等检测出的冲击的强度、移动的模式等,使用机械学习等算法来推定产生行为的运动的种类。运动可以按照一般识别的项目来推定,也可以按照板运动、水上运动、自行车比赛、赛车等系统来推定。另外,例如传感器数据解析部104可以在传感器安装在器具上的情况下推定器具的种类(例如双板滑雪的情况下,安装在滑雪板上还是安装在滑雪杖等)。推定的结果与上述的传感器安装状态的推定结果同样地可以利用于例如行为的检测等中的阈值、滤波器的设定值的控制,也可以反馈给传感器设备控制部103而利用于传感器设备的控制、传感器数据的预处理方法的决定。

(4.信息生成的例子)

以下,对本公开的一实施方式所包含的信息生成的几个例子进行说明。

(4-1.第1例子)

图15是表示本公开的一实施方式所包含的信息生成的第1例子中的处理的流程图。

在图示的例子中,首先,传感器数据解析部104所包含的行为检测部106检测行为区间(S301)。行为区间例如可以包括通过上述参照图2~图13所说明的处理检测的跳跃区间以及/或者转动区间。另外,行为区间可以包括产生走、跑、静止、利用交通工具移动等这样的、基于传感器数据检测的其它用户的行为的区间。

接下来,解析结果处理部107所包含的评分处理部109针对S301中所检测出的行为区间行为计算得分(S302)。并且,上传包括与行为区间、行为得分有关的行为信息、和用户ID、位置信息、另外获取的行为的影像数据等的数据(S303)。S303中的上传例如可以是从实现传感器数据解析部104、解析结果处理部107的功能的服务器向实现服务控制部112服务器的上传。或者,S303中的上传也可以是从实现传感器数据解析部104、解析结果处理部107的功能的终端装置向实现服务控制部112的服务器的上传。在这些服务器或者终端装置相同的情况下,上传例如替换为对内部的数据库的登录。

在S303中,接受到例如与各个用户相关地检测出的行为区间以及行为得分的上传的服务控制部112计算该用户的技能等级(S304)。技能等级如后述例如基于针对各用户计算出的行为得分的履历来计算。因此,在图示的例子中,在实现服务控制部112的服务器中能够利用保持用户的行为得分的履历的数据库。另外,在该服务器中也可以利用保持用户的技能等级的数据库,S304中计算出技能等级的服务控制部112也可以更新技能等级的数据库。

服务控制部112能够利用S304中计算出的技能等级来执行几个处理。例如,服务控制部112可以根据输入的用户ID来检索该用户的技能等级(S305),并提供与技能等级有关的信息(S306)。另外,服务控制部112也可以基于成为对象的用户的技能等级来计算排名信息(S307),并提供排名信息(S308)。或者,服务控制部112也可以基于排名信息来决定共享行为影像的用户(S309),并获取共享对象的用户的影像数据(S310)。此外,排名信息的计算、利用计算出的排名信息的处理的详细后述。

[另外,服务控制部112从S303中上传的数据所包含的位置信息检索检测出行为的设施的ID(S311),并基于该设施中检测出的行为的行为得分与执行了各个行为的用户的技能等级的分布来计算设施等级(S312),并提供包括设施等级的信息的设施数据(S313)。此外,设施等级的计算处理的详细也后述。在服务控制部112提供上述的几个的信息时,也可以与其它用户之间共享社交媒体、Web上的用户请求的信息(S314)。

以下,更具体地对上述图15所示的例子中计算出的各个信息进行说明。此外,这些信息可以不必计算全部,可以仅计算一部分。另外,也可以在这些信息加上或者取而代之来计算其它种类的信息。

(技能等级的计算)

在上述的图15的例子中,基于针对各用户计算出的行为得分的履历来计算技能等级(S304)。作为具体的例子,技能等级可以根据通过包括以下的变量的式子计算的点的累计值来决定。

·行为得分的合计值

·行为得分的最大值

·行为得分的分布

·行为种类的变更(上述的聚类的结果能够利用)

·检测出行为的设施的等级

·检测出行为的设施的变更

·最近的期间中的行为检测次数

·总行为检测次数

·行为检测频率(总行为检测次数/服务利用期间)

·由连续的行为形成的模式的难易度

·目标实现率

此外,上述的目标实现率可以是例如用户自身设定的目标的实现率。或者,也可以根据服务自动地设定与用户的现在的技能等级对应的目标,通过实现设定的目标而技能等级上升。或者,自动地设定的目标可以意味例如实现该目标是高级者或者服务的主要用户,实现本身可以作为记录留下。

(排名的生成)

在上述的图15的例子中,基于用户的技能等级来生成排名(S307)。排名更具体而言通过将对各用户计算出的技能等级按升序排列来生成。排名例如可以对全部用户(综合排名)、由某用户指定的范围的用户(朋友组内排名)来生成,或者可以按照地域、年代等用户的属性来生成,也可以按照检测出行为的设施来生成。排名可以被保存于服务器上的数据库,而在检测出行为时实时更新。

(影像的共享)

在上述的图15的例子中,在基于排名信息所选择出的用户之间共享行为影像(S309、S310)。行为影像例如通过从由与传感器设备配对的数字摄像机等拍摄装置拍摄的影像数据剪切与行为区间对应的部分来生成。

此处,共享的行为影像可以是根据视听环境以数秒~数十秒编辑针对多个行为区间而生成的行为影像而成的影像。例如在编辑有关单一的用户的行为影像的情况下,可以提取行为得分上位或者下位的影像,或提取视听行为影像的用户所在的设施中所检测出的行为的影像。另外,在编辑有关多个用户的行为影像的情况下,可以提取排名为上位的用户的影像,或提取视听行为影像的用户所在的设施中的排名为上位的用户的影像,或提取属于视听行为影像的用户的朋友组的用户的影像,或者提取最近的期间上传的影像,或提取与视听行为影像的用户较近的技能等级的其它用户的影像。

另外,在影像的编辑中,不光以时间序列排列单一的行为影像,也可以分割画面而并行再生多个行为影像,或以透过的方式使多个影像重叠。另外,生成的行为图像不光在社交媒体、Web上共享或者公开,例如也可以为了作为广告使公共显示器显示,或发送给技术指导而得到建议而利用。

(设施等级的计算)

在上述的图15的例子中,针对基于位置信息所检索出的设施,基于该设施中检测出的行为的行为得分、和执行各个行为的用户的技能等级的分布来计算设施等级(S312)。在计算设施等级时,例如可以对与技能等级没有关系而对于多数用户检测出得分高的行为的设施给予低的等级(表示难易度低)。另一方面,也可以对仅对于技能等级高的用户检测出得分高的行为的设施给予高的等级(表示难易度高)。另外,检测出跌倒等行为(表示尝试的行为失败)也可以反映在设施等级上。并不局限于上述那样的表示难易度的等级,也能够根据检测出行为的用户的数量来计算表示人气度的等级。

此外,设施例如根据跑道、球场、田赛运动场等产生行为的运动的种类而可以是各种方式。另外,如果以双板滑雪的例子来说,如包括多个跑道的公园、跑道内的特定的跳台等那样能够以各种单位定义设施。其它运动也同样能够以各种单位定义设施。

(画面显示例)

图16是表示本公开的一实施方式所包含的信息生成的第1例子中的画面显示的图。参照图16,画面1000显示用户简档1001。用户简档1001的项目包括技能等级1003。技能等级1003是例如图15所示的S304的处理中计算出的技能等级。在图示的例子中,用户简档1001中还包括技能点1005。技能点1005例如上述所说明那样,可以是为了决定技能等级而计算出的点。

另外,画面1000中显示技能排名1007。技能排名1007基于例如图15所示的S307的处理所生成的排名来显示。在图示的例子中,技能排名1007除了针对综合排名之外,也可以针对地域别排名(选择列表1009来显示)、不同设施的排名(选择列表1011来显示)、以及不同年龄的排名(选择列表1013来显示)等进行显示。

并且,画面1000中显示共享的行为影像1015。行为影像1015是例如通过图15所示的S309、S310的处理而共享的影像。另外,在画面1000中能够使与设施有关的显示(例如设施名1017)、设施信息1019弹出显示。设施信息1019包括例如通过图15所示的S312的处理所计算的设施等级1021。

通过社交媒体、Web服务、智能手机等移动设备、可穿戴设备用的应用等来公开例如上述那样的画面1000,由此用户能够与其它用户之间共享各种信息,并确认自身的等级,或与朋友等互相比赛。

(4-2.第2例子)

图17是表示本公开的一实施方式所包含的信息生成的第2例子中的处理的流程图。

在图示的例子中,首先,与图15所示的第1例子同样地执行行为区间检测(S301)、行为得分计算(S302)、数据上传(S303)、以及技能等级计算(S304)的处理。

此处,在本例子中,服务控制部112执行基于图像匹配的用户检索(S321)以及/或者基于位置以及方位的用户检索(S322)。这些处理是检索与想要接受信息的提供的用户(第1用户)接近的其它用户(第2用户)的处理。在S321中,例如可以检测与第1用户的视野对应的拍摄图像(以下,称为视野图像)所包含的第2用户的脸。或者,在S321中,例如也可以检测与第1用户的视野图像和第2用户的视野图像共同包括的地标。在S322中,基于由搭载在终端装置上的GPS等获取的位置信息、和由地磁传感器等获取的方位的信息来检索用户。更具体而言,服务控制部112,第1用户和第2用户分别所持的终端装置所获取的位置信息接近、且推定为第1用户朝向终端装置的方位从第1用户来看与第2用户所在的方位近的情况下,也可以将第2用户作为对象用户进行检测。

并且,服务控制部112将上述的S321或者S322中检索出的第2用户作为对象,获取对象用户ID(S323)。能够获取对象用户ID的第2用户可以是例如利用与第1用户相同的服务,或者与第1用户利用的服务相协作的服务的其它用户。服务控制部112能够利用S323中获取的对象用户ID来执行几个处理。

例如,服务控制部112在想要接受信息的提供的第1用户与作为对象用户而被检测出的第2用户之间比较S304中计算出的技能等级(S324)。服务控制部112根据比较的结果对第1用户以及/或者第2用户发送通知(S325)。例如,在本实施方式中检测对战型的运动中产生的行为的情况下,在S325中,S324的比较中第1用户的技能等级和第2用户的技能等级较相近的情况下,能够对任意一方或者两方的用户发送通知相互的存在或者接近的通知。该情况下,第1用户与第2用户的位置接近可以成为条件。如后述,该情况下,在第1用户以及第2用户同意时,可以以这些用户能够遇见的方式提供导航。

另外,例如,服务控制部112使用S323中获取的对象用户ID来获取成为对象的第2用户的技能等级信息(S326)。例如在想要接受信息的提供的第1用户安装的终端装置为眼镜型、护目镜型等HMD(HeadMountedDisplay:头戴式可视设备)的情况下,服务控制部112使HMD显示获取的技能等级信息(S327)。该情况下,显示技能等级信息的图像例如在HMD中与实际空间的像重叠显示。并且,例如服务控制部112可以使用S323中获取的对象用户ID来获取成为对象的第2用户的行为影像的数据(S328)。第2用户的行为影像也能够利用第1用户安装的HMD显示(S327)。此外,在代替HMD,而用户将智能手机、平板等置于实际空间的情况下,也可以利用这些移动设备的照相机和显示器来显示同样的信息。

(画面显示例)

图18是表示本公开的一实施方式所包含的信息生成的第2例子中的画面显示的图。参照图18,画面1100(画面1100a、1100b)使用HMD与实际空间的像R重叠地显示。在画面1100a中显示通过上述的图17所示的S325的处理所生成的通知1101。如上述那样,这样的通知1101能够例如在具有与观察画面1100的用户(第1用户)相近的技能等级的其它用户(第2用户)接近的情况下显示。

另外,在画面1100b中,显示例如画面1100a那样的通知后,通过获得第1用户以及第2用户的同意,以这些用户能够遇见的方式提供导航。在图示的例子中,画面1100b包括用于导航的指令文本1103、箭头1105、方位1107、以及雷达地图1109。

图19也是表示本公开的一实施方式所包含的信息生成的第2例子中的画面显示的图。参照图19,使用HMD与实际空间的像R重叠显示画面1200(画面1200a、1200b)。在画面1200a中,实际空间的像R中,其它用户(第2用户)U2单板滑雪滑行。在本例子中,基于例如搭载在该HMD上的照相机获取的图像来识别用户U2(图17所示的S321)。或者,也可以基于由该HMD获取的位置以及方位、和由用户U2携带或者安装的终端装置获取的位置(以及方位)来识别用户U2(图17所示的S322)。在图示的例子中,显示识别出的用户U2的技能等级信息1201(图17所示的S326、S327)。另一方面,在画面1200b中,除了用户U2的技能等级信息1201之外,还显示用户U2的过去的行为图像1203(图17所示的S326、S327、S328)。

(4-3.第3例子)

图20是用于示意性地说明本公开的一实施方式所包含的信息生成的第3例子的图。参照图20,在单板滑雪的跑道142(设施的例子)中,设置在设施上的照相机141获取单板滑雪滑行的用户143的影像。此时,照相机141有可能获取捕捉到用户143在跑道142上执行的行为的影像。换句话说,照相机141获取的影像有可能作为从客观的观点捕捉用户的行为的影像有用。

然而,从照相机141连续拍摄的影像中适当地提取用户所希望的部分并不容易。因此,在本例子中,服务控制部112基于行为区间的信息等来提取影像的适当的部分。由此,能够适当地提供用户所希望的影像的部分。此外,本例子的情况下,可以不一定执行上述那样的行为得分、技能等级的计算。

图21是表示本公开的一实施方式所包含的信息生成的第3例子中的处理的流程图。在图示的例子中,首先,与上述的第1以及第2例子同样地执行传感器数据解析部104所包含的行为检测部106的行为区间检测(S301)的处理。接下来,发送行为区间的映像接收请求(S341)。该请求例如可以从实现传感器数据解析部104的功能的服务器对实现服务控制部112的服务器发送。或者,S341中的请求也可以从实现传感器数据解析部104的功能的终端装置对实现服务控制部112的服务器发送。在这些服务器或者终端装置相同的情况下,请求的发行替换为例如要求数据的内部的指令的发行。请求例如可以包括成为对象的行为区间的信息、设备ID、和表示行为产生的位置的位置信息。

S341中结束到影像接收请求的服务控制部112基于请求所包含的位置信息从设置在设施的照相机中决定对象照相机(S342)。对象照相机例如可以是与由请求所包含的位置信息表示的行为产生的位置最近的位置上设置的照相机。并且,服务控制部112从由对象照相机获取的影像数据检索请求所包含的行为区间(S343),并判定是否存在有关行为区间的数据(S344)。此处,例如服务控制部112比较影像数据的时间戳与行为区间的时间戳,判定是否存在与行为区间对应的时间的影像数据。并且,服务控制部112可以针对行为区间的影像数据实施图像解析,判定有移动(执行行为)的被拍摄体是否反映出。

在S344中,判定为存在对象的映像数据的情况下,并且,服务控制部112基于对象的影像数据来创建缩略图图像(S345)。在图示的例子中,缩略图图像通过例如从对象的影像数据,在行为区间中截屏1或者多个静止图像来生成。因此,在此时刻,可以不对影像数据施加后述的S349那样的加工。服务控制部112将缩略图图像发送给用户使用的终端装置(S346),在终端装置中实施用户是否同意影像的下载的确认(S347)。此处发送给终端装置的缩略图图像是对用户通知存在拍摄到行为区间(例如,跳跃区间、转动区间)的影像的信息的例子。在终端装置中,用户通过操作输入来决定是否同意下载(S348)。

在S348中,用户同意影像的下载的情况下,服务控制部112对影像进行加工(S349)。更具体而言,服务控制部112从对象的影像数据剪切与行为区间对应的区间。并且,服务控制部112可以根据提供影像的终端装置的性能(显示器的分辨率、处理器的处理能力、通信速度等)来实施影像数据的下变频等加工。若加工结束,则服务控制部112将加工后的映像发送给用户使用的终端装置(S350)。服务控制部112确认终端装置中影像的接收是否完成(S351),在影像的接收完成的情况下,根据需要来执行计费处理(S352)。

此处,上述的终端装置与服务器的交换可以分别在单一的终端装置与服务器之间实施,也可以在被用户使用的多个终端装置以及/或者经由网络配合的多个服务器装置之间实施。例如,S341中的请求的发行、S347中的下载的确认、以及S350的影像接收可以是由单一的终端装置(例如可以是可穿戴设备、移动设备)执行的例子。另一方面,如上述,S341的请求的发行可以由服务器执行。另外,在用户安装多个可穿戴设备、移动设备的情况下,能够利用与发行请求的终端装置不同的终端装置确认下载,而且利用其它终端装置接收影像。例如可以在S346中同时对多个终端装置发送缩略图图像,在S347中该多个终端装置中的任意一个,更具体而言获取到用户的响应的终端装置实施下载的确认。另外,在S347中的下载的确认时,用户也可以能够选择或者指定S350中接收影像的终端装置。这样的情况下,S350中接收影像的终端装置并不限于可穿戴设备、移动设备,该时刻也可以是与用户远离(例如处于自家等)的终端装置。

图22是用于对图21例子所示的处理中的影像的加工进行说明的图。此外,在图示的例子中,检测的行为包括跳跃。在图21所示的处理的S349中,服务控制部112实施从映像数据剪切与行为区间对应的区间的加工。此时,从影像144剪切的区间144a可以是行为检测结果145中与作为用户143的行为区间(图示的例子中跳跃区间)而被检测出的区间145a相比扩大规定的长度或者规定比例的区间。例如跳跃区间的情况下,优选影像也包括跳跃的起跳前以及着地后。这样的情况下,服务控制部112使影像的区间144a比检测出的行为区间145a扩大。

图23是用于对图21所示的处理中的用于影像的下载的用户界面进行说明的图。在图23中示出图21所示的S436、S348、S350、S351的处理,作为服务器147(可以是信息处理装置100)与终端装置148之间的通信。例如,S346的处理中接收到服务器147缩略图图像的终端装置148(在图示的例子如平板或者智能手机那样的移动设备)中,在显示器149显示缩略图图像1491、和是否同意影像的下载的确认对话1492。此处,用户通过例如经由设置在显示器149上的触摸面板等的操作输入来决定是否同意下载。在同意下载的情况下,从终端装置148对服务器147发送下载的请求(S348)。

如上述,S348中判定为有用户的同意的情况下,被加工的图像从服务器147下载到终端装置148(S350)。此时,可以在终端装置148的显示器149上显示下载的影像的再生画面1493、和通知下载的完成的消息1494。若下载完成,则从终端装置148对服务器147发送接收的完成通知(S351),服务器147移至之后的计费处理等。

(4-4.第4例子)

图24是表示本公开的一实施方式所包含的信息生成的第4例子中的处理的流程图。在本例子中,基于检测出的行为区间的信息来提供用于行为(例如运动中的比赛)的进步支援的信息。

在图示的例子中,首先,与上述的第1~第3例子同样地执行传感器数据解析部104所包含的行为检测部106的行为区间检测(S301)的处理。接下来,解析结果处理部107所包含的评分处理部109与上述的第1以及第2例子同样地可以计算行为得分(S302)。另外,解析结果处理部107可以生成用于将行为区间中的各种物理量或者从物理量提取的特征量可视化的数据(S381)。此处生成的数据例如可以通过一边实时更新与行为有关的统计量一边可视化而作为对行为的改善有用的信息被利用。并且,解析结果处理部107也可以在行为区间中,使使用于行为检测的传感器数据和另外安装在用户上的生物传感器的数据同步(S382)。

上述由解析结果处理部107生成的数据例如从实现解析结果处理部107的功能的服务器上传至实现服务控制部112的服务器(S383)。或者,S383中的上传也可以是从实现解析结果处理部107的功能的终端装置向实现服务控制部112的服务器的上传。在这些服务器或者终端装置相同的情况下,上传替换为例如向内部的数据库的登录。

在S383中,接受到生成的信息的上传的服务控制部112执行指导信息的生成(S384)以及/或者比较数据的生成(S385)。S384中生成的指导信息针对上传的信息,例如运动强度(根据脉搏数以及呼吸数计算)、脉搏数、呼吸数、移动的稳定度/不稳定度、行为得分等,从自用户的过去的履历数据移至最新的数据的推移提取。更具体而言,指导信息包括从疲劳度(从行为履历推定)和集中度的推移通知休息的时机、推定用户的状况的好坏、与过去的履历数据比较来检测优异的行为的情况下通知的信息。另外,S385中生成的比较数据例如是用于针对新检测出的行为,通过与用户自身的过去的数据、其它用户的数据比较,来定量地掌握改善点的数据。这种比较数据能够例如通过按时间序列匹配用户的倾斜、方向、高度、移动的稳定度/不稳定度、下沉、冲击、速度(矢量)、加速度(矢量)、旋转矢量(四元数)等,并导出相关以及差量来提取。

S384以及/或者S385中的数据生成后,发行数据的请求(S386)。该请求例如可以从S383中上传了信息的、实现解析结果处理部107的功能的服务器或者终端装置发送给实现服务控制部112的服务器。在这些服务器或者终端装置相同的情况下,请求的发行替换为例如要求数据的内部的指令的发行。服务控制部112根据请求对发行了请求的服务器或者终端装置提供数据(S387)。服务器还可以将提供的数据转发给终端装置。提供给终端装置的数据例如通过用于显示于画面上的信息提示的用户界面而输出。

(画面显示例)

图25是表示本公开的一实施方式所包含的信息生成的第4例子中的画面显示的图。参照图25,画面1500中显示实时检测的用户的方位以及倾斜1501、同样实时检测的用户的生物体信息(呼吸数和脉搏数)1503、多个视点的切换按钮1505、行为区间内的过去的部分中的用户的余像1507、物理量显示1509、行为区间内的用户的轨迹1511、行为得分的雷达图1513、统计量1515、表示物理的/心理的状态的图1517、检测出的行为的时间序列显示1519、移动的不稳定度的时间序列显示1521、放松/紧张的程度的时间序列显示1523、用于参照时间序列显示的拖动条1525。

例如,上述的方位以及倾斜1501、物理量显示1509、雷达图1513、以及统计量1515可以通过例如图24所示的S381的处理生成。在图示的例子,物理量显示1509包括旋转角度显示1509a、跳跃高度显示1509b、以及速度显示1509c。这些显示要素将例如行为区间中的各种的物理量、从物理量提取的特征量、以及如行为得分那样基于特征量所计算的值可视化。例如,通过一边实时更新这些信息一边进行可视化,用户掌握行为的改善点变得容易。

另外,上述的生物体信息1503、图1517、时间序列显示1521,1523例如可以通过图24所示的S382的处理生成。这些显示要素例如可以基于行为区间中的生物传感器的检测值以及其解析结果来显示。此外,移动的不稳定度从包括加速度传感器、角速度传感器的惯性传感器的检测值提取。这样,通过反馈与行为区间同步的生物体信息,掌握用户执行行为时的心理状态等,并带来行为的改善变得容易。

(4-5.用户的简档)

在上述的本公开的一实施方式中,能够根据过去检测出的行为的种类来创建用户的简档。例如对跳跃的行为中,稳定地计算出高的行为得分的用户给予“跳跃的高级者”这个简档。另外,对跳跃的行为得分较低,还较多检测出跳跃的中途跌倒的用户给予“跳跃的初级者”这个简档。

例如可以利用如上述那样的简档使本实施方式中的信息生成的处理不同。例如在图24以及图25所示的例子中在提供用于用户的进步支援的信息时,可以使用户的简档反映。更具体而言,在用户为跳跃的高级者的情况下,可以更详细地提供与检测出很少产生的跌倒的跳跃有关的可视化的信息。这是因为高级者跳跃成功是理所当然的,所以通过详细地分析少有的失败,认为是更进步的支援。反之,在用户为跳跃的初级者的情况下,可以更详细地提供与未检测出跌倒的而成功的跳跃有关的可视化的信息。这是因为初级者通过回顾成功的跳跃,有可能抓住能够稳定地跳跃成功的启示。

(5.硬件构成)

接下来,参照图26,对本公开的实施方式所涉及的信息处理装置的硬件构成进行说明。图26是表示本公开的实施方式的信息处理装置的硬件构成例子的框图。

信息处理装置900包括CPU(CentralProcessingunit)901、ROM(ReadOnlyMemory)903、以及RAM(RandomAccessMemory)905。另外,信息处理装置900可以包括主机总线907、桥909、外部总线911、接口913、输入装置915、输出装置917、记忆装置919、驱动器921、连接端口923、通信装置925。并且,信息处理装置900可以根据需要而包括拍摄装置933以及传感器935。信息处理装置900也可以代替CPU901或者与CPU901一起具有DSP(DigitalSignalProcessor)、ASIC(ApplicationSpecificIntegratedCircuit)或者FPGA(Field-ProgrammableGateArray)等处理电路。

CPU901作为运算处理装置以及控制装置发挥作用,按照记录在ROM903、RAM905、记忆装置919或者可移动记录介质927中的各种程序来控制信息处理装置900内的动作全体或者其一部分。ROM903存储CPU901使用的程序、运算参数等。RAM905一次存储CPU901执行中使用的程序、该执行中适当地变化的参数等。CPU901、ROM903、以及RAM905通过由CPU总线等内部总线构成的主机总线907相互连接。并且,主机总线907经由桥909与PCI(PeripheralComponentInterconnect/Interface)总线等外部总线911连接。

输入装置915例如是鼠标、键盘、触摸面板、按钮、开关以及手柄等由用户操作的装置。输入装置915例如可以是利用了红外线、其它电波的遥控装置,也可以是与信息处理装置900的操作对应的手机等外部连接设备929。输入装置915包括基于用户输入的信息来生成输入信号并输出给CPU901的输入控制电路。用户通过操作该输入装置915,对信息处理装置900输入各种数据或指示处理动作。

输出装置917由能够使用视觉、听觉、触觉等感觉对用户通知获取的信息的装置构成。输出装置917例如可以是LCD(LiquidCrystalDisplay)或者有机EL(Electro-Luminescence)显示器等显示装置、扬声器或者耳机等声音输出装置或振动器等。输出装置917将通过信息处理装置900的处理所得的结果作为文本或图像等影像、声音或音响等声音或者振动等进行输出。

记忆装置919是作为信息处理装置900的存储部的一个例子而构成的数据储存用的装置。记忆装置919例如由HDD(HardDiskDrive)等磁存储部设备、半导体存储设备、光存储设备或者光磁存储设备等构成。记忆装置919例如储存CPU901执行的程序、各种数据、以及从外部获取的各种数据等。

驱动器921是用于磁盘、光盘,光磁盘或者半导体存储器等可移动记录介质927的读写器,被内置或外置于信息处理装置900。驱动器921读出记录在安装的可移动记录介质927中的信息,并输出给RAM905。另外,驱动器921对安装的可移动记录介质927写入记录。

连接端口923是用于使设备与信息处理装置900连接的端口。连接端口923例如可以是USB(UniversalSerialBus:通用串行总线)端口、IEEE1394端口、SCSI(SmallComputerSystemInterface:小型计算机系统接口)端口等。另外,连接端口923也可以是RS-232C端口、光学音频端子、HDMI(注册商标)(High-DefinitionMultimediaInterface:高清晰度多媒体接口)端口等。通过在连接端口923连接外部连接设备929,能够在信息处理装置900与外部连接设备929之间交换各种数据。

通信装置925例如是由用于与通信网络931连接的通信设备等构成的通信接口。通信装置925例如可以是有线或者无线的LAN(LocalAreaNetwork:局域网)、Bluetooth(注册商标)、NFC(NearFieldCommunication:近距离无线通信技术),或者WUSB(WirelessUSB)用的通信卡等。另外,通信装置925可以是光通信用的路由器、ADSL(AsymmetricDigitalSubscriberLine:非对称数字用户线路)用的路由器或者各种通信用的调制解调器等。通信装置925例如与因特网、其它通信设备之间使用TCP/IP等规定的协议来收发信号等。另外,与通信装置925连接的通信网络931是通过有线或者无线连接的网络,例如可以包括因特网、家庭内LAN、红外线通信、无线电波通信或者卫星通信等。

拍摄装置933例如使用CMOS(ComplementaryMetalOxideSemiconductor:互补金属氧化物半导体)或者CCD(ChargeCoupledDevice:电荷耦合元件)等拍摄元件、以及用于控制对拍摄元件的被拍摄体像的成像的透镜等各种部件来拍摄实际空间,并生成拍摄图像的装置。拍摄装置933也可以拍摄静止图像,还可以拍摄动态图像。

传感器935例如是加速度传感器、角速度传感器、地磁传感器、照度传感器、温度传感器、气压传感器、压力传感器、距离传感器或者声音传感器(麦克风)等各种传感器。传感器935获取例如信息处理装置900的框体的姿势等与信息处理装置900本身的状态有关的信息、信息处理装置900的周边的亮度、噪声等与信息处理装置900的周边环境有关的信息。另外,传感器935也可以包括接收GNSS(GlobalNavigationSatelliteSystem:全球导航卫星系统)信号来测量装置的纬度、经度以及高度的GNSS接收机。

以上示出信息处理装置900的硬件构成的一个例子。上述的各构成要素也可以使用通用的部件来构成,也可以由专门用于各构成要素的功能的硬件构成。所述的构成能够根据实施的时时的技术水平而适当地变更。

(6.补充)

本公开的实施方式例如能够包括上述说明的那样的信息处理装置、系统、信息处理装置或者由系统执行的信息处理方法、用于使信息处理装置发挥作用的程序、以及记录有程序的不是暂时的有形的介质。

(4.内容控制的例子)

以下,对本公开的一实施方式所包含的内容控制的几个例子进行说明。在几个例子中,信息处理装置100的服务控制部112例如控制与行为的进行并行提供的视觉的或者声音的内容的提供。这样的内容例如能够包括利用HMD(HeadMountedDisplay)等实时提供给执行行为的用户或者观察该行为的其它用户的视觉效果、音效等。或者,内容可以包括事后与行为的影像一起再生的视觉效果、音效等。另外,在其它几个例子中,内容也可以包括行为的影像本身。

(7-1.基于时间序列得分的控制)

作为第1例子,在本实施方式中,信息处理装置100的服务控制部112针对包括由行为检测部106检测的用户的一系列的行为的区间,计算时间序列的得分,并利用该得分来实施内容的控制。

图27是用于对本公开的一实施方式中的用于内容控制的时间序列得分的计算进行说明的图。在图示的例子中,作为正在单板滑雪的用户的行为,检测跳跃(例如,分别通过上述的2个例的检测方法来检测)、冲击、(自由)落体、移动,乘在板上的状态、以及跌倒(碰撞)。服务控制部112通过根据需要对例如传感器数据解析部104所包含的行为检测部106检测出的有关行为的各个行为得分进行加权而相加,来计算如图示的例子那样的用于内容控制的时间序列得分。某时刻t1中的时间序列得分S(t1)例如基于各行为的得分SAction(t1)、和为各个行为设定的权重WAction(Action表示行为名)通过以下的式子1来计算。

【数1】

S(t1)=WJump·SJump(t1)+WJump2·SJump2(t1)+…+WCrash·SCrash(t1)…(式1)

此处,各行为的得分SAction(t1)可以表示单纯在时刻t1中是否产生该行为(该情况下,SAction(t1)可以是0/1),也可以是时刻t1或者包括时刻t1的行为区间评分处理部109计算出的得分。例如如图示的例子那样计算平滑地变化的时间序列得分的情况下,可以对各行为的得分SAction(t1)进行滤波后再相加。另外,各行为的权重WAction例如能够根据单板滑雪中的各个行为的重要度来设定。

例如服务控制部112可以针对计算出的时间序列得分,设定1个或者多个阈值(TH1、TH2),并以时间序列得分是否超过阈值为基准来实施内容控制。例如,服务控制部112可以针对时间序列得分超过阈值的区间,连续地生成或者输出任何的内容。或者,服务控制部112可以在时间序列得分超过阈值的区间的最初和最后的至少任意一个,生成或者输出任何的内容。

作为更具体的利用例子,服务控制部112可以基于时间序列得分来提取行为影像的精彩部分。行为影像例如是拍摄执行行为的用户的影像,与传感器数据并行被获取(获取传感器数据的传感器设备和获取行为影像的拍摄装置可以是不同的装置)。例如在图示的例子中,服务控制部112从连续地拍摄单板滑雪的滑行中的行为影像提取时间序列得分超过阈值(TH1或者TH2)的区间,作为精彩部分影像。该区间根据例如行为产生时,时间序列得分上升而高于阈值的时机、和之后时间序列得分下降而低于阈值的时机来定义。提取的判定利用阈值TH1还是利用阈值TH2根据例如预先指定的精彩部分影像的长度来选择。图示的例子的情况下,如果将阈值TH1利用于判定则提取更短的精彩部分影像,如果将阈值TH2利用于判定则提取更长的精彩部分影像。

另外,作为其它例子,服务控制部112可以基于时间序列得分来控制行为影像的再生。更具体而言,服务控制部112可以在如上述的例子那样再生未提取出精彩部分的行为影像时,根据用户的查找操作,或者自动地跳过时间序列得分低于阈值(TH1或者TH2)的区间来再生行为影像。与上述的例子同样地,跳过的判定利用阈值TH1还是利用阈值TH2例如根据预先指定的再生时间来选择。图示的例子的情况下,如果将阈值TH1利用于判定则以更短的时间再生行为影像,如果将阈值TH2利用于判定则以更长的时间再生行为影像。

另外,例如,服务控制部112可以根据计算出的时间序列得分的值来实施内容控制。例如,服务控制部112可以根据某区间(与上述的例子同样地,该区间也能够根据时间序列得分来定义)中的时间序列得分的值(例如,平均值或者最大值等),来控制该区间中行为影像再生时附加的效果、是否显示得分本身。另外,例如,服务控制部112可以根据时间序列得分的值来选择与行为映像一起再生的乐曲、其音量。更具体而言,服务控制部112可以在时间序列得分高的区间中以大音量再生热闹的曲子,在时间序列得分低的区间中以小的音量再生安静的曲子。

此外,上述那样的用于内容控制的时间序列得分的计算并不限于单板滑雪的用户的行为,能够对其它运动或者日常生活等中的各种场景产生的行为应用。例如如上述的例子那样,可以通过使该场景产生的多个行为的得分(表示产生的0/1的值或者计算出的得分)相加来计算时间序列得分,有关单一的行为的得分可以保持原样作为时间序列得分被利用。另外,与基于传感器数据所检测出的行为以外有关的得分,更具体而言基于用户的操作输入的得分、位置信息的检测、登记信息(例如根据利用了NFC等的用户的明示的操作的登记、利用了位置信息的地理围栏、无线LAN等电波的接收范围、国际公开2014/125689号所记载的无线站簇等来定义)等的得分可以与行为的得分一起使用于时间序列得分的计算。另外,这样的情况下,服务控制部112可以在运动中产生的行为与不是那样的行为之间变更内容提供的控制。

图28是用于对本公开的一实施方式中的利用了时间序列得分的内容控制的例子进行说明的图。在图示的例子中,基于时间序列得分连续地控制行为图像的再生速度。更具体而言,服务控制部112可以通过在某时刻t1中的时间序列得分S(t1)上乘以规定的系数α来决定时刻t1中的再生速度Sp(t1)。换句话说,可以是Sp(t1)=α·S(t1)。在图示的例子中,负的系数α被设定为在时间序列得分最小的情况下再生速度为通常的速度(1.0倍),而在时间序列得分最大的情况下再生速度为通常的一半(0.5倍)。由此,能够在时间序列得分高的部分使行为优选自动地慢动作再生。作为其它例子,如果时间序列得分最大的情况下再生速度为通常的速度(1.0倍),随着时间序列得分比其变小,再生速度进一步变大(>1.0倍),则能够在时间序列得分不高的部分使行为映像自动地快进。

(7-2.与行为相关地定义的时机的控制)

作为第2例子,在本实施方式中,信息处理装置100的服务控制部112确定与由行为检测部106检测的用户的行为相关地定义的至少2个时机,并根据这些时机来实施内容的控制。

图29是用于对本公开的一实施方式中与行为相关地定义的时机的例子进行说明的图。在图示的例子中,行为检测部106执行例如上述参照图10所说明的检测处理,检测用户的转动。在本例子中,行为检测部106根据旋转的方向来识别顺时针方向的转动(CW)和逆时针方向的转动(CCW)。

图中以时间序列示出这两种的转动的检测时机。例如检测出单板滑雪滑行中的用户的行为的情况下,如图示的例子那样,能够存在顺时针方向的转动和逆时针方向的转动以几乎恒定的时间间隔有规律地连续产生的区间。这样的情况下,服务控制部112能够基于根据连续产生的转动而定义的一系列的时机来定义例如包括连续的转动的最初的时机和最后的时机的区间s1、旋转的方向不同的转动彼此的时机的间隔d1、旋转的方向相同的转动彼此的时机的间隔d2等,并基于这些来实施内容的控制。

例如,服务控制部112可以选择与间隔d1或者间隔d2对应的速度的乐曲在包括区间s1的至少一部分的区间与行为影像一起再生。此时,服务控制部112在至少包括区间s1的区间再生乐曲。更具体而言,例如服务控制部112可以从区间s1的起点(最初的转动的时机)开始乐曲的再生,也可以从比其靠前开始乐曲的再生。或者,服务控制部112也可以在用户的滑行中实时再生这样的乐曲。该情况下,服务控制部112在区间s1的最初,在几个间隔d1或者间隔d2连续检测的时刻选择乐曲来开始再生。服务控制部112也可以在区间s1的终点(最后的转动的时机)通过淡出等结束乐曲的再生,区间s1的结束后也可以例如至检测出下一个转动的连续为止继续该乐曲的再生。

此处,与间隔d1或者间隔d2对应的速度的乐曲例如可以是以间隔d1或者间隔d2的倒数,换句话说与转动的出现频率较近的BPM(BeatsPerMinute)进行的乐曲。此时,可以对与转动的出现频率一定程度相近的BPM的乐曲的速度进行微调来与转动的出现频率相配合。

另外,例如,服务控制部112可以生成以与间隔d1或者间隔d2对应的时机进行(例如,重复)的视觉效果(例如动画、网络形象等)或者音效,并在包括区间s1的至少一部分的区间与行为影像一起再生。与上述的乐曲的例子同样地,服务控制部112也可以例如使用用户安装的HMD等实时提供视觉效果、音效。

此外,基于与上述那样的行为相关地定义的时机的内容的控制并不限于单板滑雪的滑行中产生的连续的转动的情况,例如也能够应用于连续的跳跃等情况。另外,上述那样的控制同样地能够应用于其它运动或者日常生活等中,周期性地产生任何行为的情况。这样的情况下,服务控制部112可以在运动中的产生的行为与不是那样的行为之间变更内容提供的控制。另外,这样的情况下,例如在选择上述的例子那样的乐曲时,可以利用基于检测出的行为和位置信息、行为产生的前后的上下文等所推定的、用户的高次的行动信息。例如在与周期性地产生的步行的行为相配合地再生乐曲时,如果利用该步行是移动中、散步中还是购物中这样的高次的行动信息,则能够根据用户的状况选择适合的乐曲。

图30是表示本公开的一实施方式中与行为相关地定义的时机所提供的效果的第1例子的图。在图示的例子中,在再生行为影像的画面1100中,与跳跃的起跳以及着地的时机相配合地提供视觉效果以及音效。更具体而言,在图示的例子中,在跳跃的起跳时的画面1100a中显示“Jump!!”这个文本的视觉效果1101。并且,在跳跃的着地时的画面1100b中输出音效SE。

此处,例如解析结果处理部107所包含的评分处理部109可以根据计算的行为得分来变更提供的效果。例如,在图30所示的例子中提供视觉效果1101以及音效SE双方,但在行为得分较低的情况下,可以只提供视觉效果1101。并且,在行为得分较低的情况下,视觉效果1101的尺寸可以变小,效果变为素淡。以下的表1表示行为的种类和与行为得分对应的效果的种类的控制的例子。

[表1]

图31是表示本公开的一实施方式中与行为相关地定义的时机所提供的效果的第2例子的图。在图示的例子中,在再生行为影像的画面1200中,以跳跃的起跳以及着地的时机为基准,显示作为视觉效果的一种的动画1201。更具体而言,在图示的例子中,在跳跃的起跳时的画面1200a显示表示示出滞空时间的计数器为旋转中的动画1201a。并且,在跳跃的着地时的画面1200b中显示计数器停止而确定出滞空时间的动画1201b。更详细地说,动画1201a的计数器可以在起跳后,用户处于滞空状态的期间计时,而在着地的时刻停止。

这样,在本实施方式中,服务控制部112可以以与行为相关地定义的时机为基准使一系列的视觉效果、音效的动作变化。更具体而言,服务控制部112可以在如上述的例子中的跳跃的起跳以及着地那样定义2个时机(第1时机以及第2时机)的情况下,提供在其至少任意一个时机,动作变化的视觉效果、音效。

图32是表示本公开的一实施方式中与行为相关地定义的时机所提供的效果的第3例子的图。在图示的例子中,与上述的第2例子同样地,在再生行为图像的画面1300中以跳跃的起跳以及着地的时机为基准来显示动画1301。更具体而言,在图示的例子中,在跳跃的起跳时的画面1300a中显示表示表示跳跃的行为得分的计数器为旋转中的动画1301a。并且,在跳跃的着地时的画面1300b中显示计数器停止而确定出行为得分的动画1301b。更详细而言,在动画1301a的计数器中,起跳后,在用户处于滞空状态的期间,得分可以随机变化,而在着地的时刻停止。或者,为了在执行跳跃后再现评分的样子,而可以在跳跃的着地的之后显示动画1301a旋转的计数器,并在经过规定时间再显示行为得分确定的动画1301b。例如这种情况下,也能够使用用户安装的HMD等使动画1301实时显示。

图33是表示本公开的一实施方式中与行为相关地定义的时机所提供的效果的第4例子的图。在图示的例子中,在使用HMD等与实际空间的像R重叠显示的图像1400中,与存在于实际空间的人物的被拍摄体(OBJ)的转身(摇头)相配合地在被拍摄体(OBJ)的脸的周边显示星的视觉效果1401。

这种视觉效果1401的显示例如通过基于由安装在被拍摄体(OBJ)上的加速度传感器以及角速度传感器等提供的传感器数据来检测被拍摄体(OBJ)的摇头的行为,并在检测出摇头的时机使图像1400显示视觉效果1401而变为可能。被拍摄体(OBJ)的脸的位置能够例如利用公知的脸检测的技术来确定。也可以与视觉效果1401同样地输出动画、音效。

(7-3.用户的简档)

在上述的本公开的一实施方式中,能够根据过去检测出的行为的种类来创建用户的简档。例如在跳跃的行为中,对稳定地计算出高的行为得分的用户给予“跳跃的高级者”这个简档。另外,对跳跃的行为得分低、还在跳跃的中途较多检测出跌倒的用户给予“跳跃的初级者”这个简档。

例如可以利用上述那样的简档使本实施方式中的内容控制的处理不同。例如在利用了图27所示的例子计算的时间序列得分的精彩部分影像的生成中,可以基于用户的简档来决定优先提取的区间。更具体而言,在用户为跳跃的高级者的情况下,可以优先提取检测出很少产生的跌倒的跳跃的区间。是因为高级者跳跃成功是平常的,所以通过详细地分析少有的失败,认为是更进步的支援。另外,由于认为高级者大多观察而享受成功的跳跃的影像,所以例如可以追加如时间推移效果那样的谨慎的效果。

另一方面,在用户为跳跃的初级者的情况下,可以优先提取未检测出跌倒而成功的跳跃的区间。初级者通过回顾成功的跳跃,有可能抓住能够稳定地跳跃成功的启示。或者,初级者的情况下,为了容易比较成功的跳跃和失败的跳跃,可以排列以这些连续再生的方式提取的影像。另外,由于认为初级者大多喜欢跳跃成功,所以可以追加例如动画、网络形象、音效这样的华丽的效果。

(8.硬件构成)

接下来,参照图34,对本公开的实施方式的信息处理装置的硬件构成进行说明。图34是表示本公开的实施方式的信息处理装置的硬件构成例子的框图。

信息处理装置900包括CPU(CentralProcessingunit)901、ROM(ReadOnlyMemory)903、以及RAM(RandomAccessMemory)905。另外,信息处理装置900可以包括主机总线907、桥909、外部总线911、接口913、输入装置915、输出装置917、记忆装置919、驱动器921、连接端口923、通信装置925。并且,信息处理装置900可以根据需要而包括拍摄装置933以及传感器935。信息处理装置900也可以代替CPU901或者与CPU901一起具有DSP(DigitalSignalProcessor)、ASIC(ApplicationSpecificIntegratedCircuit)或者FPGA(Field-ProgrammableGateArray)等处理电路。

CPU901作为运算处理装置以及控制装置发挥作用,按照记录在ROM903、RAM905、记忆装置919或者可移动记录介质927中的各种程序来控制信息处理装置900内的动作全体或者其一部分。ROM903存储CPU901使用的程序、运算参数等。RAM905一次存储CPU901执行中使用的程序、该执行中适当地变化的参数等。CPU901、ROM903、以及RAM905通过由CPU总线等内部总线构成的主机总线907相互连接。并且,主机总线907经由桥909与PCI(PeripheralComponentInterconnect/Interface)总线等外部总线911连接。

输入装置915例如是鼠标、键盘、触摸面板、按钮、开关以及手柄等由用户操作的装置。输入装置915例如可以是利用了红外线、其它电波的遥控装置,也可以是与信息处理装置900的操作对应的手机等外部连接设备929。输入装置915包括基于用户输入的信息来生成输入信号并输出给CPU901的输入控制电路。用户通过操作该输入装置915,对信息处理装置900输入各种数据或指示处理动作。

输出装置917由能够使用视觉、听觉、触觉等感觉对用户通知获取的信息的装置构成。输出装置917例如可以是LCD(LiquidCrystalDisplay)或者有机EL(Electro-Luminescence)显示器等显示装置、扬声器或者耳机等声音输出装置或振动器等。输出装置917将通过信息处理装置900的处理所得的结果作为文本或图像等影像、声音或音响等声音或者振动等进行输出。

记忆装置919是作为信息处理装置900的存储部的一个例子而构成的数据储存用的装置。记忆装置919例如由HDD(HardDiskDrive)等磁存储部设备、半导体存储设备、光存储设备或者光磁存储设备等构成。记忆装置919例如储存CPU901执行的程序、各种数据、以及从外部获取的各种数据等。

驱动器921是用于磁盘、光盘,光磁盘或者半导体存储器等可移动记录介质927的读写器,被内置或外置于信息处理装置900。驱动器921读出记录在安装的可移动记录介质927中的信息,并输出给RAM905。另外,驱动器921对安装的可移动记录介质927写入记录。

连接端口923是用于使设备与信息处理装置900连接的端口。连接端口923例如可以是USB(UniversalSerialBus)端口、IEEE1394端口、SCSI(SmallComputerSystemInterface)端口等。另外,连接端口923也可以是RS-232C端口、光学音频端子、HDMI(注册商标)(High-DefinitionMultimediaInterface)端口等。通过在连接端口923上连接外部连接设备929,能够在信息处理装置900与外部连接设备929之间交换各种数据。

通信装置925例如是由用于与通信网络931连接的通信设备等构成的通信接口。通信装置925例如可以是有线或者无线的LAN(LocalAreaNetwork)、Bluetooth(注册商标)、NFC(NearFieldCommunication)或者WUSB(WirelessUSB)用通信卡等。另外,通信装置925也可以是光通信用的路由器、ADSL(AsymmetricDigitalSubscriberLine)用路由器或者各种通信用调制解调器等。通信装置925例如与因特网、其它通信设备之间使用TCP/IP等规定协议来收发信号等。另外,与通信装置925连接的通信网络931是通过有线或者无线连接的网络,例如可以包括因特网、家庭内LAN、红外线通信、无线电波通信或者卫星通信等。

拍摄装置933例如使用CMOS(ComplementaryMetalOxideSemiconductor)或者CCD(ChargeCoupledDevice)等拍摄元件以及用于控制向拍摄元件的被拍摄体像的成像的透镜等各种部件来拍摄实际空间,并生成拍摄图像的装置。拍摄装置933也可以拍摄静止图像,还可以拍摄动态图像。

传感器935例如是加速度传感器、角速度传感器、地磁传感器、照度传感器、温度传感器、气压传感器、压力传感器、距离传感器或者声音传感器(麦克风)等各种传感器。传感器935获取例如信息处理装置900的框体的姿势等与信息处理装置900本身的状态有关的信息、信息处理装置900的周边的亮度、噪声等与信息处理装置900的周边环境有关的信息。另外,传感器935也可以包括接收GNSS(GlobalNavigationSatelliteSystem)信号来测量装置的纬度、经度以及高度的GNSS接收机。

以上示出信息处理装置900的硬件构成的一个例子。上述的各构成要素可以使用通用的部件来构成,也可以由专门用于各构成要素的功能的硬件构成。所述的构成能够根据实施的时时的技术水平适当地变更。

(9.补充)

本公开的实施方式例如能够包括上述说明的信息处理装置、系统、信息处理装置或者由系统执行的信息处理方法、用于使信息处理装置发挥作用的程序、以及记录有程序的不是暂时的有形的介质。

以上,参照添加附图对本公开的优选的实施方式详细地进行了说明,但本公开的技术范围并不限于所述的例子。如果是具有本公开的技术领域中的通常知识的人,则在权利要求书记载的技术思想的范畴内,能够想到各种变更例或者修正例是明确的,对于这些,也了解当然属于本公开的技术范围内。

另外,本说明书所记载的效果不是限制性的,并且仅仅是说明性或示例性的。换言之,与上述的效果一起或取代上述效果,根据本公开的技术可以提供本领域技术人员根据此处的描述显而易见的其它效果。

此外,以下那样的构成也属于本公开的技术范围。

(1)信息处理装置具备:传感器数据获取部,其获取由安装在用户或者被上述用户使用的器具上的传感器提供的传感器数据;行为检测部,其基于上述传感器数据来检测上述用户的行为,上述行为包括转动;以及信息生成部,其生成与上述转动有关的信息。

(2)在上述(1)所记载的信息处理装置中,上述行为检测部检测上述用户的行为所包含的旋转,检测上述旋转所包含的非转动性的旋转,并从自上述旋转除去上述非转动性的旋转的旋转中检测上述转动。

(3)在上述(2)所记载的信息处理装置中,上述传感器包括安装在上述用户的头部或者安装于上述用户的头部的器具上的传感器,上述非转动性的旋转包括因上述用户的摇头而产生的旋转。

(4)在上述(3)所记载的信息处理装置中,反向的旋转以阈值以下的时间间隔连续的情况下,上述行为检测部检测出因上述用户的摇头而产生的旋转。

(5)在上述(1)~(4)中的任意一项所记载的信息处理装置中,上述传感器包括加速度传感器以及角速度传感器,上述行为检测部基于从上述传感器数据提取的特征量来检测出上述行为。

(6)在上述(1)~(5)中的任意一项所记载的信息处理装置中,还具备评分处理部,该评分处理部对评价上述转动的得分进行计算,上述信息生成部基于上述得分来生成与上述转动有关的信息。

(7)在上述(6)所记载的信息处理装置中,上述信息生成部生成包括基于上述得分所推定的上述用户的转动的技能等级的信息。

(8)在上述(7)所记载的信息处理装置中,上述信息生成部生成包括基于上述技能等级所决定的、与上述用户的转动的技能有关的排名的信息。

(9)在上述(7)或者(8)所记载的信息处理装置中,上述信息生成部生成包括基于上述技能等级所决定的、执行上述转动的每个设施的评价的信息。

(10)在上述(7)~(9)中的任意一项所记载的信息处理装置中,上述用户包括第1用户以及第2用户,上述信息生成部通过在上述第1用户与上述第2用户之间比较上述技能等级来生成与上述转动有关的信息。

(11)在上述(10)所记载的信息处理装置中,上述信息生成部在上述第1用户与上述第2用户的技能等级相近的情况下,生成将上述第2用户的存在通知给上述第1用户的信息。

(12)在上述(11)所记载的信息处理装置中,上述信息生成部在上述第1用户与上述第2用户的位置接近的情况下,生成将上述第2用户的存在通知给上述第1用户的信息。

(13)在上述(6)~(12)中的任意一项所记载的信息处理装置中,上述评分处理部对上述转动的持续时间、角位移或者角速度或角加速度的统计量进行评价。

(14)在上述(1)~(13)中的任意一项所记载的信息处理装置中,上述行为包括上述转动和跳跃或者跌倒,上述信息生成部生成与上述转动和上述跳跃或者上述跌倒有关的信息。

(15)在上述(14)所记载的信息处理装置中,还具备评分处理部,该评分处理部对评价上述跳跃的得分进行计算,上述评分处理部对上述跳跃的持续时间、上述跳跃间的角位移、上述跳跃间的自由落体的程度、上述跳跃的起跳时或者着地时的冲击进行评价。

(16)在上述(14)或者(15)所记载的信息处理装置中,还具备评分处理部,该评分处理部对评价上述转动的转动得分、以及评价上述跳跃的跳跃得分进行计算,上述信息生成部生成包括基于上述转动得分以及上述跳跃得分所推定的、上述用户的技能等级的信息。

(17)在上述(1)~(16)中的任意一项所记载的信息处理装置中,上述信息生成部生成将存在拍摄到上述转动的影像这一情况通知给上述用户的信息。

(18)在上述(1)~(17)中的任意一项所记载的信息处理装置中,上述信息生成部生成用于以时间序列对与上述转动有关的量进行可视化的信息。

(19)信息处理方法包括:获取由安装在用户或者被上述用户使用的器具上的传感器提供的传感器数据;处理器基于上述传感器数据来检测出上述用户的行为,上述行为包括转动;以及生成与上述转动有关的信息。

(20)程序用于使计算机实现如下的功能:获取由安装在用户或者被上述用户使用的器具上的传感器提供的传感器数据的功能;基于上述传感器数据来检测出上述用户的行为的功能,上述行为包括转动;以及生成与上述转动有关的信息的功能。

另外,以下那样的构成也属于本公开的技术范围。

(1)信息处理装置具备传感器数据接收部,其接收由安装在用户或者被上述用户使用的器具上的传感器提供的传感器数据;行为检测部,其基于上述传感器数据来检测出上述用户的行为;内容控制部,其以与上述检测出的行为相关地定义的时机为基准来控制与上述行为相关的内容的提供。

(2)在上述(1)所记载的信息处理装置中,上述内容包括与上述行为的进行并行提供的视觉的或者声音的内容。

(3)在上述(2)所记载的信息处理装置中,上述时机包括第1时机和第2时机,上述内容控制部在至少包括上述第1时机和上述第2时机的区间提供上述内容。

(4)在上述(3)所记载的信息处理装置中,上述内容控制部提供以上述第1时机为起点或者以上述第2时机为终点的上述内容。

(5)在上述(3)或者(4)所记载的信息处理装置中,上述内容控制部提供动作在上述第1时机或者上述第2时机中的至少一个时机发生变化的上述内容。

(6)在上述(2)~(5)中的任意一项所记载的信息处理装置中,上述时机包括根据有规律连续产生的上述行为所定义的一系列的时机,上述内容控制部提供其至少一部分以与上述一系列的时机对应的速度进行的内容。

(7)在上述(6)所记载的信息处理装置中,上述内容控制部选择以上述速度进行的乐曲。

(8)在上述(6)或者(7)所记载的信息处理装置中,上述内容控制部生成以上述速度进行的视觉的或者声音的效果。

(9)在上述(2)~(8)中的任意一项所记载的信息处理装置中,上述内容包括实时提供给执行上述行为的用户或者观察该行为的其它用户的内容。

(10)在上述(2)~(8)中的任意一项所记载的信息处理装置中,上述内容包括与上述行为的影像一起再生的内容。

(11)在上述(1)~(10)中的任意一项所记载的信息处理装置中,上述行为包括运动中产生的第1行为和不是第1行为的第2行为,上述内容控制部在上述第1行为与上述第2行为之间变更上述内容的提供的控制。

(12)在上述(1)~(11)中的任意一项所记载的信息处理装置中,上述内容包括上述行为的影像。

(13)在上述(12)所记载的信息处理装置中,上述时机包括第1时机和第2时机,上述内容控制部在至少包括上述第1时机和上述第2时机的区间中提取上述行为的图像。

(14)在上述(1)~(13)中的任意一项所记载的信息处理装置中,上述内容控制部还基于根据上述行为所确定的上述用户的简档来控制上述内容的提供。

(15)在上述(1)~(14)中的任意一项所记载的信息处理装置中,还具备对评价上述行为的得分进行计算的评分处理部,上述内容控制部还基于上述得分来控制上述内容的提供。

(16)信息处理方法包括接收由安装在用户或者被上述用户使用的器具上的传感器提供的传感器数据;基于上述传感器数据来检测出上述用户的行为;以及处理器以与上述检测出的行为相关地定义的时机为基准来控制与上述行为相关的内容的提供。

(17)程序使计算机实现如下的功能:接收由安装在用户或者被上述用户使用的器具上的传感器提供的传感器数据的功能;基于上述传感器数据来检测出上述用户的行为的功能;以及以与上述检测出的行为相关地定义的时机为基准来提供与上述行为相关的内容的提供的功能。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1