信息处理系统、信息处理方法及存储装置制造方法

信息处理系统、信息处理方法及存储装置制造方法
【专利摘要】本发明提供一种信息处理系统、信息处理方法和存储装置。该信息处理系统包括处理电路，处理电路被配置为从冲击传感器接收输入数据，冲击传感器基于所述冲击传感器上的冲击输出数据；以及识别从动作传感器输出的时间序列数据的目标段，动作传感器用于感测对象的动作。目标片段包括冲击事件之前出现的冲击前部分以及冲击事件之后出现的冲击后部分，冲击事件基于来自冲击传感器的数据来认知。
【专利说明】信息处理系统、信息处理方法及存储装置
[0001] 相关申请的交叉参考
[0002] 本申请要求2013年3月22日提交的日本优先权专利申请JP2013-060062的优先 权,通过参考将其全部内容合并于此。

【技术领域】
[0003] 本技术涉及信息处理装置、传感器装置、信息处理系统及存储介质。【背景技术】
[0004] 迄今为止，已经开发了利用感测或分析帮助用户变得擅于运动的多种技术。在这 些技术中，作为一种方法，使用用户自己或其他用户的打法（play)的统计分析。在打法的 统计分析中，确定打法中的动作模式例如在球类运动中是有用的。动作模式通过确定运动 的打法中示出的特定动作的模式来获得。例如，在网球的情况下，可以对诸如发球、扣球、正 手抽球和反手抽球这样的打法设置动作模式。通过确定打法中观察到的动作模式，例如可 以容易地以量化方式表示用户怎样做出了打法。
[0005] 在这些运动中对动作模式的确定此前由用户打法的支持者(例如教练、记分员或 管理员)进行。支持者通过观察，以视觉方式确认用户的打法并记录特定动作。对于这种人 力动作分析，必需大量劳力。此外，对于进行运动的用户而言，难以靠他们自己进行动作分 析。
[0006] 因此，已经提出通过在用户或用户使用的装备上附装传感器装置(上面安装了加 速度传感器、陀螺仪传感器等等）并分析传感器输出的数据来自动分析动作的技术。例如， 日本未审专利申请公开No. 2012-157644、日本未审专利申请公开No. 2012-130415以及日 本未审专利申请公开No. 2012-120579公开了基于动作传感器输出的数据来提取挥动的特 征信息的技术。


【发明内容】

[0007] 例如，在日本未审专利申请公开No. 2012-157644公开的技术中，在提取挥动的特 征信息之前进行搜索动作传感器输出的数据中出现的挥动的片段的计时的处理。但是在 这种情况下，因为重复了搜索与动作传感器中输出的数据中与特征动作相对应的片段的处 理，所以处理负荷会增加。此外，因为片段的设置不稳定，所以确定动作模式的准确性也不 高。日本未审专利申请公开No. 2012-130415和日本未审专利申请公开No. 2012-120579也 未提出对该问题的改进措施。
[0008] 希望提供一种新颖和改进的信息处理装置、新颖和改进的传感器装置、新颖和改 良的信息处理系统以及新颖和改良的存储介质，能够通过适当地设置在分析传感器(用于 检测传感器装置的物理行为）的检测值并确定用户的动作模式时要分析的片段，提高确定 的准确性。
[0009] 根据一个实施例，信息处理系统被描述为包括处理电路，配置为：
[0010] 从冲击传感器接收输入数据，所述冲击传感器基于所述冲击传感器上的冲击输出 数据；以及 toon] 识别从动作传感器输出的时间序列数据的目标段，所述动作传感器用于感测对象 的动作，其中
[0012] 所述目标段包括冲击事件之前出现的冲击前部分以及所述冲击事件之后出现的 冲击后部分，所述冲击事件基于来自所述冲击传感器的数据来认知。
[0013] 根据方法实施例，所述方法包括：
[0014] 从冲击传感器接收输入数据，所述冲击传感器被配置为基于所述冲击传感器上的 冲击来输出数据；
[0015] 接收来自动作传感器的时间序列数据，所述动作传感器用于感测对象的动作；以 及
[0016] 通过处理电路识别所述时间序列数据的目标段，其中
[0017] 所述目标段包括冲击事件之前出现的冲击前部分以及所述冲击事件之后出现的 冲击后部分，所述冲击事件基于来自所述冲击传感器的数据来认知。
[0018] 根据非暂态计算机可读存储装置实施例，所述装置包括通过处理器执行时配置所 述处理器以实现信息处理方法的指令，所述方法包括：
[0019] 从冲击传感器接收输入数据，所述冲击传感器被配置为基于所述冲击传感器上的 冲击来输出数据；
[0020] 接收来自动作传感器的时间序列数据，所述动作传感器用于感测对象的动作；以 及
[0021] 通过处理电路识别所述时间序列数据的目标段，其中
[0022] 所述目标段包括冲击事件之前出现的冲击前部分以及所述冲击事件之后出现的 冲击后部分，所述冲击事件基于来自所述冲击传感器的数据来认知。

【专利附图】

【附图说明】
[0023] 图1是示出根据本技术实施例的信息处理系统的概述的示意图；
[0024] 图2是示出根据本技术实施例的动作模式确定处理的概述的示意图；
[0025] 图3是示出根据本技术实施例的信息处理系统的示意性功能构造的方框图；
[0026] 图4是描述根据本技术实施例的冲击传感器和动作传感器的示意图；
[0027] 图5是示出根据本技术实施例的处理的示例的流程图；
[0028] 图6是示出图5的示例的参考示例的流程图；
[0029] 图7是描述图5的示例中动作片段的设置的示意图；
[0030] 图8是描述图6的示例中动作片段的设置的示意图；
[0031] 图9是示出根据本技术实施例的传感器数据的特定示例的曲线图；
[0032] 图10是示出根据本技术实施例的传感器数据的特定示例的曲线图；
[0033] 图11是示出根据本技术实施例的第一屏幕示例的示意图；
[0034] 图12是示出根据本技术实施例的动作模式显示的其他示例的示意图；
[0035] 图13是示出根据本技术实施例的、根据动作模式改变撞击位置显示的示例的示 意图；
[0036] 图14是示出根据本技术实施例的当撞击位置显示被反转时的显示示例的示意 图；
[0037] 图15是示出根据本技术实施例的撞击位置分布显示的示例的示意图；
[0038] 图16是示出根据本技术实施例的第二屏幕示例的示意图；
[0039] 图17是示出根据本技术实施例的第三屏幕示例的示意图；
[0040] 图18是示出根据本技术实施例的第四屏幕示例的示意图；
[0041] 图19是示出根据本技术实施例的传感器装置的硬件构造的示例的示意图；以及
[0042] 图20是示出根据本技术实施例的分析装置的硬件构造的示例的示意图。

【具体实施方式】
[0043] 下面参照附图详细描述本公开的优选实施例。注意，在本说明书和附图中，用相同 的附图标记表示功能和结构基本上相同的结构元件，并省略这些结构元件的重复说明。 [0044] 按照以下顺序进行描述。
[0045] 1.概述
[0046] 2.功能构造
[0047] 3.处理流程
[0048] 4.特定示例
[0049] 5.输出信息的示例
[0050] 6.硬件构造
[0051] 7.补充
[0052] (1.概述）
[0053] 首先，参照图1和图2描述本技术的实施例的概述。概述的描述包括根据实施例 的信息处理系统的概述的描述以及通过信息处理系统进行的动作识别处理的概述的描述。
[0054] (信息处理系统的概述）
[0055] 图1是示出根据本技术实施例的信息处理系统的概述的示意图。参照图1，信息处 理系统10包括传感器装置100和分析装置200。
[0056] 传感器装置100直接或间接安装于进行运动的用户。当传感器装置100直接安装 于用户时，如图所示，例如可将传感器装置100配置为具有腕套形状，并且可直接安装在用 户身上。将传感器装置1〇〇间接安装于用户时，可将传感器装置1〇〇缠绕、缝合或附装于用 户持有或穿戴的运动装备(在网球的情况下，例如球拍、服装、鞋子、腕带等等)，或者可将其 事先包括在装备中。
[0057] 这里，传感器装置100获取指示传感器100自身物理行为（位置、速度、加速度等 等)的传感器信息。用户或装备的物理行为反映在传感器信息中。在本实施例中，传感器装 置100至少包括两个传感器来获取这种传感器信息。传感器装置100的第一传感器检测从 用户或装备传递的撞击。第一传感器例如可包括用作冲击传感器的单轴加速度传感器。另 一方面，第二传感器以相比于第一传感器的分辨率更高的分辨率检测传感器装置100的行 为。第二传感器例如可包括用作动作传感器的三轴加速度传感器、陀螺仪传感器和地磁传 感器。除了第一传感器和第二传感器之外，传感器装置100可进一步包括检测加速度、角速 度、振动、温度、时间或位置的一个传感器或多个传感器(例如，用纬度和经度表示的地表面 位置或者与球场的相对位置等等)。传感器装置100将从这些传感器获得的时间序列数据 传输给分析装置200。
[0058] 分析装置200分析从传感器装置100传输的时间序列数据，以至少确定用户的动 作模式。分析装置200被示出为网络上的服务器。但是，例如，可以使用任何装置，只要分 析装置200是具有通过利用处理器、中央处理器（CPU)等等的计算来分析数据的功能的信 息处理装置。作为另一个示例，分析装置200例如可以是诸如智能电话、平板终端或各种个 人计算机（PC)的终端装置。当分析装置200被实现为终端装置时，分析装置200可以输出 指示用户的确定的动作模式的信息。或者，当分析装置200被实现为服务器时，分析装置 200例如可以向诸如用户在家里使用的终端装置那样的客户端300传输指示用户的所确定 的动作模式的信息。基于动作模式的确定结果，分析装置200可以输出例如指示用户进行 动作多少次的统计信息，或者可以输出指示每个动作中用户的倾向（对于球类运动的情况， 例如是通过装备击打球的位置、给球的力量或旋转等等）的信息。
[0059] 当分析装置200如同附图所示示例那样被实现为服务器时，服务器的功能可通过 单个服务器装置来实现，也可通过经由网络连接的多个服务器装置来分布和实现。此外，分 析装置200的功能可在经由网络连接的服务器和终端装置中分布和实现。
[0060] (动作模式确定处理的概述）
[0061] 图2是示出根据本技术实施例的动作模式确定处理的概述的示意图。在动作模式 确定处理中，如图2所示，将传感器装置100中包括的两个传感器输出的时间序列数据1001 和时间序列数据1003用作输入。
[0062] 在附图所示示例中，时间序列数据1001包括第一加速度传感器(单轴）输出的数 据。第一加速度传感器是所谓的冲击传感器。第一加速度可以检测具有由于冲击而出现的 较高频率和更大动态范围的加速度，尽管加速度的分辨率不是特别高。另一方面，时间序列 数据1003包括第二加速度传感器(三轴）输出的数据。第二加速度传感器是所谓的动作传 感器。第二加速度传感器可以检测包含比如重力的固定分量的具有较低频率的加速度，并 且具有高加速度分辨率，尽管动态范围较窄(存在由于超出可检测范围的冲击而出现的加 速度的可能)。
[0063] 在用于确定动作模式的识别计算中，主要使用具有高分辨率的时间序列数据 1003。此外，在本实施例中，如同利用时间序列数据1001的预处理一样进行动作片段设置 处理(撞击检测处理)。在动作片段设置处理中，基于时间序列数据1001设置时间序列数据 1003中的分析目标片段。也就是说，通过处理，将时间序列数据1003中的识别计算目标限 制为基于时间序列数据1001设置的分析目标片段。
[0064] 在很多运动中，作为动作模式确定目标的特征动作例如可以是用户的装备或身体 对球的击打、用户对地表面的踩踏、或者与其他用户的碰撞。因为这种动作导致施加给用户 或装备的冲击以及由于撞击而出现的振动，所以可将如下点的任一侧的部分指定为与动作 相对应的片段(动作片段）：在该点，冲击传感器的时间序列数据1001中检测到振动。
[0065] 在动作片段设置处理之后，从设置的分析目标片段提取时间序列数据1003的特 征。这里，例如通过对时间序列数据1003进行信号处理来提取信号波形的频率特征或时间 波形的统计特征，例如平均值、散布、最小值和最大值。例如，图10的A和B示出正手抽球 和发球时的传感器输出波形。在波形的比较中，具体而言，在诸如ω-Χ和ω-Ζ的时间波形 的振幅中，特征不同。在提取特征之前，可将信号波形的缺失部分插值。提取的特征可以受 到统计处理，例如归一化。
[0066] 随后，对提取的特征进行识别计算。识别计算是如下一种计算处理：通过参照事先 准备的识别词典(运动模型）指定与提取的特征相对应的动作模式来识别动作。例如，对每 个运动都可以产生识别词典，并且通过用户的设置，可以切换分类。作为识别计算，例如，可 以使用通过机器学习（例如神经网络、支持向量机（SVM)、k邻居标识符以及贝叶斯分类）从 数据形成识别参数的不基于规则的方法。
[0067] 如同在时间序列数据1003中，可以从时间序列数据1001中提取特征，并将提取的 特征用于识别计算。也就是说，冲击传感器的时间序列数据1001不仅可用于动作片段的设 置，也可用于连同动作传感器的时间序列数据1003 -起的识别计算。
[0068] 当作为识别计算的结果，确定动作模式继续时，输出动作模式信息2001。动作模式 信息2001例如是如图所示的用于通知用户动作模式的信息(在附图所示示例中，示出网球 的击球类型=正手抽球)，并且可进一步包括上述统计信息或者指示用户习惯的信息。
[0069] 在以下的表1中示出动作模式的定义示例。因此，可以对每个运动定义动作模式， 也可以对运动种类定义动作模式。对于每个运动或者运动种类可以产生前述识别词典，并 且通过用户的设置，可以切换运动或者运动种类。这里所示的动作模式仅为示例，因此在各 种其他运动中可以定义各种类型的动作模式。
[0070] 表 1
[0071]

【权利要求】
1. 一种信息处理系统，包括： 处理电路，被配置为 从冲击传感器接收输入数据，所述冲击传感器基于所述冲击传感器上的冲击输出数 据；以及 识别从动作传感器输出的时间序列数据的目标段，所述动作传感器用于感测对象的动 作，其中 所述目标段包括冲击事件之前出现的冲击前部分以及所述冲击事件之后出现的冲击 后部分，所述冲击事件基于来自所述冲击传感器的数据来认知。
2. 如权利要求1所述的信息处理系统，其中： 所述处理电路还确定所述冲击事件并基于所述冲击事件识别所述目标段。
3. 如权利要求1所述的信息处理系统，其中： 所述冲击事件包括撞击事件，所述撞击事件包括由用户的移动所致的对于对象的撞 击。
4. 如权利要求3所述的信息处理系统，其中： 所述对象是所述用户所持的对象，且所述撞击事件包括所述对象和另一个对象的碰 撞。
5. 如权利要求4所述的信息处理系统，其中： 所述另一个对象是网球、高尔夫球和棒球的其中之一。
6. 如权利要求1所述的信息处理系统，其中： 所述对象是所述用户的身体的一部分。
7. 如权利要求1所述的信息处理系统，其中： 所述冲击传感器和所述动作传感器是加速度传感器。
8. 如权利要求1所述的信息处理系统，其中： 所述系统包括所述冲击传感器，所述冲击传感器在加速度上具有比所述动作传感器更 大的动态范围。
9. 如权利要求1所述的信息处理系统，其中： 所述系统包括所述动作传感器，所述动作传感器具有比所述冲击传感器更大的加速度 分辨率。
10. 如权利要求9所述的信息处理系统，其中： 所述动作传感器被配置为检测三轴加速度和角速度。
11. 如权利要求1所述的信息处理系统，其中： 所述处理电路被配置为分析所述目标段并识别与所述目标段相对应的对象的预定动 作模式。
12. 如权利要求11所述的信息处理系统，其中： 所述处理电路包括输出装置，所述输出装置通过产生音频信号和视频信号的至少其中 之一，将所述预定动作模式通知用户。
13. 如权利要求10所述的信息处理系统，还包括： 显示器，被配置为显示所述预定动作模式的标示。
14. 如权利要求1所述的信息处理系统，还包括： 显示器，被配置为显示另一个对象在所述对象上的撞击位置的标示。
15. 如权利要求1所述的信息处理系统，还包括： 显示器，被配置为显示与所述对象的实际动作模式相关联的至少一个指标值。
16. 如权利要求10所述的信息处理系统，还包括： 显示器，被配置为关于所述对象的多个检测到的移动模式向用户显示统计反馈。
17. 如权利要求9所述的信息处理系统，其中： 所述动作传感器通过无线方式向所述处理电路传输所述时间序列数据。
18. 如权利要求1所述的信息处理系统，其中： 所述处理电路被配置为通过确定来自所述冲击传感器的所述输入数据何时超过预定 阈值来识别所述目标段以及通过来自所述冲击传感器的所述输入数据描述的信号的频率。
19. 如权利要求1所述的信息处理系统，其中： 在观看式装置中实施所述信息处理系统，且通过可下载的软件应用程序配置所述处理 电路以识别所述目标段。
20. -种信息处理方法，包括： 从冲击传感器接收输入数据，所述冲击传感器被配置为基于所述冲击传感器上的冲击 来输出数据； 接收来自动作传感器的时间序列数据，所述动作传感器用于感测对象的动作；以及 通过处理电路识别所述时间序列数据的目标段，其中 所述目标段包括冲击事件之前出现的冲击前部分以及所述冲击事件之后出现的冲击 后部分，所述冲击事件基于来自所述冲击传感器的数据来认知。
21. -种非暂态计算机可读存储装置，包括当通过处理器执行时配置所述处理器以实 现信息处理方法的指令，所述方法包括： 从冲击传感器接收输入数据，所述冲击传感器被配置为基于所述冲击传感器上的冲击 来输出数据； 接收来自动作传感器的时间序列数据，所述动作传感器用于感测对象的动作；以及 通过处理电路识别所述时间序列数据的目标段，其中 所述目标段包括冲击事件之前出现的冲击前部分以及所述冲击事件之后出现的冲击 后部分，所述冲击事件基于来自所述冲击传感器的数据来认知。
【文档编号】A63B71/00GK104056441SQ201410097086
【公开日】2014年9月24日 申请日期:2014年3月14日 优先权日:2013年3月22日
【发明者】松永英行, 山下功诚 申请人:索尼公司