视频和运动事件集成系统的制作方法

文档序号:11291284阅读:181来源:国知局
视频和运动事件集成系统的制造方法与工艺

一个或更多实施例涉及运动捕获数据分析的领域,以及基于在运动捕获数据内或者在与用户或装备相关联的运动分析数据内辨识出的事件并且/或者基于来自所述用户或者其他(多位)用户和/或装备的先前运动分析数据来显示信息。更具体来说(但是并非限制),一个或更多实施例实现了一种视频和运动事件集成系统,其允许与来自动作捕捉传感器的运动数据同步地智能同步并且传送一般简明事件的视频,其中动作捕捉传感器与用户或设备耦合。通过上传事件视频并且避免上传大视频的不相关部分,大量节省存储并提高上传速度。提供多个视频的智能选择,例如选择具有抖动最小的一个,其中多个视频来自在给定时间覆盖某一事件的多台摄影机。在由动作捕捉传感器确定的事件期间允许摄影机参数的近似实时变更以及重播参数和特殊效果的变更,以同步事件视频。创建按度量过滤的高光时刻,并且能够按度量排序。即使其他传感器不检测该事件,也结合多个传感器以保存事件数据。还允许分析或比较与同一用户、其他用户、历史用户或用户群相关的运动。至少一个实施例还允许辨识运动数据内的事件,所述事件包括运动员的击球、移动或挥击,运动员、拳击手、骑手或车手的脑震荡,或者中暑、体温过低、疾病突发、哮喘发作、癫痫发作,或者包括行走和摔倒在内的任何其他体育或身体运动相关的事件。可以把运动事件与(多幅)图像或视频进行相关以及/或者通过其他方式与之同步,这可以在事件发生时或者在后来的某一时间基于事件的位置和/或时间或者全部二者例如在移动设备或远程服务器上进行,并且是捕获自(多台)内部/外部摄影机或保姆摄像头,以便例如允许保存事件的视频,比如儿童的第一次行走,剧烈抖动事件,体育、军事或者包括脑震荡在内的其他运动事件,或者与老年人相关联的摔倒事件,并且例如丢弃非事件相关的视频数据,从而大大减少针对事件视频的存储需求。



背景技术:

现有的运动捕获系统处理并且潜在地存储关于实际感兴趣事件的大量数据。举例来说,已知的系统捕获来自耦合到用户或装备的加速度计数据,并且分析或监测移动。在这些情形中,数以千计或者数以百万计的运动捕获样本与静止中的或者未在移动的用户相关联,其方式与现有系统正在尝试分析的特定事件有关。举例来说,如果正在监测美式足球运动员,则大量运动数据与脑震荡事件无关,对于婴儿,大量运动数据通常与抖动事件或者例如婴儿猝死综合症(sids)之类的非运动事件无关,对于高尔夫球手,由安放在运动员的高尔夫球杆上的传感器捕获的大量运动数据的加速度数值较低,也就是说例如与运动员站立或等待另一位运动员或者在其他方面没有按照感兴趣的方式移动或加速度相关联。因此,对于非事件相关的数据的捕获、传输和存储增加了对于电力、带宽和存储器的需求。

此外,对于实施某种类型的运动的视频捕获可能包括甚至更大量的数据,其中的许多与例如棒球棒的挥击或本垒打之类的实际事件无关。没有已知的系统能够自动修剪视频,例如保存事件相关的视频乃至丢弃非事件相关的视频,例如通过上传例如仅仅是由动作捕捉传感器确定的相关事件视频,而不上传整个原始视频,以便生成对应于在视频中发生并且例如通过运动捕获数据的分析所检测到的事件的更小的视频片段。

与监测碰撞有关的一些系统专注于线性加速度相关的碰撞。这些系统无法监测旋转加速度或速度,并且因此无法检测可能产生脑震荡的特定类型的事件。此外,出于低功率和耐久性考虑,许多这些类型的系统并不产生事件相关的无连接消息。因此,这些系统基于其缺少鲁棒特性而在其使用方面受到限制。

已知的系统也没有设想到在运动数据内进行关于事件的数据挖掘,以便基于在先前存储的运动数据内辨识出的事件的功能形成特定移动的表示,例如普通运动员或普通职业运动员等级或者任何运动员等级的挥击。因此,找到、修剪并且指定特定运动相关的事件以便例如使用在虚拟现实中是非常困难和耗时的,并且需要人工劳动。因此,当前的系统无法很容易地允许特定用户以相同用户或其他用户以及例如历史运动员的先前存储的运动事件为对手进行比赛。此外,已知的系统没有考虑到累积的碰撞,以及例如针对与脑震荡有关的数据挖掘的信息来确定一系列碰撞是否可能导致脑部功能随着时间受损。

其他类型的运动捕获系统包括针对分析和教导身体技术细节(mechanics)的视频系统。这些系统是基于对运动员进行视频记录以及对所记录的运动员的视频进行分析。这种技术存在限制,其中包括例如基于视频的不尽准确并且不尽一致的主观分析。另一种技术包括运动分析,其中例如使用至少两台摄影机来捕获与运动员相关联的移动的三维点。已知的实现方式利用静止的多摄影机系统,所述系统不够便携并且因此无法在系统的安装环境之外被利用,例如在高尔夫球巡回赛、美式足球比赛之类的体育事件期间被利用或者被利用来监测儿童或老年人。一般来说,基于视频的系统也不利用来自正在经历运动的对象上的传感器的数字运动捕获数据,这是因为基于视频的系统是针对获得并且分析具有视觉标记的图像而不是电子传感器。此外,这些固定的装置还极为昂贵。这样的现有技术在2006年1月26日提交的美国专利序列号7,264,554中进行了概述,其要求2005年1月26日提交的美国临时专利申请序列号60/645,751的权益,二者的说明书都被合并在此以作参考。全部两项公开内容都属于本申请的主题内容的相同发明人。

不管所获得的运动捕获数据如何,通常在每位用户或每次挥击的基础上对数据进行分析,其中并没有设想到移动电话上的处理,因此用户对于已有的移动电话只能购买运动捕获传感器和“应用(app)”。此外,现有的解决方案没有设想到移动使用、分析和消息传送和/或比较,或者使用来自该用户或其他用户的先前存储的运动捕获数据,或者对运动捕获数据的大型数据集合进行数据挖掘,以便例如获得或创建与一组用户相关联的运动捕获数据,比如直接高尔夫球手、网球运动员、篮球运动员或者任何其他体育运动的运动员,从而提供与“专业等级”普通或杰出虚拟现实对手相关联的事件。总而言之,运动捕获数据通常被用于即时监测或体育运动表现反馈,并且在其他领域中通常具有受限制和/或原始的使用。

已知的运动捕获系统通常利用几个被动或主动标记或者几个传感器。没有已知的系统能够利用少至一个视觉标记或传感器以及例如在用户已经拥有的移动设备上执行的应用来分析和显示与用户和/或装备相关联的运动捕获数据。所述数据通常是在实验室中并且在每位用户或每次挥击的基础上被分析的,并且除了该特定用户的运动分析或运动表示之外没有被用于任何其他目的,并且通常没有受到数据挖掘。

没有已知的系统允许例如无线传感器之类的运动捕获元件与用户或鞋具、手套、衬衫、裤子、腰带或其他装备(比如棒球棒,网球拍,高尔夫球杆,拳击手、美式足球或英式足球运动员的牙套,或者在任何其他接触性体育运动中所利用的保护性牙套)无缝集成或者通过其他方式耦合,以便在非常小的格式中进行本地分析或后来分析,从而使得用户不知道所述传感器被放置在这些项目之中或之上。没有已知的系统能够例如在高尔夫球杆的配重部(weightport)中或者在靠近把手的末端杆身处提供无缝安放装置,以便提供被配置成捕获运动数据的无线高尔夫球杆。从现有传感器导出的数据没有被保存在对应于大量事件的数据库中,并且除了运动捕获数据被采集的表现之外没有相对于任何其他事项被使用。

此外,对于利用装备和球的体育运动,没有已知的便携式系统允许用户获得关于球的飞行距离、挥击速度、装备的挥击效率或者撞击球的居中程度(也就是球的碰撞在装备上发生的位置)的即时视觉反馈。这些系统不允许用户与采集自其他用户或历史运动员或者采集自其自身的先前表现的运动捕获数据进行比赛。已知的系统不允许对来自大量挥击的运动捕获数据进行数据挖掘以便建议或允许搜索更好的或最优的装备以匹配用户的运动捕获数据,并且不允许原始装备制造商(oem)作出商业决定,例如改进其产品、将其产品与其他制造商进行比较、超额促销产品或者联系可能购买不同的或利润更多的产品的用户。

此外,没有已知的系统利用运动捕获数据挖掘来进行装备调试,以及关于即刻购买适合运动员的装备的后续销售点决策制定。此外,没有已知的系统允许定制订单履行,比如针对体育装备的定制订单履行的面向订单装配(ato),例如按照基于运动捕获数据挖掘的顾客规范建立并且例如在比赛或虚拟现实比赛期间被装运给顾客以完成销售点处理的装备。

此外,没有已知的系统对于被动遵从性和监测应用使用移动设备和rfid标签。

没有已知的系统允许针对大量用户关于其运动或者相关联的装备的运动进行数据挖掘以便找到数据中的模式,从而允许基于到目前为止尚未发现的与运动有关的模式来决定商业策略。没有已知的系统允许从oem、医疗专业人员、游戏公司或其他末端用户获得付款以允许对运动数据进行数据挖掘。至少出于前面描述的限制,需要一种视频和运动事件集成系统。

诸如归属于lokshin,于2013年12月26日公开的、美国专利公开号20130346013以及于2013年12月12日公开的、美国专利公开号2013033054的已知系统没有考虑过仅仅上传在事件期间发生的相关视频,更确切地说是上传随后同步化的大视频。lokshin的两个参考文献没有考虑过动作捕捉传感器以基于事件来命令摄影机变更运行中的摄影机参数、例如在事件视频采集期间对慢动作提供提高的帧频,并且没有考虑过在对应于事件的视频部分期间改变重播参数。参考文献也没有考虑过生成高光时刻,其中多台摄影机可能例如从不同角度捕捉事件,也没有考虑过对于给定事件选择最好的视频。此外,参考文献没有考虑过多传感器环境,其中其他传感器可以不观察或以其他方式检测事件,而传感器数据对于获取度量而言仍然是有用的,因此,参考文献没有教导在一个传感器已经识别到事件之后,保存其他传感器的事件数据。



技术实现要素:

本发明的实施例实现了一种视频和运动事件集成系统,其实现与来自动作捕捉传感器的运动数据同步地智能同步并且传送一般简明事件的视频,其中动作捕捉传感器与用户或设备耦合。通过上传事件视频并且避免上传大视频的不相关部分,大量节省存储并提高上传速度。提供多个视频的智能选择,例如选择具有抖动最小的一个,其中多个视频来自在给定时间覆盖某一事件的多台摄影机。在由动作捕捉传感器确定的事件期间允许摄影机参数的近似实时变更以及重播参数和特殊效果的变更,以同步事件视频。创建按度量过滤的高光时刻,并且能够按度量排序。即使其他传感器不检测该事件,也结合多个传感器以保存事件数据。还允许分析或比较与同一用户、其他用户、历史用户或用户群相关的运动。至少一个实施例提供对于运动数据内的事件的智能辨识,其中包括但不限于从例如视觉标记和传感器、射频标识标签以及移动设备计算机系统之类的便携式无线运动捕获元件获得的运动捕获数据,或者所述运动捕获数据是基于与相同用户相关联的经过分析的移动而计算的,或者是与所述用户或其他用户、历史用户或用户群组进行比较。通过修剪运动数据和视频以对应于所检测到的事件,允许针对事件数据和视频数据的低存储器利用。这可以在移动设备或远程服务器上实施,并且是基于事件的位置和/或时间以及基于视频的位置和/或时间,并且可以可选地包括摄影机的指向以便进一步限制可能包括运动事件的视频。一些实施例允许基于事件的观看和低功率事件传送以及与执行在移动设备上的应用和/或与外部摄影机的通信,以便指定用以定义事件的窗口。允许图像或视频内的运动事件辨识和事件指定,比如运动员的击球、移动或挥击,运动员、拳击手、骑手或车手的脑震荡,或者中暑、体温过低、疾病突发、哮喘发作、癫痫发作,或者包括行走和摔倒在内的任何其他体育或身体运动相关的事件。可以把事件与捕获自一台或多台内部/外部摄影机或保姆摄像头的一幅或更多幅图像或视频进行相关,以便例如允许保存事件的视频,比如儿童的第一次行走,剧烈抖动事件,包括脑震荡在内的体育事件,或者与老年人相关联的摔倒事件。可以针对线性加速度阈值和/或模式以及旋转加速度和速度阈值和/或模式来监测脑震荡相关事件和其他事件,并且/或者在事件的基础上对其进行保存和/或通过轻量型无连接协议对其进行传输,或者前述各项的任意组合。

本发明的实施例允许用户购买应用或“app”和运动捕获元件,并且立即将所述系统与其现有的移动计算机(例如移动电话)一起使用。本发明的实施例可以向监测用户或者与运动捕获元件或装备相关联的用户显示运动信息。一些实施例还可以基于与某一用户或装备相关联的先前存储的运动捕获数据或运动分析数据或者与至少一位其他用户相关联的先前存储的运动捕获数据或运动分析数据(通过例如(而不限于)比较之类的功能)来显示基于与所述用户或装备相关联的运动分析数据的信息。这就允许精密的监测、遵从性、与从(多位)其他用户获得的运动捕获数据或模式的交互,以便例如利用从用户获得的真实运动数据来进行虚拟比赛,并且以此为基础利用先前来自该用户或者来自其他用户(或装备)的真实运动数据捕获生成响应。这种能力提供了以历史运动员为对手的比赛,例如虚拟网球比赛,或者以“普通”专业体育运动员为对手的比赛,并且直到现在为止在本领域内是未知的。

举例来说,一个或更多实施例包括至少一个运动捕获元件,其被配置成与用户、装备或者与用户耦合的移动设备相耦合,其中所述至少一个运动捕获元件包括:存储器;被配置成捕获与所述至少一个运动捕获元件的指向、位置、速度、加速度(线性和/或旋转)相关联的数值的任意组合的传感器;无线电装置;以及与存储器、传感器和无线电装置耦合的微控制器。所述微控制器被配置成收集包括来自传感器的传感器数值的数据,把数据存储在存储器中,对数据进行分析并且辨识出数据内的事件以便确定事件数据,并且通过无线电装置传送与事件相关联的事件数据。所述系统的实施例还可以包括被配置成在移动设备上执行的应用,其中移动设备包括计算机、被配置成与无线电装置进行通信以便获得与事件相关联的事件数据的无线通信接口。所述计算机与无线通信接口耦合,其中计算机执行应用或“app”以便配置该计算机:从无线通信接口接收事件数据,分析事件数据以形成运动分析数据,存储事件数据或运动分析数据或者事件数据和运动分析数据全部二者,并且在显示器上显示包括与至少一位用户相关联的事件数据或运动分析数据或全部二者的信息。

一个或更多实施例包括至少一个运动捕获传感器,其被配置成放置在用户的头部附近,其中所述微控制器还被配置成计算用户头部上的撞击位置。所述至少一个运动捕获传感器的实施例可以被配置成利用任何类型的安放、封装或耦合机制而被耦合在帽子或球帽上、耦合在保护性牙套内。所述至少一个运动捕获传感器的一个或更多实施例可以被配置成与用户头部上的头盔耦合,并且其中关于用户头部上的撞击位置的计算是基于用户头部和/或头盔的物理几何结构。一些实施例可以包括例如与所述至少一个运动捕获传感器或者与微控制器耦合的温度传感器。

本发明的实施例还可以利用被配置成围绕所述至少一个运动捕获元件的隔离器以便近似围绕用户脑部的脑脊髓液的物理加速度阻尼,从而最小化事件数据的线性加速度和旋转加速度的变换,以便获得用户脑部的观测线性加速度和观测旋转加速度。因此,一些实施例可以消除用以把来自基于头盔的加速度的力或加速度数值或者任何其他数值变换到所观测到的脑部加速度数值。因此,一些实施例利用更少的电力和存储来提供特定于事件的数据,从而又最小化数据传输的数量,从而导致更低的传输功率利用以及甚至更低的总功率利用。基于头盔中的内在衬垫的类型,在美式足球/冰球/长柄曲棍球运动员的头盔上可以利用不同的隔离器。在其中不佩戴头盔或者偶尔佩戴头盔的体育运动中所利用的其他实施例还可以利用球帽或帽子上(例如棒球运动员的帽子上)的至少一个运动捕获传感器,连同安放在击球头盔上的至少一个传感器。在其中不利用球帽的体育运动(比如英式足球)中还可以利用头带安放装置来同样确定脑震荡。在一个或更多实施例中,利用在头盔上的隔离器可以在封装中保持附着到头盔,并且传感器可以被移除并且放置在不利用匹配用户脑液的阻尼的隔离器的另一件装备上。一些实施例可以基于与特定类型的装备(也就是冲浪板相比于棒球棒)相关联的特性运动模式自动检测运动类型,并且确定运动捕获传感器当前所附着到的装备的类型。

本发明的实施例可以被配置成获得/计算线性加速度数值或旋转加速度数值或者全部二者。这就允许对于脑震荡以及线性加速度监测旋转事件。其他事件可以利用线性和/或旋转加速度和/或速度,例如与模式或模板进行比较,从而不仅在事件期间切换传感器个性以便动态地改动捕获特性,而且还表征正在与当前的运动捕获传感器一起利用的装备的类型。这就允许通过用户的单次运动捕获元件购买而使得多件装备或衣物工具化,这是通过允许传感器基于由该传感器捕获的运动与特性运动模式或模板的比较自动确定该传感器所耦合到的装备或衣物的类型。

本发明的实施例可以利用无连接广播消息来传送与事件相关联的事件数据。在一个或更多实施例中,取决于所采用的无线通信,广播消息可以包括具有有限数量的数据的有效载荷,其可以被利用来避免基于连接的协议的握手和开销。在其他实施例中,可以通过任意组合来利用无连接或基于连接的协议。

在一个或更多实施例中,计算机可以访问与用户或装备相关联的先前存储的事件数据或运动分析数据,以便例如确定脑震荡或摔倒或其他挥击或者任何其他运动事件的数目。一些实施例还可以把与至少一位用户相关联的事件数据呈现在显示器上,这是基于与所述用户或装备相关联的事件数据或运动分析数据以及与所述用户或装备或者与至少一位其他用户或其他装备相关联的先前存储的事件数据或运动分析数据。这就允许在数目或定量数值方面对运动事件进行比较,例如由所述用户或其他用户在特定比赛中或者在历史上观测到的最大旋转加速度。此外,定义对应于典型事件的特定装备的特性运动的模式或模板可以被动态地更新,例如在中央服务器上或者在本地更新,以及在一个或更多实施例中通过无线接口在运动捕获传感器中动态地更新。这就允许传感器随着时间改进。

本发明的实施例可以例如通过广播电视或因特网传送信息以便在与计算机或远程计算机耦合的视觉显示器上进行显示。所述显示器的实施例还可以被配置成接受子事件时间位置,以便提供沿着整个事件的时间线的离散滚动。举例来说,高尔夫球挥击可以包括例如瞄准(address)、向后挥动、向前挥动、击打、保持姿势(followthrough)之类的子事件。系统可以显示对应于子事件的时间位置并且接受所述位置附近的用户输入,以便确定视频应当在该时间点处开始或停止,或者例如滚动到或者回到该时间点以易于观看子事件。

本发明的实施例还可以包括与所述至少一个运动捕获传感器或用户或装备耦合的标识符。在一个或更多实施例中,所述标识符可以包括团队和队服号码或者学生标识符号码或证件号码或者任何其他标识符,其允许相对唯一地标识来自特定用户或装备的特定事件。这就允许关于被配置成接收与特定运动员或用户相关联的数据的应用(app)标识具有多位运动员或用户的团队体育运动或位置。一个或更多实施例接收标识符,例如与运动员或用户相关联的被动rfid标识符或mac地址或其他序列号,并且把标识符与事件数据和运动分析数据相关联。

所述至少一个运动捕获传感器的一个或更多实施例还可以包括被配置成在事件发生的情况下输出光的发光元件。这可以被利用来在头盔的外侧部分显示潜在、轻度或重度脑震荡,而无需例如针对任何外部设备的任何通信。还可以利用不同的颜色或闪光间隔来传达与事件有关的信息。替换地或者与之相组合,所述至少一个运动捕获元件还可以包括音频输出元件,其被配置成在事件发生的情况下或者在所述至少一个运动捕获传感器处于计算机的范围之外的情况下输出声音,或者其中所述计算机被配置成在所述至少一个运动捕获传感器处于计算机的范围之外的情况下显示告警,或者前述各项的任意组合。传感器的实施例还可以利用lcd,其例如在快速响应(qr)代码或条形码中输出当前事件的已编码分析,从而例如使得裁判员可以在移动设备上本地获得分析代码的快照,并且使得事件不会在传感器上以可读形式被观看或者被无线传送并且被其他任何人拦截。

在一个或更多实施例中,所述至少一个运动捕获元件还包括与微控制器耦合的位置确定元件。这例如可以包括gps(全球定位系统)设备。替换地或者与之相组合,所述计算机可以协同另一台计算机对位置进行三角定位,或者从任何其他三角定位类型的接收器获得位置,或者基于通过与所述计算机耦合并且已知指向特定方向的摄影机捕获的图像来计算位置,其中所述计算机例如基于图像内的对象的方向和尺寸来计算与移动设备的偏移量。

在一个或更多实施例中,所述计算机还被配置成从邻近事件的至少一台摄影机请求包含事件的至少一幅图像或视频。这可以包括从特定的邻近摄影机或者指向事件方向的摄影机请求视频的广播消息。在一个或更多实施例中,所述计算机还被配置成广播针对邻近事件或者被指向来观看事件的摄影机位置的请求,并且可选地对于围绕感兴趣事件的持续时间显示可用的摄影机或者来自该处的视频。在一个或更多实施例中,所述计算机还被配置成显示事件发生的一个或更多时间的列表,从而允许用户通过所述计算机获得所期望的事件视频,并且/或者从具有所期望的事件时间的第三方独立地请求视频。

在一个或更多实施例中,所述至少一个运动捕获传感器与移动设备耦合,并且例如使用处于移动设备内或者与移动设备耦合的内部运动传感器。这就允许利用普遍存在的最低程度的硬件来进行运动捕获和事件辨识,例如使用具有内建加速度计的移动设备。在一个或更多实施例中,第一移动设备可以与记录运动数据的用户耦合,第二移动设备则被利用来记录运动的视频。在一个或更多实施例中,正在经历运动的用户可以给出手势,例如在移动设备上敲击n次,从而表明第二用户的移动设备应当开始记录视频或停止记录视频。可以利用任何其他手势在移动设备之间传送事件相关或运动相关的指示。

所述至少一个运动捕获传感器的实施例可以包括温度传感器,或者所述微控制器可以通过其他方式与温度传感器耦合。在这些实施例中,微控制器被配置成传送获得自温度传感器的温度以作为温度事件,例如作为中暑或体温过低的潜在指示。

因此,本发明的实施例可以辨识任何类型的运动事件,其中包括与用户、装备或移动设备的任意组合相耦合的至少一个运动捕获传感器的相关联的运动有关的事件,或者与表明站立、行走、摔倒、中暑、疾病突发、剧烈抖动、脑震荡、碰撞、步态异常、呼吸异常或没有呼吸或者其任意组合的运动有关的事件,或者具有期间发生运动的持续时间的任何其他类型的事件。

本发明的实施例可以利用运动捕获数据上的数据挖掘来获得对应于用户、装备的模式,或者在本发明的特定实施例中使用给定用户或其他用户的运动捕获数据或事件。数据挖掘涉及在大型数据库中发现新的模式,其中所述模式是先前所不知道的。可以对数据应用许多方法以便发现新的模式,其中例如包括统计分析、神经网络以及人工智能。由于存在大量的数据,因此可以由一台或更多台计算机实施自动化数据挖掘以便找到数据中的未知的模式。未知的模式可以包括相关数据的分组、数据中的异常、数据元素之间的相关性、以最小的误差对数据进行建模的分类和功能或者任何其他类型的未知模式。数据挖掘结果的显示可以包括与大量纯粹未经处理的数据相比按照用户更容易理解的方式概括新发现的模式的显示。数据挖掘处理的其中一项结果是改进的市场研究报告、产品改进、消费勘察(leadgeneration)以及目标化销售。通常来说,将受到数据挖掘的任何类型的数据必须被清理(cleanse)、数据挖掘,并且其结果通常被验证。企业通过使用数据挖掘可以增加收益。本发明的实施例的益处的实例包括基于在数据中发现的模式针对高度目标个人的顾客关系管理。此外,购物篮分析数据挖掘允许识别由相同的个人购买或拥有的产品,其可以被利用来向拥有一项产品但是不拥有通常由其他用户所拥有的另一项产品的用户推销产品。

数据挖掘的其他领域包括对来自不同用户的大型运动数据集合进行分析,以便基于来自其他用户的表现数据建议用以改进表现的练习。举例来说,如果一位用户相比于普通用户在挥击期间的臀部旋转更少,则可以由系统建议用以改进柔韧性或力量的练习。在高尔夫球场实施例中,高尔夫球场规划者可以通过高尔夫球场上的大量用户来确定哪些球洞的长度或难度应当被调节,以便获得对应于每个球洞的平均杆数的更加离散的数值,或者用于确定高尔夫球手之间的时间量,例如特定日间时或者对应于特定年龄的高尔夫球手的时间量。此外,数据挖掘的体育和医疗应用包括确定用户表现随着时间的形态改变,例如相比于食谱或练习改变来确定什么对于表现的改进最多,或者例如什么日间时、温度或其他条件所产生的挥击事件会导致最远的发球或最低的分数。通过对于特定用户或者关于其他用户使用运动捕获数据允许健康护理遵从性,从而例如确保患有糖尿病的人在一天当中移动特定数量,并且还允许形态分析以便确定用户的运动或运动范围随着时间如何改变。可以利用运动捕获数据进行比赛,从而允许以历史上的伟大运动员或其他用户为对手进行虚拟现实比赛。举例来说,某人可以针对同一人的先前表现进行比赛,或者可以针对朋友的运动捕获数据进行比赛。这就允许用户在虚拟现实环境中的历史体育场或场所中进行比赛,但是运动捕获数据例如是先前从该用户或其他用户采集的。军事规划者可以利用运动捕获数据来决定哪些士兵最为适合并且因此有资格参加特殊行动或者哪些士兵应当退役,或者由教练例如基于运动员所经受的脑震荡事件及其严重性来决定运动员何时应当休息,并且潜在地基于其中其他用户在脑震荡相关事件之后提升了表现的所挖掘的时间段作出决定。

所述系统的实施例通过例如执行在移动设备上的应用来实施运动捕获和/或显示,所述移动设备可以包括视觉显示器和可选的摄影机,并且能够从例如视觉标记和/或无线传感器之类的至少一个运动捕获元件获得数据。所述系统还可以与独立式摄影机或者多台移动设备上的摄影机集成在一起。所述系统还允许用户通过多种方式来分析和显示运动捕获数据,从而提供与运动捕获数据相关联的即时并且容易理解的图形信息。在所述系统中所利用的运动捕获元件智能地存储例如与击球、滑雪回转、跳跃等等相关联的事件有关的数据,并且消除错误事件,从而显著改进存储器使用并且最小化存储需求。此外,例如可以对于与体育装备相关联的多于一个事件存储数据,例如必要的话存储多次挥棒或者对应于整轮高尔夫球比赛的数据,至少直到数据被下载到移动设备或因特网为止。还可以利用对于所捕获数据的数据压缩,以便在给定数量的存储器中存储更多运动捕获数据。在所述系统中所利用的运动捕获元件还可以被配置成智能地将其电路的某些部分断电以便节省电力,例如将收发器断电直到检测到特定类型的运动为止。本发明的实施例还可以利用灵活电池连接器以便并行地耦合两块或更多块电池,从而增加在更换电池之前可以利用系统的时间。运动捕获数据通常被存储在例如本地数据库之类的存储器中或者被存储在网络可访问的数据库中,其中的任一项都允许前面所描述的数据挖掘。利用本发明的实施例可以实施任何其他类型的数据挖掘,其中包括搜索与一位或更多位用户有关的数据的时间改变,或者简单地搜索与特定用户或装备有关的数据。

其他实施例可以基于运动相关数据显示例如音乐选择或者将要播放的音乐列表之类的信息。这例如允许将表现与另一位用户的表现进行比较并且选择另一位用户所播放的音乐类型,或者相对于阈值来比较表现,所述阈值确定将要建议或显示何种类型的音乐选择。

针对体育运动的本发明的实施例例如允许将rfid或被动rfid标签放置在用户所移动的物品上,其中所述系统的实施例跟踪运动。举例来说,通过把被动rfid标签放置在特定的头盔或球帽或者用于拳击、美式足球、英式足球或其他接触性体育运动的保护性牙套上并且特别是放置在健身房中的哑铃上,并且通过佩戴例如手套之类的运动捕获元件以及利用例如之类的已有的移动设备,本发明的实施例提供了自动安全遵从性或适合度以及/或者健康护理遵从性。这是通过跟踪运动并且通过rifd或被动rfid跟踪用户所举的重量而实现的。因此,本发明的实施例可以加上重复次数乘以由每一个rfid标签所表明的重量,从而计算用户所燃烧的卡路里数。在另一个实例中,rfid标签与固定自行车耦合,或者其中固定自行车可以模拟标识符并且/或者无线通信以便提供表现数据,并且其中移动计算机包括rfid读取器,并且可以对用户腿部的旋转次数进行计数。对于rfid或被动rfid的任何其他使用都符合本发明的精神。这就允许医生远程确定用户是否遵从其医疗建议,或者超出例如表明脑震荡的线性或旋转加速度。一些实施例因此可以由用户利用来确保遵从性,并且由医生利用来降低其职业过失保险费率,这是因为医生正在确保其患者遵从其推荐,尽管是通过远程方式。本发明的实施例对于医疗遵从性并不要求rfid标签,但是可以利用rfid标签。针对高尔夫球的本发明的实施例还允许通过使用每一根球杆上的例如rfid标签之类的标识符(或者可选地通过与高尔夫球杆上的运动捕获电子装置相关联或者通过无线电装置远程获得的标识符)以及移动计算机对与高尔夫球手相关联的每一根球杆的高尔夫球击球进行计数,所述移动计算机例如是配备有rfid读取器的其把对于高尔夫球击球计数的处理集中在移动计算机上而不是每一根高尔夫球杆上。本发明的实施例还可以允许利用惯性测量单元或加速度计和/或磁力计以及/或者陀螺仪来测量指向(北/南,以及/或者两个水平轴和垂直轴)。对于高尔夫球击球计数并不要求这一点,但是一个或更多实施例可以例如通过振动分析确定高尔夫球杆何时打中高尔夫球,并且随后向高尔夫球手询问是否计数击球。这一功能例如可以与速度或加速度阈值或者范围检测相组合,以便确定高尔夫球杆是否在可接受的速度或范围内行进,或者是否处于对应于应当计数的“击中”的加速度或范围内。还可以利用小波来与有效挥击签名进行比较,从而例如消除计数击球或者消除错误击打。该范围在不同的球杆之间可以有所不同,例如开球杆速度范围可以是“高于30mph”,推杆速度范围则可以是“低于20mph”,对于任何球杆可以按照期望利用任何范围,或者例如可以忽略所述速度范围。替换地或者与之相组合,移动计算机可以只在高尔夫球手没有在侧向移动(也就是处于高尔夫球车中或者正在行走)时才向高尔夫球手询问是否计数击球,并且/或者其中高尔夫球手可能进行了旋转或者进行了击球,正如与移动计算机耦合的指向或陀螺仪传感器所确定的那样。例如可以在移动计算机上的地图上示出击球的位置。此外,可以把具有无线电装置的gps接收器放置在球座标记内和球穴(cup)中以便给出关于距离的每日更新,并且例如帮助读取推杆和果岭。高尔夫球手还可以佩戴虚拟眼镜,其允许高尔夫球手看到高尔夫球场地图、当前位置、到球洞的距离、当前球洞的击球次数、击球总数以及任何其他所期望的量度。如果例如通过gps所确定的那样,用户从击球处移动了特定距离而没有计数击球,系统可以提示用户是否计数击球。所述系统不需要用户启动球杆上的开关以计数击球,并且不需要每一根球杆上的led或者有源或电池供电的电子装置来计数击球。移动计算机还可以接受来自用户的手势以便计数击球或不计数击球,因此高尔夫球手不必取下任何手套以操作移动计算机。对于利用位置/指向传感器的实施例,系统可以只有在球杆处于垂直指向时并且例如在检测到撞击时才计数击球。所述装置还可以包括允许标识特定装置的标识符。所述标识符例如可以是序列号。所述标识符例如可以是源自每一根高尔夫球杆上的rfid标签,或者可选地可以包括与高尔夫球杆的相关联的运动捕获元件相关联的序列号或其他标识符。通过利用该装置允许标识特定高尔夫球手、特定球杆,并且还允许与包括电视和/或移动设备的系统一起进行运动捕获和/或显示,其中所述移动设备具有视觉显示器和可选的摄影机,并且能够从例如视觉标记和/或无线传感器之类的至少一个运动捕获元件获得数据。所述系统还可以与独立式摄影机或者多台移动设备上的摄影机集成在一起。所述系统还允许用户通过多种方式来分析和显示运动捕获数据,从而提供与运动捕获数据相关联的即时并且容易理解的图形信息。所述装置还允许系统确定撞击关于球和装备(例如高尔夫球杆)的“居中”程度。所述系统还允许包括鞋具、球杆等装备的调试,并且即使装备需要来自销售商的定制面向订单装配请求也允许即刻购买装备。一旦由所述系统获得了运动捕获数据、视频或图像以及击球计数指示,可以将其例如本地存储在本地数据库中,或者例如通过电话或无线接口发送到远程数据库。一旦处于数据库中,包括与用户相关联的任何数据的各种元素(比如年龄、性别、身高、体重、地址、收入或者任何其他相关信息)就可以被利用在本发明的实施例中并且/或者受到数据挖掘。一个或更多实施例允许用户或oem例如针对所述系统的数据挖掘能力的访问进行付费。

举例来说,利用运动捕获元件的实施例允许分析从所述装置获得的数据,并且允许把与用户相关联的独有显示(比如3d叠加)呈现到用户身体的图像上,以便通过视觉方式描绘所捕获的运动数据。此外,这些实施例还可以利用对于高达50米的范围使用例如低能量之类的主动无线技术,以便与高尔夫球手的移动计算机进行通信。例如作为接收到高尔夫球杆id的结果(例如通过rfid读取器或者替换地通过例如使用低能量或ieee802.11的无线通信),本发明的实施例还允许显示针对计数击球的询问。通过使用低能量芯片允许球杆利用标准的硬币单元电池处于睡眠模式长达3年,从而减少了所需的维护。本发明的一个或更多实施例例如可以利用多于一种技术的多于一个无线电装置。这就允许提高系统鲁棒性的一定程度的冗余性。举例来说,如果一个无线电装置(例如无线电装置)不再工作,则ieee802.11无线电装置可以被利用来传输数据并且向高尔夫球手警告其中一个无线电装置不再工作,同时仍然允许高尔夫球手记录运动数据并且对于特定球杆相关联的击球进行计数。对于利用不具有(多台)摄影机的移动设备(或者多于一台移动设备)的本发明的实施例,可以利用传感器数据生成所捕获的运动数据的显示,同时所述移动设备可以可选地从其他摄影机或者具有摄影机的其他移动设备获得图像。举例来说,可以利用或者不利用用户的图像的显示类型可以包括评定、所计算的数据以及时间线数据。还可以通过具有或不具有用户图像的数字或图形数据的形式向用户显示与所捕获的运动相关联的评定,例如“效率”评定。其他评定可以包括例如用于确定脑震荡和其他事件的线性加速度和/或旋转加速度数值。可以在利用或不利用用户身体的图像的情况下在移动设备上计算并且显示所计算的数据,比如预测球飞行路径数据。还可以在具有或不具有用户的图像的情况下显示描绘在时间线上的数据,以便例如显示出对应于装备或用户身体的各个部分的相对速度峰值。来自多台摄影机(包括多台移动设备)并且例如是来自高尔夫球迷群体的图像可以被组合到bullet视觉效果中,所述视觉效果是通过在正常速度下并且在各个角度下围绕高尔夫球手示出的高尔夫球挥击的慢动作来表征的。全部所分析的数据可以在本地被显示,或者连同运动捕获数据、图像/视频、击球计数和位置数据一起被上传到数据库并且可以在其中经历数据挖掘处理,其中所述系统例如可以针对结果的访问收取费用。

在一个或更多实施例中,用户例如可以在某一高尔夫球场上打球或者打网球或者简单地进行挥击以生成运动捕获数据,并且在佩戴虚拟现实眼镜时看到另一位用户的化身,不管是虚拟的还是增强现实环境中的真实化身。在其他实施例中,用户移动与任何体育运动相关联的装备或者简单地移动与运动捕获传感器耦合的该用户自己的身体,并且观看显示在虚拟现实眼镜中的该用户的移动或如此工具化的装备的移动的虚拟现实环境。替换地或者与之相组合,可以利用虚拟现实房间或其他环境来投影虚拟现实化身和运动数据。因此,所述系统的实施例可以允许真实高尔夫球场上的用户与不同位置处的并没有在实际击球的另一位用户进行比赛,以及与其运动数据已被分析的历史运动员或者基于一个或更多运动捕获数据序列的数据挖掘构造的用户进行比赛,并且由所述系统的一个实施例利用来投影历史运动员的化身。所述三位运动员当中的每一位可以依次比赛,就如同其身处相同的地点一样。

可以通过许多方式来显示运动捕获数据和/或事件,例如在运动捕获期间或之后发推文到社交网络。举例来说,如果进行了特定数量的练习或运动或者消耗了特定数量的卡路里,或者获得了新的体育运动能力指数最大值,则所述系统可以自动把新的信息发推文到社交网站,从而可以通知连接到因特网的任何人。上传到因特网(也就是远程数据库或远程服务器或者远离系统的存储)的数据可以由获得对于数据的访问的任何计算机观看、分析或进行数据挖掘。这就允许远程遵从性推文发送(tweeting)和/或遵从性和/或原始装备制造商对于给定用户确定什么用于遵从性的装备或者用于体育运动相关的实施例的体育装备工作得最好,以及/或者将要建议什么装备。数据挖掘还允许基于与用户相关联的数据和/或元数据建议用户改进其遵从性和/或体育运动场所(包括高尔夫球场)的规划,比如年龄或者可以被输入到系统中的任何其他人口统计信息。数据的远程存储还允许医疗应用,比如形态分析、随着时间的运动范围和糖尿病防治,以及如前所述的练习监测和遵从性应用。其他应用还允许使用来自其他用户或历史运动员的真实运动捕获数据进行比赛(例如在分析历史运动员的视频之后,不管所述历史运动员是否在世)。虚拟现实和增强虚拟现实应用还可以利用运动捕获数据或历史运动数据。例如指挥官和/或医生之类的军事人员可以利用运动和/或图像来确定人在简易爆炸装置附近的爆炸下经历了什么类型的重力,并且自动把最佳类型的医疗救助安排到运动捕获传感器的位置。所述系统的一个或更多实施例可以例如通过无线通信链接把超出重力或速度阈值的运动捕获数据中继到其上级指挥官或者最近的医疗人员处。或者,本发明的实施例可以向正在侦听的任何移动设备(例如裁判员的移动电话)广播轻量型无连接脑震荡相关消息,以便帮助对受伤运动员进行救助,其中所述轻量型消息包括可选的团队/队服号码以及加速度相关数字,比如潜在的/可能的脑震荡警告或指标。

在本发明的一个或更多实施例中,比如网球巡回赛、美式足球比赛、棒球比赛、汽车或摩托车竞赛、高尔夫球巡回赛或者其他体育事件处的固定摄影机可以与位于具有运动捕获元件的运动员/装备附近的无线接口一起被利用,以便获得、分析和显示运动捕获数据。在该实施例中,可以在视频上显示实时或接近实时的运动数据以用于增强视频重放。因此,通过以视觉方式显示装备在击球期间移动得有多快而导致娱乐程度的提升,例如围绕运动员的臀部和肩部画出圆圈。本发明的实施例还允许在与另一位用户有关的移动设备上利用来自其他具有移动设备的运动员的图像或视频,从而使得用户例如不需要交换移动电话。在一个实施例中,当由第一用户针对不与具有配备视频摄影机的移动电话的第二用户相关联的运动中的体育装备获得视频时,可以将所述视频自动传输到第一用户,以便利用与第一用户相关联的运动捕获数据进行显示。视频和图像可以被上传到数据库中并且通过图像分析被数据挖掘,以便例如确定用户正在穿戴的衣物或鞋具的类型/颜色。

基于数据的显示,用户可以确定最适合的装备,并且即刻通过移动设备购买装备。举例来说,当要在两副雪橇之间作出决定时,用户可以试用通过运动捕获元件工具化的全部两副雪橇,其中对运动捕获数据进行分析以便确定哪一副雪橇允许更加高效的移动。对于高尔夫球实施例,当要在两根高尔夫球杆之间作出决定时,用户可以利用不同的球杆进行挥击,并且基于对所捕获的运动数据的分析定量地确定哪一根球杆的性能更好。可以通过移动设备上的界面从销售商处订购定制装备,销售商可以面向订单装配定制装备并且例如将装备托运到用户处。例如可以基于随着用户利用可调节长度的杆身进行推杆时所捕获的运动数据,针对特定用户定制例如具有标准长度的推杆的杆身长度。例如基于对运动捕获数据以及击球计数数据和距离的数据挖掘,允许把具有类似挥击特性的用户与当前用户进行比较,其中例如可以为用户建议或搜索对于具有特定身材和年龄的用户的给定挥击速度给出更长的击球的装备,以便改进表现。对于给定的挥击速度,oem还可以确定哪种牌子和型号的球杆给出最佳的总体表现。本领域技术人员将认识到,这适用于涉及运动的所有活动而不仅是高尔夫球。

所述系统的实施例可以利用多种传感器类型。在本发明的一个或更多实施例中,主动传感器可以与允许利用被动或主动视觉标记的系统集成在一起,以便捕获用户身体或装备上的特定点的运动。这可以简单地按照二维方式来实施,或者如果移动设备配置有两台或更多台摄影机,或者如果多台摄影机或移动设备被利用来捕获图像(比如视频)并且共享所述图像以便从获得自每一台摄影机的二维图像的集合创建三角定位的三维运动数据,则也可以按照三维方式来实施。本发明的另一个实施例可以利用惯性测量单元(imu)或者可以为移动设备产生指向、位置、速度和/或加速度信息的任意组合的任何其他传感器。因此,所述传感器可以获得的数据可以包括与指向(垂直或北/南或全部二者)、位置(通过全球定位系统(也就是“gps”)或者通过三角定位)、速度(全部三个轴中)、加速度(全部三个轴中)相关联的一个或更多数值的任意组合。从各种传感器类型获得的所有运动捕获数据都可以被保存在数据库中以用于分析、监测、遵从性、比赛或其他用途以及/或者数据挖掘,而不管传感器类型如何。

在本发明的一个或更多实施例中,可以利用在传感器的外侧表面上包括被动标记或主动标记的传感器,从而使得传感器还可以被利用与视觉跟踪(二维或三维)以及用于指向、位置、速度、加速度或者由传感器产生的任何其他物理量。(多个)运动捕获元件的视觉标记实施例可以是被动的或主动的,这意味着其或者可以具有能够被视觉跟踪的视觉部分,或者可以包括允许在低光条件下进行图像跟踪的发光元件,比如发光二极管(led)。这例如可以通过把手附近的杆身末端处或者球杆头部处的高尔夫球杆的相对末端处的图形符号或有色标记来实施。标记的图像或视频可以在本地被分析,或者被保存在数据库中并且分析,并且随后被利用在数据挖掘中。此外,对于脑震荡相关的实施例,视觉标记可以发出表明脑震荡的光,例如对应于中度脑震荡的黄色闪光或者对应于重度脑震荡的快速红色闪光,或者任何其他视觉或可选的音频事件指标或全部二者。正如前面所讨论的那样,lcd可以输出本地视觉已编码消息,从而使其不会被不具有被装备成能够读取所述代码的本地移动设备的任何人拦截或者通过其他方式读取。例如对于脑震荡或瘫痪相关的事件,这就允许仅由裁判员或本地医疗人员读取敏感的医疗消息。

运动捕获传感器的实施例通常可以被安放在体育装备(比如高尔夫球杆)的一个或更多末端或相对末端上或其附近以及/或者其间的任何位置(用于ei测量),并且可以与耦合到装备的其他传感器集成在一起,比如武器、医疗装备、腕带、鞋具、裤子、衬衫、手套、球杆、球棒、球拍、球、头盔、球帽、牙套等等,并且/或者可以通过任何可能的方式附着到用户身上。例如附着到步枪上,以便确定当由运动捕获传感器检测到后坐力时步枪正指向何处。该数据例如可以利用移动计算机(比如移动电话)或其他设备被传送到中央服务器并且被分析,以用于军事演习实践。此外,所述传感器的一个或更多实施例可以装配到高尔夫球杆的配重部中以及/或者装配在高尔夫球杆的把手末端中。其他实施例例如可以装配到网球拍或棒球棒的把手或末端中。与安全或健康监测有关的实施例可以与球帽、头盔和/或牙套耦合,或者处于任何其他类型的封装中。本发明的一个或更多实施例还可以利用集成有传感器的球进行操作。移动设备的一个或更多实施例可以包括小型可安放计算机,比如其可以具有或者不具有集成的显示器,并且小到足以安放在体育装备的杆身上并且不会影响用户的挥击。或者,所述系统可以计算与由运动员移动的装备发生接触的球的虚拟飞行路径。例如对于棒球棒或网球拍或者高尔夫球杆,其中高尔夫球杆具有集成到球杆击打高尔夫球的末端的另一部分的配重部中的传感器,并且具有位于高尔夫球杆的把手尖部处或者由运动员佩戴的一只或更多只手套中的第二传感器,可以对于球杆计算撞击角度。通过知道球杆击球面的倾斜角度(loft),可以对于高尔夫球计算飞行角度。此外,通过以足够高的速度对球杆末端处的传感器进行采样以便确定表明高尔夫球在何处打中球杆的击球面的振荡,可以确定撞击的质量。这些类型的测量及其分析帮助运动员作出改进,并且出于调试的目的允许运动员即刻购买合适的装备。居中(centering)数据可以被上传到数据库并且被数据挖掘,以便例如在制造商的基础上找到与具有最佳平均居中或最低扭矩数值的球棒、球拍或球杆有关的模式,以用于产品改进。在数据中所发现的任何其他未知的模式也可以被呈现或建议给用户或者由用户进行搜索,或者例如由制造商或用户为之付费。

传感器的一个或更多实施例可以包含例如机械偏心配重之类的充电特征,正如在被称作“自动”或“自动上发条”手表的一些手表中所利用的那样,其中可选地包括小型发电机或者用于传感器供电装置的间接电机械充电的感应充电线圈。其他实施例可以利用用于传感器供电装置的直接充电的插头或者基于电机械或微机电的充电元件。在本发明的一个或更多实施例中可以利用任何其他类型的电力微采集技术。传感器的一个或更多实施例可以利用电力节省特征,其中包括使得传感器通电或断电的手势。这样的手势可以包括运动、物理开关、与传感器的接触、例如从与特定传感器相关联的移动设备去到传感器的无线命令。可以与传感器耦合的其他元件例如包括电池、低功率微控制器、天线和无线电装置、热同步(heatsync)、再充电器以及过充电传感器。此外,本发明的实施例允许将系统的一部分或全部组件断电,例如直到来自加速度计的电子信号或机械开关确定球杆已移动为止。

本发明的一个或更多实施例例如允许体育装备以及甚至身体的弹性惯性或ei测量。传感器的实施例沿着高尔夫球杆的杆身、网球拍、棒球棒、冰球棍、鞋具、人的手臂或者并非完全坚硬的任何其他物品的放置允许测量传感器所处的点或者传感器之间的点处的屈曲的数量。每一个传感器随着时间的角度差异不仅允许计算屈曲分布,而且还允许计算取决于时间或力的屈曲分布。举例来说,已知的ei机器使用支撑点之间的静态配重来确定ei分布。因此这些机器无法检测ei分布是取决于所施加的力还是取决于施加力的时间,例如ei分布关于力或时间可以是非线性的。已知关于时间具有不同物理属性的示例性材料包括麦克斯韦材料以及非牛顿流体。

用户还可以在移动设备的显示器上以图形形式观看所捕获的运动数据,或者例如在包含视频显示器的一副眼镜上观看。从运动捕获元件的实施例获得的所捕获的运动数据还可以被利用来增强虚拟环境中的对于用户的虚拟现实显示。通过数据挖掘在数据库中找到的模式的虚拟现实或增强现实视图也符合本发明的精神。用户还可以看到例如瞄准辅助或瞄准引导之类的增强信息,其例如基于现有的风力条件或者考虑到危险(例如挡在对于球所期望的目的地(比如高尔夫球洞)中途的树)显示出应当尝试在何处击球。

本发明的一个或更多实施例包括运动事件辨识和视频同步系统,其包括被配置成与用户或装备或者与用户耦合的移动设备相耦合的至少一个运动捕获元件。所述至少一个运动捕获元件可以包括:存储器;被配置成捕获与所述至少一个运动捕获元件的指向、位置、速度和加速度相关联的数值的任意组合的传感器;无线电装置;与存储器、传感器和无线电装置耦合的微控制器。所述微控制器可以被配置成收集包括来自传感器的传感器数值的数据,把数据存储在存储器中,对数据进行分析并且辨识出数据内的事件以便确定事件数据,通过无线电装置传送与事件相关联的事件数据。所述系统还可以包括移动设备,所述移动设备包括计算机、被配置成与无线电装置进行通信以便获得与事件相关联的事件数据的无线通信接口,其中所述计算机与无线通信接口耦合,其中所述计算机被配置成从无线通信接口接收事件数据。所述计算机还可以分析事件数据以形成运动分析数据,存储事件数据或运动分析数据或者事件数据和运动分析数据全部二者,从事件获得事件起始时间和事件停止时间,从摄影机请求包括至少在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频的图像数据,并且在显示器上显示事件视频,其中包括全部以下两项:在从事件起始时间到事件停止时间的时间跨度期间所发生的事件数据、运动分析数据或者其任意组合;以及在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频。

一些实施例可以使用任何类型的同步方法来同步系统中的时钟,并且在一个或更多实施例中,移动设备上的计算机还被配置成确定运动捕获元件与移动设备之间的时钟差异,并且把运动分析数据与视频同步。举例来说,本发明的一个或更多实施例提供用于使得多台记录设备同步关于每一台设备的时间、位置或指向的信息的规程,从而可以组合来自不同设备的关于事件所记录的数据。这样的记录设备可以是嵌入式传感器、具有摄影机或麦克风的移动电话,或者更一般来说是可以记录与感兴趣的活动相关的数据的任何设备。在一个或更多实施例中,这一同步是通过在设备之间交换信息来实现的,从而使得各台设备可以在针对时间、位置或指向的共同测量方面达成一致。举例来说,移动电话和嵌入式传感器可以交换带有其内部时钟的当前时间标记的消息;这些消息允许发生协商,其中两台设备在共同时间方面达成一致。这样的消息可以按照需要周期性地交换,以便解决前一次同步之后的设备的时钟漂移或运动。在其他实施例中,多台记录设备可以使用共同的服务器或服务器集合以获得时间、位置或指向的标准化度量。举例来说,设备可以使用gps系统来获得对应于每一台设备的绝对位置信息。gps系统还可以被用来获得标准化时间。ntp(网络时间协议)服务器还可以被用作标准化时间服务器。通过使用服务器允许各台设备在共同测量方面达成一致,而不必总是被配置来彼此通信。

在本发明的一个或更多实施例中,其中一些记录设备被配置成检测各种感兴趣事件的发生。一些此类事件可能在特定时刻发生;其他此类事件可能在一段时间间隔内发生,其中所述检测包括检测事件的起始和事件的结束。这些设备被配置成利用前面所描述的对应于时间、位置和指向的同步测量基础对记录设备的时间、位置或指向的任意组合连同事件数据进行记录。

移动设备上的计算机的实施例还可以被配置成丢弃落在事件起始时间到事件停止之外的至少一部分视频。举例来说,在本发明的一个或更多实施例中,其中一些记录设备在等待检测事件的同时持续地把数据捕获到存储器。为了节省存储器,一些设备可以被配置成只有当数据在时间上邻近所检测到的事件时才把该数据存储到更加永久性的本地存储介质或者存储到服务器。例如在没有检测到事件的情况下,新记录的数据可以最终在存储器中覆写先前记录的数据。在一些实施例中可以把循环缓冲器用作此类覆写方案的一种典型实现方式。当事件检测发生时,除了存储在事件本身期间捕获的数据之外,记录设备可以存储事件起始之前的某一所配置的数据量以及事件结束之后的某一所配置的数据量。任何在前或在后的时间间隔都被视为事件起始时间和事件停止时间的一部分,从而使得例如在视频中示出事件的情境。在具有摄影机的移动设备或摄影机本身上仅仅保存对应于事件的视频,节省大量的空间并且彻底减少上传时间。

所述系统的实施例还可以包括远离移动设备的服务器计算机,其中服务器计算机被配置成丢弃落在事件起始时间到事件停止之外的至少一部分视频,并且把在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频返回到移动设备中的计算机。

所述至少一个运动捕获元件的实施例可以被配置成把事件传送到至少另一个运动捕获传感器或者至少另一台移动设备或者其任意组合,并且其中所述至少另一个运动捕获传感器或至少另一台移动设备或者其任意组合被配置成保存与所述事件相关联的数据。例如在具有同时操作的多台记录设备的实施例中,一台此类设备可以检测到事件,并且向其他记录设备发送表明这样的事件检测已经发生的消息。该消息可以包括事件的起始和/或停止的时间标记,其中对于各台设备的时钟使用同步时间基础。接收设备(例如其他运动捕获传感器和/或摄影机)可以使用事件检测消息把与事件相关联的数据存储到非易失性存储装置或者存储到服务器。除了与事件直接相关联的数据之外,所述设备可以被配置成存储事件起始之前的一定数据量以及事件结束之后的一定数据量。通过这种方式,所有设备可以同时记录数据,但是使用来自仅仅其中一台设备的事件触发以发起对于来自多个来源的分布式事件数据的保存。

计算机的实施例还可以被配置成保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据,或者可以利用远程服务器来保存视频。在本发明的一个或更多实施例中,其中一些记录设备在其中可能发生事件的时间段内可能无法始终都彼此直接通信。在这些情况下,设备可以被配置成将其已记录的所有数据的完整记录保存到永久性存储装置或者保存到服务器。仅仅保存与事件相关联的数据在这些情况下可能无法做到,这是因为一些设备可能无法接收到事件触发消息。在这些情况下,可以在事后对所保存的数据进行处理,以便提取出与一项或更多项所检测到的事件相关联的仅仅是相关的部分。举例来说,多台移动设备可能记录运动员或表演者的视频,并且持续地将该视频上传到服务器以进行存储。所述运动员或表演者可能单独配备有能够检测例如特定运动或动作之类的事件的嵌入式传感器。嵌入式传感器数据可以被持续地或者在后来的某一时间上传到相同的服务器。由于包括视频流以及嵌入式传感器数据在内的所有数据通常都加有时间标记,因此与通过嵌入式传感器检测到的事件相关联的视频可以在服务器上被提取和组合。

服务器或计算机的实施例还可以被配置成当所述至少一个运动捕获传感器与移动设备之间的通信链接开放时,丢弃落在事件起始时间到事件停止之外的至少一部分视频,并且保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据。或者,如果通信链接不开放,所述计算机的实施例还可以被配置成保存视频,并且在通信链接开放之后接收到事件之后,随后丢弃落在事件起始时间到事件停止之外的至少一部分视频,并且保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据。例如在本发明的一些实施例中,数据可以如前所述地被上传到服务器,并且与每一台设备的数据流相关联的位置和指向数据可以被用来提取对于所检测到的事件相关的数据。举例来说,一个较大的移动设备集合可以被用来在整个高尔夫球巡回赛期间在各个位置处记录视频。该视频数据可以被持续地或者在巡回赛之后上传到服务器。在巡回赛之后,具有事件检测的传感器数据也可以被上传到相同的服务器。对于这些各种数据流的后处理可以识别出在所发生的事件的物理邻近处同时记录的特定视频流。附加的过滤器可以选择其中摄影机正指向正确的方向以观察事件的视频流。所选择的这些流可以与传感器数据相组合,从而形成具有示出事件的多个视频角度的聚合数据流。

所述系统可以从与移动设备耦合的摄影机或者与移动设备分开或者通过其他方式远离移动设备的任何摄影机获得视频。在一个或更多实施例中,从远离移动设备的服务器获得视频,例如在针对某一位置和时间间隔处的视频的查询之后获得。

服务器或计算机的实施例可以被配置成通过图像分析同步所述视频和所述事件数据或者所述运动分析数据,以便更加准确地确定所述视频中的与所述事件起始时间或所述事件停止时间或全部二者最紧密地相关联的起始事件帧或停止事件帧或全部二者。在本发明的一个或更多实施例中,记录设备之间的时钟同步可以是近似的。可能希望基于观看来自每一台设备的事件改进同步来自多台记录设备的数据馈送的准确性。在一个或更多实施例中,对于多个数据流的处理被用来观察不同的流中的事件的签名,以便帮助细粒度同步。举例来说,可以把嵌入式传感器与包括视频摄影机的移动设备同步,但是时间同步可能仅仅准确到100毫秒以内。如果视频摄影机以每秒30帧记录视频,则对应于嵌入式传感器上的事件检测的视频帧单独基于同步时间标记只能被确定在3帧以内。在所述设备的一个实施例中,可以使用视频帧图像处理来确定最紧密地对应于所检测到的事件的精确帧。举例来说,可以把通过惯性传感器检测到的滑雪板击中地面的震动与其中滑雪板的几何边界和地面发生接触的帧相关。其他实施例可以使用检测事件签名的其他图像处理技术或方法来改进多个数据馈送的同步。

所述至少一个运动捕获元件的实施例可以包括与微控制器耦合的被配置成确定位置的位置确定元件,其中微控制器被配置成向移动设备上的计算机传送位置。在一个或更多实施例中,所述系统还包括服务器,其中微控制器被配置成直接或通过移动设备向服务器传送位置,并且其中计算机或服务器被配置成基于位置以及事件起始时间和事件停止时间从视频的各个部分形成事件视频。举例来说,在一个或更多实施例中,可以把事件视频修剪到特定长度的事件,并且将其转码到任何视频质量,并且按照任何方式叠加上运动分析数据或事件数据(例如速度或加速度数据)或者通过其他方式与之整合。视频可以按照用以存储视频的任何分辨率、深度或者图像质量或压缩类型或者任何其他技术被本地存储,以便最大化存储容量或帧率,或者利用任何压缩类型以便最小化存储,而不管移动设备、至少一个运动捕获传感器和/或服务器之间的通信链接是否开放。在一个或更多实施例中,速度或其他运动分析数据可以例如被叠加或者通过其他方式组合在视频下方的某一部分上,其中包括事件起始和停止时间,所述事件起始和停止时间可以包括实际事件之前和/或之后的任意秒数,以便例如提供击球事件之前的挥击的视频。在一个或更多实施例中,所述至少一个运动捕获传感器和/或(多台)移动设备可以把事件和视频传送到服务器,其中服务器可以确定特定视频和传感器数据发生在特定位置和特定时间,并且从几个视频和几个传感器事件构造事件视频。传感器事件例如可以是来自与用户和/或装备耦合的一个传感器或多个传感器。因此,所述系统可以构造对应于事件的短视频,从而例如大大减少了视频存储需求。

在一个或更多实施例中,所述微控制器或计算机被配置成确定事件的位置,或者所述微控制器和计算机被配置成确定事件的位置并且对位置进行相关,这例如是通过对位置进行相关或平均以便提供事件的中心点,并且/或者可以最小化来自初始化gps传感器的错误位置数据。通过这种方式,具有移动设备的一组用户可以生成高尔夫球手开球的视频,其中可以利用至少一台运动捕获设备的事件位置,并且其中服务器可以从观众处获得视频并且生成职业高尔夫球手的挥击和击球的事件视频,其中事件视频可以利用来自不同摄影机的各帧生成高尔夫球手挥击时的围绕高尔夫球手的bullet视频。所得到的一个或多个视频可以被修剪到事件的持续时间,例如从事件起始时间到事件停止时间,并且/或者具有围绕事件的任何在前或在后的预定时间数值,从而确保捕获到包括对应于挥击或其他事件的任何准备时间和任何保持姿势时间在内的整个事件。

在一个或更多实施例中,移动设备上的计算机可以从邻近事件的至少一台摄影机请求包含事件的至少一幅图像或视频,这是通过直接广播针对由任何摄影机在所述区域内拍摄的任何视频的请求,其可选地可以包括关于所述摄影机是否不仅位于事件附近而且还指向或者通过其他方式朝向事件的指向信息。在其他实施例中,可以由移动设备上的计算机从远程服务器请求视频。在这种情形中,与事件相关联的任何位置和/或时间可以被利用来返回事件附近的图像和/或视频或者在接近事件的时间拍摄的图像和/或视频或者全部二者。在一个或更多实施例中,计算机或服务器可以修剪视频以对应于事件持续时间,并且同样地可以利用图像处理技术进一步同步事件的各个部分,比如具有视频中的相应帧的击球,其与对应于装备上的击球的加速度数据相匹配。

移动设备或服务器上的计算机的实施例可以被配置成显示某一事件发生或者其中一个或更多事件发生的一个或更多时间的列表。通过这种方式,用户可以从列表中找到事件以便快速地访问事件视频。

本发明的实施例可以包括与所述移动设备物理地耦合的至少一个运动捕获传感器。这些实施例允许具有集成传感器的任何类型的移动电话或摄影机系统(比如任何类型的头盔安放的摄影机或者包括摄影机和运动捕获传感器全部二者的任何安放装置)生成事件数据和视频数据。

在一些实施例中,所述系统还可以包括一个或多个具有无线通信接口的计算机,无线通信接口能够与一个或多个动作捕捉元件的无线电广播设备通信,以接收与运动事件相关的事件数据。计算机可以接收原始运动数据,并且可以分析此数据以确定事件。在其他实施例中,事件的确定可以在动作捕捉元件中进行,而计算机可以接收事件数据。这两种方法的组合在一些实施例中也是可行的。

在一些实施例中,计算机或多台计算机可以从事件数据确定运动事件的起始时间和终止时间。然后它们可以请求来自摄影机的图像数据,该摄影机已经采集了视频或在此事件起始时间与事件终止时间之间的至少某一部分时间内的一些时间间隔的一个或多个图像。本说明书中的术语“视频”将包括各种图像以及连续视频,包括摄影机在事件间隔期间拍下单次快摄图像的情况。然后此视频数据可以与运动数据相关联,构成同步事件视频。事件例如可以由用户通过以固定次数摇晃或轻拍动作捕捉传感器来进行动作表示。任意类型的预定义事件包括用户姿势事件,可以用于控制至少一个摄影机来传送一般简明事件的视频,而不需要传送巨大的原始视频文件。

在一些实施例中,请求来自摄影机的视频可以与采集或分析运动数据同时进行。在这类实施例中,所述系统将会获得或生成事件已经开始的通知,并且随后将会请求将视频从一台或多台摄影机流到计算机,直至检测到事件结束。在其他实施例中,视频请求可以在摄影机已经上传其视频记录到诸如服务器的另一计算机之后进行。在此情况下,计算机将会从服务器请求视频,而不是直接从摄影机请求。

各种技术可以用于执行运动数据和视频数据的同步。这类技术包括本领域公知的时钟同步方法,诸如网络时间协议,这样确保所有设备——动作捕捉元件、计算机和摄影机——使用共同的时基。在另一技术中,计算机可以通过交换包含由每一个设备登记的当前时间的数据包,将其时钟与动作捕捉元件的内部时钟以及摄影机的内部时钟比较。其他技术分析运动数据和视频数据来对齐它们不同的时基,以进行同步。例如,显示与球接触的特定视频帧可以对齐来自显示加速计震动的运动数据的特定数据帧,然后这些帧能够有效地用作关键帧,以同步运动数据和视频数据。组合的视频数据和运动数据构成同步事件视频,具有事件集成记录。

在一个或多个实施例中,配置成接收或处理运动数据或视频数据的计算机可以是移动设备,包括但不限于移动电话、智能电话、平板计算机、pda、膝上型计算机、笔记本电脑或能够轻易运输或重新布置的任意其他设备。在其他实施例中,这种计算机可以集成到摄影机中,尤其是可以集成到可以从其获得视频数据的摄影机中。在其他实施例中,这种计算机可以是台式计算机或服务器计算机,包括但不限于在数据中心或基于云的服务中作为虚拟机器运行的虚拟计算机。在一些实施例中,所述系统可以包括任一种上述类型的多种计算机,并且这些计算机可以共同执行本说明书所述的操作。对于本领域技术人员显而易见的是,这种计算机分布式网络能够以多种可行的方式划分任务,并且如有需要,能够协调它们的动作来重复单个中央计算机的动作。本说明书中的术语“计算机”旨在表意为任一种或所有上述类型计算机,并且包括多台这类计算机共同作用的网络。

在一个或多个实施例中,计算机可以获取或创建一系列同步事件视频。计算机可以为用户显示此系列的综合概述,以查看事件历史。在一些实施例中,对于与每一个事件相关的视频,此概述可以包括一个或多个从视频生成的极小图像。在其他实施例中,概述可以包括来自整个事件视频中的较小选择。综合概述还可以包括显示运动分析或与每一个同步事件视频相关的事件数据。在一些实施例中,计算机可以获取度量并针对每一个事件显示此度量的值。这些度量值的显示在不同实施例中可以变化。在一些实施例中,度量值的显示可以是条形图、线图或其他图形技术,以显示绝对值或相对值。在其他实施例中,可以使用标上色标或其他视觉效果。在其他实施例中,可以显示度量数值。一些实施例可以使用这些方法的组合。

在一个或多个实施例中,计算机可以接受所涉及的度量的选择标准,所涉及的度量与系列事件的运动分析数据或事件数据相关联。例如,用户可以提供诸如超过阈值的度量、或者在范围内的度量或在范围外的度量的标准。可以使用任意标准,该标准可以应用于事件的度量值。响应于标准的选择,计算机可以仅仅显示符合所选择标准的同步事件视频或它们的概述(诸如缩略图)。作为示例,采集高尔夫挥杆事件数据的用户可有望仅仅看见那些挥杆速度超过100mph的挥杆。

在本发明的一些实施例中,计算机可以基于所选度量值排序并排名用于显示的同步事件视频,此外基于上述所选择标准进行过滤。紧接上述示例,采集高尔夫挥杆数据的用户可有望仅仅看见那些挥杆速度超过100mph的挥杆,以具有最高挥杆速度优先显示来排序。

在一个或多个实施例中,计算机可以生成组合了满足所选择标准的事件视频的高光时刻。这种高光时刻可以包括所选择事件的整个视频,或者对应于由运动分析确定的事件重要时刻的视频部分。在一些实施例中,高光时刻可以包括在视频上或所选帧上的数据或图形覆盖物,以显示来自运动分析的度量值。一旦用户通过指定所选择标准来指示需要包括何种事件,这种高光时刻可以为用户自动生成。在一些实施例中,计算机可以允许用户编辑高光时刻以添加或移除事件、延长或缩短针对每一个事件显示的视频、针对运动数据添加或移除图形覆盖物或添加特殊效果或音轨。

在具有多台摄影机的实施例中,运动数据和多个视频流可以组合成单个同步事件视频。来自多台摄像机的视频可以提供某一事件的不同角度或视野,全部同步到运动数据和共同时基。在一些实施例中,一个或多个视频在一台或多台计算机(诸如服务器或云服务)上可用,并且随后可以与事件数据相关联。在这些实施例中,计算机可以检索位于正确位置和朝向以观察到事件的所存储视频。然后计算机能够取回合适的视频并将它们与事件数据组合,以利用来自多个位置和角度的视频来形成事件的综合观察。

在一些实施例中,计算机可以从与事件相关的可能视频组中选择特定视频。所选择的视频可以基于各种可能的标准最佳地或最完整地观察事件。在一些实施例中,计算机可以使用对每一个视频进行图像分析,以确定最佳选择。例如,一些实施例可以使用图像分析来确定哪一个视频最完整,其中最少地遮挡所涉及的设备或人,或者设备或人是最清晰可见的。在一些实施例中,这种图像分析可以包括在录制视频期间摄影机抖动度的分析,以及具有最稳定图像的视频的选择。在一些实施例中,用户可以作出优选视频的选择,或者用户可以通过指定最重要的标准来协助计算机作出选择。

在一些实施例中,来自动作捕捉元件的事件数据可以用于向录制事件视频的摄影机发送控制信息。在具有多台摄影机的实施例中,控制信息可以在事件期间广播或发送到摄影机组。这些控制信息可以基于与事件相关的数据来修改视频记录参数。包括运动分析数据。例如,当不存在进行中的感兴趣事件时,摄影机可以待机且不录制。计算机可以等待事件数据,并且一旦事件开始,可以向摄影机发送命令以开始录制。一旦事件结束,那么计算机可以向摄影机发送命令以停止录制,这种技术能够保留摄影机电力以及视频存储空间。

在更概括的一些实施例中,计算机可以向摄影机或多台摄影机发送控制信息,以响应于事件数据或运动分析数据来修改任意相关的视频记录参数。这些记录参数例如可以包括帧频、分辨率、色深、色彩或灰度、压缩方法、以及视频压缩质量还有打开或关掉录制。作为可以使用的示例,运动分析数据可以指示用户或设备何时快速移动;作为响应,视频录制的帧频可以在快速运动期间提高,并且可以在相对慢动作期间降低。通过在快速运动期间使用更高帧频,用户能够在重播期间放慢动作,以更详尽地观察高运动事件。这些技术可以允许摄影机保留视频存储空间,并且针对最感兴趣的事件有效地使用可用的存储空间。

在一些实施例中,计算机可以接受例如来自用户的音轨,并且将此音轨结合到同步事件视频中。例如这种结合将会在重播事件视频或高光时刻期间添加音频音轨。一些实施例可以使用事件数据或运动分析数据,以将音轨智能结合到同步事件视频中。例如,一些实施例可以分析音轨,以便例如基于高音频幅度的时间点来确定音轨的节拍。然后音轨的节拍可以利用事件数据或运动分析数据与事件同步。例如随着用户或对象的运动提高或降低,这种技术可以自动加速或放慢音轨。这些技术提供了丰富的媒体体验,伴随有与事件相关的音频或视觉线索。

在一个或多个实施例中,计算机配置成在一个或多个显示器上重播同步事件视频。这些显示器可以直接附接到计算机,或者可以远程位于其他设备上。使用事件数据或运动分析数据,计算机可以修改重播,以添加或改变各种效果。这些修改可以在重播期间多次出现,甚至在重播期间随着事件数据改变连续出现。例如,在低运动期间重播可以以正常速度进行,而在高运动期间重播可以切换到慢动作,以突出运动细节。对重播速度的修改可以基于任何观察到的或计算得到的事件或运动特征来作出。例如,事件数据可以识别特定的感兴趣事件,诸如击球、跳跃的开始或结束或者任意其他感兴趣的时刻。随着同步事件视频涉及到这些子事件,计算机可以修改重播速度以放慢重播。这种减速会持续增加,以精致细节突出子事件。甚至可以在子事件中停止重播并且等待来自用户的输入以继续。也可以基于来自运动分析数据或事件数据的一个或多个度量值放慢重播。例如,运动分析数据可以表示正在移动的棒球棍或高尔夫球杆的速度,并且随着这种对象的速度提高,可以持续调节重播速度为更慢。重播速度在这种度量峰值附近可以进行得非常慢。

在其他实施例中,可以对不限于重播速度的其他重播参数进行修改。例如,计算机可以修改重播速度、图像亮度、图像颜色、图像焦距、图像分辨率、闪烁特殊效果或者图形覆盖物或边框的使用的全部或任一者。这些修改可以基于运动分析数据、事件数据、子事件或其他同步事件视频的任意特征来进行。作为示例,随着重播涉及到感兴趣的子事件,可以添加闪烁特殊效果,并且可以在视频中感兴趣的对象周围添加边框,感兴趣的对象诸如是将要被设备击中的球。

在包括音轨的实施例中,对重播特征的修改可以包括对音轨重播特征的修改。例如,这类修改可以包括对音量、拍子、音调或音轨的音频特殊效果的修改。例如,音轨的音量和拍子可以随着重播涉及到感兴趣的子事件而增强,以突出子事件并为用户观看和倾听重播提供更动态的体验。

在一个或多个实施例中,计算机可以使用视频图像分析来生成自视频中的对象开始的度量。此度量可以例如测量对象运动的某些方面。这种度量源自于图像分析,可以附加于从来自运动传感器的数据运动分析获得的度量使用或与其联用。在一些实施例中,图像分析可以使用本领域已知的若干技术的任一种来定位与感兴趣的对象相关的像素点。例如,已知某些对象可以具有特定的颜色、纹理或形状,并且这些特征可以用于定位视频帧中的对象。作为示例,已知网球可以近似为圆形、黄色以及与具有球材料相关的纹理。图像分析能够使用这些特征来定位视频帧中的网球。使用多个视频帧可以计算网球的大约速度。例如,假设静止或几乎静止的摄影机,三维空间中网球的定位可以基于视频帧中球的位置且基于其大小来估算。帧中的定位给出了球的位置在图像平面上的投影,而大小提供了球相对于摄影机的景深。通过使用球在多个帧中的位置,并且通过使用给出了帧间时间差的帧频,可以估算球速。

在一个或多个实施例中,微控制器耦合至动作捕捉元件,配置成与其他动作捕捉元件通信,以协调事件数据的采集。微控制器可发送事件开始的通知到另一动作捕捉传感器,以触发其他传感器也采集事件数据。其他传感器可以本地保存其数据以作随后上传,或者当事件发生时,其可以通过开放式通信链路向计算机发送其事件数据。这些技术提供了主从架构类型,其中一个传感器充当主机并且可以调整从传感器网络。

在一个或多个实施例中,计算机除了从动作捕捉传感器以外,还可以从其他传感器获取传感器值,其中这些其他传感器接近事件并且提供与事件相关的其他有用数据。例如,这类其他传感器可以感测温度、湿度、风、海拔、光、声音和生理度量(像心跳)的各种组合。计算机可以取回这些其他值,并且与事件数据以及运动分析数据一起保存它们,以在从事件开始到事件停止的时间跨度期间生成事件的扩展记录。

附图说明

通过在后面结合附图给出的更加具体的描述,借由本公开内容传达的想法的前述和其他方面、特征和优点将变得更加显而易见,其中:

图1示出了视频和运动事件集成系统的一个实施例。

图1a示出了计算机的一个实施例的逻辑硬件方块图。

图1b示出了在本发明的实施例中所利用的数据库的一个实施例的架构图。

图1c示出了对应于由图1和1a中所示的系统中的计算机的实施例实施的处理的一个实施例的流程图。

图1d示出了对应于所述系统的一个实施例的数据流图。

图1e示出了详细说明了运动事件时间和/或视频事件时间的移位,以在时间方面正确对齐的同步图表。

图2a示出了围绕用户头部的基于头盔的安放装置,其中所述基于头盔的安放装置固定运动捕获传感器。图2b示出了基于颈口嵌件(neckinsert)的安放装置,其允许利用运动捕获传感器对现有头盔进行改装。

图3示出了图2a-b的安放装置的特写,其中示出了运动捕获传感器与头盔的外部部分之间的隔离器。

图4a示出了头盔、衬垫、颅骨和用户脑部的顶部剖面图。图4b示出了对应于图4a中所示的各个元件的旋转脑震荡事件。

图5示出了针对头盔的输入力(g1)相对于在脑部内观测到以及由安放在隔离器内的传感器观测到的力。

图6示出了3个轴的旋转加速度数值连同总旋转矢量数量,连同从摄影机获得并且与运动事件数据一起显示的脑震荡事件的视频。

图7示出了用户的时间线显示连同被显示成沿着时间线的事件的沿着时间线的峰值和最小角速度。此外,在底部显示中所示出的曲线图示出了高尔夫球杆的超前和滞后(leadandlag)连同高尔夫球杆的下垂和漂移(droopanddrift),其中这些数值决定高尔夫球杆的杆身在相对于时间标绘的两个轴中的弯曲程度。

图8示出了子事件快进快退(scrub)时间线,其允许与将要滚动到、播放到或者从该处播放的子事件相关联的起始/停止时间点附近的输入,从而很容易地允许观看子事件。

图9示出了各个子事件沿着时间开始和停止的相对位置以及与起始和停止时间相关联的引力,其允许这些点附近的用户输入被吸引到起始和停止时间。

图10示出了利用一台移动设备作为运动捕获元件以及另一台移动设备作为接收第一用户事件的运动事件数据和视频的计算机的一个实施例。

图11示出了被利用来存储与潜在的事件有关的数据的存储器的一个实施例。

图12示出了特别被编程到微控制器中以便确定是否发生了预期事件的功能的一个实施例的流程图。

图13示出了典型的事件签名或模板,其被与运动捕获数据进行比较以便消除错误肯定事件。

图14示出了运动捕获元件的一个实施例,其配置有用于在本地显示和观看事件相关信息的可选led视觉指示器,以及被配置成显示与事件相关联的文字或已编码消息的可选lcd。

图15示出了与不同类型的装备和/或工具化衣物相关联的运动事件的模板特性的一个实施例,连同其中运动捕获传感器个性可以改变以便更加准确地或者更加高效地捕获与特定时间段和/或子事件相关联的数据的区域。

图16示出了保护性牙套的一个实施例的正视图并且在图中的底部示出了顶视图,其例如在任何接触性体育运动中被佩戴,比如(而不限于)英式足球、拳击、美式足球、摔跤或者任何其他体育运动。

图17示出了由图1中的任何计算机利用的算法的一个实施例,其被配置成在组合格式中显示运动图像和运动捕获数据。

图18示出了可以由本发明的一个或更多实施例利用的同步架构的一个实施例。

图19示出了由其中一个运动捕获传感器检测到事件,将事件检测传送到其他运动捕获传感器和/或摄影机,保存事件运动数据,以及修剪视频以对应于事件。

图20示出了对多个事件视频选择视频的流程以及对于多个摄影机采集同一事件的视频的事件期间最佳的视频剪辑的选择,伴随有基于所选择度量的所选择一系列同步事件视频,还伴随有按所选择标准排序的事件视频。

图21示出了基于在视频采集期间摄影机的抖动度来选择特定事件视频的图像分析以及利用最稳定图像来选择视频。

图22示出了发送至摄影机或多台摄影机的控制信息,以基于与事件相关的数据来修改视频记录参数,包括例如当事件正在进行时的运动分析数据。

图23示出了使用运动数据可改变速度的重播的一个实施例。

图24示出了视频的图像分析,以协助视频与事件数据和运动分析数据的同步,并且/或者确定不与动作捕捉传感器耦合的视频对象的运动特征。

具体实施方式

现在将描述一种视频和运动事件集成系统及方法。在后面的示例性描述中阐述了许多具体细节,以便提供关于在本说明书中所描述的想法的更加透彻的理解。但是本领域技术人员将认识到,可以在无需合并这里所描述的具体细节的所有方面的情况下实践这里所描述的想法的实施例。此外,本领域技术人员所熟知的特定方面没有被详细描述,以免模糊本公开内容。读者应当注意到,虽然在本公开内容中阐述了创新性概念的实例,但是本发明是由权利要求书以及任何等效表述的完全范围限定。

图1示出了视频和运动事件集成系统100的一个实施例。一些实施例允许基于事件的观看和低功率事件传送以及与执行在移动设备上的应用和/或与外部摄影机的通信,以便指定用以定义事件的窗口。允许图像或视频内的运动事件辨识和事件指定,比如运动员的击球、移动或挥击,运动员、拳击手、骑手或车手的脑震荡,或者中暑、体温过低、疾病突发、哮喘发作、癫痫发作,或者包括行走和摔倒在内的任何其他体育或身体运动相关的事件。可以把事件与捕获自一台或多台内部/外部摄影机或保姆摄像头的一幅或更多幅图像或视频进行相关,以便例如允许保存事件的视频,比如儿童的第一次行走,剧烈抖动事件,包括脑震荡在内的体育事件,或者与老年人相关联的摔倒事件。如图所示,所述系统的实施例通常包括移动设备101和执行在其上的应用,其包括作为点线轮廓被显示成位于移动设备101内部的计算机160(也就是说还参见图1a的计算机160的功能视图)、耦合到计算机160的显示器120以及与计算机耦合的无线通信接口(其通常处于移动设备的内部,参见图1a中的元件164)。由于具有移动计算机的移动电话是普遍存在的,因此所述系统的用户可以购买一个或更多运动捕获元件以及应用(即“app”),并且安装在其已有的电话上以便实施所述系统的一个实施例。因此,运动捕获能力以可负担的价格对于已经拥有移动电话、平板计算机、音乐播放器等等的任何用户可用,这在以前是从来不可能的。

每一台移动设备101、102、102a、102b可以可选地包括内部标识符读取器190(例如rfid读取器),或者可以与标识符读取器或rfid读取器(参见移动设备102)耦合以获得标识符191。或者,本发明的实施例可以在任何设备中利用任何无线技术向所述系统传送标识设备110的标识符。本发明的实施例还可以包括与至少一个运动捕获传感器或者用户或装备耦合的任何其他类型的标识符。在一个或更多实施例中,所述标识符可以包括团队和队服号码或者学生标识符号码或证件号码或者任何其他标识符,其允许相对唯一地标识来自特定用户或装备的特定事件。这就允许关于被配置成接收与特定运动员或用户相关联的数据的应用(app)标识具有多位运动员或用户的团队体育运动或位置。一个或更多实施例接收标识符,例如与运动员或用户相关联的被动rfid标识符或mac地址或其他序列号,并且把标识符与事件数据和运动分析数据相关联。

所述系统通常包括至少一个运动捕获元件111,通过安放装置192与用户150或装备110耦合,例如耦合到高尔夫球杆、棒球棒、网球拍、冰球棍、武器、棍棒、刀剑或者用于任何体育运动的任何其他装备,或者例如鞋具、皮带、手套、眼镜、帽子之类的其他体育装备或者任何其他物品。所述至少一个运动捕获元件111可以被放置在装备110的一端、全部两端或者两端之间的任何位置或者用户150身上的任何位置,例如放置在球帽、头带、头盔、牙套或者其任意组合上,并且还可以被利用于任何物品的ei测量。所述运动捕获元件可以可选地包括视觉标记(被动或主动)并且/或者可以包括无线传感器,例如能够提供与运动捕获元件的指向(北/南和/或上/下)、位置、速度和/或加速度相关联的一个或更多数值的任意组合的任何传感器。所述计算机可以被配置成例如通过视觉方式或无线方式从与球杆110耦合的rfid获得与每一件装备110(例如衣物、球棒等等)所独有的标识符(也就是标识符191)相关联并且可选地与所述至少一个运动捕获元件相关联的数据,分析所述数据以形成运动分析数据,并且在移动设备101的显示器120上显示运动分析数据。运动捕获元件111可以通过运动捕获安放装置192被安放在装备上或其附近或者被安放在用户身上或其附近。例如安放在头盔上的运动捕获元件111可以包括隔离器,所述隔离器包括被配置成围绕运动捕获元件以便近似围绕用户脑部的脑脊髓液的物理加速度阻尼的材料,从而最小化事件数据的线性加速度和旋转加速度的变换,以便获得用户脑部的观测线性加速度和观测旋转加速度。这样例如就降低了运动捕获元件微控制器上的处理需求,并且对于事件数据的基于事件的传送允许低存储器利用和低功率需求。来自运动捕获元件111的运动捕获数据、与装备110相关联的任何数据(比如标识符191)以及与用户150或者任意数目的此类用户150(比如第二用户152)相关联的任何数据可以被本地存储在存储器中,或者被存储在计算机本地的数据库中,或者被存储在远程数据库中,例如可以与服务器耦合的数据库172。例如当从运动捕获元件111到移动设备101以及从移动设备101到网络170或因特网171并且到数据库172有网络或电话网络链接可用时,来自每一位用户150、152的数据可以被存储在数据库172中。随后在与任意数目的用户及其具体特性和表现参数相关联的大型数据集合上实施数据挖掘。例如在本发明的高尔夫球实施例中,从高尔夫球杆获得球杆id,并且通过运动捕获元件检测击球。移动计算机101存储用户的图像/视频,接收对应于事件/击中/击球/运动和球场上的事件位置以及后续击球的运动捕获数据,并且确定对应于每一个事件的参数(比如事件发生时的距离或速度),并且随后实施任何本地分析,并且在移动设备上显示表现数据。当从移动设备到网络170或因特网171的网络连接可用时,或者例如在一轮高尔夫球比赛之后,所述图像/视频、运动捕获数据以及表现数据被上传到数据库172,以供后来进行分析和/或显示和/或数据挖掘。在一个或更多实施例中,用户151(比如原始装备制造商)针对数据库的访问进行付费,这例如是通过比如计算机105或移动计算机101之类的计算机,或者是从能够例如通过网络170、因特网171或通过网站173与数据库172进行通信的任何其他计算机,或者是形成数据库172的一部分或者与之耦合的服务器。数据挖掘可以在数据库172上执行,其中例如可以包括本地服务器计算机,或者可以在计算机105或者移动设备101、102、102a或102b上运行,并且例如访问数据库172的独立式实施例。数据挖掘结果可以在移动设备101、计算机105、电视广播或者源自摄影机130、130a和103b或104的web视频上显示,或者通过网站173访问,或者是其任意组合。

所述至少一个运动捕获元件的一个或更多实施例还可以包括被配置成在事件发生的情况下输出光的发光元件。这可以被利用来在头盔的外侧部分上显示潜在、轻度或重度脑震荡,而无需例如针对任何外部设备的任何通信。还可以利用不同的颜色或闪光间隔来传达与事件有关的信息。替换地或者与之相组合,所述至少一个运动捕获元件还可以包括音频输出元件,其被配置成在事件发生的情况下或者在所述至少一个运动捕获传感器处于计算机的范围之外的情况下输出声音,或者其中所述计算机被配置成在所述至少一个运动捕获传感器处于计算机的范围之外的情况下显示告警,或者前述各项的任意组合。传感器的实施例还可以利用lcd,其例如在快速响应(qr)代码或条形码中输出当前事件的已编码分析,从而例如使得裁判员可以在移动设备上本地获得分析代码的快照,并且使得事件不会在传感器上以可读形式被观看或者被无线传送并且被其他任何人拦截。

所述系统的一个或更多实施例可以利用包括至少一台摄影机130的移动设备,所述摄影机例如耦合到移动设备内的计算机。这就允许移动设备101内的计算机命令摄影机130例如在体育移动期间获得用户的一幅或多幅图像。用户的(多幅)图像可以与显示和评定叠加,从而例如使得运动分析数据对于人类更加可理解。或者,没有用户图像的详细数据显示还可以被显示在显示器120上,或者例如显示在计算机105的显示器上。按照这种方式,允许二维图像和后续显示。如果移动设备101包含两台摄影机,如移动设备102中所示即摄影机130a和130b,则所述摄影机可以被利用来通过例如对于视觉标记的图像分析创建三维数据集合。这样就允许确定并且分析视觉标记的距离和位置。在本发明的任何实施例中,来自任何摄影机的图像和/或视频可以被存储在例如与用户150相关联的数据库172上以用于数据挖掘目的。在本发明的一个或更多实施例中,可以在图像和/或视频上实施图像分析,以便例如按照用户150的年龄或者比赛的日间时确定所利用的装备、衣物、鞋具等等的牌子/型号,或者发现数据中的任何其他模式。

或者,对于仅具有一台摄影机的移动设备的实施例,可以利用多台移动设备以图像的形式获得二维数据,并且对其进行三角定位以确定视觉标记的位置。在所述系统的一个或更多实施例中,移动设备101和移动设备102a共享用户150的图像数据以便创建三维运动分析数据。本领域技术人员将认识到,通过确定移动设备101和102的位置(通过例如设备中常见的gps芯片之类的位置确定元件或者通过蜂窝塔三角定位,其出于简明起见没有被示出但是通常和计算机160一样位于移动设备的内部),并且通过从运动捕获元件111获得数据(例如视觉标记在每一幅图像中所处的图像中的像素位置),很容易获得距离并且从而获得速度。

摄影机103还可以被利用于静止图像,或者像现在所常见的那样被利用于视频。在利用外部摄影机的系统的实施例中,从外部摄影机获得数据的任何方法都符合所述系统的精神,其中包括数据的无线传送,或者例如当摄影机103与计算机105对接时通过有线通信,其随后可以把数据传输到移动设备101。

在所述系统的一个或更多实施例中,不需要在其上显示运动分析数据的移动设备具有摄影机,也就是说移动设备102b尽管没有配置摄影机也可以显示数据。因此,移动设备102b可以从移动设备101、102、102a上的摄影机、摄影机103和/或电视摄影机104的任意组合获得图像,只要任何外部摄影机可以向移动设备102b传送图像即可。或者,完全不需要摄影机来利用所述系统。例如还参见图17。

对于电视广播,运动捕获元件111无线传送通过天线106接收到的数据。把如此从运动捕获元件111获得的无线传感器数据与获得自电视摄影机104的图像相组合,从而产生具有增强的运动分析数据的显示,其可以被广播到电视、计算机(比如计算机105)、移动设备101、102、102a、102b或者被配置成显示图像的任何其他设备。例如通过知道摄影机的位置(例如通过gps信息)并且通过知道摄影机所朝向的方向和/或指向,运动分析数据可以被定位在显示器120上,只要传感器数据包括位置数据(例如gps信息)即可。在其他实施例中,视觉标记或图像处理可以被利用来把运动分析数据锁定到图像,例如可以在图像中跟踪高尔夫球杆头部,并且球杆的相应的高、中和低位置可以被利用来确定用户150对于摄影机130或104或103的指向,以便例如把经过增强的数据正确地标绘到用户150的图像上。通过对图像加时间标记并且对运动捕获数据加时间标记,例如在把微控制器中的定时器与移动设备上的定时器同步并且随后扫描图像以寻找各个位置处的视觉标记或体育装备之后,可以把经过简化的运动捕获数据叠加到图像上。在本发明的一个或更多实施例中可以利用把来自摄影机的图像与运动捕获数据相组合的任何其他方法。依照本发明的精神,可以利用在显示器120(或者比如计算机105上的任何其他显示器)上关于用户适当地定位运动分析数据的任何其他算法。举例来说,当通过传感器获得事件或事件群组时,在应用接收到事件和/或用以获得图像的时间范围之后,应用可以从其本地存储器、任何其他移动设备、可以与之通信的任何其他类型的摄影机请求来自该时间跨度的图像数据,并且/或者张贴事件位置/时间,从而使得处于(多个)事件本地的外部摄影机系统可以提供对应于(多个)事件的时间的图像数据。

可以在移动设备101上生成并显示的一项此类显示包括使用从移动设备101、102、102a、摄影机103和/或电视摄影机104或者任何其他外部摄影机当中选择的两台或更多台摄影机的bullet视图。在所述系统的该实施例中,所述计算机被配置成获得用户150的两幅或更多幅图像以及与至少一个运动捕获元件(不管是视觉标记还是无线传感器)相关联的数据,其中所述两幅或更多幅图像是从两台或更多台摄影机获得的,并且其中所述计算机被配置成生成显示,其中示出在正常速度下并且在各个角度下围绕用户示出的用户150的慢动作。这样的实施例例如允许一组球迷创建其自己的职业高尔夫球手在巡回赛中的bullet影片。所述影片可以被发送到计算机105,可以在计算机105上实施任何所需的图像处理并且例如向电视观众广播。在所述系统的其他实施例中,各种移动设备的用户共享其自己的图像集合,并且/或者例如将其影片上传到网站以供后来观看。本发明的实施例还允许在与另一位用户有关的移动设备上利用来自其他具有移动设备的运动员的图像或视频,从而使得用户例如不需要交换移动电话。在一个实施例中,当由第一用户针对不与具有视频摄影机移动电话的第二用户相关联的运动中的体育装备获得视频时,可以将所述视频自动传输到第一用户,以便利用与第一用户相关联的运动捕获数据进行显示。或者,第一用户的移动电话可以被利用作为运动传感器以替代或补充运动捕获元件111,并且第二用户的移动电话可以被利用来在运动中捕获第一用户的视频。第一用户可以可选地在电话上作出手势、敲击/摇动等等,以表明第二移动电话例如应当开始/停止运动捕获。

图1a示出了计算机160的一个实施例。在计算机160中包括执行软件模块的处理器161,所述软件模块通常也被称作应用,并且通常作为计算机程序指令被存储在主存储器162内。显示接口163驱动如图1中所示的移动设备101的显示器120。可选的指向/位置模块167可以包括南/北或上/下指向芯片或全部二者。在一个或更多实施例中,所述指向/位置模块可以包括与微控制器耦合的位置确定元件。这例如可以包括gps设备。替换地或者与之相组合,所述计算机可以协同另一台计算机对位置进行三角定位,或者从任何其他三角定位类型的接收器获得位置,或者基于通过与所述计算机耦合并且已知指向特定方向的摄影机捕获的图像来计算位置,其中所述计算机例如基于图像内的对象的方向和尺寸来计算与移动设备的偏移量。可选的温度传感器可以通过有线或无线链接与处理器161耦合,并且例如可以被单独利用作为体温过低或中暑的指标,或者与例如可以表明抖动或失去意识的任何所检测到的运动相组合。通信接口164可以包括无线或有线通信硬件协议芯片和/或rfid读取器,或者rfid读取器可以在外部耦合到计算机160或者例如通过任何其他方式耦合到计算机160。在所述系统的一个或更多实施例中,通信接口可以包括电话和/或数据通信硬件。在一个或更多实施例中,通信接口164可以包括wi-fitm或其他ieee802.11设备和/或无线通信接口或无线设备,或者任何其他无线技术。第1类设备具有近似100米的范围,第2类设备具有近似10米的范围。低功率设备具有近似50米的范围。在所述系统的实施例中可以使用任何无线网络协议或类型,只要移动设备101和运动捕获元件111可以彼此通信即可。处理器161、主存储器162、显示接口163、通信接口164以及指向/位置模块167可以通过通常被称作“总线”的通信基础设施165彼此通信。通信路径166可以包括允许通过网络170与其他有线或无线设备进行通信的有线或无线介质。网络170可以与因特网171和/或数据库172通信。数据库172可以被利用来保存或取回用户的图像或视频,或者运动分析数据,或者按照某种形式与运动分析数据一起显示的用户。上传到因特网(也就是远程数据库或远程服务器或者远离系统的存储)的数据可以由获得对于数据的访问的任何计算机观看、分析或进行数据挖掘。这就允许原始装备制造商对于给定用户确定什么体育装备工作得最好,以及/或者将要建议什么装备。数据挖掘还允许基于与用户相关联的数据和/或元数据来规划高尔夫球场,比如年龄或者可以被输入到系统中的任何其他人口统计信息。数据的远程存储还允许医疗应用,比如形态分析、随着时间的运动范围和糖尿病防治以及练习监测和遵从性应用。基于数据挖掘的应用还允许使用来自其他用户、相同用户的一项或更多项先前的表现或者历史运动员(例如在分析历史运动员的运动画面或视频之后,不管所述历史运动员是否在世)的真实运动捕获数据进行比赛。虚拟现实和增强虚拟现实应用还可以利用运动捕获数据或历史运动数据。所述系统还允许把表现相关的事件和/或运动捕获数据上传到数据库172,其例如可以被实施成社交网站。这就允许用户在比赛期间或之后发送关于高分的“推文(tweet)”,以便向因特网上的所有人通知所述新的事件。举例来说,一个或更多实施例包括至少一个运动捕获元件111,其被配置成与用户或装备或者与用户耦合的移动设备相耦合,其中所述至少一个运动捕获元件包括:存储器;被配置成捕获与所述至少一个运动捕获元件的指向、位置、速度、加速度相关联的数值的任意组合的传感器;无线电装置;以及与存储器、传感器和无线电装置耦合的微控制器。所述微控制器被配置成收集包括来自传感器的传感器数值的数据,把数据存储在存储器中,对数据进行分析并且辨识出数据内的事件以便确定事件数据,并且通过无线电装置传送与事件相关联的事件数据。所述系统的实施例还可以包括被配置成在移动设备上执行的应用,其中移动设备包括计算机、被配置成与无线电装置进行通信以便获得与事件相关联的事件数据的无线通信接口。所述计算机与无线通信接口耦合,其中计算机执行应用或“app”以便配置该计算机:从无线通信接口接收事件数据,分析事件数据以形成运动分析数据,存储事件数据或运动分析数据或者事件数据和运动分析数据全部二者,并且在显示器上显示包括与至少一位用户相关联的事件数据或运动分析数据或全部二者的信息。

图1b示出了在所述系统的实施例中所利用的数据库172的一个实施例的架构图。如图所示,表180-186包括关于n位用户、每位用户的m件装备、每位用户或每件装备的p个传感器、每个传感器的s项传感器数据、在其他表中找到的t种模式、d位数据用户以及v个视频的信息。图1b中示出的所有表都是示例性的,并且按照对于特定实现方式所期望的那样可以包括更多或更少的信息。具体来说,表180包括关于用户150的信息,其中可以包括与用户有关的数据,比如年龄、身高、体重、性别、地址或者任何其他数据。表181包括与m件装备110有关的信息,例如装备的制造商、装备的型号以及装备的类型,所述装备可以包括球杆、球拍、球棒、衬衫、裤子、鞋具、手套、头盔等等。例如在高尔夫球实施例中,在本发明的一个或更多实施例中,制造商可以是制造商的名称,型号可以是名称或型号编号,并且类型可以是球杆编号(例如9号铁杆),装备id可以是标识符191。表182可以包括关于用户150或装备110或移动计算机101上的p个传感器111的信息。与用户150相关联的传感器可以包括衣物、球杆、头盔、球帽、头带、牙套等等,与装备110相关联的传感器例如可以是运动捕获数据传感器,而与移动计算机101相关联的传感器例如可以包括用于位置/指向的传感器167和用于图像/视频的传感器130。表183可以包括关于每位用户每件装备的s项传感器数据的信息,其中该表可以包括传感器数据的时间和位置或者与传感器数据有关的任何其他元数据,比如通过图1a中示出的温度传感器在本地获得或者通过无线通信或者例如通过任何其他方式获得的温度、天气、湿度,或者传感器数据可以包括该信息或者其任意组合。该表还可以包含许多其他栏位,比如球类型,也就是说在高尔夫球实施例中,所利用的高尔夫球的类型可以被保存并且在后来对其进行数据挖掘以便找出表现最佳的球类型等等。该表还可以包括在本地计算的事件类型,例如潜在脑震荡事件。表184可以包括关于例如已在数据挖掘处理中发现的t种模式的信息。这可以包括已经通过特定查询在各个表中搜索过的栏位以及任何所得到的相关结果。在本发明的一个或更多实施例中,可以按照对于特定实现方式所期望的那样利用任何数据挖掘结果表类型。这可以包括任何种类的搜索结果,其中包括也可以在计算机160上本地计算的ei测量,或者从简单查询到复杂模式搜索的任何其他搜索数值。表185可以包括关于d位数据挖掘用户151的信息并且可以包括其访问类型,也就是完全数据库或者模式表,或者被限制到特定制造商等等,该表例如还可以包括对应于数据挖掘用户已经为之付费或者同意为之付费的使用类型的付费要求和/或收据,以及与任何查询或者所找到的模式有关的任何搜索或建议。包括允许对传感器数据(包括运动捕获数据)进行数据挖掘的面向对象的数据库关系或者基于存储器的数据结构在内的任何其他方案都符合本发明的精神。虽然给出了对应于特定活动的示例性实施例,但是本领域技术人员将认识到,例如通过使用运动捕获元件以及运行在用户的现有蜂窝电话101、102或其他计算机105上的应用,所述系统的实施例可以捕获并且分析任何类型的基于运动的活动。数据库的实施例可以包括保存在表186中的v个视频179,其中例如包括生成视频的用户、视频数据、视频的时间和位置。所述栏位是可选的,并且在一个或更多实施例中,视频可以被存储在系统中的任何移动设备或者移动设备和服务器/db172的任意组合上。在一个或更多实施例中,视频可以被分解成与传感器数据表183的“时间”栏位相关联的视频子集,其中所述时间栏位可以包括事件起始时间和事件停止时间。在这种情形中,较大的视频可以被修剪成对应于通常更小的时间窗口(其与保存在表183中的事件类型的事件相关联)的一个或更多更小的事件视频,从而显著减少了所述系统的视频存储需求。

有许多应用受益于所述系统的实施例并且通过所述系统的实施例而实现,其提供在移动计算机或服务器/数据库上观看和分析运动捕获数据,以便例如由用户151对数据库172进行数据挖掘。举例来说,用户151可以包括遵从性监测者,其中例如包括家长、儿童或老年人、管理者、医生、保险公司、警察、军队或者例如装备制造商之类的任何其他实体,其可以进行数据挖掘以用于产品改进。例如在网球实施例中通过搜索对应于特定身材或年龄的用户的最高发球速度,或者在高尔夫球实施例中通过基于表183中的传感器数据栏位中的挥击速度来搜索距离(也就是表183中的顺序位置间的差异),从而确定哪些制造商具有最佳的球杆或者依照每位用户的年龄或身高或体重的最佳球杆,或者许多其他模式。涉及遵从性的其他实施例允许在满足对应于重力的阈值(高或零或者任何其他等级)的情况下生成来自移动计算机101或者来自服务器/数据库的消息,以便发送到遵从性监测者、管理者、医生、保险公司等等,正如前面所描述的那样。用户151可以包括市场营销人员,其确定特定用户拥有哪些装备以及其他类似的用户可能拥有哪些相关的物品,以便针对特定用户进行销售。用户151可以包括医疗人员,其可以确定例如与糖尿病儿童的鞋具(也就是说某种类型的装备)耦合的传感器进行了多少移动,以及该移动相对于普通无糖尿病儿童有多少,其中依照表185的建议可以包括为糖尿病儿童给出进行更多锻炼的激励等等,以使得该儿童与健康儿童保持一致。体育运动医师、生理学家或理疗师可以利用每位用户的数据,或者在大量用户当中进行搜索并且例如把某一用户的特定移动或运动范围与其他用户进行比较,以便确定给定用户通过拉伸或练习可以在哪些领域得到改进,以及哪些运动范围领域依照用户或依照群体随着时间改变,以及例如用户可以利用何种类型的装备来应对随着时间的改变(甚至在这些改变发生之前)。通过对运动捕获数据以及与运动相关的图像数据进行数据挖掘为用户151提供了独特的优点。可以在通过传感器测量的屈曲参数上实施数据挖掘,以便确定体育装备、鞋具、人体部位或者任何其他物品的柔韧性是否随着时间或者在装备制造商之间有所改变或者确定其任意组合。

为了确保运动捕获期间对于用户150的分析包括与水平线相对相关联(也就是没有倾斜)的图像,所述系统例如可以包括在移动设备101内的计算机160上执行的指向模块。所述计算机被配置成基于获得自移动设备101内的指向硬件的指向数据提示用户沿着水平平面对准摄影机。本领域技术人员将认识到,指向硬件在移动设备上是常见的。这就允许如此捕获的图像关于水平平面保持相对持平。所述指向模块还可以提示用户朝向或远离该用户移动摄影机,或者针对用户拉近焦距或拉远焦距以便把用户放置在图形“调试框(fitbox)”内,以便在某种程度上规范化将要捕获的用户的尺寸。图像还可以由用户利用来证明其例如遵从了针对满足特定运动要求的医嘱。

所述系统的实施例还被配置成辨识与用户150或装备110相关联的至少一个运动捕获元件,并且把至少一个运动捕获元件111与用户150或装备110上的所指定的位置相关联。举例来说,用户可以在受到移动设备101内的计算机提示时摇动特定的运动捕获元件,以便确认计算机正在请求哪一个运动捕获元件的身份。或者,在实施已知的活动时可以分析运动传感器数据的位置和/或速度和/或加速度,并且关于运动捕获元件的安放位置自动进行分类,或者通过提示用户确认所假设的位置。传感器可以例如通过团队名称和队服号码与特定运动员相关联,并且被存储在运动捕获传感器的存储器中以用于事件传送。图1中示出的任何计算机可以被利用来对于特定运动捕获传感器相关联的标识符进行编程,以便符合本发明的精神。

移动设备101中的计算机的一个或更多实施例被配置成获得用户150的至少一幅图像,并且把三维覆层显示到用户150的至少一幅图像上,其中所述三维覆层与运动分析数据相关联。可以在显示器120上显示各种显示。运动分析数据的显示可以包括与运动分析数据相关联的评定,以及/或者与运动分析数据相关联的所计算的球飞行路径的显示,以及/或者沿着时间轴示出了与运动分析数据相关联的峰值数值所发生的时间点的时间线的显示,以及/或者用以帮助用户改进该用户的技术细节的建议训练课程。这些经过过滤或分析的数据传感器结果可以被存储在数据库172中,例如存储在表183中,或者可以在数据库上(或者与数据库相关联的服务器,或者例如在图1所示的系统中的任何其他计算机或其组合中)对未经处理的数据进行分析,并且随后在移动设备101或网站173上显示,或者例如通过来自摄影机104的电视广播。可以按照任何方式把数据挖掘结果与所述系统的独特显示相组合,并且还可以按照任何所期望的方式被示出。

所述系统的实施例还可以呈现一个界面,以便允许150通过移动设备101的通过无线接口来购买装备110,例如通过因特网或者通过可以被实施成销售商的服务器的计算机105进行购买。此外,对于定制调试装备,比如推杆杆身长度或者任何类型的装备的任何其他定制尺寸确定,所述系统的实施例可以呈现一个界面以便允许用户150通过移动设备101的无线接口来订购定制调试的装备。本发明的实施例还允许移动设备101向用户150建议性能更好的装备,或者允许用户150搜索通过对数据库172进行数据挖掘所确定的性能更好的装备,其中针对具有处于用户150的预定义范围内的挥击速度的用户的每根球杆的高尔夫球击球距离进行数据挖掘。这就允许例如由用户151(比如oem)对真实生活表现数据进行挖掘和利用以便向用户150建议装备,并且为此被收费,这例如是通过针对如在图1所示的任何计算机中显示的数据挖掘结果的访问付费或者是通过网站173。在本发明的一个或更多实施例中,数据库172跟踪oem数据挖掘,并且被配置成例如针对每一位用户151在给定的记账时段内所购买和/或使用的访问的数量向用户151收费。例如参见图1b。

所述系统的实施例被配置成分析从至少一个运动捕获元件获得的数据,并且基于与装备耦合的至少一个运动捕获元件的振荡来确定球与装备之间的碰撞的居中程度,并且基于运动分析数据显示撞击位置。该表现数据还可以被存储在数据库172中,并且例如随着在大量碰撞上所进行的数据挖掘而由oem或教练使用来建议具有更高的居中击中概率的球杆。

虽然图1a描绘出物理设备,但是这里所阐述的系统和方法的范围还可以涵盖具体实现在一个或更多计算机程序中的虚拟设备、虚拟机器或模拟器,其中所述计算机程序执行在计算机或计算机系统上,并且充当或者提供与实施所公开的概念的方法和处理相容的计算机系统环境。在虚拟机器、处理、设备等等与所述系统的物理计算机系统基本上类似地运作的情况下,这样的虚拟平台也将落在本公开内容的系统的范围内,尽管这里所描述的如在图1a中示出的物理系统。

图1c示出了对应于通过利用在所述系统中的计算机的实施例所实施和允许的处理的一个实施例的流程图。在所述系统的一个或更多实施例中,在301处可选地校准多个运动捕获元件。在一些实施例中,这意味着校准用户身上或装备上的多个传感器,以便确保传感器被对准并且/或者被设置成对于给定的输入运动具有相同的速度或加速度数值。在本发明的其他实施例中,这意味着把多个运动捕获传感器放置在校准对象上,所述校准对象移动并且同时校准指向、位置、速度、加速度或者其任意组合。这一步骤通常包括提供运动捕获元件和可选的安放装置(或者替换地允许利用具有运动捕获感测能力的移动设备),以及例如允许具有现有的移动电话或计算机的用户利用所述系统的实施例来获得运动捕获数据并且潜在地以此为基础分析和/或发送消息的应用。在一个或更多实施例中,用户可以简单地购买运动捕获元件和应用,并且即刻开始使用所述系统。所述系统在302处利用(多个)运动捕获元件来捕获运动数据,例如在303处在运动捕获数据内辨识出任何事件,也就是超出表明脑震荡的阈值的线性和/或旋转加速度,并且在304处例如把运动捕获数据发送到移动计算机101、102或105,其中可以包括电话或者用户可以利用来在本地收集数据的任何其他类型的计算机。在一个或更多实施例中,传感器可以向任何其他运动捕获传感器传送事件,以便例如在其他传感器上开始事件数据存储处理。在其他实施例中,传感器可以向其他移动设备传送事件,以便表明例如应当在丢弃不需要的视频部分的情况下保存对应于事件的视频,以便允许或者在事件的时间点附近或者在后来的某一时间对视频进行修剪。在一个或更多实施例中,所述系统最小化传感器的复杂度,并且例如把处理卸载到在现有的移动电话和其他电子设备中所找到的能力足以胜任的计算元件。从运动捕获元件向用户的计算机传送数据可以在可能时发生、周期性地发生、在事件的基础上发生、在被轮询时发生或者按照任何其他方式发生,正如将在这里的各个章节中所描述的那样。这与连续地发送未经处理的数据的已知系统相比在两个方面节省了大量电力,首先可以在围绕特定运动事件的时间窗口内在事件分组中发送数据,从而把数据精简到总的未经处理数据的一个有意义的小子集,并且其次可以按照低于连续发送的频率或者在已定义的时间或者在被征求数据时发送数据,以便限制传送的总次数。在一个或更多实施例中,在305处例如可以利用在运动捕获传感器111上闪光的led在本地显示事件,例如黄色慢闪对应于潜在的脑震荡,或者红色快闪对应于可能性很高的脑震荡。替换地或者与之相组合,例如可以传送并且在图1中所示的任何其他计算机或移动设备上显示告警或事件。

所述系统中的主要智能通常存在于移动计算机或服务器中,其中可以利用更多处理能力,并且例如从而利用在现有的移动计算机中普遍存在的通信能力。在所述系统的一个或更多实施例中,移动计算机可以在306处可选地从用户或装备获得标识符,或者该标识符可以作为步骤305的一部分被传送,比如被动rfid或主动rfid或者例如团队/队服号码或其他运动员id之类的其他标识符,其可以被移动计算机利用来基于装备的标识符确定哪一位用户刚刚潜在地受伤,或者用户正在举起什么重量,或者用户正在穿什么鞋跑步,或者用户正在使用什么武器,或者用户正在使用什么类型的活动。移动计算机可以在307处本地分析运动捕获数据,并且例如当在数据中观测到阈值时显示(也就是示出)或发送例如消息之类的信息,比如当运动员、士兵或赛车手经受过大的重力时,或者当没有发生足够的运动时(或者是在当时或者是基于数据库中的数据模式,正如后面所讨论的那样例如基于该用户的典型运动模式或者其他用户的运动模式)。在其他实施例中,一旦用户实施了特定数量的运动,可以在307处向(多位)安全或遵从性监测者发送消息以便存储或者通过其他方式显示数据,其中例如包括裁判员、家长、儿童或老年人、管理者、医生、保险公司、警察、军队或者例如装备制造商之类的任何其他实体。所述消息可以是sms消息、电子邮件、推文或者任何其他类型的电子通信。如果特定实施例被配置成用于远程分析或者仅仅用于远程分析,则可以在308处把运动捕获数据发送到服务器/数据库。如果实现方式没有利用远程数据库,则移动计算机上的分析是本地的。如果实现方式包括远程数据库,则在309处可以在移动计算机或服务器/数据库或者全部二者上实施分析。一旦数据库获得运动捕获数据,随后可以对数据进行分析,并且可以按照希望从服务器/数据库向遵从性人员或商业实体发送消息,以便在310处单独显示事件或者与该用户或其他用户的相关联的先前事件数据相组合或者关于所述先前事件数据来显示事件。

本发明的实施例把来自移动计算机和/或服务器的数据用于游戏、形态比较、遵从性、跟踪所燃烧的卡路里、所实施的工作,基于运动或者在白天和夜间有所不同的先前运动模式来监测儿童或老年人,当重力超出阈值或运动停止时针对运动员、部队的安全监测,例如在包括利用用户的当前和/或先前数据或者来自其他用户的数据的虚拟现实应用的蜂窝电话上对于跑步、跳跃、投掷运动捕获数据的本地使用,或者基于用户正在实施或者进行数据挖掘的运动的类型播放音乐或选择播放列表。举例来说,如果运动类似于数据库中的已知运动员,则可以把该用户的播放列表发送到所述用户的移动计算机101。所述处理可以在本地实施,从而如果运动较快则播放快速的音乐,并且如果运动较慢则可以播放慢速的音乐。基于用户的运动播放音乐的任何其他算法都符合本发明的精神。对于从运动捕获元件和用户的现有移动计算机上的应用获得的运动捕获数据的任何使用都符合本发明的精神,其中包括在虚拟现实环境中使用运动数据,以便利用来自所述用户的先前表现或者来自另一位用户(例如包括历史运动员)的实际运动数据示出另一位运动员的化身的相对运动。信息的显示通常是通过三种情形来实施的,其中显示信息是基于用户的运动分析数据或者是关于用户的装备和先前的数据,其中先前的数据可以是来自相同的用户/装备或者一位或更多位其他用户/装备。在这种情形下,当前的运动分析数据与该用户/装备的相关联的先前数据的比较允许利用具有运动捕获传感器和应用的极为成本有效的系统来分析模式。在另一种情形下,信息的显示是根据当前用户的表现,从而使得从所述用户或另一用户/装备选择的先前数据是基于当前用户的表现。这就允许高度真实性的比赛,例如以历史运动员为对手的虚拟网球比赛,其中实际上通过来自历史运动员的捕获运动对用户的挥击作出回应。利用实际数据(当前的和先前存储的数据全部二者)的这种真实性比赛带来了尽可能真实的比赛,例如用户以排名前10的网球运动员的平均模式为对手进行比赛,也就是发球速度、对于用户的给定输入击球的回球的速度和角度。例如可以对电视图像进行分析以便确定由可能已不在世的历史运动员打出的击球的挥击速度和类型,从而以大师为对手测试用户的技巧,就如同大师仍然在世并且当前正与用户进行比赛一样。在第三种情形中可以实施所述用户或不同用户的遵从性和监测,而无需与所述用户的先前数据或者其他用户的先前数据进行比较,其中所述不同的用户例如不具有对于移动计算机的访问或者不拥有移动计算机。换句话说,移动电话与正被监测的用户相关联,并且不同的用户正在获得与例如佩戴运动捕获元件的用户(比如婴儿或糖尿病患者)的当前表现有关的信息。

图1d示出了对应于所述系统的一个实施例的数据流图。如图所示,从许多不同类型的装备110上的或者与用户150相关联的多种运动捕获元件111发送运动捕获数据,其例如处在衣物、头盔、头带、球帽、牙套上或者与用户耦合的任何其他位置。装备或用户可以可选地具有标识符191,其允许系统把数值与运动相关联,也就是正在举起的重量、正在使用的球拍的类型、正在使用的电子设备的类型(也就是游戏控制器)或者其他物体,比如与第二用户152(例如婴儿)相关联的婴儿睡衣。在一个或更多实施例中,可以用运动捕获元件111替代或增强图中的元件191,正如本领域技术人员将认识到的那样。在所述系统的一个或更多实施例中,移动计算机101例如以事件形式并且例如在事件的基础上或者在由移动计算机101请求时接收运动捕获数据,这例如是在运动捕获元件111声明有数据并且把接收器开启固定时间量以答复请求从而避免浪费电力之后,并且如果没有接收到请求,则把接收器关闭一段时间。一旦数据处在移动计算机101中,则对数据进行分析,以便例如取得未经处理的或者基于事件的运动捕获数据,并且例如按照简明的方式确定更容易为人所理解的例如平均速度等项目。所述数据可以被存储(在移动计算机101的右侧示出),并且随后可以例如按照监测者或遵从性文字或电子邮件的形式或者在与移动计算机101或计算机105相关联的显示器上向用户150或151显示数据。这就潜在地允许不与运动捕获元件相关联并且可选地甚至不与移动计算机相关联的用户获得监测者消息(例如婴儿正在缓慢呼吸),或者例如观看虚拟现实比赛或表演,其中可以包括当前正在提供运动捕获数据的用户,具有先前存储的数据的用户,或者在对过去的(多场)巡回赛表现的视频中的运动进行分析之后还包括历史运动员(比如著名高尔夫球手)等等。在其中当前例如从用户150或装备110获得数据的游戏情形中,例如在虚拟现实眼镜上的数据显示可以利用来自该用户/装备或者另一用户/装备的先前数据,以便对用户的当前运动数据作出响应,也就是说根据用户的输入作出响应。先前的数据可以被存储在系统中的任何位置处,例如存储在移动计算机101、计算机105中或者存储在服务器或数据库172上(参见图1)。先前的数据例如可以被利用来向用户151表明用户150已经经历了特定数目的潜在脑震荡事件,因此必须治疗特定时间量才能再次比赛。保险公司例如可以要求这样的遵从性以便降低医疗开销。可以从移动计算机101、计算机105或者如图1中所示在服务器上或者在与服务器172耦合的数据库中存储和取回视频以便形成事件视频,所述事件视频例如包括在显示器上同时示出的事件数据和事件的视频,其通常例如被叠加或者在移动计算机101或计算机105的显示器的分开的部分中示出。

图2a示出了围绕用户的头部150a的基于头盔110a的安放装置,其中基于头盔的安放装置如图所示地把运动捕获传感器111固定在头盔的后侧部分上。图2b示出了在头盔的底部后侧部分示出的基于颈口嵌件的安放装置,其允许利用运动捕获传感器111改装现有的头盔。在包括被配置成与用户的头部150a耦合或者通过其他方式佩戴在用户头部150a附近的至少一个运动捕获传感器的实施例中,所述微控制器还可以被配置成计算用户头部上的撞击位置。用户头部上的撞击位置的计算是基于用户头部和/或头盔物理几何结构。举例来说,如果运动捕获元件111表明不具有旋转的后向加速度(如图中的右侧所示),则可以通过跟踪加速度的矢量回到头盔或用户头部的周界之外的方向来计算撞击位置。这一非旋转计算实际上表明力线经过用户头部/头盔的重心或其附近,否则会由运动捕获元件111观测到旋转力。如果在运动捕获元件111处观测到侧向矢量,则撞击点被计算成处在头盔/头部的侧面并且经过重心。因此,例如至少在加速度峰值附近的时间段内或者在任何其他时间段期间没有对运动捕获传感器施加旋转加速度的任何其他撞击都可以被认为是被施加在经过重心的去到头盔/头部的方向上。因此,对于撞击点的计算被计算成检测到力的矢量的头盔/头部的外周界的交点,并且通过计算从重心回去的距离和角度而向回贯穿到撞击点。举例来说,如果加速度矢量处于45度并且没有旋转,则撞击点是从头盔/头部的重心向回45度,因此计算45的正弦(近似0.7)乘以头盔的半径(或5英寸),从而得到距离头盔正面大约3.5英寸的撞击。或者,可以把撞击位置保持在角度格式中,以便表明撞击是处于距离头盔/头部正面45度。相反,如果观测到没有线性加速度的旋转加速度,则头盔/头部围绕传感器旋转。在这种情形中,旋转脑部所需的力在重心前方经过并且通常与被定义成经过重心和传感器的线正交(例如侧面撞击),否则将会观测到变换线性加速度。在这种情况下,撞击位置于是处在头盔/头部的与加速度方向相对的一侧。因此,对于撞击位置的这两种计算是可以被利用的简化计算方法的实例,但是也可以利用考虑到头部/头盔的质量和头部/头盔的尺寸的任何其他基于矢量的算法。一种这样的算法可以利用任何数学等式,比如f=m*a,也就是力等于质量乘以加速度,以及扭矩=rxf,其中r是头部/头盔的外侧部分处的位置矢量、x是叉积并且f是力矢量,以便计算力矢量,并且如果希望的话变换回到头盔/头部的外周界以计算施加在该位置处的力矢量。虽然关于头盔进行了描述,但是所述至少一个运动捕获传感器的其他实施例可以被配置成利用任何类型的安放装置、封装或耦合机制与帽子或球帽耦合、耦合在保护性牙套内。可以对于帽子/球帽/牙套利用类似的计算,以便从例如可以表明脑震荡相关事件的加速度或者任何其他数量来确定撞击的位置/方向、线性或旋转力。一些实施例可以包括与至少一个运动捕获传感器或者与例如在图1a中示出的微控制器耦合的温度传感器。温度传感器可以被单独利用或者与运动捕获元件相组合,以便例如确定身体或头部是否正在发抖,也就是表明体温过低,或者确定是否没有检测到移动,并且例如通过无线方式或者通过基于连线的温度传感器测量的温度表明身体或脑部高于表明中暑的阈值。

本发明的实施例还可以利用被配置成围绕至少一个运动捕获元件的隔离器以便近似围绕用户脑部的脑脊髓液的物理加速度阻尼,从而最小化事件数据的线性加速度和旋转加速度的变换,以便获得用户脑部的观测线性加速度和观测旋转加速度。因此,一些实施例不必把来自基于头盔的加速度的力或加速度数值或者任何其他数值变换到所观测到的脑部加速度数值,因此本发明的实施例利用更少的电力和存储来提供特定于事件的数据,从而又最小化数据传输的数量,从而导致更低的传送功率利用。基于头盔中的内在衬垫的类型,在美式足球/冰球/长柄曲棍球运动员的头盔上可以利用不同的隔离器。在其中不佩戴头盔或者偶尔佩戴头盔的体育运动中所利用的其他实施例还可以利用球帽或帽子上(例如棒球运动员的帽子上)的至少一个运动捕获传感器,连同安放在击球头盔上的至少一个传感器。在其中不利用球帽的体育运动(比如英式足球)中还可以利用头带安放装置来同样确定脑震荡。在一个或更多实施例中,利用在头盔上的隔离器可以在封装中保持附着到头盔,并且传感器可以被移除并且放置在不利用匹配用户脑液的阻尼的隔离器的另一件装备上。一些实施例可以基于与特定类型的装备(也就是冲浪板相比于棒球棒)相关联的特性运动模式自动检测运动类型,并且确定运动捕获传感器当前所附着到的装备的类型。在一个或更多实施例中,可以被利用来计算隔离器的物理特性的一种算法可以包括把一个运动捕获传感器安放在头盔上,并且把一个运动捕获传感器安放在碰撞测试假人头部中的头型中,其中头型中的运动捕获传感器被封装在隔离器中。通过对头盔施加线性和旋转加速度,并且例如关于放置在头盔内的尸体头部中的传感器来观测由头盔传感器获得以及由头型中的传感器观测到的数值中的差异,可以获得最紧密地匹配人类脑部的阻尼效果的具有最佳匹配阻尼数值的隔离器材料。

图3示出了图2a-b的安放装置的特写,其中示出了运动捕获传感器与头盔的外部部分之间的隔离器。本发明的实施例可以被配置成获得/计算线性加速度数值或旋转加速度数值或者全部二者。这就允许针对脑震荡以及线性加速度来监测旋转事件。如图所示,外部加速度g1可以施加与人类脑部所观测到的加速度更加相关联的更低加速度,也就是通过利用传感器安放装置111b内的隔离器111c的传感器111上的g2。这就允许针对脑震荡以及线性加速度来监测旋转事件。其他事件可以利用线性和/或旋转加速度和/或速度,例如与模式或模板进行比较,从而不仅在事件期间切换传感器个性以便动态地改动捕获特性,而且还表征正在与当前的运动捕获传感器一起利用的装备的类型。这就允许通过用户的单次运动捕获元件购买而使得多件装备或衣物工具化,这是通过允许传感器基于由该传感器捕获的运动与特性运动模式或模板的比较自动确定该传感器所耦合到的装备或衣物的类型。

图4a示出了安放在头盔110a上的运动捕获元件111的顶部剖面图,所述头盔110a具有围绕用户的颅骨401和脑部402的衬垫110a1。图4b示出了对应于图4中示出的各个元件的旋转脑震荡事件。如图所示,不同的加速度数值可能被施加在具有重心403并且由头盔110a中的衬垫110a1围绕的人类脑部402和颅骨401上。如图所示,为了在单位时间段内移动,脑部的正面部分必须以速率g2a加速度,该速率g2a高于脑部的后侧部分处的速率g2c或者重心处的速率g2b。因此,对于给定的旋转加速度数值,脑部的不同区域可能受到不同的影响。因此,本发明的一个或更多实施例可以传送不仅与线性加速度有关而且还与旋转加速度有关的信息。

图5示出了针对头盔的输入力g1(如图所示为500g)相对于在脑部内观测到的力g2,其由安放在隔离器内的传感器观测到并且利用已知的头型加速度测量系统得到证实。右上方的曲线图示出了两种已知的头型系统证实了由图4a中示出的基于隔离器的运动捕获元件111关于头型安放的加速度计所观测到的加速度数值。

图6示出了3个轴的旋转加速度数值连同总旋转矢量数量,连同从摄影机获得并且与运动事件数据一起显示的脑震荡事件的视频。在一个或更多实施例中,可以针对旋转(如图所示)或线性数值显示来自给定传感器的加速度数值,这例如是通过两次敲击移动设备屏幕或者是通过任何其他方式。本发明的实施例可以利用无连接广播消息来传送与事件相关联的事件数据。在一个或更多实施例中,取决于所采用的无线通信,广播消息可以包括具有有限数量的数据的有效载荷,其可以被利用来避免基于连接的协议的握手和开销。在其他实施例中,可以按照任意组合来利用无连接或基于连接的协议。通过这种方式,裁判员可以在移动设备上获得潜在的脑震荡相关事件的接近即时的读出,从而允许裁判员快速获得医疗协助。

在一个或更多实施例中,计算机可以访问与用户或装备相关联的先前存储的事件数据或运动分析数据,以便例如确定脑震荡或摔倒或其他挥击或者任何其他运动事件的数目。一些实施例还可以把与至少一位用户相关联的事件数据呈现在显示器上,这是基于与所述用户或装备相关联的事件数据或运动分析数据以及与所述用户或装备或者与至少一位其他用户或其他装备相关联的先前存储的事件数据或运动分析数据。这就允许在数目或定量数值方面对运动事件进行比较,例如由所述用户或其他用户在特定比赛中或者在历史上观测到的最大旋转加速度。此外,定义对应于典型事件的特定装备的特性运动的模式或模板可以被动态地更新,例如在中央服务器上或者在本地更新,以及在一个或更多实施例中通过无线接口在运动捕获传感器中动态地更新。这就允许传感器随着时间改进。因此,图6中所示出的显示还可以表明先前对于给定拳击手/运动员所存储的脑震荡的数目,并且允许裁判员/医生关于该运动员是否可以继续比赛作出决定。

本发明的实施例可以例如通过广播电视或因特网传送信息以便在与计算机或远程计算机耦合的视觉显示器上进行显示。因此,图6中的显示还可以例如向正在观看的观众示出,以便表明施加在拳击手/运动员/骑手等等身上的力的数量。

图7示出了用户的时间线显示2601连同被显示成沿着时间线的事件的沿着时间线的峰值和最小角速度。此外,在底部显示中所示出的曲线图示出了高尔夫球杆2602的超前和滞后(leadandlag)连同高尔夫球杆的下垂和漂移(droopanddrift),其中这些数值决定高尔夫球杆的杆身在相对于时间标绘的两个轴中的弯曲程度。在图8中示出了一个显示实施例,其中在所述显示上标注了简化的时间线以及运动相关事件(挥击的最大速度)。

图8示出了子事件快进快退(scrub)时间线,其允许与将要滚动到、播放到或者从该处播放的子事件相关联的起始/停止时间点802a-d(也就是图7中示出的子事件时间位置)附近的输入,从而很容易地允许观看子事件。举例来说,高尔夫球挥击可以包括例如瞄准(address)、向后挥动、向前挥动、击打、保持姿势(followthrough)之类的子事件。所述系统可以显示对应于子事件802a-d的时间位置并且接受所述位置附近的用户输入,以便声明视频应当在该时间点处开始或停止,或者例如滚动到或者回到该时间点以易于观看子事件。用户输入单元801可以被利用来把时间拖曳到附近的子事件,以便例如把视频定位在所期望的时间点。替换地或者与之相组合,当视频正在播放时的例如声明另一个子事件时间点附近的手指按压的用户输入可以表明视频应当在下一个子事件时间点处停止。用户界面还可以被利用来控制-拖曳所述点,以便把视频更加精确地同步到其中发生特定子事件或事件的帧。举例来说,用户可以按住控制键并且把点802b向左或向右拖曳,以便把视频帧匹配到球杆头部的速度为零的实际时间点,以便例如把视频更加紧密地同步到所示出的实际运动分析数据,这里的挥击速度以每小时英里数计。在符合本发明的精神的情况下,可以利用任何其他用户手势把用户帧同步到运动分析数据,比如语音控制、箭头键等等。

图9示出了子事件802a和802b沿着时间线开始和停止的相对位置以及与起始和停止时间相关联的引力,其允许这些点附近的用户输入被吸引到起始和停止时间。举例来说,在沿着时间线左右拖曳用户界面单元801时,所述用户界面单元可以表现为朝向潜在的阱802a和802b移动,从而使得用户界面单元更容易移动到子事件的起始/停止点。

在一个或更多实施例中,所述计算机还被配置成从邻近事件的至少一台摄影机请求包含事件的至少一幅图像或视频。这可以包括从特定的邻近摄影机或者指向事件方向的摄影机请求视频的广播消息。在一个或更多实施例中,所述计算机还被配置成广播针对邻近事件或者被指向来观看事件的摄影机位置的请求,并且可选地对于围绕感兴趣事件的持续时间显示可用的摄影机或者来自该处的视频。在一个或更多实施例中,所述计算机还被配置成显示事件发生的一个或更多时间的列表,从而允许用户通过所述计算机获得所期望的事件视频,并且/或者从具有所期望的事件时间的第三方独立地请求视频。所述计算机还可以从服务器172获得视频,并且在本地把视频修剪到所期望的事件。这可以被利用来获得第三方视频以及来自不与所述计算机直接接口但是可以与服务器172通信的系统的视频。

图10示出了利用一台移动设备102b作为运动捕获元件111a以及另一台移动设备102a作为接收第一用户事件的运动事件数据和视频的计算机的一个实施例。来自移动设备102a的视图在该图的左上部分示出。在一个或更多实施例中,所述至少一个运动捕获传感器与移动设备耦合,并且例如使用处于移动设备内或者与移动设备耦合的内部运动传感器111a。这就允许利用普遍存在的最低程度硬件来进行运动捕获和事件辨识,例如使用具有内建加速度计的移动设备。在一个或更多实施例中,第一移动设备102b可以与记录运动数据的用户耦合(其在这里被示出为正在进行单板滑雪),第二移动设备102a则被利用来记录运动的视频。在一个或更多实施例中,正在经历运动的用户可以给出手势,例如在移动设备上敲击n次,从而表明第二用户的移动设备应当开始记录视频或停止记录视频。可以利用任何其他手势在移动设备之间传送事件相关或运动相关的指示。

因此,本发明的实施例可以辨识任何类型的运动事件,其中包括与表明站立、行走、摔倒、中暑、疾病突发、剧烈抖动、脑震荡、碰撞、步态异常、呼吸异常或没有呼吸或者其任意组合的运动有关的事件,或者具有期间发生运动的持续时间的任何其他类型的事件。事件还可以具有任意粒度,例如包括具有已知的签名或者通过其他方式匹配任何类型的模板或模式的子事件,其中包括线性或旋转轴的特定集合中的幅度和/或时间阈值。举例来说,表明滑板推出(push-off)或一系列推动的事件可以被分组到例如“准备操控”之类的子事件中,而x中的旋转轴则例如可以表明“滑板翻/滚”。在一个或更多实施例中,事件可以被分组以及存储/发送。

图11示出了被利用来存储数据的存储器的一个实施例。存储器4601例如可以被集成到运动捕获元件111中的微控制器,或者可以例如作为单独的存储器芯片与微控制器耦合。如图所示的存储器4601可以被配置成分别包括一个或更多存储器缓冲器4610、4611和4620、4621。可以被利用的存储器缓冲器的一个实施例是环形缓冲器。环形缓冲器可以被实施成被多次覆写,直到事件发生为止。环形缓冲器的长度可以是从0到n个存储器单元。例如可以有m个环形缓冲器,例如对应于m个击打事件。数字m可以是大于零的任何数字。在一个或更多实施例中,数字m可以等于或大于预期事件的数目,例如击中数,或者对应于一轮高尔夫球比赛的击球数,或者允许把所有运动捕获数据存储在运动捕获元件上直到在一个或更多事件之后被下载到移动计算机或因特网的任何其他数目。在一个实施例中,例如被称作头指针(head)的指针跟踪缓冲器的头部。随着数据被记录在缓冲器中,头指针被向前移动适当的数量,从而指向下一个空闲存储器单元。当缓冲器变满时,指针回绕到缓冲器的开头,并且在遇到先前的数值时将其覆写。尽管数据被覆写,但是取决于缓冲器的尺寸和记录的速率,在任何时刻(t)都有从时间(t)向回记录的传感器数据。随着传感器在缓冲器中记录数据,一个或更多实施例中的“事件”停止用新的数据覆写缓冲器。在检测到事件时,传感器可以在第二缓冲器4611中继续记录数据,以便例如在特定的捕获速率下记录特定时间量的事件后数据,从而完成预期影片的记录。存储器缓冲器4610现在包含从事件向回的所期望的时间量(这取决于缓冲器的尺寸和捕获速率)的数据记录,连同事件后缓冲器4611中的事件后数据。例如参见图19,视频也可以按照类似的方式被存储并且在后来被修剪。

例如在高尔夫球挥击中,事件可以是球杆头部与球撞击。或者,事件可以是球杆头部与地面撞击,从而可能导致错误事件。在其他实施例中,事件可以是可能表明脑震荡事件的用户头部的加速度,或者从武器射击,或者球击打棒球棒,或者当用户把重量移动到最高点并且放下以进行另一次重复时。事件前缓冲器存储直到撞击事件为止的传感器数据,事件后缓冲器存储撞击事件之后的传感器数据。微控制器的一个或更多实施例被配置成分析事件,并且确定事件是重复、射击还是例如击打或错误击打之类的事件。如果事件根据模式或签名或模板被视为有效事件(参见图13和15)而不是错误事件,则将另一个存储器缓冲器4620用于运动捕获数据,直到发生第二个事件为止。在该事件发生之后,利用所捕获的数据填充事件后缓冲器4621。

具体来说,运动捕获元件111可以被实施成一个或更多mems传感器。所述传感器可以被命令以特定时间间隔收集数据。在每一个间隔处,从各种mems设备读取数据并且存储在环形缓冲器中。从mems传感器读取的一个数值集合被视为一帧(frame)数据。取决于正被收集并且存储在缓冲器中的数据的类型,一帧数据可以是0个、1个或者多个存储器单元。一帧数据还与一个时间间隔相关联。因此,基于来自传感器的捕获速率,各帧还与时间单元相关联。举例来说,如果以2ms间隔填充每一帧,则1000帧将包含2000ms的数据(2秒)。一般来说,帧不必与时间相关联。

数据可以被不断地存储在环形缓冲器中,并且例如在指定的事件、时间、或者当通过无线电装置/天线去到移动设备或者任何其他计算机或存储器的通信可用时、或者当例如由移动设备命令(也就是“轮询”)时、或者在任何其他所期望的事件处,数据被写出到非易失性存储器,或者通过无线或有线链接或者通过无线电装置/天线被发送到远程存储器或设备。

图12示出了特别被编程到微控制器中以便确定是否发生了将对于特定应用传送的事件的功能的一个实施例的流程图,所述事件例如是预期事件或者例如是已经发生的事件。从对于体育装备的撞击发生的运动、加速度或冲击波被传送到运动捕获元件中的传感器,所述传感器如在前面的图11中所描述的那样记录运动捕获数据。所述微控制器被配置成随后分析所述事件,并且确定所述事件是否预期事件。

所发生的一种类型的事件是加速度,或者基于头部/头盔/球帽/牙具的传感器超出指定的线性或旋转数值,或者球杆面在撞击高尔夫球时的撞击。在利用球和击打工具的其他体育运动中应用相同的分析,但是所述分析被调整到具体的体育运动和体育装备。在网球中,预期击打例如可以是球拍击中球,而不是在接发球之前转动球拍。在例如跑鞋之类的其他应用中,撞击检测算法可以在某人正在跑步时检测鞋击中地面。在练习中,其可以是正在达成的特定运动,这就例如允许在举重或者骑固定自行车的同时对重复次数进行计数。

在本发明的一个或更多实施例中,处理开始于4701处。在4702处,微控制器在特定撞击时间框架内把存储器4610中的运动捕获数据与超出特定阈值的线性速度进行比较,并且在4703处搜索其中存在高于特定阈值的速度或加速度中的突然改变的不连续性阈值。如果在已定义的时间窗口中没有发生速度或者例如加速度中的不连续性,则处理在4702处继续。如果不连续性确实发生,则在4704处将预期撞击保存在存储器中,并且把撞击后数据保存给定的时间p。举例来说,如果撞击阈值被设定到12g,不连续性阈值被设定到6g,并且撞击时间框架是10帧,则在检测到10帧内的至少一个轴或所有轴中的12g加速度以及随后的6g的不连续性之后,微控制器3802用信号表明撞击。在典型的事件中,加速度建立特性加速度曲线。撞击被表示成加速度/速度中的快速改变。这些改变通常不同于由特定非事件的递增或递减曲线所创建的平滑曲线。对于基于脑震荡的事件,一个或更多轴中的线性或旋转加速度超出一定阈值。对于高尔夫球相关的事件,如果加速度曲线是关于高尔夫球挥击,则特定的轴具有符合签名、模板或其他模式的特定加速度,并且打中球导致表明击中的较大加速度尖峰。如果数据匹配给定的模板,则其被保存,如果不匹配,则处理回到4702处继续。如果在4705处决定将在外部保存数据,也就是说存在去到移动设备的通信链接,并且例如当其发生时移动设备正在轮询或者已经请求了撞击数据,则在4706处把事件传送到外部存储器或移动设备或者将其外部保存在任何其他位置处,并且处理再次在4702处继续,其中微控制器针对后续事件分析所收集的运动捕获数据。如果将不在外部保存数据,则处理在4702处继续,并且将撞击数据本地保存在存储器4601中。如果被发送到外部,则其他运动捕获设备也可以对于由另一个传感器检测到的事件保存其运动数据。这例如就允许具有更精细的分辨率或更多运动的传感器提醒与用户或装备相关联的其他传感器保存事件,即使运动捕获数据并没有达到特定阈值或模式(例如参见图15)。这种类型的处理提供了更加鲁棒的事件检测,这是因为可以利用多个传感器来检测特定类型的事件,并且通知出于各种原因可能不匹配事件模式的其他传感器。此外,摄影机可以被通知并且修剪或者通过其他方式丢弃不需要的视频并且保存事件相关的视频,从而可以降低不仅是事件而且还有视频的存储器利用。在本发明的一个或更多实施例中,在发送之前可以从运动捕获数据滤除噪声,并且可以基于所获得的数据数值改变采样率,以便最大化准确性。举例来说,一些传感器在高采样率和高重力下输出不准确的数据。因此,通过在高重力下降低采样率,准确性得以保持。在本发明的一个或更多实施例中,与运动捕获元件111相关联的微控制器可以感测高重力并且自动切换采样率。在一个或更多实施例中,取代使用具有6g/12g/24范围或2g/4g/8g/16g范围的加速度计,可以利用具有2个范围(例如2g和24g)的加速度计以便简化在各个范围之间进行切换的逻辑。

本发明的一个或更多实施例可以把事件传送到移动设备,并且/或者例如对于一轮高尔夫球比赛或者直到实现移动设备通信链接为止继续把事件存储在存储器中。

例如对于被安放在特定安放装置中的传感器,在图13中示出了典型的事件签名,此外还参见图15中的通过例如与不同装备或衣物相关联的模式或模板所示出的两种特性运动类型的比较。在一个或更多实施例中,微控制器被配置成执行模式匹配算法以便跟随对应于每一个轴的曲线,并且使用1个或更多轴的片段来确定在线性或旋转加速度或者其任意组合中是否发生了特性挥击。如果存储器4601中的运动捕获数据处于与图13中所示的典型挥击的数值足够接近的范围内,则运动与事件一致。因此,在首先表征移动的角度和/或线性速度签名之后,并且随后利用该签名的元素来确定是否发生了对应于未来事件的类似签名,本发明的实施例减少了事件检测中的错误肯定的数目。

运动捕获元件从各个传感器收集数据。数据捕获速率可以较高,并且如果是这样的话,则要捕获大量数据。取决于具体应用,本发明的实施例可以使用无损和有损压缩算法来存储传感器上的数据。压缩算法允许运动捕获元件在给定的资源内捕获更多数据。传输到(多台)远程计算机的也是已压缩数据。已压缩数据的传输更快。已压缩数据也被存储在因特网中的“云端”中,或者被存储在数据库上,从而在本地占用更少的空间。

图14示出了运动捕获元件111的一个实施例,其配置有用于在本地显示和观看事件相关信息的可选led视觉指示器1401,以及被配置成显示与事件相关联的文字或已编码消息的可选lcd1402。在一个或更多实施例中,所述led视觉指示器可以对于中度类型的脑震荡慢闪黄色,并且对于重度类型的脑震荡快闪红色,以便在无需任何无线通信的情况下给出关于事件的快速总览。此外,led可以表现若干闪光或其他颜色,以便表明任何温度相关事件或其他事件。一个或更多实施例还可以采用lcd1402,其例如可以示出文字或者替换地可以显示对应于敏感的健康相关信息的已编码消息,裁判员或医疗专业人员例如可以利用移动设备上的适当的读取器应用对其进行读取和解码。在该图的右下部分中,lcd显示器可以产生声明“潜在脑震荡1500度/s/s旋转事件检测-立即告警医疗专业人员”的已编码消息。其他瘫痪诊断消息或者可能是敏感的任何其他类型的消息可以被编码并且被本地显示,从而例如使得医疗专业人员可以立即开始救助用户/运动员/拳击手而不会由于诊断消息惊动其他运动员,或者无需通过无线方式在空中传送所述消息以避免拦截。

图15示出了与不同类型的装备和/或工具化衣物相关联的运动事件的模板特性的一个实施例,连同其中运动捕获传感器个性可以改变以便更加准确地或者更加高效地捕获与特定时间段和/或子事件相关联的数据的区域。如图所示,在加速度曲线图1501中示出了对应于滑板的特性推出(pushoff),所述曲线图在上方的6条时间线中显示出x、y和z轴线性加速度和旋转加速度数值,其中时间向右递进。如图所示,当用户通过每一步推动滑板时,在1502和1503处示出了所捕获到的离散正x轴加速度,其后是随后滑板在每一次推动之间变慢的负加速度。此外,每一次推动期间的y轴摆动也被捕获到,而在滑板推出或驱动的该特定模板或模式中没有z轴线性加速度的改变并且没有旋转加速度。或者,所述模式可以包括预定义的时间窗口处的x中的一组阈值加速度以及对应于摆动的其他阈值或者没有对应于摆动的阈值,其中例如将所捕获的数据与之进行比较,以便自动确定运动捕获元件被安放到的或者已知的装备当前正在经历的装备的类型。这例如允许基于事件的数据保存和传送。

但是曲线图1511中的模式或模板示出了跑步事件,其中用户在跑步事件期间略微上下加速。由于用户的速度相对恒定,因此在x中相对没有加速度,并且由于用户没有转弯,因此在y中(左/右)相对没有加速度。该模式例如可以被利用来在对应于跑步的范围内进行比较,其中所述模式包括预定义时间窗口中的z轴加速度。因此,曲线图1511当中的上方的三个曲线图可以被利用作为用以标记跑步事件的模式。下方的三个曲线图可以在1514和1515处示出当运动捕获元件被安放在头盔和/或牙套中时表明用户向两侧观看的所捕获的数据,而所捕获的数据1516则可以表明通过每平方秒足够高的角度数的旋转运动所观测到的中度或重度脑震荡。此外,可以在1516处或者在任何其他阈值处动态地改动传感器个性,以便例如改变运动捕获传感器的捕获速率或捕获比特尺寸,从而在幅度或时间方面更加准确地捕获事件。这就允许对于感兴趣的时段动态地改动捕获质量以及/或者动态地改变功率利用,这在本领域内是未知的。在一个或更多实施例中,例如对于利用安放在头盔、牙套内或者任何其他装备中或者用户身体内的温度传感器的本发明的实施例,还可以记录温度时间线。

图16示出了保护性牙套1601的一个实施例的正视图并且在图中的底部示出了顶视图,其例如在任何接触性体育运动中被佩戴,比如(而不限于)英式足球、拳击、美式足球、摔跤或者任何其他体育运动。牙套的实施例可以被佩戴来补充具有或不具有运动捕获元件的任何其他头部用具,以便增加与用户相关联的运动捕获数据,并且把来自用户所佩戴的任何或所有运动捕获元件的运动数据和/或事件进行相关或者通过任何其他方式进行组合或比较。图2a-b中所示出的或者任何其他装备中的牙套和/或头盔的实施例例如还可以包括温度传感器,正如前面所讨论的那样。

图17示出了由图1中的任何计算机利用的算法的一个实施例,其被配置成在组合格式中显示运动图像和运动捕获数据。在一个或更多实施例中,运动捕获数据以及任何事件相关的起始/停止时间可以被保存在运动捕获元件111上。本发明的一个或更多实施例包括一种运动事件辨识和视频同步系统,其包括被配置成与用户或装备或者与用户耦合的移动设备相耦合的至少一个运动捕获元件。所述至少一个运动捕获元件可以包括:存储器;被配置成捕获与所述至少一个运动捕获元件的指向、位置、速度和加速度相关联的数值的任意组合的传感器;无线电装置;与存储器、传感器和无线电装置耦合的微控制器。所述微控制器可以被配置成收集包括来自传感器的传感器数值的数据,把数据存储在存储器中,对数据进行分析并且辨识出数据内的事件以便确定事件数据,通过无线电装置传送与事件相关联的事件数据。所述系统还可以包括移动设备,所述移动设备包括计算机、被配置成与无线电装置进行通信以便获得与事件相关联的事件数据的无线通信接口,其中所述计算机与无线通信接口耦合,其中所述计算机被配置成从无线通信接口接收事件数据。所述计算机还可以分析事件数据以形成运动分析数据,存储事件数据或运动分析数据或者事件数据和运动分析数据全部二者,从事件获得事件起始时间和事件停止时间,从摄影机请求包括至少在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频的图像数据,并且在显示器上显示事件视频,其中包括全部以下两项:在从事件起始时间到事件停止时间的时间跨度期间所发生的事件数据、运动分析数据或者其任意组合;以及在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频。

当通信信道可用时,运动捕获数据以及任何事件相关的起始/停止时间在1701处被推送到任何计算机(例如101、102、102a、102b、105),或者由任何计算机获得或者通过其他方式接收。还可以获得传感器上和/或运动捕获数据时间中的时钟之间的时钟差异。这可以通过读取传入消息中的当前时间标记并且把传入消息时间与本地计算机的时钟的当前时间进行比较来实施,对于同步的更多细节例如还参见图18。来自传感器和计算机的时钟中的差异可以被利用来在1702处从任何本地的或者对于考虑任何时钟差异而经过调节的时间指向事件位置的摄影机请求图像数据。举例来说,计算机可以通过查询所有摄影机103、104或者设备101、102和/或102a上的摄影机来请求在所述时间/位置处拍摄的图像,其中任何或所有所述设备具有在附近拍摄的图像(例如基于gps位置或无线范围)并且/或者指向获得自运动捕获元件111的事件。如果设备不处在附近但是指向事件的位置,正如当配备有磁力计时通过其位置和指向所确定的那样,则其也可以通过对应于所述时间范围的图像来作出响应。可以通过电子方式进行通信的任何类型的摄影机都可以被查询,其中包括保姆摄像头等等。举例来说,可以由移动计算机101在接收到来自运动捕获传感器111的事件之后发送消息,其中所述消息可以被发送到例如处于移动计算机101的无线范围内的任何摄影机。替换地或者与之相组合,移动计算机101可以发送征求处于事件位置的预定义距离内的任何摄影机身份,或者查询指向事件的方向的即使并非相对接近的任何摄影机。在接收到潜在摄影机的列表时,移动设备101可以例如向其查询在围绕事件的预定义窗口中获得的任何图像。在1703处,计算机可以接收图像数据,或者如果计算机与摄影机耦合的话则可以在本地查找图像。在一个或更多实施例中,服务器172可以迭代经过视频和事件以便确定任何相关的视频和事件,并且自动修剪视频以便对应于事件起始和停止时间的持续时间。虽然可以利用无线通信,但是任何其他形式的图像数据传输也符合本发明的精神。不管是处于数字还是图形覆层格式或者包括文字的任何其他格式中的来自事件的数据都可以与对应于该时间的相应图像一起被示出,或者在1704处被叠加到对应于该时间的相应图像上。这在时间1710(即当前时间)处通过图形方式被示出,其对于示出具有叠加的运动捕获数据1712的运动事件的一帧的图像1711例如是可滚动的。对于组合的或同时无叠加的数据例如参见图6。

图18示出了可以由本发明的一个或更多实施例利用的同步架构的一个实施例。一些实施例可以使用任何类型的同步方法来同步系统中的时钟,并且在一个或更多实施例中,移动设备101上的计算机160还被配置成确定运动捕获元件111与移动设备之间的时钟差异,并且把运动分析数据与视频同步。举例来说,本发明的一个或更多实施例提供用于使得多台记录设备同步关于每一台设备的时间、位置或指向的信息的规程,从而可以组合来自不同设备的关于事件所记录的数据。这样的记录设备可以是嵌入式传感器、具有摄影机或麦克风的移动电话,或者更一般来说是可以记录与感兴趣的活动相关的数据的任何设备。在一个或更多实施例中,这一同步是通过在设备之间交换信息来实现的,从而使得各台设备可以在针对时间、位置或指向的共同测量方面达成一致。举例来说,移动电话和嵌入式传感器可以跨过链接1802例如通过无线方式交换带有其内部时钟的当前时间标记的消息;这些消息允许发生协商,其中两台设备在共同时间方面达成一致。这样的消息可以按照需要周期性地交换,以便解决前一次同步之后的设备的时钟漂移或运动。在其他实施例中,多台记录设备可以使用共同的服务器或服务器集合1801以获得时间、位置或指向的标准化度量。举例来说,设备可以使用gps系统来获得对应于每一台设备的绝对位置信息。gps系统还可以被用来获得标准化时间。ntp(网络时间协议)服务器还可以被用作标准化时间服务器。通过使用服务器允许各台设备在共同测量方面达成一致,而不必总是被配置来彼此通信。

图19示出了由其中一个运动捕获传感器111检测到事件,传送事件检测(在这里被显示成从位于中心处的传感器111发出并且去到例如移动设备101上的其他运动捕获传感器111和/或摄影机的箭头),保存事件运动数据,以及修剪视频以对应于事件。在本发明的一个或更多实施例中,其中一些记录设备被配置成检测各种感兴趣事件的发生。一些此类事件可能在特定时刻发生;其他此类事件可能在一段时间间隔内发生,其中所述检测包括检测事件的起始和事件的结束。这些设备被配置成利用前面所描述的对应于时间、位置和指向的同步测量基础对记录设备的时间、位置或指向的任意组合进行记录,其例如连同事件数据一起被包括在存储器缓冲器4610中,或者处于任何其他数据结构中。

移动设备上的计算机的实施例还可以被配置成丢弃落在事件起始时间到事件停止之外的至少一部分视频,例如事件或者具有预定义的在前和在后间隔1902和1903的事件之前和之后的部分1910和1911。举例来说,在本发明的一个或更多实施例中,其中一些记录设备在等待检测事件的同时持续地把数据捕获到存储器。为了节省存储器,一些设备可以被配置成只有当数据在时间上邻近所检测到的事件时才把该数据存储到更加永久性的本地存储介质或者存储到服务器172。例如在没有检测到事件的情况下,新记录的数据可以最终在存储器中覆写先前记录的数据,这取决于正在记录运动数据或视频数据的每一台设备中的存储器的数量。在一些实施例中可以把循环缓冲器用作此类覆写方案的一种典型实现方式。当事件检测发生时,除了存储在事件本身(即1901)期间捕获的数据之外,记录设备可以存储事件起始之前的某一所配置的数据量(接近在前间隔1902的起始)以及事件结束之后的某一所配置的数据量(接近1903)。任何在前或在后的时间间隔都被视为事件起始时间和事件停止时间的一部分,从而使得例如在视频中示出事件的情境。这就为事件给出了情境,例如可以依照体育运动来设定在前时间间隔的数量,以便允许高尔夫球挥击的准备(setup)成为事件视频的一部分,尽管其在击打高尔夫球的实际事件之前发生。还可以根据为在后间隔分配的间隔数量记录保持姿势。

所述系统的实施例还可以包括远离移动设备的服务器计算机,其中服务器计算机被配置成丢弃落在事件起始时间到事件停止之外的至少一部分视频,并且把在从事件起始时间到事件停止时间的时间跨度期间所捕获的视频返回到移动设备中的计算机。服务器或移动设备可以把运动分析数据或事件数据(例如速度或未经处理的加速度数据)与视频相组合或者叠加到视频上以形成事件视频1900,从而可以大大减少所需的视频存储的数量,这是因为部分1910和1911的时间长度通常可能比事件大得多。

所述至少一个运动捕获元件的实施例可以被配置成把事件传送到至少另一个运动捕获传感器或者至少另一台移动设备或者其任意组合,并且其中所述至少另一个运动捕获传感器或至少另一台移动设备或者其任意组合被配置成保存与所述事件相关联的数据。例如在具有同时操作的多台记录设备的实施例中,一台此类设备可以检测到事件,并且向其他记录设备发送表明这样的事件检测已经发生的消息。该消息可以包括事件的起始和/或停止的时间标记,其中对于各台设备的时钟使用同步时间基础。接收设备(例如其他运动捕获传感器和/或摄影机)可以使用事件检测消息把与事件相关联的数据存储到例如处于运动捕获元件111或移动设备101或服务器172内的非易失性存储装置。除了与事件1901直接相关联的数据之外,所述设备可以被配置成存储事件起始之前的一定数据量以及事件结束之后的一定数据量(分别是1902和1903)。通过这种方式,所有设备可以同时记录数据,但是使用来自仅仅其中一台设备的事件触发以发起对于来自多个来源的分布式事件数据的保存。

所述计算机的实施例还可以被配置成保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据,或者可以利用远程服务器来保存视频。在本发明的一个或更多实施例中,其中一些记录设备在其中可能发生事件的时间段内可能无法始终都彼此直接通信。在这些情况下,设备可以被配置成将其已记录的所有数据的完整记录保存到永久性存储装置或者保存到服务器。仅仅保存与事件相关联的数据在这些情况下可能无法做到,这是因为一些设备可能无法接收到事件触发消息。在这些情况下,可以在事后对所保存的数据进行处理,以便提取出与一个或更多所检测到的事件相关联的仅仅是相关的部分。举例来说,多台移动设备可能记录运动员或表演者的视频,并且持续地将该视频上传到服务器172以进行存储。所述运动员或表演者可能单独配备有能够检测例如特定运动或动作之类的事件的嵌入式传感器。嵌入式传感器数据可以被持续地或者在后来的某一时间上传到相同的服务器。由于包括视频流以及嵌入式传感器数据在内的所有数据通常都加有时间标记,因此与通过嵌入式传感器检测到的事件相关联的视频可以在服务器上被提取和组合。服务器或计算机的实施例还可以被配置成当所述至少一个运动捕获传感器与移动设备之间的通信链接开放时,丢弃落在事件起始时间到事件停止之外的至少一部分视频,并且保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据。或者,如果通信链接不开放,所述计算机的实施例还可以被配置成保存视频,并且在通信链接开放之后接收到事件之后,随后丢弃落在事件起始时间到事件停止之外的至少一部分视频,并且保存从事件起始时间到事件停止时间的视频以及从事件起始时间到事件停止时间发生的运动分析数据。例如在本发明的一些实施例中,数据可以如前所述地被上传到服务器,并且与每一台设备的数据流相关联的位置和指向数据可以被用来提取对于所检测到的事件相关的数据。举例来说,一个较大的移动设备集合可以被用来在整个高尔夫球巡回赛期间在各个位置处记录视频。该视频数据可以被持续地或者在巡回赛之后上传到服务器。在巡回赛之后,具有事件检测的传感器数据也可以被上传到相同的服务器。对于这些各种数据流的后处理可以识别出在所发生的事件的物理邻近处同时记录的特定视频流。附加的过滤器可以选择其中摄影机正指向正确的方向以观察事件的视频流。所选择的这些流可以与传感器数据相组合,从而形成具有示出事件的多个视频角度的聚合数据流。

所述系统可以从与移动设备耦合的摄影机或者与移动设备分开或者通过其他方式远离移动设备的任何摄影机获得视频。在一个或更多实施例中,从远离移动设备的服务器获得视频,例如在针对某一位置和时间间隔处的视频的查询之后获得。

服务器或计算机的实施例可以被配置成通过图像分析同步所述视频和所述事件数据或者所述运动分析数据,以便更加准确地确定所述视频中的与所述事件起始时间或所述事件停止时间或全部二者最紧密地相关联的起始事件帧或停止事件帧或全部二者。在本发明的一个或更多实施例中,记录设备之间的时钟同步可以是近似的。可能希望基于观看来自每一台设备的事件改进同步来自多台记录设备的数据馈送的准确性。在一个或更多实施例中,对于多个数据流的处理被用来观察不同的流中的事件的签名,以便帮助细粒度同步。举例来说,可以把嵌入式传感器与包括视频摄影机的移动设备同步,但是时间同步可能仅仅准确到100毫秒以内。如果视频摄影机以每秒30帧记录视频,则对应于嵌入式传感器上的事件检测的视频帧单独基于同步时间标记只能被确定在3帧以内。在所述设备的一个实施例中,可以使用视频帧图像处理来确定最紧密地对应于所检测到的事件的精确帧。对于更多细节参见图8及其描述。举例来说,可以把通过惯性传感器检测到的如图17中所示的滑雪板击中地面的震动与其中滑雪板的几何边界和地面发生接触的帧相关。其他实施例可以使用检测事件签名的其他图像处理技术或其他方法来改进多个数据馈送的同步。

所述至少一个运动捕获元件的实施例可以包括与微控制器耦合的被配置成确定位置的位置确定元件,其中微控制器被配置成向移动设备上的计算机传送位置。在一个或更多实施例中,所述系统还包括服务器,其中微控制器被配置成直接或通过移动设备向服务器传送位置,并且其中计算机或服务器被配置成基于位置以及事件起始时间和事件停止时间从视频的各个部分形成事件视频。举例来说,在一个或更多实施例中,可以例如在移动设备101上或服务器172上或者在计算机105或者与系统耦合的任何其他计算机上把事件视频修剪到特定长度的事件,并且将其转码到任何视频质量,并且按照任何方式与运动分析数据或事件数据(例如速度或加速度数据)叠加或者通过其他方式与之整合。视频可以按照任何分辨率、深度或图像质量或者用以存储视频的压缩类型或者任何其他技术被本地存储,以便最大化存储容量或帧率,或者利用任何压缩类型以便最小化存储,而不管移动设备、至少一个运动捕获传感器和/或服务器之间的通信链接是否开放。在一个或更多实施例中,速度或其他运动分析数据可以例如被叠加或者通过其他方式组合在视频下方的某一部分上,其中包括事件起始和停止时间,所述事件起始和停止时间可以包括实际事件之前和/或之后的任意秒数,以便例如提供击球事件之前的挥击的视频。在一个或更多实施例中,所述至少一个运动捕获传感器和/或(多台)移动设备可以把事件和视频传送到服务器,其中服务器可以确定特定视频和传感器数据发生在特定位置和特定时间,并且从几个视频和几个传感器事件构造事件视频。传感器事件例如可以是来自与用户和/或装备耦合的一个传感器或多个传感器。因此,所述系统可以构造对应于事件的短视频,从而例如大大减少了视频存储需求。

在一个或更多实施例中,所述微控制器或计算机被配置成确定事件的位置,或者所述微控制器和计算机被配置成确定事件的位置并且对位置进行相关,这例如是通过对位置进行相关或平均以便提供事件的中心点,并且/或者可以最小化来自初始化gps传感器的错误位置数据。通过这种方式,具有移动设备的一组用户可以生成高尔夫球手开球的视频,其中可以利用至少一台运动捕获设备的事件位置,并且其中服务器可以从观众处获得视频并且生成职业高尔夫球手的挥击和击球的事件视频,其中事件视频可以利用来自不同摄影机的各帧生成高尔夫球手挥击时的围绕高尔夫球手的bullet视频。所得到的一个或多个视频可以被修剪到事件的持续时间,例如从事件起始时间到事件停止时间,并且/或者具有围绕事件的任何在前或在后的预定时间数值,从而确保捕获到包括对应于挥击或其他事件的任何准备时间和任何保持姿势时间在内的整个事件。

在一个或更多实施例中,移动设备上的计算机可以从邻近事件的至少一台摄影机请求包含事件的至少一幅图像或视频,这是通过直接广播针对由任何摄影机在所述区域内拍摄的任何视频的请求,其可选地可以包括关于所述摄影机是否不仅位于事件附近而且还指向或者通过其他方式朝向事件的指向信息。在其他实施例中,可以由移动设备上的计算机从远程服务器请求视频。在这种情形中,与事件相关联的任何位置和/或时间可以被利用来返回事件附近的或者在接近事件的时间拍摄的图像和/或视频或者全部二者。在一个或更多实施例中,计算机或服务器可以修剪视频以对应于事件持续时间,并且同样地可以利用图像处理技术进一步同步事件的各个部分,比如具有视频中的相应帧的击球,其例如与对应于装备上的击球的加速度数据相匹配。

移动设备或服务器上的计算机的实施例可以被配置成显示已发生某一事件或者其中已发生一个或更多事件的一个或更多时间的列表。通过这种方式,用户可以从列表中找到事件以便快速地访问事件视频。

本发明的实施例可以包括与所述移动设备物理地耦合的至少一个运动捕获传感器。这些实施例允许具有集成传感器的任何类型的移动电话或摄影机系统(比如任何类型的头盔安放的摄影机或者包括摄影机和运动捕获传感器全部二者的任何安放装置)生成事件数据和视频数据。

在本发明的一个或多个实施例中,系统配置成允许运动事件数据与视频事件数据的整合。图1示出了这种系统的实施例的核心元件。运动事件数据可以由一个或多个动作捕捉传感器111提供,动作捕捉传感器111可以配置成在位置l1附接到用户150、设备110或移动设备130。这些动作捕捉元件可以包括一个或多个测量诸如取向、位置、速度和加速度的运动值的传感器。动作捕捉元件还可以包括存储器,用于存储采集的数据,以及微处理器,用于分析此数据。它们还可以包括用于与其他设备通信并且传送动作捕捉数据的无线电广播设备。

在一些实施例中,微处理器与动作捕捉元件耦合,可以从传感器采集数据、在其存储器中存储数据并且很可能分析数据以识别数据中的事件。然后它可以通过所附接的无线电广播设备发送原始运动数据或事件数据。此原始运动数据或事件数据可以包括其他信息,诸如动作捕捉元件、用户或设备的标识符以及动作捕捉元件检测到的事件类型的标识符。

在一些实施例中,系统还可以包括一台或多台计算机105(膝上型计算机或台式计算机)、160(移动电话cpu)或其他与传感器或摄影机通信的计算机。图1a示出了集成到移动设备中的计算机处理器或“计算机”160的实施例的可能部件。计算机可以具有无线通信接口164,能够与一个或多个动作捕捉元件111的无线电广播设备通信,以接收与运动事件相关的事件数据。计算机可以接收原始运动数据,并且它可以分析此数据以确定事件。在其他实施例中,事件的确定可以在动作捕捉元件111中进行,而计算机(诸如105或160)可以接收事件数据。这两种方法的组合在其他实施例中也是可行的。

在一些实施例中,计算机或多台计算机还可以分析事件数据,以生成运动分析数据。此运动分析数据可包括对于由动作捕捉元件或多个动作捕捉元件记录的运动所涉及的特征。一台或多台计算机可以存储运动数据、事件数据、运动分析数据或其组合,以用于将来取回和分析。可以诸如在存储器162中本地存储数据,或者例如在数据库172中远程存储。在一些实施例中,计算机或多台计算机可以由事件数据确定运动事件的起始时间和终止时间。然后它们可以从诸如103、130、130a或130b的摄影机请求图像数据,其中摄影机采集射频或在此事件起始时间与事件终止时间之间的至少某一部分时间内的一些时间间隔的一个或多个图像。本说明书中的术语“视频”将包括各种图像以及连续视频,包括摄影机在事件间隔期间拍下单次快摄图像的情况。然后此视频数据可以与运动数据相关联,构成视频和动作捕捉集成系统的一部分。如图所示,位置l2处的摄影机103具有视野f2,而在位置l3处的移动设备102a的摄影机具有视野f3。在至少一个实施例中,对于其视野复叠在事件上的摄影机,最佳视频的智能选择通过图像分析来实现。诸如环境传感器的传感器107还可以用于触发事件或至少被查询数值,以组合事件视频,数值例如是风速、湿度、温度、声音等。在其他实施例中,系统可以查询位置l1周围的预定义范围内的视频和事件,并且可以使用在位置l2和l3处的每一台摄影机的视野来确定视频是否可能捕捉到事件。

在一些实施例中,从摄影机请求视频可以与运动数据的采集或分析同时进行。在这类实施例中,系统将会获得或生成事件已经开始的通知,然后系统将会请求视频从一台或多台摄影机流到计算机,直至检测到事件结束。在其他实施例中,用户可以通过按预定义次数轻拍或移动动作捕捉传感器来进行动作表示,以表示事件开始,例如将棒球棍轻拍到击球手鞋上两次可以表示轮到击球事件开始。

在其他实施例中,请求视频可以在摄影机(诸如103)已经向诸如服务器172的另一计算机上传其视频记录之后进行。在此情况下,计算机将会从服务器172请求视频而不是直接从摄影机请求。

在一些实施例中,计算机或多台计算机可以执行运动数据与视频数据的同步。各种技术可以用于执行此同步。图1e示出了此同步处理的实施例。动作捕捉元件111包括时钟2901,命名为“时钟s”。当事件发生时,动作捕捉元件由时钟s随着时间t1s、t2s、t3s等的推移生成时间戳数据2910。摄影机103采集视频或事件某一部分的图像。摄影机还包括时钟2902,命名为“时钟i”。摄影机由时钟i随着时间t1i、t2i、t3i等的推移生成时间戳图像数据2911。计算机105接收运动数据和图像数据。计算机包含另一时钟2903,命名为“时钟c”。计算机执行同步处理,包含将来自三个时钟2912、2913和2914的各个时间标度对齐。这种同步的结果是时钟2915之间的一致性。一般而言,时钟校准可以要求生成时间差,并且拉伸或收缩事件标度来反映不同的时钟频率。在一些实施例中,不是每一个数据帧或图像帧都可以是时间戳,反而第一帧或最后一帧可以与时间相关,并且对于帧捕捉可以存在已知的时钟频率。在其他实施例中,数据可以不包括时间戳,但是可以一旦捕捉到立即发送,使得计算机能够基于接收时间和可能的网络延迟来估算捕捉时间。

在图1e所示的实施例中,计算机生成同步事件视频2920,同步事件视频2920将会包括运动数据、事件数据、或者在事件起始时间与事件终止时间之间获得或计算得到的运动分析数据的至少一部分以及在此起始时间与终止时间之间从摄影机获得的视频或图像的一部分。此同步事件视频提供了增广的、综合的事件记录,该事件记录结合了运动数据和图像数据。在所示示例中,同步处理将第一图像帧f1赋值到事件t5c、第一运动数据帧d1赋值到事件t6c。在此示例中,图像帧捕捉率是数据帧捕捉率的两倍。

本发明的一个或多个实施例还可以获得与来自至少一台摄影机的至少一个视频相关的至少一个视频起始时间和至少一个视频停止时间。系统的其中一台计算机可以基于与获取自所述至少一个动作捕捉元件的所述数据或所述事件数据相关联的第一时间,可选择地将所述事件数据、所述运动分析数据或其任意组合与所述至少一个视频同步,其中所述至少一个动作捕捉元件与所述用户或所述设备或耦合至用户的所述移动设备耦合,并且所述事件关联所述至少一个视频,以创建至少一个同步事件视频。实施例命令至少一台摄影机将至少在从所述事件起始时间到所述事件终止时间内的时间跨度期间采集的至少一个同步事件视频传送到另一计算机,而不将在从所述事件起始时间到所述事件终止时间内的所述时间跨度以外发生的,即是在所述至少一个视频以外发生的至少一部分视频传送到所述另一计算机。一个或多个实施例还可以配置成叠加包括在从所述事件起始时间到所述事件终止时间的所述时间跨度期间发生的所述事件数据、所述运动分析数据二者或其任意组合的同步事件视频,并且所述视频在从所述事件起始时间到所述事件终止时间的所述时间跨度期间采集。

在本发明的一个或多个实施例中,计算机可以放弃事件时间间隔以外的视频,事件时间间隔自事件起始时间测量至事件终止时间。这种放弃通过仅仅存储与所涉及事件相关的视频,可以节省相当大的、用于视频存储的存储资源。图19示出了此流程的实施例。同步事件视频1900包括事件期间的运动和图像数据1901,并且给予一些预定义前后间隔1902和1903。放弃前后间隔前后的部分1910和1911。

在一个或多个实施例中,配置成接收或处理运动数据或视频数据的计算机可以是移动设备,包括但不限于移动电话、智能电话120、平板计算机、pda、膝上型计算机105、笔记本电脑或能够轻易运输或重新布置的任意其他设备。在其他实施例中,这种计算机可以集成到摄影机103、104中,尤其是可以集成到从其获取视频数据摄影机中。在其他实施例中,这种计算机可以是台式计算机或服务器计算机152,包括但不限于在数据中心或基于云的服务中作为虚拟机器运行的虚拟计算机。在一些实施例中,所述系统可以包括任一种上述类型的多种计算机,并且这些计算机可以共同执行本说明书所述的操作。对于本领域技术人员显而易见的是,这种计算机分布式网络能够以多种可行的方式划分任务,并且如有需要,能够协调它们的动作来重复单个中央计算机的动作。本说明书中的术语“计算机”旨在表意为任一种或所有上述类型计算机,并且包括多台这类计算机共同作用的网络。

在一个或多个实施例中,与动作捕捉元件111相关联的微控制器以及计算机105配置成从共同时钟获取时钟信息,并且将它们的内部本地时钟2901和2903设定成此共同值。此方法也可以用于将摄影机2902的内部时钟设定成同一共同时钟值。共同时钟值可以是系统的一部分,或者它可以是用作远程事件服务器的外部时钟。各种技术可以用于将每一台设备的时钟同步成共同时钟,包括网络时间协议或其他类似协议。图18示出了本发明使用ntp或gps服务器1801作为共同时间源的一个实施例。通过定期将设备时钟同步成共同时钟1801,动作捕捉数据和视频数据可以通过利用记录它们的时间来标记时间从而简单地同步。

在一个或多个实施例中,计算机可以获取或创建一系列同步事件视频。计算机可以为用户显示此系列的综合概述,以查看事件历史。图20示出了此流程的实施例。视频剪辑1900a、1900b、1900c、1900d和1900e获取自对应于不同事件的不同时间。移除在这些事件之前的视频或运动数据1910和1911以及在这些事件之间的数据1910a、1901b、1910c以及1910d。结果是综合概述2000。在一些实施例中,此概述可以包括一个或多个由视频产生的极小图像。在其他实施例中,概述可以包括整个事件视频的较小选择。综合概述还可以包括显示与每一个同步事件视频相关的运动分析或事件数据。在一些实施例中,计算机可以获取度量并且针对每一个事件显示此度量值。这些度量值的显示在不同实施例中可以变化。在一些实施例中,度量值的显示可以是条形图、线图或其他图形技术,以显示绝对值或相对值。在其他实施例中,可以使用标上色标或其他视觉效果。在其他实施例中,可以显示度量数值。一些实施例可以使用这些方法的组合。在图20所示示例中,与每一个事件相关的速度度量值显示为每一个数值带有圆圈的图表。

在一个或多个实施例中,计算机可以接受所涉及的度量的选择标准,所涉及的度量与系列事件的运动分析数据或事件数据相关联。例如,用户可以提供诸如超过阈值的度量、或者在范围内的度量或在范围外的度量的标准。可以使用任意标准,该标准可以应用于事件的度量值。响应于标准的选择,计算机可以仅仅显示符合所选择标准的同步事件视频或它们的概述(诸如缩略图)。已经提供了所选择标准2010来指定速度至少应为5。计算机通过显示2001剪辑1到剪辑4来响应;剪辑5基于其相关速度已被排除。

在本发明的一些实施例中,计算机可以基于所选度量值排序并排名用于显示的同步事件视频。在一些实施例中,这种排序和排名可以在基于上述所选择标准进行过滤之外而进行。计算机可以显示度量值的有序列表,伴随有与事件相关的视频或缩略图。继续上述如图20所示的示例,如果基于速度已排序的显示是指定的,计算机生成2002从最高速到最低速记录的剪辑。在一个或多个实施例中,计算机可以生成组合了满足所选择标准的事件视频的高光时刻。这种高光时刻可以包括所选择事件的整个视频,或者对应于由运动分析确定的事件重要时刻的视频部分。在一些实施例中,高光时刻可以包括在视频上或所选帧上的数据或图形覆盖物,以显示来自运动分析的度量值。一旦用户通过指定所选择标准来指示需要包括何种事件,这种高光时刻可以为用户自动生成。在一些实施例中,计算机可以允许用户编辑高光时刻以添加或移除事件、延长或缩短针对每一个事件显示的视频、针对运动数据添加或移除图形覆盖物或添加特殊效果或音轨。

在一个或多个实施例中,视频和运动集成系统可以包含多台摄影机,诸如摄影机103、104、130、130a和130b。在这类实施例中,计算机可以请求对应于来自多台摄影机的事件时帧的视频,其中多台摄影机在此时帧期间采集视频。这些视频的每一个可以与上述事件数据和运动分析数据同步,以同步成单个视频。来自多台摄影机的视频可以提供事件的不同角度或视野,全部同步到运动数据和共同时基。

在具有多台摄影机的一个或多个实施例中,计算机可以从与事件相关的可能视频组中选择特定视频。所选择的视频可以基于各种可能的标准最佳地或最完整地观察事件。在一些实施例中,计算机可以使用对每一个视频进行图像分析,以确定最佳选择。例如,一些实施例可以使用图像分析来确定哪一个视频最完整,其中最少地遮挡所涉及的设备或人,或者设备或人是最清晰可见的。在一些实施例中,这种图像分析可以包括在录制视频期间摄影机抖动度的分析,以及具有最稳定图像的视频的选择。图21示出了此流程的实施例。动作捕捉元件111表示事件,由摄影机103a和103b记录。计算机105从两台摄影机取回视频。摄影机103b在事件期间有抖动。为了确定具有最小抖动的视频,计算机105计算每一个视频的帧间差。例如,此差值可以由贯穿所有像素的每一个像素的rgb值的差的绝对值总和构成。此计算得出对于摄影机103b的帧差2111和对于摄影机103a的帧差2110。两个视频中的帧间差随着事件发生而增大,但是由于增大的抖动,它们在2111处始终更大。因此,在流程2120中计算机能够自动选择视频2110。在一些实施例中,用户2130可以作出优选视频的选择,或者用户可以通过指定最重要的标准来协助计算机作出选择。

在本发明的一个或多个实施例中,计算机可以获取或生成事件开始的通知,然后计算机可以从该点起监控事件数据和运动分析数据,直至事件结束。例如,一旦事件开始出现,与动作捕捉元件相关的微控制器可以向计算机定期发送事件数据;随着事件发生,计算机能够使用此数据监控事件。在一些实施例中,这种监控数据可以用于向录制事件视频的摄影机发送控制信息。在具有多台摄影机的实施例中,控制信息在事件期间可以广播或发送到摄影机组。

在一些实施例中,这些发送到摄影机或多台摄影机的控制信息可以基于与事件相关的数据修改视频记录参数,包括运动分析数据。图22示出了此流程的实施例。动作捕捉传感器111向计算机105发送运动数据,然后计算机105向摄影机103发送控制信息。在所示示例中,设备110在事件之前最初处于休眠。计算机检测到不存在活跃事件,并且向摄影机发送信息2210指示其关掉录制并等待事件。运动2201开始并且计算机检测到事件开始;它向摄影机发送信息2211以开启录制,而摄影机以正常速率录制视频帧2321。在2202处,运动快速提高,而计算机检测到高速;它向摄影机发送信息2212以提高帧频来捕捉高速事件。摄影机以高速生成视频帧2322。通过在快速运动期间使用更高的帧频,用户能够在重播期间放慢动作,以极其详细地观察高运动事件。在2203处事件完成,计算机向摄影机发送信息2213以停止录制。这样保留了摄影机电力并且事件之间的视频存储空间。

在更概括的一些实施例中,计算机可以向摄影机或多台摄影机发送控制信息,以响应于事件数据或运动分析数据来修改任意相关的视频记录参数。这些记录参数例如可以包括帧频、分辨率、色深、色彩或灰度、压缩方法、以及视频压缩质量还有打开或关掉录制。

在本发明的一个或多个实施例中,计算机可以接受例如来自用户的音轨,并且将此音轨结合到同步事件视频中。例如这种结合将会在重播事件视频或高光时刻期间添加音频音轨。一些实施例可以使用事件数据或运动分析数据,以将音轨智能结合到同步事件视频中。例如,一些实施例可以分析音轨,以便例如基于高音频幅度的时间点来确定音轨的节拍。然后音轨的节拍可以利用事件数据或运动分析数据与事件同步。例如随着用户或对象的运动提高或降低,这种技术可以自动加速或放慢音轨。这些技术提供了丰富的媒体体验,伴随有与事件相关的音频或视觉线索。

在一个或多个实施例中,计算机配置成在一个或多个显示器上重播同步事件视频。这些显示器可以直接附接到计算机,或者可以远程位于其他设备上。使用事件数据或运动分析数据,计算机可以修改重播,以添加或改变各种效果。这些修改可以在重播期间多次出现,甚至在重播期间随着事件数据改变连续出现。

作为示例,在一些实施例中,计算机可以基于事件数据或运动分析数据修改同步事件视频的重播速度。例如在低运动期间,重播可以以正常速度进行,而在高运动期间,重播可以切换到慢动作,以突出运动细节。对重播速度的修改可以基于任何观察到或计算得到的事件或运动特征来进行。例如,事件数据可以识别感兴趣的特定子事件,诸如击球、跳跃的开始或结束或者任意其他感兴趣的时刻。随着同步事件视频涉及到这些子事件,计算机可以修改重播速度以放慢重播。这种减速会持续增加,以精致细节突出子事件。甚至可以在子事件中停止重播并且等待来自用户的输入以继续。也可以基于来自运动分析数据或事件数据的一个或多个度量值放慢重播。例如,运动分析数据可以表示正在移动的棒球棍或高尔夫球杆的速度,并且随着这种对象的速度提高,可以持续调节重播速度为更慢。重播速度在这种度量峰值附近可以进行得非常慢。

图23示出了使用运动数据可改变速度的重播的一个实施例。运动捕捉元件111记录运动传感器信息,包括x轴1501上的线性加速度。(一般而言,也可以记录许多附加传感器值;此示例使用单根轴以作简化。)当x轴线性加速度超过事件阈值2301时,此阈值定义了所涉及的事件。在1502和1503处检测到事件,事件1502在2302处开始并且在2303处完成。在重播时,在事件之间使用正常重播速度2310。随着接近事件1502的开始,从2311处开始重播速度降低,使得用户能够更详尽地观察事件前的运动。在事件期间在2313处,重播速度非常低。在2303处事件结束之后,重播速度逐渐提高回到2313处的正常速度。

在其他实施例中,可以对不限于重播速度的其他重播特征进行修改。例如,计算机可以修改重播速度、图像亮度、图像颜色、图像焦距、图像分辨率、闪烁特殊效果或者图形覆盖物或边框的使用的全部或任一者。这些修改可以基于运动分析数据、事件数据、子事件或其他同步事件视频的任意特征来进行。作为示例,随着重播涉及到感兴趣的子事件,可以添加闪烁特殊效果,并且可以在视频中感兴趣的对象周围添加边框,感兴趣的对象诸如是将要被设备击中的球。

在包括音轨的实施例中,对重播特征的修改可以包括对音轨重播特征的修改。例如,这类修改可以包括对音量、拍子、音调或音轨的音频特殊效果的修改。例如,音轨的音量和拍子可以随着重播涉及到感兴趣的子事件而增强,以突出子事件并为用户观看和倾听重播提供更动态的体验。

在本发明的一个或多个实施例中,计算机可以使用事件数据或运动分析数据来选择性地保存视频流或所录视频的仅仅一部分。这是图19所示的,其中放弃视频部分1910和1911,仅仅保存具有事件前部分1902和事件后部分1903的事件视频1901。这种技术通过集中到感兴趣的事件,能够显著降低对视频存储的要求。在一些实施例中,当事件进行中时,计算机可以具有对动作捕捉传感器的开放式通信链路。然后计算机可以接收或生成事件开始的通知,并且在此时开始保存视频;然后它可以继续保存视频,直至它接收到或生成事件结束的通知。在事件期间,计算机还可以向摄影机或多台摄影机发送控制信息,以启动和终止摄影机上的视频保存,如图22所示。

在其他实施例中,计算机可以在事件已经完结之后保存或接收视频和事件数据,而不是通过直播通信链路在贯穿事件期间开放。在这些实施例中,计算机能够截短所保存的视频以放弃感兴趣事件以外的一部分视频。例如,服务器计算机152可以用作视频和事件数据二者的存储器。服务器能够在上传后关联事件数据和视频,并且截短所保存的视频至仅仅由事件数据所指示的所涉及的时帧。

在一个或多个实施例中,计算机可以使用视频图像分析,以协助视频与事件数据和运动分析数据的同步。例如,运动分析数据可以指示猛烈的物理震动(例如使用加速度计检测到),例如来自击球,像是棒球或高尔夫球,或者来自跳跃后的滑板着陆。计算机可以分析来自视频的图像,以定位发生此震动的帧。例如,记录高尔夫球的视频可以使用图像分析来检测视频流中球何时开始移动;高尔夫球运动的第一帧是球杆撞击之后的第一帧,然后可以与对应的运动分析数据中的震动同步。这是图24所示的,其中视频图像分析识别高尔夫球2401。球2401开始移动的帧,在示例中表示为撞击帧34,可以匹配到运动分析数据中显示撞击震动的特定点。这些视频和运动数据帧可以用作关键帧;通过这些关键帧,可以导出最紧密对应于事件开始和结束的视频帧。

在一个或多个实施例中,计算机可以使用视频图像分析来生成自视频中的对象开始的度量。此度量可以例如测量对象运动的某些方面。这种度量源自于图像分析,可以附加于从来自运动传感器的数据运动分析获得的度量使用或与其联用。在一些实施例中,图像分析可以使用本领域已知的若干技术的任一种来定位与感兴趣的对象相关的像素点。例如,已知某些对象可以具有特定的颜色、纹理或形状,并且这些特征可以用于定位视频帧中的对象。作为示例,已知高尔夫球可以近似为圆形、白色并且与球材料相关的纹理。图像分析能够使用这些特征来定位视频帧中的高尔夫球。使用多个视频帧可以计算高尔夫球的大约速度和旋转。例如,假设静止或几乎静止的摄影机,三维空间中高尔夫球的定位可以基于视频帧中球的位置且基于其大小来估算。帧中的定位给出了球的位置在图像平面上的投影,而大小提供了球相对于摄影机的景深。通过使用球在多个帧中的位置,并且通过使用给出了帧间时间差的帧频,可以估算球速。

图24示出了此流程,其中高尔夫球在帧2403中在位置2401处,而在帧2404中在位置2402处。高尔夫球具有能够用于测量到摄影机的球距及其旋转的图标。球速可以使用帧间移动距离以及帧间时间间隔来计算。作为简单示例,如果球的大小在帧间没有明显改变,那么球位置2402与2401之间的像素差可以使用摄影机视野和球的表观大小转化成距离。示例中所示的帧差是2帧(帧39至帧41),这可以基于摄影机帧频转换成时间。然后速度可以计算为距离对时间的比率。

在一个或多个实施例中,计算机能够访问先前存储的事件数据或运动分析数据,以显示新事件与一个或多个先前事件之间的比较。这些比较随着时间的推移,可以对于同一用户和同一设备,或者是在不同用户和不同设备之间进行。这些比较可以为用户提供他们性能方面变化的反馈,并且对其他用户或其他类型或型号的设备用户提供基准。作为图示,图1d显示了接收与用户150和152相关的事件数据。此数据发送至计算机105以作显示和比较。用户151能够比较用户150和152的性能,并且随着时间推移追踪每一个用户的性能。

在一个或多个实施例中,耦合到动作捕捉元件的微控制器配置为与其他动作捕捉传感器通信,以协调事件数据的采集。微控制器可以向另一动作捕捉传感器发送事件开始的通知,以触发其他传感器也采集事件数据。其他传感器可以本地保存其数据,以用于随后上传,或者当事件发生时,它可以通过开放式通信链路发送其事件数据到计算机。这些技术提供了主从架构类型,其中一个传感器充当主机并且可以调整从传感器网络。

在本发明的一个或多个实施例中,计算机可以使用事件数据来发现能够或可能已经录制事件视频的摄影机。这类摄影机必须接近事件的位置,并且它们必须以正确的朝向来观察事件。在一些系统中,摄影机的数量、位置和朝向不提前知晓且必须动态确定。随着事件发生,接收事件数据的计算机可以将请求广播到在事件附近或者取向为观察到事件的任一摄影机。此请求例如可以指示摄影机录制视频并且保存事件视频。然后在事件之后,计算机可以从这些邻近的、正确朝向的摄影机请求视频。这是图1所示的,其中计算机160可以接收来自动作捕捉元件111的事件开始通知。计算机160可以将请求广播到附近的所有摄影机,诸如103、104、130、130a和130b。作为示例,摄影机103和130可以接近并且正确朝向以观察事件;它们将会录制视频。摄影机104可以在很远处,而摄影机130a和130b可以足够接近然而不对准事件;这些摄影机将不会录制视频。

在一些实施例中,一个或多个视频在一台或多台计算机(诸如服务器152或云服务器)上可用,并且可以随后与事件数据关联。在这些实施例中,诸如152的计算机可以检索位于正确位置和朝向以观察事件的所存储视频。然后计算机可以取回合适的视频并且将它们与事件数据组合,以形成事件的综合观察,该综合观察具有来自多个位置和角度的视频。

在一个或多个实施例中,计算机可以获得来自除了动作捕捉传感器以外的其他传感器的传感器值,其中这些其他传感器接近事件并且提供与事件相关的其他有用的数据。例如,这类其他传感器可以感测温度、湿度、风、海拔、光、声音和生理度量(像心跳)的各种组合。计算机可以取回这些其他值并且将它们与事件数据以及运动分析数据一起保存,以在从事件开始到事件结束的时间跨度期间生成事件的扩展记录。

在一个或多个实施例中,通过微处理器、计算机及上述二者检测到、监控到以及被分析的事件类型可以包括各种类型的用户、设备或移动设备的重要运动事件。这些重要事件可以包括关键的或紧急的医疗状况或健康指标。这类事件类型的某一些可以包括表示站立、步行、下落、中暑、突发疾病、猛烈抖动、震荡、碰撞、异常步态以及呼吸异常或没有呼吸的运动。这些事件类型的组合还可以是检测到、监控到或被分析的。

虽然通过具体实施例及其应用描述了这里所公开的想法,但是在不背离权利要求书中所阐述的本发明的范围的情况下,本领域技术人员可以作出许多修改和变化。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1