一种高尔夫挥杆视频的智能比对分析系统及方法与流程

文档序号:15494103发布日期:2018-09-21 21:17阅读:490来源:国知局

本发明属于人体行为识别技术领域,具体涉及高尔夫挥杆动作序列的检测方法,高尔夫挥杆动作视频关键帧检测方法,尤其涉及一种高尔夫挥杆视频的智能比对分析系统及方法。



背景技术:

传统的体育训练都是一对一或者一对多的教练面授训练,不但受到了时间地点的局限,而且培训费用高,教练资源紧张。为了解决这一问题,越来越多的职业体育训练队或者国家训练队开始将运动捕捉应用于体育训练中。运动捕捉系统协助训练专家从多个视角观测训练者的运动动作,并获取训练者的多个运动参数和生理指标参数,为科学化的训练提供可靠的依据。

对于高尔夫运动,运动员的姿势和动作对于运动员打高尔夫时的表现有着很重要的影响。有时候一个细微的姿态变化都会影响到打球的方向、力度等等。许多研究者都尝试通过人体的姿势来研究运动员打高尔夫球时的摆动,因为肉眼无法在一瞬间精确的观察到运动员的动作是否标准。

目前有许多技术都被应用到高尔夫运动捕捉中,主要有机械式运动捕捉、电磁式运动捕捉、声学式运动捕捉、光学式运动捕捉来采集学员的运动信息数据。机械式运动捕捉精度较高,实时性好,可以同时捕捉多个对象,但机械装置对捕捉对象的动作约束比较大,使用不方便。电磁式运动捕捉技术成熟,成本低廉,可实现实时捕捉,但只能捕捉低频运动,对环境要求高,周围不能有磁场,多个捕捉会存在干扰。声学式运动捕捉可以很好的解决人体自遮挡问题,价格低廉,但存在较大的延迟和滞后,精度不高,误差较大。光学式运动捕捉,对运动对象没有限制,硬件成本低廉,后期数据处理大,算法复杂,对光线要求高,精度有待提高。

目前,市面的高尔夫分析仪大多都是由传感器来采集运动员的数据,由于需要穿戴专业的装备或者需要在身上放置标记物,来追踪人体的各部位的运动信息,在一定程度上限制了运动员的运动,所以很难得到广泛的应用。另一方面,在计算机视觉研究领域,大部分都是通过像kinect这样的深度摄像机来拍摄运动员的动作或者通过普通摄像机来拍摄视频通过姿态估计的方法来预测运动员的各个骨骼关键点信息。目前获取运动员的运动信息就只有这两种技术,但仅仅得到这些运动员的运动信息还不足以识别出运动员的动作是否错误。目前大部分高尔夫分析仪都还只能依靠人来分析高尔夫挥杆视频,或者回看视频来分析,或者通过运动信息数据来分析关键运动参数从而给出相应的指导,但没法像专业教练一样直接指出关键性错误的地方。



技术实现要素:

对于高尔夫动作分析而言,传统的动作识别的识别粒度比较粗,只能区分跑、走、拥抱等比较明显的动作,而高尔夫动作分析需要识别出姿势和动作是否合乎标准,其识别粒度非常精细,通过传统的动作识别是无法达到效果。目前市面上的高尔夫分析仪大部分是通过运动员携带传感器来记录运动员的运动过程中的身体参数的变化,但这些参数只能在一定角度上反映运动员的一些动作的错误,没法精确的定位一开始动作错误的地方,像专业教练一样及时指出错误的地方。而且携带传感器会给运动员带来很大的不便,不利于运动员发挥。

为解决上述技术问题,克服现有技术存在的技术缺陷,本发明采用如下技术方案:一种高尔夫挥杆视频的智能比对分析系统,包括:

与正面、侧面摄像头连接的红外检测装置,用于输出正面、侧面的运动员的挥杆视频;

与红外检测装置连接的openpose关键点检测装置,用于对输入的正面、侧面的运动员的挥杆视频以及预先准备好的完整的教练员的正面挥杆视频检测视频中人体的关键点信息、分离运动员目标人物与非运动员目标人物的关键点信息,输出运动员目标的正面、侧面的关键点信息序列以及教练员正面的关键点信息序列;

与openpose关键点检测装置连接的关键点信息序列预处理装置,用于对输入的运动员目标的正面、侧面的关键点信息序列以及教练员的正面关键点信息序列进行缺失值的填充、异常值的去除填充,输出预处理之后的运动员目标的正面、侧面的关键点信息序列以及教练员的正面关键点信息序列;

与关键点信息序列预处理装置连接的高尔夫挥杆动作序列检测装置,用于对输入的运动员正面关键点信息序列与教练员正面关键点信息序列之间进行相似度匹配,提取运动员正面关键点信息序列中完整的高尔夫挥杆动作序列,将高尔夫挥杆动作序列与非高尔夫挥杆动作序列相分离,输出运动员正面关键点信息序列中完整的高尔夫挥杆动作序列的开始时间点和结束时间点;

与高尔夫挥杆动作序列检测装置和关键点信息序列预处理装置连接的高尔夫挥杆动作关键帧检测装置,用于对输入的运动员正面关键点信息序列以及运动员完整高尔夫挥杆动作序列的开始时间和结束时间进行高尔夫挥杆动作关键帧检测,高尔夫挥杆动作关键帧共分为8帧,分别是:站位帧、引杆帧、上杆帧、顶点帧、释放帧、击球帧、送杆帧、收杆帧。分别输出这段运动员正面关键点信息序列的8个关键动作帧的时间点;

与高尔夫挥杆动作关键动作帧检测装置和关键点信息序列预处理装置连接的智能比对分析装置,用于对输入的运动员正面关键点信息序列的8个关键动作帧的时间点以及运动员的正面、侧面的关键点信息序列进行智能比对分析,利用高尔夫专业知识并结合实际情况制定的比对分析规则来进行智能比对分析,输出比对分析的分析结果;

与智能比对分析装置和红外检测装置连接的渲染装置,用于对输入的智能比队分析结果和运动员的正面、侧面的挥杆视频进行渲染,将比对分析结果渲染到运动的正面、侧面的挥杆视频中,输出渲染之后的运动员正面、侧面的挥杆视频。

作为一种较佳的实施例,红外检测装置包括:

红外检测单元:通过红外线来检测高尔夫球是否被击出,若击出,则输出信号和击球时间点;

与红外检测单元连接的视频剪辑单元:一旦收到来自红外检测单元的信号和击球时间点,立即根据击球时间点的前后3秒来剪辑视频,分别输出6秒长的正面、侧面运动员挥杆视频。

作为一种较佳的实施例,所述的openpose关键点检测装置包括:

关键点提取单元:采用openpose算法模型对运动员的正面、侧面挥杆视频以及预先准备好的教练员的正面挥杆视频提取关键点信息;

与关键点提取单元连接的目标人物关键点信息提取单元:采用中间区域和面积最大准则来去除非运动员目标人物的关键点信息,提取运动员目标人物的关键点信息。

作为一种较佳的实施例,所述的关键点信息序列预处理装置包括:

缺失值填充单元:用于填充openpose关键点检测装置输出的目标人物的关键点信息中缺失值,虽然openpose算法模型的精度很高,但还存在一些关键点没有预测出来的情况,造成这种情况是由于目标人物自身的遮挡等原因。为了填充关键点信息中的缺失值,我们利用人体运动的连续性,采用线性插值的方法来填充关键点信息中的缺失值;

与缺失值填充单元连接的异常值去除填充单元:虽然openpose算法模型的精度很高,但还是存在预测错误的情况,为减少这些错误关键点信息对后面分析工作的影响,我们采用滑动窗口的方式来遍历关键点信息序列去除波动非常大的关键点信息,并利用线性插值的方法再填充。

作为一种较佳的实施例,所述的高尔夫挥杆动作序列检测装置包括:

关键点信息峰值检测单元:用于提取关键点的纵坐标信息序列的峰值点,即关键点的高度变化曲线的峰值点。目的是为了检测到运动员的高尔夫挥杆动作序列的大概位置;

与关键点信息峰值检测单元连接的高尔夫挥杆动作序列范围检测单元:用于通过关键点信息峰值检测单元输出的峰值点来检测高尔夫挥杆动作序列的范围。

作为一种较佳的实施例,所述的高尔夫挥杆动作关键帧检测装置,

包括:特征提取单元:用于提取运动员的运动轨迹特征;

与特征提取单元连接的关键帧检测单元:用于从运动员的运动轨迹特征中提取8个高尔夫关键动作帧。

作为一种较佳的实施例,所述的智能比对分析装置,包括:

动态分析单元:提取运动员的正面、侧面动态特征,并根据提取到的动态特征进行比对分析;

静态分析单元:提取运动员的正面、侧面静态特征,并根据提取到的静态特征进行比对分析。

作为一种较佳的实施例,所述的渲染装置,包括:

关键帧图片渲染单元:用于将关键帧的比对分析结果渲染在运动员正面、侧面8个关键动作帧图片上并输出;

视频渲染单元:用于将动态的比对分析结果渲染在运动员的正面、侧面的挥杆视频上并输出。

为实现本发明的目的,本发明还提出一种高尔夫挥杆视频的智能比对分析方法,包括如下步骤:

关键点检测步骤:对运动员的正面、侧面高尔夫挥杆视频以及预先准备好的教练员的正面高尔夫挥杆视频进行关键点检测,检测出鼻子、颈部、右肩、右肘、右手腕、左肩、左肘、左手腕、右臀、右膝盖、右脚踝、左臀、左膝盖、左脚踝、右眼、左眼、右耳、左耳共18个骨骼关键点数据;

关键点信息序列预处理步骤:对检测到的关键点数据进行预处理,得到精度更高的关键点信息序列;

高尔夫挥杆动作序列检测步骤:提取运动员正面左手腕关键点的高度信息的峰值点,对峰值点位置进行前后滑动搜索,寻找可能的高尔夫挥杆动作序列范围,然后再通过dtw算法(动态时间规整)来计算可能的高尔夫挥杆动作序列范围与教练员的高尔夫挥杆动作序列的相似度,然后进行一定的筛选、合并处理,得到最终的运动员的高尔夫挥杆动作序列;

高尔夫关键动作帧检测步骤:从运动员正面的关键点信息序列中提取运动轨迹特征,然后基于运动轨迹特征进行高尔夫关键动作帧检测;

智能比对分析步骤:根据检测到的高尔夫关键动作帧、运动员正面侧面关键点信息序列以及视频来进行动态+静态,正面+侧面比对分析;

渲染分析结果步骤:将智能比对分析步骤得到的比对分析结果渲染输出。

作为一种较佳的实施例,所述的高尔夫挥杆动作序列检测步骤,还包括:

步骤3.1:提取运动员正面左手腕关键点的高度信息变化序列的峰值点的时间点位置;

步骤3.2:从教练正面关键点信息序列中找到教练在头顶帧的时间点,这个时间点可以预先通过人工确定下来,然后作为模板;

步骤3.3:提取粗略的高尔夫挥杆序列范围,根据峰值点的时间点,将峰值点的前80帧作为粗略的高尔夫挥杆序列范围的开始时间点,峰值点的后80帧作为粗略的高尔夫挥杆序列范围的结束时间点;

步骤3.4:提取到的运动员正面左手腕关键点的高度信息变化序列的峰值点可能是高尔夫关键动作帧的第四帧(头顶帧),也可能是第八帧(收杆帧),也可能是其它的情况,本发明选取教练的头顶帧时间点与运动员的峰值点时间点进行匹配,然后从这点向右上角和向左下角进行遍历搜索,搜索的路径,用w来表示,w的第k个元素定义为wk=(i,j),定义了运动员粗略的高尔夫挥杆序列的关键点信息yu,(1≤u≤m)和教练员完整高尔夫挥杆序列的关键点信息jv,(1≤v≤n)的映射;

w=w1,w2,w3,……wk,….wk1≤k<m+n-1;

搜索路径必须满足以下四个约束:

起始条件:搜索路径必须从wk=(i学员峰值点时间点,j教练头顶帧时间点)这个点向右上角和向左下角进行遍历搜索;

连续性:如果wk-1=(a′,b′),那么对于路径的下一个点wk=(a,b)需要满足(a-a′)≤1和(b-b′)≤1,也就是不可能跨过某个点去匹配,只能和自己相邻的点对齐;

单调性:如果wk-1=(a′,b′),那么对于路径的下一个点wk=(a,b)需要满足(a-a′)≥0和(b-b′)≥0;

终止条件:在从起始条件向左下角搜索时,当u=1或v=1时,终止向左下角搜索,此时的w1=(istart,jstart);。在从起始条件向右上角搜索时,当u=m或v=n时,终止向右上角搜索,此时的wk=(iend,jend);当从起始条件向右上角和向左下角遍历搜索都终止时,此时istart即为运动员的较为精确的高尔夫挥杆序列的开始时间点,iend即为运动员的初步的高尔夫挥杆序列的结束时间点。然后通过以上三个约束条件分别从左手腕、左手肘、右手腕、右手肘的水平方向变化信息序列中搜索所有的可能的运动员初步的高尔夫挥杆序列。

步骤3.5:将步骤3.4提取出的所有可能的运动员初步高尔夫挥杆序列进行筛选处理。

通过dis=dtw(seqy,seqj),seqy代表运动员的关键点信息序列,seqj代表教练员的关键点信息序列,disy,j代表运动员的关键点信息序列与教练员的关键点信息序列之间的距离。计算步骤3.4提取出的所有可能的运动员初步高尔夫挥杆序列的正面左手腕、左手肘、右手腕、右手肘的高度信息分别与教练员正面左手腕、左手肘、右手腕、右手肘的高度信息序列之间的距离dislw、disle、disrw、disre。dislw代表是运动员初步高尔夫挥杆序列的正面左手腕的高度信息与教练员的正面左手腕的高度信息序列的相似度;disle代表是运动员初步高尔夫挥杆序列的正面左手肘的高度信息与教练员的正面左手肘的高度信息序列的相似度;disrw代表是运动员初步高尔夫挥杆序列的正面右手腕的高度信息与教练员的正面右手腕的高度信息序列的相似度;disre代表是运动员初步高尔夫挥杆序列的正面左手肘的高度信息与教练员的正面左手肘的高度信息序列的距离。然后通过计算该初步高尔夫挥杆序列与教练员高尔夫挥杆序列之间的平均距离,将该平均距离作为该初步运动员序列与教练的距离,距离越小,说明这两个序列越相似。计算出所有运动员的初步高尔夫挥杆序列与教练员的高尔夫挥杆序列的距离diss。

然后将所有的初步高尔夫挥杆序列进行非极小值抑制,非极小值抑制的目的是为了取出有重叠区域中最好的序列作为高尔夫挥杆序列,遍历检测非极小值抑制之后的高尔夫挥杆序列是否存在相邻的两个序列是否间隔小于120帧,若不存在,则将非极小值抑制后得到的序列进行阈值筛选,本发明设置阈值disthreshold=3000,大于阈值disthreshold的序列直接去除,然后将剩下的序列作为最终的高尔夫挥杆序列集合。

若存在将这两个序列单独取出,进行合并处理,这样做的原因,是因为有些运动员挥杆速度较慢,可能导致步骤3.4在搜索路径存在高尔夫挥杆序列被分成两块的现象,也可能是因为运动员在非常短的时间内打了两次高尔夫球,两次击球时间点间隔非常小,这一合并处理就是为了避免高尔夫挥杆序列检测错误的情况。

合并处理步骤:

将两个序列的前一个序列的开始时间点作为合并序列的开始时间点,将后一个序列的结束时间点作为合并序列的结束时间点。然后对合并序列进行滑动窗口遍历计算运动员高尔夫正面左手腕、左手肘、右手腕、右手肘四个关键点信息与教练员的相应正面关键点信息序列的平均距离。取最小距离的序列作为该合并序列的最终序列范围。若该最小距离小于阈值disthresholdlongseq=4200时,则将此序列作为该合并序列范围中的高尔夫挥杆序列。若大于该阈值disthresholdlongseq,则说明这两个序列并非是因为运动员挥杆速度过慢导致的,而是运动员在打完一次高尔夫球之后又迅速打第二次高尔夫球,这两次击球的时间点间隔非常小。此时,将这两个序列都作为高尔夫挥杆序列添加到最终的高尔夫挥杆序列集合中。

作为一种较佳的实施例,所述的高尔夫挥杆动作关键帧检测,还包括:

高尔夫挥杆动作序列一共分为:站位帧、引杆帧、上杆帧、顶点帧、释放帧、击球帧、送杆帧、收杆帧,共八帧。

步骤4.1:根据运动员正面关键点信息提取运动员的手腕、手肘的高度变化轨迹特征、两臂与肩膀的形状特征、肩宽特征、右前臂与水平夹角变化轨迹特征、左上臂与水平夹角变化轨迹特征、肩宽特征;

步骤4.2:基于运动员的手腕、手肘高度变化轨迹特征提取高尔夫挥杆序列的第一帧(站位帧)、第四帧(顶点帧)、第六帧(击球帧)、第八帧(收杆帧);

步骤4.3:基于两臂与肩膀的形状特征优化第一帧(站位帧);

步骤4.4:基于肩宽特征优化第八帧(收杆帧);

步骤4.5:基于右前臂与水平夹角变化轨迹特征以及第二帧(引杆帧)处于第一帧(站位帧)与第四帧(顶点帧)之间的特征,提取第二帧(引杆帧);

步骤4.6:基于左上臂与水平夹角变化轨迹特征以及第三帧(上杆帧)处于第二帧(引杆帧)与第四帧(顶点帧)之间的特征,提取第三帧(上杆帧);

步骤4.7:基于右前臂与水平夹角变化轨迹特征以及第五帧(释放帧)处于第四帧(顶点帧)与第六帧(击球帧)之间的特征,提取第五帧(释放帧);

步骤4.8:基于右前臂与水平夹角变化轨迹特征以及第七帧(送杆帧)处于第六帧(击球帧)与第八帧(收杆帧)之间的特征,提取第七帧(送杆帧)。

作为一种较佳的实施例,所述的智能比对分析步骤,还包括:

步骤5.1:根据运动员正面关键点信息提取动态特征,包括:运动员的头部位置变化特征、上身躯体位置变化特征、肩转角变化特征、挥杆节奏特征;

步骤5.2:根据运动员正面关键点信息提取静态特征,包括:运动员的两臂与肩膀的形状特征、左上臂与左前臂夹角特征、左腿伸直特征、肩膀与水平方向夹角特征;

步骤5.3:根据运动员侧面关键点信息提取动态特征,包括:运动员的头部位置变化特征、脊椎线特征;

步骤5.4:根据运动员侧面关键点信息提取静态特征,包括:两腿微弯特征、左上臂与左前臂夹角特征、右上臂与水平方向夹角特征、左腿伸直特征;

步骤5.5:根据步骤5.1到5.4提取到正面动态特征、正面静态特征、侧面动态特征、侧面静态特征结合高尔夫专业知识制定的规则比对分析运动员的挥杆动作,输出比对分析结果。

作为一种较佳的实施例,所述的渲染分析结果步骤,还包括:

步骤6.1:将步骤5.5得到的动态比对分析结果,渲染到运动员的正面、侧面挥杆视频上,将运动员动作错误的地方用红色框框出来,以此在运动员看视频时可以一眼看到自己的动作错误的地方,并且在红色框右边注明动作错误原因以及纠正错误的意见和建议;

步骤6.2:将步骤5.5得到的静态比对分析结果,渲染到运动员相应的关键动作帧上,将运动员动作错误的地方用红色框框出来,以此在运动员看关键帧图片时可以一眼看到自己的动作错误的地方,并且在红色框右边注明动作错误原因以及纠正错误的意见和建议。

本发明的有益效果是:本发明针对传统的体育训练都是一对一或者一对多的教练面授训练,不但受到了时间地点的局限,而且培训费用高,教练资源紧张,而且市面的高尔夫分析仪大多都是由传感器来采集运动员的数据,由于需要穿戴专业的装备或者需要在身上放置标记物,来追踪人体的各部位的运动信息,在一定程度上限制了运动员的运动,所以很难得到广泛的应用。另一方面,在计算机视觉研究领域,大部分都是通过像kinect这样的深度摄像机来拍摄运动员的动作或者通过普通摄像机来拍摄视频通过姿态估计的方法来预测运动员的各个骨骼关键点信息。目前获取运动员的运动信息就只有这两种技术,但仅仅得到这些运动员的运动信息还不足以识别出运动员的动作是否错误,目前大部分高尔夫分析仪都还只能依靠人来分析高尔夫挥杆视频,或者回看视频来分析,或者通过运动信息数据来分析关键运动参数从而给出相应的指导,但没法像专业教练一样直接指出关键性错误的地方的技术缺陷,本发明提出了一套切实可行的高尔夫挥杆视频的智能比对分析系统及方法,可以非常精确的提取出视频中的高尔夫挥杆视频序列,并且可以很好的检测出高尔夫挥杆关键动作帧,而且通过动态+静态、正面+侧面多角度的比对分析提取到的各个特征,最终可以很好的定位运动员错误动作的地方并且可以给出相应的指导性意见,可以大大普及高尔夫运动,节省练习成本,具有很重要的应用价值。

附图说明

图1是利用本发明的智能比对分析系统的架构示意图。

图2本发明的高尔夫挥杆视频的智能比对分析系统原理框图。

图3是本发明的红外检测装置方框图。

图4是本发明的openpose关键点检测装置方框图。

图5是本发明的关键点信息序列预处理装置方框图。

图6是本发明的高尔夫挥杆动作序列检测装置方框图。

图7是本发明的高尔夫挥杆动作关键帧检测装置方框图。

图8是本发明的智能比对分析装置方框图。

图9是本发明的渲染装置方框图。

具体实施方式

下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。

如图1,是利用本发明系统的架构高尔夫挥杆视频的智能比对分析系统示意图所示:

高尔夫挥杆视频的智能比对分析系统包括系统管理计算机、红外检测装置和两个摄像头,其中系统管理计算机包括:高尔夫挥杆视频的智能比对分析系统、教练员正面挥杆视频数据库。

实现本发明高尔夫挥杆视频的智能比对分析系统的具体方法如下:本发明利用红外检测装置检测高尔夫球是否被击出,若击出,则输出信号和击球时间点,并根据击球时间点前后3秒剪辑视频,通过usb接口将剪辑的视频传入到高尔夫挥杆视频的智能比对分析系统,由所述系统计算机中高尔夫挥杆视频的智能比对分析系统的openpose关键点检测装置2对运动员的正面、侧面挥杆视频以及从教练员正面挥杆视频数据库中取出的教练员正面挥杆视频进行关键点检测并提取运动员目标人物的关键点信息;然后通过关键点信息序列预处理装置3将运动员正面、侧面以及教练员正面的关键点信息进行缺失值的填充和异常值的去除填充;接着通过高尔夫挥杆动作序列检测装置4来检测完整的高尔夫挥杆动作序列;然后再通过高尔夫挥杆动作关键帧检测装置5来进行高尔夫关键动作帧的检测,检测出高尔夫挥杆动作的8个关键性的动作;接着再通过智能比对分析装置6进行智能比对分析,主要定位运动员的错误动作的地方,并给出相应的纠正错误的指导意见;最后通过渲染装置将比对分析结果渲染在视频和关键帧图片上,用视频和图片视觉上的展示效果来反馈给运动员,让运动员可以非常直接的看到自己的错误动作的地方和原因,帮助运动员更快的纠正错误动作,提高训练效率。

如图2本发明高尔夫挥杆视频的智能比对分析系统所示,包括:摄像头1(正面视频)、摄像头2(侧面视频)、红外检测装置1、openpose关键点检测装置2、关键点信息序列预处理装置3、高尔夫挥杆动作序列检测装置4、高尔夫挥杆动作关键帧检测装置5、智能比对分析装置6、渲染装置7,其中:

与摄像头1(正面视频)和摄像头2(侧面视频)连接的红外检测装置1,用于通过红外检测检测高尔夫球是否被击出,若被击出,则根据击球时间点前后3秒剪辑视频,输出运动员的正面、侧面挥杆视频;

与红外检测装置1连接的openpose关键点检测装置2,用于对输入的正面、侧面的运动员的挥杆视频以及从教练员正面挥杆视频数据库中取出的完整的教练员的正面挥杆视频检测视频中人体的关键点信息、分离运动员目标人物与非运动员目标人物的关键点信息,输出运动员目标的正面、侧面的关键点信息序列以及教练员正面的关键点信息序列;

与openpose关键点检测装置2连接的关键点信息序列预处理装置3,用于对输入的运动员目标的正面、侧面的关键点信息序列以及教练员的正面关键点信息序列进行缺失值的填充、异常值的去除填充,输出预处理之后的运动员目标的正面、侧面的关键点信息序列以及教练员的正面关键点信息序列;

与关键点信息序列预处理装置3连接的高尔夫挥杆动作序列检测装置4,用于对输入的运动员正面关键点信息序列与教练员正面关键点信息序列之间进行相似度匹配,提取运动员正面关键点信息序列中完整的高尔夫挥杆动作序列,将高尔夫挥杆动作序列与非高尔夫挥杆动作序列相分离,输出运动员正面关键点信息序列中完整的高尔夫挥杆动作序列的开始时间点和结束时间点;

与高尔夫挥杆动作序列检测装置4和关键点信息序列预处理装置3连接的高尔夫挥杆动作关键帧检测装置5,用于对输入的运动员正面关键点信息序列以及运动员完整高尔夫挥杆动作序列的开始时间和结束时间进行高尔夫挥杆动作关键帧检测,高尔夫挥杆动作关键帧共分为8帧,分别是:站位帧、引杆帧、上杆帧、顶点帧、释放帧、击球帧、送杆帧、收杆帧。分别输出这段运动员正面关键点信息序列的8个关键动作帧的时间点;

与高尔夫挥杆动作关键动作帧检测装置5和关键点信息序列预处理装置3连接的智能比对分析装置6,用于对输入的运动员正面关键点信息序列的8个关键动作帧的时间点以及运动员的正面、侧面的关键点信息序列进行智能比对分析,利用高尔夫专业知识并结合实际情况制定的比对分析规则来进行智能比对分析,输出比对分析的分析结果;

与智能比对分析装置6和红外检测装置1连接的渲染装置7,用于对输入的智能比队分析结果和运动员的正面、侧面的挥杆视频进行渲染,将比对分析结果渲染到运动的正面、侧面的挥杆视频中,输出渲染之后的运动员正面、侧面的挥杆视频。

本发明个装置程序由c++语言编写,运行环境为windows10,需要计算机配置usb接口以连接红外检测装置。

如图3所示,红外检测装置1,是对高尔夫球是否被击出进行检测,若被击出则进行相应的处理,具体实施步骤如下:

红外检测单元11:通过红外线来检测高尔夫球是否被击出,若击出,则输出信号和击球时间点;

与红外检测单元连接的视频剪辑单元12:一旦收到来自红外检测单元的信号和击球时间点,立即根据击球时间点的前后3秒来剪辑视频,分别输出6秒长的正面、侧面运动员挥杆视频。

如图4所示,openpose关键点检测装置2,是对输入的运动员正面、侧面以及教练员正面的挥杆视频进行关键点检测,并分离出运动员目标人物的关键点信息序列。

关键点提取单元21:采用openpose算法模型对运动员的正面、侧面挥杆视频以及预先准备好的教练员的正面挥杆视频提取关键点信息;

与关键点提取单元连接的目标人物关键点信息提取单元22:采用中间区域和面积最大准则来去除非运动员目标人物的关键点信息,将目标人物与非目标人物区分开,将视频在水平方向平均分为3部分,取中间部分区域,去除其他两部分区域的人物的关键点信息,然后再通过面积最大准则来提取出中间部分区域中目标人物的关键点信息,因为在拍摄运动员的高尔夫运动时,运动员一般处于视频中的中间区域,并且运动员也是离摄像头最近的,并且可以拍摄到完整的运动员的整个身体,所以提取关键点所占区域面积最大的,最后输出运动员目标人物的关键点信息和教练员的关键点信息。

如图5所示,关键点信息序列预处理装置3,用于对输入的运动员目标的正面、侧面的关键点信息序列以及教练员的正面关键点信息序列进行缺失值的填充、异常值的去除填充,输出预处理之后的运动员目标的正面、侧面的关键点信息序列以及教练员的正面关键点信息序列,具体实施步骤如下:

缺失值填充单元31:用于填充openpose关键点检测装置输出的目标人物的关键点信息中缺失值,我们利用人体运动的连续性,利用缺失值的前几帧或后几帧有关键点信息来线性填充缺失值。

与缺失值填充单元连接的异常值去除填充单元32:采用滑动窗口长度为10帧的方式来遍历关键点信息序列去除波动非常大的关键点信息,并利用线性插值的方法再填充。

如图6所示,高尔夫挥杆动作序列检测装置4,用于检测运动员挥杆视频中的完整高尔夫挥杆动作序列。

关键点信息峰值检测单元41:提取左手腕关键点的纵坐标信息序列的峰值点,即左手腕关键点的高度变化曲线的峰值点。目的是为了检测到运动员的高尔夫挥杆动作序列的大概位置。

与关键点信息峰值检测单元连接的高尔夫挥杆动作序列范围检测单元:用于通过关键点信息峰值检测单元输出的峰值点来检测高尔夫挥杆动作序列的范围。

如图7所示,高尔夫挥杆动作关键帧检测装置5,用于检测运动的高尔夫挥杆动作序列中的8个高尔夫关键动作帧。

特征提取单元51:根据运动员正面关键点信息提取运动员的手腕、手肘的高度变化轨迹特征、两臂与肩膀的形状特征、肩宽特征、右前臂与水平夹角变化轨迹特征、左上臂与水平夹角变化轨迹特征、肩宽特征;

与特征提取单元连接的关键帧检测单元52:根据特征提取单元51中提取到所有特征来提取8个高尔夫关键动作帧。

如图8所示,智能比对分析装置6,用于进行比对分析运动员挥杆动作的动态特征和静态特征,并根据提取到的特征进行比对分析,输出比对分析结果。

如图9所示,渲染装置7,用于将智能比对分析装置6输出的比对分析结果以直观的方式渲染输出。

关键帧图片渲染单元:用于将静态比对分析结果渲染在运动员正面、侧面8个关键动作帧图片上,将运动员动作错误的地方用红色框框出来,以此在运动员看视频时可以一眼看到自己的动作错误的地方,并且在红色框右边注明动作错误原因以及纠正错误的意见和建议,并输出渲染后的图片;

视频渲染单元:用于将动态的比对分析结果渲染在运动员的正面、侧面的挥杆视频上,将运动员动作错误的地方用红色框框出来,以此在运动员看关键帧图片时可以一眼看到自己的动作错误的地方,并且在红色框右边注明动作错误原因以及纠正错误的意见和建议,并输出渲染后的视频。

以上所述仅是本发明的优选实施方式,应当指出,对于本技术领域的普通技术人员来说,在不脱离本发明技术原理的前提下,还可以做出若干改进和变形,这些改进和变形也应视为本发明的保护范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1