运动姿态识别方法、装置及电子设备与流程

文档序号:17633081发布日期:2019-05-11 00:14阅读:214来源:国知局
运动姿态识别方法、装置及电子设备与流程

本发明涉及智能体育器材技术领域,尤其是涉及一种运动姿态识别方法、装置及电子设备。



背景技术:

随着全民健身意识的提高,越来越多的人积极加入健身行列,规范运动和技术关键点的掌握成为一个难点。运动员或者个人爱好者为了运动过程中的动作要领,只能采用视频回放+实际操练的方式进行动作纠正和动作讲解。这种方式造成大量时间的浪费,效率非常低下,因此越来越多的人希望找到一种能够反映出运动数据的智能设备,以便能够直接观察自己的运动姿态,由此智能体育器材应运而生。

例如,在兵乓球运动的运动监控中,在智能乒乓球桌配备两个摄像头、一个高清投影仪以及若干运动传感器。摄像头负责拍摄乒乓球不同的运动,且内置的各种不同功能的传感器则用来跟踪乒乓球的运动轨迹。同时,高清投影仪则负责实时投射乒乓球的运动轨迹以及各种不同的数据。整个乒乓球桌桌面就是一个超大的触摸显示屏,并且配备了识别模块,只要将属于自己的球拍放在特定区域,就可以显示出该球员的各项运动数据及姿态。

然而,上述通过摄像头及监测球体落点的方式,对运动姿态采集与识别的方法,所需的外设设备众多,成本高昂,应用受限且不利于产品推广使用。



技术实现要素:

有鉴于此,本发明的目的在于提供一种运动姿态识别方法、装置及电子设备,以更精确的识别出手持运动器械的运动姿态类型,且无需众多的外设设备,有效降低成本,拓宽应用范围,促进产品的推广使用。

第一方面,本发明实施例提供了一种运动姿态识别方法,应用于移动终端,包括:

获取姿态传感器当前采集的手持运动器械的第一动作数据;其中,所述姿态传感器设置于所述手持运动器械上,所述第一动作数据包括加速度信息;

基于所述第一动作数据与预设时间段之前采集的第二动作数据,利用差分值算法,确定有效动作数据;

对所述有效动作数据进行去量纲处理,得到标准动作数据;

将所述标准动作数据输入至预先训练的卷积神经网络中进行动作分类,得到当前所述手持运动器械的运动姿态类型。

结合第一方面,本发明实施例提供了第一方面的第一种可能的实施方式,其中,基于所述第一动作数据与预设时间段之前采集的第二动作数据,利用差分值算法,确定有效动作数据的步骤,包括:

计算所述第一动作数据与所述第二动作数据之间的差值;

将所述差值与预先确定的门限阈值对比,确定有效窗口的起始数据及终点数据,得到当前的有效动作数据。

结合第一方面,本发明实施例提供了第一方面的第二种可能的实施方式,其中,所述卷积神经网络的训练过程包括:

获取各个运动姿态类型的样本动作数据,并标注所述样本动作数据的运动姿态类型;

基于标注后的样本动作数据,利用差分值算法,确定样本有效数据;

对所述样本有效数据进行去量纲处理,得到标准样本数据;

将所述标准样本数据输入至卷积神经网络,对所述卷积神经网络进行训练,得到训练后的卷积神经网络。

结合第一方面,本发明实施例提供了第一方面的第三种可能的实施方式,其中,还包括:

获取所述手持运动器械当前的运动姿态类型,并更新所述当前的运动姿态类型对应的动作数量;

获取当前识别率最高的至少一种运动姿态类型分别对应的动作数量;其中所述识别率是在所述卷积神经网络的训练过程中预先获取的;

计算所述至少一种运动姿态类型对应的动作数量的和值,得到动作总数量并进行显示。

结合第一方面的第三种可能的实施方式,本发明实施例提供了第一方面的第四种可能的实施方式,其中,还包括:

获取用户当前选择的训练模式;

当所述训练模式为单项训练模式时,确定所述单项训练模式对应的目标运动姿态类型;

获取当前的动作总数量及所述目标运动姿态类型当前对应的目标动作数量;

根据所述目标动作数量及所述动作总数量,确定所述用户的动作准确率。

结合第一方面,本发明实施例提供了第一方面的第五种可能的实施方式,其中,还包括:获取并显示当前的运动参数,所述运动参数包括运动时长、所述运动姿态类型对应的动作数量、能量消耗值及最大运动速度。

结合第一方面的第五种可能的实施方式,本发明实施例提供了第一方面的第六种可能的实施方式,其中,所述能量消耗值的获取过程包括:

获取所述第一动作数据所属的用户的个人信息及当前的运动时长;

根据所述个人信息、运动时长及每个所述运动姿态类型对应的动作数量,确定所述用户的能量消耗值。

结合第一方面,本发明实施例提供了第一方面的第七种可能的实施方式,其中,还包括:所述手持运动器械为兵乓球拍。

第二方面,本发明实施例还提供一种运动姿态识别装置,应用于移动终端,包括:

数据获取模块,用于获取姿态传感器当前采集的手持运动器械的第一动作数据;其中,所述姿态传感器设置于所述手持运动器械上,所述第一动作数据包括加速度信息;

数据确定模块,用于基于所述第一动作数据与预设时间段之前采集的第二动作数据,利用差分值算法,确定有效动作数据;

去量纲处理模块,用于对所述有效动作数据进行去量纲处理,得到标准动作数据;

动作分类模块,用于将所述标准动作数据输入至预先训练的卷积神经网络中进行动作分类,得到当前所述手持运动器械的运动姿态类型。

第三方面,本发明实施例还提供一种电子设备,包括存储器、处理器,所述存储器上存储有可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面及其任一种可能的实施方式所述的方法。

本发明实施例带来了以下有益效果:

在本发明实施例中,该运动姿态识别方法包括获取姿态传感器当前采集的手持运动器械的第一动作数据;其中,该姿态传感器设置于该手持运动器械上,上述第一动作数据包括加速度信息;基于上述第一动作数据与预设时间段之前采集的第二动作数据,利用差分值算法,确定有效动作数据;对该有效动作数据进行去量纲处理,得到标准动作数据;将该标准动作数据输入至预先训练的卷积神经网络中进行动作分类,得到当前手持运动器械的运动姿态类型。该方式中通过手持运动器械中的姿态传感器来采集数据,移动终端对采集到的数据进行数据提取,对提取到的有效数据通过卷积神经网络进行识别,从而可以更精确的识别出手持运动器械的运动姿态类型,无需众多的外设设备,有效降低了成本,拓宽了应用范围,促进了产品的推广使用。

本发明的其他特征和优点将在随后的说明书中阐述,并且,部分地从说明书中变得显而易见,或者通过实施本发明而了解。本发明的目的和其他优点在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。

为使本发明的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案,下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施方式,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种运动姿态识别方法的流程示意图;

图2为本发明实施例提供的一种有效窗口的示意图;

图3为本发明实施例提供的有效动作数据的内容的示意图;

图4为本发明实施例提供的一种卷积神经网络的结构示意图;

图5为本发明实施例提供的一种应用软件的框架示意图;

图6为本发明实施例提供的一种运动姿态识别装置的结构示意图;

图7为本发明实施例提供的一种电子设备的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合附图对本发明的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

目前通过摄像头及监测球体落点的方式,对运动姿态采集与识别的方法,所需的外设设备众多,成本高昂,应用受限且不利于产品推广使用。基于此,本发明实施例提供的一种运动姿态识别方法、装置及电子设备,通过手持运动器械中的姿态传感器来采集数据,移动终端对采集到的数据进行数据提取,对提取到的有效数据通过卷积神经网络进行识别,从而可以更精确的识别出手持运动器械的运动姿态类型,无需众多的外设设备,有效降低了成本,拓宽了应用范围,促进了产品的推广使用。

为便于对本实施例进行理解,首先对本发明实施例所公开的一种运动姿态识别方法进行详细介绍。

实施例一:

图1示出了本发明实施例提供的一种运动姿态识别方法的流程示意图。该方法可以但不限于应用于兵乓球、羽毛球及网球等手持运动器械的运动监控过程中,可以由加载有相应软件的移动终端(如手机、平板电脑、笔记本电脑)或者是其他电子设备实现。如图1所示,该方法包括以下几个步骤:

步骤s101,获取姿态传感器当前采集的手持运动器械的第一动作数据。

其中,上述姿态传感器设置于上述手持运动器械上,该姿态传感器可以但不限于选用mpu9250九轴加速度计。上述第一动作数据是在当前采样点采集到的运动数据,可以包括加速度信息,还可以包括角加速度及相应的时间戳等。

步骤s102,基于上述第一动作数据与预设时间段之前采集的第二动作数据,利用差分值算法,确定有效动作数据。

其中预设时间段可以根据实际情况设定,如需要将当前采样点之前的第n个采样点作为第二动作数据,则预设时间段为n×采样间隔,其中n为正整数。

步骤s103,对上述有效动作数据进行去量纲处理,得到标准动作数据。

将得到的有效动作数据转化为无量纲的纯数值,以便于不同单位或量级的指标能够进行比较和加权。

步骤s104,将上述标准动作数据输入至预先训练的卷积神经网络中进行动作分类,得到当前手持运动器械的运动姿态类型。

其中该运动姿态类型可以但不限于包括拉后扣杀、正手远削、反手远削、正手攻球。

在本发明实施例中,通过手持运动器械中的姿态传感器来采集数据,移动终端对采集到的数据进行数据提取,对提取到的有效数据通过卷积神经网络进行识别,从而可以更精确的识别出手持运动器械的运动姿态类型,无需众多的外设设备,有效降低了成本,拓宽了应用范围,促进了产品的推广使用。

需要说明的是,本发明实施例提供的方法可以以应用软件的形式加载在移动终端或者是电脑等电子设备上,并由该移动终端或者是电脑的处理器来执行本发明实施例中的相关步骤。

在可能的实施例中,为了保证数据提取的准确性,上述步骤s102包括:计算第一动作数据与第二动作数据之间的差值;将该差值与预先确定的门限阈值对比,确定有效窗口的起始数据及终点数据,得到当前的有效动作数据。

例如,以4个采样点的宽度进行滑动窗口计算动作的差分值(即第一动作数据与第二动作数据之间的差值)。假设某个采样点处的第一动作数据表示为acc1_n,则其之前的第4个采样点处的第二动作数据可以表示为acc1_(n+4),则第一动作数据与第二动作数据之间的差值可以表示为:delta_acc1=acc1_n-acc1_(n-4)。若delta_acc1>门限阈值,则认为该采样点为加速度起点(有效窗口的起始数据),delta_acc1<门限阈值,则认为该采样点是加速度终点(有效窗口的终点数据),由此将加速度起点与加速度终点之间的数据作为当前的有效动作数据,如图2所示。

假设上述第一动作数据中的加速度信息包括三轴加速度(x轴、y轴及z轴),可以表示为则第一动作数据与第二动作数据之间的差值可以表示为:比较δaccn与门限阈值的大小即可。

在可能的实施例中,上述卷积神经网络的训练过程包括:获取各个运动姿态类型的样本动作数据,并标注该样本动作数据的运动姿态类型;基于标注后的样本动作数据,利用差分值算法,确定样本有效数据;对该样本有效数据进行去量纲处理,得到标准样本数据;将该标准样本数据输入至卷积神经网络,对该卷积神经网络进行训练,得到训练后的卷积神经网络。

在样本动作数据的采集过程中,可以通过嵌入姿态传感器的手持运动器材(如乒乓球拍)进行数据采集。数据通过蓝牙传到上位机。该上位机可以为移动终端,也可以为电脑等。利用上位机系统进行数据的保存。

通过采集对象重复做相应动作,如正手远削、反手远削、拉后扣杀以及正手攻球这四个动作和其他动作,获取大量的x、y、z轴的样本动作数据。当然也可以使用户上传到云服务平台的数据,在训练时直接从该云服务平台获取数据即可。然后人工标记该样本动作数据对应的运动姿态类型。在标记过程中,由于实际情景中待识别的动作与干扰动作会掺杂在一起,而实际干扰动作类型过多,无法作为普遍化(泛化)的动作标签,且直接的人工提取数据耗时长效率低,所以采用了差分值对第一动作数据中的加速度数据进行有效动作数据的截取(可以参照上述的有效动作数据的获取过程),得到样本有效数据。由于姿态传感器的采样频率过低,故通过设置门限阈值自动检测有效动作窗口。

通过对有效动作数据截取与标记后,具体的为每种运动姿态类型配置的动作标签如下:1为反手远削,3为正手远削,5为其他动作,7为拉后扣杀,9为正手攻球。通过人工进行数据集的整合,整合后的数据集中,各个待识别的运动姿态类型的时间窗口长度一致,在数据集中随机分布。在可能的实施例中,对样本动作数据截取的部分有效动作数据(即样本有效数据)内容参见图3。其中在图3中,每行中各个字段分别表示动作标签、运动姿态类型名称、时间戳及x、y、z轴的加速度信息。

在将上述得到的样本有效数据输入至卷积神经网络之前,还可以定义辅助函数来对该样本有效数据进行读取,并对该样本有效数据标准化处理,即将上述x、y、z轴的加速度信息转化为无量纲的纯数值,便于不同单位或量级的指标能够进行比较和加权。常见的数据标准化方法有:min-max标准化(min-maxnormalization)、log函数转换、atan函数转换、z-score标准化(zero-menanormalization)。在本实施例中,选用z-score标准化处理上述样本有效数据,得到标准样本数据。假设,x轴加速度信息的序列为x1,x2,……xn,则该序列中的任一x轴加速度信息xi标准化后可以表示为ai:

其中,

同理,对y轴加速度信息和z轴加速度信息做同样的处理,得到标准化后,无量纲的y轴加速度信息和z轴加速度信息。

标准化处理完成后,按照预先设置的时间窗口(即采样周期)来分别建立x、y、z轴加速度信息在时间序列上前后几个点之间的关系。为了更好使三轴加速度信息更好地适配卷积神经网络,增强前后时间戳上各轴加速度之间的相关性,本模型采用了滑动窗口做折叠地的方式(滑动窗口长度为w,滑动步长假设为c)。x、y、z轴的数据通过滑动窗口折叠后,就形成了3个类似rgb(红绿蓝)三通道的二维矩阵。

将上述得到的3个类似rgb三通道的二维矩阵组成的数据集,可以但不限于按照6:3:1的比例分成训练集、测试集、验证集,然后分批加载进内存,对卷积神经网络进行训练。

在运动姿态识别领域中应用深度学习算法时,大多数是从计算机视觉的角度作为切入点。然而在实际应用中,尤其是在嵌入式平台,有着诸多的局限性。而基于姿态传感器,绝大多数是采用人工提取特征值加传统的机器学习算法(如knn(k-nearestneighbor,k-邻近)、svm(supportvectormachine,支持向量机)等),该方案对于特征值提取专业知识要求较高。实际上,对于姿态传感器虽然容易实现对x、y、z轴各自时间序列上的加速度、角速度等数据的分析,但是对于一个运动物体轨迹的分析,还需要同时结合空间关系的研究。因此用传统方法去解决时间与空间上同步问题就会特别复杂。

基于此,本发明实施例中将x、y、z轴作为图像邻域的rgb三通道,将每一个时间点上三轴的加速度信息看成是一个像素点。另外,在图像处理邻域,每一个像素点都和周围的像素点具有一定的相关性,而运动姿态识别中,上一个时间点和下一个时间点的三轴加速度信息同样具有相关性。因此,在发明实施例中的运动姿态分类识别算法中,可以采用图像识别领域较为成熟的卷积神经网络。

卷积神经网络(convolutionalneutralnetwork,简称cnn)是一种前馈神经网络,是受生物学上感受野(receptivefield)的机制提出的。卷积神经网络有三个结构上的特性:局部连接、权重共享以及空间或时间上的次采样。这些特性使得卷积神经网络具有一定程度上的平移、缩放和扭曲不变性。卷积神经网络在模式识别、图像处理等方面得到广泛应用。本发明实施例中采用的卷积神经网络结构,如图4所示,具体包括:通道输入层、卷积层、最大池化层、卷积层、全连接层及softmax输出层。下面对上述各层进行介绍。

卷积层:

当二维矩阵(x、y、z轴加速度信息)分三通道的数据并行从通道输入层输入时,实现了运动物体的加速度空间上的联系。同时初始化神经网络参数权值(weight_variable)和偏置值(bias_variable),为每个通道的数据执行一维卷积,第一个卷积层的滤波器(filter)大小和深度为60,滑动步长(strides)为[1,1,1,1],填充方式(padding)为不为全0填充(valid)。接着通过relu激活函数传递输出。相比于sigmoid/tanh函数,relu只需要一个阈值就可以得到激活值,而不用去算一大堆复杂的运算。relu激活函数的特点:输入信号<0时,输出都是0,输入信号>0的情况下,输出等于输入。

relu激活函数:

当前,深度学习一个明确的目标是从数据变量中解离出关键因子。原始数据(以自然数据为主)中通常缠绕着高度密集的特征。然而,如果能够解开特征间缠绕的复杂关系,转换为稀疏特征,那么特征就有了鲁棒性(去掉了无关的噪声)。稀疏特征并不需要网络具有很强的处理线性不可分机制。因此在深度网络中,对非线性的依赖程度可以减小。一旦神经元与神经元之间改为线性激活,网络的非线性部分仅仅来自于神经元部分选择性激活。对比大脑工作的95%稀疏性来看,现有的计算神经网络和生物神经网络有很大差距的。而relu只有负值才会被稀疏掉,即引入的稀疏性是可以训练调节的,是动态变化的。只要进行梯度训练,网络可以向误差减少的方向,自动调控稀疏比率,保证激活链上存在着合理数量的非零值。

池化层:

一般来会对卷积层的输出进行池化操作,常用的池化层操作有最大池化层(max_pooling)和平均池化层(average),池化层可以得到更抽象的动作数据,提高了动作模型的普遍性(泛化性),通过多次实验后,观察到使用最大池化层的池化操作更适用于本发明实施例中的模型。所以池化层选用最大池化层。然后再经过一层卷积层。

全连接层:

接着卷积层的输出将进入全连接网络,当动作数据经过了前面的卷积层和池化层处理后,已经被抽象成信息含量更高的特征,此时可以将卷积层和池化层看出自动的动作特征提取的过程,特征提取完就可以使用全连接层完成动作分类任务。

softmax层:

本发明实施例中的卷积神经网络模型可识别五类动作,在使用softmax函数前,需加入dropout层将某些隐藏的神经元节点置于不活跃状态,防止模型过拟合。

得到完整的卷积神经网络后,对该卷积神经网络进行训练,训练时可以采用梯度下降算法。常用的梯度算法包括综合梯度下降算法和随机梯度下降算法(stochasticgradientdescent),综合梯度算法每次训练模型时都会遍历一次样本数据,非常消耗计算资源。为了加快模型的训练过程,可以采用随机梯度下降算法。也就是说,训练模型每次提取一部分乒乓球动作的样本动作信息作为训练样本的输入,这些样本也成为一个batch,且这些样本可以在一定程度上代表了完整的训练集信息。在tensorflow中,指定一个样本的大小(size)来规定每次随机选择参与归纳的样本数量,经过迭代(epoch)的训练,并对训练的卷积神经网络模型的损失率和准确率进行打印。

在得到训练后的卷积神经网络模型后,对该卷积神经网络模型进行部署,例如部署到移动终端的安卓系统。首先,tensorflow的核心是用c++编写的。为了构建android项目,必须使用jni(javanativeinterface)来调用c++函数,如loadmodel,getpredictions等。所以通过bazel编译一个.so(共享对象)文件和jar文件,它是一个c++编译文件和一个jar文件,它将由调用本机c++的javaapi组成。将编译好的.so和jar文件放到安卓项目的libs文件下,将已训练的模型文件放到assert文件下。最后在androidstudio中创建一个类,在类里面对卷积神经网络模型进行调用和获取输出即可。

在可能的实施例中,可以通过蓝牙将姿态传感器采集的动作数据传给移动终端。移动终端通过对动作数据截取,将获取的有效动作数据进行数据标准化处理,作为卷积神经网络的输入,最后将会返回各个运动姿态类型的识别率,并对该识别率进行记录。

为了保证数据的准确定,在可能的实施例中,上述方法还包括:获取上述手持运动器械当前的运动姿态类型,并更新该当前的运动姿态类型对应的动作数量;获取当前识别率最高的至少一种运动姿态类型分别对应的动作数量;其中该识别率是在卷积神经网络的训练过程中预先获取的;计算上述至少一种运动姿态类型对应的动作数量的和值,得到动作总数量并进行显示。

在具体应用过程中,当移动终端判断出当前的动作的运动姿态类型后,更新该运动姿态类型对应的动作数量,例如当手持运动器材为兵乓球拍,且判断出当前的运动姿态类型为正手远削,则正手远削对应的动作数量加1。然后根据各个运动姿态类型对应的识别率确定动作总数量,如选取识别率最高的前三个运动姿态类型对应的动作数量,假设前三个运动姿态类型的动作数量分别为:正手远削的动作数量为35、反手远削的动作数量为40、拉后扣杀的动作数量为21,则移动终端最终显示的动作总数量为35+40+21=96。

另外,上述方法还包括:获取并显示当前的运动参数,该运动参数包括运动时长、运动姿态类型对应的动作数量、能量消耗值及最大运动速度。

其中运动时长为用户开启相应软件,并识别到第一个动作的初始时刻与当前时刻的差值。运动姿态类型对应的动作数量可以参见上述实施例的描述,最大运动速度可以通过如下算式计算:

其中ai表示第i个采样点处三轴加速度信息aix、aiy、aiz的合成加速度,可以表示为v0初速度,k为取得最大加速度时对应的采样点序号,δt为采样时间间隔。

上述能量消耗值的获取过程包括:获取所述第一动作数据所属的用户的个人信息及当前的运动时长;根据该个人信息、运动时长及每个运动姿态类型对应的动作数量,确定该用户的能量消耗值。

其中用户的个人信息可以用户的注册信息获取,用户可以通过移动终端登录相应的软件,进行个人信息的注册,如用户名、密码、昵称、年龄、地址、身高、体重、性别等。

在可能的实施例中,当上述手持运动器材为兵乓球拍时,可以按照如下算式计算用户的能量消耗值:

乒乓球运动能量消耗值=4.0(运动强度met)×运动时间×体重(单位为千克)*0.0167。

为了更好的满足用户的多样化需求,可以分为多种训练模式,在不同的训练模式下可以实现不同的功能。例如可以分成实时训练模式和单项训练模式。

基于此,在可能的实施例中,上述方法还包括:获取用户当前选择的训练模式;当该训练模式为单项训练模式时,确定该单项训练模式对应的目标运动姿态类型;获取当前的动作总数量及目标运动姿态类型当前对应的目标动作数量;根据该目标动作数量及动作总数量,确定用户的动作准确率。

例如,用户通过移动终端选择训练模式为单项训练模式,并选择需要训练的动作为反手远削。移动终端根据姿态采集器实时采集的数据按照上述实施例描述的方式确定反手远削的目标动作数量为99,当前的动作总数量(各种运动姿态类型对应的动作数量之和)为110,则确定用户在进行反手远削的动作训练时,准确率为99/110。

在单项训练模式下还可以在移动终端的显示界面设置动作选择功能按键,可在列表上自由选择。且在显示用户的动作准确率的同时,还可以显示正在训练的动作(目标运动姿态类型对应的动作)的动作数量、运动时长、能量消耗及最大拍速(即最大运动速度),以利于用户有效训练,提高打法技术。另外,单项训练模式下还可以设置有指导按键,通过点击该按键可以查看详细打法介绍信息,该信息可以截取自相关书籍,如《乒乓球快速入门全程图解》。

实时训练模式下,在移动终端的显示界面还可以显示:动作总次数,运动时长,能量消耗,最大拍速,能够准确识别到的运动姿态类型(如乒乓球拍对应的拉后扣杀、正手远削、反手远削、正手攻球和其他类型的动作)及对应的动作数量。

在另外的实施例中,为了促进用户之间的相互交流,移动终端的显示界面还设置有社区按钮,当检测到用户点击社区按钮时,显示社区页面。用户可以通过点击社区页面的分享按钮将自己的运动信息(如运动时长、能量消耗、最大运动速度)发送至云服务平台,并由云服务平台分享到各个用户的社区页面中,还可以在社区中与他人交流互动,比如点赞、评论等。

在本发明实施例中,通过tensorflow框架训练基于卷积神经网络的分类识别模型,并将该模型部署到移动终端(如安卓手机),综合利用该模型输出的识别结果以实现各项功能。在动作识别领域,现有技术中通过对姿态传感的时序数据进行设置阈值,滑动窗口分段,人工提取特征值及一系列的有监督分类。而本发明实施例中选择采用基于卷积神经网络的模型进行识别。因为卷积神经网络可以采用原始信号直接作为网络的输入,避免了复杂的特征提取过程,同时具有较好的鲁棒性。此外,针对前期难以人工获取大量不同样本的样本动作数据的问题,本实施例结合了云服务平台,实现数据的远程实时同步。随着用户量的增加,开发者可以登陆后端获取大量的样本动作数据,从而为训练模型提供大数据资源。

在移动终端,开发相应的应用软件,将上述模型部署在移动终端,以实现本发明提供的运动姿态识别方法。参见图5,用户登录应用软件,该应用软件设置有运动界面和社区界面。在运动界面,移动终端通过蓝牙与姿态传感器连接,以获取手持运动器材的三轴加速度信息,然后对这些信息进行有效动作的数据截取、数据清洗与整合,作为卷积神经网络模型的输入,该模型将返回各个前期已标记的动作的识别率。同时为了提供友好的人机交互界面,本发明实施例通过编程对各个动作识别率进行比较,并对识别率最高的动作进行计数并展示在移动终端的显示界面上,方便用户了解自身的运动状态。此外,在显示界面还可以显示运动时长、挥拍速度(即最大运动速度)、运动能量消耗等相关运动指标,为了促进用户交流增加社区交流功能,在社区界面分享动态、查看动态并评论点赞,极大的满足了用户的多样化需求。

实施例二:

针对于上述实施例描述的一种运动姿态识别方法,本发明实施例还提供了一种运动姿态识别装置,该装置应用于移动终端,参见图6,该装置包括:

数据获取模块11,用于获取姿态传感器当前采集的手持运动器械的第一动作数据;其中,该姿态传感器设置于所述手持运动器械上,该第一动作数据包括加速度信息;

数据确定模块12,用于基于上述第一动作数据与预设时间段之前采集的第二动作数据,利用差分值算法,确定有效动作数据;

去量纲处理模块13,用于对上述有效动作数据进行去量纲处理,得到标准动作数据;

动作分类模块14,用于将上述标准动作数据输入至预先训练的卷积神经网络中进行动作分类,得到当前手持运动器械的运动姿态类型。

在本发明实施例中,通过手持运动器械中的姿态传感器来采集数据,移动终端对采集到的数据进行数据提取,对提取到的有效数据通过卷积神经网络进行识别,从而可以更精确的识别出手持运动器械的运动姿态类型,无需众多的外设设备,有效降低了成本,拓宽了应用范围,促进了产品的推广使用。

实施例三:

参见图7,本发明实施例还提供一种电子设备100,包括:处理器40,存储器41,总线42和通信接口43,所述处理器40、通信接口43和存储器41通过总线42连接;处理器40用于执行存储器41中存储的可执行模块,例如计算机程序。

其中,存储器41可能包含高速随机存取存储器(ram,randomaccessmemory),也可能还包括非易失性存储器(non-volatilememory),例如至少一个磁盘存储器。通过至少一个通信接口43(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接,可以使用互联网,广域网,本地网,城域网等。

总线42可以是isa总线、pci总线或eisa总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图7中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。

其中,存储器41用于存储程序,所述处理器40在接收到执行指令后,执行所述程序,前述本发明实施例任一实施例揭示的流过程定义的装置所执行的方法可以应用于处理器40中,或者由处理器40实现。

处理器40可能是一种集成电路芯片,具有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器40中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器40可以是通用处理器,包括中央处理器(centralprocessingunit,简称cpu)、网络处理器(networkprocessor,简称np)等;还可以是数字信号处理器(digitalsignalprocessing,简称dsp)、专用集成电路(applicationspecificintegratedcircuit,简称asic)、现成可编程门阵列(field-programmablegatearray,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本发明实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器41,处理器40读取存储器41中的信息,结合其硬件完成上述方法的步骤。

本发明实施例提供的优惠券核销装置及电子设备,与上述实施例提供的优惠券核销方法具有相同的技术特征,所以也能解决相同的技术问题,达到相同的技术效果。

本发明实施例所提供的进行优惠券核销方法的计算机程序产品,包括存储了处理器可执行的非易失的程序代码的计算机可读存储介质,所述程序代码包括的指令可用于执行前面方法实施例中所述的方法,具体实现可参见方法实施例,在此不再赘述。

所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的装置及电子设备的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

附图中的流程图和框图显示了根据本发明的多个实施例方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

在本发明的描述中,需要说明的是,术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系,仅是为了便于描述本发明和简化描述,而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作,因此不能理解为对本发明的限制。此外,术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性。除非另外具体说明,否则在这些实施例中阐述的部件和步骤的相对步骤、数字表达式和数值并不限制本发明的范围。

在本申请所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是:以上所述实施例,仅为本发明的具体实施方式,用以说明本发明的技术方案,而非对其限制,本发明的保护范围并不局限于此,尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化,或者对其中部分技术特征进行等同替换;而这些修改、变化或者替换,并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1