本发明涉及图像识别技术领域，具体是基于深度学习的健身房健身动作识别方法及装置。
背景技术：
动作的规范性在健身活动中尤其重要，如何才能正确的锻炼就成了一个至关重要的问题。不规范的动作将导致健身活动事倍功半，使健身效果跟预期的不对称，另外不规范的动作存在运动损伤的风险，而聘请健身教练对于很多人来说也是一笔较大的开销。
为了解决这一问题，较为高端的健身系统开始尝试动作识别，但大多是采用可穿戴设备进行辅助，例如运动手环、鞋子、衣服、臂环、眼镜、手机等，需要用户主动参与，比较繁琐。还有其他非视频传感器安装在健身设备上，耦合性强，成本极高。而目前主流的健身房大多都是传统设备，若要替换成上述设备，必然价格昂贵，远超普通用户的预算。
与此同时，人体行为识别作为智能视频分析领域的一个研究热点。自2006年加拿大多伦多大学教授geoffreyhinton对深度学习的提出以及模型训练方法的改进打破了bp神经网络发展的瓶颈开始，深度学习成为机器学习领域最热门的研究方向，智能语音识别、即时翻译、图像识别等领域不断有新突破。
因此，申请人针对健身运动的动作规范，进行了基于深度学习的健身房健身动作识别技术的研究。
技术实现要素：
基于上述目的，本发明提供了一种基于深度学习的健身房健身动作识别方法及装置，以目前在智能终端中流行且方便使用的视频作为媒介，采用基于深度学习的方法进行动作规范性识别。
其中，本发明的基于深度学习的健身房健身动作识别方法采用了如下的技术方案。
基于深度学习的健身房健身动作识别方法，以实时视频作为媒介，采用基于深度学习的方法对其进行动作规范性识别，包括如下步骤：
(1)数据采集，对示范动作进行拍摄，将规范动作记录为规范动作图像；
(2)数据标注，通过标注的方式对步骤(1)获得的规范动作图像进行规范动作分类；
(3)数据训练，采用深度学习方法caffe中基于卷积神经网络的物体检测识别框架，对步骤(2)进行规范动作分类后的规范动作图像进行识别训练，得到规范动作识别模型；
(4)动作识别，对用户进行拍摄，并通过步骤(3)获得的规范动作识别模型，对实时视频中的用户图像进行搜索，识别出与规范动作识别模型中规范动作分类相符的用户动作；
(5)动作评分，对于步骤(4)识别出的用户动作，通过规范动作识别模型将其与相应的规范动作分类中的规范动作图像比较运算，并输出规范相似度评分以及修正方案。
其中，本发明的基于深度学习的健身房健身动作识别装置，用于实现所述的基于深度学习的健身房健身动作识别方法，包括：
摄像头或光学传感器，用于所述的基于深度学习的健身房健身动作识别方法步骤(1)中对示范动作进行拍摄，及其步骤(4)中对用户进行拍摄；
处理模块与处理中心，用于所述的基于深度学习的健身房健身动作识别方法步骤(3)中对规范动作图像进行识别训练得到规范动作识别模型，以及用于步骤(4)中识别用户动作，还用于步骤(5)中对用户动作进行比较运算并输出规范相似度评分；
云平台，用于存储所述的基于深度学习的健身房健身动作识别方法步骤(5)中获得的规范相似度评分及修正方案；
智能终端，用于从所述的云平台下载所述的规范相似度评分及修正方案。
与现有技术相比，本发明的有益效果在于：
不需要用户穿戴、替换昂贵的设备，成本可控；以目前在智能终端中流行且方便使用的视频作为媒介，采用基于深度学习的方法进行动作规范性识别，识别模型可编辑，并且能提供准确的健身动作识别结果，给用户生成精准运动数据，纠正错误动作，减少健身教练的繁琐工作，甚至替代健身教练，达到更好的健身效果。
下面结合说明附图和具体实施方式对本发明做进一步的说明。
附图说明
图1是本发明的基于深度学习的健身房健身动作识别装置的结构示意图。
具体实施方式
本发明首先提出了一种基于深度学习的健身房健身动作识别方法，以实时视频作为媒介，采用基于深度学习的方法对其进行动作规范性识别，包括如下步骤：
(1)数据采集，对示范动作进行拍摄，将规范动作记录为规范动作图像；
在本步骤中，根据规范动作图像提取的人体姿势与动作特征来判断所属的运动项目，比如：跑步、哑铃等等，并按运动项目分别存储为不同的特征模板库文件；
(2)数据标注，通过标注的方式对步骤(1)获得的规范动作图像进行规范动作分类；
在本步骤中，系针对特征模板库文件进行操作；
(3)数据训练，采用深度学习方法caffe中基于卷积神经网络的物体检测识别框架，对步骤(2)进行规范动作分类后的规范动作图像进行识别训练，得到规范动作识别模型；
(4)动作识别，对用户进行拍摄，并通过步骤(3)获得的规范动作识别模型，对实时视频中的用户图像进行搜索，识别出与规范动作识别模型中规范动作分类相符的用户动作；
(5)动作评分，对于步骤(4)识别出的用户动作，通过规范动作识别模型将其与相应的规范动作分类中的规范动作图像比较运算，并输出规范相似度评分以及修正方案。
进一步的，所述的步骤(1)，拍摄的方式为对包括但不限于身高、性别、体态等身体特征各不相同的多名专业健身教练进行多角度拍摄。
进一步的，所述的步骤(2)，规范动作分类的标注参数包括但不限于对图像中头、脸、手掌、上臂、下臂、躯干、大腿、小腿、脚等身体部位进行颜色标记或者框选标记。
进一步的，所述的步骤(3)，规范动作识别模型学习并记忆包括但不限于身体部位在图像中的相对位置、是否移动、移动幅度、移动速度、移动频率等规范运动值。
进一步的，所述的步骤(4)根据规范动作识别模型对用户动作中包括但不限于身体部位在图像中的相对位置、是否移动、移动幅度、移动速度、移动频率等用户运动值进行识别。
进一步的，所述的步骤(5)根据规范动作识别模型中的规范运动值设定不同数值偏离的门限值，通过用户运动值及门限值的比对结果作为输出规范相似度评分及修正方案的参考数据。
进一步的，所述的步骤(2)，规范动作分类的标注参数包括但不限于身高、性别、体态等身体特征以及拍摄角度。
进一步的，所述的步骤(3)，按规范动作分类的标注参数对规范动作图像进行分组训练，得到与之相应的规范动作识别模型分组。
进一步的，所述的步骤(4)，采用与规范动作分类的标注参数相应的身体特征对用户进行用户参数定义，并采用与该用户参数最接近的规范动作识别模型分组对实时视频中的用户图像进行识别。
对实时视频中的用户图像进行识别的一种具体过程是：首先进行背景识别，将人体与场景背景进行实现区分识别；然后根据身体部位对人体进行分割识别，然后采用规范动作识别模型对各身体部位进行动作参数统计和动作匹配。
以摆臂为例，向训练好的规范动作识别模型直接输入用户图像，如果图像中有用户的人体图形，规范动作识别模型会直接识别出用户的身体部位在图像中的位置以及类别，还可以对人脸进行识别判断用户的性别、年龄，从而为其匹配规范动作识别模型分组；然后识别身体部位在图像中的位置变化情况，根据位置变化情况直接判定其是否在摆臂、摆臂幅度大小、速度多少、频率多少等数据，将其与规范动作识别模型中的规范运动值及门限值做比较，每个门限值都对应相应的不规范说明和分数，若小于某门限，则输出对应不规范纠正方法和说明的修正方案，并扣掉对应分数，最后满足门限的分数相加即是最终的规范相似度评分。
具体识别过程由计算机进行运算，其中涉及主要算法如下：
步骤一：算法处理模块(或gpu工作站)获取当前摄像头视频流，并对每一帧图片进行识别；
步骤二：识别根据之前数据训练的结果参数，判断当前是否有用户存在(记为di)存在，是否为纯背景(记为c)，若为c，则没有人在运动处于静默状态static，若有di存在，则有用户存在，则输出用户在图片中的矩形位置或其他形状位置，该形状最大可能包含人体，但又最大可能地排除了背景。
步骤三：将前面训练时事先定义的人体各个部位关键点位置获取(例如手腕、膝关节、肘关节)，这些点按xy坐标系在图中的位置为xi、yi，其中i为各部位的索引，此处坐标系以原始整幅图片左上角起始点为原点。
步骤四：输出人脸的矩形位置(xf1，yf1)、(xf2，yf2)、(xf3，yf3)、(xf4，yf4)，并搜索数据库，对比数据库人脸(可以用模板匹配，也可以用香港中文大学deepi模型，也可以用特征点对比等)，从而获取人脸识别对应的用户性别、年龄等信息。
步骤五：在视频流中跟踪步骤三获取的各个部位关键点位置与当前帧时间，在一段时间t内，可以获取各个部位关键点时间序列(xi，yi，ti)。
步骤六：关键点之间的组合可以形成人体部位模块，例如手腕与手肘关节连线，连线斜率k为(x手腕-x肘关节)/(y手腕-y肘关节)，则连线为
(y-y手腕)＝k(x-x手腕)，其中x＝{x手腕，x肘关节}
其中y＝{y手腕，y肘关节}，组合后该线段可以获得前臂当前数据。
步骤七：通过关键点位置变化，可获得摆臂幅度、速度与频率的参数，例如手腕左手肘关节在一定的时间t内，有n帧图片，初始变动次数为k＝0，则判断(x手腕，t1)是否等于(x手腕，t2)且(y手腕，t1)是否等于(y手腕，t2)，若满足条件则认为手腕未动，若不满足条件则手腕变动k＝k+1，最终频率为fr＝k/t；对于摆臂幅度，两个时间点之间，左手手腕点与左手肘关节点连线角度分别为为k1，k2，则k1与k2分别利用反三角函数获得角度为angle1，angle2，则幅度为abs(anglel-angle2)；由于图像与实际有一定差别，所以用校正参数wa校正，wa靠观察和经验获得，可以是任意实数，校正后幅度为
a＝wa*abs(angle1-angle2)
或者用手腕距离变化表示为
a手腕＝wf*sqrt(((x手腕，t1)-(x手腕，t2))^2+((y手腕，t1)-(y手腕，t2))^2)
步骤九：动作匹配，最简单的方法是获取人体n各部位关键点位置，而数据库里存有教练或事先定义的标准关键点位置，判断相同关键点位置之间的距离差
di＝sqrt((xi-x模板)^2+(yi-y模板)^2)
若di<titi为当前关键点位置距离门限，则认为该节点符合动作规范，否则该节点不符合动作规范，按数据库录入的规范纠正建议给出评分；
在运动过程中，摆臂幅度也可以匹配，在步骤八识别两个时刻k1与k2有变化时，即k1！＝k2，则认为其在摆臂，t1时刻关键点为(x1，y1，t1)，t2时刻关键点为(x2，y2，t1)，根据
d＝sqrt(((x1，t1)-(x2，t2))^2+((y2，t1)-(y2，t2))^2)
若d<t则认为摆臂时关键点位置正确，否则不正确，或判断幅度a与数据库正确的模板a绝对差是否满足小于门限，满足则正确，不满足则输出不规范。
如图1所示，本发明根据上述的基于深度学习的健身房健身动作识别方法，还提供了一种基于深度学习的健身房健身动作识别装置，用于实现所述的基于深度学习的健身房健身动作识别方法，包括：
摄像头或光学传感器1，用于所述的基于深度学习的健身房健身动作识别方法步骤(1)中对示范动作进行拍摄，及其步骤(4)中对用户进行拍摄；
处理模块与处理中心2，用于所述的基于深度学习的健身房健身动作识别方法步骤(3)中对规范动作图像进行识别训练得到规范动作识别模型，以及用于步骤(4)中识别用户动作，还用于步骤(5)中对用户动作进行比较运算并输出规范相似度评分；
云平台3，用于存储所述的基于深度学习的健身房健身动作识别方法步骤(5)中获得的规范相似度评分及修正方案；
智能终端4，用于从所述的云平台下载所述的规范相似度评分及修正方案。
对于本领域的技术人员来说，可根据发明所揭示的结构和原理获得其它各种相应的改变以及变形，而所有的这些改变以及变形都属于本发明的保护范畴。