一种基于骨骼和人脸关键点的引体向上检测系统及方法与流程

文档序号：21105602发布日期：2020-06-16 21:15阅读：495来源：国知局

本发明涉及一种引体向上检测系统及方法，具体涉及一种基于骨骼和人脸关键点的引体向上检测系统及方法。

背景技术：

引体向上，有时候简称引体，指依靠自身力量克服自身体重向上做功的垂吊练习。主要测试上肢肌肉力量的发展水平，以及臂力和腰腹力量，是一项多关节复合动作练习，是较好的锻炼上肢的方法，是中考和高中体育会考的考试选择项目之一，是衡量男性体质的重要参考标准和项目之一。

现有的连续引体向上成绩测试方法是规定每次引体向上的初始位置和终止位置。初始位置为身体伸直，双手握杠，直臂悬垂时的位置，终止位置为屈臂引体向上时下颌达到或超过单杆上沿，动作过程中身体伸直，不能摆动。达到规定要求的引体向上动作予以计数，达不到规定要求的不计数。可采用人工计数或是机器计数，人工计数需要一对一地进行记录，耗费人力，还容易出错。现有的一些引体向上测试仪能够实现对引体向上运动进行自动检测并计数，但大多结构复杂，安装操作难度大，容易受到外界因素的干扰而出现测试不准确的现象，如依靠遮断式触发计时计数信号的红外线传感器计数的测试仪。还有的测试仪需要在测试者身体放置器材，给测试者造成不便和心理影响，如依靠拉线式位移传感器测距计数的测试装置、手臂固定连杆测试装置等。

传统人工计数，人工计数需要一对一地进行记录，缺点是人工成本高、效率低、误差大、容易出现作弊情况。

红外线传感器测试仪器利用了红外发射和接受装置的扫描时的遮断和连接信号进行计数，如中国授权公告号为cn208212407u、授权公告为2018.04.28的实用新型专利公开了一种引体向上测试仪，其包括t型红外扫描装置，t型红外扫描装置包括t型红外发射杆和t型红外接收杆；t型红外发射杆上设置有水平排列和垂直排列的若干红外发射管及红外发射同步驱动电路；t型红外接收杆上设置有水平排列和垂直排列的若干红外接收管或红外接收模块及红外接收同步驱动电路，t型红外接收杆内部设置有智能分析电路，用于判断和输出测试状态。该实用新型专利存在构造较复杂，且成本也相对较高的缺陷。

手臂固定连杆测试装置，如中国授权公告号为cn204582506u、授权公告日2015.08.26的实用新型专利公开了一种引体向上测试仪器，记载的主要结构是：通过固定在手臂上的连杆，检测被测者肘关节的屈伸角度以确定引体向上是否达到要求，并通过固定在连杆顶端的计数器自动记录次数。该结构使用时需要用多条绑带将测试仪固定在上臂上，安装拆卸较为麻烦，且捆绑式外部设备会影响到被测试者的动作完成过程，从而影响测试成绩。

拉线式位移传感器测距计数装置利用了超声波反射测距原理进行距离检测，如中国授权公告号为cn105879358b、授权公告日为2018.08.28的发明专利公开了一种引体向上成绩测试仪，包括固定支架，组装在固定支架上的测试传感单元、运算处理单元和显示器组成的记录及显示单元，与杠杆连接的上下杠感知单元以及连接各单元的电源，测试传感单元采用带有拉线下拉绳的拉线式位移传感器，通过挂接件与穿戴在被测者身上的重心位置位移量检测点固定带相连接，测试传感单元输出人体重心位移脉冲信号，传输到运算处理单元，运算处理单元只累积记录重心向上位移量，再传递给显示器实时显示；上下杠感知单元感知的人体上、下杠信号，自动控制运算处理单元。以连续型数据作为计量单位记录连续引体向上的重心累积向上位移量。该发明专利虽然能测试引体向上过程中的重心累计向上位移量，但不能对引体向上合格动作进行计数，不符合实际以计数为测试成绩的应用场景，而且同样存在构造较复杂，且成本也相对较高的缺陷。

技术实现要素：

本发明的目的在于针对现有的技术存在上述问题，提出了一种基于骨骼关键点以及人脸关键点检测的基于计算机视觉的引体向上检测系统及方法，要解决的技术问题是：如何简化复杂的测试装置，降低制作成本和维护成本低的同时保证较高的测量准确性，并提供一种可追溯的检测方法。

本发明通过下述技术方案实现：

一种基于骨骼和人脸关键点的引体向上检测系统，包括：

处理摄像头采集的图像用以获取图像识别信息的图像采集模块；

提取人脸关键点、人体骨骼关键点与横杆位置的图像识别模块；

以手腕骨骼关键点与横杆的相对位置，判断引体向上行为是否开始与结束；以大臂与小臂的夹角判断人体上升或下降；计算横杆位置与下巴的相对位置，根据上升和下降状态判断是否完成了一次引体向上动作；判断动作完成有效程度的动作检测模块；

记录引体向上动作完成次数的动作计数模块；

显示引体向上动作完成次数的数据显示模块。

进一步地，所述人脸关键点是下巴的关键点。

进一步地，所述骨骼关键点包括肩部骨骼关键点、肘部骨骼关键点、手腕骨骼关键点；

所述大臂为肩部骨骼关键点与肘部骨骼关键点的连线；

所述小臂为肘部骨骼关键点与手腕骨骼关键点的连线。

人体骨骼关键点检测，就是给一幅图像，标记处图像中的人体骨骼关键点，输入是一幅图像，输出是若干个骨骼关键点的位置，目前通常检测的骨骼关键点有25个，分别是鼻、颈、右肩、右肘、右手腕、左肩、左肘、左手腕、臀中、右臀、右膝、右脚踝、左臀、左膝、左脚踝、右眼、左眼、右耳、左耳、左大脚趾、左小脚趾、左脚后跟、右大脚趾、右小脚趾、右脚后跟，通常用连线将骨骼关键点连接形成人体整体框架。

人脸检测，就是给一幅图像，找出图像中的所有人脸位置，通常用一个矩形框框起来，输入是一幅图像，输出是若干个包含人脸的矩形框位置(x,y,w,h)。

人脸关键点检测，是在人脸检测的基础上检测出人脸上的点，这些关键点分别包含了下巴、眉毛、眼睛、鼻子、嘴巴等关键部位的边缘点。

图像处理，一般指数字图像处理。数字图像是指用工业相机、摄像机、扫描仪等设备经过拍摄得到的一个大的二维数组，该数组的元素称为像素，其值称为灰度值。图像处理技术一般包括图像压缩，增强和复原，匹配、描述和识别3个部分。

本发明基于人脸关键点检测及人体骨骼关键点检测技术，进行测试流程的控制，重要的是，利用该技术可以在无接触情况下检测测试的开始结束以及对引体向上的合格动作进行计数，保障测试结果准确性的同时，不会有部分引体向上检测装置的接触式结构带来的不适感。

本发明基于人体骨骼关键点检测技术构建了引体向上状态检测模型，检测出左右手腕骨骼关键点，并根据其于单杠横杆的位置关系判断引体向上测试的开始和结束状态。

本发明基于人脸关键点检测及人体骨骼关键点检测技术，根据人脸信息中下巴关键点与单杠横杆的位置关系和双手手臂完全程度判断引体向上的状态：下巴高于单杠、下巴低于单杆、手臂伸直、手臂弯曲，根据这些状态的变化进行引体向上动作计数。

一种基于骨骼和人脸关键点的引体向上检测方法，包括以下步骤：

步骤1：设定阈值l和α；

所诉阈值l是被测试者处于引体向上过程中手腕骨骼关键点与水平横杆的相对距离；

所诉阈值α是被测试者处于双手握杆且双臂伸直的自然悬垂状态下其大臂与小臂的夹角；

步骤2：初始化设备并识别水平横杆位置；

步骤3：识别被测试者骨骼关键点，读取手腕骨骼关键点与水平横杆之间的距离d；读取被测试者大臂与小臂间的夹角v；提取人脸关键点，获取下巴关键点坐标；

当被测试者实际距离d小于等于阈值l时，判定被测试者双手处于握杆的状态；

当被测试者实际距离d大于阈值l时，则视为双手已离开横杆，动作结束；

步骤4：判定状态为“未开始”情况下，且被测试者双手处于握杆状态，检测到当v值大于等于α时，记录测试状态为“开始”；所述“未开始”即为初始化电子设备状态，握杆状态为“开始”的前一个状态；

步骤5：判定状态为“开始”情况下，检测到v值小于α，且下巴关键点低于水平横杆位置时，记录测试状态为“上升”；

步骤6：判定状态为“上升”情况下，检测到下巴关键点高于横杆位置，认定完成了一个引体向上，计数加一，并记录测试状态为“计数”；

步骤7：判定状态为“计数”情况下，检测到下巴关键点低于横杆位置，记录测试状态为“下降”，直至v值再次大于等于α，且被测试者双手处于握杆状态，将测试状态更新为“开始”，以此循环。

进一步地，一种基于骨骼和人脸关键点的引体向上检测方法，所述步骤2中，电子设备是装有引体向上检测系统的手机或者平板电脑。

本发明与现有技术相比，具有如下的优点和有益效果：

1、本发明实现了引体向上检测的自动化，无需人工读数和干预；去掉了复杂的位移传感器、红外线发射接收装置、检测电路等复杂结构，成本低，除了设备支架的费用，测试人员使用自己的智能手机即可实现引体向上的检测。

2、本发明检测速度快，能够实时检测引体向上测试者的测试成绩；无接触，不会给测试者带来不适感；以双手手臂曲伸程度和下巴关键点与单杠横杆的位置关系为依据，进行状态检测和引体向上计数，准确性高。

3、本发明具有可溯源性，在考试的检测过程中或者学生体质健康检测中，检测到结果的帧和整个检测过程的视频都可以保留，并且还可以通过人脸识别方式来检测是否有作弊行为。

4、本发明可通过对阈值的设定，判断引体向上动作标准性；同时，通过对阈值的调整与优化，使得本发明的测试系统及方法可满足不同场景下对不同精度要求的引体向上动作进行有效检测。

5、本发明携带方便，所有东西重量不超过3kg，尺寸不超过1米。

6、适用于非接触式自主锻炼检测，可应用于体育家庭作业以及应急响应状态下的练习检测等场景。

附图说明

此处所说明的附图用来提供对本发明实施例的进一步理解，构成本申请的一部分，并不构成对本发明实施例的限定。在附图中：

图1为本发明的具体应用场景示意图。

图2为本发明的具体应用场景示意图。

图3为本发明的系统检测判定流程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下面结合实施例和附图，对本发明作进一步的详细说明，本发明的示意性实施方式及其说明仅用于解释本发明，并不作为对本发明的限定。

实施例

如图1和图2所示，将手机安放于正面拍摄视频，检测连续帧中的人体手腕骨骼关键点与横杆的距离判断其是否处于引体向上的动作过程中，通过提取人脸关键点中下巴关键点与横杆的位置变化，以及大臂（“肩部骨骼关键点——肘部骨骼关键点”连线）与小臂（“肘部骨骼关键点——手腕骨骼关键点”连线）的夹角变化来判断其是为上升、下降以及动作完成过程中的有效程度。

本发明提供一种基于骨骼和人脸关键点的引体向上检测系统，包括：