一种基于计算机视觉的学生姿势识别分析方法

文档序号:29438737发布日期:2022-03-30 09:45阅读:226来源:国知局

1.本发明涉及计算机视觉图像识别技术领域,特别涉及一种用于学生姿势识别分析方法。


背景技术:

2.视觉是人类观察和认识化界的最重要的途径,在日常生活中人们从外界获取的信息大约有75%来自视觉系统。自计算机和互联网问世来,人类的脑力和感知能力得到了极大的拓展巧延伸,基于计算机视觉的人体动作识别从上世纪末至今受到愈来愈多的关注,视频动作识别也逐渐成为国内外研究人员专注的热点问题。目前多数学生在做作业时体态姿势不标准,不仅影响书写的速度和质量,而且会导致视力下降,使孩子过早的戴上眼镜;而且因为腰挺不直,影响脊椎和颈椎的正常发育;坐姿的不正确比如跷二郎腿等动作行为,还会影响到双腿骨骼和肌肉的发育。所以说做作业姿势不正确会对学生的身体健康产生极大的影响。
3.针对以上问题的分析,应该及时提醒学生的坐姿问题,但现代社会父母的工作和生活压力都很大,大多数家长无暇顾及孩子的这类问题。所以本发明提出了一种基于计算机视觉的学生姿势识别分析方法并可以语音对孩子的坐姿不规范等问题及时进行提醒,使学生保持一个良好的坐姿,保证身体的健康。


技术实现要素:

4.本发明的目的在于提出了一种基于计算机视觉的学生姿势识别分析方法,用以解决包括:1)通过视频传感器获取学生在做作业时的实时体态姿势数据。2) 通过红外线距离传感器对学生身体部位与课桌之间的距离进行实时测量。3)采集的数据包括学生的肩膀、脖子、头、肘关节、手腕、手指、腰部、膝盖、脚部以及眼睛、鼻子、嘴巴等面部表情。4)通过计算机视觉相关技术和卷积神经网络和densepose技术对学生做作业时的动作体态进行分析。5)对一些标准坐姿以及学生做作业中容易出现的状态不集中时学生的面部表情和各类动作如挠头、趴着、身体歪向一侧等各种情况进行训练,并建立对比数据库。6)通过与经过训练的数据进行对比,判断学生当前的体态状态,若姿势不标准或精神状态不集中则发出语音提示。
5.为实现上述目的,本发明采用以下技术方案:视频动作识别作为一种分类任务,其传统方法的设计基本上遵循了传统计算机视觉中通过卷积神经网络提取特征加基于特征进行分类的框架并利用densepose技术对学生的体态姿势和面部表情进行判断,本发明采用了kinetics数据集作为测试数据集,kinetics是一个超大规模的视频动作识别数据集,其视频收集自youtube等视频网站,共包含 500个动作类别,50万左右的视频片段,每个视频平均时长10秒。十分适合作为本发明的数据测试集。本发明基于计算机视觉的学生姿势识别分析方法包括以下几个阶段:
6.阶段一,动作获取,在学生做作业时通过视觉传感器对标准以及各类容易出现的
问题姿势进行取样拍摄。
7.阶段二,数据分类,对阶段一所收集到的图像数据进行特征提取和姿势分类。
8.阶段三,利用卷积神经网络(cnn)对采集并分类好的图片进行识别训练,将标准体态姿势与各类容易出现的问题姿势进行分组训练。得出正确姿势和各种错误姿势的对比识别模型。
9.阶段四,对学生做作业的体态姿势进行判断,对做作业的过程进行姿势拍摄,提取特征。利用densepose技术对学生的体态姿势进行估计,然后通过阶段三所获得的姿势对比识别模型进行搜索和对比。
10.阶段五,输出对比结果,并设定一个阈值,最终对学生的体态姿势给出一个准确的判断。
11.其中阶段一又包含以下具体步骤:
12.步骤s101:通过视频传感器来动态采集学生的姿势图像。设置一个定时器,以固定的频率采集图像帧。
13.步骤s102:利用红外距离传感器测量学生头部与课桌之间的距离。
14.步骤s103:将各类传感器采集到的数据信息缓存在系统内存中,等待下一步处理。
15.因为此发明针对的场景是检测学生在做作业时的体态动作,情景较为单一,背景与摄像头基本都是静止的。所以可以使用全局特征提取的方法,故阶段二具体包括以下步骤:
16.步骤s201:采用背景减除(background segment,bs)法对视频中的学生进行定位,需要对背景建模,本发明采用卡尔曼滤波器建模以消除背景噪音达到更好的效果。
17.步骤s202:采用卷积神经网络(cnn)提取所采集的图像帧中的特征,利用不同的卷积、池化和最后输出的特征向量的大小控制整体模型的拟合能力。
18.步骤s203:然后将提取出的特征利用支持向量机(support vector machine, svm)对图片中的人体体态姿势进行分类。
19.阶段三中包括以下步骤:
20.步骤s301:对上一阶段采集并分类好的图片,进行随即旋转、剪裁和平移等图像操作,扩大训练数据和提升泛化能力和模型的鲁棒性。
21.步骤s302:在卷积过程中采用两个3*3的卷积核代替一个5*5的卷积核,减少参数数量并且可以在保证具有相同感受野的条件下,提升网络深度,可以达到更好的训练效果。
22.步骤s303:经过深度训练后,建立模型,对各种体态姿势的模型进行标准、统一化的标记,建立对比数据库,得出标准姿势与各种错误姿势的对比识别模型。
23.densepose将人体分为了24个部位和1个背景,在网络细节上,采用局部化处理回归问题,首先进行二分类,得出前景与背景,然后将前景再进行细分成各个不同的身体部位进行分别回归。旨在完成从rgb图像中所有的人体关键点到人体3d表面的映射,
24.阶段四中包括以下具体步骤:
25.步骤s401:经过一、二阶段,将学生做作业的实时视频上传到数据处理单元,进行预处理,改善图像质量效果并突出特征效果,提高整体效率。
26.步骤s402:利用densepose技术对经过预处理的rgb图像进行处理,使用 faster-rcnn检测,得到人物区域检测图。
27.步骤s403:利用传统的神经网络对检测图进行分块。
28.步骤s404:对经过分块处理之后的图像使用局部二维坐标系对每个部分进行参数化,并通过回归函数识别和预测该点在曲面模型上的位置。
29.步骤s405:把上一步处理得到的点转化为热力图iuv(i:人体块图。u, v:曲面模型中的uv贴图)
30.步骤s406:在获得所有的热力图后,利用几何纹理信息人体表示densepose 便可对学生的体态姿势进行判断,并与阶段三中经过训练所得到的对比识别模型进行搜索和对比。
31.阶段五包括以下步骤:
32.步骤s501:输出阶段四的姿势判断结果与阶段三经过训练的对比识别模型进行比较。
33.步骤s502:设置一个阈值,未超过阈值则坐姿相对标准,若超过阈值则语音提示学生注意坐姿。
34.步骤s503:根据学生在做作业的整个过程中的具体情况,最终形成学生在整个作业过程中的行为数据报告,其中例如专注学习的时间长度,坐姿标准的时间长度和走神的时间长度及坐姿不标准的时间长度。在整个作业过程中的行为数据形成学生的作业报告。
附图说明
35.为了更清楚的说明本发明实施的技术方案,下面将对发明的主要过程所设计的步骤用流程图加以说明,以下附图仅示出了本发明的某些实例,因此不应被看作是对范围的限定,凡是在不脱离本发明的构思和原则的前提下,任何本领域的技术人员所做出的等同变化与修改,均属于本发明保护的范围。
36.图1为阶段一的工作流程图;
37.图2为阶段二的工作流程图;
38.图3为阶段三的工作流程图;
39.图4为阶段四的工作流程图;
40.图5为阶段五的工作流程图。
当前第1页1 2 
当前第1页1 2 
网友询问留言 留言:0条
  • 还没有人留言评论。精彩留言会获得点赞!
1