一种基于图像识别的学生坐姿检测与纠正系统的制作方法

本发明涉及一种基于图像识别的学生坐姿检测与纠正系统。

背景技术：

目前，我国的青少年儿童近视发病率已居世界第二位，相关资料显示:在校学生近视率日渐上升，大学生达70％、中学生达30％～40％、小学生已达20％。同时，因坐姿不正确产生的脊椎弯曲的学生比例也很高。预防青少年儿童近视和驼背是全社会关心的问题。儿童学习时坐姿歪斜、弯腰曲背、视距过近等现象是导致近视、斜视和颈椎发育不良的主要原因。当前国内外解决青少年儿童错误坐姿的主要方法是物理类的矫正器，如耳挂式坐姿矫正器、脊椎矫正器等,它们大多从物理角度起到预防近视的目的，并要求学生长期佩戴这些矫正器。而长时间佩戴矫正器，可能会导致孩子们的不适甚至厌烦。利用超声波测距传感技术开发的矫正器，起到了一定的作用，但通常情况下因为笔杆以及手臂遮挡的影响，使得系统误差率较大，给使用者到来不悦的体验。

技术实现要素：

本发明的目的在于解决上述的技术问题而提供一种基于图像识别的学生坐姿检测与纠正系统，在不直接接触学生身体的情况下，通过视频图像实现对学生坐姿的实时监控，对错误姿态进行语音提示，从而达到及时发现和纠正错误坐姿的目的。

为实现上述目的，本发明采用如下技术方案：

一种基于图像识别的学生坐姿检测与纠正系统，包括：

人脸图像检测模块，用于检测进入拍摄区域的人脸图像；

人脸姿态估计模块，用于获取人脸器官的几何特征，定位人脸特征点并利用获得的人脸特征点构建人脸特征三角形；当人脸发生姿态变化时，利用该人脸特征三角形的位置变化进行姿态参数的估计，获得估计姿态参数：

音频输出模块，用于比较估计姿态参数与标准姿态参数，并根据比较结果输出姿态纠正提示音频。

所述人脸特征点包括2个眼角、2个嘴角和鼻尖。

所述标准姿态参数对应的人脸特征三角形为等腰三角形。

所述利用该人脸特征三角形的位置变化进行姿态参数的估计，获得估计姿态参数，具体是计算人脸特征三角形的三个角的顶点坐标，然后根据该顶点坐标计算三个角的角度变化，获得估计姿态参数。

所述人脸图像检测模块还用于检测人脸图像相对于标准图像的大小，以判断人脸的远近，并由所述音频输出模块输出相应的提示音频。

所述人脸姿态估计模块包括：

特征点定位模块，用于获取人脸器官的几何特征，定位人脸特征点并利用获得的人脸特征点构建人脸特征三角形；

姿态估计模块，用于当人脸发生姿态变化时，利用该人脸特征三角形的位置变化进行姿态参数的估计，获得估计姿态参数。

所述基于图像识别的学生坐姿检测与纠正系统，包括嵌入式处理器、显示器、视频采集模块；所述嵌入式处理器包括所述人脸图像检测模块、人脸姿态估计模块；所述显示器通过视频线接口与嵌入式处理器连接，所述视频采集模块通过usb连接线连接嵌入式处理器，所述音频输出模块与嵌入式处理器连接。

所述嵌入式处理器连接rtc时钟模块。

本发明在不直接接触学生身体的情况下，通过视频图像实现对学生坐姿的实时监控，对错误姿态进行语音提示，从而达到及时发现和纠正错误坐姿的目的。

附图说明

图1是基于图像识别的学生坐姿检测与纠正系统的结构示意图；

图2是不同种人脸姿态的估计示意图；

图3是人脸特征三角形的构建示意图；

图4是头部相对三个坐标轴的运动示意图；

图5是不同种人脸姿态的分析效果示意图；

图6是基于图像识别的学生坐姿检测与纠正系统的检测流程图；

图7是基于图像识别的学生坐姿检测与纠正系统的硬件结构示意图。

具体实施方式

下面，结合实例对本发明的实质性特点和优势作进一步的说明，但本发明并不局限于所列的实施例。

参见图1所示，一种基于图像识别的学生坐姿检测与纠正系统，包括：

人脸图像检测模块，用于检测进入摄像区域的人脸图像；

人脸姿态估计模块，用于获取人脸器官的几何特征，定位人脸特征点并利用获得的人脸特征点构建人脸特征三角形，当人脸发生姿态变化时，利用该人脸特征三角形的位置变化进行姿态参数的估计，获得估计姿态参数；

音频输出模块，用于比较估计姿态参数与标准姿态参数，并根据比较结果输出姿态纠正提示音频。

目前人脸检测方法已经有大量文献可供参考，技术已非常成熟。在人脸图像检测方面，目前广泛使用的是基于haar特征的adaboost目标检测算法。viola等提出的基于haar特征的adaboost目标检测方法通过积分图加快了特征提取速度，实现了人脸的实时检测，该方法最初由viola等学者于2001年提出。他们采用待检测目标区域的多种haar特征值作为目标的特征描述，采用adaboost方法，根据特征对训练样本的分类能力进行特征选择，并对被选特征进行加权组合得到分类器。考虑到haar特征主要表现为图像的矩形区域灰度值求和，他们创造性地提出了积分图方法加快计算速度。也正是他们在这一领域的特殊贡献，使实时人脸检测成为可能。最初他们提出的haar特征为4种，随后为加强目标检测中对偏转目标的适应性，一些学者对haar的旋转特征进行了扩展，大大提高了目标检测的准确度。基于haar特征的adaboost目标检测算法已成为opencv的功能部件。opencv是intel公司开发的开源图像处理和计算机视觉函数库，它由一系列c函数和少量c++类构成，实现了图像处理和计算机视觉方面的很多通用算法。为此本发明采用opencv实现人脸检测，在较好的光照条件下几乎没有误检，并具有良好的实时性，为特征点定位创造了条件。

本发明具体是采用利用opencv的haarcascade_frontalface_atl2.xml模型进行人脸图像检测。

需要说明的是，本发明的坐姿检测与纠正系统可利用opencv里的函数接口完成视频采集模块视频帧的采集，通过qt开发的人机界面实现图像实时显示以及人机互动。人脸检测系统以视频采集模块采集到的图像为输入得到人脸的位置信息。

本发明中，所述人脸图像检测模块采用人脸特征检测器进行人脸图像的检测，人脸特征检测器包括眼睛检测器和嘴巴检测器。本发明系统在adaboost算法基础上在人脸框内用人脸特征检测器检测眼睛和嘴部。

本发明系统在人脸检测框中去进一步检测人眼以及嘴部,人眼检测部分集中在人脸框的上半部分，嘴部检测部分集中在人脸框的下半部分，人眼检测分类器为”haarcascade_eye.xml”，嘴巴检测分类器为”haarcascade_mcs_mouth.xml”。这样很大程度上提高了人眼、嘴部检测定位的准确性，参见图2所示。

具体的，本发明中，所述人脸姿态估计模块进一步的包括：

特征点定位模块，用于获取人脸器官的几何特征，定位人脸特征点并利用获得的人脸特征点构建人脸特征三角形；

姿态估计模块，用于当人脸发生姿态变化时，利用该人脸特征三角形的位置变化进行姿态参数的估计，获得估计姿态参数。

其中，所述标准姿态参数对应的人脸特征三角形为等腰三角形，在通过人脸姿态估计模块估计出人脸当前姿态参数后，通过比较估计姿态参数与标准姿态参数，即可获得当前姿态，从而根据当前姿态，输出姿态纠正提示音频，如当前姿态为偏左，输出“当前偏左，请纠正”的音频，如当前姿态为偏右，输出“当前偏右，请纠正”的音频，如当前姿态为俯视状态，输出“当前俯视，请纠正”的音频，如当前姿态为仰视状态，输出“当前俯仰，请纠正”的音频。

具体实现上，本发明中，所述利用该人脸特征三角形的位置变化进行姿态参数的估计，获得估计姿态参数，具体是计算人脸特征三角形的三个角的顶点坐标，然后根据该顶点坐标计算三个角的角度变化，获得估计姿态参数。

具体实现上，所述人脸特征点包括2个眼角、2个嘴角和鼻尖，这样通过定位的该2个眼角、2个嘴角和鼻尖的5个特征，可以构建一个检测姿态变化的人脸特征三角形，通过该人脸特征三角形的位置变化的检测，即可实现实时获得实时的人脸姿态参数，而得到当前的估计姿态参数。

如图3所示，该图2示出的是一个标准姿态下构建的人脸特征三角形的示意图，该人脸特征三角形为等腰三角状，具有三个顶点a、b、c。

由于人脸的姿态主要归结与三个方向的转动，分为x,y,z三个方向的3个坐标轴(参见图4)的运动。相应的运动分别称为横转(pitch)、倾斜(yaw)和俯仰(roll)，因此可以将人脸姿态的计算转化为这三个角度的计算。

人脸姿态检测,又称人脸姿态参数估计,主要是近似计算人脸对应于3个坐标轴的偏转角度。基于人脸特征三角形的姿态参数估计方法主要是基于人脸几何结构,在一定条件下,可以认为人脸是刚性的。当人脸姿态发生变化时,人脸特征三角形也随之发生相应的位置偏移。人脸姿态的参数估计就变成人脸特征三角形位置偏移的角度计算,此时只要获得了人脸特征三角形3个顶点的坐标,就可以进行人脸姿态参数的粗略估计了。

具体处理时，对从视频采集模块采集的人脸序列图像进行消噪和增强等预处理后，首先进行人脸检测确定初步位置，再定位2个眼角、2个嘴角和鼻尖5个特征点，然后以一幅人脸正面图像的特征点位置为参考，结合任意图像的特征点位置计算人脸的三个角度。

当人脸相对于y轴作偏转运动时，人脸特征三角形发生了扭曲,不再是等腰三角形。人脸向哪个方向旋转，这个方向的特征三角形顶角就会变大。如果∠a>∠b,则判断人脸向左偏转；相反,如果∠b>∠a,则判断人脸向右偏转。人脸俯角或仰角是通过人脸三角形的∠c进行判断，在一定范围内，∠c越大，仰角越大；∠c越小，俯角越大。人脸姿态分析结果，参见图5所示，左侧上下两幅图分别示出了抬头(偏高)与低头(偏低)的姿态，中间上下两幅图分别示出了左摇头(偏左))与右摇头(偏右)的状态，均可以通过计算人脸特征三角形的三个顶点的角的大小变化来判断实现，然后根据判断的结果来输出对应的纠正提示音频。

系统工作时，如图6所示，系统开机后，运行人脸姿态检测程序软件，然后判断检测区域是否有人脸，如有则进行人脸特征点位进行判断当前姿态，之后根据不同的检测状态，输出相应的警告或提示，在用户退出系统后，关闭设备退出。

目前,现有的人脸姿态检测与估计的方法大体上可以分为以下两类:

①基于2d人脸外观的学习方法,这些方法都试图在2d人脸外观特征(如密度、颜色、梯度、直方图等)和3d人脸姿态之间建立一种映射关系,从而通过基于2d人脸外观的学习方法实现姿态的检测与估计。其中比较典型的有lis利用独立元分析来训练多姿态人脸子空间并进行人脸姿态估计；使用连接外眉点和嘴的中心点,形一个人脸t字型模型实现人脸姿态估计，但由于人脸姿态估计就是根据图像确定人脸在三维空间中姿态参数的过程。实践证明该种估计方法效果差，不能准确进行估计。

②认为人脸姿态检测本身就是一个3d问题,只有通过3d信息才能表征人脸姿态的本质特征。因此,这类方法往往通过抽取3d特征来表征不同姿态,或者利用不同视角下的多幅图像,在三维空间中重建人脸的3d模型实现姿态的检测。这类方法往往对图像的大小和质量要求很高,并且会花费大量的运算时间。

进一步的，本发明中，所述人脸图像检测模块还用于检测人脸图像相对于标准图像的大小，以判断人脸的远近，并由所述音频输出模块输出相应的提示音频。检测到的人脸大(相对标准距离的人脸)，则偏近；相反，检测到的人脸小(相对标准距离的人脸)，则偏远，并根据检测的结果当前偏近或偏远的纠正音频，提示使用者纠正。参见图5右侧上下两幅图，分别示出了偏近与偏远的两种姿态的情况。

参见图7所示，进一步的，本发明中，所述基于图像识别的学生坐姿检测与纠正系统，包括嵌入式处理器、显示器、用于采集人脸图像的视频采集模块；所述嵌入式处理器内置处理软件，该处理软件包括所述人脸图像检测模块、人脸姿态估计模块；所述显示器通过视频线接口与嵌入式处理器连接，所述视频采集模块通过usb连接线连接嵌入式处理器，所述音频输出模块与嵌入式处理器的音频接口相连接。

所述的显示器采用h43电阻触摸屏，所述嵌入式处理器采用s5p4418。

进一步的，本发明中，所述嵌入式处理器连接rtc时钟模块。

本发明通过检测进入摄像区域的人脸图像，获取人脸器官的几何特征，定位人脸特征点并利用获得的人脸特征点构建人脸特征三角形，当人脸发生姿态变化时，利用该人脸特征三角形的位置变化进行姿态参数的估计，获得估计姿态参数，比较估计姿态参数与标准姿态参数，并根据比较结果输出姿态纠正提示音频，从而实现了在不直接接触学生身体的情况下，通过视频图像实现对学生坐姿的实时监控，对错误姿态进行语音提示，从而达到及时发现和纠正错误坐姿的目的。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。