一种基于坐姿深度图像的坐姿检测方法与流程
本发明涉及坐姿检测方法，具体是涉及一种基于坐姿深度图像的坐姿检测方法。
背景技术：
如今，由于学习和工作的需要，人们每天坐立的时间越来越长，据统计，如今人们平均每天坐立的时间超过8个小时。在长时间的坐立情况下，由于人们很难一直保持良好的坐立姿态，因此很容易出现离书桌太近、身体倾斜、头偏等不良坐姿。久而久之，就会很容易患上近视、斜眼、腰椎疾病、颈椎疾病等，严重的影响人们的身体健康。因此为了促使人们纠正不良坐姿、养成良好的坐姿习惯、降低患近视、腰椎疾病等疾病的概率，进行坐姿检测是非常有必要的。
目前，已有很多坐姿检测、预防近视、纠正坐姿的技术方案。其中，最普遍的方法就是通过传感器(红外、压力、加速度、超声波等传感器)实现的。例如：申请号为201510182899.8的中国专利申请“一种具有坐姿纠正功能的智能座椅”通过安装在椅子上的压力传感器判断人体坐姿是否倾斜；申请号为201610636497.5的中国专利申请“一种学生用防近视眼姿势防控方法”将距离传感器与倾斜传感器套接在用户头上，实现近视与身体倾斜的检测。这种通过传感器进行坐姿检测的方式具有测量数据准确度高的优点，但是其测量数据过于单一(例如，压力传感器就只能得到压力数据)，另外，传感器需要进行安装或者让用户进行佩戴，这不仅会让用户感到不适，而且安装使用麻烦、成本较高。另外一种方法就是通过图像进行坐姿监测，例如：申请号为200910242665.2的中国专利申请“一种坐姿检测方法及装置”用电脑上的摄像头采集目标用户图像，检测人脸、眼睛、肩部后得到人脸倾斜角度、眼睛区域面积和头肩曲线，将所述检测的结果与预设的标准值进行比较，进行坐姿判定。申请号为201410134765.4的中国专利申请“一种矫正坐姿的智能书桌及其矫正方法”在书桌上嵌入红外发射器、红外摄像头与显示器，通过红外线发射器与红外线摄像头进行主动式红外成像，提取结构光的特征点信息，测定特征点的深度信息，复原对象轮廓，完成图像的三维重建，并根据对象轮廓信息运用机器学习的方法识别出人眼、胸部、主要关节、桌面等对象，提取人体脊椎的骨骼模型，计算坐距、视矩，通过骨骼模型与标准的模型进行比较，判断含胸、歪斜等坐姿。这种通过图像进行坐姿检测的方法，由于图像信息丰富，具有很好的前景。但是目前这些方法还存在一定的缺陷，如彩色图像容易受到光照，复杂背景的影响；通过双目摄像头进行坐姿检测的方法，深度图像精度不高，会对坐姿检测造成误差；另外通过电脑或者智能课桌里的固定摄像头进行图像采集时，设备移动不方便不够便捷，使用范围过于局限，而且对设备要求高。
总的来说，现有的坐姿检测方法或系统，存在安装复杂、不便于携带、使用麻烦以及坐姿检测准确度不高的缺点。
技术实现要素：
本发明所要解决的技术问题是，克服上述背景技术的不足，提供一种基于坐姿深度图像的坐姿检测方法，坐姿检测准确度高，只需要将手机与深度传感器连接，就能通过坐姿检测软件进行坐姿检测，使用方便，使用范围广泛，具有很好的便携性与灵活性。
本发明解决其技术问题采用的技术方案是，一种基于坐姿深度图像的坐姿检测方法，包括以下步骤：
(1)通过深度传感器获取人体的坐姿深度图像(本发明以320*240分辨率的坐姿深度图像为例。如果是其他分辨率的深度图像，则相应参数按比例进行变换)及坐姿深度图像中所有像素点的深度距离值；
(2)对坐姿深度图像进行分割，去除外部背景与人体的干扰，得到坐姿分割图像；
(3)通过坐姿分割图像求取关键点，关键点包括头部顶点、头部中心点、左肩点、右肩点、肩部中心点、身体中心点；
(4)根据关键点判定坐姿。
进一步，步骤(2)中，对坐姿深度图像进行分割，去除外部背景与人体的干扰，得到坐姿分割图像的具体方法如下：
(2-1)在坐姿深度图像中，选择两个固定区域：第一个区域为矩形方框e，矩形方框e为坐姿深度图中心处30*30像素的矩形方框；第二个区域为矩形方框f，矩形方框f的长为280像素，宽为200像素，以坐姿深度图像的左下角点为原点，矩形方框f的中心点像素坐标为(160,120)；矩形方框f上边框的纵坐标用boxtop0表示，矩形方框f下边框的纵坐标用boxbottom0表示，矩形方框f左边框的横坐标用boxleft0表示，矩形方框f右边框的横坐标用boxright0表示；
(2-2)获取矩形方框e中所有像素点的平均深度距离值，定义为人体的最远深度距离值
(2-3)均匀获取坐姿深度图像中的像素点，每隔10个像素提取一点，将每个点的深度距离值放入向量a[]中，并运用公式(1)得到所有的背景点；
其中，k为图像中的像素点，a[k]为像素点的深度距离值；
(2-4)求得所有背景点中最小的深度距离值
(2-5)求取坐姿深度图像除去矩形方框f的区域中所有像素点中最小的深度距离值为
(2-6)对坐姿分割图像进行滤波处理，得到滤波后的坐姿分割图像，
(2-7)根据滤波后的坐姿分割图像，求取人体轮廓的最高点的纵坐标值topi、最低点的纵坐标值bottomi、最左边点的横坐标值lefti、最右边点的横坐标值righti；
(2-8)对下一帧坐姿深度图像进行坐姿分割，如果上一帧坐姿分割图像中不为零的像素点与上一帧坐姿分割图像中所有像素点的比值大于10％并且小于80％，则令
令boxtopi+1＝topi+15，boxbottomi+1＝bottomi-15，boxlefti+1＝lefti-15，boxrighti+1＝righti+15，返回步骤(2-3)；
如果上一帧坐姿分割图像中不为零的像素点与上一帧坐姿分割图像中所有像素点的比值大于80％或者小于10％，令boxtopi+1＝boxtop0，boxbottomi+1＝boxbottom0，boxlefti+1＝boxleft0，boxrighti+1＝boxright0，返回步骤(2-2)。
进一步，步骤(3)中，通过坐姿分割图求取关键点的具体方法如下：
(3-1)从上到下对坐姿分割图像的每一行进行扫描，得到坐姿分割图像中每一行的人体宽度width＝{width1,width2,...,widthn}，以及每一行人体宽度的左边点的横坐标
(3-2)获取人体头部顶点：从上到下找到第一条宽度不为0的所在行，即人体轮廓的顶点，将其作为头部顶点；
(3-3)根据头部顶点，求取头部顶点以下30行的人体宽度平均值average，如果widthk＝2average，则第k行对应肩部所在行，第k行的宽度即为肩部宽度；第k行的人体宽度左边点即为人体左肩点；第k行的人体宽度右边点即为人体右肩点；左肩与右肩的中心即为肩部中心点；
(3-4)头部顶点与肩部之间的人体区域为头部区域，求取头部区域像素点的中心，即头部中心点；
(3-5)肩部以下的人体区域为身体区域，求取身体区域像素点的中心，即身体中心点；
(3-6)运用张正友法进行相机标定，得到每个关键点的世界坐标。
进一步，步骤(3-1)中，获取第m行人体宽度和第m行人体宽度的左边点横坐标以及右边点横坐标的具体方法如下：
遍历第m行时，求得该行所有连续的线段，以及每条连续线段的左右点，确定最长的线段，并且以最长线段为基准，从左右两边分别查询，如果相邻线段离最长线段的距离小于10个像素点，就连接为一条线段，依次类推，直到所有的线段都查询完毕，最后求得该行的最长线段即为人体宽度widthm，以及该最长线段的左边点横坐标为
进一步，步骤(4)中，根据关键点判定坐姿的具体方法如下：
如果头部中心点-肩部中心点连线与水平方向的夹角为75°-105°，同时肩部中心点-身体中心点连线与水平方向的夹角为80°-100°，为正确坐姿；如果头部顶点深度距离值比头部中心点的深度距离值大20mm以上时，为仰头；如果头部顶点深度距离值比头部中心点的深度距离值小20mm以上时，为低头；如果头部中心点与书桌边缘前方20cm处的距离小于30cm，为近视姿态；如果头部中心点-肩部中心点连线与水平方向的夹角>105°，同时肩部中心点-身体中心点连线与水平方向的夹角为80°-100°，为左偏头；如果头部中心点-肩部中心点连线与水平方向的夹角<75°，同时肩部中心点-身体中心点连线与水平方向的夹角为80°-100°，为右偏头；如果肩部中心点-身体中心点连线与水平方向的夹角<80°，为身体左斜；如果肩部中心点-身体中心点连线与水平方向的夹角>100°，为身体右斜；根据人体轮廓求取轮廓的外接矩形，如果矩形的高宽比小于0.6，为趴下；如果肩部中心点到身体中心点的深度距离值呈递减趋势，为后仰；将坐姿分割图像进行垂直投影得到投影曲线，求取投影曲线最高点，随后从左、右分别遍历，如果上升高度超过20个像素点，为举手；求取坐姿分割图像的中心点，根据该中心点将图像分为上下两部分，如果上部分的最宽线段大于下部分的最宽线段，为伸展。
进一步，还包括坐姿提醒和坐姿统计。
与现有技术相比，本发明的优点如下：
(1)本发明只需要将手机与深度传感器连接，就能通过坐姿检测软件进行坐姿检测，使用方便，使用范围广泛，不受环境、桌子等的影响，具有很好的便携性与灵活性；
(2)本发明使用深度传感器进行图像采集，图像信息准确高，图像处理方便，并且不受光照与背景的影响；
(3)本发明运用深度传感器采集人体坐姿深度图像，通过对坐姿深度图像的快速分割、坐姿关键点的获取以及坐姿判定标准的制定，实现坐姿的快速、准确的检测；
(4)本发明具有坐姿提醒、坐姿情况统计功能，能有助于用户改正不良坐姿习惯，有效预防近视、腰椎疾病、颈椎疾病等。
附图说明
图1是本发明实施例所示坐姿检测方法所对应的坐姿检测系统。
图2是本发明实施例所示坐姿检测方法中的坐姿深度图像中的矩形方框e和矩形方框f的示意图。
图3是本发明实施例所示坐姿检测方法中的坐姿分割图像中关键点的示意图。
图中，1—书桌，2—深度传感器，3—手机，a—头部顶点，b—头部中心点，c1—左肩点，c2—肩部中心点，c3—右肩点，d—身体中心点，l1—头部中心点-肩部中心点连线与水平方向的夹角，l2—肩部中心点-身体中心点连线与水平方向的夹角。
具体实施方式
下面结合附图及具体实施例对本发明作进一步详细描述。
本实施例包括以下步骤：
(1)通过深度传感器获取人体的坐姿深度图像(本实施例以320*240分辨率的坐姿深度图像为例。如果是其他分辨率的深度图像，则相应参数按比例进行变换)及坐姿深度图像中所有像素点的深度距离值；
(2)对坐姿深度图像进行分割，去除外部背景与人体的干扰，得到坐姿分割图像；具体方法如下：
(2-1)参照图2，在坐姿深度图像中，选择两个固定区域：第一个区域为矩形方框e(坐姿深度图中心处30*30像素的矩形方框)；第二个区域为矩形方框f，矩形方框f的长为280像素，宽为200像素，以坐姿深度图像的左下角点为原点，矩形方框f的中心点像素坐标为(160,120)；矩形方框f上边框的纵坐标用boxtop0表示，矩形方框f下边框的纵坐标用boxbottom0表示，矩形方框f左边框的横坐标用boxleft0表示，矩形方框f右边框的横坐标用boxright0表示；
(2-2)获取矩形方框e中所有像素点的平均深度距离值，定义为人体的最远深度距离值
(2-3)均匀获取坐姿深度图像中的像素点，每隔10个像素提取一点，将每个点的深度距离值放入向量a[]中，并运用公式(1)得到所有的背景点；
其中，k为图像中的像素点，a[k]为像素点的深度距离值；
(2-4)求得所有背景点中最小的深度距离值
(2-5)求取坐姿深度图像除去矩形方框f的区域中所有像素点中最小的深度距离值为
(2-6)对坐姿分割图像进行滤波处理，得到滤波后的坐姿分割图像，
(2-7)根据滤波后的坐姿分割图像，求取人体轮廓的最高点的纵坐标值topi、最低点的纵坐标值bottomi、最左边点的横坐标值lefti、最右边点的横坐标值righti；
(2-8)对下一帧坐姿深度图像进行坐姿分割，如果上一帧坐姿分割图像中不为零的像素点与上一帧坐姿分割图像中所有像素点的比值大于10％并且小于80％，则令
令boxtopi+1＝topi+15，boxbottomi+1＝bottomi-15，boxlefti+1＝lefti-15，boxrighti+1＝righti+15，返回步骤(2-3)；
如果上一帧坐姿分割图像中不为零的像素点与上一帧坐姿分割图像中所有像素点的比值大于80％或者小于10％，令boxtopi+1＝boxtop0，boxbottomi+1＝boxbottom0，boxlefti+1＝boxleft0，boxrighti+1＝boxright0，返回步骤(2-2)；
(3)通过坐姿分割图像求取关键点，关键点包括头部顶点、头部中心点、左肩点、右肩点、肩部中心点、身体中心点；具体方法如下：
(3-1)从上到下对坐姿分割图像的每一行进行扫描，得到坐姿分割图像中每一行的人体宽度width＝{width1,width2,...,widthn}，以及每一行人体宽度的左边点的横坐标
获取第m行人体宽度和第m行人体宽度的左边点横坐标以及右边点横坐标的具体方法如下：
遍历第m行时，求得该行所有连续的线段，以及每条连续线段的左右点，随后，确定最长的线段，并且以最长线段为基准，从左右两边分别查询，如果相邻线段离最长线段的距离小于10个像素点，就连接为一条线段，依次类推，直到所有的线段都查询完毕，最后求得该行的最长线段即为人体宽度widthm，以及该最长线段的左边点横坐标为
(3-2)参照图3，获取头部顶点a：从上到下找到第一条宽度不为0的所在行，即人体轮廓的顶点，将其作为头部顶点a；
(3-3)根据头部顶点a，求取头部顶点a以下30行的人体宽度平均值average，如果widthk＝2average，则第k行对应肩部所在行，第k行的宽度即为肩部宽度；第k行的人体宽度左边点即为人体左肩点c1；
第k行的人体宽度右边点即为人体右肩点c3；左肩与右肩的中心即为肩部中心点c2；
(3-4)头部顶点a与肩部之间的人体区域为头部区域，求取头部区域像素点的中心，即头部中心点b；
(3-5)肩部以下的人体区域为身体区域，求取身体区域像素点的中心，即身体中心点d；
(3-6)运用张正友法进行相机标定，得到每个关键点的世界坐标。
(4)根据关键点判定坐姿；
如果头部中心点-肩部中心点连线与水平方向的夹角l1为75°-105°，同时肩部中心点-身体中心点连线与水平方向的夹角l2为80°-100°，为正确坐姿；如果头部顶点深度距离值比头部中心点的深度距离值大20mm以上时，为仰头；如果头部顶点深度距离值比头部中心点的深度距离值小20mm以上时，为低头；如果头部中心点与书桌边缘前方20cm处的距离小于30cm，为近视姿态；如果头部中心点-肩部中心点连线与水平方向的夹角l1>105°，同时肩部中心点-身体中心点连线与水平方向的夹角l2为80°-100°，为左偏头；如果头部中心点-肩部中心点连线与水平方向的夹角l1<75°，同时肩部中心点-身体中心点连线l2与水平方向的夹角为80°-100°，为右偏头；如果肩部中心点-身体中心点连线与水平方向的夹角l2<80°，为身体左斜；如果肩部中心点-身体中心点连线与水平方向的夹角l2>100°，为身体右斜；根据人体轮廓求取轮廓的外接矩形，如果矩形的高宽比小于0.6，为趴下；如果肩部中心点到身体中心点的深度距离值呈递减趋势，为后仰；将坐姿分割图像进行垂直投影得到投影曲线，求取投影曲线最高点，随后从左、右分别遍历，如果上升高度超过20个像素点，为举手；求取坐姿分割图像的中心点，根据该中心点将图像分为上下两部分，如果上部分的最宽线段大于下部分的最宽线段，为伸展。
(5)坐姿提醒；
对近视、身体左斜、身体右斜、左偏头与右偏头这5种不良姿态分别设定一个计时器，当人处于不良坐姿时，计时器开始工作，如果不良坐姿连续存在并且超过30s，就进行语音提醒，同时手机振动，促使其纠正坐姿。当其人回归正确姿态时计时器清零，当再一次出现不良坐姿时计时器再次运行。
(6)坐姿统计；
对每一次学习工作时的所有坐姿进行统计，统计每种姿态出现的时间，最后分别与总的学习工作时间相比，得到每种姿态的百分比，并用饼状图的形式显示，用于分析坐姿情况。
参照图1，本发明的坐姿检测方法设计成相应的坐姿检测软件在android平台上进行实现，android平台为便携式的手机3，手机与深度传感器2连接，深度传感器2安装在书桌1上，深度传感器2、手机3以及安装在手机3内的坐姿检测软件组成坐姿检测系统。
本发明在进行坐姿检测前，需要对深度传感器的位置进行调整。使用时，将深度传感器正对人体放置，深度传感器距离桌面高度为40cm左右。由于深度传感器具有规定的工作距离，同时考虑坐姿深度图像应该将人体完全采集进去，最终确定深度传感器距离人0.8-1.2m为深度传感器最佳工作距离。深度传感器开始工作时，首先求取坐姿深度图像中心区域的矩形方框e的平均深度距离，当该平均深度距离比最佳工作距离近时，则提醒用户将深度传感器往后移动，反之向前移动。直到移动到最佳工作位置(0.8-1.2m之间)，并且持续30s，才开始进行坐姿的检测。
以学习者学习为例：开始学习前，学习者将深度传感器摆放在自己的正前方，并通过otg线将深度传感器与手机连接。随后，打开手机上的坐姿检测软件，学习者根据坐姿检测软件的提示调整深度传感器到最佳位置。然后，坐姿检测软件就会开始对学习者进行坐姿检测。学习过程中，坐姿检测软件会对学习者的不良坐姿进行提醒。学习完成后，坐姿检测软件会显示学习者整个学习过程中的坐姿饼状图，用于学习者了解自身的坐姿情况。
本发明只需要将手机与深度传感器连接，就能通过坐姿检测软件进行坐姿检测，使用方便，使用范围广泛，不受环境、桌子等的影响，具有很好的便携性与灵活性；本发明使用深度传感器进行图像采集，图像信息准确高，图像处理方便，并且不受光照与背景的影响；本发明运用深度传感器采集人体坐姿深度图像，通过对坐姿深度图像的快速分割、坐姿关键点的获取以及坐姿判定标准的制定，实现坐姿的快速、准确的检测；本发明具有坐姿提醒、坐姿情况统计功能，能有助于用户改正不良坐姿习惯，有效预防近视、腰椎疾病、颈椎疾病等。
本领域的技术人员可以对本发明进行各种修改和变型，倘若这些修改和变型在本发明权利要求及其等同技术的范围之内，则这些修改和变型也在本发明的保护范围之内。
说明书中未详细描述的内容为本领域技术人员公知的现有技术。
- 还没有人留言评论。精彩留言会获得点赞！