基于深度图像的不良坐姿提醒方法和装置与流程

本发明涉及姿势校正技术领域，特别是涉及一种基于深度图像的不良坐姿提醒方法和装置。

背景技术：

坐姿不仅影响青少年生长发育，对于上班族而言，也同样意义重大。实时坐姿判断对养成良好习惯，保护健康均有重大意义。而在现实生活中，除了通过人为观察和纠正达到养成健康坐姿习惯的目的外，还有比较典型方法有基于可穿戴设备方法、基于人工智能方法和基于深度图像分析的方法。

其中，基于可穿戴设备方法需要在腰部等多个关节安装传感器，容易造成人体舒适度下降，且成本非常高；目前基于人工智能的行为分析方法大多采用lstm进行深度学习，但深度学习算法必须要有大量的样本进行长时间的训练，才能达到一定的准确率，其训练成本大，时间久，不易推广；基于图像分析的方法分析过程复杂、计算量大，很难达到实时检测，实时分析，且经常出现误报的情形。

技术实现要素：

鉴于上述状况，有必要针对现有技术中不良坐姿提醒方法成本高、计算量大、误报率高的问题，提供一种基于深度图像的不良坐姿提醒方法和装置。

本发明提供了一种基于深度图像的不良坐姿提醒方法，包括：

监测kinect摄像头拍摄的视频中每一帧深度图像，计算当前深度图像中人体的躯干弯曲角度；

当所述躯干弯曲角度大于第一阈值时，确定所述当前深度图像为不良坐姿图像；

当所述躯干弯曲角度小于或等于第一阈值时，计算所述当前深度图像中人体的颈部弯曲角度；

当所述颈部弯曲角度大于第二阈值时，确定所述当前深度图像为不良坐姿图像；

计算预设时间内所述不良坐姿图像的数量与所述预设时间内所述深度图像的总数量的比值；

当所述比值大于第三阈值时，发出提示。

上述不良坐姿提醒方法，其中，所述计算当前深度图像中人体的躯干弯曲角度的步骤包括：

确定当前深度图像中人体的腰关节点和颈关节点，并连接所述颈关节点和所述头关节点构建躯干线；

计算所述躯干线与重力线的夹角的角度，以得到所述当前深度图像中人体的躯干弯曲角度。

上述不良坐姿提醒方法，其中，所述计算所述当前深度图像中人体的颈部弯曲角度的步骤包括：

确定当前深度图像中人体的头关节点，并连接所述颈关节点和所述头关节点构建颈部线；

计算所述颈部线与重力线的夹角的角度，以得到所述当前深度图像中人体的颈部弯曲角度。

上述不良坐姿提醒方法，其中，所述第一阈值和所述第二阈值均为20°。

上述不良坐姿提醒方法，其中，所述第三阈值为50％。

本发明还提供了一种基于深度图像的不良坐姿提醒装置，包括：

监测模块，用于监测kinect摄像头拍摄的视频中每一帧深度图像；

第一计算模块，用于计算当前深度图像中人体的躯干弯曲角度；

第一确定模块，用于当所述躯干弯曲角度大于第一阈值时，确定所述当前深度图像为不良坐姿图像；

第二计算模块，用于当所述躯干弯曲角度小于或等于第一阈值时，计算所述当前深度图像中人体的颈部弯曲角度；

第二确定模块，用于当所述颈部弯曲角度大于第二阈值时，确定所述当前深度图像为不良坐姿图像；

第三计算模块，用于计算预设时间内所述不良坐姿图像的数量与所述预设时间内所述深度图像的总数量的比值；

提示模块，用于当所述比值大于第三阈值时，发出提示。

上述不良坐姿提醒装置，其中，所述第一计算模块包括：

第一构建模块，用于确定当前深度图像中人体的腰关节点和颈关节点，并连接所述颈关节点和所述头关节点构建躯干线；

第一计算子模块，用于计算所述躯干线与重力线的夹角的角度，以得到所述当前深度图像中人体的躯干弯曲角度。

上述不良坐姿提醒装置，其中，所述第二计算模块包括：

第二构建模块，确定当前深度图像中人体的头关节点，并连接所述颈关节点和所述头关节点构建颈部线；

第二计算子模块，计算所述颈部线与重力线的夹角的角度，以得到所述当前深度图像中人体的颈部弯曲角度。

上述不良坐姿提醒装置，其中，所述第一阈值和所述第二阈值均为20°。

上述不良坐姿提醒装置，其中，所述第三阈值为50％。

本发明实施例通过监测kinect摄像头拍摄的每一帧深度图像，先计算当前深度图像中人体的躯干弯曲角度，若躯干弯曲角度大于第一阈值则确定当前深度图像为不良坐姿图像，若躯干弯曲角度小于或等于第一阈值时，则计算颈部弯曲角度，当颈部弯曲角度大于第二阈值时则确定当前深度图像为不良坐姿图像。然后，通过计预设时间内所有不良坐姿图像数量与所有深度图像的数量的比值，当不良坐姿图像比值超过第三阈值时，进行告警提示。本发明成本低、算法简单、计算量小、计算准确、效率高等特点，可在实际应用中得到更好推广和实施。

附图说明

图1为本发明第一实施例中的基于深度图像的不良坐姿提醒方法的流程图；

图2为本发明第二实施例中的基于深度图像的不良坐姿提醒方法的流程图；

图3为人体骨骼点的示意图；

图4a为一帧深度图像；

图4b表示的是图4a中躯干线和颈部线在三维空间中的位置示意图；

图4c是图4b中颈部弯曲角度的示意图；

图5为本发明第三实施例中的基于深度图像的不良坐姿提醒装置的结构框图；

图6为图5中第一计算模块的结构框图；

图7为图5中第二计算模块的结构框图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。

参照下面的描述和附图，将清楚本发明的实施例的这些和其他方面。在这些描述和附图中，具体公开了本发明的实施例中的一些特定实施方式，来表示实施本发明的实施例的原理的一些方式，但是应当理解，本发明的实施例的范围不受此限制。相反，本发明的实施例包括落入所附加权利要求书的精神和内涵范围内的所有变化、修改和等同物。

请参阅图1为本发明第一实施例中的基于深度图像的不良坐姿提醒方法，包括步骤s11～s17。

步骤s11，监测kinect摄像头拍摄的视频中每一帧深度图像，计算当前深度图像中人体的躯干弯曲角度。

本实施例通过kinect深度摄像头，对进入监控环境进行监控与分析。kinect摄像头比一般的摄像头更为智能，首先，它能够发射红外线，从而对整个房间进行立体定位，kinect摄像头则可以借助红外线来识别人体的运动，对人体的骨骼点进行实时追踪。对kinect深度摄像头拍摄的视频中每一帧深度图像中进行人体骨架模型匹配，追踪所述深度图像的人体的骨架关节点，以确定当前深度图像中人体的躯干线，并计算人体躯干线与重力线的夹角，得到人体的躯干弯曲角度。其中，重力线是重力的作用线，是自重心垂直于地面的线。

步骤s12，判断所述躯干弯曲角度是否大于第一阈值，若是执行步骤s13，否则执行步骤s14。

步骤s13，确定所述当前深度图像为不良坐姿图像。

结合fransson-hall在1995年所提出的经典医学坐姿判断方法(peo)，所述第一阈值取20°。当躯干弯曲角度大于20°时，说明人体的当前坐姿为不良坐姿。

步骤s14，计算所述当前深度图像中人体的颈部弯曲角度。

步骤s15，当所述颈部弯曲角度大于第二阈值时，确定所述当前深度图像为不良坐姿图像。

当躯干弯曲度处于正常范围时，通过kinect确定当前深度图像中人体的颈部线，计算颈部线与重力线的夹角得到人体的颈部弯曲角度。当颈部弯曲角度大于第二阈值时，说明人体的当前坐姿为不良坐姿。当颈部弯曲角度小于或等于第二阈值时说明人体的当前坐姿为正常坐姿，则分析下一帧深度图像。第二阈值也是依据经典医学理论中对坐姿的判断，取值20°。

步骤s16，计算预设时间内所述不良坐姿图像的数量与所述预设时间内所述深度图像的总数量的比值。

步骤s17，当所述比值大于第三阈值时，发出提示。

上述步骤中，用户可以自行设置预设时间和第三阈值，例如预设时间段可以设置为10分钟，第三阈值设置为50％。

从开始监测被监测人时进行计时，实时获取kinect摄像头拍摄的每一帧深度图像，判断每帧图像是否为不良坐姿图像，计时达到10分钟时，计算10分钟内的不良坐姿图像的数量占10分钟内深度图像的总数量的比例，一般1秒钟视频包含30帧静态图像。当不良坐姿图像占10分钟内视频的总深度图像的数量的50％，则发出提示，以提醒被监测人矫正坐姿。并继续下一个10分钟的监测。

定义10分钟的目的是因为坐姿是一个长时间的过程，不能一瞬间有一个动作不健康，就判断为非健康坐姿并进行提示。当不良坐姿图像超过10分钟内视频的所有图像的一半时，则说明人体的坐姿不利于健康。

通过实验数据可归纳，在绝大部分不良坐姿情况下，躯干弯曲角度均大于20度。故本实施例中，首先计算躯干弯曲角度，而不是同时计算两个角度。这样可以减少约一半的计算量，大大提高程序运行效率。

本实施例通过监测kinect摄像头拍摄的每一帧深度图像，先计算当前深度图像中人体的躯干弯曲角度，若躯干弯曲角度大于第一阈值则确定当前深度图像为不良坐姿图像，若躯干弯曲角度小于或等于第一阈值时，则计算颈部弯曲角度，当颈部弯曲角度大于第二阈值时则确定当前深度图像为不良坐姿图像。然后，通过计算一段时间内所有不良坐姿图像数量与所有深度图像的数量的比值，当不良坐姿图像比值超过50％时，进行告警提示。

请参阅图2，为本发明第二实施例中的基于深度图像的不良坐姿提醒方法，包括步骤s21～s30。

步骤s21，初始化，并开始计时。

步骤s22，监测kinect摄像头拍摄的视频中每一帧深度图像，确定当前深度图像中人体的腰关节点和颈关节点，并连接所述颈关节点和所述头关节点构建躯干线。

步骤s23，计算所述躯干线与重力线的夹角的角度，以得到所述当前深度图像中人体的躯干弯曲角度。

步骤s24，判断所述躯干弯曲角度是否大于第一阈值，若是执行步骤s25，否则执行步骤s26。

步骤s25，确定所述当前深度图像为不良坐姿图像。

步骤s26，确定当前深度图像中人体的头关节点，并连接所述颈关节点和所述头关节点构建颈部线。

步骤s27，计算所述颈部线与重力线的夹角的角度，以得到所述当前深度图像中人体的颈部弯曲角度。

具体实施时，如图3所示，通过深度图像，追踪三个关节点：头关节点a、颈关节点b和腰关节点c，其中，ab连线为颈部线，bc连线为躯干线。kinect采集的深度图像实际包含的数据中包含三维坐标信息，因此，可以理解为图片中的每一个像素都由{x，y，z}三轴信息组成，因此可确定kinect深度摄像头所创建的三维空间头关节点、颈关节点和腰关节点的坐标。图4b表示的是图4a中躯干线和颈部线在三维空间中的位置，颈部线、躯干线分别与重力线形成夹角α和β，即分别为躯干弯曲角度和颈部弯曲角度。

以颈部弯曲角度为例，如图4c所示，构建从颈部关节点至头部关节中心点的第一向量公式为：

其中(xh，yh，zh)为头关节点的坐标，(xsc，ysc，zsc)为颈关节点的坐标。

以颈部关节点为坐标原点，延伸一条与地平面垂直的直线，代表重力线向量：

因为重点线上任意一点均可和颈关节点组成向量，故重力线可简化为：

通过余弦定理计算控件中两相交向量的夹角α：

躯干弯曲角度计算方法与上述颈部弯曲角度计算步骤一致，在此不予赘述。

步骤s28，当所述颈部弯曲角度大于第二阈值时，确定所述当前深度图像为不良坐姿图像。

步骤s29，当计时达到预设时间时，计算预设时间内所述不良坐姿图像的数量与所述预设时间内所述深度图像的总数量的比值。

步骤s30，当所述比值大于第三阈值时，发出提示，并返回步骤s21。

本实施例通过深度图像追踪人体主要关节，点即头关节点、颈关节点和腰关节点，实现了一套基于计算机视觉的不良坐姿检测算法。通过分析深度图像对坐姿进行建模，确定人体颈部弯曲角度或躯干弯曲角度，当二者分别超过第一阈值和第二阈值时则可视为不良坐姿。然后，计时达到预设时间时，通过计算预设时间内所有帧不良坐姿图像与总帧数的比值，当不良坐姿图像所占的比值超过第三阈值时，发出提示，并将计时时间清零，返回进行下一轮的监测。

请参阅图5，为本发明第三实施例中的基于深度图像的不良坐姿提醒装置，包括：

监测模块100，用于监测kinect摄像头拍摄的视频中每一帧深度图像；

第一计算模块200，用于计算当前深度图像中人体的躯干弯曲角度；

第一确定模块300，用于当所述躯干弯曲角度大于第一阈值时，确定所述当前深度图像为不良坐姿图像；

第二计算模块400，用于当所述躯干弯曲角度小于或等于第一阈值时，计算所述当前深度图像中人体的颈部弯曲角度；

第二确定模块500，用于当所述颈部弯曲角度大于第二阈值时，确定所述当前深度图像为不良坐姿图像；

第三计算模块600，用于计算预设时间内所述不良坐姿图像的数量与所述预设时间内所述深度图像的总数量的比值；

提示模块700，用于当所述比值大于第三阈值时，发出提示。

进一步的，如图6所示，所述第一计算模块200包括：

第一构建模块201，用于确定当前深度图像中人体的腰关节点和颈关节点，并连接所述颈关节点和所述头关节点构建躯干线；

第一计算子模块202，用于计算所述躯干线与重力线的夹角的角度，以得到所述当前深度图像中人体的躯干弯曲角度。

进一步的，如图7所示，所述第二计算模块400包括：

第二构建模块401，确定当前深度图像中人体的头关节点，并连接所述颈关节点和所述头关节点构建颈部线；

第二计算子模块402，计算所述颈部线与重力线的夹角的角度，以得到所述当前深度图像中人体的颈部弯曲角度。

进一步的，所述第一阈值和所述第二阈值均为20°。

进一步的，所述第三阈值为50％。

本实施例的装置，可以用于执行图1至图2任一所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。

计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。

应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。