一种人体坐姿识别方法、装置、设备及存储介质与流程

本发明实施例涉及计算机技术，尤其涉及一种人体坐姿识别方法、装置、设备及存储介质。

背景技术：

坐姿是否正确健康，对于儿童，特别是学龄儿童的视力及身体健康等有着很深远的影响。

现有坐姿判断方式中，一种是在座椅或座椅靠背等物理装置中设置传感器电路，通过判断人体后背或者其它设定位置与物理装置是否有接触来判断坐姿。或者基于计算机视觉算法中的人脸检测算法，对人脸进行检测，利用人脸姿态角度范围及人脸检测框的像素坐标来推算当前坐姿，从而进行判断。

基于物理装置的判断的成本较高，并且由于使用者年龄身高有差异，导致无法准确针对个人判断。通过人脸的状态推算人体坐姿判断时，当在人脸处于低头或遮挡的情况时，并不能从人脸获取到有效信息进行判断；并且由于没有对人体头肩及上身姿态进行判断，忽略了人体的相关信息，最终的判断不够准确。

技术实现要素：

本发明实施例提供一种人体坐姿识别方法、装置、设备及存储介质，以实现降低人体坐姿识别的成本，提高人体坐姿识别的成功率和准确率的效果。

第一方面，本发明实施例提供了一种人体坐姿识别方法，该方法包括：

通过外接摄像头获取人体坐姿图像；

将所述人体坐姿图像输入至人体骨架关键点识别模型，得到人体骨架关键点特征信息；其中，所述人体骨架关键点识别模型是预先训练得到；

根据所述人体骨架关键点特征信息构建包含关键点特征信息的图像；

将所述包含关键点特征信息的图像输入至人体坐姿识别模型，得到人体坐姿识别结果；其中，所述人体坐姿识别模型是预先训练得到。

第二方面，本发明实施例还提供了一种人体坐姿识别装置，该装置包括：

图像获取模块，用于通过外接摄像头获取人体坐姿图像；

特征信息获取模块，用于将所述人体坐姿图像输入至人体骨架关键点识别模型，得到人体骨架关键点特征信息；其中，所述人体骨架关键点识别模型是预先训练得到；

图像构建模块，用于根据所述人体骨架关键点特征信息构建包含关键点特征信息的图像；

识别结果获取模块，用于将所述包含关键点特征信息的图像输入至人体坐姿识别模型，得到人体坐姿识别结果；其中，所述人体坐姿识别模型是预先训练得到。

第三方面，本发明实施例还提供了一种设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如上所述的人体坐姿识别方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上所述的人体坐姿识别方法。

本发明实施例通过外接摄像头获取人体坐姿图像；将所述人体坐姿图像输入至人体骨架关键点识别模型，得到人体骨架关键点特征信息；其中，所述人体骨架关键点识别模型是预先训练得到；根据所述人体骨架关键点特征信息构建包含关键点特征信息的图像；将所述包含关键点特征信息的图像输入至人体坐姿识别模型，得到人体坐姿识别结果；其中，所述人体坐姿识别模型是预先训练得到。解决坐姿识别成本高，不能获取到有效信息进行坐姿判断，判断坐姿不够准确的问题，实现降低人体坐姿识别的成本，提高人体坐姿识别的成功率和准确率的效果。

附图说明

图1为本发明实施例一提供的人体坐姿识别的流程图；

图2为本发明实施例二提供的一种人体坐姿识别方法的流程图；

图3为本发明实施例三所提供的一种人体坐姿识别装置的结构示意图；

图4为本发明实施例四提供的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

实施例一

图1为本发明实施例一提供的人体坐姿识别的流程图，本实施例可适用于基于人体骨架关键点识别人体坐姿的情况，该方法可以由本发明实施例所提供的人体坐姿识别装置来执行，该装置可以由软件和/或硬件的方式实现。参见图1，本实施例提供的人体坐姿识别方法，包括：

步骤110、通过外接摄像头获取人体坐姿图像。

其中，外接摄像头可以为单目摄像头。通过外接摄像头拍摄获取人体坐姿的二维图像，图像可以为帧序列图像。人体可以为单人或者多人，本实施例对此不作限制。

步骤120、将所述人体坐姿图像输入至人体骨架关键点识别模型，得到人体骨架关键点特征信息；其中，所述人体骨架关键点识别模型是预先训练得到。

其中，人体骨架关键点识别模型可以基于自底向上的人体关键点检测算法，即先检测出关键点,再判断每一个关键点属于哪一个人。人体骨架关键点可以为头、脖子、双肩、肘部、手腕、胯、双腿、双膝、双脚踝等；人体骨架关键点识别模型可以通过卷积神经网络等机器学习模型预先训练得到，本实施例对此并不进行任何限制。将人体坐姿图像输入至人体骨架关键点识别模型，可以直接得到人体骨架关键点特征信息。

步骤130、根据所述人体骨架关键点特征信息构建包含关键点特征信息的图像。

其中，包含关键点特征信息的图像，为将人体骨架关键点的特征信息提取后构成的二维图像，图像中仅存在人体骨架关键点的特征信息。可以将个人的骨架关键点按照关键点之间的关系连接，构成骨架图。

步骤140、将所述包含关键点特征信息的图像输入至人体坐姿识别模型，得到人体坐姿识别结果；其中，所述人体坐姿识别模型是预先训练得到。

其中，人体坐姿识别结果可以为正坐、左偏坐、右偏坐、站立、后仰、前趴等；人体坐姿识别模型可以通过卷积神经网络等机器学习模型预先训练得到，本实施例对此并不进行任何限制。将包含关键点特征信息的图像输入至人体坐姿识别模型，可以直接得到人体坐姿识别结果。

本实施例所提供的技术方案，通过外接摄像头获取人体坐姿图像；将所述人体坐姿图像输入至人体骨架关键点识别模型，得到人体骨架关键点特征信息；其中，所述人体骨架关键点识别模型是预先训练得到；根据所述人体骨架关键点特征信息构建包含关键点特征信息的图像；将所述包含关键点特征信息的图像输入至人体坐姿识别模型，得到人体坐姿识别结果；其中，所述人体坐姿识别模型是预先训练得到。解决坐姿识别成本高，不能获取到有效信息进行坐姿判断，判断坐姿不够准确的问题，实现降低人体坐姿识别的成本，提高人体坐姿识别的成功率和准确率的效果。

在上述技术方案的基础上，可选的，将所述包含关键点特征信息的图像输入至人体坐姿识别模型，得到人体坐姿识别结果，包括：

获取连续至少两帧所述包含关键点特征信息的图像中的人体坐姿特征；

将所述人体坐姿特征输入至所述人体坐姿识别模型，得到人体坐姿识别结果。

其中，人体坐姿识别模型，不是单独对单帧图像进行分析，而是基于连续至少两帧图像中前后帧之间的关联关系对人体坐姿特征进行处理，从而获取人体坐姿识别结果。人体坐姿识别模型人体坐姿识别模型可以通过基于时序的机器学习模型，例如循环神经网络，预先训练得到。这样设置的好处在于，处理关键点特征信息的图像时考虑到图像帧之间的相关性，提高人体坐姿识别的稳定性和准确率。

在上述技术方案的基础上，可选的，在得到人体坐姿识别结果之后，所述方法还包括：

根据所述人体坐姿识别结果确定人体坐姿是否正确；

若持续第一预设时长，人体坐姿的判断结果均为不正确，则进行坐姿矫正提醒操作。

其中，确定人体坐姿是否正确可以通过预先对人体坐姿类型进行分类，例如，后仰、前趴为不正确坐姿，正坐为正确坐姿等。当得到通过人体坐姿识别模型人体坐姿识别结果后，根据识别结果的类型，确定人体坐姿是否正确。

坐姿矫正提醒操作可以为语音提醒或显示屏提醒等，本实施例对此不作限制。其中，语音提醒可以通过预设语音进行坐姿错误提醒；显示屏提醒可以通过显示正确坐姿等方式进行提醒。

若在第一预设时长内，对人体坐姿的判断结果均为不正确，则进行坐姿矫正提醒。这样设置的好处在于，及时识别用户不正确的坐姿并进行提醒。

在上述技术方案的基础上，可选的，在获取人体坐姿识别结果之后，所述方法还包括：

若持续第二预设时间长，获取的所述人体坐姿识别结果均为静坐状态时，则进行久坐提醒操作。

其中，静坐状态可以包括正坐，左偏坐，右偏坐等；久坐提醒操作可以为语音提醒，本实施例对此不作限制。其中，语音提醒可以通过预设语音进行久坐提醒，以提醒用户起身活动；如用户在语音提醒后并未起身活动，则继续获取人体坐姿识别结果，并在预设时间间隔后进行再次提醒操作；如用户已起身活动或离开摄像头拍摄区域，则提醒生效；如识别到用户再次静坐时，重复上述步骤。

当在第二预设时长内，对人体坐姿的判断结果均为不正确，则进行久坐提醒。这样设置的好处在于，及时识别用户久坐并进行提醒。

实施例二

图2为本发明实施例二提供的一种人体坐姿识别方法的流程图。本技术方案是针对根据人体骨架关键点特征信息构建包含关键点特征信息的图像的过程进行补充说明的。与上述方案相比，本方案具体优化为，根据所述人体骨架关键点特征信息构建包含关键点特征信息的图像，包括：

根据所述人体骨架关键点特征信息，确定人体骨架关键点的空间位置；

若所述人体骨架关键点包含了所有目标关键点，则基于人体骨架关键点的空间位置生成包含关键点特征信息的二维图像；

若所述人体骨架关键点未包含所有目标关键点，则根据已知人体骨架关键点的空间位置推断未知人体骨架关键点的空间位置；并基于已知人体骨架关键点的空间位置和未知人体骨架关键点的空间位置生成包含关键点特征信息的二维图像。

具体的，人体坐姿识别方法的流程图如图2所示：

步骤210、通过外接摄像头获取人体坐姿图像。

步骤220、将所述人体坐姿图像输入至人体骨架关键点识别模型，得到人体骨架关键点特征信息；其中，所述人体骨架关键点识别模型是预先训练得到。

步骤230、根据所述人体骨架关键点特征信息，确定人体骨架关键点的空间位置。

其中，人体骨架关键点特征信息可以包括关键点的位置、尺度以及方向等信息。根据特征信息确定人体骨架关键点所处的空间位置。

步骤240、若所述人体骨架关键点包含了所有目标关键点，则基于人体骨架关键点的空间位置生成包含关键点特征信息的二维图像。

其中，目标关键点为获取人体骨架关键点可以为头、脖子、双肩、肘部、手腕、胯、双腿、双膝、双脚踝等所有关键点；若人体骨架关键点识别模型将所有目标关键点都识别出来时，则基于人体骨架关键点的空间位置生成包含关键点特征信息的二维图像。

步骤250、若所述人体骨架关键点未包含所有目标关键点，则根据已知人体骨架关键点的空间位置推断未知人体骨架关键点的空间位置；并基于已知人体骨架关键点的空间位置和未知人体骨架关键点的空间位置生成包含关键点特征信息的二维图像。

若人体骨架关键点识别模型并未将所有目标关键点都识别出来时，则根据已识别的人体骨架关键点的空间位置，以及人体骨架关键点之间的联系，推断未知人体骨架关键点的空间位置。再基于已知人体骨架关键点的空间位置和未知人体骨架关键点的空间位置生成包含关键点特征信息的二维图像。

步骤260、将所述包含关键点特征信息的图像输入至人体坐姿识别模型，得到人体坐姿识别结果；其中，所述人体坐姿识别模型是预先训练得到。

本实施例在上述实施例的基础上，判断人体骨架关键点是否包含所有目标关键点，并依据判断结果生成包含关键点特征信息的二维图像，提高了人体坐姿识别的成功率和准确率。

实施例三

图3为本发明实施例三所提供的一种人体坐姿识别装置的结构示意图。该装置可以由硬件和/或软件的方式来实现，可执行本发明任意实施例所提供的一种人体坐姿识别方法，具备执行方法相应的功能模块和有益效果。如图3所示，该装置包括：

图像获取模块310，用于通过外接摄像头获取人体坐姿图像。

特征信息获取模块320，用于将所述人体坐姿图像输入至人体骨架关键点识别模型，得到人体骨架关键点特征信息；其中，所述人体骨架关键点识别模型是预先训练得到。

图像构建模块330，用于根据所述人体骨架关键点特征信息构建包含关键点特征信息的图像。

识别结果获取模块340，用于将所述包含关键点特征信息的图像输入至人体坐姿识别模型，得到人体坐姿识别结果；其中，所述人体坐姿识别模型是预先训练得到。

本实施例所提供的技术方案，通过外接摄像头获取人体坐姿图像；将所述人体坐姿图像输入至人体骨架关键点识别模型，得到人体骨架关键点特征信息；其中，所述人体骨架关键点识别模型是预先训练得到；根据所述人体骨架关键点特征信息构建包含关键点特征信息的图像；将所述包含关键点特征信息的图像输入至人体坐姿识别模型，得到人体坐姿识别结果；其中，所述人体坐姿识别模型是预先训练得到。解决坐姿识别成本高，不能获取到有效信息进行坐姿判断，判断坐姿不够准确的问题，实现降低人体坐姿识别的成本，提高人体坐姿识别的成功率和准确率的效果。

在上述各技术方案的基础上，可选的，所述识别结果获取模块340，包括：

特征获取单元，用于获取连续至少两帧所述包含关键点特征信息的图像中的人体坐姿特征；

识别结果获取单元，用于将所述人体坐姿特征输入至所述人体坐姿识别模型，得到人体坐姿识别结果。

在上述各技术方案的基础上，可选的，所述装置还包括：

坐姿确定模块，用于所述识别结果获取模块340之后，根据所述人体坐姿识别结果确定人体坐姿是否正确；

坐姿提醒模块，用于所述识别结果获取模块340之后，若持续第一预设时长，人体坐姿的判断结果均为不正确，则进行坐姿矫正提醒操作。

在上述各技术方案的基础上，可选的，所述装置还包括：

久坐提醒模块，用于所述识别结果获取模块340之后，若持续第二预设时间长，获取的所述人体坐姿识别结果均为静坐状态时，则进行久坐提醒操作。

在上述各技术方案的基础上，可选的，图像构建模块330，包括：

空间位置确定单元，用于根据所述人体骨架关键点特征信息，确定人体骨架关键点的空间位置；

第一图像生成单元，用于若所述人体骨架关键点包含了所有目标关键点，则基于人体骨架关键点的空间位置生成包含关键点特征信息的二维图像；

第二图像生成单元，用于若所述人体骨架关键点未包含所有目标关键点，则根据已知人体骨架关键点的空间位置推断未知人体骨架关键点的空间位置；并基于已知人体骨架关键点的空间位置和未知人体骨架关键点的空间位置生成包含关键点特征信息的二维图像。

实施例四

图4为本发明实施例四提供的一种设备的结构示意图，如图4所示，该设备包括处理器40、存储器41、输入装置42和输出装置43；设备中处理器40的数量可以是一个或多个，图4中以一个处理器40为例；设备中的处理器40、存储器41、输入装置42和输出装置43可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器41作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序以及模块，如本发明实施例中的人体坐姿识别方法对应的程序指令/模块。处理器40通过运行存储在存储器41中的软件程序、指令以及模块，从而执行设备的各种功能应用以及数据处理，即实现上述的人体坐姿识别方法。

存储器41可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端的使用所创建的数据等。此外，存储器41可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器41可进一步包括相对于处理器40远程设置的存储器，这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

实施例五

本发明实施例五还提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行一种人体坐姿识别方法，该方法包括：

通过外接摄像头获取人体坐姿图像；

将所述人体坐姿图像输入至人体骨架关键点识别模型，得到人体骨架关键点特征信息；其中，所述人体骨架关键点识别模型是预先训练得到；

根据所述人体骨架关键点特征信息构建包含关键点特征信息的图像；

将所述包含关键点特征信息的图像输入至人体坐姿识别模型，得到人体坐姿识别结果；其中，所述人体坐姿识别模型是预先训练得到。

当然,本发明实施例所提供的一种包含计算机可执行指令的存储介质,其计算机可执行指令不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的人体坐姿识别方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。

值得注意的是，上述人体坐姿识别装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。