基于视觉的人体健康状态分析方法和系统与流程

本发明属于大数据分析技术领域，具体地说，是涉及一种基于视觉的人体健康状态分析方法和系统。

背景技术：

随着视觉技术的发展，基于视觉的人脸表情识别技术逐渐成熟，使得基于人脸表情大数据的监护人健康状况监测成为可能。

人脸表情识别是人工智能领域的一个研究方向，在人际交互中具有广阔的应用前景，该技术被广泛应用在交通、医疗和公共安全等方面。大数据技术可以应用于非结构化数据的分析、挖掘、大量实时监测数据分析等，在医疗领域有着十分重要的应用价值，为医疗卫生管理系统、综合信息平台等建设提供技术支持。

人脸表情信息往往是人体内在情感的表露，一定程度上反映了人体病痛的程度，通过收集人脸表情大数据信息，排除外界环境和时间的干扰因素，可以分析出人体健康状况的变化情况。同时人体习惯动作的突然改变，及动作的活跃程度改变也可以反映身体健康的状况。通过视觉传感器持续收集被监护人的表情信息和体态信息，形成长时段内的表情信息和体态信息大数据，通过大数据挖掘和分析，能够对被监护人的健康状况做出评估，对被监护人提供健康医护建议，以及为医护人员对被监护人的医疗救治提供更多的辅助信息。

目前公开的资料主要是基于非视觉传感的健康状况分析和监测方法，专利cn20150560962.2公开了一种健康监测设备，专利cn201620931019.2公开了一种具健康监测功能的电动轮椅，专利cn201410251890.3公开了一种多功能人体健康自检系统，而基于视觉传感进行表情识别和体位识别，并采用表情和体位大数据分析人体健康状况的方法尚未见公开信息。

技术实现要素：

本申请提供了一种基于视觉的人体健康状态分析方法和系统，将人脸识别技术与智能轮椅、智能护理床等智能护理设备结合起来，提供被护理人的情绪变化和身体体位信息数据，为护理人员、医护工作者、医疗诊断提供准确有效的护理参考。

为解决上述技术问题，本申请采用以下技术方案予以实现：

提出一种基于视觉的人体健康状态分析方法，包括：以设定频率获取被护理人的图像信息；基于所述图像信息分析得到所述被护理人的体位信息和表情信息；基于所述体位信息和/或所述表情信息判断被护理人的身体状态是否发生异常；若是，获取环境信息，并基于所述环境信息确定所述被护理人的健康状态。

进一步的，基于所述环境信息确定所述被护理人的健康状态，具体为：判断所述环境信息是否能引起所述被护理人身体状态发生异常；若否，基于确定所述被护理人的健康状态；其中，为每种表情在所述环境信息表征的环境状态下的权重；为每种表情在周期内表情检测中出现的比例。

进一步的，所述获取环境信息，具体为：基于互联网实时获取被护理人所处区域的温度信息、湿度信息和/或其他天气信息。

进一步的，所述基于所述图像信息分析得到所述被护理人的体位信息，具体为：基于所述图像信息分析得到所述被护理人的躯体部分；为所述躯体部分设定关键点；基于所述体位信息判断被护理人的身体状态是否发生异常，具体为：判断各个关键点发生变化的幅度大于幅度阈值的频率是否大于设定频率阈值。

进一步的，所述基于所述图像信息分析得到所述被护理人的表情信息，具体为：基于所述图像信息定位所述被护理人脸部的面部器官；基于所述表情信息判断被护理人的身体状态是否发生异常，具体为：基于所述面部器官的变化判断所述被护理人的表情变化是否属于设定异常范围。

提出一种基于视觉的人体健康状态分析系统，包括：图像采集模块、体位和表情信息分析模块、身体状态判断模块、环境信息获取模块和健康状态确定模块；所述图像采集模块，用于以设定频率获取被护理人的图像信息；所述环境信息获取模块，用于获取环境信息；所述体位和表情信息分析模块，用于基于所述图像信息分析得到所述被护理人的体位信息和表情信息；所述身体状态判断模块，用于基于所述体位信息和/或所述表情信息判断被护理人的身体状态是否发生异常；若是，则所述健康状态确定模块，用于基于所述环境信息确定所述被护理人的健康状态。

进一步的，所述健康状态确定模块包括环境信息判断单元和健康状态计算单元；所述环境信息判断单元，用于判断所述环境信息是否能引起所述被护理人身体状态发生异常；若否，所述健康状态计算单元，用于基于确定所述被护理人的健康状态；其中，为每种表情在所述环境信息表征的环境状态下的权重；为每种表情在周期内表情检测中出现的比例。

进一步的，所述环境信息获取模块，具体用于基于互联网实时获取被护理人所处区域的温度信息、湿度信息和/或其他天气信息。

进一步的，所述体位和表情信息分析模块包括躯体部分提取单元和关键点设定单元；所述身体状态判断模块包括体位状态判断单元；所述躯体部分提取单元，用于基于所述图像信息分析得到所述被护理人的躯体部分；所述关键点设定单元，用于为所述躯体部分设定关键点；所述体位状态判断单元，用于判断各个关键点发生变化的幅度大于幅度阈值的频率是否大于设定频率阈值。

进一步的，所述体位和表情信息分析模块包括面部器官定位单元；所述身体状态判断模块包括表情判断单元；所述面部器官定位单元，用于基于所述图像信息定位所述被护理人脸部的面部器官；所述表情判断单元，用于基于所述面部器官的变化判断所述被护理人的表情变化是否属于设定异常范围。

与现有技术相比，本申请的优点和积极效果是：本申请提出的基于视觉的人体健康状态分析方法和系统，适用于智能轮椅、智能护理床等智能护理设备，通过获取被护理人的图像信息分析被护理人的体位信息和表情信息，根据被护理人体位和表情的变化判断被护理人身体状态是否发生了异常，例如被护理人体位变化频率过高，且表情变化属于设定的异常范围，表明被护理人发生异常，再进一步通过环境信息的判断，判断被护理人身体状态发生异常的原因是否是因环境引起，若不是环境因素引起的，则可以根据体位变化的幅度、表情变化的频率等综合评估被护理人在护理周期内的健康状态，为护理人员、医护人员、医疗诊断提供准确有效的护理参考。

结合附图阅读本申请实施方式的详细描述后，本申请的其他特点和优点将变得更加清楚。

附图说明

图1为本申请提出的基于视觉的人体健康状态分析方法和方法流程图；

图2为本申请提出的基于视觉的人体健康状态分析系统的系统架构图；

图3为本申请提出的表情定位判断示意图。

具体实施方式

下面结合附图对本申请的具体实施方式作进一步详细地说明。

本申请提出一种基于视觉的人体健康状态分析方法，基于视觉大数据分析被护理人的健康状态，包括如下步骤：

步骤s11：以设定频率获取被护理人的图像信息。

以被护理人乘坐在智能轮椅中为例，在轮椅前上方安装高清摄像头，以设定的时间间隔来采集被护理人的图像信息。

步骤s12：基于图像信息分析得到被护理人的体位信息和表情信息。

具体的，将获取的图像信息通过图像处理技术、边缘提取和特征提取等技术手段分析得到被护理人的躯体部分，为躯体部分设定若干个关键点，通过对各个关键点的监测，可以得到被护理人体位变化的频率、体位变化幅度等信息，这些信息能直接表明被护理人的身体状态；具体的，为各个关键点设定一个幅度阈值和一个设定频率阈值，继而追踪各个关键点在观察周期内发生位置变化的幅度大于该幅度阈值的频率是否大于设定的频率阈值，若超出设定频率阈值，则表明通过一段时间的记录，可以判定被护理人身体位置发生变化的幅度较大且频率较高。

将获取的图像信息经过二值化、边缘提取等图像处理技术，对被护理人脸部的眉毛、眼镜、嘴巴、鼻子等各个器官进行定位，并对各个器官标识出几何图像，如图3所示，例如描述眉毛的矩形框、描述瞳孔的圆形框、描述鼻子的三角形框、描述嘴巴的矩形框等；接着以几何图像的关键点坐标作为参数基准，包括眉毛的矩形框的四个顶点的水平坐标和垂直坐标、描述瞳孔的圆形坐标以及半径大小、描述鼻子的三角形的底边长度和顶角坐标、描述嘴部矩形框的四个顶点坐标等；对每一个参考基准设置变化阈值，当参考基准变化超出阈值时，记录此刻参数，与参数基准比较，结合设定的判断基准确定表情的种类，例如检测到关键点2-3、2-4、2-7、2-8的垂直坐标同时减小并超出阈值时，则表示被护理人眉毛上扬，关键点2-1、2-2、2-5、2-6的垂直坐标增大并超出阈值时，则表示被护理人眉毛下垂，若半径2-10增加并超出阈值，则表示瞳孔扩大，可能是惊恐或害怕，若线段2-11长度增加并超过阈值则表示被护理人情绪紧张呼吸加快，若关键点2-13、2-14的垂直坐标减小并超出阈值时则表示嘴角上扬可能是在微笑，若关键点2-12、2-15的垂直坐标增加并超出阈值，则表示嘴角下垂可能在伤心，等等。

再将表情设定一个正常范围和异常范围，例如嘴角下垂、瞳孔扩大、眉毛下垂等设定在异常范围，嘴角上扬、眉毛上扬等设定在正常范围，则基于面部器官的变化情况，也即各个关键点坐标的变化，可以判断被护理人的表情变化是否属于设定的异常范围。

步骤s13：基于体位信息和/或表情信息判断被护理人的身体状态是否发生异常。

由步骤s12中分析出的体位变化的频率、体位变化程度、表情变化等信息，可以判断出被护理人的身体状态是否发生了异常，例如体位变化频率过高时，代表被护理人当前身体状态很大可能不舒服，或者表情变化中属于设定异常范围的表情较多时代表被护理人当前身体状态不舒服，等等。

步骤s14：获取环境信息，并基于环境信息确定被护理人的健康状态。

在根据体位信息和/或表情信息判断被护理人的身体状态发生异常时，再进一步获取发生异常时对应的环境信息，例如通过互联网获取被护理人所处区域的温度、湿度、pm2.5或其他天气信息，又例如通过各种传感器获取的被护理人的体温、房屋内的烟尘度、房屋内的有害气体等等，考虑被护理人发生异常的原因是否由环境因素引起，如温度突然降低或升高、空气忽然变稀薄、体温升高等等，若判断是由环境因素引起的，则可以迅速采取措施改善环境因素来提高被护理人的舒适度，若判断不是由环境因素引起的，则进一步结合体位信息和/或表情信息来判断被护理人的健康状态。

具体的，基于确定被护理人的健康状态；其中，为每种表情在环境信息表征的环境状态下的权重；为每种表情在周期内表情检测中出现的比例。根据计算结果s的高低可以判断被护理人的健康状态级别，以使得护理人员能够参考分析结果分析原因并积极采取护理措施。

基于上述提出的基于视觉的人体健康状态分析方法，本申请还提出一种基于视觉的人体健康状态分析系统，用于智能轮椅、智能护理床等智能护理设备中，旨在对被护理人的生理和心理健康状态做出评估，给护理人员提供一种数据参考，以期提高护理人员的护理效果，也提高被护理人的生理、心理健康感受；具体的，如图2所示，包括图像采集模块21、体位和表情信息分析模块22、身体状态判断模块23、环境信息获取模块24和健康状态确定模块25。

图像采集模块21用于以设定频率获取被护理人的图像信息；环境信息获取模块24用于获取环境信息；体位和表情信息分析模块22用于基于图像信息分析得到被护理人的体位信息和表情信息；身体状态判断模块23用于基于体位信息和/或表情信息判断被护理人的身体状态是否发生异常；若是，则健康状态确定模块25用于基于环境信息确定被护理人的健康状态。

健康状态确定模块25包括环境信息判断单元251和健康状态计算单元252；环境信息判断单元251判断环境信息是否能引起被护理人身体状态发生异常；若否，健康状态计算单元252基于确定被护理人的健康状态；其中，为每种表情在环境信息表征的环境状态下的权重；为每种表情在周期内表情检测中出现的比例。

环境信息获取模块24具体用于基于互联网实时获取被护理人所处区域的温度信息、湿度信息、pm2.5和/或其他天气信息；环境信息获取模块24还可以是各种传感器，例如温度传感器、湿度传感器、智能体温计、烟雾传感器、智能血压血糖仪等等，能够直接检测、获取到被护理人周围环境、自身环境等信息的智能设备。

体位和表情信息分析模块22包括躯体部分提取单元221和关键点设定单元222；身体状态判断模块23包括体位状态判断单元231；躯体部分提取单元221用于基于图像信息分析得到被护理人的躯体部分；关键点设定单元222用于为躯体部分设定关键点；体位状态判断单元231则用于判断各个关键点发生变化的幅度大于幅度阈值的频率是否大于设定频率阈值，在各个关键点位置变化的幅度大于幅度阈值的频率大于设定频率阈值时，判定被护理人体位发生了变化，实现根据一段时间的记录分析被护理人体位变化的频率、体位变化程度等。

体位和表情信息分析模块22还包括面部器官定位单元223；身体状态判断模块23还包括表情判断单元232；面部器官定位单元223用于基于图像信息定位被护理人脸部的面部器官；表情判断单元232用于基于面部器官的变化判断被护理人的表情变化是否属于设定的异常范围，若属于设定的异常范围，可以进一步根据一段时间的记录分析被护理人发生异常表情的频率，从而评估被护理人的健康状态。

具体的基于视觉的人体健康状态分析系统的健康分析方法已经在上述提出的基于视觉的人体健康状态分析方法中详述，此处不予赘述。

本申请提出的基于视觉的人体健康状态分析方法和系统，实现了一种基于视觉大数据的使用诸如智能轮椅、智能护理床等智能护理设备的被护理人健康状态分析方法，通过采集被护理人的图像信息，分析得到其体位信息和表情信息，结合环境信息对被护理人健康状态的影响判断，分析被护理人的健康状态，给护理人员、医护人员、医疗诊断等提供了一种高效便利的评估方式，有助于提高护理效果和被护理人感受。

应该指出的是，上述说明并非是对本发明的限制，本发明也并不仅限于上述举例，本技术领域的普通技术人员在本发明的实质范围内所做出的变化、改型、添加或替换，也应属于本发明的保护范围。