一种正面疼痛表情数据采集方法与流程

本发明涉及医疗器械技术领域，具体涉及一种正面疼痛表情数据采集方法。

背景技术：

世界卫生组织于2000年明确提出疼痛是人类的一类疾病，常常表现为一种不愉快的情绪，且伴随着潜在的组织损伤。2001年世界卫生组织(who)正式将疼痛确认为继呼吸、脉搏、体温和血压四大生命体征之后的“第五大生命指征”，并指出缓解疼痛是基本人权。科学地评估疼痛是临床医生实施疼痛规范化治疗的第一步。通常，临床上对疼痛程度的评估常用的是视觉模拟评分法(vas)，数字疼痛分级法(nrs)，wong-baker脸谱量表(frs)等。这些评分法的主要依据之一是通过医护人员在患者主观描述的基础上，持续的观察和辨别患者的面部表情，其评估过程带有主观性且依赖医护人员的经验。同时，随着机器学习和计算机视觉技术的发展，人脸表情识别的准确性和效率不断提高，可通过计算机采集疼痛表情图像，构建疼痛表情数据库，进而训练疼痛表情识别模型来辅助医护人员提高疼痛评估的效率和准确性。

疼痛水平自动评估是建立在应用疼痛表情数据进行模型训练的基础之上，因此建立患者疼痛表情数据库具有重要意义。传统的疼痛表情数据采集方式是利用手持图像采集设备对患者进行人脸疼痛表情数据的采集。而当疼痛发作时，患者的头部往往伴随移动。需要人工移动图像采集装置来对准患者面部，尽可能以获得患者正面的人脸疼痛表情图像，以方便进行疼痛水平评估。这种方法导致疼痛表情采集过程效率变低，采集质量下降。并且即使是通过人工移动图像采集装置来对准患者面部，也可能还是会采集到侧面的人脸疼痛表情图像。而现有的疼痛表情数据采集及处理装置，例如授权公告号为cn201720761756的实用新型专利，仅仅只考虑将患者的人脸疼痛表情进行采集，未考虑到当采集的人脸疼痛表情是侧面时如何处理，即没有考虑到采集的图片到底是正面的还是侧面的问题，假如是侧面的，就会使得评估结果并不准确。

技术实现要素：

本发明要解决的技术问题是：提供一种自动、高效、高质量、高智能化水平的正面疼痛表情数据采集方法。

本发明的技术解决方案是：一种正面疼痛表情数据采集方法，该方法基于正面疼痛表情数据采集装置，所述正面疼痛表情数据采集装置包括装置本体、以及至少设置在患者座位的正面、左侧和右侧的三个图像采集装置，所述装置本体包括处理模块和存储模块，所述存储模块和图像采集装置均与处理模块电连接，其特征在于：它包括以下步骤：

(1)每个采样时刻，通过至少设置在患者正面、左侧和右侧的三个图像采集装置，同时采集至少三张不同角度的患者人脸疼痛表情图片并上传处理模块；

(2)处理模块通过人脸识别算法，分别从步骤(1)中得到的各不同角度的患者人脸疼痛表情图片中找到各自的人脸区域；

(3)处理模块分别从各不同角度的人脸区域中标记出特征点，生成各自的人脸特征向量；

(4)处理模块将步骤(3)中得到的各不同角度的人脸特征向量输入到人工神经网络，由人工神经网络判断哪一张为正面人脸疼痛表情图片；

(5)处理模块选择判断为正面人脸疼痛表情的图片作为正面疼痛表情数据。

采用上述方法后，本发明具有以下优点：

本发明正面疼痛表情数据采集方法由于至少在患者的正面、左侧和右侧均设置图像采集装置,使得患者疼痛发作时，即使头部发生移动,也能从其中一个图像采集装置中找到一张正面的人脸疼痛表情图片,无需人工对准患者人脸,而是可以自动采集,采集效率和图片质量均较高；利用神经网络代替人工评估，可使智能化水平较高。

作为优选，所述步骤(2)中处理模块还将找到的各人脸区域缩放到统一尺寸。统一图片尺寸，即进行数据标准化处理，可获得更为精准的数据，从而更有利于后续获得准确的评估结果。

作为优选，所述步骤(3)中处理模块还将提取的各人脸特征向量进行归一化处理。归一化处理也是进行数据标准化处理，可获得更为精准的数据，从而更有利于后续获得准确的评估结果。

作为优选，所述步骤(4)中的人工神经网络的训练包括以下步骤：

(a)通过至少设置在患者正面、左侧和右侧的三个图像采集装置采集多张患者不同角度的人脸疼痛表情图片并上传处理模块，并由处理模块标记是正面还是侧面；

(b)处理模块从各人脸疼痛表情图片中找到人脸区域并在人脸区域中标记出特征点，生成各自的人脸特征向量；

(c)处理模块利用步骤(b)中得到的人脸特征向量集合及步骤(a)中得到的正面和侧面的标记集合，对人工神经网络进行训练，生成能够判断人脸疼痛表情图片是正面还是侧面的人工神经网络。

该训练方法可得到较为准确的人工神经网络模型。

作为优选，所述步骤(b)中处理模块在找到各人脸区域后将其缩放到统一尺寸，并在缩放后的各人脸区域内标记出特征点。统一图片尺寸，即进行数据标准化处理，可获得更为精准的数据，从而更有利于后续获得准确的评估结果。

作为优选，所述步骤(b)中处理模块还将生成的各人脸特征向量进行归一化处理。归一化处理也是进行数据标准化处理，可获得更为精准的数据，从而更有利于后续获得准确的评估结果。

作为优选，所述步骤(5)中还由处理模块将正面疼痛表情数据与疼痛水平评估数据一起存储于存储模块内对应的疼痛水平等级的文件夹中。该设置可对数据进行分类存储，更有利于数据的管理。

作为优选，所述装置本体还包括与处理模块电连接的显示屏，所述步骤(4)中在人工神经网络判断出正面人脸疼痛表情图片后，还通过显示屏显示该正面人脸疼痛表情图片，由医护人员根据显示屏显示的正面人脸疼痛表情图片确定疼痛水平评估数据。该设置可方便医护人员确定疼痛水平评估数据。

作为优选，所述装置本体还包括与处理模块电连接的若干疼痛水平评估按钮，所述步骤(4)中在显示屏显示该正面人脸疼痛表情图片，由医护人员根据显示屏显示的正面人脸疼痛表情图片确定疼痛水平评估数据后，通过按下相应的疼痛水平评估按钮来输入疼痛水平评估数据给处理模块。该设置便于输入疼痛水平评估数据。

附图说明：

图1为本发明正面疼痛表情数据采集装置的结构示意图；

图2为本发明正面疼痛表情数据采集装置的功能框图；

图3为本发明正面疼痛表情数据采集方法的流程图；

图中：1-装置本体，2-处理模块，3-存储模块，4-显示屏，5-疼痛水平评估按钮，6-图像采集装置。

具体实施方式

下面结合附图，并结合实施例对本发明做进一步的说明。

实施例：

一种正面疼痛表情数据采集方法，该方法基于正面疼痛表情数据采集装置，所述正面疼痛表情数据采集装置包括装置本体1、以及至少设置在患者座位的正面、左侧和右侧的三个图像采集装置6，图像采集装置6例如摄像头，所述装置本体1包括处理模块2和存储模块3，所述存储模块3和图像采集装置6均与处理模块2电连接，所述处理模块2和存储模块3采用现有技术即可，它包括以下步骤：

(1)每个采样时刻，通过至少设置在患者正面、左侧和右侧的三个图像采集装置6，同时采集至少三张不同角度的患者人脸疼痛表情图片并上传处理模块2；

(2)处理模块2通过人脸识别算法，分别从步骤(1)中得到的各不同角度的患者人脸疼痛表情图片中找到各自的人脸区域，人脸识别算法为现有技术；

(3)处理模块2分别从各不同角度的人脸区域中标记出特征点，生成各自的人脸特征向量，人脸特征向量的生成为现有技术；

(4)处理模块2将步骤(3)中得到的各不同角度的人脸特征向量输入到人工神经网络，由人工神经网络判断哪一张为正面人脸疼痛表情图片，人工神经网络为现有技术；

(5)处理模块2选择判断为正面人脸疼痛表情的图片作为正面疼痛表情数据。

本发明正面疼痛表情数据采集方法由于至少在患者的正面、左侧和右侧均设置图像采集装置6,使得患者疼痛发作时，即使头部发生移动,也能从其中一个图像采集装置6中找到一张正面的人脸疼痛表情图片,无需人工对准患者人脸,而是可以自动采集,采集效率和图片质量均较高；利用神经网络代替人工评估，可使智能化水平较高。

作为优选，所述步骤(2)中处理模块2还将找到的各人脸区域缩放到统一尺寸，典型的尺寸为64*64。统一图片尺寸，即进行数据标准化处理，可获得更为精准的数据，从而更有利于后续获得准确的评估结果。

作为优选，所述步骤(3)中处理模块2还将提取的各人脸特征向量进行归一化处理，归一化处理为现有技术。归一化处理也是进行数据标准化处理，可获得更为精准的数据，从而更有利于后续获得准确的评估结果。

作为优选，所述步骤(4)中的人工神经网络的训练包括以下步骤：

(d)通过至少设置在患者正面、左侧和右侧的三个图像采集装置6采集多张患者不同角度的人脸疼痛表情图片并上传处理模块2，并由处理模块2标记是正面还是侧面；

(e)处理模块2从各人脸疼痛表情图片中找到人脸区域并在人脸区域中标记出特征点，生成各自的人脸特征向量；

(f)处理模块2利用步骤(b)中得到的人脸特征向量集合及步骤(a)中得到的正面和侧面的标记集合，对人工神经网络进行训练，生成能够判断人脸疼痛表情图片是正面还是侧面的人工神经网络。

该训练方法可得到较为准确的人工神经网络模型。

作为优选，所述步骤(b)中处理模块2在找到各人脸区域后将其缩放到统一尺寸，并在缩放后的各人脸区域内标记出特征点，典型的尺寸为64*64。统一图片尺寸，即进行数据标准化处理，可获得更为精准的数据，从而更有利于后续获得准确的评估结果。

作为优选，所述步骤(b)中处理模块2还将生成的各人脸特征向量进行归一化处理。归一化处理也是进行数据标准化处理，可获得更为精准的数据，从而更有利于后续获得准确的评估结果。

作为优选，所述步骤(5)中还由处理模块2将正面疼痛表情数据与疼痛水平评估数据一起存储于存储模块3内对应的疼痛水平等级的文件夹中。该设置可对数据进行分类存储，更有利于数据的管理。

作为优选，所述装置本体1还包括与处理模块2电连接的显示屏4，所述步骤(4)中在人工神经网络判断出正面人脸疼痛表情图片后，还通过显示屏4显示该正面人脸疼痛表情图片，由医护人员根据显示屏4显示的正面人脸疼痛表情图片确定疼痛水平评估数据。该设置可方便医护人员确定疼痛水平评估数据。

作为优选，所述装置本体1还包括与处理模块2电连接的若干疼痛水平评估按钮5，所述步骤(4)中在显示屏4显示该正面人脸疼痛表情图片，由医护人员根据显示屏4显示的正面人脸疼痛表情图片确定疼痛水平评估数据后，通过按下相应的疼痛水平评估按钮5来输入疼痛水平评估数据给处理模块2。该设置便于输入疼痛水平评估数据。