一种心肺复苏心脏按压操作自动评测装置和方法

本发明提供了一种心肺复苏心脏按压操作自动评测装置和方法，属于行为操作自动评测。

背景技术：

1、当发生心脏骤停时，能否在急救黄金四分钟内接受及时有效的心肺复苏，是影响心脏骤停患者存活率的关键因素，心脏骤停患者因未能接受及时有效的心肺复苏而导致丧失生命的悲剧频频发生。

2、心肺复苏的有效实施需要正确的知识和技能，大部分公众无法正确应对紧急情况并施行有效的心肺复苏，如何提高全民的心肺复苏普及率对于全民健康战略的实施具有重要的意义。而许多人对心肺复苏的认识和了解仍然有限，这导致大部分公众无法正确应对紧急情况并施行有效的心肺复苏。

3、传感器可以用于心肺复苏过程中监测患者的生理参数和提供必要的反馈，以确保有效的心肺复苏过程。现代传感器技术通常具有高度的精准度，可以较准确地测量操作者操作精度，在心肺复苏操作中，精准的数据对于判断患者的病情和调整急救措施至关重要。传感器可以提供实时反馈，指导急救人员调整按压力度、频率和通气深度等，以确保心肺复苏操作的质量和效果。但如果传感器出现故障或意外断开连接，可能会导致数据采集中断，影响急救人员的操作；传感器的数据可靠性对于心肺复苏操作至关重要，一些传感器可能受到环境干扰、设备故障或位置摆放不当等因素影响，导致数据的准确性和稳定性出现问题；对于心肺复苏一些操作，传感器很难准确采集数据或加重操作人员操作难度和复杂度。

4、深度学习图像处理算法可以对大量的心肺复苏数据进行分析和学习，从而提取出有价值的模型和特征，这些模式可以为操作人员提供更科学的决策依据，深度学习图像处理算法提供实时反馈和指导，可以帮助操作人员调整操作方式，确保心肺复苏操作的正确性和有效性。但深度学习图像算法可能对输入数据的变化非常敏感，这可能会影响其在心肺复苏操作中的准确性和鲁棒性；同时深入学习算法对于操作精度要求较高时，如按压深度等，很难精准的提供判断数据。

技术实现思路

1、本发明为了解决实时监测和评估操作者的心肺复苏按压操作的规范性和准确性的问题，提出了一种心肺复苏心脏按压操作自动评测装置和方法。

2、为了解决上述技术问题，本发明采用的技术方案为：一种心肺复苏心脏按压操作自动评测装置，包括模拟人和用于采集心肺复苏模拟人规范操作和典型错误操作的传感器阵列和摄像装置，所述传感器阵列包括触觉传感器阵列和压力传感器阵列，以正确心脏按压位置为中心在模拟人胸部安装触觉传感器阵列和压力传感器阵列，所述触觉传感器阵列用于对操作者进行心肺复苏按压操作时的按压位置数据进行采集，所述压力传感器阵列用于对操作者进行心肺复苏按压操作时的按压深度数据进行采集，在模拟人一侧还设置有摄像装置，所述摄像装置用于对操作者进行心肺复苏按压操作前的准备动作、按压姿势、操作过程进行视频数据采集，上述触觉传感器阵列、压力传感器阵列和摄像装置采集的数据同步传输至上位机；

3、所述上位机上设置有按压位置传感器评测模型、按压手法传感器评测模型、按压深度传感器评测模型、按压频率传感器评测模型、按压操作姿势视频评测模型、按压操作准备视频评测模型和按压操作过程视频评测模型，其中按压位置传感器评测模型通过触觉传感器阵列设置的接触阈值判断操作者的按压部位是否准确，按压手法传感器评测模型通过触觉传感器阵列计算按压操作区域中操作者的手势是否正确，按压深度传感器评测模型根据压力传感器阵列采集的正确操作区域内压力传感器的平均值计算按压深度并判断是否符合规范，按压频率传感器评测模型根据按压深度数据计算按压频率并与规范操作的按压频率进行对比判断，按压操作姿势视频评测模型根据摄像装置采集的按压部位及其空间逻辑关系判断操作姿势是否规范，按压操作准备视频评测模型根据摄像装置采集的模拟人操作部位、操作部位空间位置和操作人的操作动作判断操作是否规范，按压操作过程视频评测模型根据摄像装置采集的操作部位、操作部位空间位置关系和操作部位时序关系判断操作是否规范。

4、所述触觉传感器阵列、压力传感器阵列和摄像装置采集的数据同步传输至上位机的同步操作为：

5、采用固定波特率采集传感器数据，通过串口传递到上位机，采用固定帧率采集视频数据，通过无线网络传递到上位机，通过上位机发布开始采集命令；采集后传感器数据和视频数据增加时间属性，用于传感器数据和视频数据同步，传感器数据时间属性记录第多少个数据，视频数据时间属性记录第多少帧数据，同步时通过固定波特率和固定帧率转化为时间进行同步判断。

6、一种心肺复苏心脏按压操作自动评测方法，采用心肺复苏心脏按压操作自动评测装置，包括如下步骤：

7、步骤一、分析心肺复苏模拟人按压操作中的规范操作和典型错误操作，规范操作包括按压部位准确、按压手法准确、按压深度准确和按压频率正确，典型错误操作包括按压部位偏离、手指未翘起、曲臂按压、按压深度过大或过小和按压频率过大或过小；

8、步骤二、通过传感器阵列采集心肺复苏模拟人规范操作和典型错误操作的传感器数据，通过摄像装置采集心肺复苏模拟人规范操作和典型错误操作的视频数据，采集时传感器数据和视频数据进行同步；

9、步骤三、对传感器采集的数据进行特征提取，得到规范操作和典型错误操作传感器特征数据，利用传感器特征数据建立心肺复苏模拟人按压操作传感器评测模型，所述按压操作传感器评测模型包括按压位置传感器评测模型、按压手法传感器评测模型、按压深度传感器评测模型和按压频率传感器评测模型；

10、步骤四、对心肺复苏模拟人规范操作和典型错误操作的视频数据进行稀疏等时间间隔采样，获得一系列操作图片，作为心肺复苏模拟人操作图片数据集；

11、步骤五、通过心肺复苏模拟人操作图片数据集对心肺复苏模拟人深度学习网络操作部位和操作动作识别模型进行训练，得到心肺复苏模拟人深度学习网络操作部位和操作动作识别模型；

12、步骤六、通过已经训练好的心肺复苏模拟人深度学习网络操作部位和操作动作识别模型对操作者的操作结果图片进行识别，识别出操作者的心肺复苏模拟人操作部位及操作部位的空间位置、操作动作，并记录操作时间点；

13、步骤七、根据识别出操作者的心肺复苏模拟人操作部位及操作部位的空间位置、操作动作，对按压操作进行总结归纳，建立按压操作视频评测模型，所述按压操作视频评测模型包括按压操作准备视频评测模型、按压操作姿势视频评测模型和按压操作过程视频评测模型；

14、步骤八、根据心肺复苏模拟人按压操作视频评测模型对操作者的操作进行评测，根据心肺复苏模拟人按压操作传感器评测模型对操作者的操作进行评测，根据操作时间同步情况，结合心肺复苏模拟人按压操作视频评测模型评测结果和传感器评测模型评测结果给出操作者操作评测结果，操作是否规范，操作不规范给出相应的原因和建议。

15、所述步骤三中按压位置传感器评测模型，以模拟人胸部正确按压位置为中心，按照1：1比例，根据触觉传感器阵列安装位置建立nxn矩形按压位置区域，某一位置触觉传感器数据大于接触阈值，则将对应的按压位置区域赋值为1，否则赋值为0，赋值为1的区域得到多边形，求此多边形的重心；

16、根据不同操作者按压部位准确操作，按压部位偏左、偏右、偏上和偏下操作时传感器阵列采集的数据，分别计算每次操作多边形的重心，对操作多边形的重心按照k-means聚类方法进行聚类，按照聚类结果将区域分为三个子区域，分别为核心区域、重叠区域和偏离区域，核心区域指仅有按压部位准确操作时多边形重心落入的区域，重叠区域指既有按压部位准确操作时多边形重心落入区域，又有按压部位偏离操作时多边形重心落入区域，偏离区域指仅有按压部位偏离操作时多边形重心落入区域；

17、重心落入重叠区域的多边形，计算多边形落入重叠区域中核心区域的面积和偏离区域的面积，计算两者的比值，比值大于阈值，则按压部位操作准确，否则按压部位不准确，操作偏离。

18、所述步骤三中按压手法传感器评测模型，根据触觉传感器阵列安装位置建立nxn矩形按压位置区域，将按压位置区域赋值为1的区域分别采用形态学的闭操作和开操作进行处理，分别得到区域a和b，计算区域a和b面积的比值r，按压正确操作要求手掌根紧贴患者胸壁，手指翘起，典型错误操作者手指没有翘起来，正确操作时r值较大，错误操作时r值较小，通过判断r值评测操作者按压时手指是否翘起。

19、所述步骤三中按压深度传感器评测模型，按照1：1比例，根据压力传感器阵列安装位置建立nxn矩形按压位置区域，根据按压位置传感器评测模型得到的正确操作时的核心区域，将正确操作时核心区域内压力传感器的平均值作为操作对应的压力传感器按压深度数值si，将所有操作者正确操作的按压深度数最大值作为区间上限，最小值作为区间下限，即按压深度正确操作数值区间为[min{si},max{si}]。

20、所述步骤三中按压频率传感器评测模型，根据按压深度传感器评测模型得到的正确操作压力传感器按压深度数值si，将1秒钟内压力传感器按压深度数值si绘制成曲线，计算1秒钟内出现的波峰次数，即为按压频率fi，将所有操作者正确操作的按压频率最大值作为区间上限，最小值作为区间下限，即按压频率正确操作数值区间为[min{fi},max{fi}]。

21、所述步骤七中按压操作准备视频评测模型的建立和评判标准如下：

22、规范操作涉及到模拟人操作部位状态发生变化，同时涉及到操作动作，并且操作部位状态变化有空间逻辑关系和时间前后关系，通过正确识别某一段时间序列下操作部位、操作部位空间位置和操作动作建立按压操作准备阶段评测模型；

23、某一段时间操作涉及到操作部位a、操作部位b和操作动作c，操作部位a和操作部位b的欧式距离需满足空间位置关系，同时时间需满足操作部位b出现在操作部位a之后，通过操作图片中能否正确识别到操作部位a和操作部位b，判断操作部位a和操作部位b的空间位置关系是否满足要求，同时判断操作部位b是否出现在操作部位a之后，判断是否有操作动作c，满足上述条件，则操作规范，否则操作错误。

24、所述步骤七中按压操作姿势视频评测模型的建立和评判标准如下：

25、按压姿势涉及到多个按压部位，且按压部位位置有空间逻辑关系，通过正确识别按压部位以及判断他们空间位置关系建立按压操作姿势视频评测模型；

26、心肺复苏心脏按压规范操作要求左腿和患者的肩在一条直线上，通过操作图片中能够正确识别到术者左腿a(x,y,w,h)和患者肩部b(x,y,w,h)，然后判断术者左腿a和患者肩部b垂直位置关系，画面识别到术者左腿a(x,y,w,h)和患者肩部b(x,y,w,h)，术者左腿a与患者肩部b空间位置关系满足by>ay且abs（bx-ax）<thx，abs为取绝对值运算，thx为术者左腿a和患者肩部b水平距离判决阈值，满足上述条件，则操作姿势规范，否则操作错误。

27、所述步骤七中按压操作过程视频评测模型的建立和评判标准如下：

28、操作涉及到多个操作部位，且操作部位位置有空间逻辑关系和时间前后关系，通过正确识别某一段时间序列操作部位、操作部位空间位置关系和操作部位时序关系建立按压操作过程视频评测模型；

29、心肺复苏心脏按压规范操作要求两手掌根部重叠，双手指交叉翘起离开胸廓，两臂伸直，此操作涉及到不同时刻术者重叠的手a、暴露时模拟人躯干b、术者直臂c和术者曲臂d，且术者重叠的手a和暴露时模拟人躯干b的欧式距离需满足空间位置关系，不同时刻术者直臂c距离需满足空间位置关系；

30、操作画面识别到某一时刻术者重叠的手a(x,y,w,h,t1)、暴露时模拟人躯干b(x,y,w,h,t1)、术者直臂c(x,y,w,h,t1)和术者曲臂d(x,y,w,h,t2)，操作画面识别到另一时刻术者重叠的手a(x,y,w,h,t2)、暴露时模拟人躯干b(x,y,w,h,t2)、术者直臂c(x,y,w,h,t2)和术者曲臂d(x,y,w,h,t2)；t2之前时刻暴露时模拟人躯干b与术者重叠的手空间位置关系都满足distance_a_b<thab，其中distance_a_b=abs(a[x]-b[x])+abs(a[y]-b[y])，abs为取绝对值运算，thab为术者重叠的手a和暴露时模拟人躯干b欧式距离判决阈值；术者直臂c不同时刻空间位置关系满足thc1<distance_cy<thc2，其中distance_cy=abs(ct2[y]-ct1[y])，abs为取绝对值运算，thc1和thc2分别为术者直臂c不同时刻垂直距离判决阈值，ct2[y]为t2时刻术者直臂中心纵坐标，ct1[y]为t1时刻术者直臂中心纵坐标，且此过程未识别到术者曲臂d，满足上述条件，则此按压手法步骤规范；否则过程识别到术者曲臂d，则按压手法操作错误，错误原因为曲臂操作。

31、本发明相对于现有技术具备的有益效果为：本发明将传感器技术和深度学习图像处理技术相结合，传感器采用传感器阵列，避免了单一传感器可能受到环境干扰、设备故障或位置摆放不当等因素影响，导致数据的准确性和稳定性出现问题，通过分析心肺复苏模拟人按压操作中的规范操作和典型错误操作，将规范操作和典型错误操作映射为心肺复苏模拟人按压操作视频评测模型和按压操作传感器评测模型，实时监测和评估操作者的心肺复苏操作的规范性和准确性并提供个性化的操作反馈和改进建议，帮助操作者改善操作技能，逐步提高心肺复苏操作的质量，提升广大人民群众的心肺复苏技能水平，提高抢救成功率，推动心肺复苏技能的普及和应用。