护理技能培训辅助系统及方法

本技术涉及培训辅助领域，且更为具体地，涉及一种护理技能培训辅助系统及方法。

背景技术：

1、护理技能培训是为护理人员提供必要知识和技能的专业课程，旨在提高他们在临床实践中的护理水平和专业能力。其中，急救护理技能是培训的重点之一，包括徒手心肺复苏、除颤仪操作和复苏药物使用等关键操作技术。由于这些技能的特殊性和紧急性，很难在真实患者身上进行培训练习，而且任何操作失误都可能给患者带来严重后果甚至危及生命。因此，通过模拟真实情境，让学员熟悉和掌握正确的操作方法变得尤为重要。

2、目前的培训方式为让学员在培训师的指导下进行护理技能培训，并及时得到纠正和反馈。然而，由于培训师人数有限，无法对每个学员进行个别监督，可能导致一些学员的错误操作未能及时纠正。

3、因此，期望一种护理技能培训辅助系统及方法。

技术实现思路

1、为了解决上述技术问题，提出了本技术。

2、根据本技术的一个方面，提供了一种护理技能培训辅助系统，其包括：

3、心肺复苏培训数据获取模块，用于获取由摄像头采集的对照组护士心肺复苏培训过程监控图像、由摄像头采集的观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据，其中，所述观察组护士心肺复苏培训文本数据包括观察组护士心肺复苏按压压力信息、观察组护士心肺复苏按压深度信息和观察组护士心肺复苏按压速度信息；

4、心肺复苏培训图像特征提取模块，用于对所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像进行特征提取以得到对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图；

5、心肺复苏培训图像特征聚合模块，用于对所述对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图进行特征聚合以得到心肺复苏培训全局特征向量；

6、心肺复苏培训文本特征提取模块，用于对所述由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据进行特征提取以得到心肺复苏培训文本全局特征向量；

7、心肺复苏培训特征融合模块，用于将所述心肺复苏培训全局特征向量和所述心肺复苏培训文本全局特征向量进行融合以得到心肺复苏培训评估分类特征向量；

8、心肺复苏培训评估等级生成模块，用于将所述心肺复苏培训评估分类特征向量通过分类器以得到分类结果，所述分类结果用于生成观察组护士心肺复苏培训评估等级；

9、其中，所述心肺复苏培训图像特征提取模块，包括：将所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像通过基于孪生网络的护士心肺复苏特征提取器以得到对照组心肺复苏培训检测特征图和观察组心肺复苏培训参考特征图；将所述对照组心肺复苏培训检测特征图通过基于空间注意力模块的对照组心肺复苏培训特征提取器以得到所述对照组心肺复苏培训增强检测特征图；将所述观察组心肺复苏培训参考特征图通过基于空间注意力模块的观察组心肺复苏培训特征提取器以得到所述观察组心肺复苏培训增强参考特征图。

10、在上述护理技能培训辅助系统中，所述心肺复苏培训图像特征聚合模块，包括：将所述对照组心肺复苏培训增强检测特征图和所述观察组心肺复苏培训增强参考特征图进行差异化计算以得到心肺复苏培训差分特征图；将所述心肺复苏培训差分特征图沿通道维度进行全局均值池化以得到所述心肺复苏培训全局特征向量。

11、在上述护理技能培训辅助系统中，所述心肺复苏培训文本特征提取模块，包括：心肺复苏培训文本卷积编码单元，用于将所述由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据通过包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器以得到多个心肺复苏培训特征向量；心肺复苏培训文本特征编码单元，用于对所述多个心肺复苏培训特征向量进行特征编码以得到所述心肺复苏培训文本全局特征向量。

12、在上述护理技能培训辅助系统中，所述心肺复苏培训文本特征编码单元，包括：将所述多个心肺复苏培训特征向量进行二维排列以得到心肺复苏培训文本特征矩阵；将所述心肺复苏培训文本特征矩阵通过作为心肺复苏培训文本特征提取器的卷积神经网络以得到所述心肺复苏培训文本全局特征向量。

13、在上述护理技能培训辅助系统中，还包括用于对所述基于孪生网络的护士心肺复苏特征提取器、所述基于空间注意力模块的对照组心肺复苏培训特征提取器、所述基于空间注意力模块的观察组心肺复苏培训特征提取器、所述包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器、所述作为心肺复苏培训文本特征提取器的卷积神经网络和所述分类器进行训练的训练模块。

14、在上述护理技能培训辅助系统中，所述训练模块，包括：训练培训数据获取单元，用于获取由摄像头采集的训练对照组护士心肺复苏培训过程监控图像、由摄像头采集的训练观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的训练观察组护士心肺复苏培训文本数据，其中，所述训练观察组护士心肺复苏培训文本数据包括训练观察组护士心肺复苏按压压力信息、训练观察组护士心肺复苏按压深度信息和训练观察组护士心肺复苏按压速度信息；训练培训图像卷积编码单元，用于将所述由摄像头采集的训练对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的训练观察组护士心肺复苏培训过程监控图像通过基于孪生网络的护士心肺复苏特征提取器以得到训练对照组心肺复苏培训检测特征图和训练观察组心肺复苏培训参考特征图；训练对照组培训数据注意力编码单元，用于将所述训练对照组心肺复苏培训检测特征图通过基于空间注意力模块的对照组心肺复苏培训特征提取器以得到训练对照组心肺复苏培训增强检测特征图；训练观察组培训数据注意力编码单元，用于将所述训练观察组心肺复苏培训参考特征图通过基于空间注意力模块的观察组心肺复苏培训特征提取器以得到训练观察组心肺复苏培训增强参考特征图；训练数据差异化计算单元，用于将所述训练对照组心肺复苏培训增强检测特征图和所述训练观察组心肺复苏培训增强参考特征图进行差异化计算以得到训练心肺复苏培训差分特征图；训练数据全局均值池化单元，用于将所述训练心肺复苏培训差分特征图沿通道维度进行全局均值池化以得到训练心肺复苏培训全局特征向量；训练文本培训数据卷积编码单元，用于将所述由内置于培训假人的传感器采集的训练观察组护士心肺复苏培训文本数据通过包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器以得到多个训练心肺复苏培训特征向量；训练文本培训二维排列单元，用于将所述多个训练心肺复苏培训特征向量进行二维排列以得到训练心肺复苏培训文本特征矩阵；训练培训文本卷积单元，用于将所述训练心肺复苏培训文本特征矩阵通过作为心肺复苏培训文本特征提取器的卷积神经网络以得到训练心肺复苏培训文本全局特征向量；训练特征融合单元，用于将所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量进行融合以得到训练心肺复苏培训评估分类特征向量；补充损失函数值计算单元，用于计算所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的高维空间单元流形子维度超凸兼容性度量作为补充损失函数值；分类损失函数值计算单元，用于将所述训练心肺复苏培训评估分类特征向量通过分类器以得到分类损失函数值；训练模型单元，用于基于所述补充损失函数值和所述分类损失函数值对所述基于孪生网络的护士心肺复苏特征提取器、所述基于空间注意力模块的对照组心肺复苏培训特征提取器、所述基于空间注意力模块的观察组心肺复苏培训特征提取器、所述包含嵌入层和双向长短期记忆模型的心肺复苏培训文本语义编码器、所述作为心肺复苏培训文本特征提取器的卷积神经网络和所述分类器进行训练。

15、在上述护理技能培训辅助系统中，所述分类损失函数值计算单元，包括：以如下补充损失公式计算所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的高维空间单元流形子维度超凸兼容性度量作为补充损失函数值；其中，所述补充损失公式为：

16、；

17、其中，是所述训练心肺复苏培训全局特征向量，是所述训练心肺复苏培训文本全局特征向量，是所述训练心肺复苏培训全局特征向量和所述训练心肺复苏培训文本全局特征向量之间的关联矩阵，表示矩阵乘法，表示转置，表示矩阵的二范数，是所述高维空间单元流形子维度超凸兼容性度量。

18、根据本技术的另一方面，提供了一种护理技能培训辅助方法，其包括：

19、获取由摄像头采集的对照组护士心肺复苏培训过程监控图像、由摄像头采集的观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据，其中，所述观察组护士心肺复苏培训文本数据包括观察组护士心肺复苏按压压力信息、观察组护士心肺复苏按压深度信息和观察组护士心肺复苏按压速度信息；

20、对所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像进行特征提取以得到对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图；

21、对所述对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图进行特征聚合以得到心肺复苏培训全局特征向量；

22、对所述由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据进行特征提取以得到心肺复苏培训文本全局特征向量；

23、将所述心肺复苏培训全局特征向量和所述心肺复苏培训文本全局特征向量进行融合以得到心肺复苏培训评估分类特征向量；

24、将所述心肺复苏培训评估分类特征向量通过分类器以得到分类结果，所述分类结果用于生成观察组护士心肺复苏培训评估等级；

25、其中，对所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像进行特征提取以得到对照组心肺复苏培训增强检测特征图和观察组心肺复苏培训增强参考特征图，包括：将所述由摄像头采集的对照组护士心肺复苏培训过程监控图像和所述由摄像头采集的观察组护士心肺复苏培训过程监控图像通过基于孪生网络的护士心肺复苏特征提取器以得到对照组心肺复苏培训检测特征图和观察组心肺复苏培训参考特征图；将所述对照组心肺复苏培训检测特征图通过基于空间注意力模块的对照组心肺复苏培训特征提取器以得到所述对照组心肺复苏培训增强检测特征图；将所述观察组心肺复苏培训参考特征图通过基于空间注意力模块的观察组心肺复苏培训特征提取器以得到所述观察组心肺复苏培训增强参考特征图。

26、与现有技术相比，本技术提供的一种护理技能培训辅助系统及方法，其首先获取由摄像头采集的对照组护士心肺复苏培训过程监控图像、由摄像头采集的观察组护士心肺复苏培训过程监控图像和由内置于培训假人的传感器采集的观察组护士心肺复苏培训文本数据，然后利用深度学习技术，对三者进行特征提取和关联分析，最后通过分类器得到分类结果，以生成观察组护士心肺复苏培训评估等级，从而提供全面、个性化的优化意见，进而帮助改进观察组护士的心肺复苏培训过程，提高培训效果和护理质量。