医疗操作考评方法、系统、电子设备及存储介质

1.本发明涉及生物医疗技术领域，具体涉及一种医疗操作考评方法、系统、电子设备及存储介质。


背景技术：

2.医疗操作中的无菌手术操作通常是医学生最先接触到的临床技能，之后才会逐渐引入简单的临床病例。传统的无菌手术操作教学方式是通过理论学习、场景模拟、教师示范以及学生练习的形式，采用的是“一对一”或“一对多”的教学方式。此种教学方式存在缺点：教师难以发现每一位学生的错误，即使发现也难以纠正每一处错误；学生对于教师所教授内容以及所纠正内容的理解，均受到课堂氛围的影响，有时难以刻画深刻印象而未能掌握该技能。并且每一位教师受场地、器材等等限制因素的影响，每次便仅能教限定数量的学生，故而传统无菌手术操作教学方式，每次都耗费大量人力、物力和时间，且教学效果较差。
3.针对上述问题，亟待出现一种有效的解决方案。


技术实现要素：

4.本发明提供一种医疗操作考评方法、系统、电子设备及存储介质，用以克服现有技术中传统无菌手术操作教学方式，每次都耗费大量人力、物力和时间，且教学效果差等缺陷，能够实现对医学职业操作者的医学操作行为的高效评价。
5.本发明提供一种医疗操作考评方法，包括：
6.获取目标区域的实时图像；
7.基于所述实时图像和预先构建且训练好的操作识别模型，获得目标识别结果；
8.将所述目标识别结果与预设的对应操作规程条件相比较，以获得比较结果，并基于所述比较结果得到并输出评分结果。
9.根据本发明提供的医疗操作考评方法，所述操作识别模型包括手部特征及动作识别模型，所述对应操作规程条件具体包括：
10.手部关键点的运动轨迹符合预设运动范围；或，
11.预设的手部关键点之间出现操作器械。
12.根据本发明提供的医疗操作考评方法，所述手部特征及动作识别模型预先的训练过程包括以下步骤：
13.获取若干正确操作的手部图像样本和若干错误操作的手部图像样本；
14.结合关键点检测识别关键点检测识别模型识别所有手部图像样本中各手指上的多个手部关键点；
15.分析提取出各手部关键点的运动轨迹，并逐一截取多个预设的手部关键点之间的手部图像样本，将所述各手部关键点的运动轨迹和所述多个预设的手部关键点之间的手部图像样本共同作为第一训练数据集；
16.基于机器学习算法对所述第一训练数据集进行学习训练，以获得所述手部特征及
动作识别模型。
17.根据本发明提供的医疗操作考评方法，所述操作识别模型包括躯体动作识别模型，所述对应操作规程条件具体包括：
18.肢体关键点运动轨迹符合从被手术对象的躯体上肢侧至躯体下肢侧的顺序。
19.根据本发明提供的医疗操作考评方法，所述躯体动作识别模型预先的训练过程包括以下步骤：
20.获取若干正确操作的躯体图像样本序列和若干错误操作的躯体图像样本序列，结合关键点检测识别模型识别所有躯体图像样本中的多个肢体关键点；
21.分析提取出各肢体关键点的运动轨迹，并逐一截取多个预设的肢体关键点附近的被手术对象的躯体图像样本序列，将所述各肢体关键点的运动轨迹和所述多个预设的肢体关键点附近的被手术对象的躯体图像样本共同作为第二训练数据集；
22.基于机器学习算法对所述第二训练数据集进行学习训练，以获得所述躯体动作识别模型。
23.根据本发明提供的医疗操作考评方法，所述操作识别模型包括敷料识别检测模型，所述对应操作规程条件为敷料运动轨迹符合预设运动路径及运动范围；
24.其中，所述敷料识别检测模型预先的训练过程包括以下步骤：
25.获取若干敷料图像样本，并对所有敷料图像样本中敷料所处位置进行标注，分别获得标注后的敷料图像样本，以作为第三训练数据集；
26.基于机器学习算法对所述第三训练数据集进行学习训练，以获得所述敷料识别检测模型。
27.根据本发明提供的医疗操作考评方法，所述操作识别模型包括图像处理模型，所述对应操作规程条件为对操作区域的实际操作结果符合预设结果；
28.其中，所述图像处理模型预先的训练过程包括以下步骤：
29.获取若干包含正确操作结果的操作区域图像样本和若干包含错误操作结果的操作区域图像样本，以作为第四训练数据集，其中，所述操作区域包括留存的手术窗口区域；
30.基于图像检测处理算法对所述第四训练数据集进行学习训练，以获得所述图像处理模型。
31.本发明还提供一种医疗操作考评系统，所述系统包括：
32.获取模块，用于获取目标区域的实时图像；
33.识别模块，用于基于所述实时图像和预先构建且训练好的操作识别模型，获得目标识别结果；
34.评分模块，用于将所述目标识别结果与预设的对应操作规程条件相比较，以获得比较结果，并基于所述比较结果得到并输出评分结果。
35.本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时，实现根据如上任一项所述医疗操作考评方法的全部或部分步骤。
36.本发明还提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现根据如上任一项所述医疗操作考评方法的全部或部分步骤。
37.本发明提供一种医疗操作考评方法、系统、电子设备及存储介质，所述方法包括：
获取目标区域的实时图像；基于所述实时图像和预先构建且训练好的操作识别模型，获得目标识别结果；将所述目标识别结果与预设的对应操作规程条件相比较，以获得比较结果，并基于所述比较结果得到并输出评分结果。所述方法基于获取到的目标区域的实时图像和预先构建且训练好的操作识别模型，可以准确地获得相应的识别结果，即对医学职业操作者的医学操作行为进行了精准识别，并可结合预设的对应操作规程条件对所述医学操作行为的准确性进行评价及打分，从而有效进行教学考核，且省时、省力、省教学资源。
附图说明
38.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些图获得其他的附图。
39.图1是本发明提供的医疗操作考评方法的流程示意图。
40.图2是本发明提供的医疗操作考评方法中基于手部关键点识别判断出现操作器械的过程示意图；
41.图3手部特征及动作识别模型是本方法中对敷料进行标注获得敷料图像样本的标注示意图；
42.图4是本发明提供的医疗操作考评系统的结构示意图；
43.图5是本发明提供的电子设备的结构示意图。
44.附图标记：
45.410：获取模块；420：识别模块；430：评分模块；510：处理器；520：通信接口；530：存储器；540：通信总线。
具体实施方式
46.为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明的技术方案进行清除完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
47.目前，有人提出了一种基于视图的动作表示和识别方法,并利用18个健美操动作验证了该方法的有效性，还有人提出了一种基于潜在主题模型的无监督学习算法,并利用该算法实现kth数据集、weizmann数据集以及花样滑冰动作集上人体动作的分类和定位。另外，动作识别在智能家庭环境下的人体运动分析上也有所应用。也即，动作识别技术已逐渐发展，但是针对医疗职业操作的动作分析方向仍然鲜有研究。因此，考虑将动作识别技术转而应用于本发明的医疗操作考评方法中。
48.以下结合附图描述本发明提供的一种医疗操作考评方法、系统、电子设备及存储介质。
49.本发明提供一种医疗操作考评方法，图1是本发明提供的医疗操作考评方法的流程示意图，如图1所示，所述方法包括：
50.110、获取目标区域的实时图像；
51.120、基于所述实时图像和预先构建且训练好的操作识别模型，获得目标识别结果；
52.130、将所述目标识别结果与预设的对应操作规程条件相比较，以获得比较结果，并基于所述比较结果得到并输出评分结果。
53.本发明提供的医疗操作考评方法包括：获取目标区域的实时图像；基于所述实时图像和预先构建且训练好的操作识别模型，获得目标识别结果；将所述目标识别结果与预设的对应操作规程条件相比较，以获得比较结果，并基于所述比较结果得到并输出评分结果。所述方法基于获取到的目标区域的实时图像和预先构建且训练好的操作识别模型，可以准确地获得相应的识别结果，即对医学职业操作者的医学操作行为进行了精准识别，并可结合预设的对应操作规程条件对所述医学操作行为的准确性进行评价及打分，从而有效进行教学考核，且省时、省力、省教学资源。针对于具体的应用场景，本发明提供的医疗操作考评方法中的操作识别模型指的就是手部特征及动作识别模型、躯体动作识别模型、敷料识别检测模型、图像处理模型中的任意一项。而不同的模型则是针对不同的目标区域图像进行处理识别并获得相应的目标识别结果。当然，操作模型也可以理解为包括手部特征及动作识别模型、躯体动作识别模型、敷料识别检测模型、图像处理模型中的多项，而对应的，目标识别结果也会存在多项，并针对多项目标识别结果分别对应获得不同的评分结果后最终串联加和而获得一个综合评分结果，实现对医学职业操作者所进行的手术操作行为的准确性进行有效评价。
54.根据本发明提供的医疗操作考评方法，所述操作识别模型包括手部特征及动作识别模型，所述对应操作规程条件具体包括：
55.手部关键点的运动轨迹符合预设运动范围；或，
56.预设的手部关键点之间出现操作器械。
57.本方法中，当所述操作识别模型为手部特征及动作识别模型时，所述对应操作规程条件为手部关键点的运动轨迹符合预设运动范围，或者，为预设的手部关键点之间出现操作器械。比如，可以采集手部区域图像中各手指上的多个关键点，并基于各手指上的关键点的运动轨迹判断操作者手部是否进入无菌手术准备台范围内，以判断操作者是否到无菌手术准备台上正确更换了所持医疗器械。或者，比如采集手部区域图像中各手指上的多个关键点后，获取右手无名指上两个预设的手部关键点之间区域图像(预设的手部关键点是预先指定好的手指上的关键点，通常指定挂持医疗器械柄环的部位)，还获取右手中指上两预设的手部关键点之间区域图像；从所获取的图像中，判断右手无名指上两预设的手部关键点之间区域是否出现器械柄环，以及判断右手中指上两预设的手部关键点之间区域是否出现器械柄环；基于上述两处区域是否出现器械柄环的结果确定操作者是否正确拿取医疗器械。
58.根据本发明提供的医疗操作考评方法，所述手部特征及动作识别模型预先的训练过程包括以下步骤：获取若干正确操作的手部图像样本和若干错误操作的手部图像样本；
59.结合关键点检测识别关键点检测识别模型(关键点检测识别模型，也是现有的openpose模型)识别所有手部图像样本中各手指上的多个手部关键点；
60.分析提取出各手部关键点的运动轨迹，并逐一截取多个预设的手部关键点之间的手部图像样本，将所述各手部关键点的运动轨迹和所述多个预设的手部关键点之间的手部
图像样本共同作为第一训练数据集；
61.基于机器学习算法(此处采用支持向量机的机器学习算法)对所述第一训练数据集进行学习训练，以获得所述手部特征及动作识别模型。
62.具体而言，手部特征及动作识别模型预先的训练过程包括以下步骤：
63.获取若干正确操作的手部图像样本和若干错误操作的手部图像样本，可以是获取大量的包含有右手无名指上出现卵圆钳器械柄环的正确操作的手部图像，同时获取大量的包含有右手中指上出现卵圆钳器械柄环的错误操作的手部图像。图2是本发明所述医疗操作考评方法中基于手部关键点识别判断出现操作器械的过程示意图，如图所示，结合关键点检测识别模型(现有的openpose模型)对所有的手部图像中各手指上的多个手部关键点进行检测识别，并逐一截取多个指定的手部关键点间手部图像，获取右手无名指上两预设的手部关键点之间区域图像(预设的手部关键点14和预设的手部关键点15之间，出现卵圆钳器械柄环，判断为正确)，右手中指上两预设的手部关键点之间区域图像(预设的手部关键点10和预设的手部关键点11之间，出现卵圆钳器械柄环，判断为错误)，具体如图2中所示的无柄环状态的关键点区域图像和有柄环状态的关键点区域图像。还将该区域图像归一化为32*32的图像，最后将处理得到的各关键点区域图像统一起来，作为第一类的训练数据。再预先采集大量手部区域图像，结合openpose模型(关键点检测识别模型)识别所有手部图像中各手指上的多个手部关键点，并分析提取出各手指上的各手部关键点的运动轨迹，作为第二类的训练数据。将第一类的训练数据和第二类的训练数据一并共同作为第一训练数据集。
64.基于支持向量机的机器学习算法，(支持向量机模型，svm模型)，对第一训练数据集的数据进行机器学习，判断各预设的手部关键点之间区域图像上是否出现卵圆钳器械柄，以及分析各手部关键点的运动轨迹，并进一步深度训练，以获得所述手部特征及动作识别模型。还需要说明的是，所述svm模型训练数据时其原理属于线性分类，一般通过线性分类函数来描述：
65.f(x)＝w
t
x+b
66.其中，w和b均是需要训练的参数，支持向量机的目的是寻找现行最优超平面(使上述线性分类函数等于0)，从而求出w和b。
67.根据本发明提供的医疗操作考评方法，所述操作识别模型包括躯体动作识别模型，所述对应操作规程条件具体包括：
68.肢体关键点运动轨迹符合从被手术对象的躯体上肢侧至躯体下肢侧的顺序。
69.本方法中，所述操作识别模型为躯体动作识别模型时，所述对应操作规程条件具体包括：肢体关键点运动轨迹符合从被手术对象的躯体上肢侧至躯体下肢侧的顺序。具体而言，被手术对象是患者或者假体患者或者实验人员。检测肢体关键点运动轨迹，需要该轨迹符合从被手术对象的躯体上肢侧至躯体下肢侧的顺序，可以是被手术对象的头侧到脚侧的顺序，也可以是说成是被手术对象的面部或颈部等上肢侧到脚部或小腿部等的下肢侧的顺序。比如，当无菌手术操作中进行剖腹单铺单操作时，需要判断操作者进行铺单的身体行为是否符合先铺头侧、再铺脚侧的顺序。
70.根据本发明提供的医疗操作考评方法，所述躯体动作识别模型预先的训练过程包括以下步骤：
71.获取若干正确操作的躯体图像样本序列和若干错误操作的躯体图像样本序列，结合关键点检测识别模型(openpose模型)识别所有躯体图像样本中的多个肢体关键点；
72.分析提取出各肢体关键点的运动轨迹，并逐一截取多个预设的肢体关键点附近的被手术对象的躯体图像样本序列，将所述各肢体关键点的运动轨迹和所述多个预设的肢体关键点附近的被手术对象的躯体图像样本共同作为第二训练数据集；
73.基于机器学习算法对所述第二训练数据集进行学习训练，以获得所述躯体动作识别模型。
74.具体而言，躯体动作识别模型预先的训练过程包括以下步骤：获取若干正确操作的躯体图像样本和若干错误操作的躯体图像样本，具体获取大量正确铺单的操作者的躯体图像和大量未能正确铺单的操作者的躯体图像(视频图像即理解为动态图像)，结合关键点检测识别模型(关键点检测识别模型，openpose模型)识别所有躯体图像中的多个肢体关键点，分析提取出多个肢体关键点的运动轨迹，并逐一截取多个预设的肢体关键点附近的被手术对象的躯体图像样本，将所述各肢体关键点的运动轨迹和所述多个预设的肢体关键点附近的被手术对象的躯体图像样本共同作为第二训练数据集。再基于支持向量机算法对所述第二训练数据集进行学习训练，以获得所述躯体动作识别模型。
75.根据本发明提供的医疗操作考评方法，所述操作识别模型包括敷料识别检测模型，所述对应操作规程条件为敷料运动轨迹符合预设运动路径及运动范围；
76.其中，所述敷料识别检测模型预先的训练过程包括以下步骤：
77.获取若干敷料图像样本，并对所有敷料图像样本中敷料所处位置进行标注，分别获得标注后的敷料图像样本，以作为第三训练数据集；
78.基于机器学习算法对所述第三训练数据集进行学习训练，以获得所述敷料识别检测模型。
79.本方法中，所述操作识别模型包括敷料识别检测模型时，所述对应操作规程条件为敷料运动轨迹符合预设运动路径及运动范围，敷料可以是无菌手术中的纱布，也可以是其他医疗敷料。医疗操作此时可以无菌手术的消毒操作为例，纱布上蘸有比如碘伏等的消毒液体，操作者手持医疗器械(卵圆钳)带动纱布(消毒液体)在患者或假体患者的所需消毒的身体部位上有规律地进行移动。故而需要判断纱布运动轨迹是否符合预设的运动路径及方向，若符合，则操作者消毒方向正确，或消毒操作方式正确。并且，还需要判断纱布运动轨迹所达到的范围是否覆盖住了预设的运动范围(所需消毒的身体部位的区域范围，可预先标注患者或假体患者的胸骨角、大腿根部以及左右两侧腋中线处等标志性部位)，若覆盖，则消毒范围正确。甚至还可以用不同颜色标记出纱布对所述消毒的身体部位进行消毒的不同遍次，比如消毒过的区域在第一遍、第二遍、第三遍、第四遍中分别呈现为红色、蓝色、绿色和黄色，并且多次都消毒的区域呈现颜色叠加的效果，从而便于对纱布消毒操作进行消毒遍次识别，判断消毒遍次是否符合预设遍次。
80.且所述敷料识别检测模型预先的训练过程包括以下步骤：获取若干敷料图像样本，即获取大量的包含纱布操作内容的图像样本，并结合方框标注法对所有敷料样本图像中敷料所处位置进行标注，图3是本方法中对敷料进行标注获得敷料图像样本的示意图，如图3中所示，在被手术对象(该患者或假体患者)身上，纱布在操作者所持卵圆钳(图中省略未示出)的控制下不断移动，而在当前图像中用方框标注出了当前纱布所处位置，即图中虚
线图形内为医用纱布(图中因医用纱布蘸了碘伏，故而呈现为棕色纱布)，而方框为对于纱布位置的标注框，进行多次同样采样并标注后，分别获得大量的标注后的敷料图像样本，将所有经过标注的敷料图像样本，还分析提取出标注后的敷料图像样本中敷料的运动轨迹，将经过标注的敷料图像样本以及分析出的敷料的运动轨迹，一并作为第三训练数据集；基于fast-rcnn神经网络算法对所述第三训练数据集进行学习训练，获得所述敷料识别检测模型，以用于检测和跟踪纱布的运动轨迹。
81.本发明提供的医疗操作考评方法中，所述机器学习算法除了采用支持向量机算法、fast-rcnn神经网络算法外，当然还可以采用bp神经网络算法等其他机器学习算法。
82.根据本发明提供的医疗操作考评方法，所述操作识别模型包括图像处理模型，所述对应操作规程条件为对操作区域的实际操作结果符合预设结果；
83.其中，所述图像处理模型预先的训练过程包括以下步骤：
84.获取若干包含正确操作结果的操作区域图像样本和若干包含错误操作结果的操作区域图像样本，以作为第四训练数据集，其中，所述操作区域包括留存的手术窗口区域；
85.基于图像检测处理算法对所述第四训练数据集进行学习训练，以获得所述图像处理模型。
86.本方法中，当所述操作识别模型为图像处理模型时，所述对应操作规程条件为对操作区域的实际操作结果符合预设结果。比如，对于消毒后为患者或者假体患者铺各个小开刀巾的铺单顺序符合预设的正确铺单顺序。再如，对于四个小开刀巾所形成的手术区域方形窗口的四个角点处需要正确固定有巾钳头，以判断操作者正确地使用了巾钳。另如，对于四个小开刀巾所形成的手术区域方形窗口露出患者皮肤的部分区域(或称手术视野)的大小需要符合手无菌手术规范。在铺完小开刀巾之后，还可以判断铺剖腹单的方向需要正确。甚至还可以判断手术视野不能有偏离，即识别出手术视野内不能暴露出未经消毒处理的有菌区皮肤等等。
87.本方法可应用于对无菌手术消毒操作的操作者教学与评价的场景，并且可以按照无菌手术实际操作步骤/顺序以及实际教学情况进行上述各识别过程的调整与应用，下面以无菌手术中的消毒铺单部分为对象，来对无菌手术考生(实际操作者)的训练/考试过程中手术操作进行自动打分评价的应用实例进行详细介绍。
88.(1)判断考生是否正确拿取消毒器械(卵圆钳)并打分：
89.判断标准：正常操作标准是右手拇指和无名指扣入卵圆钳柄环内。而握持卵圆钳最容易出现的错误是中指扣入柄环内，因此本方法主要判断在中指和无名指上是否有柄环。故而此时预设的对应操作规程条件为：若考生右手无名指上两预设的手部关键点附近(两预设的手部关键点之间)区域出现卵圆钳柄环，则判断为考生正确拿取消毒器械；若考生右手中指上两预设的手部关键点附近(两预设的手部关键点之间)区域出现卵圆钳柄环，则判断考生错误拿取消毒器械。
90.当然，若考生右手无名指上两预设的手部关键点之间区域和考生右手中指上两预设的手部关键点之间区域均未出现卵圆钳柄环，此时有可能考生还未到拿取卵圆钳的操作步骤，此时不能判断为错误操作，故而此时默认也判断为正确操作。
91.判断方法：获取当前考生的手部图像；基于所述当前考生的手部图像和预先构建且训练好的手部特征及动作识别模型检测识别出考生的手部关键点；并获取考生的右手无
名指上两预设的手部关键点附近(两预设的手部关键点之间)区域图像(预设的手部关键点14和预设的手部关键点15之间)，右手中指上两预设的手部关键点之间区域图像(预设的手部关键点10和预设的手部关键点11之间)，以获得目标识别结果；将所述目标识别结果与预设的对应操作规程条件相比较，以获得比较结果，即分别判断两手指的该区域是否出现卵圆钳柄环；并基于所述比较结果得到并输出评分结果，若中指上出现卵圆钳柄环则判断为错误，确定评分结果为0分；若无名指上出现或者无名指和中指上同时未出现卵圆钳柄环则判断为正确，确定评分结果为5分。
92.(2)判断考生是否正确进行腹部正中切口并打分：
93.考生口述脐部预处理即判断为正确，评分结果5分；未口述即错误，评分结果0分。
94.(3)判断考生对假体患者消毒方向是否正确并打分：
95.判断标准：正常操作标准是从患者身体中间向两侧消毒的方向，即此时预设的对应操作规程条件为敷料运动轨迹符合预设运动路径，具体是判断含碘伏的纱布随考生手持器械移动的方向是否符合从患者身体中间向两侧消毒的方向。
96.判断方法：获取含有纱布的假体患者身体部位图像；基于该图像和预设的敷料识别检测模型识别出当前纱布位置并将当前纱布所处位置进行标注；跟踪所述纱布的移动路径；判断所述纱布的移动路径是否符合从患者身体中间向两侧消毒的方向；若符合，则判断为正确，评分结果为5分；若不符合，则判断为错误，评分结果为0分。
97.(4)判断考生对假体患者消毒方式是否正确并打分：
98.判断标准：正常操作标准是叠瓦状消毒方式，消毒区域不留白。即此时预设的对应操作规程条件为敷料运动轨迹符合预设运动路径，具体是判断含碘伏的纱布随考生手持器械反复移动的方式是否符合叠瓦状消毒方式。
99.判断方法：获取含有纱布的假体患者身体部位图像；基于该图像和预设的敷料识别检测模型识别出当前纱布位置并将当前纱布所处位置进行标注；跟踪所述纱布的运动轨迹；判断所述纱布的运动轨迹是否符合叠瓦状消毒方式；若符合，则判断为正确，评分结果为5分；若不符合，则判断为错误，评分结果为0分。
100.(5)判断考生对假体患者消毒范围是否正确并打分：
101.判断标准：正常操作标准消毒范围是：以患者角度出发，上至胸骨角，下至大腿根部上侧三分之一处，左右两侧分别至腋中线处，整体形成方形消毒范围。
102.判断方法：获取含有纱布的假体患者身体部位图像；基于该图像和预设的敷料识别检测模型识别出当前纱布位置并将当前纱布所处位置进行标注；跟踪所述纱布的运动范围；判断所述纱布的运动范围是否覆盖了上述方形消毒范围；若符合，则判断为正确，评分结果为5分；若不符合，则判断为错误，评分结果为0分。
103.(6)判断考生对假体患者消毒遍次是否正确并打分：
104.判断标准：正常操作标准是消毒四遍。
105.判断方法：获取含有纱布的假体患者身体部位图像；基于该图像和预设的敷料识别检测模型识别出当前纱布位置并将当前纱布所处位置进行标注；同时还结合用不同颜色标记出纱布对所述消毒的身体部位进行消毒的不同遍次的标记内容(比如消毒过的区域在第一遍、第二遍、第三遍、第四遍中分别呈现为红色、蓝色、绿色和黄色，并且多次都消毒的区域呈现颜色叠加的效果)进行分析；跟踪所述纱布的运动轨迹并结合当前消毒区域所呈
现颜色，识别出纱布消毒操作的遍次；记录最终消毒遍次；判断消毒遍次是否符合预设的四遍；若符合，则判断为正确，评分结果为10分；若不足四遍但大于等于三遍，则判断为合格，评分结果为5分；若仅消毒一遍或两遍或未消毒，则判断为差，评分结果为0分。
106.(7)判断考生是否正确更换消毒器械(卵圆钳)并打分：
107.判断标准：在第二遍正确消毒过程中考生伸手到旁边手术准备台上更换卵圆钳。
108.判断方法：在第二遍消毒过程至第三遍消毒开始，采集考生手部区域图像，利用手部特征及动作识别模型识别图像中考生各手指上的多个手部关键点以进行动作跟踪；基于各手指上的手部关键点的运动轨迹判断考生手部是否正确进入无菌手术准备台范围内；若进入，则判断正确更换了卵圆钳，评分结果为5分；若未进入或者说无该过程，则未能正确更换卵圆钳，判断为错误，评分结果为0分。
109.(8)判断考生是否正确保持消毒器械方向并打分：
110.判断标准：整个消毒过程中需要始终保持消毒钳头部朝下。
111.判断方法：此时需要结合手部特征及动作识别模型和敷料识别检测模型进行综合判断。具体而言，获取当前考生的手部图像；基于所述当前考生的手部图像和预先构建且训练好的手部特征及动作识别模型检测识别出考生的手部关键点；记录当前考生手部关键点位置。同时获取含有纱布的假体患者身体部位图像；基于所述身体部位图像和敷料识别检测模型识别出当前纱布所处位置并进行标注；判断纱布与手部关键点的相对位置，具体通过realsense相机分别提取分析纱布位置和手部关键点位置的深度值并进行比较；若纱布位置深度值大于手部关键点位置深度值，则判断为正确，评分结果为5分；反之，则判断为错误，评分结果为0分。
112.(9)判断考生是否正确铺小开刀巾并打分：
113.判断标准：消毒后为患者或者假体患者铺各个小开刀巾的铺单顺序符合预设的正确铺单顺序，如预设的铺单顺序为由上到下再由左到右。
114.判断方法：获取包含有患者或假体患者所需消毒身体部位的图像；基于所述图像和图像处理模型识别获取身体部位图像识别结果(当患者身体上已经铺单时，相应图像识别结果中显示有已铺手术单)；判断图像处理模型中患者或假体患者身体部位铺单时的颜色变化顺序，将身体部位图像识别结果的图像转换到hsv空间，并进行降低光照等条件影响的处理，然后选取图像中上、下、左、右各一小块区域为代表区域，分别计算四个代表区域的h通道平均值，当某一区域h通道平均值有动态变化且变化持续3s以上时，判断该侧已铺单并记录，逐一记录后，最终形成相应的当前铺单顺序；将当前铺单顺序与正确铺单顺序进行比较；若相同判断为小开刀巾铺单顺序正确，评分结果为5分；若不同判断为小开刀巾铺单顺序错误，评分结果为0分。
115.(10)判断考生是否正确固定巾钳并打分：
116.判断标准：小开刀巾所形成的手术窗口的四个角点处需固定有四个巾钳。
117.判断方法：获取包含有患者或假体患者所需消毒身体部位的图像；基于所述图像和图像处理模型识别获取身体部位图像识别结果(当患者身体上已经铺单时，相应图像识别结果中显示有已铺手术单，且四个小开刀巾已按照正确顺序铺单成功时，四个小开刀巾相互交叠会形成一个方形区域)；结合canny边缘检测算法对方形区域进行边缘检测，并寻找最小外接矩形，确定露出的手术窗口位置；提取手术窗口的四个角点坐标；然后建立巾钳
头部模板，实时监测巾钳头出现位置；若钳头位置出现在角点周围，则判断该巾钳已夹在正确位置；逐一判断四个角点后；若四个角点处均有对应的巾钳头出现，则判断为正确固定了巾钳，评分结果为5分；否则，判断为未正确固定巾钳，评分结果为0分。
118.(11)判断考生预留手术视野是否合适并打分：
119.判断标准：当前手术窗口大小需要符合无菌手术操作规范。
120.判断方法：获取包含有患者或假体患者所需消毒身体部位的图像；基于所述图像输和图像处理模型识别获取身体部位图像识别结果(当患者身体上已经铺单时，相应图像识别结果中显示有已铺手术单，且四个小开刀巾已按照正确顺序铺单成功时，四个小开刀巾相互交叠会形成一个方形区域)；结合canny边缘检测算法对方形区域进行边缘检测，并寻找最小外接矩形，确定露出皮肤的手术窗口；提取手术窗口的四个角点坐标；计算手术窗口实际大小；判断所述手术窗口的大小是否符合规范；若符合，则判断预留手术视野正确，评分结果为5分；若预留手术视野过大或过小，都判为错误，评分结果为0分。
121.(12)判断考生是否正确铺剖腹单并打分：
122.判断标准：所铺剖腹单头部显示有蓝边。
123.具体方法：获取包含有患者或假体患者所需消毒身体部位的图像；基于所述图像和图像处理模型识别获取身体部位图像识别结果(当患者身体上已经铺单时，相应图像识别结果中显示有已铺手术单，并且在铺完小开刀巾后还需要铺剖腹单)；检测图像中剖腹单的头部是否有蓝色长边缘；若能看到蓝色长边缘表示已经剖腹单已正确铺单且已正确下垂30cm，此时判断为正确铺剖腹单，评分结果为5分；否则，判断为未正确铺剖腹单，评分结果为0分。
124.(13)判断考生是否按正确铺单方向铺剖腹单并打分：
125.判断标准：所述对应操作规程条件为肢体关键点运动轨迹符合从躯体上肢侧至躯体下肢侧的顺序。即正常操作标准为：以考生身体为参考，先铺头侧，再铺脚侧。
126.判断方法：获取考生操作的躯体图像；通过躯体动作识别模型识别所有躯体图像中的多个肢体关键点，并分析多个肢体关键点的运动轨迹，逐一截取多个指定的肢体关键点间躯体图像，即截取与当前检测项目相关的肢体部位的关键点间躯体图像；基于躯体关键点判断考生身体行为轨迹以及移动速度；判断考生进行铺单的躯体行为是否符合从躯体上肢侧至躯体下肢侧的顺序，即是否符合先铺头侧、再铺脚侧的顺序；若完全符合且铺单的移动速度正常，则判断为正确，评分结果为10分；若顺序虽然符合，但铺单的移动速度较慢，则判断为合格，评分结果为5分；若顺序不符合，则判断为错误，评分结果为0分。
127.(14)判断考生预留手术窗口是否有明显偏离并打分：
128.判断标准：若手术窗口区域内漏出有菌区，证明有明显偏离，则得0分，若仅稍有偏离，但考生口述穿衣戴手套后调整手术窗口，即可认为无明显偏离)。
129.判断方法：此时判断方法与步骤(11)判断方法相似。当结合canny边缘检测算法对方形区域进行边缘检测，并寻找最小外接矩形，确定露出皮肤的手术窗口；提取手术窗口的四个角点坐标；计算手术窗口实际大小；并在确定大小的手术窗口内检测是否露出了有菌区；若不存在明显偏离，则判断为正确，评分结果为5分；若存在明显偏离，则判断为错误，评分结果为0分。
130.(15)判断考生是否正确进行手术准备并打分：
131.考生口述穿衣戴手套后铺第二层大单即判断为正确，评分结果10分；未口述即错误，评分结果0分。
132.(16)判断考生无菌观念是否正确并打分：
133.考生口述消毒铺单中的无菌观念内容，若内容完整，即判断为正确，评分结果10分；若仅口述出部分内容，即判断为合格，评分结果5分；若未口述出内容，即错误，评分结果0分。
134.对于各步骤的不同考核指标，分别采用不同的判断方法判断完成后，最终累计加和获得该考生的总评分结果，实现对考生操作的评价。换言之，本发明所提供的医疗操作考评方法可以实现对学生无菌术操作流程的在线指导、实时纠错和总体评估，将为医学教学提供安全、标准化、可试错的训练模式。并且，该方法促进学生无菌术训练课程的自动评估，使得教学评价标准更趋于客观和准确，学生也可以在没有老师陪同下得到更多的训练纠错机会，也能在一定程度上减轻教师的负担。本方法在医学院校或医院医学临床模拟教学等场景中具有很好的应用意义。
135.并且，上述各实施例及各步骤中，采集目标区域的实时图像均可以通过对应方向上设置的图像采集设备来获取，并且不同摄像设备与服务器和客户端之间通过通信盒子和路由器进行数据传输与通信。图像采集设备采用分别安装的不同相机。
136.第一相机：安装于假体患者正上方一米左右位置，以作为上述评分步骤(3)、(4)、(5)、(6)、(8)、(9)、(10)、(11)和(14)中的图像视频来源；第二相机：安装于正对考生手部的位置，以作为上述评分步骤(1)中的图像视频来源；第三相机：安装于假体患者的头部对应位置以作为上述评分步骤(12)中的图像视频来源；第四相机：安装于假体患者侧面且在考生背后的位置处，以作为上述评分步骤(7)和(13)的图像视频来源。
137.第一通信盒子：发送第一相机的rgb-d图像至服务器，发送第一相机和第二相机的rgb图像至客户端；以及负责评分步骤(1)的计算，在消毒过程中运行一个手部特征及动作识别模型，计算(1)中的手部关键点位置，并将识别结果发回服务器。
138.第二通信盒子：发送第三相机和第四相机的rgb图像至客户端；以及负责评分步骤(7)和(13)的计算过程，等待服务器发出对应指令运行手部特征及动作识别模型进行识别判断，并将结果发送至服务器。
139.服务器：负责总体流程的运行；以及负责评分步骤(3)、(4)、(5)、(6)、(8)、(9)、(10)、(11)、(12)的计算，其中评分步骤(3)、(4)、(5)、(6)以敷料识别检测模型为基础，(8)以躯体动作识别模型为基础，(9)、(10)、(11)、(12)以图像处理模型为基础；还接收第一相机的rgb-d图像，以及接收第一通信盒子和第二通信盒子的识别结果；最终统计所有识别结果和评分结果，并将其发送至客户端。
140.下面对本发明提供的一种医疗操作考评系统进行描述，所述医疗操作考评系统可以理解为是执行上述医疗操作考评方法的系统设备，二者技术原理相同，可以相互参照，此处不作赘述。
141.本发明还提供一种医疗操作考评系统，图4是本发明提供的医疗操作考评系统的结构示意图，如图4所示，所述系统包括：获取模块410、识别模块420和评分模块430，其中，
142.所述获取模块410，用于获取目标区域的实时图像；
143.所述识别模块420，用于基于所述实时图像和预先构建且训练好的操作识别模型，
获得目标识别结果；
144.所述评分模块430，用于将所述目标识别结果与预设的对应操作规程条件相比较，以获得比较结果，并基于所述比较结果得到并输出评分结果。
145.本发明提供的医疗操作考评系统包括：获取模块410、识别模块420和评分模块430，各模块相互配合工作，使得采集到的目标区域的实时图像可被预先构建且训练好的操作识别模型识别处理，并准确地获得相应的识别结果，进而对医学职业操作者的医学操作行为进行了精准识别，并可结合预设的对应操作规程条件完成对所述医学操作行为的准确性进行评价及打分，从而有效进行教学考核，且省时、省力、省教学资源。
146.本发明还提供一种电子设备，该电子设备可以包括：处理器(processor)510、通信接口(communications interface)520、存储器(memory)530和通信总线540，其中，处理器510，通信接口520，存储器530通过通信总线540完成相互间的通信。处理器510可以调用存储器530中的逻辑指令，以执行所述医疗操作考评方法的全部或部分步骤，该方法包括：
147.获取目标区域的实时图像；
148.基于所述实时图像和预先构建且训练好的操作识别模型，获得目标识别结果；
149.将所述目标识别结果与预设的对应操作规程条件相比较，以获得比较结果，并基于所述比较结果得到并输出评分结果。
150.此外，上述的存储器530中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述医疗操作考评方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
151.另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各实施例所述医疗操作考评方法的全部或部分步骤，该方法包括：
152.获取目标区域的实时图像；
153.基于所述实时图像和预先构建且训练好的操作识别模型，获得目标识别结果；
154.将所述目标识别结果与预设的对应操作规程条件相比较，以获得比较结果，并基于所述比较结果得到并输出评分结果。
155.又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上各实施例所述医疗操作考评方法的全部或部分步骤，该方法包括：
156.获取目标区域的实时图像；
157.基于所述实时图像和预先构建且训练好的操作识别模型，获得目标识别结果；
158.将所述目标识别结果与预设的对应操作规程条件相比较，以获得比较结果，并基于所述比较结果得到并输出评分结果。
159.以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本发明实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
160.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的医疗操作考评方法。
161.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。