一种动作操作质量的检测方法、装置、电子设备及介质与流程

本技术涉及图像处理，特别是涉及一种动作操作质量的检测方法、装置、电子设备及介质。

背景技术：

1、在智能产线、服务医疗等多种场景中，工作人员所操作的各种动作的质量严重影响产品质量或用户体验，需要对工作人员所操作的各种动作的质量进行检测。例如，内窥镜手术作为一项医学手术中重要的技术，手术缝合质量是检测工作人员专业能力以及保证患者权益的重要指标，需要对工作人员的手术缝合质量进行合理检测，也即对工作人员在手术中的缝合动作进行质量检测。

2、因此，目前在多种场景中，需要一种能够对工作人员所操作的动作的质量进行检测的方法。

技术实现思路

1、本技术实施例的目的在于提供一种动作操作质量的检测方法、装置、电子设备及介质，实现对工作人员所操作的动作的质量检测。具体技术方案如下：

2、第一方面，本技术实施例提供了一种动作操作质量的检测方法，所述方法包括：

3、获取图像序列，其中，所述图像序列为在工作人员操作动作过程中拍摄的视频图像序列；

4、采用预先训练的动作识别模型识别所述图像序列，得到所述图像序列所包括的工作人员所操作动作的动作类别，其中，所述动作识别模型为基于图像样本所包括的动作对应的图像特征训练得到的，用于基于图像特征对动作进行分类；

5、在所述工作人员完成操作动作后，基于所述图像序列的拍摄参数以及每个图像序列对应的动作类别，确定所述工作人员所完成的操作动作的质量检测结果。

6、可选的，所述基于所述图像序列的拍摄参数以及每个图像序列对应的动作类别，确定所述工作人员所完成的操作动作的质量检测结果的步骤，包括：

7、根据已获取的图像序列的拍摄时间顺序，对所述每个图像序列对应的动作类别进行排序，得到排序结果；

8、基于所述排序结果所表征的动作类别的出现顺序，确定所述工作人员所完成的操作动作的质量检测结果。

9、可选的，所述基于所述排序结果所表征的动作类别的出现顺序，确定所述工作人员所完成的操作动作的质量检测结果的步骤，包括：

10、基于所述排序结果所表征的动作类别的出现顺序，确定所述工作人员所操作动作为操作成功或操作失败，并记录操作成功的次数以及操作失败的次数；和/或，

11、基于所述排序结果所表征的动作类别的出现顺序，确定所述工作人员每次操作动作所对应的帧数；根据所述每次操作动作所对应的帧数以及所述图像序列的帧率，确定所述工作人员每次操作动作的操作时长。

12、可选的，所述动作类别包括开始操作、操作中、结束操作以及无动作；

13、所述基于所述排序结果所表征的动作类别的出现顺序，确定所述工作人员所操作动作为操作成功或操作失败，并记录操作成功的次数以及操作失败的次数的步骤，包括：

14、如果所述排序结果所表征的动作类别的出现顺序为开始操作、操作中、结束操作以及无动作，确定该出现顺序对应的动作操作成功，并记录操作成功的动作的出现次数；

15、如果所述排序结果所表征的动作类别的出现顺序为开始操作、操作中以及无动作，确定该出现顺序对应的动作操作失败，并记录操作失败的动作的出现次数。

16、可选的，所述采用预先训练的动作识别模型识别所述图像序列，得到所述图像序列所包括的工作人员所操作动作的动作类别的步骤，包括：

17、将所获取的图像序列输入至预先训练的动作识别模型，对所述图像序列中每个图像进行图像特征提取，得到所述每个图像的图像特征；

18、将所述每个图像的图像特征进行特征融合，得到融合特征；

19、基于所述融合特征以及已训练的模型参数，确定所述融合特征对应的动作类别，作为所述图像序列所包括的工作人员所操作动作的动作类别。

20、可选的，所述图像序列为手术过程中拍摄的工作人员所执行缝合动作的视频图像序列；所述方法还包括：

21、利用所述预先训练的动作识别模型，获取基于所述图像序列的最后一帧所识别得到的针尖位置；

22、获取基于所述针尖位置以及缝合动作的动作特点，预测得到的下一次缝合动作的落针位置；

23、输出用于提示下一次缝合动作的落针位置的提示信息。

24、可选的，所述质量检测结果包括以下至少一种：穿针成功次数、穿针失败次数、平均穿针时长、最短穿针时长、最长穿针时长、成功穿针时长、成功穿针时长占比、失败穿针时长、失败穿针时长占比、预测的下一次缝合动作的落针位置与下一次实际落针位置的误差。

25、第二方面，本技术实施例提供了一种动作操作质量的检测装置，所述装置包括：

26、图像序列获取模块，用于获取图像序列，其中，所述图像序列为在工作人员操作动作过程中拍摄的视频图像序列；

27、动作类别获取模块，用于采用预先训练的动作识别模型识别所述图像序列，得到所述图像序列所包括的工作人员所操作动作的动作类别，其中，所述动作识别模型为基于图像样本所包括的动作对应的图像特征训练得到的，用于基于图像特征对动作进行分类；

28、质量检测结果确定模块，用于在所述工作人员完成操作动作后，基于所述图像序列的拍摄参数以及每个图像序列对应的动作类别，确定所述工作人员所完成的操作动作的质量检测结果。

29、可选的，所述质量检测结果确定模块，包括：

30、排序结果获取子模块，用于根据已获取的图像序列的拍摄时间顺序，对所述每个图像序列对应的动作类别进行排序，得到排序结果；

31、质量检测结果确定子模块，用于基于所述排序结果所表征的动作类别的出现顺序，确定所述工作人员所完成的操作动作的质量检测结果。

32、可选的，所述质量检测结果确定子模块，包括：

33、质量检测结果确定单元，用于基于所述排序结果所表征的动作类别的出现顺序，确定所述工作人员所操作动作为操作成功或操作失败，并记录操作成功的次数以及操作失败的次数；和/或，

34、用于基于所述排序结果所表征的动作类别的出现顺序，确定所述工作人员每次操作动作所对应的帧数；根据所述每次操作动作所对应的帧数以及所述图像序列的帧率，确定所述工作人员每次操作动作的操作时长。

35、可选的，所述动作类别包括开始操作、操作中、结束操作以及无动作；

36、所述质量检测结果确定单元，包括：

37、第一确定子单元，用于如果所述排序结果所表征的动作类别的出现顺序为开始操作、操作中、结束操作以及无动作，确定该出现顺序对应的动作操作成功，并记录操作成功的动作的出现次数；

38、第二确定子单元，用于如果所述排序结果所表征的动作类别的出现顺序为开始操作、操作中以及无动作，确定该出现顺序对应的动作操作失败，并记录操作失败的动作的出现次数。

39、可选的，所述动作类别获取模块，包括：

40、图像特征获取子模块，用于将所获取的图像序列输入至预先训练的动作识别模型，对所述图像序列中每个图像进行图像特征提取，得到所述每个图像的图像特征；

41、融合特征获取子模块，用于将所述每个图像的图像特征进行特征融合，得到融合特征；

42、动作类别确定子模块，用于基于所述融合特征以及已训练的模型参数，确定所述融合特征对应的动作类别，作为所述图像序列所包括的工作人员所操作动作的动作类别。

43、可选的，所述图像序列为手术过程中拍摄的工作人员所执行缝合动作的视频图像序列；所述装置还包括：

44、针尖位置获取模块，用于利用所述预先训练的动作识别模型，获取基于所述图像序列的最后一帧所识别得到的针尖位置；

45、落针位置获取模块，用于获取基于所述针尖位置以及缝合动作的动作特点，预测得到的下一次缝合动作的落针位置；

46、提示信息输出模块，用于输出用于提示下一次缝合动作的落针位置的提示信息。

47、可选的，所述质量检测结果包括以下至少一种：穿针成功次数、穿针失败次数、平均穿针时长、最短穿针时长、最长穿针时长、成功穿针时长、成功穿针时长占比、失败穿针时长、失败穿针时长占比、预测的下一次缝合动作的落针位置与下一次实际落针位置的误差。

48、第三方面，本技术实施例提供了一种电子设备，包括：

49、存储器，用于存放计算机程序；

50、处理器，用于执行存储器上所存放的程序时，实现上述第一方面任一所述的方法。

51、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面任一所述的方法。

52、本技术实施例有益效果：

53、本技术实施例提供的方案中，电子设备可以获取图像序列，其中，图像序列为在工作人员操作动作过程中拍摄的视频图像序列，采用预先训练的动作识别模型识别图像序列，得到图像序列所包括的工作人员所操作动作的动作类别，其中，动作识别模型为基于图像样本所包括的动作对应的图像特征训练得到的，用于基于图像特征对动作进行分类，在工作人员完成操作动作后，基于图像序列的拍摄参数以及每个图像序列对应的动作类别，确定工作人员所完成的操作动作的质量检测结果。由于预先训练的动作识别模型为基于图像样本所包括的动作对应的图像特征训练得到的，用于基于图像特征对动作进行分类，那么采用预先训练的动作识别模型识别工作人员操作动作过程中所拍摄的视频图像序列，可以得到工作人员在操作动作过程中所操作动作的动作类别，进而基于图像序列的拍摄参数以及所获取的动作类别，确定工作人员所完成的操作动作的质量检测结果，这样可以实现对工作人员所操作的动作的质量检测。当然，实施本技术的任一产品或方法并不一定需要同时达到以上所述的所有优点。