一种图像识别方法、装置、设备及介质与流程

本发明涉及内窥镜检查，特别涉及一种图像识别方法、装置、设备及介质。

背景技术：

1、目前市面上常见的主流的用于质量评估的算法多为基于神经网络的分类模型，此类模型的输入为单帧内窥镜图像，实时对检查过程中每一帧的图像的进行分类，完成单帧图像识别，然后结合后处理逻辑判断检查过程中的状态，简单判断检查过程中的充盈度与清洁度，体外图像与肛门与口腔的图像的分类等任务。此类算法的优点在于数据充足且算法较成熟，能在短时间内满足部分需求。缺点在于使用此算法后，判定医师的动作需要严重依赖模型的分类结果，若模型对于某些关键部位与关键帧的分类结果错误，则有可能会对检查质量评估过程产生难以挽回的影响。例如在结肠镜检查下，若无法模型识别到患者体内的回肠末端这个部位，则难以判断医师是否已到达回肠末端并开始退镜过程，进而影响到对退镜过程计时的把控。若医师在检查过程中因疏忽未到达回肠末端，则无法继续对医师的退镜过程进行质控记录等等。可见，仅靠单一图像的输入的模型难以完全满足内镜质控过程中的需求。

2、综上，如何基于在内窥镜检查的过程中，镜体在人体器官内的运动是一个时间序列的前提下，实现连续帧图像的动作识别，以实现内窥镜检查的质量监控是本领域有待解决的技术问题。

技术实现思路

1、有鉴于此，本发明的目的在于提供一种图像识别方法、装置、设备及介质，能够基于在内窥镜检查的过程中，镜体在人体器官内的运动是一个时间序列的前提下，实现连续帧图像的动作识别，以实现内窥镜检查的质量监控。其具体方案如下：

2、第一方面，本技术公开了一种图像识别方法，包括：

3、获取对待测用户进行内窥镜检查过程的连续帧图像；

4、将所述连续帧图像分段以获取若干目标帧图像；

5、将不同的所述目标帧图像分别输入至不同的预设单帧图像识别模型，以便各所述预设单帧图像识别模型分别提取各所述目标帧图像的时间信息以及图像特征，并基于所述时间信息、所述图像特征输出各所述目标帧图像对应的动作识别结果；

6、基于各所述目标帧图像对应的动作识别结果确定所述连续帧图像的目标动作识别结果。

7、可选的，所述将所述连续帧图像分段以获取若干目标帧图像，包括：

8、按照预设时间间隔对所述连续帧图像进行分段采样，以获取若干携带相应时间信息的目标帧图像。

9、可选的，所述将不同的所述目标帧图像分别输入至不同的预设单帧图像识别模型，以便各所述预设单帧图像识别模型分别提取各所述目标帧图像的时间信息以及图像特征之前，还包括：

10、创建若干携带预训练模型参数的初始单帧图像识别模型，利用操控动作图像分类训练集对各所述初始单帧图像识别模型进行模型训练，以得到相应的预设单帧图像识别模型。

11、可选的，所述利用操控动作图像分类训练集对各所述初始单帧图像识别模型进行模型训练，以得到相应的预设单帧图像识别模型，包括：

12、利用操控动作图像分类训练集对各所述初始单帧图像识别模型进行模型训练，以便各所述初始单帧图像识别模型训练每一网络层，并交换各所述初始单帧图像识别模型各卷积层的之间的特征图信息，以便各所述初始单帧图像识别模型学习所述特征图信息中的时间信息表达的语义特征以及所述操控动作图像分类训练集中各训练帧数据之间运动的像素特征，以得到相应的预设单帧图像识别模型。

13、可选的，所述创建若干携带预训练模型参数的初始单帧图像识别模型，利用操控动作图像分类训练集对各所述初始单帧图像识别模型进行模型训练，以得到相应的预设单帧图像识别模型，包括：

14、按照每秒固定长度采样所述操控动作图像分类训练集中的动作片段数据，以获取用于训练所述初始单帧图像识别模型的训练帧数据；

15、对所述训练帧数据标注对应的动作标签，以得到携带对应动作标签的所述训练帧数据；

16、将所述携带对应动作标签的所述训练帧数据分别输入至各所述初始单帧图像识别模型，以便训练各所述初始单帧图像识别模型直至目标损失函数的损失值满足预设损失值条件，并将当前训练后输出的单帧图像识别模型作为所述预设单帧图像识别模型。

17、可选的，所述训练各所述初始单帧图像识别模型直至目标损失函数的损失值满足预设损失值条件，并将当前训练后输出的单帧图像识别模型作为所述预设单帧图像识别模型，包括：

18、统计每次各所述初始单帧图像识别模型的输出结果；

19、基于所述输出结果获取各所述初始单帧图像识别模型针对所述训练帧数据的预测概率分布；

20、计算每次所述预测概率分布和标签概率分布构建的目标损失函数的损失值；其中，所述标签概率分布为各所述携带对应动作标签的所述训练帧数据的概率分布；

21、当所述损失值满足预设损失值条件，则将当前训练后输出的单帧图像识别模型作为所述预设单帧图像识别模型。

22、可选的，所述基于各所述目标帧图像对应的动作识别结果确定所述连续帧图像的目标动作识别结果之后，还包括：

23、利用所述目标动作识别结果对内窥镜检查过程进行质量评估，以得到内窥镜检查过程的操作达标和/或操作不达标的操作质量评估结果。

24、第二方面，本技术公开了一种图像识别装置，包括：

25、图像获取模块，用于获取对待测用户进行内窥镜检查过程的连续帧图像；

26、图像分段模块，用于将所述连续帧图像分段以获取若干目标帧图像；

27、图像识别模块，用于将不同的所述目标帧图像分别输入至不同的预设单帧图像识别模型，以便各所述预设单帧图像识别模型分别提取各所述目标帧图像的时间信息以及图像特征，并基于所述时间信息、所述图像特征输出各所述目标帧图像对应的动作识别结果；

28、结果输出模块，用于基于各所述目标帧图像对应的动作识别结果确定所述连续帧图像的目标动作识别结果。

29、第三方面，本技术公开了一种电子设备，包括：

30、存储器，用于保存计算机程序；

31、处理器，用于执行所述计算机程序，以实现前述公开的图像识别方法的步骤。

32、第四方面，本技术公开了一种计算机可读存储介质，用于存储计算机程序；其中，所述计算机程序被处理器执行时实现前述公开的图像识别方法的步骤。

33、由此可见，本技术公开了一种图像识别方法，包括：获取对待测用户进行内窥镜检查过程的连续帧图像；将所述连续帧图像分段以获取若干目标帧图像；将不同的所述目标帧图像分别输入至不同的预设单帧图像识别模型，以便各所述预设单帧图像识别模型分别提取各所述目标帧图像的时间信息以及图像特征，并基于所述时间信息、所述图像特征输出各所述目标帧图像对应的动作识别结果；基于各所述目标帧图像对应的动作识别结果确定所述连续帧图像的目标动作识别结果。可见，通过将内窥镜检查过程的连续帧图像进行分段，并分别输出至不同的预设单帧图像识别模型，然后统计不同的预设单帧图像识别模型对单帧图像的动作识别结果，并根据所有的动作识别结果确定出连续帧图像的目标动作识别结果，避免了对单帧图像的识别效果的严重依赖，同时在图像识别时的计算复杂度仅为预设单帧图像识别模型的线性倍数，计算复杂度未发生明显变化，能够满足内窥镜检查的动作识别结果输出的实时性需求。