基于内窥镜的图像处理方法、装置、电子设备及存储介质与流程

本技术属于数据处理，尤其涉及基于内窥镜的图像处理方法、装置、电子设备及存储介质。

背景技术：

1、随着设备技术的不断发展，越来越多设备朝着精密化的方向发展。而对于精密的设备其对于密封性的要求较高，因此，在不破坏设备原本密封性的情况下，如何有效准确地对设备进行检修，成为了设备管理的关注重点。现有的设备管理技术，在对密封性要求较高的设备进行检修时，可以采用内窥镜的方式在设备内进行图像采集，通过控制内窥镜在设备内置的管道或通道内移动，以到达对应的检测区域进行图像采集，并基于采集得到的图像对设备进行检修。

2、现有的内窥镜控制技术，由于内窥镜在设备内采集图像时，其视野较窄，往往只能获取到局部区域的图像，为了确定检测区域的实际情况需要调整内窥镜的拍摄位姿，以获取多个图像，并对多个图像进行拼接，以确定检测区域的整体区域的图像。然而由于内窥镜在设备内检测位置不固定，用户在获取得到多个局域图像后，无法较好地将上述图像进行拼接，从而大大增加了后续检测分析的难度，也降低了生物体内检测的准确性。

技术实现思路

1、本技术实施例提供了一种基于内窥镜的图像处理方法、装置、电子设备及存储介质，可以解决现有的基于内窥镜的图像处理技术，由于内窥镜在设备内检测位置不固定，用户在获取得到多个局域图像后，无法较好地将上述图像进行拼接，从而大大增加了后续检测分析的难度，也降低了生物体内检测的准确性。

2、第一方面，本技术实施例提供了一种基于内窥镜的图像处理方法，包括：

3、获取目标对象的检测引导信息；所述检测引导信息包含所述目标对象的内部结构图以及检测场景类型；

4、基于所述检测场景类型对应的轨迹校正算法，对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正，得到期望移动轨迹；所述初始移动轨迹是基于所述内部结构图生成的；

5、控制所述内窥镜沿所述期望移动轨迹移动，并在所述期望移动轨迹上预设的多个图像采集节点获取采集图像，并确定所述内窥镜的实际移动轨迹；

6、根据所述实际移动轨迹合并多个所述采集图像，得到目标检测图像；所述目标检测图像用于生成所述目标检测区域的检测报告。

7、在第一方面的一种可能的实现方式中，所述检测场景类型包括所述目标对象的运动状态类型以及应用地点类型；

8、所述基于所述检测场景类型对应的轨迹校正算法，对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正，得到期望移动轨迹；所述初始移动轨迹是基于所述内部结构图生成的，包括：

9、若所述运动状态类型为静止状态类型，则根据所述目标对象的对象类型，确定第一振动系数；所述第一振动系数为所述目标对象处于静置状态和/或运行状态下的振动系数；

10、基于所述应用地点类型内包含的关联对象个数，确定第二振动系数；

11、基于所述第一振动系数以及所述第二振动系数，得到所述目标对象的第一轨迹校正算法；所述第一轨迹校正算法用于调整所述初始移动轨迹；

12、若所述运动状态类型为移动运行类型，则根据所述目标对象在所述移动运行类型中的行驶速度，确定在所述目标对象的行驶轨迹中各个轨迹点的加速度向量；

13、基于所述内窥镜对应的期望检测时长，确定所述内窥镜检测过程中与所述行驶轨迹的重合轨迹段；

14、基于所述重合轨迹段各个所述轨迹点的加速度向量，生成第二轨迹校正算法；所述第二轨迹校正算法用于调整所述初始移动轨迹。

15、在第一方面的一种可能的实现方式中，所述基于所述检测场景类型对应的轨迹校正算法，对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正，得到期望移动轨迹，包括：

16、从预设的对象模型库内选取与所述目标对象的对象类型匹配的通用对象模型；所述通用对象模型包含所述目标检测区域的区域模型；

17、基于所述内部结构图，确定通往所述目标检测区域的至少一条目标路径；

18、根据所述目标对象的使用记录，分别生成各个所述目标路径对应的异物残留概率函数，并通过所述异物残留概率函数分别计算所述目标路径上任一位置的异物残留概率；所述异物残留概率函数具体为：

19、

20、其中，dispr(pst)为所述目标路径上任一位置的异物残留概率；curv(pst)为所述任一位置的弯度曲率；basecurv为基础曲率；currtime为当前时间；tgtime（i）为第i个使用记录的记录时间；viscty（i）为第i个使用记录中经过所述任一位置的物体的粘度系数；n为所述使用记录的总数；

21、基于各个所述目标路径的所述异物残留概率更新所述通用对象模型，得到所述目标对象的期望对象模型；

22、基于所述期望对象模型，分别计算各个所述目标路径的推荐系数；

23、选取所述推荐系数最高的所述目标路径作为所述初始移动轨迹。

24、在第一方面的一种可能的实现方式中，所述控制所述内窥镜沿所述期望移动轨迹移动，并在所述期望移动轨迹上预设的多个图像采集节点获取采集图像，并确定所述内窥镜的实际移动轨迹，包括：

25、基于在采集过程中获取的所述采集图像，确定所述目标检测区域中所述采集图像对应位置的实际通行孔径；

26、根据所述位置的所述可通行孔径与所述实际通行孔径，计算所述采集图像对应位置的预测偏差值；

27、若所述预测偏差值大于预设偏差阈值，则基于所述预测偏差值调整所述异物残留概率函数；

28、基于调整后异物残留概率函数，调整所述采集图像对应位置后的期望移动轨迹；

29、基于调整后的期望移动轨迹，控制所述内窥镜在所述目标对象在目标检测区域移动。

30、在第一方面的一种可能的实现方式中，所述控制所述内窥镜沿所述期望移动轨迹移动，并在所述期望移动轨迹上预设的多个图像采集节点获取采集图像，并确定所述内窥镜的实际移动轨迹，包括：

31、若检测到基于所述期望移动轨迹控制所述内窥镜移动时所述内窥镜的可视距离小于预设的距离阈值，则向所述内窥镜发送移动调整指令，以调整所述内窥镜的移动方向；

32、基于调整后的移动方向更新所述期望移动轨迹，并基于更新后的期望移动轨迹控制所述内窥镜移动；

33、基于移动过程中的所有所述移动调整指令以及更新后的期望移动轨迹，生成所述实际移动轨迹。

34、在第一方面的一种可能的实现方式中，所述根据所述实际移动轨迹合并多个所述采集图像，得到目标检测图像，包括：

35、确定各个所述采集图像在所述实际移动轨迹内对应的拍摄坐标以及拍摄角度；

36、基于各个所述拍摄坐标在所述实际移动轨迹中的位置次序，确定各个所述采集图像的拼接次序；

37、基于相邻拼接次序之间拍摄坐标之间的位移向量以及角度偏转向量，合并相邻拍摄次序之间的所述采集图像，得到拼接图像；

38、将对所述实际移动轨迹上所有拍摄坐标合并后的所述拼接图像，作为所述目标检测图像。

39、在第一方面的一种可能的实现方式中，所述基于相邻拼接次序之间拍摄坐标之间的位移向量以及角度偏转向量，合并相邻拍摄次序之间的所述采集图像，得到拼接图像，包括：

40、确定相邻拍摄次序之间的两个所述采集图像间的图像重合区域；所述图像重合区域包含前一拍摄次序的采集图像对应的第一重合区域与后一拍摄次序的采集图像对应的第二重合区域；

41、根据所述内窥镜在所述位移向量移动时的移动速度，计算畸变系数；

42、基于所述畸变系数调整所述图像重合区域；

43、基于调整后的图像重合区域合并所述相邻拍摄次序之间的所述采集图像，得到所述拼接图像。

44、第二方面，本技术实施例提供了一种基于内窥镜的图像处理装置，包括：

45、检测引导信息获取单元，用于获取目标对象的检测引导信息；所述检测引导信息包含所述目标对象的内部结构图以及检测场景类型；

46、期望移动轨迹生成单元，用于基于所述检测场景类型对应的轨迹校正算法，对内窥镜通往目标对象内的目标检测区域的初始移动轨迹进行校正，得到期望移动轨迹；所述初始移动轨迹是基于所述内部结构图生成的；

47、实际移动轨迹生成单元，用于控制所述内窥镜沿所述期望移动轨迹移动，并在所述期望移动轨迹上预设的多个图像采集节点获取采集图像，并确定所述内窥镜的实际移动轨迹；

48、目标检测图像生成单元，用于单元，用于根据所述实际移动轨迹合并多个所述采集图像，得到目标检测图像；所述目标检测图像用于生成所述目标检测区域的检测报告。

49、第三方面，本技术实施例提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面任一项所述的方法。

50、第四方面，本技术实施例提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上述第一方面任一项所述的方法。

51、第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品在服务器上运行时，使得服务器执行上述第一方面中任一项所述的方法。

52、本技术实施例与现有技术相比存在的有益效果是：通过在控制内窥镜进入目标对象的目标检测区域之前，可以获取该目标对象的检测引导信息，根据检测引导信息中的内部结构图生成内窥镜进入目标检测区域的期望移动轨迹，并控制内窥镜基于该期望移动轨迹进行移动，从而能够实现有序控制内窥镜在目标对象已有通道内移动的目的，以实时确定内窥镜的位姿，继而在移动的过程中获取目标检测区域内的多个采集图像，并生成对应的实际移动轨迹，由于已经确定内窥镜的实际移动轨迹，因此可以确定在获取各个采集图像时内窥镜的位姿，因此可以基于实际移动轨迹对各个采集图像进行合并，得到目标检测图像，从而实现采集目标对象在目标检测区域内整体情况的图像。与现有的内窥镜控制技术相比，本技术实施例由于获取采集图像时内窥镜是基于期望移动轨迹移动的，即内窥镜的位姿是可预测的，因此最后可以根据实际移动轨迹对采集图像进行合并，从而实现了对多个拍摄局域区域内容的采集图像进行合并，得到整体区域的目标检测图像，提高了检测的准确性的同时，也能够减少图像拼接的难度。