一种腹腔内窥镜多光谱成像方法及装置与流程

本发明涉及图像处理，具体而言，涉及一种腹腔内窥镜多光谱成像方法及装置。

背景技术：

1、腹腔内窥镜是一种微创手术技术，通过将一根细长的镜子插入腹腔中，通过内窥镜观察和操作内部器官。微创手术通常采用腹腔内窥镜进行患处诊断以及检测，以便观察内部患处的具体状态。

2、在现有的腹腔内窥镜成像中，由于腹腔内窥镜器械的设计和尺寸限制了其视野范围，通常只能观察较小范围的组织区域；并且腹腔内部结构复杂且不同深度的组织密集分布，难以提供清晰的深度信息；在进行腹腔内窥镜成像时，需要使用光源进行照明，但在某些情况下，可能会存在光源可能不足或光线分布不均匀；都会影响成像质量。

技术实现思路

1、本发明解决的问题是如何在一定程度上改善腹腔内窥镜的成像效果和成像效率。

2、为解决上述问题，本发明提供一种腹腔内窥镜多光谱成像方法及装置。

3、第一方面，本发明提供一种腹腔内窥镜多光谱成像方法，所述腹腔内窥镜多光谱成像方法用于分布式系统，所述腹腔内窥镜多光谱成像方法包括：

4、将多种光谱波段的检测光发送至检测区域，通过所述分布式系统的节点，得到每个所述光谱波段下的所述检测区域的内源光信号，其中，每个所述节点对应处理一个所述光谱波段的所述内源光信号；

5、根据所述内源光信号，得到每个所述光谱波段下的初始光谱图像；

6、获取腹腔内窥镜的检测端的位姿数据；

7、根据所述位姿数据和每个所述初始光谱图像，得到每个所述初始光谱图像在所述检测区域的成像位置；

8、根据每个所述光谱波段对应的所述初始光谱图像，得到所有所述节点对应的所述光谱波段下的多光谱图像；

9、将所述多光谱图像、所述腹腔内窥镜的所述位姿数据和每个所述初始光谱图像对应的成像位置输入三维卷积神经网络；

10、通过所述三维卷积神经网络，得到所述检测区域在所有所述光谱波段下的结构数据；

11、将所述多光谱图像、所述腹腔内窥镜的所述位姿数据和每个所述初始光谱图像对应的所述成像位置输入三维卷积神经网络；

12、通过所述三维卷积神经网络，得到所述检测区域在所有所述光谱波段下的结构数据，其中，所述结构数据包括所述检测区域的尺寸、形状和纹理；

13、根据所述检测区域的尺寸、形状和纹理，通过三维重建算法，得到所述检测区域的三维图像。

14、可选地，所述根据所述内源光信号，得到每个所述光谱波段下的初始光谱图像，包括：

15、根据所述内源光信号，得到所述内源光信号对应的所述光谱波段的强度值；

16、根据所述光谱波段的所述强度值，得到所述检测区域在所述光谱波段下的区域特征；

17、根据所述区域特征，得到所述光谱波段下的所述初始光谱图像。

18、可选地，所述根据所述光谱波段的所述强度值，得到所述检测区域在所述光谱波段下的区域特征，包括：

19、根据所述光谱波段的所述强度值，得到所述强度值在所述检测区域的分布；

20、根据所述强度值在所述检测区域的分布，通过边缘检测算法，得到所述检测区域的边界轮廓；

21、根据所述强度值的分布，通过形态学规则，得到所述检测区域在所述光谱波段的结构数据；

22、根据所述检测区域的所述边界轮廓和所述检测区域在所述光谱波段的所述结构数据，得到所述检测区域的所述区域特征。

23、可选地，所述根据所述光谱波段的所述强度值，得到所述检测区域在所述光谱波段下的区域特征，包括：

24、根据所述光谱波段的所述强度值，得到所述强度值在所述检测区域的分布；

25、根据所述强度值在所述检测区域的分布，通过边缘检测算法，得到所述检测区域的边界轮廓；

26、根据所述强度值的分布，通过形态学规则，得到所述检测区域在所述光谱波段的结构数据；

27、根据所述检测区域的所述边界轮廓和所述检测区域在所述光谱波段的所述结构数据，得到所述检测区域的所述区域特征。

28、可选地，所述根据每个所述光谱波段对应的所述初始光谱图像，得到所有所述节点对应的所述光谱波段下的多光谱图像，包括：

29、获取每个所述初始光谱图像的像素点在所述坐标系中的坐标；

30、将每个所述初始光谱图像中相同坐标的所述像素点，通过预设叠加规则进行叠加，得到所有所述光谱波段下的所述初始光谱图像的叠加图像；

31、将所述叠加图像作为所述多光谱图像。

32、可选地，所述根据所述检测区域的所述结构数据，通过三维重建算法，得到所述检测区域的三维图像，包括：

33、根据所述检测区域的所述尺寸、所述形状和所述纹理，得到所述检测区域的关键结构，其中，所述关键结构包括：所述检测区域的角点特征和所述纹理特征；

34、根据所述角点特征和所述纹理特征，通过所述三维重建算法，得到所述关键结构的三维点云数据；

35、根据所述三维点云数据，得到所述检测区域的所述三维图像。

36、可选地，所述根据所述三维点云数据，得到所述检测区域的所述三维图像，包括：

37、根据所述三维点云数据，划分多个点云区域，其中，所有所述点云区域构成所述三维点云数据；

38、为所述点云区域分配对应的所述分布式系统的节点；

39、通过所述节点，根据所述点云区域，得到所述点云区域对应的体素网格；

40、根据所述体素网格，得到所述点云区域的三维建模；

41、根据所有所述节点的所述体素网格对应的所述三维建模，得到所述检测区域的所述三维图像。

42、第二方面，本发明提供一种腹腔内窥镜多光谱成像装置，所述腹腔内窥镜多光谱成像装置用于分布式系统，所述腹腔内窥镜多光谱成像装置包括：

43、光信号检测单元，用于将多种光谱波段的检测光发送至检测区域，通过所述分布式系统的节点，得到每个所述光谱波段下的所述检测区域的内源光信号，其中，每个所述节点对应处理一个所述光谱波段的所述内源光信号；

44、处理单元，用于根据所述内源光信号，得到每个所述光谱波段下的初始光谱图像；

45、姿态传感单元，用于获取腹腔内窥镜的检测端的位姿数据；

46、所述处理单元，用于根据所述位姿数据和每个所述初始光谱图像，得到每个所述初始光谱图像在所述检测区域的成像位置；

47、根据每个所述光谱波段对应的所述初始光谱图像，得到所有所述节点对应的所述光谱波段下的多光谱图像；

48、三维建立单元，用于将所述多光谱图像、所述腹腔内窥镜的所述位姿数据和每个所述初始光谱图像对应的所述成像位置输入三维卷积神经网络；

49、通过所述三维卷积神经网络，得到所述检测区域在所有所述光谱波段下的结构数据，其中，所述结构数据包括所述检测区域的尺寸、形状和纹理；

50、根据所述检测区域的尺寸、形状和纹理，通过三维重建算法，得到所述检测区域的三维图像。

51、可选地，所述腹腔内窥镜多光谱成像装置，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述所述的腹腔内窥镜多光谱成像装置的功能。

52、可选地，所述腹腔内窥镜多光谱成像装置，其上存储有计算机程序，所述计算机程序被处理器执行时，实现上述所述的腹腔内窥镜多光谱成像装置的功能。

53、本发明的腹腔内窥镜多光谱成像方法及装置，通过利用多种光谱波段的检测光，通过分布式系统的节点发送至检测区域，每个节点处理一个光谱波段的内源光信号，通过节点同时处理得到每个光谱波段下的检测区域的内源光信号，实现了每个光谱波段的并行处理，缩减了整个内窥镜成像的处理时间，提高了成像效率。再根据内源光信号，得到每个光谱波段下的初始光谱图像，结合内窥镜检测端的位姿数据和每个初始光谱图像，计算每个初始光谱图像在检测区域的成像位置，确保不同光谱波段下的图像在空间中位置对齐，根据每个光谱波段对应的初始光谱图像，生成所有光谱波段下的多光谱图像，将多光谱图像、位姿数据和初始光谱图像的成像位置输入三维卷积神经网络进行训练，最终得到检测区域的三维图像，通过获得不同光谱波段下，丰富的结构信息，并采用三维形式进行展示，提高腹腔内窥镜的成像效果。