面向微创术中辅助决策的体内三维信息测量系统

本发明涉及微创手术，具体涉及一种面向微创术中辅助决策的体内三维信息测量系统。

背景技术：

1、相比于传统开放性手术，微创手术(如内腔镜手术)具有创口小、流血少、恢复速度快等优点，逐渐被广泛采用。

2、术中三维信息的测量可以为医生提供手术中感兴趣区域的组织结构信息，让医生更清楚地了解手术区域的结构和特征，帮助医生确定手术方案，比如选择手术器械和手术路径等，提高手术的准确性和效率；同时，术中测量可以提供数据反馈，让医生根据测量数据调整手术步骤和方法，避免手术错误或不必要的切割和损伤。现有手术辅助系统中，多数聚焦于某种特定手术场景，并且测量数据为术前测量所得，不具有广泛适用性；通过系统测量的数据多固定于特定部位(如手术切割面)且种类单一，限制医生主动选择性和参考性；通过算法模型和运动模型的控制，测量参考信息存在误差，难以保障精度。

3、为了克服上述技术缺陷，有必要提供一种新的手术测量系统。

技术实现思路

1、(一)解决的技术问题

2、针对现有技术的不足，本发明提供了一种面向微创术中辅助决策的体内三维信息测量系统，解决了测量受限于特定部位的技术问题。

3、(二)技术方案

4、为实现以上目的，本发明通过以下技术方案予以实现：

5、一种面向微创术中辅助决策的体内三维信息测量系统，包括：

6、建模模块，用于根据指定的双目内窥镜图像帧的深度值，获取术中组织点云模型；

7、接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域标注；

8、测量模块，用于根据所述术中组织点云模型和感兴趣区域标注，获取手术部位的三维信息的测量结果，其中所述三维信息至少包括感兴趣区域内的手术部位的真实长度、面积或体积。

9、优选的，所述建模模块用于：

10、采用深度估计算法估计指定的双目内窥镜图像帧上像素点的深度值，通过针孔相机模型计算像素点在相机坐标系下的空间坐标，其公式为：

11、

12、

13、z＝d

14、其中，d为像素点的深度估计值；x、y、z分别表示相机坐标系下的x坐标、y坐标、z坐标；cx,cy,fx,fy为双目相机中左目或者右目内窥镜的内参；

15、将所述指定的双目内窥镜图像帧转换成术中组织点云模型vin＝{vin,a|a＝1,2,…n1}，vin,a表示第a个像素点的空间坐标，模型共有n1个像素点。

16、优选的，所述三维信息为长度时：

17、(1)线段长度

18、所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的两点；

19、所述测量模块，用于：

20、连接标注的两点并在连接线上均匀取样，得到n个采样点；

21、对于在图像像素坐标系下的平面坐标为整数的采样点，根据所述术中组织点云模型，直接获取该部分采样点在相机坐标系下的空间坐标，否则，执行双线性插值操作，间接获取另一部分采样点在相机坐标系下的空间坐标；

22、将空间曲线近似为采样点之间的线段之和，获取二维的线段投射到三维空间的真实长度

23、

24、其中，表示两点及其连接线上所有采样点在相机坐标下的空间坐标集合；分别表示线段line上的第a、a-1个点在相机坐标下的空间坐标；

25、或(2)曲线段长度

26、所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的曲线段；

27、所述测量模块，用于根据所述曲线段上所有像素点在图像像素坐标系下的平面坐标，以及所述术中组织点云模型，获取所述曲线段在相机坐标下的空间坐标集合；

28、根据所述曲线段在相机坐标下的空间坐标集合，获取二维的曲线段投射到三维空间的真实长度

29、

30、其中，表示所述曲线段上所有像素点在相机坐标下的空间坐标集合，m表示曲线段上的像素点总数；分别表示第a、a-1个像素点在相机坐标下的空间坐标空间坐标。

31、优选的，所述双线性插值操作，具体是指：

32、定义像素坐标不为整数的采样点在图像像素坐标系下的平面坐标为

33、选取其最近四个整数像素点

34、根据所述术中组织点云模型vin，获取其对应的深度值分别为

35、执行如下操作，获取像素坐标不为整数的采样点对应的深度值

36、

37、同理，获取像素坐标不为整数的采样点在相机坐标系下的和

38、优选的，所述三维信息为面积时：

39、所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的闭合曲线；

40、所述测量模块，用于：

41、根据所述闭合曲线，将所述指定的双目内窥镜图像帧转化为带有边界的二值图，填充闭合曲线内的数值，提取填充区域内的像素点，完成提取所述闭合曲线围合区域中包含的n个像素块；并根据所述术中组织点云模型，获取各个像素块中像素点在相机坐标下的空间坐标；

42、获取单个像素块在相机坐标下的真实面积：

43、在图像像素坐标系下，沿x轴方向相邻两点△xpixel与沿y轴方向相邻两点△ypixel，获取像素块在物理成像平面上的投影面积spixel′；

44、spixel′＝△xpixel*△ypixel

45、根据投影面积spixel′，获取像素块在相机坐标系下的真实面积

46、

47、

48、其中，像素块的两条对角线叉乘求得其法向量fpixel表示垂直于物理成像平面的向量；cosθi表示与spixel′的夹角θi的余弦值；

49、累加各个像素块的真实面积，获取封闭曲线围合区域的真实面积spixel；

50、

51、优选的，所述三维信息为体积时：

52、所述接收模块，用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域上标注的待切除区域；

53、所述测量模块，用于：

54、采用delaunay法对待切除区域的表面的离散点云进行三角形剖分，将三维空间坐标投影至切割平面上，按照构网规则获取平面的不规则三角网，从而形成具有空间立体的三角网模型；

55、在得到切除区域空间三角形后,分别求出单个三角形的三个顶点距离切割面投影点长度的平均值，并作为三棱柱的高,获取对应三棱柱的体积；

56、对所有三棱锥体积求和，获取所述待切除区域的真实体积。

57、优选的，所述建模模块采用基于双目内窥镜的在线自监督学习深度估计方法，获取所述指定的双目内窥镜图像帧的深度值；所述在线自监督学习深度估计方法所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景；

58、在实时重建模式下，所述建模模块具体用于对连续影像视频帧进行过拟合，获取指定的双目内窥镜图像帧的深度值，包括：

59、提取单元，用于获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；

60、融合单元，用于采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；

61、转化单元，用于根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；

62、第一估计单元，用于在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。

63、优选的，在精准测量模式下，所述建模模块具体用于对关键影像视频帧进行过拟合，包括：

64、第二估计单元，在不引入外部真值的条件下，根据指定的双目内窥镜图像帧的上一帧图像在实时重建模式中获取的双目深度估计网络，利用该指定的双目内窥镜图像帧对应的自监督损失更新前述双目深度估计网络的参数直至收敛，并将收敛后的双目深度估计网络用于对所述指定的双目内窥镜图像帧的精准深度估计，获取所述指定的双目内窥镜图像帧的深度值。

65、(三)有益效果

66、本发明提供了一种面向微创术中辅助决策的体内三维信息测量系统。与现有技术相比，具备以下有益效果：

67、本发明中，建模模块用于根据指定的双目内窥镜图像帧的深度值，获取术中组织点云模型；接收模块用于接收医生在所述指定的双目内窥镜图像帧的感兴趣区域标注；测量模块用于根据所述术中组织点云模型和感兴趣区域标注，获取手术部位的三维信息的测量结果，其中所述三维信息至少包括感兴趣区域内的手术部位的真实长度、面积或体积。接收医生任意的感兴趣区域标注，获取多样性测量数据，实现术中主动选择性和高参考性，在一定程度上提高了手术的质量，减少了手术的创伤。