面向动态手术路径引导的引导型三维虚拟夹具生成方法

1.本发明涉及虚拟夹具技术领域，具体涉及一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备。


背景技术：

2.自主手术机器人远程手术的出现，解决了医疗资源分布不均的问题，通过跟踪三维关键点，进而跟踪手术路径，可以提高远程手术指导的质量和手术机器人自主操作的能力。
3.其中，虚拟夹具常以力交互的形式应用于体内手术场景，以解决非周期性运动的手术器械控制问题，如手术过程中器官的保护、目标的引导、避障的约束等，从而保障手术过程的安全精准。
4.由于现有技术中，术前规划的手术路径不能在术中进行实时更新，使得主刀医生对术前规划的手术路径在手术过程中难以找到对应位置，对术中手术路径发生的偏移无法视觉上直观加以判断，加大了主刀医生操控机器人的难度。这也直接影响了虚拟夹具，尤其是引导型虚拟夹具无法实现对手术三维路径的精准引导。


技术实现要素：

5.(一)解决的技术问题
6.针对现有技术的不足，本发明提供了一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备，解决了无法实现对手术三维路径的精准引导的技术问题。
7.(二)技术方案
8.为实现以上目的，本发明通过以下技术方案予以实现：
9.一种面向动态手术路径引导的引导型三维虚拟夹具生成方法，包括：
10.s1、读取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径曲线，并获取该手术路径曲线经过的若干第一二维关键点；
11.s2、跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；
12.s3、根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；
13.s4、将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；
14.将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；
15.根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪
得到的关键点在二维点云上的二维坐标；
16.s5、根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线；
17.s6、沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹。
18.优选的，所述s6具体包括：
19.s61、将手术器械实时的三维位置信息、以及前述步骤获取的点云转换到同一坐标系下，获取三维曲线上离手术器械末端p
ins
最近的点p
nearest
，以及两点之间的相对距离xd；
20.s62、建立关于p
ins
的人工矢量场：
21.定义三维曲线上所有点包含在点集vr中，求取vr的子点集v
p
＝{v|||p
ins-v||≤||p
ins-p
nearest
||+δr}，其中δr为额外考察半径；
[0022][0023]
其中，g为p
ins
的人工矢量场；g(||p
ins-v||)为人工矢量长度函数，n(p
ins
，v)为由点p
ins
指向点v的向量，当v对应不同组织时，设立不同的人工矢量长度函数g(||p
ins-v||)，满足条件足条件card(v
p
)是子集v
p
中元素的个数；
[0024]
s63、建立包含引力与粘滞阻力的虚拟力场：
[0025][0026]
其中，f
vf
为虚拟力场；k
vf
为该位置引力与人工矢量的比例系数，d
vf
(xd)为阻尼系数，随着最短距离xd进行移动；为p
ins
的速度。
[0027]
优选的，所述s2包括
[0028]
s21、首先定义第k-1帧图像为其中w表示内窥镜图像的宽度，h表示内窥镜图像的高度；第k帧图像为i(k)；若干第一二维关键点
[0029]
分别确定所有第一二维关键点在图像坐标系上u轴和v轴上的最大值和最小值，选取各轴上中值的位置作为pc(k-1)＝(u1，v1)∈r2，根据预设的区域形状和边长，确定第一局部区域
[0030]
s22、采用光流法对图像i(k-1)，i(k)进行特征点的特征匹配，获取图像i(k)上与pc(k-1)对应的第二局部区域的中心pc(k)，
[0031][0032]
其中，表示图像i(k)上的特征点，m表示图像i(k)上特征点的个数；
[0033]
s23、根据中心pc(k)、以及预设的区域形状和边长，确定第二局部区域
[0034]
优选的，所述s3包括：
[0035]
s31、对内窥镜图像进行深度估计，得到与内窥镜图像相对应的深度图像；通过按行读取，分别从深度图像和内窥镜图像中获得每个像素点的空间信息和颜色信息，获取第一局部点云和第二局部点云
[0036]
s32、确定第一二维关键点在第一局部点云上的第一三维关键点键点
[0037]
pi(k-1)＝ψ(pi(k-1))
[0038]
ψ表示到之间的映射关系，记为之间的映射关系，记为
[0039]
s33、利用光流法获取局部区域的特征点对，分别记作x和y，则x与y之间存在坐标变换关系：
[0040][0041]
其中，是拟合函数的参数；通过使用最小二乘，ω可由以下公式求得：
[0042]
ω＝([x 1]
t
[x 1])-1
[x 1]
ty[0043]
则之间仿射变换的变换矩阵为：
[0044][0045]
其中，0
t
＝(0，0，0)；
[0046]
s34、通过对第一三维关键点进行三维仿射变换，在第二局部点云上搜索最近的点，获取第二三维关键点的初始位置，
[0047][0048]
优选的，所述s31中对内窥镜图像进行深度估计，得到与内窥镜图像相对应的深度图像，所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景，具体包括：
[0049]
s311、获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；
[0050]
s312、采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；
[0051]
s313、根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；
[0052]
s314、在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
[0053]
优选的，所述s4中的优化函数是指：
[0054][0055]
其中，表示优化函数；
[0056]
表示sift特征向量的余弦相似度：
[0057][0058]
φ(pi(k-1))表示第i个第二二维关键点pi(k-1)的特征描述子，是一个向量；φ(pi(k))表示中第i个第三二维关键点pi(k)的邻域点的特征描述子，是一个向量；||
·
||表示向量的模；
[0059]
表示不同曲线上相邻关键点之间夹角的余弦值的差值：
[0060][0061]
其中，g(pi(k))为夹角的余弦值，具体计算如下：
[0062][0063]
a＝(p
i+1
(k)-pi(k))
t
，b＝(p
i-1
(k)-pi(k))
t
[0064]
所述s4中根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标，包括：
[0065]
通过遍历搜索所有第三二维关键点pi(k)的邻域点使最小化，使其满足：
[0066][0067]
通过最小化优化函数可以得到一组理想的关键点pi。
[0068]
优选的，所述s5中进行曲线拟合，最终跟踪得到三维曲线，包括：
[0069]
采用b样条曲线方程对线条进行插值拟合，其中b样条曲线的总方程为：
[0070][0071]
其中，pi是控制曲线的特征点，f
i，k
(t)表示k阶b样条基函数，通过曲线插值拟合实现三维曲线跟踪；
[0072]
优选的，所述s1中的第一二维关键点获取过程包括：
[0073]
定义表示手术路径曲线所经过的像素点；
[0074]
对于曲线上的点，曲线上第j个像素点的曲率为：
[0075][0076]
其中，表示曲线上第j+α个像素点的坐标，α表示求解像素点曲率时像素点的间隔数；
[0077]
对于两个连续的像素点的曲率，当|k
j+α-kj|≥ε，ε为曲率阈值；作为手术路径曲线上的一个关键点，加上曲线的起点和终点，确定所有的第一二维关键点n为第一二维关键的总个数。
[0078]
一种面向动态手术路径引导的引导型三维虚拟夹具生成系统，包括：
[0079]
选择模块，用于读取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径
曲线，并获取该手术路径曲线经过的若干第一二维关键点；
[0080]
跟踪模块，用于跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；
[0081]
映射模块，用于根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；
[0082]
优化模块，用于将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；
[0083]
将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；
[0084]
根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标；
[0085]
拟合模块，用于根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线；
[0086]
引导模块，用于沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹。
[0087]
一种存储介质，其存储有用于面向动态手术路径引导的引导型三维虚拟夹具生成的计算机程序，其中，所述计算机程序使得计算机执行如上所述的引导型三维虚拟夹具生成方法。
[0088]
一种电子设备，其特征在于，包括：
[0089]
一个或多个处理器；
[0090]
存储器；以及
[0091]
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的引导型三维虚拟夹具生成方法。
[0092]
(三)有益效果
[0093]
本发明提供了一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备。与现有技术相比，具备以下有益效果：
[0094]
本发明中，通过关键点的位置确定局部区域，对局部区域进行追踪，来减少三维关键点的错误追踪；结合内窥镜图像的纹理信息和形状信息，一定程度上避免体内环境特征的不明显带来的影响；在降维后的点云上通过构造优化函数对三维关键点进行精确定位，避免了不同视角下造成的曲线形状不一致性。更进一步的，沿着跟踪得到的三维曲线，建立包含引力与粘滞阻力的虚拟力场，即引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制精准引导手术器械的移动轨迹。
附图说明
[0095]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以
根据这些附图获得其他的附图。
[0096]
图1为本发明实施例提供的一种面向动态手术路径引导的引导型三维虚拟夹具生成方法的流程示意图；
[0097]
图2为本发明实施例提供的一种网络训练架构示意图；
[0098]
图3为本发明实施例提供的一种左、右视差获取示意图；
[0099]
图4为本发明实施例提供的一种网络应用示意图。
具体实施方式
[0100]
为使本发明实施例的目的、技术方案和优点更加清楚，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0101]
本技术实施例通过提供一种面向动态手术路径引导的引导型三维虚拟夹具生成方法、系统、存储介质和电子设备，解决了无法实现对手术三维路径的精准引导的技术问题。
[0102]
本技术实施例中的技术方案为解决上述技术问题，总体思路如下：
[0103]
本发明实施例提出了一种面向动态手术路径引导的引导型三维虚拟夹具生成方法，主要应用但不局限于主要应用于微创内腔镜手术场景，可以提高远程手术指导的质量和手术机器人自主操作的能力。在手术过程中手感对于主刀医生操控而言十分重要，力反馈能够有效帮助医生解决非周期性运动的手术器械控制问题，如手术过程中器官的保护、目标的引导、避障的约束等，从而保障手术过程的安全精准。
[0104]
本发明实施例基于体内柔性环境三维重构算法，指导医生在二维图片上绘制出初始手术路径，由计算机利用术中图像进行实时三维点云重建，以此更新三维手术路径，最终建立动态三维手术路径。构建包含引力与粘滞阻力的虚拟力场，即引导型虚拟夹具，通过力反馈机制引导医生沿着预先设定的路径操控手术机器人系统。在手术过程中提高主刀医生操控机器人的手感，有效帮助主刀医生沿着预先设定的手术路径完成手术，实现符合医生操控意图的人机共融操控。
[0105]
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
[0106]
实施例：
[0107]
如图1所示，本发明实施例提供了一种面向动态手术路径引导的引导型三维虚拟夹具生成方法，包括：
[0108]
s1、读取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径曲线，并获取该手术路径曲线经过的若干第一二维关键点；
[0109]
s2、跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；
[0110]
s3、根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；
[0111]
s4、将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；
[0112]
将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；
[0113]
根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标；
[0114]
s5、根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线；
[0115]
s6、沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹。
[0116]
本发明实施例中，通过关键点的位置确定局部区域，对局部区域进行追踪，来减少三维关键点的错误追踪；结合内窥镜图像的纹理信息和形状信息，一定程度上避免体内环境特征的不明显带来的影响；在降维后的点云上通过构造优化函数对三维关键点进行精确定位，避免了不同视角下造成的曲线形状不一致性。更进一步的，沿着跟踪得到的三维曲线，建立包含引力与粘滞阻力的虚拟力场，即引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制精准引导手术器械的移动轨迹。
[0117]
下面将结合具体内容详细介绍上述方案的各个步骤：
[0118]
在步骤s1中，取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径曲线，并获取该手术路径曲线经过的若干第一二维关键点。
[0119]
所述s1中的第一二维关键点获取过程包括：
[0120]
定义表示手术路径曲线所经过的像素点；
[0121]
对于曲线上的点，曲线上第j个像素点的曲率为：
[0122][0123]
其中，表示曲线上第j+α个像素点的坐标，α表示求解像素点曲率时像素点的间隔数；
[0124]
对于两个连续的像素点的曲率，当|k
j+α-kj|≥ε，ε为曲率阈值；作为手术路径曲线上的一个关键点，加上曲线的起点和终点，确定所有的第一二维关键点n为第一二维关键的总个数。
[0125]
本步骤中，(主刀)医生通过在术中影像进行三维曲线的标记，用于后续在三维点云上进行曲线的显示与更新，保证了信息传递的直观性与准确性，提高了手术效率。并且根据曲线的曲率确定关键点，对关键点追踪保证了计算速度。
[0126]
在步骤s2中，跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；具体包括
[0127]
s21、首先定义第k-1帧图像为其中w表示内窥镜图像的宽度，h表示内窥镜图像的高度；第k帧图像为i(k)；若干第一二维关键点
[0128]
分别确定所有第一二维关键点在图像坐标系上u轴和v轴上的最大值和最小值，选
取各轴上中值的位置作为pc(k-1)＝(u1，v1)∈r2，根据预设的区域形状和边长，确定第一局部区域
[0129]
s22、采用光流法对图像i(k-1)，i(k)进行特征点的特征匹配，获取图像i(k)上与pc(k-1)对应的第二局部区域的中心pc(k)，
[0130][0131]
其中，表示图像i(k)上的特征点，m表示图像i(k)上特征点的个数；
[0132]
s23、根据中心pc(k)、以及预设的区域形状和边长，确定第二局部区域
[0133]
本发明实施例通过关键点的位置确定局部区域，对局部区域进行追踪，来减少三维关键点的错误追踪。
[0134]
在步骤s3中，根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点。
[0135]
本步骤实际上是对三维关键点的初始定位，三维关键点的初始定位可以通过以下两个步骤实现。
[0136]
首先，根据内窥镜图像与点云之间的映射关系，利用二维关键点的位置确定其在点云上对应的三维关键点；其次，可以将局部区域内的组织近似看成刚体，利用三维仿射变换求解点云之间的变换矩阵，通过坐标变换得到目标点云上的三维关键点。
[0137]
相应的，所述s3具体包括：
[0138]
s31、对内窥镜图像进行深度估计，得到与内窥镜图像相对应的深度图像；通过按行读取，分别从深度图像和内窥镜图像中获得每个像素点的空间信息和颜色信息，获取第一局部点云和第二局部点云
[0139]
s32、确定第一二维关键点在第一局部点云上的第一三维关键点键点
[0140]
pi(k-1)＝ψ(pi(k-1))
[0141]
ψ表示到之间的映射关系，记为之间的映射关系，记为
[0142]
s33、利用光流法获取局部区域的特征点对，分别记作x和y，则x与y之间存在坐标变换关系：
[0143][0144]
其中，是拟合函数的参数；通过使用最小二乘，ω可由以下公式求得：
[0145]
ω＝([x 1]
t
[x 1])-1
[x 1]
ty[0146]
则之间仿射变换的变换矩阵为：
[0147][0148]
其中，0
t
＝(0，0，0)；
[0149]
s34、通过对第一三维关键点进行三维仿射变换，在第二局部点云上搜索最近的点，获取第二三维关键点的初始位置，
[0150][0151]
特别的，所述s31中对内窥镜图像进行深度估计，得到与内窥镜图像相对应的深度图像，所使用的双目深度估计网络具有快速过学习的能力，能够利用自监督信息不断适应新场景，具体包括：
[0152]
s311、获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征；
[0153]
s312、采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；
[0154]
s313、根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出；
[0155]
s314、在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
[0156]
上述获取深度图像方法利用连续帧的相似性，将一对双目图像上的过拟合思想扩展到时间序列上的过拟合，通过在线学习不断更新模型参数，能在各种双目内窥镜手术环境下得到高精度的组织深度。
[0157]
具体而言，网络模型的预训练阶段抛弃了传统的训练模式，采用元学习的思路，让网络学习某一张图像去预测另外一张图像的深度，从而计算损失进行网络更新，可有效促进网络对新场景的泛化性和提升对低纹理复杂光照的鲁棒性，同时大幅减少了后续过拟合所需时间。
[0158]
如图2所示，通过元学习方式训练获取所述双目深度估计网络对应的初始模型参数，具体包括：
[0159]
s100、随机选取偶数对双目图像{e1，e2，
…
，e
2k
}，并平均切分为支持集和查询集和中的图像随机配对形成k个任务
[0160]
s200、内循环训练：根据中的支持集图像计算损失进行一次参数更新；
[0161][0162]
其中，表示内循环更新后的网络参数；表示求导，α为内循环的学习率，为第k个任务的支持集图像，是根据模型初始参数φm计算出的损失；
[0163]
s300、外循环训练：根据中的查询集图像，利用更新后的模型计算元学习损失，直接更新模型初始参数φm为φ
m+1
；
[0164]
[0165]
其中，β为外循环的学习率；是第k个任务的查询集图像，为元学习损失。
[0166]
在步骤s311中，如图3所示，获取双目内窥镜影像，采用当前双目深度估计网络的编码器网络提取当前帧图像的多尺度特征。
[0167]
示例性的，本步骤中双目深度估计网络的编码器选定采用resnet18网络，用于对内窥镜图像提取5个尺度的特征图。
[0168]
在步骤s312中，如图3所示，采用当前双目深度估计网络的解码器网络，对多尺度特征进行融合，获取当前帧图像中每个像素点的视差；具体包括：
[0169]
采用所述解码器将粗尺度特征图经过卷积块和上采样，与细尺度特征图拼接，再次经过卷积块进行特征融合，其中结合reflection padding、卷积层、非线性激活单元elu构建所述卷积块；
[0170]
根据网络分辨率最高的输出直接计算视差：
[0171]
d＝k
·
(sigmoid(conv(y))-0.5)
[0172]
其中，d表示像素点的视差估计值；k为预先设定的最大视差范围，y是分辨率最高的输出，conv是卷积层，sigmoid进行范围归一化。
[0173]
在步骤s313中，根据相机内外参数，将视差转化为深度并作为当前帧图像的结果输出。
[0174]
本步骤中将视差转化为深度是指：
[0175][0176]
其中，d为像素点的深度估计值；f
x
，c
x2
，c
x1
为双目相机内参；b为基线长度，即双目相机外参。
[0177]
在步骤s314中，如图4所示，在不引入外部真值的条件下，利用自监督损失更新当前双目深度估计网络的参数，用于下一帧图像的深度估计。
[0178]
其中，自监督损失包括：
[0179]
(1)几何一致性损失d
diff
(p)：
[0180][0181]
其中，表示由左目深度图变换后获得的右目深度，d
′r表示在右目深度图上采样获得的右目深度；
[0182]
通过训练损失中加入几何一致性约束实现，保证网络对于硬件的泛用性，实现自主适应手术内窥镜等非常规双目图像。
[0183]
(2)光度损失
[0184][0185]
其中，p表示有效像素点，p表示有效像素点集合；i
t
和i
′
t
分别表示原图和重构图像，λi和λs为平衡参数，ssim
tt
′
表示图像结构相似度；
[0186]
(3)平滑损失
[0187][0188]
其中，dn表示归一化深度图，和表示沿着图像水平与垂直方向的一阶导数。
[0189]
总结来说，上述获取深度图像的方法将每一帧双目图像的深度估计作为独立的任务，实时过拟合得到适用于当前帧的高精度模型；且通过在线学习能快速学习新场景从而获得高精度深度估计结果。
[0190]
在步骤s4中，将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；
[0191]
将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；
[0192]
根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标。
[0193]
本步骤实际上是对三维关键点的精确定位。为了保证曲线动态变化时候的准确性，需要对曲线上的关键点的初始位置进行优化。
[0194]
本步骤中首先结合内窥镜图像的纹理信息和形状信息，一定程度上避免体内环境特征的不明显带来的影响；其次在降维后的点云上通过构造优化函数对三维关键点进行精确定位，避免了不同视角下造成的曲线形状不一致性。
[0195]
具体的，首先将第一局部点云进行降维，获取第一二维点云q(k-1)，并获取第一三维关键点q(k-1)在第一二维点云上的第i个第二二维关键点pi(k-1)；
[0196]
将第二局部点云进行降维，获取第二二维点云q(k)，并获取第二三维关键点q(k)在第二二维点云上的第i个第三二维关键点pi(k)。
[0197]
然后根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标，包括：
[0198]
所述优化函数是指：
[0199][0200]
其中，表示优化函数；
[0201]
表示sift特征向量的余弦相似度：
[0202][0203]
φ(pi(k-1))表示第i个第二二维关键点pi(k-1)的特征描述子，是一个向量；φ(pi(k))表示中第i个第三二维关键点pi(k)的邻域点的特征描述子，是一个向量；||
·
||表示向量的模；
[0204]
表示不同曲线上相邻关键点之间夹角的余弦值的差值：
[0205][0206]
其中，g(pi(k))为夹角的余弦值，具体计算如下：
[0207][0208]
a＝(p
i+1
(k)-pi(k))
t
，b＝(p
i-1
(k)-pi(k))
t
。
[0209]
通过遍历搜索所有第三二维关键点pi(k)的邻域点使最小化，使其满足：
[0210][0211]
通过最小化优化函数可以得到一组理想的关键点pi。
[0212]
本发明实施例利用三维仿射变换得到变换矩阵后，结合内窥镜图像的纹理信息和形状信息，通过构造优化函数对三维关键点进行精确定位，一定程度上避免体内环境特征的不明显对追踪结果的影响。
[0213]
在步骤s5中，根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线。
[0214]
本步骤中具体采用b样条曲线方程对线条进行插值拟合，其中b样条曲线的总方程为：
[0215][0216]
其中，pi是控制曲线的特征点，f
i，k
(t)表示k阶b样条基函数，通过曲线插值拟合实现三维曲线跟踪。
[0217]
在步骤s6中，沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹；具体包括：
[0218]
s61、将手术器械实时的三维位置信息、以及前述步骤获取的点云转换到同一坐标系下，采用k近邻算法搜索获取三维曲线上离手术器械末端p
ins
最近的点p
nearest
，以及两点之间的相对距离xd，由此判断手术器械是否偏离预先设定的手术路径曲线；
[0219]
具体而言，主刀医生在手术过程中，手术器械实时的三维位置信息p
ins
由光学传感器测量得出，并经过相对位置的坐标转换，将手术器械三维位置和深度估计后得到的三维曲线位置转换到同一坐标系下。
[0220]
s62、建立关于p
ins
的人工矢量场：
[0221]
定义三维曲线上所有点包含在点集vr中，求取vr的子点集v
p
＝{v|||p
ins-v||≤||p
ins-p
nearest
||+δr}，其中δr为额外考察半径；
[0222][0223]
其中，g为p
ins
的人工矢量场；g(||p
ins-v||)为人工矢量长度函数，n(p
ins
，v)为由点p
ins
指向点v的向量，当v对应不同组织时，设立不同的人工矢量长度函数g(||p
ins-v||)，满足条件足条件card(v
p
)是子集v
p
中元
素的个数；
[0224]
s63、建立包含引力与粘滞阻力的虚拟力场：
[0225][0226]
其中，f
vf
为虚拟力场；k
vf
为该位置引力与人工矢量的比例系数，d
vf
(xd)为阻尼系数，随着最短距离xd进行移动；为p
ins
的速度。
[0227]
本发明实施例通过触力反馈技术建立主刀医生与机器人的人机触力交互机制，在空间中构建引导型虚拟夹具，实现对主刀医生移动轨迹的精准引导，保障主刀医生能按照预定轨迹操控机器人。在手术精度提升的基础上，主刀医生无需佩戴其他设备，防止干扰医生手术操作。
[0228]
本发明实施例提供了一种面向动态手术路径引导的引导型三维虚拟夹具生成系统，包括：
[0229]
选择模块，用于读取内窥镜图像，根据医生的选择获取当前帧图像上的手术路径曲线，并获取该手术路径曲线经过的若干第一二维关键点；
[0230]
跟踪模块，用于跟踪当前帧图像上包含第一二维关键点的第一局部区域，获取下一帧图像上的第二局部区域；
[0231]
映射模块，用于根据内窥镜图像与点云之间的映射关系，分别将第一局部区域映射到第一局部点云上、第二局部区域映射到第二局部点云上；并确定第一二维关键点在第一局部点云上的第一三维关键点，通过坐标变换得到第二局部点云上的第二三维关键点；
[0232]
优化模块，用于将第一局部点云进行降维，获取第一二维点云，并获取第一三维关键点在第一二维点云上的第二二维关键点；
[0233]
将第二局部点云进行降维，获取第二二维点云，并获取第二三维关键点在第二二维点云上的第三二维关键点；
[0234]
根据第二二维关键点和第三二维关键点，通过最小化预设的优化函数，获取跟踪得到的关键点在二维点云上的二维坐标；
[0235]
拟合模块，用于根据降维前后点云之间的映射关系，获取每一个跟踪得到的关键点的三维坐标，并进行曲线拟合，最终跟踪得到三维曲线；
[0236]
引导模块，用于沿着跟踪得到的三维曲线，建立引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制引导手术器械的移动轨迹。
[0237]
本发明实施例提供了一种存储介质，其存储有用于面向动态手术路径引导的引导型三维虚拟夹具生成的计算机程序，其中，所述计算机程序使得计算机执行如上所述的引导型三维虚拟夹具生成方法。
[0238]
本发明实施例提供了一种电子设备，包括：
[0239]
一个或多个处理器；
[0240]
存储器；以及
[0241]
一个或多个程序，其中所述一个或多个程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述程序包括用于执行如上所述的引导型三维虚拟夹具生成方法。
[0242]
可理解的是，本发明实施例提供的面向动态手术路径引导的引导型三维虚拟夹具生成系统、存储介质和电子设备与本发明实施例提供的面向动态手术路径引导的引导型三
维虚拟夹具生成方法相对应，其有关内容的解释、举例和有益效果等部分可以参考引导型三维虚拟夹具生成方法中的相应部分，此处不再赘述。
[0243]
综上所述，与现有技术相比，具备以下有益效果：
[0244]
1、本发明实施例中，通过关键点的位置确定局部区域，对局部区域进行追踪，来减少三维关键点的错误追踪；结合内窥镜图像的纹理信息和形状信息，一定程度上避免体内环境特征的不明显带来的影响；在降维后的点云上通过构造优化函数对三维关键点进行精确定位，避免了不同视角下造成的曲线形状不一致性。更进一步的，沿着跟踪得到的三维曲线，建立包含引力与粘滞阻力的虚拟力场，即引导型虚拟夹具，所述引导型虚拟夹具通过力反馈机制精准引导手术器械的移动轨迹。
[0245]
2、本步骤中，(主刀)医生通过在术中影像进行三维曲线的标记，用于后续在三维点云上进行曲线的显示与更新，保证了信息传递的直观性与准确性，提高了手术效率。并且根据曲线的曲率确定关键点，对关键点追踪保证了计算速度。
[0246]
3、本发明实施例利用三维仿射变换得到变换矩阵后，结合内窥镜图像的纹理信息和形状信息，通过构造优化函数对三维关键点进行精确定位，一定程度上避免体内环境特征的不明显对追踪结果的影响。
[0247]
4、双目深度估计网络模型的预训练阶段抛弃了传统的训练模式，采用元学习的思路，让网络学习某一张图像去预测另外一张图像的深度，从而计算损失进行网络更新，可有效促进网络对新场景的泛化性和提升对低纹理复杂光照的鲁棒性，同时大幅减少了后续过拟合所需时间。
[0248]
5、本发明实施中，将每一帧双目图像的深度估计作为独立的任务，实时过拟合得到适用于当前帧的高精度模型；且通过在线学习能快速学习新场景从而获得高精度深度估计结果。
[0249]
需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0250]
以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。