基于虚拟现实的真实腔镜微创手术仿真训练系统及方法与流程

本发明属于医疗设备技术领域，尤其涉及一种基于虚拟现实的真实腔镜微创手术仿真训练系统及方法。

背景技术：

目前，业内常用的现有技术是这样的：腔镜手术创伤小、恢复快，大大减少了病人的痛苦，同时缩短了住院时间，术后遗留的瘢痕小，不影响外观，符合现代微创外科的发展及人爱美的要求。但是，腔镜的成功实施是基于外科医生熟练且精湛的操作技术和大量的临床经验，手术的操作与传统手术有较大改变，手术者对空间感知也有明显变化，这些都导致外科医生的学习期限延长。现有的腔镜模拟器技术，主体结构是一个盒体，盒体内放置着供训练用的器具，手术者手持腹腔镜器械伸进盒中进行操作训练，只能模拟简单的切割、分离、包扎等基本操作，不能模拟人体的生理环境及真实的手术情景；现有的虚拟腔镜模拟系统，借助先进的计算机设备及软件模拟腹腔镜手术，虚拟腔镜模拟系统能模拟手术情景，也能模拟相对复杂的手术环境，但不够逼真，对手术时的操作感知反馈不够；现有的模拟人体的外壳训练系统，有模拟人体的各个模型腔，本身造价高，再加上模拟手术训练过程中采用刀具模拟切割、分离、包扎会破坏模型更增加了成本。

综上所述，现有技术存在的问题是：

(1)现有的腔镜模拟器技术，主体结构是一个盒体，盒体内放置着供训练用的器具，手术者手持腹腔镜器械伸进盒中进行操作训练，只能模拟简单的切割、分离、结扎等基本操作，不能模拟人体的生理环境及真实的手术情景；模拟相对复杂的手术环境不够逼真，对手术时的操作感知反馈不够；现有的模拟人体的外壳训练系统，有模拟人体的各个模型腔，本身造价高，再加上模拟手术训练过程中采用刀具模拟切割、分离、包扎会破坏模型更增加了成本。

(2)有限元模型精度高，模拟软组织形变的逼真度也相对高。但是该方法求解过程复杂，运算量大，很难满足手术仿真中的实时性；边界元法针对细节丰富的复杂模型的求解问题，该方法的计算量仍然不能达到要求。

(3)在模拟手术操作过程中，反作用力信号反馈的速度过慢，有用力信号太弱，对手术的操作造成干扰的信号太多。

(4)显示过程中的图像有误差，加上由杂散光、ccd噪声和电子电路产生的随机噪声，使得图像特征，尤其特征点中心，很难准确提取。

(5)现有技术中经ct扫描，获得二维切片图片清晰度不够，不利于诊断；现有技术中易受到外界及本身因素的影响，造成反馈信息的不准或者失常；现有技术中对于图像的分析能力较差，不利于视觉部份的交互了解。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种基于虚拟现实的真实腔镜微创手术仿真训练系统及方法。

本发明是这样实现的，基于虚拟现实的真实腔镜微创手术仿真训练方法，所述基于虚拟现实的真实腔镜微创手术仿真训练方法包括：

步骤一，通过几何建模模块将二维切片图分析处理得到初步的腔镜微创手术部位三维图像信息，通过视觉渲染模块用于把三维重建技术得到的初步腔镜微创手术部位模型用视觉渲染技术对初步得到的模型进行进一步的改进；

步骤二，通过绘制模块将虚拟的腔镜微创手术器械采用三维图形软件绘制出来。

步骤三，通过物理建模模块为模型添加具有物理意义的约束条件，根据生物力学特性建立物理上的动力学模型，让腔镜微创手术模型模拟物体的物理特性；

步骤四，通过显示模块将模拟好的腔镜微创手术部位显示出来，通过操作模块控制虚拟环境中手术器械的运动；

步骤五，通过碰撞检测完成判断两模型是否发生碰撞并确定碰撞点的工作；碰撞响应即根据碰撞点的位置变化情况、计算模型使碰撞对象做出相应的动作响应；

步骤六，通过反馈模块将腔镜微创手术仿真训练操作的力反馈给操作者；完成了虚拟环境中对象的反作用力交互；

步骤七，通过图像更新模块将腔镜微创手术仿真训练操作的实时图像更新反馈给操作者；完成了视觉部分的交互。

进一步，所述几何建模模块的ct扫描，用于扫描获得二维切片图，ct设置有灰度和图像增强的处理功能，使得经过ct扫描后，获得清晰的二维切片图片，为几何建模模块提供良好的基础图片信息，从源头保证手术部位三维图像信息的准确性；具体包括：

步骤一：使用yuv色彩系统中y分量描述图像像素点的灰度值，u和v是指色调即描述图像色彩的属性，yuv色彩系统与rgb色彩系统转换关系为：

步骤二：使用灰度直方图变换来增加图像对比度，灰度直方图是用于表达图像灰度分步的统计图表，是图像的各灰度级分布情况的反映，定义为：

p(κ)＝nk(k＝0,1,2,......,255)；

式中，k图像灰度值，nk灰度值为k的像素点数。

进一步，所述反馈模块采取灰色模型对反馈模块辅助，实现反馈信息的精准与及时；

gm(1，1)模型，对本身数据的预测，有变量x⁽⁰⁾的原始数据序列：

x⁽⁰⁾＝{x⁽⁰⁾(1)，x⁽⁰⁾(2)，…，x⁽⁰⁾(n)}；

n为原始数据个数；与之对应的时间为ti(n＝1，2，…，n)；

用ago生成一阶累加模块x⁽¹⁾

x⁽¹⁾＝{x⁽¹⁾(1)，x⁽¹⁾(2)，…，x⁽¹⁾(n)}；

由一阶灰色模块x⁽¹⁾构成的微分方程为：

根据导数离散化形式，微分方程以矩阵形式写成：

y＝au；

其中：

利用最小二乘原理，求得参数估计值为：

回到原来、的微分方程有：

得解为：

离散形式为：

其中，k为参与反馈信息的原始数据个数；

形式为：

其中，p＞1为反馈信息点；则反馈后的原始序列为：

或者，表达为：

整个灰色模型预报过程表达为：

其中，iago，ago分别为累减生成序列和累加生成序列。

进一步，所述更新图像模块，采用fcm图像分割算法分析，具体包括以下步骤：

步骤一：初始化的确定：根据图像分割的要求，需要对更新图像进行初始化的确定，并对需要的参数进行初始化，并将直方图的聚类中心；

步骤二：因子的自适应性的确定，适应度，根据构造的适应函数：

f＝a/(b+j)；

其中，a，b是可调整的参数，根据实验分别取值为10和1.5，j为的目标函数；

步骤三：变异操作：个体前后的变化量为0.5r(t/t)，数据r是在规定的区间内产生的随机数，t为计算的最大代数；

步骤四：迭代计算：将通过新的切割数据得出新的模糊隶属度矩阵，产生新的切割参数，返回步骤二进行迭代计算，直到完成条件的终止，完成更新图像的分割。

进一步，所述物理建模模块的模拟软组织形变方法为质点-弹簧模型，整个组织模型中有n个质点，在某一时刻有外力施加于模型，f为施加在模型上的总作用力，x为运动质点的位移，v为速度，m为质点模型质量：

v＝x′；

总作用力f是外力fext和内部力fint的矢量和，质点-弹簧模型的内力是弹力fs和阻尼力fd的矢量和，根据胡克定律，弹力fs＝kx，k为刚度系数，阻尼力fd＝dv＝dx′，d是阻尼系数，得到下列公式：

f＝fint+fext＝fs+fd+fext

＝kx+dx′+fext；

此处的加号表示矢量和，模型中的质点均满足此动力学方程；第i个质点的位移为xi，质量为mi，结合以上动力学方程及牛顿第二定律可知：

fext＝mix″i+fs+fd；

设p(i)是与质点i相邻的质点的集合，kij是相邻质点间的弹性系数，dij是相邻质点间的阻尼系数，rij⁰和rij是相邻质点弹簧间的原距离和形变后的距离，rij/||rij||为单位向量，则有：

联立得：

位移x和速度v作为状态变量，则有如下表达式：

进一步，所述反馈模块的力反馈方法为，刀具受到的血液的粘滞阻力，用如下公式表示：

f＝η·δs·(dv/dy)；

f是阻力的大小，δs为物体的截面积，η是液体的粘性系数，(dv/dy)是流体的速度梯度；

导管受到的血液阻力为以下线性关系：

f＝π(r²-r²)·η·v·l；

r为导管外径，r为内径，v是导管运动速度，l为导管插入血液的长度。

进一步，所述显示模块的图像处理方法为：采用红外led作为稳定的特征点来源，其图像能量密度函数近似于二维高斯函数分布；

式中(x0，y0)为真实中心坐标，σ为高斯函数的标准差，i0为总能量；则(x，y)像素的密度函数采样值ixy为：

满足：

式中xz，yz是计算出来的质心，axy为处理窗口，包含特征点所有的有效像素点；写成：

计算方式由区域连续积分变成了离散点求和，xz′，yz′是新计算出来的质心，ax，ay分别为axy的x，y方向的分布范围。

本发明的另一目的在于提供一种实施所述基于虚拟现实的真实腔镜微创手术仿真训练方法的基于虚拟现实的真实腔镜微创手术仿真训练系统，所述基于虚拟现实的真实腔镜微创手术仿真训练系统包括：

几何建模模块与视觉渲染模块连接，几何建模模块用于将ct扫描的二维切片图分析处理得到初步的手术部位三维图像信息，这种由二维信息得到三维信息的技术即三维重构技术；视觉渲染模块用于把三维重建技术得到的初步手术部位模型用视觉渲染技术对初步得到的模型进行进一步的改进；

视觉渲染模块与物理建模模块连接，物理建模模块为模型添加具有物理意义的约束条件，根据生物力学特性建立物理上的动力学模型，让模型模拟物体的物理特性；包括质量、惯性、硬度、变形；

绘制模块与物理建模模块连接，将虚拟手术器械采用三维图形软件绘制出来；

物理建模模块与显示模块连接，能将模拟好的手术部位显示出来；

显示模块与操作模块连接，通过基于vr的腔镜微创手术训练系统，采用phantom作为人机交互的硬件设备，医生通过操作该设备的操作手柄控制虚拟环境中手术器械的运动；

操作模块与碰撞检测模块连接，碰撞检测完成判断两模型是否发生碰撞并确定碰撞点的工作；碰撞响应即根据碰撞点的位置变化情况和、计算模型使碰撞对象做出相应的动作响应；

碰撞检测模块与反馈模块连接，反馈模块与操作模块连接，通过利用磁流变液设计的阻尼器将腔镜微创手术仿真训练操作的力反馈给操作者；完成了虚拟环境中对象的反作用力交互；

碰撞检测模块与更新图像模块连接，更新图像模块与显示模块连接，将腔镜微创手术仿真训练操作的实时图像更新反馈给操作者；完成了视觉部分的交互。

本发明的另一目的在于提供一种应用所述基于虚拟现实的真实腔镜微创手术仿真训练方法的信息数据处理终端。

本发明的优点及积极效果为：

(1)手术场景直观再现，利用计算机技术通过几何建模、物理建模、视觉渲染可以逼真再现手术现场；医生可以反复训练，针对感染性较高的手术，可以有效保护医生的安全；通过术前培训可优化手术方案、降低手术风险，提高病患治愈率；系统可以进行多次重复使用，降低了长期训练的成本。

(2)采用质点-弹簧模型在软组织受力之前，虚拟弹簧是不存在的，当模型受到外力作用开始发生形变时，虚拟弹簧在这种动态过程中产生，它产生的方向与力的方向一致，模型中质点位置的变化量就是虚拟弹簧的形变程度，运算渐变，能满足手术仿真中的实时性，细节丰富。

(3)仅考虑导管在组织中的受力情况，并将力放大，反馈给主端的硬件设备，因为导管与血管的碰撞力是直接影响手术安全性的最重要的因素，其它次要或不重要的反馈信号暂且忽略，以增强有用信号。

(4)离散化采样误差出发，利用特征点图像能量密度函数近似服从二维高斯分布的特性，以质心法为例，分析了特征点总能量、能量分布弥散半径、图像处理窗口与图像处理误差之间的关系；以此为基础，结合中心位置、误差大小和能量密度函数的标准差之间的关系，提出一种误差补偿方法，通过实验证明了该补偿方法的有效性，针对不同处理算法，图像处理精度都有显著提升。

(5)本发明ct设置有灰度和图像增强的处理功能，使得经过ct扫描后，获得清晰的二维切片图片，为几何建模模块提供良好的基础图片信息，从源头保证手术部位三维图像信息的准确性。本发明采取灰色模型对反馈模块加以辅助，实现反馈信息的精准与及时，为本发明的方法提供精准的反馈信息，提高使用价值；本发明采用fcm图像分割算法分析，有助于更新图像的分析准确性，提高对于图像的分析能力，有利于视觉的交互了解。

附图说明

图1是本发明实施例提供的基于虚拟现实的真实腔镜微创手术仿真训练方法流程图。

图2是本发明实施例提供的基于虚拟现实的真实腔镜微创手术仿真训练系统结构示意图；

图中：1、几何建模模块；2、绘制模块；3、视觉渲染模块；4、物理建模模块；5、显示模块；6、操作模块；7、碰撞检测模块；8、更新图像模块；9、反馈模块。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

下面结合附图对本发明的结构作详细的描述。

如图1所示，本发明实施例提供的基于虚拟现实的真实腔镜微创手术仿真训练方法包括以下步骤：

s101：通过几何建模模块将二维切片图分析处理得到初步的腔镜微创手术部位三维图像信息，通过视觉渲染模块用于把三维重建技术得到的初步腔镜微创手术部位模型用视觉渲染技术对初步得到的模型进行进一步的改进；

s102：通过绘制模块将虚拟的腔镜微创手术器械采用三维图形软件绘制出来；

s103：通过物理建模模块为模型添加具有物理意义的约束条件，根据生物力学特性建立物理上的动力学模型，让腔镜微创手术模型模拟物体的物理特性；

s104：通过显示模块将模拟好的腔镜微创手术部位显示出来，通过操作模块控制虚拟环境中手术器械的运动；

s105：通过碰撞检测完成判断两模型是否发生碰撞并确定碰撞点的工作；碰撞响应即根据碰撞点的位置变化情况、计算模型使碰撞对象做出相应的动作响应；

s106：通过反馈模块将腔镜微创手术仿真训练操作的力反馈给操作者；完成了虚拟环境中对象的反作用力交互；

s107：通过图像更新模块将腔镜微创手术仿真训练操作的实时图像更新反馈给操作者；完成了视觉部分的交互。

如图2所示，本发明实施例提供的基于虚拟现实的真实腔镜微创手术仿真训练系统包括：几何建模模块1、绘制模块2、视觉渲染模块3、物理建模模块4、显示模块5、操作模块6、碰撞检测模块7、更新图像模块8、反馈模块9。

几何建模模块1与视觉渲染模块3连接，几何建模模块用于将ct扫描的二维切片图分析处理得到初步的手术部位三维图像信息，这种由二维信息得到三维信息的技术即三维重构技术；视觉渲染模块用于把三维重建技术得到的初步手术部位模型用视觉渲染技术对初步得到的模型进行进一步的改进；能真实模拟人体血管的几何特征，视觉效果也很完美。

视觉渲染模块3与物理建模模块4连接，物理建模模块为模型添加具有物理意义的约束条件，根据生物力学特性建立物理上的动力学模型，让模型模拟物体的物理特性；包括质量、惯性、硬度、变形等，从而在视觉和触觉上都能够产生逼真的动态效果。

绘制模块2与物理建模模块4连接，将虚拟手术器械采用三维图形软件绘制出来。

物理建模模块4与显示模块5连接，能将模拟好的手术部位显示出来。

显示模块5与操作模块6连接，通过基于vr的腔镜微创手术训练系统，采用phantom作为人机交互的硬件设备，医生通过操作该设备的操作手柄控制虚拟环境中手术器械的运动。

操作模块6与碰撞检测模块7连接，碰撞检测完成判断两模型是否发生碰撞并确定碰撞点的工作；碰撞响应即根据碰撞点的位置变化情况和、计算模型使碰撞对象做出相应的动作响应。

碰撞检测模块7与反馈模块9连接，反馈模块9与操作模块6连接，通过利用磁流变液设计的阻尼器将腔镜微创手术仿真训练操作的力反馈给操作者；完成了虚拟环境中对象的反作用力交互。

碰撞检测模块7与更新图像模块8连接，更新图像模块8与显示模块5连接，将腔镜微创手术仿真训练操作的实时图像更新反馈给操作者；完成了视觉部分的交互。

ct扫描，用于扫描获得二维切片图，ct设置有灰度和图像增强的处理功能，使得经过ct扫描后，获得清晰的二维切片图片，为几何建模模块提供良好的基础图片信息，从源头保证手术部位三维图像信息的准确性。

步骤一：使用yuv色彩系统中y分量描述图像像素点的灰度值，u和v是指色调即描述图像色彩的属性，yuv色彩系统与rgb色彩系统转换关系为：

步骤二：使用灰度直方图变换来增加图像对比度，灰度直方图是用于表达图像灰度分步的统计图表，是图像的各灰度级分布情况的反映，定义为:

p(κ)＝nk(k＝0,1,2,......,255)；

式中，k图像灰度值，nk灰度值为k的像素点数；

所述反馈模块，易受到外界及本身因素的影响，造成反馈信息的不准或者失常，因此采取灰色模型对反馈模块加以辅助，实现反馈信息的精准与及时，为该方法提供精准的反馈信息，提高使用价值；

gm(1,1)模型，适合于对本身数据的预测，设有变量x⁽⁰⁾的原始数据序列：

x⁽⁰⁾＝{x⁽⁰⁾(1)，x⁽⁰⁾(2)，…，x⁽⁰⁾(n)}

n为原始数据个数；与之对应的时间为ti(n＝1,2,…,n)；

用ago(accumullatedgeneratingoperation)生成一阶累加模块x⁽¹⁾

x⁽¹⁾＝{x⁽¹⁾(1)，x⁽¹⁾(2)，…，x⁽¹⁾(n)}

由一阶灰色模块x⁽¹⁾构成的微分方程为：

根据导数离散化形式,微分方程以矩阵形式可写成：

y＝au

其中，

利用最小二乘原理,可求得参数估计值为:

回到原来、的微分方程有：

得解为:

离散形式为:

其中,k为参与反馈信息的原始数据个数；

一般形式为:

其中,p＞1为反馈信息点；则反馈后的原始序列为:

或者,可以简化地表达为:

整个灰色模型预报过程可以表达为:

其中,iago,ago分别为累减生成序列和累加生成序列。

所述更新图像模块，采用fcm图像分割算法分析，有助于更新图像的分析准确性，提高对于图像的分析能力，有利于视觉的交互了解，具体包括以下步骤：

步骤一：初始化的确定：根据图像分割的要求，需要对更新图像进行初始化的确定，并对需要的参数进行初始化，并将直方图的聚类中心；

步骤二：因子的自适应性的确定，适应度，根据构造的适应函数：

f＝a/(b+j)；

其中，a，b是可调整的参数，根据实验可以分别取值为10和1.5，j为的目标函数；

步骤三：变异操作：个体前后的变化量为0.5r(t/t)，数据r是在规定的区间内产生的随机数，t为计算的最大代数；

步骤四：迭代计算：将通过新的切割数据得出新的模糊隶属度矩阵，产生新的切割参数，返回步骤二进行迭代计算，直到完成条件的终止，完成更新图像的分割。

物理建模模块的模拟软组织形变方法为质点-弹簧模型，

设整个组织模型中有n个质点，在某一时刻有外力施加于模型，因而模型内部质点发生运动；f为施加在模型上的总作用力，x为运动质点的位移，v为速度，m为质点模型质量。

v＝x′；

总作用力f是外力fext和内部力fint的矢量和，质点-弹簧模型的内力是弹力fs和阻尼力fd的矢量和，根据胡克定律，弹力fs＝kx，k为刚度系数，阻尼力fd＝dv＝dx′，d是阻尼系数，因此可以得到下列公式：

f＝fint+fext＝fs+fd+fext

＝kx+dx′+fext；

此处的加号表示矢量和，模型中的质点均满足此动力学方程。设第i个质点的位移为xi，质量为mi，结合以上动力学方程及牛顿第二定律可知：

fext＝mix″i+fs+fd；

设p(i)是与质点i相邻的质点的集合，kij是相邻质点间的弹性系数，dij是相邻质点间的阻尼系数，rij⁰和rij是相邻质点弹簧间的原距离和形变后的距离，rij/‖rij‖为单位向量，则有：

联立得：

位移x和速度v作为状态变量，则有如下表达式：

所述的反馈模块的力反馈方法为，

刀具受到的血液的粘滞阻力，可用如下公式表示：

f＝η·δs·(dv/dy)；

f是阻力的大小，δs为物体的截面积，η是液体的粘性系数，(dv/dy)是流体的速度梯度。

当流体缓慢流过静止的物体或是物体在液体中缓慢运动时，物体所受到的粘滞阻力的大小与物体运动的速度是线性关系。导管在血液中的运动速度v＝5mm/s，是非常缓慢的，因此导管受到的血液阻力可简化为以下线性关系：

f＝π(r²-r²)·η·v·l；

r为导管外径，r为内径，v是导管运动速度，l为导管插入血液的长度。

所述显示模块的图像处理方法为，

采用红外led作为稳定的特征点来源，其图像能量密度函数近似于二维高斯函数分布，为图像恢复提供了较好的前提：

式中(x0，y0)为真实中心坐标，σ为高斯函数的标准差，i0为总能量。

则(x，y)像素的密度函数采样值ixy为：

在图像处理算法中，质心法和高斯曲线拟合法是特征点提取的主要亚像素算法，它们都是基于特征点中心位置和灰度值的数学模型来确定特征中心。质心法是特征点在图像平面成像时，图像能量密度函数一阶空间矩和零阶空间矩的比值，由像平面的能量重心来代替真实中心，即满足：

式中xz，yz是计算出来的质心，axy为处理窗口，它包含了特征点所有的有效像素点；但是真实图像是通过离散采样的，只能使用像素点位置的采样值来代替连续积分，则上式可写成：

计算方式由区域连续积分变成了离散点求和，xz′，yz′是新计算出来的质心，ax，ay分别为axy的x，y方向的分布范围。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。