本发明属于有微创胃肠外科学、影像学、混合现实、图像处理等领域，涉及一种用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法。
背景技术：
胃癌是我国常见的肿瘤之一，根治性切除是其主要的治疗手段。腹腔镜技术因其创伤少、且有助于术后恢复等特点，在胃肠外科领域上的应用越来越多。然而，腹腔镜存在管状视野、缺少触觉及纵深感等自身特有的局限性，而且胃周血管走行复杂，解剖变异较多，术中淋巴结清扫引起的血管损伤是腹腔镜胃癌手术严重并发症之一，也是导致非计划二次手术的重要原因，使得这项技术的推广受到了一定的限制。
光学跟踪技术的研发和应用，导航由“静态”向“动态”的转变成为了可能，达到实时导航的效果。光学跟踪具有测量精度高、范围广等优点，但其仅能实现粗略的场景匹配，而且腹腔镜胃肠手术具有组织脏器不固定且易形变等特点，光学跟踪达不到精准的配准。混合现实技术能够实现虚实场景实时叠加，可提高导航匹配的准确性。然而将虚拟物体叠加到真实场景中时，虚拟对象与真实场景间存在一定的空间位置关系，即遮挡与被遮挡的关系。简单地将三维虚拟血管模型叠加到腹腔镜真实场景中，会导致虚拟血管模型遮挡真实场景或真实场景遮挡虚拟血管，导致观察者在感官方向上的迷失和空间位置上的错乱。本项目拟研究虚实遮挡自动处理方法：根据图像特征点实时配准信息与血管模型的实时形变信息确定虚实场景的位置关系；在离线阶段计算腹腔镜图像的深度信息和颜色信息，依据两种信息精确提取遮挡目标；术中即在线阶段通过跟踪特征点查找深度值自动确定遮挡关系。在满足精确度的要求下快速确定虚实场景的位置关系，实现两者的实时融合。该方法吸取数字图像处理、模式识别、计算机视觉和非线性优化等学科理论的最新成果，围绕虚实遮挡处理中的自动实时处理方法技术内容，针对手术导航应用场合，能在提高混合现实系统可用性的同时最大限度保证虚实遮挡处理的效果和系统的实时性。
技术实现要素：
本发明的目的在于研发出一种用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法。在光学跟踪的基础上，通过虚拟自动遮挡处理混合现实技术，将计算机生成的虚拟信息和图像采集装置捕获的真实自然场景叠加到一起，提高导航的精确性，精确地指引手术进程，提高手术成功率，有利于腹腔镜胃肠手术的应用和推广。
本发明所述的用于胃癌腔镜智能手术实时导航系统的虚实自动遮挡处理混合现实的方法，包括以下步骤：
a.离线处理过程中，首先用腹腔镜双目镜头拍摄左右两幅图像，计算场景中每个像素点的深度值，然后对深度值进行改善，以便提取一个相对粗糙的遮挡边缘，同时计算场景中在hsv颜色空间中每个像素点的像素值，并采用锐化等图像等增强处理得到较为清晰的轮廓；之后利用融合手段，结合粗糙遮挡边缘和轮廓信息，获得更高精度的遮挡边缘；
b.在线处理过程中，首先跟踪特征点，根据特征点的位移计算目标轮廓的位移量，获得近似轮廓，然后以近似轮廓为中心的带状区域内求目标物体的精确轮廓；
c.利用重绘技术获得遮挡关系正确的虚实合成图像；继续下一帧图像，将当前帧图像中求得的目标轮廓作为下一帧的初始轮廓，重复以上步骤；在满足精确度的要求下快速确定虚拟模型和真实场景的位置关系，实现两者的实时融合,实时提供普通腹腔镜手术无法展现的血管的走行信息。
根据本发明所述的方法的进一步特征，所述步骤a中，所述数据采集和提取遮挡目标包括以下步骤：
(1)构造能量函数：改进potts能量函数，将potts能量函数以像素点的视差为基本优化单元转换为以匹配点对为基本优化单元，改善其不能有效的利用像素点匹配的假设条件；能量函数构造如下式：
e(f)＝edata(f)+eocc(f)+esmooth(f)，
其中，数据项edata(f)表示匹配像素点之间在亮度特性上的相似程度，遮挡项eocc(f)描述遮挡像素的固定惩罚值，平滑项esmooth(f)使相邻像素点的视差接近；
(2)能量函数最小化：通过最小化能量函数求深度值，求得真实场景每个像素点的深度值之后，可以通过比较深度值的大小提取遮挡虚拟物体的真实物体区域内的所有像素点；
(3)深度图改善：利用快速均值漂移方法对图像进行分割，将图像分为具有相似性质的区域，然后将同一区域内所有像素深度的平均值代替该区域内像素的深度值,从而保证同一物体上各个像素点的深度信息一致，将目标物体完整的从背景中提取出来；
(4)通过比较虚拟物体与真实物体的深度值，确定它们之间的遮挡关系，从而提取遮挡物体的轮廓；
(5)根据图像在hsv颜色空间的像素值进行锐化等增强处理，使其中的物体轮廓更加明显。
根据本发明所述的方法的进一步特征，所述步骤(5)中，首先构建颜色图像概率分布的高斯核模型gc，然后利用深度信息构建图像的空间分布高斯核gs，最终融合颜色和空间的高斯分布核h＝∑gcgs，最终提取高精度的遮挡边缘。
根据本发明所述的方法的进一步特征，所述步骤b中，所述特征点跟踪包括以下步骤：跟踪上一帧图像中目标区域内的特征点，然后根据特征点的位移，将上一帧的轮廓平移，获得当前帧图像中目标物体的近似轮廓，接下来在以近似轮廓为中心的带状区域求得目标的精确轮廓，从而实现了物体轮廓的精确跟踪。
根据本发明所述的方法的进一步特征，所述步骤b中，所述特征点提取采用快速角点检测法的方式。
根据本发明所述的方法的进一步特征，所述步骤b中，所述特征点匹配是采用双向光流法将不在目标区域内的特征点剔除，同时采用特征匹配算法对目标特征点集进行更新和校正，最后利用特征点之间的位置信息，确定目标的变化因子和尺度，从而实现目标的定位。
根据本发明所述的方法的进一步特征，所述步骤b中，所述估计近似轮廓包括以下步骤：根据得到的目标物体的轮廓、上一帧轮廓区域内的特征点、以及当前帧跟踪到的特征点，计算相互匹配的特征点平均位移，进而根据轮廓相似点的移动计算当前帧图像中目标物体的近似轮廓；匹配特征点平均位移dt计算方程式如下：
fi,j-1代表t-1时刻目标物体已知的轮廓区域内的特征点；
fi,j代表t时刻跟踪到的特征点；
m代表t时刻跟踪到的特征点的个数
通过将已知t-1时刻轮廓上的像素点移动dt，可以获得t时刻视频帧图像中目标物体的近似轮廓。
根据本发明所述的方法的进一步特征，所述步骤b中，所述提取精确轮廓包括以下步骤：利用最大流/最小割方法对带状区域进行分割，获得精确的目标轮廓。
本发明所述的导航系统具有以下有益效果：
(1)克服遮挡关系的错误判断而对手术实时精确地指引手术进程，减少术中血管损伤的并发症，增加手术安全性，提高手术效率，减少手术时间。
(2)促进患者术后恢复，降低术后并发症率，缩短术后住院日，进而降低患者住院费用，减少腹腔镜胃癌手术的医疗成本。
(3)该方法能缩短初学者的学习曲线，有利于腹腔镜胃癌手术的应用和推广。
(4)有利于实现胃癌精准化治疗，具有较高的科学价值和社会效益。
(5)该虚实自动遮挡处理混合现实技术对于提高虚拟手术的真实度，使得手术导航发挥出更多的功能，以及更加可靠的对手术效果进行预测具有重要意义。
附图说明
图1为本发明所述的虚实自动遮挡处理混合现实的过程。
具体实施方式
本发明所述的虚实自动遮挡处理混合现实的过程如图1所示，详述如下：
(1)离线阶段图像深度值的计算
采用深度计算的方式不需要预先知道场景中物体的三维模型，只需要通过查找深度值并进行比较即可完成虚实遮挡处理。
深度值的计算过程如下：
构造能量函数——改进potts能量函数，将potts能量函数以像素点的视差为基本优化单元转换为以匹配点对为基本优化单元，改善其不能有效的利用像素点匹配的假设条件。能量函数构造如下：
e(f)＝edata(f)+eocc(f)+esmooth(f)，
其中，数据项edata(f)表示匹配像素点之间在亮度特性上的相似程度，遮挡项eocc(f)描述遮挡像素的固定惩罚值，平滑项esmooth(f)使相邻像素点的视差接近。
能量函数最小化——通过最小化能量函数求深度值，求得真实场景每个像素点的深度值之后，可以通过比较深度值的大小提取遮挡虚拟物体的真实物体区域内的所有像素点。
深度图改善——深度的改善利用快速均值漂移方法对图像进行分割，将图像分为具有相似性质的区域，然后将同一区域内所有像素深度的平均值代替该区域内像素的深度值，从而保证同一物体上各个像素点的深度信息一致，将目标物体完整的从背景中提取出来。
遮挡物体轮廓提取：通过比较虚拟物体与真实物体的深度值就可以确定它们之间的遮挡关系。
(2)离线阶段颜色图像处理
根据图像在hsv颜色空间的像素值进行锐化等增强处理，使其中的物体轮廓更加明显。首先构建颜色图像概率分布的高斯核模型gc，然后利用深度信息构建图像的空间分布高斯核gs，最终融合颜色和空间的高斯分布核h＝∑gcgs最终提取高精度的遮挡边缘。
(3)在线阶段特征点跟踪
跟踪上一帧图像中目标区域内的特征点，然后根据特征点的位移，将上一帧的轮廓平移，获得当前帧图像中目标物体的近似轮廓，接下来在以近似轮廓为中心的带状区域求得目标的精确轮廓，从而实现了物体轮廓的精确跟踪。这种方法不仅能够实时跟踪目标物体轮廓，而且在场景复杂、前景背景颜色相似的情况下也能获得精确的轮廓跟踪效果。
特征点提取：采用快速角点检测法的方式，该方法的计算速度快，对于光照、遮挡、复杂背景的变换具有鲁棒性，满足了在线处理过程要求的实时性。
这种方法提取算子的基本原理是：与每一图像点相关的局部区域具有相同的亮度。如果某一窗口区域内的每一像元亮度值与该窗口中心的像元亮度值相同或相似，这一窗口区域将被称之为“usan”。计算图像每一像元的“usan”，这便提供了是否有边缘的方法。位于边缘上的像元的“usan”较小，位于角点上的像元的“usan”更小。因此，仅需寻找最小的“usan”，就可确定角点。该方法由于不需要计算图像灰度差，因此，具有很强的抗噪声的能力。该算法检测的角点定义为在像素点的周围邻域内有足够多的像素点与该点处于不同的区域。应用到灰度图像中，即有足够多的像素点的灰度值大于该点的灰度值或者小于该点的灰度值。比如考虑某图中a点附近半径为3的圆环上的16个点，若其中有连续的12个点的灰度值与a点的灰度值差别超过某一阈值，则可以认为a点为角点。
特征点匹配：采用双向光流法将不在目标区域内的特征点剔除。
(4)近似轮廓估计
根据得到的目标物体的轮廓、上一帧帧轮廓区域内的特征点、以及当前帧跟踪到的特征点，计算相互匹配的特征点平均位移，进而根据轮廓相似点的移动计算当前帧图像中目标物体的近似轮廓。匹配特征点平均位移dt计算如下：
fi,j-1代表t-1时刻目标物体已知的轮廓区域内的特征点；
fi,j代表t时刻跟踪到的特征点；
m代表t时刻跟踪到的特征点的个数
通过将已知t-1时刻轮廓上的像素点移动dt，可以获得t时刻视频帧图像中目标物体的近似轮廓。
(5)精确轮廓提取
利用最大流/最小割方法对带状区域进行分割,获得精确的目标轮廓。
(6)利用重绘技术获得遮挡关系正确的虚实合成图像。继续下一帧图像，将当前帧图像中求得的目标轮廓作为下一帧的初始轮廓，重复以上步骤。在满足精确度的要求下快速确定虚拟模型和真实场景的位置关系，实现两者的实时融合,实时给医生提供普通腹腔镜手术无法展现的血管的走行信息。
3.得出结论
3.1基于深度分析的虚拟自动遮挡处理混合现实技术，能更有效提高导航的精确性；
3.2该方法有利于腹腔镜胃癌手术的推广，具有很好的临床应用前景。