一种体数据形变编辑展示软件平台的构建方法与流程

本发明属于医学影像仿真处理领域，涉及计算机图形学中对物体的仿真技术，是一个基于医学手术中人体软组织模拟交互的体数据形变编辑的实现，特别涉及一种体数据形变编辑展示软件平台的构建方法。

背景技术：

自由变形算法通过扭曲变形物体所在空间从而实现物体的变形操作，它使用了类似于贝塞尔曲线的思想，通过能随着控制点而自我调整的样条来拟合获得平滑圆润的曲线、表面以及体积。自由变形算法这一类的基于可变形曲线的变形模型是医学软组织变形领域第一批被发展起来的变形模型，也是第一批被投入于手术仿真领域进行应用的变形模型。它们在计算速度方面有着非常不错的优势，可以满足实时形变的需要。

特征点检测广泛应用到目标匹配、目标跟踪、三维重建等应用中，在进行目标建模时会对图像进行目标特征的提取，常用的有颜色、角点、特征点、轮廓、纹理等特征。其中harris角点检测是特征点检测的基础，提出了应用邻近像素点灰度差值概念，从而进行判断是否为角点、边缘、平滑区域。harris角点检测原理是利用移动的窗口在图像中计算灰度变化值，其中关键流程包括转化为灰度图像、计算差分图像、高斯平滑、计算局部极值、确认角点。

cuda是一种由nvidia推出的通用并行计算架构，该架构使gpu能够解决复杂的计算问题。gpu包含了比cpu更多的处理单元，更大的带宽，使得其在多媒体处理过程中能够发挥更大的效能。例如：当前最顶级的cpu只有4核或者6核，模拟出8个或者12个处理线程来进行运算，但是普通级别的gpu就包含了成百上千个处理单元，高端的甚至更多，这对于多媒体计算中大量的重复处理过程有着天生的优势。利用gpu加速运算可提高计算速度，满足大量计算需求实时交互的需要。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种体数据形变编辑展示软件平台的构建方法，基于原始医学影像体数据进行图像特征提取、配准和形变的研究，从而更加真实全面地描绘人体内部全部组织信息，为基于体数据的手术模拟、提升高难度手术成功率和医学教学效果奠基，不仅节约培训医务人员的费用和时间，使非熟练人员进行手术的风险性大大降低，对提高医学教育与训练的效率和质量以及改善医学手术水平发展不平衡的现状有着特殊的意义。

本发明解决其技术问题是通过以下技术方案实现的：

一种体数据形变编辑展示软件平台的构建方法，其特征在于：所述方法的步骤为：

1)自由形变算法的实现以及可视化；

2)基于b样条的三维mha格式图像的可变形配准的实现及可视化；

3)harris图像特征点提取的实现及可视化；

4)基于vtk的二维和三维医学图像的打开读取和显示。

而且，所述步骤1)通过opengl实现三维自由形变算法和raw文件图像的三维可视化，具体操作为：载入raw格式图像文件，即可在界面展示其三维图像；程序设置若干数目的控制点，安排在三维图像包围盒的若干顶点处，通过调节该设置的控制点位置对三维模型进行形变操作。

而且，所述步骤2)对二维和三维图像基于b样条的可变形配准，具体操作为：在二维图像配准中，使用cuda调用gpu实现加速运算，并且支持对配准结果的放大观察和对变形场的可视化；在三维图像配准中，支持对原三维图像，配准后的三维图像的可视化对比展示。

而且，所述步骤3)实现harris图像特征点提取和可视化，具体操作为：读取选定图片，调用opencv库函数实现相应矩阵运算以及高斯滤波操作，将提取出的特征点在图像上使用绿色圆点标注出来进行可视化展示。

而且，所述步骤4)基于vtk实现对于二维和三维医学图像文件的读取、打开和展示，具体操作为：对于二维图像，使用vtkimageviewer2类完成对于图像的展示；在三维模型的图像展示上，使用vtkmarchingcubes来构造等值面，使用vtkpolydatamapper来建立多边形数据和图元之间的映射。

本发明的优点和有益效果为：

1、本发明一种体数据形变编辑展示软件平台的构建方法，在二维图像配准中采用了gpu加速，处理速度大大提升；基于gpu的实现对于大规模的数据能够达到基于cpu速度的15倍。

2、本发明一种体数据形变编辑展示软件平台的构建方法，采用并行计算的方法，使用cuda来调用gpu实现了并行计算，对于图像每一部分在gpu上并行地进行处理，再通过算法开始时预处理出的各种查找表来避免重复冗余的运算，最终使得算法的运行速度得到很大的提升。

3、本发明一种体数据形变编辑展示软件平台的构建方法，实验过程中保证了算法实现的编程环境、运行环境、操作系统以及计算机硬件环境不变，就同样一幅图像，harris角点检测算子耗时最短，速度最快。

附图说明

图1为软件功能架构图；

图2为执行时间关于体数据大小的折线图；

图3为左胸腔ct配准图。

具体实施方式

下面通过具体实施例对本发明作进一步详述，以下实施例只是描述性的，不是限定性的，不能以此限定本发明的保护范围。

一种体数据形变编辑展示软件平台的构建方法，其特征在于：所述方法的步骤为：

s0101：用户载入raw格式文件后，即可在界面展示其三维图像；在自由形变部分，需要将物体中需要进行形变的部分提取出来，计算出它的包围盒，然后以此包围盒为基准，经过略微的延伸建立一个平行六面体，对六面体沿着平行于x,y,z轴方向进行均匀地“切割”，最终将其均匀划分为l×m×n个平行六面体小格子，“切割”的操作将需要变形的部分嵌入到一个三维网格之中，每个小格子的顶点都是一个控制点。

记控制点坐标为其中i＝0,1,...,l；j＝0,1,...m；k＝0,1,...,n；每个控制点坐标都可以用一个初始点控制点的坐标再加上相应的偏移来表示：

公式(1)中，

对于物体网格模型上每一点q，其在三角网格化后相对于x,y,z轴的坐标假设为其局部坐标(s,t,u)的计算可表示如下：

假设变形之后控制点的新坐标可以用则原先物体网格上的点q在进行变形之后的新坐标位置可以表示为：

公式(5)中(s,t,u)为变形前求解q点的局部坐标，bi,l(s),bj,m(t),bk,n(u)均为bernstein基函数。

s0201：配准展示模块采用的是基于样条的配准算法，该类算法是通过在两幅图像对应灰度(体素)之间建立映射关系来实现配准的。在b样条可变形配准算法中，映射通过变形场来描述。一个最佳变形场准确描述了固定图像中的体素相对于它们的原始位置移动到变换图像中的对应体素位置的过程。算法的目标即尝试求出最优变形场。

首先用b样条系数来表示变形场，x维度表示如下：

y和z维度的分量也可以类似地进行表示。公式(6)中(i,j,k)表示“块”在整个体中的坐标，β是b样条基函数，(u,v,w)是位于(x,y,z)坐标的体素在其所在“块”中的局部坐标。

定义代价函数，使用ssd：

使用梯度下降方法下降至全局或者局部最小值。

s0301：用户载入一张二维图像后，提取harris角点过程如下：

第一步，利用水平和竖直差分算子对图像的每个像素进行滤波求出ix和iy，进而求出ix²,ixiy,iy²的值；

第二步，对上一步求出的ix²,ixiy,iy²进行高斯平滑滤波，从而消除一些意义不大的孤点和凸起，提高特征点提取的准确性，抵抗噪声的干扰；

第三步，根据公式r＝det(m)-ktrace²(m)计算出每个像素的角点响应函数值r；

第四步，进行局部极大值抑制，设定一个大小固定的滑动窗口，窗口在图像中滑动，每到一个位置取出窗口中像素角点响应函数的极大值点，作为候选的角点；

第五步，定义一个阈值，对上一步中选出的候选角点进行排查，该候选角点的角点响应函数值高过定义的阈值，那么该点就是要寻找的角点。

寻找角点过程完成后，将角点位置使用绿色圆点于原图中标注出来。

s0401：程序还提供最为基本的对于二维和三维医学图像文件的读取、打开和显示。这一部分主要是基于vtk来实现的。vtkimageviewer2类很好地封装了二维图像的显示；对于三维图像，使用了vtkmarchingcubes来构造等值面，vtkpolydatamapper来建立多边形数据和图元之间的映射。

vtkrenderwindow类提供创建新的windows窗口的功能，程序中单一文件的打开部分都是通过vtkrenderwindow创建新的窗口再在其中对图像进行渲染和显示。每一个窗口都是单独申请内存创建的，程序支持同时打开多个图像并且各窗口之间不存在互相干扰。

此外，实现中还使用vtkrenderwindowinteractor给窗口增加了鼠标交互的功能，用户可以通过右键或滚轮实现图像的放大缩小。鼠标左键对于三维图像可以实现视角的旋转；对于二维图像可以实现灰度上的变化。

在二维图像配准中，本项目采用了gpu加速，处理速度大大提升。如图2所示，基于gpu的实现对于大规模的数据能够达到基于cpu的速度的15倍。

加速医学图像算法的一个关键因素在于并行计算的应用，因为在许多情况下，对图像不同区域的操作可以独立地同时进行。本发明项目中采用并行计算的方法，使用cuda来调用gpu实现了并行计算，对于图像每一部分在gpu上并行地进行处理，再通过算法开始时预处理出的各种查找表来避免重复冗余的运算，最终使得算法的运行速度得到很大的提升。

此外，图3展示了运行在2.5ghz的intelxeone5540处理器，24g大小的ram以及nvidiateslac1060的机器之上的实验结果。

在医学图像配准领域，主流的方法主要分为基于特征点的图像配准和基于灰度的医学图像配准。在基于特征点的图像配准方法方面，特征点提取经常作为配准算法的一项预处理工作。由于要为后面的配准预留时间，特征提取算子的时间复杂度就不能太高。

将其他角点提取算法与harris角点提取算法进行对比，在使用多幅大小不一的图像的情况下，分别就每种算法在每种大小的图片下的特征提取用时作统计，结果如表1所示。

图像大小方面，实验分别选用了64*64、128*128、256*256和400*400的图像；角点检测算子方面，选择harris算子、susan角点检测算子和moravec角点检测算子三种角点检测算子进行对比。实验过程中保证了算法实现的编程环境、运行环境、操作系统以及计算机硬件环境不变。表1展示了三种算子特征提取所消耗的时间，从表中可以看出，就同样一幅图像，harris角点检测算子耗时最短，速度最快。

表1不同角点检测算法耗时对比表

本发明所述的是一个体数据形变编辑方法展示软件平台，由于术前基于病人真实ct(或mri)影像数据开展手术过程模拟对于完成高难度手术十分必要。传统后处理重建的三角网格模型仅能有针对性的重建部分目标组织器官信息，而原始影像体数据能够更真实全面记录人体内部全部组织信息。直接基于医学影像体数据(ct/mrivolumedata)模拟手术的整个过程是一个关键技术问题。本发明有助于直接基于医学影像体数据模拟整个手术过程，对人体内部组织信息和手术过程中各种细节有更真实的反映，从技术上更好地支持术前模拟及手术教学，从而提升高难度手术成功率。

尽管为说明目的公开了本发明的实施例和附图，但是本领域的技术人员可以理解：在不脱离本发明及所附权利要求的精神和范围内，各种替换、变化和修改都是可能的，因此，本发明的范围不局限于实施例和附图所公开的内容。