一种三维图像处理方法、系统、装置及存储介质与流程

本发明涉及医学图像处理技术领域，尤其涉及一种三维图像处理方法、系统、装置及存储介质。

背景技术：

神经外科类疾病因其致残率和病死率高而成为目前严重危害人类健康的重要疾病之一，在保护脑功能的同时最大范围切除脑肿瘤组织是保持患者生存质量、降低致残率的基础保障，是神经外科追求的目标。

因此，具备精准定位的导航系统是神经外科手术成功的关键，导航定位系统、影像图像扫描层厚、跟踪器的精度等系统误差，以及操作人员的偶然误差和术中组织的漂移等，都会使导航精度下降；而术前注册是导航手术中至关重要的步骤，也是影响导航精度的重要环节；术前注册是指在手术前，需要将图像坐标系、头部跟踪器坐标系以及定位系统的坐标系进行变换，统一变换到图像坐标系中。

常规的术前注册方式有三种：体表解剖标记注册、头皮标记物注册以及激光扫描注册。国内的很多手术导航产品均采用标记点注册（主要是体表解剖标记注册），精度低，操作复杂；而国外已经率先使用激光扫描注册，且被临床证明快速高效。激光扫描注册采用的方式是非接触型无标记扫描，采集点具有随机性；icp（迭代最近点）是一种不需要特征分割的精确的配准算法，适用于无标记注册，但是对初值（迭代的初始输入变换矩阵，在迭代运算中，初值是一个常规性的必备概念）的依赖性大。

因此，现有技术还有待于改进和发展。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术上述缺陷，本发明提供一种三维图像处理方法、系统、装置及存储介质，在用户进行头部手术前，对拍摄的用户的三维人体头部图像进行图像处理，完成不依赖于初值的激光点云匹配的手术导航注册，无需贴标志点，且不接触皮肤，一步完成配准工作，操作简单方便，提高了计算的速度和结果的准确性，提高了注册精度。

本发明解决技术问题所采用的技术方案如下：

一种三维图像处理方法，其中，所述三维图像处理方法包括：

获取已拍摄的三维人体头部图像中的三维表面信息，经图像处理截取三维人体头部图像的表面图像；

通过带有近红外探测器的激光注册工具在预设时间内采集三维人体头部图像表面的散点；

将获取到的面部图像信息点和采集点进行配准，完成采集点坐标系到图像坐标系的转换；

通过激光注册工具采集面部特定区域的点，得到旋转平移变换矩阵变化结果，将坐标显示在图像空间中验证配准的准确性。

所述的三维图像处理方法，其中，所述获取已拍摄的三维人体头部图像中的三维表面信息，经图像处理截取三维人体头部图像的表面图像具体包括：

截取三维人体头部图像的表面图像包括：三维人体头部图像中额头、眼睛和鼻子的部分；

根据灰度值等值点阈值的设定，获取已拍摄的三维人体头部图像中的三维表面信息；

以鼻尖的坐标为中心，垂直于鼻尖的方向为图像的y轴，从鼻尖往左右两侧为x方向，沿着鼻子向上为z轴正方向；

在x方向选择正负第一距离，z方向选择向上第二距离，截取三维人体头部图像的表面图像。

所述的三维图像处理方法，其中，所述第一距离为70厘米，所述第二距离为110厘米。

所述的三维图像处理方法，其中，所述通过带有近红外探测器的激光注册工具在预设时间内采集三维人体头部图像表面的散点具体包括：

通过带有近红外探测器的激光注册工具对截取的表面图像扫描；

在预设时间内采集表面图像中突出区域的多个离散点，并获取所有离散点的坐标。

所述的三维图像处理方法，其中，所述预设时间为10~16秒。

所述的三维图像处理方法，其中，所述将获取到的面部图像信息点和采集点进行配准，完成采集点坐标系到图像坐标系的转换具体包括:

将获取到的面部图像信息点和采集点进行配准，并判断是否匹配成功；

如果匹配成功，则输出相应的变换矩阵和精度，完成采集点坐标系到图像坐标系的转换；

如果匹配失败，则重新进行配准。

所述的三维图像处理方法，其中，所述通过激光注册工具采集面部特定区域的点，得到旋转平移变换矩阵变化结果，将坐标显示在图像空间中验证配准的准确性具体包括：

通过激光注册工具的探测笔接触三维人体头部图像的任意穴位，采集并记录接触点的空间坐标，得到变换矩阵变化结果；

将坐标显示在图像空间中，通过图像中位置的显示和实际穴位的对比，进一步验证配准的准确性。

一种三维图像处理系统，其中，所述三维图像处理系统包括：

信息获取模块，用于获取已拍摄的三维人体头部图像中的三维表面信息，经图像处理截取三维人体头部图像的表面图像；

散点采集模块，用于通过带有近红外探测器的激光注册工具在预设时间内采集三维人体头部图像表面的散点；

配准转换模块，用于将获取到的面部图像信息点和采集点进行配准，完成采集点坐标系到图像坐标系的转换；

坐标显示模块，用于通过激光注册工具采集面部特定区域的点，得到旋转平移变换矩阵变化结果，将坐标显示在图像空间中验证配准的准确性。

所述的三维图像处理系统，其中，所述信息获取模块具体包括：

获取单元，用于根据灰度值等值点阈值的设定，获取已拍摄的三维人体头部图像中的三维表面信息；

设置单元，用于以鼻尖的坐标为中心，垂直于鼻尖的方向为图像的y轴，从鼻尖往左右两侧为x方向，沿着鼻子向上为z轴正方向；

选择单元，用于在x方向选择正负第一距离，z方向选择向上第二距离，截取三维人体头部图像的表面图像。

所述的三维图像处理系统，其中，所述散点采集模块具体包括：

扫描单元，用于通过带有近红外探测器的激光注册工具对截取的表面图像扫描；

采集单元，用于在预设时间内采集表面图像中突出区域的多个离散点，并获取所有离散点的坐标。

所述的三维图像处理系统，其中，所述配准转换模块具体包括：

配准单元，用于将获取到的面部图像信息点和采集点进行配准，并判断是否匹配成功；

转换单元，用于如果匹配成功，则输出相应的变换矩阵和精度，完成采集点坐标系到图像坐标系的转换；

重配单元，用于如果匹配失败，则重新进行配准。

所述的三维图像处理系统，其中，所述坐标显示模块具体包括：

采集记录单元，用于通过激光注册工具的探测笔接触三维人体头部图像的任意穴位，采集并记录接触点的空间坐标，得到变换矩阵变化结果；

对比验证单元，用于将坐标显示在图像空间中，通过图像中位置的显示和实际穴位的对比，进一步验证配准的准确性。

一种三维图像处理装置，其中，包括如上所述的三维图像处理系统，还包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的三维图像处理程序，所述三维图像处理程序被所述处理器执行时实现如上所述的三维图像处理方法的步骤。

一种存储介质，其中，所述存储介质存储有三维图像处理程序，所述三维图像处理程序被处理器执行时实现如上所述三维图像处理方法的步骤。

本发明公开了一种三维图像处理方法、系统、装置及存储介质，所述方法包括：获取已拍摄的三维人体头部图像中的三维表面信息，经图像处理截取三维人体头部图像的表面图像；通过带有近红外探测器的激光注册工具在预设时间内采集三维人体头部图像表面的散点；将获取到的面部图像信息点和采集点进行配准，完成采集点坐标系到图像坐标系的转换；通过激光注册工具采集面部特定区域的点，得到旋转平移变换矩阵变化结果，将坐标显示在图像空间中验证配准的准确性。本发明在用户进行头部手术前，对用户的三维人体头部图像进行图像处理，完成不依赖于初值的激光点云匹配的手术导航注册，无需贴标志点，且不接触皮肤，一步完成配准工作，操作简单方便，提高了计算的速度和结果的准确性，并提高了注册精度。

附图说明

图1是本发明三维图像处理方法的较佳实施例的流程图；

图2是本发明三维图像处理方法的较佳实施例中步骤s10的流程图；

图3是本发明三维图像处理方法的较佳实施例中以和人体1：1的针灸头膜为三维人体头部图像作为示例的示意图；

图4是本发明三维图像处理方法的较佳实施例中经图像处理截取的三维头模表面的示意图；

图5是本发明三维图像处理方法的较佳实施例中步骤s20的流程图；

图6是本发明三维图像处理方法的较佳实施例中通过激光注册工具采集的头膜三维表面散点的示意图；

图7是本发明三维图像处理方法的较佳实施例中步骤s30的流程图；

图8是本发明三维图像处理方法的较佳实施例中配准之后三维表面散点的示意图；

图9是本发明三维图像处理方法的较佳实施例中三维表面的相对位置关系示意图；

图10是本发明三维图像处理方法的较佳实施例中步骤s40的流程图；

图11是本发明三维图像处理系统的较佳实施例的原理图；

图12为本发明三维图像处理装置的较佳实施例的运行环境示意图。

具体实施方式

为使本发明的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明较佳实施例所述的三维图像处理方法，如图1所示，一种三维图像处理方法,其中，所述三维图像处理方法包括以下步骤：

步骤s10、获取已拍摄的三维人体头部图像中的三维表面信息，经图像处理截取三维人体头部图像的表面图像。

其中，截取三维人体头部图像的表面图像包括：三维人体头部图像中额头、眼睛和鼻子的部分。

具体过程请参阅图2，其为本发明提供的三维图像处理方法中步骤s10的流程图。

如图2所示，所述步骤s10包括：

s11、根据灰度值等值点阈值的设定，获取已拍摄的三维人体头部图像中的三维表面信息；

s12、以鼻尖的坐标为中心，垂直于鼻尖的方向为图像的y轴，从鼻尖往左右两侧为x方向，沿着鼻子向上为z轴正方向；

s13、在x方向选择正负第一距离，z方向选择向上第二距离，截取三维人体头部图像的表面图像。

具体地，本发明以和人体1：1的针灸头膜为例（实际中的图像为对病人头部作ct或者mri扫描获取的术前图像），对本发明的三维图像处理方法进行说明，如图3所示为用ct扫描得到的三维针灸头膜效果图，该头膜具有和真人一样的凹凸表面，此外，头膜上还具有大量穴位，基本是直径1mm以内的小孔，这些小孔一方面可以作为天然标记点来实现配准，另一方面，小孔可以用来验证配准结果，精度比传统的直径为3~4mm的mri或者ct标记点高。

对于图3所示的3d影像图，根据灰度值等值点阈值的设定（空气和人体或者头膜对应的ct值或者mri值是不一样的），即可将3d图像的表面图像单独提取出来；也就是说，从术前的3d影像图像中，提取三维表面信息（此处三维表面信息专指表面的空间结构信息），并截取包括额头、眼睛和鼻子的部分。

本发明中，规定ct或者mri的3d扫描使用仰卧位，且层厚不能超过2mm；当人体或者头膜处于仰卧位时，鼻尖是最高点，以垂直于鼻尖的方向为图像的y轴，且向上为负，因此通过寻找表面坐标y值最小即可找到鼻尖，从鼻尖往左右两侧为x方向，沿着鼻子向上为z轴正方向；以鼻尖的坐标为中心，在x方向选择正负70厘米，z方向选择向上110厘米，截取表面，得到结果如图4所示。

步骤s20、通过带有近红外探测器的激光注册工具在预设时间内采集三维人体头部图像表面的散点。

其中，所述预设时间为10~16秒。

具体过程请参阅图5，其为本发明提供的三维图像处理方法中步骤s20的流程图。

如图5所示，所述步骤s20包括：

s21、通过带有近红外探测器的激光注册工具对截取的表面图像扫描；

s22、在预设时间内采集表面图像中突出区域的多个离散点，并获取所有离散点的坐标。

具体地，使用含有近红外探测器的用激光注册工具，手指摁下激光注册工具的开关，听到发出滴的声音，开始扫描，扫描区域为和步骤s10中截取区域一致的空间点，这个过程大概持续10~16秒，听到滴的声音，采集结束。

进一步地，头膜处于仰卧位，使用激光注册工具开始扫描，扫描区域为图4所示区域，采集时尽量选择眉骨鼻梁等突出区域，以及眼窝和鼻梁两侧凹下去的区域，采集到的3d坐标如图6所示，为80个离散点。

s30、将获取到的面部图像信息点和采集点进行配准，完成采集点坐标系到图像坐标系的转换。

具体过程请参阅图7，其为本发明提供的三维图像处理方法中步骤s30的流程图。

如图7所示，所述步骤s30包括：

s31、将获取到的面部图像信息点和采集点进行配准，并判断是否匹配成功，如果成功，则执行s32，如果失败则执行s33；

s32、则输出相应的变换矩阵和精度，完成采集点坐标系到图像坐标系的转换；

s33、则重新进行配准。

具体地，根据步骤s10和步骤s20分别得到的面部图像信息点和采集点进行配准，实现采集点坐标系到图像坐标系的转换，计算时间约为2秒，如果匹配成功，则会输出相应的变换矩阵和精度，如果失败，则提醒重新配准。

进一步地，将步骤s10中截取的所有点的坐标取平均并记为m0（xm，ym，zm）；将步骤s20中采集的所有点的坐标取平均并记为t0（xt，yt，zt）；一般的，双目定位系统相对于仰卧位的病人的方位相差不大，根据实际测量结果的统计，本发明中，取采集点到图像点的初始旋转变换矩阵为r=[010;00-1;-100]，平移向量为t=[tx,ty,tz]；假设m0是t0经过旋转平移变换后在图像空间对应的坐标点，则有关系：m0=r*t0+t，据此可以得到tx=xm-yt，ty=ym+zt，tz=zm+xt，则初始变换矩阵tr=[010tx;00-1ty;-100tz;0001];从libicp的库调用icp，“tr=icp(t,m,tr,-1,'point_to_point')”和“tr=icp(t,m,tr,1,'point_to_point')”交叉循环迭代，其中，t为所有采集点的三维坐标，m为三维表面截取的坐标，括号中的tr为上述初始迭代矩阵，输出的tr为目标变换矩阵，“-1”和“1”参数的交叉迭代，可以使的icp对于初始变换矩阵的依赖性变低，同时使计算精度更高；定义q为前后两个迭代矩阵对应的平移量的空间欧氏距离，当q小于0.00001mm时，迭代停止，输出最后一次计算所得的变换矩阵tr_last；将所有采集点t经变换矩阵变化到图像空间t_fit=tr_last*t；在面部截取点空间上，寻找每一个与t_fit距离最近的点，并计算t_fit与对应最近点的欧氏距离d；对所有d进行平均值和标准差的统计，当平均值满足小于0.8mm，标准差满足小于0.4mm时，认为配准成功，完成术前注册工作；图8和图9为配准之后三维表面散点和三维表面的相对位置关系。

s40、通过激光注册工具采集面部特定区域的点，得到旋转平移变换矩阵变化结果，将坐标显示在图像空间中验证配准的准确性。

具体过程请参阅图10，其为本发明提供的三维图像处理方法中步骤s40的流程图。

如图10所示，所述步骤s40包括：

s41、通过激光注册工具的探测笔接触三维人体头部图像的任意穴位，采集并记录接触点的空间坐标，得到变换矩阵变化结果；

s42、将坐标显示在图像空间中，通过图像中位置的显示和实际穴位的对比，进一步验证配准的准确性。

具体地，通过激光注册工具采集面部特定区域的点，经过步骤s30得到的旋转平移变换矩阵变化，在图像空间中观察指示的点是否和工具采集的位置一致，并依此来验证配准结果，一致的话则配准结果准确。

也就是说，通过探测笔接触头膜的任意穴位，双目系统记录该点空间坐标，并将其通过步骤s30得到变换矩阵变化结果，最终将坐标显示在图像空间中，通过图像中位置的显示和实际穴位的对比，可以进一步验证配准的准确性。

本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。

进一步地，如图11所示，基于上述三维图像处理方法，本发明还相应提供了一种三维图像处理系统，所述三维图像处理系统包括：信息获取模块101，用于获取已拍摄的三维人体头部图像中的三维表面信息，经图像处理截取三维人体头部图像的表面图像；散点采集模块102，用于通过带有近红外探测器的激光注册工具在预设时间内采集三维人体头部图像表面的散点；配准转换模块103，用于将获取到的面部图像信息点和采集点进行配准，完成采集点坐标系到图像坐标系的转换；坐标显示模块104，用于通过激光注册工具采集面部特定区域的点，得到旋转平移变换矩阵变化结果，将坐标显示在图像空间中验证配准的准确性。

进一步地，所述信息获取模块101具体包括：获取单元，用于根据灰度值等值点阈值的设定，获取已拍摄的三维人体头部图像中的三维表面信息；设置单元，用于以鼻尖的坐标为中心，垂直于鼻尖的方向为图像的y轴，从鼻尖往左右两侧为x方向，沿着鼻子向上为z轴正方向；选择单元，用于在x方向选择正负第一距离，z方向选择向上第二距离，截取三维人体头部图像的表面图像。

进一步地，所述散点采集模块102具体包括：扫描单元，用于通过带有近红外探测器的激光注册工具对截取的表面图像扫描；采集单元，用于在预设时间内采集表面图像中突出区域的多个离散点，并获取所有离散点的坐标。

进一步地，所述配准转换模块103具体包括：配准单元，用于将获取到的面部图像信息点和采集点进行配准，并判断是否匹配成功；转换单元，用于如果匹配成功，则输出相应的变换矩阵和精度，完成采集点坐标系到图像坐标系的转换；重配单元，用于如果匹配失败，则重新进行配准。

进一步地，所述坐标显示模块104具体包括：采集记录单元，用于通过激光注册工具的探测笔接触三维人体头部图像的任意穴位，采集并记录接触点的空间坐标，得到变换矩阵变化结果；对比验证单元，用于将坐标显示在图像空间中，通过图像中位置的显示和实际穴位的对比，进一步验证配准的准确性。

另外，如图12所示，基于上述三维图像处理方法和系统，本发明还相应提供了一种三维图像处理装置，所述三维图像处理装置包括包括如上所述的三维图像处理系统，还包括处理器10、存储器20及显示器30。图12仅示出了三维图像处理装置的部分组件，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。

所述存储器20在一些实施例中可以是所述三维图像处理装置的内部存储单元，例如三维图像处理装置的硬盘或内存。所述存储器20在另一些实施例中也可以是所述三维图像处理装置的外部存储设备，例如所述三维图像处理装置上配备的插接式硬盘，智能存储卡（smartmediacard,smc），安全数字（securedigital,sd）卡，闪存卡（flashcard）等。进一步地，所述存储器20还可以既包括所三维图像处理装置的内部存储单元也包括外部存储设备。所述存储器20用于存储安装于所述三维图像处理装置的应用软件及各类数据，例如所述安装三维图像处理装置的程序代码等。所述存储器20还可以用于暂时地存储已经输出或者将要输出的数据。在一实施例中，存储器20上存储有三维图像处理程序40，该三维图像处理程序40可被处理器10所执行，从而实现本申请中三维图像处理方法。

所述处理器10在一些实施例中可以是一中央处理器（centralprocessingunit,cpu），微处理器或其他数据处理芯片，用于运行所述存储器20中存储的程序代码或处理数据，例如执行所述三维图像处理方法等。

所述显示器30在一些实施例中可以是led显示器、液晶显示器、触控式液晶显示器以及oled（organiclight-emittingdiode，有机发光二极管）触摸器等。所述显示器30用于显示在所述三维图像处理装置的信息以及用于显示可视化的用户界面。所述三维图像处理装置的部件10-30通过系统总线相互通信。

在一实施例中，当处理器10执行所述存储器20中三维图像处理程序40时实现以下步骤：

获取已拍摄的三维人体头部图像中的三维表面信息，经图像处理截取三维人体头部图像的表面图像；

通过带有近红外探测器的激光注册工具在预设时间内采集三维人体头部图像表面的散点；

将获取到的面部图像信息点和采集点进行配准，完成采集点坐标系到图像坐标系的转换；

通过激光注册工具采集面部特定区域的点，得到旋转平移变换矩阵变化结果，将坐标显示在图像空间中验证配准的准确性。

本发明还提供一种存储介质，其中，所述存储介质存储有三维图像处理程序，所述三维图像处理程序被处理器执行时实现所述三维图像处理方法的步骤；具体如上所述。

综上所述，本发明提供一种三维图像处理方法、系统、装置及存储介质，所述方法包括：获取已拍摄的三维人体头部图像中的三维表面信息，经图像处理截取三维人体头部图像的表面图像；通过带有近红外探测器的激光注册工具在预设时间内采集三维人体头部图像表面的散点；将获取到的面部图像信息点和采集点进行配准，完成采集点坐标系到图像坐标系的转换；通过激光注册工具采集面部特定区域的点，得到旋转平移变换矩阵变化结果，将坐标显示在图像空间中验证配准的准确性。本发明在用户进行头部手术前，对用户的三维人体头部图像进行图像处理，完成不依赖于初值的激光点云匹配的手术导航注册，无需贴标志点，且不接触皮肤，一步完成配准工作，操作简单方便，提高了计算的速度和结果的准确性。

当然，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关硬件（如处理器，控制器等）来完成，所述的程序可存储于一计算机可读取的存储介质中，所述程序在执行时可包括如上述各方法实施例的流程。其中所述的存储介质可为存储器、磁碟、光盘等。

应当理解的是，本发明的应用不限于上述的举例，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，所有这些改进和变换都应属于本发明所附权利要求的保护范围。