三维医学模型的处理方法和装置与流程

本发明涉及医疗影像技术，尤其涉及一种三维医学模型的处理方法和装置。

背景技术：

随着计算机图形学、计算机断层技术(computedtomography，ct)、磁共振成像(magneticresonanceimaging，mri)、超声(ultrasonic，us)等医学影像技术的发展及应用，可将传统二维医学影像重建为立体的三维医学模型。三维医学模型可清楚显示人体器官、血管、病灶大小形状和周边组织位置关系，可以更生动立体的辅助医生进行诊断治疗，提升诊断及治疗规划的准确性及高效性。

人体器官结构复杂，尤其血管纷繁复杂，基于二维的医学图像序列重建的三维医学模型中的血管往往有断连之处，存在断连的三维医学模型可能会影响医生的诊断治疗。因此，需对三维医学模型中的器官断连处进行修补。

传统的器官断连处的修补方法为在二维的医学图像序列上的断点处进行手动绘制，根据修补后的二维的医学图像序列重新生成三维医学模型。但是，医学图像序列中的医学图像多达数百张，在二维的医学图像序列中确定器官断连处所对应的图像以及器官断连处在图像中的位置耗时耗力，使得器官断连处的修补难以实现。

技术实现要素：

为了解决背景技术中提到的至少一个问题，本发明提供一种三维医学模型的处理方法和装置。

本发明一方面提供一种三维医学模型的处理方法，包括：

在三维医学模型中的器官断连处添加填充物，所述填充物用于连接所述器官断连处；

获取所述填充物在所述三维医学模型中的三维坐标信息；

根据所述填充物在所述三维医学模型中的三维坐标信息和所述填充物的尺寸，确定所述器官断连处在生成所述三维医学模型的医学图像序列中的映射区域。

一种可能的实现方式中，所述填充物为探针的球形探头，所述在三维医学模型中的器官断连处添加填充物，包括：

在所述三维医学模型上添加所述探针；

调整所述探针在所述三维医学模型上的位置，直至所述探针的球形探头位于所述器官断连处；

调整所述球形探头的直径，直至所述球形探头的直径与所述器官断连处的断连长度相同。

一种可能的实现方式中，所述获取所述填充物在所述三维医学模型中的三维坐标信息，包括：

根据所述探针在所述三维医学模型中的初始坐标信息以及对所述探针的调整操作导致的探针的坐标位移信息，确定所述球形探头的球心在所述三维医学模型中的三维坐标信息。

一种可能的实现方式中，所述三维坐标信息包括图像坐标信息和深度信息；所述根据所述填充物在所述三维医学模型中的三维坐标信息和所述填充物的尺寸，确定所述器官断连处在生成所述三维医学模型的医学图像序列中的映射区域，包括：

根据所述球形探头的球心在所述三维医学模型中的深度信息，从所述医学图像序列中确定第一医学图像；

以所述第一医学图像为原点、以所述球形探头的半径为跨度，根据相邻两帧医学图像的层间距，提取所述医学图像序列中位于所述第一医学图像之前的跨度内的n帧第二医学图像、以及，位于所述第一医学图像之后的跨度内的n帧第三医学图像；n为正整数；

将所述第一医学图像、所述n帧第二医学图像和所述n帧第三医学图像作为出现器官断连的第四医学图像；

确定每帧所述第四医学图像中所述第四医学图像与所述球形探头的交界线范围的区域，为所述器官断连处在所述第四医学图像中的映射区域。

一种可能的实现方式中，所述确定所述器官断连处在生成所述三维医学模型的医学图像序列中的映射区域之后，所述三维医学模型的处理方法还包括：

对所述医学图像序列中的每帧所述第四医学图像中的器官断连处的映射区域，进行图像增强，得到增强后的医学图像序列；

根据所述增强后的医学图像序列，重新生成所述三维医学模型。

本发明另一方面提供一种三维医学模型的处理装置，包括：

填充物添加模块，用于在三维医学模型中的器官断连处添加填充物，所述填充物用于连接所述器官断连处；

坐标信息获取模块，用于获取所述填充物在所述三维医学模型中的三维坐标信息；

映射区域获取模块，用于根据所述填充物在所述三维医学模型中的三维坐标信息和所述填充物的尺寸，确定所述器官断连处在生成所述三维医学模型的医学图像序列中的映射区域。

一种可能的实现方式中，所述填充物为探针的球形探头，所述填充物添加模块，包括：

探针添加单元，用于在所述三维医学模型上添加所述探针；

探针调整单元，用于调整所述探针在所述三维医学模型上的位置，直至所述探针的球形探头位于所述器官断连处；

探头调整单元，用于调整所述球形探头的直径，直至所述球形探头的直径与所述器官断连处的断连长度相同。

一种可能的实现方式中，所述坐标信息获取模具体用于，根据所述探针在所述三维医学模型中的初始坐标信息以及对所述探针的调整操作导致的探针的坐标位移信息，确定所述球形探头的球心在所述三维医学模型中的三维坐标信息。

一种可能的实现方式中，所述三维坐标信息包括图像坐标信息和深度信息；所述映射区域获取模块具体用于，

根据所述球形探头的球心在所述三维医学模型中的深度信息，从所述医学图像序列中确定第一医学图像；

以所述第一医学图像为原点、以所述球形探头的半径为跨度，根据相邻两帧医学图像的层间距，提取所述医学图像序列中位于所述第一医学图像之前的跨度内的n帧第二医学图像、以及，位于所述第一医学图像之后的跨度内的n帧第三医学图像；n为正整数；

将所述第一医学图像、所述n帧第二医学图像和所述n帧第三医学图像作为出现器官断连的第四医学图像；

确定每帧所述第四医学图像中所述第四医学图像与所述球形探头的交界线范围的区域，为所述器官断连处在所述第四医学图像中的映射区域。

一种可能的实现方式中，所述三维医学模型的处理装置还包括：

增强模块，用于对所述医学图像序列中的每帧所述第四医学图像中的器官断连处的映射区域，进行图像增强，得到增强后的医学图像序列；

重建模块，用于根据所述增强后的医学图像序列，重新生成所述三维医学模型。

本发明实施例提供的三维医学模型的处理方法和装置，包括：在三维医学模型中的器官断连处添加填充物，填充物用于连接器官断连处；获取填充物在三维医学模型中的三维坐标信息；根据填充物在三维医学模型中的三维坐标信息和填充物的尺寸，确定器官断连处在生成三维医学模型的医学图像序列中的映射区域。本发明提供的三维医学模型的处理方法和装置可以快速准确的定位三维医学模型中的血管的断连处在二维的医学图像序列肿的对应区域，极大的方便了后续三维医学模型中的血管补全，可提供更准确的三维医学模型，有利于医护人员更好地分析病症。

附图说明

图1为对照显示的三维医学模型和二维医学图像的示意图；

图2为三维医学模型中的血管示意图；

图3为本发明实施例一提供的三维医学模型的处理方法的流程示意图；

图4为在三维医学模型中的器官断连处添加填充物的示意图；

图5为本发明实施例二提供的三维医学模型的处理方法的流程示意图；

图6为在三维医学模型中的器官断连处添加探针的示意图；

图7为本发明实施例一提供的三维医学模型的处理装置的结构示意图；

图8为本发明实施例二提供的三维医学模型的处理装置的结构示意图；

图9为本发明实施例三提供的三维医学模型的处理装置的结构示意图。

具体实施方式

在对本发明实施例进行详细的解释说明之前，先对本发明实施例的应用场景予以介绍。本发明实施例提供的方法应用于终端，该终端为医疗场景中医疗设备，该医疗设备可以为医学影像的显示装置，如计算机、ct机、mri仪等，该医学影像可以为二维医学图像、三维医学重建模型等，本发明实施例对此不做限定。示例的，本发明实施例提供的方法还可应用于计算机辅助医疗显示装置，属于计算机辅助医疗诊断领域。计算机辅助诊断(computeraideddiagnosis，cad)是指通过影像学、医学图像处理技术以及其他可能的生理、生化手段，结合计算机的分析计算，辅助发现病灶，提高诊断的准确率。

在计算机辅助医疗诊断中常用的手段之一是，根据沿指定方向阵列排布的多张二维医学图像，即医学图像序列生成三维医学模型，通过将该三维医学模型和该二维医学图像进行对照显示，来提高疾病诊断的准确率。图1为对照显示的三维医学模型和二维医学图像的示意图。图1左侧为三维医学模型，图1右侧为二维医学图像。

其中，医学图像序列中的多张二维医学图像的形状、大小和层间距(层间距即相邻的两张原始二维医学图像之间的距离)均相等。该二维医学图像可以为x线ct图像或者mri图像。

示例的，基于多张二维医学图像生成三维医学模型的过程可以包括：使用三维重建算法对该多张二维医学图像进行三维重建，以得到对应的三维医学模型，例如，该三维重建过程可以为：首先获取一系列二维医学图像原始数据；根据要分割的组织器官，采用特定的分割提取方法从二维医学图像数据上进行分割；分割结果通过移动立方体(marchingcubes，mc)绘制方法生成三维模型；将三维模型最终渲染到终端屏幕。

但是，人体血管纷繁复杂，存在部分血管较细以及医学图像中血管特征不明显的情况，基于二维的医学图像序列重建的三维医学模型中的血管往往有断连之处，存在断连的三维医学模型可能会影响医生的诊断治疗。因此，需对三维医学模型中的器官断连处进行修补。图2为三维医学模型中的血管示意图。图2中用白色圆圈标识出了一处器官断连处。

传统的器官断连处的修补方法为在二维的医学图像序列上的断点处进行手动绘制，根据修补后的二维的医学图像序列重新生成三维医学模型。但是，医学图像序列中的医学图像多达数百张，在二维的医学图像序列中确定器官断连处所对应的图像以及器官断连处在图像中的位置耗时耗力，使得器官断连处的修补难以实现。

本发明实施例为解决上述问题，提供一种三维医学模型的处理方法和装置，可以快速准确的定位三维医学模型中的器官的断连处在二维的医学图像序列中的对应区域，极大的方便了后续三维医学模型中的器官补全，可提供更准确的三维医学模型，有利于医护人员更好地分析病症。

图3为本发明实施例一提供的三维医学模型的处理方法的流程示意图。如图3所示，三维医学模型的处理方法包括：

s301、在三维医学模型中的器官断连处添加填充物。

其中，填充物用于连接器官断连处。

示例性地，三维医学模型中的血管可能存在多处器官断连，本实施例中，对于任一器官断连处，在该器官断连处添加填充物，使得断连的器官恢复连接。示例性的，填充物可以为球体，也可以为立方体，圆柱体等。

示例性的，当用户输入插入填充物的指令，用户操作界面上呈现填充物，用户操作填充物，使得填充物填充在器官断连处，并可通过调整填充物的形状、大小、角度等将断连的器官连接。图4为在三维医学模型中的器官断连处添加填充物的示意图。本发明各实施例及附图均以血管为例对填充过程进行示例性说明。

s302、获取填充物在三维医学模型中的三维坐标信息。

示例性的，在将填充物添加在三维医学模型中的器官断连处之后，获取填充物在三维医学模型中的三维坐标。在根据二维的医学图像序列生成三维医学模型时，为三维医学模型建立三维坐标系。当将填充物放置在三维医学模型中时，可确定填充物的三维坐标。

示例性的，确定填充物的三维坐标时，考虑到显示屏中仅能显示填充物的二维坐标，故可通过旋转三维医学模型及三维医学模型的三维坐标，对填充物进行第三维度的移动，从而可获取填充物的三维坐标。

s303、根据填充物在三维医学模型中的三维坐标信息和填充物的尺寸，确定器官断连处在生成三维医学模型的医学图像序列中的映射区域。

示例性的，在确定了填充物在三维医学模型中的三维坐标信息后，可根据三维坐标信息以及填充物的尺寸，确定器官断连处在生成三维医学模型的医学图像序列中的映射区域。当填充物在三维医学模型中的三维坐标信息以及尺寸确定后，由于三维医学模型由二维的医学图像序列得到，因此，可根据填充物的坐标、尺寸以及医学图像层间距，确定出哪些医学图像中存在器官断连处，且存在器官断连的医学图像中器官断连的区域。

可选的，当填充物为填充球时，获取填充球的球心在三维医学模型中的三维坐标信息，填充物的尺寸为填充球的直径，填充球的直径与器官断连处的断连长度相同，使得断连的血管通过填充球连接在一起。

本发明实施例提供的三维医学模型的处理方法，包括：在三维医学模型中的器官断连处添加填充物，填充物用于连接器官断连处；获取填充物在三维医学模型中的三维坐标信息；根据填充物在三维医学模型中的三维坐标信息和填充物的尺寸，确定器官断连处在生成三维医学模型的医学图像序列中的映射区域。可以快速准确的定位三维医学模型中的血管的断连处在二维的医学图像序列肿的对应区域，极大的方便了后续三维医学模型中的血管补全，可提供更准确的三维医学模型，有利于医护人员更好地分析病症。

在上述图3所示实施例的基础上，本发明还提供一种三维医学模型的处理方法。图5为本发明实施例二提供的三维医学模型的处理方法的流程示意图。本实施例中，以填充物为探针的球形探头为例，对添加填充物的过程进行了详细说明。如图5所示，三维医学模型的处理方法包括：

s501、在三维医学模型上添加探针。

示例性的，图6为在三维医学模型中的器官断连处添加探针的示意图。如图6所示，探针呈针状，探针包括直径可调的球形探头和针体。为方便对探针的控制并计算探针的探头的坐标，在探针所在直线上设置有两个控制球，使得位于两个控制球连线上的探针的位置和方向发生变化。示例性的，两个控制球位于三维医学模型的包围球上。

示例性的，包围球为包裹整个三维医学模型的球体。获取包围球的方式可以为：

获取三维医学模型的最小点和最大点，并根据最小点和最大点确定出三维医学模型的包围球。

其中，最小点的三维坐标分别由三维医学模型中三个维度上的坐标最小的点决定，最大点的三维坐标分别由三维医学模型中三个维度上的坐标最大的点决定。

示例性的，根据器官的划分，医学三维模型中包括至少一个三维模型。例如肝脏三维模型，心脏三维模型和血管三维模型等。可根据每一个三维模型的最小点与最大点，获取三维医学模型的最小点和最大点。

示例性的，根据三维医学模型的最小点和最大点，可确定出包围球的球心和半径。其中，包围球的球心坐标origin＝(最小点坐标值+最大点坐标值)/2。包围球的半径radius＝最小点或最大点与球心的距离。

示例性的，探针的两个控制端的初始位置位于过球心的水平线上，如图6左侧所示。此时，右侧控制球的坐标ctr_point_origin_0＝origin+vec3(radius，0，0)，即将包围球的球心向右侧移动半径长度，得到右侧控制球的坐标。左侧控制球的坐标ctr_point_origin_1＝origin-vec3(radius，0，0)。示例性的，两个控制球还可以为将包围球的球心向其他两个维度方向移动半径长度得到。

示例性的，探针针柄在两个控制球的连线上，因此，可采用两个控制球的坐标以及一个系数beta来表示探针针柄的坐标。示例性的，针柄的坐标可采用计算公式ctr_depth＝beta*ctr_point_origin_0+(1-beta)*ctr_point_origin_1获取。beta可以用于指示探针针柄与右侧控制球的接近程度，beta为1，则表示探针针柄位于右侧控制球处。此时，探针方向为probe_orient可以采用计算公式probe_orient＝ctr_point_origin_0-ctr_point_origin_1获得。

示例性的，根据length＝glm::normalize(probe_orient)*radius*k可获得探针的长度，根据length以及针柄的坐标ctr_depth，可获得球形探头的三维坐标measure_ball＝ctr_depth+length。其中，glm::normalize()用于对探针方向进行归一化，radius*k用于指示预设探针长度，k为预设参数，k的取值指示了探针的长度与包围球的半径的比值。

s502、调整探针在三维医学模型上的位置，直至探针的球形探头位于器官断连处。

示例性的，用户可通过鼠标操作，调整调整探针的两个控制球，修改探针在三维医学模型上的位置，直至探针的球形探头位于器官断连处。

s503、调整球形探头的直径，直至球形探头的直径与器官断连处的断连长度相同。

示例性的，当探针的球形探头填充到器官断连处时，可逐步球形探头的直径，使得球形探头的直径与器官断连处的断连长度相同。同时，球形探头的球心位于器官断连的中心位置处。

s504、获取填充物在三维医学模型中的三维坐标信息。

示例性的，可根据探针在三维医学模型中的初始坐标信息以及对探针的调整操作导致的探针的坐标位移信息，确定球形探头的球心在三维医学模型中的三维坐标信息。

示例性的，可获取探针的两个控制球移动后坐标，根据两个控制球移动后坐标可确定探针球形探头在移动后坐标。

示例性的，以探针的右侧控制球为例，获取探针右侧控制球的坐标的过程如下；

示例性的，右侧控制球在屏幕上拖动的位移trans(x-last_x，-(y-last_y)，0)，其中(x，y)为右侧控制球拖动后在屏幕上的二维坐标，(last_x，last_y)为右侧控制球拖动前在屏幕上的二维坐标。

因此，根据视觉原理，将右侧控制球拖动前的坐标ctr_point_origin_0映射到二维屏幕，得到对应的屏幕坐标ctr_point_origin_0_screen。

根据右侧控制球在屏幕上的位移trans，可计算得到右侧控制球拖动后的屏幕位置：ctr_point_origin_0_new_screen＝ctr_point_origin_0_screen+trans。

示例性的，将右侧控制球拖动后的屏幕位置这一二维坐标投影到三维上时，可将二维点的深度坐标的取值取最大值1.0和最小值-1.0，由此得到二维坐标点在三维场景中的近点line_p0和远点line_p1。

根据近点line_p0和远点line_p1两点连线与包围球的交点，可得到当前控制球的新的三维位置ctr_point_origin_0_new，根据ctr_point_origin_0_new可更新针柄坐标、探针和球形探头的坐标。

s505、根据填充物在三维医学模型中的三维坐标信息和填充物的尺寸，确定器官断连处在生成三维医学模型的医学图像序列中的映射区域。

示例性的，获取器官断连处在医学图像序列中的映射区域的过程可以包括：

s11、根据球形探头的球心在三维医学模型中的深度信息，从医学图像序列中确定第一医学图像。

s12、以第一医学图像为原点、以球形探头的半径为跨度，根据相邻两帧医学图像的层间距，提取医学图像序列中位于第一医学图像之前的跨度内的n帧第二医学图像、以及，位于第一医学图像之后的跨度内的n帧第三医学图像；n为正整数。

s13、将第一医学图像、n帧第二医学图像和n帧第三医学图像作为出现器官断连的第四医学图像。

s14、确定每帧第四医学图像中第四医学图像与球形探头的交界线范围的区域，为器官断连处在第四医学图像中的映射区域。

可选的，如图5所示，在获取器官断连处在医学图像序列中的映射区域之后，三维医学模型的处理方法还包括：

s506、对医学图像序列中的每帧第四医学图像中的器官断连处的映射区域，进行图像增强，得到增强后的医学图像序列。

示例性的，基于血管属于管道类结构，管道的hessian矩阵特征值大小规律，即hessian矩阵的特征值中，有一个特征非常小，而另外两个特征值非常大，因此可对映射区域采用基于hessian矩阵的多尺度增强滤波方法进行图像增强。

s507、根据增强后的医学图像序列，重新生成三维医学模型。

示例性的，在获取器官断连处在医学图像序列中的映射区域之后，还可直接在映射区域内进行血管提取，以根据血管提取结果重建三维医学模型。

示例性的，在获取器官断连处在医学图像序列中的映射区域之后，还可直接采用手动修复器官断连处的方式，进行器官断连修复。

本发明实施例在三维医学模型上放置一个可移动的探针，通过调节探针的方向和进深可以获得断连接处填充的探头的球心的三维坐标值；通过调节探针头部小球，获得可以将断连接处全部包括的最小的探头直径。通过在三维医学模型上，对断连接处探头的球心坐标以及探头的直径的获取，可以将这两个值映射到原始二维序列图像上，从而得到断连接处在医学图像上的大致范围，可在这个范围内可进行手动或自动的修补，方便了填充物的添加，简化了填充物的坐标获取。

示例性的，本发明实施例另一方面还提供一种三维医学模型的处理装置，用于执行上述任一实施例中的三维医学模型的处理方法。

图7为本发明实施例一提供的三维医学模型的处理装置的结构示意图。本实施例提供的三维医学模型的处理装置可用于执行任一实施例中的三维医学模型的处理方法。如图7所示，三维医学模型的处理装置包括：

填充物添加模块701，用于在三维医学模型中的器官断连处添加填充物，填充物用于连接器官断连处；

坐标信息获取模块702，用于获取填充物在三维医学模型中的三维坐标信息；

映射区域获取模块703，用于根据填充物在三维医学模型中的三维坐标信息和填充物的尺寸，确定器官断连处在生成三维医学模型的医学图像序列中的映射区域。

可选的，在图7所示实施例的基础上，图8为本发明实施例二提供的三维医学模型的处理装置的结构示意图。如图8所示，填充物为探针的球形探头，填充物添加模块701，包括：

探针添加单元801，用于在三维医学模型上添加探针；

探针调整单元802，用于调整探针在三维医学模型上的位置，直至探针的球形探头位于器官断连处；

探头调整单元803，用于调整球形探头的直径，直至球形探头的直径与器官断连处的断连长度相同。

可选的，坐标信息获取模702具体用于，根据探针在三维医学模型中的初始坐标信息以及对探针的调整操作导致的探针的坐标位移信息，确定球形探头的球心在三维医学模型中的三维坐标信息。

可选的，三维坐标信息包括图像坐标信息和深度信息；映射区域获取模块703具体用于，

根据球形探头的球心在三维医学模型中的深度信息，从医学图像序列中确定第一医学图像；

以第一医学图像为原点、以球形探头的半径为跨度，根据相邻两帧医学图像的层间距，提取医学图像序列中位于第一医学图像之前的跨度内的n帧第二医学图像、以及，位于第一医学图像之后的跨度内的n帧第三医学图像；n为正整数；

将第一医学图像、n帧第二医学图像和n帧第三医学图像作为出现器官断连的第四医学图像；

确定每帧第四医学图像中第四医学图像与球形探头的交界线范围的区域，为器官断连处在第四医学图像中的映射区域。

可选的，在图7所示实施例的基础上，图9为本发明实施例三提供的三维医学模型的处理装置的结构示意图。如图9所示，三维医学模型的处理装装置还包括：

增强模块704，用于对医学图像序列中的每帧第四医学图像中的器官断连处的映射区域，进行图像增强，得到增强后的医学图像序列；

重建模块705，用于根据增强后的医学图像序列，重新生成三维医学模型。

在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。