一种脑肿瘤医学影像三维重建显示交互方法及系统与流程

本发明属于脑肿瘤医学影像三维重建技术领域，尤其涉及一种脑肿瘤医学影像三维重建显示交互方法及系统。

背景技术：

脑肿瘤包括原发性脑肿瘤和脑转移瘤，其最佳治疗手段是手术彻底切除，然因正常脑组织的重要功能及恶性肿瘤向颅内广泛浸润性生长的特点，脑恶性肿瘤，特别是胶质瘤母细胞不可能做到彻底切除。脑肿瘤包括颅内脑外肿瘤，以及脑内肿瘤。颅内脑外肿瘤多为良性肿瘤，包括脑膜瘤、垂体瘤、神经鞘瘤、颅咽管瘤，原发脑内肿瘤多为恶性肿瘤，包括胶质细胞瘤、神经母细胞瘤、淋巴瘤和转移瘤；尤其以胶质瘤多见。胶质瘤分为低级别胶质瘤(who1-2级)和高级别胶质瘤(who3-4级)，高级别胶质瘤主要为胶质母细胞瘤。然而，现有脑肿瘤医学影像三维重建显示交互方法及系统对脑肿瘤提取效率低；同时对脑肿瘤诊断不准确。

综上所述，现有技术存在的问题是：现有脑肿瘤医学影像三维重建显示交互方法及系统对脑肿瘤提取效率低；同时对脑肿瘤诊断不准确。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种脑肿瘤医学影像三维重建显示交互方法及系统。

本发明是这样实现的，一种脑肿瘤医学影像三维重建显示交互系统，所述脑肿瘤医学影像三维重建显示交互系统设置有：

图像采集模块、图像校正模块、图像提取模块、中央控制模块、图像处理模块、三维建模模块、脑肿瘤诊断模块、分析模块、方案生成模块、规划模块、操作交互模块、影像存储模块、显示模块；

图像采集模块，与中央控制模块连接，用于通过医疗影像设备采集脑肿瘤图像；

图像校正模块，与中央控制模块连接，用于通过图像校正程序对采集的脑肿瘤图像进行校正；

图像提取模块，与中央控制模块连接，用于通过提取程序提取脑肿瘤区域图像特征；

中央控制模块，与图像采集模块、图像校正模块、图像提取模块、图像处理模块、三维建模模块、脑肿瘤诊断模块、分析模块、方案生成模块、规划模块、操作交互模块、影像存储模块、显示模块连接，用于通过主控机控制各个模块正常工作；

图像处理模块，与中央控制模块连接，用于通过图像处理程序进行提取图像的处理；

三维建模模块，与中央控制模块连接，用于通过建模程序构建脑肿瘤区域三维模型；

脑肿瘤诊断模块，与中央控制模块连接，用于通过诊断程序根据脑肿瘤特征对脑肿瘤进行诊断；

分析模块，与中央控制模块连接，用于通过分析程序对三维模型进行分析；

方案生成模块，与中央控制模块连接，用于通过方案生成程序生成脑肿瘤切除方案；

规划模块，与中央控制模块连接，用于通过规划程序进行脑肿瘤切除操作的规划；

操作交互模块，与中央控制模块连接，用于通过人机交互设备进行操作的执行；

影像存储模块，与中央控制模块连接，用于通过存储器存储采集的脑肿瘤图像、模型数据；

显示模块，与中央控制模块连接，用于通过显示器进行图像显示。

本发明的另一目的在于通过一种脑肿瘤医学影像三维重建显示交互方法，所述脑肿瘤医学影像三维重建显示交互方法包括以下步骤：

步骤一，通过医疗影像设备采集脑肿瘤图像并对采集的图像进行校正；通过提取程序提取脑肿瘤区域图像特征，通过图像处理程序进行提取图像的处理；

步骤二，通过建模程序构建脑肿瘤区域三维模型；

步骤三，通过诊断程序根据脑肿瘤特征对脑肿瘤进行诊断，通过分析程序对三维模型进行分析；

步骤四，通过方案生成程序生成脑肿瘤切除方案，通过规划程序进行脑肿瘤切除操作的规划；通过人机交互设备进行操作的执行；

步骤五，通过存储器存储采集的脑肿瘤图像、模型数据；通过显示器进行显示采集图像、三维模型、生成方案、手术规划以及执行过程。

进一步，所述对采集的图像进行校正的方法包括以下步骤：

(1)叠加所述采集的脑肿瘤图像，得到一叠加图像；

(2)线性压缩所述叠加图像，以得到一归一化图像；

(3)根据该归一化图像在各个位置的像素值，确定所述畸变图像的位置和轮廓；

(4)确定所述畸变图像的校正因子，确定校正参数；

(5)根据所述校正参数，确定校正算法。

进一步，所述提取脑肿瘤区域图像特征的方法为：

脑部肿瘤图像对称性分析：通过分析程序对正常脑部图像的对称性分析，得到对称模型；

对称图像中矢面及中矢线优化：将第一步中得到的对称模型应用到肿瘤图像中，以原图像与其镜像图像的最大互信息为最优化条件计算最优化的中矢线；任意给定过重心的一条直线；计算图像关于直线的对称图像；求原图像与镜像图像的互信息量；以互信息量为相似性测度，使用鲍威尔算法优化直线斜率，使得互信息量最大；确定最优化的中矢线；

计算基于中矢线的镜像图像减影：计算原始图像与其基于最优化的中矢线镜像图像减影；

基于松弛迭代的肿瘤初始区域跟踪：利用松弛迭代方法跟踪肿瘤区域的初始边界；

基于自动种子点及窗宽的均值漂移肿瘤精确分割：根据第四步得到的肿瘤区域的初始边界，计算原始种子点和窗宽，利用均值漂移算法分割原始脑部肿瘤图像。

进一步，所述提取图像的处理方法包括以下步骤：

进行拍摄位置估计，利用针对待处理的至少一个三维对象拍摄的至少一幅图像的几何关系，估计在拍摄每幅图像时的拍摄的位置、以及每幅图像上的匹配特征点的三维点坐标，其中，每幅图像是针对一个三维对象拍摄的，每个三维对象对应于一幅或多幅图像；

进行单图像平面轮廓生成，对于每幅图像，通过用于提取图像轮廓的深度学习模型，提取所述全景图像的平面轮廓；

进行尺度归一化，将所估计的在拍摄每幅图像时的拍摄位置的尺度和每幅图像的平面轮廓的尺度进行归一化，得到经过归一化的各图像的平面轮廓；

进行多对象拼接，基于所述经过归一化的各图像的平面轮廓，拼接得到多对象平面轮廓。

进一步，所述构建脑肿瘤区域三维模型的方法包括以下步骤：

(1)基于所述图像处理步骤得到的经过归一化的各图像的平面轮廓，得到各单个三维对象的在三维空间中的平面轮廓；

(2)基于各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓；

(3)将拼接得到的在三维空间中的多对象平面轮廓转化为多对象3d模型。

进一步，所述对脑肿瘤进行诊断的方法为：

从显微内镜图像中提取局部特征描述符；

使用学习的判别字典对每个所述局部特征描述符进行编码，其中，所述学习的判别字典包括类别特定子字典，并惩罚与不同类别相关联的子字典的基础之间的相关性；

使用基于编码的局部特征描述符的、训练的机器学习型分类器对所述显微内镜图像中的组织进行分类，其中使用学习的判别字典从对每个所述局部特征描述符进行编码得到所述编码的局部特征描述符；并通过局部特征描述符对肿瘤进行诊断。

进一步，所述显微内镜图像为使用cle探针获得的共焦激光显微内镜(cle)图像。

进一步，所述基于从训练图像中提取的局部特征描述符学习所述学习的判别字典；基于从训练图像中提取的局部特征描述符学习所述学习的判别字典包括：

学习类别特定的子字典和重构系数，所述类别特定的子字典和重构系数针对多个类别中的每个类别最小化从使用所有基础的那个类别的训练图像中提取的局部特征描述符的总重构残差和从使用与该类别相关联的子字典基础的类别的训练图像中提取的局部特征描述符的重构残差，并且惩罚从使用与该类别不相关联的子字典基础的类别的训练图像中提取的局部特征描述符的重构。

进一步，所述操作的执行方法为：

(1)通过显示屏显示脑肿瘤三维模型和切除方案；

(2)在三维模型上进行脑肿瘤定位、推演最佳手术方案并模拟肿瘤切除过程，该过程在显示模块显示，并存储在储存单元中；

(3)使用数据手套建立虚拟手，并配置虚拟工具，将虚拟手和虚拟工具结合对三维模型模拟切除手术，模拟手术操作的可行性，并熟练手术流程；

(4)待熟练进行手术预演后进行手术操作，手术过程通过显示屏显示，并将画面通过存储器进行存储。

本发明的优点及积极效果为：本发明通过图像提取模块能够实现全自动脑部肿瘤区域分割提取；通过三维模型的构建对脑肿瘤区域进行还原，模拟操作更方便，真实性更好；通过脑肿瘤诊断模块从显微内镜图像中提取局部特征描述符，每个局部特征描述符使用学习的判别字典进行编码，并通过局部特征描述符对肿瘤进行诊断，大大通过脑肿瘤诊断的准确性；操作交互模块的设置能够实现对脑肿瘤手术的模拟，为真实手术提供依据，降低手术风险。

附图说明

图1是本发明实施例提供的脑肿瘤医学影像三维重建显示交互系统的结构框图；

图中：1、图像采集模块；2、图像校正模块；3、图像提取模块；4、中央控制模块；5、图像处理模块；6、三维建模模块；7、脑肿瘤诊断模块；8、分析模块；9、方案生成模块；10、规划模块；11、操作交互模块；12、影像存储模块；13、显示模块。

图2是本发明实施例提供的脑肿瘤医学影像三维重建显示交互方法的流程图。

图3是本发明实施例提供的对采集的图像进行校正的方法的流程图。

图4是本发明实施例提供的构建脑肿瘤区域三维模型的方法的流程图。

图5是本发明实施例提供的操作的执行方法的流程图。

具体实施方式

为能进一步了解本发明的发明内容、特点及功效，兹例举以下实施例，并配合附图详细说明如下。

下面结合附图对本发明的结构作详细的描述。

如图1所示，本发明实施例提供的脑肿瘤医学影像三维重建显示交互系统设置有：

图像采集模块1、图像校正模块2、图像提取模块3、中央控制模块4、图像处理模块5、三维建模模块6、脑肿瘤诊断模块7、分析模块8、方案生成模块9、规划模块10、操作交互模块11、影像存储模块12、显示模块13；

图像采集模块1，与中央控制模块4连接，用于通过医疗影像设备采集脑肿瘤图像；

图像校正模块2，与中央控制模块4连接，用于通过图像校正程序对采集的脑肿瘤图像进行校正；

图像提取模块3，与中央控制模块4连接，用于通过提取程序提取脑肿瘤区域图像特征；

中央控制模块4，与图像采集模块1、图像校正模块2、图像提取模块3、图像处理模块5、三维建模模块6、脑肿瘤诊断模块7、分析模块8、方案生成模块9、规划模块10、操作交互模块11、影像存储模块12、显示模块13连接，用于通过主控机控制各个模块正常工作；

图像处理模块5，与中央控制模块4连接，用于通过图像处理程序进行提取图像的处理；

三维建模模块6，与中央控制模块4连接，用于通过建模程序构建脑肿瘤区域三维模型；

脑肿瘤诊断模块7，与中央控制模块4连接，用于通过诊断程序根据脑肿瘤特征对脑肿瘤进行诊断；

分析模块8，与中央控制模块4连接，用于通过分析程序对三维模型进行分析；

方案生成模块9，与中央控制模块4连接，用于通过方案生成程序生成脑肿瘤切除方案；

规划模块10，与中央控制模块4连接，用于通过规划程序进行脑肿瘤切除操作的规划；

操作交互模块11，与中央控制模块4连接，用于通过人机交互设备进行操作的执行；

影像存储模块12，与中央控制模块4连接，用于通过存储器存储采集的脑肿瘤图像、模型数据；

显示模块13，与中央控制模块4连接，用于通过显示器进行图像显示。

如图2所示，本发明实施例提供的脑肿瘤医学影像三维重建显示交互方法包括以下步骤：

s101，通过医疗影像设备采集脑肿瘤图像并对采集的图像进行校正；通过提取程序提取脑肿瘤区域图像特征，通过图像处理程序进行提取图像的处理；

s102，通过建模程序构建脑肿瘤区域三维模型；

s103，通过诊断程序根据脑肿瘤特征对脑肿瘤进行诊断，通过分析程序对三维模型进行分析；

s104，通过方案生成程序生成脑肿瘤切除方案，通过规划程序进行脑肿瘤切除操作的规划；通过人机交互设备进行操作的执行；

s105，通过存储器存储采集的脑肿瘤图像、模型数据；通过显示器进行显示采集图像、三维模型、生成方案、手术规划以及执行过程。

下面结合具体实施例对本发明作进一步描述。

实施例1

本发明实施例提供的脑肿瘤医学影像三维重建显示交互方法如图2所示，作为优选实施例，如图3所示，本发明实施例提供的对采集的图像进行校正的方法包括以下步骤：

s201，叠加所述采集的脑肿瘤图像，得到一叠加图像；

s202，线性压缩所述叠加图像，以得到一归一化图像；

s203，根据该归一化图像在各个位置的像素值，确定所述畸变图像的位置和轮廓；

s204，确定所述畸变图像的校正因子，确定校正参数；

s205，根据所述校正参数，确定校正算法。

实施例2

本发明实施例提供的脑肿瘤医学影像三维重建显示交互方法如图2所示，作为优选实施例，如图4所示，本发明实施例提供的构建脑肿瘤区域三维模型的方法包括以下步骤：

s301，基于所述图像处理步骤得到的经过归一化的各图像的平面轮廓，得到各单个三维对象的在三维空间中的平面轮廓；

s302，基于各单个三维对象的在三维空间中的平面轮廓，拼接得到在三维空间中的多对象平面轮廓；

s303，将拼接得到的在三维空间中的多对象平面轮廓转化为多对象3d模型。

实施例3

本发明实施例提供的脑肿瘤医学影像三维重建显示交互方法如图2所示，作为优选实施例，如图5所示，本发明实施例提供的操作的执行方法为：

s401，通过显示屏显示脑肿瘤三维模型和切除方案；

s402，在三维模型上进行脑肿瘤定位、推演最佳手术方案并模拟肿瘤切除过程，该过程在显示模块显示，并存储在储存单元中；

s403，使用数据手套建立虚拟手，并配置虚拟工具，将虚拟手和虚拟工具结合对三维模型模拟切除手术，模拟手术操作的可行性，并熟练手术流程；

s404，待熟练进行手术预演后进行手术操作，手术过程通过显示屏显示，并将画面通过存储器进行存储。

本发明提供的基于从训练图像中提取的局部特征描述符学习所述学习的判别字典；基于从训练图像中提取的局部特征描述符学习所述学习的判别字典包括：学习类别特定的子字典和重构系数，所述类别特定的子字典和重构系数针对多个类别中的每个类别最小化从使用所有基础的那个类别的训练图像中提取的局部特征描述符的总重构残差和从使用与该类别相关联的子字典基础的类别的训练图像中提取的局部特征描述符的重构残差，并且惩罚从使用与该类别不相关联的子字典基础的类别的训练图像中提取的局部特征描述符的重构。

以上所述仅是对本发明的较佳实施例而已，并非对本发明作任何形式上的限制，凡是依据本发明的技术实质对以上实施例所做的任何简单修改，等同变化与修饰，均属于本发明技术方案的范围内。