基于深度学习和有限元建模的组织变形模拟系统及方法与流程

本公开涉及自动定位检测、有限元建模及配准技术领域，具体涉及一种基于深度学习和有限元建模的组织变形模拟系统及方法。

背景技术：

随着虚拟现实技术的发展，3D建模技术取得了巨大进步，对于辅助医生准确识别与切除病变组织、避免损伤重要组织器官或功能区、提高手术质量等具有重要临床意义。3D建模技术的成功应用需要选用有效的建模方法和矫正方法。

实施有效的建模，关键步骤之一是生成其网格化模型。网格质量决定了组织变形模拟的精度。基于有限元的建模方法是迄今为止最为有效的数值计算方法之一，能够满足组织的生物力学的属性，并且易于并行处理，但是计算量大。另外，矫正方法的选择也是建模成功的重要一步。矫正方法大致可以分为三类：术中影像矫正、非刚体配准方法与变形图谱方法。发明人在研发过程中发现，术中影像矫正是精确度最高的方法，但缺点是费用昂贵，且容易造成术中感染，大规模的临床推广仍需时日。非刚体配准算法可分为基于数学模型(如B样条模型)和基于物理模型(如线弹性模型与固体理论模型)两种方法。基于物理模型的方法能够通过组织的生物力学属性来约束组织的运动，相对于数学模型来说，能大幅减少计算量。

技术实现要素：

为了克服上述现有技术的不足，本公开提供了一种基于深度学习和有限元建模的组织变形模拟系统及方法，利用有限元建模的优势，并且通过深度学习的方法以减少建模和仿真的计算量。

本公开所采用的技术方案是：

一种基于深度学习和有限元建模的组织变形模拟系统，该系统包括图像采集装置和处理器；

所述图像采集装置，用于采集原始图像和目标图像，并传输至处理器；

所述处理器，用于选取原始图像和目标图像的感兴趣区域，建立原始三维有限元模型和目标形变三维有限元模型，并进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵，对旋转平移矩阵进行有限元分析，提取有限元特征，模拟目标形变组织三维模型。

作为本公开的进一步技术方案，所述处理器包括：

图像获取模块，用于获取图像采集装置采集的原始图像以及目标图像，并将其格式转换为PNG格式的图像；

感兴趣区域选取模块，用于选取原始图像和目标图像的感兴趣区域；

三维有限元模型构建模块，用于利用三维有限元网格生成器分别建立原始三维有限元模型和目标形变三维有限元模型；

三维配准模块，用于提取原始预配准区域和目标形变预配准区域，并对其进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵；

有限元分析模块，用于对旋转平移矩阵进行有限元分析，提取旋转向量和位移向量；

模型模拟模块，用于将旋转向量和位移向量作为约束条件，模拟出变形后的目标组织三维模型。

作为本公开的进一步技术方案，所述感兴趣区域选取模块具体用于：

将PNG格式的原始图像输入基于OverFeat的深度学习神经网络，选取原始预建模的感兴趣区域，并将原始预建模的感兴趣区域归一化处理至同一尺寸；将PNG格式的目标图像输入基于OverFeat的深度学习神经网络，选取目标预建模的感兴趣区域，并将目标预建模的感兴趣区域归一化处理至同一尺寸。

作为本公开的进一步技术方案，还包括主成分分析模块，所述主成分分析，用于提取原始三维有限元模型和目标有限元模型中用于配准的结点集合，作为三维配准模块的输入。

作为本公开的进一步技术方案，所述模型模拟模块具体用于：

读取原始三维有限元模型；

将有限元分析模块提取的旋转向量和平移向量作为有限元仿真的约束；

设置有限元单元形状参数和仿真材料参数，进行变形仿真，得到变形后的目标组织三维模型。

一种基于深度学习和有限元建模的组织变形模拟方法，该方法包括以下步骤：

获取原始图像和目标图像；

分别选取原始图像和目标图像的感兴趣区域；

建立原始三维有限元模型和目标形变三维有限元模型，并进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵；

对旋转平移矩阵进行有限元分析，提取有限元特征；

模拟目标形变组织三维模型。

作为本公开的进一步技术方案，所述分别选取原始图像和目标图像的感兴趣区域的步骤包括：

将获取的原始图像输入基于OverFeat的深度学习神经网络，进行不断训练，得到原始预建模的感兴趣区域，并将原始预建模的感兴趣区域进行归一化处理至同一尺寸；

将获取的目标图像输入基于OverFeat的深度学习神经网络，进行不断训练，得到目标预建模的感兴趣区域，并将目标预建模的感兴趣区域进行归一化处理至同一尺寸。

作为本公开的进一步技术方案，所述三维配准的步骤包括：

对原始三维有限元模型与目标形变有限元模型进行主成分分析，提取原始三维有限元模型和目标有限元模型中用于配准的结点集合，作为三维配准的输入；

采用基于物理模型的3D-ICP点云配准算法对原始预配准的结点集合和目标形变预配准的结点集合进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵。

作为本公开的进一步技术方案，所述有限元特征包括旋转向量和位移向量。

作为本公开的进一步技术方案，所述模拟目标形变组织三维模型的步骤包括：

将所建立的原始三维有限元模型输入仿真器，并将提取的旋转向量和平移向量作为仿真器的约束条件；

设置有限元单元形状参数和仿真材料参数，进行变形仿真，得到变形后的目标组织三维模型。

通过上述技术方案，本公开的有益效果是：

(1)本公开利用基于Overfeat的深度学习神经网络，实现目标组织的快速精准定位，为后续的有限元建模与仿真减小了计算负担，很大程度上提高了系统的运行速度。

(2)本公开利用三维有限元网格生成器，为感兴趣区建立以四面体为单位的有限元模型，同时采用基于物理模型的3D-ICP点云配准算法，获取原始模型与目标模型之间的形变位移场，为有限元仿真建模提供约束条件。

(3)本公开通过NiftySim仿真建模器，为组织变形施加约束条件，实时准确模拟组织变形，利用有限元建模的优势，并且通过深度学习的方法以减少建模和仿真的计算量。

附图说明

构成本公开的一部分的说明书附图用来提供对本公开的进一步理解，本公开的示意性实施例及其说明用于解释本申请，并不构成对本公开的不当限定。

图1是根据一种或多种实施方式的基于深度学习和有限元建模的组织变形模拟系统结构框图；

图2是根据一种或多种实施方式的基于深度学习和有限元建模的组织变形模拟方法流程图一；

图3是根据一种或多种实施方式的基于深度学习和有限元建模的组织变形模拟方法流程图二。

具体实施方式

下面结合附图与实施例对本公开作进一步说明。

应该指出，以下详细说明都是例示性的，旨在对本公开提供进一步的说明。除非另有指明，本公开使用的所有技术和科学术语具有与本公开所属技术领域的普通技术人员通常理解的相同含义。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

实施例一

本实施例提供一种基于深度学习和有限元建模的组织变形模拟系统，请参阅附图1，该系统包括图像采集装置、处理器和显示装置。

所述图像采集装置，用于采集原始图像和目标图像，并传输至处理器。

所述处理器，用于利用深度学习神经网络自动选取出原始图像和目标图像的感兴趣区域，将选取的原始图像和目标图像的感兴趣区域输入到三维有限元网格生成器建立原始三维有限元模型和目标形变三维有限元模型，将原始三维有限元模型和目标形变三维有限元模型进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵，对旋转平移矩阵进行有限元分析，提取有限元特征作为约束条件，最后将原始图像的原始三维有限元模型和约束条件输入NiftySim仿真建模器中，进行形变的仿真模拟，得到目标形变组织三维模型。

所述显示装置，用于显示处理器输出的目标形变组织三维模型。

在本实施例中，所述处理器包括图像获取模块、感兴趣区域选取模块、三维有限元模型构建模块、主成分分析模块、三维配准模块、有限元分析模块和模型模拟模块，其中：

所述图像获取模块，用于获取图像采集装置采集的原始组织的原始图像以及变形组织的目标图像，将DICM格式的原始图像转换成PNG格式的原始图像；将DICM格式的目标图像转换成PNG格式的目标图像。

所述感兴趣区域选取模块，用于将PNG格式的原始图像输入基于OverFeat的深度学习神经网络，选取原始预建模的感兴趣区域，并将原始预建模的感兴趣区域归一化处理至同一尺寸；将PNG格式的目标图像输入基于OverFeat的深度学习神经网络，选取目标预建模的感兴趣区域，并将目标预建模的感兴趣区域归一化处理至同一尺寸。

所述三维有限元模型构建模块，用于将选取的原始预建模的感兴趣区域以及目标预建模的感兴趣区域分别输入三维有限元网格生成器Gmsh，利用三维有限元网格生成器Gmsh分别建立原始三维有限元模型与目标形变有限元模型。

所述主成分分析模块，用于分别对原始三维有限元模型与目标形变有限元模型进行主成分分析，提取原始预配准区域和目标形变预配准区域。

所述三维配准模块，用于对原始预配准区域和目标形变预配准区域进行三维配准，获取原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵。

所述有限元分析模块，用于对旋转平移矩阵进行有限元分析，提取有效的有限元特征，包括旋转向量和位移向量。

所述模型模拟模块，用于将原始图像的原始三维有限元模型输入NifySim仿真建模器，将旋转向量和位移向量作为约束条件，模拟出变形后的目标组织三维模型。

本实施例提出的基于深度学习和有限元建模的组织变形模拟系统，通过感兴趣区域选取模块利用Overfeat目标检测网络，实现目标组织的快速精准定位，为后续的有限元建模与仿真减小了计算负担，很大程度上提高了系统的运行速度；通过三维有限元模型构建模块利用三维有限元网格生成器，为感兴趣区建立以四面体为单位的有限元模型；同时通过三维配准模块采用基于物理模型的3D-ICP点云配准算法，获取原始模型与目标模型之间的旋转平移矩阵，为有限元仿真建模提供约束条件；通过模型模拟模块实时准确模拟组织变形三维模型。本系统利用有限元建模的优势，并且通过深度学习的方法以减少建模和仿真的计算量。

实施例二

本实施例提供一种基于深度学习和有限元建模的组织变形模拟方法,利用目标检测的深度学习网络自动选取出原始图像和目标图像的感兴趣区，将选取的原始图像和目标图像的感兴趣区输入到三维有限元网格生成器建立原始三维有限元模型和目标形变三维有限元模型，将原始图像和目标图像生成的有限元模型进行三维配准，获取形变位移场，对形变位移场进行有限元分析，提取有限元特征作为约束条件，最后将目标图像的有限元模型和约束条件输入NiftySim仿真建模器中，进行形变的仿真模拟，得到组织形变三维模型。

请参阅附图2和附图3，所述基于深度学习和有限元建模的组织变形模拟方法包括以下步骤：

S101，获取未变形组织的原始图像和已变形组织的目标图像。

具体地，所述步骤101中，分别获取原始组织的原始图像以及变形组织的目标图像，并将DICM格式的原始图像转换成PNG格式的原始图像；将DICM格式的目标图像转换成PNG格式的目标图像。

S102，分别选取原始预建模的感兴趣区域以及目标预建模的感兴趣区域。

具体地，所述步骤102中，将PNG格式的原始图像输入基于OverFeat的深度学习神经网络，选取原始预建模的感兴趣区域，并将原始预建模的感兴趣区域进行归一化处理至同一尺寸；将PNG格式的目标图像输入基于OverFeat的深度学习神经网络，选取目标预建模的感兴趣区域，并将目标预建模的感兴趣区域进行归一化处理至同一尺寸。

在本实施例中，采用基于OverFeat的深度学习神经网络作为感兴趣区自动选取网络。OverFeat是一种端到端的自动目标检测网络，它把分类、定位和检测这三大视觉任务整合到一个框架中；OverFeat在ConvNet中有效地实现了多尺度和滑动窗口方法；通过学习预测物体边界，用回归网络代替分类器层来进行定位；通过累加而不是抑制边界框以增加检测置信度。

具体地，所述步骤102中，选取原始预建模的感兴趣区域，其具体实现方式如下：

选取目标组织，生成对应.xml文件作为基于OverFeat的深度学习神经网络的标签；将PNG格式的原始图像作为基于OverFeat的深度学习神经网络的输入，训练深度学习神经网络，并不断调整训练参数以获取最优网络，以获得原始数据集的预建模感兴趣区域。

具体地，所述步骤102中，选取目标预建模的感兴趣区域，其具体实现方式如下：

选取目标组织，生成对应.xml文件作为基于OverFeat的深度学习神经网络的标签；将PNG格式的目标图像作为基于OverFeat的深度学习神经网络的输入，训练深度学习神经网络，并不断调整训练参数以获取最优网络，以获得目标数据集的预建模感兴趣区域。

具体地，所述步骤102中，将感兴趣区域归一化处理至同一尺寸，其具体实现方式如下：

以最大的尺寸为基准，生成一幅同样大小的纯黑图像(所有像素值均为0)。

将目标检测网络获取的感兴趣区域与纯黑图像像素值相加，实现小尺寸感兴趣区域的扩展，实现尺寸归一化。

本实施例利用深度学习神经网络，实现目标组织的快速精准定位，为后续的有限元建模与仿真减小了计算负担，很大程度上提高了系统的运行速度。

由于预模拟组织在整幅图像的占比较小，本实施例采用目标检测网络准确的选取包含全部预模拟组织的感兴趣区域，一方面很大程度上减小了后续有限元建模、3D配准和形变仿真的计算负担，减少内存空间的占用和时间消耗；另一方面，能有效地避免感兴趣区周围组织对配准的影响，提高配准精度。

S103，分别建立原始三维有限元模型与目标形变有限元模型。

在本实施例中，将选取的原始预建模的感兴趣区域以及目标预建模的感兴趣区域分别输入三维有限元网格生成器Gmsh，利用三维有限元网格生成器Gmsh分别为感兴趣区域建立以四面体为单位的原始三维有限元模型与目标形变有限元模型。

三维有限元网格生成器Gmsh是一个带有内置前后期处理机制的三维有限元网格生成器，其设计的目标是提供一个简单的啮合工具用以处理学术问题，具有参数投入和先进的可视化能力。Gmsh围绕四个单元分别为几何，网格，求解和后处理。

三维有限元网格生成器，有两种运行方式。第一种运行Gmsh的方式是交互式的图形界面方式，只需要在命令行下键入Gmsh就可以。另外一个运行Gmsh的方法是非交互方式，这种方式更加方便。本实施例采用非交互式方式，直接在命令行上加参数运行。

S104，分别对原始三维有限元模型与目标形变有限元模型进行主成分分析，提取原始预配准的结点集合和目标形变预配准的结点集合。

具体地，提取原始三维有限元模型和目标有限元模型中用于配准的结点集合，作为三维配准的输入。

S105，对原始预配准的结点集合和目标形变预配准的结点集合进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵。

具体地，采用基于物理模型的3D-ICP点云配准算法对原始预配准的结点集合和目标形变预配准的结点集合进行三维配准，得到原始三维有限元模型与目标形变有限元模型之间的旋转平移矩阵。其具体实现方式如下：

获取原始预配准的结点集合与目标形变预配准的结点集合中任意两个结点之间的旋转平移矩阵；

在已知一个旋转平移初始值的情况下，将源结点变换到目标结点相同的坐标系下，计算得到更加精确的旋转平移矩阵。

本实施例采用基于物理模型的3D-ICP点云配准算法，获取原始模型与目标模型之间的旋转平移矩阵，为有限元仿真建模提供约束条件。

S106，对旋转平移矩阵进行有限元分析，提取有效的有限元特征。

具体地，对步骤105得到的旋转平移矩阵进行有限元分析，提取旋转向量和位移向量，作为Niftysim仿真器输入的约束条件。

S107，将提取的有限元特征作为约束条件，利用仿真模型模拟出变形后的组织三维模型。

具体地，所述步骤107中，将原始图像的原始三维有限元模型输入NifySim仿真建模器，将提取的有限元特征作为约束条件，模拟出变形后的组织三维模型。

NiftySim是伦敦大学开发的高性能非线性有限元求解器。一个关键的特性是基于GPU的执行工具包，它的性能显著优于同类型的商业包。

具体地，所述步骤107中，模拟变形后的组织三维模型，其具体实现方式如下：

读取GMSH生成的原始三维有限元模型；

将有限元分析提取的旋转向量和平移向量作为有限元仿真的约束；

设置有限元单元形状参数和仿真材料参数，进行变形仿真，得到变形后的组织三维模型。

本实施例提出的基于深度学习和有限元建模的组织变形模拟方法，采用计算机自动检测、有限元建模、NiftySim仿真等技术实现组织变形的快速准确模拟。采用GPU和深度学习神经网络，有效减少计算机耗时；采用自动定位检测的预处理技术，自动选取有效信息更多的感兴趣区。对配准得到的形变位移场进行有限元分析，作为仿真模拟的约束条件，有效的模拟出了形变组织的模型，利用有限元建模的优势，并且通过深度学习的方法以减少建模和仿真的计算量。

上述虽然结合附图对本公开的具体实施方式进行了描述，但并非对本公开保护范围的限制，所属领域技术人员应该明白，在本公开的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本公开的保护范围以内。