一种病理切片的3D重建方法及其装置与流程

本发明涉及计算机影像技术领域，尤其涉及应用在医疗系统中的一种病理切片的3d重建方法及其装置。

背景技术：

随着计算机技术的成熟与数字信息科技的发展，对各个领域都起到翻天覆地的科技进步，而对于在医疗研究和临床诊断领域中也提供了越来越多的便利，最直接的应用诸如数字存储，培训教学，远程诊断都已经相当成熟。基于医疗行业的特殊性，现有的数字辅助系统更多专注于平台的提供，连接以及存储等功能。而对有关医疗影像材料的分析所出现的统计方面的软件，更多地专注于科研成果上，如国外的slicer和中科大的mitk平台。由于目前商用的影像学软件更多服务于平台的维护与数据的存储，并不能从根本上参与医生的诊疗过程，因此对于医生的诊疗并没有任何贡献，而单纯依赖于医生的经验知识，难免有所忽视，而造成医疗过程复杂甚至造成一定的误诊。比如在现有技术中，医生在对组织疾病进行判断、归因、治疗时常依赖病理切片图，病理切片图类似于ct扫描片，是某组织切片按照竖直方向，取一定长度逐层显微镜下成像得到的序列图。目前大部分医生的做法是，借助软件和医理对每一副切片图分别标出可疑区域，最后一张张查看，进行整体的判断。这种做法很直接。但是需要医生投入专注的立体想象思维，而且当背景颜色干扰性强或者可以区域较小时很容易漏掉小可疑结构。所以在医疗诊断领域急需一种可以与医生的经验知识结合简化医疗过程并降低误诊率的数字处理技术。

技术实现要素：

本发明目的是在于提供一种病理切片的3d重建方法，与医生的经验知识形成互补，简化医疗过程并降低误诊率。本发明的方法对显微镜按顺序拍摄的一组2d病理切片照片进行区域标记后，重建出感兴趣区域的3d几何形状，能形象准确得出有效的病理信息。

本发明解决技术问题采用如下技术方案：

一种病理切片的3d重建方法，至少包括以下步骤：

步骤a：获取病理切片图片序列所对应的数字图像数据；

步骤b：根据所获得的数字图像数据对所述病理切片的各个相邻层进行位置确定，生成网格对其的三维数组；

步骤c：对所获得的三维数组进行数据处理获得二进制的三维数组；

步骤d：依据所获得的二进制的三维数组进行三维建模并保存为三维模型文件；

步骤e：加载所述的三维模型文件至三维绘图软件可视化所述的病理切片图片的三维结构。

其中，在所述步骤a中，所述的病理切片图片序列按像素位逐个表示为三通道浮点型数字图像数据。

其中，在所述步骤b中，采用几何平移、旋转变换对所述病理切片各个相邻层进行最小二乘拟合，并以上下两层像素差的欧式距离的极小值作为终止条件，得出上下层的空间对齐位置后的相对位置，再由几何插值生成网格对齐的三维数组。

其中，在所述步骤c中，至少包括以下数据处理：

将所述病理切片图像对应的数字图像数据的rgb图像格式转化为hsv格式；

在所述hsv的颜色空间采用阈值分割法进行阈值分割获得边界图；

再根据获得的边界图进行形态学填懂，获得分割区域。

其中，在所述步骤d中，至少包括：

根据步骤c中所获得的分割区域进行各个方向的无数据边界的增加扩展；

采用marching-cube算法对增加扩展后的区域的结果提取表面，设置合适等值面，得出三角网格polydata数据结构；

消除所述三角网格polydata数据结构中的孤立结构，获得三维模型文件。

其中，所述的marching-cube算法具体为：逐个处理数据场中的立方体(体素)，分类出与等值面相交的立方体，采用插值计算出等值面与立方体边的交点；再根据立方体每一顶点与等值面的相对位置，将等值面与立方体边的交点按一定方式连接生成等值面，作为等值面在该立方体内的一个逼近表示。

其中，在所述步骤e中，还包括拉普拉斯迭代平滑过程，结合原始rgb数据对平滑后的数据染色以及将所述染色后的数据写入位置信息的步骤。

本发明还提供一种病理切片的3d重建装置，其特征在于，至少包括以下程序模块：

图片获取模块，获取病理切片图片序列所对应的数字图像数据；

图像配准模块，根据所获得的数字图像数据对所述病理切片的各个相邻层进行位置确定，生成网格对应其的三维数组；

区域分割模块，对所获得的三维数组进行数据处理获得二进制的三维数组；

三维建模模块，依据所获得的二进制的三维数组进行三维建模并保存为三维模型文件；

可视化模块，加载所述的三维模型文件至三维绘图软件可视化所述的病理切片图片的三维结构。

本发明还提供一种病理切片的3d重建装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如所述方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时实现如所述方法的步骤。

本发明具有如下有益效果：本发明基于以下的对病理切片的处理，即对病理切片数据一次分析之后进行二次处理；再利用计算机视觉技术，通过对病理切片内部组织特性的空间分析，将二维的可视化可疑区域重建为等效的三维空间上的结构，以便直观简洁准确地对病理进行分析治疗，即提取病理切片的三维结构特征，同时用不同颜色标记不同病变可疑区，能更形象，准确得出有效病理信息：实现可以与医生的经验知识结合简化医疗过程并降低误诊率。

附图说明

图1为本发明所述的一种病理切片的3d重建方法的流程简图；

图2为本发明方法中所采用的拉普拉斯(laplacian)迭代平滑过程示意图。

具体实施方式

下面结合实施例及附图对本发明的技术方案作进一步阐述。

本发明提供了一种病理切片的3d重建方法，至少包括以下步骤(可参考图1所示的方法流程简图)：

步骤a：获取病理切片图片序列所对应的数字图像数据；

步骤b：根据所获得的数字图像数据对所述病理切片的各个相邻层进行位置确定，生成网格对其的三维数组；

步骤c：对所获得的三维数组进行数据处理获得二进制的三维数组；

步骤d：依据所获得的二进制的三维数组进行三维建模并保存为三维模型文件；

步骤e：加载所述的三维模型文件至三维绘图软件可视化所述的病理切片图片的三维结构。

其中，在所述步骤a中，所述的病理切片图片序列按像素位逐个表示为三通道浮点型数字图像数据。步骤a即为图1中的读取图片步骤，在本实施例中，可借助现有技术中的图形软件对获得的病理切片图片序列按像素位逐个表示为计算机可处理识别的数字格式，如得到三通道浮点型(float)数字图像数据。

在本发明方法的所述步骤b中，对每一层图片的像素位置施加一个包括平移、旋转、缩放的仿射变换，并以变换后上下两层中所有位置相同的像素值的欧式距离的平方和作为非线性优化的目标条件，求解出使得上下层之间所有像素距离平方和最小的变换矩阵，再根据显微镜在拍摄时设置的空间分辨率和层厚等信息由几何插值生成网格对齐的三维数组。参考图1所示的配准步骤，即进行图片的配准，在实际应用中，输入的病理图一般为纵向切片，每一张切片难免会出现原点，方向的细微差别，会产生不可知的误差，在本发明的方法中，利用几何平移、旋转变换对切片各个相邻层进行最小二乘拟合，以上下两层像素差的欧式距离的极小值作为终止条件，得出上下层的空间对齐位置后的相对位置，然后几何插值生成网格对齐的三维数组，方便进行后续计算处理。

参考图1中的区域分割步骤，在所述步骤c中，至少包括以下数据处理：

将所述病理切片图像对应的数字图像数据的rgb图像格式转化为hsv格式；

在所述hsv的颜色空间采用阈值分割法进行阈值分割获得边界图；

再根据获得的边界图进行形态学填懂，获得分割区域。

在本实施例中，首先，将rgb图像格式转化为hsv格式；因为病理标记特殊性，原始的rgb图像做颜色分割时容易受到白色区域干扰，需要很精准的阈值才能得到清晰的边界，而且不稳定，本发明经过若干试验获得数据证明，hsv格式具有较理想的抗干扰性，分割出来的边界只存在少许噪点，而且对红蓝交界的地方设置合适的饱和度也能区分很清楚。在进行rgb颜色空间转化为hsv颜色空间是采用以下计算公式，具体的原理属于现有技术的内容，在此不再赘述：

在本实施例中，在hsv的颜色空间进行阈值分割，得到边界。而阈值分割法是图形分割技术里最常见的分割方法之一。本发明采用该方法进行分割的优点在于实现简单、计算量小、性能较稳定，而图像阈值化的目的是要按照灰度级，对像素集合进行一个划分，得到的每个子集形成一个与现实景物相对应的区域，各个区域内部具有一致的属性，而相邻区域不具有这种一致属性。这样的划分可以通过从灰度级出发选取一个或多个阈值来实现。该方法特别适用于目标和背景占据不同灰度级范围的图像，尤其hsv转化后的病理切片序列，在本实施例中，可设定颜色阈值h＝标准值的10个单位差之内。

再对边界图进行形态学填洞，得出分割区域，其结果是一个二进制三维数组。形态学原本是生物学的分支，是研究动植物的结构和形态，被作为数学引入，结合集合代数原理，用集合论方法定量描述几何结构，基于其简洁易控，形象生动的集合过程，被大量应用在二值图像的分割处理过程，本发明的方法中所引用的是形态学闭操作，能有效并且迅速对闭合边界内部的孔洞进行填充而不产生自身边界的向外侵蚀。

进一步参考图1的三维建模步骤，即在所述步骤d中，至少包括：

根据步骤c中所获得的分割区域进行各个方向的无数据边界的增加扩展；

采用marching-cube算法对增加扩展后的区域的结果提取表面，设置合适等值面，得出三角网格polydata数据结构；

消除所述三角网格polydata数据结构中的孤立结构，获得三维模型文件。

其中，所述的marching-cube算法具体为：逐个处理数据场中的立方体(体素)，分类出与等值面相交的立方体，采用插值计算出等值面与立方体边的交点；再根据立方体每一顶点与等值面的相对位置，将等值面与立方体边的交点按一定方式连接生成等值面，作为等值面在该立方体内的一个逼近表示。

在本实施例的三维建模步骤中，对所述步骤c获得的结果上下左右前后增加无数据边界，所述病理切片数据是组织取样，并不能保证切片上下，前后，左右面的结构封闭行，为了拟合较为合理并且符合三维结构的三维体，在本步骤中对边界进行扩展，假想切片以外是组织边界，方便即将进行的marching-cube提取。用marching-cube算法对增加边界后的结果提取表面，设置合适等值面，得出三角网格polydata数据结构。所述polydata是最常见的三维obj数据结构之一，表征了空间三维结构的表面构成，它描述三维结构的顶点以及由这些顶点构成的表平面，因为顶点和面都用数字表示，其相互关系也可以由这些数字推导出来，很容易通过空间逻辑关系进行编辑，优化，以及重构。本实施例中所用三角网格是最特殊高效的polydada结构，其每一个表平面都是三角形，具有良好的视觉效果和平滑的表面。而所述的marchingcubes算法是面显示算法中的经典算法，处理的对一般是断层扫描(ct)，或是核磁共振成像(mri)等产生的图像。mc算法由lorensen和cline两人在siggraphproceedings(pp.163-169)提出。该算法原理：算法的基本思想是逐个处理数据场中的立方体(体素)，分类出与等值面相交的立方体，采用插值计算出等值面与立方体边的交点。根据立方体每一顶点与等值面的相对位置，将等值面与立方体边的交点按一定方式连接生成等值面，作为等值面在该立方体内的一个逼近表示。

该算法过程为：

①根据对称关系构建一个256种相交关系的索引表。该表指明等值面与体素的哪条边相交。

②提取立方体的8个顶点，构成一个体素并把这8个顶点编号。

③根据每个顶点与阈值的比较确定该顶点在面内还是面外。

④把这8个顶点构成的01串组成一个8位的索引值。

⑤用索引值在上边的索引表里查找对应关系，并求出与立方体每条边的点。

⑥用交点构成三角形面片或者是多边形面片。

⑦遍历三维图像的所有体素，重复执行②到⑥。

即能快速高效生成一个形象的等值面结构。

再对所获得的等值面结构进行结果消除孤立结构，然后用三维模型文件保存。由于等值面结构的结果因为分割的噪点问题，存在少许单点结构，在三角网格数据结构下，通过科学计算库很容易计算分离出来。去噪后的三角网格数据完整保存了可疑区域的空间结构信息，将之保存为三维模型文件。

在本发明的，在所述步骤e中，还包括拉普拉斯迭代平滑过程，结合原始rgb数据对平滑后的数据染色以及将所述染色后的数据写入位置信息的步骤。

即参考图1的可视化步骤，将所述的病理结构做可视化处理，将上述步骤中保存的三角网格模型结构加载到三维作图软件，进行拉普拉斯(laplacian)迭代平滑过程，得到平滑的结构。采样数据属于近似估计，边缘因为预估加入了很多近邻取样值，在本发明的配准下，分割算法是对采样数据在原始分辨率下的无误差操作，因此带进了采样数据的采样误差。本过程利用三维结构本身的结构纹理特性结合网格平滑技术获得的结果进行平滑，最终生成一个更可靠，准备的三维结构。而有关网格平滑是数字几何处理领域，计算机图形学和计算机辅助设计领域常用的技术，弥补了计算机数字表达能力的不足，在高分辨率图像上用相对少的数字就能描述一个三维结构。随着网格平滑算法的成熟，渐渐成为三维建模过程不可缺少的一步。其结果相较未平滑的原始数据，往往表现出更稳定，符合三维空间力学构成而且不丢失空间相对位置关系以及结构特征的优点。常见的平滑算法有基于连接关系的伞状立体几何结构和基于曲率的曲面几何结构的算法。本发明的方法中采用的拉普拉斯平滑算法是最成熟的伞状立体几何结构算法之一。拉普拉斯平滑算法的原理是将每个顶点都移动到相邻顶点的平均位置，即采用所谓伞状算子：

在伞状结构中表示这样的过程如下图：

其具体的实现逻辑表述如下：参考图2所示，

初始化mesh的邻接点结构集；

新建临时点集，用来存储点平滑后的位置；

对所有mesh中的顶点p；

初始化临时向量为零向量；

获取p的邻域点集adj(p)；

对所有领域点t，将其位置加到临时向量里；

临时向量/＝领域点集数

将临时向量的位置存入临时点集；

对所有mesh中的顶点p；

将p的位置修改为临时点集中对应点的位置。

参考图1中的ply文件步骤，即结合原始rgb数据对平滑后的数据染色，在本发明中，因可疑区域可能存在多个不同的结构，为了方便把不同结构在同一张三维模型文件中区分开来，除了位置对齐之外还需要给不同结构染上不同的颜色，方便查看。ply是一种电脑档案格式，全名为多边形档案(polygonfileformat)或斯坦福三角形档案(stanfordtriangleformat)。该格式主要用以储存立体扫描结果的三维数值，透过多边形片面的集合描述三维物体，与其他格式相较之下这是较为简单的方法。它可以储存的资讯包含颜色、透明度、表面法向量、材质座标与资料可信度，并能对多边形的正反两面设定不同的属性。在本实施例中，基于位置相关性以及颜色文体的多样性，采用该样式文件作为最终结果输出格式。

在本发明的实施例中，染色后的数据写入位置信息，保存ply文件。(所述的ply文件可采用常用的3d软件譬如3dsmax，autocad都可查看与编辑，win10自带的3dbulild即可查看)

本发明的方法可应用于windows-64位，linux-64位等不同系统环境下，软件环境可为python3.6.3.所采用的硬件可为cpu：amd64架构的inteli5-4590+，采用本发明的方法把病理切片重新数据编码，利用医学itk库进行数字处理分割得到空间信息，然后用vtk库进行三维分析与重建，最后用视觉软件查看。

本发明还提供一种病理切片的3d重建装置，该装置至少包括以下程序模块：

图片获取模块，获取病理切片图片序列所对应的数字图像数据；

图像配准模块，根据所获得的数字图像数据对所述病理切片的各个相邻层进行位置确定，生成网格对应其的三维数组；

区域分割模块，对所获得的三维数组进行数据处理获得二进制的三维数组；

三维建模模块，依据所获得的二进制的三维数组进行三维建模并保存为三维模型文件；

可视化模块，加载所述的三维模型文件至三维绘图软件可视化所述的病理切片图片的三维结构。

且在所述装置中，所述模块执行上述方法的步骤，因此在此不再进行赘述。

本发明还提供一种病理切片的3d重建装置，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述方法的步骤。

本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述的计算机程序被处理器执行时实现所述方法的步骤。

在本实施例中，所述处理器可为中央处理单元(centralprocessingunit，cpu)等硬件组件，所述存储器可为硬盘、内存、插接硬盘、智能存储卡，安全数字卡闪存等存储器件等，所述的计算机程序包括计算机程序代码，可源代码形式，对象代码、可执行文件或者某些中间形式等等。

综上，本发明基于以下的对病理切片的处理，即对病理切片数据一次分析之后进行二次处理；再利用计算机视觉技术，通过对病理切片内部组织特性的空间分析，将二维的可视化可疑区域重建为等效的三维空间上的结构，以便直观简洁准确地对病理进行分析治疗，即提取病理切片的三维结构特征，同时用不同颜色标记不同病变可疑区，能更形象，准确得出有效病理信息：实现可以与医生的经验知识结合简化医疗过程并降低误诊率。以上实施例的先后顺序仅为便于描述，不代表实施例的优劣。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。