一种三维模型重建方法、移动终端、存储介质及电子设备与流程
本发明涉及医学图像处理技术领域，尤其涉及一种三维模型重建方法、移动终端、存储介质及电子设备。
背景技术：
医学影像的发展首先得益于19世纪末x射线的发现，随后医学成像领域的研究成为众多科学工作者研究的焦点，新的研究成果及发明接踵而至。近年来，新的医疗成像技术不断改良升级，ct、cr、dr、mri、us、pet、spect等多种成像技术被逐渐开发并在医学疾病诊断中获得广泛应用，大大提升了疾病的正确诊断率，也奠定了医学影像学在医学诊断中的不可替代的作用和地位。
国外在医学图像的三维重建领域的研究开始于二十世纪七十年代。这些发达国家在这个领域的研究起步较早且比较深入，在医学图像的三维重建领域已经取得了相当显著的科研成果。他们投入了非常多的人力与物力来进行医学影像三维重建方面的研究，并具有许多优势资源。主要体现在医学图像软件平台系统与虚拟人两个方面。目前，国际上较为流行的医学图像处理系统比较多。例如，volvis系统、3dslicer系统，以及性能十分优越的商业可视化系统volulnepro与vitrea2等等。此外，国际上在三维可视化领域还涌现了一些优秀的开发工具包：vtk(visualizationtoolkit)开源可视化工具包、itk(insightsegmentationandregistrationtoolkit)医学图像处理工具包。还有美国在1989年开始启动的人体可视化计划项目。研究人员采用了mri和ct来做人体的扫描，并利用计算机的重构技术来建造虚拟人体以获取数据集，从而将虚拟现实引进了医学领域的应用范畴。
上个世纪的九十年代左右，国内才开始展开了三维重建技术在医学邻域的应用与研究，相对国外来说起步比较晚。随着国内越来越多的科研学者对医学图像三维重建技术的研究与探讨，就目前来说，我们也取得了一定的研究成果。比如，在田捷带领下的科研小组研发的医学图像处理与分析的开发工具mitk(medicalimagingtoolkit)以及中科院推出的3dmed可视化系统被认为是我国医学可视化软件层面首个系统化的软件，能够实现图像信息的管控、存储与调阅、三维重建，以及简单的模型分析与交互等一系列操作。随后东软(neusoft)集团发布了其自行研究的pacs/ris平台系统，该平台覆盖从分诊叫号到开方取药几乎整个医疗周期的信息传输与管理，其中最为核心的方面便是医学影像信息的管理，虽然该平台无法直接进行三维可视化处理，但其提供了包括三维重建软件在内的多种后处理软件的接口，为国产医学可视化软件的发展起到了一定的推动作用。浙江大学自主研发的medvis医学图像三维可视化系统，其重要特点在于具有良好的交互性和绘制的实时性,绘制速度快，但是在高性能图形计算机上进行实现，对硬件要求较高。国内也在2001年时首次提出了数字化虚拟人项目，两年之后，国内的第一个女性虚拟人数据集成功的构成。该人体切片数据的采集同样是在特定医疗设备下完成的，数据集中都是具有高精度的数据，后续使用该数据集的设备应具有较大的图形计算能力。
随着科技的发展，很多医疗设备公司先后制作出很多优秀的医疗图像三维重建软件，如simpleware3d图像处理与有限元分析软件、materialise公司的mimics医学影像控制系统、3ddoctor等。以及很多学者也在尝试开发自己设计的医疗图像三维重建系统。
但是，现有技术存在如下的缺陷：
1、现有的三维立体图像系统只是针对目标物的外观进行立体重现，缺乏对目标物内在解剖结构的立体重建，不适用于医学诊疗需要。
2、成本高。现有的众多医学影像三维重建系统在要求重建精度的时，除了重建算法的准确性和合理性，必然使用较高性能的硬件设备。如mimics、3dmed等医学影像控制系统都是由公司设计开发并运维，该设备的费用显然不是每个个体所能承担的。
3、缺少普适性。大部分的三维重建系统都开发并适用于电脑端，需要电子材料的支撑才能重建出某一部位的三维模型。首先，很少有人随身携带计算机。其次，现有医院通常仅提供患者图片材料。患者无法拿到电子材料，也将无法使用该系统，这使得患者的需求不能及时满足。
技术实现要素：
(一)发明目的
本发明的目的是提供一种三维模型重建方法、移动终端、存储介质及电子设备，该三维模型重建方法应用于移动终端上，能够基于二维平面断层图像构建三维模型，通过移动终端中的cpu与gpu配合，提高了图像处理的准确性和效率，降低了图像处理成本，适用于移动终端，提高了普适性。
(二)技术方案
为解决上述问题，本发明的第一方面提供了一种三维模型重建方法，应用于移动终端，包括：获取二维平面断层图像序列；提取相邻两张所述二维平面断层图像，形成一层；将每层划分为多个体素；所述体素具有层号信息和其在该层的位置坐标信息；将所有所述体素发送至gpu；所述gpu用于在所述体素为边界体素的情况下，计算所述边界体素的棱边与预设等值面的交点；接收gpu发送的所有的所述交点，并将同一边界体素中的交点连线，构建与该边界体素对应的多边形面片；基于所有的所述边界体素的层号信息和其在该层的位置坐标信息，将所有的所述多边形面片组合得到三维模型。
根据本发明的另一个方面，提供一种用于三维模型重建的移动终端，包括cpu和gpu；所述cpu包括：图像获取模块，用于获取二维平面断层图像序列；层构建模块，用于提取相邻两张二维平面断层图像，形成一层；体素构建模块，用于将每层划分为多个体素；所述体素具有层号信息和其在该层的位置坐标信息；体素发送模块，用于将所有的所述体素发送至gpu；多边形面片构建模块，用于接收gpu发送的所有的所述交点，并将同一边界体素中与所有交点连线，构建与该边界体素对应的多边形面片；多边形面片组合模块，用于基于所有的所述边界体素的层号信息和其在该层的位置坐标信息，将所有的所述多边形面片组合得到三维模型；所述gpu包括：交点坐标计算模块，用于在所述体素为边界体素的情况下，计算所述边界体素的棱边与预设等值面的交点。
在一个实施例中，还包括交点渲染模块，用于基于预设渲染信息对交点进行渲染。
根据本发明的又一方面，提供一种存储介质，所述存储介质上存储有计算机程序，所述程序被处理器执行时实现上述所述三维模型重建方法的步骤。
根据本发明的又一方面，提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述所述三维模型重建方法的步骤。
(三)有益效果
本发明的上述技术方案具有如下有益的技术效果：
1、本发明提供的三维模型重建方法，能够基于二维平面断层图像重建得到三维模型，通过移动终端中的cpu与gpu配合，提高了图像处理的准确性和效率，降低了图像处理成本。
2、本发明提供的三维模型重建方法，可应用在移动终端这种便携式设备上，便于携带，具有较高的普适性。
3、本发明提供的用于三维模型重建的移动终端，通过采用本发明提供的三维模型重建方法，提高了图像处理的准确性和效率，降低了图像处理成本，同时便于携带，具有较高的普适性。
附图说明
图1是本发明实施例提供的对二维平面断层图像预处理的方法流程图；
图2是本发明一实施例提供的三维模型重建方法的流程图；
图3是本发明一实施例提供的预设查找表中体素与预设等值面的相交状态图；
图4是本发明另一实施例提供的三维模型重建方法的流程图；
图5是本发明实施例提供的用于三维模型重建的移动终端的模块组成示意图。
附图标记：
100、cpu，101、图像获取模块，102、层构建模块，103、体素构建模块，104、体素发送模块，105、多边形面片构建模块，106、多边形面片组合模块，200、gpu，201、边界体素判定模块，2011、密度值比较单元，2012、体素状态查找单元，202、交点坐标计算模块，203、渲染模块，2031、辐射率计算单元，2032、rgb分量转化单元，2033、着色单元。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本发明进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本发明的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本发明的概念。
在对本发明实施例进行详细介绍之前，先进行术语解释，下文中及图中出现的下列术语具体含义如下：
cpu(centreprocessingunit)：中央处理器；
gpu(graphicprocessingunit)：图形处理器；
二维平面断层图像序列：是指在不同时间、不同方位对目标依序连续获取的系列二维平面断层图像。
局部低秩矩阵：在图像的局部区域具有低秩特性的矩阵。
由于二维平面断层图像为医学领域的图像，其中图像中的组织用黑色或白色来表示。对二维平面断层图像进行拍摄或扫描时，有可能会有不清楚的问题，进而影响后续构建三维模型的准确性，因此，在一个优选的实施例中，在构建三维模型之前，先对每一张二维平面断层图像进行预处理，以使得二维平面断层图像更清楚。
图1是本发明实施例提供的对二维平面断层图像预处理的方法流程图。
可选的，在本实施例中，二维平面断层图像可由用户通过手机或平板等移动终端拍摄或通过手机中的软件扫描得到，也可通过扫描设备扫描后发送到手机中。
请参照图1，在本发明实施例中，该预处理包括步骤s101-s103。
s101，对二维平面断层图像进行格式转换，得到预设格式的二维平面断层图像。
通常医院仅提供患者非电子版二维平面断层图像，即便是提供电子版材料通常也是以dicom标准格式存储。因此为了方便后续的操作，在本步骤中，先将每张二维平面断层图像进行格式转换，将其统一格式。可选的，预设格式为tif、png或jpg中的一种。由于png格式是一种无损压缩的位图片形格式，具有压缩比高，生成文件体积小等优势，因此在本实施例中优选的将其转换成png格式。
可选的，预设格式也可以为可交互式的读取dicom格式的ct/mri/microct/micromri/工业ct图像或序列的非dicom的普通图像格式bmp/tiff等。
对于输入图像的要求是：输入图像序列的断层层厚越薄越好，即层数越多越好。
优选的，拍摄角度需尽量垂直于图像的正面拍摄。
s102，对预设格式的二维平面断层图像进行增强处理，包括去噪处理和分辨率增强。
其中，步骤s102包括步骤s1021-s1026。
s1021，对预设格式的二维平面断层图像进行分割，得到多个图像块。为了便于计算，在图像处理中经常基于块进行对整幅图像的操作。
s1022，计算当前图像块的局部低秩矩阵m1。
其中，局部低秩矩阵是指在图像局部具有低秩特性的矩阵，反映了图像局部像素之间的相关性。
具体地，局部低秩矩阵m1的计算公式为：
m1局部低秩矩阵是一个由四个子矩阵构成，其中
s1023，在所有图像块中查找与当前图像块相似的相似图像块。
具体地，查找相似图像块的方法是：分别计算当前图像块与其他图像块的欧式距离，欧式距离代表了两个图像块的相似程度，距离越小，两个图像块越相似。将所有其他图像块按相似程度排序，取前n个图像块，这n个图像块即为与当前图像块相似的相似图像块。
s1024，基于相似图像块，计算得到当前图像块的非局部低秩矩阵m2。
具体地，基于相似图像块，通过相似图像块的向量形式拼接得到非局部低秩矩阵m2。
s1025，基于局部低秩矩阵m1和非局部低秩矩阵m2，对当前图像块进行重建。
具体地，结合局部低秩矩阵m1和非局部低秩矩阵m2，建立图像重建优化模型，求解重建模型对图像块进行重建，得到高质量图像矩阵中未知像素的值。
s1026，遍历所有图像块，得到优化后的二维平面断层图像。
本实施例中，对预设格式的二维平面断层图像进行增强处理的方法，可以对带噪二维平面断层图像去噪，也可以对低分辨率二维平面断层图像进行分辨率增强，具体可通过设置不同的参数实现上述功能。
s103，对增强后的二维平面断层图像进行阈值分割处理，得到预处理后的二维平面断层图像。
图2是本发明一实施例提供的三维模型重建方法的流程图。
请参照图2，在本发明一实施例中，提供的一种三维模型重建方法，包括步骤s201-s206。
s201，获取二维平面断层图像序列。
可选的，在获取二维平面断层图像序列之后，利用步骤s101-s103对二维平面断层图像预处理，利用预处理后的二维平面断层图像构建三维模型。
s202，提取相邻两张二维平面断层图像，形成一层。
s203，将每层划分为多个体素；其中，体素具有层号信息和其在该层的位置坐标信息。
其中，将每层划分为多个体素包括：
基于每层中的两张二维平面断层图像上相对应的4个像素点，构建一个体素，从而将该层划分成多个体素；同一张二维平面断层图像中4个像素点相邻且构成正方形。
具体地，基于每层中的两张二维平面断层图像上相对应的4个像素点，构建一个体素是指，基于每层中其中一张二维平面断层图像中相邻且构成正方形的4个像素点与另一张二维平面断层图像中相对应的4个像素点构建一个体素。
可选的，体素为立方体结构。
s204，将所有的体素发送至gpu；gpu用于在体素为边界体素的情况下，计算边界体素的棱边与预设等值面的交点。其中，交点坐标与边界体素相对应，且带有边界体素的层号和其在该层的位置坐标信息。
其中，gpu判定体素是否为边界体素包括：
gpu将体素的8个顶点的密度值与预设等值面的阈值分别进行比较，得到体素的索引值，该索引值在0-255之间。
在预设查找表中查找与索引值对应的体素的状态。
体素的状态包括：体素是否为边界体素，边界体素与预设等值面的交点位于边界体素的哪一条棱边上，以及交点的连接方式。
具体地，预设等值面的阈值根据所要构建的三维模型对应的部位的密度值设定，通过将体素的8个顶点的密度值与该预设等值面的阈值比较，能够得出该体素是不是边界体素，如果是边界体素，找出边界体素的棱边上灰度值为该阈值的等值点，这个等值点就是该边界体素与预设等值面的交点。
图3是本发明一实施例提供的预设查找表中体素与预设等值面的相交状态图。
下面对预设查找表的构建过程进行简单的介绍：
将立方体中8个顶点的密度值与预设等值面的阈值的大小关系进行比较。若8个顶点的密度值都大于或小于预设等值面的阈值，说明该体素与预设等值面无交点，该体素不是边界体素。反之，则说明该体素与预设等值面有交点，且有多种不同相交方式。
若将每一种情况都视为一种相交状态(包括没有交点的情况)，则共有256种状态，根据对称性，可以简化成15种状态，如图3所示。
根据这15种状态，可以构建一个预设查找表，该预设查找表的长度为256，记录了15类下的256种状态中每种状态交点的连接方式、每种状态一一对应一个索引值，每个索引值在0-255之间，也就是第一个状态，索引值为0，第二个状态索引值为1，第256个状态索引值为255。设置索引值的目的是便于比对，使得查找速度更快。
在判断体素是否为边界体素时，只需要将体素的8个顶点的密度值与预设等值面的阈值进行比较，即可得到一个0-255之间的索引值，根据索引值在预设查找表中进行查找，就可以确定该体素是否为边界体素，还可以得到边界体素的哪条棱边上有等值点(即体素与预设等值面的交点)，以及该等值点的连接方式。
其中，计算边界体素的棱边与预设等值面的交点的交点坐标包括：
基于体素的状态，利用线性插值方法，计算边界体素的棱边与预设等值面的交点的交点坐标。
本实施例将由所有二维平面断层图像得到的全部体素分批发送至gpu，进行并行处理。用体素所在的层号z以及在该层的位置(x，y)标注进程序号。需要说明的是，本申请利用gpu在批处理方面的计算优势和各个体素之间的无关性，实现并行计算，从而极大提高算法的计算性能。
s205，接收gpu发送的所有的交点坐标，并将同一边界体素中的交点连线，构建与该边界体素对应的多边形面片。
可选的，多边形面片为三角形面片。但本发明不以此为限制，多边形面片也可以是其他形状的多边形面片。
s206，基于所有的边界体素的层号信息和其在该层的位置坐标信息，将所有的多边形面片组合得到三维模型。
本发明实施例提供的上述三维模型重建方法，能够基于二维平面断层图像构建三维模型，通过cpu与gpu配合，提高了图像处理的准确性和效率，降低了图像处理成本；且该三维模型重建方法可应用在移动终端这种便携式设备上，便于携带，具有较高的普适性。
图4是本发明另一实施例提供的三维模型重建方法的流程图。
如图4所示，在本发明另一实施例中，为了使得三维模型更接近于真实物体，在步骤s204得到边界体素的棱边与预设等值面的交点之后，在步骤s205，cpu处理器在接收gpu处理器发送的全部边界体素的所述交点之前，还包括对所述交点进行渲染的步骤，进而得到渲染后的三维模型。具体的步骤如下：
步骤s204-1，根据预设的渲染的信息，对所述边界体素的棱边与预设等值面的交点进行渲染。
需要说明的是，在本步骤中，利用了gpu在批处理方面的计算优势和各个多边形面片之间的无关性，实现并行计算，从而极大提高算法的计算性能。
具体地，gpu用于基于预设的渲染信息，利用反射率方程，计算出物体边界体素的棱边与预设等值面的交点(即三维模型表面顶点)的辐射率；具体地，gpu基于预设的渲染信息，利用反射率方程，模拟真实物理条件，计算出物体边界体素的棱边与预设等值面的交点(即三维模型表面顶点)的辐射率，此处辐射率是指光能的辐射强度。
可选的，渲染信息包括光照信息、观察视点位置信息和物体三维模型表面材质信息。
gpu还用于将辐射率转化成rgb分量，并基于rgb分量，对每个边界体素的棱边与预设等值面的交点着色，得到渲染后的交点，并将渲染后的交点发送到cpu。
s205步骤变成，cpu接收gpu分批发送的所有的渲染后的交点，并将同一边界体素中的交点连线，构建与该边界体素对应的渲染后的多边形面片。
s206步骤变成，基于所有的边界体素的层号信息和其在该层的位置坐标信息，将渲染后的所有的将同一边界体素的渲染后的多边形面片组合，得到渲染后的三维模型。
在本实施例中，gpu分批对边界体素的棱边与预设等值面的交点进行渲染，cpu将同一个边界体素的棱边与预设等值面的交点之间连线，得到渲染后的多边形面片，并对渲染后的多边形面片组合得到渲染后的三维模型，实现了对三维模型的渲染，使得三维模型更直观，更接近真实物体，为后续多平面重建和三维模型测量奠定了基础。
图5是本发明实施例提供的用于三维模型重建的移动终端的模块组成示意图。
请参照图5，本发明实施例还提供一种用于三维模型重建的移动终端，包括：cpu100和gpu200。
其中，cpu100包括：图像获取模块101、层构建模块102、体素构建模块103、体素发送模块104、多边形面片构建模块105和多边形面片组合模块106。
图像获取模块101，用于获取二维平面断层图像序列。
层构建模块102，用于提取相邻两张二维平面断层图像，形成一层。
体素构建模块103，用于将每层划分为多个体素；其中，体素具有层号信息和其在该层的位置坐标信息。
体素发送模块104，用于将所有体素发送至gpu200。
多边形面片构建模块105，用于接收gpu200发送的多个交点坐标，并将同一边界体素中与交点坐标对应的交点连线，构建与该边界体素对应的多边形面片。
多边形面片组合模块106，用于基于所有的边界体素的层号信息和其在该层的位置坐标信息，将所有的多边形面片组合得到三维模型。
其中，gpu200包括：边界体素判定模块201和交点坐标计算模块202。
边界体素判定模块201，用于判定体素是否为边界体素。
其中，边界体素判定模块201包括：密度值比较单元2011、体素状态查找单元2012。
密度值比较单元2011，用于将体素的8个顶点的密度值与预设等值面的阈值分别进行比较，得到体素的索引值。
体素状态查找单元2012，用于在预设查找表中查找与索引值对应的体素的状态。
体素的状态包括：体素是否为边界体素，边界体素与预设等值面的交点位于边界体素的哪一条棱边上，以及交点的连接方式。
交点坐标计算模块202，用于在体素为边界体素的情况下，计算边界体素的棱边与预设等值面的交点坐标。
在本实施例的一个实施方式中，gpu200还包括：渲染模块203。
渲染模块203包括：辐射率计算单元2031、rgb分量转化单元2032和着色单元2033。
辐射率计算单元2031，用于基于预设的渲染信息，利用反射率方程，计算出边界体素的棱边与预设等值面的交点的辐射率，此处辐射率是指光能的辐射强度。
可选的，渲染信息包括光照信息、观察视点位置信息和三维模型表面材质信息。
rgb分量转化单元2032，用于将辐射率转化成rgb分量。
着色单元2033，用于基于rgb分量，对每个边界体素的棱边与预设等值面的交点着色后，将着色后的交点发送至多边形面片构建模块105。
cpu100的多边形面片构建模块105还用于接收所述gpu处理器发送的全部渲染后的所述交点(图5中虚线所示在本实施方式中的数据传输路径)，并基于所有的边界体素的层号信息和其在该层的位置坐标信息，将同一边界体素中的交点连线，构建与该边界体素对应的渲染后的多边形面片。
cpu100的多边形面片组合模块106将渲染后的所有的多边形面片组合得到渲染后的三维模型。
在本实施例的一个实施方式中，cpu100还包括图像预处理模块。
具体地，图像预处理模块用于执行上述方法实施例中对二维平面断层图像预处理的步骤，该图像预处理模块的具体组成可根据实际需要适当调整，在此不做具体限定。
本发明实施例提供的用于三维模型重建的移动终端，通过采用本发明提供的三维模型重建方法，提高了图像处理的准确性和效率，降低了图像处理成本，同时便于携带，具有较高的普适性。
本发明又一实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该程序被处理器执行时实现上述实施例中三维模型重建方法的步骤。
本发明又一实施例还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现上述实施例中三维模型重建方法的步骤。
本发明旨在保护一种三维模型重建方法、移动终端、存储介质及电子设备，具有如下有益的技术效果：
1、本发明提供的三维模型重建方法，能够基于二维平面断层图像构建三维模型，通过移动终端中的cpu与gpu配合，提高了图像处理的准确性和效率，降低了图像处理成本。
2、本发明提供的三维模型重建方法，可应用在移动终端这种便携式设备上，便于携带，具有较高的普适性。
3、本发明提供的用于三维模型重建的移动终端，通过采用本发明提供的三维模型重建方法，提高了图像处理的准确性和效率，降低了图像处理成本，同时便于携带，具有较高的普适性。
应当理解的是，本发明的上述具体实施方式仅仅用于示例性说明或解释本发明的原理，而不构成对本发明的限制。因此，在不偏离本发明的精神和范围的情况下所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。此外，本发明所附权利要求旨在涵盖落入所附权利要求范围和边界、或者这种范围和边界的等同形式内的全部变化和修改例。
- 还没有人留言评论。精彩留言会获得点赞！