一种基于HOLOLENS的人体三维重建模型系统的制作方法

本发明涉及医学图像处理技术的三维重建技术领域，具体而言，尤其涉及一种基于hololens的人体三维重建模型系统。

背景技术：

增强现实技术(augmentedreality，简称ar)，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。ar系统具有三个突出的特点：①真实世界和虚拟世界的信息集成；②具有实时交互性；③是在三维尺度空间中增添定位虚拟物体。ar技术可广泛应用到军事、医疗、建筑、教育、工程、影视、娱乐等领域。在医疗领域，增强现实与医疗的结合应用越来越被人们所重视。医生进行传统手术时需要根据术前进行的核磁共振，ct等影像，判断病灶部位，制定手术方案。其局限在于，术前影像无法在手术过程中提供实时对照和操作预警。现在，随着手术导航技术的应用，可以为医生提供实时影像，显著提高手术的效率和安全性。而这种个性化的精准治疗手段需要前期准备，例如由患者的ct扫描图像建立患者的骨骼和器官模型，为手术导航做准备。也可以成为一个真实的人体教学系统。所以，一套简单快捷的三维模型重建系统对增强现实与医疗的完美结合尤为重要。

技术实现要素：

根据上述提出传统的手术过程存在风险高，病人痛苦大，术后效果不理想等缺点，同时手术效果受医生个人业务水平影响很大的技术问题，而提供一种基于hololens的人体三维重建模型系统。

本发明采用的技术手段如下：

一种基于hololens的人体三维重建模型系统，包括以下步骤：

步骤s1：通过ct影像技术对患者进行图像采集，获取患者的实际ct序列图像；

步骤s2：对获得的实际ct序列图像进行预处理；

步骤s3：将上述经过预处理后的实际ct序列图像的冠状面、横状面、矢状面可视化；

步骤s4：采用阈值分割、区域增长图像分割方法依次分割实际ct序列图像；

步骤s5：将分割好的图像序列进行三维重建，生成三维重建模型；

步骤s6：将所述三维重建模型通过unity3d软件导入hololens平台，依次添加手势操作，实现人机互动。

进一步地，所述步骤s2的预处理包括：去噪处理和图像增强处理；

所述去噪处理是利用matlab读取ct原始数据后进行相应调整以适应后续步骤；

所述图像增强处理利用灰度线性变换，设置一个阈值上限和一个阈值下限，将灰度值大于阈值上限的变为1，阈值小于下限的变为0而阈值介于上限和下限之间的相应变成0～1之间，使图像变得更加清晰，扩大所需器官与周围器官的灰度差。

进一步地，所述步骤s4的具体过程如下：

步骤s41：采用阈值分割，将灰度区间距离拉大，进而获得边界分明的ct序列图像；

步骤s42：再通过采用改进的区域增长方法对所需器官部位进行区域增长，从而获得器官特征序列图像。

进一步地，在所述步骤s4中还包括对步骤s41中获得的边界分明的ct序列图像进行开运算，闭运算，再开运算，使得所需器官完全分离的步骤。

较现有技术相比，本发明具有以下优点：

1、本发明提供的基于hololens的人体三维重建模型系统，为医生提供了一个虚拟的3d环境以及可交互操作平台，可以逼真地模拟临床手术的全过程。

2、本发明提供的基于hololens的人体三维重建模型系统，利用虚拟手术系统，医生可以在对病人实施复杂手术之前进行练习，把通过成像设备获取的病人图像及模型导入仿真系统。医生还可以对实际手术做出相应的规划，或者对病变缺损部位进行较精确的前期测量和估算，从而预见手术的复杂性。

3、本发明提供的基于hololens的人体三维重建模型系统，运用增强现实技术可以使医务工作者沉浸于虚拟的场景内，通过视、听、触觉感知并学习各种手术实际操作，体验并学习如何应付临床手术中的各类突发情况。节约了培训医务人员的费用和时间，使非熟练人员进行手术的风险性大大降低，对提高医学教育与训练的效率和质量以及改善医学手术水平发展不平衡的现状有着特殊的意义，具有非常好的实际应用价值。

基于上述理由本发明可在医学图像处理技术的三维重建等领域广泛推广。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做以简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明系统流程图。

图2为本发明实施例提供的hololens增强现实眼镜平台。

图3为本发明实施例提供的经过预处理后的人体肺部ct切片图。

图4为本发明实施例提供的经过阈值分割处理后的ct图。

图5为本发明实施例提供的经过开运算后的ct图。

图6为本发明实施例提供的经过闭运算的ct图。

图7为本发明实施例提供的二次开运算的ct图。

图8为本发明实施例提供的区域增长后的分割结果图。

图9为本发明实施例提供的基于ct图像重建后所取得的三维重建图像。

图10为本发明实施例提供的肺部区域的三维重建图像(包含肺部血管)。

图11为本发明实施例提供的骨骼以及人体器官在unity3d中的效果图。

具体实施方式

需要说明的是，在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当清楚，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员己知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任向具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

实施例

如图1所示，本发明提供了一种基于hololens的人体三维重建模型系统，包括以下步骤：

步骤s1：通过ct影像技术对患者进行图像采集，获取患者的实际ct序列图像；

步骤s2：对获得的实际ct序列图像进行预处理；预处理包括：去噪处理和图像增强处理；

实际ct序列图像含有较高的灰度级(4096个)，和一般的图像处理软件处理的灰度级(256个)并不匹配，直接对实际ct序列图像处理会导致图像不清晰或者图像失真，本实施例中对原始数据进行去噪处理，利用matlab读取ct原始数据后进行相应调整以适应后续步骤；

图像增强处理利用灰度线性变换，设置一个阈值上限和一个阈值下限，将灰度值大于阈值上限的变为1，阈值小于下限的变为0而阈值介于上限和下限之间的相应变成0～1之间，使图像变得更加清晰，扩大所需器官与周围器官的灰度差。如图3所示，为经过预处理后的人体肺部ct切片图。

步骤s3：将上述经过预处理后的实际ct序列图像的冠状面、横状面、矢状面可视化；

步骤s4：采用阈值分割、区域增长图像分割方法依次分割实际ct序列图像；

步骤s41：采用阈值分割，利用python实现出经典的图像分割方法，对比优劣，进行实验改进，有效的解决器官边缘提取的问题，将灰度区间距离拉大，进而获得边界分明的ct序列图像；如图4所示，为经过阈值分割处理后的ct图。

对步骤s41中获得的边界分明的ct序列图像进行开运算，闭运算，再开运算，使得所需器官完全分离；如图5、6、7所示，分别为开运算后的ct图、闭运算后的ct图、二次开运算的ct图，目的为了使肝胀与周围组织完全分离。

步骤s42：再通过采用改进的区域增长方法对所需器官部位进行区域增长，从而获得器官特征序列图像。区域增长法是根据事先定义的增长法则(这里是灰度)把像素或子区域合并成面积较大的区域的一种图像处理方法。通常以一个种子点开始，根据预定义法则，将那些属性相似于种子点的相邻区域并入之前的种子点，当不再有像素点满足该区域所包含的准则时，增长就会停止。如图8所示，为区域增长后的分割结果图。

步骤s5：将分割好的图像序列进行三维重建，生成三维重建模型；如图9所示，为基于ct图像重建后所取得的三维重建图像。本实施例中还提供了如图10所示的肺部区域的三维重建图像(包含肺部血管)；

步骤s6：将所述三维重建模型通过unity3d软件导入hololens平台，依次添加手势操作，实现人机互动。其中，利用navigationgesture、manipulationgesture等组件实现保持点击手势，在一个标准3d立方空间内相对运动、旋转、缩放。如图11所示，本实施例提供的是骨骼以及人体器官在unity3d中的效果图。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。