一种基于医学影像并利用VR技术的器官拆分和操作方法及系统与流程

本发明涉及一种基于医学影像并利用VR技术的器官拆分和操作方法及系统。

背景技术：

医学影像是指为了医疗或医学研究，对人体或人体某部分，以非侵入方式取得内部组织影像的技术与处理过程。它包含以下两个相对独立的研究方向：医学成像系统（medical imaging system）和医学图像处理（medical image processing）。前者是指图像形成的过程，包括对成像机理、成像设备、成像系统分析等问题的研究；后者是指对已经获得的图像作进一步的处理，其目的是或者是使原来不够清晰的图像复原，或者是为了突出图像中的某些特征信息，或者是对图像做模式分类等等。

现有技术的医学影像的形成方式包括CT(Computed Tomography)，即电子计算机断层扫描；MR〔Magnetic Resonance〕，即磁共振；DSA（Digital subtraction angiography），即数字血管造影。上述方式均会先采集多幅图像而后进行处理。在本申请中均称为薄层扫描图像。

医学图像分割，指的是一个根据区域间的相似或不同把图像分割成若干区域的过程。目前，主要以各种细胞、组织与器官的图像作为处理的对象。例如磁共振颅脑图像的分割，其目的就在于清晰地描绘出颅脑各个解剖结构的边界，如灰质、白质、脑脊液以及 MR图像中的其它组织，从而提高图像的可读性，为医生诊断和治疗疾病提供更直观的影像信息。

然而现有技术对医学图像分割仅仅停留在对整个器官与外部非器官部分进行分割：比如申请号为CN201510729150.0的发明专利，该发明公开了一种医学图像中器官的识别与分割方法，识别方法包括：获取待处理的医学图像，将所述医学图像分别在X、Y 和Z 轴方向拆分成若干二维图像，并根据目标器官的大小设定检测窗口；利用所述检测窗口按照设定的检测步长分别对所述二维图像进行遍历检测，获取在X、Y 和Z 轴方向的检测结果；将所述检测结果进行结果融合，保留在X、Y和Z 轴三个方向上都检测为阳性的像素点，从而确定所述目标器官边界。又比如申请号为CN201510672278.8的发明专利，该发明公开了一种人体解剖结构模型、植入物快速成型方法，其中公开了该方法首先利用医疗成像系统、三维扫描仪、摄像摄影设备获取目标结构的图像数据；然后通过软件处理图像得到植入物、解剖结构或解剖结构各个部分、各个层次的三维数字模型。并不对某个器官的各个区域进行分割，比如，脑部就包括额叶、颞叶、顶叶、枕叶及小脑等部分，肝脏包括肝左叶和肝右叶等部分。同时，现有技术在分割期间也并不对病灶/靶区部分做特殊处理，使得后期难以对病灶/靶区部分做区别性观察。另外，也不提供对分割后的器官进行实际查看的方法。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种基于医学影像并利用VR技术的器官拆分和操作方法及系统，将医学图像分割不仅停留在对整个器官与外部非器官部分进行分割，还进一步的对器官的各个区域进行分割，同时在分割时通过医生的协助对病灶/靶区做相应的处理，通过VR技术对分割的器官进行观察，方便对病灶（肿瘤）/靶区位置的分析以及手术方式的确定。

本发明的目的是通过以下技术方案来实现的：一种基于医学影像并利用VR技术的器官拆分和操作方法，包括器官拆分建模步骤和虚拟现实操作步骤；所述的器官拆分建模步骤包括：

S11：获取待拆分器官的薄层扫描图像；

S12：对其中一幅图像的病灶/靶区的外轮廓进行勾画；

S13：对包括病灶/靶区的待拆分器官进行三维建模；

S14：对三维建模得到的待拆分器官的模型进行多区域拆分；

S15：采用算法引擎对所述的多区域赋予有物理属性的物体，并添加对应操作的功能程序模块；

所述的虚拟现实操作步骤包括：

S21：获取器官拆分建模步骤得到的三维建模的包括病灶/靶区器官模型；

S22：通过虚拟现实设备对多区域拆分的模型进行操作，包括对模型的包括各个区域进行移动或者隐藏。

步骤S13中对于待拆分器官的三维建模包括以下子步骤：

S1311：识别器官，将器官周围的非器官部分进行分离；

S1312：与多种该器官的标准模板进行比较，判断器官形态，并匹配该形态的标准模板；

S1313：对该器官进行三维建模。

当器官形态为坍塌或者萎缩或者不完全，则手动对坍塌或者萎缩或者不完全的器官边界进行划分。

所述的待拆分器官为脑叶，所述的多区域为额叶、颞叶、顶叶、枕叶及小脑；所述的器官拆分建模步骤包括以下子步骤：

S111：获取脑叶的薄层扫描图像；

S112：对其中一幅图像的病灶/靶区的外轮廓进行勾画；

S113：分别对病灶/靶区和待拆分器官进行三维建模，其中对于病灶/靶区的三维建模采用相同阈值的区域增长算法确定边界实现，所述的阈值为灰度值；对于待拆分器官的三维建模为对脑叶的薄层扫描图像进行去头皮去骨处理，构建头部模型；所述的构建头部模型采用图像特征子步骤和定位子步骤实现；所述的图像特征子步骤包括对扫描图像的脑部沟壑进行判断，根据灰度的不同得到脑叶的边界；所述的定位子步骤包括根据对器官的标准模板进行十字交叉定位确认脑叶的边界；

S114：对构建的头部模型进行多区域拆分，包括以下子步骤：

S1141：针对任意一个图像，将标准模板对应的模板图像的各区域与个体图像进行空间匹配变形处理，把模板空间的各个脑叶分区图像对应变形到个体脑空间，完成大脑区域分割；

S1142：将个体空间脑叶图像和病灶/靶区进行二值化处理，形成mask矩阵；

S1143：将mask矩阵转化为系统可识别的区域；

S115：拆分后的模型通过Unreal Engine或Unity引擎对模型赋予有物理属性的物体，并添加包括拾取/拆分的功能程序模块。

所述的待拆分器官为肝脏，所述的多区域为肝左叶和肝右叶；所述的器官拆分建模步骤包括以下子步骤：

S211：使用DCMTK读取肝脏的DICOM序列图像；

S212：对其中一幅图像的病灶/靶区的外轮廓进行勾画；

S213：分别对病灶/靶区和待拆分器官进行三维建模，对于病灶/靶区的三维建模采用相同阈值的区域增长算法确定边界实现，所述的阈值为灰度值；对待拆分器官的三维建模包括以下子步骤：

S2131：采用各向异性扩散滤波算法去掉噪声，强化图像边缘；

S2132：采用OTSU算法强化图像特征；

S2133：采用形态学算法、或者水平集分割算法、或者自适应区域生长算法和BP神经网络算法的结合，提取肝脏区域；

S2134：腐蚀提取后的图像，并采用漫水填充法对图像进行后处理；

S2135：将步骤S234得到的图像与原始图像相与，得到最终的肝脏区域；

S214：对得到的肝脏区域进行多区域拆分，包括以下子步骤：

S2141：针对任意一个图像，将标准模板对应的模板图像的各区域与个体图像进行空间匹配变形处理，把模板空间的各个肝脏分区图像对应变形到个体肝脏空间，完成肝脏区域分割；

S2142：将个体空间肝脏图像和靶区/病灶进行二值化处理，形成mask矩阵；

S2143：将mask矩阵转化为系统可识别的区域；

S215：拆分后的模型通过Unreal Engine或Unity引擎对模型赋予有物理属性的物体，并添加包括拾取/拆分的功能程序模块。

采用所述方法的系统，包括：

医生用终端：用于获取待拆分器官的薄层扫描图像、查看待拆分器官的薄层扫描图像、对其中一幅薄层扫描图像的病灶/靶区的外轮廓进行勾画、上传勾画过的薄层扫描图像；

数据中心：通过网络与医生用终端连接，用于接收并保存来自医生用终端上传的进行勾画过的待拆分器官的薄层扫描图像、对包括病灶/靶区的待拆分器官进行三维建模、对三维建模得到的待拆分器官的模型进行多区域拆分、对完成多区域拆分的模型进行保存、接收并解析虚拟现实操作设备发送的器官模型获取请求、向虚拟现实操作设备发送完成三维建模以及多区域拆分的器官模型；

虚拟现实操作设备：通过网络与数据中心连接，用于向数据中心发送器官模型获取请求、接收数据中心发送的已经完成三维建模以及多区域拆分的器官模型、通过虚拟现实设备对多区域拆分的模型进行包括各个区域进行移动或者隐藏在内的操作。

所述的虚拟现实操作设备包括加密控制装置和虚拟现实操作装置，所述的虚拟现实操作装置通过加密控制装置和互联网与数据中心连接；所述的加密控制装置用于在虚拟现实操作装置发送获取请求时对获取请求进行加密操作；所述的数据中心对经过加密操作的获取请求进行解析，当判断虚拟现实操作装置连接有加密控制装置时才向虚拟现实操作设备发送器官模型。

所述的系统还包括薄层扫描仪器：与医生用终端连接，用于对人体进行薄层扫描、将薄层扫描的图像发送至医生用终端。

所述的数据中心设置于医院内，与医院内的多个医生用终端和虚拟现实操作设备通过内网连接。

所述的系统还包括一个云中心，所述的云中心分别与数据中心连接，用于获取数据中心保存的数据、在有权限的医生用终端发出查看请求时向虚拟现实操作设备发送数据。

本发明的有益效果是：本发明提供了一种基于医学影像并利用VR技术的器官拆分和操作方法，将医学图像分割不仅停留在对整个器官与外部非器官部分进行分割，还进一步的对器官的各个区域进行分割以及对病灶/靶区的分割；并且最后通过VR技术对对分割的器官进行观察，效果逼真，对病灶（肿瘤）/靶区位置的分析以及手术方式的确定起很大的作用。

附图说明

图1为本发明方法流程图；

图2为器官拆分建模步骤流程图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案：

如图1所示，一种基于医学影像并利用VR技术的器官拆分和操作方法，包括器官拆分建模步骤和虚拟现实操作步骤；所述的器官拆分建模步骤包括：

S11：获取待拆分器官的薄层扫描图像；

S12：对其中一幅图像的病灶/靶区的外轮廓进行勾画；

S13：对包括病灶/靶区的待拆分器官进行三维建模；

S14：对三维建模得到的待拆分器官的模型进行多区域拆分；

S15：采用算法引擎对所述的多区域赋予有物理属性的物体，并添加对应操作的功能程序模块；

所述的虚拟现实操作步骤包括：

S21：获取器官拆分建模步骤得到的三维建模的包括病灶/靶区器官模型；

S22：通过虚拟现实设备对多区域拆分的模型进行操作，包括对模型的包括各个区域进行移动或者隐藏。

在下述任意一个实施例中，薄层扫描图像为CT、MR或DSA中任意一个得到的图像。

在下述任意一个实施例中，步骤S12为医生进行勾画。由于对于同一个被扫描人员，具有多个薄层扫描图像（多张水平图像或者多张角度图像），当医生对病灶/靶区的外轮廓进行勾画时，只需选择其中一张带有病灶/靶区的图像进行勾画，方便后期建模。

其中，由于待拆分器官不一定是通常意义下完整的器官，会与标准模板的器官具有一定差异，因此会有一个预先判断的步骤，具体地：

步骤S13中对于待拆分器官的三维建模包括以下子步骤：

S1311：识别器官，将器官周围的非器官部分进行分离；

S1312：与多种该器官的标准模板进行比较，判断器官形态，并匹配该形态的标准模板；

S1313：对该器官进行三维建模。

并且进一步地，当器官形态为坍塌或者萎缩或者不完全，则手动对坍塌或者萎缩或者不完全的器官边界进行划分。比如当判断出为颞叶萎缩的脑部，则选择颞叶萎缩的标准模板完成三维建模以及区域划分，对于颞叶的边界则采用手动划分的方式实现。

另外，标准模板的器官为已经划分了区域的模板，便于后期的对照。

实施例1为对脑叶的三维成像；在本实施例中，所述的待拆分器官为脑叶，所述的多区域为额叶、颞叶、顶叶、枕叶及小脑。

所述的器官拆分建模步骤包括以下子步骤：

S111：获取T1加权成像的脑叶的薄层扫描图像；

T1加权成像（T1-weighted imaging，T1WI）是指这种成像方法重点突出组织纵向弛豫差别，而尽量减少组织其他特性如横向弛豫等对图像的影响。

S112：对其中一幅图像的病灶/靶区的外轮廓进行勾画；

S113：分别对病灶/靶区和待拆分器官进行三维建模，其中对于病灶/靶区的三维建模采用相同阈值的区域增长算法确定边界实现，所述的阈值为灰度值；对于待拆分器官的三维建模为对脑叶的薄层扫描图像进行去头皮去骨处理，构建头部模型；所述的构建头部模型采用图像特征子步骤和定位子步骤实现；所述的图像特征子步骤包括对扫描图像的脑部沟壑进行判断，根据灰度的不同得到脑叶的边界；所述的定位子步骤包括根据对器官的标准模板进行十字交叉定位确认脑叶的边界；

采用两种方式共同对脑叶边界进行划分，得到的效果更好。

S114：对构建的头部模型进行多区域拆分，包括以下子步骤：

S1141：针对任意一个图像，将标准模板对应的模板图像的各区域与个体图像进行空间匹配变形处理，把模板空间的各个脑叶分区图像对应变形到个体脑空间，完成大脑区域分割；

S1142：将个体空间脑叶图像和病灶/靶区进行二值化处理，形成mask矩阵；

S1143：将mask矩阵转化为系统可识别的区域；

S115：拆分后的模型通过Unreal Engine或Unity引擎对模型赋予有物理属性的物体，并添加包括拾取/拆分的功能程序模块。。

在本实施例中，所述的系统可识别的区域为可以通过VR设备或者PC设备识别的区域。其中，对于VR设备，采用Unreal Engine或Unity引擎对模型赋予有物理属性的物体，并添加如拾取、拆分等功能程序模块，实现其可VR内操作的特性。方便后期的操作。

实施例2为对肝脏的拆分。在本实施例中，所述的待拆分器官为肝脏，所述的多区域为肝左叶和肝右叶。

所述的器官拆分建模步骤包括以下子步骤：

S211：使用DCMTK读取肝脏的DICOM序列图像；、

由于现在的医学影像设备的图像存储和传输正在逐渐向DICOM标准靠拢，在我们进行医学图像处理的过程中，经常需要自己编写和DICOM格式的图像相关的各种程序模块，以完成自己处理功能。如果从头开始理解DICOM的协议，然后完全自己编写这些代码来实现这些协议，是一件工程浩大的事情。德国offis公司开发的DCMTK，为我们提供了实现DICOM协议的一个平台，使得我们可以在它的基础上轻松的完成自己的主要工作，而不必把太多的精力放在实现DICOM协议的细节问题上。

S212：对其中一幅图像的病灶/靶区的外轮廓进行勾画；

S213：分别对病灶/靶区和待拆分器官进行三维建模，对于病灶/靶区的三维建模采用相同阈值的区域增长算法确定边界实现，所述的阈值为灰度值；对待拆分器官的三维建模包括以下子步骤：

S2131：采用各向异性扩散滤波算法去掉噪声，强化图像边缘；

S2132：采用OTSU算法强化图像特征；

S2133：采用形态学算法、或者水平集分割算法、或者自适应区域生长算法和BP神经网络算法的结合，提取肝脏区域；

S2134：腐蚀提取后的图像，并采用漫水填充法对图像进行后处理；

S2135：将步骤S234得到的图像与原始图像相与，得到最终的肝脏区域；

S214：对得到的肝脏区域进行多区域拆分，包括以下子步骤：

S2141：针对任意一个图像，将标准模板对应的模板图像的各区域与个体图像进行空间匹配变形处理，把模板空间的各个肝脏分区图像对应变形到个体肝脏空间，完成肝脏区域分割；

S2142：将个体空间肝脏图像和靶区/病灶进行二值化处理，形成mask矩阵；

S2143：将mask矩阵转化为系统可识别的区域；

S215：拆分后的模型通过Unreal Engine或Unity引擎对模型赋予有物理属性的物体，并添加包括拾取/拆分的功能程序模块。

在上述任意一个实施例中，当完成了对器官区域的拆分，可以方便后期对病灶（肿瘤）/靶区位置的分析。比如，肝脏的每个区域均分布有血管，肿瘤通常通过血管进行营养物质的获取；而如果采用现有技术的方式，仅仅将器官之间进行划分，会使得肿瘤位置不一定会方便观察。而采用上述实施例的方法，可以在后期进行分析的时候，手动对器官区域进行拆分（VR/电脑的方式实现），方便对病灶（肿瘤）/靶区位置的分析。

基于上述方法的实现，本实施例还提供了一种采用所述方法的系统，包括：

医生用终端：用于获取待拆分器官的薄层扫描图像、查看待拆分器官的薄层扫描图像、对其中一幅薄层扫描图像的病灶/靶区的外轮廓进行勾画、上传勾画过的薄层扫描图像；

数据中心：通过网络与医生用终端连接，用于接收并保存来自医生用终端上传的进行勾画过的待拆分器官的薄层扫描图像、对包括病灶/靶区的待拆分器官进行三维建模、对三维建模得到的待拆分器官的模型进行多区域拆分、对完成多区域拆分的模型进行保存、接收并解析虚拟现实操作设备发送的器官模型获取请求、向虚拟现实操作设备发送完成三维建模以及多区域拆分的器官模型；

虚拟现实操作设备：通过网络与数据中心连接，用于向数据中心发送器官模型获取请求、接收数据中心发送的已经完成三维建模以及多区域拆分的器官模型、通过虚拟现实设备对多区域拆分的模型进行包括各个区域进行移动或者隐藏在内的操作。

实施例3为对虚拟现实操作设备的进一步限定。在本实施例中，所述的虚拟现实操作设备包括加密控制装置和虚拟现实操作装置，所述的虚拟现实操作装置通过加密控制装置和互联网与数据中心连接；所述的加密控制装置用于在虚拟现实操作装置发送获取请求时对获取请求进行加密操作；所述的数据中心对经过加密操作的获取请求进行解析，当判断虚拟现实操作装置连接有加密控制装置时才向虚拟现实操作设备发送器官模型。本实施例的目的为一个前期的安全考虑，只有连接了加密控制装置的虚拟现实操作装置才能获取数据中心的数据。

进一步地，所述的系统还包括薄层扫描仪器：与医生用终端连接，用于对人体进行薄层扫描、将薄层扫描的图像发送至医生用终端。

实施例4为医院设置有自己的内部数据库以及数据处理中心，具体地：所述的数据中心设置于医院内，与医院内的多个医生用终端通过内网连接。每个与薄层扫描仪器的连接的医生用终端，均通过内网与医院内部的数据中心连接；医院内部的数据中心对医院内部的数据进行处理与保存，当医生需要模型的时候，直接下发。采用内网连接，提高安全性能。

实施例5为一个大的系统，每个医院的数据中心均与云中心的云服务器连接，具体地，所述的系统还包括一个云中心，所述的云中心分别与数据中心连接，用于获取数据中心保存的数据、在有权限的医生用终端发出查看请求时向医生用终端发送数据。在本实施例中，云服务器对所有医院的数据进行保存，在有权限的情况下，所有医院的医生用终端可以互相查看其他医院的病例情况，方便可靠。

进一步地，在上述实施例中，医生用终端也可以获取模型进行观察。

进一步地，在上述实施例中，所述的医生用终端可以是PC机或者移动终端，均需配置对应的客户端（C/S）或者通过浏览器进行服务（B/S）；虚拟现实操作装置为虚拟现实眼镜套件。

另外，在上述实施例中，通过虚拟现实操作设备通过虚拟现实设备对多区域拆分的模型进行操作，具体可以为：当需要对额叶和颞叶之间的病灶（肿瘤）进行观察时，首先将其他拆分的区域（顶叶、枕叶及小脑）进行隐藏，然后对额叶和颞叶其中一个拆分区域进行平行移动（不进行旋转），对病灶的位置和形状进行观察（包括对整体模型的旋转和对单个/多个区域的旋转），为后期做手术进行准备；当观察完成后，还可以对其他拆分的区域进行再显示以及还原到最初的位置。