基于CT/MRI的模型在混合现实下与实物配准的方法与流程

本发明涉及混合现实计算技术以及医学图像处理技术领域，特别涉及一种基于ct/mri的模型在混合现实下与实物配准的方法。

背景技术：

混合现实技术是当前比较热门的技术之一，目前混合现实技术在医学中的应用才刚刚开始，具有广阔的发展前景。例如，为了更加直观的观察物体的内部结构，可以使用混合现实眼镜将ct/mri生成的三维模型在眼镜中渲染出来并显示在实际的空间中，与实物重合以达到叠加显示的效果。

然而，现有的混合现实技术在医学中的应用尚处于起步阶段，导致叠加显示配准困难，精确度较低，影响用户的体验。

技术实现要素：

本发明的目的在于提供一种基于ct/mri的模型在混合现实下与实物配准的方法，使基于ct/mri图像产生的模型在混合现实设备中的显示位置与实际物体精确重合，以直观地观察物体的内部结构。

为解决上述技术问题，本发明的实施例提供如下方案：

一种基于ct/mri的模型在混合现实下与实物配准的方法，包括以下步骤：

设置标定模体，所述标定模体的内部设置有能够在ct/mri设备下显示的第一标记，所述标定模体的外表面设置有能够被混合现实设备识别的第二标记；

将待配准物体与所述标定模体同框进行ct/mri扫描，获取ct/mri序列图像，并生成在ct/mri中的模型；

根据所述标定模体内部的第一标记进行图像分析，计算出所述标定模体在ct/mri中的位置信息；

根据所述标定模体外表面的第二标记，通过混合现实设备识别出所述标定模体在混合现实设备中的位置信息；

根据所述标定模体在ct/mri中的位置信息以及在混合现实设备中的位置信息确定位置转换关系；

利用所述位置转换关系，将所述待配准物体在ct/mri中的位置信息转换成在混合现实设备中的位置信息；

根据转换后的位置信息在混合现实设备中显示所述待配准物体的模型，并与实物进行叠加。

优选地，所述标定模体在ct/mri中的位置信息用旋转矩阵t图像表示，所述标定模体在混合现实设备中的位置信息用旋转矩阵t混合现实表示，所述位置转换关系用变换矩阵t变换表示，则：t变换等于t混合现实乘以t图像的转置矩阵。

优选地，利用所述位置转换关系，将所述待配准物体在ct/mri中的位置信息转换成在混合现实设备中的位置信息的步骤包括：

所述待配准物体的模型在混合现实设备中的坐标等于t变换乘以所述待配准物体的模型在ct/mri中的坐标。

优选地，所述标定模体为正方体或者圆柱体，所述标定模体内部的第一标记包括多个定位体，通过扫描多个所述定位体的中心坐标来计算所述标定模体在ct/mri中的位置信息。

优选地，所述定位体为球体，所述第一标记包括三个球体，通过扫描三个所述球体的球心坐标来计算所述标定模体在ct/mri中的位置信息，包括：

通过图像处理计算出三个所述球体的球心坐标分别为a(x1，y1，z1)、b(x2，y2，z2)、c(x3，y3，z3)，根据三个所述球体的分布结构计算出三点所在球心坐标d(x4，y4，z4)以及旋转向量vx、vy、vz，得到所述标定模体在ct/mri坐标系下的旋转矩阵。

优选地，所述标定模体外表面的第二标记包括至少一个图片或至少一个图标。

优选地，根据所述标定模体外表面的第二标记，通过混合现实设备识别出所述标定模体在混合现实设备中的位置信息的步骤包括：

通过混合现实设备采集所述第二标记中的图片或图标；

对采集的图片或图标进行图像处理，获取所述标定模体在混合现实设备中的坐标以及旋转向量，得到所述标定模体在混合现实设备坐标系下的旋转矩阵。

优选地，所述混合现实设备包括hololens混合现实眼镜。

本发明的上述方案至少包括以下有益效果：

上述方案中，通过预设的标定模体与待配准物体一同进行ct/mri扫描，之后通过图像处理来确定标定模体在ct/mri图像中的模体位置信息，然后通过混合现实设备识别标定模体在混合现实设备中的的位置信息，在得到以上的位置信息之后确定出位置转换关系，利用位置转换关系将混合现实设备的坐标系和ct/mri图像坐标系进行配准，从而将实际物体与混合现实设备中显示的模型进行叠加。本发明通过标定模体实现混合现实设备中显示的模型与实际物体进行配准，提高了混合现实设备的配准精度，并且本发明中的标定模体设置简单，易于操作，能够实现各种类型物体的配准，应用范围广。

附图说明

图1是本发明实施例提供的配准方法的流程图；

图2是本发明实施例中标定模体与待配准模体在ct/mri中的图片。

附图标记说明：1-待配准物体；2-标定模体；201-第一标记。

具体实施方式

为使本发明要解决的技术问题、技术方案和优点更加清楚，下面将结合附图及具体实施例进行详细描述。

本发明的实施例提供了一种基于ct/mri的模型在混合现实下与实物配准的方法，如图1所示，该方法包括以下步骤：

s1、设置标定模体，标定模体的内部设置有能够在ct/mri设备下显示的第一标记，标定模体的外表面设置有能够被混合现实设备识别的第二标记；

s2、将待配准物体与标定模体同框进行ct/mri扫描，获取ct/mri序列图像，并生成模型；

s3、根据标定模体内部的第一标记进行图像分析，计算出标定模体在ct/mri中的位置信息；

s4、根据标定模体外表面的第二标记，通过混合现实设备识别出标定模体在混合现实设备中的位置信息；

s5、根据标定模体在ct/mri中的位置信息以及在混合现实设备中的位置信息确定位置转换关系；

s6、利用位置转换关系，将待配准物体在ct/mri中的位置信息转换成在混合现实设备中的位置信息；

s7、根据转换后的位置信息在混合现实设备中显示待配准物体的模型，并与实物进行叠加。

本发明通过预设的标定模体与待配准物体一同进行ct/mri扫描，之后通过图像处理来确定标定模体在ct/mri图像中的模体位置信息，然后通过混合现实设备识别标定模体在混合现实设备中的的位置信息，在得到以上的位置信息之后确定出位置转换关系，利用位置转换关系将混合现实设备的坐标系和ct/mri图像坐标系进行配准，从而将实际物体与混合现实设备中显示的模型进行叠加。

本发明通过标定模体实现混合现实设备中显示的模型与实际物体进行配准，提高了混合现实设备的配准精度，并且本发明中的标定模体设置简单，易于操作，能够实现各种类型物体的配准，应用范围广。

进一步地，在步骤s3-s5中，标定模体在ct/mri中的位置信息用旋转矩阵t图像表示，标定模体在混合现实设备中的位置信息用旋转矩阵t混合现实表示，位置转换关系用变换矩阵t变换表示，则：t变换等于t混合现实乘以t图像的转置矩阵。

进一步地，利用位置转换关系，将待配准物体在ct/mri中的位置信息转换成在混合现实设备中的位置信息的步骤包括：

待配准物体的模型在混合现实设备中的坐标等于t变换乘以所述待配准物体的模型在ct/mri中的坐标。

作为本发明的一种具体实现方式，设置的标定模体为正方体或者圆柱体，标定模体内部的第一标记包括多个定位体，在步骤s3中，通过扫描多个所述定位体的中心坐标来计算标定模体在ct/mri中的位置信息。

需要说明的是，这里的定位体可以是微型的球体、立方体、长方体等，任何能够用于ct/mri设备下进行定位显示的定位体均属于本发明的保护范围。

标定模体外表面的第二标记包括至少一个图片或至少一个图标。在步骤s4中，根据标定模体外表面的第二标记，通过混合现实设备识别出标定模体在混合现实设备中的位置信息的步骤包括：

通过混合现实设备采集第二标记中的图片或图标；

对采集的图片或图标进行图像处理，获取标定模体在混合现实设备中的坐标以及旋转向量，得到标定模体在混合现实设备坐标系下的旋转矩阵。

需要说明的是，第二标记不仅限于图片或图标，任何可供混合现实设备识别的标志标识或特征均在本发明的保护范围之内。

下面结合一个具体的实施例对本发明方法进行详细的阐述。

本实施例所使用的硬件为具有摄像头以及含有空间定位能力的混合现实设备、标定模体、待配准物体以及图形处理工作站一台。以上的混合现实设备可以选择微软的hololens混合现实眼镜，或者其他具备空间定位和图像识别能力的混合现实设备。

本实施例的配准过程如下：

首先将标定模体和待配准物体一同进行ct/mri扫描，扫描图片如图2所示，待配准物体1为头骨模型，标定模体2为正方体，其内设置有作为第一标记201的若干球体，其外表面贴有可供混合现实设备识别的图片。

之后将扫描的图片传输至图形处理工作站。以标定模体内部包括三个球体为例，三个球体的直径不同(例如分别为：5cm、4cm、3cm)；通过扫描三个球体的球心坐标来计算标定模体在ct/mri中的位置信息，具体包括：

通过图像处理计算出三个球体的球心坐标分别为a(x1，y1，z1)、b(x2，y2，z2)、c(x3，y3，z3)，根据三个球体的分布结构计算出三点所在球心坐标d(x4，y4，z4)以及旋转向量vx、vy、vz，得到标定模体在ct/mri坐标系下的旋转矩阵。

之后利用hololens设备进行标识图片的采集，获取标定模体在hololens设备下的坐标以及旋转向量，得到在hololens坐标系下的旋转矩阵。本实施例中hololens设备的图像识别用vuforia工具实现，该工具可以识别立方体的位置信息和旋转信息，使用其他工具或者方法也可以达到此目的。

此时可以根据已经获取的标定模体在ct/mri坐标系下以及hololens坐标系下的旋转矩阵，计算出变换矩阵。

最后，利用图形处理工作站重建出对应头骨模型文件传输至hololens设备中，hololens设备根据变换矩阵放置接收到的头骨模型文件到现实位置，然后跟头骨模型的实物进行叠加。

综上所述，本发明通过预设的标定模体实现混合现实设备中显示的模型与实际物体进行配准，提高了混合现实设备的配准精度，适应性强，应用范围广。

以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明所述原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。