医疗数据处理方法、设备、系统以及存储介质与流程

本发明涉及增强现实(augmentedreality，ar)领域，尤其涉及一种医疗数据处理方法、设备、系统以及存储介质。

背景技术：

随着医疗技术的不断发展，医疗辅助手段对于诊断和手术的精确程度都有很大的帮助。特别是在一些手术前，需要结合电子计算机断层扫描(computedtomography，ct)或者磁共振成像(magneticresonanceimaging，mri)等医疗数据，精准的定位手术位置，以达到减少创伤的目的。

现有技术中，普遍采用龙胆紫进行术前标记，包括划线定位、弦长定位，根据评估结果使用龙胆紫在手术位置进行标记；或者采用特定装置，例如脑立体定向仪，是利用颅骨外面的标志或其它参考点所规定的三度坐标系统来确定皮层下某些神经结构的位置，以便在非直视暴露下对其进行定向的刺激、破坏、注药物、引导电位等研究。

上述两种方案均达不到对于手术位置进行精确的标记，进而不能更好的减少患者的手术创伤。

技术实现要素：

本发明提供一种医疗数据处理方法、设备、系统以及存储介质，拟克服现有技术中不能对手术位置进行精确标记的问题。

第一方面，本发明提供一种医疗数据处理方法，应用于增强现实ar设备，所述方法包括：

获取病患的患病部位的第一三维数据，所述第一三维数据是根据预先扫描的所述患病部位的二维影像数据转换得到的三维影像数据；

获取所述第一三维数据相对于所述患病部位的位姿关系；

根据所述位姿关系，将所述第一三维数据通过增强现实的方式在所述患病部位进行呈现。

在一种具体的实现方式中，所述获取所述第一三维数据相对于所述患病部位的位姿关系，包括：

获取所述患病部位的第二三维数据，所述第二三维数据是采用红外线技术得到所述患病部位的血管的三维影像数据；

将所述第一三维数据和所述第二三维数据进行配准，得到所述第一三维数据相对于所述患病部位的位姿关系。

在另一种具体的实现方式中，所述二维影像数据包括在所述患病部位设置的多个标志点的影像，所述获取所述第一三维数据相对于所述患病部位的位姿关系，包括：

从所述二维影像数据中提取出每个标志点的第一三维坐标；

获取所述患病部位的每个标志点相对于所述ar设备的第二三维坐标；

根据每个标志点的第一三维坐标和第二三维坐标进行配准，得到所述第一三维数据相对于所述患病部位的位姿关系。

进一步地，所述获取病患的患病部位的第一三维数据，包括：

接收外部设备发送的所述第一三维数据；

或者，

接收外部设备发送的所述患病部位的二维影像数据；

根据密度值提取技术或者体绘制技术对所述二维影像数据进行转换，得到所述第一三维数据。

在一中具体的实现方式中，所述获取所述患病部位的第二三维数据，包括：

通过红外相机拍摄被红外线实时照射的所述患病部位，得到所述第二三维数据。

具体的，所述获取所述患病部位的每个标志点相对于所述ar设备的第二三维坐标，包括：

通过红外相机实时探测每个标志点相对于所述ar设备的第二三维坐标。

第二方面，本发明提供一种增强现实装置，包括：

获取模块，用于获取病患的患病部位的第一三维数据，所述第一三维数据是根据预先扫描的所述患病部位的二维影像数据转换得到的三维影像数据；

所述获取模块还用于获取所述第一三维数据相对于所述患病部位的位姿关系；

处理模块，用于根据所述位姿关系，将所述第一三维数据通过增强现实的方式在所述患病部位进行呈现。

在一种具体的实现方式中，所述获取模块具体用于获取所述患病部位的第二三维数据，所述第二三维数据是采用红外线技术得到所述患病部位的血管的三维影像数据；

将所述第一三维数据和所述第二三维数据进行配准，得到所述第一三维数据相对于所述患病部位的位姿关系。

在另一种具体的实现方式中，所述二维影像数据包括在所述患病部位设置的多个标志点的影像，所述获取模块具体用于：

从所述二维影像数据中提取出每个标志点的第一三维坐标；

获取所述患病部位的每个标志点相对于所述ar设备的第二三维坐标；

根据每个标志点的第一三维坐标和第二三维坐标进行配准，得到所述第一三维数据相对于所述患病部位的位姿关系。

进一步地，所述获取模块具体用于接收外部设备发送的所述第一三维数据；

或者，

接收外部设备发送的所述患病部位的二维影像数据；

根据密度值提取技术或者体绘制技术对所述二维影像数据进行转换，得到所述第一三维数据。

在一种具体的实现方式中，所述获取模块具体用于通过红外相机拍摄被红外线实时照射的所述患病部位，得到所述第二三维数据。

具体的，所述获取模块具体用于通过红外相机实时探测每个标志点相对于所述ar设备的第二三维坐标。

第三方面，本发明提供一种增强现实设备，至少包括：红外相机、显示器、处理器、存储器以及计算机程序；

所述显示器用于呈现增强现实图像；

所述计算机程序存储在所述存储器中，所述处理器执行所述计算机程序实现权利要求1至7任一项所述的医疗数据处理方法。

第四方面，本发明提供一种医疗数据配准系统，包括：外部设备和权利要求13所述的增强现实设备；所述外部设备与所述增强现实设备连接，所述外部设备用于扫描患者的患病部位的二维影像数据。

在一种具体的实现方式中，所述系统还包括：多个标志点；

每个标志点均能够被外部设备和权利要求13所述的增强现实设备识别。

第五方面，本发明提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于实现权利要求1至7任一项所述的医疗数据处理方法。

本发明实施例提供的一种医疗数据处理方法、设备、系统以及存储介质，通过获取患病部位的三维影像数据，并确定该三维影像数据相对于患者的患病部位的位姿关系，最终根据位姿关系将该三维影像数据通过增强现实的方式在患病部位进行呈现，通过该方式将病患部位的虚拟图像与患者的真实患病部位“无缝”集成，能够与三维影像数据实时交互，能够准确定位患病位置，从而对手术的精确治疗以及手术的安全性起到至关重要的作用。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种医疗数据处理系统的示意图；

图2为本发明实施例提供的一种ar眼镜的结构示意图；

图3.a为本发明实施例提供的一种定位装置实施例一的结构示意图；

图3.b为本发明实施例提供的一种定位装置实施例二的结构示意图；

图3.c为本发明实施例提供的一种定位装置实施例三的结构示意图；

图4.a为本发明实施例提供的一种标志点正面的结构示意图；

图4.b为本发明实施例提供一种标志点侧面的结构示意图

图5为本发明实施例提供的一种医疗数据处理方法实施例一的流程示意图；

图6为本发明实施例提供的一种医疗数据处理方法实施例二的流程示意图；

图7为本发明实施例提供的一种红外发射装置照射患病部位的示意图；

图8为本发明实施例提供的一种医疗数据处理方法实施例三的流程示意图；

图9为本发明实施例提供的一种markers的结构示意图；

图10为本发明实施例提供的一种ar设备的结构示意图；

图11为本发明实施例提供的一种ar设备的硬件结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

本申请实施例的说明书、权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例例如能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

增强现实(augmentedreality，ar)技术，它是一种将真实世界信息和虚拟世界信息“无缝”集成的新技术，是把原本在现实世界的一定时间空间范围内很难体验到的实体信息(视觉信息，声音，味道，触觉等)，通过电脑等科学技术，模拟仿真后再叠加，将虚拟的信息应用到真实世界，被人类感官所感知，从而达到超越现实的感官体验。真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。ar技术，不仅展现了真实世界的信息，而且将虚拟的信息同时显示出来，两种信息相互补充、叠加。在视觉化的增强现实中，用户利用ar设备，把真实世界与电脑图形多重合成在一起，便可以看到真实的世界围绕着它。而对于医疗领域，ar设备的使用显得尤为重要，本方案结合红外血管显影技术、双目相机三维探测技术、电子计算机断层扫描(computedtomography，ct)或者磁共振成像(magneticresonanceimaging，mri)数据的三维重建技术以及多标志点定位技术等，通过ar设备将患病部位的三维影像数据“投影”到真实世界中的患者的患病部位，能够准确定位患病位置，进而准确定位手术位置，提高了手术的安全性。

下面对本发明提供的医疗数据处理系统进行说明。

图1为本发明实施例提供的一种医疗数据处理系统的示意图。如图1所示，该医疗数据处理系统10中至少包括外部设备11和ar设备12，外部设备11和ar设备12电性连接。可以理解的是，在实际的医疗数据处理系统中，外部设备11以及ar设备12均可以有一个或多个，该图1仅以一个作为实例。

在图1中，外部设备11可以是医疗成像设备，例如可以是ct设备、或者mri设备，或者正电子发射断层扫描(positronemissiontomography，pet)设备等。

ar设备12，具体可以是带有ar功能的可穿戴设备(例如ar眼镜)、手机、平板、电脑或者其他任意带有ar功能的智能终端设备。在本申请实施例中，该ar设备具有与外部设备以及云端服务器进行通信的接口。在本方案中，ar设备集成了红外相机。

在一种具体的实现方式中，图2为本发明实施例提供的一种ar眼镜的结构示意图，如图2所示，ar眼镜120包括：相机121和相机122，其中相机121和相机122可以为相同的两个相机，也称作红外相机、摄像头或者camera等。

在一种具体的实现方式中，本方案提供的医疗数据处理系统中还可以包括个人计算机pc或者云端服务器。

在一种具体的实现方式中，本方案提供的医疗数据处理系统中还可能包括多个标志点，每个标志点均能够被外部设备11和ar设备12识别。应理解，多个标志点用于贴附于病人的患病部位。

参考图3.a-3.c，图中1为一个标志点，多个标志点可以逐个粘贴于患病部位，也可以按照一定的结构组成定位装置夹戴或者粘贴于患病部位，例如环形的头箍或者网状罩盖。并且，本方案对其结构不做要求，例如图3.a所示的环形结构、图3.b所示的半环结构、以及图3.c所示的树杈型结构，等等。

以外部设备为ct设备为例，参考图4.a和图4.b，图4.a为本发明实施例提供的一种标志点正面的结构示意图，图4.b为本发明实施例提供一种标志点侧面的结构示意图。可见，每个标志点由两部分组成，即ct标志点(ctmarker)1和红外标志点2，其中，红外标志点是可以发出红外光的部件，例如小体积的红外灯。ct标志点与红外标志点共同组成了标志点(marker)，使该标志点既能够被ct设备识别也能够被设置有红外相机的ar设备识别。而标志点的形态以及其中ct标志点与红外标志点的形态本方案不做要求，图4.a和图4.b仅作为一种示例。

应理解，当外部设备为mri设备时，标志点中应包括能够被mri设备识别的mri标志点。或者，当外部设备为其他医疗成像设备时，标志点中应包括能被该外部设备识别的对应的外部设备标志点。

在上述系统实施例的基础上，下面通过几个方法实施例对本方案进行说明。

图5为本发明实施例提供的一种医疗数据处理方法实施例一的流程示意图，如图5所示，该医疗数据处理方法的具体实现步骤包括：

s101：获取病患的患病部位的第一三维数据。

在该方案中，三维数据也称为三维位置、三维模型或者三维图像。

通过ct/mri或者其他医疗成像设备对病患部位进行扫描，并将扫描获取的二维数据进行三维重建，例如通过体绘制技术或者面绘制技术，对扫描数据进行三维重建，以获取病患部位的三维影像数据，即第一三维数据。

应理解，获取第一三维数据的方式至少包括一下两种：

第一种方式，ar设备接收外部设备发送的第一三维数据。具体为，该外部设备接收ct/mri或者其他医疗成像设备提供的针对患病部位扫描的二维数据，并将该二维数据进行三维重建，得到第一三维数据，并将该第一三维数据发送到ar设备。其中，外部设备可以是个人计算机pc，或者云端服务器，或者其他处理器设备。

第二种方式，ar设备接收ct/mri或者其他医疗成像设备提供的针对患病部位扫描的二维数据，并根据面绘制技术或者体绘制技术对该二维影像数据进行三维重建，得到第一三维数据。

s102：获取第一三维数据相对于患病部位的位姿关系。

本方案中，应理解，位姿关系为坐标系中两组三维数据的相对位置和姿态。

在本步骤中，需要将s101步骤中通过扫描以及三维重建获取的患病部位的三维影像与真实世界的患病部位实体进行结合，可以通过ar设备的红外相机接收患病部位的实时影像，并将ar设备的实时影像与第一三维数据进行配准，以获取第一三维数据相对于患病部位的实时的位姿关系。

可选的，三维数据的配准方法可以是点集对点集的配准方法(pointsettopointset，pstps)、迭代最近点方法(iterativeclosestpoint，icp)、基于点线面几何特征约束的配准方法(geometricfeatureconstraint，gfc)、或者多幅影像数据的整体配准方法(mvs)等，本方案对此不做要求。

s103：根据位姿关系，将第一三维数据通过增强现实的方式在所述患病部位进行呈现。

根据s102步骤获取的位姿关系，即可通过增强现实的方式将第一三维数据在该患病部位进行呈现，其可达到将第一三维数据“投影”在患病部位的视觉效果。

在本方案中，应理解，第一三维数据为患病部位的三维影像数据，该第一三维数据能够体现患病部位的具体病患位置，将该第一三维数据呈现在患者的真实患病部位，极大程度的提高了病患定位的准确性，对于医生进行手术，尤其微创手术提供了保障。

可选的，其增强现实显示可通过ar设备的显示器显示，也可通过外接的显示器显示，其显示方式可以是屏幕显示也可以是投影显示，本方案对此不做要求。

本实施例提供的一种医疗数据处理方法，通过获取病患的患病部位的第一三维数据，以及患病部位的第一三维数据与该患病部位的位姿关系，根据位姿关系将患病部位的第一三维数据通过增强现实的方式在该患病部位进行呈现，以使将患病部位的第一三维数据呈现在真实的患病部位，与三维影像数据实时交互，能够准确定位患病位置，从而对手术的精确治疗以及手术的安全性起到至关重要的作用。

本方案在三维数据配准的具体实现过程中，如果对每一帧都进行实时计算，则可能产生画面延迟，为避免在三维数据配准的过程中发生延迟，提供如下解决方案：

1)可以与ar设备已有的追踪技术相结合：第一帧三维数据配准后，位姿追踪可参考ar设备本身的追踪数据，即三维配准数据与ar设备的追踪数据相结合，这样则不需要每一帧都进行三维数据配准(可以每隔几帧配准计算一次，两者数据相互结合)。

ar设备的追踪方法包括双目相机追踪、tof追踪、结构光追踪方法，等，本方案对此不做要求。

2)从硬件上提升运算效率。

基于上述实施例，本发明提供的医疗数据处理方法，针对获取第一三维数据相对于患病部位的位姿关系的不同方法，可分为以下两种具体实现方式，包括：

方式一：

对患病部位进行红外线实时照射，通过红外双目相机接收病患部位的血管的三维影像数据，即第二三维数据。将接收到的患病部位的血管的三维影像数据与经过扫描和三维重建得到的患病部位的三维影像数据进行配准，得到二者之间的位姿关系，并通过ar设备的显示装置，根据得到的位姿关系，将患病部位的三维影像数据在患病部位进行呈现。

在一种具体的实现方式中，图6为本发明实施例提供的一种医疗数据处理方法实施例二的流程示意图，如图6所示，本方案以成像设备为ct设备为例对实现过程中的具体技术方案进行说明，但不代表本方案不适用于其他成像设备。

s201：实时红外三维探测获取第二三维数据。

参考图7，图7为本发明实施例提供的一种红外发射装置照射患病部位的示意图，图中红外发射装置可以具体为一种红外灯，该红外发射装置可以为独立的装置，也可以集成在ar设备中，红外发射装置可根据患病部位的具体位置和大小调整照射范围可远近。

红外线照射患病部位的皮肤，皮肤下的血管会被红外双目相机接收到，利用双目红外相机，则可以通过双目图像的立体关系，得到实时的血管的三维数据(也称作三维位置、三维模型或者三维图像)，即第二三维数据。

可选的，可通过opencv的开源算法实现根据双目图像获取三维数据。

s202：从ct扫描与三维重建后的三维数据中提取血管三维数据。

获取ct扫描与三维重建后的患病部位的三维数据，即第一三维数据，也称作ct三维模型。提取ct三维模型中的血管三维数据。提取血管三维数据的方式包括但不限于：利用密度值提取或者利用体绘制(通过传输函数)提取。

s203：获取ct三维模型相对于患者的实时位姿关系。

根据ct三维模型中的血管三维数据与红外双目相机实时采集的第二三维数据进行配准，得到两者之间的位姿关系，也就是ct三维模型相对于患者的实时位姿关系。

三维数据的配准方法可以是点集对点集的配准方法(pstps)、迭代最近点方法(icp)、基于点线面几何特征约束的配准方法(gfc)、或者多幅影像数据的整体配准方法(mvs)等，本方案对此不做要求。

s204：增强现实效果图像呈现。

本步骤与上述方案中所述的显示过程一致，此处不再赘述。

方式二：

在本方案中，首先需要在患病部位粘贴多个标志点(markers)，或者夹戴和/或粘贴由多个标志点组成的定位装置(其具体形态与应用可参见医疗数据处理系统实施例中提供的多个标志点以及定位装置)。经过ct/mri等成像设备对患病部位进行扫描，得到患病部位的二维影像数据，从该二维影像数据中提取每个标志点的第一三维坐标，并通过ar设备的红外相机实时采集每个标志点相对于ar设备的第二三维坐标，根据每个标志点的第一三维坐标和第二三维坐标进行配准，即得到第一三维数据相对于患病部位的位姿关系。

在一种具体的实现方式中，图8为本发明实施例提供的一种医疗数据处理方法实施例三的流程示意图，本方案以成像设备为ct设备为例对实现过程中的具体技术方案进行说明，但不代表本方案不适用于其他成像设备。

现有技术中，ct扫描时为了确定患病部位，有时会使用ct标志点(ctmarker)。而在本方案中ct标志点与红外标志点共同组成一个marker，多个marker按照一定的结构组成markers，可参见图9。

如图8所示，本方案主要包括以下步骤：

s301：实时红外多点结构探测，获取每个标志点相对于ar设备的第二三维坐标。

通过红外相机对每个标志点进行实时探测，该红外相机可以是集成于ar设备中的，可以是红外双目相机，也可以是红外单目相机。获取每个标志点相对于ar设备的坐标可以包括但不限于采用(perspective-n-point，pnp)算法。

s302：从ct扫描的二维数据中提取每个标志点的坐标。

通过ct扫描得到患病部位的二维影像数据，利用体绘制技术或者面绘制技术将病人二维影像转换为三维图形图像数据，同时将二维影像数据中的每个标志点提取出来，得到三维重建场景下的每个标志点的三维坐标，即第一三维坐标。

s303：根据第一三维坐标和第二三维坐标进行陪配准，得到第一三维数据相对于所述患病部位的位姿关系。

在ar眼镜坐标系中的每个标志点，与ct重建坐标系下的每个标志点，是一一对应的，利用三维数据配准算法，可以得到两者之间的坐标关系，从而得到第一三维数据相对于患病部位的位姿关系。

三维数据的配准方法可以是点集对点集的配准方法(pstps)、迭代最近点方法(icp)、基于点线面几何特征约束的配准方法(gfc)、或者多幅影像数据的整体配准方法(mvs)等，本方案对此不做要求。

s304：增强现实效果图像呈现。

本步骤与上述方案中所述的显示过程一致，此处不再赘述。

图10为本发明实施例提供的一种ar设备的结构示意图，如图10所示，该ar设备100包括：

获取模块101：用于获取病患的患病部位的第一三维数据，所述第一三维数据是根据预先扫描的所述患病部位的二维影像数据转换得到的三维影像数据；

所述获取模块还用于获取所述第一三维数据相对于所述患病部位的位姿关系；

处理模块102：用于根据所述位姿关系，将所述第一三维数据通过增强现实的方式在所述患病部位进行呈现。

本实施例提供的ar设备用于实现前述任一方法实施例中的技术方案，其实现原理和技术效果类似，将患病部位的三维影像数据通过增强现实的方式在真实的患病部位进行呈现，实现了与三维影像数据实时交互，对手术的精确治疗以及手术的安全性起到至关重要的作用。

在上述图10所示实施例的基础上，所述获取模块101具体用于获取所述患病部位的第二三维数据，所述第二三维数据是采用红外线技术得到所述患病部位的血管的三维影像数据；将所述第一三维数据和所述第二三维数据进行配准，得到所述第一三维数据相对于所述患病部位的位姿关系。

在一种具体的实现方式中，所述二维影像数据包括在所述患病部位设置的多个标志点的影像，所述获取模块101具体用于：

从所述二维影像数据中提取出每个标志点的第一三维坐标；

获取所述患病部位的每个标志点相对于所述ar设备的第二三维坐标；

根据每个标志点的第一三维坐标和第二三维坐标进行配准，得到所述第一三维数据相对于所述患病部位的位姿关系。

进一步地，所述获取模块101具体用于接收外部设备发送的所述第一三维数据；

或者，

接收外部设备发送的所述患病部位的二维影像数据；

根据面绘制技术或者体绘制技术对所述二维影像数据进行转换，得到所述第一三维数据。

在一种具体的实现方式中，所述获取模块101具体用于通过红外相机拍摄被红外线实时照射的所述患病部位，得到所述第二三维数据。

具体的，所述获取模块101具体用于通过红外相机实时探测每个标志点相对于所述ar设备的第二三维坐标。

上述任一实现方式提供的ar设备，用于执行前述任一方法实施例中的技术方案，其实现原理和技术效果类似，在此不再赘述。

图11为本发明实施例提供的一种ar设备的硬件结构示意图。如图11所示，该ar设备200包括：

红外相机201、显示器202、处理器203、存储器204以及计算机程序；

所述显示器202用于呈现增强现实图像；

所述计算机程序存储在所述存储器204中，所述处理器203执行所述计算机程序实现任一方法实施例中所述的医疗数据处理方法。

图11为ar设备的一种简单设计，本发明实施例不限制ar设备中处理器和存储器个数，图11仅以个数为1作为示例说明。

可选地，存储器204既可以是独立的，也可以跟处理器203集成在一起。

当存储器204独立设置时，该终端设备还包括总线，用于连接所述存储器204和处理器203。

本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上所述的应用程序的启动方法。

本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一计算机可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。