一种基于三维重建图像的定位指示生成方法及装置的制造方法
【专利摘要】本发明涉及计算机技术领域，尤其涉及一种基于三维重建图像的定位指示生成方法及装置，包括：接收用户在目标对象的第一目标二维医学图像上输入的标记信息，根据标记信息在第一目标二维医学图像上的位置信息，确定标记信息在目标对象的三维重建图像上的位置信息，根据预设的定位指示生成规则及标记信息在三维重建图像上的位置信息，确定目标对象在三维重建图像上的定位指示，并显示在三维重建图像。该方法实现了通过在二维医学图像上输入标记信息，得到标记信息在三维重建图像上的位置信息，并根据三维重建图像上的位置信息及预设的定位指示生成规则，生成定位指示并显示在三维重建图像，从而便于医生根据该定位指示进行术前观察及术中参照。
【专利说明】
一种基于三维重建图像的定位指示生成方法及装置
技术领域
[0001]本发明涉及计算机技术领域，尤其涉及一种基于三维重建图像的定位指示生成方法及装置。
【背景技术】
[0002]目前临床工作中大量的操作是建立在准确的解剖定位的基础上，如各种穿刺操作，直到现在很多解剖结构定位仍是由医生徒手完成。因而造成定位不准确，造成一定的手术风险。
[0003]随着计算机技术的发展，目前出现了各种生成目标对象的可视化图像的方法，如各种可视化的三维显示，目前临床上也已经在逐渐应用三维可视化软件，如3DSlicer、ImageJ等，或者导航系统专门配置的一些三维重建软件，使用这些软件对患者身体上的目标对象(如头颅、各种器官等)进行三维重建，生成三维重建图像，在一定程度上方便了医生实施手术前的术前观察，以便医生可以准确判断患者身体部位的状况。
[0004]但上述方法存在的问题是:构建的三维重建图像只能用于观察，但仍然不能为医生提供更进一步的手术指导，比如指导医生如何根据三维重建图像来对目标对象实施手术等。
[0005]综上所述，现有技术中的三维重建图像不能很好地指导医生实施手术。
【发明内容】
[0006]本发明提供一种基于三维重建图像的定位指示生成方法及装置，用以解决现有技术中存在的三维重建图像不能很好地指导医生实施手术的技术问题。
[0007]一方面，本发明实施例提供一种基于三维重建图像的定位指示生成方法，包括:
[0008]接收用户在目标对象的第一目标二维医学图像上输入的标记信息，所述第一目标二维医学图像为所述目标对象的二维医学图像中的至少一个二维医学图像；
[0009]根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息，所述三维重建图像是根据所述目标对象的二维医学图像生成的；
[0010]根据预设的定位指示生成规则及所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，并将所述定位指示显示在所述三维重建图像。
[0011 ]本发明实施例提供的方法，接收用户在目标对象的第一目标二维医学图像上输入的标记信息，所述第一目标二维医学图像为所述目标对象的二维医学图像中的至少一个二维医学图像，根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息，所述三维重建图像是根据所述目标对象的二维医学图像生成的，根据预设的定位指示生成规则及所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，并将所述定位指示显示在所述三维重建图像。该方法实现了通过在第一目标二维医学图像上输入标记信息，从而得到标记信息在三维重建图像上的位置信息，并根据三维重建图像上的位置信息及预设的定位指示生成规则，生成定位指示并显示在三维重建图像上，从而便于医生根据该定位指示进行术前观察及术中参照，因而能够很好地指导医生实施手术。
[0012]可选地，所述接收用户在目标对象的第一目标二维医学图像上输入的标记信息之后，还包括:
[0013]根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在第二目标二维医学图像上的位置信息并显示在所述第二目标二维医学图像中，所述第二目标二维医学图像为所述目标对象的二维医学图像中与所述第一目标二维医学图像的方位不同的二维医学图像。
[0014]可选地，所述确定所述标记信息在第二目标二维医学图像上的位置信息并显示在所述第二目标二维医学图像中之后，还包括:
[0015]接收用户在所述第二目标二维医学图像中对所述标记信息的调整指令，根据所述调整指令更新所述标记信息在所述第二目标二维医学图像上的位置信息；
[0016]根据所述标记信息在所述第二目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息；
[0017]根据所述预设的定位指示生成规则及确定的所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，并将所述定位指示显示在所述三维重建图像。
[0018]可选地，所述目标对象为头颅，所述第一目标二维医学图像为第一方位上的多个二维医学图像中的任一个，所述第二目标二维医学图像为第二方位上的多个二维医学图像中的任一个，所述第一方位上的多个二维医学图像中与所述第二方位上的多个二维医学图像一一对应，所述二维医学图像为轴位医学图像、冠状位医学图像或矢状位医学图像。
[0019]可选地，所述目标对象为头颅，所述三维重建图像中的标记信息的位置信息包含鼻窝点、前额中心点、后脑中心点、烦内左穿刺点及烦内右穿刺点；
[0020]根据预设的定位指示生成规则及所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，包括:
[0021]根据所述鼻窝点、所述前额中心点及所述后脑中心点，确定第一参考切平面；
[0022]将从所述鼻窝点在所述第一参考切平面上沿着所述头颅向上第一距离的位置，确定为第一目标点；
[0023]将从所述第一目标点在第二参考切平面上沿着所述头颅向右第二距离的位置，确定为第二目标点，和/或，将从所述第一目标点在第二参考切平面上沿着所述头颅向左第二距离的位置，确定为第三目标点；所述第二参考切平面为在所述第一目标点处与所述第二参考切平面垂直的平面；
[0024]根据所述第二目标点和所述颅内右穿刺点，确定第一穿刺定位线；和/或，根据所述第三目标点和所述颅内左穿刺点，确定第二穿刺定位线；
[0025]将所述第一穿刺定位线和/或所述第二穿刺定位线确定为所述目标对象在所述三维重建图像上的定位指示。
[0026]可选地，所述将所述定位指示显示在所述三维重建图像之后，还包括:
[0027]将包含所述定位指示的所述三维重建图像发送至通用显示设备，以使所述通用显示设备显示所述包含所述定位指示的所述三维重建图像。
[0028]另一方面，本发明实施例提供一种基于三维重建图像的定位指示生成装置，包括:
[0029]接收单元，用于接收用户在目标对象的第一目标二维医学图像上输入的标记信息，所述第一目标二维医学图像为所述目标对象的二维医学图像中的至少一个二维医学图像；
[0030]位置信息确定单元，用于根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息，所述三维重建图像是根据所述目标对象的二维医学图像生成的；
[0031]定位指示确定单元，用于根据预设的定位指示生成规则及所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示；
[0032]显示单元，用于将所述定位指示显示在所述三维重建图像。
[0033]可选地，所述位置信息确定单元，还用于:
[0034]根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在第二目标二维医学图像上的位置信息并显示在所述第二目标二维医学图像中，所述第二目标二维医学图像为所述目标对象的二维医学图像中与所述第一目标二维医学图像的方位不同的二维医学图像。
[0035]可选地，所述接收单元，还用于接收用户在所述第二目标二维医学图像中对所述标记信息的调整指令；
[0036]所述位置信息确定单元，还用于根据所述调整指令更新所述标记信息在所述第二目标二维医学图像上的位置信息;根据所述标记信息在所述第二目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息；
[0037]所述定位指示确定单元，还用于根据所述预设的定位指示生成规则及确定的所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示；
[0038]所述显示单元，还用于将所述定位指示显示在所述三维重建图像。
[0039]可选地，所述目标对象为头颅，所述第一目标二维医学图像为第一方位上的多个二维医学图像中的任一个，所述第二目标二维医学图像为第二方位上的多个二维医学图像中的任一个，所述第一方位上的多个二维医学图像中与所述第二方位上的多个二维医学图像一一对应，所述二维医学图像为轴位医学图像、冠状位医学图像或矢状位医学图像。
[0040]可选地，所述目标对象为头颅，所述三维重建图像中的标记信息的位置信息包含鼻窝点、前额中心点、后脑中心点、烦内左穿刺点及烦内右穿刺点；
[0041]所述定位指示确定单元，具体用于:
[0042]根据所述鼻窝点、所述前额中心点及所述后脑中心点，确定第一参考切平面；
[0043]将从所述鼻窝点在所述第一参考切平面上沿着所述头颅向上第一距离的位置，确定为第一目标点；
[0044]将从所述第一目标点在第二参考切平面上沿着所述头颅向右第二距离的位置，确定为第二目标点，和/或，将从所述第一目标点在第二参考切平面上沿着所述头颅向左第二距离的位置，确定为第三目标点；所述第二参考切平面为在所述第一目标点处与所述第二参考切平面垂直的平面；
[0045]根据所述第二目标点和所述颅内右穿刺点，确定第一穿刺定位线；和/或，根据所述第三目标点和所述颅内左穿刺点，确定第二穿刺定位线；
[0046]将所述第一穿刺定位线和/或所述第二穿刺定位线确定为所述目标对象在所述三维重建图像上的定位指示。
[0047]可选地，所述定位指示生成装置还包括发送单元，用于将包含所述定位指示的所述三维重建图像发送至通用显示设备，以使所述通用显示设备显示所述包含所述定位指示的所述三维重建图像。
【附图说明】
[0048]为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0049]图1为本发明实施例提供的一种基于三维重建图像的定位指示生成方法流程图；
[0050]图2为本发明实施例提供的一种基于三维重建图像的定位指示生成方法示意图；
[0051]图3为本发明实施例提供的一种基于三维重建图像的定位指示生成方法示意图；
[0052]图4为本发明实施例提供的AR眼镜显示带有定位指示的三维重建图像示意图；
[0053]图5为本发明实施例提供的一种基于三维重建图像的定位指示生成方法详细流程图；
[0054]图6为本发明实施例提供的一种基于三维重建图像的定位指示生成装置示意图。
【具体实施方式】
[0055]为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0056]下面结合说明书附图对本发明实施例作进一步详细描述。
[0057]如图1所示，本发明实施例提供的一种基于三维重建图像的定位指示生方法，包括:
[0058]步骤101、接收用户在目标对象的第一目标二维医学图像上输入的标记信息，所述第一目标二维医学图像为所述目标对象的二维医学图像中的至少一个二维医学图像；
[0059]步骤102、根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息，所述三维重建图像是根据所述目标对象的二维医学图像生成的；
[0060]步骤103、根据预设的定位指示生成规则及所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，并将所述定位指示显示在所述三维重建图像。
[0061]在本发明实施例中，目标对象指的是患者本身或者是患者的某个身体部分(如头颅、手臂、上半身部位等)，三维重建图像是根据目标对象的二维医学图像生成的，例如可以根据患者身上的目标对象的二维医学图像(可以是CT(Computed Tomography，即电子计算机断层扫描)、MRI(Magnetic Resonance Imaging，磁共振成像)、PET(Positron Emiss1nComputed Tomography，正电子发射型计算机断层显像)等二维医学图像)进行三维重建，从而得到目标对象的三维重建图像。
[0062]其中，目标二维医学图像指的是目标对象的二维医学图像中一个或多个二维医学图像。以目标对象是一个头颅为例，参照图2，为本发明实施例提供的一种基于三维重建图像的定位指示生成方法示意图，其中，三维重建A指的是一个头颅的三维重建图像，它是根据多个二维医学图像构建的，并且所述多个二维医学图像中包含三个方位的多个二维医学图像，在医学图像中，三个方位分别称为矢状位，冠状位和轴位，因此一个头颅三维重建图像是根据大量的矢状位，冠状位和轴位而建立的，对于如何建立一个三维重建图像，目前有很多种技术可以实现，本发明不做重点描述，基于已经重建好的三维重建图像，其对应了多组二维医学图像，以图2为例，假设三维重建图像A是建立在三维坐标轴上的，矢状位B是YZ平面的二维医学图像，冠状位C是XZ平面的二维医学图像，轴位D是XY平面的二维医学图像，则一组二维医学图像则包含一个YZ平面的矢状位B，一个XZ平面的冠状位C，一个XY平面的轴位D。并且在本发明实施例中，三维重建图像与目标二维重建图像(如图2中的矢状位B、冠状位C或者轴位D)是联动的，举例说明，假设在矢状位B中添加一个标记点bl，则在三维重建图像A中会自动生成一个对应的标记点al，在冠状位C中会自动生成一个对应的标记点Cl，在轴位D上会自动生成一个一个对应的标记点dl，并且al，bl，cl或dl中的任意一个标记点的移动，都会造成其它三个标记点进行相应的移动，即四者之间是联动的。
[0063]本发明实施例正是基于以上前提，给出了一种基于三维重建图像的定位指示生成方法，下面详细介绍。
[0064]需要说明的是，在本方实施例中，目标对象可以是患者身上的任何部位，也可以是患者本身，本发明为方便说明，后续以目标对象为例进行说明，对于本发明实施例提供的方法应用于其它身体部位的具体实施步骤，可以参考应用于头颅的具体实施步骤。
[0065]在上述步骤101中，接收用户在目标对象的第一目标二维医学图像上输入的标记信息，其中，所述第一目标二维医学图像为所述目标对象的二维医学图像中的至少一个二维医学图像，以图2为例，第一目标二维医学图像可以是矢状位B，或者是冠状位C，或者是轴位D，为方便说明，本发明实施例后续以第一目标二维医学图像是矢状位B为例进行说明。并且第一目标二维医学图像可以是一个二维医学图像，也可以是多个二维医学图像，由于矢状位B是YZ平面的二维医学图像，因此当第一目标二维医学图像是多个二维医学图像时，所述多个二维医学图像之间的X轴的坐标是不一样的，举例来说，第一目标二维医学图像可以是由多个可以透视的X轴坐标不同的矢状位B的叠层构成，即在图2中，矢状位B中其实是包含有多个二维医学图像，二维医学图像之间的X轴坐标是不相同的。
[0066]在第一目标二维医学图像上输入的标记信息可以是圆点，线条，箭头等标记，具体的标记信息是何种形式，视实际需要而定，在本发明实施例中，以标记信息为圆点为例进行说明。
[0067]参照图2，在第一目标二维医学图像(即图2中的矢状位B)上，可以由用户(例如医生)通过鼠标或者键盘等输入方式，手动输入标记信息，如图2中的bI点，b2点，b3点，b4点，b5点等，并且这些标记信息的位置是可以移动的，即可以改变这些标记点的位置，或者删除标记信息等，此外，这些标记信息可以是在同一个二维医学图像上，如在同一个矢状位B上，也可以是在多个二维医学图像上，且二维医学图像是同一个方位的二维医学图像，例如bl是在X坐标为2的矢状位B上，b2是在X坐标为4的矢状位B上，b3也是在x坐标为4的矢状位B上，b4是在X坐标为6的矢状位B上，b5是在X坐标为8的矢状位B上等等。
[0068]在上述步骤102中，根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息，其中所述三维重建图像是根据所述目标对象的二维医学图像生成的。
[0069]举例来说，参照图2，可以根据第一目标二维医学图像上的标记信息bl点，b2点，b3点，b4点，b5点，得到这些标记信息在三维医学图像上的位置信息，例如分别为al点，a2点，a3点，a4点，a5点，其中al点是根据bl点得到的，a2点是根据b2点得到的，a3点是根据b3点得至IJ的，a4点是根据b4点得到的，a5点是根据b5点得到的。
[0070]在上述步骤103中，在得到了三维重建图像上的标记信息之后，然后根据预设的定位指示生成规则及所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，并将所述定位指示显示在所述三维重建图像，例如举例来说，参考图3，为本发明实施例提供的一种基于三维重建图像的定位指示生成方法示意图，其中箭头E和F为最终的定位指示，用于指示医生做穿刺手术时的穿刺角度和穿刺深度，例如得到的定位指示中包含两个穿刺路径，分别为E和F，其中穿刺路径E中还包含有穿刺角度为60度，以及穿刺深度为10cm，穿刺路径F中国还包含穿刺角度为45度，以及穿刺深度为10cm，因而将这些定位指示显示在三维重建图像上，有助于医生根据带有定位指示的三维重建图像更好地进行术前观察及指导术中进行手术操作，例如使得医生得到在实施穿刺手术时需要穿刺多深，以及以何种角度穿刺等。
[0071]需要说明的是，上述只是以定位指示为穿刺路径为例进行说明，实际应用中，定位指示不仅仅指穿刺路径，还可以是其它信息，例如肿瘤定位指示，癌细胞扩散范围定位指示灯，具体的，定位指示是以实际应用为准。
[0072]下面以目标对象为头颅为例，对本发明实施例提供的定位指示生成方法做详细介绍。
[0073]在上述步骤102中，是根据第一目标二维医学图像上的位置信息来确定标记信息在所述目标对象的三维重建图像上的位置信息的，但是实际应用中，由于第一目标二维医学图像是一个二维医学图像，是一个平面图像，在医生通过眼睛观看时，无法显示另一个维度上是否准确，因此导致输入的标记信息可能不是很准确，举例来说，参照图2，医生在第一目标二维医学图像(本发明实施例中以第一目标二维医学图像为矢状位B为例)输入bl点，由于矢状位B是一个YZ平面上的图像，因而无法得知其在X轴的方向是具体需要调整为什么值，因此导致在三维重建图像A中生成的al点，可能在X轴方向上不是很准确，为此，本发明还提供一种确定标记信息在三维重建图像上的位置信息的方法，具体为:在接收用户在目标对象的第一目标二维医学图像上输入的标记信息之后，根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在第二目标二维医学图像上的位置信息并显示在所述第二目标二维医学图像中，所述第二目标二维医学图像为所述目标对象的二维医学图像中与所述第一目标二维医学图像的方位不同的二维医学图像;接收用户在所述第二目标二维医学图像中对所述标记信息的调整指令，根据所述调整指令更新所述标记信息在所述第二目标二维医学图像上的位置信息;根据所述标记信息在所述第二目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息；根据所述预设的定位指示生成规则及确定的所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，并将所述定位指示显示在所述三维重建图像。
[0074]举例来说，参照图2，假设第一目标二维医学图像是矢状位B，则第二目标二维医学图像可以是冠状位C或轴位D，当用户在第一目标二维医学图像上依次输入了标记点bl点，b2点，b3点，b4点，b5点之后，根据这些标记点信息，得到所述标记信息在第二目标二维医学图像上的位置信息并显示在所述第二目标二维医学图像中，例如分别为(31，(32，(:3，(34，(35，以及(11，(12，(13，(14，(15，然后由用户在第二目标二维医学图像上输入调整指令，例如通过鼠标的操作生成调整指令，或者是键盘的操作生成调整指令，假设医生观察到Cl点的位置信息在冠状位C中不是非常准确，需要微调一下，则通过鼠标或键盘进行调整，调整之后生成调整命令，然后根据调整命令得到Cl在第二目标二维医学图像中的新位置并进行显示，然后根据所述标记信息在所述第二目标二维医学图像上的位置信息(即第二目标二维医学图像上调整后的标记点的位置信息)，确定所述标记信息在所述目标对象的三维重建图像上的位置信息；以及根据预设的定位指示生成规则及确定的所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，并将所述定位指示显示在所述三维重建图像。
[0075]因而上述方法实现了可通过第二目标二维医学图像来对输入的标记信息进行更加精确的调整，从而使得最终在三维重建图像A中的标记信息的位置信息是非常精准的，以便可以生成比较精准的定位指示。
[0076]下面针对定位指示为头颅穿刺路径的例子来说明如何根据定位指示规则来生成定位指示。
[0077]具体地，目标对象为头颅，其中，所述第一目标二维医学图像为第一方位上的多个二维医学图像中的任一个，所述第二目标二维医学图像为第二方位上的多个二维医学图像中的任一个，所述第一方位上的多个二维医学图像中与所述第二方位上的多个二维医学图像一一对应，所述二维医学图像为轴位医学图像、冠状位医学图像或矢状位医学图像。
[0078]下面的例子中，以第一目标二维医学图像为矢状位医学图像，第二目标二维医学图像为轴位医学图像为例，且所述三维重建图像中的标记信息的位置信息包含鼻窝点a5、前额中心点a4、后脑中心点al、烦内左穿刺点a2及颅内右穿刺点a3，贝帳据预设的定位指示生成规则及所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，具体包括:
[0079]步骤1、根据所述鼻窝点a5、所述前额中心点a4及所述后脑中心点al，确定第一参考切平面；
[0080]由三个点确定一个平面，在该步骤中，确定的第一参考切平面为颅内中轴线所在的平面，即可以将三维重建图像切分为左右两部分的平面。
[0081]步骤2、将从所述鼻窝点a5在所述第一参考切平面上沿着所述头颅向上第一距离的位置，确定为第一目标点；
[0082]参照图3，a5点从所述第一参考切平面上沿着头颅向上移动第一距离到达第一目标点，在头颅穿刺路径的确定过程中，医学界一般将第一距离一般选择为11cm，即从鼻窝点a5向上移动11 cm到达第一目标点。
[0083]步骤3、将从所述第一目标点在第二参考切平面上沿着所述头颅向右第二距离的位置，确定为第二目标点，和/或，将从所述第一目标点在第二参考切平面上沿着所述头颅向左第二距离的位置，确定为第三目标点；所述第二参考切平面为在所述第一目标点处与所述第二参考切平面垂直的平面；
[0084]在该步骤中，从第一目标点在第二参考切平面上验证头颅向右第二距离的位置为第二目标点，即图3中的A点，和/或，从第一目标点在第二参考切平面上验证头颅向左第二距离的位置为第三目标点，即图3中的B点，在医学界，一般选择第二距离为2.5cm。
[0085]如果只想得到右穿刺路径，则只需要得到第二目标点A，如果只想得到左穿刺路径，则只需要得到第三目标点B，如果想同时得到右穿刺路径和左穿刺路径，则需要同时得至IJ第二目标点A和第三目标点B。
[0086]步骤4、根据所述第二目标点和所述颅内右穿刺点a3，确定第一穿刺定位线；和/或，根据所述第三目标点和所述颅内左穿刺点a2，确定第二穿刺定位线；
[0087]参照图3，第一穿刺定位线E在第二目标点和颅内右穿刺点a3的连线的延长线上，第二穿刺定位线F在第三目标点和颅内左穿刺点a2的连线的延长线上，第一穿刺定位线E和第二穿刺定位线F既包含了穿刺角度信息，也包含穿刺深度信息，从而可以为医生做穿刺手术提供参照。
[0088]步骤5、将所述第一穿刺定位线和/或所述第二穿刺定位线确定为所述目标对象在所述三维重建图像上的定位指示。
[0089]可选地，在上述步骤5之后，还可以将包含所述定位指示的所述三维重建图像发送至通用显示设备，以使所述通用显示设备显示所述包含所述定位指示的所述三维重建图像。
[0090]其中，所述通用显示设备可以是AR(Augmented Reality，增强现实)/VR(Virtual1^&1:^7，虚拟现实)显示设备、41?/'\^眼镜、41?/'\^可穿戴设备、和20(20;[1116118；[0118)/30(3DimenSi0nS)显示设备等，通用显示设备可用于更加清楚或者方便的观看包含定位指示的三维重建图像。
[0091]举例来说，当通用显示设备是AR眼镜时，参照图4，为本发明实施例提供的AR眼镜显示带有定位指示的三维重建图像示意图，当医生戴上AR眼镜时，上面会显示包含有定位指示的三维重建图像，当患者躺在手术台上，由于AR眼镜是透明的，医生既可以透过AR眼镜看到患者本身，同时也可以看到眼镜上的三维重建图像；医生实施手术过程中，戴上AR眼镜，然后找到合适的站位，使得AR眼镜上的三维重建图像与目标对象重合，以头颅为例，当医生佩戴AR眼镜时，可以在AR眼镜上看见头颅三维重建图像，然后通过找到合适的站位，使得观察到的患者的头颅与AR眼镜上的头颅三维重建图像重合，从而方便医生通过观看AR眼镜上的三维重建图像来观察患者的头颅内部结构，从而可以通过观看AR眼镜中的定位指示，来对患者头颅实施穿刺手术，提高了穿刺手术的精确度和安全性。
[0092]本发明实施例提供的方法，接收用户在目标对象的第一目标二维医学图像上输入的标记信息，所述第一目标二维医学图像为所述目标对象的二维医学图像中的至少一个二维医学图像，根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息，所述三维重建图像是根据所述目标对象的二维医学图像生成的，根据预设的定位指示生成规则及所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，并将所述定位指示显示在所述三维重建图像。该方法实现了通过在第一目标二维医学图像上输入标记信息，从而得到标记信息在三维重建图像上的位置信息，并根据三维重建图像上的位置信息及预设的定位指示生成规则，生成定位指示并显示在三维重建图像上，从而便于医生根据该定位指示进行术前观察及术中参照，因而能够很好地指导医生实施手术。
[0093]下面对本发明实施例提供的一种基于三维重建图像的定位指示生成方法做详细描述，如图5所示，为本发明实施例提供的一种基于三维重建图像的定位指示生成方法详细流程图，包括:
[0094]步骤501、接收用户在目标对象的第一目标二维医学图像上输入的标记信息，所述第一目标二维医学图像为所述目标对象的二维医学图像中的至少一个二维医学图像；
[0095]步骤502、根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在第二目标二维医学图像上的位置信息并显示在所述第二目标二维医学图像中，所述第二目标二维医学图像为所述目标对象的二维医学图像中与所述第一目标二维医学图像的方位不同的二维医学图像；
[0096]步骤503、接收用户在所述第二目标二维医学图像中对所述标记信息的调整指令，根据所述调整指令更新所述标记信息在所述第二目标二维医学图像上的位置信息；
[0097]步骤504、根据所述标记信息在所述第二目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息；
[0098]步骤505、根据预设的定位指示生成规则及确定的所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，并将所述定位指示显示在所述三维重建图像。
[0099]本发明实施例提供的方法，接收用户在目标对象的第一目标二维医学图像上输入的标记信息，所述第一目标二维医学图像为所述目标对象的二维医学图像中的至少一个二维医学图像，根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息，所述三维重建图像是根据所述目标对象的二维医学图像生成的，根据预设的定位指示生成规则及所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，并将所述定位指示显示在所述三维重建图像。该方法实现了通过在第一目标二维医学图像上输入标记信息，从而得到标记信息在三维重建图像上的位置信息，并根据三维重建图像上的位置信息及预设的定位指示生成规则，生成定位指示并显示在三维重建图像上，从而便于医生根据该定位指示进行术前观察及术中参照，因而能够很好地指导医生实施手术。
[0100]基于相同的技术构思，本发明实施例还提供一种基于三维重建图像的定位指示生成装置如图6所示，包括:
[0101 ]接收单元601，用于接收用户在目标对象的第一目标二维医学图像上输入的标记信息，所述第一目标二维医学图像为所述目标对象的二维医学图像中的至少一个二维医学图像；
[0102]位置信息确定单元602，用于根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息，所述三维重建图像是根据所述目标对象的二维医学图像生成的；
[0103]定位指示确定单元603，用于根据预设的定位指示生成规则及所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示；
[0104]显示单元604，用于将所述定位指示显示在所述三维重建图像。
[0105]可选地，所述位置信息确定单元602，还用于:
[0106]根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在第二目标二维医学图像上的位置信息并显示在所述第二目标二维医学图像中，所述第二目标二维医学图像为所述目标对象的二维医学图像中与所述第一目标二维医学图像的方位不同的二维医学图像。
[0107]可选地，所述接收单元601，还用于接收用户在所述第二目标二维医学图像中对所述标记信息的调整指令；
[0108]所述位置信息确定单元602，还用于根据所述调整指令更新所述标记信息在所述第二目标二维医学图像上的位置信息;根据所述标记信息在所述第二目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息；
[0109]所述定位指示确定单元603，还用于根据所述预设的定位指示生成规则及确定的所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示；
[0110]所述显示单元604，还用于将所述定位指示显示在所述三维重建图像。
[0111]可选地，所述目标对象为头颅，所述第一目标二维医学图像为第一方位上的多个二维医学图像中的任一个，所述第二目标二维医学图像为第二方位上的多个二维医学图像中的任一个，所述第一方位上的多个二维医学图像中与所述第二方位上的多个二维医学图像一一对应，所述二维医学图像为轴位医学图像、冠状位医学图像或矢状位医学图像。
[0112]可选地，所述目标对象为头颅，所述三维重建图像中的标记信息的位置信息包含鼻窝点、前额中心点、后脑中心点、烦内左穿刺点及烦内右穿刺点；
[0113]所述定位指示确定单元603，具体用于:
[0114]根据所述鼻窝点、所述前额中心点及所述后脑中心点，确定第一参考切平面；
[0115]将从所述鼻窝点在所述第一参考切平面上沿着所述头颅向上第一距离的位置，确定为第一目标点；
[0116]将从所述第一目标点在第二参考切平面上沿着所述头颅向右第二距离的位置，确定为第二目标点，和/或，将从所述第一目标点在第二参考切平面上沿着所述头颅向左第二距离的位置，确定为第三目标点；所述第二参考切平面为在所述第一目标点处与所述第二参考切平面垂直的平面；
[0117]根据所述第二目标点和所述颅内右穿刺点，确定第一穿刺定位线；和/或，根据所述第三目标点和所述颅内左穿刺点，确定第二穿刺定位线；
[0118]将所述第一穿刺定位线和/或所述第二穿刺定位线确定为所述目标对象在所述三维重建图像上的定位指示。
[0119]可选地，所述定位指示生成装置还包括发送单元605，用于将包含所述定位指示的所述三维重建图像发送至通用显示设备，以使所述通用显示设备显示所述包含所述定位指示的所述三维重建图像。
[0120]本发明实施例，接收用户在目标对象的第一目标二维医学图像上输入的标记信息，所述第一目标二维医学图像为所述目标对象的二维医学图像中的至少一个二维医学图像，根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息，所述三维重建图像是根据所述目标对象的二维医学图像生成的，根据预设的定位指示生成规则及所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，并将所述定位指示显示在所述三维重建图像。本发明实施例实现了通过在第一目标二维医学图像上输入标记信息，从而得到标记信息在三维重建图像上的位置信息，并根据三维重建图像上的位置信息及预设的定位指示生成规则，生成定位指示并显示在三维重建图像上，从而便于医生根据该定位指示进行术前观察及术中参照，因而能够很好地指导医生实施手术。
[0121]本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0122]这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0123]这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0124]尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
[0125]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【主权项】
1.一种基于三维重建图像的定位指示生成方法，其特征在于，包括: 接收用户在目标对象的第一目标二维医学图像上输入的标记信息，所述第一目标二维医学图像为所述目标对象的二维医学图像中的至少一个二维医学图像； 根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息，所述三维重建图像是根据所述目标对象的二维医学图像生成的； 根据预设的定位指示生成规则及所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，并将所述定位指示显示在所述三维重建图像。2.如权利要求1所述的方法，其特征在于，所述接收用户在目标对象的第一目标二维医学图像上输入的标记信息之后，还包括: 根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在第二目标二维医学图像上的位置信息并显示在所述第二目标二维医学图像中，所述第二目标二维医学图像为所述目标对象的二维医学图像中与所述第一目标二维医学图像的方位不同的二维医学图像。3.如权利要求2所述的方法，其特征在于，所述确定所述标记信息在第二目标二维医学图像上的位置信息并显示在所述第二目标二维医学图像中之后，还包括: 接收用户在所述第二目标二维医学图像中对所述标记信息的调整指令，根据所述调整指令更新所述标记信息在所述第二目标二维医学图像上的位置信息； 根据所述标记信息在所述第二目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息； 根据所述预设的定位指示生成规则及确定的所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，并将所述定位指示显示在所述三维重建图像。4.如权利要求1至3中任一项所述的方法，其特征在于，所述目标对象为头颅，所述第一目标二维医学图像为第一方位上的多个二维医学图像中的任一个，所述第二目标二维医学图像为第二方位上的多个二维医学图像中的任一个，所述第一方位上的多个二维医学图像中与所述第二方位上的多个二维医学图像一一对应，所述二维医学图像为轴位医学图像、冠状位医学图像或矢状位医学图像。5.如权利要求1至3中任一项所述的方法，其特征在于，所述目标对象为头颅，所述三维重建图像中的标记信息的位置信息包含鼻窝点、前额中心点、后脑中心点、颅内左穿刺点及颅内右穿刺点； 根据预设的定位指示生成规则及所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示，包括: 根据所述鼻窝点、所述前额中心点及所述后脑中心点，确定第一参考切平面； 将从所述鼻窝点在所述第一参考切平面上沿着所述头颅向上第一距离的位置，确定为第一目标点； 将从所述第一目标点在第二参考切平面上沿着所述头颅向右第二距离的位置，确定为第二目标点，和/或，将从所述第一目标点在第二参考切平面上沿着所述头颅向左第二距离的位置，确定为第三目标点；所述第二参考切平面为在所述第一目标点处与所述第二参考切平面垂直的平面； 根据所述第二目标点和所述颅内右穿刺点，确定第一穿刺定位线；和/或，根据所述第三目标点和所述颅内左穿刺点，确定第二穿刺定位线； 将所述第一穿刺定位线和/或所述第二穿刺定位线确定为所述目标对象在所述三维重建图像上的定位指示。6.如权利要求1至3中任一项所述的方法，其特征在于，所述将所述定位指示显示在所述三维重建图像之后，还包括: 将包含所述定位指示的所述三维重建图像发送至通用显示设备，以使所述通用显示设备显示所述包含所述定位指示的所述三维重建图像。7.一种基于三维重建图像的定位指示生成装置，其特征在于，包括: 接收单元，用于接收用户在目标对象的第一目标二维医学图像上输入的标记信息，所述第一目标二维医学图像为所述目标对象的二维医学图像中的至少一个二维医学图像； 位置信息确定单元，用于根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息，所述三维重建图像是根据所述目标对象的二维医学图像生成的； 定位指示确定单元，用于根据预设的定位指示生成规则及所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示； 显示单元，用于将所述定位指示显示在所述三维重建图像。8.如权利要求7所述的定位指示生成装置，其特征在于，所述位置信息确定单元，还用于: 根据所述标记信息在所述第一目标二维医学图像上的位置信息，确定所述标记信息在第二目标二维医学图像上的位置信息并显示在所述第二目标二维医学图像中，所述第二目标二维医学图像为所述目标对象的二维医学图像中与所述第一目标二维医学图像的方位不同的二维医学图像。9.如权利要求8所述的定位指示生成装置，其特征在于，所述接收单元，还用于接收用户在所述第二目标二维医学图像中对所述标记信息的调整指令； 所述位置信息确定单元，还用于根据所述调整指令更新所述标记信息在所述第二目标二维医学图像上的位置信息;根据所述标记信息在所述第二目标二维医学图像上的位置信息，确定所述标记信息在所述目标对象的三维重建图像上的位置信息； 所述定位指示确定单元，还用于根据所述预设的定位指示生成规则及确定的所述标记信息在所述三维重建图像上的位置信息，确定所述目标对象在所述三维重建图像上的定位指示； 所述显示单元，还用于将所述定位指示显示在所述三维重建图像。10.如权利要求7至9中任一项所述的定位指示生成装置，其特征在于，所述目标对象为头颅，所述第一目标二维医学图像为第一方位上的多个二维医学图像中的任一个，所述第二目标二维医学图像为第二方位上的多个二维医学图像中的任一个，所述第一方位上的多个二维医学图像中与所述第二方位上的多个二维医学图像一一对应，所述二维医学图像为轴位医学图像、冠状位医学图像或矢状位医学图像。11.如权利要求7至9中任一项所述的定位指示生成装置，其特征在于，所述目标对象为头颅，所述三维重建图像中的标记信息的位置信息包含鼻窝点、前额中心点、后脑中心点、颅内左穿刺点及颅内右穿刺点； 所述定位指示确定单元，具体用于: 根据所述鼻窝点、所述前额中心点及所述后脑中心点，确定第一参考切平面； 将从所述鼻窝点在所述第一参考切平面上沿着所述头颅向上第一距离的位置，确定为第一目标点； 将从所述第一目标点在第二参考切平面上沿着所述头颅向右第二距离的位置，确定为第二目标点，和/或，将从所述第一目标点在第二参考切平面上沿着所述头颅向左第二距离的位置，确定为第三目标点；所述第二参考切平面为在所述第一目标点处与所述第二参考切平面垂直的平面； 根据所述第二目标点和所述颅内右穿刺点，确定第一穿刺定位线；和/或，根据所述第三目标点和所述颅内左穿刺点，确定第二穿刺定位线； 将所述第一穿刺定位线和/或所述第二穿刺定位线确定为所述目标对象在所述三维重建图像上的定位指示。12.如权利要求7至9中任一项所述的定位指示生成装置，其特征在于，所述定位指示生成装置还包括发送单元，用于将包含所述定位指示的所述三维重建图像发送至通用显示设备，以使所述通用显示设备显示所述包含所述定位指示的所述三维重建图像。
【文档编号】G06T7/00GK106097325SQ201610396478
【公开日】2016年11月9日
【申请日】2016年6月6日 公开号201610396478.X, CN 106097325 A, CN 106097325A, CN 201610396478, CN-A-106097325, CN106097325 A, CN106097325A, CN201610396478, CN201610396478.X
【发明人】叶健, 高寒, 万里, 邱凌凌
【申请人】厦门铭微科技有限公司