用于侦测三维超声图像中导管位置的系统及方法
【专利摘要】本发明涉及一种用于侦测三维超声图像中导管位置的系统及方法，该系统包括三维超声图像获取模组及导管中心线三维轨迹产生模组。该三维超声图像获取模组用于获取原始的三维超声图像。该导管中心线三维轨迹产生模组用于侦测导管位置及在该三维超声图像上显示侦测到的导管。
【专利说明】用于侦测三维超声图像中导管位置的系统及方法
【技术领域】
[0001]本发明涉及一种三维超声图像侦测系统及方法，特别涉及一种用于侦测三维超声图像中导管(catheter)位置的系统及方法。
【背景技术】
[0002]一些介入性医疗手术需要将例如导管的医疗器具插入到患者的体内如血管中。如图1所示，导管110沿血管120逐渐插入，并最终将导管110的末端112定位在例如患者心脏130入口附近的目标位置处，以进行后续医疗处理。在导管110沿血管120插入的过程中，例如在PICC (Peripherally Inserted Central Catheter,外周置入中心静脉导管)手术中，导管末端112需要正确地插入到目标位置，以保证后续医疗过程的可靠性，若导管末端112位置不正确可能会影响后续治疗甚至会伤害到患者。
[0003]目前，主流的导管插入方法是医生根据经验在无侦测的条件下直接将导管插入到患者的血管中，然后再通过X射线方式进行位置确认，但此方法不能实时帮助医生了解导管的插入位置，有可能会造成导管插入错误或插入过深而影响后续治疗，并且通过X射线方式确认还可能会造成辐射有关的并发症。
[0004]为了避免上述X射线方式确认导管位置的方法可能造成的不良后果，现有技术也提出了一些应用超声侦测来确认导管的插入位置的方法，虽然超声侦测具有实时和无辐射等优点，但超声侦测方式需要克服严重的斑点噪声及较低的空间分辨率所引起的侦测精度差等技术问题，而目前的超声侦测方法尚不能完全解决上述问题，并且大部分方法也都是在二维超声图像中进行 侦测的，侦测的实用性及准确度较差。
[0005]所以，需要提供一种用于侦测三维超声图像中导管位置的系统及方法来解决至少上述问题。
【发明内容】
[0006]现在归纳本发明的一个或多个方面以便于本发明的基本理解，其中该归纳并不是本发明的扩展性纵览，且并非旨在标识本发明的某些要素，也并非旨在划出其范围。相反，该归纳的主要目的是在下文呈现更详细的描述之前用简化形式呈现本发明的一些概念。
[0007]本发明的一个方面在于提供一种系统。该系统包括:
[0008]三维超声图像获取模组，用于获取原始的三维超声图像；及
[0009]导管中心线三维轨迹产生模组，用于侦测导管位置及在该三维超声图像上显示侦测到的导管。
[0010]本发明的另一个方面在于提供一种方法。该方法包括:
[0011]获取原始的三维超声图像；
[0012]产生包括若干候选导管的第一可能性图像；
[0013]从该若干候选导管中侦测出一个正确的导管；及
[0014]将该正确的导管显示出来。[0015]本发明的再一个方面在于提供一种方法。该方法包括:
[0016]获取原始的三维超声图像；
[0017]计算导 管的三维轨迹；
[0018]计算血管的三维轨迹；
[0019]建立沿血管的中心线的切片图像；及
[0020]将导管的中心线的三维轨迹投影到该切片图像上。
[0021]本发明的再另一个方面在于提供一种方法。该方法包括:
[0022]获取原始的三维超声图像；
[0023]计算导管的三维轨迹；
[0024]计算血管的三维轨迹；
[0025]判断侦测的导管的三维轨迹及血管的三维轨迹哪一个侦测结果不满足预设的图像标准；如果该血管的三维轨迹的侦测结果较差，在原始图像中导管的位置处获取感兴趣的区域，在该感兴趣的区域内再次计算出血管的三维轨迹；如果该导管的三维轨迹的侦测结果较差，在原始图像中血管的位置处获取感兴趣的区域，然后在该感兴趣的区域内再次计算出导管的三维轨迹；及
[0026]合成计算出的导管的三维轨迹与血管的三维轨迹。
[0027]通过应用本发明用于侦测三维超声图像中导管位置的系统及方法，可基于原始的三维超声图像产生包括若干候选导管的可能性图像，然后在XY轴投影平面及对应该若干候选导管位置的展平曲面上分别计算出该若干候选导管的中心线的XY轴坐标及Z轴坐标，然后将计算出来的候选导管的中心线的三维轨迹进行手动或自动甄别以将正确的一个筛选出来，再和计算出来的血管图像进行合成，合成后的侦测图像即可实时地指导医护人员进行插管手术。
【专利附图】
【附图说明】
[0028]通过结合附图对于本发明的实施方式进行描述，可以更好地理解本发明，在附图中:
[0029]图1为一种PICC手术的示意图。
[0030]图2为本发明用于侦测三维超声图像中导管位置的系统的较佳实施方式的示意图。
[0031]图3为图2系统中图像处理单元的一部分的较佳实施方式的框图。
[0032]图4为本发明用于侦测三维超声图像中导管位置的方法的较佳实施方式的流程图。
[0033]图5为图4方法的执行过程的举例示意图。
[0034]图6为图3图像处理单元中导管中心线三维轨迹产生模组的较佳实施方式的框图。
[0035]图7为执行图6导管中心线三维轨迹产生模组的方法的较佳实施方式的流程图。
[0036]图8为执行图6导管中心线三维轨迹产生模组中可能性图像产生子模组的方法的较佳实施方式的流程图。
[0037]图9为图8方法的执行过程的举例示意图。[0038]图10为执行图6导管中心线三维轨迹产生模组中导管平面计算子模组的方法的较佳实施方式的流程图。
[0039]图11为图10方法的执行过程的举例示意图。
[0040]图12为执行图6导管中心线三维轨迹产生模组中直角坐标平面计算子模组的方法的较佳实施方式的流程图。
[0041]图13为图12方法的执行过程的举例示意图。
[0042]图14为图3图像处理单元中错误导管中心线三维轨迹删除模组的较佳实施方式的框图。
[0043]图15为执行图14错误导管中心线三维轨迹删除模组的方法的较佳实施方式的流程图。
[0044]图16为图15方法的执行过程的举例示意图。
[0045]图17为图3图像处 理单元中正确导管中心线三维轨迹修复模组的较佳实施方式的框图。
[0046]图18为执行图17正确导管中心线三维轨迹修复模组的方法的较佳实施方式的流程图。
[0047]图19为图18方法的执行过程的举例示意图。
[0048]图20为图2系统中图像处理单元的另一部分的较佳实施方式的框图。
[0049]图21为执行图20图像处理单元中合成图像产生模组及图像显示模组的方法的较佳实施方式的流程图。
[0050]图22为图21方法的执行过程的举例示意图。
【具体实施方式】
[0051]以下将描述本发明的【具体实施方式】，需要指出的是，在这些实施方式的具体描述过程中，为了进行简明扼要的描述，本说明书不可能对实际的实施方式的所有特征均作详尽的描述。应当可以理解的是，在任意一种实施方式的实际实施过程中，正如在任意一个工程项目或者设计项目的过程中，为了实现开发者的具体目标，为了满足系统相关的或者商业相关的限制，常常会做出各种各样的具体决策，而这也会从一种实施方式到另一种实施方式之间发生改变。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本发明公开的内容相关的本领域的普通技术人员而言，在本公开揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本公开的内容不充分。
[0052]除非另作定义，权利要求书和说明书中使用的技术术语或者科学术语应当为本发明所属【技术领域】内具有一般技能的人士所理解的通常意义。本发明专利申请说明书以及权利要求书中使用的“第一”、“第二”以及类似的词语并不表示任何顺序、数量或者重要性，而只是用来区分不同的组成部分。“一个”或者“一”等类似词语并不表示数量限制，而是表示存在至少一个。“包括”或者“包含”等类似的词语意指出现在“包括”或者“包含”前面的元件或者物件涵盖出现在“包括”或者“包含”后面列举的元件或者物件及其等同元件，并不排除其他元件或者物件。“X轴”、“Y轴”、“Z轴”、“XY轴”、“YZ轴”、“XZ轴”等类似的词语使用仅仅是方便说明，不限定于任何空间方位。“连接”或者“相连”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。
[0053]请参考图2，为本发明用于侦测三维超声图像中导管位置的系统200的较佳实施方式的示意图。为方便理解本发明，本实施方式中该系统200用于侦测导管插入血管后的三维超声图像，其他实施方式中，可根据具体需要使用该系统对其他类似的情况进行侦测，例如对导管插入前列腺等组织的三维超声图像进行侦测。与传统方法相比，本发明用于侦测三维超声图像中导管位置的系统200可自动实时地侦测/计算出导管位于三维超声图像中的具体三维坐标轨迹，例如在PICC手术中实时监视导管插入到血管的位置，以帮助医生准确的将导管插入到正确的位置处。该系统200可以是一个独立操作的仪器(如计算机)并与超声设备进行通信，也可以为直接内嵌入超声设备中作为超声设备的一部分。本说明书中的图像指多维空间的数据，包括离散的图像元素数据，例如二维图像中的像素(pixels)及三维图像中的立体像素(voxels)。
[0054]在图2的实施方式中，该系统200包括超声探头210、图像采集单元220、数据输入单元230、图像处理单元240及监视器250。该超声探头210用于捕获三维超声图像，例如捕获一个患者260上感兴趣区域(如导管插入位置的大概区域)的三维超声图像。该图像采集单元220用于接收由该超声探头210捕获的原始超声图像，并发送至该图像处理单元240进行后续图像处理。该数据输入单元230用于输入预设的数据至该图像处理单元240，以进行后续图像处理。该数据输入单元230可能包括一个键盘，用来输入预设的数据。该图像处理单元240用于基于接收到的原始三维超声图像及输入的预设数据来计算原始三维超声图像中导管(未示出)的具体三维轨迹位置。该监视器250用于实时显示该图像处理单元240计算出来的导管三维轨迹的位置图像结果，或同时显示计算出来的该导管插入的血管的位置图像结果并将两个图像进行合成，以指导医生进行插管操作。 [0055]请参考图3，为图2中图像处理单元240的一部分的较佳实施方式的框图。该图像处理单元240包括三维超声图像获取模组241、导管中心线三维轨迹产生模组242、错误导管中心线三维轨迹删除模组243及正确导管中心线三维轨迹修复模组244。上述功能模组可以通过硬件的形式来实现，也可以通过软件的形式来实现，或者通过硬件结合软件的形式来实现。在一些实施方式中，上述四个模组241、242、243及244为各自独立的模组或算法，而在其他实施方式中，上述模组中的任意两个或多个也可集成为一体成为一个独立的模组或算法，甚至根据需要还可将上述模组中的任意两个或多个模组中的部分元素集成为一体成为一个独立的模组或算法，而不拘泥于图3实施方式所给出的例子。本发明中其他模组的设计同样也不拘泥于各个实施方式中给出的例子，下文不再赘述。
[0056]请继续参考图4及图5，图4为本发明用于侦测三维超声图像中导管位置的方法400的较佳实施方式的流程图，该方法400由图像处理单元240来具体执行，为方便说明执行步骤，图5示意出了该方法400执行过程的一个例子的示意图。该方法400包括以下步骤:
[0057]步骤410，该三维超声图像获取模组241从该图像采集单元220处获取原始的三维超声图像，例如获取一个三维超声图像510 (参见图5)。为使监视更准确，通常会要求操作员在扫描超声图像时直接扫描大概要监视的感兴趣区域(region of interest, ROI),例如要监视导管末端时，则直接扫描导管末端大概位置的附近区域即可，同时沿着导管的水平方向上扫描。在本说明书中为了方便示意三维超声图像，大部分的三维超声图像均用二维图像进行示意，例如图5中示意的二维图像510实际上为三维超声图像。作为一个例子，在该三维超声图像510中包括了两个导管候选区域512及514，也就是说导管可能位于512或514两个候选区域中的一个之内，或者在某些特殊情况下导管可能不位于该两个候选区域512或514中的任意一个之内，实际的原始三维超声图像中可能会侦测出更多的导管候选区域，这里为了方便说明仅示意出了两个。
[0058]步骤420，该导管中心线三维轨迹产生模组242基于该三维超声图像获取模组241获取的原始三维超声图像，通过后续子步骤的计算产生了若干个候选导管中心线三维轨迹，例如图5中图像520为计算后的图像，其包含了产生的两个候选导管的中心线三维轨迹522及524，也就是说，真实正确的导管中心线三维轨迹可能为其中之一，或者在某些特殊情况下两者都不是，例如侦测过程中导管由于某些原因脱离开扫描的区域时，则侦测的候选导管中心线三维轨迹均不是正确的。上述产生的所有候选导管的中心线三维轨迹(522，524)均作为候选的导管中心线三维轨迹，然后在后续步骤中从这些候选的导管中心线三维轨迹中计算并甄别出正确的一个导管中心线三维轨迹。
[0059]步骤430，该错误导管中心线三维轨迹删除模组243删除上述候选导管中心线三维轨迹(522，524)中的所有错误的导管中心线三维轨迹。例如，图5中图像530为删除后的图像，其删除了图像520中的一个错误的导管中心线三维轨迹524，而保留了一个被视为正确的导管中心线三维轨迹522。在一些实施方式中，若经过步骤420产生的候选导管中心线三维轨迹的数量仅为一个且该候选的导管中心线三维轨迹的形状参数满足预设的条件时，则该步骤430可以省略，该一个候选的导管中心线三维轨迹即被视为正确的导管中心线三维轨迹而直接进入后续步骤进行处理。
[0060]步骤440，该正确导管中心线三维轨迹修复模组244对经过步骤430之后选出的一个被视为正确的导管中心线三维轨迹(522)进行修复处理，以使最终修复处理后的正确导管中心线三维轨迹更逼 近真实的导管中心线三维轨迹。例如，图5中图像540示意了一个经过修复处理后的图像，经过修复处理后的导管中心线三维轨迹542较未修复前的导管中心线三维轨迹522更逼近真实的导管中心线，例如导管长度增加了。对于图像处理的要求，一方面比较步骤420与步骤430，对图像处理的要求步骤430较步骤420更加严格，这是由于步骤420需要尽可能的找到所有的候选导管中心线三维轨迹，而步骤430则需要找到唯一一个被视为正确的导管中心线三维轨迹。另一方面比较步骤420与步骤440，对图像处理的要求步骤420较步骤440更加严格，这是由于步骤440需要尽可能的修复已经被视为正确的导管中心线三维轨迹，因此对已经被选定的图像处理的区域需作较为宽松的图像处理，后续段落将给出具体的实施方式来设定各个步骤的图像处理要求。
[0061 ] 整体来说,上述四个步骤401、402、403及404为本发明的四个基本步骤，对于各个步骤中具体的子步骤后续段落将会详细阐述。结合本发明用于侦测三维超声图像中导管位置的方法400与其他超声图像侦测方法，例如侦测血管的方法，可生成一个同时显示导管及血管位置的合成图像，如此可方便指导医生进行将导管插入血管的手术。关于血管位置侦测的方法，可参考Patwardhan等人于2009年12月23日提交的申请号为12/645781，名称为“Methods for automatic segmentation and temporal tracking，，的美国专利申请文件，公开了一种利用卡尔曼滤波器实时检测和追踪血管中心线的方法。另外，本发明中应用了现有技术的一些算法，例如卡尔曼滤波器、模板匹配算法、自动分割算法、时间跟踪算法等，故在本文中对这些算法不再具体阐述，例如对导管的时间跟踪算法即可应用上述申请文件中对血管的时间跟踪算法。对于导管位置图像与血管位置图像的合成，后续段落会给出一些具体的实施方式。
[0062]请参考图6，为该导管中心线三维轨迹产生模组242的较佳实施方式的框图。该导管中心线三维轨迹产生模组242包括可能性图像产生子模组2421、导管平面计算子模组2422、直角坐标平面计算子模组2423及候选导管中心线三维轨迹计算子模组2424。
[0063]请继续参考图7，为执行该导管中心线三维轨迹产生模组242的方法420的较佳实施方式的流程图。在本实施方式中，该方法包括以下步骤。步骤421:该可能性图像产生子模组2421产生导管的可能性图像；步骤422:该导管平面计算子模组2422计算每一个候选导管的中心线的XY轴坐标；步骤423:该直角坐标平面计算子模组2423计算每一个候选导管的中心线的Z轴坐标；步骤424:该候选导管中心线三维轨迹计算子模组2424计算每一个候选导管的中心线的三维轨迹。
[0064]请共同参考图8及图9，图8为步骤421的较佳实施方式的流程图，为方便说明执行步骤，图9示意出了该步骤421执行过程的一个例子的示意图。该步骤421包括以下子步骤:
[0065]步骤4211,调整原始三维超声图像的图像对比度(intensity contrast)。例如，图9示意了一个原始的三维超声图像910及一个调整后的三维超声图像920。为简化后续图像处理，调整后的三维超声图像920的图像对比度比原始的三维超声图像910的对比度要高，但为避免丢失候选导管的图像，此步骤中图像对比度的调整不易过大。在一些实施方式中，该原始的三维超声图像910也可不需进行调整，此时即可删除步骤4211。
[0066]步骤4212，建立一个三维导管模型930 (图中940为930的正面图)。该三维导管模型930是基于导管上预置的可在超声扫描中识别的声波标记及导管的参数建立的，例如可在导管上预设间距处设置气泡或线等可在超声扫描中识别的声波标记。在一些实施方式中，该三维导管模型是基于预先输入的导管几何参数数据建立的，该导管几何参数数据是通过该数据输入单元230输入至图像处理单元240的。该导管几何参数数据包括导管的直径、导管的内径。在本实施方式中，该三维导管模型930包括三个立体的柱状模型Vtole、Vb()dy、Vbadtgromd，分别代表导管内孔、导管本体、导管外围区域。其他实施方式中，该立体的柱状模型也可为其他形状的模型，例如圆柱状及圆环状模型。该三个立体的柱状模型\。16、Vbody,Vbadtgromd的尺寸是基于导管的直径、导管的内径及预设外围区域参数来设定的，且在该三维导管模型930中，该柱状模型Vtole及Vbadtgraund被设定为暗(dark)像素，而柱状模型Vbtjdy被设定为亮(bright)像素。
[0067]步骤4213，基于上述调整后三维超声图像920及建立好的三维导管模型930产生导管的可能性图像950。在本实施方式中，该三维超声图像920应用该三维导管模型930在其上侦测与该三维导管模型930相匹配的三维空间区域，也即导管可能位于的三维空间区域。例如，在一个侦测三维空间块(patch)中，匹配结果M可以通过以下公式得出:
[0068]M=ffbri ght*Sbody/#Vbody+ffdark* (Shole+Sbackground) / (#Vhole+#Vbackground) (I)
[0069]其中，S代表侦测区域内图像强度总和，抑代表侦测区域内像素的数量，W代表该三维导管模型930设定的图像权重因数(weighting factor)。在一个非限定的实施方式中，步骤4213设定的图像权重因数W为，Wfcight=L O及Wdart=-L 2，即对应亮像素及暗像素的图像权重因数之差(也即图像对比度之差)Dl = Wbright-Wdark=1- 0-(-1.2)=2.2。对整个三维超声图像920进行模型匹配计算后，一个导管的可能性图像950即生成了，例如图像950中找到了两个候选导管951及952，而其他的区域被屏蔽掉了，换句话说，真实的导管可能位于该两个候选导管951及952之一的区域上。为了方便说明，该可能性图像950中仅示意了两个候选导管951及952，而实际侦测的结果可能会得到更多数量的候选导管，也可能仅找到一个候选导管。
[0070]请共同参考图10及11，图10为步骤422的较佳实施方式的流程图，为方便说明执行步骤，图11示意出了该步骤422执行过程的一个例子的示意图。该步骤422包括以下子步骤:
[0071]步骤4221，将每一个候选导管(951、952)的中心线投影至该可能性图像950的一个导管平面上，如一个XY轴投影平面上。为方便理解，可以把该可能性图像950看作一个具有XYZ坐标的三维空间1110，导管中心线1111位于其内部，并假设导管沿着Y轴方向延伸且均穿过每一个XZ轴切面。将导管中心线1111沿着投影线1113向XY轴投影平面1112上作投影，即可在该XY轴投影平面上获得一个投影曲线1114。同理，在该可能性图像950上，也可将每一个候选导管(951，952)的中心线投影到一个XY轴投影平面上。例如，图11示意了该可能性图像950的一个XY轴投影平面1130，对应每一个候选导管(951，952)的中心线在该XY轴投影平面1130均获得了一个投影曲线(1131，1132)。在一个实施方式中，通过获取该可能性图像950上每一个二维XZ轴切面图像，并将每一个二维XZ轴切面图像中的最亮的体素点全部连接起来，即可获得每一个候选导管(951，952)的中心线的坐标，然后再投影至XY轴投影平面1130即可获得对应的投影曲线(1131，1132)。
[0072]步骤4222，计算投影到XY轴投影平面1130上投影曲线(1131，1132)的坐标。该投影曲线(1131,1132)的坐标可通过合适的算法得出，例如通过霍夫变换(Hough Transform)计算得出。在一些实施方式中，在该步骤中，一些计算出来的投影曲线可通过预先设定的筛选程序进行初步筛选，例如当一个计算出来的投影曲线1132的长度小于预设值时，该投影曲线1132将被删除不再予以考虑，故一个更新后的XY轴投影平面1140将重新计算出来，即在更新的XY轴投影平面1140中不包含删除的投影曲线1132。其他实施方式中，该预先设定的筛选程序也可设定其他筛选条件，例如若投影曲线的倾斜角度大于预设值(如30度)时，该投影曲线将删除。此筛选程序删除可以简化后续程序的处理，比如说产生的投影曲线很多时，通过此步骤可初步删除一部分错误的投影曲线，不过也可不设定该筛选程序删除而仅通过后续的删除程序进行筛选，具体设计根据实际需要而定。
[0073]步骤4223，修复投影到XY轴投影平面1130上投影曲线1141的坐标。在一些实施方式中，经过步骤4222得到的投影曲线1141的坐标可能是不完整的，也就是说在用霍夫变换计算时某些位置上的体素丢失了，以使整个曲线变得不完整，该不完整的曲线可通过适当的算法进行修复，例如通过多项式曲线拟合(polynomial curve fitting)算法将整个曲线拟合补全。经过修复后的投影曲线1131在更新后的XY轴投影平面1140中变为一个完整的投影曲线1141。经过上述步骤后，在该可能性图像950中的每一个候选导管(951)的中心线的XY轴坐标即被计算出来。
[0074]请共同参考图12及13，图12为步骤423的较佳实施方式的流程图，为方便说明执行步骤，图13示意出了该步骤423执行过程的一个例子的示意图。该步骤423包括以下子步骤:
[0075]步 骤4231，在该可能性图像950中展平每一个候选导管(951)所在的曲面。为方便理解，再次把该可能性图像950看作一个具有XYZ坐标的三维空间1110 (参见图13)，导管中心线1111所在的曲面1115即可通过在图11中的投影线1113计算出来，再将该曲面1115进行展平处理，如右图。同理，在该可能性图像950中可将每一个候选导管(951)所在的曲面进行展平处理，例如图13所示的图像1150。
[0076]步骤4232，计算展平的曲面1150上候选导管951的强度分布区域1151。相似于步骤4222，该强度分布区域1151的计算方法也可通过霍夫变换算法计算得出，这里不再赘述。在一些实施方式中，在该步骤中，一些计算出来的强度分布区域可通过预先设定的筛选程序进行初步筛选，例如当一个计算出来的强度分布区域的长轴与短轴之间的比率小于预设值时，该强度分布区域将被删除不再予以考虑，也就是说若长轴与短轴之间的比率小于某一预设值时则表明对应的候选导管的形状不符合导管形状特性，故可被删除。其他实施方式中，该预先设定的筛选程序也可设定为其他的筛选条件。
[0077]步骤4233，在展平的曲面的强度分布区域1151中计算表征导管深度信息的曲线1152的坐标。该表征导管深度信息的曲线1152可通过合适的算法计算得出，例如通过多项式曲线拟合算法来获取该强度分布区域1151中最长的一根曲线作为该表征导管深度信息的曲线1152。该表征导管深度信息的曲线1152的坐标确定后，在该可能性图像950中的每一个候选导管(951)的中心线的Z轴坐标即被计算出来。
[0078]由于在该可能性图像950中的每一个候选导管(951)的中心线的XY轴坐标及Z轴坐标都被计算出来了，该每个候选导管(951)的中心线三维轨迹也就被确定了下来，例如图5中图像520中的两个候选导管的中心线三维轨迹522及524即可通过上述步骤计算出来。在一些实施方式中，医护人员即可根据经验直接判断上述计算出来的多个候选导管的中心线三维轨迹522及524中的哪一个对应真实的导管，然后根据找出来的正确的导管的中心线三维轨迹来指导其进行插管手术操作。但是，有些医护人员不能直接判断正确的导管的中心线三维轨迹。以下段落将详细介绍上述基本步骤430及440的具体流程，步骤430及440可实现自动寻找出该多个候选导管中正确的导管的中心线三维轨迹。
[0079]请参考图14，为错误导管中心线三维轨迹删除模组243的较佳实施方式的框图。该错误导管中心线三维轨迹删除模组243包括感兴趣区域提取子模组2431、图像调整子模组2432、可能性图像产生子模组2433、投影平面侦测子模组2434、展平曲面侦测子模组2435。
[0080]请继续共同参考图15及图16，图15为执行该错误导管中心线三维轨迹删除模组243的方法430的较佳实施方式的流程图，为方便说明执行步骤，图16示意出了该方法430执行过程的一个例子的示意图。该方法430包括以下步骤:
[0081]步骤431，提取每一个候选导管的中心线的三维轨迹的感兴趣区域，该步骤由该感兴趣区域提取子模组2431执行。该感兴趣区域包括每一个候选导管的中心线的三维轨迹本身的区域及其附近较小预设范围内的区域，该预设范围可根据需要进行调整。例如，图16中示意了一个原始的三维超声图像1610及一个通过步骤420计算后的图像1620，该图像1620包括两个候选导管的中心线三维轨迹1621及1622。该步骤431即根据该计算后的候选导管的中心线三维轨迹1621及1622在原始的三维超声图像1610中提取相应位置的感兴趣区域1631及1632，并产生新的图像1630，以作为后续图像处理的数据来源。
[0082]步骤432，调整提取的感兴趣区域(1631、1632)的图像对比度，该步骤由该图像调整子模组2432执行。例如图16中示意了一个图像调整后的图像1640，包括对应的调整后的感兴趣区域(1641、1642)。该图像1640的图像对比度较该图像1630的图像对比度要高，以提高后续对图像处理的效率。通常地，相较于步骤4211中对图像调整的处理，该步骤432中对图像对比度的处理程度要相对高一些，这是为了提高图像处理的精度。在某些实施方式中，该图像1630也可不需进行调整，此时即可删除步骤432。
[0083]步骤433，在感兴趣区域内产生导管的可能性图像，该步骤由该可能性图像产生子模组2433执行。相似于步骤421的算法，在感兴趣区域(1641，1642)内产生对应导管的可能性图像，例如图16中示意了产生的一个导管的可能性图像1650，包括两个候选导管1651及1652。但是，在此步骤中产生导管的可能性图像所应用的公式(I)中的图像权重因数W的设定与步骤421中的设定不同。在该步骤433中，为了删除所有的错误导管的中心线三维轨迹，该步骤433中的图像权重因数之差D2=WMght-WdaA大于步骤421中的图像权重因数之差Dl，例如该步骤433中，Wbright=L O及Wdark=-3，即D2=Wbright_Wdark=4.0,也就是说该步骤433中获取导管的可能性图像较步骤421更加严格了。
[0084]步骤434，选择感兴 趣区域内导管投影在一个XY轴投影平面上的曲线中最长的一个，该步骤由该投影平面侦测子模组2434执行。相似于步骤422的算法，将每一个感兴趣区域内的候选导管(1651、1652)的中心线三维轨迹投影至该可能性图像1650的一个XY轴投影平面1660上，并选择出投影平面1660得到的曲线中最长的一个曲线1662，而删除其他曲线，也就是说其他曲线对应的候选导管为错误的导管，可能为其他组织的影响，因此在这步中将它们删除，而最长的那一个曲线1662对应的候选导管1652在所有的候选导管中也是最长的，即可能为真实正确的导管。
[0085]步骤435，判断该最长曲线对应的候选导管在展平的导管所在的曲面上的强度分布区域是否满足要求，该步骤由该展平曲面侦测子模组2435执行。相似于步骤423，将该最长曲线1662对应的候选导管1652所在的曲面展平，然后在展平的曲面上计算该候选导管1652的强度分布区域1691，并判断该强度分布区域1691是否满足预设的导管形状要求，如果满足要求则该最长曲线对应的候选导管将被视为正确的导管，如果不满足要求则该最长曲线对应的候选导管也将被视为错误的导管，也就是说在原始的三维超声图像中未侦测到导管图像。例如，当一个计算出来的强度分布区域1961的长轴与短轴之间的比率小于预设值时，则表示不满足预设的导管形状要求。其他实施方式中，该预先设定的导管形状要求也可设定为其他的导管形状要求。经过上述判断，若该最长曲线1662对应的候选导管1652在展平的导管所在的曲面1690上的强度分布区域1691满足要求，则该候选导管1652将被视为正确的导管。
[0086]在一些实施方式中，在提取感兴趣区域(1631、1632)之前，可先对原始的三维超声图像进行图像处理，如对一个三维超声图像1670进行平滑处理，例如应用基于随机变量分布函数如 Fisher-Tippett distribution 的随机斑点模型(probabilistic specklemodel)进行平滑处理来获得平滑处理后的图像1680。然后再根据平滑处理后的图像来执行上述方法430，如此可进一步提高图像处理的精度。
[0087]请参考图17，为正确导管中心线三维轨迹删除模组244的较佳实施方式的框图。该正确导管中心线三维轨迹删除模组244包括感兴趣区域提取子模组2441、图像调整子模组2442、可能性图像产生子模组2443、斑点删除子模组2444、完整性侦测子模组2445。
[0088]请继续共同参考图18及图19，图18为执行该正确导管中心线三维轨迹删除模组244的方法440的较佳实施方式的流程图，为方便说明执行步骤，图19示意出了该方法440执行过程的一个例子的示意图。该方法440包括以下步骤:
[0089]步骤441，提取该正确导管的中心线的三维轨迹的感兴趣区域，该步骤由该感兴趣区域提取子模组2441执行。该感兴趣区域包括该正确导管的中心线的三维轨迹本身的区域及其附近较小预设范围内的区域，该预设范围可根据需要进行调整。例如，图19中示意了一个原始的三维超声图像1910及一个通过步骤430计算后的图像1920，该图像1920包括被视为正确的导管的中心线三维轨迹1921。该步骤441即根据该计算后的正确的导管的中心线三维轨迹1921在原始的三维超声图像1910中提取相应位置的感兴趣区域1931，并产生新的图像1930，以作为后续图像处理的数据来源。通常地，该步骤441中提取感兴趣区域的预设范围要比步骤431中提取感兴趣区域的预设范围要大，这是因为要在该方法440中将正确导管的中心线的三维轨迹进行完整性修复，以利于后续图像的监控。
[0090]步骤442，调整提取的感兴趣区域1931的图像对比度，该步骤由该图像调整子模组2442执行。该步骤442的执行过程同步骤432的执行过程相似，这里不再赘述。不过，在该步骤442中对图像对比度调整的程度通常要比步骤432中对图像对比度调整的程度要小，还是为了获取更多的图像信息，以使修复后的正确导管的中心线的三维轨迹更加完整。该步骤442也可根据需要删除。
[0091]步骤443，在感兴趣区域内产生导管的可能性图像，该步骤由该可能性图像产生子模组2443执行。该步骤443相似于步骤421及433的算法，这里不再赘述。但是，在此步骤中产生导管的可能性图像所应用的公式(I)中的图像权重因数W的设定与步骤421及433中的设定不同。在该步骤443中，为了尽可能的修复正确导管的中心线的三维轨迹，该步骤443中的图像权重因数之差D3=WMght-WdaA小于步骤421中的图像权重因数之差Dl，例如该步骤443中，Wbright=L O及Wdart=-1,即D3=Wbright_WdaA=2.0,也就是说该步骤443中获取导管的可能性图像较步骤421更加宽松了，由上可知D3〈D1〈D2，即步骤433中导管的可能性图像的要求最严格，而步骤443中获取导管的可能性图像的要求最宽松了。
[0092]步骤444，选择感兴趣区域内导管投影在一个XY轴投影平面1940上的曲线中最长的一个1941并计算其对应的导管的中心线的三维轨迹，该步骤由该斑点删除子模组2444执行。该步骤443相似于步骤434的算法，这里不再赘述。虽然可能性图像中的导管在XY轴投影平面上仅有一个，但这里仍选择最长的一个曲线的原因是由于在步骤443处理过程中可能还会产生一些斑点(speckle)，所以需要在此步骤删除掉，在一些实施方式中也可不需要此步骤。然后，再通过上述方法即可确定该正确导管的中心线的三维轨迹的XYZ轴坐标。
[0093]步骤445，判断该计算的导管的中心线的三维轨迹是否完整，该步骤由该完整性侦测子模组2445执行。基于预设的判断条件，如果判断结果为导管的中心线的三维轨迹已经完整了，则整个流程结束。反之，如果判断结果为导管的中心线的三维轨迹还没有完整，则重新执行步骤441-445，直到判断结果为导管的中心线的三维轨迹已经完整。在一些实施方式中，预设的判断条件可以包括以下三个。第一，当重新执行步骤441-445的次数大于某一预设值时，如10次，则认为导管的中心线的三维轨迹已经完整了 ；第二，当导管投影在一个XY轴投影平面上的曲线的长度不再增加时，则认为导管的中心线的三维轨迹已经完整了 ；第三，当导管投影在一个XY轴投影平面或ZY轴投影平面上的曲线的长度发生突变时，即长度变化大于某一预设值时，则认为导管的中心线的三维轨迹已经完整了。其他实施方式中，上述判断条件可根据实际情况进行修改。
[0094]经过上述步骤，一个最终被确认的正确导管的中心线的三维轨迹计算出来了。例如，图19中的XY轴投影平面1940上的曲线1941为第一次执行步骤441-445计算确认的投影曲线，而XY轴投影平面1960上的曲线1961为第二次执行步骤441-445计算确认的投影曲线且其感兴趣区域为图像1950中示意的1951。在步骤445中，该曲线1961将于曲线1941作比较，若两者相同，则表明导管的中心线的三维轨迹已经完整了，该曲线1941(或1961)就作为最终确认的XY轴投影平面上的曲线，然后再计算出对应的正确导管的中心线的三维轨迹。若该曲线1961较曲线1941的某一端长一些但不大于预设值时，则表明曲线1941需要通过曲线1961进行修复，以使其完整，修复更新后再重复执行441-445，直到判断结果为导管的中心线的三维轨迹已经完整。若该曲线1961较曲线1941的变化大于某一预设值时，表明图像发生突变，则将曲线1941作为最终确认的XY轴投影平面上的曲线，然后再计算出对应的正确导管的中心线的三维轨迹。
[0095]该正确导管中心线三维轨迹删除模组244是用于对通过错误导管中心线三维轨迹删除模组243筛选确定的正确导管的中心线的三维轨迹进行进一步的完整性处理，即经过完整性处理后的正确导管的中心线的三维轨迹具有更佳的图像品质，可提高指导医护人员进行插管手术的效率。在一些实施方式中，例如当对于导管的中心线的三维轨迹的完整性要求不是很高的情况下，该正确导管中心线三维轨迹删除模组244可对应删除，以降低计算量。
[0096]请参考图20，为图2中图像处理单元240的另一部分的较佳实施方式的框图。该图像处理单元240进一步包括血管三维轨迹计算模组245、合成图像产生模组246及图像显示模组247。该血管三维轨迹计算模组245用于计算导管所插入的血管的三维轨迹，该模组245所执行的算法可参考美国专利申请号为12/645781的专利申请文件或其他公开文件，这里不再赘述。
[0097]请继续同时参考图21及22，图21为执行该合成图像产生模组246及图像显示模组247的方法2100的较佳实施方式的流程图，为方便说明，图21示意出了该方法2100执行过程的一个例子的示意图。该方法2100包括以下步骤:
[0098]步骤2110，建立一个沿血管中心线的切片图像。例如，基于美国专利申请号为12/645781的专利申请文件所公开的方法，一个三维血管的图像(未示出)可以被计算出来，在该计算出来三维血管的图像中沿着血管的中心线获取一个二维切片图像，如图22所示意的一个二维切片图像2210，其上显示了一个血管2211，还包括一个插入到该血管2211的导管的一部分影像2212，由于导管的位置并不一定位于血管的中心线位置，本示意图中仅能显示出导管的一部分影像2 212，其他实施方式中获取的二维切片图像中可能不包含导管的影像。
[0099]步骤2120，将导管的中心线的三维轨迹投影到该切片图像上。根据本发明方法400可以计算出正确导管的中心线的三维轨迹，在此基础上将计算出的正确导管的中心线的三维轨迹投影到该二维切片图像2210上，例如图22中间的切片图像2210上的投影中心线 2222。
[0100]步骤2130，根据导管直径参数在该切片图像上对导管图像进行修复。由于通过该数据输入单元230已经获得了导管的参数，如直径参数，则在切片图像2210上以投影中心线2222为基准，按照直径参数对导管图像进行修复。例如，图22最后的切片图像2210为修复导管图像后的图像，显示了在投影中心线基准上的导管图像2232，如此即将计算出来的血管轨迹及导管轨迹合成在了一个图像内进行显示。
[0101]步骤2140，显示修复后的切片图像。通过该图像显示模组247将修复后的图像2210实时地显示在监视器250中，如此可帮助医护人员执行插管手术操作。在一些其他实施方式中，医护人员也可直接根据经过步骤2120产生的切片图像进行操作，故步骤2130可对应删除。其他实施方式中，还可沿着导管的中心线作二维切片图像，然后再进行相应的图像修复处理。
[0102]在一些实施方式中，根据上述方法将导管及对应的血管的三维轨迹计算得出后，可以判断侦测的导管的三维轨迹及血管的三维轨迹哪一个侦测结果更加不满足预设的图像标准，预设的图像标准可能包括侦测的形状标准，图像的对比度标准或其他图像品质标准。如果血管的三维轨迹的侦测结果较差，则可在原始图像中导管的位置处获取感兴趣的区域，然后在该感兴趣的区域内再次计算出血管的三维轨迹，由于感兴趣的区域的侦测范围较原始图像的侦测范围要小，故可以获得相对更加准确的血管的三维轨迹，然后将计算后的血管的三维轨迹与导管的三维轨迹的图像进行合成，例如通过上述图像合成方法2100实现，如此可获得图像品质更佳合成图像。相反，如果导管的三维轨迹的侦测结果较差，则可在原始图像中血管的 位置处获取感兴趣的区域，然后在该感兴趣的区域内再次计算出导管的三维轨迹，然后将计算后的导管的三维轨迹与血管的三维轨迹的图像进行合成。
[0103]虽然结合特定的实施方式对本发明进行了说明，但本领域的技术人员可以理解，对本发明可以作出许多修改和变型。因此，要认识到，权利要求书的意图在于覆盖在本发明真正构思和范围内的所有这些修改和变型。
【权利要求】
1.一种系统，其特征在于，该系统包括: 三维超声图像获取模组，用于获取原始的三维超声图像 '及 导管中心线三维轨迹产生模组，用于侦测导管位置及在该三维超声图像上显示侦测到的导管。
2.如权利要求1所述的系统，其中该导管中心线三维轨迹产生模组包括: 可能性图像产生子模组，用于基于该原始的三维超声图像产生导管的第一可能性图像，该第一可能性图像包括若干候选导管； 导管平面计算子模组，用于在该第一可能性图像的一个XY轴投影平面上计算该若干候选导管的中心线的XY轴坐标 '及 直角坐标平面计算子模组，用于在该第一可能性图像的一个对应该若干候选导管位置的展平曲面上计算该若干候选导管的中心线的Z轴坐标。
3.如权利要求2所述的系统，其中该系统进一步包括: 错误导管中心线三维轨迹删除模组，包括: 感兴趣区域提取子模组，用于在该原始的三维超声图像中提取每一个候选导管的中心线的三维轨迹的第一感兴趣区域； 可能性图像产生子模组，用于在该第一感兴趣区域内产生导管的第二可能性图像，该第二可能性图像包括若干候选导管；及 投影平面侦测子模组，用于在该第二可能性图像的一个XY轴投影平面上选择该若干候选导管中最长的一个。
4.如权利要求3所述的系统，其中该错误导管中心线三维轨迹删除模组还包括: 展平曲面侦测子模组，用于判断该最长的候选导管在其展平曲面上的强度分布区域是否满足预设要求。
5.如权利要求4所述的系统，其中该预设要求为该强度分布区域的长轴与短轴的比率大于一预设值。
6.如权利要求4所述的系统，其中该系统进一步包括: 正确导管中心线三维轨迹修复模组，包括: 感兴趣区域提取子模组，用于在原始的三维超声图像中提取该最长的候选导管的中心线的三维轨迹的第二感兴趣区域； 可能性图像产生子模组，用于在该第二感兴趣区域内产生导管的第三可能性图像，该第三可能性图像包括该最长的候选导管；及 完整性侦测子模组，用于在该第三可能性图像中通过比较若干次计算的该最长的候选导管的结果来判断其完整性是否符合要求。
7.如权利要求6所述的系统，其中该第一、第二及第三可能性图像是基于一个三维导管模型产生的。
8.如权利要求7所述的系统，其中该三维导管模型包括三个立体的柱状模型Vh()le、Vtody、Vbackground,分别代表导管内孔、导管本体、导管外围区域。
9.如权利要求8所述的系统，其中该柱状模型Vh-及Vbadtgraund被设定为暗像素，而柱状模型Vbtjdy被设定为亮像素，匹配结果M有以下公式得出:M=Wbright*Sb(xly/#Vb(xly+WdaA* (Shole+Sbackgromd)/(#Vhole+#Vbackground)，其中S代表侦测区域内图像强度总和，#V代表侦测区域内像素的数量，W代表该三维导管模型设定的图像权重因数。
10.一种方法,其特征在于,该方法包括: 获取原始的三维超声图像； 产生包括若干候选导管的第一可能性图像； 从该若干候选导管中侦测出一个正确的导管；及 将该正确的导管显示出来。
11.如权利要求10所述的方法，其中该侦测正确的导管的步骤包括: 在该第一可能性图像的一个XY轴投影平面上计算该若干候选导管的中心线的XY轴坐标；及 在该第一可能性图像的对应该若干候选导管位置的展平曲面上计算该若干候选导管的中心线的Z轴坐标。
12.如权利要求11所述的方法，其中该计算XY轴坐标的步骤包括: 将每一个候选导管的中心线投影至该第一可能性图像的一个XY轴投影平面上 '及 计算投影到该XY轴投影平面上投影曲线的坐标。
13.如权利要求12所述的方法，其中该计算Z轴坐标的步骤包括: 在该第一可能性图像中展平每一个候选导管所在的曲面； 计算展平的曲面上候选导管的强度分布区域；及 计算表征导管深度信息的曲线的坐标。
14.如权利要求13所述的方法，其中该曲线的坐标是通过霍夫变换及多项式曲线拟合算法计算得出的。
15.如权利要求11所述的方法，其中该侦测正确的导管的步骤进一步包括: 在该原始的三维超声图像中提取每一个候选导管的中心线的三维轨迹的第一感兴趣区域； 在该第一感兴趣区域内产生包括若干候选导管的第二可能性图像；及 在该第二可能性图像的一个XY轴投影平面上选择该若干候选导管中最长的一个。
16.如权利要求15所述的方法，其中该侦测正确的导管的步骤进一步包括: 判断该最长的候选导管在其展平曲面上的强度分布区域是否满足预设要求。
17.如权利要求16所述的方法，其中在提取该第一感兴趣区域之前，对该原始的三维超声图像进行平滑处理。
18.如权利要求16所述的方法，其中该预设要求为该强度分布区域的长轴与短轴的比率大于一预设值。
19.如权利要求16所述的方法，其中该侦测正确的导管的步骤进一步包括: 在原始的三维超声图像中提取该最长的候选导管的中心线的三维轨迹的第二感兴趣区域； 在该第二感兴趣区域内产生包括该最长的候选导管的第三可能性图像；及在该第三可能性图像中通过比较若干次计算的该最长的候选导管的结果来判断其完整性是否符合要求。
20.如权利要求19所述的方法，其中该产生第一、第二、第三可能性图像的步骤包括: 基于导管上预置的可在超声扫描中识别的声波标记及导管的参数建立一个三维导管模型；及 基于该三维导管模型产生该第一、第二、第三可能性图像。
21.如权利要求20所述的方法，其中该三维导管模型包括三个立体的柱状模型Vh()le、Vtody、Vbackground,分别代表导管内孔、导管本体、导管外围区域。
22.如权利要求21所述的方法，其中该柱状模型Vh-及Vbadtgromd被设定为暗像素，而柱状模型Vbtjdy被设定为亮像素，匹配结果M有以下公式得出:MWbright*Sb0dy/#Vbody+Wdark* ^hoIe+Sbackground) / (#Vhole+#Vbackground)，其中S代表侦测区域内图像强度总和，#V代表侦测区域内像素的数量，W代表该三维导管模型设定的图像权重因数。
23.如权利要求19所述的方法，其中该判断完整性的步骤包括: 重复执行上述提取第二感兴趣区域、产生第三可能性图像的步骤并更新计算得出的导管轨迹；及 在预设的完整性判断条件达到时结束完整性判断。
24.如权利要求23所述的方法，其中预设的完整性判断条件包括以下条件中的一个或多个: 当执行上述重复步骤的次数大于某一预设值时，达到完整性判断条件；当候选导管投影在XY轴投影平面上的曲线的长度不再增加时，达到完整性判断条件；及 当候选导管投影在XY轴投影平面或ZY轴投影平面上的曲线的长度变化大于某一预设值时，达到完整性判断条件。
25.—种方法,其特征在于,该方法包括: 获取原始的三维超声图像； 计算导管的三维轨迹； 计算血管的三维轨迹； 建立沿血管的中心线的切片图像；及 将导管的中心线的三维轨迹投影到该切片图像上。
26.如权利要求25所述的方法，其中该方法进一步包括: 根据导管直径参数在该切片图像上以投影的中心线为基准对导管图像进行修复。
27.如权利要求25所述的方法，其中该计算导管的中心线的三维轨迹的步骤包括: 产生若干候选导管；及 删除该若干候选导管中的错误导管而保留一个正确导管。
28.如权利要求27所述的方法，其中该计算导管的中心线的三维轨迹的进一步步骤包括: 修复该正确导管。
29.如权利要求25所述的方法，其中该计算导管的中心线的三维轨迹及计算该血管的三维轨迹的步骤包括: 判断侦测的导管的三维轨迹及血管的三维轨迹哪一个侦测结果不满足预设的图像标准；及如果该血管的三维轨迹的侦测结果较差，在原始图像中导管的位置处获取感兴趣的区域，在该感兴趣的区域内再次计算出血管的三维轨迹；如果该导管的三维轨迹的侦测结果较差，在原始图像中血管的位置处获取感兴趣的区域，然后在该感兴趣的区域内再次计算出导管的三维轨迹。
30.一种方法,其特征在于,该方法包括: 获取原始的三维超声图像； 计算导管的三维轨迹； 计算血管的三维轨迹； 判断侦测的导管的三维轨迹及血管的三维轨迹哪一个侦测结果不满足预设的图像标准；如果该血管的三维轨迹的侦测结果较差，在原始图像中导管的位置处获取感兴趣的区域，在该感兴趣的区域内再次计算出血管的三维轨迹；如果该导管的三维轨迹的侦测结果较差，在原始图像中血管的位置处获取感兴趣的区域，然后在该感兴趣的区域内再次计算出导管的三维轨迹；及 合成计算出 的导管的三维轨迹与血管的三维轨迹。
【文档编号】A61B8/00GK103961135SQ201310044619
【公开日】2014年8月6日 申请日期:2013年2月4日 优先权日:2013年2月4日
【发明者】K.A.帕特瓦汉, D.M.米尔斯, 曹坤林, 刘刚 申请人:通用电气公司