解剖标志的检测的制作方法

解剖标志的检测的制作方法
【专利摘要】一种方法，包括访问表示组织的图像数据并识别由所述图像数据指示的组织的一个或多个特征。基于一个或多个识别的特征来选择针对所述组织的模型。分割所述图像数据，并使用所述模型识别由所述分割的图像数据所指示的组织的一个或多个解剖标志。
【专利说明】解剖标志的检测
[0001]对相关申请的交叉引用
本申请要求2010 年8 月 13 日提交，题为 “Automatic Detection of AnatomicalLandmarks”的序号为61/373630的美国临时申请的优先权和完整权益，在此通过引用将其全部内容并入本文。
【技术领域】
[0002]本公开涉及解剖标志的检测。
【背景技术】
[0003]关于解剖标志位置的信息可能对于例如诊断疾病和建立手术对准是有用的。在一些情况下，人工检测医疗图像中的解剖标志。人工检测解剖标志可能是耗时的且受到人为误差和主观性的影响。

【发明内容】

[0004]在一个一般方面中，一种方法包括检测图像数据中的解剖标志。成像数据包括组织的一幅或多幅图像，并从一幅或多幅图像识别对应于解剖特征的位置。
[0005]在另一个一般方面中，一种方法包括识别与不同类型的组织对应的图像数据区域。可以通过患者解剖结构的不同扫描采集图像数据。
`[0006]在另一个一般方面中，一种检测解剖标志的方法包括:访问表示组织的图像数据；识别由所述图像数据指示的组织的一个或多个特征；基于所述一个或多个识别的特征选择针对所述组织的模型；分割所述图像数据；以及利用所述模型识别由所述分割的图像数据所指示的组织的一个或多个解剖标志。
[0007]实施方式可以任选地包括以下特征中的一个或多个。例如，由一个或多个计算装置接收图像数据，识别组织的一个或多个特征，选择模型，分割图像数据，并识别一个或多个解剖标志。基于所述图像数据识别组织的一个或多个特征包括对所述图像数据执行形状识别以识别组织和组织取向。基于所述图像数据识别组织的一个或多个特征包括:分割所述图像数据以产生初始分割图像数据；基于所述初始分割图像数据识别所述组织的一个或多个特征；以及将所述一个或多个特征识别为与特定医疗状况或畸形相关。
[0008]基于所述一个或多个识别的特征选择针对所述组织的模型包括:确定所述一个或多个识别的特征与医疗状况或畸形、尺寸、年龄或性别相关；以及基于确定所述一个或多个识别的特征与医疗状况或畸形、尺寸、年龄或性别相关，选择表示所述医疗状况或畸形、尺寸、年龄或性别的针对组织的模型。分割所述图像数据包括向所述图像数据应用一个或多个阈值以在所述图像数据中定义多个边界。应用一个或多个阈值包括应用一个或多个亮度或对比度阈值。
[0009]该方法包括:识别所述分割的图像数据的区域，其包含与预定解剖特征对应的分割边界中的误差，以及基于所述模型校正分割的边界以产生校正的分割的图像数据。使用所述模型识别分割的图像数据中一个或多个解剖标志包括使用所述模型在校正的分割的图像数据中识别一个或多个解剖标志。接收表示组织的图像数据包括接收包括使用不同的测量参数采集的扫描数据的图像数据，以及分割所述图像数据包括使用通过使用不同测量参数采集的扫描数据识别不同类型的组织。
[0010]接收包括使用不同测量参数采集的针对组织的扫描数据的图像数据包括接收使用不同的输入脉冲序列或信号定时所采集的图像数据。图像数据是包括T1加权的扫描数据和T2加权的扫描数据的MRI图像数据；并且分割所述图像数据包括分割T1加权的扫描数据以识别与皮层骨对应的边界以及分割T2加权的扫描数据以识别与软骨对应的边界。基于所述一个或多个识别的特征选择针对组织的模型包括选择包括被训练成识别一个或多个解剖标志的位置的人工神经网络的模型。所述人工神经网络被训练成识别基于医疗状况或畸形、尺寸、年龄或性别所确定的患者群体的一个或多个解剖标志的位置。分割所述图像数据包括使用所述人工神经网络来确定对应于一个或多个组织的边界。
[0011]使用所述模型识别所述分割的图像数据中的一个或多个解剖标志包括识别与由所述模型指示的特定预定解剖标志对应的特征。使用所述模型识别所述分割的图像数据中的一个或多个解剖标志包括识别所述分割的图像数据的一个或多个全局最大值或最小值位置。该方法包括基于一个或多个识别的特征来确定所述图像数据的区域很可能包括特定的解剖标志。使用所述模型识别分割的图像数据中的一个或多个解剖标志包括识别与所述区域对应的分割的图像数据区域中的局部最大值或局部最小值作为特定解剖标志。使用所述模型识别所述分割的图像数据中的一个或多个解剖标志包括:识别与感兴趣区对应的图像数据切片；选择对于所述感兴趣区而言具有最高对比度的切片之一；以及基于与所选择的切片对应的分割的图像数据识别一个或多个解剖标志。
[0012]在另一个一般方面中，一种识别解剖标志的方法包括:访问使用第一测量参数采集的针对关节的第一图像数据以及使用与第一测量参数不同的第二测量参数采集的针对关节的第二图像数据；识别与关节的第一类型的组织对应的第一图像数据中的区域；识别与关节的第二类型的组织对应的第二图像数据中的区域，所述第二类型的组织不同于第一类型的组织；生成指示第一区域和第二区域的分割的图像数据；以及识别由分割的图像数据指示的组织的一个或多个解剖标志。
[0013]在另一个一般方面中，一种识别解剖标志的方法包括:访问使用第一测量参数采集的针对关节的第一图像数据以及使用与第一测量参数不同的第二测量参数采集的针对关节的第二图像数据；在第一图像数据中识别与关节的第一类型的组织对应的第一区域；在第二图像数据中识别与关节的第二类型的组织对应的第二区域，所述第二类型的组织不同于第一类型的组织；生成指示第一区域和第二区域的分割的图像数据；以及识别由分割的图像数据指示的组织的一个或多个解剖标志。
[0014]实施方式可以任选地包括以下特征中的一个或多个。例如，使用不同的输入脉冲序列或不同的信号检测定时采集第一图像数据和第二图像数据。第一图像数据是T1加权的MRI扫描数据，第二图像数据是T2加权的MRI扫描数据，以及生成分割的图像数据包括分割所述第一图像数据以识别对应于皮层骨的边界，以及分割所述第二图像数据以识别对应于软骨的边界。
[0015]在另一个方面中，一种方法包括:访问通过患者解剖结构的不同扫描所采集的图像数据；使用来自不同扫描的被访问图像数据识别对应于不同组织的区域；生成指示所识别区域的分割的图像数据；以及识别由分割的图像数据指示的一个或多个解剖标志。
[0016]实施方式可以任选地包括以下特征中的一个或多个。例如，访问通过患者解剖结构的不同扫描所采集的图像数据包括访问均由不同扫描所采集的第一图像数据和第二图像数据。使用来自不同扫描的图像数据识别对应于不同组织类型的区域包括使用第一图像数据识别对应于第一类型的组织的区域以及使用第二图像数据识别对应于第二类型的组织的区域。使用X射线成像采集第一图像数据，以及使用MRI采集第二图像数据。不同扫描类型检测解剖结构的不同性质。访问通过患者解剖结构的不同扫描所采集的图像数据包括访问通过使用不同测量参数的扫描所采集的图像数据。使用不同测量参数的扫描为MRI扫描；以及不同测量参数包括不同的输入脉冲序列或信号定时。
[0017]访问通过患者解剖结构的不同扫描所采集的图像数据包括访问T1加权的MRI图像数据和T2加权的MRI图像数据。使用来自不同扫描的图像数据识别对应于不同组织类型的区域包括基于T1加权的MRI图像数据识别对应于皮层骨的区域的边界，以及基于T2加权的MRI图像数据识别对应于软骨的区域的边界。生成指示所识别区域的分割的图像数据包括叠加对应于皮层骨的区域和对应于软骨的区域。
[0018]访问通过患者解剖结构的不同扫描所采集的图像数据包括访问第一层析成像数据和第二层析成像数据，均包括针对表示患者解剖结构不同切片的多个截面图像的数据。生成指示所识别区域的分割的图像数据包括:将第一层析成像数据和第二层析成像数据共配准；生成指示了针对第一层析成像数据和第二层析成像数据的截面图像中的每个的分割截面图像的数据；以及生成分割的图像数据，以便叠加与患者解剖结构的基本上相同的切片对应的第一层析成像和第二层析成像数据的分割截面图像。该方法包括基于分割的图像数据生成患者解剖结构的三维模型。访问通过患者解剖结构的不同扫描所采集的图像数据包括访问通过患者的关节的不同扫描所采集的图像数据；以及识别由分割的图像数据指示的一个或多个解剖标志包括关节的一个或多个标志。所述关节是膝关节。
[0019]在另一个一般方面中，一种系统包括一个或多个计算机以及一个或多个存储装置，其存储在由一个或多个计算机执行时，被操作成使一个或多个计算执行操作的指令，所述操作包括:访问通过患者解剖结构的不同扫描所采集的图像数据；使用来自不同扫描的被访问图像数据识别对应于不同组织类型的区域；生成指示所识别的区域的分割的图像数据；以及识别由分割的图像数据指示的一个或多个解剖标志。
[0020]在另一个一般方面中，一种数据处理装置包括:图像分割模块，被配置成访问通过患者解剖结构的不同扫描所采集的图像数据，使用来自不同扫描的被访问图像数据识别对应于不同组织类型的区域，以及生成指示所识别的区域的分割的图像数据；以及标志识别模块，被配置成识别由分割的图像数据指示的一个或多个解剖标志。
[0021]在附图和以下描述中阐述了一种或多种实施方式的细节。其他特征将根据描述和附图以及根据权利要求而显`而易见。
【专利附图】

【附图说明】
[0022]图1是图示出了用于识别解剖标志的计算机系统的示图。
[0023]图2是图示出了用于识别解剖标志的过程的流程图。[0024]图3是图示出了参考模型的选择的示图。
[0025]图4是图示出了模板到图像数据的配准的示图。
[0026]图5是图示出了图像数据的分割的示图。
[0027]图6A、6B和7是图示出了用于识别解剖标志的技术的示图。
[0028]图8是人工神经网络的示图。
[0029]图9是图示出了计算机系统的部件的方框图。
[0030]在各种附图中相同的附图标记指示相同的元件。
【具体实施方式】
[0031]参考图1，计算机系统10执行解剖数据中解剖标志46的部分自动化或完全自动化检测。计算机系统10访问表示患者解剖结构的图像数据20并识别指示例如患者或患者所属群体的医疗状况的图像数据20的特征。基于所识别的特征，计算机系统10选择对应于患者解剖结构的参考模型。参考模型指示例如图像处理参数以及解剖标志很可能处于的区域。使用该参考模型，计算机系统10生成表示组织边界的分割的图像数据42，并确定解剖标志46相对于分割的图像数据42的位置。
[0032]计算机系统10能够使用来自患者解剖结构的多次扫描的图像数据来增强解剖标志的检测。例如，计算机系统10能够使用来自不同扫描的数据来识别针对不同类型的组织的边界。可以使用X射线扫描数据识别与骨骼对应的图像区域，以及可以使用MRI扫描数据识别与软组织对应的区域。类似地，可以使用来自使用不同测量参数所执行的MRI扫描的数据来识别不同的组织。计算机系统10能够组合来自多次扫描的数据以生成指示不同类型的组织的合成图像。
[0033]参考图2，计算机系统10执行过程200的操作，过程200识别解剖标志。在图3到7中图示出了过程200的各个方面。
[0034]开始过程200，计算机系统10访问表示患者解剖结构(210)的图像数据20，例如，针对患者膝盖的磁共振成像(MRI)数据。图像数据20可以此外或替代地包括例如通过X射线成像、X射线计算层析成像(CT)、超声波成像、热敏成像、光声成像、激光扫描、计算机辅助研究和其他技术所产生的解剖数据。在图示的范例中，图像数据20包括层析成像数据，其指示针对对应于患者解剖结构中不同深度的多个切片的图像。可以使用在这里所述的技术来检测各个图像中以及多个图像的组中的解剖标志。
[0035]计算机系统10从图像数据20识别患者解剖结构的特征(220)，例如，该特征是群体的特性，并因此准许计算机系统10对患者解剖结构进行分类。由计算机系统10所识别的特征可以包括，例如组织的位置或轮廓，或诸如组织的尺度或形状的特性。计算机系统10还可以基于亮度级、用于图像的直方图特性以及图像数据20中图案的存在或不存在来识别特征。
[0036]还参考图3，在一些实施方式中，为了从成像数据20识别特征，计算机系统10执行图像数据20的初步图像分割(222)，例如，向由图像数据20表示的组织分配边界。计算机系统10产生分割的图像数据22，其指示例如皮层骨的轮廓。计算机系统10在分割的图像数据22上执行形状识别(224)，识别与例如股骨24、胫骨26和髌骨28对应的轮廓。形状识别可以包括将代表性 骨骼形状与分割的图像数据22的轮廓进行比较，并选择与分割的图像数据22的轮廓匹配最好的代表性骨骼形状。可以由成像数据20中包括的元数据指示，或者可以通过形状识别确定患者解剖结构的一般取向，例如，中间-侧面或前-后轴的取向。
[0037]计算机系统10分析识别的形状(226)，例如，识别所识别骨骼轮廓的尺度、比例和相对位置。在图示的范例中，计算机系统10识别例如胫骨26的最大前后长度L1以及股骨24的最大前后长度L2。计算机系统10还识别例如股骨24和胫骨26之间的距离D1,以及股骨24和髌骨28之间的距离D2。图像数据20可以指示用于图像中特征的尺寸比例尺，计算机系统10使用其来测量尺度。如果尺寸比例尺不可用，则可以计算比率和比例而不是尺度。类似地，可以进行其他测量以便分析膝关节的其他截面或视图。
[0038]计算机系统10还将分割的成像数据的识别的轮廓与骨骼24、26、28的特性形状进行比较。来自特性形状和预期的表面轮廓的差异能够指示例如骨骼生长的存在，诸如骨赘，或由于损伤或过度磨损而没有骨骼。在一些实施方式中，除了与骨骼对应的特征之外或作为其替代，也可以检查软骨或其他组织的特征。
[0039]计算机系统10基于所识别的特征选择参考模型(230)。参考模型定义图像处理参数和用于检测解剖标志的模板。计算机系统10存储多个参考模型30a_30e，每个都对应于不同的患者群体。可以通过例如年龄、性别、尺寸或医疗状况或畸形来区分患者群体。例如，标准膝盖模型30a包括模板，其表示具有平均尺寸和健康状况的患者的膝关节的一般化特征。小膝盖模型30a包括表示用于小于平均膝盖的膝盖解剖结构的模板。内翻膝盖模型30c、外翻膝盖模型30d和骨关节炎膝盖模型30e均包括表示呈现有特定医疗状况的膝盖的特性特征的模板。
[0040]每个参考模型30a_30e都包括描述对应群体的一组属性，例如，与尺寸、年龄、性别或医疗状况或畸形相关的属性。在针对患者的图像数据20展现群体的特性属性时，患者很可能是群体的成员，并且于是对应的参考模型30a_30e能够精确辅助在成像数据20中检测解剖标志。计算系统10将所识别的特征与针对各种模型30a_30e的群体属性进行比较，以选择与图像数据20的特性最密切匹配的参考模型。
[0041]针对小膝盖模型30b的特性属性包括，例如预定范围之内的骨骼尺寸和关节间距。在长度LpL2和距离D1, D2在由小膝盖模型30b指示的范围或阈值之内时，计算机系统10选择小膝盖模型30b作为针对图像数据20的参考模型。在范例中，计算机系统10确定所识别的特征与小膝盖模型30b的属性匹配最密切，并选择小膝盖模型30b。
[0042]在一些实施方式中，计算机系统10识别患者的医疗状况或异常(232)。在识别医疗状况时，计算机系统选择对应于所识别的医疗状况的参考模型30a-30e (234)。作为范例，计算机系统10可以确定股骨24和胫骨26之间的角度指示内翻畸形或外翻畸形，并且于是可以选择内翻膝盖模型30c或外翻膝盖模型30d。作为另一范例，例如，在距离Dp D2指示低于平均关节间距时，或在存在骨赘或检测到其他不规则骨轮廓时，可以选择骨关节炎膝盖模型30c。
[0043]参考图4,每个模型30a_30e包括模板,例如指示形状的数据或表示对应群体的共同解剖特征的图像。模型30b，例如包括模板32，其指示参考标志34相对于模板32的位置。如下文进一步所述，使用参考标志34的位置来基于图像数据20确定对应解剖标志46的位置。[0044]模板32可以包括与成像数据20所表示的类似解剖结构视图对应的一个或多个二维图像。替代地，模板32可以包括患者解剖结构的三维表示。可以生成模板32的二维截面或切片以用于与成像数据20的二维图像进行比较。
[0045]计算机系统10通过在图像数据20的坐标参照系中对模板32进行取向来将模板32配准到图像数据20。计算机系统10将模板32的轮廓与最初分割的图像数据22的轮廓对准，最初分割的图像数据22与图像数据20共享同样的坐标参照系。可以对模板32进行平移、旋转、缩放或以其他方式操纵以与分割的图像数据22的轮廓对准。在一些实施方式中，计算机系统10使用回归技术，诸如最小二乘数据拟合技术，以将分割的图像数据22和模板32进行配准。
[0046]模型30b还指示图像处理参数，诸如分割阈值和其他约束。可以通过针对对应于模型30b的群体的多个成员检查图像数据来在经验上确定图像处理参数。可以将阈值和其他约束设置在被确定为对于与模型相关联的特定群体有效的水平。
[0047]在选择模型30b之后，计算机系统10执行图像数据20的图像分割(240)，例如定位与不同组织对应的区域的边界。分割还可以包括向特定区域或轮廓分配标签，例如，指定区域为与骨骼或软骨对应。在通过初始分割操作获得分割的图像数据22时，使用模型30b的分割能够提高被分割轮廓的精确度，因为模型30b包括图像处理参数和对群体特有的模板32。
[0048]计算机系统10向图像数据20应用一个或多个亮度阈值(242)，例如，将灰度级图像简化成黑白图像。亮度高于阈值的像素的邻接区域可以表示特定的组织类型，而低于阈值亮度的像素可以被忽略。可以向图像应用多个亮度阈值以识别多个亮度范围中的像素。一个亮度范围中的像素对应于一种组织类型，并且不同亮度范围中的像素对应于不同的组织类型。可以基于例如从图像的亮度直方图确定的图像或特征的平均亮度来针对特定图像调整阈值水平。
[0049]所选择的模型30b可以定义被确定为对于针对特定医疗状况或群体的处理图像数据有效的亮度阈值的值。模型30b还能够定义针对图像不同区域的不同阈值，或针对一系列图像中不同图像的不同阈值。因为图像数据20被配准到模板32，所以可以向图像数据20的对应区域应用与模板32的不同区域相关联的图像处理参数。
[0050]计算机系统10使用多种技术来基于图像数据20产生分割的图像数据。例如，计算机系统10还使用边缘检测技术来识别组织边界。例如，计算机系统10能够计算针对图像数据的亮度梯度的大小。可以在超过梯度阈值的位置处，或在对应于梯度大小的最大值和最小值的位置处定义边缘。
[0051]计算机系统10能够此外或替代地使用图像分割技术，诸如聚类、区域生长、四叉树分割、图表划分、分水岭变换和基于直方图的技术。计算机系统10可以使用例如傅里叶分析或通过识别展现出类似直方图特性的局部区域来识别包括类似图案或纹理的区域。
[0052]参考图2和5，图像分割操作可以包括处理利用不同数据采集参数所采集的数据(244)。计算机系统10能够访问通过患者解剖结构的不同扫描所采集的图像数据。计算机系统10能够使用来自不同扫描的被访问图像数据识别与不同组织类型对应的区域。例如，计算机系统10能够使用第一图像数据识别与第一类型的组织对应的区域，并能够使用第二图像数据识别与第二类型的组织对应的区域。[0053]在一些实施方式中，计算机系统10访问针对检测患者解剖结构的不同性质的扫描的数据。例如，计算机系统10能够访问通过X射线成像所采集的数据，X射线成像例如是CT扫描或个体X射线扫描，以及通过MRI所采集的数据。计算机系统10能够使用X射线成像数据识别对应于骨骼的区域，并且能够使用MRI数据识别与软骨或其他组织对应的区域。
[0054]在一些实施方式中，计算机系统10访问多组MRI图像数据，其是通过使用不同测量参数的扫描所采集的。对于MRI扫描，采集参数包括例如输入脉冲序列、回波时间、1和重复时间Τκ。这些参数的变化能够改变检测到的组织的类型和组织之间的对比度。于是，可以利用通过使用不同测量参数所获得的图像数据来确定与不同组织类型对应的区域和边界。也可以使用测量不同物理性质的扫描，例如MRI扫描和X射线扫描，来识别不同的组织。
[0055]成像数据20包括，例如T1加权的MRI图像数据20a和T2加权的图像数据20b，其是使用不同的测量参数所获得的。含水组织可能在T1加权的图像中比在T2加权的图像中显得更亮，导致针对特定组织的对比度上的变化。可以使用其他MRI扫描数据，包括利用例如T*2加权的扫描、自旋密度或质子密度加权扫描、或流体衰减的反转恢复(FLAIR)扫描所采集的数据。
[0056]计算机系统10分割T1加权的图像数据20a以识别在分割数据40a中指示的对应于皮层骨的边界。计算机系统10分割T2加权的图像数据20b以识别在分割数据40b中指示的对应于软骨、肌腱和韧带的边界。
[0057]在分割成像数据20a、20b之后，计算机系统10将分割的数据40a、40b配准到公共坐标参照系。叠加分割数 据40a、40b的轮廓，产生指示多个组织类型的轮廓的复合分割图像数据42。在患者的取向对多个扫描保持一致时，可以使用由MRI扫描机采集成像数据20a、20b所使用的坐标系来对准分割的成像数据40a、40b。作为替代方式，可以使用形状识别和数据拟合来配准分割的成像数据40a、40b，或将分割的成像数据40a、40b单独配准到模板32。
[0058]为了组合多组层析成像数据，计算机系统10可以叠加与患者解剖结构的基本相同部分对应的截面图像。例如，计算机系统10可以将两组层析成像数据共配准到公共参照系。计算机系统10然后可以为两组层析成像数据针对每个截面图像执行图像分割。计算机系统10叠加与患者解剖结构的相同切片基本对应的分割截面图像。例如，可以将一组层析成像数据的第一中间切片的分割截面图像与另一组层析成像数据的第一中间切片的分割截面图像进行叠加。在切片之间的间距或切片的取向对于两组层析成像数据而言不相同时，计算机系统10能够对与另一组层析成像数据的分割截面图像对准的轮廓进行内插。
[0059]在一些实施方式中，如下所论述的，计算机系统10能够从分割的层析成像数据生成数字三维模型。三维模型能够指示与不同组织类型对应的区域，例如，与骨骼和软骨对应的区域，可以使用通过不同扫描所采集的图像数据对其进行识别。
[0060]在每个图像分割操作期间，计算机系统10可以应用由模型30b所指示的约束。例如，模型30b可以指示很可能出现对应于特定组织的轮廓的统计学置信水平。在分割操作将轮廓置于统计学上不太可能的区域中时，例如，置于置信水平低于阈值的区域中时，计算机系统10可以改变边界，导致使用不同的参数重新计算边界，或利用模板32重新计算成像数据20的配准。替代地，计算机系统10能够标记边界，以供人复查或校正。
[0061]计算机系统10还对分割数据42的轮廓进行校正和平滑(246)。例如，计算机系统10识别与模板32的轮廓对应的解体段，并连接这些段以形成连续的轮廓。模型30b能够定义处理规则，其例如要求特定的轮廓是连续的，特定区域中的轮廓的斜率在定义范围之内，或特定区域是有界的。处理规则还能够确保指示感兴趣的医疗状况的特征的精确度。例如，骨关节炎模型30e能够限制与关节的关节面对应的区域的平滑，改善对应于骨赘和其他畸形的不规则轮廓被不适当地改变的概率。
[0062]计算机系统10可以迭代地细化分割的轮廓和分割的轮廓与模板32的配准。例如，计算机系统10能够基于模板32的轮廓首先细化分割的成像数据42的轮廓。计算机系统10然后可以使用细化的轮廓更新分割数据42与模板32的配准。然后可以使用更新的配准等再次细化分割的图像数据42的轮廓。
[0063]参考图2、6A和6B，计算机系统10在合成的分割图像数据42中识别解剖标志46(250)。模型30b指示解剖标志很可能出现在其中的感兴趣区36。例如，在分割的图像数据42和模板32被共配准时，分割的图像数据42的解剖标志46很可能位于模板32的对应参考标志34的阈值距离之内。模型30b针对要识别的每个解剖标志定义感兴趣区36的形状和尺寸。
[0064]为了识别解剖标志46，计算机系统10识别与感兴趣组织(例如，股骨)对应的轮廓44。在针对特定参考标志34的感兴趣区36之内，计算机系统10识别轮廓44上的局部最小值和最大值(252)。选择感兴趣区34之内的最大值点、最小值点和拐点作为候选标志45a-45d。计算机系统10计算每个候选标志45a_45d和参考标志34之间的距离。计算机系统10然后指定距参考 标志34最近的候选标志45b作为对应于参考标志34的解剖标志46 (254)。
[0065]在一些实施方式中，模型30b指示感兴趣区36之内的统计学置信水平，指示与参考标志34的位置的可能差异。并非基于计算的距离选择解剖标志46，而是计算机系统10能够识别对应于如由模型30b所指示的每个候选标志45a-45d的位置的统计学置信水平，并能够选择具有最高置信水平的候选标志45b作为解剖标志46。
[0066]此外，模型30b能够指示特定解剖标志是否位于最大值点或最小值点，或相对于感兴趣区36中的最大值或最小值点具有特定的空间关系。计算机系统10能够相应地过滤候选标志45a-45d。模型30b还能够以其他方式定义解剖标志，例如，将其定义为(i )针对图像的绝对最大值或绝对最小值，(ii)特定方向上的极值，诸如最前点或最后点，或(iii)与参考轴或平面相交的点。
[0067]针对膝盖的成像数据20检测的解剖标志可以包括例如内上髁、外上髁、胫骨沟、胫骨脊和内收肌结节的位置。检测的解剖标志还可以包括，例如每个髁上的后点，这样能够准许确定后髁轴。检测到的解剖标志可以是位置、取向、点、段、区域或表面。例如，计算机系统10还能够识别前-后轴、后髁轴或上髁轴的取向作为标志。
[0068]成像数据20可以包括表示不同深度或层次处患者解剖结构的层析成像数据。利用上述的过程200，计算机系统10生成针对形态数据的每个切片或分量图像的分割的图像数据。计算机系统10能够基于针对每个切片的分割的图像数据生成三维模型，诸如CAD模型，并指示相对于三维模型的所识别的解剖标志的位置。[0069]参考图7，计算机系统10能够使用形态数据的多个切片来识别解剖标志。模型30b能够指示，例如标志是感兴趣区50之内的最远端点，且感兴趣区50是三维区域。感兴趣区50可以跨越形态数据的多个切片。为了识别标志，计算机系统10针对感兴趣区50之内的不同切片识别分割的图像60a-60c。计算机系统10针对每个分割的图像60a_60c的轮廓识别最远端点61a-61c,并确定图像60b的点61b是最远端,并因此表示标志的位置。
[0070]在感兴趣区50跨越层析成像数据的多个切片时，计算机系统10能够识别每个切片中的最好候选标志，并然后可以在候选标志中选择以指定标志。计算机系统10还能够例如通过检查原始成像数据20来检查不同切片的对比度。计算机系统10能够选择感兴趣区中展现出最好对比度或图像质量的切片，并基于针对该切片的分割轮廓来确定解剖标志。
[0071]作为替代，计算机系统10能够识别三维模型上的标志，而不是检查层析成像数据的各个切片以识别三维区域中的标志。计算机系统10能够基于分割的图像数据42生成三维模型并能够识别模型表面上的标志。
[0072]在识别一个或多个解剖标志46之后，计算机系统10能够重复过程200的部分，以细化模板32到成像数据20的配准，改善分割精确度，并识别额外的标志。例如，可以将所识别标志的位置与对应参考标志34的位置对准，以改善图像配准的精确度。调整的配准能够导致额外的解剖标志位于感兴趣区中，并因此变得可以由计算机系统10检测到。
[0073]参考图8，计算机系统10可以使用一个或多个人工神经网络(ANN)来确定解剖标志46的位置。例如，每个参考模型30a-30e能够包括ANN，其被训练为检测图像数据中的解剖标志。可以额外先练针对每个参考模型30a-30e的ANN，以执行图像分割，例如，以定义与一个或多个组织对应的轮廓。
[0074]ANN 300的范例包括多个互连的神经元或节点302。节点302被组织成多个层310、311、312、313，并通过节点302之间的连接304传递信息。在图示的范例中，信息从左至右通过连接304传播。在输入层310的节点302处接收到输入。通过连接304，由一个或多个处理层311、312的节点302接收并操纵该输入。在输出层313处产生一个或多个输出。
[0075]每个节点302通过其连接304接收一个或多个输入值，并产生输出，该输出被发送到后续层310、311、312、313的一个或多个其他节点302。每个连接304被分配加权值，在训练过程期间确定该加权值。
[0076]每个节点302基于通过其连接304接收的输入和那些连接304的加权值向下一层310、311、312、313输出值。针对节点302的输出值例如可以是用于每个输入连接304的加权值乘以其对应输入值之和，如下面的方程I中所指示的:
输出=A1B1 + A2B2 + A3B3 +...+ AiBi
方程I
其中A1……Ai是与输入连接I……i相关联的加权值，以及B1……Bi是通过连接I……i接收的输入值。
[0077]为了识别解剖标志，对ANN 300的输入可以包括图像数据，例如MRI图像数据，以及患者信息，例如年龄、性别、种族本源、体重和身高。ANN 300的输出可以包括例如针对MRI图像数据的每个截面图像的分割的图像数据以及一个或多个解剖标志的位置。由ANN300输出的分割的图像数据可以被表达为定义分割数据中的组织边界曲率的一个或多个多项式函数的系数。[0078]可以通过基于针对多位患者的实际数据调整连接304的加权值来训练ANN 300。可以使用任何适当的机器学习算法，例如，监督学习算法，来针对解剖标志检测训练ANN300。使用针对特定群体的成员的成像数据，可以训练ANN 300以精确定位针对该群体的解剖标志和组织边界。作为替代方式，可以训练ANN以执行图像分割或检测通常针对患者但不针对患者的特定群体或类别的解剖标志，。
[0079]为了确定用于连接304的加权因子，可以最初分配默认加权参数。向ANN 300输入针对第一患者的训练数据，例如，针对第一患者膝盖的MRI图像数据和针对第一患者的患者信息，ANN 300输出指示一个或多个标志的计算位置和计算的组织边界的数据。计算机10确定计算的输出与实际位置和组织边界之间的差异，并使用该差异来调整加权值。可以向ANN 300重复输入针对第一患者的训练数据，并可以重复调整加权值，直到产生正确的输出。可以利用针对第二患者、第三患者等的训练数据来重复相同的过程，直到ANN 300产生针对较大的患者集合产生精确输出。在一些实施方式中，计算机系统10例如通过输入训练数据集合、将ANN 300的输出与实际数据相比较、调整加权值、以及确定是否已经达到足够的精确度水平，来执行训练过程的一个或多个步骤。
[0080]ANN 300能够接收关于对应于患者解剖结构的不同层析成像切片的多个截面图像的输入。对ANN 300的输入可以包括，例如每个截面图像(例如，第一中间切片、第三侧面切片等)的相对位置，以及关于用于采集MRI数据(例如，切片之间的距离，或扫描是T1还是T2加权的)的参数的信息。于是可以训练ANN 300以针对多个截面图像产生分割的图像数据，并在多个截面图像中识别解剖标志。
[0081]在已经训练ANN 300之后，计算机系统10能够使用其来识别针对患者的图像数据中的解剖标志46。可以使用针对特定群体的成员的成像数据来训练ANN 300，特定群体例如是对应于小膝盖模型30b的群体。计算机系统10能够向参考模型30b的训练的ANN输入图像数据20，以及关于例如患者年龄、性别、种族本源、体重和身高的信息。ANN 300然后能够输出指示解剖标志46的位置和与一个或多个类型的组织对应的边界的数据。
`[0082]可以使用由计算机系统10识别的所识别的标志46，来例如确定手术对准或确定截骨术的位置或取向。所识别的标志46还可以被用于选择针对患者的植入物。例如，计算机系统10能够基于解剖标志46的位置和使用分割的图像数据42所确定的尺度来选择针对植入物的尺寸或尺寸范围。计算机系统10能够访问指示了关节尺度的范围的数据，对于该关节尺度的范围指示了各种植入物的使用。计算机系统10然后能够计算在分割的图像数据42上使用的一个或多个尺度。例如，计算机系统能够计算两个识别的标志46之间的轴的距离或取向。计算机系统10然后能够利用对应于各种植入物的尺度范围来计算尺度和取向。计算机系统10能够选择供膝盖使用而指示的植入物或植入物尺寸，并能够向用户提供关于植入物或尺寸范围的信息。
[0083]参考图9,计算机系统10可以包括例如输入子系统110、输出子系统120、处理子系统130、和一个或多个存储装置140。可以将计算机系统10实现为单个计算装置或实现为通过例如网络彼此通信的多个计算装置的系统。计算机系统10可以是计算机辅助的手术系统的一部分。
[0084]输入子系统110可以包括输入接口以接收输入图像数据。输入子系统110还可以任选地包括，例如键盘、触摸屏、指示装置、以及其他输入装置，以从用户接收输入。[0085]输出子系统120包括接口，以提供分割的图像数据和指示所检测的解剖标志的位置的数据。输出子系统120能够向制造系统提供三维数据，该制造系统产生具有患者特有特征的手术导引或其他装置，例如，配置成符合患者解剖结构部分的表面。
[0086]在一些实施方式中，可以使用由计算机系统10产生的数字模型来制造基本符合患者解剖结构的手术导引或其他装置。在分割的图像数据42指示与骨骼和软骨两者都对应的区域时，可以使用成像数据来制造符合患者的骨骼和软骨两者的装置。于是，在一些情况下，可以使用分割的图像数据42来更精确地确定患者特有的轮廓，与使用指示与单个组织类型对应的区域的分割的图像数据时相比，这种情况指示了与多个组织类型对应的区域。
[0087]一个或多个存储装置140可以包括易失性和非易失性存储器，例如，随机存取存储器(RAM)、硬盘驱动器、固态磁盘、⑶-ROM盘和其他计算机可读介质。一个或多个存储装置140能够存储可以被执行或解译的指令。在由一个或多个处理装置执行时，该指使计算机系统10执行上述操作,包括,例如图2的过程200的操作。
[0088]处理子系统130包括执行上述操作的一个或多个处理装置。处理子系统130能够使用硬件、软件、固件或其组合执行操作。处理子系统130可以包括图像分析模块132、参考模型选择模块133、形状识别模块134、图像配准模块135、图像分割模块136和标志检测模块 137。
[0089]图像分析模块132识别成像数据的特征，诸如各种组织的尺度和形状。参考模型选择模块133确定所识别的特征是否与群体的特性属性相关并选择适于成像数据的参考模型。形状识别模块134识别与成像数据的特定部分对应的组织，诸如特定骨骼。
[0090]图像配准模块135例如通过在对应位置中将类似形状和轮廓对准，来在公共坐标参照系中对准多个图像。图像分割模块136定义与不同组织和组织类型对应的边界和区域。使用亮度阈值、亮度梯度分析和由所选择的参考模型所指示的约束来确定组织的边界。
[0091]标志检测模块137识别分割的成像数据中的解剖标志。标志检测模块137能够访问参考模型中的数据以确定图像内的感兴趣区。标志检测模块137例如通过识别感兴趣区之内的局部最大值和最小值并识别针对图像的全局最大值和最小值来识别候选标志。为了选择解剖标志，标志检测模块137相对于由参考模型指示的标准来评估候选标志。例如，选择参考模型指示为具有最高正确定位的统计学可能性的候选标志。
[0092]各种实施方式可以包括对应的系统、设备和计算机程序，该计算机程序被配置成执行本文件中描述的过程的动作，被编码在计算机存储装置上。可以利用安装于系统上的软件、固件、硬件或其组合来如此配置一个或多个处理装置或一个或多个计算机的系统，以便在操作中使系统执行所述动作。可以利用指令来如此配置一个或多个计算机程序，以便在由数据处理设备执行指令时，使设备执行所述动作。
[0093]可以在数字电子电路中、有形体现的计算机`软件或固件中、计算机硬件中实现本公开中所描述的主题和功能操作的实施方式，包括本说明书中公开的结构及其结构等价物或它们中一个或多个的组合。可以将本说明书中描述的主题的实施方式实施为一个或多个计算机程序，即在有形非暂态计算机可读介质上编码的计算机程序指令的一个或多个模块，以用于由数据处理设备执行或控制数据处理设备的操作。
[0094]计算机可读介质可以是机器可读存储装置、机器可读存储基质、存储器装置、实现机器可读传播信号的物质的组成、或它们中一个或多个的组合。术语“数据处理设备”涵盖用于处理数据的所有设备、装置和机器，例如包括可编程处理器、计算机或多个处理器或计算机。除了硬件之外，该设备可以包括为讨论中的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、操作系统或它们中一个或多个的组合的代码。
[0095] 已经描述了多个实施方式。然而，将来理解的是，可以做出各种修改而不脱离本发明的精神和范围。因 此，其他实施方式在以下权利要求的范围之内。
【权利要求】
1.一种方法，包括: 访问表示组织的图像数据； 识别由所述图像数据指示的组织的一个或多个特征； 基于所述一个或多个识别的特征来选择针对所述组织的模型； 分割所述图像数据；以及 使用所述模型识别由所述分割的图像数据所指示的组织的一个或多个解剖标志。
2.根据权利要求1所述的方法，其中由一个或多个计算装置执行接收所述图像数据，识别所述组织的一个或多个特征，选择所述模型，分割所述图像数据，以及识别所述一个或多个解剖标志。
3.根据权利要求1所述的方法，其中基于所述图像数据识别所述组织的一个或多个特征包括对所述图像数据执行形状识别以识别所述组织和所述组织的取向。
4.根据权利要求1所述的方法，其中基于所述图像数据识别所述组织的一个或多个特征包括: 分割所述图像数据以产生初始分割的图像数据； 基于所述初始分割的图像数据来识别所述组织的一个或多个特征；以及 将所述一个或多个特征识别为与特定医疗状况或畸形相关。
5.根据权利要求1所述的方法，其中基于所述一个或多个识别的特征选择针对所述组织的模型包括: 确定所述一个或多个识别的特征与医疗状况或畸形、尺寸、年龄或性别相关；以及 基于确定所述一个或多个识别的特征与医疗状况或畸形、尺寸、年龄或性别相关，选择表示所述医疗状况或畸形、尺寸、年龄或性别的针对所述组织的模型。
6.根据权利要求1所述的方法，其中分割所述图像数据包括向所述图像数据应用一个或多个阈值以在所述图像数据中定义多个边界。
7.根据权利要求1所述的方法，其中应用一个或多个阈值包括应用一个或多个亮度或对比度阈值。
8.根据权利要求1所述的方法，还包括: 识别所述分割的图像数据的区域，其包含与预定解剖特征对应的分割的边界中的误差；以及 基于所述模型来校正所述分割的边界以产生校正的分割的图像数据； 其中使用所述模型来识别所述分割的图像数据中的一个或多个解剖标志包括使用所述模型来在校正的分割的图像数据中识别一个或多个解剖标志。
9.根据权利要求1所述的方法，其中基于所述一个或多个识别的特征选择针对所述组织的模型包括选择包括被训练为识别一个或多个解剖标志的位置的人工神经网络的模型。
10.根据权利要求9所述的方法，其中训练所述人工神经网络以识别针对基于医疗状况或畸形、尺寸、年龄或性别所确定的患者群体的一个或多个解剖标志的位置。
11.根据权利要求9或10所述的方法，其中分割所述图像数据包括使用所述人工神经网络来确定对应于一个或多个组织的边界。
12.根据权利要求1所述的方法，其中使用所述模型识别所述分割的图像数据中的一个或多个解剖标志包括识别与由所述模型所指示的特定预定解剖标志对应的特征。
13.根据权利要求1所述的方法，其中使用所述模型识别所述分割的图像数据中的一个或多个解剖标志包括识别所述分割的图像数据的一个或多个全局最大值或最小值位置。
14.根据权利要求1所述的方法，还包括基于一个或多个识别的特征来确定所述图像数据的区域很可能包括特定的解剖标志；以及 其中使用所述模型识别所述分割的图像数据中一个或多个解剖标志包括识别与所述区域对应的分割的图像数据的区域中的局部最大值或局部最小值作为特定解剖标志。
15.根据权利要求1所述的方法，其中使用所述模型识别所述分割的图像数据中的一个或多个解剖标志包括: 识别与感兴趣区对应的图像数据的切片； 选择对于所述感兴趣区而言具有最高对比度的切片之一；以及 基于与所选择的切片对 应的分割的图像数据来识别一个或多个解剖标志。
【文档编号】G06T9/20GK103607947SQ201180049512
【公开日】2014年2月26日 申请日期:2011年8月12日 优先权日:2010年8月13日
【发明者】B.W.麦克金农, A.阿格尼霍特里, M.E.纳德扎迪, M.P.鲁梅里, M.J.布伊塞雷特 申请人:史密夫和内修有限公司