矫形手术中使用三维图像重建来辅助评估骨或软组织畸变的系统和方法与流程

矫形手术中使用三维图像重建来辅助评估骨或软组织畸变的系统和方法


背景技术：

1.1.相关申请的引用
2.本技术要求于2021年7月1日提交的美国临时申请第63/217,567号的权益。这一相关申请的公开内容在此全部并入本公开中。
2.技术领域
3.本公开大体涉及矫形关节置换手术领域，并且更具体地，涉及使用摄影测量术和三维重建技术来辅助外科医生和技术人员规划并执行矫形手术。
4.3.相关领域
5.关节置换手术的新兴目标是恢复患病前关节的自然对准和旋转轴。然而，这一目标在实践中可能难以实现，因为关节不仅包括关节骨，还包括辅助支撑骨和各种软组织，包括软骨、韧带、肌肉和肌腱。过去，外科医生会避免完全恢复自然对准，或者会基于从人群样本中得出的平均值来估计对准角度和其他维度。然而，这些平均值通常无法考虑到特定患者的解剖结构的自然变化，尤其是当患者患有骨关节炎等慢性骨变形疾病时。
6.为了解决这一问题，一些护理人员开始使用计算机断层成像(“ct”) 扫描和磁共振成像(“mri”)技术来检查患者的内部解剖结构，以便帮助规划矫形手术。来自这些ct扫描和mri的数据甚至已用于以数字形式创建三维 (“3d”)模型。这些模型可发送给专业人员，以设计并生产用于该手术的患者专用植入物和器械。可以使用增材制造技术(例如，3d打印)和其他常规生产技术来构造适合患者特定解剖结构的物理植入物或器械。
7.然而，获得ct扫描和mri可能是复杂、耗时并且昂贵的。ct扫描还往往会使患者在每次治疗中暴露于比使用其他非侵入性成像技术诸如传统射线照相或超声波的情况下患者可能另外经历的辐射更高水平的辐射。此外，安排方面的考虑有时会将ct扫描或mri检查安排在实际手术前一个月或更早时间。逐渐将矫形外科手术转移到门诊日间手术中心(“asc”)的趋势可能会加剧这种延迟。asc往往是较小的设施，通常缺乏昂贵的现场ct扫描仪和mri机器。这通常会迫使患者在医院安排检查预约。
8.检查预约与手术之间的时间延长会增加患者的骨骼和软组织解剖结构在正常使用或疾病进展下进一步恶化或改变的风险。进一步恶化不仅可能会引起患者额外的不适，还会对检查数据对手术团队的有用性产生负面影响。这对于根据过时数据创建的患者专用植入物，以及对于尝试基于患病前关节的自然对准来恢复运动范围的手术技术而言可能尤其成问题。此外，术前检查预约与手术之间的时间延长会增加外部事件对数据产生负面影响的可能性。例如，引起在规划的手术区域发生脱臼或骨折的意外事件通常会破坏先前检查数据的有用性。这种风险在特别活跃或特别虚弱的个体中可能更高。
9.另外，并非所有患者都能进行ct扫描或mri以创建患者专用植入物或器械。这可能部分是由于进行以下操作所需的时间量：获取数据，将数据发送给医疗装置设计专家，产生所需解剖结构的3d模型，基于数据或模型创建患者专用器械或植入物设计，生产患者专用
器械或植入物，跟踪该患者专用器械或植入物并将其运送到手术中心，以及在手术前对该器械或植入物进行消毒。缺乏可用性也可能与患者的医疗保险和疾病类型有关。
10.了解患者的软骨和骨丢失的精确数量对于尝试恢复患病前关节的自然运动范围的手术可能是有用的。示例包括初次膝关节置换手术(通常称为“全膝关节成形术”或“tka”)、总髋关节成形术“tha”和尝试缓解股骨髋臼撞击综合征(“fai”)的病因的手术。
11.以膝关节和tka手术为例：正常的膝关节通常有一条关节线(更具体地说，“屈伸(“fe”)旋转轴”)，其通常相对于胫骨的机械内侧-外侧 (“ml”)线内翻约2度(
“°”
)至3
°
。在解剖对准tka手术中，外科医生通常在相对于股骨ml线外翻约3
°
的位置处切除患者的股骨远端髁的一部分，接着垂直于胫骨的纵轴切除胫骨，这会导致切除胫骨ml线的约2
°
至3
°
内翻。然后，外科医生将人工关节的部件放置在经切除区域并对该部件进行测试，评估患者的运动范围，接着根据需要进行调节。
12.然而，每个患者的生理机能略有不同。出于这一原因，并且由于检查数据附近的外部变量，许多tka外科医生选择更针对患者的运动学对准方法，并使用旨在术中定位患者的患病前关节线的工具和手术。这些工具往往测量未磨损或磨损较小的股骨髁的透明关节软骨的厚度。此类工具往往具有与工具的测量端相关联的厚度计。工具的测量端通常插入磨损较小的髁上的软骨的最厚区域中，直到测量端的尖端到达下面的骨。然后，外科医生使用厚度计来测量并记录剩余软骨的量。接着，外科医生将此测量值用作磨损髁上的软骨磨损量的近似值。
13.然而，这种技术有若干局限性。首先，磨损较小的髁可能没有足够的剩余软骨来进行准确测量。其次，即使在磨损较小的髁中有足够的关节软骨的情况下，这种软骨测量技术也不能考虑到磨损髁上发生的骨丢失。当相邻髁上几乎没有剩余软骨时，这一问题可能会加剧。因此，现有的术中技术无法用于可靠地测量所有运动学对准tka中软骨和骨的精确丢失，因此，这些技术加上准确术前数据的问题和可用性，可能会危及人工关节线与自然患病前关节线的准确对准。反复研究表明，改变患病前关节的自然旋转轴的人工关节往往会导致功能不良、植入物过早磨损和患者不适。


技术实现要素：

14.因此，长期以来一直被认识到但尚未解决的需要是增强术前和术中成像技术，用以在规划和执行矫形手术时准确地对骨畸变和其他生理机能进行建模。
15.对常规术前ct和mri成像技术的使用受限问题、由于骨和软骨在术前成像与外科手术之间的时间内的恶化而导致的数据准确性问题，以及使用当前可用术中工具和技术产生的确定患病前骨或关节的自然关节线的局限性问题，通过用于计算骨畸变程度的系统和/或方法得到缓解，该系统和/或方法包括：使用深度学习网络从受试者矫形元件的至少两个独立的二维(“2d”)输入图像的输入中识别骨畸变区域，其中该至少两个独立的2d输入图像中的第一图像是从第一横向定位处捕获的，并且其中该至少两个独立的2d输入图像中的第二图像是从与第一横向定位偏置某一偏置角度的第二横向定位处捕获的；以及计算校正区域，其中该校正区域移除该骨畸变区域。
16.可设想的是，在某些示例性实施方案中，第一输入图像和第二输入图像可以是射线照相输入图像。在不受理论束缚的情况下，可设想的是，射线照片可允许对手术区域进行
体内分析，并且可考虑到被动软组织结构和手术区域周围发生的动态力的外部总和，包括韧带约束、承重力和肌肉活动的影响。
17.可设想的是，根据本公开的某些实施方案可用于根据源于手术区域的软骨和骨解剖结构的数据和/或源于手术区域的软组织结构的数据来创建患者专用的外科手术规划、植入物和器械。
附图说明
18.前述内容将从本公开的示例性实施方案的以下更具体描述中显而易见，如附图中所示。附图不一定按比例绘制，而是强调示出所公开的实施方案。
19.图1是简化左膝关节的前视图，其描绘内侧和外侧股骨髁中的负骨畸变 (即，骨丢失)区域。
20.图2是股骨切除引导架定位器械的侧视图，该股骨切除引导架定位器械具有延伸穿过负骨畸变、待设置在外侧股骨髁上的磨损骨的暴露表面上的调节垫。
21.图3是简化左膝关节的前视图，其直观地表示应用表面调节算法以计算校正负骨畸变的外部缺失骨表面。
22.图4是股骨切除引导架定位器械的侧视图，该股骨切除引导架定位器械具有延伸至外侧股骨髁上的计算出的外部缺失骨表面的调节垫。
23.图5是被取向成屈曲的简化股骨远端的透视图。后髁切除引导架定位器械设置在股骨髁的后部部分上。
24.图6是附接到股骨切除引导架定位器械的股骨切除引导架的透视图。
25.图7是软骨厚度计的侧视图。
26.图8是描绘示例性方法的步骤的流程图。
27.图9a是从a-p定位获取的受试者矫形元件的图像，其示出了示例性校准夹具。
28.图9b是从m-l定位获取的图9a的受试者矫形元件的图像，其示出了示例性校准夹具。
29.图10是针孔相机模型的示意图，该针孔相机模型用于说明可如何使用核面几何原理根据从校准图像检测器的不同参考帧获取的两个2d图像确定3d空间中一个点的定位。
30.图11是系统的示意图，该系统使用深度学习网络来识别受试者矫形元件的特征(例如，解剖标志)，包括骨畸变，并且生成受试者矫形元件的3d模型。
31.图12是股骨远端方面和所识别的负骨畸变的逆体积的两个3d重建模型的示意性透视图。
32.图13是描绘另一示例性方法的步骤的流程图。
33.图14是描绘又一示例性方法的步骤的流程图。
34.图15是描绘再一示例性方法的步骤的流程图。
35.图16是被配置为生成骨畸变的物理模型的系统的示意性表示，其中该物理模型源自使用两个或更多个穿透组织的扁平化输入图像，这些图像是从校准检测器以偏置角度获取的同一受试者矫形元件的图像。
36.图17是描述可如何使用cnn型深度学习网络来识别特征(例如，解剖标志)的示意图，该特征包括受试者矫形元件的骨畸变。
37.图18是示例性系统的示意图。
具体实施方式
38.以下优选实施方案的详细描述仅出于说明和描述目的而呈现，并且不意图是详尽的或限制本发明的范围和精神。选择和描述实施方案以最好地解释本发明的原理及其实际应用。本领域的普通技术人员将认识到，可在不脱离本发明的范围和精神的情况下对本说明书中公开的发明进行许多变化。
39.除非另有说明，否则类似的参考符号贯穿若干视图指示对应部分。尽管附图表示根据本公开的各种特征和部件的实施方案，但附图不一定按比例绘制并且某些特征可能被放大以便更好地示出本公开的实施方案，并且此类示例不应被解释为限制本公开的范围。
40.除非本文中另外明确规定，否则以下解释规则适用于本说明书：(a)本文中使用的所有词语应解释为具有此类情况所需的词性或数字(单数或复数)； (b)除非上下文另外明确规定，否则在本说明书和所附权利要求书中使用的单数术语“一”、“一个”和“该”包括复数引用；(c)应用于所叙述范围或值的先前术语“约”表示关于本领域中已知或预期的范围或值与测量值的偏差的近似；(d)除非另外说明，否则“本文中”、“在此”、“此处”、“此前”和“此后”等词语以及类似含义的词语均指本说明书的全文，而不是指任何特定段落、权利要求或其他分段；(e)描述性标题仅为方便起见，并且不应控制或影响本说明书的部分的构造含义；以及(f)“或”和“任何”不是排他性的，并且“包括(include/including)”不是限制性的。此外，术语“包括(comprising)”、“具有”、“包括(including)”和“包含”应解释为开放式术语(即，意味着“包括但不限于”)。
41.说明书中对“一个实施方案”、“实施方案”、“示例性实施方案”等的提及指示所描述的实施方案可包括特定特征、结构或特性，但每个实施方案可能不一定包括特定特征、结构或特性。此外，此类短语不一定是指同一实施方案。此外，当结合实施方案描述特定特征、结构或特性时，应认为，无论是否明确描述，结合其他实施方案影响该特征、结构或特性都在本领域的技术人员的知识范围内。
42.在提供描述性支持所必需的程度上，所附权利要求的主题和/或文本以全文引用的方式并入本文。
43.除非本文另外明确规定，否则本文中值范围的叙述仅旨在用作单独指代落在其间的任何子范围的范围内的每个单独值的简写方法。在所叙述范围内的每个单独的值都并入说明书或权利要求书中，如同本文中单独叙述每个单独值一样。在提供特定值范围的情况下，应理解，除非上下文另外明确规定，否则每个中间值，至该范围的上限与下限之间的下限单位的十分之一或更小，与其子范围的该所陈述范围中的任何其他所陈述值或中间值包括在本文中。所有子范围也包括在本文中。这些较小范围的上限和下限也包括在其中，受所陈述范围中的任何特定并且明确排除的限制的影响。
44.应注意，本文中使用的一些术语是相对术语。例如，术语“上部”和“下部”在位置上彼此相对，即上部部件在每个取向上都定位在比下部部件更高的高度处，但如果取向颠倒，则这些术语可改变。术语“入口”和“出口”是指流体通过它们相对于给定结构流动，例如流体通过入口流入结构，接着通过出口流出结构。术语“上游”和“下游”是指流体在流过下游部件之前流过各种部件的方向。
45.术语“水平”和“竖直”用于指示相对于绝对参考(即，地平面)的方向。然而，这些术语不应被解释为要求结构彼此绝对平行或彼此绝对垂直。例如，第一竖直结构和第二竖直结构不一定彼此平行。术语“顶部”和“底部”或“基部”用于指顶部相对于绝对参考(即，地球表面)始终高于底部或基部的位置或表面。术语“向上”和“向下”也相对于绝对参考；向上流动始终抵抗着地球的重力。
46.贯穿本公开，当提及人体解剖学时，将以惯常方式使用各种定位术语，例如“远端”、“近端”、“内侧”、“外侧”、“前部”和“后部”。更具体地说，“远端”是指远离身体附着点的区域，而“近端”是指靠近身体附着点的区域。例如，股骨远端指靠近胫骨的股骨部分，而股骨近端指靠近髋的股骨部分。术语“内侧”和“外侧”基本上也是相对的。“内侧”是指更靠近身体中部设置的某物。“外侧”意味着某物更靠近身体的右侧或左侧而不是身体中部设置。就“前部”和“后部”而言，“前部”是指更靠近身体前方设置的某物，而“后部”是指更靠近身体后方设置的某物。
[0047]“内翻”和“外翻”是广义术语，包括但不限于相对于膝关节的内侧和/ 或外侧方向上的旋转移动。
[0048]
应了解，如本文中所使用的术语“骨畸变”可指外部或内部骨丢失的区域、异常多骨的区域(例如在骨赘(即，“骨刺”)中)或与周围骨的自然区域不连续的任何其他骨区域。
[0049]
所有用于识别骨畸变区域以便计算校正区域的方法，其中校正区域相对于周围骨区域移除骨畸变区域，被认为在本公开的范围内。举例来说，以下节段描述了用于在全膝关节成形术(“tka”)中恢复患病前膝关节的自然关节线和旋转轴的系统和方法的示例性实施方案。
[0050]
大体描述初次tka：外科医生通常通过在手术膝盖的前部侧或前部内侧进行大体竖直的内侧髌旁切口来开始手术。外科医生继续切割脂肪组织以暴露关节囊。然后，外科医生可以进行内侧髌旁关节切开术来刺穿关节囊。然后，可使用牵开器使膝盖骨大体向外侧移动，以暴露股骨远端髁(参见103和107，图1)和位于胫骨近端平台上的软骨半月板(通常参见112，图1)。然后，外科医生移除半月板，并且使用仪器测量并切除股骨远端105和胫骨近端110以容纳试验植入物。试验植入物是通常具有与实际内假体相同的功能尺寸的试验内假体，但试验植入物被设计为临时安装和移除以用于评估实际内假体的匹配性和评估膝关节的运动学。一旦安装，试验植入物和实际内假体植入物就通常设置在这些切除附近。因此，这些股骨和胫骨切除的定位和取向在很大程度上决定了试验和实际内假体植入物的取向，从而决定了重建关节线的定位和取向。
[0051]
然后执行这种胫骨切除。一旦切除，胫骨的经切除区域就可被称为“胫骨平台”。接下来，外科医生可将试验胫骨部件放置在经切除的胫骨近端平台上。外科医生通常使用不同的仪器测量并切除股骨远端髁以用于安装试验股骨部件。如果试验部件未适当就位，则外科医生可使用另外的仪器测量并切除股骨髁和/ 或胫骨平台，直到实现所需的就位。
[0052]
然后，外科医生通常在试验胫骨托件与试验股骨部件之间插入试验半月板插入物，以测试试验植入物的膝盖屈伸度、总体稳定性和膝盖骨轨迹。一旦对试验和移动特性感到满意，外科医生就可使用骨水泥来永久固定内假体植入物的实际胫骨及股骨部件，或使用压入配合式植入物并在需要时避免使用骨水泥。
[0053]
最新的对准学派是运动学对准基本原理。运动学对准基本原理认识到每个患者的
生理机能略有不同，并且通过对手术生理机能进行实际测量以确定自然关节线的定位来尝试恢复患者的自然患病前关节线。一旦已知这些测量值，则随后将例如枢转股骨切除引导架定位器400(图2、图4和图6)或切除引导架 424(图6)等工具放置在暴露骨上。切除引导架424可以定制以补充暴露骨，或者切除引导架424可选择性地锁定到股骨切除引导架定位器400中。这些股骨切除引导架定位器400可具有可调节定位机构(参见440)，外科医生可利用该可调节定位机构基于患者的特定测量值来调节切除引导架424相对于暴露骨的取向。一旦切除引导架424设定在所需取向处，则切除引导架424随后暂时固定到骨。外科医生随后通过经取向的切除引导架424的切除槽455插入手术锯，以在所需切除平面中切除未愈合的(undying)骨。由于股骨和胫骨切除的定位和取向在很大程度上决定了试验和实际内假体植入物的取向，因此切除引导架424的定位和取向在很大程度上决定了重建的关节旋转轴的定位和取向。
[0054]
尽管可设想本文所述的方法和系统可能对运动学对准特别有用，但本公开中没有任何内容将本文所述的系统和方法的使用限于运动学对准。举例来说，本文所述的系统和方法可与解剖学对准、机械对准或任何其他对准方法一起使用，前提条件是当前的骨畸变会影响对准器械的定位(参见切除引导架定位器 400和对准引导件600)。此外，本公开中的任何内容均不将本文所述的示例性系统和方法限于在膝关节上使用。外科医生希望在手术前或手术中了解骨或软组织畸变的任何矫形手术都被视为在本公开的范围内。此类矫形手术的示例包括但不限于髋关节成形术，以及尝试缓解股骨髋臼撞击综合征的病因的手术。
[0055]
图1是简化左膝关节的前视图(即，示例手术区域170中的受试者矫形元件100的示例集合)。出于说明目的，参考图1至图5描述的示例涉及示例性膝关节。应了解，贯穿本公开所引用的“矫形元件”100不限于膝关节的解剖结构，而是可包括任何骨架结构和相关联的软组织，例如肌腱、韧带、软骨和肌肉。示例矫形元件100的非限制性列表包括来自身体的任何部分或完整的骨，包括但不限于股骨、胫骨、骨盆、椎骨、肱骨、尺骨、桡骨、肩胛骨、颅骨、腓骨、锁骨、下颌骨、肋骨、腕骨、掌骨、跖骨、指骨或任何相关联的肌腱、韧带、皮肤、软骨或肌肉。应了解，示例性手术区域170可包括若干受试者矫形元件100。
[0056]
在图1中描绘的示例矫形元件100有股骨远端方面105、胫骨近端方面110、腓骨近端方面11、内侧副韧带(“mcl”)113、外侧副韧带(“lcl”)122 以及设置在股骨远端髁107、103上的关节软骨123。在股骨远端髁107、103上示出骨畸变区域(通常为115)。在股骨105的内侧髁107中示出内侧骨畸变区域115a，而在该股骨的外侧髁103中(内侧髁和外侧髁统称为“股骨远端髁”) 示出外侧骨畸变区域115b。在图1中，骨畸变区域115a、115b是“负骨畸变”，即骨丢失区域。图1描绘了股骨远端方面105的内侧髁107和外侧髁103，该股骨远端方面设置在胫骨近端方面110的胫骨平台112上。mcl 113在内侧m将股骨远端105接合到胫骨近端110。同样，lcl 122在外侧l将股骨远端105接合到腓骨111。股胫间隙120将股骨远端105与胫骨平台112分离。在股骨远端 105上的骨畸变区域115a、115b周围示出透明关节软骨123。
[0057]
自然的患病前关节线的定位在很大程度上由股骨髁107、103上的软组织 (例如，关节软骨123)与如由下面的骨(例如，胫骨110)支撑的半月板之间的交互作用设定。在不存在骨畸变区域115a、115b(例如，图1中描绘的骨丢失区域)的情况下，了解患病前软骨123的厚度可用于接近地估计患病前关节线的位置。
[0058]
图7描绘了示例软骨厚度计40。所描绘的厚度计40包括伸长的手柄部分52，外科医生可以使用该手柄部分来握持和操纵器械。肩部62将轴部分60接合到手柄部分52。轴部分60包括近端实心部分63和远端中空部分64。中空部分64延伸到测量端41。中空部分64接收活塞80。活塞80设置在中空部分64 内，并抵着设置在活塞80与轴部分60的实心部分63之间的弹簧79偏置。活塞80上的标记(未描绘)可通过轴部分60中的观察口看到。期望以常规增量来设置这些标记，例如1毫米(“mm”)增量。在观察口附近可设置参考线。同样，通过观察口可见的标记相对于参考线移动。
[0059]
所有用于评估软骨磨损的方法都被认为在本公开的范围内。使用此示例软骨厚度计40(图7)和切除引导架执行运动学对准技术的一种示例性方法进一步描述于美国专利申请第16/258,340号中。美国专利申请第16/258,340号的全文以引用方式并入本文。本技术中公开的方法使用软骨厚度计40来测量与未磨损的或磨损较小的股骨髁(即，107或103)相邻的透明关节软骨123(图1) 的厚度t(图1)。软骨厚度计40的测量端41插入邻近磨损较小的髁的软骨 123的最厚区域中，直到测量端41的尖端86到达下面的骨106(图1)。这样，将测量端41的尖端86按压到剩余软骨近端123的最厚区域中引起活塞80压缩弹簧79。同时，活塞80上的标记相对于参考线移动并且可通过观察口户看到，从而指示设置在测量端41之下的软骨123的厚度。然后，外科医生记录剩余软骨的量(即，软骨厚度t)，并且将此测量值用作磨损髁上的软骨磨损量的近似值。有利地对每个股骨远端髁103、107和每个股骨后髁(107a、103a，图5) 重复这一过程。
[0060]
作为评估软骨123的厚度的不同示例，外科医生或技术人员可使用术中探头来绘制软组织的位置和物理特性，例如软组织的弹性和密度。系统可使用这些数据来计算髁上的软骨磨损量。
[0061]
现在参考图2，在股骨远端105暴露之后的任何时间，外科医生可大致沿着股骨远端105的中心向下钻取髓腔，然后将髓内杆420(也参见图6)放置到排空的髓腔中，以为相对于股骨远端105选择性地设置参考仪器奠定基础。一旦髓内杆420牢固地就位，枢转股骨切除引导架定位器400的稳定部分451就可滑动到髓内杆420上，使得调节垫440a、440b分别邻近股骨远端内侧髁107 和股骨远端外侧髁103设置。
[0062]
稳定部分451可以是髓内杆保持器构件，或被配置为相对于枢转主体部分 412固定到固定位置的其他装置。主体部分412被配置为相对于稳定部分451枢转。销411(图6)可分别紧密地安装到并设置在稳定部分451和主体部分412 中的对准环形孔中，并且这样，枢转股骨切除引导架定位器400的主体部分412 可被描述成相对于稳定部分451“被配置为枢转”，或被描述成与稳定部分451 处于“枢转关系”中。
[0063]
然后使调节垫440a、440b(图6)从切除引导架定位器400的远端参考表面485延伸以接触股骨髁103、107。每个调节垫440相对于参考表面485的长度l理想地为与每个髁的相关联相邻透明关节软骨123的厚度t的测量值相同的长度l。
[0064]
例如，如果内侧m有2mm的软骨磨损并且外侧l有0mm的软骨磨损，则外科医生将使内侧调节垫440a延伸2mm。然后，外科医生将每个调节垫440 放置在适当的髁上。在此示例中，外侧调节垫440b将保持与远端参考表面485 几乎齐平。远端参考表面485相对于髓内杆420的定位由此设定切除角度。然后将切除引导架424(图6)以所需切割角度固定到股骨105，移除股骨切除引导架定位器400，并且外科医生以所需的切除角度通过切除狭槽455切
除股骨远端髁103、107。
[0065]
然而，这些调节仅考虑到存在软骨磨损。这些调节没有考虑到骨畸变区域 115a、115b，例如可能在磨损髁(例如，外侧髁103或内侧髁107)上发生的骨丢失。通常基于软骨厚度计40的测量值来设定调节垫440a、440b。如果患者患有严重的骨丢失，或者如果存在严重的骨赘(通常称为“骨刺”)，则股骨切除引导架定位器400的远端参考表面485的定位将不会设置在患病前关节面的精确位置处。此外，如果外科医生使调节垫440延伸到骨的剩余区域(如图 2中所描绘)，则不可能精确地了解患病前骨的结束位置和关节软骨123的开始位置。因此，即使可通过测量相邻、未磨损的软骨123的最厚区域来适当地近似软骨磨损量，也不可能精确地了解缺失骨的深度。因此，调节垫440用以接触有严重骨丢失区域的髁的任何调节(并且扩展地说，远端参考表面485和切除引导架424的定位的任何调节)充其量是患病前关节面的近似。在该区域缺乏精度可能会带来错误计算关节的自然患病前旋转轴的取向的风险。因此，任何估计错误都可能会对患者的舒适度和植入物的使用寿命产生负面影响。
[0066]
因此，使用在美国专利申请第16/258,340号中描述的枢转股骨切除引导架定位器400和现有的术中技术不可用于可靠地测量所有tka中软骨和骨的精确丢失，因此，这些技术，加上精确术前数据的问题和可用性，可能会破坏人工关节线与自然患病前关节线的准确重建。
[0067]
为了说明这一点，图2示出了股骨切除引导架定位器400的侧视图，该股骨切除引导架定位器具有延伸穿过负骨畸变区域115b、待设置在外侧髁103上的磨损骨的暴露表面116上的调节垫440b。垫调节器440相对于远端参考表面485的延伸长度l最初通过对软骨厚度(参见123)的测量来设定，该软骨厚度可使用如上所述的软骨厚度计40获得，或通过其他软骨厚度测量方法获得。然而，对于患有骨丢失的股骨髁103、107，预先不可能使用具有垫调节器440a、 440b的股骨切除引导架定位器400确定骨畸变(例如，在这种情况下，骨丢失) 的量。
[0068]
例如，使用常规方法不易于确定外侧髁103上的负骨畸变(即，骨丢失) 的精确深度。不正确地考虑到负骨畸变的深度会带来枢转股骨切除引导架定位器400未对准的风险，这是因为使垫调节器440b延伸到所测得软骨厚度的值并将垫调节器440b的端部放置在磨损骨的暴露表面116上现在不再指示患病前关节面。也就是说，如果外科医生最初将所描绘的垫调节器440b的延伸长度l设定成距远端参考表面485 2mm(根据软骨测量计测量值)并且随后将垫调节器 440设置成使得垫调节器440接触磨损骨的暴露表面116，则垫调节器将延伸到骨丢失区域115b中达到负骨畸变115b的未知深度，从而改变远端参考表面485 (并且扩展地说，切割表面)相对于髓内杆420的角度。这种新的切割角度不反映患病前关节面，因此对于以运动学对准膝关节没有用处。
[0069]
外科医生可尝试通过增加垫调节器440的长度(参见l)来进行补偿，以试着估计骨丢失的深度，但外科医生不知道精确的丢失量。因此，外科医生可能会高估或低估丢失量，从而也带来股骨切除引导架定位器400相对于患病前关节的实际关节面不对准的风险。运动学对准是一种股骨关节面参考技术。因此，如果不纠正，则参考关节面时所犯的错误将转移到胫骨近端，从而可能进一步加剧初始错误。此外，如图2所示，骨畸变区域115b和磨损骨的暴露表面116 在深度上可能不均匀。这可能会破坏切除引导架定位器相对于髓内杆420的成角度定位的初始稳定性。
[0070]
近年来，已经可以使用多个2d图像，例如来自成像系统的x射线照片，来创建手术区域170的3d模型。这些模型可在手术前用以规划手术，使其更接近实际手术的日期。此外，这些3d模型可在术中生成以对照术前模型和规划进行检查，或者这些3d模型可用作可计算骨畸变区域的天然模型。然而，由于对图像分辨率和准确性的担忧，x射线照片先前通常不用作3d模型的输入。 x射线照片是3d空间的2d表示。因此，2d x射线照片必然会使图像切除引导架相对于三维中存在的实际对象发生扭曲。此外，当x射线从x射线源(通常是x射线机的阳极)行进到x射线检测器(通过非限制性示例可能包括，x射线图像增强器、磷材料、平板检测器“fpd”(包括间接转换fpd和直接转换 fpd)或任何数目的数字或模拟x射线传感器或x射线胶片)时，x射线所通过的对线可使x射线路径偏转。x射线机本身或其校准中的缺陷也可能会破坏 x射线摄影测量和3d模型重建的有用性。另外，发射的x射线光子具有不同的能量。当x射线与放置在x射线源与检测器之间的物质相互作用时，可能会产生噪声和伪影，部分原因是康普顿和瑞利散射、光电效应、环境中的外在变量或x射线生成单元中的内在变量、x射线检测器和/或处理单元或显示器。
[0071]
此外，在单个2d图像中，实际受试者的3d数据丢失。因此，计算机无法从单个2d图像中使用任何数据来重建实际3d对象的3d模型。出于这个原因，保留三维数据的ct扫描、mri和其他成像技艺通常是重建一个或多个受试者矫形元件的模型的首选输入(即，从实际3d数据重建3d模型通常会产生更准确、分辨率更高的模型)。然而，下文论述的本公开的某些示例性实施方案通过使用深度学习网络提高从x射线摄影测量生成的经重建3d模型的准确性并识别经重建3d模型上或经重建3d模型中的骨畸变区域来克服这些问题。在某些示例性实施方案中，可使用曲线拟合算法(即，示例表面调节算法)来校正或消除骨畸变区域。
[0072]
一种用于计算骨畸变程度的示例性方法可包括：从至少两个2d图像生成手术区域170的3d模型，其中第一图像是在第一横向定位处捕获的，其中第二图像是在第二横向定位处捕获的，并且其中第一横向定位不同于第二横向定位；识别3d模型上的骨畸变区域；以及计算校正区域，其中校正区域从3d模型 (即，相对于周围骨区域)移除骨畸变区域。
[0073]
一种用于计算骨畸变程度的示例性系统可包括：射线照相成像机1800，该射线照相成像机包括发射器21和检测器33(图18)，其中射线照相成像机 1800的检测器33在第一横向定位30a(图9和图10)捕获第一图像30(图9和图10)并且在第二横向定位50a(图9和图10)捕获第二图像50(图9和图 10)，其中第一横向定位30a与第二横向定位50a偏置偏置角度θ(图10)；传输器29(图18)；以及计算机器1600，其中传输器29将第一图像30和第二图像50从检测器33传输到计算机器1600，并且其中计算机器1600被配置为识别受试者矫形元件1100的3d模型上的骨畸变区域115并且计算校正区域，其中校正区域从受试者矫形元件1100的3d模型(即，相对于周围骨区域)移除骨畸变区域。
[0074]
在某些示例性实施方案中，示例性系统可进一步包括显示器19。
[0075]
在某些示例性实施方案中，示例性系统可进一步包括制造机器18。在包括制造机18的示例性实施方案中，制造机器18可以是增材制造机器。在此类实施方案中，增材制造机器可用于制造受试者矫形元件1100的3d模型或骨畸变115m的3d模型。
[0076]
尽管可能期望来自x射线成像系统的x射线照片，因为x射线照片与ct 扫描相比相对廉价，并且某些x射线成像系统(例如，荧光透视系统)的设备通常足够紧凑、可以在术中使用，但除非另外明确声明，否则本公开中的任何内容都不会将2d图像的用途限于x射线照
片，并且本公开中的任何内容也不会将成像系统的类型限于x射线成像系统。其他2d图像可以举例的方式包括： ct图像、ct荧光透视图像、荧光透视图像、超声图像、正电子发射断层显像 (“pet”)图像和mri图像。其他成像系统可以举例的方式包括：ct、ct
‑ꢀ
荧光透视、荧光透视、超声、pet和mri系统。
[0077]
优选地，示例性方法可在具有硬件的计算机平台(例如，计算机器1600) 上实现，该硬件例如一个或多个中央处理单元(cpu)、随机存取存储器 (ram)和输入/输出(i/o)接口。下文参考图16提供了用于示例计算机器 1600的架构的示例。
[0078]
在某些示例性实施方案中，受试者矫形元件1100的3d模型和/或骨畸变 115m的3d模型可以是计算机模型。在其他示例性实施方案中，受试者矫形元件1100的3d模型和/或骨畸变115m的3d模型可以是物理模型。
[0079]
存在用以从2d术前或术中图像生成3d模型的多种方法。举例来说，一种此类方法可包括：利用射线照相成像系统接收患者的手术区域170的一组2d射线照相图像；使用核面几何原理利用射线照相成像系统的坐标系和来自相应2d 图像的投影几何数据计算第一3d模型(参见图9和图10)。这种示例性方法可进一步包括将第一3d模型投影在2d射线照相图像上，接着通过利用图像到图像配准技术将第一射线照相图像30和第二射线照相图像50配准在第一3d模型上来调节初始3d模型。一旦应用了图像到图像配准技术，就可生成经修改 3d模型。这一过程可重复，直到实现期望的清晰度。
[0080]
作为另一示例，深度学习网络(也称为“深度神经网络”(“dnn”))，例如卷积神经网络(“cnn”)、递归神经网络(“rnn”)、模块化神经网络或序列到序列模型，可用于从患者的手术区域170的一组至少两个2d图像生成受试者矫形元件1100的3d模型和/或骨畸变115m的3d模型，并且用于识别骨畸变区域115。2d图像有利地是穿透组织的图像，例如射线照相图像(例如，x射线或荧光透视图像)。在这种方法中，深度学习网络可从来自各个2d 图像的投影几何数据(即，空间数据43或体积数据75)生成模型。深度学习网络可具有能够在手术区域170中生成不同受试者矫形元件100(例如，骨) 或骨畸变115的掩模以及能够计算一个或多个经成像矫形元件100的体积(参见61，图11)的优点。
[0081]
图8是概述示例性方法的步骤的流程图，该示例性方法使用深度学习网络以便使用从偏置角度θ获取的两个平坦输入图像(30、50，图9和图10)来识别经成像矫形元件100上或该经成像矫形元件中的骨畸变区域115。示例性方法包括：步骤1a，校准成像机1800(图18)以确定图像点(参见x
l
、e
l
、xr、 er，图10)与对应空间坐标(例如，x、y平面上的笛卡尔坐标)之间的映射关系，从而定义空间数据43。成像机1800有利地是能够产生x射线图像(“x 射线图像”可被理解为包括荧光镜图像)的射线照相成像机，但所有医疗成像机被认为在本公开的范围内。
[0082]
步骤2a包括使用成像技术(例如，x射线成像技术、ct成像技术、mri 成像技术或超声成像技术)捕获受试者矫形元件100的第一图像30(图9)，其中第一图像30定义第一参考帧30a。在步骤3a中，使用成像技术来捕获受试者矫形元件100的第二图像50(图9)，其中第二图像50定义第二参考帧50a，并且其中第一参考帧30a以偏置角度θ与第二参考帧50a偏置。第一图像30和第二图像50是可自其提取数据(包括空间数据43)的输入图像。应理解，在其他示例性实施方案中，可使用超过两个图像。在此类实施方案中，每个输入图像有利地与其他输入图像分离偏置角度θ。步骤4a包括投影来自受试者矫形元件100的第一图像30的空
间数据43和来自受试者矫形元件100的第二图像 50的空间数据43，以使用核面几何定义体积数据75(图11)。
[0083]
步骤5a包括使用深度学习网络从矫形元件100的体积数据75检测骨畸变 115。步骤6a包括使用深度学习网络从受试者矫形元件100的体积数据75检测其他特征(例如，解剖标志)，以定义受试者矫形元件1100的3d模型。步骤 7a包括应用表面调节算法以从受试者矫形元件1100的3d模型移除检测到的骨畸变115。
[0084]
在某些示例性实施方案中，从体积数据75检测骨畸变115的深度学习网络可以是与从受试者矫形元件100的体积数据75检测其他特征相同的深度学习网络。在其他示例性实施方案中，从体积数据75检测骨畸变115的深度学习网络可以是与从受试者矫形元件100的体积数据75检测其他特征不同的深度学习网络。
[0085]
在某些示例性实施方案中，第一图像30可描绘处于侧向横向定位的受试者矫形元件100(即，第一图像30是矫形元件100的侧视图)。在其他示例性实施方案中，第二图像50可描绘处于前后(“ap”)横向定位的矫形元件100 (即，第二图像50是矫形元件100的ap视图)。在另一示例性实施方案中，第一图像30可描绘处于ap横向定位的矫形元件100。在又一示例性实施方案中，第二图像50可描绘处于侧向横向定位的矫形元件100。在再一示例性实施方案中，第一图像30或第二图像50都不能描绘处于ap横向定位或侧向横向定位的矫形元件100，前提条件是第一图像30与第二图像50偏置偏置角度θ。计算机器1600可从包括校准夹具(参见973，图9)的输入图像30、50计算偏置角度θ。第一图像30和第二图像50可统称为“输入图像”或单独称为“输入图像”。这些输入图像30、50有利地从不同角度描绘同一受试者矫形元件100。这些输入图像30、50可沿着受试者矫形元件100的横向平面获取。
[0086]
某些示例性方法可进一步包括使用例如cycle-gan的风格转移深度学习网络。使用风格转移深度学习网络的方法可从射线照相输入图像(例如，30)开始，并且使用风格转移神经网络将输入图像的风格转移到drr型图像。又一示例性方法可包括使用深度学习网络来识别受试者矫形元件100或骨畸变115的特征(例如，解剖标志)，以便为每个受试者矫形元件100或骨畸变115提供分割掩模。
[0087]
图10和图11示出了可如何组合第一输入图像30和第二输入图像50以创建包括体积数据75的体积61。图10示出了可用于将来自相应输入图像30、50 的空间数据43转换成体积数据75(图11)的基本核面几何原理。应理解，空间数据43由映射到给定输入图像30、50的对应空间坐标(例如，x坐标和y坐标)的图像点(例如，x
l
、xr)的集合定义。
[0088]
图10是由针孔相机模型描述的透视投影的简化示意图。图10传达了与计算机立体视差有关的基本概念，但它绝不是可用以根据2d立体图像重建3d模型的唯一方法。在这一简化模型中，射线从光学中心(即，透镜内的点)发出，假设来自受试者对象的电磁辐射射线(例如可见光、x射线等)在该光学中心处在成像机的传感器或检测器阵列33(图18)内交叉。光学中心在图10中由点o
l
、or表示。实际上，图像平面(参见30a、50a)通常在光学中心(例如， o
l
、or)之后，并且实际光学中心作为点投影到检测器阵列33上，但此处呈现虚拟图像平面(参见30a、50a)以便更简单地说明原理。
[0089]
第一输入图像30是从第一参考帧30a获取的，而第二输入图像50是从不同于第一参考帧30a的第二参考帧50a获取的。每个图像包括像素值矩阵。第一参考帧30a和第二参考帧50a有利地彼此偏置偏置角度θ。偏置角度θ可表示第一参考帧30a的x轴相对于第二参考
帧50a的x轴之间的角度。点e
l
是第二输入图像的光学中心or在第一输入图像30上的位置。点er是第一输入图像的光学中心o
l
在第二输入图像50上的位置。点e
l
和er被称为“核点”或核面点，并且位于线o
l-or上。点x、o
l
、or定义核线平面。
[0090]
由于实际光学中心是来自受试者对象的入射电磁辐射射线在检测器透镜内交叉的假设点，因此在这一模型中，电磁辐射射线实际上可想象为从光学中心 o
l
、or发出，以便可视化如何根据从已知相对定位的检测器33捕获的两个或更多个输入图像30、50确定3d空间中3d点x的定位。如果第一输入图像30 的每个点(例如，x
l
)对应于3d空间中的一条线，则如果在第二输入图像中可找到对应点(例如，xr)，那么这些对应点(例如，x
l
、xr)必须是共同 3d点x的投影。因此，由对应图像点(例如，x
l
、xr)生成的线必须在3d点 x处相交。通常，如果针对两个或更多个输入图像30、50中的每个对应图像点 (例如，x
l
、xr)计算x的值，则可从两个或更多个输入图像30、50再现包括体积数据75的3d体积61。可以各种方式对任何给定的3d点x的值进行三角测量。示例计算方法的非限制性列表包括中点法、直接线性变换法、基本矩阵法、线-线相交法、光束平差法。
[0091]
应了解，本文所述的“图像点”(例如，x
l
、xr)可指空间中的点、像素、像素的一部分或相邻像素的集合。还应理解，如本文所使用的3d点x可表示 3d空间中的点。在某些示例性应用中，3d点x可表示为体素、体素的一部分或相邻体素的集合。
[0092]
然而，在可应用核面几何原理之前，必须确定每个图像检测器33相对于其他图像检测器33的定位(或者必须在获取第一图像30的时间点确定唯一图像检测器33的定位，以及应在获取第二图像50的时间点得知唯一图像检测器33 的经调节定位)。还期望确定成像机1800的焦距和光学中心。为了实际上确定这一点，首先校准图像检测器33(或多个图像检测器)。图9a和图9b描绘了相对于受试者矫形元件100的校准夹具973a、973b。在这些附图中，示例矫形元件100是股骨远端方面105和包括膝关节的胫骨近端方面110。腓骨近端111 是在图9a和图9b中成像的另一矫形元件100。膝盖骨901是图9b所示的另一矫形元件100。
[0093]
图9a是示例矫形元件100的前后视图(即，图9a表示从第一参考帧30a 获取的第一图像30)。第一校准夹具973a附接到第一保持组件974a。第一保持组件974a可包括接合到第一条带977a的第一保护支撑件971a。第一保护支撑件971a经由第一条带977a在外部附接到患者的大腿。第一保持组件974a 支撑第一校准夹具973a，该第一校准夹具有利地取向成平行于第一参考帧30a (即，正交于检测器33)。同样，可提供附接到第二保持组件974b的第二校准夹具973b。第二保持组件974b可包括接合到第二条带977b的第二保护支撑件971b。第二保护支撑件971b经由第二条带977b在外部附接到患者的小腿。第二保持组件974b支撑第二校准夹具973b，该第二校准夹具有利地平行于第一参考帧30a(即，正交于检测器33)。校准夹具973a、973b有利地定位成距受试者矫形元件100足够远，使得校准夹具973a、973b不与任何受试者矫形元件100重叠。
[0094]
图9b是示例矫形元件100的内侧-外侧视图(即，图9b表示从第二参考帧 50a获取的第二图像50)。在所描绘的示例中，内侧-外侧参考帧50a从前后第一参考帧30a旋转或“偏置”90
°
。该第一校准夹具973a附接到该第一保持组件974a。第一保持组件974a可包括接合到第一条带977a的第一保护支撑件 971a。第一保护支撑件971a经由第一条带977a在外部附接到患者的大腿。第一保持组件974a支撑第一校准夹具973a，该第一校准夹具有利地平行于第二参考帧50a(即，正交于检测器33)。同样，可提供附接到第二保持组件974b 的第二
校准夹具973b。第二保持组件974b可包括接合到第二条带977b的第二保护支撑件971b。第二保护支撑件971b经由第二条带977b在外部附接到患者的小腿。第二保持组件974b支撑第二校准夹具973b，该第二校准夹具有利地平行于第二参考帧50a(即，正交于检测器33)。校准夹具973a、973b有利地定位成距受试者矫形元件100足够远，使得校准夹具973a、973b不与任何受试者矫形元件100重叠。
[0095]
由于膝关节在该取向上是稳定的，因此患者可有利地处于站立定位(即，腿处于伸展状态)(参见图18)。优选地，在采集输入图像30、50期间不应改变患者相对于成像机的距离。第一图像30和第二图像50不需要捕获整个腿，而是图像可聚焦于将成为手术区域170的受试者的关节。
[0096]
应了解，取决于要成像建模的受试者矫形元件100，可仅使用单个校准夹具973。同样，如果要对矫形元件100的特别长的集合进行成像和建模，则可使用两个以上的校准夹具。
[0097]
每个校准夹具973a、973b有利地具有已知尺寸。每个校准夹具973a、 973b有利地具有分布在各处的至少四个或更多个校准点978。校准点978以已知模式分布，其中一个点978相对于其他点的距离是已知的。校准夹具973距矫形元件100的距离也可有利地已知。对于x射线摄影测量系统的校准，可有利地由校准夹具973上的金属结构定义校准点978。金属通常吸收接触金属的大多数x射线束。因此，相对于吸收较少x射线的材料(例如气腔或脂肪组织)，金属通常显得非常明亮。定义校准点的共同示例结构包括刻有十字准星的(reseau)十字、圆、三角形、锥体和球体。
[0098]
这些校准点978可存在于校准夹具973的2d表面上，或者3d校准点978 可被捕获为来自给定图像参考帧的2d投影。在任一情况下，对于图像中捕获的所有校准点978，3d坐标(通常指定为z坐标)可被设定为等于零。每个校准点978之间的距离是已知的。这些已知距离可表示为图像传感器/检测器33上的x、y坐标。为了将3d空间中的点映射到传感器33上的2d坐标像素，可使用检测器的校准矩阵、外在矩阵和实际3d点的同源坐标矢量的点积。这允许相对于校准夹具973映射3d空间中的点的真实世界坐标。换句话说，这通常允许将3d空间中的实点的x、y坐标准确地转换成图像检测器的传感器33的2d 坐标平面，以定义空间数据43(参见图10)。
[0099]
提供以上校准方法作为示例。应了解，适用于校准x射线摄影测量系统的所有方法都被认为在本公开的范围内。其他x射线摄影测量系统校准方法的非限制性列表包括使用刻有十字准星的板、zhang方法、光束平差法、直接线性变换法、最大似然估计法、k最邻近回归法(“knn”)、其他深度学习方法或它们的组合。
[0100]
图11示出了当沿着已知偏置角度θ取向时，可如何将经校准输入图像30、 50反投影到包括两个通道65、66的3d体积61中。第一通道65包含第一输入图像30的所有图像点(例如，x
l
等)，并且第二通道66包含第二输入图像50 的所有图像点(例如，xr等)。也就是说，每个图像点(例如，像素)在其相关联的反投影3d射线上复制。接着，可使用核面几何生成经成像手术区域170 的体积61，该体积包括来自这些反投影2d输入图像30、50的体积数据75。
[0101]
参考图11，第一图像30和第二图像50有利地具有已知图像维度。该维度可以是像素。例如，第一图像30可具有128
×
128像素的维度。第二图像50可具有128
×
128像素的维度。在特定计算中使用的输入图像30、50的维度有利地具有一致的维度。一致的维度对于稍
后定义规则体积61的立方体工作区域 (例如，128
×
128
×
128立方体)可能是有利的。如图10所见，偏置角度θ有利地为90
°
。然而，在其他示例性实施方案中可以使用其他偏置角度θ。
[0102]
在所描绘的示例中，128
×
128像素输入图像30、50中的每个像素输入图像在相邻输入图像的长度上复制128次，以创建具有128
×
128
×
128像素的维度的体积61。即，第一图像30被复制并以每个像素一次复制的方式在其后堆叠128个像素，而第二图像50被复制并在其后堆叠128个像素，使得堆叠的图像重叠从而创建体积61。这样，可认为体积61包括两个通道65、66，其中第一通道65包括在第二图像50的长度(即，第二图像50的x轴)上复制n次的第一图像30，并且第二通道66包括在第一图像30的长度(即，第一图像30的x轴)上复制m次的第二图像50，其中“n”和“m”是所指示图像的长度，表示为包括所指示图像的长度的像素(或其他示例性实施方案中的其他维度)的数目。如果已知偏置角度θ，则体积61的每个横向切片(也被一些放射科医生称为“轴向切片”)创建包括从包括两条核线的像素反投影的体素的核线平面。这样，投影来自受试者矫形元件100的第一图像30的空间数据43和来自受试者矫形元件100的第二图像50的空间数据43，以定义体积数据75。使用这一体积数据75，3d表示可使用如上所论述的核线几何原理来重建；3d表示与输入图像30、50中的信息在几何上一致。
[0103]
在用于使用深度学习网络计算骨畸变区域115的示例性系统和方法中，其中深度学习网络是cnn，提供了可如何结构化和训练cnn的详细示例。cnn 的所有架构都被认为在本公开的范围内。常见的cnn架构以举例的方式包括 lenet、googlenet、alexnet、zfnet、resnet和vggnet。
[0104]
图17是cnn的示意图，示出了可如何使用cnn来识别骨畸变区域115。在不受理论束缚的情况下，可设想cnn可有利地用于减小体积数据75的尺寸，而不丢失识别所需矫形元件或所需骨畸变区域115所必需的特征。多个反投影输入图像30、50的体积数据75是可称为“输入张量”的多维阵列。此输入张量包括用于第一卷积的输入数据(在此示例中为体积数据75)。滤波器(也称为内核69)示出为设置在体积数据75中。内核69是定义滤波器或函数(此滤波器或函数有时被称为赋予内核的“权重”)的张量(即，多维阵列)。在所描绘的实施方案中，内核张量69是三维的。包括内核69的滤波器或函数可手动编程或通过cnn、rnn或其他深度学习网络学习。在所描绘的实施方案中，内核69是3x3x3张量，但所有张量尺寸和维度被认为在本公开的范围内，前提条件是内核张量尺寸小于输入张量的尺寸。
[0105]
内核69的每个小区或体素具有某一数值。这些值定义内核69的滤波器或函数。在两个张量之间执行卷积或互相关性运算。在图17中，由路径76表示卷积。内核69所遵循的路径76是数学运算的可视化。遵循此路径76，内核69 最终且相继地遍历输入张量的整个体积61(例如，体积数据75)。此运算的目标是从输入张量提取特征。
[0106]
卷积层72通常包括以下运算中的一者或多者：卷积级67、检测器级68和池化级58。尽管在图17中的第一卷积层72a中可视地表示这些相应运算，但应了解，后续的卷积层72b、72c等也可包括卷积级67、检测器级68和池化层58 运算中的一者或多者或全部，或它们的组合或排列。此外，尽管图17描绘各种分辨率的五个卷积层72a、72b、72c、72d、72e，但应了解，在其他示例性实施方案中可使用更多或更少的卷积层。
[0107]
在卷积级67中，内核69相继地乘以输入数据(即，所描绘示例中的体积数据75)中的像素的多个补丁。从数据提取的像素的补丁被称为感受野。内核 69和感受野的相乘包括
感受野和内核69的每个像素之间的逐元素相乘。在相乘之后，对结果求和以形成卷积输出的一个元素。然后，该内核69偏移到相邻的感受野，并且逐元素乘法运算和求和继续进行，直到输入张量的所有像素都进行过该运算。
[0108]
在此之前，输入张量的输入数据(例如，体积数据75)一直是线性的。为了将非线性引入该数据，随后使用非线性激活函数。使用这种非线性函数标志着检测器级68的开始。常见的非线性激活函数是整流线性单元函数 (“relu”)，其由以下函数给定：
[0109][0110]
当与偏置一起使用时，非线性激活函数用作检测由内核69提取的特征是否存在的阈值。例如，在输入张量与内核69之间应用卷积或互相关性运算，其中内核69包括卷积级67中的低层级边缘滤波器，从而产生卷积输出张量。然后，将带有偏置的非线性激活函数应用于卷积输出张量将返回特征映射输出张量。将偏置相继地添加到卷积输出张量的每个小区。对于给定小区，如果总和大于或等于0(假设本示例中使用relu)，则将在特征映射输出张量的对应小区中返回总和。同样，如果对于给定小区总和小于0，则将特征映射输出张量的对应小区设定为0。因此，将非线性激活函数应用于卷积输出的作用类似于确定卷积输出是否与内核69的滤波器匹配以及它们的匹配程度的阈值。这样，非线性激活函数从输入数据(例如，本示例中的体积数据75)检测所需特征是否存在。
[0111]
所有非线性激活函数都被认为在本公开的范围内。其他示例包括sigmoid、 tanh、泄露relu、参数relu、softmax和切换激活函数。
[0112]
然而，这种方法的缺点在于这一第一卷积层72a的特征映射输出记录所需特征(在上述示例中为边缘)的精确定位。因此，输入数据中的特征的小移动将引起不同的特征映射。为了解决这一问题并降低计算能力，使用下采样来降低输入数据的分辨率，同时仍保留重要的结构元素。可通过改变卷积沿着输入张量的步长来实现下采样。还通过使用池化层58来实现下采样。
[0113]
与输入张量(参见72a)相比，可应用有效填充来减小卷积张量(参见72b) 的维度。有利地应用池化层58来减小卷积数据的空间尺寸，这降低了处理数据所需的计算能力。可使用常见的池化技术，包括最大池化和平均池化。最大池化返回内核69覆盖的输入张量部分的最大值，而平均池化返回内核69覆盖的输入张量部分的所有值的平均值。可使用最大池化来减少图像噪声。
[0114]
在某些示例性实施方案中，可在最终卷积层72e之后添加全连接层，以学习由卷积层的输出表示的高层级特征(例如，经成像胫骨近端110或骨畸变115 的轮廓)的非线性组合。
[0115]
图17的上半部分表示输入体积数据75的压缩，而下半部分表示解压缩直到达到输入体积数据75的原始大小。每个卷积层72a、72b、72c等的输出特征映射用作以下卷积层72b、72c等的输入，以实现逐渐更复杂的特征提取。例如，第一内核69可检测边缘，第一卷积层72b中的内核可检测处于所需取向的边缘集合，第三卷积层72c中的内核可检测处于所需取向的较长边缘集合等。这一过程可持续，直到下游卷积层72检测到股骨远端内侧髁的整个轮廓。
[0116]
图17的下半部分进行上采样(即，扩展较低分辨率特征映射的空间支持)。执行去
卷积操作，以便增加下一下游卷积层(参见72c、72d、72e)的输入的尺寸。对于最终卷积层72e，可利用1
×1×
1内核69进行卷积，以产生与输入体积61尺寸相同的多通道输出体积59。多通道输出体积59的每个通道可表示所需的所提取高层级特征。在这以后可进行softmax激活函数，以检测所需矫形元件100。例如，所描绘的实施方案可包括编号为0、1、2、3、4、5的六个输出通道，其中通道0表示所识别的背景体积，通道1表示所识别的股骨远端 105，通道2表示所识别的胫骨近端110，通道3表示所识别的腓骨近端111，通道4表示所识别的膝盖骨901，并且通道5表示所识别的骨畸变115。
[0117]
在示例性实施方案中，包括所需矫形元件100或骨畸变115b的输出体积数据59的选择输出通道可用于创建受试者矫形元件1100的3d模型或骨畸变115m 的3d模型。
[0118]
尽管上述示例描述了使用三维张量内核69来对输入体积数据75进行卷积，但应了解，上文描述的一般模型可与分别来自第一校准输入图像30和第二校准输入图像50的2d空间数据43一起使用。在其他示例性实施方案中，可在校准成像机之后但在2d与3d重建之前使用机器学习算法(即，深度学习网络(例如，cnn))。即，cnn可用于从相应2d输入图像30、50的第一参考帧30a 和第二参考帧50a检测受试者矫形元件100的特征(例如，解剖标志)。在示例性实施方案中，cnn可用于从2d输入图像30、50识别高层级矫形元素(例如，股骨远端105和任何骨畸变115)。然后，cnn可任选地将掩模或轮廓施加到检测到的矫形元件100或骨畸变115。可设想的是，对成像机1800进行校准，并且如果cnn识别两个输入图像30、50之间的特征的多个对应图像点 (例如，x
l
、xr)，则可使用受试者矫形元件100的参考帧30a、50a之间的变换矩阵来对准3d空间中的多个对应图像点。
[0119]
在包括使用深度学习网络将掩模或轮廓添加到来自相应输入图像30、50的检测到的2d矫形元件100或骨畸变115的某些示例性实施方案中，仅所识别的矫形元件100或骨畸变115的2d掩模或轮廓可以上文参考图10和图11所描述的方式相继地进行反投影，以定义所识别的矫形元件100或骨畸变115的体积 61。以这种示例性方式，可创建受试者矫形元件1100的3d模型或骨畸变115m 的3d模型。
[0120]
在其中第一图像30和第二图像50是射线照相x射线图像的实施方案中，训练cnn可能会呈现若干挑战。相比之下，ct扫描通常产生一系列所需体积的图像。可将包括典型ct扫描的每个ct图像想象为经成像体积的片段。从这些片段，可通过添加所需元素的区域相对容易地创建3d模型，因为该元素在每个连续的ct图像中都被描绘。然后可将经建模元素与ct扫描中的数据进行比较，以确保准确性。
[0121]
相比之下，射线照相成像系统通常不生成捕获经成像体积的不同片段的顺序图像；相反，图像的所有信息在2d平面上展平。另外，由于单个射线照相图像30固有地缺乏3d数据，因此难以用目标矫形元件100的实际几何形状检查通过上述核面几何重建技术生成的模型。为了解决这一问题，可利用ct图像，例如数字重建射线照相(“drr”)图像，来训练cnn。通过以这种方式训练神经网络，神经网络可为内核69开发其自身的权重(例如，滤波器)，以识别所需矫形元件100或骨畸变115b。由于x射线照相具有与drr不同的外观，因此可执行图像到图像平移以使输入的x射线图像具有drr样式的外观。示例图像到图像平移方法是循环gan图像平移技术。在其中使用图像到图像样式转移方法的实施方案中，有利地在将数据输入到深度学习网络用于特征检测之前使用该样式转移方法。
[0122]
以上示例出于说明性目的而提供，并且绝不意图限制本公开的范围。用于根据从
至少两个横向定位获取的同一受试者矫形元件100的2d射线照相图像 (例如，30a、50a)生成受试者矫形元件1100的3d模型或骨畸变115m的3d 模型的所有方法均被认为在本公开的范围内。
[0123]
图12是描绘股骨远端105和骨畸变115m1、115m2的3d模型的透视图。应了解，可根据本公开的任何方法或系统来产生骨畸变115m1、115m2的3d模型。在所描绘的实施方案中，股骨远端105在内侧髁107上具有两个负骨畸变 115a、115c(即，骨丢失区域)。可使用根据本公开的方法来识别骨畸变115a、 115c，如本文所述。可使用包括骨畸变体积数据59的输出通道来产生骨畸变 115m1的3d模型。在所描绘的示例中，骨畸变115m1、115m2的相应3d模型包括实际骨畸变115a、115c的相反体积。为了描绘包括骨畸变115m1、115m2 的3d模型的体积的边界，可训练深度学习网络以检测实际负骨畸变115a、 115c的边缘和负骨畸变115a、115c所驻留的相邻矫形元件100的表面的曲率。在所描绘的示例中，相邻矫形元件的表面是内侧髁表面。然后可应用表面调节算法(例如，曲线拟合算法)来估计缺失表面的曲率，从而校正负骨畸变115。在实施方案中，然后可将所估计的曲率添加到负骨畸变(例如，115a)的所识别的表面区域。负骨畸变的所识别的表面区域与所估计的曲率之间的空间定义负骨畸变115a的建模体积。包括这一建模体积的数据可用于产生畸变115m1的 3d模型，该3d模型具有与负骨畸变115a的实际体积相反的建模体积。
[0124]
应了解，在其中骨畸变115是正骨畸变115(例如，骨赘)的实施方案中，可训练深度学习网络以检测实际正骨畸变115的边缘和正骨畸变115所驻留的相邻矫形元件100的表面的曲率。如果相邻矫形元件100的表面是弯曲的，则可使用曲线拟合算法来估计没有正骨畸变115的表面的曲率，从而校正该正骨畸变115。
[0125]
在某些示例性实施方案中，可产生骨畸变115m1的3d模型作为物理3d骨畸变模型。如果在术中使用，则可以1:1比例创建骨畸变115m1的物理3d模型。在此类示例性实施方案中，骨畸变115m1的物理3d模型可由医疗级聚酰胺(非正式地称为尼龙)制成。骨畸变115m1的物理3d模型的材料应是可灭菌的并且可有利地具有适合于高压釜的特性。高压釜通常是小而紧凑的，这使得它们特别适用于在手术中心处或手术中心附近对骨畸变115m1的物理3d模型进行灭菌。
[0126]
用于骨畸变115m1的3d模型的合适材料的其他示例包括医学级聚乙烯 (例如，超高分子量聚乙烯(“uhmwpe”)、聚醚醚酮(“peek”))或其他生物相容性、经临床证明的材料(包括但不限于钴铬钼合金、钛合金)，以及陶瓷材料(包括但不限于氧化锆增韧氧化铝(“zta”)陶瓷)。在骨畸变是骨丢失区域的情况下，骨畸变115m1的1:1物理3d模型的优点在于，骨畸变115m1的物理3d模型具有实际骨畸变(参见115b，图2、图4)的暴露表面 116的互补表面。如果物理3d骨畸变模型115m1适当地灭菌，则物理3d骨畸变模型115m1在术中可邻近实际骨畸变115b的互补表面116放置。这样，消除上文参考图2描述的不确定性。
[0127]
在示例性实施方案中，骨畸变115m2的物理3d模型可选择性地附接到对准引导件600的一个或两个后部垫693a、693b。可设想的是，通过提供缺失骨的物理灭菌模型，消除了下文参考图5描述的不确定性。
[0128]
图3是简化的左膝关节的前视图，其直观地表示使用深度学习网络来检测矫形元件100的体积数据75上或体积数据中的骨畸变115a、115b的步骤。深度学习网络可从受试者矫形元件100的体积数据75检测其他标志，以定义受试者矫形元件1100的3d模型。然后应用
表面调节算法来从受试者矫形元件1100 的3d模型移除骨畸变115a、115b。在所描绘的实施方案中，通过计算与骨畸变115a、115b的外表面(在这种情况下，骨丢失的外表面区域)匹配的外部缺失骨表面117a、117b来移除骨畸变115a、115b。执行示例性方法的计算机平台可运行经由人工智能训练的软件，以在3d模型上识别将指示骨丢失的磨损髁上的特征(即，标志)。在其他示例性实施方案中，人可经由计算机接口手动地识别骨丢失的边界，以识别骨畸变区域115a、115b。一旦识别，可应用表面调节算法来计算外部缺失骨表面117a、117b，该外部缺失骨表面在骨畸变构成骨丢失的情况下适合骨畸变115a、115b的外表面区域。
[0129]
在其他示例性实施方案中，使用深度学习网络来检测矫形元件100的体积数据75上或体积数据中的骨畸变115a、115b的步骤进一步包括生成骨畸变 115m的3d模型。如果3d骨畸变模型115m是计算机模型，则3d骨畸变模型 115m可任选地投影在显示器19(例如，屏幕)上。在某些示例性实施方案中， 3d骨畸变计算机模型115m可在外科医生的视场内投影，以覆盖手术区域170 的图像中的实际骨畸变115。在另一示例性实施方案中，3d骨畸变计算机模型 115m可在外科医生的视场内投影，以覆盖患者(例如暴露的手术区域170)中的实际骨畸变115。可通过增强现实装置，优选地头戴式增强现实装置，来实现这种显示器19。
[0130]
在另一示例性实施方案中，可通过制造技术(参见图18)来创建物理3d 骨畸变模型115m。该制造技术可包括还原制造方法，例如通过使用计算机数字控制(“cnc”)机器或铣床。在其他示例性实施方案中，制造技术可包括增材制造技术，例如3d打印技术。如果制造技术是增材制造技术，则可在术前中心、场外或者手术楼宇上或手术楼宇附近制造物理3d骨畸变模型115m。
[0131]
图4是枢转股骨切除引导架定位器400的侧视图，该枢转股骨切除引导架定位器具有延伸至外侧髁103上的计算出的外部缺失骨表面117b的调节垫440，该调节垫具有调节旋钮442。如可见，在正确地确定软骨磨损深度的情况下，调节垫440可被认为延伸到骨的患病前表面。然而，在实践中，外科医生可改为选择将骨丢失深度添加到所确定的软骨丢失深度，设定调节垫440的长度l以反映最大骨丢失深度和软骨丢失深度的总和，然后将调节垫440放置在外侧髁的剩余暴露骨116上。这样，现在将远端参考表面485精确地设置在患病前关节的关节面处。
[0132]
在其他示例性实施方案中，1:1物理3d骨畸变模型115m可附连到调节旋钮440的远端，使得当调节旋钮440邻近暴露的骨畸变115b设置时，1:1物理 3d骨畸变模型115m的互补表面与骨畸变115b的表面116配合(参见图17)。在其中受试者矫形元件100中的一个受试者矫形元件是股骨远端105的关节软骨123的另一示例性实施方案中，物理3d骨畸变模型115m1可包括如上所述的骨丢失体积加上缺失软骨的建模表面。可使用表面调节算法来相对于周围软骨的表面定义缺失软骨的表面。
[0133]
图5是在已利用切除引导架424进行远端切除之后描绘的简化的股骨远端 105的透视图。包括后部垫693a、693b的对准引导件600设置在股骨髁103、 107的后部部分103a、107a下方。为简单起见，股骨髁的后部部分将被称为“后髁”103a、107a。对准引导件600可以是如本文所描绘的组合式定尺寸和对准引导件，或者仅是对准引导件600。对准引导件600可包括主体602。后部垫693a、693b从主体602的下部部分延伸，并且钻孔642a、642b在后部垫693a、 693b上方延伸穿过主体602。在所描绘的实施方案中，枢转钻孔642a延伸穿过对准引导件600的主体602，并且径向钻孔642b设置在距枢转钻孔642a的径向远端。径向钻孔
642b还延伸穿过对准引导件600的主体602。在实践中，外科医生将后部垫693a、693b放置在相应后髁103a、107a下方，使得主体602邻近股骨远端105的经切除表面603设置。外科医生测量后髁103a、107a上的剩余关节软骨的厚度并设定后部垫693a、693b的长度，以反映软骨磨损量(类似于上文参考图2所描述的方式)。对后部垫693a、693b相对于主体602的定位的调节引起径向钻孔642b围绕枢转钻孔642a枢转。一旦外科医生对角度感到满意，外科医生就可将对准引导件600的枢转部分的角度锁定在适当位置。
[0134]
然后，外科医生可经由钻孔642a、642b钻入经切除表面603，接着将销钉插入相应的钻孔642a、642b中。然后，外科医生可移除对准引导件600并留下销钉。这些销钉的角度定义了另外的切除引导架(通常被称为“四合一切割块”)可放置在经切除表面旁边的角度。四合一切割块具有额外的切除槽，允许外科医生使用单个“切割块”进行前部、后部和倒角切除。这些额外的切除在股骨远端105上创建轮廓，试验植入物(以及最终，实际的内假体植入物) 可放置在该轮廓上。
[0135]
在股骨髁103、107的后部部分103a、107a上，负骨畸变(例如，骨丢失) 115c可能不太常见，但这种骨丢失仍是可能的，尤其是在晚期退行性疾病中。后髁103a、107a的负骨畸变115c在准确复制患病前关节的自然关节面方面存在类似问题，尤其是在运动学对准方面。
[0136]
例如，如图5所示，如果内侧后髁107a具有负骨畸变115，则先前不可能确定地了解如何调节所描绘的对准引导件以考虑存在的骨磨损量。过度调节内侧后部垫693a会改变相应钻孔642a、642b相对于经切除表面603的定位，并可能改变相应钻孔642a、642b的枢转角度。因此，销钉可能会错位。扩展地说，四合一切割块的定位也会因滑动错位的销钉而发生位移。错位的前部、后部和倒角切除可能会引起内假体植入物的股骨部件定位不准确。
[0137]
为了解决这一问题，外科医生可以上述方式或使用其他已知方法测量后髁 103a、107a上的关节软骨磨损量。在其他示例性实施方案中，1:1物理3d骨畸变模型115m可附连到后部垫693a、693b的端部，使得当后部垫693a邻近暴露的骨畸变115c设置时，1:1物理3d骨畸变模型115m的互补表面(也被称为“配合表面”)与骨畸变115c的表面116c配合。
[0138]
在其他示例性实施方案中，物理3d骨畸变模型的配合表面可包括一个或多个突起部(例如，长钉、销钉或其他保护件)。这些突起部可被锤击或以其他方式强行插入穿过骨畸变115c的磨损表面116c，从而将骨畸变115m的物理模型固定到负骨畸变115c中，从而消除负骨畸变115c。以这种方式使用对准引导件600与物理3d骨畸变模型可确保更准确的参考。此外，一些四合一切割块具有设计成用于参考后髁107a、103a的表面的标记。以这种方式使用物理3d 骨畸变模型有效地重建后髁107a、103a的患病前表面，可用作四合一切割块 (或视情况而定的其他器械)的视觉指示器与所参考指示器正确对准。
[0139]
在其中受试者矫形元件100中的一个受试者矫形元件是股骨远端105的关节软骨123的另一示例性实施方案中，物理3d骨畸变模型115m2可包括如上所述的骨丢失体积加上缺失软骨的建模表面。可使用表面调节算法来相对于周围软骨的表面定义缺失软骨的表面。这样，可准确地重建髁的关节面，从而明显提高关节面参考的精度。
[0140]
在其他示例性实施方案中，可将高度等于负骨畸变的最大深度、缺失关节软骨深度或负骨畸变的最大深度和缺失关节软骨深度的组合的垫片添加到后部垫693a、693b中的一个或多个后部垫以抵消磨损量，并大体上重建患病前关节面的定位。
[0141]
具有例如一个或多个中央处理单元(“cpu”)、随机存取存储器 (“ram”)和输入/输出(“i/o”)接口等硬件的计算机平台可接收沿横向平面以不同取向获取的至少两个2d射线照相图像。取向优选地彼此正交。然后，计算机平台可运行机器学习软件应用程序，该机器学习软件应用程序识别骨丢失区域115a、115b、115c并应用表面调节算法来计算适合骨丢失区域115a、 115b、115c的外部缺失骨表面117a、117b、117c。
[0142]
计算机平台可任选地显示3d计算机模型1100。在显示3d模型的示例性实施方案中，计算机平台可进一步在骨丢失区域115a、115b、115c上显示外部缺失骨表面117a、117b、117c，以允许观察者看到患病前的外部缺失骨表面 117a、117b、117c。返回参考图5，外科医生可使用该数据来设定对准引导件 600的后部垫693a、693b以反映患病前后髁103a、107a的关节面。
[0143]
图16大体上描绘了根据一些示例性实施方案的可在其上执行本文所论述的一种或多种方法的示例性计算机器1600的框图。在某些示例性实施方案中，计算机器1600可在单个机器上操作。在其他示例性实施方案中，计算机器1600 可包括已连接(例如，联网)机器。可包括示例性计算机器1600的联网机器的示例以举例的方式包括云计算配置、分布式主机配置和其他计算机集群配置。在联网配置中，计算机器1600的一个或多个机器可以客户端机器、服务器机器或服务器-客户端机器两者的能力操作。在示例性实施方案中，计算机器1600 可驻留在个人计算机(“pc”)、移动电话、平板pc、web设备、个人数字助理(“pda”)、网络路由器、网桥、交换机或能够执行指令的任何机器上，这些指令规定由该机器或受该机器控制的第二机器采取的行动。
[0144]
可包括示例性计算机器1600的示例机器可以举例的方式包括能够执行逻辑功能的部件、模块或类似机制。此类机器可以是能够在操作时执行规定操作的有形实体(例如，硬件)。例如，硬件可以硬连线(例如，具体配置)以执行特定操作。举例来说，此类硬件可包括可配置的执行介质(例如，电路、晶体管、逻辑门等)和具有指令的计算机可读介质，其中指令将执行介质配置为在操作时执行特定操作。配置可经由加载机制进行，也可在执行介质的指导下进行。当机器正在操作时，执行介质选择性地与计算机可读介质通信。举例来说，当机器正在操作时，可通过第一组指令将执行介质配置为在第一时间点执行第一动作或动作集，然后通过第二组指令在第二时间点将执行介质重新配置为执行第二动作或动作集。
[0145]
示例性计算机器1600可包括硬件处理器1697(例如，cpu、图形处理单元(“gpu”)、硬件处理器内核或它们的任何组合)、主存储器1696和静态存储器1695，硬件处理器、主存储器和静态存储器中的部分或全部可经由互连 (例如，总线)1694彼此通信。计算机器1600可进一步包括显示单元1698、输入装置1691(优选地字母数字或字符数字输入装置，例如键盘)和用户界面 (“ui”)导航装置1699(例如，鼠标或触笔)。在示例性实施方案中，输入装置1691、显示单元1698和ui导航装置1699可以是触摸屏显示器。在示例性实施方案中，显示单元1698可包括全息透镜、眼镜、护目镜、其他眼镜或其他 ar或vr显示部件。例如，显示单元1698可以佩戴在用户的头部上，并且可向用户提供平视显示。输入装置1691可包括虚拟键盘(例如，以虚拟现实 (“vr”)或增强现实(“ar”)设定虚拟地显示的键盘)或其他虚拟输入界面。
[0146]
计算机器1600可进一步包括存储装置(例如，驱动单元)1692、信号发生器1689(例
如，扬声器)、网络接口装置1688以及一个或多个传感器1687，例如全球定位系统(“gps”)传感器、加速度计、指南针或其他传感器。计算机器1600可包括输出控制器1684，例如串行(例如，通用串行总线 (“usb”))、并行或其他有线或无线(例如，红外(“ir”)近场通信 (“nfc”)、无线电等)连接，以与一个或多个辅助装置通信或控制一个或多个辅助装置。
[0147]
存储装置1692可包括机器可读介质1683，该机器可读介质是非暂态的，其上存储了体现本文所述的一个或多个功能或方法或由本文所述的一个或多个功能或方法利用的一组或多组数据结构或指令1682(例如，软件)。指令1682 在由计算机器1600执行期间可完全或至少部分地驻留在主存储器1696、静态存储器1695、或硬件处理器1697内。举例来说，硬件处理器1697、主存储器 1696、静态存储器1695或存储装置1692的一个或任意组合可构成机器可读介质。
[0148]
尽管机器可读介质1683示为单个介质，但术语“机器可读介质”可包括被配置为存储一个或多个指令1682的单个介质或多个介质(例如，分布式或集中式数据库，或相关联的高速缓冲存储器和服务器)。
[0149]
术语“机器可读介质”可包括能够存储、编码或携带以供计算机器1600执行的指令，并使计算机器1600执行本公开的任何一种或多种方法，或能够存储、编码、或携带此类指令使用的或与之相关联的数据结构的任何介质。机器可读介质的非限制性示例列表可包括磁性介质、光学介质、固态存储器、非易失性存储器-例如半导体存储器装置(例如，电可擦可编程只读存储器(“eeprom”)、电可编程只读存储器(“eprom”))以及磁盘-例如内部硬盘和可移动磁盘，快闪存储装置、磁光盘、cd-rom和dvd-rom光盘。
[0150]
指令1682可进一步在通信网络1681上使用传输介质经由网络接口装置 1688利用多种传输协议(例如，互联网协议(“ip”)、用户数据报协议 (“udp”)、帧中继、传输控制协议(“tcp”)、超文本传输协议 (“http”)等)中的任一种来进行传输和接收。示例通信网络可包括广域网(“wan”)、普通传统电话(“pots”)网络、局域网(“lan”)、分组数据网络、移动电话网络、无线数据网络和对等(“p2p”)网络。举例来说，网络接口装置1688可包括一个或多个物理插孔(例如，以太网、同轴或电话插孔)或一个或多个天线，以连接到通信网络1681。
[0151]
举例来说，网络接口装置1688可包括多个天线，以使用单输入多输出 (“simo”)或多输入单输出(“miso”)方法中的至少一种进行无线通信。短语“传输介质”包括能够存储、编码或携带指令以供计算机器1600执行的任何无形介质，并且包括用以促进此类软件的通信的模拟或数字通信信号或其他无形介质。
[0152]
根据本公开的示例性方法可至少部分地由机器或计算机实施。一些示例可包括编码有指令的计算机可读介质或机器可读介质，这些指令可操作为将电子装置配置为执行本文所述的示例性方法。此类示例性方法的示例实施方式可包括代码，例如汇编语言代码、微代码、高级语言代码或其他代码。此类代码可包括用于执行各种方法的计算机可读指令。代码可形成计算机程序产品的部分。另外，在示例中，代码可有形地存储在易失性、非暂态性或非易失性有形计算机可读介质上或存储在易失性、非暂态性或非易失性有形计算机可读介质中，例如在执行期间或其他时间。这些有形计算机可读介质的示例可包括但不限于可移动光盘(例如，压缩盘和数字视频光盘)、硬盘驱动器、可移动磁盘、存储卡或记忆棒-包括可移动快闪驱动器、磁带盒、随机存取存储器(ram)、只读存储器(rom)，以及其他介质。
[0153]
在某些示例性实施方案中，表面调节算法可以是曲线拟合算法。示例性曲线拟合
算法可涉及内推法或平滑滤波。在其他示例性实施方案中，曲线拟合算法可用于外推骨的患病前关节面的定位。在其他示例性实施方案中，表面调节算法可识别未磨损的对侧矫形元件100(例如，未磨损的对侧髁)的维度。表面调节算法可将未磨损的矫形元件100的表面添加到磨损的矫形元件上的对应骨丢失区域，以计算外部缺失骨表面117a、117b。在相关的示例性实施方案中，可增加或减少基于未磨损的矫形元件100的测量值的初始缺失骨表面计算，以拟合磨损的矫形元件100的未磨损部分的曲线。
[0154]
在其他示例性实施方案中，表面调节算法可计算骨丢失的最大深度。在此类实施方案中，可将该最大深度添加到关节软骨丢失的深度，以计算每个髁的患病前关节面的定位。在另一实施方案中，可计算骨丢失区域115a、115b的体积61。应了解，任何公开的计算或任何此类计算的结果可以可选地显示在显示器19上。在其他示例性实施方案中，该方法可进一步包括确定可能已覆盖外部缺失骨表面的缺失关节软骨的深度，以及将缺失关节软骨的深度添加到外部缺失骨表面以定义患病前的关节髁表面。
[0155]
图13是概述示例性方法的步骤的流程图，该示例性方法使用深度学习网络以便使用从偏置角度θ获取的两个平坦输入图像来识别经成像矫形元件100上或该经成像矫形元件中的骨畸变区域115。示例性方法包括：步骤1b，校准成像机以确定图像点与对应空间坐标之间的映射关系，从而定义空间数据43。步骤2b包括使用成像技术来捕获受试者矫形元件100的第一图像30，其中第一图像30定义第一参考帧30a。步骤3b包括使用成像技术来捕获受试者矫形元件 100的第二图像50，其中第二图像50定义第二参考帧50a，并且其中第一参考帧30a以偏置角度θ与第二参考帧50a偏置。
[0156]
步骤4b包括投影来自受试者矫形元件100的第一图像30的空间数据43和来自受试者矫形元件100的第二图像50的空间数据43，以定义体积数据75。步骤5b包括使用深度学习网络以便使用体积数据75来检测受试者矫形元件100，体积数据75定义受试者矫形元件100上或该受试者矫形元件中的解剖标志。
[0157]
步骤6b包括使用深度学习网络以便使用体积数据75来检测受试者矫形元件100上或该受试者矫形元件中的骨畸变115。步骤7b包括使用深度学习网络以便将掩模应用于由解剖标志定义的受试者矫形元件100。步骤8b包括将深度学习网络应用于体积数据75以便生成受试者矫形元件100的3d模型。步骤9b 包括应用表面调节算法以从受试者矫形元件1100的3d模型移除骨畸变115。
[0158]
应了解，在被认为在本公开的范围内的方法和系统中，检测受试者矫形元件100的深度学习网络、检测骨畸变115的深度学习网络、应用掩模或生成骨畸变115m或矫形元件1100的3d模型的深度学习网络，或应用表面调节算法的深度学习网络可能是相同的深度学习网络，也可能是不同的深度学习网络。在深度学习网络是不同的深度学习网络的实施方案中，这些深度学习网络可被称为“第一深度学习网络”、“第二深度学习网络”、“第三深度学习网络”等。
[0159]
图14是概述示例性方法的步骤的流程图，该示例性方法使用深度学习网络以便使用从偏置角度θ获取的两个平坦输入图像来识别经成像矫形元件100上或该经成像矫形元件中的骨畸变区域115。示例性方法包括：步骤1c，校准射线照相成像机以确定射线照相图像点与对应空间坐标之间的映射关系，从而定义空间数据43。步骤2c包括使用射线照相成像技术来捕获受试者矫形元件100 的第一射线照相图像30，其中第一射线照相图像30定义
第一参考帧30a。
[0160]
步骤3c包括使用射线照相成像技术来捕获受试者矫形元件100的第二射线照相图像50，其中第二射线照相图像50定义第二参考帧50a，并且其中第一参考帧30a以偏置角度θ与第二参考帧50a偏置。步骤4c包括投影来自受试者矫形元件100的第一射线照相图像30的空间数据43和来自受试者矫形元件100 的第二射线照相图像50的空间数据43，以定义体积数据75。步骤5c包括使用深度学习网络以便使用空间数据43来检测受试者矫形元件100，空间数据43定义受试者矫形元件100上或该受试者矫形元件中的解剖标志。
[0161]
步骤6c包括使用深度学习网络将掩模应用于骨畸变155，其中包括设置在第一图像30或第二图像50的经掩模区域内的图像点的空间数据43具有第一值 (例如，正值或“1”)，并且其中包括设置在第一图像或第二图像的经掩模区域外的图像点的空间数据43具有第二值(例如，负值或“0”)，其中第一值不同于第二值。步骤7c包括计算移除骨畸变区域115的校正区域。
[0162]
图15是概述示例性方法的步骤的流程图，该示例性方法使用深度学习网络以便使用从偏置角度θ获取的两个平坦输入图像来识别经成像矫形元件100上或该经成像矫形元件中的骨畸变区域115。示例性方法包括：步骤1d，校准射线照相成像机以确定射线照相图像点与对应空间坐标之间的映射关系，从而定义空间数据43。
[0163]
步骤2d包括使用射线照相成像技术来捕获受试者矫形元件100的第一射线照相图像30，其中第一射线照相图像30定义第一参考帧30a。
[0164]
步骤3d包括使用射线照相成像技术来捕获受试者矫形元件100的第二射线照相图像50，其中第二射线照相图像50定义第二参考帧50a，并且其中第一参考帧30a以偏置角度θ与第二参考帧50a偏置。步骤4d包括投影来自受试者矫形元件100的第一射线照相图像30的空间数据43和来自受试者矫形元件100 的第二射线照相图像50的空间数据43，以定义体积数据75。
[0165]
步骤5d包括使用深度学习网络以便使用体积数据75来检测受试者矫形元件100，体积数据75定义矫形元件100上或该矫形元件中的解剖标志。步骤6d 包括使用深度学习网络将掩模应用于由解剖标志定义的受试者矫形元件100，其中包括设置在第一图像或第二图像的经掩模区域内的图像点的空间数据43具有正值，并且其中包括设置在第一图像或第二图像的经掩模区域外的图像点的空间数据43具有负值。步骤7d包括使用深度学习网络以便使用体积数据75来检测受试者矫形元件100上或该受试者矫形元件中的骨畸变115。步骤8d包括将深度学习网络应用于体积数据75以便生成骨畸变的3d模型。
[0166]
进一步设想，本文所公开的示例性系统和方法可用于植入物放置和作用的术前规划、术中规划或执行或者术后评估。
[0167]
图18是包括射线照相成像机1800的示例性系统的示意图，该射线照相成像机包括例如x射线管的x射线源21、滤波器26、准直器27和检测器33。在图18中，自上而下地示出射线照相成像机1800。患者1设置在x射线源21与检测器33之间。射线照相成像机1800可安装在能够旋转的机架28上。射线照相成像机1800可从第一参考帧30a获取患者1的射线照相图像。机架28然后可使射线照相成像机1800旋转某一偏置角度(优选地90
°
)。射线照相成像机 1800然后可从第二参考帧50a获取第二射线照相图像50。应了解，其他示例性实施方案可包括使用以多个偏置角度θ获取的多个输入图像。在此类实施方案中，偏置角度可在相邻输入
图像之间小于或大于90
°
。
[0168]
然后，传输器29将第一图像30和第二图像50传输到计算机器1600。计算机器1600可应用深度学习网络以便以与本公开一致的任何方式来识别矫形元件100上或该矫形元件中的骨畸变区域115。图18进一步描绘了计算机器1600 的传输到制造机器18的输出。制造机器18可以是增材制造机器，例如3d打印机，或者制造机器可以是减材制造机器，例如cnc机器。在另一示例性实施方案中，制造机器18可以是铸件模具。制造机器18可使用来自计算机器1600的输出数据来产生受试者矫形元件1100的一个或多个3d模型的物理模型。在实施方案中，制造机器可用于产生骨畸变115m的物理3d模型。
[0169]
图18还描绘了其中来自计算机器1600的输出数据传输到显示器19的另一实施方案。第一显示器19a描绘了骨畸变115m的虚拟3d模型。第二显示器 19b描绘了所识别的受试者矫形元件1100的虚拟3d模型。
[0170]
在其他示例性实施方案中，3d模型可显示在显示器19上。该显示器19可采取屏幕的形式。在其他示例性实施方案中，显示器19可包括由外科医生或手术室中的其他人佩戴或持有的玻璃或塑料表面。这种显示器19可包括增强现实装置的一部分，使得显示器除了显示承载者的视野之外还显示3d模型。在某些实施方案中，这种3d模型可叠加在实际手术关节上。在另一示例性实施方案中，3d模型可“锁定”到手术矫形元件100的一个或多个特征，从而维持3d 模型相对于手术矫形元件100的一个或多个特征的虚拟定位，而不依赖于显示器19的移动。
[0171]
仍进一步设想的是，显示器19可包括虚拟现实系统的一部分，在该虚拟现实系统中模拟整个视野。
[0172]
一种用于计算外部骨丢失以用于患病前关节的对准的示例性方法包括：从至少两个2d射线照相图像生成手术区域的3d模型。至少第一射线照相图像是在第一横向定位处捕获的。至少第二射线照相图像是在第二横向定位处捕获的。该第一横向定位不同于该第二横向定位。该第一横向定位有利地与该第二横向定位正交地设置。该方法进一步包括：识别3d计算机模型上的骨丢失区域；以及应用表面调节算法以计算拟合该骨丢失区域的外部缺失骨表面。
[0173]
一种用于计算外部骨丢失的程度的方法包括：使用射线照相成像技术来捕获所需矫形元件的第一图像，其中该第一图像定义第一参考帧；使用射线照相成像技术来捕获所需矫形元件的第二图像，其中该第二图像定义第二参考帧，并且其中该第一参考帧以某一偏置角度与该第二参考帧偏置；应用3d重建技术以产生所需矫形元件的3d模型；识别所需矫形元件的3d模型中的骨丢失区域；识别与骨丢失区域相邻的完整骨区域；应用调节算法以显示经填充的骨丢失区域。
[0174]
一种用于计算外部骨丢失以用于患病前关节的对准的示例性方法包括：从至少两个2d射线照相图像生成手术区域的3d模型，其中至少第一射线照相图像是在第一横向定位处捕获的，并且其中至少第二射线照相图像是在第二横向定位处捕获的，并且其中第一定位不同于第二定位；识别该3d模型上的骨畸变区域；以及应用表面调节算法以计算被配置为置换骨畸变区域的外部缺失骨表面。
[0175]
在示例性实施方案中，表面调节算法是曲线拟合算法。在示例性实施方案中，该方法进一步包括计算骨畸变区域的最大深度。在示例性实施方案中，该方法进一步包括将骨
畸变区域的最大深度添加到软骨磨损深度以定义患病前关节面。在示例性实施方案中，3d模型在术中显示在真实矫形元件上方的增强现实装置上。在示例性实施方案中，骨畸变区域是骨丢失区域。
[0176]
在示例性实施方案中，该方法进一步包括识别对侧矫形元件的完整区域，其中对侧矫形元件的完整区域对应于手术矫形元件的恶化区域。
[0177]
一种用于计算外部骨丢失以用于运动学上对准患病前膝关节的示例性方法包括：从至少两个2d射线照相图像生成膝关节手术区域的3d模型，其中至少第一射线照相图像是在第一定位处捕获的，并且其中至少第二射线照相图像是在第二定位处捕获的，并且其中第一定位不同于第二定位；识别该3d模型上的骨丢失区域；应用表面调节算法以计算拟合该骨丢失区域的外部缺失骨表面；确定可能已覆盖该外部缺失骨表面的缺失关节软骨的深度；以及将缺失关节软骨的深度添加到该外部缺失骨表面以定义患病前髁表面。
[0178]
在示例性实施方案中，该方法进一步包括调节切除引导架定位器的能够调节的垫以接触剩余的外部骨表面，使得切除引导架定位器的引导表面放置在患病前髁表面处。
[0179]
一种用于对矫形恶化程度进行体内计算的示例性方法包括：使用无创成像技术捕获所需矫形元件的第一图像，其中第一图像定义第一参考帧；使用该无创成像技术捕获所需矫形元件的第二图像，其中第二图像定义第二参考帧，并且其中第一参考帧以某一偏置角度与第二参考帧偏置；应用3d重建技术以产生所需矫形元件的3d模型；识别所需矫形元件的3d模型中的骨丢失区域；以及应用表面调节算法以计算该恶化区域的表面。
[0180]
在示例性实施方案中，该方法进一步包括在显示器上投影3d重建模型。在示例性实施方案中，无创成像技术是射线照相成像技术。
[0181]
一种用于计算软骨磨损和骨丢失以用于运动学对准手术的示例性方法包括：校准射线照相成像机以确定图像点与对应空间坐标之间的映射关系，从而定义空间数据；使用射线照相成像技术捕获所需矫形元件的第一图像，其中第一图像定义第一参考帧；使用该射线照相成像技术捕获所需矫形元件的第二图像，其中第二图像定义第二参考帧，并且其中第一参考帧以某一偏置角度与第二参考帧偏置；识别第一图像中所需矫形元件的空间数据和第二图像中矫形元件的空间数据；将第一图像和第二图像中所需矫形元件的空间数据变换成单个坐标系，从而定义经变换空间数据；将所需矫形元件的经变换空间数据投影在显示器上以产生所需矫形元件的3d模型；识别所需矫形元件的3d模型中的恶化区域；以及应用表面调节算法以计算该恶化区域的表面。
[0182]
在示例性实施方案中，调节算法是曲线拟合算法。在示例性实施方案中，方法进一步包括在3d模型上显示恶化区域的体积。在示例性实施方案中，方法进一步包括识别与恶化区域相邻的完整区域。
[0183]
一种用于计算股骨远端髁上的关节软骨磨损和外部骨丢失以用于运动学对准全膝关节成形术的示例性方法包括：校准射线照相成像机以确定图像点与对应空间坐标之间的映射关系，从而定义空间数据；使用射线照相成像技术捕获股骨远端的第一图像，其中第一图像定义第一参考帧；使用该射线照相成像技术捕获股骨远端的第二图像，其中第二图像定义第二参考帧，并且其中第一参考帧以某一偏置角度与第二参考帧偏置；识别第一图像中股骨远端的空间数据和第二图像中股骨远端的空间数据；将第一图像和第二图像中股骨远端的空间数据变换成单个坐标系，从而定义经变换空间数据；将股骨远端的经变换空
间数据投影在显示器上以产生股骨远端的3d模型；识别股骨远端的3d模型中的恶化区域；以及应用调节算法以计算该恶化区域的体积。
[0184]
在示例性实施方案中，第一参考帧是前后的。在示例性实施方案中，第二参考帧是内侧-外侧的。在示例性实施方案中，恶化区域包括股骨远端髁中的任一者上的缺失骨。在示例性实施方案中，恶化区域包括股骨远端上的缺失关节软骨。在示例性实施方案中，调节算法识别与恶化区域相邻的完整区域。
[0185]
在示例性实施方案中，该方法进一步包括识别对侧矫形元件的完整区域，其中对侧矫形元件的完整区域对应于所需矫形元件的恶化区域。在示例性实施方案中，调节算法是曲线拟合算法。在示例性实施方案中，该方法进一步包括在股骨远端的3d模型上显示恶化区域的体积。
[0186]
一种用于计算骨畸变区域的示例性方法包括：从至少两个2d图像生成关节手术区域的3d模型，其中第一图像是在第一横向定位处捕获的，其中第二图像是在第二横向定位处捕获的，并且其中第一横向定位不同于第二横向定位；识别3d模型上的骨畸变区域；以及计算校正区域，其中校正区域相对于周围骨区域移除骨畸变区域。
[0187]
在示例性实施方案中，该方法进一步包括生成校正区域的3d模型。在示例性实施方案中，该方法进一步包括产生校正区域的物理3d模型。在示例性实施方案中，该方法进一步包括产生包括校正区域的物理3d模型的矫形钻孔引导件，该物理3d模型被配置为位于对应的负骨畸变区域中。
[0188]
在示例性实施方案中，通过增材制造技术来实现产生校正区域的物理3d 模型的步骤。在示例性实施方案中，校正区域的物理3d模型由选自基本上由以下各项组成的材料制成：聚酰胺(即，尼龙)、钛、钴铬合金或另一种经临床证明的生物相容性材料。在示例性实施方案中，该方法进一步包括将校正区域的物理3d模型固定接合到外科器械。在示例性实施方案中，手术器械是矫形钻孔引导件，并且其中校正区域的物理3d模型被配置为位于对应的负骨畸变区域中。在示例性实施方案中，该方法进一步包括产生关节手术区域的物理 3d模型，其中关节手术区域的物理3d模型包括关节手术区域的一个或多个骨元件。
[0189]
一种用于计算骨畸变区域的示例性方法包括：使用深度学习网络从至少两个2d图像生成关节手术区域的3d模型，其中第一图像是在第一横向定位处捕获的，其中第二图像是在第二横向定位处捕获的，并且其中第一横向定位不同于第二横向定位；识别3d模型上的骨畸变区域；以及计算校正区域，其中校正区域相对于周围骨区域移除骨畸变区域。
[0190]
一种示例性对准引导件包括：主体；从主体的下部部分延伸的后部垫；在后部垫上方延伸穿过主体的钻孔；以及接合到后部垫中的某一后部垫的骨畸变的患者专用的物理3d模型。
[0191]
在示例性实施方案中，骨畸变的患者专用的3d模型通过本公开的任何系统或方法产生。
[0192]
在示例性实施方案中，骨畸变的患者专用的3d模型通过包括以下各项的方法产生：校准射线照相成像机以确定射线照相图像点与对应空间坐标之间的映射关系，从而定义空间数据；使用射线照相成像技术捕获受试者矫形元件的第一射线照相图像，其中该第一射线照相图像定义第一参考帧；使用该射线照相成像技术捕获该受试者矫形元件的第二射线照相图像，其中该第二射线照相图像定义第二参考帧，并且其中该第一参考帧以某一
偏置角度与该第二参考帧偏置；投影来自该受试者矫形元件的该第一射线照相图像的空间数据和来自该受试者矫形元件的该第二射线照相图像的空间数据；使用深度学习网络以便使用该空间数据来检测该受试者矫形元件，该空间数据定义该受试者矫形元件上或该受试者矫形元件中的解剖标志；使用该深度学习网络以便使用该空间数据来检测该受试者矫形元件上或该受试者矫形元件中的骨畸变；以及将该深度学习网络应用于该空间数据以生成该骨畸变的该3d模型。
[0193]
在另一示例性实施方案中，骨畸变的患者专用的3d模型通过包括以下各项的方法产生：校准射线照相成像机以确定射线照相图像点与对应空间坐标之间的映射关系，从而定义空间数据；使用射线照相成像技术捕获受试者矫形元件的第一射线照相图像，其中该第一射线照相图像定义第一参考帧；使用该射线照相成像技术捕获该受试者矫形元件的第二射线照相图像，其中该第二射线照相图像定义第二参考帧，并且其中该第一参考帧以某一偏置角度与该第二参考帧偏置；投影来自该受试者矫形元件的该第一射线照相图像的空间数据和来自该受试者矫形元件的该第二射线照相图像的空间数据以定义体积数据；使用深度学习网络以便使用该体积数据来检测该受试者矫形元件，该体积数据定义该受试者矫形元件上或该受试者矫形元件中的解剖标志；使用该深度学习网络以便使用该体积数据来检测该受试者矫形元件上或该受试者矫形元件中的骨畸变；以及将该深度学习网络应用于该体积数据以生成该骨畸变的该3d模型。
[0194]
在示例性实施方案中，骨畸变的该物理3d模型包括与磨损骨的暴露表面配合的配合表面。在示例性实施方案中，骨畸变的该物理3d模型包括配合表面，并且其中该配合表面进一步包括突起部。
[0195]
一种示例性系统包括：包括手术区域的矫形元件3d模型，该3d模型是从至少两个2d射线照相图像生成的，其中至少第一射线照相图像是在第一定位处捕获的，并且其中至少第二射线照相图像是在第二定位处捕获的，并且其中该第一定位不同于该第二定位；计算机器，该计算机器被配置为识别该3d模型上的骨畸变区域并且进一步被配置为应用表面调节算法，其中该表面调节算法被配置为从该3d模型移除该骨畸变区域并估计骨表面的形貌以置换该骨畸变区域。
[0196]
在示例性实施方案中，表面调节算法是曲线拟合算法。在示例性实施方案中，该系统进一步包括显示器，其中该3d模型显示在该显示器上。在示例性实施方案中，该显示器是增强现实装置或虚拟现实装置。在示例性实施方案中，该系统进一步包括x射线成像机。在某些示例性实施方案中，该系统进一步包括制造装置，其中该制造装置被配置为产生该3d模型的至少一部分的物理模型。
[0197]
在示例性实施方案中，该制造装置被配置为产生该骨畸变的物理模型。在示例性实施方案中，该骨畸变的该物理模型是负骨畸变的相反体积。在示例性实施方案中，该制造装置是增材制造装置。在示例性实施方案中，该骨畸变的该物理模型包括医疗级聚酰胺。
[0198]
应理解，本发明决不限于本文公开或在附图中示出的特定构造和方法步骤，而是还包括在本领域中已知的权利要求书的范围内的任何修改或等效物。本领域的技术人员应理解，本文公开的装置和方法将具有实用性。