用于检测正常图像的基于AI的图像分析的制作方法

用于检测正常图像的基于ai的图像分析
1.对相关申请的交叉引用本技术要求于2020年6月3日提交的题为“ai
‑
based image analysis for the detection of normal images (especially for multi
‑
indication exams)”的美国临时专利申请no.63/033,875的优先权，该美国临时专利申请在此通过引用整体地并入本文中。


背景技术：

2.需要处理的医学图像的量保持年年增长，这给负责分析和解释这些图像的放射科医生带来了越来越大的负担。另外，由于常规的医学实践，一些类型的医学图像（诸如，胸部x光或胸部ct图像（例如，用于肺癌筛查））具有高比率的“正常情况（normal）”（即，没有任何放射照相可见异常的病例）。审查正常情况可能会占用放射科医生相当长的时间，该时间可以更好地花在审查和分析实际上具有放射照相可见异常的医学图像上。因此，如果存在一种预过滤正常情况的机制（尤其是针对倾向于具有高比率的正常情况的医学图像的类型），则可以帮助放射科医生腾出时间来审查和分析异常病例，这些异常病例需要更详细的解释，以用于制定治疗决策、提供差异诊断或评估疾病预后的目的。
3.一些放射学实践使用技术人员来手动对异常和正常候选图像进行预分类（pre
‑
sort）。然而，这仍然是耗时的过程，并且在可以做出不存在异常的最终确定之前，放射科医生通常仍然必须审查技术人员的工作。另外，已经开发了一些机器学习算法来帮助为放射科医生预筛选医学图像。然而，这些算法同样地具有问题。特别地，大多数机器学习算法已经仅被开发为解决仅一种类型的发现（例如，肺结节）。因此，放射科医生仍然需要针对通常被称为“偶然发现”的情况来审查每个医学图像，该偶然发现可能是临床相关的，并且必须予以报告。例如，被配置成标识正常胸部检查的机器学习算法仍然必须意识到任何种类的异常（例如，与纵隔、肺野、心脏、肋骨、脊柱或腹部中的任一个相关联的异常）。然而，迄今为止，大多数算法即使针对指数病变（index lesion）也显示出<100％的阴性预测值性能，并且无法处理将需要放射科医生标识的所有“偶然发现”。因此，当前的机器学习算法关于它们是否可以可靠地确定医学图像内不存在任何临床相关发现留下了一些疑问（doubt）。
4.如先前所指出，已经开发了一些机器学习算法来帮助预筛选医学图像。例如，用于分诊（triage）的机器学习算法使用反例（inverse example）（即，极有可能包含需要立即注意的异常（诸如，颅内出血）的图像）来标识异常图像。作为另一个示例，使用机器学习算法来筛选巴氏涂片（pap smear），以标识没有任何异常的那些巴氏涂片，并且将这种巴氏涂片标明为“不再进一步审查”（nfr）。然而，医学实践必须仍然由病理学家来执行质量控制步骤，以通读（overread）至少一部分nfr，从而监测软件的性能并管理假阴性的风险。因此，尽管这些机器学习算法通常可能是有帮助的，但是它们并不能解决占用放射科医生的时间以及对广泛类型的医学图像和状况的宽泛适用性的固有问题。
5.因此，对图像进行基于ai的预读取以评估图像是否“正常”（即，是否不存在异常）可以补救这些问题。另外，被附加地配置成标识特定类型的异常发现并且提供特定类型的异常发现的报告的ai系统可以使放射科医生腾出时间以用于真正复杂的病例（例如，介入
放射学）。另外，对医学图像的实时筛选可以加快患者从护理机构的出院（release），否则这些患者可能在离开之前被转诊以进行高级成像。


技术实现要素：

6.常规ai算法被训练或编程为检测医学图像内存在的一种特定类型的异常（例如，结节或钙化）。然而，在诸如胸部ct或x射线之类的多指征检查中，有多于500种疾病可能在这种检查时以放射照相方式呈现。对于任何这种异常而言，对特定于病变的算法进行聚合将是时间高昂且成本高昂的。此外，将难以论证针对新发疾病（例如，covid
‑
19）的发现的完整性。
7.在一个实施例中，本公开涉及一种用于标识异常医学图像的计算机实现方法，该方法包括：接收医学图像；从医学图像中分割解剖结构以定义分割数据集；将分割数据集配准到定义正常解剖结构的基线数据集；由异常分类器对医学图像内的解剖结构是异常还是正常进行分类，其中异常分类器包括机器学习算法，该机器学习算法被训练成在医学图像中的解剖结构的正常版本与异常版本之间进行区分；以及基于是否可以从医学图像中分割解剖结构、是否可以将分割数据集配准到基线数据集、或异常分类器所输出的与医学图像相关联的分类，将医学图像标记为正常或异常。
8.在另一个实施例中，本公开涉及一种用于标识异常医学图像的计算机系统，该计算机系统包括：处理器；以及耦合到处理器的存储器，存储器存储指令，该指令在由处理器执行时使该计算机系统进行以下操作：接收医学图像；从医学图像中分割解剖结构以定义分割数据集；将分割数据集配准到定义正常解剖结构的基线数据集；由异常分类器对医学图像内的解剖结构是异常还是正常进行分类，其中异常分类器包括机器学习算法，该机器学习算法被训练成在医学图像中的解剖结构的正常版本与异常版本之间进行区分；以及基于是否可以从医学图像中分割解剖结构、是否可以将分割数据集配准到基线数据集、或异常分类器所输出的与医学图像相关联的分类，将医学图像标记为正常或异常。
附图说明
9.被并入在说明书中并形成说明书的一部分的附图图示了本发明的实施例，并且与书面描述一起用于解释本发明的原理、特性和特征。在附图中：图1是根据本公开的至少一个方面的用于标识正常医学图像的ai系统的框图。
10.图2是根据本公开的至少一个方面的用于使用图1的ai系统来分析放射科医生的工作列表内的医学图像的过程的逻辑流程图。
11.图3是根据本公开的至少一个方面的医学成像系统的框图。
具体实施方式
12.本公开不限于所描述的特定系统、设备和方法，这是由于它们可以变化。本描述中使用的术语仅用于描述特定版本或实施例的目的，而不意图限制范围。
13.如本文中使用的，术语“算法”、“系统”、“模块”或“引擎”如果在本文中使用则不意图限制用于实现和/或执行可归因于此和/或由此执行的动作、步骤、过程等的任何特定实现方式。算法、系统、模块和/或引擎可以是但不限于执行指定功能的软件、硬件和/或固件
或其任何组合，这些指定功能包括但不限于结合加载或存储在机器可读存储器中并由处理器执行的适当软件而对通用和/或专用处理器的任何使用。另外，除非另行指定，否则与特定算法、系统、模块和/或引擎相关联的任何名称都是用于参考方便的目的，而不意图限于特定实现方式。附加地，归因于算法、系统、模块和/或引擎的任何功能可以由多个算法、系统、模块和/或引擎同等地执行，被并入到相同或不同类型的另一个算法、系统、模块和/或引擎的功能中、和/或与该功能组合，或者跨各种配置的一个或多个算法、系统、模块和/或引擎而分布。
14.如本文中使用的，术语“医学图像”可以包括经由以下各项而获得的图像：计算机断层扫描（ct）、磁共振成像（mri）、正电子发射断层扫描（pet）、单光子发射ct（spect）、放射照相术（例如，x射线成像）、超声检查（即，超声成像）、显微镜检查、光学相干断层扫描、光声成像、以及适用于获得生物或非生物结构的图像的其他生物医学成像模态。另外，“医学图像”可以包括三维图像或二维图像（例如，三维图像的切片）。
15.如本文中使用的，术语“分类器”可以包括自动地对数据进行排序或将数据归类成一组类别中的一个或多个的机器学习算法。
16.检测医学图像内的正常解剖结构本公开总体上涉及用于标识医学图像内的器官或其他解剖结构的正常图像（也被称为“正常情况”）的计算机实现方法和系统。例如，本文中所描述的方法和系统可以用作用于标记需要由放射科医生进一步审查的医学图像的筛选过程的一部分。
17.当前，放射科医生要花费其很大百分比的时间来审查完全正常且没有任何缺陷、疾病状况或其他异常的医学图像。这是有问题的，因为审查正常医学图像会浪费放射科医生的时间，他们可以花费这些时间来审查真正关键或复杂的病例（例如，介入病例）。补救该问题的一种方式是实现如下系统：该系统提供了对放射科医生已经被指派要审查的所有医学图像的基于ai的“预读取”，以评估和标识正常情况（即，表明不存在异常的图像）。该系统可以评价这些图像，并且自主地确定每个特定图像是否正常（即，“无异常”）。然后，该系统可以从该评价中自主地得出结论并且做出推荐，该推荐被自动传送给放射科医生和/或放射科医生的图像审查系统，从而使放射科医生腾出时间以用于真正复杂的病例（例如，介入病例）。在一个实施例中，该系统对这些推荐的自动传送可以采取以下形式：例如，（i）关于该图像不包含任何异常并且不需要进一步审查的数字医学成像和通信（dicom）报告；（ii）提交该医学图像以供病理学特定算法的集合（ensemble）来进一步评价；或者（iii）将该医学图像放置在队列中以供人类放射科医生进一步审查。
18.本公开的实施例涉及包括异常分类器108的ai系统100。异常分类器108可以包括一个或多个算法，这些算法均被编程、训练或以其他方式配置成标识特性模式，该特性模式指示与医学图像102内的解剖结构（例如，器官或器官系统）相关联的异常的一个或多个类别，该医学图像102被输入到ai系统100或由ai系统100接收。这些算法被配置成标识的异常类别可以指代由可以在医学图像内查看的解剖结构所表明或以其他方式与该解剖结构相关联的结构特性的模式，并且可以（单独地或与其他异常类别组合地）指示一个或多个不同的疾病或状况。因此，这些算法可以用于基于与医学图像中的解剖结构相关联的各种异常类别的存在或缺失，来共同地确定解剖结构是处于正常状态或基线状态（并且因此不需要由放射科医生进行进一步审查，或仅需要最少的进一步审查），还是处于异常状态（并且因
此需要由放射科医生进行进一步审查）。可以由异常分类器108的一个或多个算法检测的异常的类别可以包括例如：解剖结构的体积是否在规范范围之外（例如，心脏肥大（cardiomegaly））；与解剖结构的先前扫描相比，解剖结构中是否已经存在病灶（focal）改变（例如，与解剖结构相关联的新病变）；与先前扫描相比，与解剖结构相关联的体积改变（例如，肺萎陷或肝脏体积增加）；与解剖结构相关联的结构变形（例如，膨出的主动脉瘤）；与解剖结构相关联的结构移位（例如，导致气管移位的肺萎陷）；与具有异常高或低衰减（attenuation）的解剖结构相关联的病灶区域（例如，低肺衰减（low lung attenuation）可以指示肺气肿，并且高肺衰减（high lung attenuation）可以指示水肿、肿块、以及其他状况）；医学图像内应当存在的所有解剖结构实际上是否存在；是否存在与解剖结构之间的预期对称性的偏差（例如，在左肺与右肺之间的对称性方面是否存在偏差）；解剖结构的部分之间是否存在不连续性（例如，由于外伤或撕裂伤）；非器官（例如，脂肪或异物）所占据的空间的程度或量；空心内脏器官的壁厚；或所添加的生理分析（例如，血流模拟）。可以由异常分类器108的一个或多个算法来标识前述异常类别中的每一个。
19.ai系统100可以被配置成使用各种各样不同的图像分割技术（例如，alpha形状）从医学图像102中分割104一个或多个解剖结构。另外，可以由ai系统100通过将所分割的结构与解剖结构的正常或基线版本的模型进行比较，来标识所分割的解剖结构。例如，胸部中的骨结构由于其密度而可以在ct数据集中被分割。如果分割过程失败，则这可能是与所分析的解剖结构相关联的异常的迹象（sign）。例如，正常的骨具有高密度、连续、光滑的表面（例如，皮质骨），由于它对周围软组织具有非常陡峭的密度梯度，因此通常可以相对容易地被分割。然而，如果分割算法由于违反与该解剖结构相关联的先决条件而失败（例如，如果存在溶骨性病变，则它可能破坏皮质骨的连续性，这会导致对周围软组织没有陡峭的密度梯度），则可以认为该解剖结构可能是异常的，并且该数据集可能需要进一步审查。一旦接收到的医学图像102已经被分割104，ai系统100就可以使用例如具有边界条件的弹性变换将分割数据集配准106到正常数据集（例如，“标准”或“正常”解剖结构的数字表示，诸如通过对来自不同人的大量数据集进行求平均而得到的图集（atlas），用以反映“平均”解剖结构）。如果该配准有可能在边界条件内，则可以认为该解剖结构是正常的。如果配准由于边界条件而失败，则可以认为该解剖结构可能是异常的，并且需要进行审查。该方法允许ai系统100由于配准过程将失败而立即排除各种各样不同的状况，诸如脊柱侧凸、肋骨缺失和/或附加的椎骨。因此，ai系统100不需要被训练成个别地标识这种类型的状况，这是非常有益的，因为那些类型的状况中的一些可能是极其罕见或独特的。因此，如果ai系统100可以被配置成排除这种状况而不需要被明确地训练成这么做，则这可以消除对于获取足够的训练数据来将ai系统100训练成标识上述状况的需要，并且由于不需要ai系统100执行单独的算法来标识上述状况而节省了运行时资源。
20.在一个实施例中，ai系统100可以包括多个异常分类器108，该多个异常分类器108均被配置成标识特定解剖结构是否正常。在该实施例中，ai系统100可以被配置成从接收到的医学图像102中分割不同的解剖结构，并且使用对应的异常分类器108在个体化（individualized）的基础上分析这些解剖结构。例如，在其中ai系统100已经被配置成分析胸部医学图像的说明性实施例中，ai系统100可以包括被配置成分析右肺的第一异常分类器、被配置成分析左肺的第二异常分类器、以及被配置成分析肋骨的第三异常分类器。在这
种实施例中，ai系统100可以被编程为顺序地、同时地或其组合来分析医学图像102中的各种解剖结构。
21.在一个实施例中，ai系统100可以进一步包括特定于病变的分类器110。特定于病变的分类器110可以包括一个或多个算法，该一个或多个算法均被编程、训练或以其他方式配置成标识与一个或多个解剖结构相关联的特定病变。特定于病变的分类器110的一个或多个算法可以被配置成标识与相同或不同的解剖结构相关联的病变。特定于病变的分类器110可以用于标识与解剖结构相关联的特别关键的损伤或状况，诸如出血。特定于病变的分类器110实际上可以通过寻求标识特别重要的损伤或状况来模拟由放射科医生进行的手动审查，以便验证异常分类器108的发现，并且由此减轻假阴性的影响。
22.ai系统100可以进一步包括裁决（adjudication）算法112，该裁决算法112被配置成确定接收到的医学图像102应当被加标签为正常还是异常（并且因此需要由放射科医生进行进一步审查）。在一个实施例中，裁决算法112可以被编程为：如果异常分类器108或特定于病变的分类器110中的至少一个标识出来自ai系统100已经被配置成对其进行分析的异常类别之一的潜在异常的存在，则确定医学图像102是异常的。另外，裁决算法112可以被编程为：基于来自上面描述的分类器108、110的输出而采取各种各样不同的动作，该输出诸如异常分类器108将该图像分类为“正常”还是“异常”、或者特定于病变的分类器110是否标识出医学图像102内的特定病变。在一些实施例中，裁决算法112可以控制是否将医学图像呈现在放射科医生的工作列表内（例如，从放射科医生的工作列表中移除正常医学图像，或向放射科医生的工作列表添加异常医学图像），和/或在软件平台中标记放射科医生的工作列表中的医学图像，如下面结合图2所描述的。
23.在各种实施例中，上面描述的分类器108、110可以基于或包括各种各样不同的机器学习技术、算法、系统或模型，诸如支持向量机、决策树（包括随机森林）、神经网络和/或贝叶斯模型。在各种实施例中，神经网络可以包括深度神经网络，诸如卷积神经网络（cnn）、深度强化学习算法、残差神经网络（resnet）、密集cnn（densenet）、深度信念网络、和/或生成性对抗网络（gan）。在一些实施例中，可以基于机器学习系统意图标识的异常类别或病变类型来选择机器学习系统。在一个实施例中，异常分类器108可以包括被训练成对解剖结构进行体积评估的图像到图像网络（例如，gan）或u
‑
net（即，针对生物医学图像分割而开发的cnn）。在一个实施例中，异常分类器108可以包括配准算法，该配准算法被编程为：在给定医学图像所示出的解剖结构与该解剖结构的先前扫描之间进行比较。在一个实施例中，异常分类器108可以包括被训练成检测与解剖结构相关联的结构变形和移位的全卷积一阶段对象检测器（fcos）。在一个实施例中，异常分类器108可以包括被训练成分割目标解剖结构的图像分割算法（例如，图像到图像网络或u
‑
net）、以及被编程为检测解剖结构的高和/或低衰减的阈值化（thresholding）算法。在一个实施例中，异常分类器108可以包括被训练成检测解剖结构的存在和/或不存在的深度强化学习神经网络。在一个实施例中，异常分类器108可以包括被训练成确定一个或多个解剖结构（例如，右肺和左肺）之间的对称性的暹罗（siamese）神经网络。在一个实施例中，异常分类器108可以包括被训练成从解剖结构中减去年龄相关影响的gan。
24.在各种实施例中，可以使用监督或非监督机器学习技术来训练ai系统100。例如，可以使用监督学习技术、利用被加标签为“正常”或“异常”的医学图像来训练异常分类器
108。在该示例中，医学图像作为整体可以被加标签，或者医学图像内示出的一个或多个解剖结构可以被加标签。在各种实现方式中，训练数据可以包括各种各样不同的医学图像，这些医学图像具有带有标记的实例级注释（例如，边界框或标签）。医学图像可以例如由放射科医生或医学成像技术人员来手动加标签。另外，可以使用验证数据集来测试ai系统100，该验证数据集由针对多种不同病变或状况的正常、异常和正常变异（normal variant）而策划（curate）和注释的图像所组成。
25.在一些实施例中，基于特异度（specificity）的成本，针对最高可能的灵敏度（sensitivity）来训练、编程或以其他方式优化上面描述的分类器108、110和其他算法。因此，由于ai系统100被优化以减少假阳性（即，减少将潜在异常的图像分类为正常图像的风险），因此被分类为“正常”的医学图像可以安全地被降低优先级，或者甚至被医师忽略，而不会产生主要风险。因此，“潜在异常的”数据集可能包含实际上正常的许多图像，但是用以确保没有异常图像被错误地分类为正常图像、同时允许一些正常图像被错误地分类为异常图像的折衷（tradeoff）最终是值得总体时间节省的。为了说明本文中描述的ai系统100的益处，考虑以下预言场景（prophetic scenario）。放射科医生目前以相同的优先级和努力程度（diligence）来审查100％的图像，但是仅有近似10％的图像揭示出任何真正的异常。因此，放射科医生花费在审查90％图像上的时间实质上是被浪费的（或者至少可以更好地花费在审查异常图像上）。利用本文中描述的ai系统100，放射科医生可以取而代之地仅查看50％的图像（因为ai系统100可以标识大量接收到的正常医学图像，并且将它们从放射科医生的队列中移除），但是这些当中的20％（即，图像总量的10％）是异常的。因此，ai系统100节省了放射科医生50％的时间。相反地，较高比率的“异常”分类并不会带来太大危害，这是因为即使对55％的图像进行审查对于放射科医生而言也仅仅是多一点工作。然而，如果分类系统产生了错误的“正常”分类，则这将破坏整个系统的功能，这是因为那时将需要放射科医生以相同的努力程度来审查“正常”图像，以便确认分类系统的标识。
26.在一个实施例中，例如，ai系统100可以被并入到实现放射科医生的工作流程队列的计算机系统中，该工作流程诸如图2中图示的工作流程200。例如，ai系统100可以被集成到图片存档和通信系统（pacs）、放射学信息系统（ris）、临床信息系统（cis）和/或其他软件平台或工具中，或者被配置成与它们结合地起作用。ai系统100可以被配置成根据诸如dicom之类的各种各样不同的信息标准来起作用。在一个实施例中，如上所描述，ai系统100可以被配置成：确定202医学图像内所示的解剖结构是否具有来自一个或多个异常类别的异常（例如，器官体积是否在阈值内、与先前扫描相比是否还不存在对器官的任何改变、或者对于器官是否存在任何结构变形或移位）。如果所有异常类别都是阴性的，则ai系统100可以确定204在该医学图像内尚未发现任何异常。在一个实施例中，ai系统100可以相应地从放射科医生的工作列表（即，要审查的医学图像的队列）中移除206该医学图像。如果异常类别中的至少一个是阳性的，则ai系统100可以确定208在该医学图像内已经发现潜在异常，并且将该医学图像留210在放射科医生的工作列表中。在一个实施例中，ai系统100可以进一步将该医学图像添加到放射科医生的要审查的工作列表，标记该医学图像以供放射科医生审查，和/或指示该图像内由ai系统100标识的异常的类型。
27.在一个实施例中，异常分类器108和特定于病变的分类器110可以作为集合而起作用，以便于排除不需要由放射科医生进行任何进一步审查的正常医学图像的能力。该集合
标识正常情况，并且管理假阴性的风险（即，通过寻求标识特别关键的病变），以便针对患者、医师和护理提供者来提供益处和风险的最优平衡。迄今为止，尚无可用或已批准的医学图像预筛选系统能够提供上面关于ai系统100所描述的功能和临床效用。因此，在一些应用中，ai系统100可以自主地报告正常、正常变异和/或异常的医学图像，表征异常发现，并且通过选择要由特定于病变的分类器110监测的适当病变来管理假阳性的风险。
28.医学成像系统架构在一些实施例中，可以在医学成像系统中或由医学成像系统（诸如，图3中图示的医学成像系统800）来实现上面描述的系统和技术。
29.图3是可以在一些实施例中使用的医学成像系统800的架构图。如上所指出，医学成像系统800可以包括计算机系统801和成像机器830（例如，mri机器）。计算机系统801可以包括一个或多个处理器802。每个处理器802连接到通信基础设施806（例如，通信总线、交叉式开关（cross
‑
over bar）或网络）。（一个或多个）处理器802可以包括cpu、gpu、ai加速器和/或各种各样的其他处理器类型。计算机系统801可以包括显示接口822，该显示接口822转发来自通信基础设施806（或来自未示出的帧缓冲器）的图形、文本和其他数据，以用于在显示单元824上显示。
30.计算机系统801还可以包括主存储器804，诸如随机存取存储器（ram）和辅助存储器808。辅助存储器808可以包括例如硬盘驱动器（hdd）810和/或可移除存储驱动器812，它们可以表示软盘驱动器、磁带驱动器、光盘驱动器、存储器棒或本领域已知的类似物。可移除存储驱动器812从可移除存储单元816进行读取和/或向可移除存储单元816进行写入。可移除存储单元816可以是软盘、磁带、光盘等等。如将理解的，可移除存储单元816可以包括计算机可读存储介质，该计算机可读存储介质具有有形地存储在其中（体现在其上）的数据和/或计算机软件指令，例如用于使（一个或多个）处理器执行各种操作。
31.在替代的实施例中，辅助存储器808可以包括允许将计算机程序或其他指令加载到计算机系统801中的其他类似设备。辅助存储器808可以包括可移除存储单元818和对应的可移除存储接口814，可移除存储接口814可以类似于可移除存储驱动器812，可移除存储驱动器812具有其自己的可移除存储单元816。这种可移除存储单元的示例包括但不限于usb或闪存驱动器，它们允许将软件和数据从可移除存储单元816、818传递到计算机系统801。
32.计算机系统801还可以包括通信接口820。通信接口820允许在计算机系统801与外部设备之间传递软件和数据。通信接口820的示例可以包括调制解调器、以太网卡、无线网卡、个人计算机存储卡国际协会（pcmcia）插槽和卡等等。经由通信接口820传递的软件和数据可以采用信号的形式，该信号可以是能够由通信接口820接收的电子信号、电磁信号、光学信号等等。这些信号可以经由通信路径（例如，信道）被提供给通信接口820，该通信路径可以使用线、线缆、光纤、电话线，蜂窝链路、射频（rf）链路和其他通信信道来实现。
33.在本文档中，术语“计算机程序介质”和“非暂时性计算机可读存储介质”指代如下介质：该介质诸如但不限于可移除存储驱动器812处的介质、安装在硬盘驱动器810中的硬盘、或可移除存储单元816。这些计算机程序产品向计算机系统801提供软件。计算机程序（也被称为计算机控制逻辑）可以存储在主存储器804和/或辅助存储器808中。还可以经由通信接口820来接收计算机程序。这种计算机程序在由处理器执行时使得计算机系统801能
够执行本文中所讨论的方法的特征。例如，主存储器804、辅助存储器808或可移除存储单元816或818可以用计算机程序代码（指令）来编码，以用于执行与本文中公开的各种过程相对应的操作。
34.熟悉本领域的技术人员会理解到，本文中描述的系统可以以硬件、固件、或在非暂时性计算机可读存储介质上被编码（例如，作为可由处理器执行的指令）的软件来实现。
35.虽然已经公开了并入本教导的原理的各种说明性实施例，但是本教导不限于所公开的实施例。取而代之，本技术意图覆盖本教导的任何变型、使用或改编，并且使用其一般原理。另外，本技术意图覆盖与本公开的这种偏离，这种偏离处于这些教导所涉及的领域中的已知或惯常实践内。
36.在以上详细描述中，参考了形成其一部分的附图。在附图中，除非上下文另行指出，否则类似的符号通常标识类似的组件。本公开中描述的说明性实施例并不意味着是限制性的。在不偏离本文中呈现的主题的精神或范围的情况下，可以使用其他实施例，并且可以进行其他改变。将容易理解的是，可以以各种各样不同的配置来布置、替换、组合、分离和设计如本文中一般地描述的以及在附图中图示的本公开的各种特征，所有这些都在本文中被明确地设想到。
37.在本文中参考根据本技术解决方案的实施例的方法、装置（系统）和计算机程序产品的流程图图示和/或框图而描述了本技术解决方案的各方面。将理解的是，流程图图示和/或框图中的每个框、以及流程图图示和/或框图中的框的组合可以由计算机可读程序指令来实现。
38.可以将这些计算机可读程序指令提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，以产生机器，使得经由计算机或其他可编程数据处理装置的处理器而执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的手段。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以指导计算机、可编程数据处理装置和/或其他设备以特定方式起作用，使得其中存储有指令的计算机可读存储介质包括如下制品：该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
39.还可以将计算机可读程序指令加载到计算机、其他可编程数据处理装置或其他设备上，以使一系列操作步骤在计算机、其他可编程装置或其他设备上被执行，以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
40.附图中的流程图和框图图示了根据本技术解决方案的各种实施例的系统、方法和计算机程序产品的可能实现方式的架构、功能和操作。就这一点而言，流程图或框图中的每个框可以表示指令的模块、片段或部分，该模块、片段或部分包括用于实现（一个或多个）指定逻辑功能的一个或多个可执行指令。在一些替代的实现方式中，框中指出的功能可以按图中指出的次序之外的次序而发生。例如，取决于所涉及的功能，实际上可以基本上同时执行连续示出的两个框，或者有时可以以相反的次序来执行这些框。还要注意的是，框图和/或流程图图示中的每个框、以及框图和/或流程图图示中的框的组合可以由基于专用硬件的系统来实现，该基于专用硬件的系统执行指定功能或动作、或执行专用硬件和计算机指令的组合。
41.可以说第二动作是“响应于”第一动作，而与第二动作是直接还是间接源自于第一动作无关。第二动作可以在比第一动作显著更晚的时间处发生，并且仍然是响应于第一动作。类似地，即使介入动作发生在第一动作与第二动作之间，并且即使介入动作中的一个或多个直接导致第二动作被执行，也可以说第二动作是响应于第一动作。例如，如果第一动作设置了标记，并且每当该标记被设置时第三动作就稍后发起第二动作，则第二动作可以是响应于第一动作。
42.本公开在本技术中描述的特定实施例方面不被限制，这些特定实施例意图作为各种特征的说明。如对于本领域技术人员将明显的那样，可以在不偏离其精神和范围的情况下做出许多修改和变型。除了本文中所列举的那些方法和装置之外，本发明范围内的功能上等同的方法和装置根据前述描述对于本领域技术人员也将是明显的。要理解的是，本公开不限于特定的方法、试剂、化合物、组合物或生物系统，它们当然可以变化。还要理解的是，本文中使用的术语仅用于描述特定实施例的目的，而不意图进行限制。
43.关于对本文中基本上任何复数和/或单数术语的使用，本领域技术人员可以如对于上下文和/或应用适当的那样将复数转换为单数和/或将单数转换为复数。为了清楚起见，本文中可以明确地阐述各种单数/复数置换。
44.本领域技术人员将理解到，一般而言，本文中使用的术语通常意图作为“开放式”术语（例如，术语“包括”应当被解释为“包括但不限于”，术语“具有”应当被解释为“至少具有”，术语“包含”应当被解释为“包含但不限于”等等）。虽然根据“包括”各种组件或步骤（被解释为意味着“包括但不限于”）描述了各种组合物、方法和设备，但是这些组合物、方法和设备也可以“实质上由”各种组件和步骤“组成”或者“由”各种组件和步骤“组成”，并且这种术语应当被解释为定义了实质上封闭的成员组。
45.如本文档中使用的，单数形式的“一”、“一个”和“该”包括复数引用，除非上下文另行清楚地指出。除非另行定义，否则本文中使用的所有技术和科学术语具有与本领域普通技术人员通常理解的含义相同的含义。本公开中的任何内容都不应被解释为承认本公开中描述的实施例无权借助在先发明（prior invention）而早于（antedate）这种公开。
46.此外，即使明确地记载了具体的数字，但本领域技术人员将认识到，这种记载应当被解释为意指至少所记载的数字（例如，在没有其他修饰语的情况下对“两个记载”的简单记载意指至少两个记载、或两个或更多个记载）。此外，在其中使用类似于“a、b和c等等中的至少一个”的约定的那些实例中，一般而言，这种构造意图在本领域技术人员将理解该约定的意义上（例如，“具有a、b和c中的至少一个的系统”将包括但不限于具有单独的a、单独的b、单独的c、a和b一起、a和c一起、b和c一起、和/或a、b和c一起等等的系统）。在其中使用类似于“a、b或c等等中的至少一个”的约定的那些实例中，一般而言，这种构造意图在本领域技术人员将理解该约定的意义上（例如，“具有a、b或c中的至少一个的系统”将包括但不限于具有单独的a、单独的b、单独的c、a和b一起、a和c一起、b和c一起、和/或a、b和c一起等等的系统）。本领域技术人员将进一步理解，实际上无论是在说明书、样本实施例还是在附图中，呈现了两个或更多个替代术语的任何析取性词语和/或短语都应当被理解为设想到包括术语之一、术语中的任一个、或两个术语的可能性。例如，短语“a或b”将被理解为包括“a”或“b”或“a和b”的可能性。
47.此外，在根据马库什组（markush group）描述了本公开的特征的情况下，本领域技
术人员将认识到，由此也根据马库什组的任何个体成员或成员的子组来描述本公开。
48.如本领域技术人员将理解的，出于任何和所有目的，诸如在提供书面描述方面，本文中所公开的所有范围还涵盖了任何和所有可能的其子范围以及子范围组合。任何列出的范围都可以被容易地识别为充分地描述并使得能够实现该相同范围被分解成至少相等的一半、三分之一、四分之一、五分之一、十分之一等等。作为非限制性示例，本文中所讨论的每个范围可以被容易地分解成下三分之一、中三分之一和上三分之一等等。如本领域技术人员还将理解的，诸如“最多”、“至少”等等之类的所有语言都包括所记载的数字，并且指代可以随后如上所讨论的那样被分解成子范围的范围。最后，如本领域技术人员将理解的，范围包括每个个体成员。因此，例如，具有1
‑
3个组件的组指代具有1个、2个或3个组件的组。类似地，具有1
‑
5个组件的组指代具有1个、2个、3个、4个或5个组件的组等等。
49.各种上面所公开的以及其他的特征和功能或其替代方案可以组合到许多其他不同的系统或应用中。本领域技术人员随后可以做出其中的各种目前无法预见或无法预料的替代方案、修改、变型或改进，其中的每一个也意图被所公开的实施例涵盖。