在多种设置下用于医学样品的异常检测的制作方法

本发明涉及在计算机辅助诊断(cad)中用于医学样品的异常检测。

背景技术：

异常检测对于cad是至关重要的。全切片图像(wsi)搜索优选用于cad以避免假阴性，但受其图像采集和处理速度限制。大多数现有的用于wsi筛选的方式使用低放大倍数图像以便减少图像采集时间。因此，图像质量变得劣化。低放大倍数图像中包含的信息少于高分辨率图像中的信息，因此限制了准确分割和对异常进行分类。而且，wsi筛选中的大搜索区域引入了更多的假阳性，这也影响了诊断结果。

在wsi筛选中使用多种成像模式潜在地可用来减少假阳性。目前，大多数产品不提供wsi分析用于评价，并且不支持多种成像模式。他们仅使用来自单一设置的样品(例如，相同的曝光时间，相同的试验)用于分类。除此之外，它们中的大多数是机器依赖性的，这不容易适应于新的硬件设置。

典型地，在目前的产品中使用两种成像模式用于图像分析：荧光(fl)模式和亮视野(bf)模式。然而，两种模式具有它们自己的缺点。对于fl模式，尽管在不同的成像模式之中具有相对高的灵敏度，但除了异常之外的物体在激发下也经常发射绿色荧光。其可以导致假阳性结果，由此影响诊断结果的准确度。对于bf模式，其与fl模式相比导致低对比度，由于来自不同实验的样品中染料的色差而需要校准。

因此，在本领域中存在对支持多种成像模式并且在增强异常检测准确度中利用多模式结果的技术的需求，该技术尤其可在用于wsi的异常检测中使用。

技术实现要素：

本发明的第一个方面是提供用于从医学样品的图像对所述医学样品上的一个或多个异常进行定位的计算机实现方法。所述医学样品和所述图像在包括一个或多个设置变量的设置下制备。在所述方法中，从所述图像对所述医学样品上的被怀疑是异常的任何感兴趣对象进行鉴定和定位。当对一个或多个感兴趣对象定位时，通过异常检测进程确定单个感兴趣对象是否是单个异常。对于所述一个或多个感兴趣对象中的每一个重复所述异常检测进程。所述异常检测进程包括单个地使用多个基分类器对所述单个感兴趣对象进行分类。每个基分类器分别提取所述单个感兴趣对象的特征并且根据所提取的特征生成指示所述单个感兴趣对象为异常的可能性的评分。所述异常检测进程进一步包括使用集合分类器来合并由所述基分类器生成的评分以确定所述单个感兴趣对象是否是单个异常。所述集合分类器根据所述一个或多个设置变量来确定对于每个基分类器的单个评分的可依赖性度量，并且根据所述评分的所述可依赖性度量选择性地合并所有所述基分类器的评分。

所述图像可以通过对用于对一个或多个异常进行wsi筛选的上面驻留有医学样品的整个载玻片成像来获得。所述图像可以是亮视场图像或荧光图像。

基分类器通常根据实际的应用来选择。在一个选择中，第一基分类器配置成提取所述单个感兴趣对象的形态特征，并且配置成使用一个或多个决策树来对所述形态特征分类以生成所述评分。在另一个选择中，第二基分类器配置成提取所述单个感兴趣对象的局部直方图特征，并且配置成使用支持向量机来对所述局部直方图特征分类以生成所述评分。当所述图像是彩色图像时，一个或多个彩色直方图用于提取所述局部直方图特征。当所述图像是灰度图像时，一个或多个强度直方图用于提取所述局部直方图特征。在又另一个选择中，第三基分类器是卷积神经网络。

本发明的第二个方面提供用于检测医学样品上的一个或多个具有预先选择的特性的靶向异常的多阶段法。所述方法包括至少第一阶段和第二阶段。在第一阶段中，向所述医学样品施加第一染色剂用于对包括所述一个或多个靶向异常的异常染色。在所述异常被染色后，对所述医学样品成像以产生第一图像。然后一个或多个计算机根据一个或多个获得所述医学样品和所述第一图像的第一设置的第一设置变量通过定位进程从所述第一图像对所述异常进行定位。具体地，根据本发明的第一个方面提供的任意实施方案配置所述定位进程。在第二个阶段，向所述医学样品施加第二染色剂用于复染所述一个或多个靶向异常。所述第二染色剂配制成优先地对所述异常的亚组染色，所述亚组中的异常具有所述预先选择的特性。在所述一个或多个靶向异常被复染后，对所述医学样品成像以产生第二图像。任选地，通过仅在围绕从所述第一图像被定位的异常的区域上对所述医学样品成像获得第二图像。之后，所述一个或多个计算机根据一个或多个获得所述医学样品和所述第二图像的第二设置的第二设置变量通过所述定位进程从所述第二图像对所述一个或多个靶向异常进行定位。由此检测所述一个或多个靶向异常。

如下面通过实施方案所示公开了本发明的其他方面。

附图说明

图1描绘了根据本发明的示例性实施方案从医学样品的图像检测一个或多个异常的处理流程，其中通过多个基分类器和集合分类器检测所述一个或多个异常。

图2描绘了训练图1的基分类器和集合分类器的示例性配置。

图3描绘了说明检测一个或多个具有预先选择的特征的靶向异常的多阶段方法的流程图，其中每个阶段利用图1的处理流程实施。

具体实施方式

本发明解决了对在检测医学样品上的异常中支持多种成像模式的技术的需求并且利用所得的多个检测结果增强了检测所述异常的准确度。另外，通过提高检测准确度本发明可特别地用于wsi筛选，同时仍然允许在检测中使用低放大倍数图像。wsi筛选意味着对上面驻留有医学样品的整个载玻片成像以产生图像，并分析图像进行异常检测。尽管如此，本发明的应用不仅仅限于wsi筛选。

本发明人已经观察到不同的分类器对在不同的实验条件下制备并在不同的成像条件下成像用于分析的医学样品具有不同的性能。通常，对于在特定设置下获得的医学样品及其图像，一个分类器在异常检测中的性能比另一个分类器更好，其中前述设置是实验条件和成像条件的组合。由此得出结论，有利地是将不同的分类器结合到用于检测异常的检测器中，然后根据由用来获得医学样品及其图像的设置所提供的边信息智能化地组合不同分类器的结果。通过这样的组合，可以增强异常检测中的置信水平或准确度。本发明基于上述观察结果开发。

本发明的第一个方面是提供用于从医学样品的图像对所述医学样品上的一个或多个异常进行定位的计算机实现方法。所述医学样品和所述图像在一个设置下制备。

更具体地，所述设置包括一个或多个设置变量，其中一个或多个设置变量用来建模或表征所述设置。所述一个或多个设置变量形成分别在获得医学样品及其图像中使用的实验条件和成像条件的集合。单个设置变量的实例包括图像的类型(例如，bf图像或fl图像)、在对所述医学样品成像中的曝光时间、施加到医学样品用于对其上面的异常染色的染色剂、正在研究的医学样品是否是获自特定实验的样品之一，等等。

所述方法借助于图1示例性地说明。图1描绘了根据本发明的示例性实施方案从医学样品的图像105检测一个或多个异常185的处理流程。

图像105首先通过位置检测器130处理以对医学样品上的被怀疑是异常的任意感兴趣对象进行检测和定位。作为初始步骤，需要包括尽可能多的异常以便使错失任何异常的机会保持在低水平。通常地且合乎需要地，位置检测器130被编程以有效地在短时间内对所怀疑的异常进行鉴定和定位。本领域技术人员将理解本领域中的各种算法可以用来实现这样的快速检测。例如，候选的感兴趣对象可以通过使用如所j.chang等人，“automatedtuberculosisdiagnosisusingfluorescenceimagesfromamobilemicroscope,”medimagecomputcomputassistinterv.,2012,15(pt3),第345–352页教导的形态操作和模板匹配来进行定位。在一个或多个感兴趣对象被定位后，这些被怀疑的异常然后被仔细检查以确定那些是真正的异常，并排除不是异常的那些以便消除假阳性或尽可能多地减少假阳性。具体地，当位置检测器130对一个或多个感兴趣对象进行检测和定位时，执行异常检测进程190以确定单个感兴趣对象132是否是单个异常。对所有被确定的一个或多个感兴趣对象重复异常检测进程190以产生一个或多个异常185或如果没有检测到则没有异常，所述一个或多个异常185的位置由位置检测器130提供。

异常检测进程190详述如下。

多个基分类器110a-110n各自被用来对单个感兴趣对象132进行分类。即，基分类器110a-110n中的每一个独立地被用来对单个感兴趣对象132进行分类。基分类器110a-110n的结构是相似的。在不失一般性的前提下，考虑基分类器110a用于举例说明。基分类器110a提取单个感兴趣对象132的特征(如块122所示)并生成评分115a,标示为pa(a),指示单个感兴趣对象132为异常的可能性(如块124中所示)。因此，基分类器110a-110n分别产生评分115a-115n，标示为pa(a)、pb(a),…,pn(a)。

尽管图1描绘了总共14个基分类器110a-110n用于举例说明，但本发明不仅仅限于此数目的基分类器。在异常检测进程190中使用的基分类器110a-110n和它们的数目通常根据实际的应用选择。在本领域中，许多基于机器学习的分类器可以用来实现基分类器110a-110n，例如，如us2014/0233826、us2016/0042511和wo2016/087592以及下列文献(它们的公开内容通过引用并入本文)中所提议的用于筛选医学样品图像中的异常的对对象进行评分或分级的分类器：j.chang等人,“automatedtuberculosisdiagnosisusingfluorescenceimagesfromamobilemicroscope,”medimagecomputcomputassistinterv.,2012,15(pt3),345–352页；和c.pangilinan等人，“applicationofstepwisebinarydecisionclassificationforreductionoffalsepositivesintuberculosisdetectionfromsmearedslides,”proceedingsoftheiastedinternationalsymposia,imagingandsignalprocessinginhealthcareandtechnology(ispht2011),2011年5月16-18日。作为用于举例说明的非限制性实施例，考虑检测肺结核(tb)的应用。所公开的方法适用于被怀疑含有一种或多种类型的抗酸杆菌(afb)的医学样品。在本申请中，使用两个基分类器110a,110b。基分类器110a配置成或编程成提取单个感兴趣对象132的形态特征，并且配置成或编程成利用一个或多个决策树来对所述形态特征分类以生成评分pa(a)115a。基分类器110b配置成或编程成提取单个感兴趣对象132的局部直方图特征，并且配置成或编程成使用支持向量机(svm)来对局部直方图特征分类以生成评分pb(a)115b。如果图像105是彩色图像，一个或多个彩色直方图用于提取局部直方图特征。另一方面，如果图像105是灰度图像，则一个或多个强度直方图用于提取局部直方图特征。代替使用局部直方图特征进行分类，可代替地基分类器110b可以作为卷积神经网络(cnn)而实现。

在由基分类器110a-110n生成评分115a-115n后，集合分类器140用来合并评分115a-115n以确定单个感兴趣对象132是否是单个异常。具体地，集合分类器140获取基分类器110a-110n的评分115a-115n以及一个或多个设置变量145以学习用于改进的决策的模型。一个或多个设置变量145是设置的参数，在所述设置下获得医学样品及其图像105。如下提供集合分类器140合并评分115a-115n的一种方法。集合分类器140首先根据一个或多个设置变量145确定由每个基分类器110a-110n生成的评分的可依赖性度量。单个评分的可依赖性度量是所述评分为正确的可信度或信任度。具体地，根据一个或多个设置变量145确定可依赖性度量。例如，如果，基于理论分析或通过之前实验发现观察到的，当特定的设置变量落在特定的数值范围内时基分类器110a已知不可能是准确的，则给予单个评分的可依赖性度量一个低值。在已知分类器110a在这种特定的设置变量下不准确的特殊情况下，可以给予可依赖性度量一个为0的值。如果特定评分的可依赖性度量低于预定的阈值，该评分优选被放弃并且在确定单个感兴趣对象132是否是异常中不被考虑。如果评分的可依赖性度量大于预定的阈值，优选在确定单个感兴趣对象132是否是异常中包括该评分。最后，集合分类器140根据评分115a-115n的可依赖性度量选择性地合并评分115a-115n。

评分115a-115n的选择性合并可以以不同的方式实现。在第一实现方式中，选择其可依赖性度量大于预定阈值的评分，放弃剩余的评分。将所选择的评分平均，得到的平均评分用来确定单个感兴趣对象132是否是异常的。例如，如果得到的平均评分大于第二预定阈值，则单个感兴趣对象132被确定为是异常。在第二种实现方式中，选择所有评分115a-115n中具有最高可依赖性度量的评分。如果所选择的评分大于第二预定阈值，则单个感兴趣对象132被确定为是异常。在第三种实现方式中，对评分的选择与第一种实现方式相同。然后计算所选择的评分的中值，并且中值评分用来确定单个感兴趣对象132是否是异常的。上述三种实现方式不是穷举的，并且仅用作实施方案。

通常，基分类器110a-110n和集合分类器140是基于机器学习的算法，所述算法在执行异常检测进程190之前需要训练。训练的示例性配置描绘在图2中。基分类器110a-110n和集合分类器140通过多个训练医学样品201的图像来训练，每个训练医学样品201具有预先确定的一个或多个异常。另外，在预先选择的设置下获得单个训练样品204及其图像205。对于单个训练样品204，被怀疑是异常的其感兴趣对象首先被位置检测器130从单个训练样品204的图像205定位。单个感兴趣对象232通过基分类器110a-110n处理，产生多个评分215a-215n。然后集合分类器140用多个评分215a-215n作为输入进行训练。向集合分类器140提供预先确定的一个或多个异常的列表250。由此得出结论集合分类器140具有所考虑的单个感兴趣对象232是否是异常的知识。集合分类器140还接收与单个训练样品204相关联的前述设置的设置变量245。用上述知识检查评分215a-215n以在获得单个训练样品204及其图像205中使用的设置变量245下评估所有基分类器110a-110n的分类器输出的质量。由此，训练集合分类器140。立刻变得明显的是，优选对于大多数实际应用利用不同的设置训练基分类器110a-110n和集合分类器140。

作为备注，在下面的方面中集合分类器140不同于wo2016/087592的教导。在wo2016/087592中，使用统计模型来根据一些模型参数将不同的评分合并成单个最终评分。统计模型的实例是cox模型。在训练期间，因将患者的训练样品和患者的生存结果数据分类得到的单个评分用来估计cox模型的模型参数。在分析处于测试中的医学样品的非训练会话中，在合并医学样品的单个评分中由统计模型使用的模型参数与处于测试中的医学样品无关。即，模型参数对于处于测试中的医学样品是不变的。另一方面，在非训练会话中的集合分类器140接收与医学样品及其图像105相关的一个或多个设置变量145。一个或多个设置变量145被直接用来确定评分115a-115n的可依赖性度量，其中可依赖性度量在评分115a-115n的选择性合并中使用。因此，可依赖性度量取决于处于测试中的医学样品。

本发明的第二个方面提供了用于检测医学样品上的一个或多个具有预先选择的特性的靶向异常的多阶段方法。该方法包括至少第一阶段和第二阶段。在每个阶段中，使用用于第一个方面的计算机实现方法的实施方案。

图3描绘了说明根据本发明的一个实施方案的多阶段方法的步骤的流程图。该方法包括第一阶段301和第二阶段302。第一阶段301目的是在医学样品上鉴定和定位尽可能多的异常。这些异常包括一个或多个靶向异常。在鉴定这些异常后，第二阶段302是要逐个地检验这些异常以便从在第一阶段301中鉴定的异常中鉴定一个或多个靶向异常。第一阶段301包括步骤310、320和330。第二阶段302包括步骤340、350和360。

在如下描述所述方法中，所述方法用于检测tb的应用偶然地用作说明性实施例。对于tb检测，所述一个或多个靶向异常是afb，并且预先选择的特性是在afb的细胞壁内存在大量的分支菌酸。

在第一阶段301中，在步骤310向医学样品施加第一染色剂用于对包括一个或多个靶向异常的异常染色。通常，医学样品被放置在载玻片上以便容易地处置。第一染色剂的一种选择是高灵敏度染色剂诸如吖啶橙(ao)，其是经常用作荧光染色剂的二芳甲烷染料。高灵敏度染色剂能够显示非常高百分比的异常以便随后被检测到。

在所述异常被染色后，在步骤320扫描和成像载玻片上的医学样品以得到第一(数字)图像。优选地，采用wsi来使得所述医学样品上的所有异常都能在随后的步骤中被检测到。ao是用于细胞周期测定的核酸-选择性荧光阳离子染料。因此，如果第一染色剂是ao，则在fl模式下获得第一图像。

然后在步骤330中使用一个或多个计算机来通过定位进程从所述第一图像对异常进行定位。所述定位进程根据如本发明的第一个方面中公开的异常定位方法的任一个实施方案进行配置或编程。假定在包括一个或多个第一设置变量的第一设置中获得医学样品和第一图像，则所述定位进程根据一个或多个第一设置变量确定异常。如果ao用作第一染色剂，则一个或多个第一设置变量可以包括第一项和第二项，所述第一项指示所述医学样品用ao染色，所述第二项指示在获得第一图像中使用fl模式。在第一阶段301结束时，包括一个或多个靶向异常的异常被确定和定位。

在第二阶段302中，在步骤340向所述医学样品施加第二染色剂用于复染一个或多个靶向异常。第二染色剂配制成优先地对异常的亚组染色，其中所述亚组中的异常具有预先选择的特性。如果需要确定所述医学样品是否含有tb病原体，则第二染色剂的一个合适的选择是高特异性染色剂诸如ziehl-neelsen(zn)染色剂或抗酸染色剂。zn染色剂是用来鉴定afb的专用细菌染色剂用于在bf模式下的图像处理。

在一个或多个靶向异常被复染后，在步骤350对载玻片上的医学样品进行扫描或成像以得到第二图像。wsi可以用来扫描载玻片。可选地，由于第二阶段302集中于检验在第一阶段301中标识的异常，因此还能够仅扫描围绕在步骤320中已经定位的异常的区域。使用此选项节省了一些扫描时间。如果zn染色剂用作第二染色剂，则所述第二图像在bf模式下获得。

然后在步骤360中使用一个或多个计算机来通过定位进程根据一个或多个获得所述医学样品和所述第二图像的第二设置的第二设置变量从第二图像对一个或多个靶向异常进行定位。如果zn染色剂用作第二染色剂，则一个或多个第二设置变量可以包括指示所述医学样品用zn染色剂染色的一个项和指示在获得第二图像中使用bf模式的另一个项。在第二阶段302结束时，检测一个或多个靶向异常。

使用所公开的用于tb检测的方法提供了下列的优势。第一阶段301适于通过使用高灵敏度染色剂检测尽可能多的包括afb的异常。第一阶段301意在使鉴定真正的afb中的遗漏最小化从而抵消通过使用低放大倍数的第一图像代替高分辨率图像所诱发的较高的遗漏可能性。然而，高灵敏度染色剂的使用增加了包含假阳性(即，不是afb的异常)的可能性。如果使用wsi则得到假阳性的可能性进一步增加。在第二阶段302，在第一阶段301中鉴定的异常用高特异性染色剂复染以揭示真正的afb。其目的是尽可能多地鉴定假阳性并且将它们从第一阶段301中鉴定的异常中消除。因此，所公开的方法能够使用低放大倍数图像进行tb检测，通过使遗漏最小化同时尽可能多地降低假阳性而获得高检测概率。

本领域专业技术人员将理解可以向根据上面公开的关于第一阶段301和第二阶段302的教导的多阶段方法添加一个或多个额外的阶段。

本发明可以在不背离本发明的精神或必要特性的前提下以其他具体的形式来体现。因此本发明的实施方案将被认为在所有方面是说明性的而非限制性的。本发明的范围通过附带的权利要求指示而不是通过前面的描述来指示，并且因此包含在权利要求的含义和等效形式范围内的所有变化均意在涵盖在本文的范围内。