专利名称：基于神经网络的自动细胞试样分类系统和方法
技术领域：
本发明总的涉及，如标题所指的那样细胞分类，更具体地说涉及利用神经网络和/或神经计数机以提高细胞分类速度和精确度。
子宫颈部涂片(巴氏试验)是唯一大量筛选的细胞学检查，这种检查要求用肉眼检查在载片上的每一个细胞。由于目前的手工操作所固有的单调和疲劳，使得这种试验存在着很高的错误率。细胞分类一般是按“计件工作”来执行的，这种计件工作是由病理实验室雇用的和有些地方由按月付薪水的细胞学专家来进行的。由于高错误率有可能导致诊断不出子宫颈癌从而带来威胁生命后果。所以，美国癌症协会正在考虑把所建议巴氏涂片检查频率提高二倍。但是，这样势必使得已经超载的子宫颈癌普查业更加超载，因为越来越多人不愿意从事这种单调而紧张的手工子宫颈部涂片分类工作。美国癌症协会关于增加巴氏涂片频率的建议的结果只能是增加了错误率，因为增加巴氏涂片频率势必减少花在每张涂片上的手工检验的时间。每张涂片的详尽的手工检验至少要化费15分钟，而一个细胞学技术专家，尤其是在满负荷工作条件下，所花费的时间可能不到一半。美国病理研究院充分了解了这一问题并且将谋求用自动化来解决子宫颈涂片筛选问题手段。
由于自动子宫颈涂片分析方法有明显的市场前景，在已有技术中已有好几种尝试，这种尝试均告失败，因为它们仅仅依赖于传统的图形识别技术(几何图形，符号关系学，样板，统计技术)或基于人工智能(AI)的图形识别，即基于规则的专家系统。但是，目前并没有明显的算法或完整、明显细胞学技术专家或病理学家利用他们的经验综合大量特征以格式塔(gestalt)方式进行分类的规则。因此，子宫颈涂片分类对于基于神经网络的图像识别来说是一个极好的应用。已有技术存在的局限性的例子可以在1987年的Tien等人的题为“自动子宫颈筛选分类”一文中看到。
有关的背景材料如下鲁姆哈特(Rumelhart)，德维德(David).E，和姆科勒伦达(Moclelland)杰姆斯(James).L，“平行分布处理”，MIT出版社1986，第一卷。
廷(Tien)，D.等，“自动颈部涂片分类”，电气与电子工程师协会/医学和生物学工程第九次年会会刊。1987，1457-1458页。
赫克特-尼尔森，罗伯特(Hecht-Nielsen，Robert)，“神经计算模仿人脑”，电气与电子工程师协会谱，1988.3，36-41页;和李普曼(Lippman)，理查得(Richard)P，“关于神经网络计算初探”，电气与电子工程师协会ASSP杂志1987.4，4-22页。
因此，本发明的主要目的在于提供一个关于把细胞试样分门别类的自动系统和方法，例如，显著特征的分门别类。
简单地说，本发明包括一初级分类器(有时称作一级分类器)以初步地将细胞试样分类和一次级分类器(有时称作二级分类器)以把初级分类器挑选出来的细胞试样的部分进行分类以供以后进一步的分类，其中，该次级分类器包括一神经计算或神经网络。
在一实施例中，一级分类器可以包括市场上可以购得的以标准显微镜形式出售的自动显微镜，这种显微镜带有摄像机或电荷耦合器件阵列，显微镜载片可加以控制以自动扫描载片。从摄像机中所得到的图像被数字化和输出到以计算系统存在的二级分类器中。该计算机系统包括一个下面将详细说明的神经网络，这种神经网络在这里援引的几个参数材料中也有所揭示。包括神经网络的计算系统用来识别细胞图像并把它们按有关诊断特征分成若干类别。在另一实施例中，该初级分类器可以包括一神经网络。下面还揭示了其他一些实施例。
本发明的进一步目的在于在手工仔细筛透完成这项工作所花费的时间内执行对试样的分类工作。即约15分钟/试样。
本发明的进一步目的在于对细胞试样进行的分类，还包括有关目的物的数目及类型，而不单是对在子宫涂片中可以找到的一般的单层细胞(例细胞群，重叠细胞，碎片，白血球，细菌，粘液)。
本发明的进一步目的在于在进行上面描述的子宫颈涂片的分类时能探测前期恶性细胞和恶性细胞。
本发明的进一步目的在于能以比传统的手工子宫颈涂片筛选错误率为小的错误率进行。
本发明的细胞分类系统的一个优点在于它将细胞试样按医学显著特征的分类将更为可靠，即具有较小的差错率。
本发明的细胞分类系统的一个进一步的优点在于它不需要在对从病人处得到细胞的试样的步骤上再作进一步的改变。
本发明的细胞分类系统的一个进一步优点在于它将在允许经济地进行手术的操作时间限制内允许可靠的分类。
对那些在该技术领域内的具有普通技能的人来说，在阅读了下面所提到的实施例的详细说明后，本发明的种种目的，优点和特征将变得非常明显。
这里所引用的已出版的文章在这里专供参考之用。
此外，本发明在这里主要是针对以子宫颈涂片形式的细胞试样分类，即巴氏试验中所用的方式进行描述的。但是应当知道这是本发明原理运用的一个例子，本发明也可以用于许多其他细胞试样的分类。
在附图中
图1是根据本发明的基于神经网络的自动细胞试样筛选装置的示意性方框图;
图2是实施例中所用的三层神经网络的示意图。
图3是根据本发明的自动筛选装置的另一实施例的方框图。
图4是根据本发明的自动筛选装置的又一个实施例的方框图。
图5是根据本发明的自动筛选装置的再一个实施例的方框图。
图6是根据本发明的自动筛选装置的又一个实施例的方框图，以及图7是根据本发明的自动筛选装置的再一个实施例的方框图。
图1是根据本发明的基于神经网络的自动细胞试样筛选装置的示意图，图中该装置总的用码号10表示。该分类装置10包括一自动显微镜11，一摄像机或CCD元件12，一图像数字转换器13，和分类级14，15和17。
该自动显微镜11使显微镜物镜和试样产生相对移动，而摄像机或CCD12得到一细胞试样的特定部分的图像或照片。该图像经图像数字转换器13加以数字化，从中得到的信息送到分类器14上。在所述的实施例中，分类器14是市场上可以买到的通过测量它们的总的光密度(核染色密度)而鉴定有关的细胞核的统计分类器。这是对光学误差进行校正过的物体象素灰值的总和。与正常细胞相比，恶性细胞趋向于具有一个较大而浓的染色的核。
经过分类器14的物体包括前期恶性细胞和恶性细胞，但同时还包括其它诸如细胞群、鳞片、白血球和粘液等具有高度总光密度的物体。二级分类器15的任务就是将前期恶性细胞和恶性细胞与这些其他物体这分开来。
在二级分类器15中采用了神经网络，适于二级分类器15的神经网络的设计和操作详细说明可以在这里引用的参考文献中找到。下面提供这种信息的简单的说明。
以细胞试样初级分类器中得到的数据为基础，该二级分类器被用于检验，例如，决定需要进一步筛选或分类的该试样的特定的区城。二级分类器的这种进一步的检验可以根据已经取得的试样中被挑选出来的区城的数字化的图像数据来进行，或者根据由元件11-13或其他市场上可以买到的可以为二级分类器15的使用和分析提供可接受的数据的光学的或其他的仪器所得到的数据进行。
神经网络是一个具有定向图表布局的高度平行分布系统，神经网络上的节点通称为“处理元件”或“神经层”，而其间的链接通称为“内连”，每一个处理元件接受多种输入而产生一单一的输出信号，它分成多个拷贝，然后这些拷贝再分布给其他处理元件作为输入信号。信息按称为“权重”的链接强度存储存储起来。每一个处理元件用不同步的方式计算着每一输入线上的权重乘以该线上信号电平(通常为0或1)的乘积之和。如果乘积之和超过预置活性阈值，处理元件的输出便置位于1，如果小于它，便置位于0。通过权重值的调节实现学习。
对于本发明来说，所述的实施例用在李普曼(LIPPMAN)的参考文献中所描述的三层神经网络作为感知器。在鲁梅哈特(Rumelhart参考文献第8章对三层神经网络有详细的叙述。其他类型的神经网络系统也可使用。
三层神经网络包括一输入层，一输出层，和一隐藏着的中间层。该中间层用以供网络内部图形的表示用。如明斯基(Minsky)和帕佩尔特(Papert)在他们1969的题为“感知器”的书中所指示的那样，两层相关的网络所能解决的问题的类型是有限的，只具有“输入”和“输出”处理元件的两层网络只能表示相似的输入图形导致相似的输出图形的映射。当实际的问题不是这种类型时，就需要三层网络。业已证实具有一足够大的隐藏层的三层神经网络总可以找到一个可以将一个输入图形映射成所要求的输出图形的表示方法。用在所述的实施例采用的这种三层神经网络示于图2中。
神经网络经构的几个重要的特点使它们与已有技术中用于分类器15的方法有所不同。
1.很少或没有执行功能。只有极为简单的各自进行其乘积之和计算的单元。每一处理元件的任务限于从其相邻处接受输入并且，作为这些输入的一个函数，计算出送往其相邻处的输出值。每一个处理元件周期性地，与其任何相邻(元件)的活动平行，但不同步地执行着这种运算。
2.所有的知识信息都存在于联结处。只有很短暂的存储可以发生在处理元件的状态上。所有长存储是通过在处理元件之间的连接的“强度”或“权重”值加以表现的。正是建立这些权重以及改变它们以进行学习的规则使神经网络模型彼此区别。所有的知识信息隐函地表示在权重连接的强度中，而不是明显地表示在处理元件的状态中。
3.与算法计算机和专家系统不同，神经网络学习的目的并不是形成算式或一套明显的规则。一个神经网络在学习运程中自我组织以建立一整套权重。这一整套权重将产生出对一给定输入来说最接近于它被先知是该输入的正确输出的输出。正是这种连接强度的适应性获得允许神经网络具有好象它了解规则的行为。一般的计算机用在信息可以明显地以算法或明显且完整地以一套规则表示的场合是非常好的。如果不是这种情形时，一般的计算机就会遭到很大的困难。虽然一般的计算机进行算法运算时运比任何人都快，它们在执行非算法运算的任务中例如在图像识别，最近邻的分类，和面对许多同时联立的约束要求达到最佳答案时就很难与人类相匹敌。如果要寻找N样品图形以分类出一未知的输入图形，如果一算法系统可以在约N时间内完成这项任务。在一神经网络中，所有的供选择物的特征同时通过整个系统中的一整套连接权重表示出来。所以神经网络在自动地以1时间到达模糊输入的最邻近值而不是N时间。
对本发明的来说，所述的实施例是通过用如鲁姆哈特(Rumelhart)参考文献中所描述的三层反向梯网络作为分类级15的神经网络来实现的。在鲁姆哈特参考文献中，对反向传播有详细描述。简单说来，反向传播是这样工作的。在网络训练中，误差(即一样品输入的适当的输出与该输出现行的网络输出之间的差值)逆向地从输出层传送到中间层然后到输入层。这些误差在每层被练习算法利用以重新调整连接权重使样品图形的未来表示将达到适当的输出类别。在网络训练以后，在正向工作模式中未知的输入图形通过神经网络分类到与其最为相似的样品类别。
神经网络分类器15的输出指明了前期恶性细胞和恶性细胞的存在与否。在输入载片上细胞的位置是通过自动显微镜连续输出的X-Y平面位置坐标中得到的。这种位置信息随着诊断和病人识别信息被输出到打印机或视频显示器17这样使得分类可让病理学家研究。
在所述的实施例中神经网络的平行结构是通过如市售神经计算机加速板的流水串行处理而模拟的。这种神经计算器的工作过程在spectrum中有所讨论神经网络最好是“Delta”处理机，它是国际科学应用公司(SAIC)供应的市场上可以买到的神经计数器(参见上述赫克特-尼尔森Hecht-Nielsen)参考文献该神经计算机可以在正向馈给工作模式中(即非训练模式中)持续不断地以107互连/秒的速率进行处理。对于典型的具有100，000细胞的子宫颈涂片来说，细胞中1-2%或近似1，500个图像将要求由分类器15来处理。(作为所产生的数据率的一个例子，假定数据压缩后，由分类器15处理50×50(图像像李)因此该神经网络的输入层由2，500个处理单元或“神经原”组成。中层由约输入层的25%或625神经原组成(输出神经原的数目等于有关的诊断分类的数目相同。这小数目对计算的影响不大)因此互连的数目大于2500×625或者约为1.5×10。在107互连/秒的处理速率下，分类器15对分类器14送来的1500幅图像的处理时间不到4分钟。目前可以得到的分类器14的实施例的处理速率为50000细胞/分(参见Tien等的文献)。分类器14以50，000细胞/分的速率处理时，将分类器15的处理所耗费的4分钟加到分类器14所耗费的2分钟上总共达6分钟，6分钟可以分析载片上100，000个细胞图像。如上所述，精确的手工子宫颈涂片的分析约要15分钟/每载片。已有的自动化技术的尝试使用的是非神经网络实施例所需的时间超过1小时/载片。这个例子并不意味着本发明限于这样的构造而是要表明它在所要求的时间内作为商品所要求的时间是可以达到处理子宫颈涂片和其他细胞样品的目标的。
在所述的实施例中，初级分类器14限于评价细胞核，而次级分类器15既评价细胞核也评价它周围的细胞质。细胞核与细胞质之间的比率关系对前期恶性细胞和恶性细胞来说是一个重要的数据。在另一实施例中，分类器14和15都限于对细胞核的鉴定。
从二级分类器中输出的信息送到输出监控器和打印机17，它可以显示出多种信息包括细胞是否是恶性细胞或前期恶性细胞，是否要进一步作检查等等。
图3说明的是另一个实施例，其中，另外加上了一个神经网络分类器16，它的增加是为对大面积物质载片进行处理，即所关心的单一细胞层以外的物质，它包括细胞群、碎片、粘液、白血球等等。在这预筛选中获得的位置信息被存贮起来供分类系统其余部分之用。从分类级16处得到的信息被用于限制要求分类器15处理的处理量。分类级14可以忽略由分类器16输出的平面位置坐标限定区域内的所有的材料这可以减少必须由分类器15处理的信息。因此，判断是根据位于这些区域之外的那些细胞的分类而作出的。如果位于这些区域之外的细胞试样不足，不足以构成有效的判断，则这种信息将作为不足细胞试样而在17上输出。
图4说明又一个实施例，其中分类器16所限定的区域内的图像没有被忽视而是由另一独立的分类器18进行处理，该分类器18与分类器15并行操作。包含分类器18的神经网络的训练专门用来区别所述的人工物质与前期恶性细胞与恶性细胞。
图5是又一个实施例，其中增加了一个非神经网络对除了总光密度以外的核的形态组成部分进行分类该非神经网络分类被安排在分类器14和分类器15之间，该分类由分类器19来执行。
图6是另一个实施例，其中一市场上可以买到的SAIC神经计算机专用于正向馈给处理20(最佳化于正向馈给处理20)。通过对学习工作能力的删除，所有的神经计算器均用作正向馈给操作上。学习通过一独立的未经改动过的神经计算器完成，该神经计算器同时包含学习和正向馈给两种作用。
学习完成之后，最终的互连权重被输送到最佳化的正向馈给神经计数器20中，神经计算器20专门从事正向馈给操作，产生了持续的108互连/秒的正向馈给操作速率，而市场供应的非优化板的速率为109互连/秒。该优化的正向馈给神经网络20用于执行图1，3，4和5中的分类器14和16的作用。通过利用神位网络分类器20去执行统计分类器14的功能，首先细胞仍然得以检测，有关的未必是恶性子宫颈细胞并且不超出分类器14的总光密度阈值的细胞也将被检测出来。一个例子是将子宫内膜细胞也检测了出来，该细胞虽然未必是子宫颈部恶性的征兆，但是在绝经后病人的巴氏涂片中发现时，却指示有可能是子宫恶性肿瘤。
作为从图6的这个实施例中得出的数据速率的例子，假设载片外周尺寸为15mm×45mm或总的载片面积为675×106微米2。神经网络20在其上具有一个分析用的滑动观察孔。这个观察孔的尺寸为20微米×20微米或者是400微米的面积。因此，在15mm×45mm的载片上有1.5×10的这些观察孔。对由神经网络20执行的初级分类功能来说，一个1微米/象素的分辨率就足以充分地探测出那些必需送到次级神经网络分类器15中供进一步分析的物体。由分类器20分析的图像观察孔的输入图像因此对神经网络20的输入层来说是20×20象素或400神经原。中间层包括输入层的25%或100个神经原(和上述分类器15的数据速率计算一样，输出层的神经原数目很小不影响我们的结论)。分类器20的互连数目接近400×100或40×103。在一个108互连/秒的处理速率下，对神经网20的分类来说，每一个从滑动观察孔中得到的图像要化去400微秒的时间。在一个15mm×45mm的载片上，需要神经网络20分类的有1.5×106个400微米2的观察孔。神经网络20的总的分类时间因此为(1.5×106)(400×10-6)＝600秒或10分钟。如果将这10分钟加到次级神经分类器15所需要的4分钟时间上，那么总的时间为14分钟/载片。这个例子并不说明本发明的结构限于14分钟/载片，相反，它只是表明了在一段(符合商品化要求)的时间以内处理子宫颈涂片和其它细胞样品是可以达到的目的。
通过并行的处理，处理数据速度也可以增加。例如，可以将SAIC提供的市场上可以买到的多个神经计算器并联起来对数据进行并行处理，从而，使分类器的处理速度得以增加。
图7说明了又一个实施例，其中神经网络初级分类器也一同被使用，而不是代替形态分类和区域分类，通过分类器20专门对那些有关的少数而其它方法又不能检测出来的细胞类型进行探测，对分类器20的分辨力的要求就可以达到最小。
尽管本发明是用本发明前的较佳实施例来加以描述的，但是应该理解这种揭示并不构成对本发明的限制。本技术领域的技术人员，在阅读上述说明后，可以作出各种变换和修改，这无疑是很显而易见的。为此，下面所附的权项被认为覆盖了所有没有脱离本发明的真实范围的精神的所有变换和改进。
权利要求
1.-自动细胞试样分类器，其特征在于包括a.-自动显微镜，b.-摄像-电荷耦合器件装置，c.-图像数字转换器，d.-用以探测细胞试样中超过-总光密度阈值的物质的初级统计分类器，和e.-采用神经网络的、用以从经初级分类器鉴别后的物质中检测出前期恶性细胞和恶性细胞的次级分类器。
2.如权利要求1所述的一自动细胞分类器，其进一步特征在于包括一神经网络预筛选分类器用以对包含除细胞单层以外物质的细胞试样内的区域加以鉴别(识别)和分类。
3.如权利要求2所述的自动分类器，其特征在于从预筛选分类器中输出的信息被用于将所述已识别的区域剔出不再让二级分类器进行分析。
4.如权利要求2所述的自动分类器，其特征在于从预筛选分类器中输出的信息用于对在所述预筛选分类器鉴别过的试样区域内找到的图像的二级分类进行修改。
5.如权利要求1所述的自动分类器，其特征在于初级统计筛选分类器仅限于对细胞核的鉴别而二级分类器既鉴别细胞核又鉴别其周围的细胞质。
6.如权利要求1所述的自动分类器，其特征在于初级筛选分类器和次级分类器两者都限于对细胞核的鉴别。
7.如权利要求1所述的自动分类器，其进一步特征在于，除了总光密度以外，还包括对细胞形态组成份进行非神经网络分类的装置，所述的装置连接在初级和次级分类器之间。
8.一自动细胞试样分类器，其特征在于包括一低分辨率的对细胞试样进行初步分类的神经网络，一高分辨率的，对细胞试样进行次级分类的神经网络，以及连接所述低和高分辨率的神经网络以便将代表有关位置的数据从前者传递到后者的装置。
9.一种对细胞试样进行分类的方法，其特征在于包括用一决定有关特征的位置的初级分类器进行初级分类和利用一神经网络对所述位置进行次级分类的细胞试样分类法。
10.如权利要求9所述的方法，其特征在于所述的初级分类包括用一摄像机或电荷耦合器件以获得试样的图像，一使这些图像转换成数字的图像数字转换器和一总光密度检测器。
11.如权利要求9所述的方法，其特征在于所述的初级分类包括神经网络的使用。
全文摘要
一对细胞试样进行分类的自动筛选系统，其中的分类使用了神经网络，该系统还包括自动显微镜和有关的图像处理电路。
文档编号G06Q50/00GK1037035SQ8910219
公开日1989年11月8日 申请日期1989年4月7日 优先权日1988年4月8日
发明者马克·R·鲁滕贝格 申请人:神经医学系统公司