本申请要求在2015年3月27日提交的美国临时申请62/139,016的权益，其公开内容通过引用并入本文。
本发明涉及使用基于机器学习的图像分类对医学图像数据中的不同类型的组织进行分类，以及更具体地涉及使用基于机器学习的图像分类的自动脑肿瘤诊断。
背景技术：
癌症为世界各地的主要健康问题。癌症的早期诊断对癌症治疗的成功至关重要。传统上，病理学家获取从患者身上采样的活检的组织病理学图像，在显微镜下检查组织病理学图像，并根据他们的知识和经验对诊断做出判断。遗憾的是，术中快速组织病理学往往不足以为病理学家提供准确的诊断信息。活检往往是非诊断性的，并且由于各种原因产生不确定的结果。这些原因包括抽样误差，其中活检可能不是源于肿瘤最具侵袭性的部分。此外，在样本制备期间可改变肿瘤的组织结构。其他缺陷包括缺乏交互性以及诊断结果的等待时间约为30-45分钟。
共焦激光显微内镜(cle)为医学成像技术，其可在细胞和亚细胞水平上实时提供组织的微观信息。因此，cle可用于进行光学活检，并且病理学家能够直接在手术室中使用图像。然而，对于诊断的手动判断对于不同病理学家可能是主观和变化的。另外，由于获取了大量图像数据，所以基于光学活检的诊断任务对于病理学家来说可能是重大的负担。用于自动组织诊断的计算机辅助方法需要减轻负担并提供定量数以支持病理学家的最终诊断。
技术实现要素：
本发明提供使用基于机器学习的图像分类对医学图像中的不同类型的组织进行自动分类的方法和系统。本发明的实施例使用学习的判别字典重构输入显微内镜图像的图像特征，并且使用训练的分类器对显微内镜图像中的组织基于重构图像特征进行分类。本发明的实施例利用字典学习算法，该算法明确地学习使子字典中的共同性的影响最小化的类别特定子字典。本发明的实施例可用于区分胶质母细胞瘤和脑膜瘤，并将共焦激光显微内镜(cle)图像中的脑肿瘤组织分类为恶性或良性。
在本发明的一个实施例中，从显微内镜图像中提取局部特征描述符。每个局部特征描述符使用学习的判别字典进行编码。学习的判别字典包括类别特定子字典，并惩罚与不同类别相关的子字典的基础之间的相关性。使用基于编码的局部特征描述符的、训练的机器学习型分类器对显微内镜图像中的组织进行分类，使用学习的判别字典从对每个局部特征描述符进行编码得到编码的局部特征描述符。
通过参考以下详细描述和附图，本发明的这些和其他优点对于本领域普通技术人员应是显而易见的。
附图说明
图1示出了根据本发明的实施例的用于获取和处理显微内镜图像的系统的示例；
图2示出了脑肿瘤组织的示例性cfe图像；
图3示出了根据本发明的实施例的用于分类显微内镜图像中的组织的在线图像分类的流水线的概况；
图4示出了根据本发明的实施例的学习判别字典并训练用于对显微内镜图像中的组织进行分类的分类器的方法；
图5示出了根据本发明的实施例的用于对一个或多个显微内镜图像中的组织进行分类的方法；以及
图6为能够实现本发明的计算机的高级框图。
具体实施方式
本发明涉及使用基于机器学习的图像分类对医学图像中的不同类型的组织自动分类。本发明的实施例可以应用于脑肿瘤组织的显微内镜图像以用于进行自动脑肿瘤诊断。本文描述了本发明的实施例以通过视觉的方式理解医学图像中的组织的自动分类方法。数字图像往往由一个或多个对象(或形状)的数字表示组成。本文通常在识别和操控对象的方面来描述对象的数字表示。此类操控为在计算机系统的存储器或其他电路/硬件中实现的虚拟操控。因此，应理解，可使用存储在计算机系统内的数据在计算机系统内执行本发明的实施例。
图1示出了根据本发明的实施例的、用于获取和处理显微内镜图像的系统100的示例。简而言之，显微内镜为通过称为“光学活检”的处理从人体内部实时获得组织学图像的技术。尽管多光子显微镜法和光学相干断层摄影术也适用于显微内镜使用并且可同样在各种实施例中使用，但是术语“显微内镜”通常是指荧光共焦显微镜。市售的临床显微内镜的非限制性实例包括pentaxisc-1000/ec3870cik和cellvizio(法国巴黎的maunakea技术公司)。传统上主要应用于胃肠道成像，特别是用于巴雷特食管、胰腺囊肿和结肠直肠病变的诊断和鉴定。共焦显微内镜的诊断谱最近从结肠直肠癌筛查和监测扩展到巴雷特食管、幽门螺杆菌相关性胃炎和早期胃癌。通过点扫描激光荧光分析，显微内镜可以在全分辨率的显微内镜检查中进行肠粘膜和体内组织学的亚表面分析。可以详细地观察细胞、血管和结缔组织。共焦激光显微内镜(cle)提供细胞和亚细胞水平上的组织的详细图像。除了应用于胃肠道之外，显微内镜也可应用于脑外科手术，其中来自正常组织的恶性(胶质母细胞瘤)和良性(脑膜瘤)肿瘤的鉴定在临床上是重要的。
在图1的示例中，一组装置被配置成执行共焦激光显微内镜(cle)。这些装置包括可操作耦合到成像计算机110和成像显示器115的探针105。在图1中，探针105为共聚焦微型探针。然而，应注意，可使用各种类型的微型探针，包括设计成用于成像各种视场、成像深度、远端尖端直径以及横向和轴向分辨率的探针。成像计算机110在成像期间提供由探针105使用的激发光或激光源。此外，成像计算机110可包括成像软件来执行诸如记录、重构、修改和/或导出由探针105采集到的图像的任务。成像计算机110还可被配置成执行下面关于图5更详细讨论的细胞分类方法，以及下面关于图4更详细讨论的用于学习判别字典和训练机器学习型分类器的训练处理。
脚踏板(图1中未示出)也可连接到成像计算机110，以允许用户执行诸如调整共焦成像穿透的深度、开始和停止图像采集和/或将图像保存到本地硬盘驱动器或远程数据库，诸如数据库服务器125。另选地或除此之外，其他输入装置(例如，计算机、鼠标等)可被连接到成像计算机110以执行这些功能。成像显示器115经由成像计算机110接收由探针105捕获的图像，并将其呈现在临床设置中。
继续描述图1的示例，成像计算机110(或直接或间接地)连接到网络120。网络120可包括本领域已知的任何计算机网络，包括但不限于内联网或因特网。通过网络120，成像计算机110可以在远程的数据库服务器125上存储图像、视频或其他相关数据。另外，用户计算机130可以与成像计算机110或数据库服务器125通信以检索可以在用户计算机130本地处理的数据(例如，图像、视频或其他相关数据)。例如，用户计算机130可从成像计算机110或数据库服务器125检索数据，并且使用它来执行下面在图5中讨论的细胞分类方法和/或用于学习判别字典的训练处理和下面在图4中讨论的训练机器学习型分类器。
尽管图1示出了基于cle的系统，但是在其他实施例中，系统可改为使用dhm成像装置。dhm也称为干涉相位显微镜，其为提供了定量地跟踪透明样本中的亚纳米光学厚度变化的能力的成像技术。与仅捕获了关于样本的强度(幅度)信息的传统数字显微镜不同，dhm捕获相位和强度。被捕获为全息图的相位信息可以用于使用计算机算法重构关于样本的扩展形态信息(例如，深度和表面特性)。现代dhm实施方案提供了几个额外的优点，诸如快速扫描/数据采集速度、低噪声、高分辨率和无标签采样的可能性。虽然在20世纪60年代首次记载dhm，但是仪器大小、操作的复杂性和成本一直是该技术在临床或点护理应用中广泛采用的主要障碍。近年的开发尝试解决这些障碍，同时增强关键特征，提高dhm可以成为有吸引力的选择，作为医疗保健和其他领域核心的、具有多重影响的技术的可能性。
已经提出了基于图像的检索方法来执行显微内镜图像识别任务。在此方法中，通过查询具有基于特征词袋(bow)的图像表示的图像数据库来执行分类，并且从数据库检索最相似的图像。然而，该方法需要大量的存储空间，这对于大型数据库大小来说可能是不可行的。本发明的实施例使用学习的任务特定字典对从显微内镜图像提取的特征描述符进行编码。
本发明的实施例利用基于自动机器学习的框架技术来将显微内镜图像分类为不同的组织类型。该框架技术有三个阶段：(1)离线字典学习；(2)离线分类训练；以及(3)在线图像分类。本发明的实施例将该图像分类框架技术应用于自动脑肿瘤诊断以区分两种类型的脑肿瘤：胶质母细胞瘤和脑膜瘤。可学习过完备字典来逼近给定的显微内镜图像的特征描述符。然而，本发明人已观察到，尽管不同类别的组织(例如胶质母细胞瘤和脑膜瘤)的图像包含高度区别特征，但是这些图像也可共享不会有助于图像识别任务的共同图案。区分胶质母细胞瘤和脑膜瘤的另一个问题是两种类型脑肿瘤大的类别内差异和小的类别间共同性。图2示出了脑肿瘤组织的示例性cfe图像。如图1所示，行202示出了最常见的恶性肿瘤类型的胶质母细胞瘤的cfe图像，以及行204示出了最常见的良性脑膜瘤类型的脑膜瘤的cfe图像。从图2可以看出，来自同一类脑肿瘤的图像之间存在很大的差异。此外，两种类型的脑肿瘤之间的判定边界不清楚，因为两种类型的颗粒和均匀图案都是混合的。
为了解决上述问题并提高基于字典的分类流水线的性能，本发明的实施例使用字典学习算法来学习判别字典，该算法明确地学习使子字典之间的共同性的影响最小化的类别特定的子字典。学习的判别字典可以与任何基于字典代码的编码方法一起使用，例如bow、稀疏编码和局部约束编码。另外，本文描述了充分利用学习的判别字典的新编码方法。
在有利的实施例中，在离线无监督码本(字典)学习、离线监督分类器训练和在线图像或视频分类的三个阶段中执行基于自动机器学习的显微内镜图像中的组织的分类。图3示出了根据本发明的实施例的用于分类显微内镜图像中的组织的在线图像分类的流水线的概况。如图3所示，用于在显微内镜图像中分类组织的流水线包括获取输入图像302、局部特征提取304、特征编码306、特征集合308和分类210。在输入图像上检测到局部特征点，并在每个特征点提取特征描述符，诸如尺度不变特征变换(sift)或定向梯度(hog)特征描述符直方图。应用具有k个条目的学习的码本或字典来量化每个特征描述符并生成“代码”层。术语“码本”和“字典”在本文中可互换使用。可以使用k平均聚类方法来生成字典。然而，在本发明的有利实施例中，使用字典学习方法来生成判别字典，该方法明确地学习使子语言中的共同性的影响最小化的类别特定的子字典。对于监督分类，然后将每个特征描述符转换为rk码，并且汇集用于输入图像的编码的特征描述符以产生图像表示。分类器经训练以基于编码的特征描述符对显微内镜图像进行分类，以及将训练分类器应用于表示输入图像的汇集的编码特征描述符以对输入图像中的组织进行分类。在可能的实施例中，使用了支持向量机(svm)或随机森林分类器，但是本发明不限于任何特定的分类器，并且可使用任何类型的机器学习型分类器。
图4示出了根据本发明的实施例的学习判别字典并训练用于对显微内镜图像中的组织进行分类的分类器的方法。可以离线执行图4的方法来学习判别字典，并且在使用学习的判别字典和训练分类器进行在线图像分类之前训练机器学习分类器以对输入显微内镜图像中的组织进行分类。参考图4，在步骤402，接收训练图像。训练图像为特定类型的组织的显微内镜图像，并且已知对应于组织类型的类别的每个训练图像。例如，训练可以被分为对应于恶性和良性组织的两类。也可以将训练图像分为对应于不同类型组织的三个或更多个类别。在有利的实施中，训练图像为cle图像。在示例性实施例中，训练图像可以为脑肿瘤的cle图像，并且每个训练图像可以被分类为胶质母细胞瘤或脑膜瘤。可以通过从图像数据库加载训练图像来接收训练图像。
在步骤404，从训练图像中提取局部特征描述符。在可能的实施方案中，在每个训练图像上检测局部特征点，并且在每个训练图像上的每个特征点提取局部特征描述符。可应用各种技术来进行特征提取。例如，可以在每个训练图像中的多个点的每个点提取诸如尺度不变特征变换(sift)、局部二进制模式(lbp)、定向梯度直方图(hog)和gabor特征等特征描述符。可基于临床应用和用户希望的其他结果特征来配置每种技术。例如，sift特征描述符为在计算机视觉中已被用于多种目的的局部特征描述符。在图像域中的转换、旋转和缩放变换是不变的，并且对于适度的透视变换和照明变化稳定。sift描述符已被证明在实际情况下对图像匹配和对象识别的实施过程非常有用。在一个示例性实施方案中，利用了在具有10个像素的间隔的网格上计算的20×20像素块的密集sift描述符。此类密集图像描述符可用于在脑膜瘤的情况下捕获细胞结构中的均匀区域，诸如低对比度区域。
在另一可能的实施例中，可使用机器学习技术而不是使用人为设计的特征描述符来学习在训练图像中具有辨别性价值的过滤器。这些机器学习技术可使用各种特征检测技术，包括但不限于边缘检测、拐角检测、斑点检测、脊检测、边缘方向、强度变化、运动检测和形状检测。
返回图4，在步骤406中，学习了可以将训练图像的局部特征描述符重构为判别字典中的基础的稀疏线性组合的判别字典。根据有利的实施例，判别字典包括使子字典中的共同性的影响最小化的类别特定子字典。例如，在训练图像为胶质母细胞瘤和脑膜瘤脑肿瘤的cle图像的情况下，学习了对应于每个类别(即，胶质母细胞瘤和脑膜瘤)的子字典。该学习方法在考虑字典内的全局字典和单类表示(子字典)的同时，使用判别字典将训练图像的特征描述符和重构的特征描述符之间的误差最小化。
给定训练集y＝[y1,...,yn]∈rmxn，传统的字典学习旨在学习能够最好地重构训练实例的基础字典：
其中，d＝[d1,...,dk]∈rmxn为具有k个基数的字典，xi∈rk为yi的重构系数，||·||1表示促成重构系数稀疏性的l1范数，λ为调整参数。不同于将每个训练实例分配给最近的聚类中心的k均值聚类，公式(1)学习不完整的字典d，并将每个训练实例表示为字典中基础的稀疏线性组合。
为了学习非常适合于监督分类任务的字典，已经提出了学习每个类别的子字典的类别特定字典学习方法。例如，此字典学习方法可以表达为：
其中，c为是类别的数量，
根据本发明的有利实施例，通过在弹性网络正则化下的一组类别特定子字典的形式的图像的特征表示之间的高阶耦合来学习判别字典，其被公式化为：
其中，d∈c＝[0，...,d∈c,...0]和
弹性网络正则化器为重构系数的l1范数和l2范数的加权和。与纯l1范数正则化项相比，弹性网络正则化项允许选择相关特征的组，即使该组预先不知道。除了执行分组选择之外，弹性网络正则化项对于相对于输入训练实例的备用重构系数的稳定性也是至关重要的。并入弹性网络正则化项以执行组稀疏约束提供了类别特定字典学习的以下优点。首先，可以压缩特征之间的类内变化，因为来自相同类别的特征倾向于通过在相同组(子字典)内的基础重构。其次，来自不同子字典的相关原子(基础)的影响可以被最小化，因为它们的系数往往同时为零或非零。第三，可以去除系数分布中的可能的随机性，因为系数具有组聚类稀疏特征。
通过优化公式(3)来学习判别字典d。公式(3)的优化可以通过在固定另一字典时优化d和x来迭代求解。d和x可以使用预设值进行初始化。在固定字典d之后，可以通过求解以下凸问题来计算系数向量
其中，
其中，i∈rkxk为同一性矩阵。在有利的实施方案中，可以使用乘法器的交替方向方法(admm)来求解公式(4)。虽然字典为固定的d，求解公式(4)以优化所有类别中所有训练实例的系数向量。
重构系数为固定的，并且在重构系数为固定的情况下，字典中的基础(原子)被更新。在有利的实施例中，子字典按类别更新。换句话说，在更新子字典dc时，所有其他子字典都将被固定。然后可以从优化中省略与当前子字典无关的术语。因此，用于更新子字典dc的目标函数可以表示为：
公式(6)存在分析解。具体地，公式(6)可以使用以下分析解求解：
可以使用公式(7)中的分析解来求解用于每个子字典的公式(6)，以便更新每个子字典的字典基础。可以迭代更新系数和字典基础，直到字典基础和/或重构系数收敛或直到执行预设数量的迭代。在示例性实施例中，学习了用于重构从胶质母细胞瘤和脑膜瘤中的训练图像中提取的局部特征描述符类的具有两个子字典的判别字典，一个与胶质母细胞瘤(恶性)类别相关联以及另一个与脑膜瘤(良性)类别相关联。
返回图4，在步骤408，使用训练图像的编码特征描述符训练分类器。分类器为基于机器学习的分类器，其被训练为基于从图像中提取的编码的特征描述符将图像分类成对应于图像中的组织类型的多个类别中的一个，并且使用在步骤406中学习的、学习的判别字典进行编码。可以使用各种方法来使用学习的字典对每个特征描述符进行编码。下面结合图5的步骤506更详细地描述这些方法。可以汇集用于特定训练图像的编码特征描述符，以便生成该训练图像的图像表示。然后基于用于每个训练图像的汇集编码特征描述符和训练图像的已知类别来训练基于机器学习的分类器，以便基于所汇集的编码特征描述符将图像分类到类别中。例如，基于机器学习的分类器可使用支持向量机(svm)、随机森林分类器或k个最近邻(k-nn)分类器来实现，但是本发明不限于此，也可使用其他的基于机器学习的分类器。在示例性实施例中，对分类器进行训练以基于从图像中提取的编码的局部特征描述符将显微内镜图像中的组织分类为胶质母细胞瘤(恶性)或脑膜瘤(良性)。
图5示出了根据本发明的实施例的用于对一个或多个显微内镜图像中的组织进行分类的方法。图5的方法可以在外科手术期间实时或接近实时地执行，以分类在外科手术期间获取的显微内镜图像。图5的方法使用在外科手术之前，例如使用图4的方法学习/训练的学习的判别字典和训练分类器。图5的方法可用于对各个显微内镜图像中的组织进行分类，或者按照显微内镜图像序列(即，显微内镜视频流)对组织进行分类。
参考图5，在步骤502，接收显微内镜图像。例如，显微内镜图像可为使用cle探针，诸如图1中的探针105获取的cle图像。显微内镜可以接收作为一部分显微内镜视频流的图像帧。在有利的实施例中，显微内镜图像可以从用于获取显微内镜图像的探针直接接收。在此情况下，图5的方法可以在获取显微内镜图像的外科手术期间实时或接近实时地执行。也可以通过从执行图5的方法或从远程数据库的计算机系统的存储或存储器加载先前获取的显微内镜来接收显微内镜图像。在示例性实施例中，显微内镜图像可为脑肿瘤组织的显微内镜图像。
在接收显微内镜视频流的可能实施例中，可使用基于熵的修剪来自动去除可能不是临床上感兴趣或不适合图像分类的低图像纹理信息(例如，低对比度并且包含很少的分类信息)的图像帧。例如，可使用该去除来解决一些cle装置的有限的成像能力。图像熵为用于描述图像的“信息性”的量，即包含在图像中的信息量。低熵图像具有非常小的对比度和大量具有相同或相似灰度值的像素。另一方面，高熵图像从一个像素到下一个像素具有很大的对比度。对于胶质母细胞瘤和脑膜瘤的cle图像，低熵图像包含大量均匀的图像区域，而高熵图像的特征在于丰富的图像结构。可以使用熵阈值来执行修剪。可基于用于学习判别字典并训练机器学习型分类器的训练图像的整个数据集中的图像熵的分布来设定该阈值。
在步骤504，从接收到的显微内镜图像中提取局部特征描述符。在有利的实施例中，在显微内镜图像上的多个点的每个点提取相应的特征描述符，从而产生从显微内镜图像提取的多个局部特征描述符。例如，可以在显微内镜图像中的多个点的每个点提取诸如尺度不变特征变换(sift)、局部二进制模式(lbp)、定向梯度直方图(hog)或gabor特征等特征描述符。也可以在显微内镜图像的多个点的每个点上提取多个上述特征描述符。在示例性实施方案中，在显微内镜图像的多个点中的每个点提取sift特征描述符。sift特征描述符在图像域中的转换、旋转和缩放变换是不变的，并且对于适度的透视变换和照明变化稳定。在一个示例性实施方案中，从显微内镜图像中提取在具有10个像素的间隔的网格上计算的20×20像素块的密集sift特征描述符。
在另一可能的实施例中，没有使用人为设计的特征描述符，而是可以使用通过使用机器学习技术从训练图像中学习的过滤器来自动提取局部特征。这些机器学习技术可使用各种特征检测技术，包括但不限于边缘检测、拐角检测、斑点检测、脊检测、边缘方向、强度变化、运动检测和形状检测。
在步骤506，使用学习的判别字典对从显微内镜图像提取的局部特征描述符进行编码。在有利的实施例中，使用图4的方法训练的、学习的判别字典用于对局部特征描述符进行编码。将编码处理应用于从显微内镜图像中提取的每个局部特征描述符，以使用k个基础的学习的判别字典d＝[d1,...,dk]∈rmxk将该局部特征描述符转换为k维码xi＝[xi1,...,xik]∈rk。用于特定局部特征描述符的“代码”为用于将该局部特征描述符重构为学习的判别字典的基础的线性组合的重构系数的向量。
可以使用各种编码方案使用学习的判别字典d来计算输入局部特征描述符y的重构系数x。例如，可以使用学习的判别字典代替现有编码方案，诸如bow、稀疏编码或局部约束线性编码中的常规字典。本文也描述了使用学习的判别字典d来计算输入局部特征描述符y的重构系数x的其他编码方案。此类特征编码方案被应用于从显微内镜图像中提取的每个局部描述符，以便确定每个局部描述符的重构系数。
在示例性实施例中，可以使用弹性网络正则化器下的特征编码来计算每个局部特征描述符y的重构系数x。在弹性网络正则化器下编码局部特征描述符y可以公式化为：
公式(8)可以重写为：
其中，
在另一示例性实施例中，可以使用通过最近质心编码的特征来计算每个局部特征描述符y的重构系数x。在本实施例中，局部特征描述符y可以由最近的字典基础编码，如下所示：
s.t.1tx＝1,xi∈0,1(10b)
在另一示例性实施例中，可以使用局部约束线性正则化项下的特征编码来计算每个局部特征描述符y的重构系数x。在局部约束线性正则化项下编码局部特征描述符y可以公式化为：
s.t.1tx＝1(11b)
其中b为对于与输入的局部特征描述符y的相似度成比例的每个字典基础给出不同权重的局部适配器，即，
在另一示例性实施例中，可以使用局部约束稀疏正则化项下的特征编码来计算每个局部特征描述符y的重构系数x。在局部约束稀疏正则化项下编码局部特征描述符y可以公式化为：
s.t.1tx＝1(11b)
其中b为给出了与输入的局部特征描述符y的相似度成比例的每个字典基础的不同权重的局部适配器，即，
在另一示例性实施例中，可以使用局部约束弹性网络正则化项下的特征编码来计算每个局部特征描述符y的重构系数x。在局部约束弹性网络正则化项下编码局部特征描述符y可以公式化为：
s.t.1tx＝1(11b)
其中b为给出了与输入的局部特征描述符y的相似度成比例的每个字典基础的不同权重的局部适配器，即，
返回图5，在步骤508，使用训练分类器，基于编码的局部特征描述符对显微内镜图像中的组织进行分类。在有利的实施例中，经训练的分类器为使用图4的方法训练的基于机器学习的分类器。训练分类器可以使用线性支持向量机(svm)、随机森林分类器或k个最近邻(k-nn)分类器来实现，但是本发明不限于此，也可使用其他的基于机器学习的分类器。经编码的局部特征描述符，即为每个局部特征描述符确定的重构系数被输入到训练分类器，并且训练分类器基于这些编码特征对显微内镜图像中的组织进行分类。根据本发明的有利实施例，由于字典学习方法惩罚了除了与一个类别相关联的子字典之外子字典的字典基础中该类别的训练图像的特征描述符的重构，所以大部分使用与该类别关联的子字典内的基础来重构特定类别的显微内镜图像的局部特征描述符。因此，识别判别字典中的哪些基础用于重构每个局部特征描述符的重构参数将在区分类别中具有显著的辨别价值。
在有利的实施例中，可以汇集用于显微内镜图像的编码特征局部描述符(即，用于每个提取的局部特征描述符的重构系数)，以便在被输入到经训练的分类器之前生成显微内镜图像的图像表示。可以应用一个或多个特征汇集操作来汇总编码的局部特征描述符，以生成显微内镜图像的最终图像表示。例如，诸如最大汇集、平均汇集或其组合的汇集技术可应用于编码的局部特征描述符。在可能的实施方案中，可以使用最大汇集和平均汇集操作的组合。例如，每个特征图可被划分成规则间隔的方形斑块，并且可应用最大轮询操作(即，可确定在每个方形斑块上的特征的最大响应)。最大汇集操作允许平移局部不变。然后，可根据方形斑块计算最大响应的平均值，即在最大汇集之后应用平均汇集。最后，可通过汇聚来自平均汇集操作的特征响应来形成图像表示。一旦执行汇集，通过汇集显微内镜图像的经编码的局部特征描述符所生成的图像表示被输入给训练的分类器，并且该训练的分类器基于输入图像表示对显微内镜图像中的组织进行分类。
在有利的实施例中，训练的分类器将脑肿瘤的显微内镜图像中的组织分类为胶质母细胞瘤(恶性)或脑膜瘤(良性)。此外，除了将组织分类成多个组织分类中的一者(例如，胶质母细胞瘤或脑膜瘤)之外，训练的分类器还可计算分类得分，分类得分为为关于分类结果的概率或置信度得分。
返回图5，在步骤510，输出显微内镜图像中的组织的分类结果。例如，可在计算机系统的显示装置上显示为显微内镜图像中的组织标记的类别。例如，类别标签可表明特定类型的组织，诸如胶质母细胞瘤或脑膜瘤，或者可表明显微内镜图像中的组织是恶性还是良性。
尽管图5的方法被描述为在单个显微内镜图像中分类组织，但是图5的方法也可以应用于显微内镜视频流。由于显微内镜视频流为显微内镜图像帧序列，所以可以对显微内镜视频流的多个显微内镜图像帧重复步骤502-508，并且可以基于视频序列中每个显微内镜图像帧中的组织的单独分类结果，使用基于多数投票的分类方案来确定组织的总体分类。可以针对在固定时间长度内获取的视频流的多个显微内镜图像帧重复步骤502-508。然后，基于多数投票的分类使用在固定长度时间内获取的视频流内的图像的多数投票结果，将整体类别标签分配给视频流。可基于用户输入来配置用于特定视频流的窗口的长度。例如，用户可提供可用于导出此值的特定长度值或临床设置。另选地，可基于对过去结果的分析来随时间动态地调整长度。例如，如果用户指示多数投票分类提供了不足的或次优的结果，则可通过将窗口大小修改为小的值来调整该窗口。随着时间的推移，可以为正在处理的特定类型的数据学习最佳窗口长度。一旦多数投票决定了显微内镜视频流中的组织的总体分类，则执行步骤510并输出视频流的分类结果。
上述用于学习判别字典和训练基于机器学习的分类器以及显微内镜图像中的组织的自动分类的方法可在计算机上使用公知的计算机处理器、存储器单元、存储装置、计算机软件和其他部件实现。图6中示出了此计算机的高级框图。计算机602包含处理器604，其通过执行定义此操作的计算机程序指令来控制计算机602的整体操作。计算机程序指令可被存储在储存装置612(例如磁盘)中，并且当需要执行计算机程序指令时被加载到存储器610中。因此，图3-5的方法的步骤可由存储在存储器610和/或储存器612中的计算机程序指令定义，并由执行计算机程序指令的处理器604控制。诸如cle探针的图像采集装置620可以可操作地连接到计算机602，以将图像数据输入到计算机602。图像采集装置620和计算机602可以直接连接或实现为一个装置。图像采集装置620和计算机602也可以通过网络进行无线通信。在可能的实施例中，计算机602可以相对于图像采集装置620位于远端，并且本文描述的部分或全部方法步骤可以作为服务器或基于云的服务的一部分来执行。在此情况下，方法步骤可在单个计算机上执行或分布在多个联网和/或本地计算机之间。计算机602还包括用于经由网络与其他装置进行通信的一个或多个网络接口606。计算机602还包括使得用户能够与计算机602进行交互的其他输入/输出装置608(例如，显示器、键盘、鼠标、扬声器、按钮等)。本领域技术人员应认识到，实际计算机的实施方案也可以包含其他部件，并且图6为用于说明目的的此类计算机的一些部件的高级表示。
上述详细描述应被理解为在各方面都是说明性和示例性的而不是限制性的，并且本文公开的本发明的范围不是根据具体实施方式来确定，而是由根据专利法允许的广度解释的权利要求确定。应理解，本文所示出和描述的实施例仅仅为本发明的原理的说明，并且在不脱离本发明的范围和精神的情况下，本领域技术人员可实现各种修改。本领域技术人员可以在不脱离本发明的范围和精神的情况下实现各种其他特征组合。