生物组织的计算机分类的制作方法

本公开涉及使用计算系统对生物组织进行分类，包括方法以及相应计算机程序和计算机系统。

背景技术：

生物组织的检查和分类是癌症筛查程序的一部分。例如，在筛查宫颈癌的情况下，可以执行阴道镜检查，其中直接观察子宫颈并捕获其一张或多张图像。这使得可以根据子宫颈的病变风险来对子宫颈的病变进行标识和分类，从而可以执行适当的活检或治疗。这种分类通常由医学专业人员来执行。

在国际专利公开号wo-01/72214中已经描述了一种特别良好执行的阴道镜检查技术，在该阴道镜检查技术中将病理学鉴别剂(pathologydifferentiatingagent)(特别是稀乙酸)施加到生物组织。这会导致短暂的光学效应，特别是组织的变白，这可以直接观察到，并且也可以在捕获图像中观察到。此外，可以执行对一张或多张捕获图像的瞬态和/或光谱分析，特别是对漫反射率的测量，并且可以将这种数据提供给医学专业人员以帮助其分析。使用该技术的阴道镜检查由狄希斯医疗有限公司(dysismedicallimited)销售。

基于计算机的人工智能已经在许多领域应用于医学分类，例如磁共振成像(mri)和放射学图像。还考虑了将人工智能技术应用于生物组织的分类，例如宫颈病变分类。hu等人发表在jnatlcancerinst2019(doi:10.1093/jnci/djy225)的“深度学习和自动评估子宫颈图像以进行癌症筛查的观察性研究(anobservationalstudyofdeeplearningandautomatedevaluationofcervicalimagesforcancerscreening)”，研究了对“子宫颈像(cervigram)”(在将稀乙酸应用于子宫颈上皮之后的约一分钟，使用固定聚焦的环形胶片相机拍摄的子宫颈图像)的自动评估，以识别癌症前期和癌性病变以用于即时护理宫颈筛查。在该方法中，将子宫颈像作为输入提供给基于深度学习的算法，特别是更快的基于区域的卷积神经网络(更快的r-cnn)。该算法执行对象(子宫颈)检测、特征提取(计算对象的特征)以及分类为高级别宫颈肿瘤的阳性或阴性(预测病例概率分数)。在对筛查人群进行研究时，该方法在识别癌症前期或癌症病例时，获得了0.91的曲线下面积(auc)，该面积大于相同数据集的原始子宫颈像图解(0.69的auc)。

xu等人发表在医学图像计算和计算机辅助干预—miccai2016，计算机科学讲义，vol.9901,springer,cham的“用于宫颈发育异常诊断的多模式深度学习(multimodaldeeplearningforcervicaldysplasiadiagnosis)”，考虑了将机器学习应用于宫颈发育异常的诊断。在该方法中，在将5％的乙酸施加到子宫颈上皮之后捕获的子宫颈图像被作为输入提供给深度神经网络。此外，将其他医学测试的临床结果和有关受试者(subject)的其他数据作为输入提供，使得神经网络具有多模式输入。包括多个卷积神经网络层的结构被用于学习图像特征，并使用联合的全连接神经网络层来对不同的模态进行组合。据报道，该技术可以在90％的特异性(specificity)下以87.83％的敏感性(sensitivity)给出最终诊断。

这种技术对医学专业人员可能有用，特别是在无法进行宫颈筛查的发展中国家，但是希望从人工智能提供更多临床上有用的输出(例如，疾病的标测和分级以进行准确的活检放置)来改善医学专业人员进行正确诊断并提供适当治疗或必要时进行跟进的能力。

技术实现要素：

在这种背景下，本公开提供了一种根据权利要求1的使用计算系统对生物组织进行分类的方法、一种根据权利要求27的计算机程序以及如由权利要求28所定义的计算系统。在从属权利要求和本文中详细说明了其他特征。

在计算系统处接收包括生物组织(特别是受试者的子宫颈)的检查区域的多张图像的图像数据。每张图像是在将病理学鉴别剂局部施加到组织的检查区域而引起瞬态光学效应的时间段期间的不同时间处捕获的。具体地，病理学鉴别剂可以包括乙酸(通常为稀乙酸，通常为3-5％)，使得瞬态光学效应可以包括乙酰增白效应(尽管其他鉴别剂和/或光学效应也是可能的，例如使用分子诊断)。在图像捕获的时间段内，检查区域可能暴露于光辐射，光辐射可以是宽带的(跨越大部分或全部光谱)或窄带的(限于一种或一系列波长范围，仅定义一种或有限范围的颜色，可能包括紫外线和/或红外线)。因此，在施加试剂之后(例如，以预定和/或规则间隔)捕获的图像可以显示出瞬态光学效应的进展。将接收到的图像数据(其可能已经进行了图像处理，如下所述)作为输入提供给机器学习算法(其在计算系统上运行)。机器学习算法将多个分类之一分配给组织。子宫颈也可以例如基于一个或多个掩模(例如，通过形态或特征提取的识别而定义)的应用和/或基于在整个组织上施加的局部分类来分段。因此，组织可以被分类为组织的检查区域的离散的和限定的子区域，特别是具有分配给子宫颈的每个片段(segment)的不同分类。可以通过连续范围(例如，从0到1或0到100)上的值或一组离散选项来定义分类，这可以包括多个疾病标签(例如：阴性与阳性，或例如：低风险；中风险；高风险，特定疾病状态，例如：cin1、cin2、cin3、或存在一种或多种形态特征，例如存在非典型血管、尖锐的病变边界(sharplesionborder)或疾病，例如持久或致密的乙酰增白)。

在本文公开的方法中，可以实现生物组织的体内或体外自动分类。相对于现有方法，使用在瞬态光学效应的过程中拍摄的多张图像可以显著改善分类的敏感性和/或特异性。敏感性和特异性可能是指识别宫颈发育异常和/或宫颈肿瘤的能力。因此，敏感性是指正确识别表现出宫颈发育异常和/或宫颈肿瘤的组织的能力。因此，特异性是指正确识别未表现出宫颈发育异常和/或宫颈肿瘤的组织的能力。取决于应用环境，输出可以集中在最大程度地提高敏感性或特异性上，或者以对一个或两个最优的阈值进行操作。尽管可以基于整个受试者/组织来进行分类，但是本发明允许识别怀疑是癌症前期或癌症的组织区域。这对于引导活检或治疗(包括手术切除)可能是有利的。可以对这些部位进行活检以确认身份。在许多或大多数情况下，这种系统的成功实现可以使活检变得不寻常。例如，基于这种分类的输出，可以直接指导患者出院进行常规筛查或治疗。而且，机器学习算法的输出可能比现有方法在临床上更有用，这将在下面讨论。该技术可以被实现为方法、计算机程序、可编程硬件、计算机系统和/或用于组织检查的系统(例如，阴道镜检查系统)。

例如，一种用于组织的分类的计算系统，可以包括：输入端，用于接收图像数据；以及处理器，用于操作机器学习算法。在实施例中，该计算系统还包括图像收集模块，用于捕获图像数据所基于的光学图像(例如，原始图像)。图像收集模块可以相对于处理器位于远程。在一些设计中，处理器包括多个处理设备，每个处理设备(例如，以分布式方式)运行机器学习算法的部分。然后，图像收集模块可以相对于至少一个处理设备位于远程。下面讨论适用于根据本公开的任何可能的实现方式的方法(无论是作为方法或程序步骤和/或作为结构特征)。

作为输入提供给机器学习算法的图像数据可以从所捕获的光学图像(即，原始图像)中导出，这些光学图像是由图像收集模块(其可以形成计算机系统的部分，或者也可以位于计算机系统的外部)拍摄的。例如，光学(原始)图像可以被按比例缩放(例如，基于各个光学图像的聚焦距离)。这可以允许一个组织的多张图像具有与另一组织相同的比例。每张图像可以具有相同的像素布置(即，相同的图像尺寸和形状)。可以通过将一个或多个变换应用于光学图像来实现多张图像的对准。可以通过图像分析和/或处理来从光学图像中去除伪影。图像可以被分解或细分为小块(patch)(例如，连续的像素块，优选为二维的)，其可以形成图像数据。小块可以重叠，例如以小于小块尺寸的步幅(stride)创建小块，这可以提高分辨率。

机器学习算法的附加输入可以基于对多张图像中的每张图像进行的处理，该处理基于描述局部颜色、渐变和纹理的数学函数来提取定制的特征，尽管也可以设想其他特征。这可以在被定义为像素块(例如，8x8、16x16、32x32像素的正方形块或其他尺寸、矩形块或其他形状的块)的小块的图像的子部分上单独完成。每张图像可以被分解为多个小块，它们之间具有步幅，其可以是4、8、16、32像素(也可以使用其他尺寸)。如上所述，可以将小块作为图像数据而提供，以作为输入提供给机器学习算法。

可以在计算机系统处获得图数据(mapdata)，该图数据包括针对每个像素的相应分析指标。例如，基于以下各项中的一项或多项，从多张图像中导出分析指标：像素在多张图像上的最大强度；达到像素的最大强度的时间；和像素在多张图像上的强度的总和(其可以包括加权总和，例如以提供强度相对于图像捕获时间的曲线下面积)。这些参数中的每一个参数可以被限制为预定的光谱带宽，和/或多个这类参数(相同或不同类型)可以各自用于不同的光谱带宽。跨多张图像的相同像素的数据可以拟合为曲线，并且该曲线可以用于获取参数。这产生了选自以下各项中的一项或多项的有用参数：曲线下面积(整数)、达到最大强度的曲线下面积(“最大面积”)、达到最大强度的曲线的(拟合或平均)斜率、最大强度之后的曲线的(拟合或平均)斜率。在wo2008/001037中讨论了用于本发明的特定参数，其通过引用以其整体并入本文。可以使用多个(不同类型和/或不同光谱带宽的)参数的加权组合来建立分析指标。分析指标可以表示漫反射率的测量。有利地，可以将图数据作为附加输入提供给机器学习算法，例如作为附加图像输入。

机器学习算法有利地包括神经网络，并且更优选地包括深度神经网络(包括多个隐藏层)，尽管可以考虑使用浅层神经网络的实现方式。深度神经网络可选地包括以下各项中的一项或多项：卷积神经网络；全连接神经网络；和递归神经网络，但是也可以考虑其他类型的网络。深度神经网络可以包括一个或多个卷积神经网络层。机器学习算法优选地是多模式的，因为它可以接收图像和非图像数据作为训练和测试的输入。

在实施例中，对图像进行处理以识别和/或量化一个或多个提取特征和/或至少一种形态特征，例如以下各项中的一项或多项：非典型血管；马赛克；和刻点。可以将一个或多个提取特征和/或至少一个形态特征作为附加输入提供给机器学习算法。在不太优选的方法中，这可以允许将图像划分为小块(基于一个或多个提取特征和/或至少一个形态特征)。

可以将一个或多个受试者特征(每个受试者特征与生物组织所源于的受试者有关)作为另一输入提供给机器学习算法。例如，受试者特征可以包括：受试者风险因素和/或受试者临床测试结果。受试者风险因素可以包括以下各项中的一项或多项：受试者的年龄；受试者的吸烟状况；针对hpv的疫苗接种状况；性伴侣的数量；安全套的使用；以及受试者的分娩。受试者临床测试结果可以包括以下各项中的一项或多项：先前的细胞学结果；先前的人类乳头瘤病毒(hpv)测试结果；先前的hpv分型测试结果；先前的宫颈治疗信息；以及先前的宫颈癌或癌症前期的筛查历史。

有利地，机器学习算法将多个分类中的一个分类分配给组织的一个或多个片段中的每一个片段。可以使用机器学习算法来从图像数据中识别一个或多个片段，例如以识别感兴趣或病变的单个区域。在一些实施例中，可以识别图像中与子宫颈相对应的部分，这可以允许确定合适的片段。例如，分类可以采用诊断标签的形式。在另一种选择中，分类可以是组织的图像(即有利地基于多张图像的输出图像)的“热图”形式，其中每个像素的强度和/或颜色表示该像素的分类，优选地表示该像素的概率分类。在另一种选择中，分类输出可以是风险标签的形式，由此将组织区域突出显示为(例如，通过边界框)无风险、低风险或高风险。可选地，还可以分配组织的总体分类。这可以基于分配给片段的分类，或基于(独立的)并行机器学习模型的结果。

有利地，基于多个其他生物组织中的每一个生物组织的相应多张图像和相应分配的一个分类(或多个分类，如果适用的话)，对机器学习算法进行训练。其他生物组织的数量可能很大，例如至少500、1000、2000或5000。分配的分类可以是这样的，即每个组织的特定区域(或多个区域的组)以组织病理学读数(histopathologyreadings)为特征。

还可以使用诸如转移学习和选择性再训练(例如，yoon等人发表在iclr2018的“使用动态可扩展网络进行终身学习(lifelonglearningwithdynamicallyexpandablenetworks)”中所描述的)之类的方法，通过向机器学习算法(和/或机器学习算法在第二计算机系统上可操作的版本)提供组织的用户确定分类或数据库分类(例如，由医学专业人员提供，例如来自组织学或主观评估的活检或切除治疗)，来连续地和/或动态地训练(增量学习)机器学习算法。在以分布式方式提供机器学习算法的情况下，可以在图像收集模块的本地提供第一部分，并且可以在更远的地方提供第二部分。这两个部分都可以分配分类。连续(动态)训练可以仅应用于第二部分，尤其是分批进行，并且可以合并来自多个不同的第一部分的数据。第一部分可以是固定算法，该算法可以被更新(每隔一段时间，例如在多个分类或特定时间长度之后)。

附图说明

可以以多种方式将本发明付诸实践，并且现在将仅通过示例并参考附图的方式来描述优选实施例，其中：

图1示出了根据本公开的计算系统的示意图；

图2示意性地描绘了根据本公开的处理；

图3示意性地示出了说明根据本公开的实验系统的方法的流程图；

图4示意性地描绘了已知的随机森林分类模型；

图5示意性地示出了已知的人工神经网络架构；

图6示意性地示出了已知的长期排序存储器架构；

图7a、图7b、图7c和图7d各自示出了通过现有方法处理的第一示例生物组织的指示性热图(图7a)或根据图4至图6的方法处理的第一示例生物组织的指示性热图(图7b、图7c和图7d)；以及

图8a、图8b、图8c和图8d各自示出了通过现有方法处理的第二示例生物组织的指示性热图(图8a)或根据图4至图6的方法处理的第二示例生物组织的指示性热图(图8b、图8c和图8d)。

具体实施方式

首先参考图1，示出了根据本公开的计算系统的示意图。该计算系统包括：图像收集模块10；本地处理器15；主服务器20；身份数据库30；成像数据库40。本地接口12将图像收集模块10与本地处理器15耦合。处理接口22将本地处理器15与主服务器20耦合。第一身份接口32将身份数据库30与本地处理器15耦合，并且第二身份接口34将身份数据库30与主服务器20耦合。第一图像数据接口42将成像数据库40与本地处理器15耦合，并且第二图像数据接口44将成像数据库40与主服务器20耦合。将注意到，图1的计算系统并入了可能不同于计算机的部件，例如作为光学系统和/或电子控制系统的部分的部件。然而，出于本公开的目的，这些都将被认为是计算系统的部分。

图像收集模块10是阴道镜成像单元，用于捕获和收集检查区域(特别是子宫颈)的光学图像。尽管本发明的主要实施例涉及阴道镜系统，并且存在适用于这种系统的显著和明显的优点，但是应该理解，本文所述的实现方式可以用于其他类型的用于对生物组织进行检查和/或成像的系统。图像收集模块10由本地处理器15控制，该本地处理器15可以包括用户界面，例如包括控件和/或显示器。身份数据库30用于存储患者身份数据。在检查期间，本地处理器可以使用第一身份接口32与身份数据库30交互，以检索被检查患者的身份数据。通过第一图像数据接口42将在检查期间收集的图像存储在成像数据库40中。可以将患者标识符与患者图像存储在一起，以允许与存储在身份数据库30中的信息进行交叉引用。

作为检查过程的部分，将稀乙酸局部地施加于子宫颈，这会产生乙酰增白(aceto-whitening)效应。在乙酰增白过程中拍摄子宫颈的图像。图像捕获的启动发生在施加稀乙酸之后，并且还可能发生在施加之前和施加时(以提供参考图像)。目标或检查区域(包括子宫颈)被照明。通常根据光束特性、颜色轮廓和强度来对照明的属性进行标准化和量化。随时间捕获子宫颈的一系列光学图像，以用于对子宫颈上皮的光学特性的任何变化进行量化。通常，在相对于稀乙酸施加时间的预定时间处拍摄图像。预定时间可以是规则的时间间隔，或者起初可以更频繁，并且随后更不频繁。如上所述，这些图像被存储在成像数据库40中。图像可以以离散图像的形式和/或作为视频格式或流而被捕获和/或存储，并且可选地还使用本地处理器15的用户界面(具有一个或多个屏幕)来显示，这可以允许操作员也执行检查。图像收集模块经过校准，因此具有标准化且可测量的特性(例如，视野和/或颜色轮廓和/或对光强度的响应)。针对每张图像的聚焦距离是已知的并且被保存。光学图像可以捕获宽频谱或窄频谱(例如，被限制为一个或多个特定光学频带，每个光学频带小于完整光谱，例如特定颜色或颜色组)。

“原始”光学图像(本文中的术语“光学图像”通常是指原始图像或在完成图像处理和/或分析之前的这种图像)的处理可以在本地处理器15和/或主服务器20处发生，例如，以图像分析子系统的形式。处理的一种形式是对图像的尺寸进行标准化。对于固定焦距光学系统，这可以参考每张光学图像的聚焦距离来实现。通常，相同检查区域的每张光学图像的聚焦距离将是相同的(特别是当使用国际专利公开号wo-01/72214中所述的阴道镜装置时，其中组织与装置的光学头之间的相对位置在拍摄多张图像时几乎保持不变)。使用光学图像各自的聚焦距离，可以将图像按比例缩放到标准尺寸(以便每个像素对应于标准物理长度)。这允许将为不同组织拍摄的图像进行比较。然而，如果使用不太有利的阴道镜装置，其中组织与装置的光学头之间的相对位置可以变化，则可以将多张图像各自按比例缩放以标准化它们的尺寸。

用于调整图像尺寸的典型分辨率为1024x768或2048x1536，但是其他分辨率也是可能的。处理的另一种形式是参考图像中所示的特定特征(例如，子宫颈)来对准图像。这种对准的目的是补偿在光学图像的捕获期间的自然运动，例如位移和收缩。可以通过以下方式来实现这种对准：在每张图像中识别一个或多个特定特征并基于特征识别来比较图像，以确定变换参数(例如，平移、旋转、放大或变形)以通过图像堆栈来实现特征的对准。然后可以使用标准图像处理技术、基于所确定的变换参数来实现变换。图像处理的另一种形式可以包括用于处理原始光学图像或后处理图像的算法，以相对于背景(感兴趣区域)来识别子宫颈的区域。在处理的另一种形式中，可以识别和去除可能共存于图像上的伪影(artefact)，例如反射。模式识别还可以识别形态特征，例如以下各项中的一项或多项：非典型血管；马赛克和刻点(punctation)。通常，使用所有形式的图像处理技术，但是在一些实施例中可以仅应用子集。此外，可以在系统的不同部分中执行不同形式的处理。经处理的图像采用高质量jpeg或png格式以及rgb彩色模式(但是可以接受不同的格式)。质量度量可以用于允许识别图像问题，例如出现眩光或其他伪影的区域以及未聚焦的图像。这可以允许它们从任何分析中排除和/或向用户提供反馈。

近年来，人工智能(ai)已经成为一种可以在包括医疗和健康相关应用的各种人类活动领域中实施的行之有效的方法。跨科学界开发的先进算法有望实现更准确且更高效的过程。已经考虑了将ai应用于处理医学图像，特别是使用已经应用乙酰增白过程的子宫颈的图像。现在已经认识到，在乙酰增白过程中应用(例如，收集和分析)子宫颈的多张图像可以显著地改善ai的性能。这可能是因为令人惊讶地认识到，在瞬态光学效应(例如，乙酰增白效应)中，该效应不仅在过程结束时而且在过程本身期间都可能不同。仅观察该过程的一瞬间，就提供了与生物组织(在这种情况下尤其是子宫颈)相关的一些信息。然而，由于该过程在整个子宫颈上可能不统一，因此观察整个过程可能会提供大量附加信息，这些附加信息对于正确分类光学效应及其对生物组织的意义而言可能尤其有用。提供有该过程的多张图像的ai由此可以允许阴道镜方法来识别和/或表征疑似为宫颈肿瘤的区域。

在本地处理器15和主服务器20两者中都提供了图1的系统中的ai。这两个系统都能够访问在乙酰增白过程中捕获并存储在成像数据库40中的子宫颈的多张图像。本地处理器使用固定ai算法，该ai算法允许基于图像来立即对子宫颈进行分类。主服务器20使用ai算法，该ai算法被更规则地更新，优选地从成批的结果中来更新(换句话说，该算法从成批的数据中连续且动态地学习)，并且次优选地，可以通过每次新的检查来更新。为此，与固定ai相比，主服务器20中的ai算法可能具有不同的结构和/或参数，并且随着向主服务器20中的ai算法提供进一步的训练，该差异可能会随着时间而增加。本地处理器15使用固定ai算法，该算法可以定期更新，优选地使用在主服务器中训练的ai算法，特别是一旦它已经发展到稳定状态。固定ai算法可以比在主服务器20上运行的ai算法提供更快的结果。主服务器20可以是基于云的，因此能够从多个远程设备来收集和分析子宫颈图像数据集。例如，训练集因此可能很大，并且能够捕获由人口统计(demographic)变化或筛查程序变化引起的差异。

ai可以在本地处理器15和/或主服务器20处实现为软件模块。该ai包括机器学习算法。通常，这使用神经网络，并且可能是深度神经网络(包括多个隐藏层)。更具体地，可以使用全连接神经网络(fcnn)、递归神经网络(rnn)或卷积神经网络(cnn)、或在集成方案中的这些或其他类型的神经网络的组合。在最基本的实施例中，向ai提供来自在乙酰增白效应期间捕获的多张图像的数据，这将在下面讨论。然而，优选地，还向ai提供附加数据。在那种情况下，ai可以包括多模式神经网络，该多模式神经网络可以对图像和非图像数据进行组合。

提供给ai的图像可以是如由光学系统捕获的“原始”图像的时间序列。然而，通常会在对“原始”光学图像进行后处理时提供图像，尤其是在通过软件算法进行按比例缩放和/或对准之后和/或在处理以下各项中的一项或多项之后：子宫颈识别；伪影去除；和模式识别。在某些实现方式中，原始和后处理图像两者都可以作为输入而提供。可以将所捕获的整个图像集或图像集的子集(在任何情况下，经过或不经过进一步处理)作为输入提供给ai。例如，可以将原始或后处理图像细分为小块，这些小块可以作为图像数据而提供。所提供的小块尺寸和/或小块的数量可能在图像之间会有所不同。本文所述的特征提取和/或其他处理可以应用于小块，而不是整体或全部的图像。

ai的一个附加输入可能是基于图像数据的进一步数据处理(通常是对“原始”光学图像的后处理，尤其是为了实现相同的按比例缩放和对准)的。该进一步的数据处理可以用于测量图像中的漫反射率特性，并且可以在本地处理器15和/或主服务器20处执行。最初，可以从经对准的图像中提取像素值(例如，强度)并根据图像被捕获的时间(其可以是绝对时间，也可以是相对于局部地施加稀乙酸的时间)进行参考。然后根据时间分辨像素值来计算不同的参数，例如最大强度、最大时间强度和像素值随时间变化的曲线下面积(即，像素值随时间的积分)。可以在一个或多个光谱带中和/或针对图像像素的全部或子样本来计算这些参数。尽管参数可以直接基于所捕获的时间分辨像素值，但是可以代之以使用根据时间分辨像素值而计算出的中间值来计算参数。例如，可以通过将所提取的时间分辨像素值拟合到数学函数(例如，线性函数、曲线或指数)来确定中间值。然后，该函数的系数可以用于计算不同的参数，例如最大强度、最大时间强度和像素值相对于时间的曲线下面积。这种参数可以用作ai的特定输入，其可以表示漫反射率的水平。在另一种方法中，参数可以用于例如根据单个参数或根据参数的加权组合来计算每个像素的单个数字指标值。然后可以将每个像素的单个数字指标值作为输入提供给ai。可替换地，可以基于其指标值将来自伪彩色等级的颜色分配给每个像素，并且可以通过在子宫颈图像的每个像素上绘制相应伪彩色来产生参数伪彩色图。然后，可以将该参数伪彩色图作为输入提供给ai。

ai的一个附加输入可能是基于图像数据的进一步数据处理(通常是对“原始”光学图像的后处理，尤其是为了实现相同的按比例缩放和对准)的。可以在图像的可以定义为8x8或16x16或32x32像素的小块(也可以使用其他形状和/或尺寸的小块)的子部分上单独完成该操作。每张图像可以被分解为多个小块，它们之间具有步幅，其可以是4、8、16、32像素(也可以使用其他尺寸)。以此方式，每个小块可以与其相邻小块部分重叠，并且可以从每张图像或图像的部分中提取大量小块。基于描述局部颜色、渐变和纹理的数学函数(也可以使用其他类型的函数)，这种进一步的数据处理可以用于提取定制或手工制作的特征。然后，这些特征可以作为输入提供给ai。

可以例如使用存储在身份数据库30中的信息，将其他形式的信息作为一个或多个附加输入提供给ai。这种信息可以包括以下各项中的一项或多项：患者参数；患者风险因素；先前的病史信息；和临床测试结果。患者参数可以包括例如患者在检查时的年龄(或者该年龄高于预定阈值)。患者风险因素可能包括：患者的吸烟状况(例如，不吸烟、经常吸烟、随便或为曾经吸烟的人中的一者)；患者的性状况和/或病史；性交期间避孕套的使用(例如，经常、偶尔或从不使用避孕套中的一者)；针对hpv的疫苗接种状况；和患者的分娩(根据是否生过孩子和/或生孩子的次数)。患者临床测试结果可以包括以下各项中的至少一项或以下各项的任何组合：先前的细胞学结果；先前的hpv测试结果；先前的hpv分型测试结果；先前的宫颈治疗信息；和先前的宫颈癌或癌症前期的筛查和/或诊断历史。可能的细胞学结果可能是以下各项中的一项(按严重性排序)：正常、ascus(边界线)、lsil(轻度核异常)、asc-h、中度核异常、重度核异常(hsil)、可疑的腺体改变或可疑的侵入性癌症。hpv测试的可能结果可能是阴性、hr阳性、16阳性、16/18阳性或其他中的一者。

一般而言，因此可以考虑使用计算系统来对生物组织(例如，子宫颈)进行(体内或体外)分类的方法。在计算系统处接收包括生物组织的检查区域的多张图像的图像数据。在将病理学鉴别剂(特别是包含乙酸，优选将其稀释)局部施加到组织的检查区域的时间段内，在不同时间处捕获多张图像中的每张图像。这会导致短暂的光学效应，例如增白，其可能是乙酰增白(在使用乙酸的情况下)。将接收到的图像数据作为输入提供给在计算系统(例如，具体地，计算系统的一个或多个处理器)上可操作的机器学习算法。有利地包括神经网络并且更优选地包括深度神经网络的机器学习算法被配置为将多个分类之一分配给组织。在优选实施例中，机器学习算法被配置为将多个分类之一分配给组织的多个片段中的每个片段，其可以有利地以指示分类的热图形式来呈现(如将在下面进一步讨论的)。该方法可以被实现为计算机程序。

在另一种意义上，可以考虑一种可用于组织的分类的计算系统，包括：输入端，被配置为接收包括生物组织的检查区域的多张图像的图像数据；以及处理器，被配置为操作机器学习算法，该机器学习算法被配置为基于图像数据将多个分类之一分配给组织。多张图像中的每张图像是在将病理学鉴别剂局部施加到组织的检查区域而引起瞬态光学效应的时间段期间的不同时间处捕获的。

在提供优选具体实施例的进一步实施细节之前，将讨论该通用方法和/或计算机系统的一些可选和/或有利特征。这样的特征通常可以应用于任一方面。

在将病理学鉴别剂局部施加到组织的检查区域而引起瞬态光学效应的时间段期间，通常以预定持续时间的间隔(其可以是规则的，但不一定是这样)来捕获多张图像(或从中导出多张图像的光学图像，也称为原始图像)。在将病理学鉴别剂局部施加到组织的检查区域而引起瞬态光学效应之前，可以捕获生物组织的至少一张图像(基线参考图像)，并且可以将其作为附加输入提供给机器学习算法。在将病理学鉴别剂局部施加到组织的检查区域而引起瞬态光学效应的时间段期间，将检查区域有利地暴露于宽带光辐射。宽带光辐射优选地具有基于瞬态光学效应的带宽，例如，将导致乙酰增白效应在所捕获的图像中可见的带宽。关于入射光强度和光源与目标之间的距离，可以很好地表征通过光辐射实现的图像亮度的照明水平。宽带光辐射可以覆盖整个光谱，光谱的至少90％、80％、75％、70％、60％或大部分(50％)。窄带光辐射在某些情况下可能用于例如某些病理学鉴别剂(例如分子诊断，例如使用荧光标记)。在那种情况下，窄带光辐射可以覆盖光谱的小于50％、40％、30％、20％或10％，例如限于单色，例如紫外线或红外线。

计算系统的处理器可以包括单个处理设备或多个处理设备。每个处理设备被可选地配置为操作机器学习算法的部分(例如，以分布式方式)。处理设备可以位于不同的(远程)位置。

有利地捕获生物组织的检查区域的多张光学图像(原始图像)。这可以使用图像收集模块(包括适当安装的相机和/或在处理器的控制下)实现。图像收集模块可选地位于操作机器学习算法的处理器(或使用多个处理设备的处理设备中的至少一个)的远端。

图像数据的多张图像可以从多张光学(原始)图像中导出。可选地，多张光学图像中的一张或多张作为附加输入提供给机器学习算法。有利地，例如以规则的间隔或在预定数量的图像捕获和/或单个生物组织(或患者)的检查之后，对图像收集模块进行校准。可以在各自的聚焦距离处捕获每张光学图像。聚焦距离可以相同。然后可以基于聚焦距离和参考距离来按比例缩放光学图像，以提供多张图像中的相应一张，特别是使得多张图像中的每张图像的比例处于预定水平。优选地，每张光学图像被变换以便在多张图像内提供检查区域的对准。附加地或替代地，可以处理每张光学图像以去除一个或多个伪影或伪影类型。可以处理多张图像以识别多张图像中与预定器官相对应的部分。例如，在生物组织包括子宫颈的情况下，可以对多张图像进行处理以识别多张图像中与子宫颈相对应的部分。在一些实施例中，可以对多张图像进行处理以识别和/或量化至少一个提取特征和/或至少一种形态特征，例如以下各项中的一项或多项：非典型血管；马赛克和刻点。一个或多个提取特征和/或一个或多个形态特征可以作为一个(或多个)附加输入提供给机器学习算法。

多张图像中的每一张由相应像素组定义，并且可选地，像素组具有相同的像素布置。在优选实施例中，获得图数据，该图数据包括针对像素布置的每个像素的相应分析指标，该分析指标是从多张图像中导出的。优选地，基于从多张图像中导出的至少一个参数来生成像素的分析指标。至少一个参数可选地被限制为预定光谱带宽，并且在导出多个参数的情况下，这些参数可以包括被限制为第一预定光谱带宽的第一参数和被限制为第二预定光谱带宽(与第一预定光谱带宽不同)的第二参数。可以基于像素的准确数据和/或通过将像素在多张图像上的数据拟合到一条直线或曲线并从该曲线确定参数，来确定每个参数。每个像素的分析指标可以是基于单个参数或多个参数的加权组合的。至少一个参数包括例如以下各项中的一项或多项：像素在多张图像上的最大强度；达到像素的最大强度的时间；和像素在多张图像上的强度的总和或加权总和。像素在多张图像上的强度的加权总和可以使用基于多张图像中的每一张的捕获时间(例如，它们的相对捕获时间)的权重。这可以允许计算强度随时间的积分(或强度随时间变化的曲线下面积)。可以将图数据(或至少一个或多个分析指标)作为附加输入提供给机器学习算法。

在一些实施例中，将一个或多个受试者特征作为输入提供给机器学习算法。每个受试者特征可以与生物组织所源于的受试者有关。例如，一个或多个受试者特征可以包括以下各项中的一项或多项：受试者风险因素(例如，以下各项中的一项或多项：受试者的年龄；受试者的吸烟状况；受试者的hpv疫苗接种状况；性交期间避孕套的使用；以及受试者的分娩)；和受试者的临床测试结果(例如，以下各项中的一项或多项：先前的细胞学结果；先前的hpv测试结果；先前的hpv分型测试结果；先前的宫颈治疗信息；以及先前的宫颈癌或癌症前期的筛查和/或诊断历史)。

现在将讨论进一步的实施细节。现在参考图2，示意性地描绘了根据本公开的阴道镜分析过程。如图示的左手侧所示，该过程的初始步骤是图像100的捕获、准备和分析。最初，捕获原始图像102，然后对原始图像102进行处理以产生对准图像104并产生参数伪彩色图106。这些作为输入被提供给ai处理步骤110。非图像数据120也作为输入被提供给ai处理步骤110，非图像数据120可以包括：年龄信息121；吸烟状况122；hpv状态123；以及巴氏测试状况124。如本文所述，不同和/或附加输入也是可能的。

ai(特别是在主服务器20上运行的算法)被训练以对从某种意义上捕获图像的组织进行分类。不同的数据集可以用于训练ai的不同方面。用于训练的一种或多种数据类型通常可以包括用于分类的一种或多种数据类型中的任何一种或多种。在一种实现方式中，ai被配置为基于训练数据来给出宫颈上皮内肿瘤(cin)分类，该训练数据包括图像和来自具有已知活检区域和组织病理学(histopathology)结果的特征良好的一组患者病例的相关分类。具体地，这是一组具有已知活检部位的，并且有利地已知了活检的组织学结果的病例。还可获得可疑区域的专家审阅者注释，并且这些注释可以作为进一步的训练数据而提供。在某些实现方式中，该组病例已经过切除治疗，并且可获得其组织学的详细图，包括每个治疗标本的多个切片，其也可以作为训练数据而提供。ai可以根据风险等级对子宫颈进行分类，其中该等级的不同级别对应于具有不同等级的cin的患者的总体风险(例如，整数或连续等级的等级为0到1、0到100或1到100)。可以选择该等级上的不同阈值来微调最终性能，或提供无、低或高风险的直接指示。在另一实施例中，ai可以直接在分类中提供结果，例如正常、cin1、cin2、cin3、ais或侵入性癌症(多种疾病标签之一)。

训练数据集可以从临床试验中提供。这些训练数据集可以包括一张或多张使用乙酰增白的子宫颈的定时(动态)图像(以其原始和对准形式)、用于提供图像的参数化伪彩色图的成分数据、组织学结果(具有已知活检位置)以及患者基线特征(年龄、细胞学、hpv、吸烟状况、先前的疾病史或其他特征)。患者数据集可以包括在检查期间捕获的一组图像，其包括参考图像(施加乙酸前)和所有后续(施加乙酸后)定时图像(多达24张)。图像分辨率可以是1024x768、1600x1200或2800x2100，也可以使用其他分辨率。附加地或替代地，患者数据集可以包括如通过图像处理算法对准的图像集，其可以包括参考图像(施加乙酸前)和所有后续(乙酸后)定时图像(多达24张)。例如，对准的图像分辨率可以是1024x768或2048x1536。例如，参数伪彩色图的典型分辨率为1024x768或2048x1536。组织学结果可以是以下各项中的一项(按严重性排序)：正常、cin1、cin2、cin3、ais、侵入性癌症。

尽管可以从ai输出组织的单个分类，但是其他选项也是可能的。在特定实施方式中，ai对使用系统检查的每个患者的子宫颈的图像进行分析并且可以对其进行分割。可以以预定方式或基于对病变或疾病风险的识别来对图像进行分割，并且可选地，可以在机器学习算法之外完成。然后根据风险等级对子宫颈的每个片段进行分类，以评估不同级别的cin的风险(如上所述)，或根据多种离散疾病状态之一来提供分类。可选地，ai还可以根据所确定的形态特征的存在来对每个像素和/或片段进行分类。这可以是ai的中间输出，其可以用于确定其他分类，而不必作为输出提供给用户。

ai分割和分类结果可以显示为概率“热图”(参数伪彩色图)，作为ai的输出。这在图2中示出为ai输出130。然后，来自ai的热图输出(与通过如上所述对图像进行处理而产生的参数伪彩色图不同，并且其可以用作ai的输入)有利地以图形形式显示在检查过程(例如，经由本地处理器15)中作为子宫颈图像的叠加显示给系统操作员，以利于阅读和临床决策。热图的分辨率可以与作为ai的输入而提供的按比例缩放图像相同(例如，诸如1024x768或2048x1536)。该(或类似的图像处理)可以允许将ai热图输出叠加在检查(例如，后处理)过程中捕获的子宫颈图像上。这种“热图”可能具有重要的临床效用(例如，用于活检部位识别或切除治疗)。

ai分割和分类结果可以可替代地显示为边界框，该边界框指示达到高于预定阈值的分类分数的区域作为ai的输出。例如，这可以表示为没有、低或高风险、或直接带有疾病标签，例如：正常；cin1；cin2；cin3；ais；或侵入性癌症。

对于它产生的每个结果，ai模块还可以计算可能为图形或数字形式的伴随置信区间或其他准确性度量。

本公开中讨论的方法将提高准确性和接收器工作特性(roc)曲线性能。这可以测量为auc(“曲线下面积”)，因为roc曲线绘制了真实阳性率(truepositiverate)相对于假阳性率(falsepositiverate)，并且因此描绘了敏感性和特异性的综合性能。可以通过将ai分类与每个测试患者的地面真实情况(组织学结果)进行比较来确定ai的性能，并将比较表征为以下各项中的一项：真实阳性(tp)；假阳性(fp)；真实阴性(tn)；和假阴性(fn)。比较的主要指标可能是总体准确性、敏感性和特异性。次要指标可以包括阳性和阴性的预测值。

参考上面讨论的一般意义，在一些实施例中，可以认为机器学习算法被配置为将多个分类中的一个分类分配给组织的一个或多个片段中的每个片段。组织的一个或多个片段可选地例如通过使用机器学习算法从图像数据中识别。可替代地，这些片段可以是基于图像数据的每张图像中的多个像素的。可以生成(并且可选地显示)输出图像，该输出图像基于图像数据示出了生物组织的检查区域并且指示分配给组织的多个片段中的每个片段的分类。例如，这可以采取热图的形式。因此，组织的多个片段可以表示生物组织的检查区域的子区域。可以基于一个或多个掩模、特征提取和/或分配给特定子区域的公共分类来从其他子区域中定义和划分那些子区域。这意味着，在这种情况下，子区域的形状和尺寸由跨组织施加的特征和/或分类确定(并且因此尺寸或形状可能不一致)。因此，可以基于将单独分类应用于组织的不同部分的能力(与整体组织分类相反)来测量改善的性能。

可以基于分配给组织的一个或多个片段的分类(或来自分配给多个片段的分类的组合，例如加权总和)，将分类分配给(整个或整体)组织。附加地或替代地，分配给(整个或整体)组织的分类可以是基于与机器学习算法不同的算法的，例如不同的并行模型。分类可以是离散的，或由连续范围内的值来定义(例如，概率、风险水平或分数，例如存在某种条件)。

可以基于多个其他生物组织中的每一个生物组织的相应多张图像和相应分配的分类(其可以在将病理学鉴别剂局部施加到组织的检查区域而引起瞬态光学效应的时间段期间的不同时间处被捕获)来训练机器学习算法(或在第二计算机系统上操作的版本，其可以远离计算机系统)。在某些情况下，其他生物组织的数量可以至少为100、500、1000或5000。可选地，可以将组织的用户确定分类或数据库分类提供给机器学习算法，以进行进一步训练。这可以是基于具有已知组织学结果的活检或训练有素的医学专业人员的临床评估中的一者或两者的。这种分类可以手动地提供(例如，直接由临床医生、医学专业人员或技术人员提供)和/或可以从例如可以形成输入数据集的部分的患者记录的数据库中自动地提取。然后可以将分类手动地输入到数据库(或从中部分或完全导出数据集的其他数据库)中。

在一些实施例中，可以使用在计算系统的第一处理器处操作的第一机器学习算法来将分类分配给组织。在某些情况下，第一处理器位于图像收集模块的本地，该图像收集模块用于捕获生物组织的检查区域的多张光学(原始)图像，从中导出多张图像。可选地，还可以使用在计算系统的第二处理器处运行的第二(不同)机器学习算法来将分类分配给组织。附加地或可替代地，可以例如使用由第一机器学习算法识别的一个或多个分类来训练第二机器学习算法(以上描述为机器学习算法的版本)。第二处理器优选地远离图像收集模块，并且在某些情况下，第一处理器也可以是远程的。与第一机器学习算法相比，第二机器学习算法有利地具有不同的结构和/或参数。在一些实施例中，可以将在第一处理器处分配的分类作为输入提供给第二处理器。

在实施例中，可以通过向第二机器学习算法提供组织的用户确定分类或数据库分类来训练第二机器学习算法(例如，如上所述，来自具有已知组织学的活检)。然而，可选地，不通过向第一机器学习算法提供组织的用户确定分类或数据库分类来训练第一机器学习算法。以此方式，可以提供(快速和/或较低复杂度的)机器学习算法而无需训练(即，固定算法)，而向(缓慢和/或更复杂的)机器学习算法提供连续动态训练(增量式学习)，例如基于所提供的其他数据。例如，根据连续动态训练，第二机器学习算法可以为一个或多个生物组织的多个检查区域中的每一个提供以下各项中的一项或多项：检查区域的多张图像(如提供给在计算机系统上运行的机器学习算法)；一个或多个活检位置(针对该检查区域执行)；由第一机器学习算法(在计算机系统上运行，即本地算法)分配的组织的多个片段中的每一个的多个分类；以及组织的组织病理学结果。没有训练的机器学习算法可以位于图像捕获的本地和/或具有连续动态训练的机器学习算法可以位于图像捕获的远程。连续动态训练的过程有利地成批执行。有利地，该过程可以合并来自多个单独的图像捕获设备的数据(每个图像捕获设备具有各自的本地机器学习算法)。第一机器学习算法(固定算法)可以不时更新。

现在将讨论实验结果。参考图3解释执行的实验，其中示意性地示出了详细说明实验系统的方法的流程图。该流程图表示在选择满足基本质量标准(例如，聚焦良好的图像、完整的图像序列、无明显伪影和已知的活检结果)的患者数据集的步骤之后的工作流程。首先，通过检查活检程序的图像和视频以将标签准确地放置在组织上，来执行对用于训练200的图像的注释(活检区域的标记并向其添加疾病标签)。随后进行掩模生成210，其包括提取相应的图像掩模。然后跨17个时间点来执行对小块220的提取。特征提取230包括从每个活检区域中并且针对所有小块分别提取特征。然后执行数据插补(imputation)技术240以解决任何缺失值。深度学习方案步骤250包括设置和训练三个不同的机器学习方案，以计算每个小块的概率。最后，热图生成260来自针对测试用例的深度学习方案的输出。测试用例的准备方式与图3的方法所描述的方式类似。唯一的区别是模型不了解活检区域的疾病状态(即，在注释200中)，但必须对其进行预测。

该数据集源自使用dysis医疗有限公司制造的、具有动态光谱成像(dsi)图的数字阴道镜进行的现有临床试验，并且包括222例患者，进行396次独立的活检。活检的位置是已知的，并且活检包括目测选择的活检、基于dsi图的活检和来自临床医生看来正常的区域的随机活检。每个患者的数据集包括17张图像，其包括参考图像(乙酰增白前)和16张在标准时间点处的后续图像。用作输入的图像是在对其进行记录(对准)以补偿运动(位移、收缩等)之后进行的。

对于结果的二进制分类，根据活检的组织学分级来将活检分为两类：正常/低级别-nlg(包括阴性和cin1结果)为“阴性”分类；和高级别-hg(cin2、cin3、ais、侵入性癌症)作为“阳性”分类。这是具有临床意义的分类，且与大多数阴道镜检查研究中使用的分类一致。

患者将数据集手动地划分为80％用于训练集，10％用于验证和10％用于独立测试。对于这种划分，考虑了每个患者的活检数量以及低级别和高级别活检的百分比，以便在验证和测试集中创建相似的患者分布。其余患者用于训练。训练集包括172位患者和306个活检，验证包括25位患者和46个活检，且测试集包括25位患者和44个活检。

每张图像的活检区域均单独注释(在空间上标记并标记有疾病级别)。每个活检根据其组织病理学级别被分为正常、cin1、cin2、cin3、ais或侵入性癌症。

在注释之后，提取每个活检的相应掩模(即，图像区域)。基于这些掩模，针对不同时间点在17张经对准的图像中提取了小块。最初以16x16、32x32和64x64像素的不同尺寸和8、16、32和64像素的不同步幅提取了小块，以允许探究哪种组合效果最好。

从每个小块中，提取大量基于局部颜色、渐变和纹理的手工制作的特征，以用作机器学习算法中的输入(请参阅：taoxu等人，patternrecognit.2017mar；63:468–475；kime,huangx.“一种用于子宫颈图像分析和分类的数据驱动方法(adatadrivenapproachtocervigramimageanalysisandclassification)”，彩色医学图像分析，计算视觉和生物力学讲义，2013；6:1–13；以及songd，kime，huangx等人，“用于宫颈发育异常诊断的多模式实体共同参考(multi-modalentitycoreferenceforcervicaldysplasiadiagnosis)”，ieeetransonmedicalimaging,tmi.2015；34(1)：229–245)。这导致每个小块和每个时间点总共拥有1,374个功能。所提取的特征的值大小、单位和范围存在很大差异，因此所有特征均以0-1范围进行归一化：

在特征提取之后，应用了数据插补(参阅g.welch,g.bishop，“卡尔曼滤波器简介(anintroductiontothekalmanfilter)”，siggraph2001course8，1995年)以补偿模糊和未对准小块上的某些缺失特征。插补方法已单独验证。数据经过结构化，以便为每个患者提供从(一个或多个)活检区域提取的每个小块的时间点与每个小块的每个提取特征的值(包括估算值)的矩阵。

现在讨论分析中使用的机器学习模型。如上所述的数据用作三个不同机器学习分类器的输入：随机森林(rf)；全连接神经网络(fnn)；和长短期记忆神经网络(lstm，其是一种递归神经网络，rnn)。

接下来参考图4，示意性地描绘了一种已知的随机森林分类模型。随机森林或随机决策森林是一种用于分类、回归和其他任务的整体学习方法，该方法通过在训练时构造大量决策树并输出作为各个树的类(分类)或均值预测(回归)模式的类来进行操作(参阅ho,tinkam,“随机决策森林(randomdecisionforests)”，第三届国际文件分析与识别会议论文集，montreal，qc，1995年8月14-16日，第278-282页)。随机决策森林纠正了决策树过度拟合其训练集的趋势。为了实现随机森林(rf)分类器，使用了scikit-learnpython库和150个估计器(决策树)。

现在参考图5，示意性地示出了一种已知的人工神经网络(ann)架构。ann(也称为神经网络或nn)是一种信息处理范例，它受到诸如大脑之类的生物神经系统处理信息的方式的启发。关键要素是信息处理系统的新颖结构。它由大量高度互连的处理元件(神经元)组成，它们协同工作以解决特定问题。例如，nn像人一样进行学习。通过学习过程为特定应用(例如，模式识别或数据分类)配置nn。在生物系统中学习涉及对神经元之间存在的突触连接的调整。nn也是如此。

神经网络具有从复杂或不精确的数据中导出含义的能力，其可以用于提取模式和检测过于复杂而无法被人类或其他计算机技术注意到的趋势。训练有素的神经网络可以被视为已给出信息类别以进行分析的“专家”。然后，可以使用该专家来提供对给出的感兴趣的新情况的预测，并回答“假设”问题。对于神经网络的情况，采用了开源机器学习框架tensorflow(rtm)python。经过超参数调整和小的网格搜索之后，使用了全连接网络，该网络分别具有3层和50个单元，并使用softmax层(其中2个单元作为输出层)。

尽管nn可以是进行这种分类的有用工具，但是已经认识到，人类并非在每种情况下都从头开始他们的思考。传统的nn无法使用来自先前训练的信息，这似乎是一个缺点。递归神经网络(rnn)解决了这个问题。它们是其中具有循环的网络，从而允许信息“持久”存在。rnn可以视为同一网络的多个副本，每个副本都将消息传递给继承者(successor)。

接下来参考图6，其中示意性地示出了一种已知的长短期记忆(ltsm)基本架构。lstm是一种特殊类型的rnn，能够学习长期依赖关系。lstm被明确设计为避免长期依赖问题。对于lstm，为分类器实现方式使用与ann中相同的过程。更具体地，在超参数优化和网格搜索之后，发现最佳模型包括：两个lstm层，各自具有20个单元；以及softmax，具有2个单元作为输出层。

另外，使用三个分类器的所有可能组合的每个小块的概率平均值，来开发一系列整体分类方案。具体地，对25位患者的rf+nn+lstm、rf+nn、rf+lstm和nn+lstm的四种组合进行了测试以供活检。

还开发了一系列加权平均概率方案。更具体地，根据每个集成方案使用组合的验证概率来训练“浅层神经网络”，同时分别从上述每个基本模型(rf、nn和lstm)中提取验证概率。与深层nn相比，浅层nn仅具有一个隐藏层。

该架构最初在小块尺寸和步幅的不同组合下进行了试验，以评估在给定图像掩模和特征的尺寸的情况下哪种方法将最有效。发现小块尺寸为32x32且步幅为8像素的组合最有效，因此被用于微调所有模型和结果的生成。

现在参考图7a至图7d和图8a至图8d讨论每种测试方法的性能，其中示出了指示性热图，例如处理过的生物组织。由三个基本分类器(rf、nn和lstm)针对测试集中的图像掩模(即，活检区域)计算出的小块级别概率用于构建所示的相应热图。模型在之前没有“看到”这些病例，并且也不知道其结果。分配给热图的每个像素的概率是包括其的所有小块中其值的平均值。指示性地，提出了25个测试用例中的两个的热图，每个使用三种不同的机器学习技术(图7b、图7c、图7d和图8b、图8c、图8d)，以及来自原始检查的相应dsi图(图7a和图8a)。

为了对分类进行临床评估，将每种方法对每个活检区域的预测分类为两类：nlg(正常或低级别)和hg(高级别)。通过视觉评估来逐例进行，并且如果活检热图包含的概率大于0.5(红色、黄色或白色)，则将该活检的预测分类为hg，否则将其视为nlg。

首先参考图7a，区域301示出了具有高级别(hg)结果的活检区域，并且区域302示出了具有负/低级别(nlg)结果的活检区域(活检组织的状态通过组织学分级确定)。活检区域(区域301和302)内的较小圆形注释表示来自原始检查的临床医生注释。dsi图未能将区域301处的区域突出显示为潜在hg，并且已经将区域302正确分类为正常/低级别。参考图7b，示出了具有如上所述的rf算法的输出的热图。在此，在与区域301相同的区域中识别出高概率区域303，但是在区域304处什么也没有出现，该区域304是与区域302相同的组织区域。参考图7c，示出了具有如上所述的nn算法的输出的热图。在与区域301相同的组织区域中识别出高概率区域305，并且在与区域302相同的组织区域中识别出低概率区域306。参考图7d，示出了具有如上所述的lstm算法的输出的热图。在与区域301相同的组织区域中识别出更清晰的高概率区域307，并且在与区域302相同的组织区域中出现了更清晰的低概率区域308。这表明相对于标准dsi算法，三种机器学习算法的性能有所提高，因为他们正确地突出显示了hg活检结果的区域，并且还正确预测了nlg活检结果的区域。

参考图8a，示出了两个均为高级别(hg)的活检区域310和311。活检区域310和311内(或与之相交)的较小圆形注释表示来自原始检查的临床医生注释。通过组织学分级来确定活检组织的状态。dsi图已经将两个区域之一(活检区域310)突出显示为潜在hg，但是未能将区域311突出显示为hg。参考图8b，示出了具有如上所述的rf算法的输出的热图。在此，在与hg活检区域之一相同的区域中识别出高概率区域312，并且在与另一hg活检区域相同的区域中识别出较低概率区域313。参考图8c，示出了具有如上所述的nn算法的输出的热图。在与hg活检区域之一相同的区域中识别出高概率区域314，并且在与另一hg活检区域相同的区域中识别出低概率区域315。参考图8d，示出了具有如上所述的lstm算法的输出的热图。在与hg活检区域之一相同的区域中识别出高概率区域316，并且在与另一hg活检区域相同的区域中也出现高概率区域317。因此，相对于rf和nn算法以及原始dsi算法，可以看到lstm算法的性能有所提高。

给定相对较少的病例数和数据集的不平衡性质，以使用一个概述度量来总结性能，“平衡准确性”用于将a)活检和b)患者正确分类为正常/低级别与高级别。平衡准确性(以下简称为准确性)是每个类别中已正确分类的病例数的平均值。这实际上是敏感性和特异性之间的平均值，并且比单独的敏感性和特异性提供了更全面的概述。

在活检水平分析(即，将每个活检作为单独的单元进行考虑和分析)时，rf和nn分类器的准确性为81％，而针对lstm准确性为84％。为了比较，在同一数据集上，原始dsi图达到了57％的准确性。对于基于活检区域的结果的患者水平分析，当至少一个活检为hg时，将每位患者视为hg。rf和nn达到77％的准确性，lstm达到为70％，而原始dsi图的准确性为59％。

平均集合方案的活检水平分析的准确性范围为77％(rf+nn)至83％(rf+lstm、nn+lstm和rf+nn+lstm)。对于患者水平分析，所有方案的准确性均为81％。加权平均整体方案的活检水平分析的准确性为77％(rf+nn+lstm)、79％(rf+lstm)、86％(rf+nn)和88％(nn+lstm)。对于患者水平分析，该方案的准确性为77％(rf+nn+lstm和rf+nn)和81％(rf+lstm和nn+lstm)。

在该概念验证项目中开发的机器学习模型在将组织区域映射和分类为正常/低级别与高级别方面比现有的dsi图获得了总体上改进的性能，这证明临床应用可以用来进一步提高对活检部位选择和临床管理决策的支持。

包括较大的数据集以对模型进行训练和测试可能是有益的。也可以考虑特征和小块尺寸效果的不同选择。每位患者可用的附加数据和风险因素是原始图像集合中的阴道镜照明亮度设置和患者年龄、筛查结果(细胞学、hrhpv、hpv16、hpv18)和吸烟状况。这些也可以用作模型的输入，这可以进一步提高性能。

当在大型数据集上进行训练时，这些模型不仅可以用于计算活检区域的热图，还可以计算整个子宫颈的热图，并且还可以容纳伪影的存在。

从每个时间点处分别提取了上述实验中用于训练模型的特征，并假设它们的时间相关性由网络获取。在另一实施例中，要提取的特征的设计可以包括时间元素，从而特征是跨时间的特性的函数。

卷积神经网络(cnn)可以独立使用或作为集成方案的部分也是可能的，例如rnn与cnn的组合。该方案的关键模块可以是循环卷积层(rcl)，其将循环连接引入卷积层。通过这些连接，尽管输入是静态的，并且每个单元都受到其相邻单元的影响，但网络仍会随着时间的推移而发展。另一示例是使用具有单个时间点图像的cnn作为输入，它将为患者生成分类概率。已经证明能够生成准确的结果，然后可以将其与图像序列一起作为附加输入而输入另一神经网络分类器(例如，nn或rnn)。又一示例是使用不同的cnn来分别评估序列中的每个单独的图像，并将其单独输出组合到另一神经网络(例如，rnn或lstm)中，以提供最终输出。如上所述，cnn的使用可能不需要提取手工制作的特征，因为特征可能是由网络本身提取的。

尽管现在已经描述了特定的实施例，但是技术人员将理解，各种修改和替换是可能的。例如，可以考虑在各种方案中包括不同类型的图像处理和机器学习分类器。如上所述，本公开内容总体上涉及使用乙酰增白过程来对宫颈组织进行检查，但是可以使用病理学鉴别剂来实现对其他生物组织的检查和/或分类。例如，尽管优选使用稀乙酸，但是出于特定目的，可以替代地使用其他类型的酸。该技术也可能适用于使用分子诊断的分类。尽管优选实施例使用了体内捕获的图像，但是也可以考虑使用体外捕获的图像的实现方式。在一些实施例中，可以将患者的不完整数据集作为输入提供给ai。

已经公开了本地和远程处理器的特定布置，但是本领域技术人员将理解，不同的处理器布置是可能的。例如，一个或多个处理器可以仅本地地提供给图像捕获模块。可替代地，一个或多个处理器可以仅远程地提供给图像捕获模块。可以采用基于计算机云的分析或基于非云的分析。具体地，可以考虑具有远程地提供给图像捕获模块的第一和第二机器学习算法的实现方式，其中第一机器学习算法是固定的，并且第二机器学习算法具有连续训练(以上述方式)。

可以设想不同类型的神经网络结构或机器学习算法。机器学习算法的结构可以是单模式的(仅将图像数据作为输入)或多模式的(将图像数据和非图像数据两者都作为输入)。尽管ai的结果(即，输出图像)在上方显示为概率热图，但其他输出(以数据格式或可视化形式)也是可能的。