三级淋巴结构的识别方法、装置及设备

1.本技术涉及一种图像处理技术领域，尤其涉及一种三级淋巴结构的识别方法、装置及设备。


背景技术：

2.恶性肿瘤是一个威胁全球人类健康的公共问题，除血液系统肿瘤之外，实体瘤占了恶性肿瘤的绝大部分。手术是目前治疗实体瘤的重要手段，利用手术过程中获得的肿瘤组织可进行准确的病理诊断及分期，其具体方法为将手术切除的肿瘤组织制作成病理切片，病理医生通过光学显微镜观察组织结构的变异程度、细胞核的不典型性、细胞核有丝分裂象、细胞密度及细胞对周围组织结构的侵袭状态等判断该组织学变化是否为癌症、癌症的分类及组织学分级，从而实现恶性肿瘤的病理分期，以便进行术后预后预测。这种传统的依赖于组织学改变的人工评价，难免存在主观性强、可重复性差等问题。
3.近年研究发现，实体瘤原发灶中的免疫细胞（主要为b淋巴细胞和t淋巴细胞）聚集可形成三级淋巴结构，三级淋巴结构在实体瘤的发生和发展过程中发挥着重要作用，因而可通过观察三级淋巴结构来进行术后预后预测及免疫治疗疗效预测。但是，由于三级淋巴结构仍依靠病理医生肉眼观察其特定的结构图案来进行人工识别。为了确保识别的准确性，还需要多个医生对识别结果进行交叉验证。在面对海量病理图像时，一方面，人工识别方式无法短时间内完成大量病理图像的识别，其识别效率低；另一方面，人工识别方式容易受人体疲劳度及医疗资源等多种因素干扰，使得人工识别出现错漏，降低了识别的准确性。


技术实现要素：

4.本技术实施例提供一种三级淋巴结构的识别方法、装置及设备，以解决相关技术存在的问题，技术方案如下：第一方面，本技术实施例提供了一种三级淋巴结构的识别方法，包括：获取待识别图像；基于三级淋巴结构检测模型对待识别图像进行目标检测，得到待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别；三级淋巴结构检测模型为基于多个样本图像训练大规模卷积神经网络得到，样本图像中包含成熟三级淋巴结构的图像及非成熟三级淋巴结构的图像，检测框、检测概率和检测类别之间具有对应关系；基于检测框、检测概率和检测类别，从预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到待识别图像的识别结果。
5.在一种实施方式中，基于检测框、检测概率及检测类别，从预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，包括：在检测概率大于或等于概率阈值且检测类别为成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为成熟三级淋巴结构；在检测概率大于或等于概率阈值且检测类别为非成熟三级淋巴结构的情况下，确
定对应的检测框所框选的预选三级淋巴结构为非成熟三级淋巴结构。
6.第二方面，本技术实施例提供了一种病例三级淋巴结构的识别方法，包括：按照预设的放大倍数分别对病例的多个病理切片进行扫描，得到多个病理图像，多个病理图像与多个病理切片一一对应；确定各病理图像的肿瘤区域及癌旁区域；将各病理图像的肿瘤区域划分成多个第一图块；以及，将各病理图像的癌旁区域划分成多个第二图块，第一图块和第二图块的尺寸相同；基于上述任一种实施方式的三级淋巴结构的识别方法，分别对各病理图像的各第一图块及各第二图块进行识别，得到各第一图块的识别结果及各第二图块的识别结果；基于各病理图像中各第一图块的识别结果，确定肿瘤区域内三级淋巴结构的识别结果；以及，基于各病理图像中各第二图块的识别结果，确定癌旁区域内三级淋巴结构的识别结果。
7.在一种实施方式中，该病例三级淋巴结构的识别方法还包括：对各病理图像的肿瘤区域内三级淋巴结构的识别结果进行定量分析，得到病例的第一定量分析结果；对各病理图像的癌旁区域内三级淋巴结构的识别结果进行定量分析，得到病例的第二定量分析结果。
8.在一种实施方式中，该病例三级淋巴结构的识别方法还包括：基于各病理图像中各第一图块的识别结果及各第二图块的识别结果，确定病例的定性分析结果。
9.在一种实施方式中，该病例三级淋巴结构的识别方法还包括如下至少之一：基于各病理图像的肿瘤区域内三级淋巴结构的识别结果、癌旁区域内三级淋巴结构的识别结果、病例的实体瘤类型与预设的预后效果之间的第一对应关系，确定出对应的预后效果；基于第一定量分析结果和/或第二定量分析结果、病例的实体瘤类型与预设的预后效果之间的第二对应关系，确定出对应的预后效果。
10.第三方面，本技术实施例提供了一种三级淋巴结构的识别装置，包括：获取模块，用于获取待识别图像；检测模块，用于基于三级淋巴结构检测模型对待识别图像进行目标检测，得到待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别；三级淋巴结构检测模型为基于多个样本图像训练大规模卷积神经网络得到，样本图像中包含成熟三级淋巴结构的图像及非成熟三级淋巴结构的图像，检测框、检测概率和检测类别之间具有对应关系；确定模块，用于基于检测框、检测概率和检测类别，从预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到待识别图像的识别结果。
11.第四方面，本技术实施例提供了一种病例三级淋巴结构的识别装置，包括：扫描模块，用于按照预设的放大倍数分别对病例的多个病理切片进行扫描，得到多个病理图像，多个病理图像与多个病理切片一一对应；第一确定模块，用于确定各病理图像的肿瘤区域及癌旁区域；划分模块，用于将各病理图像的肿瘤区域划分成多个第一图块；以及，将各病理图
像的癌旁区域划分成多个第二图块，第一图块和第二图块的尺寸相同；识别模块，用于基于上述任一种实施方式的三级淋巴结构的识别方法，分别对各病理图像的各第一图块及各第二图块进行识别，得到各第一图块的识别结果及各第二图块的识别结果；第二确定模块，用于基于各病理图像中各第一图块的识别结果，确定肿瘤区域内三级淋巴结构的识别结果；以及，基于各病理图像中各第二图块的识别结果，确定癌旁区域内三级淋巴结构的识别结果。
12.第五方面，本技术实施例提供了一种识别设备，该识别设备包括：存储器和处理器。其中，该存储器和该处理器通过内部连接通路互相通信，该存储器用于存储指令，该处理器用于执行该存储器存储的指令，并且当该处理器执行该存储器存储的指令时，使得该处理器执行上述各方面任一种实施方式中的识别方法。
13.第六方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质存储计算机程序，当计算机程序在计算机上运行时，上述各方面任一种实施方式中的方法被执行。
14.上述技术方案中的优点或有益效果至少包括：由于三级淋巴结构检测模型可快速、高效对待识别图像进行目标检测，得到待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别，从而可利用检测框、检测概率和检测类别从预选三级淋巴结构中快速、高效确定出待识别图像中不同成熟度的三级淋巴结构，提高了三级淋巴结构的检测效率和识别效率。并且，因三级淋巴结构检测模型的检测过程不易受到干扰，其对待识别图像的检测标准可保持一致，还有助于提高识别的准确性。如此，在面对海量病理图像时，采用本技术实施例的识别方法在短时间内可对各病理图像中不同成熟度的三级淋巴结构自动进行快速、高效、准确的识别，提高了三级淋巴结构的识别速度、识别效率和准确性，有利于减小病理医生的工作强度，节省医疗资源，更有助于病例（即患者）免疫治疗疗效和预后预测的判断。
15.上述概述仅仅是为了说明书的目的，并不意图以任何方式进行限制。除上述描述的示意性的方面、实施方式和特征之外，通过参考附图和以下的详细描述，本技术进一步的方面、实施方式和特征将会是容易明白的。
附图说明
16.在附图中，除非另外规定，否则贯穿多个附图相同的附图标记表示相同或相似的部件或元素。这些附图不一定是按照比例绘制的。应该理解，这些附图仅描绘了根据本技术公开的一些实施方式，而不应将其视为是对本技术范围的限制。
17.图1示出根据本技术一实施例的三级淋巴结构的识别方法的流程示意图。
18.图2示出训练用图像中各标注图块的效果图。
19.图3示出三级淋巴结构检测模型对成熟三级淋巴结构的受试者工作特性曲线的示意图及对非成熟三级淋巴结构的受试者工作特性曲线的示意图。
20.图4示出根据本技术一实施例的病例三级淋巴结构的识别方法的流程示意图。
21.图5示出标注好肿瘤区域及癌旁区域的病理图像的效果图。
22.图6示出图5的肿瘤区域中各第一图块的识别结果效果图。
23.图7示出图5的癌旁区域中各第二图块的识别结果效果图。
24.图8示出根据本技术一实施例的病例定性分析结果的确定流程示意图。
25.图9示出本技术的病例三级淋巴结构的识别方法的一个优选实施例的流程示意图。
26.图10示出根据本技术一实施例的三级淋巴结构的识别装置的结构框图。
27.图11示出根据本技术一实施例的病例三级淋巴结构的识别装置的结构框图。
具体实施方式
28.在下文中，仅简单地描述了某些示例性实施例。正如本领域技术人员可认识到的那样，在不脱离本技术的精神或范围的情况下，可通过各种不同方式修改所描述的实施例。因此，附图和描述被认为本质上是示例性的而非限制性的。
29.图1示出根据本技术一实施例的三级淋巴结构的识别方法的流程示意图。如图1所示，该三级淋巴结构的识别方法可以包括：步骤s110、获取待识别图像；示例性地，待识别图像可以是实体瘤病例原发灶组织的病理图像；步骤s120、基于三级淋巴结构检测模型对待识别图像进行目标检测，得到待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别；三级淋巴结构检测模型为基于多个样本图像训练大规模卷积神经网络得到，样本图像中包含成熟三级淋巴结构的图像及非成熟三级淋巴结构的图像，检测框、检测概率和检测类别之间具有对应关系；步骤s130、基于检测框、检测概率和检测类别，从预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到待识别图像的识别结果。
30.示例性地，步骤s120可以是将待识别图像输入三级淋巴结构检测模型，使三级淋巴结构检测模型输出待识别图像中预选三级淋巴结构的检测框、检测概率及检测类别，检测框、检测概率及检测类别可构成检测结果；其中，三级淋巴结构检测模型为预先训练生成，三级淋巴结构检测模型的训练方法包括：步骤s121、将多个训练用病理切片按照预设的放大倍数进行扫描，得到多个训练用图像，多个病理切片与多个训练用图像一一对应；例如，采用vectra polaris全自动定量病理成像系统、axioscan.z1全自动数字玻片扫描系统、leica aperio全自动扫描系统、江丰自动玻片扫描仪等按照40x放大倍数（每个像素的边长为0.25μm）对病理切片进行扫描成像，得到训练用图像；其中，病理切片包括但不限于食管鳞癌等实体瘤病例的原发灶苏木素伊红染色病理切片；优选地，多个病理切片可以选用不同类型实体瘤病例的病理切片，以使生成的三级淋巴结构检测模型可对不同类型实体瘤病例（即患者）的病理图像中三级淋巴结构进行目标检测。
31.步骤s122、将各训练用图像分别自动划分成多个图块，各图块的尺寸相同；例如，请参考图2，可使用qupath等医学图像标注软件自动将各病理图像按照2048像素
ⅹ
2048像素的尺寸进行分割，使训练用图像分割成多个图块，图2左侧的效果图示出将训练用图像分割成72个图块。
32.步骤s123、标注出各图块中的成熟三级淋巴结构和非成熟三级淋巴结构，得到标注图块；在一个示例中，如图2所示，可采用labelimg软件等数据标注软件对各图块进行标
注，图2右侧的效果图示出第7行第7列图块的局部示意图，其中，实线矩形框标注出成熟（mature）三级淋巴结构，虚线矩形框标注出非成熟（immature）三级淋巴结构。
33.步骤s124、将标注图块按照预设比例分成训练集、验证集和测试集；例如，预设比例可以为0.8：0.15：0.05，在标注图块的数量为3852的情况下，将3082个标注图块作为训练集的样本图像，将577个标注图块作为验证集的样本图像，将193个标注图块作为验证集的样本图像；可以理解的是，标注图块的数量及预设比例也可以根据实际需要进行选择和调整，本技术实施例对此不作限制。
34.步骤s125、采用训练集中的样本图像对大规模卷积神经网络进行迁移学习；其中，大规模卷积神经网络包括但不限于inception-resnet-v2网络模型，还可采用microsoft coco（common objects in context）数据集预先训练好的权重对inception-resnet-v2网络模型进行初始化，以进行迁移学习，如此可简化训练过程，降低训练的时间成本，有助于快速生成三级淋巴结构检测模型。
35.步骤s126、在迁移学习的迭代次数达到预设次数的情况下，生成三级淋巴结构检测模型。优选地，预设次数为200000次，预设次数还可以根据实际需要进行选择和调整。
36.采用上述训练方法训练大规模卷积神经网络所生成的三级淋巴结构检测模型对成熟三级淋巴结构检测的灵敏度（亦即敏感性）为94.4%、特异性为99%，对非成熟三级淋巴结构检测的灵敏度为96.1%、特异性为87.2%。其中，灵敏度和特异性用于判断诊断试验的结果的真实性和可靠性，灵敏度是指从真阳性病例和假阳性病例中确定出真阳性病例的比例，特异性是指从真阴性病例和假阳性病例中确定出真阴性病例的比例。如此可见，采用上述训练方法训练生成的三级淋巴结构检测模型具有良好的检测效能。此外，如图3所示，图3左侧示出三级淋巴结构检测模型对成熟三级淋巴结构的受试者工作特性曲线的示意图，图3右侧示出三级淋巴结构检测模型对非成熟三级淋巴结构的受试者工作特性曲线的示意图，其中成熟三级淋巴结构的受试者工作特性曲线（图3左侧）下面积为0.967（95%置信区间为0.946~0.982），非成熟三级淋巴结构的受试者工作特性曲线（图3右侧）下面积为0.916（95%置信区间为0.887~0.940），因而三级淋巴结构检测模型具有良好的检测性能。
37.在一个示例中，待识别图像的尺寸与样本图像的尺寸相同。通过设置待识别图像的尺寸与样本图像的尺寸相同，可提高三级淋巴结构检测模型对待识别图像进行目标检测的准确性。
38.根据本技术实施例的识别方法，由于三级淋巴结构检测模型可快速、高效对待识别图像进行目标检测，得到待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别，从而可利用检测框、检测概率和检测类别从预选三级淋巴结构中快速、高效确定出待识别图像中不同成熟度的三级淋巴结构，提高了三级淋巴结构的检测效率和识别效率。并且，因三级淋巴结构检测模型的检测过程不易受到干扰，其对待识别图像的检测标准可保持一致，还有助于提高识别的准确性。如此，在面对海量病理图像时，采用本技术实施例的识别方法在短时间内可对各病理图像中不同成熟度的三级淋巴结构自动进行快速、高效、准确的识别，提高了三级淋巴结构的识别速度、识别效率和准确性，有利于减小病理医生的工作强度，节省医疗资源，更有助于病例免疫治疗疗效和预后预测效果的判断。
39.在一种实施方式中，步骤s130、基于检测框、检测概率和检测类别，从预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到待识别图像的识别结果，
包括：在检测概率大于或等于概率阈值且检测类别为成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为成熟三级淋巴结构；在检测概率大于或等于概率阈值且检测类别为非成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为非成熟三级淋巴结构。
40.在一种实施方式中，该三级淋巴结构的识别方法还可以包括：在检测概率小于概率阈值的情况下，删除与检测概率对应的检测框和检测类别。
41.示例性地，概率阈值可以是50%~~100%（包括端点值）之间的任一值，例如，概率阈值可以是50%、60%、70%、80%、90%、95%和100%中的任一值。
42.示例性地，以概率阈值为50%为例，预选三级淋巴结构包括一个或多个，在检测概率大于或等于50%且检测类别为成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为成熟三级淋巴结构。在检测概率大于或等于50%且检测类别为非成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为非成熟三级淋巴结构。在检测概率小于50%的情况下，删除对应的检测框和检测类别。
43.上述方案，利用检测概率大于或等于概率阈值且检测类别为成熟三级淋巴结构，确定对应的检测框所框选的预选三级淋巴结构为成熟三级淋巴结构；以及，利用检测概率大于或等于概率阈值且检测类别为非成熟三级淋巴结构，确定对应的检测框所框选的预选三级淋巴结构为非成熟三级淋巴结构。如此，可提高识别成熟三级淋巴结构和非成熟三级淋巴结构的准确性图4示出根据本技术一实施例的病例三级淋巴结构的识别方法的流程示意图。如图4所示，该病例三级淋巴结构的识别方法包括：步骤s410、按照预设的放大倍数分别对病例的多个病理切片进行扫描，得到多个病理图像，多个病理图像与多个病理切片一一对应；示例性地，多个病理切片分别采用实体瘤病例的多个原发灶组织制成，多个病理切片与多个原发病灶组织一一对应；步骤s420、确定各病理图像的肿瘤区域及癌旁区域；肿瘤区域为实体瘤原发灶组织中肿瘤组织的图像，癌旁区域为实体瘤原发灶组织中癌旁组织的图像；步骤s430、将各病理图像的肿瘤区域划分成多个第一图块；以及，将各病理图像的癌旁区域划分成多个第二图块，第一图块和第二图块的尺寸相同；步骤s440、基于三级淋巴结构的识别方法，分别对各病理图像的各第一图块及各第二图块进行识别，得到各第一图块的识别结果及各第二图块的识别结果；其中，三级淋巴结构的识别方法为前文中任一实施例的三级淋巴结构的识别方法，在此不赘述；步骤s450、基于各病理图像中各第一图块的识别结果，确定肿瘤区域内三级淋巴结构的识别结果；以及，基于各病理图像中各第二图块的识别结果，确定癌旁区域内三级淋巴结构的识别结果。
44.示例性地，步骤s410可以是采用vectra polaris全自动定量病理成像系统、axioscan.z1全自动数字玻片扫描系统、leica aperio全自动扫描系统、江丰自动玻片扫描仪等按照40x放大倍数（即每个像素的边长为0.25μm）对分别对多个病理切片进行扫描成像，得到多个病理图像，多个病理图像与多个病理切片一一对应。通过将病理切片按照预设的放大倍数进行扫描成像，使得生成的病理图像可充分显示病理切片中实体瘤病例的原发
灶组织的形态及微观细节，有助于提高后续三级淋巴结构识别的准确性。
45.示例性地，请一并参考图5，步骤s420可以是采用qupath软件等医学图像标注软件对各病理图像进行人工标注来确定各病理图像的肿瘤区域和癌旁区域。优选地，在人工标注的过程中还可以利用医学图像标注软件记录各病理图像的肿瘤区域和癌旁区域的面积。
46.示例性地，请一并参考图6，步骤s430包括：按照预设的分割尺寸将肿瘤区域分割成多个第一图块；以及，请一并参考图7，按照预设的分割尺寸将癌旁区域分割成多个第二图块；其中，分割尺寸包括但不限于2048像素
ⅹ
2048像素，分割方式可以为使用qupath等医学图像标注软件进行自动分割。待识别图像由于仅对肿瘤区域和癌旁区域进行图像分割，可减少图像分割的运算量，提高图像分割速度和效率。
47.示例性地，步骤s440中各第一图块的识别方法及各第二图块的识别方法可参考前文实施例，在此不赘述。如此，可确定出各第一图块的成熟三级淋巴结构和非成熟三级淋巴结构，以及确定出各第二图块的成熟三级淋巴结构和非成熟三级淋巴结构。例如，请一并参考图6和图7，图6右侧效果图示出第4行第4列的第一图块的成熟三级淋巴结构和非成熟三级淋巴结构（亦即第4行第4列的第一图块的识别结果，图6省略了其余第一图块的识别结果），其中，实线矩形框所框选区域为成熟（mature）三级淋巴结构，其检测概率为99%，虚线矩形框所框选区域为非成熟（immature）三级淋巴结构，其检测概率均为99%。图7右侧效果图示出第3行第2列的第二图块的非成熟（immature）三级淋巴结构（亦即第3行第2列的第二图块的识别结果，图7省略了其余第二图块的识别结果），其检测概率均为99%，该第二图块不存在成熟三级淋巴结构。
48.示例性地，步骤s450可以包括：将所有第一图块的成熟三级淋巴结构作为肿瘤区域的成熟三级淋巴结构，以及，将所有第一图块的非成熟三级淋巴结构作为肿瘤区域的非成熟三级淋巴结构；将所有第二图块的成熟三级淋巴结构作为癌旁区域的成熟三级淋巴结构，以及，将所有第二图块的非成熟三级淋巴结构作为癌旁区域的非成熟三级淋巴结构；成熟三级淋巴结构和非成熟三级淋巴结构构成三级淋巴结构。
49.根据本技术实施例的识别方法，通过将病例的各病理图像的肿瘤区域划分成多个第一图块以及将各病理图像的癌旁区域划分成多个第二图块，并利用三级淋巴结构的识别方法分别对各第一图块和各第二图块进行识别，得到各第一图块和各第二图块的识别结果，从而基于各第一图块的识别结果，确定出肿瘤区域的三级淋巴结构，以及基于各第二图块的识别结果，确定出癌旁区域的三级淋巴结构，可实现肿瘤区域和癌旁区域的三级淋巴结构的分区识别。如此，可提高病例三级淋巴结果分区域识别的识别效率和准确性。
50.在一种实施方式中，该识别方法还可以包括：步骤s460、对各病理图像的肿瘤区域内三级淋巴结构的识别结果进行定量分析，得到病例的第一定量分析结果；步骤s470、对各病理图像的癌旁区域内三级淋巴结构的识别结果进行定量分析，得到病例的第二定量分析结果。
51.示例性地，第一定量分析结果包括所有肿瘤区域内成熟三级淋巴结构的总数量和总密度、非成熟三级淋巴结构的总数量和总密度以及所有肿瘤区域内三级淋巴结构的总密度；步骤s460可以包括：分别统计各病理图像的肿瘤区域内成熟三级淋巴结构的数量及非成熟三级淋巴
结构的数量，得到所有肿瘤区域内成熟三级淋巴结构的总数量及非成熟三级淋巴结构的总数量；基于所有肿瘤区域内成熟三级淋巴结构的总数量及所有肿瘤区域的总面积，确定所有肿瘤区域内成熟三级淋巴结构的总密度；基于所有肿瘤区域内非成熟三级淋巴结构的数量及所有肿瘤区域的总面积，确定所有肿瘤区域内非成熟三级淋巴结构的总密度；基于所有肿瘤区域内成熟三级淋巴结构的密度及非成熟淋巴结构的密度，确定所有肿瘤区域内三级淋巴结构的密度。
52.在一个示例中，所有肿瘤区域内成熟三级淋巴结构的总密度=所有肿瘤区域内成熟三级淋巴结构的总数量/所有肿瘤区域的总面积，所有肿瘤区域内非成熟三级淋巴结构的总密度=所有肿瘤区域内非成熟三级淋巴结构的数量/所有肿瘤区域的总面积，所有肿瘤区域内三级淋巴结构的总密度=所有肿瘤区域内成熟三级淋巴结构的总密度＋所有肿瘤区域内非成熟三级淋巴结构的总密度。
53.上述方案，通过对各病理图像的肿瘤区域内三级淋巴结构的识别结果进行定量分析，可确定出病例的所有病理图像中所有肿瘤区域内成熟三级淋巴结构的总数量和总密度、非成熟三级淋巴结构的总数量和总密度以及三级淋巴结构的总密度。如此，可针对所有肿瘤区域提供多种类型的第一定量分析结果，以便为实体瘤病例的预后效果及免疫治疗疗效提供全方位数据，有助于提高预后预测的准确性。
54.示例性地，第二定量分析结果包括所有癌旁区域内成熟三级淋巴结构的总数量和总密度、非成熟三级淋巴结构的总数量和总密度以及所有癌旁区域内三级淋巴结构的总密度；步骤s470可以包括：分别统计各病理图像的癌旁区域内成熟三级淋巴结构的数量及非成熟三级淋巴结构的数量，得到所有癌旁区域内成熟三级淋巴结构的总数量及非成熟三级淋巴结构的总数量；基于所有癌旁区域内成熟三级淋巴结构的总数量及所有癌旁区域的总面积，确定所有癌旁区域内成熟三级淋巴结构的总密度；基于所有癌旁区域内非成熟三级淋巴结构的总数量及所有癌旁区域的总面积，确定所有癌旁区域内非成熟三级淋巴结构的总密度；基于所有癌旁区域内成熟三级淋巴结构的总密度及非成熟淋巴结构的总密度，确定所有癌旁区域内三级淋巴结构的总密度。
55.示例性地，所有癌旁区域内成熟三级淋巴结构的总密度=所有癌旁区域内成熟三级淋巴结构的总数量/所有癌旁区域的总面积，所有癌旁区域内非成熟三级淋巴结构的总密度=所有癌旁区域内非成熟三级淋巴结构的总数量/所有癌旁区域的总面积，所有癌旁区域内三级淋巴结构的总密度=所有癌旁区域内成熟三级淋巴结构的总密度＋所有癌旁区域内非成熟三级淋巴结构的总密度。
56.上述方案，通过对各病理图像的癌旁区域内三级淋巴结构的识别结果进行定量分析，可确定出病例的所有病理图像中所有癌旁区域内成熟三级淋巴结构的总数量和总密度、非成熟三级淋巴结构的总数量和总密度以及三级淋巴结构的总密度。如此，可针对所有癌旁区域提供多种类型的第二定量分析结果，以便为实体瘤病例的预后效果及免疫治疗疗
效提供全方位数据，有助于提高预后预测的准确性。
57.在一种实施方式中，该病例三级淋巴结构的识别方法还可以包括：基于各病理图像中各第一图块的识别结果及各第二图块的识别结果，确定病例的定性分析结果。示例性地，在任一第一图块或任一第二图块存在三级淋巴结构的情况下，确定病例的定性分析结果为阳性病例；其中，三级淋巴结构包括成熟三级淋巴结构和非成熟三级淋巴结构。在所有第一图块和所有第二图块均不存在三级淋巴结构的情况下，确定病例的定性分析结果为阴性病例。如此，可对病例进行高效地定性判定，有助于提高定性判定效率。
58.具体地，如图8所示，本技术实施例中确定一个病例的定性分析结果可以包括如下步骤：步骤s810、遍历一个病例的多个病理图像；步骤s821、标注出各病理图像的肿瘤区域；步骤s822、标注出各病理图像的癌旁区域；针对肿瘤区域执行如下步骤：步骤s831、将肿瘤区域分割成多个第一图块；步骤s841、遍历所有第一图块以进行三级淋巴结构识别；步骤s851、判断各第一图块是否存在成熟三级淋巴结构；步骤s861、在任一第一图块存在成熟三级淋巴结构的情况下，确定病例的定性分析结果为肿瘤区域成熟三级淋巴结构阳性病例；步骤s871、在各第一图块均不存在成熟三级淋巴结构的情况下，判断各第一图块是否存在非成熟三级淋巴结构；步骤s881、在任一第一图块存在非成熟三级淋巴结构的情况下，确定病例的定性分析结果为肿瘤区域非成熟三级淋巴结构阳性病例；步骤s891、在各第一图块均不存在非成熟三级淋巴结构的情况下，确定病例的定性分析结果为肿瘤区域三级淋巴结构阴性病例。
59.针对癌旁区域执行如下步骤：步骤s832、将癌旁区域分割成多个第二图块；步骤s842、遍历所有第二图块以进行三级淋巴结构识别；步骤s852、判断各第二图块是否存在成熟三级淋巴结构；步骤s862、在任一第二图块存在成熟三级淋巴结构的情况下，确定病例的定性分析结果为癌旁区域成熟三级淋巴结构阳性病例；步骤s872、在各第二图块均不存在成熟三级淋巴结构的情况下，判断各第二图块是否存在非成熟三级淋巴结构；步骤s882、在任一第二图块存在非成熟三级淋巴结构的情况下，确定病例的定性分析结果为癌旁区域非成熟三级淋巴结构阳性病例；步骤s892、在各第二图块均不存在非成熟三级淋巴结构的情况下，确定病例的定性分析结果为癌旁区域三级淋巴结构阴性病例。
60.上述针对肿瘤区域和癌旁区域执行的步骤可同时执行，可提升定性分析结果的确定效率。基于此，能够病例进行快速、准确的定性分析，有助于提高预后预测的效率及准确性。
61.在一种优选的实施方式中，病例可以为多个，确定多个病例的定性分析结果可以包括：遍历多个病例的病例信息，确定与各病例对应的多个病理图像；其中，各病例的病例信息与各病例的多个病例图像具有对应关系；采用上述步骤s810~步骤s892分别确定各病例的定性分析结果。如此，能够多个病例进行快速、准确的定性分析，提高分析效率。
62.在一种实施方式中，该病例三级淋巴结构的识别方法还可以包括如下至少之一：基于各病理图像的肿瘤区域内三级淋巴结构的识别结果、癌旁区域内三级淋巴结构的识别结果、病例的实体瘤类型与预设的预后效果之间的第一对应关系，确定出对应的预后效果；基于第一定量分析结果和/或第二定量分析结果、病例的实体瘤类型与预设的预后效果之间的第二对应关系，确定出对应的预后效果。
63.示例性地，病理切片设置有二维码、条纹码等任一种标签，病例的实体瘤类型可通过扫描病理切片的标签读取得到。其中，实体瘤类型包括但不限于食管鳞癌、肺癌、结直肠癌、胃癌、肝癌和乳腺癌。实体瘤类型及其肿瘤区域内三级淋巴结构的识别结果及癌旁区域内三级淋巴结构的识别结果与预后效果之间的对应关系可通过数据库进行存储。如此，在确定实体瘤类型及其病理图像中肿瘤区域内和癌旁区域内的三级淋巴结构的识别结果的情况下，通过上述对应关系可快速确定出实体瘤病例的预后效果，提高预后预测效率。其中，预后效果包括手术治疗的预后效果和免疫治疗的预后效果。
64.示例性地，数据库中可存储如下第一对应关系：肿瘤区域内或癌旁区域内存在成熟三级淋巴结构与食管鳞癌、肺鳞癌、结直肠癌、胰腺癌和头颈癌等实体瘤的较好预后效果之间的对应关系。
65.示例性地，数据库中可存储如下第二对应关系：肿瘤区域内三级淋巴结构的数量及密度与肝细胞癌、肝内胆管癌的较好预后效果之间的正相关关系；癌旁区域内三级淋巴结构的数量及密度与肝细胞癌、肝内胆管癌的不良预后效果之间的对应关系。
66.需要说明的是，上述实施例仅以几种实体瘤类型来说明对应关系，本技术实施例的上述对应关系还可以根据实际需要进行选择和调整，不以上述实施例为限。
67.下面结合附图9对本技术病例三级淋巴结构的识别方法的一个优选实施例进行说明。
68.如图9所示，本技术实施例的病例三级淋巴结构的识别方法可以包括训练过程和识别过程，其中，训练过程包括如下步骤：步骤s901、扫描训练用病理切片，得到训练用图像；步骤s902、将训练用图像分割成多个图块，并进行人工标注，得到多个样本图像；步骤s903、采用多个样本图像对大规模卷积神经网络进行迁移学习，得到三级淋巴结构检测模型。
69.识别过程可以包括：步骤s904、扫描病例的多个待检测病理切片，得到多个病理图像；
步骤s905、标注各病理图像的肿瘤区域和癌旁区域；步骤s906、将各病理图像的肿瘤区域分割成多个第一图块；步骤s907、将各病理图像的癌旁区域分割成多个第二图块；步骤s908、利用三级淋巴结构检测模型分别对各第一图块和各第二图块进行目标检测，得到各第一图块的检测结果和各第二图块的检测结果；步骤s909、基于各第一图块的检测结果，确定各病理图像的肿瘤区域内三级淋巴结构的识别结果；以及，基于各第二图块的检测结果，确定各病理图像的癌旁区域内三级淋巴结构的识别结果；步骤s910、对各病理图像的肿瘤区域内三级淋巴结构的识别结果进行定量分析，得到第一定量分析结果；对各病理图像的癌旁区域内三级淋巴结构的识别结果进行定量分析，得到第二定量分析结果；步骤s911、基于第一对应关系和/或第二对应关系，确定预后效果。
70.上述步骤s901~步骤s911的具体实现及作用可参考前文实施例，在此不赘述。其中，步骤s906和步骤s907可同时执行，可提高执行效率。
71.图10示出根据本技术一实施例的三级淋巴结构的识别装置的结构框图。如图10所示，该三级淋巴结构的识别装置1000可以包括：获取模块1010，用于获取待识别图像；检测模块1020，用于基于三级淋巴结构检测模型对待识别图像进行目标检测，得到待识别图像中预选三级淋巴结构的检测框、检测概率和检测类别；三级淋巴结构检测模型为基于多个样本图像训练大规模卷积神经网络得到，样本图像中包含成熟三级淋巴结构的图像及非成熟三级淋巴结构的图像，检测框、检测概率和检测类别之间具有对应关系；确定模块1030，用于基于检测框、检测概率和检测类别，从预选三级淋巴结构中确定出成熟三级淋巴结构及非成熟三级淋巴结构，得到待识别图像的识别结果。
72.在一种实施方式中，确定模块1030包括：第一确定单元，用于在检测概率大于或等于概率阈值且检测类别为成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为成熟三级淋巴结构；第二确定单元，用于在检测概率大于或等于概率阈值且检测类别为非成熟三级淋巴结构的情况下，确定对应的检测框所框选的预选三级淋巴结构为非成熟三级淋巴结构。
73.图11示出根据本技术一实施例的病例三级淋巴结构的识别装置的结构框图。如图11所示，该病例三级淋巴结构的识别装置1100可以包括：扫描模块1110，用于按照预设的放大倍数分别对病例的多个病理切片进行扫描，得到多个病理图像，多个病理图像与多个病理切片一一对应；第一确定模块1120，用于确定各病理图像的肿瘤区域及癌旁区域；划分模块1130，用于将各病理图像的肿瘤区域划分成多个第一图块；以及，将各病理图像的癌旁区域划分成多个第二图块，第一图块和第二图块的尺寸相同；识别模块1140，用于基于上述任一实施例的三级淋巴结构的识别方法，分别对各病理图像的各第一图块及各第二图块进行识别，得到各第一图块的识别结果及各第二图块的识别结果；第二确定模块1150，用于基于各病理图像中各第一图块的识别结果，确定肿瘤区
域内三级淋巴结构的识别结果；以及，基于各病理图像中各第二图块的识别结果，确定癌旁区域内三级淋巴结构的识别结果。
74.在一种实施方式中，该病例三级淋巴结构的识别装置1100还可以包括：第一定量分析模块，用于对各病理图像的肿瘤区域内三级淋巴结构的识别结果进行定量分析，得到第一定量分析结果；第二定量分析模块，用于对各病理图像的癌旁区域内三级淋巴结构的识别结果进行定量分析，得到第二定量分析结果。
75.在一种实施方式中，该病例三级淋巴结构的识别装置1100还可以包括：定性分析模块，用于基于各病理图像中各第一图块的识别结果及各第二图块的识别结果，确定病例的定性分析结果。
76.在一种实施方式中，该病例三级淋巴结构的识别装置1100还可以包括如下至少之一：第三确定模块，用于基于各病理图像的肿瘤区域内三级淋巴结构的识别结果、癌旁区域内三级淋巴结构的识别结果、病例的实体瘤类型与预设的预后效果之间的第一对应关系，确定出对应的预后效果；第四确定模块，用于基于第一定量分析结果和/或第二定量分析结果、病例的实体瘤类型与预设的预后效果之间的第二对应关系，确定出对应的预后效果。
77.本发明实施例各装置中的各模块的功能可以参见上述方法中的对应描述，在此不再赘述。
78.本技术实施例还提供一种识别设备，包括：处理器和存储器，存储器中存储指令，指令由处理器加载并执行，以实现本技术实施例的识别方法。
79.本技术实施例提供了一种计算机可读存储介质，其存储有计算机程序，该程序被处理器执行时实现本技术实施例中提供的方法。
80.应理解的是，上述处理器可以是中央处理器(central processing unit，cpu)、图形处理器(graphics processing unit，gpu)，还可以是其他通用处理器、数字信号处理器(digital signal processing，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者是任何常规的处理器等。值得说明的是，处理器可以是支持进阶精简指令集机器(advanced risc machines，arm)架构的处理器。
81.进一步地，可选的，上述存储器可以包括只读存储器和随机存取存储器，还可以包括非易失性随机存取存储器。该存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以包括只读存储器(read-only memory，rom)、可编程只读存储器(programmable rom，prom)、可擦除可编程只读存储器(erasable prom，eprom)、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以包括随机存取存储器(random access memory，ram)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用。例如，静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic random access memory，dram) 、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器
(double data date sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
82.在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行计算机程序指令时，全部或部分地产生按照本技术的流程或功能。计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输。
83.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包括于本技术的至少一个实施例或示例中。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
84.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
85.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。上述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读存储介质中。该存储介质可以是只读存储器，磁盘或光盘等。
86.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到其各种变化或替换，这些都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应以权利要求的保护范围为准。