肺癌TNM分期获取方法及装置与流程

本发明涉及机器学习
技术领域：
，尤其涉及结合图像识别自动获取肺癌tnm分期的方法及装置。
背景技术：
：肺内肿瘤tnm分期是目前临床上普遍采用的肺癌分期标准，通过3个方面分期的组成综合判断肺癌的分期，其具体包括：用于表示原发肿瘤大小、位置，距离组织气管和隆突的远近，有没有侵犯胸膜、胸壁，有没有肺不张或者肺炎，是否侵及纵隔或心脏大血管等内容的t分期；用于表示区域淋巴结，包括肺内、肺门、纵隔和远处的淋巴结是否存在转移的n分期；用于表示有没有远处转移的m分期。目前医生在计算肺内肿瘤(由于肺内肿瘤在影像上的表现通常是结节/肿块，而结节/肿块的差异主要在于大小，因此以下统一简称结节)tnm分期时，用最原始的方式进行，如用纸笔记录信息，并对参照tnm分期规则的表格进行评估后写入病历中。因此，每次在确定tnm分期时，均需医生亲自测量结节大小，记录结节位置，确定相关信息并对照表格查其tnm分期，采用此种方式确定tnm分期，效率低且容易出错。技术实现要素：为了解决
背景技术：
中提到的问题，本发明提供一种肺癌tnm分期获取方法，通过人工智能自动获取t分期和n分期，再结合获取的m分期快速的生成tnm分期报告。为了实现所述目的，本发明提供一种肺癌tnm分期获取方法，包括：识别第一医学影像中的第一目标结节；在第二医学影像中匹配所述第一目标结节，获取第二医学影像中的第二目标结节；获取所述第二目标结节的长短径，至少根据所述第二目标结节的长短径生成t分期；识别所述第一医学影像中的异常淋巴结，并通过判断异常淋巴结是否有转移生成n分期；识别所述第一医学影像中的第一目标结节是否有远处转移，并根据是否有远处转移生成m分期；根据所述t分期、n分期和m分期生成tnm分期，其中，所述第一医学影像和第二医学影像为针对同一患者、同一部位的不同模态医学影像。可选的，所述第一医学影像为平扫ct影像，所述第二医学影像为增强ct影像。可选的，所述识别第一医学影像中的第一目标结节，包括；获取第一医学影像中候选结节的置信度；在第一医学影像中将置信度大于预设阈值的候选结节作为第一医学影像中的第一目标结节。可选的，所述获取第一医学影像中候选结节的置信度，包括：获取第一医学影像中候选结节的三维坐标；根据所述候选结节的三维坐标从所述第一医学影像中确定所述候选结节的感兴趣区域；根据所述感兴趣区域以及结节检测模型确定出所述候选结节的置信度。可选的，所述在第二医学影像中匹配所述第一目标结节，获取第二医学影像中的第二目标结节包括：确定第一医学影像中的第一目标结节、第二医学影像中各结节及各定位锚点在第一、第二医学影像中的第一坐标；根据第一、第二医学影像的分割图像以及第一、第二医学影像中各定位锚点的第一坐标，确定空间变换矩阵；根据空间变换矩阵将第一医学影像中的第一目标结节和第二医学影像中的各结节的第一坐标转换为标定坐标系的第二坐标；针对第一医学影像中的第一目标结节，根据第二医学影像中各结节的第二坐标，确定匹配第一目标结节的第二医学影像中的第二目标结节。可选的，所述根据第一、第二医学影像的分割图像以及第一、第二医学影像中各定位锚点的第一坐标，确定空间变换矩阵，包括：将第一、第二医学影像中各定位锚点的第一坐标进行粗对齐确定初步变换矩阵；根据初步变换矩阵对第一、第二医学影像的分割图像进行细对齐确定空间变换矩阵。可选的，所述获取所述第二目标结节的长短径，至少根据所述第二目标结节的长短径生成t分期，包括：识别第二目标结节在第二影像中的动脉期和静脉期上的ct值，并根据所述ct值判断是否存在非结节区域；若存在非结节区域，则在第二目标结节中排除所述非结节区域，并基于排除非结节区域后的第二目标结节的长短径生成t分期。可选的，所述非结节区域为阻塞性肺炎和/或肺不张区域。可选的，识别所述第一医学影像中的异常淋巴结，并通过判断异常淋巴结是否有转移生成n分期，包括：识别并定位第一医学影像中的异常淋巴结；将所述第一医学影像输入至关键目标获取模型中，以获取所述第一医学影像中关键目标的信息；基于所述异常淋巴结的位置、所述关键目标的信息，确定所述异常淋巴结所在分区；基于所述异常淋巴结所在分区判断所述异常淋巴结是否有转移；基于异常淋巴结转移信息生成n分期。本发明还提供一种肺癌tnm分期获取装置，包括：第一目标结节识别单元，用于识别第一医学影像中的第一目标结节；第二目标结节获取单元，用于在第二医学影像中匹配所述第一目标结节，获取第二医学影像中的第二目标结节；t分期生成单元，用于获取所述第二目标结节的长短径，至少根据所述第二目标结节的长短径生成t分期；n分期生成单元，用于识别所述第一医学影像中的异常淋巴结，并通过判断异常淋巴结是否有转移生成n分期；m分期生成单元，用于识别所述第一医学影像中的第一目标结节是否有远处转移，并根据是否有远处转移生成m分期；tnm分期生成单元，用于根据t分期、n分期和m分期生成tnm分期；其中，所述第一医学影像和第二医学影像为针对同一患者、同一部位的不同模态医学影像。根据本发明的tnm分期获取方法及装置，通过对结节识别模型、结节分割模型及淋巴结转移识别模型的训练，并利用所述模型输出的信息自动生成t分期和n分期，再结合医生输入或通过访问病历等方式判断的是否有远处转移信息生成m分期，有效的提高了tnm分期的生成效率，便于医生快速了解患者的病情，提高了诊断的效率。附图说明为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为根据本发明实施例的肺癌tnm分期获取方法的流程示意图；图2为根据本发明实施例的在第一医学影像中获取候选结节置信度的流程示意图；图3为根据本发明实施例的在第二医学影像中获取第二目标结节的流程示意图；图4为根据本发明实施例的判断异常淋巴结转移的流程示意图；图5为支气管分叉点的示意图；图6为左主支气管和右主支气管横切面的示意图中左主支气管和右主支气管相邻的外缘的切线的示意图；图7为主气管横切面的示意图中主气管后侧外缘的切线和主气管右侧外缘的切线的示意图；图8(a)为第一动脉汇合成第二动脉的示意图；图8(b)为第一横切面和第二横切面的示意图；图9(a)为第一种异常淋巴结分区的示意图；图9(b)为第二种异常淋巴结分区的示意图；图9(c)为第三种异常淋巴结分区的示意图；图10为根据本发明实施例的肺癌tnm分期获取装置的示意图。具体实施方式为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。图1为本发明实施例的肺癌tnm分期获取方法的流程示意图。如图1所示，根据本实施例的肺癌tnm分期获取方法，包括：s101，识别第一医学影像中的第一目标结节。s102，在第二医学影像中匹配所述第一目标结节，获取第二医学影像中的第二目标结节。s103，获取所述第二目标结节的长短径，至少根据所述第二目标结节的长短径生成t分期。s104，识别所述第一医学影像中的异常淋巴结，并通过判断异常淋巴结是否有转移生成n分期。s105，识别所述第一医学影像中的第一目标结节是否有远处转移，并根据是否有远处转移生成m分期。s106，根据所述t分期、n分期和m分期生成tnm分期。其中，所述第一医学影像和第二医学影像为针对同一患者、同一部位的不同模态医学影像。不同模态的医学影像是指对人体进行成像时，其成像的方式不同，如：平扫ct成像、增强ct成像、mri成像或pet成像等。本实施例中以所述第一医学影像为平扫ct成像、第二医学影像为增强ct成像为例进行说明。增强ct是在平扫ct基础上，对发现的可疑部位静脉注射造影剂后对可疑部分重点的进行检查的成像方式。一般患者初次到医院时，医生会建议患者进行平扫ct检查，在无法用平扫ct精确确认病灶时，再建议患者进一步进行增强ct的检查。因此本实施例中的第一医学影像和第二医学影像是针对同一患者、同一部位先后拍摄的平扫ct影像和增强ct影像。执行s101，识别第一医学影像中的第一目标结节。本实施例中s101可以包括如下步骤：s201，获取第一医学影像中候选结节的置信度。s202，在第一医学影像中将置信度大于预设阈值的候选结节作为第一医学影像中的第一目标结节。结节的置信度是判断一个结节是否为重要结节的指标，置信度越高说明该结节对患者的健康影响越大，越需要医生重点关注的恶性肿瘤。图2为根据本发明实施例的在第一医学影像中获取候选结节置信度的流程示意图。如图2所示，获取第一医学影像中候选结节的置信度包括：s301，获取第一医学影像中候选结节的三维坐标。s302，根据所述候选结节的三维坐标从所述第一医学影像中确定所述候选结节的感兴趣区域。s303，根据所述感兴趣区域以及结节检测模型确定出所述候选结节的置信度。执行s301，获取第一医学影像中候选结节的三维坐标。所述候选结节的三维坐标可以为候选结节内的点的三维坐标(比如结节中心点的三维坐标)，也可以是候选结节表面的点的三维坐标。执行s302，根据所述候选结节的三维坐标从所述第一医学影像中确定所述候选结节的感兴趣区域。具体的，可以以候选结节的三维坐标为中心，向周围扩展预设距离，确定包含该候选结节的像素立方体，该预设距离为候选结节半径的预设倍数，比如候选结节半径的1.25倍。然后截取此像素立方体，并插值缩放到一定的大小。之后再对该像素立方体中每一个像素附加一个空间信息通道，输出感兴趣区域，空间信息通道为像素立方体与候选结节的三维坐标之间的距离。举例来说，这里可以是以候选结节的三维坐标为中心，向三个坐标轴各方向延伸l像素，就可以选取一个2l*2l*2l大小的像素立方体。执行s303，根据所述感兴趣区域以及结节检测模型确定出所述候选结节的置信度。在本发明实施例中，该结节检测模型是采用卷积神经网络对已标记结节区域的多幅医学影像进行训练后得到的，具体可以为：先获取待过滤掉假阳性结果的候选结节集和医生对所述候选结节集中各候选结节的判定结果，该待过滤假阳性结果的候选结节集是收集了大量胸部ct影像后获取的，再通过多名医生对候选结节集中的候选结节进行判定，判定是不是结节。然后对该候选结节集中的候选结节进行数据增强，得到增强后的候选结节集。例如可以将数据量增强到之前的k倍，也可以为通过随机水平镜像，随机旋转任意角度、随机上下左右平移0～5像素、随机缩放0.85～1.15倍等方式来将数据量增强到之前的k倍。再根据增强后的候选结节集以及各候选结节的三维坐标，从医学影像中确定出增强后的候选结节集中各候选结节的感兴趣区域，具体的确定方法可以参见s302，在此不再赘述。最后将增强后的候选结节集中各候选结节的感兴趣区域通过预设的3d卷积神经网络模型进行训练，得到结节检测模型。在训练时，可以将3d卷积神经网络模型输出的候选结节置信度，和训练样本的label做交叉熵，作为loss函数，并通过反向传播的方法进行训练，训练的优化算法为sgd。通过上述步骤得到的结节检测模型包括m个3d卷积特征提取模型和一个全连接模块。而每个3d卷积特征提取模型还包括一个j*j*j的3d卷积层和一个h*h*h的max_pooling层。全连接模型可以包括两个全连接层。在具体使用结节检测模型时，可以将上述s202得到的感兴趣区域依次通过m个3d卷积特征提取模块提取感兴趣区域的特征图像，然后将提取的感兴趣区域的特征图像输入至全连接模块，确定出候选结节的置信度，并得到对应的候选结节。在通过s303获取候选结节置信度后，将其与预设阈值进行比较，如预设阈值为a，置信度位于[a，100％]之间的候选结节均为第一目标结节，所述预设阈值根据医生经验确定。执行s102，在第二医学影像中匹配所述第一目标结节，获取第二医学影像中的第二目标结节。图3为根据本发明实施例的在第二医学影像中获取第二目标结节的流程示意图，如图3所示，包括：s401，确定第一医学影像中的第一目标结节、第二医学影像中各结节及各定位锚点在第一、第二医学影像中的第一坐标。s402，根据第一、第二医学影像的分割图像以及第一、第二医学影像中各定位锚点的第一坐标，确定空间变换矩阵。s403，根据空间变换矩阵将第一医学影像中的第一目标结节和第二医学影像中的各结节的第一坐标转换为标定坐标系的第二坐标。s404，针对第一医学影像中的第一目标结节，根据第二医学影像中各结节的第二坐标，确定匹配第一目标结节的第二医学影像中的第二目标结节。执行s401，确第一医学影像中的第一目标结节、第二医学影像中各结节和各定位锚点在第一、第二医学影像中的第一坐标。第一医学影像中的第一目标结节的第一坐标和第二医学影像中各结节的第一坐标的获取可以通过人工进行标定，也可以采用卷积神经网络对已标定结节坐标的医学影像进行训练确定结节坐标检测模型，然后针对任意一个医学影像，通过结节坐标检测模型检测医学影像中各结节的第一坐标。定位锚点为第一、第二医学影像中均存在且在第一、第二医学影像中的位置相对固定的点，定位锚点可以根据实际情况预先设定，比如在对肺结节进行匹配时，可以将定位锚点设定为气管分叉处中心点或脊椎骨中心点或胸骨中心点或左右肺的肺尖点或上述各点的组合。第一、第二医学影像中各定位锚点的坐标可以通过人工进行标定，也可以根据定位锚点检测模型确定，其中，定位锚点检测模型是采用卷积神经网络对已标记定位锚点坐标的多个结节影像进行训练后确定的。执行s402，根据第一、第二医学影像的分割图像以及第一、第二医学影像中各定位锚点的第一坐标，确定空间变换矩阵。第一、第二医学影像的分割图像为从第一、第二医学影像中标记出主要器官的影像，比如肺部ct影像的分割图像为从肺部ct影像中标记出肺部的影像，具体在标记时，可以使用不同的颜色将肺部从肺部ct影像中标记出来。下面具体介绍确定空间变换矩阵的过程，包括以下步骤：s501，将第一、第二医学影像中各定位锚点的第一坐标进行粗对齐确定初步变换矩阵。s502，根据初步变换矩阵对第一、第二医学影像的分割图像进行细对齐确定空间变换矩阵。执行s501，将第一、第二医学影像中各定位锚点的第一坐标进行粗对齐确定初步变换矩阵。将第一医学影像中各定位锚点的第一坐标与第二医学影像中各定位锚点的第一坐标进行粗对齐，具体过程为：设定第一医学影像中各定位锚点的第一坐标集合为{p1，p2，...，p5}，其中，pi表示第i个定位锚点的第一坐标，pi为三维向量，1≤i≤5。第二医学影像中各定位锚点的第一坐标集合为{q1，q2，...，q5}，其中，qj表示第j个定位锚点的第一坐标，qj为三维向量，1≤j≤5。预先设立一个空间变换矩阵t1，通过该空间变换矩阵将定位锚点集合{p1，p2，...，p5}变换到另一个定位锚点集合{p1’，p2’，...，p5’}。然后将定位锚点集合{p1’，p2’，...，p5’}与定位锚点集合{q1，q2，...，q5}的l2范数设定为目标函数f，反复调整空间变换矩阵t1的取值，以使目标函数f取最小值。当目标函数f取最小值时对应的空间变换矩阵t1即为初步变换矩阵。执行s502，根据初步变换矩阵对第一、第二医学影像的分割图像进行细对齐确定空间变换矩阵。确定第一医学影像和第二医学影像之间的初步变换矩阵后，根据初步变换矩阵对第一医学影像和第二医学影像的分割图像进行细对齐，具体过程为：以初步变换矩阵为基础，进行一定范围的搜索确定空间变换矩阵t2，搜索范围可以为对初步变换矩阵进行设定像素(比如20像素)以内的空间平移或对初步变换矩阵进行设定度数(比如20度)以内的空间旋转或对初步变换矩阵进行设定倍数(比如0.8～1.2倍)以内的空间缩放或上述几种搜索范围的任意组合。然后通过空间变换矩阵t2将第一医学影像的分割图像a变换为第一医学影像的分割图像a1，然后计算第一医学影像的分割图像a1中主要器官与第二医学影像的分割图像b中主要器官之间的交并比(iou)，具体如公式(1)所示：iou＝|a1∩b|/|a1∪b|(1)其中，|a1∩b|为第一医学影像的分割图像a1中主要器官与第二医学影像的分割图像b中主要器官之间交集的像素数量，|a1∪b|为第一医学影像的分割图像a1中主要器官与第二医学影像的分割图像b中主要器官之间并集的像素数量，iou越大说明匹配的越准确。然后反复搜索并调整空间变换矩阵t2的取值，直到确定使iou取最大值的空间变换矩阵t2，使iou取最大值的空间变换矩阵t2即为最终确定的空间变换矩阵。由于先将各定位锚点的第一坐标进行粗对齐确定初步变换矩阵，然后以初步变换矩阵为基础，对各医学影像的分割图像进行细对齐确定空间变换矩阵，相较于只采用医学影像中的点对齐确定空间变换矩阵的方法，其准确性更高。相较于只采用医学影像中的图像对齐确定空间矩阵的方法，其效率更高。执行s403，根据空间变换矩阵将第一医学影像中的第一目标结节和第二医学影像中的各结节的第一坐标转换为标定坐标系的第二坐标。本实施例中将第一医学影像中的坐标系作为标定坐标系，然后通过空间变换矩阵将第二医学影像中的各结节的第一坐标转换为第一医学影像的坐标系的第二坐标。s404，针对第一医学影像中的第一目标结节，根据第二医学影像中各结节的第二坐标，确定匹配第一目标结节的第二医学影像中的第二目标结节。本实施例中，将第一医学影像和第二医学影像在空间上对齐后，依次计算第一医学影像中的第一目标结节与第二医学影像中各结节之间的距离，然后根据第一医学影像中的第一目标结节与第二医学影像中各结节之间的距离从近到远进行匹配，已经匹配的点对不再匹配，获得匹配结果。执行s103，获取所述第二目标结节的长短径，至少根据所述第二目标结节的长短径生成t分期。本实施例中，具体地可以包括：s601，识别第二目标结节在第二影像中的动脉期和静脉期上的ct值，并根据所述ct值判断是否存在非结节区域。s602，若存在非结节区域，则在第二目标结节中排除所述非结节区域，并基于排除非结节区域后的第二目标结节的长短径生成t分期。执行s601，识别第二目标结节在第二影像中的动脉期和静脉期上的ct值，并根据所述ct值判断是否存在非结节区域。动脉期和静脉期是针对增强ct而言的，根据注射造影剂以后成像时间的不同分为动脉期和静脉期。一般动脉期是在注射造影剂后的30秒左右时的成像；静脉期是注射造影剂后的90秒左右时的成像，动脉期有利于观察病变动脉血供情况；静脉期有利于观察病变静脉血供情况，临床中通过ct动脉期和静脉期可以判断某一处是否为恶性肿瘤。以肺部成像为例，在结节伴有阻塞性肺炎或肺不张等症状时，因阻塞性肺炎或肺不张区域在平扫ct下成像时其成像结果与结节区域较为相近，且一般与结节区域混在一起，因此容易将阻塞性肺炎或肺不张区域计算到结节区域上，这会导致得出的结节长短径偏大，进而基于所述长短径生成的t分期偏大。本实施例中通过目标结节区域和非结节区域(如阻塞性肺炎或肺不张区域)在增强平均ct的动脉期和静脉期的平均ct值存在差异的特性，提前将阻塞性肺炎或肺不张区域等非结节区域从结节区域中删除，实现更为精准的获得目标结节的长短径，进而获得更为精准的t分期。经过某次测试，结节区域在平扫ct成像时平均ct值为32hu，增强ct成像时，在动脉期平均ct值为71hu，在静脉期平均ct值为62hu；非结节区域，如阻塞性肺炎或肺不张区域在平扫ct成像时平均ct值为30hu，增强ct成像时，在动脉期平均ct值为95hu，而在静脉期平均ct值为63hu。所述测试中的ct值是为了便于说明，示例性给出的值，在实际测试中，不同厂家不同型号的ct设备、不同的病历、选择拍摄动脉期和静脉期的时间等都会导致不同的ct值。从上述测试中给出的数据可以看出，在平扫ct成像时，结节区域与非结节区域的ct值差异不大，而在增强ct的动脉期和静脉期结节区域与非结节区域的ct值就会有明显的差异，也即，非结节区域ct值变化相对更大。本实施例中可以设置一ct值变化阈值，当原结节区域的有些区域在增强ct的动脉期和静脉期ct值变化大于所述阈值时，该区域可以确定为非结节区域。执行s602，若存在非结节区域，则在第二目标结节中排除所述非结节区域，并基于排除非结节区域后的第二目标结节的长短径生成t分期。本实施例中，在第二目标结节中不存在非结节区域时，直接基于第二目标结节的长短径生成t分期，若第二目标结节区域存在所述非结节区域时，先在第二目标结节中排除非结节区域，然后基于排除了非结节区域后的第二目标结节的长短径生成t分期。本实施例中，采用协方差矩阵分解对第二目标结节进行测量确定结节的长短径。具体过程为：将第二目标结节区域的像素集合展开为n×3的矩阵，对此计算协方差矩阵。然后对协方差矩阵进行奇异值分解(singularvaluedecomposition，简称svd)，得到一特征向量、一个变换矩阵和一个逆变换矩阵。通过分解得到的变换矩阵，对结节区域的像素集合进行变换，得到新空间坐标系中的各轴。将各轴通过逆变换矩阵转换会原空间，得到原空间坐标系中各轴，原空间坐标系中最长轴即为第二目标结节的长径，最短轴即为第二目标结节的短径。在其他施例中，采用椭球拟合对第二目标结节区域进行测量确定第二目标结节的长短径。具体过程包括如下步骤：s701，获取第二目标结节区域边界上的n个点的坐标，n大于等于10。s702，根据n个点的坐标以及椭球方程拟合第二目标结节区域对应的椭球及椭球方程。椭球方程如式(1)所示：ax^2+by^2+cz^2+dxy+eyz+fxz+gx+hy+iz+j＝0(1)其中，a、b、c、d、e、f、g、h、i、j为需要求解的10个参数，通过将获取第二目标结节区域边界上的10个点的坐标代入公式(1)，即可求得第二目标结节区域对应的椭球及椭球方程。s703，根据第二目标结节区域对应的椭球方程确定第二目标结节区域对应的椭球的长轴和短轴。椭球的长轴为椭球中最长的轴，椭球的短轴为椭球中最短的轴。s704，将第二目标结节区域对应的椭球的长轴确定为第二目标结节的长径。s705，将第二目标结节区域对应的椭球的短轴确定为第二目标结节的短径。由于结节的形状近似椭球，故将结节拟合为椭球，然后通过测量椭球的长轴和短轴来确定结节长短径，从而一方面简化了测量结节长短径的过程，另一方面提高了测量结节长短径的精度。通过上述步骤检测到第二目标结节的长短径后，结合如下t分期表生成t分期。如，未发现原发肿瘤(结节)时t分期为tx，肿瘤的最大径(长径)大于1cm，小于2cm时t分期为t1b。t分期表需要说明的是，上述t分期表中仅以目标结节长短径为准给出了该目标结节所在的t分期。实际应用中，不同的临床需求在确定t分期时，除考虑目标结节的长短径外，还需考虑目标结节距离组织气管和隆突的远近，目标结节是否侵犯胸膜、胸壁，是否有肺不张或者肺炎等症状，目标结节是否侵及纵隔或心脏大血管等中的一种或多种因素，通过综合考虑前述因素来确定t分期。因此，在其他实施例中，可以利用本实施例获得的目标结节的长短径结合前述一种或多种因素、及与之对应的t分期规则来确定该目标结节的t分期。执行s104，识别所述第一医学影像中的异常淋巴结，并通过异常淋巴结是否有转移生成n分期。图4为根据本发明实施例的判断异常淋巴结转移的流程示意图。如图4所示，判断异常淋巴结是否有转移的步骤包括：s801，识别并定位第一医学影像中的异常淋巴结。s802，将所述第一医学影像输入至关键目标获取模型中，以获取所述第一医学影像中关键目标的信息。s803，基于所述异常淋巴结的位置、所述关键目标的信息，确定所述异常淋巴结所在分区。s804，基于所述异常淋巴结所在分区判断所述异常淋巴结是否有转移。s805，基于异常淋巴结转移信息生成n分期。执行s801，本领域技术人员知晓，肺癌到一定阶段，肿瘤细胞会转移到淋巴结，通常肿瘤转移性淋巴结称之为异常淋巴结。本实施例中通过定位模型确定第一医学影像中异常淋巴结的位置，也即通过定位模型输出第一医学影像中异常淋巴结的位置。此时，可以以异常淋巴结为目标关键点。具体的，定位模型可以包括第一定位模型和第二定位模型，将第一医学影像输入至第一定位模型，以获得第一医学影像的各第一关键点的位置(第一关键点可以为异常淋巴结所在区域的点)，将第一医学影像的至少一个维度的影像层输入至第二定位模型，以获得第一医学影像在至少一个维度上的各第二关键点的位置(第二关键点可以为异常淋巴结所在区域的点)；其中，任一维度的影像层包括以所述维度的切分平面切分第一医学影像得到的一帧或多帧连续的医学影像；不同维度的切分平面不平行；将各第一关键点和至少一个维度上的各第二关键点中相同的第一关键点和第二关键点作为目标关键点，基于相同的第一关键点和第二关键点的位置，确定目标关键点的位置。第一定位模型包括第一定位模块和第二定位模块，具体是将第一医学影像输入至第一定位模块，以获得第一医学影像的各初始第一关键点的位置；分割医学影像，以获得包括各初始第一关键点的各个粗分割体；将各个粗分割体输入至与其对应的第二定位模块，以获得各个粗分割体包括的各第一关键点的位置。第二定位模型包括分类器、第三定位模块和第四定位模块，具体是将第一医学影像的至少一个维度的影像层输入至分类器，以获得第一医学影像在至少一个维度上的各关键帧影像，将第一医学影像在至少一个维度上的各关键帧影像输入至第三定位模块，以获得第一医学影像在至少一个维度上的各初始第二关键点的位置，分割医学影像在至少一个维度上的关键帧影像，以获得包括各初始第二关键点的各个粗分割区域，将各个粗分割区域输入至与其对应的第三定位模块，以获得各个粗分割区域包括的各第二关键点的位置。本实施例中，通过第一定位模型和第二定位模型所定位出的关键点不仅可以包括关键点的位置，还可以包括关键点的标识。如此，在确定出第一医学影像的各第一关键点的位置和标识，以及确定出第一医学影像在至少一个维度上的各第二关键点的位置和标识后，可以根据各第一关键点的标识与至少一个维度上的各第二关键点的标识确定出标识相同的第一关键点和第二关键点，将标识信息相同的第一关键点和第二关键点作为一个目标关键点。然后对标识信息相同的第一关键点和第二关键点的位置进行加权平均，得到所述目标关键点的位置。第一关键点的位置对应的权重和至少一个维度上的各第二关键点的位置对应的权重之和可以为1。第一关键点的位置对应的权重以及至少一个维度上的各第二关键点对应的权重可以由本领域技术人员根据实际场景进行设置，本实施例中不作限定。至此通过上述的定位模型可以定位出所述第一医学影像中异常淋巴结的位置。执行s802，将所述第一医学影像输入至关键目标获取模型中，以获取所述第一医学影像中关键目标的信息。本实施例中，关键目标可以包括：主气管、主气管分叉点、支气管、动脉、肺尖、胸骨柄、脊柱骨、上腔静脉汇合处等，其中，主气管在主气管分叉点处分为左主支气管和右主支气管，示例性的，如图5为一种主气管分叉点的示意图，主气管分叉点上侧是主气管、主气管分叉点下侧是左主支气管和右主支气管。主气管的信息可以包括主气管后侧外缘的切线的位置、主气管右侧外缘的切线的位置、左主支气管和右主支气管相邻的外缘的切线的位置、右主支气管分叉点的位置、右中叶支气管后侧外缘的切线的位置，其中，主气管后侧外缘的切线与矢状面垂直，主气管右侧外缘的切线与冠状面垂直，左主支气管和右主支气管相邻的外缘的切线均与冠状面垂直，右中叶支气管后侧外缘的切线与矢状面垂直。如图6所示的左主支气管和右主支气管横切面的示意图中左主支气管和右主支气管相邻的外缘的切线的示意图，图7所示的主气管横切面的示意图中主气管后侧外缘的切线和主气管右侧外缘的切线的示意图。动脉的信息可以包括第一动脉的信息、第二动脉的信息和主动脉弓的信息，如图8(a)所示，多个第一动脉在主动脉弓处汇合成第二动脉。第一动脉的信息包括第一动脉后侧外缘的切线的位置和第一动脉前侧外缘的切线的位置，第一动脉后侧外缘的切线和第一动脉前侧外缘的切线均与矢状面垂直。第二动脉的信息包括第二动脉后侧外缘的切线的位置、第二动脉左侧外缘的切线的位置和第二动脉右侧外缘的切线的位置；第二动脉后侧外缘的切线与矢状面垂直，第二动脉左侧外缘的切线、第二动脉右侧外缘的切线均与冠状面垂直。主动脉弓的信息可以包括第一横切面的位置和第二横切面的位置，如图8(b)所示，第一横切面是指主动脉弓最下方外缘的横切面，第二横切面是主动脉弓最上方外缘的横切面，第一横切面也可以叫做主动脉弓消失层，第二横切面也可以叫做主动脉弓出现层。上腔静脉汇合处的信息可以包括第三横切面，第三横切面理解为上腔静脉汇合处的横切面。需要说明的是，气管外缘切线(包括主气管外缘切线、主支气管外缘切线、支气管外缘切线)指的是横切面上气管外缘上的切线，该气管外缘切线与水平面平行，具体的，气管后侧外缘切线、气管前侧外缘切线与矢状面垂直，气管左侧外缘切线、气管右侧外缘切线与冠状面垂直。动脉外缘切线(包括第一动脉外缘切线、第二动脉外缘切线)指的是横切面上动脉外缘上的切线，该动脉外缘切线与水平面平行，具体的，动脉后侧外缘切线和动脉前侧外缘切线与矢状面垂直，动脉左侧外缘切线和动脉右侧外缘切线与冠状面垂直。具体实现中，关键目标的信息的获取涉及关键目标定位，而关键目标定位可以分为关键点定位和关键帧定位，其中，关键点定位可以采用关键点定位方法确定各关键点的位置信息，关键点如主气管分叉点、右主支气管分叉点、肺尖、胸骨柄、脊柱骨等。关键点定位方法可以与上述确定异常淋巴结的位置时采用的方法相似，此时将主气管分叉点、右主支气管分叉点、肺尖、胸骨柄、脊柱骨等作为目标关键点即可，在此不再赘述。关键帧定位可以采用关键帧定位方法确定各关键帧的位置信息，关键帧如第一横切面、第二横切面、第三横切面等，可以将医学影像输入至粗定位模块后，细定位模块只进行垂直轴上截取，确定在垂直轴上的位置。本发明实施例中，还可以根据胸骨和脊柱骨的位置确定中线，具体的，将每帧上胸骨和脊柱骨定位点连线。该中线在后续实施例中，可以用于确定异常淋巴结所在分区时，区分是在左方还是右方。执行s803，基于所述异常淋巴结的位置、所述关键目标的信息，确定所述异常淋巴结所在分区。本实施例中，对所述分区采用国际肺癌研究协会(iaslc)于2009年制定的分区标准。但不限于此，本领域技术人员可知本方案也适用于自定义的其他分区方式。本实施例中结合图9(a)、图9(b)、图9(c)中淋巴结所在的分区的说明，根据异常淋巴结的位置、关键目标的信息，则可以确定出异常淋巴结所在分区。本实施例中，可以根据异常淋巴结的位置及主气管的分叉点的位置，确定异常淋巴结与主气管的分叉点的相对位置，具体分两种情况。情况一：若异常淋巴结位于主气管分叉点的下方，则基于支气管的信息，确定异常淋巴结所在的分区。情况二：若异常淋巴结位于主气管分叉点的上方，则基于主气管的信息和动脉的信息，确定异常淋巴结所在的分区。需要说明的是，下述实施例中涉及的气管外缘切线(包括主气管外缘切线、主支气管外缘切线、支气管外缘切线)的一侧指的是远离气管的一侧，动脉外缘切线(包括第一动脉外缘切线、第二动脉外缘切线)的一侧指的是远离动脉的一侧，以图7中主气管横切面为例，图7中包括主气管后侧外缘的切线和主气管右侧外缘的切线，主气管后侧外缘的一侧为该主气管后侧外缘的切线下方的一侧；主气管右侧外缘的一侧为该主气管后侧外缘的切线右方的一侧。针对情况一，在确定异常淋巴结位于主气管分叉点的下方之后，可以进一步基于左主支气管和右主支气管相邻的外缘的切线的位置、右主支气管分叉点的位置、右中叶支气管后侧外缘的切线的位置，确定异常淋巴结所在的分区为7区或8区或10区。具体可以为：若异常淋巴结位于右主支气管分叉点的上方，且在横切面上异常淋巴结位于左主支气管和右主支气管相邻的外缘的切线之间以及右主支气管后侧外缘的切线的一侧(右主支气管后侧外缘的切线的一侧是指远离右主支气管的一侧)，则确定异常淋巴结位于7区。若异常淋巴结位于右主支气管分叉点的下方，且在横切面上异常淋巴结位于右中叶支气管后侧外缘的切线的一侧(右中叶支气管后侧外缘的切线的一侧是指远离右中叶支气管的一侧)，则确定异常淋巴结位于8区。若在横切面上异常淋巴结未位于左主支气管和右主支气管相邻的外缘的切线之间，则确定异常淋巴结位于10区。针对情况二，在确定异常淋巴结位于主气管分叉点的上方之后，可以进一步基于主气管后侧外缘的切线的位置、主气管右侧外缘的切线的位置、第一动脉后侧外缘的切线的位置、第一动脉前侧外缘的切线的位置、第一横切面的位置、第二横切面的位置、第三横切面位置，确定异常淋巴结所在的分区为3a区或3p区或2区的左方或2区的右方。具体可以为：若在横切面上异常淋巴结位于第一动脉前侧外缘的切线的一侧(第一动脉前侧外缘的切线的一侧指远离第一动脉的一侧)，则确定异常淋巴结位于3a区。若在横切面上异常淋巴结位于第一动脉后侧外缘的切线的一侧(第一动脉后侧外缘的切线的一侧指远离第一动脉的一侧)，且在横切面上异常淋巴结位于主气管后侧外缘的切线的一侧(主气管后侧外缘的切线的一侧是指远离主气管的一侧)，则确定异常淋巴结位于3p区。若在横切面上异常淋巴结位于第一动脉后侧外缘的切线的一侧，且在横切面上异常淋巴结未位于主气管后侧外缘的切线的一侧，且在横切面上异常淋巴结位于主气管右侧外缘的切线的一侧(主气管右侧外缘的切线的一侧是指远离主气管的一侧)，且异常淋巴结未位于第二横切面的下方，则确定异常淋巴结位于2区的左方。若在横切面上异常淋巴结位于第一动脉后侧外缘的切线的一侧，且在横切面上异常淋巴结未位于主气管后侧外缘的切线的一侧，且在横切面上异常淋巴结未位于主气管右侧外缘的切线的一侧，且异常淋巴结未位于第三横切面的下方，则确定异常淋巴结位于2区的右方。本实施例中，还可以进一步结合第二动脉后侧外缘的切线的位置、第二动脉左侧外缘的切线的位置、第二动脉右侧外缘的切线的位置，确定出异常淋巴结所在的分区为3p区或4区的左方或4区的右方或5区或6区。具体可以为：若在横切面上异常淋巴结位于第二动脉后侧外缘的切线的一侧(第二动脉后侧外缘的切线的一侧指远离第二动脉的一侧)，且在横切面上异常淋巴结位于主气管后侧外缘的切线的一侧，则确定异常淋巴结位于3p区。若在横切面上异常淋巴结位于第二动脉后侧外缘的切线的一侧，且在横切面上异常淋巴结未位于主气管后侧外缘的切线的一侧，且在横切面上异常淋巴结位于主气管右侧外缘的切线的一侧，且异常淋巴结位于第二横切面的下方，则确定异常淋巴结位于4区的左方。若在横切面上异常淋巴结位于第二动脉后侧外缘的切线的一侧，且在横切面上异常淋巴结未位于主气管后侧外缘的切线的一侧，且在横切面上异常淋巴结未位于主气管右侧外缘的切线的一侧，且异常淋巴结位于第三横切面的下方，则确定异常淋巴结位于4区的右方。若在横切面上异常淋巴结位于第二动脉左侧外缘的切线的一侧(第二动脉左侧外缘的切线的一侧指远离第二动脉的一侧)或第二动脉右侧外缘的切线的一侧(第二动脉右侧外缘的切线的一侧指远离第二动脉的一侧)，且异常淋巴结位于第一横切面的下方，则确定异常淋巴结位于5区。若在横切面上异常淋巴结位于第二动脉左侧外缘的切线的一侧或第二动脉右侧外缘的切线的一侧，且异常淋巴结未位于第一横切面的下方，则确定异常淋巴结位于6区。情况二中，在确定异常淋巴结在第一动脉前侧外缘的切线的一侧或第一动脉后侧外缘的切线的一侧时，可以将医学影像输入至二分类模型中，以确定异常淋巴结和第一动脉的相对位置，同理，在确定异常淋巴结在第二动脉后侧外缘的切线的一侧或第二动脉左侧外缘的切线的一侧或第二动脉右侧外缘的切线的一侧时，可以将医学影像输入至三分类模型中，以确定异常淋巴结和第二动脉的相对位置。当然，也可以根据该二分类模型和该三分类模型确定一个分类模型，用于确定异常淋巴结相对于第一动脉或第二动脉的位置。本发明实施例中，还可以综合考虑肺尖的位置和胸骨柄的位置，确定异常淋巴结所在的分区。若异常淋巴结位于主气管分叉点的上方，且未位于肺尖的下方，则异常淋巴结位于1区。若异常淋巴结位于肺尖的下方，且未位于胸骨柄的下方，且在横切面上异常淋巴结未位于主气管后侧外缘的切线的一侧，则异常淋巴结位于1区。若异常淋巴结未位于胸骨柄的下方，且在横切面上异常淋巴结位于主气管后侧外缘的切线的一侧，则异常淋巴结位于3p区。至此，通过将第一医学影像输入至定位模型中，确定了第一医学影像中异常淋巴结的位置，将第一医学影像输入至关键目标获取模型中，确定了第一医学影像中关键目标的信息，并根据确定出的第一医学影像中异常淋巴结的位置和医学影像中各关键目标的信息，确定第一医学影像中异常淋巴结与各关键目标的相对位置。进一步地根据第一医学影像中异常淋巴结与各关键目标的相对位置，确定第一医学影像中异常淋巴结所在的分区。执行s804，基于所述异常淋巴结所在分区判断所述异常淋巴结是否有转移。本领域技术人员知晓，淋巴结转移是指淋巴细胞穿过淋巴管壁，脱落后随淋巴液被带到汇流区淋巴结，并且以此为中心生长出同样淋巴结的现象，淋巴液的流向是确定的，因此淋巴结转移通常具有一定的规律。通过对大量患者的淋巴结转移进行研究后获得：当异常淋巴结所在分区为4r分区、2r分区、7分区、8分区或9分区时，其转移的分区的优先级由高至低依次为4l分区、2l分区、5分区、6分区和1分区(锁骨上)。而当异常淋巴结所在分区为5分区、6分区或4l分区时，其转移的分区的优先级由高至低依次为4r分区、2r分区和1分区。举例来说，若异常淋巴结位于7分区，则该异常淋巴结转移到4l分区的可能性最大，接下来依次是2l分区，5分区、6分区及1分区。基于上述的淋巴结转移规律，可以在确定了异常淋巴结所在分区后迅速知晓异常淋巴结可能转移至的分区。执行s805，基于异常淋巴结转移信息生成n分期。在检测到异常淋巴结是否有转移后，结合如下n分期表生成n分期，如，淋巴结向对侧纵隔、对侧肺门、同侧或对侧前斜角肌及锁骨上转移时n分期为n3。n分期表nx区域淋巴结无法评估n0无区域淋巴结转移n1同侧支气管周围及同侧肺门淋巴结以及肺内淋巴结有转移n2同侧纵隔内及(或)融突下淋巴结转移n3对侧纵隔、对侧肺门、同侧或对侧前斜角肌及锁骨上淋巴结转移执行s105，识别所述第一医学影像中的第一目标结节是否有远处转移，并根据是否有远处转移生成m分期。本实施例中是否有远处转移可以通过医生的输入来确定。肺癌的诊断主要依据胸部ct医学影像，然而仅通过对胸部ct的影像是无法判断结节是否有转移到其他部位，因此需要医生根据患者的病历及对其他部位的影像进行阅片以后输入相应的远处转移信息，在确定是否有远处转移信息后，结合如下m分期表生成m分期。m分期表需要说明的是，本发明实施例的tnm分期的获取是以获取t分期，n分期，m分期的顺序进行说明的，实际应用过程中对各分期获取的先后顺序不作限制，也可以是同时获取。本发明实施例中通过阻塞性肺炎、肺不张等区域在增强ct影像的动脉期和静脉期与结节区域的ct值有差异的特性排除结节区域中的非结节区域，得到精确的结节区域，进而基于精确的结节区域得到精确的结节长短径，实现了获取更精确的t分期的目的。进一步，考虑到现有影像数据库中平扫ct影像数量远远多于增强ct影像数量的现状，在训练用于判断是否需要作为获取t分期的第一目标结节的检测模型和判断淋巴结是否有转移的检测模型时以平扫ct影像进行训练，使检车模型能够更加准确的判断第一目标结节和是否存在淋巴结转移。基于相同的技术构思，本发明实施例还提供一种肺癌tnm分期获取装置。图10为根据本发明实施例的肺癌tnm分期获取装置示意图。如图10所示，该装置包括：第一目标结节识别单元11，用于识别第一医学影像中的第一目标结节。第二目标结节获取单元12，用于在第二医学影像中匹配所述第一目标结节，获取第二医学影像中的第二目标结节。t分期生成单元13，用于获取所述第二目标结节的长短径，至少根据所述第二目标结节的长短径生成t分期。n分期生成单元14，用于识别所述第一医学影像中的异常淋巴结，并通过判断异常淋巴结是否有转移生成n分期。m分期生成单元15，用于识别所述第一医学影像中的第一目标结节是否有远处转移，并根据是否有远处转移生成m分期。tnm分期生成单元16，用于根据t分期、n分期和m分期生成tnm分期。本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。当前第1页12