一种三维医学影像标注方法、装置及相关产品与流程

本申请涉及医学影像处理技术领域，特别是涉及一种三维医学影像标注方法、装置及相关产品。

背景技术：

随着电子计算机技术和医疗成像技术的发展，医学影像蕴含的丰富信息能够在临床诊断、医学教学和科研等方面发挥重要的作用。机器学习尤其是深度学习技术在医疗领域的应用促进了医疗人工智能事业的快速发展，为医疗人工智能在诊断、治疗、教学、科研等方面的落地应用创造了广阔空间。目前，机器学习技术主要采用有监督学习算法进行训练学习，有监督学习的效果很大程度上依赖于规模大、分布多样且经过标注的训练数据集。医学影像处理中广泛使用的卷积神经网络是典型的有监督学习方法。为了提高训练模型的质量，需要大量的有标注医学影像数据。医学影像标注是医疗人工智能的一个关键环节。

现有的医学影像标注方法大都采用方框、画圈、打点勾边等方式进行人工手动标注。对于电子计算机断层扫描(computedtomography,ct)设备、磁共振(magneticresonance,mr)设备等医学成像设备生成的三维医学影像，由于影像是多层的，若由人工逐层进行手工标注，费时费力，难度大、成本高。正是由于这个原因，目前业界极其缺乏带有标注的医学影像数据集，这已经成为制约医疗人工智能发展的关键瓶颈问题。因此，目前亟待一种高效易用且省时省力的三维医学影像标注的技术方案，这对于医疗人工智能发展有着重要意义。

技术实现要素：

基于上述问题，本申请提供了一种三维医学影像标注方法、装置及相关产品，以降低三维医学影像标注的成本问题，提升标注效率，降低标注操作的复杂度。

本申请实施例公开了如下技术方案：

第一方面，本申请提供一种三维医学影像标注方法，三维医学影像包括：多层图像构成的图像序列，所述多层图像包括目标层图像；所述方法包括：

确定所述目标层图像的目标病灶区域；

根据所述目标层图像的目标病灶区域中像素的坐标确定相邻层图像的邻层病灶区域；所述目标病灶区域与所述邻层病灶区域对应于所述三维医学影像中的同一病灶；

获得对所述同一病灶的标注数据；所述标注数据包括：所述目标病灶区域中像素的坐标和像素值，以及所有所述邻层病灶区域中像素的坐标和像素值。

可选地，在所述确定所述目标层图像的目标病灶区域之前，所述方法还包括：

将所述多层图像中的每一层图像分别分割为至少两个图像区域，得到每一层图像中像素与图像区域的映射关系；与图像区域具有映射关系的像素隶属于该图像区域。

可选地，所述目标层图像具体为用户触发的一层图像；所述确定所述目标层图像的目标病灶区域，具体包括：

确定所述用户在所述目标层图像中针对同一病灶触发的所有像素；

当根据所述目标层图像中像素与图像区域的映射关系确定所述所有像素对应于同一图像区域时，将该图像区域作为所述目标病灶区域；

当根据所述目标层图像中像素与图像区域的映射关系确定所述所有像素共对应多个图像区域时，将所述多个图像区域合并后的区域作为所述目标病灶区域。

可选地，所述根据所述目标层图像的目标病灶区域中像素的坐标确定相邻层图像的邻层病灶区域，具体包括：

根据所述目标层图像的目标病灶区域中像素的坐标，确定出所述相邻层图像中与所述目标病灶区域中像素的坐标一致的候选像素；

根据所述相邻层图像中像素与图像区域的映射关系，将所述相邻层图像中所述候选像素对应的图像区域作为候选区域；

当所有所述候选像素共对应多个候选区域时，从所述多个候选区域中确定出所述邻层病灶区域。

可选地，所述从所述多个候选区域中确定出所述邻层病灶区域，具体包括：

获得所述目标病灶区域的特征向量以及所述多个候选区域中每个候选区域的特征向量；

将每个候选区域的特征向量分别与所述目标病灶区域的特征向量进行相似性比较，当相似性比较结果满足预设条件时，根据该候选区域得到所述邻层病灶区域。

可选地，当根据所述目标层图像中像素与图像区域的映射关系确定所述所有像素共对应多个图像区域时，所述获得所述目标病灶区域的特征向量，具体包括：

获得所述多个图像区域中每个图像区域的特征向量；

计算所述多个图像区域的特征向量的平均值作为所述目标病灶区域的特征向量。

可选地，所述将每个候选区域的特征向量分别与所述目标病灶区域的特征向量进行相似性比较，具体包括：

获得每个候选区域的特征向量与所述目标病灶区域的特征向量的空间距离或夹角余弦作为所述相似性比较结果；

当所述空间距离小于预设第一阈值或者所述夹角余弦大于预设第二阈值时，视为满足所述预设条件，否则视为不满足所述预设条件。

可选地，本申请提供一种三维医学影像标注方法还包括：

判断预设截止条件是否满足，如果是，则执行所述获得对所述同一病灶的标注数据的操作；如果否，则以所述根据所述目标层图像的目标病灶区域中像素的坐标确定相邻层图像的邻层病灶区域的方式，以所述邻层病灶区域为基准，在所述相邻层图像自身的未被标注过所述同一病灶的相邻层图像中确定邻层病灶区域，循环所述判断预设截止条件是否满足的操作；

所述预设截止条件为：最新标注过所述同一病灶的相邻层图像自身无未被标注过所述同一病灶的相邻层图像，或者，最新确定出的相邻层图像中不具备邻层病灶区域。

可选地，本申请提供一种三维医学影像标注方法还包括：

确定所述目标病灶区域的轮廓和/或所述邻层病灶区域的轮廓；

展示所述目标病灶区域的轮廓和/或所述邻层病灶区域的轮廓。

第二方面，本申请提供一种三维医学影像标注装置，所述三维医学影像包括：多层图像构成的图像序列，所述多层图像包括目标层图像；所述装置包括：

目标病灶区域确定模块，用于确定所述目标层图像的目标病灶区域；

邻层病灶区域确定模块，用于根据所述目标层图像的目标病灶区域中像素的坐标确定相邻层图像的邻层病灶区域；所述目标病灶区域与所述邻层病灶区域对应于所述三维医学影像中的同一病灶；

标注数据获取模块，用于获得对所述同一病灶的标注数据；所述标注数据包括：所述目标病灶区域中像素的坐标和像素值，以及所有所述邻层病灶区域中像素的坐标和像素值。

可选地，本申请提供一种三维医学影像标注装置还包括：

三维医学影像分割模块，用于将多层图像中的每一层图像分别分割为至少两个图像区域，得到每一层图像中像素与图像区域的映射关系；与图像区域具有映射关系的像素隶属于该图像区域。

可选地，本申请实施例提供的三维医学影像标注装置具体可以通过人机交互方式标注目标层图像中的目标病灶区域。目标层图像具体为用户触发的一层图像；目标病灶区域确定模块，具体可以包括：

触发像素确定单元，用于确定用户在目标层图像中针对同一病灶触发的所有像素；

目标病灶区域标注单元，用于当根据目标层图像中像素与图像区域的映射关系确定所有像素对应于同一图像区域时，将该图像区域作为目标病灶区域；当根据目标层图像中像素与图像区域的映射关系确定所有像素共对应多个图像区域时，将多个图像区域合并后的区域作为目标病灶区域。

可选地，邻层病灶区域确定模块，具体包括：

候选像素确定单元，用于根据目标层图像的目标病灶区域中像素的坐标，确定出相邻层图像中与目标病灶区域中像素的坐标一致的候选像素；

候选区域确定单元，用于根据相邻层图像中像素与图像区域的映射关系，将相邻层图像中候选像素对应的图像区域作为候选区域；

邻层病灶标注单元，用于当所有候选像素共对应多个候选区域时，从多个候选区域中确定出邻层病灶区域。

可选地，邻层病灶标注单元，具体包括：

特征向量获取子单元，用于获得目标病灶区域的特征向量以及多个候选区域中每个候选区域的特征向量；

相似性比较子单元，用于将每个候选区域的特征向量分别与目标病灶区域的特征向量进行相似性比较，获得相似性比较结果；

邻层病灶标注子单元，用于当相似性比较结果满足预设条件时，根据该候选区域得到邻层病灶区域。

可选地，当目标病灶区域标注单元确定所有像素共对应多个图像区域时，特征向量获取子单元，具体用于：

获得多个图像区域中每个图像区域的特征向量；

计算多个图像区域的特征向量的平均值作为目标病灶区域的特征向量。

可选地，相似性比较子单元，具体用于：

获得每个候选区域的特征向量与目标病灶区域的特征向量的空间距离或夹角余弦作为相似性比较结果；

当空间距离小于预设第一阈值或者夹角余弦大于预设第二阈值时，视为满足预设条件，否则视为不满足预设条件。

可选地，当邻层病灶标注子单元确定相似性比较结果满足预设条件的候选区域有多个时，邻层病灶标注子单元，具体用于：

当相似性比较结果满足预设条件的多个候选区域中存在邻接的至少两个候选区域，则将邻接的至少两个候选区域合并为一个邻层病灶区域；若其中还存在其他相似性比较结果满足预设条件但是孤立的候选区域，则将孤立的候选区域分别单独作为一个邻层病灶区域；

当相似性比较结果满足预设条件的多个候选区域均为孤立的候选区域时，则将孤立的候选区域分别单独作为一个邻层病灶区域。

可以理解的是，一些病灶可能不止跨越2～3层图像，还可能跨越3层以上的图像。为了准确、完整地实现病灶标注，三维医学影像标注装置还可以包括：

判断模块，用于判断预设截止条件是否满足。如果判断结果为是，即，满足预设截止条件，则启用标注数据获取模块；

如果判断结果为否，即，不满足预设截止条件，则启用邻层病灶区域确定模块，以根据目标层图像的目标病灶区域中像素的坐标确定相邻层图像的邻层病灶区域的方式，以邻层病灶区域为基准，在相邻层图像自身的未被标注过同一病灶的相邻层图像中确定邻层病灶区域，再循环启用判断模块判断预设截止条件是否满足。

预设截止条件为：最新标注过同一病灶的相邻层图像自身无未被标注过同一病灶的相邻层图像，或者，最新确定出的相邻层图像中不具备邻层病灶区域。

可选地，三维医学影像标注装置还可以进一步地包括：标注数据输出模块，用于自动输出标注数据，或根据接收到的标注请求输出标注数据。

可选地，三维医学影像标注装置还可以进一步地包括：轮廓确定模块，用于确定目标病灶区域的轮廓和/或邻层病灶区域的轮廓；轮廓展示模块，用于展示目标病灶区域的轮廓和/或邻层病灶区域的轮廓。

此外，上述实施例提供的三维医学影像标注装置中还可以包括：三维医学影像输入模块，用于接收三维医学影像。例如，生成三维医学影像的设备通过该三维医学影像输入模块，将三维医学影像导入，以便装置对其进行标注。

第三方面，本申请提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，当所述程序被处理器运行时，实现如第一方面提供的任意一种三维医学影像标注方法。

第四方面，本申请提供一种处理器，用于运行计算机程序，所述程序运行时执行如第一方面提供的任意一种三维医学影像标注方法。

相较于现有技术，本申请具有以下有益效果：

本申请技术方案提供的三维医学影像标注方法中，确定三维医学影像中目标层图像的目标病灶区域；根据目标层图像的目标病灶区域中像素的坐标确定相邻层图像的邻层病灶区域；目标病灶区域与邻层病灶区域对应于三维医学影像中的同一病灶；获得对同一病灶的标注数据；标注数据包括：目标病灶区域中像素的坐标和像素值，以及所有邻层病灶区域中像素的坐标和像素值。由此可见，在本申请技术方案中，仅确定出三维医学影像中一层图像的病灶区域便可以实现对其他层图像中同一病灶的标注，不需要人工逐层手动标注，整个三维医学影像中病灶标注主要通过自动化方式实现。如此，提升了病灶标注效率，节省人力成本，使标注过程中操作的复杂度大大降低。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本申请实施例提供的一种三维医学影像标注方法的流程图；

图2为本申请实施例提供的另一种三维医学影像标注方法的流程图；

图3为本申请实施例提供的一种人机交互形成目标病灶区域的示意图；

图4为本申请实施例提供的一种为上下逐层标注邻层病灶区域的示意图；

图5为本申请实施例提供的又一种三维医学影像标注方法的流程图；

图6为本申请实施例提供的一种三维医学影像标注装置的结构示意图；

图7为本申请实施例提供的另一种三维医学影像标注装置的结构示意图；

图8为本申请实施例提供的又一种三维医学影像标注装置的结构示意图；

图9为本申请实施例提供的一种三维医学影像标注设备的硬件结构图。

具体实施方式

正如前文描述，目前在医学影像处理技术领域中，医学影像的标注主要通过人工实现。而三维医学影像(例如ct图像和mr图像)中，病灶可能跨越了多层，因此需要人工手动进行多层的病灶标注。这种标注方式耗费时间较长，人力成本高，而且标注效率较低，操作繁杂不便。基于此，发明人经过研究提供了一种三维医学影像标注方法、装置及相关产品。单层标注后即可用标注的单层病灶区域寻找相邻层图像中的邻层病灶区域，以此实现多层自动标注。自动化地实现了三维医学影像标注，节省人力成本，使得标注效率大大提升，简化了原本复杂的标注操作。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

方法实施例

参见图1，该图为本申请实施例提供的一种三维医学影像标注方法的流程图。如图1所示，该方法包括：

步骤101：确定目标层图像的目标病灶区域。

以ct图像或mr图像为例的三维医学影像通常包括多层图像构成的图像序列。例如：第1层图像，第2层图像，第3层图像……需要说明的是，图像序列中每层图像的排序在三维医学影像生成时便已确定好，不能随便置换图像的层序列。

本步骤中描述的目标层图像可以是图像序列中的任意一层图像。例如目标层图像可以是层数最小的一层图像，因此目标层图像仅具有层数大于其的相邻层图像。目标层图像也可以层数最大的一层图像，因此目标层图像仅具有层数小于其的相邻层图像。此外，如果总层数为大于2的整数，目标层图像还可以是层数非最大且非最小的一层图像，即目标层图像具有层数大于其和小于其的相邻层图像。需要说明的是，本申请实施例中图像序列中的总层数为大于或等于2的正整数。

可以理解的是，相邻层图像与目标层图像的层序号相差1。也就是说，相邻层图像的层序号与目标层图像的层序号之差为1，或者目标层图像的层序号与相邻层图像的层序号之差为1。

本步骤中描述的目标层图像可以由用户(例如医务工作者)选定的，也可以依据预设方式自动选定的。下面对这两种方式分别进行介绍。

在前一种示例选定方式中，具体可以通过人机交互实现：用户在三维医学影像的多层图像中触发一层图像作为目标层图像，具体的触发方式可以是在显示有多层图像的界面上点击一层图像，或者拖动一层图像至特定区域等。此处对触发目标层图像的具体方式不进行限定。用户在触发的该目标层图像中触发至少一个像素，依据用户在目标层图像中触发的像素便可确定出目标层图像中的目标病灶区域。

需要说明的是，在该选定方式中，用户可以从一个目标层图像中触发一个病灶相关的像素，也可以触发多个不同的病灶相关的像素，对于前一种情况执行本步骤即确定出一个目标病灶区域，对于后一种情况执行本步骤即可确定出多个不同的目标病灶区域。对于同一个目标层图像中的多个不同的目标病灶区域，可以通过当选择多个目标病灶区域时，可以对不同的目标病灶区域进行不同方式的标注。例如，不同的目标病灶区域以不同的颜色进行轮廓标注和显示，或者以同一色系不同饱和度进行轮廓标注和显示，或者以不同的线型进行轮廓标注和显示等。此处对不同目标病灶区域的区分方式不加以限定。

在后一种示例选定方式中，可以从三维医学影像的多层图像中随机选定出一层包含病灶区域的图像作为目标层图像，将该病灶区域作为目标病灶区域。另外还可以从包含由病灶区域的多层图像中选择一层病灶区域面积最大的图像作为目标层图像，并将面积最大的病灶区域作为目标病灶区域。本申请实施例中，对于自动选定目标层图像和目标病灶区域的选定方式不进行限定。

在后续对本实施例方法的介绍中，为了便于理解方案的具体实现过程，均以在目标层图像中确定一个目标病灶区域为例进行介绍。即，单次执行本申请实施例提供的标注方法时仅标注三维医学影像中的一个病灶。对于多个病灶的情况，均可依照该方法进行。

步骤102：根据目标层图像的目标病灶区域中像素的坐标确定相邻层图像的邻层病灶区域。

通过执行步骤101已经确定了目标层图像中的目标病灶区域。但是一个病灶极少可能仅在三维医学影像中的一层图像上表现，十分有可能表现在连续的多层图像上，例如，一个病灶跨越了4层图像、5层图像等。为了对三维医学影像准确标注，考虑到后一种情况，在本申请实施例中还继续执行本步骤102，即确定相邻层图像的邻层病灶区域。

此处，目标病灶区域与邻层病灶区域对应于三维医学影像中的同一病灶。例如，均对应于病灶区域a，但是目标病灶区域为该病灶a在目标层图像上的表现，邻层病灶区域则是病灶a在相邻层图像上的表现。

对于同一病灶，其在目标层图像上的表现与在相邻层图像上的表现可能相同，也可能不同。例如，目标病灶区域为1个，邻层病灶区域有多个；目标病灶区域的面积较大，邻层病灶区域的面积较小；目标病灶区域的形态集中，邻层病灶区域的形态分散；目标病灶区域的形状较为规整，邻层病灶区域的形状起伏多，等等。

本申请实施例中，可以根据目标层图像的目标病灶区域中像素的坐标确定相邻层图像的邻层病灶区域。三维医学影像的各层图像尺寸通常是相同的，例如都是x*y尺寸，其中x表示一层图像的第一方向的像素数量，y表示一层图像的第二方向的像素数量，第一方向与第二方向垂直。通过执行步骤101已经确定出目标病灶区域，目标病灶区域包括多个像素，这些像素的坐标均是已知的，基于这些像素的坐标可以对应到相邻层图像上的像素。其后再依据相邻层图像具体的图像特征和目标病灶区域投影到相邻层图像上的像素坐标来确定邻层病灶区域。

步骤103：获得对同一病灶的标注数据；标注数据包括：目标病灶区域中像素的坐标和像素值，以及所有邻层病灶区域中像素的坐标和像素值。

本步骤中，获得的标注数据包含了目标病灶区域和邻层病灶区域中各像素的坐标和像素值。其中，依据像素的坐标可以确定病灶在各层图像中的位置，依据像素值则可以从成像角度了解病灶的具体情况。例如像素值的高低可以代表不同的组织或不同的病变程度。

标注数据可以通过矩阵序列的形式呈现，例如：三维医学影像的第1层的标注数据以第1矩阵表示，第2层的标注数据以第2矩阵表示，……其中，每个矩阵包括n行和m列元素，第i行第j列的元素的值为该层图像中第i行第j列像素的像素值，i为1～n中任一整数，j为1～m中任一整数。

目标层图像中目标病灶区域的像素在矩阵中有对应的元素以表示其位置及像素值，非目标病灶区域的像素则可以在矩阵中以统一数值代表，例如0。同理，相邻层图像中邻层病灶区域的像素在矩阵中有对应的元素以表示其位置及像素值，非邻层病灶区域的像素则可以在矩阵中以统一数值代表，例如0。

以上，即为本申请技术方案提供的三维医学影像标注方法。该方法首先确定三维医学影像中目标层图像的目标病灶区域；其后根据目标层图像的目标病灶区域中像素的坐标确定相邻层图像的邻层病灶区域；最后获得对同一病灶的标注数据。在本申请技术方案中，仅确定出三维医学影像中一层图像的病灶区域便可以实现对其他层图像中同一病灶的标注(参见步骤102)，不需要人工逐层手动标注，整个三维医学影像中病灶标注主要通过自动化方式实现。如此，提升了病灶标注效率，节省人力成本，使标注过程中操作的复杂度大大降低。

为了提升标注各层图像中病灶的便捷性，本申请进一步提供了另一种三维医学影像标注方法。图2为该方法的流程图，如图2所示，该标注方法包括：

步骤201：将多层图像中的每一层图像分别分割为至少两个图像区域，得到每一层图像中像素与图像区域的映射关系；与图像区域具有映射关系的像素隶属于该图像区域。

在进行图像分割时，具体可以是基于每一层图像的特征进行分割，例如根据像素的像素值聚类后进行分割。图像分割属于本领域比较成熟的技术，本步骤对于具体的分割算法不进行限定。通过分割，每一层图像被划分为了至少两个图形区域。不同层图像由于各自的特征可能存在差异，因此分割效果可能不同。例如，第1层图像分割为10个图像区域，第2层图像分割为8个图像区域。

每个图像区域均包括多个像素，这些像素各自唯一地对应于一个图像区域。此外，归属于同一个图像区域的像素可以作为一个像素集合中的元素，如此，像素集合与图像区域具有一一对应的关系。例如，像素集合a对应于图像区域1，像素集合b对应于图像区域2，像素集合c对应于图像区域3。如此建立了像素与图像区域的映射关系。

对于三维医学影像的每一层图像，其中像素与图像区域的映射关系可以通过映射矩阵来表示。例如，矩阵中元素的坐标与图像中像素的坐标相同，矩阵中的元素值被置为对应像素所述的图像区域的编号。例如，在映射矩阵中，像素z的位置被置为1，表示像素z对应的图像区域为图像区域1。

在本申请实施例中，具体通过人机交互的方式确定目标层图像中的目标病灶区域，以下结合附图3和步骤202-203对此过程的具体实现进行描述。

步骤202：确定用户在目标层图像中针对同一病灶触发的所有像素。

在本实施例的应用场景中，用户可以阅览显示屏上呈现的各层图像。用户通过手动触控显示屏或者操作特定的按键即可以从多层图像中选择目标层图像。选择好目标层图像后，用户进一步地在目标层图像上针对病灶触发像素。具体触发像素的方式可以是针对像素进行点击操作，触发点击的像素；或者，用户在界面显示的目标层图像中绘制一个闭合区域，闭合区域内的所有像素均受到触发。此处对于触发像素的方式不进行具体的限定。

触发的像素可能是具有邻接关系的，也可能相对独立、距离较远。本步骤中可以记录下每个受到触发的像素在目标层图像中的坐标。

步骤203：当根据目标层图像中像素与图像区域的映射关系确定所有像素对应于同一图像区域时，将该图像区域作为目标病灶区域；当根据目标层图像中像素与图像区域的映射关系确定所有像素共对应多个图像区域时，将多个图像区域合并后的区域作为目标病灶区域。

在步骤201中介绍过获得了每层图像中像素与图像区域的映射关系，其中包含目标层图像中像素与图像区域的映射关系。由于步骤202以及确定了用户在目标层图像中针对同一病灶触发的所有像素，因此，基于前面得到的像素与图像区域的映射关系，可以确定每个被用户触发的像素各自对应的图像区域。

实际应用中，用户针对同一病灶触发的所有像素可以共同对应于同一图像区域，例如在映射矩阵中所有像素的位置的图像区域编号一致。针对这一情况，可以将共同对应的该图像区域作为目标病灶区域。

此外，用户针对同一病灶触发的所有像素有可能共对应于多个图像区域时，这表示在目标病灶区域中，病灶分别在多个图像区域中均有相应的表现，为了完整标注出目标层图像中的病灶，需要将该多个图像区域合并后的区域作为目标病灶区域。下面以图3为示例介绍这一情况。

图3为本申请实施例提供的一种人机交互形成目标病灶区域的示意图。如图3所示，目标层图像中被划分为至少四个图像区域，即图像区域1、图像区域2、图像区域3和图像区域4。用户分三次点击了图像区域1的像素、图像区域2的像素和图像区域3的像素。基于像素与图像区域的对应关系，且图像区域1和图像区域3分别与图像区域2的邻接关系，将3个图像区域共同构成的区域，如图3中最右侧所示的图形的阴影部分，作为目标病灶区域。

此处可以将上述示例中目标病灶区域视为图像区域1、图像区域2、图像区域3分别对应的像素集合的并集。

在一种可能的实现方式中，步骤202-203可以通过人机反复交互完成。例如，用户点击病灶范围内的任一像素，利用该像素的坐标以及像素与图像区域的映射关系可以确定像素所在的图像区域。然后在显示屏上将该图像区域以用户可以视觉看见的方式标识出来，例如标出轮廓。如果用户发现该图像区域没有全部盖住病灶，则点击没有盖住的病灶部分的任一像素，再利用该像素的坐标以及像素与图像区域的映射关系确定这个像素所在的图像区域，再在显示屏上把这个图像区域以用户可以视觉看见的方式标识出来。如此反复，直到用户认为病灶范围已被完全覆盖住为止。结合图3也可以很好地理解上述交互过程。这个过程中记录下了每个被标识的图像区域的编号，进而实现了对目标病灶区域的标注。

结合上述对于反复交互标注目标病灶区域过程的说明，步骤203中当根据目标层图像中像素与图像区域的映射关系确定所有像素对应于同一图像区域时，将该图像区域作为目标病灶区域，具体可以体现为：当覆盖病灶范围的只有一个图像区域时，将该图像区域作为目标病灶区域。步骤203中当根据目标层图像中像素与图像区域的映射关系确定所有像素共对应多个图像区域时，将多个图像区域合并后的区域作为目标病灶区域，具体可以体现为：当由多个图像区域共同覆盖目标层图像的病灶时，将多个图像区域合并后的区域作为目标病灶区域。

下面结合步骤204-206介绍依据目标病灶区域确定邻层病灶区域的实现方式。需要说明的是，在寻找相邻层图像时，可以向上寻找，即寻找层序号比目标层图像的层序号小1的层作为相邻层图像，也可以向下寻找，即寻找层序号比目标层图像的层序号大1的层作为相邻层图像。也就是说，步骤204-206不局限于在一个方向实施，还可以在另一相反方向实施。

步骤204：根据目标层图像的目标病灶区域中像素的坐标，确定出相邻层图像中与目标病灶区域中像素的坐标一致的候选像素。

步骤205：根据相邻层图像中像素与图像区域的映射关系，将相邻层图像中候选像素对应的图像区域作为候选区域。

假设目标病灶区域表示为p＝{[x1,y1]，[x2,y2]，…，[xk,yk]}，其中[x1,y1]，[x2,y2]，…，[xk,yk]为像素坐标，k为目标病灶区域中像素个数。相邻层图像的像素与区域映射关系可以用如下映射矩阵r表示：

上述映射矩阵r中，m×n为每层图像的大小，rij(i＝1，2，…，n；j＝1，2，…，m)是坐标为[i，j]的像素在相邻层图像中对应的图像区域的编号。

对于p中的每对像素坐标[xl,yl]∈p，相邻层图像上坐标对应该像素坐标的候选像素的图像区域编号是rxlyl，将这些候选像素在该相邻层图像上对应的图像区域称为候选区域。其中，l为1至k中任一整数。这些候选区域共同形成一个集合w。实际应用中，不同的候选像素对应的候选区域可能相同，在一些可能的实现方式中，可以对集合w中的元素去重，去重后得到候选区域集合。该候选区域集合中包含的候选区域不重复，但是其中的一部分的候选区域可能与病灶相关，另一部分的候选区域可能与病灶无关。

如果所有候选像素共同对应一个候选区域时，可以直接将该候选区域作为邻层病灶区域；或者将该唯一的一个候选区域与目标病灶区域比较后，满足条件则将该候选区域作为邻层病灶区域，否则认为相邻层图像中不包含邻层病灶区域。

而如果所有候选像素共对应多个候选区域时，有必要对这些候选区域进行筛查以确认其是否与病灶相关，从而准确标注邻层病灶区域。在多数情况下，所有候选像素共对应多个候选区域，因此需要执行步骤206。

步骤206：当所有候选像素共对应多个候选区域时，从多个候选区域中确定出邻层病灶区域。

此处，介绍本步骤的一种示例实现方式：

首先，获得目标病灶区域的特征向量以及多个候选区域中每个候选区域的特征向量。

图像中蕴含着特征，这些特征可以提取为特征向量。在一些可能的实现方式中，可以基于深度学习或者机器学习的方式获得图像或者图像中特定区域的特征向量。鉴于深度学习或机器学习提取图像区域的特征向量属于比较成熟的技术，此处对提取特征向量的过程不做赘述，也不进行限定。

对于目标病灶区域的特征向量，如果目标病灶区域由一个图像区域构成，则可以直接将该图像区域的特征向量作为目标病灶区域的特征向量。而如果目标病灶区域是目标层图像中的多个图像区域构成，则可以分别获得多个图像区域中每个图像区域的特征向量，再计算这些图像区域的特征向量的平均值作为目标病灶区域的特征向量。

其后，将每个候选区域的特征向量分别与目标病灶区域的特征向量进行相似性比较，当相似性比较结果满足预设条件时，根据该候选区域得到邻层病灶区域。

在具体执行时，可以对每个候选区域的特征向量与目标病灶区域的特征向量进行相似性比较，方式可以是获得空间距离或者获得夹角余弦。即，本步骤获得每个候选区域的特征向量与所述目标病灶区域的特征向量的空间距离或夹角余弦作为所述相似性比较结果。利用预设条件判断相似度比较结果是否满足时，具体可以为：当所述空间距离小于预设第一阈值或者所述夹角余弦大于预设第二阈值时，视为满足所述预设条件，否则视为不满足所述预设条件。可以理解的是，两个特征向量之间如果空间距离越小，则表示相似度越高。两个特征向量之间如果夹角余弦越大，也表示相似度越高。也就是说，本申请实施例中可以从空间距离的维度或夹角余弦的维度确认相似度，另外，在其他实现方式中还可以综合应用上述两个评价维度评价相似度。

实际应用中，获得空间距离的方式有多种。例如：欧氏距离、曼哈顿距离、切比雪夫距离等。此处对空间距离的具体计算方式不进行限定。

在一种可能的实现方式中，当相似性比较结果满足预设条件的多个候选区域中存在邻接的至少两个候选区域，则将邻接的至少两个候选区域合并为一个邻层病灶区域。若其中还存在其他相似性比较结果满足预设条件但是孤立的候选区域，则将孤立的候选区域分别单独作为一个邻层病灶区域。

在另一种可能的实现方式中，当相似性比较结果满足预设条件的多个候选区域均为孤立的候选区域时，则将孤立的候选区域分别单独作为一个邻层病灶区域。

步骤207：获得对同一病灶的标注数据；标注数据包括：目标病灶区域中像素的坐标和像素值，以及所有邻层病灶区域中像素的坐标和像素值。

本步骤实现方式与前述实施例中步骤103的实现方式基本相同。因此，本步骤的相关描述可以参照前述实施例，此处不再赘述。

在本实施例中，通过人机交互以及预先建立的像素与图像区域的映射关系来确定目标病灶区域，对于用户来说操作十分便捷，仅需要触发目标层图像中的像素便可实现目标病灶区域的标注。因此该方法高效、省时省力，非常易用。可以显著提升用户标注三维医学影像的体验。避免标注过程对于人工操作过度依赖。此外，利用预先建立的像素与图像区域的映射关系来标注各层的病灶，提升了标注过程的准确性和快捷程度。

参见图4，该图为本申请实施例提供的一种为上下逐层标注邻层病灶区域的示意图。图4中仅示意了5层图像，但是实际应用中三维医学影像包含的图像层数可能不局限于5层，有可能是更多层。此处图4显示的层数仅作为示例。在图4中，用户通过点击操作首先将层序号为n的图像作为目标层图像，标注了目标病灶区域401，其后，自动标注了其下一层(层序号n+1)的邻层病灶区域402以及自动标注了其上一层(层序号n-1)的邻层病灶区域403。

图4中下一层的标注先于上一层的方式仅为示例。可以理解的是，两个方向的图像层中的病灶可以同时标注，也可以率先标注上一层的病灶，后标注下一层的病灶。此处对执行顺序不做限定。

可以理解的是，一些病灶可能不止跨越2～3层图像，还可能跨越3层以上的图像。为了准确、完整地实现病灶标注，以图4为例，还可以继续向上和向下自动标注。下面结合图5对该实现过程进行介绍。

参见图5，该图为本申请实施例提供的又一种三维医学影像标注方法的流程图。如图5所示，该方法包括：

步骤501：确定目标层图像的目标病灶区域。

步骤502：根据目标层图像的目标病灶区域中像素的坐标确定相邻层图像的邻层病灶区域。

步骤501-502的实现方式与前述实施例中步骤101-102的实现方式基本相同。因此步骤501-502的相关描述可以参照前述实施例，此处不再赘述。

步骤503：判断预设截止条件是否满足，如果是，则执行步骤504；如果否，则执行步骤505。

预设截止条件为：1)最新标注过同一病灶的相邻层图像自身无未被标注过同一病灶的相邻层图像，或者，2)最新确定出的相邻层图像中不具备邻层病灶区域。

其中，满足1)表示在向上或向下再无未标注过病灶的图像层。满足2)表示尽管可以找到相邻层图像，但是该层图像上无可以进行标注的邻层病灶区域，不需要对该最新确定出的相邻层图像沿着上或下方向继续查询了。

步骤504：获得对同一病灶的标注数据。

本步骤的实现方式与前述实施例中步骤103和步骤207基本相同。因此，本步骤的相关描述可以参照前述实施例，此处不再赘述。

步骤505：根据步骤502的执行方式，以邻层病灶区域为基准，在相邻层图像自身的未被标注过同一病灶的相邻层图像中确定邻层病灶区域，重复步骤503。

以图4为例，本步骤即是指以邻层病灶区域402基础，向层序号为n+2的图像层中确定是否包含邻层病灶区域。具体确定方式参见以目标病灶区域401确定邻层病灶区域402的方式。另外，本步骤也是指以邻层病灶区域403基础，向层序号为n-2的图像层中确定是否包含邻层病灶区域。具体确定方式参见以目标病灶区域401确定邻层病灶区域403的方式。例如，也是通过特征向量的相似性比较，确定是否包含邻层病灶区域。由于前文已经描述过，故此处不再赘述。

本申请实施例中，通过对上下层循环查询，持续标注，可以使三维医学影像中每一层同一病灶相关的区域都被标注出来。从而实现对三维医学影像中病灶的完整、准确的标注。

在实际应用中，标注数据可以自动输出，也可以根据用户的请求输出。例如，用户向执行本方法的设备发送标注数据输出请求，设备根据此请求输出步骤504获得的标注数据。

另外，为了便于用户的视觉上更加方便地查看标注出的每层图像上的病灶，本申请实施例提供的三维医学影像标注方法中，可以确定目标病灶区域的轮廓和/或邻层病灶区域的轮廓；再展示目标病灶区域的轮廓和/或邻层病灶区域的轮廓。在确定轮廓时，可以将围绕在目标病灶区域(或邻层病灶区域)外像素中的最近的像素组成的集合作为目标病灶区域(或邻层病灶区域)的轮廓。

以上实施例提供的三维医学影像标注方法实现像素级病灶轮廓展示，相比于人工标注后呈现的病灶轮廓，精度大大提升。

基于以上实施例提供的三维医学影像标注方法，相应地，本申请还提供了三维医学影像标注装置，以下结合实施例和附图进行说明。

装置实施例

图6为本申请实施例提供的一种三维医学影像标注装置的结构示意图。如图6所示，三维医学影像标注装置60包括：

目标病灶区域确定模块601，用于确定目标层图像的目标病灶区域；

邻层病灶区域确定模块602，用于根据目标层图像的目标病灶区域中像素的坐标确定相邻层图像的邻层病灶区域；目标病灶区域与邻层病灶区域对应于三维医学影像中的同一病灶；

标注数据获取模块603，用于获得对同一病灶的标注数据；标注数据包括：目标病灶区域中像素的坐标和像素值，以及所有邻层病灶区域中像素的坐标和像素值。

在本申请技术方案中，仅确定出三维医学影像中一层图像的病灶区域便可以实现对其他层图像中同一病灶的标注，不需要人工逐层手动标注，整个三维医学影像中病灶标注主要通过自动化方式实现。如此，提升了病灶标注效率，节省人力成本，使标注过程中操作的复杂度大大降低。

为了提升标注各层图像中病灶的便捷性，本申请进一步提供了另一种三维医学影像标注装置。图7为本申请实施例提供的另一种三维医学影像标注装置的结构示意图。

如图7所示，该三维医学影像标注装置70包括上述的目标病灶区域确定模块601，邻层病灶区域确定模块602和标注数据获取模块603，还包括：

三维医学影像分割模块600，用于将多层图像中的每一层图像分别分割为至少两个图像区域，得到每一层图像中像素与图像区域的映射关系；与图像区域具有映射关系的像素隶属于该图像区域。

可选地，本申请实施例提供的三维医学影像标注装置70具体可以通过人机交互方式标注目标层图像中的目标病灶区域。目标层图像具体为用户触发的一层图像；目标病灶区域确定模块601，具体包括：

触发像素确定单元，用于确定用户在目标层图像中针对同一病灶触发的所有像素；

目标病灶区域标注单元，用于当根据目标层图像中像素与图像区域的映射关系确定所有像素对应于同一图像区域时，将该图像区域作为目标病灶区域；当根据目标层图像中像素与图像区域的映射关系确定所有像素共对应多个图像区域时，将多个图像区域合并后的区域作为目标病灶区域。

可选地，邻层病灶区域确定模块602，具体包括：

候选像素确定单元，用于根据目标层图像的目标病灶区域中像素的坐标，确定出相邻层图像中与目标病灶区域中像素的坐标一致的候选像素；

候选区域确定单元，用于根据相邻层图像中像素与图像区域的映射关系，将相邻层图像中候选像素对应的图像区域作为候选区域；

邻层病灶标注单元，用于当所有候选像素共对应多个候选区域时，从多个候选区域中确定出邻层病灶区域。

在以上实施例提供的三维医学影像标注装置中，利用预先建立的像素与图像区域的映射关系来标注各层的病灶，提升了标注过程的准确性和快捷程度。通过人机交互以及预先建立的像素与图像区域的映射关系来确定目标病灶区域，对于用户来说操作十分便捷，仅需要触发目标层图像中的像素便可实现目标病灶区域的标注。因此该装置高效、省时省力，非常易用。可以显著提升用户标注三维医学影像的体验。避免标注过程对于人工操作过度依赖。

可选地，邻层病灶标注单元，具体包括：

特征向量获取子单元，用于获得目标病灶区域的特征向量以及多个候选区域中每个候选区域的特征向量；

相似性比较子单元，用于将每个候选区域的特征向量分别与目标病灶区域的特征向量进行相似性比较，获得相似性比较结果；

邻层病灶标注子单元，用于当相似性比较结果满足预设条件时，根据该候选区域得到邻层病灶区域。

可选地，当目标病灶区域标注单元确定所有像素共对应多个图像区域时，特征向量获取子单元，具体用于：

获得多个图像区域中每个图像区域的特征向量；

计算多个图像区域的特征向量的平均值作为目标病灶区域的特征向量。

可选地，相似性比较子单元，具体用于：

获得每个候选区域的特征向量与目标病灶区域的特征向量的空间距离或夹角余弦作为相似性比较结果；

当空间距离小于预设第一阈值或者夹角余弦大于预设第二阈值时，视为满足预设条件，否则视为不满足预设条件。

可选地，当邻层病灶标注子单元确定相似性比较结果满足预设条件的候选区域有多个时，邻层病灶标注子单元，具体用于：

当相似性比较结果满足预设条件的多个候选区域中存在邻接的至少两个候选区域，则将邻接的至少两个候选区域合并为一个邻层病灶区域；若其中还存在其他相似性比较结果满足预设条件但是孤立的候选区域，则将孤立的候选区域分别单独作为一个邻层病灶区域；

当相似性比较结果满足预设条件的多个候选区域均为孤立的候选区域时，则将孤立的候选区域分别单独作为一个邻层病灶区域。

可以理解的是，一些病灶可能不止跨越2～3层图像，还可能跨越3层以上的图像。为了准确、完整地实现病灶标注，以图4为例，还可以继续向上和向下自动标注。下面结合图8对该实现过程进行介绍。

图8为本申请实施例提供的又一种三维医学影像标注装置的结构示意图。如图8所示，三维医学影像标注装置80包括上述的目标病灶区域确定模块601，邻层病灶区域确定模块602和标注数据获取模块603，还包括：

判断模块604，用于判断预设截止条件是否满足。如果判断结果为是，即，满足预设截止条件，则启用标注数据获取模块603；

如果判断结果为否，即，不满足预设截止条件，则启用邻层病灶区域确定模块602，以根据目标层图像的目标病灶区域中像素的坐标确定相邻层图像的邻层病灶区域的方式，以邻层病灶区域为基准，在相邻层图像自身的未被标注过同一病灶的相邻层图像中确定邻层病灶区域，再循环启用判断模块604判断预设截止条件是否满足。

预设截止条件为：最新标注过同一病灶的相邻层图像自身无未被标注过同一病灶的相邻层图像，或者，最新确定出的相邻层图像中不具备邻层病灶区域。

可选地，以上图6-图8提供的三维医学影像标注装置还可以进一步地包括：标注数据输出模块，用于自动输出标注数据，或根据接收到的标注请求输出标注数据。

可选地，以上图6-图8提供的三维医学影像标注装置还可以进一步地包括：轮廓确定模块，用于确定目标病灶区域的轮廓和/或邻层病灶区域的轮廓；轮廓展示模块，用于展示目标病灶区域的轮廓和/或邻层病灶区域的轮廓。

以上实施例提供的三维医学影像标注装置实现像素级病灶轮廓展示，相比于人工标注后呈现的病灶轮廓，精度大大提升。

此外，上述实施例提供的三维医学影像标注装置中还可以包括：三维医学影像输入模块，用于接收三维医学影像。例如，生成三维医学影像的设备通过该三维医学影像输入模块，将三维医学影像导入，以便装置对其进行标注。

基于前述实施例提供的三维医学影像标注方法和装置，本申请实施例还提供了一种计算机可读存储介质。

该存储介质上存储有程序，该程序被处理器执行时实现本申请前述方法实施例保护的三维医学影像标注方法中部分或全部步骤。

该存储介质可以是u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。

基于前述实施例提供的三维医学影像标注方法、装置和存储介质，本申请实施例提供了一种处理器。该处理器用于运行程序，其中，所述程序运行时执行前述方法实施例提供的三维医学影像标注方法中部分或全部步骤。

基于前述实施例提供的存储介质和处理器，本申请还提供了一种三维医学影像标注设备。

参见图9，该图为本实施例提供的三维医学影像标注设备的硬件结构图。

如图9所示，三维医学影像标注设备包括：存储器901、处理器902、通信总线903和通信接口904。

其中，存储器901上存储有可在处理器上运行的程序，程序执行时实现本申请前述方法实施例提供的三维医学影像标注方法中部分或全部步骤。存储器901可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。

该三维医学影像标注设备中，处理器902与存储器901通过通信总线传输信令、逻辑指令等。该设备能够通过通信接口904与其他设备进行通信交互。

本申请实施例中，三维医学影像标注设备可以通过本地生成三维医学影像的设备(例如ct机、mr设备)实现，也可以在其他设备上实现，例如与生成三维医学影像的设备通信的终端(笔记本电脑、台式电脑、手机等)，另外也可以在物理服务器上实现。此外，本申请实施例提供的三维医学影像方法和装置也可以在云端服务器上实现。

需要说明的是，本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备及系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的设备及系统实施例仅仅是示意性的，其中作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元提示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

以上所述，仅为本申请的一种具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。