基于全局和局部特征协作的骨龄评估方法、装置、设备及介质与流程

1.本发明涉及图像处理领域，尤其涉及基于全局和局部特征协作的骨龄评估方法、装 置、设备及介质。


背景技术：

2.人的生长发育可用两个“年龄”来表示，即生活年龄(日历年龄)和生物年龄(骨 龄)。人类骨骼发育的变化基本相似，每一根骨头的发育过程都具有连续性和阶段性。不 同阶段的骨头具有不同的形态特点，因此，骨龄评估能较准确地反映个体的生长发育水 平和成熟程度。骨龄最早应用于医学儿科上，它不仅可以确定儿童的生物学年龄，而且 还可以通过骨龄及早了解儿童的生长发育潜力以及性成熟的趋势，通过骨龄还可预测儿 童的成年身高。当骨龄-生活年龄的差值在
±
1以内的称为发育正常，》1的称为发育提前 (简称：早熟)；《-1岁则是发育落后(简称：晚熟)。骨龄的异常，常常是儿科某些内分 泌疾病所表现的一个方面。因此骨龄的评估还对一些儿科内分泌疾病的诊断有很大帮助。 除此之外，骨龄因可以提供科学、客观的生物年龄鉴定，也常常被用在在体育运动员鉴 定和司法中判案过程中。
3.骨龄评估通常是对被测者的手部和腕部进行x光摄片，然后由医生根据拍得的x光 片进行解读。解读的方法可分为与标准图谱比较的gp图谱法、按骨发育分期评分的tw 评分法。临床骨龄判读依赖于专家的经验，具有工作量大、测定周期长、重复性差、主 观性强、不稳定、欠可靠等缺点。gp图谱法基于儿童生长研究的标准化放射图谱。通过 直接比较受试者的x射线图像与标准图谱来评估骨龄，以获得骨龄。gp方法简单、清晰、 易于使用，在国际上得到广泛应用。但其局限性在于，它是高度主观的，其准确性无法 保证。tw对特定骨骺的成熟度进行评分，通过检查骨龄量表(目前修订为tw3)得出 骨龄。由于tw3方法独立地对每个骨骺的成熟度进行评分，因此tw3评分方法比gp 更客观、更稳健。然而，值得注意的是，tw评估过程非常复杂，需要有经验的儿科放 射科医师花费一定的时间来完成骨龄评估。因此，许多研究人员致力于开发快速、准确 和更客观的骨龄评估方法。
4.骨龄阅片由于人工判读主观性强，不同年资医生判读结果有很大的差异性。同时， 由于医学图像的采集成本更高，标记需要专业的放射科医生，费时费力，因此专门用于 骨龄预测并具有高质量标签的数据集非常有限。传统的自动化评估方法大多需要人工设 计特征作为输入，无法满足自动化的要求，其性能也难以满足实际应用的要求。因此， 提出一种不仅满足临床需求，也可以充分挖掘数据特征的全自动骨龄评估方法很有必要。


技术实现要素：

5.为了克服上述技术缺陷，本发明的目的在于提供基于全局和局部特征协作的骨龄评 估方法、装置、设备及介质，用于解决现有缺乏一种满足临床需求，也可以充分挖掘数 据特征的全自动骨龄评估方法的问题。
6.本发明公开了一种基于全局和局部特征协作的骨龄评估方法，包括：
7.建立初始评估模型并采用训练样本进行训练，获得目标评估模型；其中，所述目标 评估模型包括第一卷积网络、目标检测模型、第二卷积网络以及transformer网络；
8.获取待评估的骨影像，预处理后获得待处理图像，以输入至所述目标评估模型；
9.采用第一卷积网络对所述待处理图像进行特征提取，以获得全局特征；
10.采用预训练后的目标检测模型对所述待处理图像进行识别后裁剪，获得若干包含预 设类别的roi区的子图像；
11.采用第二卷积网络对各个子图像进行特征提取，以获得若干局部特征；
12.利用transformer网络对所述全局特征和所述局部特征执行卷积和归一化，获得全局 上下文局部特征；
13.将各个局部特征与所述全局上下文局部特征融合后，连接所述全局特征和局部特征， 并通过一全连接层处理，获得骨龄评估结果。
14.优选地，所述对所述全局特征和所述局部特征执行卷积和归一化，获得全局上下文 局部特征，包括：
15.对各个所述局部特征采用1*1卷积层进行处理，获得多个第一特征数据；
16.对所述全局特征采用1*1卷积层进行处理，获得第二特征数据；
17.再次采用1*1卷积层对所述第二特征数据进行处理，获得第三特征数据；
18.将各个所述局部特征对应的第一特征数据与所述第二特征数据乘积后归一化，以获 得每个局部特征对应的全局上下文特征，将各个局部特征对应的全局上下文特征加和后 再与所述第三特征数据的乘积，获得全局上下文局部特征。
19.优选地，所述全局上下文局部特征可以表示为：
20.其中，为第一特征数据的矩阵表示；为第二特 征数据的矩阵表示；为第三特征数据的矩阵表示；t表示矩阵的转置；；i为预设类别 的roi区的类别索引；j为待处理图像的位置索引；d为通道数。
21.优选地，所述采用训练样本进行训练，获得目标评估模型，包括：
22.从一数据库中收集已标定有骨龄信息的骨影像，并基于所述骨龄信息，以自然年周 期分类，形成包含至少一组骨龄信息位于[a，b)区间，其中a、b为正整数的骨影像作为 数据集；
[0023]
对所述数据集中的各个图像作直方图均衡化处理以及尺寸调整；
[0024]
随机选取所述数据集中的图像生成训练集、验证集和测试集，以生成训练样本，并 对初始评估模型进行训练，以获得目标评估模型。
[0025]
优选地，在生成训练样本前，还包括：
[0026]
对所述训练集和所述验证集进行数据增广；
[0027]
其中，所述数据增广包括图像转置、水平镜像、旋转、平移、缩放或尺度变换。
[0028]
优选地，所述采用预训练后的目标检测模型对所述待处理图像进行识别，对目标检 测模型进行训练，包括：
[0029]
从一数据库中获取若干骨影像，并预先标记预设类别的roi区，以生成训练数据；
[0030]
基于yolo网络建立目标检测模型，并根据预设类别的roi区设置模型参数；
[0031]
采用训练数据对所述目标检测模型进行训练，更新损失函数和权重参数，以获得预 训练后的目标检测模型。
[0032]
优选地，所述采用预训练后的目标检测模型对所述待处理图像进行识别后裁剪，获 得若干包含预设类别的roi区的子图像，包括：
[0033]
用预训练后的目标检测模型对所述待处理图像进行识别，获得带有多个预测框的待 处理图像，其中，每一预测框对应一预设类别的roi区；
[0034]
当待处理图像中的roi区数量低于预设值，则丢弃；
[0035]
当待处理图像中的roi区数量不低于预设值，则根据预设类别的roi区进行裁剪， 获得若干子图像。
[0036]
本发明还提供一种基于全局和局部特征协作的骨龄评估装置，包括：
[0037]
训练模块，用于建立初始评估模型并采用训练样本进行训练，获得目标评估模型； 其中，所述目标评估模型包括第一卷积网络、目标检测模型、第二卷积网络以及 transformer网络；
[0038]
预处理模块，用于获取待评估的骨影像，预处理后获得待处理图像，以输入至所述 目标评估模型；
[0039]
全局特征提取模块，用于采用第一卷积网络对所述待处理图像进行特征提取，以获 得全局特征；
[0040]
局部特征提取模块，用于采用预训练后的目标检测模型对所述待处理图像进行识别 后裁剪，获得若干包含预设类别的roi区的子图像；采用第二卷积网络对各个子图像进 行特征提取，以获得若干局部特征；
[0041]
处理模块，用于利用transformer网络，对所述全局特征和所述局部特征执行卷积和 归一化，获得全局上下文局部特征；将各个局部特征与所述全局上下文局部特征融合后， 连接所述全局特征和局部特征，并通过一全连接层处理，获得骨龄评估结果。
[0042]
本发明还提供一种计算机设备，所述计算机设备包括存储器、处理器以及存储在存 储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述 评估方法的步骤。
[0043]
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序 被处理器执行时实现所述评估方法的步骤。
[0044]
采用了上述技术方案后，与现有技术相比，具有以下有益效果：
[0045]
本发明提供一种基于全局-局部协作式transformer的骨龄评估方法，实现骨龄的高 效全自动评估。首先检测提取医生阅片流程中关注的感兴趣区域(roi)，即局部信息， 整幅图像是为全局信息，利用卷积分别提取全局和局部的特征信息，然后采用transformer 提取全局与局部之间的特征信息，预测骨龄，提高骨龄评估的效率和准确性。
附图说明
[0046]
图1为本发明所述基于全局和局部特征协作的骨龄评估方法实施例一的流程图；
[0047]
图2为本发明所述基于全局和局部特征协作的骨龄评估方法实施例一中目标评估模 型的网络结构示意图；
[0048]
图3为本发明所述基于全局和局部特征协作的骨龄评估方法实施例一中第一卷积
(maxpooling),用于提取出全局特征，作为进一步说明的是，下述第二卷积网络可以与 该第一卷积网络结构一致，也可以不同，全局特征记为j表示全局图像的位置索引。
[0075]
s400：采用预训练后的目标检测模型对所述待处理图像进行识别后裁剪，获得若干 包含预设类别的roi区的子图像；
[0076]
在上述步骤中，目标检测网络主要是用于检测roi区，使得后续根据roi区获得对 应的子图像，以采集局部特征；具体的，所述采用预训练后的目标检测模型对所述待处 理图像进行识别，对目标检测模型进行训练，包括：
[0077]
从一数据库中获取若干骨影像，并预先标记预设类别的roi区，以生成训练数据； 基于yolo网络建立目标检测模型，并根据预设类别的roi区设置模型参数；采用训练 数据对所述目标检测模型进行训练，更新损失函数和权重参数，以获得预训练后的目标 检测模型。
[0078]
在上述训练过程中，随机选取1000例各年龄段的图像，基于tw方法的标准人工标 记指定的roi区域，800例用于训练目标检测网络，200例用于测试，该目标检测模型使 用yolo网络，类别(即预设类别的roi区的类别数)设置为18，预测边框包括目标类 别的置信度以及每个边框区域在多个类别上的概率，通过非极大值抑制去除冗余窗口， 将准备好的训练集和图像标定类别(即训练数据)输入设计好的深度卷积神经网络(即 上述目标检测模型)进行训练，通过降低损失函数值并更新网络权重参数，经过若干训 练后，得到学习后的网络权重参数，即生成预训练后的目标检测模型。
[0079]
具体的，所述采用预训练后的目标检测模型对所述待处理图像进行识别后裁剪，获 得若干包含预设类别的roi区的子图像，需要执行图像修正，具体的，包括：
[0080]
s410：用预训练后的目标检测模型对所述待处理图像进行识别，获得带有多个预测 框的待处理图像，其中，每一预测框对应一预设类别的roi区；
[0081]
在上述步骤中，经过目标检测模型后，输出的待处理图像带有预测框，每一预测框 均对应预设类别的roi区之一，如上所述，设预设类别的roi区为18个，这预测框应 当包含18个。
[0082]
s420：当待处理图像中的roi区数量低于预设值，则丢弃；
[0083]
经过上述步骤s410的检测之后，每一预测框均对应一roi区，对于roi类别数《14 的数据(即其中预测框的数目低于14的)删除，从而排除了一部分发育不良或者有病变 的图片，即丢弃不好的图片，以提高后续评估结果的准确性。
[0084]
s430：当待处理图像中的roi区数量不低于预设值，则根据预设类别的roi区进行 裁剪，获得若干子图像。
[0085]
具体的，从修正好的图像中(即上述丢弃操作后)裁剪出检测到的18个roi区，经 过数字化采样，将各个roi块(即包含每一roi区的图像)统一为相同大小的尺寸：64
ꢀ×
64，以便下述步骤s500中进行特征提取。
[0086]
s500：采用第二卷积网络对各个子图像进行特征提取，以获得若干局部特征；
[0087]
在上述步骤中，第二卷积网络可以设置与上述第一卷积网络一致，即s-vggnet，也 可以设置为其他可实现特征提取的神经网络，根据上述，每一子图像中均包括一预设类 别的roi区，则对于每一子图像进行特征提取，即可获得局部特征，可记为
[0088]
s600：利用transformer网络对所述全局特征和所述局部特征执行卷积和归一化，获 得全局上下文局部特征；
[0089]
本实施方式中，参阅图4，利用上述步骤s300中获得的全局特征和s500中获得的 局部特征，然后采用transformer提取全局与局部之间的特征信息，预测骨龄。具体的， 所述对所述全局特征和所述局部特征执行卷积和归一化，获得全局上下文局部特征，包 括：
[0090]
s610：对各个所述局部特征采用1*1卷积层进行处理，获得多个第一特征数据；
[0091]
上述步骤，即将上述特征执行一次1
×
1卷积操作映射到一个新的空间，记为
[0092]
s620：对所述全局特征采用1*1卷积层进行处理，获得第二特征数据；
[0093]
上述步骤，即将特征fg执行一次1
×
1卷积操作映射到一个空间，记为
[0094]
s630：再次采用1*1卷积层对所述第二特征数据进行处理，获得第三特征数据；
[0095]
上述步骤，是将特征执行一次1
×
1卷积操作映射到一个空间，记为即对特 征fg执行两次1
×
1卷积操作映射到两个空间，分别记为(第二特征数据)，(第 三特征数据)；
[0096]
s640：将各个所述局部特征对应的第一特征数据与所述第二特征数据乘积后归一化， 以获得每个局部特征对应的全局上下文特征，将各个局部特征对应的全局上下文特征加 和后再与所述第三特征数据的乘积，获得全局上下文局部特征。
[0097]
在上述步骤中，根据上述s610-s630中的卷积操作后，得到再执行归一 化，即：即上述每个局部特征对应的全局上下文特征；对于各 个局部特征所对应的全局上下文特征信息集合后可由下式计算获得全局上下文局部特 征：将上述各个特征数据均归纳为矩阵运算，具体的，所述全局上下文 局部特征可以表示为：
[0098]
其中，为第一特征数据的矩阵表示；为第二特 征数据的矩阵表示；为第三特征数据的矩阵表示；t表示矩阵的转置；i为预设类别 的roi区的类别索引；j为待处理图像的位置索引；d为通道数。
[0099]
作为说明的是，上述通道数为网络的参数，上述全局上下文局部特征是融合了局部 特征和全局特征的特征，即通过transform网络实现局部特征与全局特征的相互作用，具 体的，利用transformer网络的encode-decode框架，实现局部特征与全局特征融合计算， 生成全局-局部协作式transformer网络，用于后续进行骨龄的评估，该网络结构实现的 计算在目标评估模型中利用上述s100中训练样本的训练，不断调整，直至确定网络结构 的参数。
后，连接所述全局特征和局部特征，并通过一全连接层处理，获得骨龄评估结果。
[0113]
具体的，分别对局部特征进行依次1
×
1卷积操作、对全局特征进行两次1
×
1卷积 操作，分别获得第一特征数据、第二特征数据和第三特征数据。将各个所述局部特征对 应的第一特征数据与所述第二特征数据乘积后归一化，以获得每个局部特征对应的全局 上下文特征，将各个局部特征对应的全局上下文特征加和后再与所述第三特征数据的乘 积，获得全局上下文局部特征。
[0114]
利用训练模块建立初始评估模型并训练，获得目标评估模块，而后在预处理模块中 对受试者采集的骨影像进行预处理，以便输入目标评估模块中，在目标评估模型中，利 用局部特征提取模块和全局特征提取模块，检测提取医生阅片流程中关注的感兴趣区域 (roi)，即提取局部图像(子图像)，整幅图像为全局图像，利用卷积(第一卷积网络和 第二卷积网络)分别提取全局和局部的特征信息，然后在处理模块中采用transformer网 络提取全局与局部之间的特征信息，预测骨龄，提高骨龄评估的效率和准确性。
[0115]
实施例三：为实现上述目的，本发明还提供一种计算机设备9，该计算机设备可包括 多个计算机设备，实施例二的基于全局和局部特征协作的骨龄评估装置8的组成部分可 分散于不同的计算机设备9中，计算机设备9可以是执行程序的智能手机、平板电脑、 笔记本电脑、台式计算机、机架式服务器等。本实施例的计算机设备至少包括但不限于： 可通过系统总线相互通信连接的存储器91、处理器92以及基于全局和局部特征协作的骨 龄评估装置8。参阅图6，需要指出的是，图6仅示出了具有组件-的计算机设备，但是 应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
[0116]
本实施例中，存储器91可以包括存储程序区和存储数据区，其中，存储程序区可存 储搡作系统、至少一个功能所需要的应用程序；存储数据区可存储用户在计算机设备的 数据。此外，存储器91可以包括高速随机存取存储器，还可以包括非易失性存储器，在 一些实施例中，存储器91可选包括相对于处理器远程设置的存储器91，这些远程存储器 可以通过网络连接。上述网络的实例包括但不限于互联网、局域网等。
[0117]
处理器92在一些实施例中可以是中央处理器(central processing unit，cpu)、控制 器、微控制器、微处理器、或其他数据处理芯片。该处理器92通常用于控制计算机设备 的总体操作。本实施例中，处理器92用于运行存储器91中存储的程序代码或者处理数 据，例如运行基于全局和局部特征协作的骨龄评估装置8，以实现实施例一的基于全局和 局部特征协作的骨龄评估方法。
[0118]
需要指出的是，仅示出了具有部件91-92的计算机设备9，但是应理解的是，并不要 求实施所有示出的部件，可以替代的实施更多或者更少的部件。
[0119]
实施例四：
[0120]
为实现上述目的，本发明还提供一种计算机可读存储介质，其包括多个存储介质， 如闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、磁盘、光盘、服 务器等等，其上存储有计算机程序，程序被处理器92执行时实现相应功能。本实施例的 计算机可读存储介质用于存储基于全局和局部特征协作的骨龄评估装置8，被处理器92 执行时实现实施例一的基于全局和局部特征协作的骨龄评估方法。
[0121]
应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限 制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有
效 实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作 的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。