基于深度卷积神经网络和特征融合的骨龄评定方法、设备及计算机可读存储介质与流程

1.本发明涉及医疗图像处理领域，尤其涉及一种基于深度卷积神经网络和特征融合的骨龄评定方法、设备及计算机可读存储介质。


背景技术：

2.骨骼测定年龄简称骨龄，骨龄是评估青少年儿童骨骼发育程度，衡量生物学年龄的客观指标。骨龄评定在青少年儿童的生长发育、疾病诊断、司法鉴定、体育竞技等方面有重要作用。在生长发育方面，骨龄能给出少年儿童的生理年龄，可以预估身高，评估生长发育情况是否正常。在疾病诊断方面，若骨龄高于生活年龄，属于提早发育状态，医生会考虑个体是否患有甲亢、肾上腺皮质增生等疾病，反之属于个体发育状况滞后，考虑是否患有生长激素缺乏、甲状腺功能低下等疾病。在司法鉴定方面，骨龄能确定受害者或犯罪嫌疑人的真实年龄，有助于司法公正。在体育竞技方面，青少年比赛对参赛人的年龄有严格的要求，骨龄评估有助于保证比赛的公平性。
3.目前的常用骨龄评定标准是图谱法和评分法，国内骨龄主要通过拍摄骨龄片，然后由骨龄专家人工评定骨龄。而人工判读具有工作量大、测定周期长、主观性强等缺点。同一张骨龄片，不同医生给出的结果可能不同，同一医生在不同时间也可能有不同的判断。现有的医生数目不足以满足庞大的需求，往往缺乏足够的测定时间。因此急需建立好的骨龄自动评定方法。
4.现有的全自动方法基于gp图谱法和tw评分法，gp图谱法是一种相对简单的方法，提取的特征骨块与标准骨龄的图谱列表进行比较，以预测骨龄，这种方法的准确性很难保证。相比之下，tw评分法比较客观，更加准确，其评估手和手腕的特定骨骼的成熟度，这些骨骼构成了特定的感兴趣区域(roi)。预先定义的骨骼成熟度分数根据其成熟度水平分配给单个roi。最终的骨龄是通过使用一些预先定义的策略将所有的分数结合起来估计出来的。随着计算机视觉技术在图像分析领域的应用，尤其是深度学习方法具有强大的自动特征提取能力，深度学习和骨龄评估技术的结合得到了迅速的发展和完善，取得了优于传统方法的效果。
5.骨龄阅片是一项劳动密集型的任务，虽然gp图谱法和tw评分法有各自的特点， gp图谱法简单、tw评分法精确，但这些方法都有几个共同的缺点，它们都严重依赖于放射科医生的领域知识和经验，评估过程需要花费大量的时间和人力，时间效率较低。由于人工判读主观性强，在许多情况下，即使是同一个专家对同一张x射线图像进行评估，其评估结果在不同的时间也会有一定的差异。同时，由于医学图像的采集成本更高，标记需要专业的放射科医生，因此专门用于骨龄预测并具有高质量标签的数据集非常有限。传统的自动化评估方法大多需要人工设计特征作为输入，无法满足自动化的要求，其性能也难以满足实际应用的要求。此外，虽然采用深度学习方法的骨龄评估模型能够自动提取特征，但对骨龄评估中的roi关注较少，新的深度学习理论还可以进一步完善。
6.因此，提出一种新型的基于深度卷积神经网络和特征融合的骨龄评定方法，可提高骨龄评定的准确性。


技术实现要素：

7.为了克服上述技术缺陷，本发明的目的在于提供一种基于深度卷积神经网络和特征融合的骨龄评定方法、设备及计算机可读存储介质，实现骨龄评估的全自动化，提升网络性能，进一步提高骨龄评定的准确率。
8.本发明公开了一种基于深度卷积神经网络和特征融合的骨龄评定方法，包括如下步骤：
9.收集已标定有骨龄信息的手腕骨x线片，基于自然年周期对所有手腕骨x线片分类，形成至少一组手腕骨x射线图像集，并对每一手腕骨x射线图像集预处理，选取手腕骨 x射线图像集中部分图像作为训练集图像，其余图像作为测试集图像；
10.从每一手腕骨x射线图像集中随机选取n例训练图像和m例测试图像，基于tw评分法人工标记训练图像和测试图像中的roi区域，并构建应用有yolo模型的目标检测神经网络，将标记好的训练图像和测试图像输入目标检测神经网络，形成一深度卷积神经网络，并对深度卷积神经网络的参数进行训练，从而获得经训练的深度卷积神经网络，经训练的深度卷积神经网络具有学习后的网络权重参数；
11.随机选择训练集图像中的训练图像输入至深度卷积神经网络，由经训练的深度卷积神经网络提取训练图像的全局特征信息，并基于目标检测神经网络提取训练图像的局部特征信息，以融合全局特征信息和局部特征信息得到受验者的手腕骨x线片的骨龄评定结果。
12.优选地，收集已标定有骨龄信息的手腕骨x线片，基于自然年周期对所有手腕骨x 线片分类，形成至少一组手腕骨x射线图像集，并对每一手腕骨x射线图像集预处理，选取手腕骨x射线图像集中部分图像作为训练集图像，其余图像作为测试集图像的步骤包括：
13.自一放射检查数据库中收集已标定有骨龄信息的手腕骨x线片，并基于骨龄信息，以自然年周期对手腕骨x线片分类，形成至少一组手腕骨x射线图像集，其中每一手腕骨x射线图像集的骨龄信息为[a，b)区间，a、b为正整数；
[0014]
对手腕骨x射线图像集作直方图均衡化处理，对处理后的手腕骨x射线图像集进行图像数字化采样，使得手腕骨x射线图像集内的每一图像的大小呈224
×
224；
[0015]
随机选取每一手腕骨x射线图像集的80％的图像作为训练集图像，10％的图像作为验证集图像，对训练集图像和验证集图像作数据增广，将剩余的10％图像作为测试集图像。
[0016]
优选地，对训练集图像和验证集图像作数据增广的步骤包括：
[0017]
对训练集图像和验证集图像的图像作尺寸变换、位移变换、角度旋转变换中的任意一种或多种，使得增广后的训练集图像和验证集图像的数据量是增广前的训练集图像和验证集图像的数据量的10倍。
[0018]
优选地，从每一手腕骨x射线图像集中随机选取n例训练图像和m例测试图像，基于tw评分法人工标记训练图像和测试图像中的roi区域，并构建应用有yolo模型的目标检测神经网络，将标记好的训练图像和测试图像输入目标检测神经网络，形成一深度卷积神经
网络，并对深度卷积神经网络的参数进行训练，从而获得经训练的深度卷积神经网络，经训练的深度卷积神经网络具有学习后的网络权重参数的步骤包括：
[0019]
从每一手腕骨x射线图像集中随机选取n例训练图像和m例测试图像，其中男性的训练图像的数量为n/2，男性的测试图像的数量为m/2，女性的训练图像的数量为n/2，女性的测试图像的数量为m/2；
[0020]
基于tw评分法人工标记训练图像和测试图像中的roi区域；
[0021]
构建应用有yolo模型的目标检测神经网络，以检测手腕骨x射线图像集的图像的局部特征信息；
[0022]
将n例训练图像和已标定的骨龄信息输入目标检测神经网络，以获得深度卷积神经网络并训练，通过降低深度卷积神经网络的损失函数值更新深度卷积神经网络具有的网络权重参数。
[0023]
优选地，随机选择训练集图像中的训练图像输入至深度卷积神经网络，由经训练的深度卷积神经网络提取训练图像的全局特征信息，并基于目标检测神经网络提取训练图像的局部特征信息，以融合全局特征信息和局部特征信息得到受验者的手腕骨x线片的骨龄评定结果的步骤包括：
[0024]
从训练集图像中随机选取一个大小为224
×
224的训练图像，并将训练图像输入至深度卷积神经网络，以提取训练图像的全局特征信息；
[0025]
将训练图像输入目标检测神经网络以提取训练图像的局部特征信息，并将局部特征信息重组为64
×
64
×
18的三维矩阵；
[0026]
通过adam高效优化算法训练融合网络，基于融合网络多次以不同深度融合全局特征信息和重组为三维矩阵的局部特征信息，并通过融合网络的两个全连接层得到受验者的手腕骨x线片的骨龄评定结果。
[0027]
本发明还公开了一种基于深度卷积神经网络和特征融合的骨龄评定设备，包括：
[0028]
处理模块，收集已标定有骨龄信息的手腕骨x线片，基于自然年周期对所有手腕骨 x线片分类，形成至少一组手腕骨x射线图像集，并对每一手腕骨x射线图像集预处理，选取手腕骨x射线图像集中部分图像作为训练集图像，其余图像作为测试集图像；
[0029]
训练模块，从每一手腕骨x射线图像集中随机选取n例训练图像和m例测试图像，基于tw评分法人工标记训练图像和测试图像中的roi区域，并构建应用有yolo模型的目标检测神经网络，将标记好的训练图像和测试图像输入目标检测神经网络，形成一深度卷积神经网络，并对深度卷积神经网络的参数进行训练，从而获得经训练的深度卷积神经网络，经训练的深度卷积神经网络具有学习后的网络权重参数；
[0030]
评定模块，随机选择训练集图像中的训练图像输入至深度卷积神经网络，由经训练的深度卷积神经网络提取训练图像的全局特征信息，并基于目标检测神经网络提取训练图像的局部特征信息，以融合全局特征信息和局部特征信息得到受验者的手腕骨x线片的骨龄评定结果。
[0031]
本发明又公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的骨龄评定方法的步骤。
[0032]
采用了上述技术方案后，与现有技术相比，具有以下有益效果：
[0033]
1、借助于目标检测网络和深度卷积融合网络来评估骨龄，可以自动实现评估结果
的导出；
[0034]
2、目标检测网络仅用少量标注数据可以达到快速高效提取图像关键区域，缓解数据标注的压力；
[0035]
3、目标检测网络和深度卷积神经网络充分利用全局特征信息和局部特征信息，关注骨龄评估中的关键区域信息，提升网络性能和骨龄评估准确率；
[0036]
4、骨龄评定呈现出结果的骨龄平均误差5.33个月，符合临床应用可接受要求。
附图说明
[0037]
图1为符合本发明一优选实施例中骨龄评定方法的流程示意图；
[0038]
图2为符合本发明一优选实施例中手腕骨x线片与均衡化处理后的对比示意图；
[0039]
图3为符合本发明一优选实施例中图2经目标检测网络检测出的18个roi区域的示意图。
[0040]
图4为符合本发明一优选实施例中图3中分割出的18个roi区域。
[0041]
图5为符合本发明一优选实施例中深度卷积神经网络和融合网络的框架示意图，其中图5上半部分示出逐层提取全局信息，下半部分示出关键roi区域逐层提取特征信息；
[0042]
图6为符合本发明一优选实施例中深度卷积神经网络和融合网络具体实施的卷积核大小、步长，其中“+”表示特征融合。
具体实施方式
[0043]
以下结合附图与具体实施例进一步阐述本发明的优点。
[0044]
这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
[0045]
在本公开使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本公开。在本公开和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。还应当理解，本文中使用的术语“和/或”是指并包含一个或多个相关联的列出项目的任何或所有可能组合。
[0046]
应当理解，尽管在本公开可能采用术语第一、第二、第三等来描述各种信息，但这些信息不应限于这些术语。这些术语仅用来将同一类型的信息彼此区分开。例如，在不脱离本公开范围的情况下，第一信息也可以被称为第二信息，类似地，第二信息也可以被称为第一信息。取决于语境，如在此所使用的词语“如果”可以被解释成为“在
……
时”或“当
……
时”或“响应于确定”。
[0047]
在本发明的描述中，需要理解的是，术语“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0048]
在本发明的描述中，除非另有规定和限定，需要说明的是，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是机械连接或电连接，也可以是两个元件内部的连通，可以是直接相连，也可以通过中间媒介间接相连，对于本领域的普通技术人员而言，可以根据具体情况理解上述术语的具体含义。
[0049]
在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身并没有特定的意义。因此，“模块”与“部件”可以混合地使用。
[0050]
参阅图1，示出了符合本发明一优选实施例中骨龄评定方法的流程示意图，在该实施例中，骨龄评定方法包括如下步骤：
[0051]
s100：收集已标定有骨龄信息的手腕骨x线片，基于自然年周期对所有手腕骨x线片分类，形成至少一组手腕骨x射线图像集，并对每一手腕骨x射线图像集预处理，选取手腕骨x射线图像集中部分图像作为训练集图像，其余图像作为测试集图像；
[0052]
骨龄信息为手腕骨x线片为已标定有该受验者的骨龄、性别等信息。收集这些手腕骨x线片，以作为机器学习骨龄信息评定的基础。该实施例中的自然年周期，可以是每 12个月的划分，这12个月的起始，可以是自然年的起点(每年的1月1日)，或是农历的起点，使得所有的手腕骨x线片都被分类为与年龄相关的手腕骨x射线图像集。
[0053]
s200：从每一手腕骨x射线图像集中随机选取n例训练图像和m例测试图像，基于 tw评分法人工标记训练图像和测试图像中的roi区域，并构建应用有yolo模型的目标检测神经网络，将标记好的训练图像和测试图像输入目标检测神经网络，形成一深度卷积神经网络，并对深度卷积神经网络的参数进行训练，从而获得经训练的深度卷积神经网络，经训练的深度卷积神经网络具有学习后的网络权重参数；
[0054]
该实施例中，n+m的和可以是1000、2000等。roi(region ofinterest)，感兴趣区域。机器视觉、图像处理中，从被处理的图像以方框、圆、椭圆、不规则多边形等方式勾勒出需要处理的区域，称为感兴趣区域。在halcon、opencv、matlab等机器视觉软件上常用到各种算子(operator)和函数来求得感兴趣区域roi，并进行图像的下一步处理。 yolo模型为一种新的目标检测模型，该模型的特点是实现快速检测的同时还达到较高的准确率。该模型采用单个神经网络直接预测物品边界和类别概率，实现端到端的物品检测。同时，该模型检测速非常快，基础版可以达到45帧/s的实时检测；fastyolo模型可以达到155帧/s。与当前最好系统相比，yolo模型的目标区域定位误差更大，但是背景预测的假阳性优于当前最好的方法。基于深度学习方法的一个特点就是实现端到端的检测。相对于其它目标检测与识别方法(比如fast r-cnn)将目标识别任务分类目标区域预测和类别预测等多个流程，yolo模型将目标区域预测和目标类别预测整合于单个神经网络模型中，实现在准确率较高的情况下快速目标检测与识别，更加适合现场应用环境。
[0055]
s300：随机选择训练集图像中的训练图像输入至深度卷积神经网络，由经训练的深度卷积神经网络提取训练图像的全局特征信息，并基于目标检测神经网络提取训练图像的局部特征信息，以融合全局特征信息和局部特征信息得到受验者的手腕骨x线片的骨龄评定结果。
[0056]
通过目标检测网络和融合网络充分利用全局特征信息和局部特征信息，关注骨龄评估中的关键区域信息，提升网络性能和骨龄评估准确率。
[0057]
一优选实施例中，步骤s100包括：
[0058]
s110：自一放射检查数据库中收集已标定有骨龄信息的手腕骨x线片，并基于骨龄信息，以自然年周期对手腕骨x线片分类，形成至少一组手腕骨x射线图像集，其中每一手腕骨x射线图像集的骨龄信息为[a，b)区间，a、b为正整数；
[0059]
可从一个或多个医院的放射检测数据库中收集已标定好骨龄信息的手腕骨x线片数据。以12个月为单位将手腕骨x线片数据分类，如[4，5)岁为一组，[5，6)岁为一组。
[0060]
s120：对手腕骨x射线图像集作直方图均衡化处理，对处理后的手腕骨x射线图像集进行图像数字化采样，使得手腕骨x射线图像集内的每一图像的大小呈224
×
224；
[0061]
参阅图2，直方图均衡化是图像处理领域中利用图像直方图对对比度进行调整的方法，其基本思想为，把原始图的直方图变换为均匀分布的形式，这样就增加了像素灰度值的动态范围，从而达到增强图像整体对比度的效果。直方图均衡化主要包括三种情况，分别是：灰度图像直方图均衡化、彩色图像直方图均衡化、yuv直方图均衡化。
[0062]
s130：随机选取每一手腕骨x射线图像集的80％的图像作为训练集图像，10％的图像作为验证集图像，对训练集图像和验证集图像作数据增广，将剩余的10％图像作为测试集图像
[0063]
可以理解的是，训练集图像的数据量越多，对于训练结果也将越好。测试集图像的选取，则作为对深度卷积神经网络的核验之用。
[0064]
更进一步地，对训练集图像和验证集图像作数据增广的步骤包括：对训练集图像和验证集图像的图像作尺寸变换、位移变换、角度旋转变换中的任意一种或多种，使得增广后的训练集图像和验证集图像的数据量是增广前的训练集图像和验证集图像的数据量的10倍。训练集图像和验证集图像的数据量越大，则深度卷积神经网络的学习基础越丰富，其对待验者的评定结果也将越准确。
[0065]
一实施例中，步骤s200包括：
[0066]
s210：从每一手腕骨x射线图像集中随机选取n例训练图像和m例测试图像，其中男性的训练图像的数量为n/2，男性的测试图像的数量为m/2，女性的训练图像的数量为 n/2，女性的测试图像的数量为m/2；
[0067]
例如共选取1000例各年龄段的图像，800例为训练图像，用于训练目标检测网络， 200例为测试图像用于测试。且为对各不同性别的受验者的评定结果，1000例中男女各占500例。
[0068]
s220：基于tw评分法人工标记训练图像和测试图像中的roi区域；
[0069]
tw3骨龄评分法是通过x光拍左手，将x光片根据手、腕部骨x线征象进行的骨发育进行x线分期。桡、尺骨远端和掌、指骨骨端的骨发育，从出现继发骨化中心、形成骨骺，到骨骺发生结构改变，最后干、骺融合，解剖形态上都经过有规律的系列变化；同样，各腕骨的发育，从出现原发性骨化中心，到完全成形，解剖形态上也都经过有规律的系列变化。参阅图3及图4，经tw评分法可标记处roi区域，并可将每一roi区域提取而出作为一个独立的图像数据。
[0070]
s230：构建应用有yolo模型的目标检测神经网络，以检测手腕骨x射线图像集的图像的局部特征信息；
[0071]
该目标检测神经网络使用yolo模型，类别设置为18，预测边框包括目标类别的置信度以及每个边框区域在多个类别上的概率，通过非极大值抑制去除冗余窗口。
[0072]
s240：将n例训练图像和已标定的骨龄信息输入目标检测神经网络，以获得深度卷积神经网络并训练，通过降低深度卷积神经网络的损失函数值更新深度卷积神经网络具有的网络权重参数。
[0073]
将n例训练图像和已标定的骨龄信息输入目标检测神经网络，通过降低损失函数值并更新网络权重参数，经过若干训练后，得到学习后的网络权重参数。
[0074]
进一步地，步骤s300包括：
[0075]
s310：从训练集图像中随机选取一个大小为224
×
224的训练图像，并将训练图像输入至深度卷积神经网络，以提取训练图像的全局特征信息；
[0076]
s320：将训练图像输入目标检测神经网络以提取训练图像的局部特征信息，并将局部特征信息重组为64
×
64
×
18的三维矩阵；
[0077]
s330：通过adam高效优化算法训练融合网络，基于融合网络多次以不同深度融合全局特征信息和重组为三维矩阵的局部特征信息，并通过融合网络的两个全连接层得到受验者的手腕骨x线片的骨龄评定结果
[0078]
adam优化算法是随机梯度下降算法的扩展式，近来其广泛用于深度学习应用中，尤其是计算机视觉和自然语言处理等任务。它能基于训练数据迭代地更新神经网络权重。 adam优化算法应用在非凸优化问题中所获得的优势包括有：直截了当地实现、高效的计算、所需内存少、梯度对角缩放的不变性、适合解决含大规模数据和参数的优化问题、适用于非稳态(non-stationary)目标、适用于解决包含很高噪声或稀疏梯度的问题、超参数可以很直观地解释，并且基本上只需极少量的调参。参阅图5及图6，融合网络包括了目标检测神经网络和深度卷积神经网络，经过三次融合，2个全连接层，从而输出对应的骨龄评定结果。
[0079]
本发明还公开了一种基于深度卷积神经网络和特征融合的骨龄评定设备，包括：处理模块，收集已标定有骨龄信息的手腕骨x线片，基于自然年周期对所有手腕骨x线片分类，形成至少一组手腕骨x射线图像集，并对每一手腕骨x射线图像集预处理，选取手腕骨x射线图像集中部分图像作为训练集图像，其余图像作为测试集图像；训练模块，从每一手腕骨x射线图像集中随机选取n例训练图像和m例测试图像，基于tw评分法人工标记训练图像和测试图像中的roi区域，并构建应用有yolo模型的目标检测神经网络，将标记好的训练图像和测试图像输入目标检测神经网络，形成一深度卷积神经网络，并对深度卷积神经网络的参数进行训练，从而获得经训练的深度卷积神经网络，经训练的深度卷积神经网络具有学习后的网络权重参数；评定模块，随机选择训练集图像中的训练图像输入至深度卷积神经网络，由经训练的深度卷积神经网络提取训练图像的全局特征信息，并基于目标检测神经网络提取训练图像的局部特征信息，以融合全局特征信息和局部特征信息得到受验者的手腕骨x线片的骨龄评定结果。
[0080]
本发明又公开了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现如上所述的骨龄评定方法的步骤。
[0081]
应当注意的是，本发明的实施例有较佳的实施性，且并非对本发明作任何形式的限制，任何熟悉该领域的技术人员可能利用上述揭示的技术内容变更或修饰为等同的有效实施例，但凡未脱离本发明技术方案的内容，依据本发明的技术实质对以上实施例所作的任何修改或等同变化及修饰，均仍属于本发明技术方案的范围内。