人工智能的深度学习方法及基于人工智能的医学放射影像胸部摄片的质量控制方法与流程

本发明公开涉及人工智能的技术领域，尤其涉及一种人工智能的深度学习方法及基于人工智能的医学放射影像胸部摄片的质量控制方法。

背景技术：

影像学检查是当今医学领域的重要组成部分，随着x线摄影技术的发展与普及，越来越多的医疗机构引进了x线设备，特别是dr设备，被广泛地应用于各个医疗机构的多种业务场景。其中，正位胸片常规摄片是最为常见的，数量最多的。因此，正位胸片常规摄片的质控工作量极大。

目前，正位胸片常规摄片质控主要以人工质控为主。而现有的人工质控方法，虽然可以实现胸片摄片的质量控制，但是人工鉴定效率低，而且由于不同的质控人员对于标准的理解差异较大，导致质控标准不统一，影响质控的可靠性。

随着人工智能的快速发展，是否可以通过人工智能实现胸片摄片的质控，以解决人工质控存在的效率低、标准不统一的问题，成为人们亟待解决的问题。

技术实现要素：

鉴于此，本发明提供了一种人工智能的深度学习方法及基于人工智能的医学放射影像胸部摄片的质量控制方法，以至少解决人工质控存在的效率低、标准不统一等问题。

本发明一方面提供了一种人工智能的深度学习方法，该深度学习方法包括如下步骤：

1)将输入的学习数据进行一次或多次卷积池化运算后，获得处理后数据；

2)获取步骤1)中处理后数据，并将所述处理后数据进行多次卷积池化运算后，获得第一分支数据；

3)获取步骤1)中处理后数据，并将所述处理后数据进行多次卷积池化运算，其中，每次卷积池化运算后均进行混合运算，并将混合运算后的数据，作为下一卷积池化运算的输入数据，直至最后一次卷积池化运算以及混合运算结束后，获得第二分支数据；

4)将步骤2)中的第一分支数据和步骤3)中的第二分支数据进行融合，获得最终数据，采用adam优化器，对上述各步骤中的参数进行调整；

5)重复步骤1)～步骤4)，直至每个步骤中的参数值都调整在适当范围内，满足学习要求，完成学习。

优选，所述步骤1)中每次卷积池化运算后均进行混合运算，并将混合运算后的数据作为下一卷积池化运算的输入数据，直至最后一次卷积池化运算以及混合运算结束后，获得处理后数据。

进一步优选，所述混合运算的公式，具体为：

其中，公式(1)计算输入矩阵的通道数，为网络中层的输入数据；

公式(2)计算[1,clen]范围内的随机数列，范围内的每个数仅出现一次，且均为整数，步长为1，seed为随机种子，可以取当前时间，保证每次产生的随机数列是不同的；

公式(3)根据公式(2)得到的随机数列对按照通道重新排序，即将中的i通道移动到中i所在的位置。

进一步优选，所述步骤4)中将步骤2)中的第一分支数据和步骤3)中的第二分支数据进行融合的具体融合方法为：卷积运算、与运算或者或运算。

本发明另一方面还提供了一种基于人工智能的医学放射影像胸部摄片的质量控制方法，该质量控制方法包括如下步骤：

启动各人工智能子模型进行胸片的深度学习，直至学习完成，将各人工智能子模型整合为一个模型；

提取已拍摄胸片中的图像数据，并对提取的图像数据进行预处理，获得处理后数据；

将所述处理后的数据由整合后的人工智能模型进行鉴定，获得鉴定结果；

根据医学业务规则和所述鉴定结果，输出所述已拍摄胸片的质控鉴定。

优选，所述启动各人工智能子模型进行胸片的深度学习，直至学习完成步骤中，所述各人工智能子模型的深度学习方法为上述人工智能的深度学习方法中的任意一种。

进一步优选，所述各人工智能子模型包括：胸椎子模型、两肋肺尖子模型、锁骨子模型、肩软组织子模型、心影后肋骨子模型、心肺比子模型或肩胛骨子模型中的一种或多种，其中，每个所述子模型均对应一项质控关键指标。

进一步优选，所述作为学习数据的胸片图像矩阵以及对应的掩码矩阵包括：合格胸片以及不合格胸片。

进一步优选，所述对提取的图像数据进行预处理包括：图像缩放、降噪以及张量化。

本发明提供的人工智能的深度学习方法，采用独创的深度学习网络结构shnet(语义混合网络)，具体而言，该深度学习方法采用两个并行的分支处理输入数据，一个分支的各个层均按照输入数据的原有语义结构进行处理，即卷积池化运算；另一个分支的各个层都将语义混合后的输出数据传递给下一层，作为其输入数据，及每次卷积池化运算后均进行混合运算，当两个分支处理结束后，将两个分支的处理结果融合在一起，得到最后的结果，该深度学习方法中同时采用两种方法进行学习数据的学习，使得学习内容更综合，达到深度学习的目的。

本发明提供的基于人工智能的医学放射影像胸部摄片的质量控制方法中，采用通过上述深度学习的学习模型进行医学放射影像胸部摄片的质量控制，具有效率高、标准统一等优点。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明的公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明公开实施例提供的一种人工智能模型系统的模块示意图；

图2为各模型与质控关键指标之间的对应关系；

图3为本发明公开实施例中输入的胸片原图；

图4为肩上3-5cm质控指标不合格的示意图；

图5为锁骨平齐质控指标不合格的示意图；

图6为胸椎居中质控指标不合格的示意图；

图7为肺尖可见质控指标不合格的示意图；

图8为两侧肋骨外缘可见质控指标不合格的示意图。

具体实施方式

这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本发明相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本发明的一些方面相一致的方法的例子。

鉴于现有技术中的人工质控存在效率低、标准不统一等问题，本实施例提供了一种基于人工智能的医学放射影像胸部摄片的质量控制方法，该质控方法主要通过具有人工智能模型的系统实现的，该质控方法包括两部分：1)构建以及训练人工智能模型；2)质控鉴定两部分。

构建以及训练人工智能模型：

其中，参见图1为本实施方案构建的人工智能模型，该人工智能模型包括：第一卷积层1、第一池化层2、第一混合层3、第二卷积层4、第二池化层5、第三卷积层6、第三池化层7、第四卷积层8、第四池化层9、第二混合层10、第五卷积层11、第五池化层12、第三混合层13以及融合层14，其中，第一卷积层1的输出端与第一池化层2的输入端连接，第一池化层2的输出端与第一混合层3的输入端连接，第一混合层3的第一输出端与第二卷积层4的输入端连接，第二卷积层4的输出端与第二池化层5的输入端连接，第二池化层5的输出端与第三卷积层6的输入端连接，第三卷积层6的输出端与第三池化层7的输入端连接，第三池化层7的输出端与融合层14的第一输入端连接，第一混合层3的第二输出端与第四卷积层8的输入端连接，第四卷积层8的输出端与第四池化层9的输入端连接，第四池化层9的输出端与第二混合层10的输入端连接，第二混合层10的输出端与第五卷积层11的输入端连接，第五卷积层11的输出端与第五池化层12的输入端连接，第五池化层12的输出端与第三混合层13的输入端连接，第三混合层13的输出端与融合层14的第二输入端连接，上述人工智能模型中，共包括两个数据处理分支，其中，第二卷积层4、第二池化层5、第三卷积层6以及第三池化层7构成数据处理的第一分支，而第四卷积层8、第四池化层9、第二混合层10、第五卷积层11、第五池化层12以及第三混合层13构成数据处理的第二分支，输入的学习数据分别通过两个数据分支进行处理后，最后融合。

上述人工智能模型建立结束后，进行该人工智能模型的深度学习训练，具体而言，将数据输入到第一卷积层1中进行卷积后，将卷积后的数据发送到第一池化层2中进行池化，将池化后的数据发送到第一混合层3中进行混合，混合后的数据分别发送到两个数据处理分支中，其中，第一数据处理分支中，是发送到第二卷积层4中进行卷积处理，卷积处理后的数据发送到第二池化层5中进行池化后，再发送到第三卷积层6中进行卷积，卷积后的数据再发送到第三池化层7进行池化；第二数据处理分支中，是发送到第四卷积层8中进行卷积，卷积后的数据发送到第四池化层9中进行池化，池化后的数据发送到第二混合层10中进行混合，混合后的数据发送到第五卷积层11中进行卷积，卷积后的数据再发送第五池化层12中进行池化，池化后的数据发送到第三混合层13中进行混合，最后，将两个数据处理分支处理后的数据均发送到融合层14进行融合，获得最终数据，依据该最终数据，采用adam优化器，对上述模型中各层的参数进行调整，其中，每次学习过程中均对模型各层的参数进行调整，直至该人工智能模型各层参数值都调整在适当的范围内，学习结束。然后对人工智能模型进行测试，如果测试不合格需要继续进行学习，直至测试合格，该人工智能模型测试合格与否是依据训练集、验证集、测试集的损失值和准确率评估的。

上述人工智能模型是列举的一个具体实例，实际应用中，每个数据处理分支中的卷积层、池化层均可以根据需要进行增减。

上述人工智能模型其主要的创新之处在于：在一个模型中并列设置了两个数据处理分支，上述两个数据处理分支同时进行输入数据的处理，最后通过融合层将两个数据处理分支中的数据进行融合，实现深度学习。与常见的深度学习模型相比，该模型通过语义混合增加了输入数据语义间的关联，使模型能够学习到更多的语义间关系。因此，在训练数据集规模一致的情况下，比常规模型学习到更多的知识，不仅具有更高的泛化性、准确度，还能在一定程度上缓解训练数据集较小的问题。在同等级的计算量下，该模型能够提取出更多的有效信息，提升了模型性能。

上述人工智能模型中各层的输入输出数据均为三维矩阵m，维度为[c,h,w]，其中，c为通道数，h为矩阵行数，w为矩阵列数。

上述实施方案中，混合层中使用的混合运算的公式，具体为：

其中，公式(1)计算输入矩阵的通道数，为网络中层的输入数据；

公式(2)计算[1,clen]范围内的随机数列，范围内的每个数仅出现一次，且均为整数，步长为1，seed为随机种子，可以取当前时间，保证每次产生的随机数列是不同的；

公式(3)根据公式(2)得到的随机数列对按照通道重新排序，即将中的i通道移动到中i所在的位置。

上述人工智能模型中，融合层14可采用卷积运算、与运算或者或运算中的一种，以下为融合层涉及的公式：

rh＝roriginal∪rhybridity(4)

rh＝roriginal∩rhybridity(5)

rh＝conv(concatenate(roriginal,rhybridity,0),stride＝1,kernel＝1)(6)

roriginal为由第二卷积层4、第二池化层5、第三卷积层6以及第三池化层7构成数据处理的第一分支的最终输出结果，rhybridtty为由第四卷积层8、第四池化层9、第二混合层10、第五卷积层11、第五池化层12以及第三混合层13构成数据处理的第二分支的最终输出结果。

公式(4)为采用与运算进行融合。

公式(5)为采用或运算进行融合。

公式(6)采用步长为1、卷积核大小为1的卷积运算对拼接结果进行融合。其中，concatenate表示将两个结果按照通道维度拼接，stride为步长，kernel为卷积核大小。

上述混合层、融合层的计算方式仅是作为示例，不限于上述方式，能达到混合、融合效果的计算方式均可使用。

上述人工智能模型深度学习训练过程中，各层参数的优化是通过adam优化器的adam优化算法进行的，该算法具有如下特性：

1)计算高效，方便实现，内存使用少。

2)更新步长和梯度大小无关，只和alpha、beta_1、beta_2有关系，并且由它们决定步长的理论上限。

3)对目标函数没有平稳要求，即lossfunction可以随着时间变化。

4)能较好的处理噪音样本，并且天然具有退火效果。

5)能较好处理稀疏梯度，即梯度在很多step处都是0的情况。

其中，学习过程中调节的参数包括：

学习速率，控制学习速度，以较合适的速率找到全局最优参数。

beta_1：一阶矩估计的指数衰减率。

beta_2：二阶矩估计的指数衰减率。

decay：每次参数更新后，学习率的下降值。

本实施方案中胸片摄片质控的系统中可以根据对应的质控标准相应调整对应的模型个数，通常每个模型对应一项质控关键指标，而且每个模型均是按照上述的模型结构构建而成，其中，依据上述的模型结构，可以构建包括胸椎模型、两肋肺尖模型、锁骨模型、肩软组织模型、心影后肋骨模型、心肺比模型、肩胛骨模型，每个模型与质控关键指标的对应关系如图2所示，其中，上述各个模型中，均由若干个卷积层、池化层等深度学习中的各种层构成，但是仅在一个分支中存在混合层，各个子模型的结构细节可以不同。

基于上述人工智能模型及系统的胸片摄片的质控方法，具体为：

启动各人工智能子模型进行胸片的深度学习，直至学习完成，将各人工智能子模型整合为一个模型；

提取已拍摄胸片中的图像数据，并对提取的图像数据进行预处理，获得处理后数据；

将所述处理后的数据由整合后的人工智能模型进行鉴定，获得鉴定结果；

根据医学业务规则和所述鉴定结果，输出所述已拍摄胸片的质控鉴定。

其中，人工智能模型在胸片学习时，包括：合格的胸片图像矩阵、对应的掩码矩阵，以及不合格的胸片图像矩阵、对应的掩码矩阵学习。

上述对提取的图像数据进行预处理包括：图像缩放、降噪以及张量化。

该人工智能的深度学习方法，构建简单、易于实现，同时具有高度的灵活性，即可以通过调节子模型的个数来应对质控指标的变更。其采用计算机程序代替人工进行正位胸片常规摄片质控鉴定，鉴定一张片的耗时小于1秒，显著地提高了鉴定效率，节省了大量的人工成本。本发明中的模型一旦完成训练，可以大规模复用，并且易于部署。

实验中，系统采用胸椎模型、两肋肺尖模型、锁骨模型、肩软组织模型、心影后肋骨模型、心肺比模型以及肩胛骨模型7种模型融合而成的，为验证采用上述质控系统以及质控方法的有效性，实验时，输入了图3所示的胸片原图，包含多张正位摄图，图4～图8分别为质控过程中筛选出图3各正位摄图中不合格的质控关键指标的示意图，依次为肩上3-5cm、锁骨平齐、胸椎居中、肺尖可见、两侧肋骨外缘可见指标的不合格示意图，最终采用上述质控方法的系统显示该图像的最终结果为废片，符合实际情况。

本实施方案中采用计算机程序代替人工进行正位胸片常规摄片质控鉴定，鉴定一张片的耗时小于1秒，显著地提高了鉴定效率，节省了大量的人工成本。本实施方案中的模型一旦完成训练，可以大规模复用，并且易于部署。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本发明的其它实施方案。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。

应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。