一种X光胸片中部位完整度的智能鉴别方法及系统与流程
本发明属于计算机视觉技术，具体涉及x光胸片识别技术。
背景技术：
胸部x光图像基于其特殊的性能，在医学领域得到长足且广泛的应用。为保证胸部x光图像的有效性，需要拍摄形成合格的胸部x光图像。对于一张胸片x光图像是否合格，其中一个重要的判别因素就是胸部x光图像应该完整地包含患者的胸部。
但由于在现实生活中，在医院放射科拍摄x光胸片时常常会由于放射技师站位指导错误、患者在拍摄时不自觉的身体移动等，都会导致在x光片成像时发生拍摄患者的胸部在x光片中没有包含完全的情况。
针对这类情况下，目前有两种解决方式有如下两种方式：
(1)拍摄前的部位检测，该方式使用摄像头对人体体态进行分析，判断人体是否摆位正确，如联影智能公司的天眼ct。
(2)人工鉴别审核，该方式由放射医师通过阅片，判断x光片中是否包含了胸部的主要关键点，如人体的第七脊椎、人体的左下肋膈角、人体的右下肋膈角。
这两种方式在实际应用过程中都存在一定的问题：
(1)对于拍摄前的部位检测方式，其使用摄像头对人体体态分析时，不能够100％保证人体姿态正确成像部位就一定正确。因为在使用x光机器拍摄x光片时，x光射线发射口角度的偏移，x光射线接收板的偏移等都会导致虽然人体摆位正确，但成像内容依旧没有完全包含人体胸部的情况。
(2)对于人工鉴别审核方式，人工鉴别虽然简单，但是在遇到需要对大量x光图像中找出胸部完整的x光片的场景时，往往人工审核需要耗费医生宝贵的时间，另外长时间审核鉴别也会导致医生的视觉疲劳，导致鉴别出错。
技术实现要素：
针对现有确定胸部x光图像成像内容完整度方案所存在的问题，需要一种新的胸部x光图像成像内容完整度鉴别方案。
为此，本发明的目的在于提供一种x光胸片中部位完整度的智能鉴别方法，同时，本发明还提供一种x光胸片中部位完整度的智能鉴别系统；本方案能够对胸部x光图像成像内容完整性进行智能化的高效鉴别。
为了达到上述目的，本发明提供的x光胸片中部位完整度的智能鉴别方法，包括：
基于构建的标签数据，对深度学习模型进行深度学习，所述标签数据由若干在对应于胸部关键点位置完成标注的胸部x光图像构成，所述若干胸部x光图像中包括包含完全胸部的胸部x光图像和包含不完全胸部的胸部x光图像；
通过经深度学习的模型对胸部x光图像完整度进行智能鉴别。
进一步的，所述标签数据中胸部x光图像上标注的关键点位置至少对应于胸部第七脊椎、左下肋膈角、右下肋膈角中的一种。
进一步的，所述标签数据中相应的胸部x光图像在完成标注后，将标注信息储存到和对应胸部x光图像文件名相同而文件格式不同的文件中。
进一步的，所述深度学习模型由主干网络和三个全连接层构成。
进一步的，所述方法进行深度学习时，首先将标注信息进行变换处理，将标注信息中对应关键点的坐标信息以mask数组的形式生成标签数据；
接着，将得到的mask标签数据进行损失函数计算；
接着，根据该损失函数使用梯度下降和反向传播的方法对主干网络和全连接层的参数进行优化，使得损失函数最小。
进一步地，每一个关键点mask数组中只有与胸部x光图像上标注的关键点对应位置的数组数值为1，其他位置为0。
进一步的，所述方法对胸部x光图像完整度进行鉴别时，包括：
(1)将待鉴别胸部x光图像送入经过经深度学习的模型中的主干网络，计算形成特征图；
(2)将主干网络输出的特征图送入经深度学习的模型中的3个全连接层,得到3个关键点的逻辑图；
(3)将3个关键点的逻辑图通过sigmoid函数映射得到三个关键点的概率图；
(4)对于每一个关键点的概率图，取概率图中概率最大值作为这一关键点的检测结果，如果推理概率值小于0.5，则鉴别为此胸部x光图像中缺少这一关键点，否则鉴别为此胸部x光图像存在这一关键点。
为了达到上述目的，本发明提供的x光胸片中部位完整度的智能鉴别系统，包括处理器以及处理程序，所述处理器可执行处理程序，以按照上述的x光胸片中部位完整度的智能鉴别方法对输入的x光胸片中部位完整度进行鉴别。
本发明提供的方案可智能鉴别x光胸片中胸部是否被完全包含，精确度高，效率高。
本发明提供的方案即是摄影后的鉴别，不存在摄影前由于使用摄像头鉴别的间接性所导致的问题；同时本方案区别于人工鉴别，可实现智能鉴别。
附图说明
以下结合附图和具体实施方式来进一步说明本发明。
图1为本发明实例中标注胸部完全包括示例图；
图2为本发明实例中标注胸部不完全包括示例图；
图3为本发明实例中深度学习阶段示意图；
图4为本发明实例中推理阶段示意图。
具体实施方式
为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合具体图示，进一步阐述本发明。
本方案通过构建相应的标签数据以及深度学习模型，实现智能鉴别x光胸片(即胸部x光图像)中是否完全包含胸部区域。
本方案基于一定量的x光胸片(即胸部x光图像)来构建用于深度训练学习的标签数据，这里一定量的x光胸片中一部分x光胸片完全包含人体胸部区域，一部分x光胸片没有完全包含人体胸部区域。
在此基础上，通过人工对这些x光胸片进行胸部关键点的标注(如可由多名有资质的影像科医生来进行标注)。这里标注的关键点有三个：x光胸片上对应于人体胸部第七脊椎的区域关键点、x光胸片上对应于人体胸部左肋膈角的区域关键点、x光胸片上对应于人体胸部右肋膈角的区域关键点。如此，如果x光胸片上同时具有该三个关键点，则认定该x光胸片完全包含人体胸部区域(如图1所示)；否则，认定该x光胸片没有完全包含人体胸部区域(如图2所示)。
在这些标注数据的基础上，本方案进一步构建深度学习模型，该深度学习模型利用构建的标注数据进行深度训练学，使之具有检测这三个关键点的能力。如此，通过深度训练学习的模型对待鉴别的x光胸片(即胸部x光图像)进行智能鉴别，若在检测到待鉴别的x光胸片(即胸部x光图像)中同时包含上述的三个关键点(即三个关键点都存在于x光胸片中)，则判断该待鉴别的x光胸片(即胸部x光图像)为完全包含胸部；否则判断该待鉴别的x光胸片(即胸部x光图像)为未完全包含胸部。
作为举例，本实例由resnet34主干网络和三个全连接层来构建相应的深度学习模型。并不限于此，也可以使用其他网络结构如densenet、inception、resnext、mobilenet等全卷积网络。
基于上述方案，以下通过一具体实例来说明以下本方案的应用实施过程。
本实例中通过构建相应的标签数据和深度学习算法模型来实现。
本实例中构建标签数据的过程主要包括如下步骤。
步骤(1)医生标注：邀请三名有资质的影像科医生对胸部x光图像(即x光胸片)进行胸部关键点的标注，通过计算中相应的标注软件在胸部x光图像(即x光胸片)上，标圈出对应于人体胸部第七脊椎、左下肋膈角、右下肋膈角的三个关键点。
作为举例，这里形成的标圈为半径不超过15个像素的圈。
参见图1，其所示为标注胸部完全包括示例图，即该胸部x光图像示例图中上可标注出全部三个关键点。
参见图2，其所示为标注胸部不完全包括示例图，即该胸部x光图像示例图中上不能够标注出全部三个关键点。
作为举例，本实例中共标注18000-20000张胸部x光图像(即x光胸片)；这些胸部x光图像中包含完全胸部的胸部x光图像和包含不完全胸部的胸部x光图像，标注要求如上所述，形式如图1和图2所示。
步骤(2)标注信息存储：本实例在标注完一张胸部x光图像(即x光胸片)后，将标注信息储存到和胸部x光图像(即x光胸片)文件名相同而文件格式不同的“.json”文件。该“.json”文件是用来存储胸部x光图像的有关信息以及标注信息。由此便于后续的数据解析，提高数据执行的效率和应用时的兼容性。
作为举例，本实例中“.json”文件的构成如下：
本“.json”文件中，"wado"字段是用来存储对应胸部x光图像的几个信息的，包括"seriesuid"，"imageuid"，"wadourl"，"studyuid"，可以通过"wado"字段在互联网中找到并下载该胸部x光图像。
本“.json”文件中，"imageshape"字段是用来描述胸部x光图像的像素大小信息的，可以通过"imageshape"知道胸部x光图像的像素大小。
本“.json”文件中，"keypoints"字段是用来描述胸部x光图像中三个关键点信息，"keypoints"中最多有三个条目，最少为零个条目，每一个条目描述了此胸部x光图像该字段中"objectlabels"最多有三个，当"objectlabel"有三个的时候，表示该x光图像中第七脊椎、左下肋膈角、右下肋膈角对应区域都存在。若"keypoints"字段中一个条目都没有时，表示此胸部x光图像中缺少上述的人体胸部三个关键点。
进一步的，条目内容中若"objectlabels"字段为"left_costophrenic_angle"，表示此条目为左下肋膈角的信息，此条目中的"points"字段里的内容表示医生标注的左下肋膈角的坐标。以此类推，"right_costophrenic_angle"表示右下肋膈角，"seventh_cervical_vertebra"表示第七脊椎。
参见图3，其所示为本实例构建的深度学习算法模型，该深度学习算法模型能够基于上述构建的标签数据进行深度训练学习，以具备检测上述三个关键点的能力。
本实例构建的深度学习算法模型主要包含两个部分：第一部分是学习阶段，第二部分是推理阶段。
其中，学习阶段的主要模块由特征提取模块、分类模块、损失函数计算模块和标签数据生成模块配合完成；而推理阶段主要由经过深度学习的特征提取模块和分类模块配合完成。
如图3所示，第一部分学习阶段，特征提取模块由主干网络②形成，这里优选为resnet34主干网络结构，也可以使用其他网络结构如densenet、inception、resnext、mobilenet等全卷积网络；
分类模块由三个全连接层④形成，以形成相应的逻辑图⑦；
标签数据生成模块用于生成标签数据③。具体的，本标签数据生成模块将标注信息进行变换处理，将标注信息中对应关键点的坐标信息以mask数组的形式生成标签数据，每一个关键点mask数组的大小为32x32，在每个数组中，只有第七脊柱或左下肋膈角、右下肋膈角对应位置的数组数值为1，其他位置为0。
损失函数计算模块⑤用于对标签③和逻辑图⑦进行计算。
据此，本深度学习算法模型在深度学习时，将x光图像①输入特征提取模块提取特征，得到特征图(featuremap)⑥，其维度为nxcxhxw,n表示mini-batch中的样本数，c表示特征通道数，h为特征图的高度，w为特征图的宽度。作为举例，这里输入的x光图像的大小调整到长为1024像素，宽为1024像素，通道数为3的jpg图像。
接着，将特征图送入三个全连接层(fc层)④，每一个全连接层的表达式为
接着，得到逻辑图之后，损失函数计算模块将mask③和逻辑图⑦进行损失函数的计算，mask是由标签数据生成模块得到，即由标注信息转换得到，每个mask的维度为nx1xhxw，其与逻辑图(logitsmap)维度相同。
作为举例，本实例中损失函数计算模块通过如下公式完成对逻辑图⑦和mask③的进行损失函数计算：
其中，maski,j为mask③位置为(i,j)的数值，maski,j∈{0,1}为标签数据，pi,j为逻辑图(logitsmap)位置为(i,j)的数值通过sigmoid函数映射得到的概率，pi,j∈[0,1]。
接着，使用梯度下降和方向传播的方法将损失函数对主干网络和全连接层的参数进行优化，使得损失函数最小，得到最优的深度学习模型，将其保存下来。
这样，在将经过优化后的参数进行保存之后，可以对训练数据之外的数据进行预测，对于任意一张胸片x光图像，深度学习模型会输出三个相同大小的mask'i,j∈{0,1}，作为预测出来的概率图，将其变换到对应一张胸片x光图像的原始大小，就得到热度图。
第二部分推理阶段，其特征提取模块由主干网络部分②构成，分类模块是三个全连接层④。首先加载学习阶段保存的深度学习模型，即将学习阶段的主干网络和全连接层的参数加载到推理阶段的网络。
接下来，输入一张x光图像，通过推理阶段的特征提取模块进行特征的提取，将提取到的特征⑥送入推理阶段的分类模块进行分类，得到概率图③(如图4所示)，即对于每一个关键点的概率图，本实例取概率图中概率最大值作为这一关键点的检测结果，如果推理概率值小于0.5，则鉴别为此x光图像中缺少这一关键点，否则鉴别为此x光图像存在这一关键点。
由于上述过程中会不断的优化分类模块和特征提取模块，使得在学习阶段能通过参数的更新得到能检测上述三个关键点的模型。
故在推理阶段使用学习阶段保存下的参数进行x光图像的推理，推理得到的概率图便具有了检测上述三个关键点的能力。
本实例构建的深度学习算法模型在基于标签数据完成训练学习后，将具备检测上述三个关键点的能力。
据此，本实例则利用该经过深度训练学习的深度学习算法模型对带处理的胸部x光图像进行完整度的推理智能鉴别。
参见图4，本实例中对带处理的胸部x光图像进行完整度的推理智能鉴别过程如下：
(1)输入图像，将图像的大小调整到长为1024像素，宽为1024像素，通道数为3的jpg图像①。
(2)将输入图像送入在学习阶段得到的主干网络②处，主干网络输出特征图featuremap⑥。
(3)将主干网络输出的特征图featuremap⑥送入在学习阶段得到的3个全连接层(fc)④，得到3个关键点的logits逻辑图⑦。
(4)将3个关键点的逻辑图⑦通过sigmoid函数计算得到三个关键点的概率图(probsmap)③，并将概率图中位置为(i,j)的数值定义为si,j，si,j∈[0,1]。
(5)对于每一个关键点的概率图，取概率图中概率最大值作为本关键点的检测结果，如果推理概率值小于0.5，则鉴别为此x光图像中缺少这一关键点，否则鉴别为此x光图像存在这一关键点。
针对本实例方案给出的x光胸片中部位完整度智能鉴别方案，在具体应用时，可构成相应的软件程序，形成x光胸片中部位完整度智能鉴别系统。该软件程序在运行时，将执行上述的x光胸片中部位完整度智能鉴别方法，同时存储于相应的存储介质中，以供处理器调取执行。
由此形成的x光胸片中部位完整度智能鉴别系统在运行时，系统的处理器从存储介质中调取并执行该软件程序时，将可实现按照上述的x光胸片中部位完整度智能鉴别方法，通过学习阶段和推理智能鉴别阶段，对x光胸片中部位完整度进行智能鉴别。
由上述实例可知，本智能鉴别方案为胸部x光图像摄影后的鉴别，直接对于胸部x光图像摄影结果进行鉴别，杜绝摄影前鉴别中由于使用摄像头鉴别的间接性所导致的问题。同时，本方案为智能鉴别完全不同于人工鉴别，大大节省人力。
再者，由于本方案为基于深度训练学习的智能鉴别，在实际使用时准确度高，经大量实验可知，针对三个关键点的平均准确度达到96.3％；本方案在实际使用时速度快，经实验可知，本方案针对一张x光图像的鉴别速度少于0.1s；基于高准确性和高效率，本方案可大规模筛选。
上述本发明的方法，或特定系统单元、或其部份单元，为纯软件架构，可以透过程序代码布设于实体媒体，如硬盘、光盘片、或是任何电子装置(如智能型手机、计算机可读取的储存媒体)，当机器加载程序代码且执行(如智能型手机加载且执行)，机器成为用以实行本发明的装置。上述本发明的方法与装置亦可以程序代码型态透过一些传送媒体，如电缆、光纤、或是任何传输型态进行传送，当程序代码被机器(如智能型手机)接收、加载且执行，机器成为用以实行本发明的装置。
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。
- 还没有人留言评论。精彩留言会获得点赞！