一种胎儿超声图像质量控制方法及系统与流程

本发明涉及医疗图像
技术领域：
，尤其是涉及一种胎儿超声图像质量控制方法及系统。
背景技术：
：超声因为实时获取、成本低、无辐射及移动便携等优点，广泛应用于产前检查。通常，产前超声检查的过程包括：超声探头扫查、标准切面获取、生物计量测量、胎龄体重测定。生物计量测量是胎龄体重测定所必须的，而生物计量测量又要求是在标准切面上进行，这就说明，只有标准切面的测量值才能准确的估测胎龄和体重，可见标准切面的重要性。但并不是所有医师都可以获得标准切面。如图1(a)是符合质量标准的胎儿腹围切面，灰色线圈测得腹围(AC)的长度是338.72mm；同一胎龄的胎儿，可能会有经验不够丰富的医师获得图1(b)所示的不符合质量标准的胎儿腹围切面，灰色线圈测得AC的长度是326.87mm；两张图像唯一的区别在于箭头所指的胃泡(SB)，(a)胃泡充盈显示且内无回声，(b)胃泡欠佳显示，导致欠佳切面测得的腹围长度与标准切面测得的腹围长度存在11.85mm的误差。临床中已有研究强调了胎儿生物计量测量的质量控制的重要性。一般由有经验的医师(专家)根据协议对超声扫查切面评分，实现质量控制的目的，但是由专家手动评分的质量控制有很多缺点：①更倾向于专家的主观性②严重依赖专家的经验③重复操作工作、耗时耗力，临床中不可实现。技术实现要素：有鉴如此，有必要针对现在技术存在的缺陷，提供一种胎儿超声图像质量控制方法及系统。为实现上述目的，本发明采用下述技术方案：一种胎儿超声图像质量控制方法，包括下述步骤：步骤S110：获取胎儿腹部扫查切面的灰度图像；步骤S120：提取所述灰度图像的局部相位特征，获取对应的局部对称相位图和局部非对称相位图；步骤S130：将所述对称相位图和非对称相位图与所述灰度图像组合成RGB图像；步骤S140：利用L-CNN模型定位到所述RGB图像中的ROI，并判断ROI是否符合第1项指标；步骤S150：利用C-CNN模型对识别到的ROI进行分析，并判断SB是否符合第2项指标，UV是否符合第3项标准；步骤S160：根据步骤S140及步骤S150中的判断结果得到胎儿超声图像质量测量结果；其中，所述第1项指标为ROI的面积占扫查扇区的1/2以上，所述第2项指标为SB充盈显示、边界清晰、内无回声，所述第3项指标为UV为弯钩状显示、连续不中断、允许内回声。在一些实施例中，步骤S140中，利用L-CNN模型定位到所述RGB图像中的ROI，并判断ROI是否符合第1项指标，具体包括下述步骤：步骤S141：扣取每一张胎儿腹围切面的子图像；步骤S142：调整所述子图像的尺寸到227*227，并输入L-CNN，获取窗口是ROI的概率；步骤S143：采用上述依此获得整张切面内每个像素点为中心的窗口概率，得到ROI对应的概率图；步骤S144：将所述概率图经过双边滤波器平滑，再经过非极大值抑制得到概率最高的像素点即为以固定尺寸窗口定位到ROI的最佳中心点坐标Cx,y；步骤S145：计算ROI面积占超声扫查扇区面积的比例Rr/FOV得出SROI，判断ROI是否符合第1项指标。在一些实施例中，步骤S141中，扣取每一张胎儿腹围切面的子图像，采用固定尺寸320*280的窗口以步幅10滑动，在超声扫查区域内扣取子图像。在一些实施例中，所述步骤S144还包括下述步骤：以最佳中心点坐标Cx,y为中心，及其上下左右10个像素点的区域范围内，以步幅为10滑动窗口，获取最高ROI概率的中心点、宽、高，完成了当前测试图像上ROI的自动定位，其中，所述窗口的宽度在210-400的范围内，窗口高度在190-340的范围内。在一些实施例中，其中，步骤S160中，根据步骤S140及步骤S150中的判断结果得到胎儿超声图像质量控制结果，具体包括下述步骤：若ROI符合第1项指标，则对ROI的评分SROI为1，若否，记为0；若SB符合第2项指标，则对SB的评分SSB为1，若否，记为0；若UV符合第3项标准，则对UV的评分SUV为1，若否，记为0；则胎儿超声图像质量的评估分数SFAP为SFAP＝SROI+SSB+SUV。在一些实施例中，其中，所述窗口的宽度在210-400的范围内以10为间隔变化，窗口高度在190-340的范围内以10为间隔变化。另外，本申请还提供了一种胎儿超声图像质量控制系统，包括：图像获取模块，用于获取胎儿腹部扫查切面的灰度图像；特征提取模块，用于提取所述灰度图像的局部相位特征，获取对应的局部对称相位图和局部非对称相位图；图像融合模块，用于将所述对称相位图和非对称相位图与所述灰度图像组合成RGB图像；L-CNN模型定位模块，用于利用L-CNN模型定位所述RGB图像中的ROI，并判断ROI是否符合第1项指标；C-CNN模型分析模块，利用C-CNN模型对识别到的ROI进行分析，并判断SB是否符合第2项指标，UV是否符合第3项标准；及结果输出模块，用于根据所述L-CNN模型定位模块及C-CNN模型分析模块中的判断结果得到胎儿超声图像质量测量结果；其中，所述第1项指标为ROI的面积占扫查扇区的1/2以上，所述第2项指标为SB充盈显示、边界清晰、内无回声，所述第3项指标为UV为弯钩状显示、连续不中断、允许内回声。在一些实施例中，所述L-CNN模型定位模块包括：子图像扣取单元，用于扣取每一张胎儿腹围切面的子图像；图像调整单元，用于调整所述子图像的尺寸到227*227，并输入L-CNN，获取窗口是ROI的概率；窗口概率获取单元，用于采用上述依此获得整张切面内每个像素点为中心的窗口概率，得到ROI对应的概率图；中心点坐标定位单元，用于将所述概率图经过双边滤波器平滑，再经过非极大值抑制得到概率最高的像素点即为以固定尺寸窗口定位到ROI的最佳中心点坐标Cx,y；及判断单元，用于计算ROI面积占超声扫查扇区面积的比例Rr/FOV得出SROI，判断ROI是否符合第1项指标。在一些实施例中，所述中心点坐标定位单元还用于以最佳中心点坐标Cx,y为中心，及其上下左右10个像素点的区域范围内，以步幅为10滑动窗口，获取最高ROI概率的中心点、宽、高，完成了当前测试图像上ROI的自动定位，其中，所述窗口的宽度在210-400的范围内，窗口高度在190-340的范围内。在一些实施例中，所述结果输出模块用于根据所述L-CNN模型定位模块及C-CNN模型分析模块中的判断结果得到胎儿超声图像质量测量结果，包括：若ROI符合第1项指标，则对ROI的评分SROI为1，若否，记为0；若SB符合第2项指标，则对SB的评分SSB为1，若否，记为0；若UV符合第3项标准，则对UV的评分SUV为1，若否，记为0；则胎儿超声图像质量的评估分数SFAP为SFAP＝SROI+SSB+SUV。本发明采用上述技术方案的优点是：本发明提供的胎儿超声图像质量控制方法及系统，通过输入临床超声医师获取的胎儿腹部扫查切面灰度图像，提取其局部相位特征得到对应的局部对称相位和非对称相位图，与原灰度图像一起组合成RGB图像，利用L-CNN模型以多分辨率扫描的方式定位到ROI，并判断切面中的ROI是否符合第1项指标，然后C-CNN模型对识别到的ROI进行分析，并判断SB是否符合第2项指标，UV是否符合第3项标准，其中，所述第1项指标为ROI的面积占扫查扇区的1/2以上，所述第2项指标为SB充盈显示、边界清晰、内无回声，所述第3项指标为UV为弯钩状显示、连续不中断、允许内回声，从而实现了胎儿超声图像质量控制，本申请提供的胎儿超声图像质量控制方法及系统，通过对胎儿超声扫查切面自动化评分的定量化质量控制，可以实现客观评估切面质量的目的，比专家手动操作更加经济、有效率；其次，可以用在远程医疗上，使用方便；再有，可以用于新手医师的培训和学习，通过评估他们获取的切面，来不断提高他们获取标准切面的能力。附图说明图1中(a)表示的是符合质量标准的胎儿腹围切面；图1中(b)表示的是不符合质量标准的胎儿腹围切面；图2为本发明实施例提供的胎儿超声图像质量控制方法的步骤流程图；图3中(a)胎儿腹部标准切面，(b)和(c)表示亮的对称和非对称相位特征，(d)和(e)表示暗的对称和非对称相位特征；图4为本申请提供利用L-CNN模型定位所述RGB图像中的ROI，并判断ROI是否符合第1项指标的步骤流程图；图5表示为ROI的四种类别；图6表示为本申请提供的胎儿超声图像质量控制系统的结构示意图；图7表示所述L-CNN模型定位模块的结构示意图；图8为本申请提供的FUIQA系统与专家E1,E2,E3质量评估一致的胎儿腹部超声扫查切面展示图。图9表示了FUIQA系统与专家E1，E2，E3评估结果不一致的胎儿腹部超声扫查切面示意图。具体实施方式为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及具体实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。在申请文件中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。请参阅图2，本发明实施例提供的一种胎儿超声图像质量控制方法，包括下述步骤：步骤S110：获取胎儿腹部扫查切面的灰度图像；在本实施例中，本申请提供的输入图像为临床超声医师获取的胎儿腹部扫查切面灰度图像，可以理解，在实际应用中，还可以扩展到胎儿其他超声扫查切面。步骤S120：提取所述灰度图像的局部相位特征，获取对应的局部对称相位图和局部非对称相位图；请参阅图3，展示了一张胎儿腹部标准切面提取的亮和暗的相位对称和非对称特征图，其中，图3中(a)胎儿腹部标准切面，(b)和(c)表示亮的对称和非对称相位特征，(d)和(e)表示暗的对称和非对称相位特征。步骤S130：将所述对称相位图和非对称相位图与所述灰度图像组合成RGB图像；可以理解，自然图像是RGB三个通道的彩色图像，而超声图像是单通道的灰度图像，为了应用DCNN模型来分析超声图像，通常会复制单通道数据增加为3个通道，而局部相位特征被有效的应用于许多超声图像处理问题，为了增加灰度图像信息，我们将局部对称和非对称相位特征作为原图像的可选通道输入，并与所述灰度图像组合成RGB图像。步骤S140：利用L-CNN模型定位所述RGB图像中的ROI(腹部区域)，并判断ROI是否符合第1项指标；其中，所述第1项指标为ROI的面积占扫查扇区的1/2以上；请参阅表1，为本申请中执行的胎儿腹围切面质量控制协议。指标解剖结构标准第1项指标腹部区域(ROI)面积占扫查扇区的1/2以上第2项指标胃泡(SB)充盈显示、边界清晰、内无回声第3项指标脐静脉(UV)弯钩状显示、连续不中断、允许内回声深度卷积网络(DCNN)模型是一种热门的深度学习技术，已经成功应用到医学图像分析的各种问题。典型的DCNN结构由几组卷积层、最大值池化层和最后紧跟的全连接层组成。卷积层将上一层的局部感受野作为输入，提取特征，并保留全局的空间结构信息，本申请提出的L-CNN是基于DCNN基础上。请参阅表1，为L-CNN模型结构。在本实施例中，为了更好地迁移学习自然图像数据训练好的参数，我们将L-CNN网络的卷积层和池化层的结构设置成和AlexNet模型一样，而在超声训练数据上微调后面的3个全连接层，这3个全连接层分别包含1024,256,2个神经单元，也就是说，在L-CNN训练的过程中，卷积层的参数是由已经训练好的AlexNet模型参数初始化的，而全连接层的参数则随机初始化为高斯分布。同时，为了提高泛化能力，dropout策略和ReLu被用于训练过程。学习率初始为0.001，并在网络停止收敛时逐渐下降10倍。表1L-CNN模型的结构请参阅图4，本申请提供的，步骤S140中，利用L-CNN模型定位所述RGB图像中的ROI，并判断ROI是否符合第1项指标，具体包括下述步骤：步骤S141：扣取每一张胎儿腹围切面的子图像；优选地，对于每一张胎儿腹围切面，在超声扫查的区域内，用固定尺寸320*280的窗口以步幅10滑动扣取子图像。可以理解，针对不同的胎儿腹围切面还可以采用其他的窗口及步幅扣取子图像。步骤S142：调整所述子图像的尺寸到227*227，并输入L-CNN，获取窗口是ROI的概率；步骤S143：采用上述依此获得整张切面内每个像素点为中心的窗口概率，得到ROI对应的概率图；步骤S144：将所述概率图经过双边滤波器平滑，再经过非极大值抑制得到概率最高的像素点即为以固定尺寸窗口定位到ROI的最佳中心点坐标Cx,y；进一步地，所述步骤S144还包括下述步骤：以最佳中心点坐标Cx,y为中心，及其上下左右10个像素点的区域范围内，以步幅为10滑动窗口，获取最高ROI概率的中心点、宽、高，完成了当前测试图像上ROI的自动定位，其中，所述窗口的宽度在210-400的范围内，窗口高度在190-340的范围内。步骤S145：计算ROI面积占超声扫查扇区面积的比例Rr/FOV得出SROI，判断ROI是否符合第1项指标。可以理解，通过上述步骤S141～步骤S145可以完成利用L-CNN模型定位所述RGB图像中的ROI，并判断ROI是否符合第1项指标。步骤S150：利用C-CNN模型对识别到的ROI进行分析，并判断SB是否符合第2项指标，UV是否符合第3项标准，所述第2项指标为SB充盈显示、边界清晰、内无回声，所述第3项指标为UV为弯钩状显示、连续不中断、允许内回声。可以理解，C-CNN模型的目的是实现ROI内部SB和UV两个重要解剖结构是否符合质量标准的评估。临床上，是将解剖结构分为标准、欠佳、不存在三种评判形式，欠佳代表该解剖结构存在但却不标准。事实上，只有标准状态的切面才被认可用于生物计量的测量，欠佳状态的切面与标准切面在生物计量的测量上存在显著性误差。可以理解，在本申请中，只有解剖结构标准时，对应表1中解剖结构的评分才为1；欠佳与不存在的情况下，该解剖结构的评分为0。同时，我们按照SB和UV是否满足标准的情况将所有ROI分成了4种类别，将C-CNN的质量评估问题转变成4分类问题，如图5所示，表示为ROI的四种类别。可以理解，将表1中第2和第3项综合起来转变成4分类的方式评估，是为了利用C-CNN学习腹部区域整体的特征，而不只是学习单个解剖结构。同时因为表1中三项指标是相互关联的，我们将L-CNN模型参数迁移学习到C-CNN模型来协助4个类别的分类。C-CNN的训练细节及结构与L-CNN相似，除了最后3个全连接层的神经单元数目分别为2048,256,4。C-CNN模型训练完成之后，将测试图像上L-CNN自动定位到的ROI扣取后输入到C-CNN，得到图5所示4种类别的概率，概率最大的即为该ROI所属的类别，完成表1中第2项和第3项指标的自动评估。步骤S160：根据步骤S140及步骤S150中的判断结果得到胎儿超声图像质量测量结果；可以理解，根据表1，第1项是评估腹部区域的面积比例，因此由L-CNN精准定位到ROI之后，计算ROI面积占超声扫查扇区面积的比例Rr/FOV得出SROI，见公式(1)。之后将ROI输入C-CNN，得到ROI的类别，根据图5对应分别得到UV和SB的评分，即SSB和SUV。进而得到一张超声扫查切面的质量评估分数SFAP，见公式(2)。SFAP＝SROI+SSB+SUV(2)可以理解，虽然我们目前只用于评估胎儿腹部扫查切面的质量，但框架具有通用性，也可以拓展到胎儿超声扫查其他切面的质量评估。请参阅图6，本申请提供的胎儿超声图像质量控制系统，包括：图像获取模块110，用于获取胎儿腹部扫查切面的灰度图像；特征提取模块120，用于提取所述灰度图像的局部相位特征，获取对应的局部对称相位图和局部非对称相位图；图像融合模块130，用于将所述对称相位图和非对称相位图与所述灰度图像组合成RGB图像；L-CNN模型定位模块140，用于利用L-CNN模型定位所述RGB图像中的ROI，并判断ROI是否符合第1项指标；C-CNN模型分析模块150，利用C-CNN模型对识别到的ROI进行分析，并判断SB是否符合第2项指标，UV是否符合第3项标准；及结果输出模块160，用于根据所述L-CNN模型定位模块及C-CNN模型分析模块中的判断结果得到胎儿超声图像质量测量结果；其中，所述第1项指标为ROI的面积占扫查扇区的1/2以上，所述第2项指标为SB充盈显示、边界清晰、内无回声，所述第3项指标为UV为弯钩状显示、连续不中断、允许内回声。其中，请参阅图7，所述L-CNN模型定位模块140包括：子图像扣取单元141，用于扣取每一张胎儿腹围切面的子图像；图像调整单元142用于调整所述子图像的尺寸到227*227，并输入L-CNN，获取窗口是ROI的概率；窗口概率获取单元143用于采用上述依此获得整张切面内每个像素点为中心的窗口概率，得到ROI对应的概率图；中心点坐标定位单元144用于将所述概率图经过双边滤波器平滑，再经过非极大值抑制得到概率最高的像素点即为以固定尺寸窗口定位到ROI的最佳中心点坐标Cx,y；及判断单元145用于计算ROI面积占超声扫查扇区面积的比例Rr/FOV得出SROI，判断ROI是否符合第1项指标。优选地，所述中心点坐标定位单元144还用于以最佳中心点坐标Cx,y为中心，及其上下左右10个像素点的区域范围内，以步幅为10滑动窗口，获取最高ROI概率的中心点、宽、高，完成了当前测试图像上ROI的自动定位，其中，所述窗口的宽度在210-400的范围内，窗口高度在190-340的范围内。优选地，所述结果输出模块160用于根据所述L-CNN模型定位模块及C-CNN模型分析模块中的判断结果得到胎儿超声图像质量测量结果，包括若ROI符合第1项指标，则对ROI的评分SROI为1，若否，记为0；若SB符合第2项指标，则对SB的评分SSB为1，若否，记为0；若UV符合第3项标准，则对UV的评分SUV为1，若否，记为0；则胎儿超声图像质量的评估分数SFAP为SFAP＝SROI+SSB+SUV。本发明提供的胎儿超声图像质量控制方法及系统，通过输入临床超声医师获取的胎儿腹部扫查切面灰度图像，提取其局部相位特征得到对应的局部对称相位和非对称相位图，与原灰度图像一起组合成RGB图像，利用L-CNN模型以多分辨率扫描的方式定位到ROI，并判断切面中的ROI是否符合第1项指标，然后C-CNN模型对识别到的ROI进行分析，并判断SB是否符合第2项指标，UV是否符合第3项标准，其中，所述第1项指标为ROI的面积占扫查扇区的1/2以上，所述第2项指标为SB充盈显示、边界清晰、内无回声，所述第3项指标为UV为弯钩状显示、连续不中断、允许内回声，从而实现了胎儿超声图像质量控制，本申请提供的胎儿超声图像质量控制方法及系统，通过对胎儿超声扫查切面自动化评分的定量化质量控制，可以实现客观评估切面质量的目的，比专家手动操作更加经济、有效率；其次，可以用在远程医疗上，使用方便；再有，可以用于新手医师的培训和学习，通过评估他们获取的切面，来不断提高他们获取标准切面的能力。以下结合具体实施例对本发明提供的技术方案进行详细阐述。我们研究使用的所有胎儿腹部超声扫查切面都来自于深圳妇幼保健院，采集时间从2012年9月到2013年11月。依照标准的产前检查协议，超声切面由传统便捷式2维超声探头对16-40周孕龄的孕妇扫查获取。所有超声图像采集的仪器均是西门子AcusonSequoia512超声扫描仪，但是包含不同的参数设置。在我们的研究中，2012年采集的492套超声扫查视频用作训练数据集，2013年采集的219套超声扫查视频用作测试数据集。我们从492套训练数据集中提取了8072张扫查切面用于L-CNN模型的训练，每一张切面均扣取其腹部区域产生一张ROI正样本，将切面中与正样本的重叠率在40％以下的作为负样本，负样本是在背景区随即扣取。L-CNN模型训练的正样本作为了C-CNN模型的训练样本，对应类别1,2,3,4分别有1256,3827,151,2838个样本，为了4类样本数据的平衡，我们将类别1,3,4的样本在(-25,25)的角度范围内旋转来增加其样本量。因此，最终C-CNN模型训练的4个类别样本量分别为3717,3827,3907,3964，而且这总共15415个样本全部作为L-CNN模型训练的正样本。所有的训练数据标注均由一位有2年丰富经验的超声科研究生完成，同时由我们的临床指导委员会审查和修订以确保数据的准确性。在训练L-CNN和C-CNN模型的过程中，我们还将训练样本按照9:1的比例分成了训练集和验证集，详细的细节见表3。表3.L-CNN和C-CNN训练样本数目展示用于胎儿超声图像质量控制(FUIQA)系统测试的超声扫查切面有2606张，来自66个孕妇采集的219套超声扫查视频。根据表1中的准则，每一张超声切面都由3位工作经验3年以上的超声科主治医师标记出ROI区域的位置，并对UV和SB是否符合标准做出判断。本申请中分别用E1，E2，E3代表3为医生，3位医生都是独立完成标记。我们将FUIQA系统在ROI、SB和UV单独每项的评估结果分别与3位专家的标记作对比，分别取准确率(Acc)、敏感性(Sen)和特异性(Spec)定量展示L-CNN和C-CNN的性能,如表4所示。表4.针对单个解剖结构ROI,SB,UV,FUIQA系统与3位专家E1,E2,E3评分的定量对比从上述实验部分看出，本申请提供的提出的FUIQA系统的性能，图8也显示了基于DCNN的FUIQA系统对不同参数设置图像的鲁棒性，同时，由图8中的(b),(d)和(h)可以看出FUIQA系统在超声图像受声影严重影响的情况下也能正确控制图像质量。多样化的训练数据学习，基于DCNN的FUIQA系统已经可以考虑不同图像参数设置、胎儿体位的变化、声影及噪声的影响等多种情况，相对传统的图像处理及模式识别方法占据很大的优势。图9展示了FUIQA系统与专家E1，E2，E3评估结果不一致的胎儿腹部超声扫查切面。其中，图9中(a)图中我们FUIQA系统自动定位与专家标记的ROI位置非常接近，但却得到不一致的分数。E1，E2，E3及FUIQA系统的Rr/FOV分别为0.497，0.513，0.476和0.523，即使四者非常接近，但ROI项的得分按照公式(4)计算。(b)图中UV的中间段被声影，3位专家仍可识别出UV的弯钩形状，而我们FUIQA系统因无法识别UV中间段而判断UV不标准，得出和3位专家不一致的评分。当然本发明的胎儿超声图像质量控制方法及方法还可具有多种变换及改型，并不局限于上述实施方式的具体结构。总之，本发明的保护范围应包括那些对于本领域普通技术人员来说显而易见的变换或替代以及改型。当前第1页1 2 3