一种B超图像处理方法及装置与流程

本发明涉及图像处理技术领域，更具体的涉及一种b超图像处理方法及装置。

背景技术：

b超(英文为：b-scanultrasonography)是一种医学超声诊断技术，不同理化特性的组织器官对超声波的反射能力强弱不同，b超利用脉冲回波方法提取、分析这些强弱信息，进而转换成生物组织的内在特性。由于b超具备无损伤、非入侵和重复性好等特点，得到了广泛应用，但b超本身的成像原理与成像设备决定了其所成图像具有大量噪声，这些噪声掩盖了图像的细节，影响了医生对图像的观察和分析。

对医学图像的处理，主要目的是提取图像中的生物组织，举例来说，要判断胎儿的生长情况就要对胎儿的头部、腹部及大腿骨进行测量，因此，分析胎儿的b超图像，最终就是要提取出这些感兴趣的部位，而这一工作主要是由图像分割技术来完成。比如，边缘检测方法、阈值分割方法、分水岭算法，和k均值算法等。由于医学图像不同于普通图像，是反映人体生物组织的复杂图像，信息量大但细节不清晰，此外还缺少用于刻画生物组织的数学模型，对这种图像进行分割处理，仅依靠常规方法难以得到满意的结果。比如，边缘检测是通过计算各种微分算子与图像的卷积来实现的，对噪声表现十分敏感，当图像的噪声较少时才能取得较好的效果；阈值分割要求图像的灰度级拥有较高的对比度，对于胎儿的b超图像来说，由于图像中胎儿各个生长部位与背景的灰度对比度很小，其分割效果不稳定，容易出现欠分割或过分割的情况；分水岭算法对化弱边缘有着较好的效果，但图像中的噪声会使分水岭产生过分割的现象；k均值算法对初始位置敏感，严格地将待分辨的像素点硬性地划分到某一类中，从而不可避免地造成误差，影响图像分割结果的精确度。

技术实现要素：

本发明实施例提供一种b超图像处理方法及装置，用以解决现有技术中b超图像处理存在感应噪声敏感度低，容易陷入局部极值点，导致区域分割模糊的问题。

本发明实施例提供了一种b超图像处理方法，包括：

将获取到的b超图像按照设定比例分为训练集和验证集，将所述训练集和所述验证集分别按照图像规格进行缩放，得到多个第一训练缩放图像和多个第一验证缩放图像；

根据深度卷积分别对所述第一训练缩放图像和所述第一验证缩放图像进行语义分割，分别得到所述第一训练缩放图像内每个像素属于各组织部位的训练预测概率和所述第一验证缩放图像内每个像素属于各组织部位的验证预测概率；

根据多个所述训练预测概率，多个验证预测概率与真实标签值的关系，确定训练损失值和验证损失值；根据所述训练损失值和所述验证损失值，通过调整模型超参数对设定模型进行调整，当确定所述训练损失值和所述验证损失值均收敛于设置值时，将调整后的所述设定模型确定为b超图像识别模型。

优选地，根据深度卷积对所述第一训练缩放图像进行语义分割，具体包括：

对所述第一训练缩放图像依此进行第一次卷积，第一次池化，第二次卷积，第二次池化，第三次卷积，第三次池化，第四次卷积，第四次池化，第五次卷积；所述第一次卷积的卷积核和滑动步长均为3，所述第二次卷积，所述第三次卷积和所述第四次卷积的卷积核和滑动步长均为2；

对完成所述第五次卷积的图像进行上采样，将完成上采样的图像和完成所述第三次池化的图像进行融合，得到与所述第一训练缩放图像具有相同像素的待输出图像，所述待输出图像通过softmax分类层，得到所述训练预测概率。

优选地，所述模型超参数包括：学习速率，动量，批处理大小，特征图通道数和采样比率。

优选地，所述将获取到的b超图像按照设定比例还分为测试集；

所述当确定所述训练损失值和所述验证损失值均收敛于设置值时之后，还包括：

将调整后的所述设定模型在所述测试集上进行测试，测试调整后的所述设定模型的泛化性能。

优选地，所述得到多个第一训练缩放图像和多个第一验证缩放图像之后，还包括：

分别将所述第一训练缩放图像和所述第一验证缩放图像减去所述第一训练缩放图像的均值，其中，所述第一训练缩放图像的均值为所述训练集包括的多个训练图像的红绿黄三通道的像素均值。

优选地，所述将所述训练集按照图像规格进行缩放，具体包括：

将所述训练集包括的多个训练图像缩放为具有900*600像素的图像，再从所述900*600像素的图像内获取像素为600*600的中央区域。

本发明实施例还提供了一种b超图像处理装置，包括：

缩放单元，用于将获取到的b超图像按照设定比例分为训练集和验证集，将所述训练集和所述验证集分别按照图像规格进行缩放，得到多个第一训练缩放图像和多个第一验证缩放图像；

分割单元，用于根据深度卷积分别对所述第一训练缩放图像和所述第一验证缩放图像进行语义分割，分别得到所述第一训练缩放图像内每个像素属于各组织部位的训练预测概率和所述第一验证缩放图像内每个像素属于各组织部位的验证预测概率；

确定单元，用于根据多个所述训练预测概率，多个验证预测概率与真实标签值的关系，确定训练损失值和验证损失值；根据所述训练损失值和所述验证损失值，通过调整模型超参数对设定模型进行调整，当确定所述训练损失值和所述验证损失值均收敛于设置值时，将调整后的所述设定模型确定为b超图像识别模型。

优选地，所述分割单元具体用于：

对所述第一训练缩放图像依此进行第一次卷积，第一次池化，第二次卷积，第二次池化，第三次卷积，第三次池化，第四次卷积，第四次池化，第五次卷积；所述第一次卷积的卷积核和滑动步长均为3，所述第二次卷积，所述第三次卷积和所述第四次卷积的卷积核和滑动步长均为2；

对完成所述第五次卷积的图像进行上采样，将完成上采样的图像和完成所述第三次池化的图像进行融合，得到与所述第一训练缩放图像具有相同像素的待输出图像，所述待输出图像通过softmax分类层，得到所述训练预测概率。

优选地，所述将获取到的b超图像按照设定比例还分为测试集；

所述确定单元还用于：

将调整后的所述设定模型在所述测试集上进行测试，测试调整后的所述设定模型的泛化性能。

优选地，所述缩放单元还用于：

分别将所述第一训练缩放图像和所述第一验证缩放图像减去所述第一训练缩放图像的均值，其中，所述第一训练缩放图像的均值为所述训练集包括的多个训练图像的红绿黄三通道的像素均值。

本发明实施例提供了一种b超图像处理方法，包括：将获取到的b超图像按照设定比例分为训练集和验证集，将所述训练集和所述验证集分别按照图像规格进行缩放，得到多个第一训练缩放图像和多个第一验证缩放图像；根据深度卷积分别对所述第一训练缩放图像和所述第一验证缩放图像进行语义分割，分别得到所述第一训练缩放图像内每个像素属于各组织部位的训练预测概率和所述第一验证缩放图像内每个像素属于各组织部位的验证预测概率；根据多个所述训练预测概率，多个验证预测概率与真实标签值的关系，确定训练损失值和验证损失值；根据所述训练损失值和所述验证损失值，通过调整模型超参数对设定模型进行调整，当确定所述训练损失值和所述验证损失值均收敛于设置值时，将调整后的所述设定模型确定为b超图像识别模型。该方法将b超图像分为训练集合验证集，采用深度卷积方法分别对训练集和验证集进行语义分割；由于深度卷积神经网络，对于输入源的b超图像的普适性更高，鲁棒性更强，从而可以确定该方法不要求b超图像某些特定姿势，可以容忍b超图像带有适度的噪音；从而解决现有技术中b超图像处理存在感应噪声敏感度低，容易陷入局部极值点，导致区域分割模糊的问题。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种b超图像处理方法流程示意图；

图2为本发明实施例提供的利用深度卷积进行语义分割的图像示意图；

图3为本发明实施例提供的一种b超图像处理装置结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示例性的示出了本发明实施例提供的一种b超图像处理方法流程示意图，如图1所示，该方法主要包括以下步骤：

步骤101，将获取到的b超图像按照设定比例分为训练集和验证集，将所述训练集和所述验证集分别按照图像规格进行缩放，得到多个第一训练缩放图像和多个第一验证缩放图像；

步骤102，根据深度卷积分别对所述第一训练缩放图像和所述第一验证缩放图像进行语义分割，分别得到所述第一训练缩放图像内每个像素属于各组织部位的训练预测概率和所述第一验证缩放图像内每个像素属于各组织部位的验证预测概率；

步骤103，根据多个所述训练预测概率，多个验证预测概率与真实标签值的关系，确定训练损失值和验证损失值；根据所述训练损失值和所述验证损失值，通过调整模型超参数对设定模型进行调整，当确定所述训练损失值和所述验证损失值均收敛于设置值时，将调整后的所述设定模型确定为b超图像识别模型。

在步骤101中，将获取到的b超图像按照设定比例分为训练集，验证集和测试集，其中，训练集的作用是作为给定模型的初始超参数后，用来拟合模型，训练分类模型；验证集作用是通过对比给定模型在训练集和验证集上的预测误差，来调整模型超参数，找出效果最佳的模型；测试集是当通过训练集和验证集得出确定的识别模型后，用来衡量该识别模型对于新数据的泛化性能和分类能力。

进一步地，由于获取到的b超图像具有固定的规格，而在本发明实施例中，为了提高训练速度，优选地，将分类后的训练集和验证集中的图像按照图像规格进行缩放。具体地，将

将分类后的训练集合验证集根据图像规格进行缩放，具体地，将训练集包括的多个训练图像缩放为具有900*600像素的图像，在从900*600像素的图像内获取像素为600*600的中央区域，将再次获取到的图像确定为第一训练缩放图像；进一步地，将验证集包括的多个验证图像缩放为具有900*600像素的图像，在从900*600像素的图像内获取像素为600*600的中央区域，将再次获取到的图像确定为第一验证缩放图像。

需要说明的是，在上述进行图像缩放时，需要依此将训练集和验证集包括的多个图像均进行缩放，即训练集内包括的多个图像会依此确定为第一训练缩放图像，验证集内包括的多个图像也会依此确定为第一验证缩放图像。

进一步地，需要对获取到的第一训练缩放图像和第一验证缩放图像进行均值化处理。在本发明实施例中，均值采用训练集内包括的多个训练图像的红绿黄三通道的像素均值，具体地，第一训练缩放图像减去训练集包括的多个训练图像的红绿黄三通道的像素均值，即完成了对第一训练缩放图像的均值处理；相应的，第一验证缩放图像减去训练集包括的多个训练图像的红绿黄三通道的像素均值，即完成了对第一验证缩放图像的均值处理。

在步骤102中，对完成均值处理的第一训练缩放图像和第一验证缩放图像，采用深度卷积方法进行语义分割。

由于训练集内包括有多个第一训练缩放图像，验证集内也包括有多个第一验证缩放图像，而采用深度卷积进行语义分割时，采用了相同的方法，因此，在发明实施例中，只介绍一个完整的深度卷积进行语义分割，其他图像可以参照介绍的这个方法进行语义分割。

在介绍深度卷积进行语义分割之前，先介绍几个相关术语：

卷积核：是用来提取图像的一种特征，让卷积核在图像上进行从左到右，从上到下移动，每移动一次，让卷积核与相应的图像局部区域做点积，就得到了另一个矩阵中对应的一个元素。比如，一个3×3的卷积核在5×5的图像上做卷积时，3×3阶的矩阵就是卷积核。

滑动步长：步长决定了卷积核在图像上做卷积时，移动过程中一次跳过几格。比如，一个3×3的卷积核在5×5的图像上做卷积时，3×3阶的矩阵就是卷积核，若步长为1时，则3×3的卷积核在5×5的图像上一次跳过一个格，若步长为2时，则3×3的卷积核在5×5的图像上一次跳过两个格。

池化：通过将卷积层提取到的特征输入至分类器中进行训练，可以实现输出最终的分类结果。理论上可以直接将卷积层提取到的所有特征输入至分类器中，然而这将需要非常大的计算开销。例如：对于一个输入为96×96大小的图像样本，假设在卷积层使用200个8×8大小的卷积核对该输入图像进行卷积运算操作，每个卷积核都输出一个(96-8+1)×(96-8+1)＝7921维的特征向量，最终卷积层将输出一个7921×200＝1584200维的特征向量。将如此高维度的特征输入至分类器中进行训练需要耗费非常庞大的计算资源，同时也会产生严重的过拟合问题。由于图像具有“静态性”，在图像的一个局部区域得到的特征极有可能在另一个局部区域同样适用。因此，可以对图像的一个局部区域中不同位置的特征进行聚合统计，这种操作称为“池化”(也称作子采样)。池化分为两种，一种是最大池化，在选中区域中找最大的值作为池化后的值，另一种是平均值池化，把选中的区域中的平均值作为池化后的值。

图2为本发明实施例提供的利用深度卷积进行语义分割的图像示意图，如图2所示，本发明实施例中，对第一训练缩放图像总共使用了6个卷积层，其中，前四个卷积层后都伴随一个池化层。

具体地，将第一训练缩放图像作为输入层，然后对输入层输入的第一训练缩放图像进行第一次卷积，完成第一次卷积后，进行第一次池化；需要说明的是，在本发明实施例中，第一次卷积的卷积核和滑动步长均为3，输入层输入的第一训练缩放图像具有600*600的像素，由于池化层降低了特征的维度，第一次池化将第一训练缩放图像的长宽缩放为原图的1/3，即第一次池化之后，第一训练缩放图像具有200*200的像素。

第二次卷积和第二次池化之后，第二池化将将第一训练缩放图像的长宽缩放为原图的1/6，即第一训练缩放图像具有100*100的像素；第三次卷积和第三次池化之后，第三池化将将第一训练缩放图像的长宽缩放为原图的1/12，即第一训练缩放图像具有50*50的像素；第四次卷积和第四次池化之后，第四池化将将第一训练缩放图像的长宽缩放为原图的1/24，即第一训练缩放图像具有25*25的像素。第五次卷积时，第一训练缩放图像具有25*25的像素。

需要说明的是，在本发明实施例中，第二次卷积，第三次卷积和第四次卷积的卷积核和滑动步长均为2。

进一步地，对完成第五次卷积的图像进行上采样，将完成上采样的图像和完成第三次池化的图像进行融合，之后用另一个上采样层将融合特征放大12倍至原图大小，即得到一个与第一训练缩放图像具有相同像素的待输出图像，待输出图像通过softmax分类层，得到训练预测概率。

需要说明的是，使用softmax分类层进行概率预测，即每个通道上某一像素点的值代表该点属于当前通道所对应类别的概率，从所有通道中取出各像素点的最大概率值对应的类别标签值，重新组成一张二维图，即热力图，至此可以确定得到的训练预测概率即为b超图像内包括的多个物体的分割图像。

在步骤103之前，需要将训练集内包括的多个第一训练缩放图像均通过深度卷积进行语义分割，相应地，也需要将验证集内包括的多个第一验证缩放图像通过深度卷积进行语义分割。

在步骤103中，将得到的多个训练预测概率与真实标签值进行计算，确定训练损失值；相应地，将得到的多个验证预测概率与真实标签值进行计算，确定验证损失值。进一步地，根据训练损失值和验证损失值，通过调整模型超参数对设定模型进行调整，其中，模型超参数主要包括：学习速率，动量，批处理大小，特征图通道数和采样比率等。比如，调整模型超参数可以是：将学习速率从初始0.01调整为以0.1速率递减，动量为0.95，批处理大小为256，特征图通道数，采样比率等模型超参数。

进一步地，将调整后的设定模型在测试集上进行测试，测试调整后的设定模型的泛化性能，确定该设定模型适用于b超图像部位自动识别。

重复确定训练损失值和验证损失值，直到训练损失值和验证损失值都收敛于设置值后，将调整后的设定模型确定为b超图像识别模型。需要说明的是，在本发明实施例中，设置值可以是一个非常小的值，在本发明实施例中，设置值为多次实验中验证集收敛值的平均值，收敛值即继续训练迭代的过程中该损失值基本保持不变。

基于同一发明构思，本发明实施例提供了一种b超图像处理装置，由于该装置解决技术问题的原理与一种b超图像处理方法相似，因此该装置的实施可以参见方法的实施，重复之处不再赘述。

图3为本发明实施例提供的一种b超图像处理装置，如图3所示，该装置主要包括：缩放单元301，分割单元302和确定单元303。

缩放单元301，用于将获取到的b超图像按照设定比例分为训练集和验证集，将所述训练集和所述验证集分别按照图像规格进行缩放，得到多个第一训练缩放图像和多个第一验证缩放图像；

分割单元302，用于根据深度卷积分别对所述第一训练缩放图像和所述第一验证缩放图像进行语义分割，分别得到所述第一训练缩放图像内每个像素属于各组织部位的训练预测概率和所述第一验证缩放图像内每个像素属于各组织部位的验证预测概率；

确定单元303，用于根据多个所述训练预测概率，多个验证预测概率与真实标签值的关系，确定训练损失值和验证损失值；根据所述训练损失值和所述验证损失值，通过调整模型超参数对设定模型进行调整，当确定所述训练损失值和所述验证损失值均收敛于设置值时，将调整后的所述设定模型确定为b超图像识别模型。

优选地，所述分割单元302具体用于：

对所述第一训练缩放图像依此进行第一次卷积，第一次池化，第二次卷积，第二次池化，第三次卷积，第三次池化，第四次卷积，第四次池化，第五次卷积；所述第一次卷积的卷积核和滑动步长均为3，所述第二次卷积，所述第三次卷积和所述第四次卷积的卷积核和滑动步长均为2；

对完成所述第五次卷积的图像进行上采样，将完成上采样的图像和完成所述第三次池化的图像进行融合，得到与所述第一训练缩放图像具有相同像素的待输出图像，所述待输出图像通过softmax分类层，得到所述训练预测概率。

优选地，所述将获取到的b超图像按照设定比例还分为测试集；

所述确定单元303还用于：

将调整后的所述设定模型在所述测试集上进行测试，测试调整后的所述设定模型的泛化性能。

优选地，所述缩放单元301还用于：

分别将所述第一训练缩放图像和所述第一验证缩放图像减去所述第一训练缩放图像的均值，其中，所述第一训练缩放图像的均值为所述训练集包括的多个训练图像的红绿黄三通道的像素均值。

应当理解，以上一种b超图像处理装置包括的单元仅为根据该设备装置实现的功能进行的逻辑划分，实际应用中，可以进行上述单元的叠加或拆分。并且该实施例提供的一种b超图像处理装置所实现的功能与上述实施例提供的一种b超图像处理方法一一对应，对于该装置所实现的更为详细的处理流程，在上述方法实施例一中已做详细描述，此处不再详细描述。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。