图像处理方法、装置、计算机设备和存储介质与流程
本申请涉及图像处理技术领域，特别是涉及一种图像处理方法、装置、计算机设备和存储介质。
背景技术：
随着科技的发展，图像得到越来越广泛的应用。在很多场景下都需要对图像进行处理，例如可以对图像进行分割，分割得到前景对应的图像以及背景对应的图像。
目前，可以依据基于人工智能的图像处理模型对图像进行处理，然而，经常存在图像处理模型处理得到的结果不符合期望的图像处理结果的问题，即得到的图像处理结果的准确度低。
技术实现要素：
基于此，有必要针对上述技术问题，提供一种图像处理方法、装置、计算机设备和存储介质。
一种图像处理方法，所述方法包括：获取待处理的目标图像对应的目标特征矩阵；确定对所述目标特征矩阵进行分割得到的多个特征区域；基于所述特征区域中的特征值，确定各个所述特征区域对应的目标权重；根据各个所述特征区域以及对应的目标权重得到所述目标特征矩阵对应的加权特征矩阵；对所述加权特征矩阵进行处理，得到所述目标图像对应的目标处理结果。
一种图像处理装置，所述装置包括：目标特征矩阵获取模块，用于获取待处理的目标图像对应的目标特征矩阵；特征区域确定模块，用于确定对所述目标特征矩阵进行分割得到的多个特征区域；目标权重得到模块，用于基于所述特征区域中的特征值，确定各个所述特征区域对应的目标权重；加权特征矩阵得到模块，用于根据各个所述特征区域以及对应的目标权重得到所述目标特征矩阵对应的加权特征矩阵；目标处理结果得到模块，用于对所述加权特征矩阵进行处理，得到所述目标图像对应的目标处理结果。
在一些实施例中，所述特征区域确定模块包括：划分数量获取单元，用于获取区域划分数量；特征图划分单元，用于根据所述目标特征矩阵中特征值的分布对所述目标特征矩阵进行分割，得到所述区域划分数量的特征区域。
在一些实施例中，所述特征图划分单元用于：对所述目标特征矩阵对应的目标特征值范围进行分割，得到个数为所述区域划分数量的子特征值范围；将所述目标特征矩阵中，特征值在同一个所述子特征值范围内的特征点，划分在同一个特征区域中，得到所述目标特征矩阵对应的多个特征区域。
在一些实施例中，所述特征图划分单元用于：获取所述目标特征矩阵对应的最大特征值以及最小特征值；根据所述区域划分数量，在所述最大特征值与最小特征值对应的目标特征值范围内，确定特征值等分点；将所述特征值等分点之间的范围，作为子特征值范围。
在一些实施例中，所述目标处理结果是利用图像处理模型处理得到的，所述划分数量获取单元用于：获取所述图像处理模型对应的候选结果类别数量，根据所述候选结果类别数量得到所述区域划分数量。
在一些实施例中，所述目标权重得到模块包括：池化单元，用于以区域为单位对所述目标特征矩阵进行池化处理，得到各个所述特征区域分别对应的池化值；目标权重确定单元，用于根据第一池化向量得到各个所述特征区域对应的目标权重；所述第一池化向量是所述特征区域对应的池化值组成的。
在一些实施例中，所述目标特征矩阵为多个，得到所述第一池化向量的模块包括：将多个所述目标特征矩阵中，各个所述特征区域对应的池化值作为向量值，组合得到第一池化向量。
在一些实施例中，所述目标权重确定单元用于：将将第一池化向量输入到第一全连接层中，得到第一权重向量；确定所述目标特征矩阵中各个所述特征区域对应的区域类别，根据所述特征区域的区域类别对所述第一权重向量进行拆分，得到各个所述区域类别对应的第二权重向量；将所述第二权重向量输入所述区域类别所对应的第二全连接层中，得到各个所述特征区域对应的目标权重。
在一些实施例中，所述目标处理结果得到模块用于：对所述加权特征矩阵进行处理，得到所述目标图像中，各个像素点对应的分割类别概率；根据所述像素点对应的分割类别概率，确定所述像素点对应的目标类别；根据所述像素点对应的目标类别对所述目标图像进行分割，得到图像分割结果。
在一些实施例中，所述目标特征矩阵获取模块用于：将所述目标图像输入到图像处理模型中，经过所述图像处理模型中的多个特征提取层进行特征提取，得到第一特征矩阵；将所述第一特征矩阵与所述第一特征矩阵的前向特征矩阵进行融合，得到所述目标图像对应的目标特征矩阵。
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述图像处理方法的步骤：
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述图像处理方法的步骤：
上述图像处理方法、装置、计算机设备和存储介质，对于目标图像的目标特征矩阵，可以确定对目标特征矩阵进行分割得到的多个特征区域，基于特征区域中的特征值，确定各个特征区域对应的目标权重，基于该目标权重对各个特征区域进行加权处理，得到加权特征矩阵，基于加权特征矩阵得到图像处理结果。由于可以根据特征区域中的特征值确定目标特征矩阵中各个特征区域对应的目标权重，因此可以基于反映目标特征矩阵中特征区域的特征值差异的权重，对特征区域进行差异化处理，使得加权特征矩阵能够体现不同特征区域中更精确的特征，故可以提高图像处理结果的准确度。
附图说明
图1为一些实施例中图像处理方法的应用环境图；
图2为一些实施例中图像处理方法的流程示意图；
图3为一些实施例中目标图像的分割示意图；
图4为另一些实施例中图像处理模型的结构示意图；
图5为一些实施例中对目标特征矩阵进行区域划分的原理示意图；
图6为一些实施例中得到各个特征区域对应的目标权重的流程示意图；
图7为一些实施例中权重确定模块的处理的原理示意图；
图8为一些实施例中图像处理模型的网络结构图；
图9为一些实施例中图像处理装置的结构示意图；
图10为一些实施例中计算机设备的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
人工智能(artificialintelligence,ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个综合技术，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。
人工智能技术是一门综合学科，涉及领域广泛，既有硬件层面的技术也有软件层面的技术。人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
计算机视觉技术(computervision,cv)计算机视觉是一门研究如何使机器“看”的科学，更进一步的说，就是指用摄影机和电脑代替人眼对目标进行识别、跟踪和测量等机器视觉，并进一步做图形处理，使电脑处理成为更适合人眼观察或传送给仪器检测的图像。作为一个科学学科，计算机视觉研究相关的理论和技术，试图建立能够从图像或者多维数据中获取信息的人工智能系统。计算机视觉技术通常包括图像处理、图像识别、图像语义理解、图像检索、ocr、视频处理、视频语义理解、视频内容/行为识别、三维物体重建、3d技术、虚拟现实、增强现实、同步定位与地图构建等技术，还包括常见的人脸识别、指纹识别等生物特征识别技术。
机器学习(machinelearning,ml)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习是人工智能的核心，是使计算机具有智能的根本途径，其应用遍及人工智能的各个领域。机器学习和深度学习通常包括人工神经网络、置信网络、强化学习、迁移学习、归纳学习、式教学习等技术。
自动驾驶技术通常包括高精地图、环境感知、行为决策、路径规划、运动控制等技术，自定驾驶技术有着广泛的应用前景，
随着人工智能技术研究和进步，人工智能技术在多个领域展开研究和应用，例如常见的智能家居、智能穿戴设备、虚拟助理、智能音箱、智能营销、无人驾驶、自动驾驶、无人机、机器人、智能医疗、智能客服等，相信随着技术的发展，人工智能技术将在更多的领域得到应用，并发挥越来越重要的价值。
本申请实施例提供的方案涉及人工智能的计算机视觉等技术，具体通过如下实施例进行说明:
本申请实施例提供的图像处理方法，可以应用于如图1所示的应用环境中。其中，终端102通过网络与服务器104进行通信。用户可以通过操作终端102，向服务器104发送图像处理指令，例如对图像进行分割的图像处理指令。图像处理指令中可以携带目标图像的图像标识或者目标图像本身，服务器104根据该图像标识可以获取预先存储的目标图像或者可以实时获取图像处理指令中携带的目标图像，执行本申请实施例提供的图像处理方法，得到图像处理结果（目标处理结果），例如对图像进行分割的结果，该结果将图像分为前景部分以及背景部分。服务器104可以向终端106返回图像处理结果，服务器104也可以根据该图像分割结果进行进一步处理。举个实际的例子，在自动驾驶时，汽车中的视觉感知设备（终端）可以实时获取周围的环境图像，传输到服务器104中，服务器104对环境图像进行分割处理，从环境图像中区分出可驾驶的路面和不可驾驶的路面，从而进行驾驶决策。
其中，终端102以及终端106可以但不限于是各种个人计算机、笔记本电脑、智能手机、汽车、平板电脑、医学影像设备或者便携式可穿戴设备。终端102以及终端106可以是同一终端，也可以是不同终端。服务器104可以用独立的服务器或者是多个服务器组成的服务器集群来实现。可以理解，本申请实施例提供的图像处理方法也可以是在终端中执行的。
在一些实施例中，如图2所示，提供了一种图像处理方法，以该方法应用于图1中的服务器为例进行说明，包括以下步骤：
步骤s202，获取待处理的目标图像对应的目标特征矩阵。
其中，目标图像是待进行图像处理的图像，例如待进行分割的图像，也可以是待进行目标识别的图像。例如，目标图像可以是需要分割为前景和背景的图像或者需要识别是否存在目标对象的图像。目标图像可以是医学影像，例如用ct（computedtomography，计算机断层扫描）成像设备进行断面扫描得到的图像，可以对该医学影像进行图像分割，将其分割为存在目标对象的感兴趣区域以及不存在目标对象的非感兴趣区域。目标对象还可以是植物或者物品中的至少一种。
目标特征矩阵包括多个用于反映目标图像的特点的特征值。特征值是指特征矩阵中每个特征点分别对应的值。例如可以是获取目标图像中各个像素点的灰度值作为特征矩阵中特征点对应的特征值，也可以是对目标图像进行特征提取得到目标特征矩阵。提取得到的目标特征矩阵也可以称为特征图（featuremap），对于图像处理而言，对图像进行特征提取得到的特征矩阵也可以视为图像，因此称为特征图。在特征提取时，可以利用图像处理模型中的特征提取层的模型参数对输入图像进行处理例如进行卷积，得到表示图像特征的特征矩阵。特征提取层可以具有多个特征通道（channel），可以获取每个特征通道提取得到的特征矩阵，作为目标特征矩阵。例如，特征提取层输出的特征图可以表示如下：h*w*c。其中h表示特征图的高度，可以表示在高度方向上，特征点的个数，一个特征点对应一个特征值。w表示特征图的宽度,可以表示在宽度方向上，特征点的个数。c表示特征图的个数，可以与特征提取层中的通道数目相同。
图像处理模型是用于对图像进行处理的人工智能模型，可以为经过有监督的训练得到的神经网络模型，例如可以是inception模型、vgg（visualgeometrygroup，超分辨率测试序列）或者resnet（residualneuralnetwork，残差网络模型）。特征提取层是指图像处理模型中用于对图像的特征进行提取的网络层，例如可以利用卷积层对图像进行特征提取，得到特征图。
具体地，服务器可以获取终端发送的图像，将该图像作为待处理的目标图像，例如将医学影像设备扫描得到的图像作为待处理的目标图像。服务器也可以获取预先存储的图像，将该图像作为待处理的目标图像。服务器可以将目标图像输入到图像处理模型中，经过图像处理模型的特征提取层进行特征提取得到目标特征矩阵，也可以获取目标图像中的像素值，组成目标特征矩阵。
在一些实施例中，一个图像处理模型可以包括多个特征提取层，可以是针对每个特征提取层提取得到的特征矩阵执行本申请实施例提供的方法。也可以是对部分特征提取层提取得到的特征矩阵执行本申请实施例提供的方法。也可以是融合多个特征提取层提取得到的特征矩阵得到目标特征矩阵。例如，可以将第一层特征提取层与第三层特征提取层提取得到的特征矩阵相加，得到目标特征矩阵。还可以是将特征提取层提取得到的特征矩阵与目标图像的灰度值形成的特征矩阵融合，得到目标特征矩阵。
步骤s204，确定对目标特征矩阵进行分割得到的多个特征区域。
具体地，“多个”是指至少两个。对目标特征矩阵进行分割的原则可以根据需要设置，例如可以基于语义分割的方法将目标特征矩阵分为多个区域。当目标特征矩阵有多个时，分别对每个目标特征矩阵进行分割，得到每个目标特征矩阵分别对应的特征区域。
可以理解，本申请实施例的中一个“特征区域”所对应的特征点可以是连续分布的，也可以是离散分布的。例如在对目标特征矩阵在进行分割时，分成两个特征区域，将特征值大于100的特征点分在第一个特征区域中，将特征值小于等于100的特征点分在第二个特征区域中。
在一些实施例中，在对目标特征矩阵进行分割时，可以是基于目标特征矩阵的特征值进行分割，将具有相同特点的特征点分在同一个区域中。例如可以是基于目标特征矩阵中的特征值的分布进行分割，可以将灰度值分布在同一个范围内的特征点分在同一个特征区域。
在一些实施例中，特征区域的个数可以根据需要设置，例如可以是固定的数目，也可以根据具体情况灵活确定，例如根据目标特征矩阵的大小确定，目标特征矩阵越大则特征区域的数量越多。
步骤s206，基于特征区域中的特征值，确定各个特征区域对应的目标权重。
其中，权重可以表示所对应的特征区域在目标特征矩阵的重要度。权重可以是根据模型参数对特征区域中的特征值进行处理得到的。模型参数是通过训练图像处理模型得到的。
具体地，图像处理模型包括权重确定模块，用于确定每个特征图区域分别对应的权重，可以将目标特征矩阵输入到图像处理模型中的权重确定模块中，权重确定模块可以利用训练得到的模型参数对特征区域中的特征值进行处理，得到每个特征区域对应的目标权重。
例如，假设有c个特征图，每个特征图分为k个特征区域，则权重确定模块可以输出“k乘以c”个权重。举个实际的例子，假设有2个目标特征矩阵，每个特征图分成3个特征区域，第一个目标特征矩阵的特征区域表示为t11、t21、t31。第二个目标特征矩阵的特征区域表示为t12、t22、t32。则权重确定模块可以输出6个目标权重，分别是t11、t21、t31、t12、t22、t32分别对应的目标权重：q11、q21、q31、q12、q22、q32。
步骤s208，根据各个特征区域以及对应的目标权重得到目标特征矩阵对应的加权特征矩阵。
具体地，可以将各个特征区域的特征值乘以该特征区域所对应的目标权重，得到加权特征矩阵。例如，对于第一个目标特征矩阵，可以将t11中的每个特征值乘以q11，将t21中的每个特征值乘以q21，将t31中的每个特征值乘以q31，从而得到加权特征矩阵。
步骤s210，对加权特征矩阵进行处理，得到目标图像对应的目标处理结果。
具体地，目标处理结果为对目标图像进行处理得到的图像处理结果。可以是图像分割结果，也可以是目标检测对应的结果，具体根据实际需要设置。例如，图像处理结果可以是目标对象在目标图像中的位置信息。图像处理结果也可以是各个像素点为各个图像分割类别的概率。可以利用图像处理模型的下一个特征提取层对该加权特征矩阵进行下一步的特征提取，得到下一个特征提取层输出的特征矩阵，作为目标特征矩阵，返回步骤s204。也可以是将该加权特征矩阵输入到输出层中，得到图像处理结果。
上述图像处理方法，对于目标图像的目标特征矩阵，可以确定对目标特征矩阵进行分割得到的多个特征区域，基于特征区域中的特征值，确定各个特征区域对应的目标权重，基于该目标权重对各个特征区域进行加权处理，得到加权特征矩阵，基于加权特征矩阵得到图像处理结果。由于可以根据特征区域中的特征值确定目标特征矩阵中各个特征区域对应的目标权重，因此可以基于反映目标特征矩阵中特征区域的特征值差异的权重，对特征区域进行差异化处理，使得加权特征矩阵能够体现不同特征区域对应的更精确的特征，故可以提高图像处理结果的准确度。
在一些实施例中，对加权特征矩阵进行处理，得到目标图像对应的目标处理结果包括：对加权特征矩阵进行处理，得到目标图像中，各个像素点对应的分割类别概率；根据像素点对应的分割类别概率，确定像素点对应的目标类别；根据像素点对应的目标类别对目标图像进行分割，得到图像分割结果。
具体地，在进行图像分割时，可以预先设置将图像分割为多个分割类别分别对应的图像部分。多个是指至少两个。例如对于人脸图像，可以分割为鼻子对应的部分、嘴巴对应的部分以及眼睛对应的部分等。分割类别概率是指像素属于该分割类别的概率。例如像素点属于鼻子对应的像素点的概率、属于嘴巴对应的像素点的概率以及属于眼睛对应的像素点的概率。得到分割类别概率后，可以获取该像素点对应的最大的分割类别概率所对应的类别，作为目标类别。根据每个像素点对应的目标类别将目标图像进行分割，得到各个目标类别对应的图像部分。例如，假设一个像素点，图像处理模型输出的其属于鼻子部分的分割类别概率为0.1，属于嘴巴部分的分割类别概率为0.8，属于眼睛部分的分割类别概率为0.1，则该像素点对应的类别为嘴巴类别。
在一些实施例中，获取待处理的目标图像对应的目标特征矩阵包括：将目标图像输入到图像处理模型中，经过图像处理模型中的多个特征提取层进行特征提取，得到第一特征矩阵；将第一特征矩阵与第一特征矩阵的前向特征矩阵进行融合，得到目标图像对应的目标特征矩阵。
具体地，第一特征矩阵可以是图像处理模型中，权重确定模块的前一特征提取层提取得到的特征。权重确定模块对应的前一特征提取层是图像处理模型中，与该权重确定模块连接的特征提取层，该前一特征提取层设置在权重确定模块的前面。第一特征矩阵的前向特征矩阵是指该前一特征提取层之前的特征提取层所提取得到的特征矩阵。例如，假设第一特征矩阵是第3个特征提取层提取得到的特征矩阵，则前向特征矩阵可以是第2个特征提取层提取得到的特征矩阵或者第1个特征提取层提取得到的特征矩阵的至少一个。融合可以是指相加。例如将第一特征矩阵与前向特征矩阵相加，得到目标特征矩阵。经过多个特征提取层对目标图像进行特征提取，能够提取得到体现目标图像的深层次特征的第一特征矩阵。而由于前向特征矩阵是在此之前提取的，经过的特征提取层数相对比较少，因此可以保留目标图像中更多的细节，因此将第一特征矩阵与其前向特征矩阵融合，能够使得目标特征矩阵更好的体现目标图像的特征。
在一些实施例中，本申请实施例提供的图像处理模型可以是一个端到端的图像分割模型，输入数据为待分割的目标图像，输出是一个分割为k类的图像，为k-1或者k个通道输出的概率图，概率图中每个像素点对应的分割类别概率的值可以是在[0,1]范围内。一个像素点对应的目标类别为概率图中该像素点对应的最大分割类别概率对应的通道类别。如图3所示，例如，假设k=3，即可以将图像分割为a类别、b类别以及c类别分别对应的图像部分。
在一些实施例中，对于图像处理模型，可以是在每个特征提取层后设置权重确定模块与该特征提取层连接，也可以是在部分特征提取层之后设置权重确定模块与该特征提取层连接。如图4所示，图像处理模型可以包括3个特征提取层，可以是在其中的特征提取层2后设置权重确定模块。则对于特征提取层1提取得到的特征矩阵，可以直接将该特征矩阵输入到特征提取层2中，当得到特征提取层2提取得到的特征矩阵时，将该特征矩阵作为目标特征矩阵，将分割得到特征区域的目标特征矩阵输入到权重确定模块中，权重确定模块输出各个特征区域对应的权重，将该目标特征矩阵的各个特征区域与对应的权重进行相乘（加权处理），得到加权特征矩阵。将加权特征矩阵输入到特征提取层3中继续进行特征提取。可以理解，还可以是在特征提取层1以及特征提取层2后设置权重确定模块。即本申请实施例提供的权重确定模块可以是可插拔的，可以根据实际要确定与哪些特征提取层连接，从而使得目标处理模型具有扩展性，通用性高，可以在不同的经典网络上进行嵌套，包括但不限于resnet系列、inception系列或者vgg系列等。
在一些实施例中，确定对目标特征矩阵进行分割得到的多个特征区域包括：获取区域划分数量；根据目标特征矩阵中特征值的分布对目标特征矩阵进行分割，得到区域划分数量的特征区域。
其中，区域划分数量可以根据需要设置，例如可以固定设置为4。目标处理结果是利用图像处理模型处理得到的，也可以根据图像处理模型对应的候选结果类别数量确定区域划分数量。例如区域划分数量是候选结果类别数量的n倍，n为正整数，例如可以将候选结果类别数量作为区域划分数量。图像处理模型对应的候选结果类别数量是指该模型可以输出的图像处理结果的类别的数量。例如，对于k分类图像分割模型，则候选结果类别数量为k，因此可以将目标特征矩阵划分为k块。通过根据候选结果类别数量得到区域划分数量，能够灵活根据图像处理模型的候选结果的类别数目自适应的对特征图进行分割，灵活度高。
特征值的分布是指特征值的分布情况。例如，每个特征点对应的特征值或特征值在每个特征值范围对应的特征点个数。得到特征值分布后，服务器根据特征值分布对目标特征矩阵进行分割。例如，可以将特征值排名在最后的10%内的特征点划分为第一特征区域，将特征值排名在最前的20%内的特征点划分为第二特征区域，剩下的特征点划分为第三特征区域。
具体地，得到特征值的分布情况后，服务器可以根据分布情况将目标特征矩阵划分为个数为区域划分数量的特征区域。例如，区域划分数量为3，则将目标特征矩阵划分为3个特征区域。
在一些实施例中，根据目标特征矩阵中特征值的分布对目标特征矩阵进行分割，得到区域划分数量的特征区域包括：对目标特征矩阵对应的目标特征值范围进行分割，得到个数为区域划分数量的子特征值范围；将目标特征矩阵中，特征值在同一个子特征值范围内的特征点，划分在同一个特征区域中，得到目标特征矩阵对应的多个特征区域。
具体地，目标特征值范围是指目标特征矩阵对应的特征值所处的范围，如可以获取目标特征矩阵对应的最大特征值以及最小特征值，将最大特征值与最小特征值之间的范围，作为目标特征值范围。
在一些实施例中，在进行分割时，可以是对特征值范围进行均匀划分。例如可以根据区域划分数量，在最大特征值与最小特征值对应的目标特征值范围内，确定特征值等分点，将特征值等分点之间的范围，作为子特征值范围，从而将目标特征矩阵划分为区域划分数量的特征区域。特征值等分点是指将目标特征矩阵中的特征值范围均匀分为多个特征值范围的点。举个例子，假设需要将目标特征矩阵划分为3个特征区域，目标特征矩阵的最大值为180，最小值为30，则特征值等分点为80以及130。第一个子特征值范围为最小值30至80，目标特征矩阵中特征值在30到80的特征点划分在第一特征区域。第二个子特征值范围为80至最大值130，目标特征矩阵中特征值在80到130的特征点划分在第二特征区域。第三个子特征值范围为130至180，目标特征矩阵中特征值在130到180的特征点划分在第三特征区域。可以理解，对于80，可以分在第一个子特征值范围内，也可以分在第二个子特征值范围内。其中，确定特征值等分点的公式可以表述如公式（1），其中，torch.max表示求最大值，torch.min表示求最小值，k表示区域划分数量，m表示等分点的序号，
在一些实施例中，在进行分割时，也可以是对特征值范围进行不均匀的划分。具体可以根据需要设置。
本申请实施例中，将特征值在同一个子特征值范围内的特征点，划分在同一个特征区域中，因此可以基于特征值的大小对目标特征矩阵进行区域划分，将特征值相近的特征点划分为同一个特征区域，因此计算得到的目标权重，是针对特征值相近的特征区域的权重，能够自适应的根据特征区域之间的特征值的差异确定特征区域对应的权重，从而提高了得到的目标权重的灵活度以及准确度。
在一些实施例中，基于特征区域中的特征值，确定各个特征区域对应的目标权重包括：以区域为单位对目标特征矩阵进行池化处理，得到各个特征区域分别对应的池化值；根据第一池化向量得到各个特征区域对应的目标权重；第一池化向量是特征区域对应的池化值组成的。
具体地，可以将目标特征矩阵输入到权重确定模块的池化层中，池化层以区域为单位对目标特征矩阵进行池化处理，得到各个特征区域分别对应的池化值；将第一池化向量输入到权重确定模块的权重确定层中，得到各个特征区域对应的目标权重。
其中，池化层用于对特征图进行池化（pooling）。在进行池化时，可以是最大值池化也可以是平均值池化。以区域为单位对目标特征矩阵进行池化处理是指在对目标特征矩阵进行池化处理时，针对每一个特征区域，分别进行池化处理。这样，池化时，不会由于全局池化而抵消掉不同区域之间的差异。例如，当需要对图像进行前景和背景的分割时，对于背景很大而目标很小的图像，全局池化得到的结果就接近于背景的全局池化，而完全忽视了前景区域。而以区域为单位进行池化，则可以减少忽略前景区域的可能性。
举个实际的例子，假设将目标特征矩阵分为两个特征区域，则可以获取第一个特征区域中特征值的平均值，作为该第一个特征区域对应的池化值。可以获取第二个特征区域中特征值的平均值，作为该第二个特征区域对应的池化值。
权重确定层是权重确定模块中，池化层之后的网络层，可以包括连接层。例如权重确定层包括第一全连接层、第一激活函数层（例如relu层）、第二全连接层以及第二激活函数层（例如sigmoid层）等，relu层利用relu函数对输入进行处理，sigmoid层利用sigmoid函数对输入进行处理。
在一些实施例中，得到池化值后，将池化值作为第一池化向量中的向量值，组成第一池化向量。将第一池化向量输入到权重确定模块的权重确定层中，得到每一个特征区域所对应的目标权重。
在一些实施例中，目标特征矩阵为多个，得到第一池化向量的步骤包括：将多个目标特征矩阵中，各个特征区域对应的池化值作为向量值，得到第一池化向量。
具体地，特征提取层可以输出多个目标特征矩阵，例如图像处理模型中的特征提取层可以有c个特征通道，每个特征通道可以输出一个特征矩阵，则目标特征矩阵可以有c个。第一池化向量是各个池化值作为向量值，组合得到的，例如假设将一个目标特征矩阵分成k个区域，则共有k乘以c个池化值，每个池化值分别作为向量值，组成具有k乘以c个向量值的第一池化向量[
本申请实施例中，由于第一池化向量是多个目标特征矩阵中，各个特征区域的池化值组成的，通过将第一池化向量输入到权重确定模块的权重确定层进行处理，因此在确定特征区域对应的权重的过程中，不同目标特征矩阵之间的特征区域对应的特征信息，以及同一目标特征矩阵不同特征区域对应的特征信息能够交互，因此能够生成更有价值的权重信息，故能够提高得到的特征区域对应的目标权重的准确度。
在一些实施例中，对目标特征矩阵的特征区域进行池化可以用公式（2）表示。其中mask表示腌膜，掩模是由0和1组成的一个二进制矩阵。当在目标特征矩阵中应用掩模时，腌膜中值为1的点对应的特征点被处理，值为0的点对应的特征点不会被处理。
以下以将目标特征矩阵划分为2个特征区域，计算第1个特征区域的腌膜
举个实际的例子，如图5所示，左边的图为目标特征矩阵，右边的图为目标特征矩阵的特征值直方图，利用特征值直方图信息进行图像的分割。例如如果图像分割结果是将图像分割为2个部分，则可以将目标特征矩阵分为2个部分，由于目标特征矩阵中的最大值为29，最小值为-27，因此可以计算得到等分点为（最大值+最小值）/2，即为（-27+29）/2=1。因此可以将目标特征矩阵分为两个特征区域：显示为灰色的第一特征区域（特征值小于1的部分）以及显示为白色的第二特征区域（特征值大于1的部分）。通过对特征区域进行池化处理，则第一特征区域对应的腌膜中，与第一特征区域对应的位置的矩阵值为1，其他位置的矩阵值为0。第二特征区域对应的腌膜中，与第二特征区域对应的位置的矩阵值为1，其他位置的矩阵值为0。
在一些实施例中，如图6所示，根据第一池化向量得到各个特征区域对应的目标权重包括：
步骤s602，将第一池化向量输入到第一全连接层中，得到第一权重向量。
具体地，全连接层（fullyconnectedlayers，fc）用于对第一池化向量进行全连接处理，可以得到每个目标特征矩阵中，各个特征区域对应的中间权重，组成第一权重向量。第一权重向量可以是第一全连接层输出的，也可以在第一全连接层之后可以接其他的网络层，例如relu层,经过relu层输出第一权重向量。通过将第一池化向量输入到第一全连接层中，不同目标特征矩阵之间的特征区域对应的特征信息，以及同一目标特征矩阵不同特征区域对应的特征信息能够交互，得到更有价值的第一权重向量。
步骤s604，确定目标特征矩阵中各个特征区域对应的区域类别，根据特征区域的区域类别对第一权重向量进行拆分，得到各个区域类别对应的第二权重向量。
具体地，特征区域的类别是根据目标特征矩阵的划分规则确定的。例如，当是根据语义分割的方法划分目标特征矩阵时，则将具有相同语义分割特征的区域作为一个类别。又例如，当是根据特征值范围对目标特征矩阵进行分割时，可以是按照特征值范围的大小对特征区域进行分类。例如目标特征矩阵中，特征值位于最小值与第一个等分点之间的特征区域的类别为第一个区域类别。特征值位于第一个等分点与第二个等分点之间的特征区域的类别为第二个区域类别。举个实际的例子，假设有2个目标特征矩阵，按照特征值范围将每个目标特征矩阵均分为3个特征区域，第一个目标特征矩阵的特征区域表示为t11、t21、t31。第二个目标特征矩阵的特征区域表示为t12、t22、t32。则t11与t12为同一个区域类别。t21与t22为同一个区域类别。t31与t32为同一个区域类别。
第一权重向量是多个目标特征矩阵中，各个特征区域对应的中间权重组成的，中间权重是指该权重需要进一步处理，得到目标权重，例如执行步骤606进行处理，得到目标权重。第二权重向量是第一权重向量的子向量。第二权重向量是相同区域类别的中间权重组成的。例如，t11与t12分别对应的中间权重分别作为向量值，组成1个第二权重向量，t21与t22分别对应的中间权重分别作为向量值，组成另一个第二权重向量，t31与t32分别对应的中间权重分别作为向量值，组成另一个第二权重向量。即3个区域类别，每个区域类别对应1个第二权重向量，共有3个第二权重向量。
步骤s606，将第二权重向量输入区域类别所对应的第二全连接层中，得到各个特征区域对应的目标权重。
具体地，将第二权重向量分别输入到所对应的第二全连接层中进行处理，得到每个区域类别分别对应的目标权重向量，目标权重向量的向量值，为该向量值所对应的特征区域的权重。目标权重向量可以是第二全连接层输出的，也可以在第二全连接层之后可以接其他的网络层，例如激活函数层，激活函数层可以是sigmoid层,经过激活函数层的激活输出目标权重向量。
例如，假设有c个目标特征矩阵，每个目标特征矩阵分为k个特征区域，表示有k个区域类别。则可以输出每个区域类别分别对应的目标权重向量，为k个目标权重向量：[
得到特征区域对应的目标权重后，根据各个特征区域以及对应的目标权重得到目标特征矩阵对应的加权特征矩阵可以用公式（6）和（7）表示：其中，
本申请实施例中，通过根据特征区域的类别对第一权重向量进行拆分，得到各个区域类别分别对应的第二权重向量，再输入到第二全连接层中进行处理，能够实现同一区域类别的特征区域之间的信息的交互，因此能够学习到更有价值的信息。
如图7所示，为一些实施例中权重确定模块的处理原理示意图。特征提取层提取得到c个h*w的目标特征矩阵，每个目标特征矩阵分为k个特征区域，对这k个特征区域分别进行池化，得到的池化值组成第一池化值向量，其中maskkx池化是指通过maskkx实现对目标特征矩阵的第k个特征区域进行池化，对应公式(2)，maskkx是指第x个特征图中第k个特征区域对应的腌膜。第一池化值向量输入到第一全连接层中，其中r为伸缩系数，可以根据实际情况设置，例如为1。第一池化值向量经过第一全连接层以及relu层的处理，得到第一权重向量。可以根据特征区域的区域类别对第一权重向量进行拆分，得到各个区域类别分别对应的第二权重向量，输入到该区域类别对应的第二全连接层中，第二权重向量经过第二全连接层以及sigmoid层，输出目标权重向量，从而可以得到特征区域对应的目标权重。将目标权重乘以特征区域对应的腌膜，对应公式（7）中等号右边的项。例如mask1x加权是指通过mask1x实现对目标特征矩阵的第1个特征区域进行加权（即计算
在一些实施例中，图像处理模型的网络结构图可以如图8所示，图8中b1是指特征提取层后没有连接权重确定模块的网络模块，例如可以是resnetblock。b2是特征提取层后有连接权重确定模块的网络模块,例如在resnetblock中的残差网络（residual）后连接权重确定模块，权重确定模块中的权重与残差网络输出的特征图进行加权，c代表卷积层，每个模块下面的数字为经过该模块后的特征通道数，b1左侧的数字代表特征图的尺寸。箭头表示数据的流向，圆圈内有一个加号的符号表示相加。例如，对于与最后一个卷积层连接的b2，其输入是前一个b2的输出以及第二个b1的输出相加得到的。
在一些实施例中，图像处理模型是预先训练得到的。在训练图像处理模型时，根据不同的任务需要，可以采用不同的数据集进行训练，例如可以采用包括4个模态和四个类别的医学图像数据集进行训练，得到对医学图像进行分割的图像处理模型。也可以用包括30个类的cityscapesdataset(城市景观数据集)进行模型的训练。还可以对原始的图像进行预处理，例如对图像数据进行归一化处理，处理为0到1之间的像素值。其次，对于没有固定的形状大小和方向性的目标对象的区域，还可以对原始的图像进行翻转、旋转、放缩或者对比度增强等数据增广的操作，以增加训练样本数量，增大方向性和不同规模下的信息价值。在训练图像处理模型的过程中，可采用基于adam的梯度下降法更新模型参数。模型的损失值可以采用骰子损失(diceloss)函数计算得到。模型训练时的初始学习率可以为0.05，adam中的betas可以在0.95至0.9995之间。训练时，经过神经网络模型（图像处理模型）得到预测分割概率图，并根据预测分割概率图与标签对应的真实分割概率图的差异得到分割损失值，通过最小化损失函数对应的损失值，计算误差梯度并通过反向传播更新网络的梯度。在模型训练完成之后，将目标图像输入到图像处理模型中，利用最终的预测概率值，得到图像处理结果。
本申请实施例提供的方法可以应用在图像分割任务中，可以预先训练得到图像分割模型进行图像的分割。其中图像分割（imagesegmentation）技术是计算机视觉领域的一个重要的研究方向，是图像语义理解的重要一环。图像分割是指将图像分成若干具有相似性质的区域的过程，从数学角度来看，图像分割是将图像划分成互不相交的区域的过程。图像分割中的场景物体分割、人体前背景分割、人脸人体（分析）parsing以及三维重建等技术已经在无人驾驶、增强现实、安防监控以及医学影像分析等行业都得到广泛的应用。由于分割的原则就是使划分后的子图在内部保持相似度最大，而子图之间的相似度保持最小，而需要分割的不同区域的图像对应的灰度值分布或者特征值的分布一般会明显不同，因此，本申请实施例提供的方案可以对不同特征值分布的区域施加不同的权重，从而利用优化的特征值信息寻找出对应的需要重点关注的特征区域，让人工智能网络更加关注不同区域信息的差异，能提取到不同区域更精确的特征，实现更精确的影像分割。而且，当根据特征值的分布进行特征区域的分割时，分割过程中利用特征图自身的直方图就可以对不同区域取不同的自适应权重，不需要单独对权重的进行有监督的训练也可以得到确定权重对应的模型参数，易于实现。
以下以对图像进行分割为例，结合图1，对本申请实施例提供的图像处理方法进行说明，包括以下步骤：
1、获取待处理的目标图像。
具体地，前端a（终端102）可以获取医学图像数据，对该医学图像数据进行预处理，例如包括但不限于对图像像素值进行归一化处理、平移、旋转或者放缩等操作，得到目标图像，将目标图像上传到后端，后端将该目标图像作为待处理的目标图像。其中前端a可以是用于获取医学图像的医学设备。后端可以是用于对医学图像进行特征提取，并根据提取的医学特征进行图像分类的计算机设备，如图1的服务器。前端b（终端106）可以是用于显示医学图像的分类结果的显示设备。前端a与前端b可以是同一设备，也可以是不同设备。
2、将目标图像输入到图像处理模型中，经过图像处理模型中的多个特征提取层进行特征提取，得到权重确定模块对应的前一特征提取层提取得到的第一特征矩阵。
具体地，后端可以将目标图像输入到图像处理模型中，进行特征的提取，得到第一特征矩阵。例如，经过3个特征提取层的特征提取，得到第一特征矩阵。
3、将第一特征矩阵与第一特征矩阵的前向特征矩阵进行融合，得到目标图像对应的目标特征矩阵。
具体地，后端可以将第3层特征提取层输出的第一特征矩阵，与前面2层特征提取层输出的特征矩阵相加，得到目标特征矩阵。
4、获取图像处理模型输对应的候选结果类别数量，将候选结果类别数量作为区域划分数量。
具体地，假设图像处理模型用于将目标图像分割为3个类别，则结果类别数量为3，将3作为区域划分数量。
5、获取目标特征矩阵对应的最大特征值以及最小特征值；根据区域划分数量，在最大特征值与最小特征值对应的目标特征值范围内，确定特征值等分点；将特征值等分点之间的范围，作为子特征值范围。
具体地，假设需要将目标特征矩阵划分为3个特征区域，目标特征矩阵的最大值为180，最小值为30，则特征值等分点为80以及130。
6、将目标特征矩阵中，特征值在同一个子特征值范围内的特征点，划分在同一个特征区域中，得到目标特征矩阵对应的多个特征区域。
7、将目标特征矩阵输入到权重确定模块的池化层中，池化层以区域为单位对目标特征矩阵进行池化处理，得到各个特征区域分别对应的池化值。
具体地，后端可以获取各个特征区域中，特征值的平均值，作为该特征区域对应的池化值。
8、将第一池化向量输入到权重确定模块的权重确定层中，得到各个特征区域对应的目标权重；第一池化向量是特征区域对应的池化值组成的。
具体地，权重确定模块包括池化层、第一全连接层、relu层、第二全连接层以及sigmoid层，经过池化层后，第一池化向量经过第一全连接层，relu层、第二全连接层以及sigmoid层，得到特征区域对应的目标权重。
9、根据各个特征区域以及对应的目标权重得到目标特征矩阵对应的加权特征矩阵。
具体地，特征区域中各个特征点的特征值与对应的目标权重相乘，得到加权特征矩阵中，各个特征点对应的加权特征值。
10、对加权特征矩阵进行处理，得到目标图像对应的目标处理结果。
具体地，服务器可以将加权特征矩阵输入到下一个特征提取层中，继续进行特征提取，也可以将该加权特征矩阵输入到输出层中，得到图像处理结果。例如，得到每个像素点对应的分类概率，根据分类概率将图像分为三个类别对应的图像部分。后端可以将图像处理结果发送到前端b中，进行显示。
应该理解的是，虽然上述流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，上述流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
在一些实施例中，如图9所示，提供了一种图像处理装置，该装置可以采用软件模块或硬件模块，或者是二者的结合成为计算机设备的一部分，该装置具体包括：目标特征矩阵获取模块902、特征区域确定模块904、目标权重得到模块906、加权特征矩阵得到模块908和目标处理结果得到模块910。其中：
目标特征矩阵获取模块902，用于获取待处理的目标图像对应的目标特征矩阵。
特征区域确定模块904，用于确定对目标特征矩阵进行分割得到的多个特征区域。
目标权重得到模块906，用于基于特征区域中的特征值，确定各个特征区域对应的目标权重。
加权特征矩阵得到模块908，用于根据各个特征区域以及对应的目标权重得到目标特征矩阵对应的加权特征矩阵。
目标处理结果得到模块910，用于对加权特征矩阵进行处理，得到目标图像对应的目标处理结果。
在一些实施例中，特征区域确定模块包括：划分数量获取单元，用于获取区域划分数量；特征图划分单元，用于根据目标特征矩阵中特征值的分布对目标特征矩阵进行分割，得到区域划分数量的特征区域。
在一些实施例中，特征图划分单元用于：对目标特征矩阵对应的目标特征值范围进行分割，得到个数为区域划分数量的子特征值范围；将目标特征矩阵中，特征值在同一个子特征值范围内的特征点，划分在同一个特征区域中，得到目标特征矩阵对应的多个特征区域。
在一些实施例中，特征图划分单元用于：获取目标特征矩阵对应的最大特征值以及最小特征值；根据区域划分数量，在最大特征值与最小特征值对应的目标特征值范围内，确定特征值等分点；将特征值等分点之间的范围，作为子特征值范围。
在一些实施例中，目标处理结果是利用图像处理模型处理得到的，划分数量获取单元用于：获取图像处理模型对应的候选结果类别数量，根据候选结果类别数量得到区域划分数量。
在一些实施例中，目标权重得到模块包括：池化单元，用于以区域为单位对目标特征矩阵进行池化处理，得到各个特征区域分别对应的池化值；目标权重确定单元，用于根据第一池化向量得到各个特征区域对应的目标权重；第一池化向量是特征区域对应的池化值组成的。
在一些实施例中，目标特征矩阵为多个，得到第一池化向量的模块包括：将多个目标特征矩阵中，各个特征区域对应的池化值作为向量值，组合得到第一池化向量。
在一些实施例中，目标权重确定单元用于：将将第一池化向量输入到图像处理模型的第一全连接层中，得到第一权重向量；确定目标特征矩阵中各个特征区域对应的区域类别，根据特征区域的区域类别对第一权重向量进行拆分，得到各个区域类别对应的第二权重向量；将第二权重向量输入区域类别所对应的第二全连接层中，得到各个特征区域对应的目标权重。
在一些实施例中，目标处理结果得到模块用于：对加权特征矩阵进行处理，得到目标图像中，各个像素点对应的分割类别概率；根据像素点对应的分割类别概率，确定像素点对应的目标类别；根据像素点对应的目标类别对目标图像进行分割，得到图像分割结果。
在一些实施例中，目标特征矩阵获取模块用于：将目标图像输入到图像处理模型中，经过图像处理模型中的多个特征提取层进行特征提取，得到第一特征矩阵；将第一特征矩阵与第一特征矩阵的前向特征矩阵进行融合，得到目标图像对应的目标特征矩阵。
关于图像处理装置的具体限定可以参见上文中对于图像处理方法的限定，在此不再赘述。上述图像处理装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一些实施例中，提供了一种计算机设备，该计算机设备可以是服务器，其内部结构图可以如图10所示。该计算机设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统、计算机程序和数据库。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的数据库用于存储目标图像或者图像处理结果的至少一个。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种图像处理方法。
本领域技术人员可以理解，图10中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一些实施例中，还提供了一种计算机设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
在一些实施例中，提供了一种计算机可读存储介质，存储有计算机程序，该计算机程序被处理器执行时实现上述各方法实施例中的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-onlymemory，rom）、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器（randomaccessmemory，ram）或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（staticrandomaccessmemory，sram）或动态随机存取存储器（dynamicrandomaccessmemory，dram）等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
- 还没有人留言评论。精彩留言会获得点赞！