图像背景特征提取方法、装置、设备及介质与流程

1.本发明涉及人工智能技术领域，尤其涉及一种图像背景特征提取方法、装置、设备及介质。


背景技术：

2.在业务过程中需要分析客户提交的自拍图像，自拍图像主要包含有人像部分和背景部分，从图像中提取背景信息来分析客户的信息。
3.通常，现有技术中对图像进行人像分割，对图像的人像部分的数值统一置位为0，去除人像部分的像素信息，但图像中仍然保留有人像部分的位置信息，当cnn模型对分割后图像进行特征提取时，受人像部分在图像中的面积占比较大和人像部分的位置信息的影响和干扰，使得cnn模型的网络卷积核不能准确提取到图像的背景特征。


技术实现要素：

4.鉴于以上内容，本发明提供一种图像背景特征提取方法、装置、设备及介质，其目的在于解决现有技术中对图像背景特征提取准确率低的技术问题。
5.为实现上述目的，本发明提供一种图像背景特征提取方法，该方法包括：
6.利用预设分割模型对待处理图像进行分割，得到所述待处理图像的人像掩膜，合并所述人像掩膜与所述待处理图像得到人像分割图；
7.对所述人像分割图进行填充得到填充图像，分割所述填充图像得到n x n个小区块的人像填充分割图，将所述n x n个小区块展开成1 x n2的非背景掩膜，所述人像填充分割图包含有背景区域、非背景区域；
8.对所述非背景掩膜进行矩阵计算得到非背景自注意力掩膜，根据所述非背景自注意力掩膜对应的掩膜矩阵和所述人像填充分割图对应的分割图矩阵生成自注意力矩阵，根据所述非背景自注意力掩膜，对所述背景区域的小区块两两为一组标记关注标签；
9.将所述自注意力矩阵和所述分割图矩阵输入预设自注意力模型进行矩阵相乘，根据所述关注标签，从所述矩阵相乘的结果中提取所有数值为1的元素在所述人像填充分割图中对应的小区块的特征，作为所述待处理图像的背景特征。
10.优选的，所述利用预设分割模型对待处理图像进行分割，得到所述待处理图像的人像掩膜，包括：
11.对所述待处理图像进行特征提取，得到所述待处理图像的特征图；
12.根据预设人像区域取选框对所述特征图的人像部分进行分割，得到所述人像掩膜。
13.优选的，所述根据预设人像区域取选框对所述特征图的人像部分进行分割，得到所述人像掩膜，包括：
14.对所述特征图进行上采样处理，扩充所述特征图至预设分辨率得到扩充特征图；
15.根据所述人像区域取选框，区分所述扩充特征图的每一个像素得到所述特征图的
人像部分并进行分割，根据分割的人像部分生成所述待处理图像的人像掩膜。
16.优选的，所述对所述人像分割图进行填充得到填充图像，包括：
17.读取所述人像分割图的各边长的数值，选取数值最大的一条边；
18.以所述选取的边对所述人像分割图参照预设正方框按比例进行缩放，以使所述选取的边的边长等于所述预设正方框的边长；
19.对所述人像分割图未超过预设正方框的区域进行图像填充，得到所述填充图像。
20.优选的，所述对所述非背景掩膜进行矩阵计算得到非背景自注意力掩膜，根据所述非背景自注意力掩膜对应的掩膜矩阵和所述人像填充分割图对应的分割图矩阵生成自注意力矩阵，包括：
21.提取所述非背景掩膜的每个小区块的特征进行矩阵计算得到非背景注意力掩膜；
22.及提取所述人像填充分割图的每个小区块的特征生成所述分割图矩阵；
23.读取所述掩膜矩阵的每个元素和所述分割图矩阵的每个元素进行矩阵相乘生成所述自注意力矩阵。
24.优选的，所述根据所述非背景自注意力掩膜，对所述背景区域的小区块两两为一组标记关注标签，包括：
25.根据所述非背景自注意力掩膜，对所述人像填充分割图的每个小区块之间的关联性进行判断；
26.若判断两两为一组的小区块的数值同时大于或等于预设值，则将所述两两为一组的小区块作为背景区域并标记为关注标签。
27.优选的，在所述若判断两两为一组的小区块的数值同时大于或等于预设值，则将所述两两为一组的小区块作为背景区域并标记为关注标签之后，该方法包括：
28.若判断两两为一组的小区块的数值同时小于预设值，则将所述两两为一组的小区块作为非背景区域并标记为非关注标签。
29.为实现上述目的，本发明还提供一种图像背景特征提取装置，所述装置包括：
30.分割模块：用于利用预设分割模型对待处理图像进行分割，得到所述待处理图像的人像掩膜，合并所述人像掩膜与所述待处理图像得到人像分割图；
31.排序模块：用于对所述人像分割图进行填充得到填充图像，分割所述填充图像得到n x n个小区块的人像填充分割图，将所述n x n个小区块展开成1 x n2的非背景掩膜，所述人像填充分割图包含有背景区域、非背景区域；
32.标记模块：用于对所述非背景掩膜进行矩阵计算得到非背景自注意力掩膜，根据所述非背景自注意力掩膜对应的掩膜矩阵和所述人像填充分割图对应的分割图矩阵生成自注意力矩阵，根据所述非背景自注意力掩膜，对所述背景区域的小区块两两为一组标记关注标签；
33.输出模块：用于将所述自注意力矩阵和所述分割图矩阵输入预设自注意力模型进行矩阵相乘，根据所述关注标签，从所述矩阵相乘的结果中提取所有数值为1的元素在所述人像填充分割图中对应的小区块的特征，作为所述待处理图像的背景特征。
34.为实现上述目的，本发明还提供一种电子设备，所述电子设备包括：
35.至少一个处理器；以及，
36.与所述至少一个处理器通信连接的存储器；其中，
37.所述存储器存储有可被所述至少一个处理器执行的程序，所述程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至7中任一项所述图像背景特征提取方法。
38.为实现上述目的，本发明还提供一种计算机可读介质，所述计算机可读介质存储有图像背景特征，所述图像背景特征被处理器执行时，实现如权利要求1至7中任一项所述图像背景特征提取方法的步骤。
39.本发明对待处理图像进行分割得到人像掩膜和人像分割图，对人像分割图进行填充和分割处理后，得到人像填充分割图，对人像填充分割图的每个小区块展开成一维形状生成非背景掩膜。利用人像填充分割图分割成的多个小区块，解决了现有技术中人像部分在图像中的面积占比较大的问题，让预设自注意力模型能够对每个像素点区域进行有效的分辨和分析。
40.对人像填充分割图生成分割图矩阵，对非背景掩膜进行矩阵计算得到非背景自注意力掩膜，根据非背景自注意力掩膜和分割图矩阵生成自注意力矩阵，根据非背景自注意力掩膜，背景区域的小区块两两为一组标记关注标签，根据关注标签对人像填充分割图的非背景区域的位置信息进行屏蔽，使得人像部分在待处理图像的位置信息不能够干扰背景区域的特征提取，提高了预设自注意力模型对待处理图像的背景区域的特征的准确率。
附图说明
41.图1为本发明图像背景特征提取方法较佳实施例的流程图示意图；
42.图2为本发明图像背景特征提取装置较佳实施例的模块示意图；
43.图3为本发明电子设备较佳实施例的示意图；
44.本发明目的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
45.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.本发明实施例可以基于人工智能技术对相关的数据进行获取和处理。其中，人工智能(artificialintelligence，ai)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。
47.人工智能基础技术一般包括如传感器、专用人工智能芯片、云计算、分布式存储、大数据处理技术、操作/交互系统、机电一体化等技术。人工智能软件技术主要包括计算机视觉技术、机器人技术、生物识别技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。
48.本发明提供一种图像背景特征提取方法。参照图1所示，为本发明图像背景特征提取方法的实施例的方法流程示意图。该方法可以由一个电子设备执行，该电子设备可以由软件和/或硬件实现。图像背景特征提取方法包括以下步骤s10-s40：
49.步骤s10：利用预设分割模型对待处理图像进行分割，得到所述待处理图像的人像掩膜，合并所述人像掩膜与所述待处理图像得到人像分割图。
50.本实施例，为了满足准确提取出待处理图像的背景信息的需求，将待处理图像输入预设分割模型进行分割，预设分割模型是指预先训练好的人像分割模型(maskregion-cnn)，是一种将深度学习应用到目标检测上的算法模型。待处理图像是指包含有目标物和背景的图像。目标物包括但不限于人像、动物等，背景是指在待处理图像中衬托目标物的要素或景物。
51.通过预设分割模型对待处理图像的分割后，得到待处理图像的背景部分和人像部分，虽然背景部分和人像部分已经分割开，但背景部分和人像部分之间还存在位置信息的关联性，这种关联性会影响对人像部分或背景部分的特征提取，容易导致分析出来的数据准确率低。
52.提取人像部分的特征生成待处理图像的人像掩膜，将人像掩膜对准在待处理图像的人像部分的位置进行合并得到人像分割图，也就是说，为了待处理图像的人像部分不能参与提取特征的处理，利用人像掩膜的屏蔽性将待处理图像的人像部分进行图像填充(例如，图像填充将人像部分统一填充为黑色)。其实，掩膜就是二维矩阵数组。人像掩膜是指将人像部分框选出来并进行屏蔽，使人像部分不参加处理参数的计算，减少图像处理过程的程序，便于提高对图像处理的处理效率。
53.在一个实施例中，所述利用预设分割模型对待处理图像进行分割，得到所述待处理图像的人像掩膜，包括：
54.对所述待处理图像进行特征提取，得到所述待处理图像的特征图；
55.根据预设人像区域取选框对所述特征图的人像部分进行分割，得到所述人像掩膜。
56.读取待处理图像的特征参数(n
×h×
w)输入预设分割模型，根据预设分割模型的特征分割模块对该特征参数处理，输出待处理图像的特征图，该待处理图像的特征图包括n'
×
h'
×
w'。其中，n表示待处理图像的图像通道数，h表示待处理图像的高，w表示待处理图像的宽，n'表示特征图的通道数，h'表示特征图的高，w'表示特征图的宽，通常，h'小于h，w'小于w。该特征分割模块的具体结构可选用vgg网络、深度残差网络(deepresidualnetwork-resnet)等网络提取结构。
57.预设人像区域取选框是基于采用区域网络(例如，regionproposalnet-rpn网络)对预设数量的特征图的正样本和负样本进行切片，训练好的锚框标签。该锚框标签能够自动识别图像中人像部分的真实边框并分割出人像部分。也可以采用基于区域候选提取的其它网络，本技术实施例对人像区域取选框的提取网络不作限制，只要能在特征图中提取出人像区域取选框即可。利用人像区域取选框对待处理图像的人像部分进行分割，得到待处理图像的人像掩膜。
58.在一个实施例中，所述根据预设人像区域取选框对所述特征图的人像部分进行分割，得到所述人像掩膜，包括：
59.对所述特征图进行上采样处理，扩充所述特征图至预设分辨率得到扩充特征图；
60.根据所述人像区域取选框，区分所述扩充特征图的每一个像素得到所述特征图的人像部分并进行分割，根据分割的人像部分生成所述待处理图像的人像掩膜。
61.对特征图进行上采样处理包括：根据区域网络的反卷积，将特征图的分辨率扩充至预设分辨率(例如预设分辨率为1920或2k)。
62.根据人像区域取选框，对扩充特征图的每一个像素的灰度值的差值和harr特征(区域像素和特征)区分出人像部分并进行分割，读取分割的人像部分输入的张量与预设分割模型的核张量(kernel)的每个元素逐个相乘，放在对应矩阵位置上进行特征映射，生成待处理图像的人像掩膜。为了更好检测区分人像部分和背景部分，提取人像掩膜的细分到每一个像素，有利于背景特征的提取的准确率。
63.在利用上述预设分割模型对待处理图像进行对待处理图像进行分割之前，要预先建立特征分割模块，然后利用样本图像对其进行训练，最后利用训练完毕的特征分割模块对待处理图像进行特征提取，以获得相应的特征图。
64.步骤s20：对所述人像分割图进行填充得到填充图像，分割所述填充图像得到n x n个小区块的人像填充分割图，将所述n x n个小区块展开成1 xn2的非背景掩膜，所述人像填充分割图包含有背景区域、非背景区域。
65.本实施例，在对人像分割图进行填充得到填充图像之前，要提前预设正方框为参考物，对人像分割图按比例进行缩放以达到预设正方框的尺寸。预设正方框的尺寸为满足边长能整除16，本发明为了举例方便说明，将预设正方框的尺寸设为224x224像素，及相关的实施例中也以预设正方框的尺寸设为224x224像素的基础展开的，但不作为对预设正方框的尺寸的限定。若人像分割图为正方形，直接对人像分割图按比例进行缩放以达到预设正方框的尺寸即可。但在实际场景中，大部分的自拍图像是16:9的格式，若判断人像分割图为长方形，则对不满足预设正方框的区域进行图像填充(例如，图像填充将未超过预设正方框的区域统一填充为黑色)，将填充好的区域与人像分割图进行合并，得到填充图像，即，得到的填充图像的尺寸也为224x224像素，填充图像包含有填充好的区域和人像分割图的两部分。
66.将填充图像进行n x n次的分割,n为正整数，n x n次的分割相对非对称的分割，更加利于模型的编码器encode与解码器decode的分析处理。例如，填充图像的尺寸分别除以16，相当于14x14次分割，将填充图像不重叠分割成196个小区块，每个小区块为16x16像素，每个小区块还包含有rgb这3种颜色通道数，也就是说，每个小区块的总像素为(16x16x3像素)，根据这196个小区块的图像得到人像填充分割图，根据自注意力网络，再将人像填充分割图的196个小区块在人像分割图中位置从左到右、从上到下的顺序进行排序展开为1xn2的一维形状(1，196，16x16x3像素)生成非背景掩膜(1，196)。若16x16区块为填充区域或人像区域，则非背景掩膜对应位置数值为0的元素，否则为1的元素。非背景掩膜是指指将人像部分和后面统一格式的填充部分并进行屏蔽，使人像部分和填充部分不参加处理参数的计算，减少图像处理过程的程序，便于提高对图像处理的处理效率。即，在人像填充分割图中除了非背景掩膜以外的区域都是背景区域。人像填充分割图包含有背景区域、非背景区域，非背景区域包含有人像区域和填充区域。
67.为了解决现有技术中，非背景区域在待处理图像的面积占比较大，cnn模型的网络卷积核不能准确提取到图像的背景特征的问题，本发明将填充图像不重叠分割成196个小区块，每个小区块为16x16像素，每个小区块还包含有rgb这3种颜色通道数，能够让网络分辨每个像素点代表的区域，对提取非背景区域的特征有更高的准确率。
68.在一个实施例中，所述对所述人像分割图进行填充得到填充图像，包括：
69.读取所述人像分割图的各边长的数值，选取数值最大的一条边；
70.以所述选取的边对所述人像分割图参照预设正方框按比例进行缩放，以使所述选取的边的边长等于所述预设正方框的边长；
71.对所述人像分割图未超过预设正方框的区域进行图像填充，得到所述填充图像。
72.读取人像分割图的高度和宽度并比对大小，选取数值(例如，数值的单位为像素)最大的一条边，若长方形的高度大于宽度，则对人像分割图按比例进行缩放，以使该长方形的高度等于预设正方框的边长，对人像分割图未超过预设正方框的区域进行图像填充(例如，图像填充将未超过预设正方框的区域统一填充为黑色)，得到填充图像，使得待处理图像的高度和宽度分别达到224x224像素。为了对每张待处理图像在输入模型提取特征时，将待处理图像统一格式，可以提高模型识别效率和减少提取特征的时间，也是提高大批量地对待处理图像的处理时间。
73.步骤s30：对所述非背景掩膜进行矩阵计算得到非背景自注意力掩膜，根据所述非背景自注意力掩膜对应的掩膜矩阵和所述人像填充分割图对应的分割图矩阵生成自注意力矩阵，根据所述非背景自注意力掩膜，对所述背景区域的小区块两两为一组标记关注标签。
74.本实施例，在得到非背景自注意力掩膜(1，196，196)后，非背景自注意力掩膜对人像填充分割图的196个小区块之间关联性进行判断，从而确定哪两个小区块需要标记关注标签，和哪两个小区块需要标记非关注标签。非背景自注意力掩膜中数值为1的元素所对应的行和列的两个小区块需要关注关联性，数值为0的元素所对应的行和列的两个小区块不需要关注关联性。
75.在一个实施例中，所述对所述非背景掩膜进行矩阵计算得到非背景自注意力掩膜，根据所述非背景自注意力掩膜对应的掩膜矩阵和所述人像填充分割图对应的分割图矩阵生成自注意力矩阵，包括：
76.提取所述非背景掩膜的每个小区块的特征进行矩阵计算得到非背景注意力掩膜；
77.及提取所述人像填充分割图的每个小区块的特征生成所述分割图矩阵；
78.读取所述掩膜矩阵的每个元素和所述分割图矩阵的每个元素进行矩阵相乘生成所述自注意力矩阵。
79.提取非背景掩膜的每个小区块的特征进行矩阵计算得到非背景注意力掩膜，非背景掩膜的特征是指在196个小区块中哪些区块是背景区域，哪些区块是非背景区域。提取人像填充分割图的特征(1，196，16x16x3像素)生成分割图矩阵，人像填充分割图的特征值是指1维度的196个小区块，每个小区块的像素16x16x3。3代表每个小区块还包含有rgb这3种颜色通道数。
80.根据非背景自注意力掩膜的二维矩阵数组得到掩膜矩阵，读取掩膜矩阵的每个元素和分割图矩阵的每个元素进行矩阵相乘生成自注意力矩阵，具体包括：根据矩阵的计算单元，将分割图矩阵进行矩阵计算，建立特征之间的关系，得到注意力矩阵。根据注意力矩阵的点乘单元，对分割图矩阵得到自注意力矩阵和掩膜矩阵对应位置的数值进行相乘，将每个对应位置的数值相乘的积输入该注意力矩阵，得到(1，196，196像素)自注意力矩阵。该自注意力矩阵的作用是利用矩阵的query(giver)和key(receiver)的内积除以其维度的平
方根，每个小区块通过query来匹配作为注意力的目标小区块的key，从而对所有小区块产生注意力。
81.在一个实施例中，所述根据所述非背景自注意力掩膜，对所述背景区域的小区块两两为一组标记关注标签，包括：
82.根据所述非背景自注意力掩膜，对所述人像填充分割图的每个小区块之间的关联性进行判断；
83.若判断两两为一组的小区块的数值同时大于或等于预设值，则将所述两两为一组的小区块作为背景区域并标记为关注标签。
84.在一个实施例中，在所述若判断两两为一组的小区块的数值同时大于或等于预设值，则将所述两两为一组的小区块作为背景区域并标记为关注标签之后，该方法包括：
85.若判断两两为一组的小区块的数值同时小于预设值，则将所述两两为一组的小区块作为非背景区域并标记为非关注标签。
86.根据非背景自注意力掩膜，对所有(196个)的小区块之间的关联性进行判断，对于关联性的判断规则为：两个小区块的数值的元素会存在以下四种情况(0，0)或(0，1)或(1，1)或(1，0)，其中，(0，0)代表人像区域与人像区域(例如，一张待处理图像包含有多个人像)、人像区域与填充区域，(0，1)代表人像区域与背景区域、填充区域与背景区域。两个区域是指不用区分区域的相邻关系，指任意两个区域相隔很远或很近都会建立关联，非背景与背景区域建立的关联(0，1)以及背景区域建立的关联(0，0)都标记为非关注，标记为非关注标签的区域不需要关注，网络不需要对其学习。
87.步骤s40：将所述自注意力矩阵和所述分割图矩阵输入预设自注意力模型进行矩阵相乘，根据所述关注标签，从所述矩阵相乘的结果中提取所有数值为1的元素在所述人像填充分割图中对应的小区块的特征，作为所述待处理图像的背景特征。
88.本实施例，预设自注意力模型包含多个自注意力模块和输出全连接层，每个自注意力模块包括由三个全连接线性单元、第一矩阵计算单元、点乘单元、softmax单元组成的第一特征网络，及由第二矩阵计算单元、第一全连接单元、激活单元、第二全连接单元、归一化单元组成的第二特征网络，自注意力矩阵和分割图矩阵分别经过第一特征网络、第二特征网络进行特征计算后，再输入输出全连接层参与处理。
89.以第一自注意力模块举例说明，在自注意力矩阵与人像填充分割图输入第一自注意力模块的第一特征网络后，将人像填充分割图的特征(1，196，16x16x3像素)复制成三份，每份的特征为(1，196，16x16x3像素)，第一份特征输入第一全连接线性单元进行特征维度改变(例如压缩和扩展)，输出特征为(1，196，512)，第二份特征输入第二全连接线性单元进行特征维度改变，输出特征为(1，512，196)，将特征为(1，196，512)与特征为(1，512，196)输入第一矩阵计算单元进行矩阵运算，建立特征之间的关系得到注意力矩阵(1，196，196)，根据点乘单元对注意力矩阵(1，196，196)和自注意力矩阵(1，196，196)对应位置元素进行相乘，输出与输入的矩阵大小一致的矩阵(1，196，196)。
90.在本实施例中，根据关注标签，运行softmax单元的函数对输出矩阵(1，196，196)各个位置的相对注意力值进行计算，只对矩阵相乘的结果中提取所有数值为1的元素在人像填充分割图中对应的小区块的特征进行计算，得到第一输出结果(1，196，512)。
91.在其他实施例中，还可以根据非关注标签，运行softmax单元的函数对输出矩阵
(1，196，196)各个位置的相对注意力值进行计算，对矩阵相乘的结果中提取所有数值为0的元素在人像填充分割图中对应的小区块的特征进行忽略计算，从而忽略该小区块的注意力值，实现对人像填充分割图的非背景区域的位置信息进行屏蔽，只对为1的数值对应的小区块的特征进行计算，得到第一输出结果(1，196，512)。也就是说，可以选择关注标签或非关注标签对其对应的区域进行提取或屏蔽。
92.在第一自注意力模块的第二特征网络中，将第一输出结果与复制的第三份的特征输入第三全连接线性单元的结果输入第二矩阵计算单元对，得到第二输出结果(1，196，512)，将第二输出结果再输入第一全连接单元、激活单元、第二全连接单元、归一化单元中处理得到人像填充分割图的处理后矩阵(1，196，786)，其中，激活单元对输入的第二输出结果进行非线性处理，及归一化单元中处理输入的第二输出结果进行归一化操作，改变输入的分布，使得网络更容易学习，不改变输入的第二输出结果的矩阵大小。
93.最后，将第一自注意力模块输出的人像填充分割图的处理后矩阵(1，196，786)和注意力矩阵(1，196，196)，再输入第二自注意力模块至最后一个自注意力模块，执行上述第一自注意力模块的第一特征网络、第二特征网络的所有处理步骤，最后通过输出全连接层输出为待处理图像的背景区域的特征(1，512)。
94.在利用上述预设自注意力模型提取背景区域的特征之前，通过深度学习框架搭建自注意力模型的深度网络结构，通过收集的自拍图像数据集训练深度学习网络模型，直自注意力模型型收敛。自注意力模型输入为经过预处理步骤后的人像填充分割图(1，196，786)786＝16x16x3(像素点)，输出为(1，512)维特征。
95.本发明对待处理图像的背景特征提取的技术构思为：将待处理图像统一尺寸格式化，将待处理图像进行填充、分割等处理，得到人像填充分割图，对人像填充分割图的每个小区块展开成一维形状生成非背景掩膜。利用人像填充分割图分割成的多个小区块，解决了现有技术中人像部分在图像中的面积占比较大的问题，让预设自注意力模型能够对每个像素点区域进行有效的分辨和分析。
96.对人像填充分割图生成分割图矩阵，对非背景掩膜进行矩阵计算得到非背景自注意力掩膜，根据非背景自注意力掩膜和分割图矩阵生成自注意力矩阵，根据非背景自注意力掩膜，背景区域的小区块两两为一组标记关注标签，根据关注标签对人像填充分割图的非背景区域的位置信息进行屏蔽，使得人像部分在待处理图像的位置信息不能够干扰背景区域的特征提取，提高了预设自注意力模型对待处理图像的背景区域的特征的准确率。
97.而本发明没有采用现有技术中cnn模型来提取特征，避免了cnn模型对每个小区块的关注判断性不够准确的问题，主要通过对背景区域和非背景区域标记标签，让预设自注意力模型只对关注标签的区域提取特征，对非关注标签的区域的位置信息进行屏蔽。
98.参照图2所示，为本发明图像背景特征提取装置100的功能模块示意图。
99.本发明所述图像背景特征提取装置100可以安装于电子设备中。根据实现的功能，所述图像背景特征提取装置100可以包括分割模块110、分割模块20、标记模块130及输出模块140。本发所述模块也可以称之为单元，是指一种能够被电子设备处理器所执行，并且能够完成固定功能的一系列计算机程序段，其存储在电子设备的存储器中。
100.本实施例，关于各模块/单元的功能如下：
101.分割模块110：用于利用预设分割模型对待处理图像进行分割，得到所述待处理图
像的人像掩膜，合并所述人像掩膜与所述待处理图像得到人像分割图；
102.排序模块120：用于对所述人像分割图进行填充得到填充图像，分割所述填充图像得到n x n个小区块的人像填充分割图，将所述n x n个小区块展开成1 xn2的非背景掩膜，所述人像填充分割图包含有背景区域、非背景区域；
103.标记模块130：用于对所述非背景掩膜进行矩阵计算得到非背景自注意力掩膜，根据所述非背景自注意力掩膜对应的掩膜矩阵和所述人像填充分割图对应的分割图矩阵生成自注意力矩阵，根据所述非背景自注意力掩膜，对所述背景区域的小区块两两为一组标记关注标签；
104.输出模块140：用于将所述自注意力矩阵和所述分割图矩阵输入预设自注意力模型进行矩阵相乘，根据所述关注标签，从所述矩阵相乘的结果中提取所有数值为1的元素在所述人像填充分割图中对应的小区块的特征，作为所述待处理图像的背景特征。
105.在一个实施例中，所述利用预设分割模型对待处理图像进行分割，得到所述待处理图像的人像掩膜，包括：
106.对所述待处理图像进行特征提取，得到所述待处理图像的特征图；
107.根据预设人像区域取选框对所述特征图的人像部分进行分割，得到所述人像掩膜。
108.在一个实施例中，所述根据预设人像区域取选框对所述特征图的人像部分进行分割，得到所述人像掩膜，包括：
109.对所述特征图进行上采样处理，扩充所述特征图至预设分辨率得到扩充特征图；
110.根据所述人像区域取选框，区分所述扩充特征图的每一个像素得到所述特征图的人像部分并进行分割，根据分割的人像部分生成所述待处理图像的人像掩膜。
111.在一个实施例中，所述对所述人像分割图进行填充得到填充图像，包括：
112.读取所述人像分割图的各边长的数值，选取数值最大的一条边；
113.以所述选取的边对所述人像分割图参照预设正方框按比例进行缩放，以使所述选取的边的边长等于所述预设正方框的边长；
114.对所述人像分割图未超过预设正方框的区域进行图像填充，得到所述填充图像。
115.在一个实施例中，所述对所述非背景掩膜进行矩阵计算得到非背景自注意力掩膜，根据所述非背景自注意力掩膜对应的掩膜矩阵和所述人像填充分割图对应的分割图矩阵生成自注意力矩阵，包括：
116.提取所述非背景掩膜的每个小区块的特征进行矩阵计算得到非背景注意力掩膜；
117.及提取所述人像填充分割图的每个小区块的特征生成所述分割图矩阵；
118.读取所述掩膜矩阵的每个元素和所述分割图矩阵的每个元素进行矩阵相乘生成所述自注意力矩阵。
119.在一个实施例中，所述根据所述非背景自注意力掩膜，对所述背景区域的小区块两两为一组标记关注标签，包括：
120.根据所述非背景自注意力掩膜，对所述人像填充分割图的每个小区块之间的关联性进行判断；
121.若判断两两为一组的小区块的数值同时大于或等于预设值，则将所述两两为一组的小区块作为背景区域并标记为关注标签。
122.在一个实施例中，在所述若判断两两为一组的小区块的数值同时大于或等于预设值，则将所述两两为一组的小区块作为背景区域并标记为关注标签之后，该方法包括：
123.若判断两两为一组的小区块的数值同时小于预设值，则将所述两两为一组的小区块作为非背景区域并标记为非关注标签。
124.参照图3所示，为本发明电子设备1较佳实施例的示意图。
125.该电子设备1包括但不限于：存储器11、处理器12、显示器13及网络接口14。所述电子设备1通过网络接口14连接网络，获取原始数据。其中，所述网络可以是企业内部网(intranet)、互联网(internet)、全球移动通讯系统(globalsystemofmobilecommunication，gsm)、宽带码分多址(widebandcodedivisionmultipleaccess，wcdma)、4g网络、5g网络、蓝牙(bluetooth)、wi-fi、通话网络等无线或有线网络。
126.其中，存储器11至少包括一种类型的可读介质，所述可读介质包括闪存、硬盘、多媒体卡、卡型存储器(例如，sd或dx存储器等)、随机访问存储器(ram)、静态随机访问存储器(sram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、可编程只读存储器(prom)、磁性存储器、磁盘、光盘等。在一些实施例中，所述存储器11可以是所述电子设备1的内部存储单元，例如该电子设备1的硬盘或内存。在另一些实施例中，所述存储器11也可以是所述电子设备1的外部存储设备，例如该电子设备1配备的插接式硬盘，智能存储卡(smartmediacard，smc)，安全数字(securedigital，sd)卡，闪存卡(flashcard)等。当然，所述存储器11还可以既包括所述电子设备1的内部存储单元也包括其外部存储设备。本实施例中，存储器11通常用于存储安装于所述电子设备1的操作系统和各类应用软件，例如图像背景特征提取10的程序代码等。此外，存储器11还可以用于暂时地存储已经输出或者将要输出的各类数据。
127.处理器12在一些实施例中可以是中央处理器(centralprocessingunit，cpu)、控制器、微控制器、微处理器、或其他数据处理芯片。该处理器12通常用于控制所述电子设备1的总体操作，例如执行数据交互或者通信相关的控制和处理等。本实施例中，所述处理器12用于运行所述存储器11中存储的程序代码或者处理数据，例如运行图像背景特征提取10的程序代码等。
128.显示器13可以称为显示屏或显示单元。在一些实施例中显示器13可以是led显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(organiclight-emittingdiode，oled)触摸器等。显示器13用于显示在电子设备1中处理的信息以及用于显示可视化的工作界面，例如显示数据统计的结果。
129.网络接口14可选地可以包括标准的有线接口、无线接口(如wi-fi接口)，该网络接口14通常用于在所述电子设备1与其它电子设备之间建立通信连接。
130.图3仅示出了具有组件11-14以及图像背景特征提取10的电子设备1，但是应理解的是，并不要求实施所有示出的组件，可以替代的实施更多或者更少的组件。
131.可选地，所述电子设备1还可以包括用户接口，用户接口可以包括显示器(display)、输入单元比如键盘(keyboard)，可选的用户接口还可以包括标准的有线接口、无线接口。可选地，在一些实施例中，显示器可以是led显示器、液晶显示器、触控式液晶显示器以及有机发光二极管(organiclight-emittingdiode，oled)触摸器等。其中，显示器也可以适当的称为显示屏或显示单元，用于显示在电子设备1中处理的信息以及用于显示可
视化的用户界面。
132.该电子设备1还可以包括射频(radiofrequency，rf)电路、传感器和音频电路等等，在此不再赘述。
133.在上述实施例中，处理器12执行存储器11中存储的图像背景特征提取10时可以实现如下步骤：
134.利用预设分割模型对待处理图像进行分割，得到所述待处理图像的人像掩膜，合并所述人像掩膜与所述待处理图像得到人像分割图；
135.对所述人像分割图进行填充得到填充图像，分割所述填充图像得到n x n个小区块的人像填充分割图，将所述n x n个小区块展开成1 xn2的非背景掩膜，所述人像填充分割图包含有背景区域、非背景区域；
136.对所述非背景掩膜进行矩阵计算得到非背景自注意力掩膜，根据所述非背景自注意力掩膜对应的掩膜矩阵和所述人像填充分割图对应的分割图矩阵生成自注意力矩阵，根据所述非背景自注意力掩膜，对所述背景区域的小区块两两为一组标记关注标签；
137.将所述自注意力矩阵和所述分割图矩阵输入预设自注意力模型进行矩阵相乘，根据所述关注标签，从所述矩阵相乘的结果中提取所有数值为1的元素在所述人像填充分割图中对应的小区块的特征，作为所述待处理图像的背景特征。
138.所述存储设备可以为电子设备1的存储器11，也可以为与电子设备1通讯连接的其它存储设备。
139.关于上述步骤的详细介绍，请参照上述图2关于图像背景特征提取装置100实施例的功能模块图以及图1关于图像背景特征提取方法实施例的流程图的说明。
140.此外，本发明实施例还提出一种计算机可读介质，所述计算机可读介质可以是非易失性的，也可以是易失性的。该计算机可读介质可以是硬盘、多媒体卡、sd卡、闪存卡、smc、只读存储器(rom)、可擦除可编程只读存储器(eprom)、便携式紧致盘只读存储器(cd-rom)、usb存储器等等中的任意一种或者几种的任意组合。所述计算机可读介质中包括存储数据区和存储程序区，存储数据区存储根据区块链节点的使用所创建的数据，存储程序区存储有图像背景特征10，所述图像背景特征提取10被处理器执行时实现如下操作：
141.利用预设分割模型对待处理图像进行分割，得到所述待处理图像的人像掩膜，合并所述人像掩膜与所述待处理图像得到人像分割图；
142.对所述人像分割图进行填充得到填充图像，分割所述填充图像得到n x n个小区块的人像填充分割图，将所述n x n个小区块展开成1 xn2的非背景掩膜，所述人像填充分割图包含有背景区域、非背景区域；
143.对所述非背景掩膜进行矩阵计算得到非背景自注意力掩膜，根据所述非背景自注意力掩膜对应的掩膜矩阵和所述人像填充分割图对应的分割图矩阵生成自注意力矩阵，根据所述非背景自注意力掩膜，对所述背景区域的小区块两两为一组标记关注标签；
144.将所述自注意力矩阵和所述分割图矩阵输入预设自注意力模型进行矩阵相乘，根据所述关注标签，从所述矩阵相乘的结果中提取所有数值为1的元素在所述人像填充分割图中对应的小区块的特征，作为所述待处理图像的背景特征。
145.本发明之计算机可读介质的具体实施方式与上述图像背景特征提取方法的具体实施方式大致相同，在此不再赘述。
146.在另一个实施例中，本发明所提供的图像背景特征提取方法，为进一步保证上述所有出现的数据的私密和安全性，上述所有数据还可以存储于一区块链的节点中。例如关注标签、背景特征，这些数据均可存储在区块链节点中。
147.需要说明的是，本发明所指区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式。区块链(blockchain)，本质上是一个去中心化的数据库，是一串使用密码学方法相关联产生的数据块，每一个数据块中包含了一批次网络交易的信息，用于验证其信息的有效性(防伪)和生成下一个区块。区块链可以包括区块链底层平台、平台产品服务层以及应用服务层等。
148.需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且该方法还包括没有明确列出的其他要素，或者是该方法还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
149.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，电子装置，或者网络设备等)执行本发明各个实施例所述的方法。
150.以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。