人像分割图片的优化方法、装置及相关组件与流程

1.本发明涉及图像处理领域，尤其涉及一种人像分割图片的优化方法、装置及相关组件。


背景技术：

2.视频人像分割是指对视频流的每一帧进行分割处理，将人体轮廓与图像背景进行分离，返回分割后的二值图、灰度图或含有透明背景的前景图；人像分割算法往往得到的是一张灰度蒙版图像mask，该图像是用来将原输入图像的前景人像单独进行分割，以便在前景人像或背景上叠加更多其他的操作，比如替换背景、在人形边缘增加特效等等。
3.mask通常是小分辨的灰度(或二值)图像，比如在新输入的一张图像或者对视频进行解码后的每一帧图像上进行人像分割，原图像是1280*720的大小，通过人像分割算法处理后的输出图像分辨率大小可能只有224*224。
4.一般的处理方案或者技术，包括以下的方法单独使用或者组合的方案：1)利用插值算法直接将图像大小由小分辨率放大到原图大小的分辨率，该种方法会产生较明显的锯齿；2)用1)中的方法后进行边缘平滑(通常采用均值滤波或者高斯滤波等等)，可以减少一定的锯齿，但是会包含一部分原图背景，即较明显的非前景人物的模糊“多余”边缘，在视频中呈现出边缘不够干净和流畅。


技术实现要素：

5.本发明的目的是提供一种人像分割图片的优化方法、装置及相关组件，旨在解决现有图像优化方法处理的视频存在图像锯齿以及图像边缘不够干净和流畅的问题。
6.为解决上述技术问题，本发明的目的是通过以下技术方案实现的：提供一种人像分割图片的优化方法，其包括：
7.在将输入的初始视频解码成图像序列后，利用人像分割模型处理所述图像序列的每一帧原图，对应得到尺寸缩小后的第一中间图；
8.对所述第一中间图进行均值滤波处理，并对处理后的第一中间图上每一像素点的像素值做补全处理，得到第二中间图，使所述第一中间图中低于像素阈值的像素值变的更小，高于像素阈值的像素值变的更大，且各像素点的像素值在0～1之间；
9.对所述第二中间图进行均值滤波处理，并遍历所有处理后的第二中间图的所有边缘像素点，判断当前边缘像素点的像素值是否大于预设的优化阈值，若当前边缘像素点的像素值大于预设的优化阈值，则保留对应的像素值，若当前边缘像素点的像素值小于预设的优化阈值，则对当前边缘像素点进行内缩优化处理，得到第三中间图；
10.放大所述第三中间图，得到与所述原图同等大小的目标图。
11.另外，本发明要解决的技术问题是还在于提供一种人像分割图片的优化装置，其包括：
12.缩小单元，用于在将输入的初始视频解码成图像序列后，利用人像分割模型处理
所述图像序列的每一帧原图，对应得到尺寸缩小后的第一中间图；
13.预处理单元，用于对所述第一中间图进行均值滤波处理，并对处理后的第一中间图上每一像素点的像素值做补全处理，得到第二中间图，使所述第一中间图中低于像素阈值的像素值变的更小，高于像素阈值的像素值变的更大，且各像素点的像素值在0～1之间；
14.优化单元，用于对所述第二中间图进行均值滤波处理，并遍历所有处理后的第二中间图的所有边缘像素点，判断当前边缘像素点的像素值是否大于预设的优化阈值，若当前边缘像素点的像素值大于预设的优化阈值，则保留对应的像素值，若当前边缘像素点的像素值小于预设的优化阈值，则对当前边缘像素点进行内缩优化处理，得到第三中间图；
15.放大单元，用于放大所述第三中间图，得到与所述原图同等大小的目标图。
16.另外，本发明实施例又提供了一种计算机设备，其包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的人像分割图片的优化方法。
17.另外，本发明实施例还提供了一种计算机可读存储介质，其中所述计算机可读存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述第一方面所述的人像分割图片的优化方法。
18.本发明实施例公开了一种人像分割图片的优化方法、装置及相关组件，其中，方法包括：在将输入的初始视频解码成图像序列后，利用人像分割模型处理所述图像序列的每一帧原图，对应得到尺寸缩小后的第一中间图；对所述第一中间图进行均值滤波处理，并对处理后的第一中间图上每一像素点的像素值做补全处理，得到第二中间图，使所述第一中间图中低于像素阈值的像素值变的更小，高于像素阈值的像素值变的更大，且各像素点的像素值在0～1之间；对所述第二中间图进行均值滤波处理，并遍历所有处理后的第二中间图的所有边缘像素点，判断当前边缘像素点的像素值是否大于预设的优化阈值，若当前边缘像素点的像素值大于预设的优化阈值，则保留对应的像素值，若当前边缘像素点的像素值小于预设的优化阈值，则对当前边缘像素点进行内缩优化处理，得到第三中间图；放大所述第三中间图，得到与所述原图同等大小的目标图。该方法能够在人像分割后,对产生的第一中间图进行优化处理，实现图像边缘过渡自然，无明显锯齿和多余模糊的边缘，进而使得重新编码后的视频人像前景的边缘看起来更加稳定无明显波浪状，从而获得较好的合成效果。
附图说明
19.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1为本发明实施例提供的人像分割图片的优化方法的流程示意图；
21.图2为本发明一具体实施例提供的人像分割图片的优化方法的流程示意图；
22.图3为本发明实施例提供的一窗口的结构示意图；
23.图4为本发明实施例提供的人像分割图片的优化方法的子流程示意图
24.图5为本发明实施例提供的人像分割图片的优化装置的示意性框图；
25.图6为本发明实施例提供的计算机设备的示意性框图。
具体实施方式
26.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
27.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
28.还应当理解，在此本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
29.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
30.请参阅图1，图1为本发明实施例提供的人像分割图片的优化方法的流程示意图；
31.如图1所示，该方法包括步骤s101～s104。
32.s101、在将输入的初始视频解码成图像序列后，利用人像分割模型处理所述图像序列的每一帧原图，对应得到尺寸缩小后的第一中间图；
33.s102、对所述第一中间图进行均值滤波处理，并对处理后的第一中间图上每一像素点的像素值做补全处理，得到第二中间图，使所述第一中间图中低于像素阈值的像素值变的更小，高于像素阈值的像素值变的更大，且各像素点的像素值在0～1之间；
34.s103、对所述第二中间图进行均值滤波处理，并遍历所有处理后的第二中间图的所有边缘像素点，判断当前边缘像素点的像素值是否大于预设的优化阈值，若当前边缘像素点的像素值大于预设的优化阈值，则保留对应的像素值，若当前边缘像素点的像素值小于预设的优化阈值，则对当前边缘像素点进行内缩优化处理，得到第三中间图；
35.s104、放大所述第三中间图，得到与所述原图同等大小的目标图。
36.在实际图像处理过程中，针对人像分割的分割效果准确的基础上(不存在人像分割错误)，如果想要获得的人物前景边缘看起来平滑自然且没有明显锯齿，并且如果更换新的背景在融合之后边缘具有自然的过渡感，那么对于mask的处理极为重要，需要说明的是，mask表示经过人像分割模型处理后得到的图像，例如本技术中的第一中间图、第二中间图以及第三中间图。
37.结合图2，在本实施例中，首先利用人像分割技术对视频帧序列进行前景的人物分割，然后对分割出来的原图依次进行缩小、均值滤波、补全、均值滤波以及内缩优化处理，最后放大得到与原图大小一致的目标图，本技术的优化提升方法能够在人像分割后,对产生的第一中间图进行优化处理，实现图像边缘过渡自然，无明显锯齿和多余模糊的边缘，进而使得重新编码后的视频人像前景的边缘看起来更加稳定无明显波浪状，从而获得较好的合成效果。
38.在一实施例中，所述步骤s101包括以下步骤：
39.s10、将输入的初始视频解码成图像序列，并利用人像分割模型对所述图像序列中的每一帧原图进行人像分割，得到尺寸为m
×
n的灰度图或二值图；
40.s11、利用双三次差值方法对所述灰度图或二值图进行缩小处理，得到0.5m
×
0.5n的第一中间图。
41.在本实施例中，将初始视频解码成图像序列后，利用人像分割模型对图像序列中的原图逐帧处理，得到尺寸为m
×
n的灰度图或二值图，其中，灰度图或二值图用于从原图中获取人像前景以及合成新图像，并且灰度图中的每一个像素点的像素值属于0～1之间，0值表示该像素点属于背景图，1值表示该像素点属于人物前景，而处于0～1之间的数值则表示该像素点有多少概率是属于前景图像的，其中，需要说明的是，二值图中像素点的像素值只有1和0两个值，表示该像素点不是前景就是背景。
42.需要说明的是，人像分割模型采用基于深度学习的方法进行处理，例如分别以hrnetv2和efficientnet为主干网络的模型进行人像分割处理，灰度度或二值图就是经过人像分割模型处理后的输出结果，根据不同的人像分割模型处理得到的灰度度或二值图的分辨率会不同。
43.在所述步骤s11中，利用双三次差值方法对所述灰度图或二值图进行缩小处理，得到0.5m
×
0.5n的第一中间图即将灰度图或二值图缩小了0.5倍，在实际应用场景下，也可以将灰度图或二值图缩小至其他的倍数，但缩小的倍数优先设置在0.3～0.6的范围之间，若是缩小的倍数取值过小，在最后还原到原图同等大小时会有明显的锯齿感，而缩小的倍数取值过大会增加处理速度。
44.需要说明的是，双三次差值即函数f在(x，y)的值可以通过矩形网络中最近的十六个采样点的加权平均得到，在本实施例中需要使用两个多项式差值三次函数，每个方向使用一个，其中，双三次插值公式为：
[0045][0046]
其中，a(i，j)即加权系数；
[0047]
在本实施例中，加权系数按照下式进行求解：
[0048][0049]
其中，a＝-0.5。
[0050]
具体一实施例中，在所述步骤s102中，选用比较简单的均值滤波可以获得比较好的平滑过渡，且使用的算法简单并且速度快，需要说明的是，均值平滑是指对每一个元素，在以其为中心的窗口内，取领域像素点的像素值的平均值来代替该像素点的像素值，窗口一般选择3
×
3或者5
×
5等奇数值。
[0051]
如图3所示，以值为0.3的这一像素点为中心，覆盖3
×
3的窗口，进行如下计算：
[0052]
value＝(0.3
×
1+0.4
×
1+0.15
×
1+0.01
×
1+0.3
×
1+0.58
×
1+0.77
×
1+0.14
×
1+0.35
×
1)/9；
[0053]
将计算得到的value的值替换0.3，之后划窗向右移动一个像素，以0.58为中心的像素点为中心进行计算，以此类推，划窗先从图像开始处向右移动到边缘后，再返回来向下
的一个像素点为中心依次计算并向右滑动直到边缘，值得注意的是，本技术进行多个划窗尺度测试后发现，选择7
×
7的划窗可以获得更好的效果。
[0054]
在一实施例中，所述步骤s102中对处理后的第一中间图上每一像素点的像素值做补全处理，得到第二中间图，包括：
[0055]
s20、按下式对当前像素点的像素值进行补全：
[0056]i*(x，y)
＝p1×
(p1/s)
[0057]
其中，p1表示第一中间图第x行、第y列的像素点的像素值，s表示像素阈值；
[0058]
s21、按下式对当前像素点的像素值进行截取：
[0059][0060]
其中，i
(x，y)
表示第二中间图第x行、第y列的像素点的像素值。
[0061]
在本实施例中，在人像分割即所述步骤s10执行的过程中，实际上会出现错误分割的情况，比如将背景误以为是前景人像，这部分的每一个像素点的像素值会大于0，且该部分的像素点的像素值会更接近于0；又或者将背景人像身体的某些部分误分割成背景，这部分的每一个像素点的像素值小于1，且该部分的像素点的像素值会更接近于1。
[0062]
所以本技术通过上述公式对像素点的像素值进行补全，即希望大的像素点的像素值越大，增加被分成前景的概率；希望小的像素点的像素值越小，增加被分成背景的概率。假设像素阈值为0.39，如果p1＝0.6，那么计算后i
(x，y)
＝0.92；如果p1＝0.1，那么计算后i
(x，y)
＝0.025，同时，当i
*(x，y)
大于1时，令i
(x，y)
等于1，当i
*(x，y)
小于1时，令i
(x，y)
等于0，上述公式的计算会使得人身体部分误分割的大于像素阈值的像素点的像素值，其值经过计算后会更大，表示更接近前景，同理可知，使得背景误分割的低于像素阈值的像素点的像素值经过计算后会更小，更接近背景。
[0063]
更进一步的，所述像素阈值的取值范围为0.27-0.52。
[0064]
根据实际情况，在0.27-0.52区间选择像素阈值，具有较好的补全效果。
[0065]
在一实施例中，所述步骤s103中的所述若当前边缘像素点的像素值小于预设的优化阈值，则对当前边缘像素点进行内缩优化处理，得到第三中间图，包括：
[0066]
s30、按下式对当前边缘像素点的像素值进行内部缩优化处理：
[0067]
ii
(x，y)
＝p2×
(p2/retrackthreshold)
[0068]
其中，p2表示第二中间图第x行、第y列的当前边缘像素点的像素值，ii
(x，y)
表示第三中间图中第x行、第y列的像素点的像素值，retrackthreshold表示优化阈值。
[0069]
需要说明的是，所述步骤s103和所述步骤s102中的均值滤波处理原理一致，但在所述步骤s103中的均值滤波的划窗优先设置为3
×
3，在提升速度的同时也能获得更好的效果。
[0070]
通过步骤s103中的优化阈值，判断是否需要对图像边缘做进一步处理，例如图像边缘处的像素点的越靠近前景，则该像素点的像素值越大，而越贴近人像边缘像素的像素值越小，若边缘像素点的像素值高于预设的优化阈值即表示边缘处开始处理的图像的最大
值，则不对该边缘像素点进行处理，而低于预设的优化阈值，则需要对该边缘像素点进行内缩优化处理。
[0071]
对于不同分辨率的视频来说，人像分割算法产生的第一中间图是统一的，边缘进行处理的程度应该与原图大小有关，由此作为参考来看，对于不同的分辨率大小的视频经过处理才都能获得好的处理效果，所以本技术通过步骤s30的公式对需要内缩优化处理的边缘像素点进行处理。
[0072]
更进一步的，所述优化阈值的取值范围为0.780-0.810。
[0073]
本技术进行多个优化阈值测试后发现，在范围为0.780-0.810的取值进行处理具有较佳的处理效果。
[0074]
参照图4，在一实施例中，所述步骤s30之后，包括：
[0075]
s40、记录当前边缘像素点的内缩优化处理的累计次数；
[0076]
s41、判断当前边缘像素点的内缩优化处理的累计次数是否大于预先设置的循环次数阈值，若当前边缘像素点的内缩优化处理的累计次数小于预先设置的循环次数阈值，则依次执行步骤s42以及s43；若当前边缘像素点的内缩优化处理的累计次数大于预先设置的循环次数阈值，则得到第三中间图；
[0077]
s42、对当前边缘像素点进行均值滤波处理；
[0078]
s43、对当前边缘像素点进行内缩优化处理，并返回步骤s40。
[0079]
通过在本实施例中对当前边缘像素点的内缩优化处理次数的判断，可以对进行过内缩优化处理的边缘像素点反复进行内缩优化处理，进而进一步提高优化边缘的效果。具体的，当n/n《2时，使n/n＝2，其中，n表示原图的宽，n表示第一中间图的宽，通过这样的设计，使得第二中间图中边缘像素点可以至少保证做2次边缘内缩的处理，来达到优化边缘的效果。
[0080]
在所述步骤s104中，利用双三次差值方法放大所述第三中间图，得到与所述原图同等大小的目标图。
[0081]
需要注意的是，步骤s104和步骤s11中双三次差值方法原理是一致的，最终将大小为0.5m
×
0.5n大小的第三中间图重新放大至m
×
n的目标图，通过本技术的优化提升的方法能够在人像分割后,对产生的灰度图或二值图进行优化处理，实现图像边缘过渡自然，无明显锯齿和多余模糊的边缘，进而使得重新编码后的视频人像前景的边缘看起来更加稳定无明显波浪状，从而获得较好的合成效果。
[0082]
本发明实施例还提供一种人像分割图片的优化装置，该人像分割图片的优化装置用于执行前述人像分割图片的优化方法的任一实施例。具体地，请参阅图5，图5是本发明实施例提供的人像分割图片的优化装置的示意性框图。
[0083]
如图5所示，人像分割图片的优化装置500，包括：
[0084]
缩小单元501，用于在将输入的初始视频解码成图像序列后，利用人像分割模型处理所述图像序列的每一帧原图，对应得到尺寸缩小后的第一中间图；
[0085]
预处理单元502，用于对所述第一中间图进行均值滤波处理，并对处理后的第一中间图上每一像素点的像素值做补全处理，得到第二中间图，使所述第一中间图中低于像素阈值的像素值变的更小，高于像素阈值的像素值变的更大，且各像素点的像素值在0～1之间；
[0086]
优化单元503，用于对所述第二中间图进行均值滤波处理，并遍历所有处理后的第二中间图的所有边缘像素点，判断当前边缘像素点的像素值是否大于预设的优化阈值，若当前边缘像素点的像素值大于预设的优化阈值，则保留对应的像素值，若当前边缘像素点的像素值小于预设的优化阈值，则对当前边缘像素点进行内缩优化处理，得到第三中间图；
[0087]
放大单元504，用于放大所述第三中间图，得到与所述原图同等大小的目标图。
[0088]
该装置能够在人像分割后,对产生的灰度图或二值图进行优化处理，实现图像边缘过渡自然，无明显锯齿和多余模糊的边缘，进而使得重新编码后的视频人像前景的边缘看起来更加稳定无明显波浪状，从而获得较好的合成效果。
[0089]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0090]
上述人像分割图片的优化装置可以实现为计算机程序的形式，该计算机程序可以在如图6所示的计算机设备上运行。
[0091]
请参阅图6，图6是本发明实施例提供的计算机设备的示意性框图。该计算机设备1100是服务器，服务器可以是独立的服务器，也可以是多个服务器组成的服务器集群。
[0092]
参阅图6，该计算机设备1100包括通过系统总线1101连接的处理器1102、存储器和网络接口1105，其中，存储器可以包括非易失性存储介质1103和内存储器1104。
[0093]
该非易失性存储介质1103可存储操作系统11031和计算机程序11032。该计算机程序11032被执行时，可使得处理器1102执行人像分割图片的优化方法。
[0094]
该处理器1102用于提供计算和控制能力，支撑整个计算机设备1100的运行。
[0095]
该内存储器1104为非易失性存储介质1103中的计算机程序11032的运行提供环境，该计算机程序11032被处理器1102执行时，可使得处理器1102执行人像分割图片的优化方法。
[0096]
该网络接口1105用于进行网络通信，如提供数据信息的传输等。本领域技术人员可以理解，图6中示出的结构，仅仅是与本发明方案相关的部分结构的框图，并不构成对本发明方案所应用于其上的计算机设备1100的限定，具体的计算机设备1100可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0097]
本领域技术人员可以理解，图6中示出的计算机设备的实施例并不构成对计算机设备具体构成的限定，在其他实施例中，计算机设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。例如，在一些实施例中，计算机设备可以仅包括存储器及处理器，在这样的实施例中，存储器及处理器的结构及功能与图6所示实施例一致，在此不再赘述。
[0098]
应当理解，在本发明实施例中，处理器1102可以是中央处理单元(central processing unit，cpu)，该处理器1102还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0099]
在本发明的另一实施例中提供计算机可读存储介质。该计算机可读存储介质可以为非易失性的计算机可读存储介质。该计算机可读存储介质存储有计算机程序，其中计算
机程序被处理器执行时实现本发明实施例的人像分割图片的优化方法。
[0100]
所述存储介质为实体的、非瞬时性的存储介质，例如可以是u盘、移动硬盘、只读存储器(read-only memory，rom)、磁碟或者光盘等各种可以存储程序代码的实体存储介质。
[0101]
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的设备、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0102]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。