一种基于高低频的实时祛斑祛痘方法、装置、设备、介质与流程

1.本发明涉及图像实时处理技术领域，特别涉及一种基于高低频的实时祛斑祛痘方法、装置、设备、介质。


背景技术：

2.目前市面上的一些磨皮软件或者ps插件，让后期处理皮肤变得非常的快捷或者方便，但是在安装或者使用上都会出现各种各样的问题，例如闪退，程序不兼容等问题。同时随着移动互联网的发展，移动设备上也出现各式各样的人像美肤便捷app，但是会发现这些美肤app的实时斑痘祛除效果往往不够精准，涂抹感过重。随着近几年主流审美的持续变化，人们不在喜欢过度美化的皮肤处理效果，而是希望能够更加自然真实的祛除效果。因此申请人提出一种基于高低频的实时祛斑祛痘方法。
3.本技术立项时进行检索，检索到一篇对比文件；申请人北京小米移动软件有限公司申请的cn201711311729.0一种图像处理方法及设备，图像处理方法包括：获取待处理图像，确定瑕疵区域，所述瑕疵区域为皮肤瑕疵所在区域；删除所述瑕疵区域的原始像素，根据所述瑕疵区域周围的像素生成填充像素，以所述填充像素填充所述瑕疵区域；在所述瑕疵区域的周围选定纹理区域，所述纹理区域与所述瑕疵区域的像素颜色值接近程度满足预设条件；将所述纹理区域的像素信息融合到所述瑕疵区域。该技术方案在去除皮肤瑕疵的基础上，通过像素融合的方式将纹理区域的高频信息补充到瑕疵区域，起到纹理修复的作用，使得美颜效果更加自然。该申请与本技术较为接近，都采用图像的高频信息对瑕疵区域进行修复，都采用像素信息融合对图像进行最后的输出。但其区别在于本技术的像素信息融合为调整后的高低频信息融合；本技术的高低频信息处理方式不同；本技术还公开了实时祛斑祛痘；一般而言高频层保存纹理细节，低频层用来控制图像的颜色和光影，从高频层的角度出发去实现瑕疵的修复固然没有问题，但是单纯利用高频信息去做瑕疵修复，无法修复全部的瑕疵。尤其是实时预览的情况下一些暗纹等信息在高频信息处理过程受噪声等影响难以分辨，最后获得结果图也并不理想。同时对比文件的技术方案解决的是静态图像的祛痘祛斑(请参阅该申请说明书0066)。而本技术可以实现实时的祛斑祛痘，在低频信息中重点祛除痘印等表现较浅的瑕疵；通过将原图减去低频信息来获得高频信息，结合斑痘、黑头、皱纹等瑕疵表现进行识别和祛除技术，在不影响任何脸部光影的情况下，达到精准、自然的祛除效果，能够最大程度的在实时预览的条件下修复瑕疵。


技术实现要素：

4.(一)技术方案
5.本发明通过如下技术方案实现：一种基于高低频的实时祛斑祛痘方法，所述方法具体包括：
6.从智能终端设备或远程获取原始图像；
7.杂色滤波获取图像低频信息，检测所述低频信息建立蒙板区域；
8.利用所述蒙板区域，进行亮度对比度调整；
9.扣除低频信息获得图像的高频信息，检测瑕疵区域；
10.在瑕疵区域周边寻找正常皮肤信息，基于泊松融合进行瑕疵区域修复；
11.调整后的高低频信息进行线性融合，输出结果图。
12.作为上述方案的进一步说明，所述低频信息的获取方式采用杂色滤波，公式如下：
[0013][0014]
式中s
xy
表示中心在(x,y)，尺寸为m*n的矩形子图像窗口的坐标组；g(x,y)为图像在位置(x,y)的像素信息。i
low
(x,y)是中值滤波的结果。
[0015]
作为上述方案的进一步说明，所述蒙版区域包括暗沉和高亮痘印区域；
[0016]
所述痘印区域的建立具体的：
[0017]
a.根据图像的低频信息i
low
计算图像的灰度信息l
low
，公式如下：
[0018]
l
low
＝0.3*红色值+0.59*绿色值+0.11*蓝色值；
[0019]
b.对图像的灰度信息进行统计，得到直方图统计值；
[0020]
c.基于直方图均衡化对灰度图像进行处理，公式如下：
[0021][0022]
其中，n是图像中像素总和，nk是当前灰度级的像素个数，l是图像中可能的灰度级总数
[0023]
d.获取暗沉痘印区域flawmaskd和高亮痘印区域flawmask
l
，公式如下：
[0024][0025][0026]
其中l
src
为l
low
，l
blur
为l
src
经过导向滤波后的结果，t为分割阈值分别设置为td＝0.02和t
l
＝0.04。
[0027]
作为上述方案的进一步说明，所述利用所述蒙板区域，进行亮度对比度调整通过如下公式计算输出调整结果，公式如下：
[0028]
ref(i,j)＝0.5*(1-contrast)+i(i,j)*brightness*contrast
[0029]i′
low
(i,j)＝i
low
(i,j)*flawmask(i,j)+ref(i,j)*(255-flawmask(i,j))
[0030]
其中ref(i,j)为位置(x,y)的调整参数；i(i,j)为原始图像信息；在计算暗沉痘印区域flawmaskd时brightness的参数为1.131,contrast 的参数为1.158；在计算高亮痘印区域flawmask
l
时brightness的参数为.979,contrast的参数为0.639。
[0031]
作为上述方案的进一步说明，所述获得图像的高频信息，检测瑕疵区域具体的：
[0032]
a.通过原始图像减去所述低频信息或的高频信息，公式如下：
[0033]ihigh
(i,j)＝(i(i,j)-i
low
(i,j)*0.5+128
[0034]
式中，i
high
(i,j)为高频信息；i(i,j)为原始图像信息；i
low
(i,j)为低频信息；
[0035]
b.基于强光图层叠加原理对高频图像进行增强操作，公式如下：
[0036][0037]
c.基于增强后的图像进行瑕疵区域识别，识别方式如下：
[0038]
gray(i,j)＝max(i
high
(i,j).r,i
high
(i,j).g,i
high
(i,j).b)
[0039][0040]
其中gray(i,j)表示高频信息中在(i，j)位置的r、g、b三个颜色通道的最大颜色值；fleckmask(i,j)公式用于判断高频信息中在(i，j) 位置是否为瑕疵区域；式中td＝64和t
l
＝230。
[0041]
作为上述方案的进一步说明，所述在瑕疵区域周边寻找正常皮肤信息具体的：
[0042]
a.对瑕疵区域进行区域标记；
[0043]
b.针对单个瑕疵标记区域，计算其8邻域范围内以区域颜色欧式距离总和，其中数值最小的邻域作为参考区域；
[0044]
c.计算高频图像在瑕疵区域和参考区域的梯度场；
[0045]
d.用参考区域的梯度场替换瑕疵区域的梯度场；
[0046]
e.计算步骤d结果下瑕疵区域的散度场；
[0047]
f.用散度场和所述高频图像信息求解泊松等式，得到修复后的高频结果。
[0048]
作为上述方案的进一步说明，所述调整后的高低频信息进行线性融合，输出结果图具体的如下：
[0049]i′
(i,j)＝i
′
low
(i,j)+2*i
′
high
(i,j)-255
[0050]
式中i'(i,j)表示输出的结果；i'
low
(i,j)表示调整后的低频信息； i'
high
(i,j)表示调整后的高频信息。
[0051]
本发明还提出一种基于高低频的实时祛斑祛痘方法，其特征在于，所述装置包括：
[0052]
获取单元，用于获取待原始图像；
[0053]
处理单元：用于对原始图像进行杂色滤波获取图像低频信息，检测所述低频信息建立蒙板区域；利用所述蒙板区域，进行亮度对比度调整；扣除低频信息获得图像的高频信息，检测瑕疵区域；在瑕疵区域周边寻找正常皮肤信息，基于泊松融合进行瑕疵区域修复；调整后的高低频信息进行线性融合，输出结果图
[0054]
预览单元：用于预览处理单元输出的结果图。
[0055]
本发明还提出一种基于高低频的实时祛斑祛痘设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序能够被所述处理器执行以实现一种基于高低频的实时祛斑祛痘方法。
[0056]
本发明还提出一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行一
种基于高低频的实时祛斑祛痘方法。
[0057]
(三)有益效果
[0058]
本发明相对于现有技术，具有以下有益效果：由于根据斑痘、痘印等瑕疵在不同频率信息上分开检测，比起常用的识别方案能够检测的更多、更精准。由于在低频频率信息上对痘印等进行亮度对比度调整，可以在较浅的瑕疵上达到更加干净的祛除效果。由于在高频频率信息上使用邻近区域进行泊松融合填充，可以做到更加自然和真实的修复效果，没有违和感。
具体实施方式
[0059]
实施例
[0060]
下面对本发明作进一步的详细描述。特别指出的是，以下实施例仅用于说明本发明，但不对本发明的范围进行限定。同样的，以下实施例仅为本发明的部分实施例而非全部实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。以下结合实施例详细阐述本发明的内容。
[0061]
一种基于高低频的实时祛斑祛痘方法，所述方法具体包括：
[0062]
从智能终端设备或远程获取原始图像；需要进一步说明的是，原始图像的获取方式包括智能终端设备获取；智能终端设备可以包括智能手机、平板电脑、笔记本、可穿戴设备、车载智能终端、可视电话、会议终端等等。本实施例假设终端是智能手机，但本领域技术人员将理解的是，除了特别用于移动目的的原件以外，根据本发明的实施方式的构造也能够应用于固定类型的终端。所述的原始图像使用rgba数据。对于实时性要求高的应用场景，可以通过处理图像的明度通道(比如yuv格式的y通道，lab 格式的l通道)来进行瑕疵区域检测，再对全部的图像rgba数据中进行修复操作。
[0063]
杂色滤波获取图像低频信息具体的，对原始图像执行减少杂色滤波，从而获取图像的低频信息，命名为i
low
。减少杂色滤波，中值滤波是基于排序统计理论的一种能有效抑制噪声的非线性信号处理技术，中值滤波的基本原理是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近真实值，从而消除孤立的噪声点。因此选择在滤除噪声的同时能够很好保护边缘的中值滤波。计算公式为：
[0064][0065]
式中s
xy
表示中心在(x,y)，尺寸为m*n的矩形子图像窗口的坐标组；g(x,y)为图像在位置(x,y)的像素信息。i
low
(x,y)是中值滤波的结果。
[0066]
检测所述低频信息建立蒙板区域具体的对获取的低频信息进行暗沉和高亮痘印区域检测，从而获取对应的蒙板flawmaskd和flawmask
l
。
[0067]
a.根据图像的低频信息i
low
计算图像的灰度信息l
low
，公式如下：
[0068]
l
low
＝0.3*红色值+0.59*绿色值+0.11*蓝色值；需要进一步说明的是，此处所述的红色值、绿色值、蓝色值指的是rgb色彩值
[0069]
b.对图像的灰度信息进行统计，得到直方图统计值；
[0070]
c.基于直方图均衡化对灰度图像进行处理，公式如下：
[0071][0072]
其中，n是图像中像素总和，nk是当前灰度级的像素个数，l是图像中可能的灰度级总数
[0073]
d.获取暗沉痘印区域flawmaskd和高亮痘印区域flawmask
l
，公式如下：
[0074][0075][0076]
其中l
src
为l
low
，l
blur
为l
src
经过导向滤波后的结果，t为分割阈值分别设置为td＝0.02和t
l
＝0.04。需要进一步说明的是，此处采用的检测区域的方法采用阈值分割法，阈值分割的优点是计算简单、运算效率较高、速度快。
[0077]
利用所述蒙板区域，进行亮度对比度调整具体的利用获得的蒙板区域，对i
low
进行亮度对比度调整,从而提亮暗沉痘印区域和压暗痘印区域。
[0078]
亮度对比度调整通过如下公式计算输出调整结果，公式如下：
[0079]
ref(i,j)＝0.5*(1-contrast)+i(i,j)*brightness*contrast
[0080]i′
low
(i,j)＝i
low
(i,j)*flawmask(i,j)+ref(i,j)*(255-flawmask(i,j))
[0081]
其中ref(i,j)为位置(x,y)的调整参数；i(i,j)为原始图像信息；在计算暗沉痘印区域flawmaskd时brightness的参数为1.131,contrast 的参数为1.158；在计算高亮痘印区域flawmask
l
时brightness的参数为.979,contrast的参数为0.639。
[0082]
扣除低频信息获得图像的高频信息，检测瑕疵区域具体的，
[0083]
a.通过原始图像减去所述低频信息或的高频信息，公式如下：
[0084]ihigh
(i,j)＝(i(i,j)-i
low
(i,j)*0.5+128
[0085]
式中，i
high
(i,j)为高频信息；i(i,j)为原始图像信息；i
low
(i,j)为低频信息；
[0086]
b.基于强光图层叠加原理对高频图像进行增强操作，公式如下：
[0087][0088]
c.基于增强后的图像进行瑕疵区域识别，识别方式如下：
[0089]
gray(i,j)＝max(i
high
(i,j).r,i
high
(i,j).g,i
high
(i,j).b)
[0090][0091]
其中gray(i,j)表示高频信息中在(i，j)位置的r、g、b三个颜色通道的最大颜色值；fleckmask(i,j)公式用于判断高频信息中在(i，j) 位置是否为瑕疵区域；式中td＝64
和t
l
＝230。
[0092]
在瑕疵区域周边寻找正常皮肤信息，基于泊松融合进行瑕疵区域修复；
[0093]
a.对瑕疵区域进行区域标记；
[0094]
b.针对单个瑕疵标记区域，计算其8邻域范围内以区域颜色欧式距离总和，其中数值最小的邻域作为参考区域；
[0095]
c.计算高频图像在瑕疵区域和参考区域的梯度场；
[0096]
d.用参考区域的梯度场替换瑕疵区域的梯度场；
[0097]
e.计算步骤d结果下瑕疵区域的散度场；
[0098]
f.用散度场和所述高频图像信息求解泊松等式，得到修复后的高频结果。
[0099]
调整后的高低频信息进行线性融合，输出结果图。具体的如下：
[0100]i′
(i,j)＝i
′
low
(i,j)+2*i
′
high
(i,j)-255
[0101]
式中i'(i,j)表示输出的结果；i'
low
(i,j)表示调整后的低频信息； i'
high
(i,j)表示调整后的高频信息。
[0102]
本实施例的有优点在于：由于根据斑痘、痘印等瑕疵在不同频率信息上分开检测，比起常用的识别方案能够检测的更多、更精准。由于在低频频率信息上对痘印等进行亮度对比度调整，可以在较浅的瑕疵上达到更加干净的祛除效果。由于在高频频率信息上使用邻近区域进行泊松融合填充，可以做到更加自然和真实的修复效果，没有违和感。
[0103]
一种基于高低频的实时祛斑祛痘方法，其特征在于，所述装置包括：
[0104]
获取单元，用于获取待原始图像；
[0105]
处理单元：用于对原始图像进行杂色滤波获取图像低频信息，检测所述低频信息建立蒙板区域；利用所述蒙板区域，进行亮度对比度调整；扣除低频信息获得图像的高频信息，检测瑕疵区域；在瑕疵区域周边寻找正常皮肤信息，基于泊松融合进行瑕疵区域修复；调整后的高低频信息进行线性融合，输出结果图
[0106]
预览单元：用于预览处理单元输出的结果图。
[0107]
一种基于高低频的实时祛斑祛痘设备，包括处理器、存储器以及存储在所述存储器内的计算机程序，所述计算机程序能够被所述处理器执行以实现上述实施例所述的一种基于高低频的实时祛斑祛痘方法。
[0108]
一种计算机可读存储介质，所述计算机可读存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述计算机可读存储介质所在设备执行上述实施例所述的基于高低频的实时祛斑祛痘方法。
[0109]
示例性的，所述计算机程序可以被分割成一个或多个单元，所述一个或者多个单元被存储在所述存储器中，并由所述处理器执行，以完成本发明。所述一个或多个单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序在基于高低频的实时祛斑祛痘设备中的执行过程。
[0110]
所述基于高低频的实时祛斑祛痘设备可包括但不仅限于处理器、存储器。
[0111]
本领域技术人员可以理解，所述示意图仅仅是基于高低频的实时祛斑祛痘设备的示例，并不构成对基于高低频的实时祛斑祛痘设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述基于高低频的实时祛斑祛痘设备还可以包括输入输出设备、网络接入设备、总线等。
[0112]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述基于高低频的实时祛斑祛痘设备的控制中心，利用各种接口和线路连接整个基于高低频的实时祛斑祛痘设备的各个部分。
[0113]
所述存储器可用于存储所述计算机程序和/或模块，所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块，以及调用存储在存储器内的数据，实现所述基于高低频的实时祛斑祛痘设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据手机的使用所创建的数据(比如音频数据、电话本等) 等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card, smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0114]
其中，所述基于高低频的实时祛斑祛痘设备集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。
[0115]
所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random accessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0116]
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0117]
上述实施例中的实施方案可以进一步组合或者替换，且实施例仅仅是对本发明的优选实施例进行描述，并非对本发明的构思和范围进行限定，在不脱离本发明设计思想的前提下，本领域中专业技术人员对本发明的技术方案作出的各种变化和改进，均属于本发
明的保护范围。