一种基于gpu的移动端视频美颜的即时呈现方法
【专利摘要】本发明公开了一种基于GPU的移动端视频美颜的即时呈现方法，它包括图像获取步骤、图像处理步骤和图像融合步骤。本发明借助GPU的硬件加速特性，对本方法的多个子步骤进行处理，可以解决使用CPU时的效率低下问题，同时本方法提出并使用的各个子步骤都能很好的应用于GPU加速处理，在保证效率实时的同时，可以得到即时的效果呈现，应用于单幅图像的特效处理；同时，本发明提出一种易于理解且性能优异的图像去噪算法处理框架，利用基于图像积分图的快速图像去噪方案，保证计算速度与采样窗口的大小无关，同时很好的去除图像噪声如斑点的同时保持细节。
【专利说明】
-种基于GPU的移动端视频美颜的即时呈现方法
技术领域
[0001 ]本发明设及一种基于GPU的移动端视频美颜的即时呈现方法。
【背景技术】
[0002] 美颜方法通常由多个基础步骤组成，包括图像中外部光照及人体皮肤等噪声的去 除、人体皮肤检测、人脸检测、桂斑、皮肤美白、图像融合等。
[0003] 图像去噪作为最基本也是最重要的一环，对后续的算法处理具有至关重要的作 用，目前去噪的算法较多，通常包括高斯平滑、双线性滤波平滑、平均滤波平滑、基于块匹配 的=维去噪等算法，其中各算法的性能和效果均有不同程度的差异，W及各自具有不同程 度的局限性，运对于应用场景的算法选择上有较大的影响。例如，平均滤波平滑效率很高， 但往往会过滤掉图像的更多细节如头发、睫毛、眉毛等人脸具有明显特征的区域;高斯平滑 在滤波半径较小时效率较高但滤波半径较大时效率很低;双线性滤波平滑能很好的保留图 像边缘细节但会产生混色现象;基于块匹配的=维去噪算法能很好的处理高斯白噪声但效 率特别低下。因此，选择一种能在效率和效果上平衡的算法，对整体算法的结果是一种挑 战，同时又需要很好的适用于相应的应用场景。
[0004] 皮肤检测与人脸检测，主要需要处理的是皮肤及人脸区域，保证在皮肤与非皮肤 区域的接缝处无明显人工痕迹，运是由应用场景所决定的。当用于高分辨率图像时人脸检 测算法的性能较低，运往往是由于需要进行金字塔逐层检测人脸区域，同时并不适用于其 它皮肤区域如手臂、肩膀、脖颈等，因此选择一种适合的皮肤及人脸区域的检测算法，同时 具备较高的性能，尤为重要。
[0005] 桂斑桂痘主要指皮肤区域的局部区域处理，通常的做法是人工手选区域进行桂 除，不适用于图像的自动处理。
[0006] 皮肤美白与图像增强可W有多种处理方式，包括指数映射、对数映射、幕函数映 射、线性加深、自动色阶等，其目的为将图像中较暗的区域进行增强处理，增强细节呈现效 果，同时更好的保留较亮区域的细节变化，防止出现泛白现象。
[0007] 整体而言，由于美颜方法通常需要若干个子方法的相互衔接才能完成，因此各子 方法的微弱变化也会对最后的效果产生较大的影响，选择合适的子方法并有效的组合在一 起，同时满足效率较高且效果即时呈现，使其具有更好的应用前景，运是本发明将要解决的 问题。
【发明内容】
[000引本发明的目的在于克服现有技术的不足，提供一种基于GPU的移动端视频美颜的 即时呈现方法，借助GPU的硬件加速特性，可W解决使用CPU时的效率低下问题，同时本方法 提出并使用的各个子步骤都能很好的应用于GPU加速处理，在保证效率实时的同时，可W得 到即时的效果呈现。
[0009]本发明的目的是通过W下技术方案来实现的：一种基于GPU的移动端视频美颜的 即时呈现方法，它包括图像获取步骤、图像处理步骤和图像融合步骤；
[0010] 所述的图像获取步骤包括:输入视频，将所述视频按帖提取并作为图片序列；
[0011] 所述的图像处理步骤包括S个基于GPU硬件加速的逐像素独立执行的子步骤：图 像的整体美化子步骤、图像的增强处理子步骤和生成图像的皮肤区域的遮罩处理子步骤；
[0012] 所述的整体美化子步骤包括W下子步骤：、
[001引Slll:将输入图像的RGB颜色空间转化到YUV颜色空间，同时保留UV通道；
[0014] S112:设置采样窗口大小，判断采样窗口的大小是否大于预设的阔值:如果是则使 用积分图，否则使用盒子滤波；
[0015] 所述的使用积分图包括W下子步骤：
[0016] S11211:生成亮度图像的积分图，包括一次项与二次项的积分图，其中迭代公式分 别如下
[0017]
[001 引
[0019] 式中，sum表示直接和，sumsq表示平方和，f表示亮度值，保存上述得到的两幅积分 图像；
[0020] S11212:对于图像中的所有像素逐个处理，在W每个像素为中屯、的窗口中，分别计 算此窗口中所有像素的均值和方差，计算公式如下：
[0021]
[0022]
[0023] VAR = Esq-E^
[0024] 式中，E表示均值，VAR表示方差；i J分别表示相对于图像左上角的垂直和水平方 向的坐标，N表示窗口半径。
[00巧]所冰的伸巧含子滤妮的计貸公式化下：
[0026]
[0027]
[0028] 式中，E表示均值，VAR表示方差;m，n分别表示垂直和水平方向与当前像素位置的 相对距离。
[0029] S113:图像去噪:对于每一个像素，在得到基于此像素为中屯、的窗口的均值和方差 后，根据得到的均值和方差进行平滑滤波，所述的平滑滤波的校正方式为：
[0030]
[0031] fi,j = E*(l-k)+fi,j*k
[0032] 式中，e表示调节的参数值，其值越大，表示平滑的程度越大，则去除的噪声越大； e是一个接近于0的小数，其目的是为了防止被除数为0时的异常;从对像素值进行校正的 公式中可W得出，当调节的参数值越大时，该像素值越接近E;
[0033] Sl 14:对阁像讲行锐化々h理，对阁像的纹理细带讲行补俟摇井，处理公式为：
[0034]
[0035] 式中，S表示锐化后的图像，a表示锐化的程度，即4-邻域拉普拉斯梯度对像素值的 贡献百分比，a值越大，锐化程度越大；
[0036] S115:图像锐化处理之后，再与去噪前RGB转换得到的UV通道合并成YUV图像；
[0037] S116:将步骤S115得到的YUV图像再次转换回RGB颜色空间，W供后续进一步处理；
[0038] 所述的图像的增强处理子步骤采用非线性图像增强，对图像进行整体美白处理， 通过提升图像的暗部细节的同时保持亮度细节的方式实现，首先将图像归一化至[0，1]的 范围内，舞田*曾》西数映射的方法进行处理：
[0039]
[0040] A中，P巧不夫白的程度；
[0041] 所述的生成图像的皮肤区域的遮罩处理子步骤包括W下子步骤：
[0042] S121:检测图像的皮肤区域:使用阔值处理，首先划分出皮肤与非皮肤的粗选区 域，通常人的皮肤区域的RGB统计值为[a，b，c]，其中a、b、c为对多张图像的皮肤与非皮肤区 域进行统计分类而得到的一组值，检测时当图像的像素值大于统计值时则划分为皮肤区 域，否则为非皮肤区域，得到一个皮肤区域的初步检测；
[0043] S122:得到皮肤区域的遮罩后，对遮罩作进一步的细化处理:采用指定窗口大小的 高斯模糊讲行疏罩处理，高斯巧敬的二维公式如下：
[0044]
[0045] 式中，x，y分别表示垂直和水平方向与当前操作像素的相对距离，O表示标准差。
[0046] 所述的图像融合步骤包括:在图像处理步骤完成后，根据得到的皮肤区域的遮罩 分别对整体美白后的图像及整体去噪后的图像进行逐像素融合，整合公式为：
[0047] FinaliJ = Bi, j*( I-Qi. j)+Fi,j*ai.j
[004引式中，B表示整体去噪后的图像，F表示整体美白后的图像，a表示得到的皮肤区域 的遮罩，Final表示图像融合结果；
[0049] 完成融合后得到最后的结果图像，将结果图像按照序列进行输出。
[0050] 步骤Slll中所述的将输入图像的RGB颜色空间转化到YUV颜色空间的转换公式如 下：
[0化1 ]
[0052]步骤S116中所述的将步骤S115得到的YUV图像再次转换回RGB颜色空间得转换公 式如下：
[0化3] O
[0054] 所述的对多张图像的皮肤与非皮肤区域进行统计分类而得到的一组值中的多张 为1000张。
[0055] 本发明的有益效果是：
[0056] (1)本发明提出一种易于理解且性能优异的图像去噪算法处理框架，利用基于图 像积分图的快速图像去噪方案，保证计算速度与采样窗口的大小无关，同时很好的去除图 像噪声如斑点的同时保持细节。
[0057] (2)本发明提出一种更高效的皮肤区域检测处理框架，使用首先进行粗步检测再 进行细化的多步骤快速处理方法，可W很好在皮肤与非皮肤区域的接缝处实行无缝合成。
[0058] (3)本发明使用非线性图像增强方法，对图像进行整体增强。
[0059] (4)本发明借助GPU的硬件加速特性，对本方法的多个子步骤进行处理，可W解决 使用CPU时的效率低下问题，同时本方法提出并使用的各个子步骤都能很好的应用于GPU加 速处理，在保证效率实时的同时，可W得到即时的效果呈现，应用于视频拍摄时的效果即时 呈现。
【附图说明】
[0060] 图1为本发明方法流程图。
【具体实施方式】
[0061] 下面结合附图进一步详细描述本发明的技术方案：如图1所示，一种基于GHJ的移 动端视频美颜的即时呈现方法，它包括图像获取步骤、图像处理步骤和图像融合步骤；
[0062] 所述的图像获取步骤包括:输入视频，将所述视频按帖提取并作为图片序列；
[0063] 所述的图像处理步骤包括S个基于GPU硬件加速的逐像素独立执行的子步骤：图 像的整体美化子步骤、图像的增强处理子步骤和生成图像的皮肤区域的遮罩处理子步骤；
[0064] 所述的整体美化子步骤，主要包括对人体皮肤区域平滑处理，如人脸及其它皮肤 区域的斑点、捷等其它影响美观的区域擦除，W及整体光照引进的环境噪声如曝光不足等， 其它后期处理时引进的其它噪声如椒盐噪声等，包括图片或者视频传输过程中的信号丢 失、编解码有损处理、方块效应等，包括W下子步骤：
[0065] Slll:将输入图像的RGB颜色空间转化到YUV颜色空间，运主要是为了操作于亮度 图像W提高效率，同时保留UV通道，所述的将输入图像的RGB颜色空间转化到YUV颜色空间 的转换/'V^*n 了.
[0066]
[0067] 由于生成积分图的过程上存在前后上下邻域像素的计算相关性，运会设及一次上 下行的开销时间。在我们的方案中，会设定一个阔值，如果采样窗口的大小超过此阔值，贝U 使用积分图，否则使用盒子滤波。
[0068] S112:设置采样窗口大小，判断采样窗口的大小是否大于预设的阔值:如果是则使 用积分图，否则使用盒子滤波；
[0069] 所述的使用积分图包括W下子步骤：
[0070] S11211:生成亮度图像的积分图，包括一次项与二次项的积分图，其中迭代公式分 别如下
[0071]
[0072]
[0073] 式中，sum表示直接和，sumsq表示平方和，f表示亮度值，保存上述得到的两幅积分 图像;可用于下一步图像去噪的基于窗口的快速滤波，即使在采样窗口较大时也不会影响 计算效率。
[0077] VAR = Esq-E^[0078] 式中，E表示均值，VAR表示方差；i J分别表示相对于图像左上角的垂直和水平方 向的坐标，N表示窗口半径。[0079] 所沐的値用念子滤掘的计算公式化下：
[0074] S11212:对于图像中的所有像素逐个处理，在W每个像素为中屯、的窗口中，分别计 算此窗n *1目斤去^ A々怡未日韦'^. 省:/A 々n下.
[0075]
[0076]
[0080]
[0081]
[0082] VAR = Esq-E^
[0083] 式中，E表示均值，VAR表示方差;m，n分别表示垂直和水平方向与当前像素位置的 相对距离。
[0084] 对亮度图像进行去噪处理，由于人的眼睛对亮度信号比色度信号更敏感，因此在 亮度信号的噪声会比色度信号噪声更加敏感，在去除亮度信号噪声之后，人的眼睛会感觉 到明显的变化，同时在提高计算效率的基础上不会影响整体质量。
[0085] S113:图像去噪:对于每一个像素，在得到基于此像素为中屯、的窗口的均值和方差 后，根据得到的均值和方差进行平滑滤波。其原理上图像越平滑，则得到的方差值越接近于 0，从而该像素值则越接近均值E。所述的平滑滤波的校正方式为：
[0086]
[0087] fi,j = E*(l-k)+fi,j*k
[0088] 式中，0表示调节的参数值，其值越大，表示平滑的程度越大，则去除的噪声越大； e是一个接近于0的小数，其目的是为了防止被除数为0时的异常;从对像素值进行校正的 公式中可W得出，当调节的参数值越大时，该像素值越接近E;
[0089] S114:对图像进行锐化处理，对图像的纹理细节进行补偿提升，处理公式为：
[0090]
[0091] 式中，S表示锐化后的图像，a表示锐化的程度，即4-邻域拉普拉斯梯度对像素值的 贡献百分比，a值越大，锐化程度越大；
[0092] Sl 15:图像锐化处理之后，再与去噪前RGB转换得到的UV通道合并成YUV图像；
[00W] S116:将步骤S115得到的YUV图像再次转换回RGB颜色空间，W供后续进一步处理；
[0094] 所述的将步骤S115得到的YUV图像再次转换回RGB颜色空间得转换公式如下：
[0095]
[0096] 所述的图像的增强处理子步骤采用非线性图像增强，对图像进行整体美白处理， 通过提升图像的暗部细节的同时保持亮度细节的方式实现，首先将图像归一化至[0，1]的 范围内，然后采用指数函数映射的方法进行处理：
[0097]
[009引式中，P表示美白的程度；
[0099] 所述的生成图像的皮肤区域的遮罩处理子步骤包括W下子步骤：
[0100] S121:检测图像的皮肤区域:皮肤区域与非皮肤区域相比，通常具有较易区分的颜 色，尤其是与较暗的黑色区域相比，对于美颜的应用场景，主要需要区分的是人的皮肤与人 的头发、眉毛、睫毛、眼睛的分区域处理。
[0101] 使用阔值处理，首先划分出皮肤与非皮肤的粗选区域，通常人的皮肤区域的RGB统 计值为[a，b，c]，其中a、b、c为对1000张图像的皮肤与非皮肤区域进行统计分类而得到的一 组值，检测时当图像的像素值大于统计值时则划分为皮肤区域，否则为非皮肤区域，得到一 个皮肤区域的初步检测；
[0102] S122:得到皮肤区域的遮罩后，对遮罩作进一步的细化处理，而不能直接参与图像 融合，否则在图像的皮肤区域与非皮肤区域的接缝处会有明显的人工痕迹。具体地，采用指 定窗口大小的高斯模糊进行遮罩处理，高斯函数的二维公式如下：
[0103]
[0104] A中，x，y分別巧不亜且耶7]^干为N与当前操作像素的相对距离，O表示标准差。
[0105] 所述的图像融合步骤包括:在图像处理步骤完成后，根据得到的皮肤区域的遮罩 分别对整体美白后的图像及整体去噪后的图像进行逐像素融合，整合公式为：
[0106] FinaliJ = Bi, j*( I-Qi. j)+Fi,j*ai.j
[0107] 式中，B表示整体去噪后的图像，F表示整体美白后的图像，a表示得到的皮肤区域 的遮罩，Final表示图像融合结果；
[0108] 完成融合后得到最后的结果图像，将结果图像按照序列进行输出。
[0109] 在整个方案中，由于设及的处理步骤较多，但是每个步骤都可W逐像素独立执行， 因此在CPU不能实时的情况下，使用基于GPU的硬件加速，可W实时处理，其中移动端使用 OpenGL ES加速。
【主权项】
1. 一种基于GHJ的移动端视频美颜的即时呈现方法，其特征在于：它包括图像获取步 骤、图像处理步骤和图像融合步骤； 所述的图像获取步骤包括:输入视频，将所述视频按帧提取并作为图片序列； 所述的图像处理步骤包括三个基于GPU硬件加速的逐像素独立执行的子步骤：图像的 整体美化子步骤、图像的增强处理子步骤和生成图像的皮肤区域的遮罩处理子步骤； 所述的整体美化子步骤包括以下子步骤： S111:将输入图像的RGB颜色空间转化到YUV颜色空间，同时保留UV通道； S112:设置采样窗口大小，判断采样窗口的大小是否大于预设的阈值:如果是则使用积 分图，否则使用盒子滤波； 所述的使用积分图包括以下子步骤： S11211:生成亮度图像的积分图，包括一次项与二次项的积分图，其中迭代公式分别如 下：式中，sum表示直接和，sumsq表示平方和，f表示亮度值，保存上述得到的两幅积分图 像； S11212:对于图像中的所有像素逐个处理，在以每个像素为中心的窗口中，分别计算此 窗口中所有像素的均值和方差，计算公式如下：式中，E表示均值，VAR表示方差；i和j分别表示相对于图像左上角的垂直和水平方向的 坐标，N表示窗口半径； 所述的使用盒子滤波的计算公式如下：式中，E表示均值，VAR表示方差;m和η分别表示垂直和水平方向与当前像素位置的相对 距离； S113:图像去噪:对于每一个像素，在得到基于此像素为中心的窗口的均值和方差后， 根据得到的均值和方差进行平滑滤波，所述的平滑滤波的校正方式为： fi，j = E*( l_k)+fi，j*k式中，β表示调节的参数值，其值越大，表示平滑的程度越大，则去除的噪声越大；e是 一个接近于〇的小数，其目的是为了防止被除数为〇时的异常;从对像素值进行校正的公式 中可以得出，当调节的参数值越大时，该像素值越接近E; S114:对图像进行锐化处理，对图像的纹理细节进行补偿提升，处理公式为：式中，S表示锐化后的图像，α表示锐化的程度，即4-邻域拉普拉斯梯度对像素值的贡献 百分比，α值越大，锐化程度越大； S115:图像锐化处理之后，再与去噪前RGB转换得到的UV通道合并成YUV图像； S116:将步骤S115得到的YUV图像再次转换回RGB颜色空间，以供后续进一步处理； 所述的图像的增强处理子步骤采用非线性图像增强，对图像进行整体美白处理，通过 提升图像的暗部细节的同时保持亮度细节的方式实现，首先将图像归一化至[〇，1]的范围 内，然后采用指数函数映射的方法进行处理：式中，P表不美白的程度； 所述的生成图像的皮肤区域的遮罩处理子步骤包括以下子步骤： S121:检测图像的皮肤区域:使用阈值处理，首先划分出皮肤与非皮肤的粗选区域，通 常人的皮肤区域的RGB统计值为[a，b，c]，其中a、b、c为对多张图像的皮肤与非皮肤区域进 行统计分类而得到的一组值，检测时当图像的像素值大于统计值时则划分为皮肤区域，否 则为非皮肤区域，得到一个皮肤区域的初步检测； S122:得到皮肤区域的遮罩后，对遮罩作进一步的细化处理:采用指定窗口大小的高斯 模糊进行遮罩处理，高斯函数的二维公式如下：式中，X和y分别表示垂直和水平方向与当前操作像素的相对距离，σ表示标准差； 所述的图像融合步骤包括:在图像处理步骤完成后，根据得到的皮肤区域的遮罩分别 对整体美白后的图像及整体去噪后的图像进行逐像素融合，整合公式为： Finali,j = Bi,j*(l_ai.j)+Fi,j*ai.j 式中，B表示整体去噪后的图像，F表示整体美白后的图像，α表示得到的皮肤区域的遮 罩，Final表不图像融合结果； 完成融合后得到最后的结果图像，将结果图像按照序列进行输出。2.根据权利要求1所述的一种基于GHJ的移动端视频美颜的即时呈现方法，其特征在 于:步骤SI 11中所述的将输入图像的RGB颜色空间转化到YUV颜色空间的转换公式如下：步骤S116中所述的将步骤S115得到的YUV图像再次转换回RGB颜色空间得转换公式如 下：3.根据权利要求1所述的一种基于GHJ的移动端视频美颜的即时呈现方法，其特征在 于:所述的对多张图像的皮肤与非皮肤区域进行统计分类而得到的一组值中的多张为1000 张。
【文档编号】G06T3/00GK105956993SQ201610284130
【公开日】2016年9月21日
【申请日】2016年5月3日
【发明人】赖守波, 余刚, 韩志宏
【申请人】成都索贝数码科技股份有限公司