全景图像的天空滤镜方法、装置及便携式终端与流程

本发明属于图像处理领域，尤其涉及一种全景图像的天空滤镜方法、装置及便携式终端。

背景技术

天空滤镜技术能制作生成逼真的自然天空效果，让图像的天空背景替换成想要的天空效果，能营造较为真实的画面感。天空滤镜技术的实现效果与天空检测算法的准确率密切相关。

目前基于颜色先验的天空识别算法速度较快，但是识别精度较低。这是因为天空在不同时间段、不同天气条件下，天空的颜色会发生显著变化，因此基于颜色的天空识别算法无法适应天空颜色的变化。基于梯度先验的天空识别算法假设天空区域的梯度变化较为平缓。该算法通过构造一个能量函数优化得到图像中梯度较为平滑的连续区域，即为天空区域。但是当天空中存在云彩时，天空中存在明显的梯度变化，该算法的假设不再成立。因此基于梯度的天空识别算法不适用于天空中存在云、太阳等附着物的情况。究其原因，上述算法在检测天空时仅仅利用了有限的先验知识，不能涵盖多样的天空变化。为解决上述问题，本发明通过机器学习算法检测全景图像中的天空区域，检测的结果比较准确，在检测出天空区域的基础上，采用多分辨率融合算法融合全景天空模板图像与全景图像，实现天空滤镜效果。

技术实现要素：

本发明提出一种全景图像的天空滤镜方法、装置及便携式终端，旨在让图像中天空能替换成不同的天空背景，生成和画面融为一体的逼真的天空，提高目前天空检测的准确率低的缺陷，实现较为逼真的天空滤镜效果。

第一方面，本发明提供了一种全景图像的天空滤镜方法，所述方法包括：

获取若干含有天空区域的全景图像作为数据集，并标记出数据集中每幅图像的天空区域和地面区域；

分别提取数据集中每幅图像天空区域和地面区域的特征，并标记出正样本和负样本；

依次将数据集中每幅图像标记的正样本和负样本输入支持向量机svm进行训练，获得模型；

提取测试全景图像的特征，输入模型，获得标记了天空像素和地面像素的初始掩膜图像；

对初始掩膜图像去除图像中的误分类像素点和误分类区域，得到对应的精确掩膜图像；

针对精确掩膜图像，采用多分辨率融合算法对天空的全景模板图像和测试全景图像进行融合，从而实现天空滤镜的效果。

可选地，所述的标记具体包括：

将每幅含有天空区域的全景图像中天空区域标注为1，地面区域标注为0，得到数据集对应的掩膜数据集。

可选地，所述的标记出正样本和负样本具体为：

分别提取数据集中每幅图像天空区域和地面区域的特征，所述的特征包括：r通道值，g通道值，b通道值，方差，b/g值，b/r值，行坐标和方差的乘积，共七个特征。将天空区域像素的特征标记为正样本，将地面区域像素的特征标记为负样本。

可选地，所述的对初始掩膜图像去除图像中的误分类像素点和误分类区域，得到对应的精确掩膜图像具体为：

对模型输出的初始掩膜图像进行中值滤波，然后基于天空在图像上部分，地面在图像下部分这一先验知识，滤除误分类的单个像素点，方法为设像素点(x,y)的权重值为p，有：

，

其中，h为图像的高度，w为图像的宽度，；

利用权重图进一步对初始掩膜图像先卷积再阈值化，获得滤除噪点的初始掩膜图像，然后进一步去除天空和地面中的误分类区域，得到精确掩膜图像。

可选地，去除天空和地面中的误分类区域，得到精确掩膜图像具体为：

利用two-pass算法对滤除噪点的掩膜图像进行连通域检测，统计图像上部天空区域每个连通域的面积为s1，设定天空最小面积阈值th1，按照以下公式划分，

其中，s1的值可计算为天空区域每个连通域中像素的个数，阈值th1为图像面积的1/40；

统计图像下部地面区域每个连通域的面积为s2，设定地面最小面积阈值th2，按照以下公式划分，

其中，s2的值可计算为地面区域每个连通域中像素的个数，阈值th2为最大地面连通域面积的1/2；

通过以上划分可以得到天空区域的精确掩膜图像，完成天空区域的检测及其后处理。

可选地，天空滤镜实现具体为：采用多分辨率融合算法分别对天空的全景模板图像和测试全景图像构建拉普拉斯金字塔，对所述的精确掩膜图像构建高斯金字塔，利用构建的高斯金字塔对构建的拉普拉斯金字塔天空的全景模板图像和测试全景图像进行合并，逐层重建出融合后的图像，实现天空滤镜的效果。

第二方面，本发明提供了一种全景图像的天空滤镜装置，所述装置包括：

数据集标记模块，用于获取若干含有天空区域的全景图像作为数据集，并标记出数据集中每幅图像的天空区域和地面区域；

标记样本模块，用于分别提取数据集中每幅图像天空区域和地面区域的特征，并标记出正样本和负样本；

训练模型模块，用于依次将数据集中每幅图像标记的正样本和负样本输入支持向量机svm进行训练，获得模型；

天空区域检测模块，用于提取测试全景图像的特征，输入模型，获得标记了天空像素和地面像素的初始掩膜图像；

后处理模块，用于对初始掩膜图像滤除噪点，去除图像中的误分类像素点和误分类区域，得到对应的精确掩膜图像；

天空滤镜实现模块，用于针对精确掩膜图像，采用多分辨率融合算法对天空的全景模板图像和测试全景图像进行融合，从而实现天空滤镜的效果。

第三方面，本发明提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如上述的全景图像的天空滤镜方法的步骤。

第四方面，本发明提供了一种便携式终端，包括：

一个或多个处理器；

存储器；以及

一个或多个计算机程序，其中所述一个或多个计算机程序被存储在所述存储器中，并且被配置成由所述一个或多个处理器执行，所述处理器执行所述计算机程序时实现如上述的全景图像的天空滤镜方法的步骤。

本发明通过机器学习算法检测全景图像中的天空区域，提高了自动检测天空的准确率，并利用多分辨率融合算法融合全景天空模板图像与全景图像，实现了较好的天空滤镜效果。

附图说明

图1是本发明实施例一提供的全景图像的天空滤镜方法过程图。

图2是本发明实施例一提供的全景图像的天空滤镜方法流程图。

图3是本发明实施例二提供的全景图像的天空滤镜模块示意图。

图4是本发明实施例三提供的便携式终端的结构示意图。

具体实施方式

为了使本发明的目的、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

实施例一：

请参阅图1和图2，本发明实施例一提供的全景图像的天空滤镜方法包括以下步骤：

s101.获取若干含有天空区域的全景图像作为数据集，并标记出数据集中每幅图像的天空区域和地面区域；

数据集中若干全景图像包括上千张，图像的尺寸一致，图像的数量越多越好；数据集中每幅图像的天空区域具体包含天空、云和太阳等，地面区域是天空区域以外的区域；数据集的种类也包括很多种不同的场景和地貌等，在时间上包括清晨、中午、傍晚各个时间段，还包括不同的天气状况，比如晴天、阴天、多云、小雨和雾霾等；

用户标注出数据集中每幅图像的天空区域和地面区域，得到数据集对应的标注掩膜图像集，所述的标注掩膜图像中天空区域像素值标注为1，地面区域像素值标注为0。

分别提取数据集中每幅图像天空区域和地面区域的特征，并标记出正样本和负样本；

所述的特征包括：第一特征集，该第一特征集包括：r通道值，g通道值，b通道值，局部领域窗口内的方差；第二特征集，该第二特征集包括：b/g值，b/r值，行坐标与方差的乘积，一起共七个特征。第一特征集为独立特征，第二特征集为组合特征。将天空区域像素的第一特征集和第二特征集标记为正样本，将地面区域像素的第一特征集和第二特征集标记为负样本。

依次将数据集中每幅图像标记的正样本和负样本输入支持向量机svm进行训练，获得模型；

支持向量机(supportvectormachine，简称svm)理论是vapnik等人1995年首先提出来的一种前馈神经网络，是在统计学习理论基础上发展而来的一种新的模式识别方法，是一个分类模型，在解决小样本、非线性及高维模式识别问题中表现出许多特有的优势。

提取测试全景图像的特征，输入模型，获得标记了天空像素和地面像素的初始掩膜图像；

提取测试全景图像的特征，此处的特征包括步骤s102中的第一特征集和第二特征集。将所述的特征输入训练好的模型中，将svm分类器输出为正1的像素标记为天空像素，输出为负1的像素标记为非天空像素，获得标记了天空像素和地面像素的初始掩膜图像。

对初始掩膜图像去除图像中的误分类像素点和误分类区域，得到对应的精确掩膜图像；

对初始掩膜图像进行中值滤波，滤除误分类的单个像素点，中值滤波是由turky在1971年提出的，基本思想是：把局部区域的像素按灰度级进行排序，取该领域中灰度的中值作为当前像素的灰度值，用一个窗口w在图像上扫描、排序，像素点(m,n)处的中值g可用公式表示为：

其中，w为3*3或5*5的窗口，为像素点处的值，；

然后基于天空在图像上部分，地面在图像下部分这一先验知识，滤除误分类的单个像素点，方法为设像素点(x,y)的权重值为p，有：

，

其中，h为图像的高度，w为图像的宽度，；

利用权重图进一步对初始掩膜图像进行卷积运算并阈值化，获得滤除噪点的初始掩膜图像。

进一步利用two-pass算法对初始掩膜图像进行连通域检测，统计图像上部天空区域每个连通域的面积为s1，设定天空最小面积阈值th1，则按照如下判断规则划分：

其中，s1为天空区域每个连通域中像素的个数，最小面积阈值th1为图像面积的1/40。

统计图像下部地面区域每个连通域的面积为s2，设定地面最小面积阈值th2，则按照如下判断规则划分：

其中，s2为地面区域每个连通域中像素的个数，最小面积阈值th2为最大地面连通域面积的1/2。

通过以上判断可以去除误分类的天空区域，得到精确掩膜图像。

针对精确掩膜图像，采用多分辨率融合算法对天空的全景模板图像和测试全景图像进行融合，从而实现天空滤镜的效果；

采用多分辨率融合算法分别对天空的全景模板图像和测试全景图像构建拉普拉斯金字塔，对所述的精确掩膜图像构建高斯金字塔，并利用构建的高斯金字塔对构建的拉普拉斯金字塔天空的全景模板图像和测试全景图像进行合并，逐层重建出融合后的图像，实现天空滤镜的效果，其中全景模板图像和测试图像的分辨率有可能不同，但采用的融合处理方法是一样的。

实施例二：

请参阅图3，本发明实施例二提供的全景图像的天空滤镜装置包括：

数据集标记模块11，用于获取若干含有天空区域的全景图像作为数据集，并标记出数据集中每幅图像的天空区域和地面区域；

标记样本模块12，用于分别提取数据集中每幅图像天空区域和地面区域的特征，并标记出正样本和负样本；

训练模型模块13，用于依次将数据集中每幅图像标记的正样本和负样本输入支持向量机svm进行训练，获得模型；

天空区域检测模块14，用于提取测试全景图像的特征，输入模型，获得标记了天空像素和地面像素的初始掩膜图像；

后处理模块15，用于对初始掩膜图像滤除噪点，去除图像中的误分类像素点和误分类区域，得到对应的精确掩膜图像；

天空滤镜实现模块16，用于针对精确掩膜图像，采用多分辨率融合算法对天空的全景模板图像和测试全景图像进行融合，从而实现天空滤镜的效果。

本发明实施例二提供的一种全景图像的天空滤镜方法的装置及本发明实施例一提供的全景图像的天空滤镜方法属于同一构思，其具体实现过程详见说明书全文，此处不再赘述。

实施例三：

本发明实施例三提供了一种计算机可读存储介质，所述计算机程序被处理器执行时实现如本发明实施例一提供的全景图像的天空滤镜方法的步骤。

实施例四：

图4示出了本发明实施例四提供的便携式终端的具体结构框图，一种便携式终端100包括：一个或多个处理器101、存储器102、以及一个或多个计算机程序，其中所述处理器101和所述存储器102通过总线连接，所述一个或多个计算机程序被存储在所述存储器102中，并且被配置成由所述一个或多个处理器101执行，所述处理器101执行所述计算机程序时实现如本发明实施例一提供的一种全景图像的天空滤镜方法的步骤。

在本发明实施例中，本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，所述的存储介质，如rom/ram、磁盘、光盘等。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

在本发明中，通过机器学习算法检测全景图像中的天空区域，提高了自动检测天空的准确率，并利用多分辨率融合算法融合全景天空模板图像与全景图像，实现了天空滤镜的效果。