基于天空识别的图像替换方法及系统与流程

本发明涉及图像修正领域，具体地，涉及一种基于天空识别的图像替换方法及系统。

背景技术：

在日常摄影中，天空做为最常见的背景之一，会很大概率的出现在日常照片中，但由于天气存在不可控性，想要在拍摄的照片中出现美丽的天空往往是可遇而不可求的事情。

专利文献cn106792147a公开了一种图像替换方法及装置，用于实现视频中头像的替换效果，从而提高用户的兴趣体验。所述方法包括：捕获到对当前视频界面中的第一人脸图像的选择操作，所述当前视频界面中包括至少一个人脸图像；获取待替换照片，并识别出所述待替换照片中的第二人脸图像；利用所述第二人脸图像替换所述第一人脸图像。该专利并不能很好地适用于天空背景的替换中。

技术实现要素：

针对现有技术中的缺陷，本发明的目的是提供一种基于天空识别的图像替换方法及系统。

根据本发明提供的一种基于天空识别的图像替换方法，包括：天空识别步骤：根据原始输入图像参数，获取天空区域分割图信息；天空素材获取步骤：根据系统默认参数或者用户选择信息，获取天空素材模板选择信息；替换融合步骤：根据天空素材模板选择信息、天空区域分割图信息，对天空区域进行替换和融合，生成最终的更换天空后的图，获取天空更换结果信息。

优选地，所述天空识别步骤包括：卷积神经网络模型获取步骤：使用卷积神经网络对包含天空区域的训练集中的场景图片进行训练，得到天空识别的卷积神经网络模型，获取天空识别卷积神经网络模型信息；粗粒度天空区域获取步骤：根据天空识别卷积神经网络模型信息，使用训练好的模型进行初步分割，得到粗粒度的天空区域，获取粗粒度天空区域信息。

优选地，所述天空识别步骤还包括：待定区域获取步骤：根据粗粒度天空区域信息，对识别出的天空区域进行腐蚀和膨胀算法，得到天空区域、已确定非天空区域以及天空与非天空边界区域，获取待定区域信息；所述待定区域信息匹配于天空与非天空边界区域信息。

优选地，所述天空识别步骤还包括：待定区域划分步骤：根据待定区域信息，利用sobel算子对原始图像提取梯度信息图，设定一个阈值，边界区域按列从上往下扫描，得到一个边界，初步的将待定区域也划分为天空和非天空两部分；最优分割线获取步骤：定义一个能量函数，用于计算划分的合理性。上述分割可以看成是一个两分类问题，为了使分割更加合理，需要使得类内的差异尽可能小，即协方差要尽可能的小。因此我们定义能量函数原则如下：即计算天空和地面区域协方差的最小值，使得能量函数最大，取能量函数最大的边界线作为最优的分割线；马氏距离判断步骤：扫描待定区域中的每一列的像素，通过每一列像素与之前算法中已确定天空区域的马氏距离来判断该像素是否属于天空的像素，从而可以进一步改进天空边界线的效果。

优选地，天空素材获取步骤：直观效果展示步骤：根据系统默认参数或者用户选择信息，获取直观效果展示信息，方便用户直观看到效果。

根据本发明提供的一种基于天空识别的图像替换系统，包括：天空识别模块：根据原始输入图像参数，获取天空区域分割图信息；天空素材获取模块：根据系统默认参数或者用户选择信息，获取天空素材模板选择信息；替换融合模块：根据天空素材模板选择信息、天空区域分割图信息，对天空区域进行替换和融合，生成最终的更换天空后的图，获取天空更换结果信息。

优选地，所述天空识别模块包括：卷积神经网络模型获取模块：使用卷积神经网络对包含天空区域的训练集中的场景图片进行训练，得到天空识别的卷积神经网络模型，获取天空识别卷积神经网络模型信息；粗粒度天空区域获取模块：根据天空识别卷积神经网络模型信息，使用训练好的模型进行初步分割，得到粗粒度的天空区域，获取粗粒度天空区域信息。

优选地，所述天空识别模块还包括：待定区域获取模块：根据粗粒度天空区域信息，对识别出的天空区域进行腐蚀和膨胀算法，得到天空区域、已确定非天空区域以及天空与非天空边界区域，获取待定区域信息；所述待定区域信息匹配于天空与非天空边界区域信息。

优选地，所述天空识别模块还包括：待定区域划分模块：根据待定区域信息，利用sobel算子对原始图像提取梯度信息图，设定一个阈值，边界区域按列从上往下扫描，得到一个边界，初步的将待定区域也划分为天空和非天空两部分；最优分割线获取模块：定义一个能量函数，用于计算划分的合理性。上述分割可以看成是一个两分类问题，为了使分割更加合理，需要使得类内的差异尽可能小，即协方差要尽可能的小。因此我们定义能量函数原则如下：即计算天空和地面区域协方差的最小值，使得能量函数最大，取能量函数最大的边界线作为最优的分割线；马氏距离判断模块：扫描待定区域中的每一列的像素，通过每一列像素与之前算法中已确定天空区域的马氏距离来判断该像素是否属于天空的像素，从而可以进一步改进天空边界线的效果。

优选地，天空素材获取模块：直观效果展示模块：根据系统默认参数或者用户选择信息，获取直观效果展示信息，方便用户直观看到效果。

与现有技术相比，本发明具有如下的有益效果：

1、本发明使用天空识别算法，能够得到天空区域的分割图；

2、本发明能够提供大量的炫丽的天空素材模板供应用选择；

3、本发明能够根据用户选择的天空模板图，对天空区域进行替换和融合，生成最终的更换天空后的图。

附图说明

通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1为本发明的流程示意图。

图2为本发明的系统框架示意图。

具体实施方式

下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明，但不以任何形式限制本发明。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变化和改进。这些都属于本发明的保护范围。

如图1、图2所示，根据本发明提供的一种基于天空识别的图像替换方法，包括：天空识别步骤：根据原始输入图像参数，获取天空区域分割图信息；天空素材获取步骤：根据系统默认参数或者用户选择信息，获取天空素材模板选择信息；替换融合步骤：根据天空素材模板选择信息、天空区域分割图信息，对天空区域进行替换和融合，生成最终的更换天空后的图，获取天空更换结果信息。

优选地，所述天空识别步骤包括：卷积神经网络模型获取步骤：使用卷积神经网络对包含天空区域的训练集中的场景图片进行训练，得到天空识别的卷积神经网络模型，获取天空识别卷积神经网络模型信息；粗粒度天空区域获取步骤：根据天空识别卷积神经网络模型信息，使用训练好的模型进行初步分割，得到粗粒度的天空区域，获取粗粒度天空区域信息。

优选地，所述天空识别步骤还包括：待定区域获取步骤：根据粗粒度天空区域信息，对识别出的天空区域进行腐蚀和膨胀算法，得到天空区域、已确定非天空区域以及天空与非天空边界区域，获取待定区域信息；所述待定区域信息匹配于天空与非天空边界区域信息。

优选地，所述天空识别步骤还包括：待定区域划分步骤：根据待定区域信息，利用sobel算子对原始图像提取梯度信息图，设定一个阈值，边界区域按列从上往下扫描，得到一个边界，初步的将待定区域也划分为天空和非天空两部分；最优分割线获取步骤：定义一个能量函数，用于计算划分的合理性。上述分割可以看成是一个两分类问题，为了使分割更加合理，需要使得类内的差异尽可能小，即协方差要尽可能的小。因此我们定义能量函数原则如下：即计算天空和地面区域协方差的最小值，使得能量函数最大，取能量函数最大的边界线作为最优的分割线；马氏距离判断步骤：扫描待定区域中的每一列的像素，通过每一列像素与之前算法中已确定天空区域的马氏距离来判断该像素是否属于天空的像素，从而可以进一步改进天空边界线的效果。

优选地，天空素材获取步骤：直观效果展示步骤：根据系统默认参数或者用户选择信息，获取直观效果展示信息，方便用户直观看到效果。

具体地，在一个实施例种，一种基于天空识别的图像替换方法，包括：

天空识别算法步骤：

1、使用卷积神经网络对包含天空区域的训练集中的场景图片进行训练，得到天空识别的卷积神经网络模型。

2、对待检测的图片，使用训练好的模型进行初步分割，得到粗粒度的天空区域。

3、对识别出的天空区域进行腐蚀和膨胀算法，得到三块区域：腐蚀之后的区域认为是已确定的天空区域，膨胀之后的区域以外的内容认为是已确定的非天空区域，两者之间的区域认为是天空与非天空的边界区域，即为待定区域。

4、对待定区域进行进一步细化。我们利用边界区域内的梯度信息来精确划分出天空与非天空之间的分界线。具体为：

利用sobel算子对原始图像提取梯度信息图，设定一个阈值，边界区域按列从上往下扫描，得到一个边界，初步的将待定区域也划分为天空和非天空两部分。

定义一个能量函数，用于计算划分的合理性。上述分割可以看成是一个两分类问题，为了使分割更加合理，需要使得类内的差异尽可能小，即协方差要尽可能的小。因此我们定义能量函数原则如下：即计算天空和地面区域协方差的最小值，使得能量函数最大。取能量函数最大的边界线作为最优的分割线。

我们根据实际测试的结果，通过以下方式对效果进行改进：扫描待定区域中的每一列的像素，通过每一列像素与之前算法中已确定天空区域的马氏距离来判断该像素是否属于天空的像素，从而可以进一步改进天空边界线的效果。

用户能够在海量的炫丽天空素材选择，并可以直接应用预览看效果。

天空区域替换与融合步骤包括：

1.将用户选择的素材，应用到前面检测到的天空区域中。

2.采用常见的融合算法(加权融合，泊松融合等)对替换的区域与原图做融合，使图像整体看起来更自然。

本领域技术人员可以将本发明提供的基于天空识别的图像替换方法，理解为本发明提供的基于天空识别的图像替换系统的一个实施例。即，所述基于天空识别的图像替换系统可以通过执行所述基于天空识别的图像替换方法的步骤流程实现。

根据本发明提供的一种基于天空识别的图像替换系统，包括：天空识别模块：根据原始输入图像参数，获取天空区域分割图信息；天空素材获取模块：根据系统默认参数或者用户选择信息，获取天空素材模板选择信息；替换融合模块：根据天空素材模板选择信息、天空区域分割图信息，对天空区域进行替换和融合，生成最终的更换天空后的图，获取天空更换结果信息。

优选地，所述天空识别模块包括：卷积神经网络模型获取模块：使用卷积神经网络对包含天空区域的训练集中的场景图片进行训练，得到天空识别的卷积神经网络模型，获取天空识别卷积神经网络模型信息；粗粒度天空区域获取模块：根据天空识别卷积神经网络模型信息，使用训练好的模型进行初步分割，得到粗粒度的天空区域，获取粗粒度天空区域信息。

优选地，所述天空识别模块还包括：待定区域获取模块：根据粗粒度天空区域信息，对识别出的天空区域进行腐蚀和膨胀算法，得到天空区域、已确定非天空区域以及天空与非天空边界区域，获取待定区域信息；所述待定区域信息匹配于天空与非天空边界区域信息。

优选地，所述天空识别模块还包括：待定区域划分模块：根据待定区域信息，利用sobel算子对原始图像提取梯度信息图，设定一个阈值，边界区域按列从上往下扫描，得到一个边界，初步的将待定区域也划分为天空和非天空两部分；最优分割线获取模块：定义一个能量函数，用于计算划分的合理性。上述分割可以看成是一个两分类问题，为了使分割更加合理，需要使得类内的差异尽可能小，即协方差要尽可能的小。因此我们定义能量函数原则如下：即计算天空和地面区域协方差的最小值，使得能量函数最大，取能量函数最大的边界线作为最优的分割线；马氏距离判断模块：扫描待定区域中的每一列的像素，通过每一列像素与之前算法中已确定天空区域的马氏距离来判断该像素是否属于天空的像素，从而可以进一步改进天空边界线的效果。

优选地，天空素材获取模块：直观效果展示模块：根据系统默认参数或者用户选择信息，获取直观效果展示信息，方便用户直观看到效果。

本发明使用天空识别算法，能够得到天空区域的分割图；本发明能够提供大量的炫丽的天空素材模板供应用选择；本发明能够根据用户选择的天空模板图，对天空区域进行替换和融合，生成最终的更换天空后的图。

本领域技术人员知道，除了以纯计算机可读程序代码方式实现本发明提供的系统及其各个装置、单元、单元以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统及其各个装置、单元、单元以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同功能。所以，本发明提供的系统及其各项装置、单元、单元可以被认为是一种硬件部件，而对其内包括的用于实现各种功能的装置、单元、单元也可以视为硬件部件内的结构；也可以将用于实现各种功能的装置、单元、单元视为既可以是实现方法的软件单元又可以是硬件部件内的结构。

以上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述特定实施方式，本领域技术人员可以在权利要求的范围内做出各种变化或修改，这并不影响本发明的实质内容。在不冲突的情况下，本申请的实施例和实施例中的特征可以任意相互组合。