1.本发明涉及图像融合技术领域，尤其涉及到一种基于神经网络区域目标分割的边缘光影融合方法。
背景技术：
2.近年来，随着数字图像处理技术的发展和虚拟现实技术的广泛商用，复合场景目标图像融合技术真正的应用到了游戏、娱乐、传媒等生产生活的各个领域。尤其在增强现实和视频图像处理领域，基于图像区域分割的边缘光影融合技术不仅能够促进影视娱乐、游戏特效、广告媒体宣传、娱乐短视频等行业内应用，而且通过结合机器视觉和计算机视觉技术，做到实时的图像风格化、立体视觉的动态显示、多目摄像头的空间重建、虚拟现实与增强现实应用等。光影特征融合，简单的来说就是对图像进行滤波处理，使其和新的背景结合时显得更加自然，没有突兀感。图像滤波，即通过某种算法或标准处理部分或全部像素，可以强调图像的某些特征或者淡化图像的某些特征，平滑、锐化和边缘增强等图像处理操作均可通过滤波实现，而滤波处理的效果将直接影响到后续图像处理和分析的有效性和可靠性。
3.图像分割与光影融合技术已经能够成熟的应用于虚拟现实技术，一些研究者提出了如何利用单色背景图像分割急融合，基于光场颜色分布原理，用于特定目标背景的融合，从图像目标区域固有特征到真实场景的光影融合，成为了计算机视觉学科的重要分支。在图像处理领域，通过利用图像边缘特征分割、特征提取、仿射变换等技术，能够更加轻量快速地建立图像的自然融合。基于图像区域分割技术的边缘光影特征融合算法，通过从图像中提取目标物于新背景结合，并提取其边缘进行膨胀操作，进一步处理形成自然过渡效果。该算法通过可交互的图像分割算法，使算法可以应用于各种简单及复杂场景，利用边缘检测技术对分割后的图像进行分割，得到图像边缘特征信息，结合膨胀操作对结合后的图像边缘区域像素进行处理，得到过渡自然的边缘，最后和原图像进行融合，得到目标图像，使新图像前背景具有自然过渡的效果。目前的图像融合方面存在图像分割成本高，图像融合鲁棒性不强，效率低，精度低等问题。且图像目标区域分割局限、图像边缘轮廓颜色提取等技术复杂；缺少有效的基于目标特定区域的分割和光影融合算法。
4.综上所述，提供一种图像融合效率高，准确率高，且效果较好，分割成本低的基于神经网络区域目标分割的边缘光影融合方法，是本领域技术人员急需解决的问题。
技术实现要素：
5.本方案针对上文提到的问题和需求，提出一种基于神经网络区域目标分割的边缘光影融合方法，其由于采取了如下技术方案而能够解决上述技术问题。
6.为实现上述目的，本发明提供如下技术方案：一种基于神经网络区域目标分割的边缘光影融合方法，包括：步骤step1：获取包含待提取目标的原始图像，采用区域目标分割模型对所述原始图像进行图像分割，得到分割图像；
7.步骤step2：提取所述初步结合的融合图像的边缘特征，并利用膨胀操作对初步结合的融合图像的边缘进行处理，得到过渡自然的边缘；
8.步骤step3：获取待融合背景图像；
9.步骤step4：利用图像分割过程生成的掩膜将目标从图像中提取出来，并将所述目标与所述待融合背景图像结合，得到初步结合的融合图像；
10.步骤step5：对所述初步结合的融合图像进行滤波处理，并将经过滤波处理的图像中的边缘附近像素贴合到未经滤波处理的图像中，获取使图像前背景具有自然过渡效果的最终融合图像。
11.进一步地，采用区域目标分割模型对所述原始图像进行目标分割之前首先将包含待提取目标的原始图像输入u2
‑
net网络进行显著目标检测，选择图像的兴趣区域，得到分割区域图像。
12.更进一步地，所述采用区域目标分割模型对所述原始图像进行目标分割包括：利用模型叠加构建高斯混合模型，通过所述高斯混合模型对分割区域图像进行处理，定义区域项能量函数：θ＝{π(α,k),μ(α,k),σ(α,k),α＝0,1,k＝1
…
k}，像素对应的高斯分量必定来自于前景或背景,通过能量值限定来判断分割区域图像中像素是属于图像前景还是图像背景，并分别对所述分割区域图像的前景部分像素和背景部分像素进行标记；将像素的rgb颜色值和前后景进行匹配，获得最小区域项能量，在rgb空间中，采用欧式距离代替灰度值来衡量两个像素的相似性，相似性具体表示为：
[0013][0014]
其中，参数β由图像的对比度决定；得到获取最小割的方法后，不断迭代，重复获取最小割，得到最终分割图像。
[0015]
更进一步地，对比度越大则参数β越小，对比度越小则参数β越大。
[0016]
进一步地，所述提取所述初步结合的融合图像的边缘特征，并利用膨胀操作对初步结合的融合图像的边缘进行处理包括：根据分割后图像提取所述初步结合的融合图像的边缘附近像素，利用膨胀操作对初步结合的融合图像的边缘区域像素进行膨胀处理，的到更多的边缘区域像素。
[0017]
进一步地，对所述初步结合的融合图像采用双边滤波方法进行滤波处理。
[0018]
从上述的技术方案可以看出，本发明的有益效果是：本发明图像融合效率高，准确率高，且效果较好，分割成本低。
[0019]
除了上面所描述的目的、特征和优点之外，下文中将结合附图对实施本发明的最优实施例进行更详尽的描述，以便能容易地理解本发明的特征和优点。
附图说明
[0020]
为了更清楚地说明本发明实施例或现有技术中的技术方案，下文将对本发明实施例或现有技术描述中所需要使用的附图作简单地介绍，其中，附图仅仅用于展示本发明的一些实施例，而非将本发明的全部实施例限制于此。
[0021]
图1为本发明一种基于神经网络区域目标分割的边缘光影融合方法的步骤示意图。
[0022]
图2为本实施例中图像分割迭代过程的示意图。
[0023]
图3为本实施例中图像边缘特征提取过程的示意图。
[0024]
图4为本实施例中图像进行膨胀操作过程的示意图。
[0025]
图5为本实施例中图像进行融合过程的示意图。
[0026]
图6为本实施例中像素贴合过程的示意图。
[0027]
图7为本实施例中一种基于神经网络区域目标分割的边缘光影融合方法的流程示意图。
具体实施方式
[0028]
为了使得本发明的技术方案的目的、技术方案和优点更加清楚，下文中将结合本发明具体实施例的附图，对本发明实施例的技术方案进行清楚、完整地描述。附图中相同的附图标记代表相同的部件。需要说明的是，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于所描述的本发明的实施例，本领域普通技术人员在无需创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0029]
本技术通过深度学习技术从图像目标区域中提取目标与待融合背景结合，并提取其边缘进行膨胀操作，进一步处理形成自然过渡效果。通过可交互的图像分割算法，使其可以应用于各种简单及复杂场景，利用边缘检测技术对分割后的图像进行分割，得到图像边缘特征信息，结合膨胀操作对结合后的图像边缘区域像素进行处理，得到过渡自然的边缘，最后和待融合背景图像进行融合，得到目标图像，使融合后图像的前背景具有自然过渡的效果。
[0030]
如图1至图7所示，该方法包括：步骤step1：获取包含待提取目标的原始图像，采用区域目标分割模型对所述原始图像进行图像分割，得到分割图像。
[0031]
具体地，采用区域目标分割模型对所述原始图像进行目标分割之前首先将包含待提取目标的原始图像输入u2
‑
net网络进行显著目标检测，选择图像的兴趣区域，得到分割区域图像。再利用模型叠加构建高斯混合模型，其中，高斯混合模型是若干个高斯模型的加权平均进行叠加通过所述高斯混合模型对分割区域图像进行处理，定义区域项能量函数：θ＝{π(α,k),μ(α,k),σ(α,k),α＝0,1,k＝1
…
k}，像素对应的高斯分量必定来自于前景或背景,通过能量值限定来判断分割区域图像中像素是属于图像前景还是图像背景，并分别对所述分割区域图像的前景部分像素和背景部分像素进行标记；将分割区域图像的像素的rgb颜色值和前后景标记后的像素进行匹配，获得最小区域项能量，在rgb空间中，采用欧式距离代替灰度值来衡量两个像素的相似性，相似性具体表示为：
[0032][0033]
其中，α
n
,α
m
代表两个不同像素,z
n
,z
m
表示两个像素的对比度值。参数β由图像的对比度决定，对比度越大则参数β越小，对比度越小则参数β越大，如果图像的对比度较低，具有差别的两个像素之间的差还是很低，因此需要一个比较大的系数β来将两个像素的差别放大，反之，若是对比度比较大，那么就取一个比较小的系数β来将两个像素的差别缩小。这样可以让边界项能量在对比度无论高低的情况下都可以正常工作；得到获取最小割的方法后，不断迭代，重复获取最小割，得到最终分割图像。
[0034]
在本实施例中，使用五个高斯模型对目标和背景进行建模，这五个高斯模型叠加就变成了高斯混合模型。对于像素x，它只有两种可能，要么来自目标gmm的某个高斯分量，要么来自背景gmm的某个高斯分量。
[0035]
因为图像分割的作用是将图像的前景和背景分离，以便能直接对图像的轮廓进行进一步处理。需要考虑到不同分割样本图像的前景背景复杂度差异较大；颜色和光属性可能在深度和方向上发生变化，以及保留图像的重要结构特征，则将图像边缘检测技术用于目标分割。
[0036]
在本实施例中，利用u2
‑
net网络可以从浅层和深层层捕获更丰富的局部和全局信息选择图像的兴趣区域，得到分割区域图像。u2
‑
net网络是一种用于显著目标检测的新型深度网络，其主要结构是两层嵌套的u结构。这是最小的深度网络和有效的规模。简单的深层结构模型，具有丰富的多尺度特性和相对较低的计算和内存开销。它可以从无到有地进行训练，以获得有竞争力的性能，并可以保持高分辨率的特征图像。而利用模型叠加构造高斯混合模型，对于分割区域图像中前景和背景部分的像素通过标记后，其通过能量值限定，高斯分量必定来自于前景或背景，将像素的rgb颜色值和前后景进行匹配，来求出最小区域项能量，得到获取最小割方法后，要做的就是不断迭代，重复获取最小割，通过不断地迭代，会逐步优化gmm模型和分割效果，直到得到理想效果，如图2所示，图2中(a)为原始图像，图2中(b)
‑
图2中(d)均为迭代过程中的分割图像。
[0037]
步骤step2：提取所述初步结合的融合图像的边缘特征，并利用膨胀操作对初步结合的融合图像的边缘进行处理，得到过渡自然的边缘。
[0038]
具体地，所述提取所述初步结合的融合图像的边缘特征，并利用膨胀操作对初步结合的融合图像的边缘进行处理包括：根据分割后图像提取所述初步结合的融合图像的边缘附近像素，利用膨胀操作对初步结合的融合图像的边缘区域像素进行膨胀处理，的到更多的边缘区域像素。
[0039]
一般来说边缘检测需要将图像二值化，其次需要对图像进行滤波处理，使边缘平滑。但本实施例在图像分割流程中，已经获得了黑白两色的掩膜，因此只需滤波处理即可。复杂的图像通常有着多变的色彩和杂乱的细节，边缘检测算法无法很好的检测到边缘，但经过分割流程后，图像变得极为简单，很容易就能获得良好连续的边缘，平滑效果和边缘检测效果如图3所示。现在已经获得了目标物体的边缘，但仅对边缘像素做处理显然是不足的，因此我们需要使用数学形态学中的膨胀算法对边缘进行膨胀处理，这样我们获得更多的边缘区域像素，效果如图4所示。
[0040]
步骤step3：获取待融合背景图像，选取需要融合的背景图像。
[0041]
步骤step4：利用图像分割过程生成的掩膜将目标从图像中提取出来，如图5中(c)所示，将所述目标与所述待融合背景图像结合，得到初步结合的融合图像。
[0042]
步骤step5：如图5中(d)所示，对所述初步结合的融合图像进行滤波处理，并将经过滤波处理的图像中的边缘附近像素贴合到未经滤波处理的图像中，获取使图像前背景具有自然过渡效果的最终融合图像，其中，对所述初步结合的融合图像采用双边滤波方法进行滤波处理。在图5中，图5中(a)为提取的目标，图6中(b)为待融合背景图像,图5中(c)为初步结合的融合图像,图5中(d)为最终融合图像。
[0043]
在本实施例中，通过双边滤波对图像进行处理，是因为双边滤波引入了跟像素值
有关的权重，因此将像素值权重表示为g
r
，将距离权重表示为g
s
，通过计算得到像素值权重和距离权重，那么滤波结果bf可以表示为:
[0044]
其中w
q
是滤波时用到的所有像素值的权重和，则是用于权重的归一化，其中，p,q表示像素值，i
q
表示输入图像，σ为高斯函数的标准差。
[0045]
在距离边缘较远的区域，滤波器中每个像素点的像素值权重相近，距离权重在滤波中占有主要地位。在边缘区域，边缘同侧的像素点像素值权重相近，并且远大于边缘另一侧像素点的权重，因此，非同侧的像素点很难对滤波结果造成影响，也就可以起到保护边缘信息的作用。该步骤的目的是使用图像分割生成的掩膜将目标物从图像中提取出来，并将其与背景图像结合，通过双边滤波对图像进行处理，因为双边滤波引入了跟像素值有关的权重。
[0046]
将经过滤波处理的图像中的边缘附近像素贴合到未经滤波处理的图像中，这样做可以保留双边滤波带来的目标和背景间自然的过渡，同时也克服了滤波处理后，图像细节丢失，图像会变模糊的缺点。图6中的(a)为初始图像，图6中的(b)为背景图像，图6中的(c)为提取的目标，图6中的(d)为经滤波处理的边缘,图6中的(e)为贴合后的图像即最终融合图像。
[0047]
本技术采用了基于神经网络的图像边缘轮廓特征来提取感兴趣区域的图像分割算法，并结合边缘膨胀和双边滤波处理进行目标区域颜色覆盖与融合，能够在图像区域边缘产生自然的融合仿真效果。具体流程如图7所示，先利用物体关键区域的特征点进行边缘轮廓提取，结合图像边缘光影颜色等特征采样，对标的分割区域进行局部区域限定，并通过局部区域二值化生成特征区域的预处理采样图像；为了能够实现图像局部特征区域的交互式分割，利用图像模板匹配算法对特征区域进行限定，即通过边缘膨胀形成掩膜，并采用均值滤波操作对所提取区域边缘轮廓进行平滑羽化处理，在图像初步结合时用于边缘检测结果的平滑，通过使用之上的图像模板匹配所得到掩膜进行提取边缘附近像素，并相应的扩展分割图像的颜色自然过渡区域，针对不同样本前景和背景的差异化特征，采用基于边缘区域采样的自适应化阙值设定，用于满足图像融合视觉仿真的通用性；然后通过利用双边滤波处理和使用掩膜提取边缘附近的像素特征，模拟光点及交互式区域仿真光点来计算图像最近邻域的阴影生成；最后，调整将像素覆盖至初步结合图像的视觉局部特征图像融合。
[0048]
应当说明的是，本发明所述的实施方式仅仅是实现本发明的优选方式，对属于本发明整体构思，而仅仅是显而易见的改动，均应属于本发明的保护范围之内。