本发明涉及一种背景估计方法，特别是涉及一种基于相机阵列合成孔径成像的遮挡背景估计方法。
背景技术：
文献“Background Estimation Using Graph Cuts and Inpainting，Graphics InterfaceGI 2008,p97–103，2010”公开了一种利用非时间序列的背景估计方法。该方法首先选定某一个相机视角作为参考视角，通过尺度不变的特征提取方法对各个视角获得的图像数据进行特征提取，然后依据特征提取结果，根据背景像素在各个视角中出现的频次最多这一假设，利用Graph cuts对背景像素值进行标记，获得背景估计结果。然而，该方法利用SIFT对不同视角相机拍摄结果进行特征提取，提取的特征并不能保证位于同一深度，因此将会影响该方法后续背景像素标记的精度，当提取特征位于不同深度时，该方法精度将大大降低。
技术实现要素：
为了克服现有背景估计方法精度差的不足，本发明提供一种基于相机阵列合成孔径成像的遮挡背景估计方法。该方法充分利用多视角信息，通过相机阵列合成孔径成像聚焦任意不同深度的能力，将聚焦平面移置背景平面，解决利用SIFT方法匹配时不同深度像素点对匹配结果的影响问题，最后利用Graph cuts结合像素标记方法，实现前景与遮挡像素点标记，进而去除遮挡，提高背景估计精度。
本发明解决其技术问题所采用的技术方案是：一种基于相机阵列合成孔径成像的遮挡背景估计方法，其特点是包括以下步骤：
步骤一、定义相机Cr为具有N个相机的相机阵列的参考相机，πr为参考平面，πb表示背景深度为b的焦平面，其中b∈R.定义Wkr为相机阵列中不同视角图像投影至πr的图像。应用公式(1)求得Wkr
Wkr＝Hk·gk， (1)
式中，gk表示相机Ck采集的图像序列中的一帧图像，Hk，k＝1，…，N.表示从gk到参考相机Cr在平面πr上的投影矩阵。当聚焦于背景平面πb时，计算出该平面与参考相机Cr的相对深度d
d＝(b-r)·b. (2)
式中，r表示参考平面πr的深度，πb表示背景深度为b的焦平面，其中b∈R.
再应用公式(3)求得深度b处视差Δp
Δp＝ΔX·d. (3)
式中，ΔX表示相机间相对位置，深度范围表示为R＝[0，s]。
根据以上结果并应用公式(4)求得相机Ck投影至深度b的投影图像Wkb的像素。
Wkb(m)＝Wkr(m+Δp). (4)
式中，m为图像中任意像素。
步骤二、设L＝{1，…，k，…，N}为标签集，其中k对应相机Ck视角的投影图像。令fm为像素m的标记，其中fm∈L。将背景透视估计问题等同于标记问题并利用能量最小化来方法解决。寻找最优背景将通过计算最小代价的标记fm获得。应用公式(5)定义能量函数
E(f)＝Ed+Es. (5)
式中，E(f)为能量函数，Ed为数据项，Es为平滑项。数据项包括稳定项和预测项，应用公式(6)定义数据项
Ed＝∑m∈βDm(fm)， (6)
其中
Dm(fm)包括和用来度量像素m分配标签fm的代价。其中表示稳定项，表示预测项。
步骤三、稳定项基于色彩相似性应用公式(8)进行定义
式中，表示相机投影至深度b的投影图像中的像素m。
判断像素m是否为稳定像素
式中，是用来标识稳定区域的稳定性标记，表示该区域不会被遮挡。稳定区域由背景像素组成，这些像素非常相似且在该区域多次出现。另一方面，不稳定区域对应于N幅投影图像中具有遮挡和发生巨大变化的像素。若像素m属于稳定区域，则m被设置为Wrb(m)，否则m为0，表示其为不稳定像素。tH表示一个阈值。
步骤四、基于不稳定像素对预测项应用公式(10)进行定义
其中
以及
式中，Wγ(m)表示利用图像修补技术对像素m进行预测得到的像素值。表示用来估计预测像素值的采样像素集。表示以像素m为中心的窗口，用来检查不稳定像素，|Θ|为窗口大小。|m-m′|表示m和m′之间的距离。对于每一个像素m，当其被标记为不稳定时，则放置一个以m为中心，大小为的窗口。当稳定像素的数量小于窗口中像素数量的50％，则该窗口需被设置为|W|。预测像素值由该窗口内所有稳定像素加权平均计算得到。
步骤五、基于色彩相似性使用欧几里得范数对平滑项进行计算，应用公式(14)进行定义，
Es＝∑m，n∈WWm，n(fm，fm)， (14)
其中
式中，m，n是临近像素，若与匹配度较高，则平滑项小；反之，平滑项大。
步骤六、使用图割方法对能量函数进行优化，最终获得一个清晰背景的透视区域。
本发明的有益效果是：该方法充分利用多视角信息，通过相机阵列合成孔径成像聚焦任意不同深度的能力，将聚焦平面移置背景平面，解决利用SIFT方法匹配时不同深度像素点对匹配结果的影响问题，最后利用Graph cuts结合像素标记方法，实现前景与遮挡像素点标记，进而去除遮挡。本发明通过相机阵列合成孔径成像聚焦任意不同深度，将聚焦平面移置背景平面；充分利用相机阵列多视角信息的优势，从不同视角的图像片段选取适当的像素值进行计算，实现了前景与遮挡像素点标记，能够去除遮挡，同时提高了背景估计的精度。
下面结合具体实施方式对本发明作详细说明。
具体实施方式
本发明基于相机阵列合成孔径成像的遮挡背景估计方法具体步骤如下：
非聚焦区域的估计方法为利用相机阵列从不同视角同时捕获的信息来重建背景，通过图像片段从不同视角选取适当的像素值。
1、投影图像至背景深度。
设N为相机阵列在某一时刻或时间间隔内采集的图像个数，定义相机Cr为参考相机，πr为参考平面。Wkr为相机阵列中不同视角图像投影至πr的图像。Wkr可应用公式(1)得到：
Wkr＝Hk·gk， (1)
其中，gk表示相机Ck采集的图像序列中的一帧图像，Hk，k＝1，…，N.表示从gk到参考相机Cr在平面πr上的投影矩阵。令ΔX表示相机间相对位置，深度范围表示为R＝[0，s].πb表示背景深度为b的焦平面，其中b∈R.当聚焦于背景平面πb时，该平面与参考相机的相对深度d可应用公式(2)求得
d＝(b-r)·b. (2)
式中，r表示参考平面πr的深度。
应用公式(3)可得深度b处的视差Δp
Δp＝ΔX·d. (3)
根据以上结果并应用公式(4)将所有不同视角采集的N幅图像聚焦至背景深度b的平面Pb。
Wkb(m)＝Wkr(m+Δp). (4)
其中Wkb为相机Ck投影至深度b的投影图像。
2、定义能量函数
设L＝{1，…，k，…，N}为标签集，其中k对应相机Ck视角的投影图像。令fm为像素m的标记，其中fm∈L。可将非聚焦区域的估计问题等同于标记问题并利用能量最小化来方法解决。寻找最优背景将通过计算最小代价的标记fm获得。能量函数公式包含一个数据项和一个平滑项，并通过图割进行优化，应用公式(5)进行定义
E(f)＝Ed+Es. (5)
其中
Ed＝∑m∈βDm(fm)， (6)
以及
式中，E(f)为能量函数，Ed为数据项，Es为平滑项。Dm(fm)包括和用来度量像素m分配标签fm的代价。表示稳定项，表示预测项。
3、计算数据项中的稳定项
在变换后的图像Wkb，k＝1...N中，背景像素会比其它区域像素出现次数更多，因此稳定项可利用色彩相似性进行定义，应用公式(8)计算。
其中，表示相机投影至深度b的投影图像中的像素m。
使用公式(9)判断像素m是否为稳定像素，
式中，是用来标识稳定区域的稳定性标记，表示该区域不会被遮挡。稳定区域由背景像素组成，这些像素非常相似且在该区域多次出现。另一方面，不稳定区域对应于N幅投影图像中具有遮挡和发生巨大变化的像素。若像素m属于稳定区域，则m被设置为Wrb(m)，否则m为0，表示其为不稳定像素。tH表示一个阈值，若Wrb(m)＝0，将其值设置为15，若为其他情况，将其值设置为Wrb(m)×0.2。
4、计算数据项中的不稳定项
基于不稳定像素应用公式(10)对预测项进行定义：
其中
以及
式中，Wγ(m)表示利用图像修补技术对像素m进行预测得到的像素值。表示用来估计预测像素值的采样像素集。表示以像素m为中心的窗口，用来检查不稳定像素，|Θ|为窗口大小，其取值为100×100像素的默认窗口尺寸或选择参考图像尺寸|W|。|m-m′|表示m和m′之间的距离。对于每一个像素m，当其被标记为不稳定时，则放置一个以m为中心，大小为的窗口。当稳定像素的数量小于窗口中像素数量的50％，则该窗口需被设置为|W|。预测像素值由该窗口内所有稳定像素加权平均计算得到。
5、计算平滑项
在同一物体中，色彩相似的临近像素具有密切联系，反之亦然。因此平滑项可利用色彩相似性进行计算，使用欧几里得范数求得。应用公式(14)定义平滑项：
Es＝∑m，n∈WVm，n(fm，fm)， (14)
其中
式中，m，n是临近像素，若与匹配度较高，则平滑项将会较小；反之，平滑项将会较大。
使用上述估计模型，可获得一个清晰的背景的透视区域。