基于相机阵列合成孔径成像的遮挡背景估计方法与流程

技术特征：

1.一种基于相机阵列合成孔径成像的遮挡背景估计方法，其特征在于包括以下步骤：

步骤一、定义相机Cr为具有N个相机的相机阵列的参考相机，πr为参考平面，πb表示背景深度为b的焦平面，其中b∈R定义Wkr为相机阵列中不同视角图像投影至πr的图像，应用公式(1)求得Wkr

Wkr＝Hk·gk， (1)

式中，gk表示相机Ck采集的图像序列中的一帧图像，Hk，k＝1，…，N表示从gk到参考相机Cr在平面πr上的投影矩阵，N为相机阵列在某一时刻或时间间隔内采集的图像个数；当聚焦于背景平面πb时，计算出该平面与参考相机Cr的相对深度d

d＝(b-r)·b (2)

式中，r表示参考平面πr的深度，πb表示背景深度为b的焦平面，其中b∈R

再应用公式(3)求得深度b处的视差Δp

Δp＝ΔX·d (3)

式中，ΔX表示相机间相对位置，深度范围表示为R＝[0，s]，

根据以上结果并应用公式(4)求得相机Ck投影至深度b的投影图像Wkb的像素；

Wkb(m)＝Wkr(m+Δp) (4)

式中，m为图像中任意像素；

步骤二、设L＝{1，…，k，…，N}为标签集，其中k对应相机Ck视角的投影图像；令fm为像素m的标记，其中fm∈L；将背景透视估计问题等同于标记问题，并利用能量最小化方法来解决；寻找最优背景将通过计算最小代价的标记fm获得；应用公式(5)定义能量函数

E(f)＝Ed+Es (5)

式中，E(f)为能量函数，Ed为数据项，Es为平滑项；数据项包括稳定项和预测项，应用公式(6)定义数据项

Ed＝∑m∈βDm(fm)， (6)

其中

Dm(fm)包括和用来度量像素m分配标签fm的代价；其中表示稳定项，表示预测项；

步骤三、稳定项基于色彩相似性应用公式(8)进行定义

式中，表示相机投影至深度b的投影图像中的像素m；

判断像素m是否为稳定像素

式中，是用来标识稳定区域的稳定性标记，表示该区域不会被遮挡；稳定区域由背景像素组成，这些像素非常相似且在该区域多次出现；另一方面，不稳定区域对应于N幅投影图像中具有遮挡和发生巨大变化的像素；若像素m属于稳定区域，则m被设置为Wrb(m)，否则m为0，表示其为不稳定像素；tH表示一个阈值；

步骤四、基于不稳定像素对预测项应用公式(10)进行定义

其中

以及

式中，W^v(m)表示利用图像修补技术对像素m进行预测得到的像素值；表示用来估计预测像素值的采样像素集；表示以像素m为中心的窗口，用来检查不稳定像素，|Θ|为窗口大小；|m-m′|表示m和m′之间的距离；对于每一个像素m，当其被标记为不稳定时，则放置一个以m为中心，大小为的窗口；当稳定像素的数量小于窗口中像素数量的50％，则该窗口需被设置为|W|；预测像素值由该窗口内所有稳定像素加权平均计算得到；

步骤五、基于色彩相似性使用欧几里得范数对平滑项进行计算，应用公式(14)进行定义，

Es＝Σm，n∈WVm，n(fm，fm)， (14)

其中

式中，m，n是临近像素，若与匹配度较高，则平滑项小；反之，平滑项大；

步骤六、使用图割方法对能量函数进行优化，最终获得一个清晰背景的透视区域。