一种自适应分治的高分辨率图像对象精准提取方法与流程

本发明属于图像处理、计算机视觉
技术领域：
，是一种自适应分治的高分辨率图像对象精准提取方法，能够使用很小的内存处理高分辨率图像。
背景技术：
：图像前景精准提取旨在将图像I分解成前景F和背景B。从数学角度上讲，图像I是F和B按如下方式的线性组合：I＝αF+(1-α)B.其中，α定义了每一个像素的不透明度即属于前景的概率，它的取值位于[0,1]，当取值为0时表示为背景点，当取值为1时表示为前景点。图像对象的精准提取在不同的图像和视频编辑应用中有很大的作用。然而，由于未知点的个数比已知方程式的个数多很多，导致该方程不可解。所以，通常采用的方法是利用用户画笔式交互或输入一张黑白灰三分图(trimap)来简化这个问题的求解。现在的图像方法大致可以分为三类：基于采样(Sampling-Based)的方法，基于传播(Propagation-Based)的方法以及结合这两种方法的综合方法。基于采样的方法一般是从已知的前景区域中和已知的背景区域中筛选出一些样本点构造一个样本集来代表输入图像的颜色特征，然后从样本点中构造一个样本点对的集合，然后利用某种筛选策略选择为每个未知像素点找到最能够代表该点的样本点对，然后根据该未知点距离样本点对的距离估计出该未知像素点的α值。基于采样的方法的不同点主要体现在构造样本集的策略以及筛选样本点对的策略上。基于传播的方法主要是构建一个关系矩阵来代表像素点之间的关联关系，然后将α值从已知区域的像素传播到未知区域像素。基于传播的方法的不同点主要体现在关系矩阵的定义和传播策略方面。比如在基于闭合式方法的图像前景精准提取(closed-formmatting)中的拉普拉斯算子矩阵是利用邻域窗口内像素的颜色线性模型得到的。事实上，多数的方法是将采样和传播结合在一起的。基于邻域和非邻域平滑先验的图像前景精准提取方法(LNSPMatting)先进行颜色采样得到一个α初始值，然后在邻域和非邻域平滑先验的约束下传播α值，得到最终的掩像。近几年来，基于采样的方法在完成采样后会利用拉普拉斯矩阵(MattingLaplacian)作为后处理，对采样得到的α值进行平滑。目前绝大多数的方法是基于全局优化的方法，虽然取得了不错的视觉效果，但是在处理高分辨率图像时遇到了瓶颈。技术实现要素：本发明的技术解决问题：克服现有技术的不足，提供一种自适应分治的高分辨率图像对象精准提取方法，这种方法在计算精准度、内存消耗等方面有良好的表现，并且在标准测试数据集上有良好的表现。为完成本发明的目的，本发明采用的技术方案的原理是：基于全局优化的方法离不开一个庞大的稀疏关系矩阵，并且求解该线性方程将耗费大量的内存，超出普通个人计算机的负载能力。基于以上分析，受‘分而治之’的思想启发，将整张图像划分成多个小的图像块，并且根据图像块内像素点的分布情况，自适应地合并图像块，对合并后的区域进行重新划分，然后对划分得到的每个子区域进行求解，这样将全局求解问题转化成了多个子问题，缩小了问题的规模，内存消耗不再与原始图像的分辨率相关，而是与自适应划分地每个子区域的尺寸相关，极大地降低了内存消耗。本发明方法在标准测试数据集上展现了良好的性能，在计算精准度、掩像连续性、内存消耗等方面有良好的表现。本发明一种自适应分治的高分辨率图像对象精准提取方法，包括如下步骤：步骤S100，标记输入图像中的前景点、背景点和未知点；前景点就是要提取出的图像内容所在的像素点，背景点是不需要提取的图像内容所在的像素点，而未知点是前景和背景交叉难以区别的像素点。步骤S200，对于输入图像的每一个未知像素点，使用构造完备样本集的采样方法初始化该像素属于前景的概率α值，并计算α值的置信度，对于其α值的置信度大于给定阀值的像素，采信该像素的α值，并将该像素标记为已知像素，并将前景区域中的每一个像素的α值设为一个最大值，而将背景区域中的每一个像素的α值设为一个最小值；通常α值介于0-1之间，前景区域的为1，背景区域的为0，而未知区域中的像素的α值位于[0,1]之间。该步骤的目的是为了尽量多地确定像素的α值，减小未知区域。步骤S300，采用分治策略，首先将图像划分成多个有重叠的图像块，然后根据未标记像素点的分布情况，合并某些图像块然后进行重新划分成多个子区域，保证每个子区域中已知信息足够，实现对高分辨率图像的自适应分治；步骤S400，对每个子区域中的每一个像素点，寻找其特征空间中的近邻，然后依据近邻所在子区域进行筛选，构建非邻域平滑约束项权重，结合邻域平滑约束项权重以及数据项权重构造每个子区域中所有像素的图模型；步骤S500，根据所已知像素的α值，在步骤S400的图模型的约束下，通过最小化能量方程解得每一个像素点属于前景的概率，得到该子区域的掩像；步骤S600，根据每个子区域中各类像素点的分布情况计算每个子区域的置信度，根据置信度将所有的子区域的掩像结果进行融合，得到该高分辨率图像的具有全局一致性的掩像图。相当于完成了输入图像中各像素属于前景还是背景的区分工作，实现前景对象的精准提取。优选的是，所述的自适应分治的高分辨率图像对象精准提取方法中，在步骤S300中，采用分治策略，首先将输入图像划分成重叠的图像块，统计图像块中各类像素点的数量，若无未知像素点，则该图像块内的像素点全部已知，无需计算，直接采用标注结果作为该图像块的掩像图，针对包含未知像素点的图像块，若图像块中的已知前景点和背景点比例大于p，则说明该图像块划分的比较好，若不满足此条件，则需要根据图像块中像素点的分布情况，将该图像块与其邻接的图像块进行合并，然后合并的图像块进行重新划分成不同子区域，实现自适应分治。一般每个图像块包含100×100个像素，并且重叠区域设为20％，阈值p设置为0.05.优选的是，所述的自适应分治的高分辨率图像对象精准提取方法中，在步骤S300中，图像块合并过程如下：步骤S310，首先根据相邻的图像块中各类像素点的数量差异判断合并方向水平方向还是垂直方向，其中数量差异的计算方式如下：varianceih=||Nfih1-Nfih2||+||Nbih1-Nbih2||+||Nuih1-Nuih2||]]>varianceiv=||Nfiv1-Nfiv2||+||Nbiv1-Nbiv2||+||Nuiv1-Nuiv2||]]>其中i表示第i个图像块，Nf,Nb,Nu分别表示图像块中前景点的数量、背景点的数量，和未知点的数量，h,v分别表示水平方向和垂直方向，其中h1与h2表示图像块i水平方向上相邻的两个图像块，v1与v2表示图像块i垂直方向上相邻的两个图像块，varianceihvarianceiv分别表示该图像块水平方向与垂直方向上相邻块之间各类像素点数量的差异，选择数量差异大的方向进行合并即若varianceih大于varianceiv则水平方向进行合并，若varianceiv大于varianceih则垂直方向上进行合并，在确定的合并方向上不断合并直至合并的子区域拥有足够的已知信息。优选的是，所述的自适应分治的高分辨率图像对象精准提取方法中，在步骤S300中，合并子区域重新划分过程如下：步骤S320，对合并子区域进行重新划分时，需要考虑重新划分的方向和大小，如果该子区域是通过水平方向上的图像块合并而来，则需要在水平方向上进行重新划分，其中划分的子区域的宽度为合并区域的宽度，相应调整子区域的高度，使得每个子区域的像素数量与原图像块相等，相反地，如果该区域是通过垂直方向上的图像块合并而来，则需要在垂直方向上进行重新划分，其中划分的子区域的高度为合并区域的高度，相应调整子区域的宽度，使得每个子区域的像素数量与原图像块相等，基本保证像素点数量在10000左右。优选的是，所述的自适应分治的高分辨率图像对象精准提取方法中，在步骤S400中，每个子区域中的每一个像素点的近邻筛选规则如下：步骤S410，根据输入图像的每一个像素的特征值生成包括所有像素在内特征空间，对于子区域ρ中的像素点i的最近的k个近邻，根据k个近邻所在子区域进行筛选，若近邻在子区域ρ内则保留，若在子区域外则要求该近邻具有已知α值并且处于前k/2的近邻中，否则剔除掉，以此保证在保留非邻域一致性约束的同时减少了与该子区域相关联的外部像素点的数量，缩小了计算规模。其中像素i的特征值包括cos(hi),sin(hi),si,vi,xi,yi，其中hi,si,vi分别代表像素点i的色调、饱和度和明度，为了将色调归一化，取了其cos与sin的值，xi,yi是像素i在输入图像中的坐标位置。优选的是，所述的自适应分治的高分辨率图像对象精准提取方法中，在步骤S600中，根据每个子区域中各类像素点的分布情况计算每个子区域的置信度，根据置信度将所有的子区域的掩像结果进行融合，得到该高分辨率图像的具有全局一致性的掩像图，具体步骤如下：计算每个子区域的置信度方法如下：Wρ=e-(Pf-Pb)2+(Pf-Pu)2+(Pb-Pu)2σ1×e-Puσ2.]]>其中Pd,d＝{f,b,u}分别表示该子区域中前景像素、背景像素以及未知像素所占百分比，σ1和σ2为常数，权衡子区域中各类像素点的比例差异的影响与未知点比例的影响，各类像素点的比例差异越小该子区域的置信度越高，该子区域中未知点比例越小该子区域的置信度越高；然后对相邻的图像块的置信度进行归一化，作为加权系数计算重叠区域的α值，最终得到全局一致性的原始图像的掩像，从而完成对输入图像前景对象的精准提取。本发明与现有技术相比的优点在于：(1)本发明消耗极小的内存，在处理高分辨率图像时具有很大的优势，可广泛应用推广到高清影视制作等领域。(2)本发明的自适应分治的高分辨率图像对象精准提取方法能够精准提取图像中的发丝类前景以及塑料袋之类的半透明前景，准确度极高。附图说明图1是本发明的流程图；图2是本发明中自适应分块的过程图；图3是融合每个区域的掩像的结果对比图。具体实施方式如图1所示，本发明提出了一种新型的自适应分治的高分辨率图像对象精准提取方法,包括以下步骤：步骤S100，用户交互式标记前景点、背景点和未知点，包括：用户采用画笔标记图像的前景点和背景点，白色画笔覆盖的像素为已知前景像素，黑色画笔覆盖的像素为已知背景像素，其他像素点为未知像素；或用户提供一张与输入图像相同尺寸的黑白灰三分图(Trimap)，白色区域所对应的输入图像的像素为已知前景像素，黑色区域所对应的输入图像的像素为已知背景像素，灰色区域所对应的输入图像的像素为未知像素；设定已知前景像素的α值为1，已知背景像素的α值为0。步骤S200，首先在未知点周边进行采样，构建出一个完备的样本集代表图像的特征分布，利用样本集中的前景样本和背景样本构造一个候选前景和背景点对的集合，为每个像素点在样本集中选出最合适的样本点对来估计该像素点的α值，其判断规则为：Oz(Fi,Bi)＝Kz(Fi,Bi)×Sz(Fi,Bi)×Cz(Fi,Bi).其中K表示颜色误差，颜色误差越小，该样本点对的置信度越高；S表示位置距离信息，距离越近则该样本点对的置信度越高；C表示颜色分布信息，样本点对中前景样本点F与B的特征区分性越高该样本点的置信度越高。选择置信度最高的样本点对作为该像素点估计的样本点对，确定了样本点对后，计算该像素点的α值：αi=(Ci-Bi)(Fi-Bi)||Fi-Bi||2.]]>为了节省在高分辨率图像上的采样时间，可以将原始分辨率的图像进行等比例缩小使得图像的长或者宽的最大值为800，然后在缩放后的图像上进行采样和置信度的估计，然后再放大至原始的分辨率，得到在原始分辨率图像上的初始α值和置信度估计，若置信度大于阈值d，则采信其α值，并将该未知像素作为已知像素。步骤S300，采用分治策略，自适应地将图像划分成多个有重叠的子区域。首先将输入图像划分成重叠的图像块，统计图像块中各类像素点的数量，若无未知像素点，则该图像块内的像素点全部已知，无需计算，直接采用标注结果作为该图像块的掩像图，针对包含未知像素点的图像块，若图像块中的已知前景点和背景点比例大于p，则说明该图像块划分的比较好，若不满足此条件，则需要根据图像块中像素点的分布情况，将该图像块与其邻接的图像块进行合并，然后合并的图像块进行重新划分成不同区域，实现自适应分治。在实验中，每个图像块包含100×100个像素，并且重叠区域设为20％，阈值p设置为0.05。步骤S310，根据相邻的图像块中各类像素点的数量差异判断合并方向水平方向还是垂直方向，其中数量差异的计算方式如下：varianceih=||Nfih1-Nfih2||+||Nbih1-Nbih2||+||Nuih1-Nuih2||]]>varianceiv=||Nfiv1-Nfv2||+||Nbiv1-Nbiv2||+||Nuiv1-Nuiv2||]]>其中i表示第i个图像块，Nf,Nb,Nu分别表示图像块中前景点的数量、背景点的数量，和未知点的数量，h,v分别表示水平方向和垂直方向，其中h1与h2表示图像块i水平方向上相邻的两个图像块，v1与v2表示图像块i垂直方向上相邻的两个图像块，varianceihvarianceiv分别表示该图像块水平方向与垂直方向上相邻块之间各类像素点数量的差异，选择数量差异大的方向进行合并即若varianceih大于varianceiv则水平方向进行合并，若varianceiv大于varianceih则垂直方向上进行合并，在确定的合并方向上不断合并直至合并的区域拥有足够的已知信息。步骤S320，对合并区域进行重新划分时，需要考虑重新划分的方向和大小，如果该区域是通过水平方向上的图像块合并而来，则需要在水平方向上进行重新划分，其中划分的子区域的宽度为合并区域的宽度，相应调整子区域的高度，使得每个子区域的像素数量与原图像块相等，相反地，如果该区域是通过垂直方向上的图像块合并而来，则需要在垂直方向上进行重新划分，其中划分的子区域的高度为合并区域的高度，相应调整子区域的宽度，使得每个子区域的像素数量与原图像块相等，基本保证像素点数量在10000左右。步骤S400，对每个区域中的每一个像素点，寻找其特征空间中的近邻，然后依据近邻所在区域进行筛选，构建非邻域平滑约束项权重，结合邻域平滑约束项权重以及数据项权重构造每个区域中所有像素的图模型，包含以下步骤：步骤S410，根据输入图像的每一个像素的特征值生成包括所有像素在内特征空间，对于区域ρ中的像素点i，在特征空间中求其在欧氏距离上最近的k个近邻像素，然后根据对k个近邻像素进行筛选，若该近邻在子区域ρ内保留，若在子区域ρ外，则要求该近邻具有已知α值并且处于前k/2的近邻中，否则剔除该近邻。对筛选后的近邻利用局部线性嵌入降维方法，构建非邻域平滑约束，其非邻域平滑约束项权重值可在约束条件下通过最小化如下方程得到：WLLE=argminWidlleΣi=1N||Xi-Σd=1DWidLLEXid||2.]]>其中LLE表示局部线性局部嵌入方法，N为子区域ρ中像素点的总数量，D为像素点i筛选后在特征空间中近邻的数量，d为D个邻近像素中的一个近邻像素，Xi表示像素i的特征值，WLLE为N×H的矩阵，其中H为子区域ρ中的N个像素点与子区域外的被选中的近邻点的数量总和，WLLE中最后的(H-N)列的权重为子区域内ρ的像素点与区域外的被选中的近邻之间的权重值。其中像素i的特征值包括cos(hi),sin(hi),si,vi,xi,yi，其中hi,si,vi分别代表像素点i的色调、饱和度和明度，为了将色调归一化，取了其cos与sin的值，xi,yi是像素i在输入图像中的坐标位置。步骤S420，对于子区域ρ中的像素i，采用拉普拉斯方法在输入图像中以像素i为中心的周围m*m个像素的固定大小窗口内建立邻域平滑约束，对于像素i周围的邻居像素j的邻域平滑约束项权重值的计算方法为：WijLap=δΣk(i,j)∈wk1+(Ci-μk)(Σk+ϵm2I)-1(Cj-μk)m2]]>其中，邻居像素j的个数为m2个，Lap表示拉普拉斯方法，参数δ控制着邻域平滑性的强度，μk和∑k代表窗口内m*m个像素的颜色均值和方差，ε是正则化系数，Ci表示像素i的颜色值，I为单位矩阵。在实验中将ε设置为10-5的正则化系数，且m取值为3。该子区域的局部平滑项最终可表达为为N×H的矩阵，其中为N×N的矩阵，0为N×(H-N)的全零矩阵，其中全零矩阵是为了使得矩阵维度一致。步骤S430，数据项权重包括两项，分别表示为该像素属于前景可能性的权重值W(i,F)和该像素属于背景可能性的权重值W(i,B)，W(i,F)和W(i,B)的计算方式为：W(i,F)＝γαW(i,B)＝γ(1-α)其中，统计的像素点不仅包括该子区域内的像素点而且包括在计算非局部平滑约束的时候筛选的子区域外的像素点，α值是用户标记和采样筛选后的作为已知点的值，参数γ平衡了数据项与平滑集。在试验中将γ统一设置为0.5。使用WF和WB分别表示{W(i,F)|i＝1,...,H}和{W(i,B)|i＝1,...,H}。步骤S500，根据所有前景区域像素、背景区域像素和未知区域中经过采样确定的已知像素的α值，在步骤S400的图模型的约束下，通过最小化能量方程解得每一个像素点属于前景的概率，得到该子区域的掩像：Eρ=λΣi∈Ω(αi-gi)2+Σi=1M(Σj∈NiWij(αi-αj))2.]]>其中，E为能量，λ为权重系数，Ω为输入图像的所有已知α值的像素点集，已知点不仅包含最初用户标注的已知点而且包含采样后确定的已知像素，gi为已知α值的像素的在步骤S200中确定的α值，而中的αi是上述能量公式中待求解的最优α值，M为图模型中所有像素点集包括该子区域ρ中的像素点、计算非局部平滑约束的时候筛选的子区域外的像素点以及对应于数据项W(i,F)和W(i,B)的两个虚拟点集ΩF和ΩB，i表示像素i，Ni是像素i的邻居像素集，所述邻居像素集Ni中包括步骤S410中的D个特征空间内的近邻像素、步骤S420中的m*m个像素中的邻居像素、与W(i,F)对应的前景虚拟邻居像素、和与W(i,B)对应的背景虚拟邻居像素，Wij代表了三种权重值，包括数据项权重值W(i,F)和W(i,B)，邻域平滑项权重值和非邻域平滑项权重值上述函数可用如下矩阵形式表示：Eρ＝(α-G)TΛ(α-G)+αTLTLα.其中Λ是一个M*M的对角线矩阵，若i∈Ω，则Λii设为1000否则为0，G为一个M维的向量，并且当像素点i为确定前景点时Gi设为1否则设为0，并且L矩阵可如下表达：Lij=Wii,ifi=j-Wij,ifiandjareneighbors0,otherwise]]>L矩阵的对角线元素为Wii，具有关联关系位置的元素为-Wij，其他位置为0；其中L包括非局部平滑项、局部平滑项以及数据项三部分，满足上述能量方程的矩阵形式表示是关于α的二次方程，可通过求解下列线性方程最小化α值：(Λ+LTL)α＝ΛG.上述方程是一个稀疏线性方程组，可以通过预处理共轭梯度法求解一个闭合解。步骤S600，根据每个子区域中各类像素点的分布情况计算每个子区域的置信度，根据置信度将所有的子区域的掩像结果进行融合，得到该高分辨率图像的具有全局一致性的掩像图。计算每个子区域的置信度方法如下：Wρ=e-(Pf-Pb)2+(Pf-Pu)2+(Pb-Pu)2σ1×e-Puσ2.]]>其中Pd,d＝{f,b,u}分别表示该子区域中前景像素、背景像素以及未知像素所占百分比，σ1和σ2为常数，权衡子区域中各类像素点的比例差异的影响与未知点比例的影响，各类像素点的比例差异越小该子区域的置信度越高，该子区域中未知点比例越小该子区域的置信度越高；然后对相邻的图像块的置信度进行归一化，作为加权系数计算重叠子区域的α值，最终得到全局一致性的原始图像的掩像，从而完成对输入图像前景对象的精准提取。下面进一步结合附图以实例的方式进行说明：请参见图2。图2本发明中自适应分块的过程图，(a)为输入图像，选取一个红框部分作为说明，(b)为选取部分对应的三分图，(c)将图像分成了将图像划分成了多个图像块，(d)判断每个图像块的各类像素点的分布情况，看哪些图像块需要与邻接图像块合并，例如图中标注的a和b图像块不包含已知信息需要与周围邻接图像块进行合并从而得到更多的已知信息，(e)根据邻接图像块中各类像素点的差异判断合并方向，图像块a的合并方向为垂直方向，因为垂直邻接图像块之间各类像素点数量的差异性比水平邻接图像块之间各类像素点数量的差异性大，相反地图像块b的合并方向为水平方向，(f)对合并的区域重划分成多个子区域，并且保证子区域中像素点的数目与图像块像素数目接近，比如a图像块合并的区域由5块相邻的图像块合并而成，则将该区域进行垂直划分5个子区域，b图像块合并的区域由3块相邻的图像块合并而成，则将该区域进行水平划分3个子区域，这样每个子区域中基本保证在10000个像素点左右。请参见图3。图3本发明中融合每个子区域的掩像图结果图。(a)为输入图像，红色框与黄色框标注了两个相邻的图像块，(b)为红色框标注的图像、三分图以及该图像块的掩像图，由于该图像块中缺乏已知前景信息导致该图像块的掩像图不准确(c)为黄色框标注的图像、三分图以及图像块的掩像图，该图像块包含充分的已知信息所以掩像图很精准，(d)是由两块相邻的图像块直接相加取均值得到的掩像图，这样会导致边界残影，(e)是先计算图像块的置信度，通过给不同的图像块赋予不同的权重，比如(b)所示的图像块对应的掩像图有较小的权重，而(c)所示的图像块对应的掩像图有较大的权重，通过进行一个加权平均得到的二者重叠子区域的掩像图，有效地避免了边界残影。以上所述仅为本发明的一些基本说明，依据本发明的技术方案所做的任何等效变换，均应属于本发明的保护范围。当前第1页1 2 3