专利名称：一种基于贝叶斯推理的图像场景分层处理方法
技术领域：
本发明属于图像处理、计算机视觉领域，具体地说是一种基于贝叶斯推理的图像场景分层处理方法。
背景技术：
基于视频素材的虚拟场景生成技术是虚拟现实的重要组成部分，也是虚拟现实、 增强现实、计算机视觉及相关研究方向有机交叉的研究热点。图像虚拟场景生成是视频虚拟场景生成的重要组成部分，其中，图像虚拟场景的层次遮挡处理是图像虚拟场景生成技术需要解决的关键问题。在虚拟场景生成过程中，需要处理场景对象之间、场景对象和视频场景之间的各种空间遮挡关系，以确保视频虚拟场景正确的空间位置关系，其问题的关键在于如何确定各个场景对象的相对层次位置。近年来，各国计算机视觉等领域的研究人员从线条识别、基于深度的分割、遮挡关系恢复、轮廓修复和前景/背景分割等角度研究如何解决层次化图像表示问题。层次化图像表示又称为2. ID sketch，是中低级视觉中重要研究问题，指通过在遮挡区域中断边界产生适当的连接，寻找图像的一个区域分解，使之具有最小数目的中断边界交叉点、裂缝尖端点、角点和尖点，从而将图像分解为以遮挡关系排序的交叠区域。2007年，美国卡耐基梅隆大学机器人研究所的Hoiem等提出了从单幅图像中恢复场景对象的遮挡边界和深度序列的方法。该方法利用2D边界区域线索和3D表面深度线索， 从一个训练集中学习得到遮挡模型，通过分割算法将场景图像分割成多个小区域，利用遮挡模型来不断迭代推理出遮挡关系，并且通过条件随机场模型不断逼近和标记遮挡边界， 最终确定整个场景的遮挡关系和遮挡边界。2007年，华中科技大学和莲花山研究院的高如新和吴田富等人提出基于混合马尔科夫随机场的贝叶斯推理算法推理图像层次结构。该方法首次利用基于马尔科夫随机场建模和推理来解决真实图像的层次结构问题，完成区域分层、轮廓修复和不确定性自动保持的处理。分析当前各种求解图像场景分层问题的方法，这些方法一般都是从图像中学习表示遮挡关系的各种中低层信息，如位置、轮廓、交界点等，然后根据贝叶斯推理理论和统计计算，建立场景分层问题的数学模型，然后构建遮挡的条件随机场或者混合随机场数学模型，利用Swendsen Wang Cuts(简称SWC)、最速下降法等推理算法在解空间中搜索可能的分层解结果。这些方法是在像素级别研究层次结构的构建问题，只是利用图像中的中低层的信息解决图像场景分层问题，没有推理出图像场景中最可能表示其层次结构的分层结果。 本发明研究对象级别的图像场景分层方法，利用已知对象的高层和中低层遮挡信息特征， 建立基于贝叶斯理论的场景分层推理框架，以及构建对象遮挡关系的图结构表示和对象层次推理算法
发明内容
为了克服现有技术的不足，本发明的目的在于提供一种基于贝叶斯推理的图像场景分层与遮挡处理方法，从而能够正确处理图像虚拟场景中对象的遮挡关系。本发明的重点是如何根据已有图像场景语义标记推理图像场景中对象间的遮挡关系和层次关系，从而能够在将用户感兴趣的对象加入到图像场景时正确处理已有对象和新加入对象之间的空间遮挡关系，使得生成的图像虚拟场景能够同时符合客观实际和用户要求，为图像虚拟场景中遮挡处理问题提供有效的技术支持，同时为基于视频素材的虚拟场景生成技术奠定基石出。为完成发明目的，本发明的技术解决方案是在图像场景语义标记结果基础上，定义语义、位置、轮廓、公共边界和交界点五种遮挡线索，检测学习数据集图像的各种遮挡线索并学习每个遮挡线索的概率分布；构建贝叶斯推理框架，定义基于先验概率和似然概率的带权有向图；利用本发明提出的层次排序推理算法，结合后验概率最大化，在带权有向图上求解出图像场景的层次结构。在图像场景语义标记中，存在多个中低层和高层的信息能够在一定程度上反映对象区域间的遮挡关系和层次关系。本发明从众多类信息中选择出对象语义线索、对象位置线索、对象轮廓线索、公共边界线索和交界点线索五种能够表示对象区域间遮挡关系和层次关系的线索，为后面的贝叶斯推理框架定义提供依据。给定图像对应的语义标记图，构建在已知图像二维表示条件下求解图像层次表示的贝叶斯推理框架。根据贝叶斯推理理论，先验概率表示给定图像分层的一个解，它能够解释图像场景实际分层情况的概率。根据人的经验能够获得不同语义对象之间的遮挡关系， 因此语义信息作为先验信息构成先验概率，在学习阶段获得不同语义对象之间的先验遮挡概率。区域位置线索、区域轮廓紧凑性线索、区域公共边界线索和区域交界点线索都能够在一定程度上表达区域间的遮挡关系和场景层次结构，似然概率是由这四类中低层特征共同支持的。根据贝叶斯推理理论，当后验概率达到最大值时，对应的图像层次表示解是图像场景最可能出现的层次结构。因此，只要求得最大后验概率解，就能够实现图像场景分层这一目标。为了快速求解出图像层次表示的最优解，本发明在前面的贝叶斯推理框架基础上，提出新的求解层次序列的推理算法，将求解推理过程转化为在表示遮挡关系的带权有向图上求解最佳拓扑排序的问题。本发明与现有技术相比的有益特点是1、本发明在图像素材结构分析与图像场景语义标记的基础上，从层次化图像表示的角度来处理图像对象间的遮挡关系和层次关系， 不同于以往处理图像遮挡关系的方法。2、本发明从众多类信息中选择出对象语义线索、对象位置线索、对象轮廓线索、公共边界线索和交界点线索五种能够表示对象区域间遮挡关系和层次关系的线索。实验表明这五种特征确实能反应对象间遮挡关系。3、本发明将贝叶斯框架用于图像层次推理上，根据五种遮挡线索构建了基于贝叶斯理论的图像层次推理框架，以对象语义线索表示的概率作为先验概率，以对象位置线索、对象轮廓线索、公共边界线索和交界点线索联合概率作为似然概率，满足最大后验概率的图像层次表示即为所要求解的层次最优解。4、本发明将二维图像转换为带权有向图表示，并提出了一种改进的拓扑排序算法，在带权有向图上求解图像层次结构。
图1是本发明总体设计结构图；图2是本发明的位置线索示意图；图3是本发明的轮廓线索示意图；图4(a)是本发明的公共边界线索表示遮挡关系情况之一的示意图；图4(b)是本发明的公共边界线索表示遮挡关系情况之二的示意图；图5是本发明的交界点线索示意图；图6是本发明的交界点角度示意图；图7是本发明的遮挡线索计算流程示意图；图8是本发明的带权有向图构建流程图；图9(a)-图9(f)是本发明的层次排序算法过程示意图。
具体实施例方式下面结合附图对本发明作详细说明。本发明提出一种基于贝叶斯推理的图像场景分层处理方法，在已有图像场景语义标记基础上，学习五种遮挡线索表示遮挡关系的概率分布，根据五种遮挡线索构建贝叶斯场景层次推理框架，并将求解贝叶斯框架下具有最大后验概率的场景层次最优解的过程转化为在带权有向图结构上拓扑排序求解图像层次结构的过程，实现了快速求解图像场景分层问题。本发明的主要步骤如图1所示首先检测学习数据集图像的各种遮挡线索，学习各种遮挡线索概率分布，然后检测测试数据集图像的各种遮挡线索，据学习得到的遮挡概率分布获得测试图像中对象之间的遮挡概率，根据遮挡概率构建图像的带权有向图结构，最后在带权图结构上利用层次排序推理算法求解图像场景的层次结构。在图像场景语义标记的基础上定义了五种表示遮挡关系的遮挡线索，检测学习数据集图像的各种遮挡线索，学习各种遮挡线索表示遮挡关系的概率分布。本发明从众多类信息中选择出对象语义线索、对象位置线索、对象轮廓线索、公共边界线索和交界点线索五种能够表示对象区域间遮挡关系和层次关系的线索。在自然图像场景中，马和草地、牛和草地、树木和建筑物、汽车和道路之间的遮挡关系是可以确定的。对象间的语义信息能够提供区域间的相对遮挡信息，是场景分层的特征之一；从深度角度来讲，一般情况下，越靠近摄像机镜头的对象一般位于图像的下侧，比如地面一般在最下方， 而天空一般在最上方，在图2中，札< &表示Rl遮挡R2(以下同)，由此可见，对象区域在图像上的位置，能够在一定程度上反映对象间遮挡关系和层次关系，也是场景分层的特征之一；当对象位于首层时，其轮廓形状一般是规则且紧凑的。区域轮廓表现得越为规则，表明其被其他对象遮挡的可能性越小，如图3所示，由此可见，如果其区域轮廓能够在一定程度上反映区域自身的被遮挡情况，因此区域轮廓紧凑性是场景分层的低层特征之一；在图 4 (a)中，其公共边界在区域Rl整体表现为凸，则Rl遮挡R2的可能性更大，因此相邻区域间的公共边界能够在一定程度上反映区域间的遮挡关系，是解决图像场景分层问题的重要线索之一；在图4(b)中，其公共边界在区域Rl上表现为一部分凸，也能表示Rl遮挡R2。在自然图像场景中，当三个对象邻接时，通常其中一个对象遮挡住其他两个对象，表现在图像上即为出现交界点现象，如图5所示，R2 < R3 < R1,由此可见，邻接区域间的交界点特征是区域间遮挡关系的最为重要的线索，它能够有效地反映区域间的遮挡关系，本发明将构成交界点的曲线简化为向量形式，在交界点的局部范围内根据各曲线的走向求曲线在有限像素点内的平均变化的方向向量，以逆时针方向选择两向量间的夹角表示交界点Jt，如图6所示，Jt= (θ” θ2)，其中，Q1为构成交界点的两向量间最大的夹角，θ 2为继续沿着时针方向旋转确定的邻接两向量之间的夹角。如图7所示，为了能够快速获得遮挡线索，本发明检测遮挡线索步骤如下首先， 将语义标记图读入，从中抽取出各对象的语义标记，统计对象个数；接着，初始化对象区域信息，计算区域位置；然后，根据对象区域信息提取区域轮廓，并计算轮廓的长度和面积； 接着，将各对象的轮廓分裂为邻接对象区域间的公共边界，计算公共边界的曲率和长度；最后，在公共边界的端点处检测判断是否为交界点，初始化交界点的位置、分离区域、三条边界曲线段、描述交界点形状的角度等信息。在获得图像中的各种遮挡线索信息后，本发明设计实现各种遮挡线索的数学模型定义和统计量计算过程。对象语义关系的统计量计算，首先输入要计算语义关系统计量的两对象氏和1^.， 由于在语义标记图中不同颜色表示不同的语义对象，所以识别两对象氏和&的颜色，即识别两对象的语义信息，然后输入人工划分的分层结果，获得不同语义对象的遮挡关系直方图，即在训练数据集上，识别了对象的语义信息后，根据人工划分的层次，统计不同语义对象之间的遮挡频率，以此频率作为语义表示遮挡关系的直方图。位置线索的数学模型为:
权利要求
1.一种基于贝叶斯推理的图像场景分层处理方法，其特征在于该方法包括下述步骤(1)在图像场景语义标记结果基础上，定义语义、位置、轮廓、公共边界和交界点五种遮挡线索，检测学习数据集图像的各种遮挡线索并学习每个遮挡线索的概率分布；(2)构建贝叶斯推理框架，定义基于先验概率和似然概率的带权有向图，该有向图能够表现图像对象之间的遮挡关系；(3)利用层次排序推理算法，结合后验概率最大化，在带权有向图上求解出图像场景的层次结构。
2.根据权利要求1所述的基于贝叶斯推理的图像场景分层处理方法，其特征在于步骤(1)所述的五种遮挡线索为对象语义线索、对象位置线索、对象轮廓线索、公共边界线索和交界点线索；这五种线索从众多类信息中选择而出，能够表示对象区域间的遮挡关系和层次关系，为后面的贝叶斯层次推理框架定义提供依据。
3.根据权利要求1所述的基于贝叶斯推理的图像场景分层处理方法，其特征在于步骤(1)所述的学习每个遮挡线索的概率分布，是指检测出学习数据集中图像的五种遮挡线索，根据已有的先验遮挡关系，统计五种线索表示遮挡关系的概率分布，这种已有的先验遮挡关系是人为标定的，以人的先验知识作为依据。
4.根据权利要求1所述的基于贝叶斯推理的图像场景分层处理方法，其特征在于步骤( 所述的贝叶斯推理框架，是指由语义线索表示的遮挡概率作为先验概率，由其他四种线索表示的遮挡概率的联合概率作为似然概率，求解图像场景层次最优解的过程转换为求解最大后验概率解的过程；步骤( 所述的定义基于先验概率和似然概率的带权有向图是为了快速求解图像层次表示的最优解。
5.根据权利要求4所述的基于贝叶斯推理的图像场景分层处理方法，其特征在于步骤 (2)所述的带权有向图的构建步骤是(2. 1)将图像中的对象作为图结构中的节点，相邻对象对应的图节点之间存在有向边， 表现对象之间的遮挡关系；(2. 2)以对象轮廓线索表示的遮挡概率来度量图节点自身被遮挡的权重；(2. 3)以其他四种线索表示的遮挡概率的加权和来度量有向图中的有向边，四种线索的权重参数能够调节变化。
6.根据权利要求1所述的基于贝叶斯推理的图像场景分层处理方法，其特征在于步骤C3)所述的层次排序推理算法，改进了拓扑排序算法，考虑节点的入度和权重来决定对象的层次划分；按照入度和节点权重迭代选择当前图中最优的节点，将其加入层次序列中， 再将其从图中删除，并将其累积的遮挡权重按照出度的边分流到指向的节点中，直到图为空，由此得到图像场景的层次结构。
7.根据权利要求6所述的基于贝叶斯推理的图像场景分层处理方法，其特征在于所述的图像场景的层次结构定义为对象与层次的关系对的集合，即某对象被划分到某层次上；它是图像的具有最大可能性的层次结构，即贝叶斯框架解空间中具有最大后验概率的解。
全文摘要
本发明是一种基于贝叶斯推理的图像场景分层处理方法，包括在图像场景语义标记结果基础上，定义语义、位置、轮廓、公共边界和交界点五种遮挡线索，并学习这些遮挡线索的概率分布；然后构建贝叶斯推理框架，定义基于先验概率和似然概率的带权有向图；最后利用本发明提出的层次排序推理算法，结合后验概率最大化，在带权有向图上求解出图像场景的层次结构。本发明可用于图像或视频虚拟场景的遮挡处理，图像或视频虚拟场景生成等应用。
文档编号G06K9/62GK102509105SQ20111030330
公开日2012年6月20日 申请日期2011年9月30日 优先权日2011年9月30日
发明者李青, 赵东悦, 赵沁平, 陈小武 申请人:北京航空航天大学