专利名称：一种基于分类器的图像场景分层与对象遮挡处理方法
一种基于分类器的图像场景分层与对象遮挡处理方法技术领域
本发明属于图像处理和计算机视觉领域，具体地说是一种基于分类器的图像场景分层与对象遮挡处理方法。
背景技术：
基于视频素材的虚拟场景生成技术是虚拟现实的重要组成部分，也是虚拟现实、 增强现实、计算机视觉及相关研究方向有机交叉的研究热点。图像虚拟场景生成是视频虚拟场景生成的重要组成部分，其中，图像虚拟场景的遮挡处理是图像虚拟场景生成技术需要解决的关键问题。在虚拟场景生成过程中，需要处理场景对象之间、场景对象和视频场景之间的各种空间遮挡关系，以确保视频虚拟场景正确的空间位置关系，其问题的关键在于如何确定各个场景对象的相对空间位置。与以往的增强现实场景中遮挡处理情况不同，在将虚拟对象加入到另一图像场景时，必须要获得该图像场景中各对象的前后位置关系，由于图像是二维的，对象的前后位置关系就转化为图像中对象间的遮挡关系和层次关系。在获得图像场景的层次关系的基础上，将虚拟对象加入到该场景中，根据已知的图像场景层次关系正确处理虚拟对象的遮挡问题，从而生成符合用户需求的图像虚拟场景。因此与以往的增强现实场景中遮挡处理情况不同，本发明的内容是正确处理图像虚拟场景中对象间的前后遮挡关系和层次关系，实现层次化图像表示，对于新加入的对象正确处理遮挡关系， 生成新的图像虚拟场景。
目前已经有不少研究者致力于图像场景分层和对象遮挡的处理，但是还没有人将图像场景分层和对象遮挡处理结合起来研究。2006年，加拿大约克大学视觉研究中心的 James H. Elder等人，改进了轮廓聚合算法，提出由粗略到精确的多尺度贝叶斯轮廓提取算法来表示图像的全局限制，实现图像对象轮廓的提取。但是，该方法没有研究场景对象的层次遮挡关系。2007年，华中科技大学和莲花山研究院的高如新和吴田富等人提出基于混合马尔科夫随机场的贝叶斯推理算法推理图像层次结构。首次利用基于马尔科夫随机场建模和推理来解决真实图像的层次结构问题。但是，该方法没有进一步研究对象遮挡关系的处理方法。分析当前各种求解图像场景分层问题的方法，这些方法一般都是从图像中学习表征遮挡关系的各种中低层信息，然后根据贝叶斯推理理论和统计计算，建立场景分层问题的数学模型，利用推理算法在解空间中搜索可能的分层解结果。这些方法是在像素级别研究层次结构的构建问题，没有推理出图像场景中最可能表示其层次结构的分层结果。本发明研究对象级别的图像场景分层方法，利用对象已知的高层和中低层遮挡信息特征，训练遮挡关系的分类器，以及构建对象遮挡关系的图结构表示和对象层次推理算法。在获得图像场景的层次结构和感兴趣虚拟对象后，本发明就可以将虚拟对象加入到图像场景中的任何位置层次，并能够正确处理对象间的遮挡情况，从而生成逼真的图像虚拟场景。发明内容
为了克服现有技术的不足，本发明的目的在于提供一种基于分类器的图像场景分层与对象遮挡处理方法。该方法可以根据已有图像场景的特征推理得到图像场景中对象间的遮挡关系和层次关系，从而能够正确处理新加入的对象和已有对象之间的空间遮挡关系，使得生成的图像虚拟场景能够同时符合客观实际和用户要求，为图像虚拟场景中遮挡处理问题提供有效的技术支持。
为完成发明目的，本发明的技术解决方案是首先，在图像场景语义标记结果的基础上，使用语义、位置、轮廓、公共边界和交界点五种遮挡线索，并检测训练数据集图像的上述五种遮挡线索；在训练数据集上采样遮挡关系的正样本和负样本，利用五种遮挡线索构建每个样本的六维特征向量，由此训练得到遮挡关系的分类器；对于任意一张输入图像，构建属于这张图像的遮挡关系特征向量集合，利用已经训练好的分类器，得到属于这张图像的所有遮挡关系的预测值，以此构建表现遮挡关系的带权完全有向图；在带权完全有向图上推理求解出图像场景的层次结构；最后，将指定的对象放入分层场景中的指定层次，正确处理遮挡现象，生成图像虚拟场景。
在图像场景语义标记中，存在多个中低层和高层的信息能够在一定程度上反映对象区域间的遮挡关系和层次关系。本发明从众多类信息中选择出对象语义线索、对象位置线索、对象轮廓线索、公共边界线索和交界点线索五种能够表征对象区域间遮挡关系的线索，为后面的遮挡关系的分类器的构建提供特征向量。
给定图像对应的语义标记图，根据人的经验能够获得不同语义对象之间的遮挡关系，因此在训练阶段获得不同语义对象之间的遮挡关系响应值。区域位置线索、区域轮廓紧凑性线索、区域公共边界线索和区域交界点线索都能够在一定程度上表达区域间的遮挡关系和场景层次结构。根据这些遮挡线索得到的特征值构建特征向量，训练遮挡关系的分类器。以遮挡关系<A，B>为例，其六维遮挡特征向量是指A和B的语义遮挡线索的特征响应值、A和B的位置遮挡线索的特征响应值、A的轮廓遮挡线索的特征响应值，B的轮廓遮挡线索的特征响应值、A和B之间的公共边界遮挡线索的特征响应值，A和B之间的公共交界点遮挡线索的特征响应值。通过分类器来预测图像中遮挡关系的偏好分值，一个层次序列的偏好分值是这个序列中的所有遮挡关系的偏好分值之和。当偏好分值达到最大值时，对应的图像层次表示解是图像场景中最可能出现的层次结构。因此，只要求得最大偏好分值解， 就能够实现图像场景分层这一目标。
为了快速求解出图像层次表示的最优解，本发明提出一种求解层次序列的推理算法，将求解推理过程转化在表示遮挡关系的带权完全有向图上求解最佳排序的问题。
本发明与现有技术相比的有益特点是1、本发明在图像素材结构分析与图像场景语义标记的基础上，从层次化图像表示的角度来处理图像对象间的遮挡关系和层次关系， 不同于以往处理图像遮挡关系的方法。2、本发明根据五种遮挡线索构建遮挡关系样本的特征向量，采样遮挡关系的正负样本以训练分类器来预测遮挡关系以及给出遮挡关系的偏好分值。3、本发明将二维图像转换为带权有向图表示，并提出了一种快速的全排列层次推理算法，在带权有向图上求解图像层次结构。4、本发明可以由用户指定感兴趣的对象和层次， 将对象加入到已分层场景的指定层次上，正确处理对象之间的空间遮挡关系，生成融合效果较好的虚拟场景。
3/6页
图1是本发明的遮挡关系传递性示意图2是本发明的总体结构图3是本发明的遮挡特征提取流程示意图4是本发明的带权有向图示意图5是本发明的层次推理过程流程示意图6是本发明的总体过程示意图。
具体实施方式
下面结合附图对本发明作详细说明。
本发明提出一种基于分类器的图像场景分层与对象遮挡处理方法，在已有图像场景语义标记基础上，训练遮挡关系的分类器；对于任意一张输入图像，利用已经训练好的分类器，得到测试图像的所有遮挡关系的预测值，以此构建表现遮挡关系的带权完全有向图， 在带权完全有向图上快速求解出图像场景的层次结构并生成新的虚拟场景。
本发明的主要步骤如图2所示首先检测训练数据集图像的各种遮挡线索及其特征响应值；由这些特征响应值构建遮挡关系样本的特征向量，然后利用Adaboost方法训练得到遮挡关系的分类器；对于一张输入的图像，检测遮挡线索，提取其中的遮挡关系及特征向量，用训练好的遮挡关系分类器得到每个遮挡关系的预测性质和预测值，构建属于该图的遮挡关系的带权有向图；最后在带权有向图结构上利用本发明提出的层次排序推理算法求解图像场景的层次结构。最后，将指定的对象放入分层场景中的指定层次，正确处理遮挡现象，生成图像虚拟场景。
本发明在图像场景语义标记的基础上定义了五种表征遮挡关系的遮挡线索，检测数据集图像的各种遮挡线索并计算其特征响应值。
本发明选择对象语义线索、对象位置线索、对象轮廓线索、公共边界线索和交界点线索五种能够表征对象区域间遮挡关系和层次关系的线索。在自然图像场景中，对象间的语义信息能够提供相对遮挡信息，如马遮挡草地、汽车遮挡道路，因此语义信息是场景分层的特征之一。一般情况下，靠近摄像机镜头的对象位于图像的下侧，比如地面一般在最下方，天空一般是在最上方。由此可见，对象区域在图像上的位置，能够在一定程度上反映对象间遮挡关系和层次关系，也是场景分层的特征之一。当对象靠近前方不被其他物体遮挡时，其轮廓形状一般是规则且紧凑的。因此区域轮廓越规则，其被其他对象遮挡的可能性越小，由此可见，对象区域轮廓能够在一定程度上反映区域自身的被遮挡情况，是场景分层的特征之一。相邻对象区域间的公共边界能够在一定程度上反映区域间的遮挡关系，是解决图像场景分层问题的重要线索之一。在自然图像场景中，当三个对象出现遮挡现象时，通常其中一个对象遮挡住其他两个对象，表现在二维图像上即为出现交界点现象。因此，邻接对象区域间的交界点也是遮挡关系的重要线索。本发明将构成交界点的曲线简化为向量形式，在交界点的局部范围内根据各曲线的走向求曲线在有限像素点内的平均变化的方向向量，以逆时针方向选择两向量间的夹角表示交界点Jt。
本发明的工作首先需要检测遮挡线索并计算其特征响应值，如图3所示，检测遮挡线索步骤如下首先，将语义标记图像读入，从中抽取出各对象的语义标记，统计对象个数；接着，初始化对象区域信息，计算区域位置；然后，根据对象区域信息提取区域轮廓，并6计算轮廓的长度和面积；接着，将各对象的轮廓分裂为邻接对象区域间的公共边界，计算公共边界的曲率和长度；最后，在公共边界的端点处检测判断是否为交界点，初始化交界点的位置、分离区域、三条边界曲线段、描述交界点形状的角度等信息。在获得图像中的各种遮挡线索信息后，本发明设计实现各种遮挡线索的数学模型定义和响应值计算过程。
对象语义关系的响应值计算，首先输入要计算语义关系的两对象氏和1^.，由于在语义标记图中不同颜色表示不同的语义对象，所以识别两对象氏和&的颜色，即识别两对象的语义信息，然后输入人工划分的分层结果，获得不同语义对象的遮挡关系直方图，横坐标和纵坐标都是数据集中所有的语义类别。以坐标(x，y)为例，在该坐标上对应的值S(χ， y)表示语义类别χ遮挡语义类别y的频率值。以此直方图的统计结果作为语义遮挡线索的特征响应值。
位置线索的数学模型为巧& =/(代為)=1/(1 + 6\ (巧-叉/好))。对于两个区域对象Ri和民，根据遮挡线索检测计算出的各对象的区域中心位置，从中选择Y方向高度值又和 Zi为图像高度。利用位置线索数学模型计算两对象从相对位置角度度量二者之间的遮挡关系值Pp。s，最后将该响应值返回。
本发明根据在遮挡线索检测中得到的各区域轮廓的面积和长度信息，利用轮廓紧凑性数学模型计算度量该对象单个区域轮廓的紧凑性与被遮挡关系的响应值，然后将该对象所有轮廓的响应值取平均值，最后将该平均值作为对象区域轮廓紧凑性的响应返回。区域R紧凑性数学模型如下，其中，L为轮廓长度，A为区域面积，η为区域所包含的像素个数，
权利要求
1.一种基于分类器的图像场景分层与对象遮挡处理方法，其特征在于该方法包含以下步骤(1)在图像场景语义标记结果的基础上，利用对象语义、对象位置、对象轮廓、公共边界和交界点五种遮挡线索表征对象区域间的遮挡关系和层次关系，并检测训练数据集图像的上述五种遮挡线索，计算其特征响应值；(2)在训练数据集上采样遮挡关系样本，训练得到遮挡关系的分类器；(3)对于任意一张输入图像，给定其场景语义标记结果，检测上述五种遮挡线索信息， 构建遮挡关系特征向量集合，利用已经训练好的分类器，得到属于这张图像的所有遮挡关系的预测值，以此构建表现遮挡关系的带权完全有向图；(4)在遮挡关系的带权完全有向图上推理求解得到图像场景的层次结构；(5)将用户感兴趣的对象加入到已分层场景的指定层次，根据对象间的前后层次正确处理遮挡，最终生成图像虚拟场景。
2.根据权利要求1所述的一种基于分类器的图像场景分层与对象遮挡处理方法，其特征在于步骤O)中的遮挡关系的分类器是按照如下步骤得到的(2. 1)构建遮挡关系的正样本和负样本；(2. 2)利用五种遮挡线索的特征响应值构建表现遮挡关系的六维特征向量；(2. 3)在训练数据集上采样多个的正样本和负样本的特征向量，训练遮挡关系的分类ο
3.根据权利要求2所述的一种基于分类器的图像场景分层与对象遮挡处理方法，其特征在于遮挡关系的正样本和负样本的定义如下，图像中的语义对象A和B，如果A在B之前或者A遮挡B，那么遮挡关系<A，B>是正样本；反之，遮挡关系<A，B>是负样本。
4.根据权利要求2所述的一种基于分类器的图像场景分层与对象遮挡处理方法，其特征在于对于遮挡关系<A，B>，所述的表现遮挡关系的六维特征向量，是由A和B的语义遮挡线索的特征响应值、A和B的位置遮挡线索的特征响应值、A的轮廓遮挡线索的特征响应值、B的轮廓遮挡线索的特征响应值、A和B之间的公共边界遮挡线索的特征响应值，A和B 之间的公共交界点遮挡线索的特征响应值构成。
5.根据权利要求2所述的一种基于分类器的图像场景分层与对象遮挡处理方法，其特征在于所述的遮挡关系的分类器，是指一种集合了多个二值指示函数的偏好函数，是一种 Adaboost分类器，对每一个遮挡关系<A，B>，都能构建其六维特征向量，作为该分类器的输入。
6.根据权利要求1所述的一种基于分类器的图像场景分层与对象遮挡处理方法，其特征在于步骤(3)所述的遮挡关系的带权完全有向图，其构建步骤如下(3. 1)提取图像中的所有遮挡关系的特征向量，利用训练好的分类器，预测每个遮挡关系的性质和偏好分值；(3. 2)将图像中的对象作为图结构中的节点，对象对应的图节点之间存在有向边，表现对象之间的遮挡关系；遮挡关系具有传递性，若A遮挡B，B遮挡C，那么A和C之间也存在着遮挡关系，表现在图结构中为A有一条指向C的带权有向边；(3. 3)有向图边上的权重是分类器给出的偏好分值。
7.根据权利要求1所述的一种基于分类器的图像场景分层与对象遮挡处理方法，其特征在于步骤(4)所述的推理，是指在带权有向图上寻找层次序列的近似最优解；每一个层次序列都计算一个得分，在图中所有的层次序列中的得分最高者，就是我们要求解的层次结构最优解。
8.根据权利要求1所述的一种基于分类器的图像场景分层与对象遮挡处理方法，其特征在于步骤( 所述的图像场景遮挡处理过程，是指依据得到的图像场景层次关系，在将新的对象放入图像场景中时，正确处理对象之间的遮挡关系，从而得到一个正确的图像虚拟场景。
全文摘要
本发明是一种基于分类器的图像场景分层与对象遮挡处理方法，为自动判别图像场景的层次关系和处理对象遮挡关系提供了新的技术方案。本发明包括在训练集上使用语义、位置、轮廓、公共边界和交界点五种遮挡线索的特征，训练得到判别遮挡关系的分类器；对测试图像使用遮挡关系分类器计算遮挡关系预测值，构建表示遮挡关系的带权有向图；使用层次排序推理算法，在带权有向图上推理出图像场景的层次结构；利用已得到的场景层次结构，处理新加入对象与已有场景对象的遮挡关系，生成图像虚拟场景。本发明可用于图像或视频虚拟场景的遮挡处理，图像或视频虚拟场景生成等应用。
文档编号G06K9/66GK102509119SQ201110301899
公开日2012年6月20日 申请日期2011年9月30日 优先权日2011年9月30日
发明者李青, 赵东悦, 赵沁平, 陈小武 申请人:北京航空航天大学