基于遮挡区域检测的虚拟视图生成方法
【专利摘要】本发明提出一种基于遮挡区域检测的虚拟视图生成方法，包括以下步骤：对左、右参考视点的左视图和右视图进行边缘检测，并提取边缘信息；根据边缘信息分别对左视图和右视图划分像素段，并对该像素段进行匹配；对像素段的匹配结果进行检查，以根据遮挡情况进行二次匹配，并检测左视图和右视图的遮挡区域；根据像素段的匹配结果和遮挡区域的检测结果生成虚拟视图。本发明的实施例能够充分利用两个参考视点的信息，避免大面积渲染空洞的产生；同时，该方法还可以减少计算冗余，提高计算效率；另外，虚拟视图的渲染基于遮挡区域和非遮挡区域局部变化方法，无需每个像素按视差值计算，从而可提高绘图速度。
【专利说明】基于遮挡区域检测的虚拟视图生成方法
【技术领域】
[0001]本发明涉及数字图像处理【技术领域】，特别涉及一种基于遮挡区域检测的虚拟视图生成方法。
【背景技术】
[0002]当前，电视已由模拟电视、数字电视、高清电视，发展到立体电视(3DTV)和自由视点电视(FTV)。立体显示技术有良好的应用前景。然而，立体片源的匮乏及获取的困难是制约立体产业发展的瓶颈。
[0003]目前的立体显示器主要有两类:基于双目立体成像的显示器和裸眼多视点立体显示器。多视角裸眼显示技术又可分为投影式、立体式和视差式三类，其中以视差式最为普遍。视差式裸眼立体显示器在传统显示器上增加一层特殊的光学介质，利用其光学特性，将多视角的像素按一定规则向屏幕外一定范围内投射，观看者可在不同的位置由左右眼分别观看到不同视角的图像，产生双目视差，形成立体感。这种显示技术需要多视角的片源。
[0004]目前，主要采取三种方式获取立体片源:应用2D转3D技术对现有的平面素材进行转换；3D采集，使用新设计的采集设备重新拍摄；3D建模，利用3D几何模型进行渲染。
[0005]多视点采集系统需要一定数量的相机捕获足够的场景信息。多视点采集获取片源具有成本高、传输和处理的数据量大等不足。应用传统的2D转3D技术进行虚拟视图渲染，需要利用自然场景的先验信息、连续图像之间以及图像本身的内在时空关联性等进行深度估计，算法复杂，且输出图像的真实感较难保证。
[0006]根据视差一深度理论，为得到拍摄对象的真实深度信息，至少需要一对从不同视角采集的图像。使用虚拟视图生成技术，根据已有的或拍摄的双目视频离线地或实时地生成多视点视频，相对于多视点采集，可以降低成本和数据传输、处理量。现有的虚拟视图生成方法包括场景三维重建法、基于图像的视图合成方法。其中，后者在绘制速度和图像真实感上具有优势，且以基于深度估计的方法为主。
[0007]基于深度估计的方法通常根据左、右视图信息，使用全局优化算法进行密集匹配，得到稠密深度图，然后通过逐像素平移渲染虚拟视图。这类方法存在计算量大、遮挡区域重现造成渲染空洞等问题。且在视点变化时，前景和背景物体由于深度不同，在视图中偏移量不同，前景物体可能对背景物体形成遮挡，相应地，遮挡区域是在一个视角中可见，而在另一视角中不可见的区域。
[0008]由于遮挡区域在目标视图中没有匹配区域，在基于参考视图和目标视图的视差图中，这部分区域均没有深度值，导致虚拟视图中缺少相应信息，表现为渲染空洞。目前，空洞填补通常作为后续处理操作，或使用一定的背景填充，或仅使用某个视角的信息，没有充分利用两个视角的信息。同时，基于深度估计的方法存在大量计算冗余。深度估计占用了大部分的计算时间，但是得到的视差信息并非完全必需，其中相邻的属于同一场景层次的像素的深度基本相同，算法效率不高。
【发明内容】
[0009]本发明旨在至少解决上述技术问题之一。
[0010]为此，本发明的目的在于提出一种基于遮挡区域检测的虚拟视图生成方法，该方法能够充分利用两个参考视点的信息，避免大面积渲染空洞的产生；同时，该方法还可以减少计算冗余，提高计算效率；另外，虚拟视图的渲染基于遮挡区域和非遮挡区域局部变化方法，无需每个像素按视差值计算，从而可提高绘图速度。
[0011]为了实现上述目的，本发明的实施例提出了一种基于遮挡区域检测的虚拟视图生成方法，包括以下步骤:S1:对左、右参考视点的左视图和右视图进行边缘检测，并提取边缘信息；S2:根据所述边缘信息分别对所述左视图和右视图划分像素段，并对所述像素段进行匹配；S3:对所述像素段的匹配结果进行检查，以根据遮挡情况进行二次匹配，并检测所述左视图和右视图的遮挡区域；以及S4:根据所述像素段的匹配结果和所述遮挡区域的检测结果生成虚拟视图。
[0012]根据本发明实施例的虚拟视图生成方法，通过检测左、右视图中的遮挡区域，对其进行缩放、截取等信息生成虚拟视图中的相应区域，能够充分利用已有的遮挡区域信息，避免大面积渲染空洞的产生；同时，对于不存在遮挡的主体部分，去除了深度估计的计算消耗。该方法充分利用两个参考视点的信息，通过遮挡区域的检测，为虚拟视图渲染中由于遮挡重现造成的渲染空洞问题提供解决方法；并且，以基于像素段的匹配代替基于点的密集匹配，不需生成稠密视差图，减少了计算冗余，提高计算效率；虚拟视图渲染阶段采取遮挡区域和非遮挡区域局部变换的方法，不需逐像素按视差值计算，使得绘制速度快。
[0013]另外，根据本发明上述实施例的基于遮挡区域检测的虚拟视图生成方法还可以具有如下附加的技术特征:
[0014]在本发明的实施例中，所述步骤SI进一步包括:S11:将初始图像转化为R、G、B三个通道的图像，并分别对所述R、G、B三个通道的图像进行预处理；S12:对所述R、G、B三个通道的图像分别进行边缘检测和梯度信息提取；S13:根据所述R、G、B三个通道图像的边缘检测结果，获取置信度大于预设值的边缘点，以得到稀疏的边缘图，并对所述稀疏的边缘图进行边缘生长。
[0015]在本发明的实施例中，所述步骤S13进一步包括:将至少在两个通道中被标记为边缘点的像素点作为所述置信度大于预设值的边缘点；基于预设尺寸的窗口对所述稀疏的边缘图进行边缘生长。
[0016]在本发明的实施例中，所述步骤S2进一步包括:S21:根据所述边缘信息对所述左视图和右视图的每一行进行像素段的划分；S22:以所述像素段为匹配基元，选取特征描述，并计算特征值；S23:根据预设相似度度量方法和匹配算法，对所述像素段进行匹配。
[0017]在本发明的实施例中，所述像素段的划分进一步包括:将所述左视图和右视图的每一行的相邻边缘点之间的像素序列作为一个像素段，其中，所述边缘点为所述像素段的端点。
[0018]在本发明的实施例中，所述特征描述包括:像素点的颜色、梯度信息以及所述像素段的关键点。
[0019]在本发明的实施例中，所述步骤S3进一步包括:S31:对所述像素段的匹配结果进行检查；S32:对遮挡区域和松弛像素段的端点进行二次匹配，并对所述二次匹配的结果进行修正以及对所述遮挡区域进行标记。
[0020]在本发明的实施例中，所述检查，具体包括:检查左、右视图中像素段匹配的一致性。
[0021]在本发明的实施例中，所述步骤S4进一步包括:S41:逐行对所述虚拟视图进行渲染，对不存在遮挡区域的像素段，通过平移得到其在所述虚拟视图中的相应位置；S42:对于遮挡区域，根据遮挡情形，通过截取、缩放的方式得到其在所述虚拟视图中的位置。
[0022]本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【专利附图】
【附图说明】
[0023]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中:
[0024]图1为根据本发明一个实施例的基于遮挡区域检测的虚拟视图生成方法的流程图；
[0025]图2为根据本发明一个实施例的基于遮挡区域检测的虚拟视图生成方法的对左、右参考视点的视图进行边缘检测及提取边缘信息的流程图；
[0026]图3为根据本发明一个实施例的基于遮挡区域检测的虚拟视图生成方法的虚拟视图生成中的几何关系的不意图；
[0027]图4为根据本发明一个实施例的基于遮挡区域检测的虚拟视图生成方法的根据边缘信息划分像素段并对像素进行匹配的流程图；
[0028]图5为根据本发明一个实施例的基于遮挡区域检测的虚拟视图生成方法的对像素段的匹配结果进行检查，以根据遮挡情况进行二次匹配，并检测视图的遮挡区域的流程图；
[0029]图6为根据本发明一个实施例的基于遮挡区域检测的虚拟视图生成方法的根据像素段的匹配结果和遮挡区域的检测结果生成虚拟视图的流程图；
[0030]图7为根据本发明一个实施例的基于遮挡区域检测的虚拟视图生成方法的像素段匹配中可能存在遮挡的第一类情形的示意图；以及
[0031]图8为根据本发明另一个实施例的基于遮挡区域检测的虚拟视图生成方法的像素段匹配中可能遮挡的第二类情形的示意图。
【具体实施方式】
[0032]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0033]在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0034]在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0035]以下结合附图详细描述根据本发明实施例的基于遮挡区域检测的虚拟视图生成方法。
[0036]图1为根据本发明一个实施例的基于遮挡区域检测的虚拟视图生成方法的流程图。如图1所示，根据本发明一个实施例的基于遮挡区域检测的虚拟视图生成方法，包括以下步骤:
[0037]步骤S101，对左、右参考视点的左视图和右视图进行边缘检测，并提取边缘信息。
[0038]具体而言，结合图2所示，步骤SlOl进一步包括:
[0039]步骤SlOll:将初始图像转化为R、G、B三个通道的图像，并分别对R、G、B三个通道的图像进行预处理。其中，预处理包括:对图像进行滤波去噪等处理。
[0040]步骤S1012:对R、G、B三个通道的图像分别进行边缘检测和梯度信息提取。具体地，在本发明的一个实施例中，选用合适的边缘检测算子，分别对R、G、B三个通道的图像进行边缘检测，并记录三个通道上边缘点的梯度大小和梯度方向。
[0041]步骤S1013:根据R、G、B三个通道图像的边缘检测结果选择置信度大于预设值的边缘点，以得到稀疏的边缘图，并对该稀疏的边缘图进行边缘生长。其中，预设值为预先设定，在本发明的一个实施例中，判定置信度大于预设值的边缘点即为置信度高的预设点。具体而言，在本发明的另一个实施例中，将上述步骤S1012中至少在两个通道中被标记为边缘点的像素点作为高置信度的边缘点，并在稀疏的边缘图中保留。
[0042]在稀疏的边缘图中，边缘点的梯度矢量的选取为其原来所在通道中梯度值最大的梯度矢量。
[0043]另外，对稀疏边缘，基于预设尺寸的窗口进行边缘生长。对窗口内每一个像素，若其在任一通道中被检测为边缘点，统计其一定邻域内的边缘点数目之和，若所计数目少于一定阈值，则根据稀疏的边缘图中该像素点的梯度矢量的方向，将该方向上邻近的像素标记为边缘点。其中，预设尺寸及一定阈值均根据实际情景预先设定。
[0044]步骤S102，根据边缘信息分别对左视图和右视图划分像素段，并对像素段进行匹配。具体而言，结合图4所示，步骤S102进一步包括以下步骤:
[0045]步骤S1021，根据边缘信息对左视图和右视图的每一行进行像素段的划分。进一步地，像素段的划分具体包括:将左视图和右视图的每一行的相邻边缘点之间的像素序列作为一个像素段，其中，边缘点为像素段的端点。更为具体地，即对图像的每一行，对位置过于接近的边缘点做合并处理，对于合并处理后得到的边缘点，将相邻边缘点之间的像素序列作为一个像素段，边缘点作为段的端点。其中，像素段是一定数量的位置相邻的在某种相似度度量上接近的像素点序列。
[0046]在本发明的一个实施例中，对上述步骤SlOl得到的边缘检测结果，若同一行相邻边缘点的X坐标之差为I,则仅保留序号在后的边缘点,若差为2,取两个边缘点连线的中点为新的边缘点，代替原来两点，若差大于2，则不做合并。其中，以合并处理后的边缘点作为段的端点。
[0047]步骤S1022，以像素段为匹配基元，选取特征描述，并计算特征值。其中，特征描述包括:像素点的颜色、梯度信息以及像素段的关键点。具体地，像素段是一定数量像素点的集合，每个像素点均含有颜色、梯度信息，可基于统计的方法，从集合元素的特征中提取段的特征；同时，从像素段的关键点(如像素段的端点)提取段的特征。
[0048]在本发明的一个具体实施例中，选取像素段的特征描述具体包括:
[0049]I)选取像素段的长度；
[0050]2)选取像素段中的点在R、G、B三个通道上灰度值的平均值，形成一个三维向量；
[0051]3)选取像素段端点的梯度矢量。
[0052]步骤S1023，根据预设相似度度量方法和匹配算法，对像素段进行匹配。具体地，在本发明的一个实施例中，分别以左、右视图为参考视图，以相应另一视图为目标视图，进行两次单向的匹配。匹配算法包括:局部匹配算法和动态规划匹配算法。其中，局部匹配算法在一定范围内搜索局部最优解；动态规划匹配算法中，对相对应扫描行的像素段计算匹配代价，形成匹配代价矩阵，搜索代价总和最小的路径，通过在代价总和函数中增加匹配顺序惩罚函数，进行匹配顺序的约束。
[0053]在以左视图为参考视图的单向匹配中，对左图中的每一像素段，在右图中寻找匹配段。记S= {f” f”...，fi+k, f」}为左视图中的一个像素段，其中，fi+k表示像素点。T= {gm, gm+1,...，gm+k,...，gn}为右视图中同一行的像素段，其中，gm+k表示像素点。选择基于正态分布假设的相似度度量，以长度相似度的计算为例。设S的长度为L，T的长度为x。S与T在长度特征上的相似度定义为:
[0054]d (X) =exp {_k (x_L)2}，
[0055]其中，k=l/(2o2)，o为参考图像中该维特征分布的标准差，取o=L/3，其他特征维上的相似度类似上述计算。
[0056]假设长度相似度为;颜色均值相似度为S。，R、G、B三个通道上灰度均值相似度分别为SK，SG, Sb，取S。= (SJSc^Sb)/3，端点梯度相似度为SP。则总的相似度表达为各个特征维上相似度的加权和:
[0057]simi (S，T) =k1SL+k2Sc+k3SP
[0058]其中，ki是每一个特征的相似度的权重，i G {I, 2，3}。
[0059]使用动态规划算法进行像素段的匹配，以从左视图到右视图的匹配为例。假设左视图中某一行的像素段序列为{Si，S2,...，SJ，右视图中同一行的像素段序列为IT1, T2,...，TJ，其中，Si (I≤i≤m)，Tj (I≤j ≤m)分别表示当前行左视图中的第i个像素段和右视图中的第j个像素段。根据选择的特征描述和相似度度量方法，以及视差范围的约束条件，计算左、右视图中满足视差范围约束的像素段之间的匹配代价，形成匹配代价矩阵，在矩阵中搜索代价总和最小的路径，为参考视图中当前行的像素段在目标视图中寻找匹配段。对匹配代价设置一定的阈值条件，则某个像素段可能在对应视图中没有匹配段。
[0060]假设Si与Tj的匹配代价为Cost(i，j)，Tj满足视差范围约束，定义如下状态转移方程:
[0061]Cost (i, j) =min {Cost (i~l, k) +Measure (i, j) +Order (j, k) | C1 ^ k ^ c2},[0062]其中，{Cl,..., c2}为IT1, T2,...，TJ中满足视差范围约束、可能与Sp1相匹配的段的下标集合，Measure(i, j)为与段的相似度Simi (Si, Tj)负相关的距离函数,Order (j, k)为匹配顺序惩罚函数，用于加入匹配顺序的约束。若决策不满足顺序性约束，则惩罚函数取值足够大，变为主要项，增加匹配代价；若决策满足顺序约束，则惩罚函数变为次要项，距离函数为主要项。
[0063]步骤S103，对像素段的匹配结果进行检查，以根据遮挡情况进行二次匹配，并检测左视图和右视图的遮挡区域。具体地，结合图5、图7和图8所示，步骤S103进一步包括以下步骤:
[0064]步骤S1031，对像素段的匹配结果进行检查。具体而言，检查左、右视图中像素段匹配的一致性。若某个视图中，某个像素段在另一视图中无匹配段，或匹配段不能反向与之匹配，则将该像素段标记为可能存在遮挡的像素段。
[0065]步骤S1032，对遮挡区域和松弛像素段的端点进行二次匹配，并对二次匹配的结果进行修正以及对遮挡区域进行标记。其中，遮挡区域是在第一视角中可见，而在第二视角中不可见的区域。视点变化时，前景和背景物体由于深度不同，在不同视图中偏移量不同，前景物体可能对背景物体形成遮挡，造成背景物体的部分区域仅在第一视角可见，在第二视角不可见，这部分区域即遮挡区域。具体而言，在本发明的一个具体实施例中，考虑以下几种情形:
[0066]I)左、右视图中，能够相互匹配的两个像素段的长度相差过大。这种情形出现的原因通常是:在第一视图中可见的灰度相对一致的背景区域在第二视图中由于前景的遮挡仅部分可见。
[0067]2)第一视图的某个像素段没有能与之双向匹配的段，而其左、右最近邻的能够双向匹配的像素段的匹配段在第二视图中相邻。
[0068]第2种情形如图7所示:其中，SpSkAa ^ k ^ j)为左视图中的像素段，Tm、Tm+1为右视图中的相邻像素段。假设在步`骤S102中，得出Si与Tm相互匹配，Sj与！^相互匹配，而Sk (ij)没有能相互匹配的段。图7中a图所示为正确匹配的情形，Sk为可能的遮挡区域，b图所示为误匹配情形，其特点是相互匹配的两段长度差距较大。
[0069]3)第一视图的某个像素段没有能与之双向匹配的段，且其左、右最近邻的能够双向匹配的像素段的匹配段在第二视图中不相邻。第3种情形如图8所示。
[0070]根据以上三种情形，得到检测遮挡区域的方法如下:
[0071]1、对左视图中的某一个像素段Sk，检查其匹配情况。具体包括:
[0072](I)若Sk在右视图中存在相互匹配的像素段Tp，计算两个匹配段的长度差A L=L1-L2，其中Lp L2分别为Sk、Tp的长度。若AL>8，( 8为设定的阈值，5 >0)，则Sk中可能包含遮挡，用Tp与Sk中逐段的相同长度的像素子段进行匹配，得到与Tp相似度最高的像素子段，Sk中未匹配区域标记为遮挡区域。若A L〈-S，则Tp中可能包含遮挡，用类似的方法检测。
[0073](2)若Sk在右视图中没有可相互匹配的像素段，在Sk以左和以右的一定范围内搜索最近邻的能相互匹配的像素段，记为S1、Sp设其在右视图中的匹配段分别为Tm、Tn。若n=m+l，计算Si与Tm、Sj与Tn的长度差，若超过阈值，分别放松Si的右端点或Sj的左端点，进行二次匹配，更新段的端点，仍未有匹配项的区域判为遮挡；若两个长度差均未超过阈值，则Sk标记为遮挡区域。若n>m+l，计算Si与T1^Sj与Tn的长度差，若超过阈值，或低于负阈值，放松长度更小的段的端点，进行二次匹配。匹配结果更新后，对Si与Sj之间、Tm与1；之间的未匹配区域，记为W、M2，在长度更大的一段中，搜索另一段的匹配段，若相似度满足要求，则将未匹配区域标记为遮挡区域。
[0074]2、对右视图，采用上述类似的方法进行遮挡检测，需要说明的是，对情形(I)和情形(2)中n>m+l的情形，不再进行重复检测。
[0075]步骤S104，根据像素段的匹配结果和遮挡区域的检测结果生成虚拟视图。结合图6所示,步骤S104进一步包括以下步骤:
[0076]步骤S1041，逐行对虚拟视图进行渲染，对不存在遮挡区域的像素段，通过平移等线性变换得到其在虚拟视图中的相应位置。
[0077]具体地，根据像素段匹配和遮挡区域检测的结果，在图像的每一行中，不存在遮挡的区域对应于左、右视图中能双向匹配的像素段。
[0078]作为一个具体的示例，假设S= {fi，f”...，fi+k,...，fj}为左视图中的像素段，其中，FK=F(xi I,)表示像素点，坐标为(4, yt), i ≤ k ≤ j ；T= {gm, gm+1, ? ? ?，gm+k, ? ? ?，gn}为右
视图中S的匹配段，且S与T能双向匹配，其中，g=g(xf, 表示像素点，坐标为Uf, vf)^
m≤t≤n。与S和T对应的场景区域投影在虚拟视图中，得到相应的像素段，记为M(S，T)。
[0079]进一步地，结合图3所示，在基于视差一深度理论的虚拟视图生成中的几何关系的示意图中，C1、C2为采集左、右视图的相机的光心，对应左、右参考视点，C3为虚拟相机的光心，对应虚拟视点。b2和b3分别是右视点和虚拟视点到左视点的基线距离，记r=b2/b3。其中，参考视点和虚拟视点对应的相机光轴平行。
[0080]假设M的左端点为VZ=VOc/' vf)，右端点为, V1I1),则V1与Lgni匹配，V1与
fj、gn匹配。, xf可按下式计算，精确到整数:
[0081 ]
【权利要求】
1.一种基于遮挡区域检测的虚拟视图生成方法，其特征在于，包括以下步骤: 51:对左、右参考视点的左视图和右视图进行边缘检测，并提取边缘信息； 52:根据所述边缘信息分别对所述左视图和右视图划分像素段，并对所述像素段进行匹配； 53:对所述像素段的匹配结果进行检查，以根据遮挡情况进行二次匹配，并检测所述左视图和右视图的遮挡区域；以及 54:根据所述像素段的匹配结果和所述遮挡区域的检测结果生成虚拟视图。
2.根据权利要求1所述的基于遮挡区域检测的虚拟视图生成方法，其特征在于，所述步骤SI进一步包括: 511:将初始图像转化为R、G、B三个通道的图像，并分别对所述R、G、B三个通道的图像进行预处理； 512:对所述R、G、B三个通道的图像分别进行边缘检测和梯度信息提取； 513:根据所述R、G、B三个通道图像的边缘检测结果，获取置信度大于预设值的边缘点，以得到稀疏的边缘图，并对所述稀疏的边缘图进行边缘生长。
3.根据权利要求2所述的基于遮挡区域检测的虚拟视图生成方法，其特征在于，所述步骤S13进一步包括: 将至少在两个通道中被标记为边缘点的像素点作为所述置信度大于预设值的边缘占.基于预设尺寸的窗口对所述稀疏的`边缘图进行边缘生长。
4.根据权利要求1所述的基于遮挡区域检测的虚拟视图生成方法，其特征在于，所述步骤S2进一步包括: 521:根据所述边缘信息对所述左视图和右视图的每一行进行像素段的划分； 522:以所述像素段为匹配基元，选取特征描述，并计算特征值； 523:根据预设相似度度量方法和匹配算法，对所述像素段进行匹配。
5.根据权利要求4所述的基于遮挡区域检测的虚拟视图生成方法，其特征在于，所述像素段的划分进一步包括: 将所述左视图和右视图的每一行的相邻边缘点之间的像素序列作为一个像素段，其中，所述边缘点为所述像素段的端点。
6.根据权利要求4所述的基于遮挡区域检测的虚拟视图生成方法，其特征在于，所述特征描述包括: 像素点的颜色、梯度信息以及所述像素段的关键点。
7.根据权利要求1所述的基于遮挡区域检测的虚拟视图生成方法，其特征在于，所述步骤S3进一步包括: 531:对所述像素段的匹配结果进行检查； 532:对遮挡区域和松弛像素段的端点进行二次匹配，并对所述二次匹配的结果进行修正以及对所述遮挡区域进行标记。
8.根据权利要求7所述的基于遮挡区域检测的虚拟视图的生成方法，其特征在于，所述检查，具体包括: 检查左、右视图中像素段匹配的一致性。
9.根据权利要求1所述的基于遮挡区域检测的虚拟视图的生成方法，其特征在于，所述步骤S4进一步包括: S41:逐行对所述虚拟视图进行渲染，对不存在遮挡区域的像素段，通过平移得到其在所述虚拟视图中的相应位置； S42:对于遮挡区域 ，根据遮挡情形，通过截取、缩放的方式得到其在所述虚拟视图中的位置 。
【文档编号】G06T7/00GK103679739SQ201310741225
【公开日】2014年3月26日 申请日期:2013年12月26日 优先权日:2013年12月26日
【发明者】季向阳, 杨杨, 戴琼海, 邵航 申请人:清华大学