本发明涉及立体显示，特别涉及一种基于三摄像采集的自由立体匹配方法。
背景技术：
在相机采集的图像的前景和背景边缘存在颜色的过渡区域，这是大多数边缘伪影产生的根本原因。边缘模糊在虚拟视点中引起的问题主要包括前景伪影和背景伪影。前景伪影是背景中的一部分留在前景上使得前景在合成视图中不能真实地融合到周围环境中。当前景边缘留在背景中，出现背景伪影即鬼影现象。所有这些噪声在3d显示器中显示明显。由于存在过渡区域，即使是使用标准深度合成虚拟视点也不能避免这些噪声。深度相对彩色图对准算法(texture-depthalignment，简称tda)是一种深度优化算法，也无法做到在合成图像中完全消除这些问题。
技术实现要素：
本发明的目的是为了解决现有技术中无法消除前景伪影和背景伪影的问题，提出一种基于三摄像采集的自由立体匹配方法。
为解决上述技术问题，本发明采用以下技术方案：
一种基于三摄像采集的自由立体匹配方法，包括如下步骤：
由左、中间和右摄像机分别采集左视图、中间视图和右视图；
通过左侧视点、中间视点、右侧视点三视点匹配计算深度信息；
由左视图和右视图合成第一虚拟中间视图并寻找第一虚拟中间视图的视差错误以优化深度图像；
根据优化后的深度图标记彩色图像中有噪声的像素以优化彩色图像；
根据优化后的图像生成密集视点。
在一些优选的实施方式中，所述由左视图和右视图合成第一虚拟中间视图并寻找第一虚拟中间视图的视差错误以优化深度图像包括：
根据左视图和右视图合成第一虚拟中间视图；
将第一虚拟中间视图与中间视图进行比较以标记第一虚拟中间视图的视差错误；
重新计算视差被标记为错误的像素的深度值。
在一些优选的实施方式中，所述根据优化后的深度图标记彩色图像中有噪声的像素以优化彩色图像包括：
根据左视图、右视图和优化后的深度图合成第二虚拟中间视图；
将第二虚拟中间视图与中间视图进行比较以在左视图、右视图和中间视图三幅彩色图像中标记有噪声的像素；
重新计算被标记有噪声的像素的强度以增强彩色图像的边缘。
在进一步优选的实施方式中，通过如下公式计算视差被标记为错误的像素的深度值：
其中，np表示在中间视图中p周围的候选区域，参考点q的深度被判定为正确值，
相邻视图之间的像素相似性：
min(|im(p)-il(pl,q)|,|im(p)-ir(pr,q)|)＜match_threshold
其中pl,q是p以q的深度在左视图中对应的像素，pr,q是p以q的深度在右视图中对应的像素；p与pl,q的相似性和p与pr,q的相似性小于match_threshold，即点p至少有一个匹配点；
同一视图中的相邻点的相似性：
点p和q之间的相似性小于blur_threshold，如下式：
|im(p)-im(q)|＜blur_threshold。
在进一步优选的实施方式中，通过如下公式计算被标记有噪声的像素的强度：
其中
在进一步优选的实施方式中，所述第一虚拟中间视图的合成采用逆映射，根据视点的坐标和视差映射到左视图和右视图中，来自不同视点的像素通过距离加权融合为第一虚拟中间视图中的像素。
在一些优选的实施方式中，所述三视点匹配包括：中间视图对左视图进行双目匹配，中间视图对右视图进行双目匹配，获得两个代价空间，选取具有最小代价值的标签作为视差值。
在一些优选的实施方式中，所述密集视点的视点数为六个以上。
在进一步优选的实施方式中，所述有噪声的像素包括前景和背景之间具有混合色的像素。
在另一方面，本发明还提供一种计算机可读存储介质：
一种计算机可读存储介质，其存储有与计算设备结合使用的计算机程序，所述计算机程序被处理器执行以实现上述任一方法。
与现有技术相比，本发明的有益效果有：
三视图可以确保来自中间相机的几乎所有像素具有来自左侧或右侧相机的对应点，即假设遮挡信息在其中一个视图中存在，这种假设条件不失一般性，使用三视点匹配可以更好地处理遮挡，从而计算更高精确度的深度值以及提高深度不连续区域的匹配精度，使得深度图中的前景和背景被清晰区分开来，参考图2e。根据第一虚拟中间视图的视差错误对深度图像进行，进一步提高了深度图像的精确度，有利于后续优化彩色图像。而根据前景和背景被清晰区分开来、精确度高的深度图来标记彩色图像中有噪声的像素，进而对彩色图像进行优化，使得彩色图像的边缘得到增强，最终消除前景伪影和背景伪影。
在优选的实施方式中，本发明还具有如下有益效果：
进一步地，双目匹配被扩展为三视图匹配：中间视图对左视图进行双目匹配，中间视图对右视图进行双目匹配，获得两个代价空间。双目匹配算法是左视图与右视图计算得到一个代价空间，选取最小代价值的标签作为视差值。而三视图匹配是从获得的两个代价空间中选取具有最小代价值的标签作为视差值，视差与深度是对应的，三视图匹配在没有增加计算量的情况下提高了深度图像的质量。
附图说明
图1为本发明的流程图；
图2a表示middlebury标准数据集teddy和cones的图像；
图2b是中间视点和左侧视点匹配得到的深度图；
图2c是中间视点和右侧视点匹配得到的深度图；
图2d是中间视点和右侧视点并且使用左右一致性检测优化所得的深度图；
图2e是左侧视点、中间视点和右侧视点这三视点匹配得到的深度图；
图3表示步骤s300的流程图；
图4表示第一虚拟中间视图的合成示意图；
图5表示步骤s400的流程图；
图6a是本发明稀疏视点转密集视点的生成流程图；
图6b是传统方法中图像后期处理以及交织处理的示意图；
图7a是传统方法的优化视图；
图7b是图7a中框选区域的放大图；
图7c是本发明的优化视图；
图7d是图7c中框选区域的放大图；
图8表示虚拟视点和密集视点水平方向上的极线平面图。
具体实施方式
以下对本发明的实施方式作详细说明。应该强调的是，下述说明仅仅是示例性的，而不是为了限制本发明的范围及其应用。
参考图1，基于三摄像采集的自由立体匹配方法具体包括如下步骤：
s100、由左、中间和右摄像机分别采集左视图、中间视图和右视图；
三视图可以确保来自中间相机的几乎所有像素具有来自左侧或右侧相机的对应点，除了非常小的物体，即假设遮挡信息在其中一个视图中存在，这种假设条件不失一般性，使用三视点匹配可以更好地处理遮挡，从而计算更高精确度的深度值以及提高深度不连续区域的匹配精度，使得深度图中的前景和背景被清晰区分开来。继续增加相机的数量在这方面不会再带来本质上的改变。随着信息的增加，通过提高系统的鲁棒性进一步提高精确度。在保持图像捕获基础设施尽可能简单的同时生成自由立体3d显示系统所需数量的视图，三摄像机是较好的选择。增加的中间视图可以用于提高深度图的精确度以及用于后续对图像进行优化处理。
s200、通过左侧视点、中间视点、右侧视点三视点匹配计算深度信息；
深度信息计算是通过三视点匹配来完成的，具体是将左侧视点、中间视点、右侧视点这三视点匹配得到深度图。
遮挡是传统双目匹配算法的难点问题，深度图像中的边缘错误难以避免，实验中采用middlebury标准数据集teddy和cones作为实验数据，如图2a所示，输入teddy和cones的图像，包括左视图、中间视图和右视图；图2b和图2c是通过传统双目匹配得到的深度图，其中图2b是中间视点和左侧视点匹配得到的深度图，图2c是中间视点和右侧视点匹配得到的深度图，图2b和图2c中的框选区域表示边缘错误；图2d是中间视点和右侧视点并且使用左右一致性检测优化所得的深度图，从图2d的框选区域可以得知，即使使用左右一致性检测优化，仍然难以区分匹配错误区域和遮挡区域，对于部分场景左右一致性检测反而会导致错误率增加。
但三视点匹配可以提高深度不连续区域的匹配精度，图2e是左侧视点、中间视点和右侧视点这三视点匹配得到的深度图，如图2e所示，深度图中的前景和背景被清晰区分开来。
进一步的，传统的双目匹配算法被扩展为三视图匹配。双目匹配算法是左视图与右视图计算得到一个代价空间，选取最小代价值的标签作为视差值，与双目匹配不同，三视点匹配对应像素的搜索范围包括右视图和左视图，同时代价值进行了归一化处理。即中图对左图进行双目匹配，中图对右图进行双目匹配，获得两个代价空间，选取具有最小代价值的标签作为视差值。这种方法提高了深度图像的质量，并且没有增加计算量。
s300、由左视图和右视图合成第一虚拟中间视图并寻找第一虚拟中间视图的视差错误以优化深度图像；
通过步骤s100和s200获得的具有高精确度的深度图之后，根据第一虚拟中间视图的视差错误对深度图像进行，进一步提高了深度图像的精确度，有利于后续优化彩色图像。
具体的，参考图3，步骤s300包括：
s310、根据左视图和右视图合成第一虚拟中间视图；
在本发明中，具体的，由于输入的深度图对应于中间视点，所以第一虚拟中间视图的合成采用逆映射，参考图4，左图即左视图，右图即右视图，根据视点的坐标和视差映射到左视图和右视图中，来自不同视点的像素通过距离加权融合为第一虚拟中间视图中的像素。其中，加权系数和距离相关，距离近的加权系数高。
s320、将第一虚拟中间视图与中间视图进行比较以标记第一虚拟中间视图的视差错误；
在此步骤中，具有视差错误的像素被标记为p。深度与视差是一一对应的，视差表示的是深度信息。
s330、重新计算视差被标记为错误的像素的深度值。
p是视差被标记为错误的像素，它的深度值由公式(3-1)重新计算：
其中，np表示在中间视图中p周围的候选区域，参考点q的深度被判定为正确值，
相邻视图之间的像素相似性，如下式(3-2)：
min(|im(p)-il(pl,q)|,|im(p)-ir(pr,q)|)＜match_threshold(3-2)
其中pl,q是p以q的深度在左视图中对应的像素，pr,q是p以q的深度在右视图中对应的像素。p与pl,q的相似性和p与pr,q的相似性小于match_threshold，即点p至少有一个匹配点。
同一视图中的相邻点的相似性：
点p和q之间的相似性小于blur_threshold，如下式(3-3)：
|im(p)-im(q)|＜blur_threshold(3-3)。
s400、根据优化后的深度图标记彩色图像中有噪声的像素以优化彩色图像；
根据前景和背景被清晰区分开来、精确度高的深度图来标记彩色图像中有噪声的像素，进而对彩色图像进行优化，使得彩色图像的边缘得到增强，最终消除前景伪影和背景伪影。
具体的，参考图5，步骤s400包括：
s410、根据左视图、右视图和优化后的深度图合成第二虚拟中间视图；
s420、将第二虚拟中间视图与中间视图进行比较以在左视图、右视图和中间视图三幅彩色图像中标记有噪声的像素；具体的，有噪声的像素包括前景和背景之间具有混合色的像素。
s430、重新计算被标记有噪声的像素的强度以增强彩色图像的边缘。
在步骤s430中，通过如下公式(4-1)计算被标记有噪声的像素的强度：
其中
s500、根据优化后的图像生成密集视点。
生成的密集视点的视点数为六个以上。
本发明通过优化彩色图的边缘模糊区域实现边缘增强，从本质上避免了虚拟视图中的鬼影现象，提高了稀疏视图合成立体显示图像的质量。在本发明中，步骤s300和s400统称为自适应视点间优化算法。图6a是本发明稀疏视点转密集视点的生成流程图，图6b是传统方法中图像后期处理以及交织处理的示意图，在搭建的三视点合成立体图像系统，自适应视点间优化算法(步骤s300和s400)的对应的位置是预处理，本发明以预处理的方式取代传统内容生成系统中的图像后期处理以及交织处理，提高了内容合成的效率。
图7a是传统方法的优化视图，图7b是图7a中框选区域的放大图；图7c是本发明的优化视图，图7d是图7c中框选区域的放大图。经过对比可以看出，在本发明中，三角形周围的混合区域被消除，锐化为清晰的边界，可见本发明合成的图像在立体显示中边界清晰、准确，视点连续性强：在显示器上，改变观看视角，视点间变化平滑，无抖动，与观看真实物体相似。
图8展示了虚拟视点和密集视点水平方向上的极线平面图epi(epipolarimage)。在图8中，(1)表示tda优化，(2)表示调整参数之后tda优化，(3)表示本发明的自适应视点间优化，(a)表示epi，(b)表示(a)中的细节放大效果，(c)表示epi细节放大效果。(1)显示使用tda处理将导致一部分前景留在了背景上，表现在epi图中出现了额外的线条，如框选区域所示。如果调整tda算法中的参数尽可能多地减少额外的前景边缘，而背景的一部分在另一侧的前景中遗留，如(2)框选区域所示，因此tda难以实现边界完全对准。如(3)所示，由自适应视点间方法优化合成的虚拟图像就不存在以上现象，具有明确线性结构的epi显示所合成的虚拟图像视点间连续性较好。
表格1是三视点匹配与两视点匹配的时间及精确度的比较，表格1中的计算时间显示，对于相同的基线，如表格中(a)和(c)对应的计算时间，三视点匹配与两视点匹配的计算复杂度基本相同。表格1的最后一行展示了上述匹配方法的精确度，可知，在相同的基线下，来自三个视图的视差图像的匹配错误百分比(percentofbadpixels，简称pbp)从11.3％明显提高到2.20％，三视点匹配的精确度提高同时计算量不变。使用双倍基线，如表格中(b)和(d)所示，三视点匹配的精度从8.70％明显增加到3.67％，而计算时间仅在代价空间计算部分有所增加。
表格1三视点匹配与两视点匹配的时间及精确度的比较
本发明需要两次合成中间视点，优化一副深度图和三幅彩色图，对图像进行优化与对图像进行后期修复的计算量基本相同：在传统方法中，图像的后期修复一般是滤波；本发明对图像的优化与滤波相似，本发明相当于进行了6次滤波处理(两次合成中间视点，优化一副深度图和三幅彩色图)；当视点数为6时，本发明进行了6次滤波处理，传统方法也需要6次后期修复，所以本发明与传统方法计算量相同。对需要输出虚拟视点序列的应用场合，当要求输出视点数大于6时，本发明的计算量少于使用后期图像修复的方法：因为视点数n增多，传统算法需要n次滤波处理，本发明仍然只需6次滤波处理，所以本发明的优势就更明显。已通过表格1说明在同样基线宽度下，三视点匹配与两视点匹配的计算量基本一致，由于密集视点需要的视点数一般大于6，因此，本发明的三视点转密集视点的计算量要小于传统两视点转多视点的方法，并且随着输出视点的数量增多，本发明的优势就越明显。此外，生成虚拟图像的视点间连续性较好不需进行视点间平滑处理，进一步减少计算了计算量。用于自由立体显示器的场合时，可直接输出立体图，减少了虚拟视点存储和交织处理的过程，相对计算量能进一步降低。
在另一方面，本发明还提供一种计算机可读存储介质，其存储有与计算设备结合使用的计算机程序，该计算机程序被处理器执行以实现上述方法。
以上内容是结合具体/优选的实施方式对本发明所作的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的普通技术人员来说，在不脱离本发明构思的前提下，其还可以对这些已描述的实施方式做出若干替代或变型，而这些替代或变型方式都应当视为属于本发明的保护范围。