专利名称：一种基于轮廓匹配的深度扩散方法及装置的制作方法
技术领域：
本发明涉及计算机视觉技术领域，特别涉及到一种基于轮廓匹配进行深度扩散的方法。
背景技术：
立体视频技术是一种能够提供立体感的新型视频技术。与单通道视频相比，立体视频一般有两个视频通道，数据量要远远大于单通道视频，所以对立体视频的高效压缩尤为重要。基于深度图像绘制技术是未来3DTV系统在解码端的一项关键技术。在立体视频处理中，深度扩散指利用关键帧图像和其对应的深度图计算非关键帧的深度图的方法。深度扩散的基本思路是利用关键帧与非关键帧图像之间的相关性找到非关键帧中对应于关键帧的深度区域，并计算这部分区域的深度值，得到非关键帧图像的深度图。在关键帧与非关键帧变化不太剧烈的场景(如静止场景、缓慢运动场景等)中，深度扩散方法在计算非关键帧的深度图时有较好的结果。传统的进行深度扩散的方法主要是利用图像的颜色特征、运动信息以及直方图匹配。具体而言，使用颜色特征进行深度扩散的方法是通过寻找相邻区域颜色上的相关性来确定相似区域的方法，这种方法对于纹理简单的场景比较有效。使用运动信息进行深度扩散的方法需要计算关键帧与非关键帧之间的运动向量，然后将运动趋势一致的区域相对应，对于运动缓慢或镜头静止的场景比较有效。而直方图匹配的方法是一种统计学的方法， 该方法对图像中的小区域进行局部直方图匹配，将匹配到的区域相对应，认为它们具有相同的深度图。直方图匹配方法准确性相对较高，但是计算速度较慢。
发明内容
本发明的目的旨在至少解决上述的技术缺陷之一。本发明的第一个目在于提供一种基于轮廓匹配的深度扩散方法，该方法可以生成的非关键帧深度图不仅边缘清楚，而且深度层次明确、平滑性能好且时域稳定性高。本发明的第二个目的在于提供一种基于轮廓匹配的深度扩散装置。该装置可以生成的非关键帧深度图不仅边缘清楚，而且深度层次明确、平滑性能好且时域稳定性高。为达到上述目的，本发明第一方面实施例提出一种基于轮廓匹配的深度扩散方法，包括如下步骤输入多帧图像，提取所述多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列，所述轮廓序列包括所述每一帧图像的每个轮廓的信息；根据所述每一帧图像轮廓序列计算每一帧图像的轮廓序列中每个轮廓的轮廓特征值；将当前帧图像的每个轮廓特征值与前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对以获取所述当前帧图像的每个轮廓的在所述前一帧图像中的相似轮廓；将所述前一帧图像中的所述相似轮廓所包围区域的深度值赋值给所述当前帧的对应轮廓所包围区域以得到所述当前帧的每个轮廓的深度值以得到所述当前帧图像的深度图。根据本发明实施例的基于轮廓匹配的深度扩散方法，对帧图像的轮廓序列进行处理之后可以有效的降低噪声对帧图像深度图的不利影响，得到的非关键帧深度图深度层次明确，经过修正和边缘处理之后边缘清晰，平滑性能好且时域稳定性高。而且深度图的信息含量较全，帧图像在经过基于轮廓匹配的深度扩散方法进行处理后所形成的深度图仍然包含有丰富的数据信息。此外，采用轮廓匹配的方法对轮廓信息进行图像内区域的匹配，可以得到准确的匹配结果。即使图像为变形、扭曲的物体，也可以得到准确的匹配效果，并且抗噪声能力强。本发明第二方面的实施例提出一种基于轮廓匹配的深度扩散装置，包括输入模块，所述输入模块用于输入多帧图像，提取所述多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列，所述轮廓序列包括所述每一帧图像的每个轮廓的信息；特征值计算模块，所述特征值计算模块与所述输入模块相连，用于根据所述每一帧图像轮廓序列计算每一帧图像的轮廓序列中每个轮廓的轮廓特征值；比对模块，所述比对模块与所述特征值计算模块相连，用于将当前帧图像的每个轮廓特征值与前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对以获取所述当前帧图像的每个轮廓的在所述前一帧图像中的相似轮廓；深度赋值模块，所述深度赋值模块与所述比对模块相连，用于将所述前一帧图像中的所述相似轮廓所包围区域的深度值赋值给所述当前帧的对应轮廓所包围区域以得到所述当前帧的每个轮廓的深度值以得到所述当前帧图像的深度图。根据本发明实施例的基于轮廓匹配的深度扩散装置，对帧图像的轮廓序列进行处理之后可以有效的降低噪声对帧图像深度图的不利影响，得到的非关键帧深度图深度层次明确，经过修正和边缘处理之后边缘清晰，平滑性能好且时域稳定性高。而且深度图的信息含量较全，帧图像在经过基于轮廓匹配的深度扩散装置进行处理后所形成的深度图仍然包含有丰富的数据信息。此外，采用轮廓匹配的方法对轮廓信息进行图像内区域的匹配，可以得到准确的匹配结果。即使图像为变形、扭曲的物体，也可以得到准确的匹配效果，并且抗噪声能力强。本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中图1为根据本发明实施例的基于轮廓匹配的深度扩散方法的示意图；图2为图1中的基于轮廓匹配的深度扩散方法的流程图；图3为根据本发明实施例的基于轮廓匹配的深度扩散装置的结构示意图。
具体实施例方式下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。下面参考图1描述根据本发明实施例的基于轮廓匹配的深度扩散方法。如图1所示，本发明实施例提供的基于轮廓匹配的深度扩散方法，包括如下步骤SlOl 输入多帧图像，提取每一帧图像的轮廓序列。SlOll 对当前帧图像进行轮廓提取。首先，向内存中输入多帧图像。由于所有的物体均可以通过轮廓的方式进行表示， 从而可以实现可以识别的物体的量化。然后利用轮廓提取算法提取多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列。其中，每一帧图像中包括有多个轮廓。轮廓序列包括每一帧图像的每个轮廓的信息。在本发明的一个实施例中，每个轮廓的信息包括相应的轮廓的像素点位置。换言之，轮廓序列记录了组成各个轮廓的像素点位置。S1012 去除包含噪声的轮廓由于步骤SlOll中提取得到的轮廓序列中包括具有噪声的轮廓，需要对该部分噪声进行去除。在本步骤中，首先设置长度阈值，然后计算轮廓序列中各个轮廓的长度。将每个轮廓的长度与该长度阈值进行比较，当一个轮廓的长度小于该长度阈值时，则判断该轮廓为噪声，去除该轮廓。当一个轮廓的长度大于该长度阈值时，不予处理。通过上述步骤，可以完整去除轮廓序列中的噪声，从而得到更为可靠的轮廓。 根据去除噪声后的轮廓，更新轮廓序列，执行步骤S102。上述更新后的轮廓序列中的轮廓不包括有噪声，或者噪声较小可以忽略不计。可以理解的是，对轮廓序列进行去噪是可选步骤，即由步骤SlOll中生成的轮廓序列也可以直接送入步骤S102，计算轮廓序列中每个轮廓的轮廓特征值。S102 计算每一帧图像的轮廓序列中每个轮廓的轮廓特征值。为了进行轮廓的匹配，需要计算每帧图像的轮廓序列中的每个轮廓的特征值。具体而言，将步骤SlOl中提取得到的轮廓序列，计算该轮廓序列中每个轮廓的轮廓特征值。 在本发明的一个实施例中，每个轮廓的轮廓特征值包括每个轮廓的区域直方图、矩和地球移动距离。S103 将当前帧图像每个轮廓特征值与前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对。S1031 比较当前帧每个轮廓特征与前一帧每个轮廓的特征。将当前帧图像的轮廓序列中的每个轮廓特征值，分别与前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对。S1032 判断两个轮廓是否相似。在经过步骤S1031比较后，选择其中相似度最高的轮廓作为当前该轮廓在前一帧图像中的相似轮廓，此时可以认为当前轮廓和与该当前轮廓对应的相似轮廓对应于同一个物体。这是由于图像视频的两帧之间相同物体的轮廓特征是保持基本不变的，两帧图像中的同一物体的轮廓是对应的。如果没有找到与当前轮廓对应的相似轮廓，则认为当前帧的该轮廓与前一帧的轮廓没有对应关系，即在前一帧中没有与当前轮廓对应的同一个物体。此时，返回步骤S1031，继续对当前帧的其他轮廓与前一帧的每个轮廓进行特征比较。可以理解的是，获取当前轮廓在前一帧图像中的相似轮廓可以采用传统的比较算法。具体而言，比较算法用于找到两组轮廓序列中最相似的两个轮廓，通过比较两组轮廓序列的特征值，找到其中特征值最接近的轮廓对，即特征值差最小的轮廓对。在本发明的一个实施例中，采用绝对值和方差的方法计算两组轮廓序列的特征值差值。对于不同的特征值， 进行比较的方法略有不同。在本发明的一个实施例中，利用轮廓的区域直方图信息比较两组轮廓序列的特征值，计算差值的累积量，具体的公式如下
Ih(AB) = YlmA-<
2=1
mB其中，A和B分别为两组轮廓序列，Ih(Α，B)为两组轮廓序列直方图的累计差，N为直方图的分段个数，为轮廓序列A的轮廓直方图对应分段上的累积量，为轮廓序列B的轮廓直方图对应分段上的累积量。在本发明的一个实施例中，分段个数可以选择64或256。在本发明的一个实施例中，通过计算轮廓序列的矩或者地球移动距离的方式比较两组轮廓序列的特征值，计算特征值的差值的公式不需要求和，公式如下
权利要求
1.一种基于轮廓匹配的深度扩散方法，其特征在于，包括如下步骤输入多帧图像，提取所述多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列，所述轮廓序列包括所述每一帧图像的每个轮廓的信息；根据所述每一帧图像轮廓序列计算每一帧图像的轮廓序列中每个轮廓的轮廓特征值；将当前帧图像的每个轮廓特征值与所述当前帧的前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对以获取所述当前帧图像的每个轮廓的在所述前一帧图像中的相似轮廓；将所述前一帧图像中的所述相似轮廓所包围区域的深度值赋值给所述当前帧的对应轮廓所包围区域以得到所述当前帧的每个轮廓的深度值，根据所述当前帧的每个轮廓的深度值生成所述当前帧图像的深度图。
2.如权利要求1所述的基于轮廓匹配的深度扩散方法，其特征在于， 所述轮廓序列中每个轮廓的信息包括所述每个轮廓的像素点位置。
3.如权利要求1所述的基于轮廓匹配的深度扩散方法，其特征在于，所述每个轮廓的特征值包括所述每个轮廓的区域直方图、所述每个轮廓的矩和所述每个轮廓的地球移动距离。
4.如权利要求1所述基于轮廓匹配的深度扩散方法，其特征在于，在所述计算每个轮廓的轮廓特征值之前还包括对所述每一帧图像的轮廓序列进行去噪，包括如下步骤计算所述轮廓序列中各个轮廓的长度，去除所述各个轮廓中轮廓长度小于长度阈值的轮廓噪声，根据去除所述轮廓噪声后的各个轮廓更新所述轮廓序列。
5.如权利要求1所述的基于轮廓匹配的深度扩散方法，其特征在于，进一步包括对所述当前帧图像进行深度图修正，包括如下的步骤利用边缘提取算法计算所述当前帧图像的边缘信息，其中所述边缘信息包括所述当前帧图像的边缘区域；根据所述当前帧图像的边缘信息，对所述当前帧的轮廓序列中各个轮廓超出所述边缘区域或者小于所述边缘区域的范围进行修正以使所述各个轮廓的边界与所述当前帧图像的边缘信息一致，对所述当前帧的深度图中没有赋值的深度区域进行赋值。
6.如权利要求5所述的基于轮廓匹配的深度扩散方法，其特征在于，所述的边缘提取算法采用的是索贝尔SOBEL算法或Laplacian拉普拉斯算法。
7.如权利要求5所述的基于轮廓匹配的深度扩散方法，其特征在于，所述的对轮廓的深度值进行修正包括如下的步骤当所述轮廓序列中的轮廓的范围超出所述当前帧图像的边缘区域时，采用所述当前帧图像的边缘区域作为对应轮廓的边缘，并去除所述当前帧图像的边缘区域的范围外的区域的深度值；当所述轮廓序列中的轮廓的范围小于所述当前帧图像的边缘区域，则扩大相应轮廓的区域至与所述当前帧图像的边缘区域，并对扩大的区域赋予所述相应轮廓的区域的深度值。
8.如权利要求5所述的一种基于轮廓匹配的深度扩散方法，其特征在于，采用以下方式之一对所述当前帧的深度图中没有赋值的深度区域进行赋值邻域填充、高斯滤波、双边滤波、图像自动修复Inpaiting技术或空间深度扩散。
9.一种基于轮廓匹配的深度扩散装置，其特征在于，包括输入模块，所述输入模块用于输入多帧图像，提取所述多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列，所述轮廓序列包括所述每一帧图像的每个轮廓的信息；特征值计算模块，所述特征值计算模块与所述输入模块相连，用于根据所述每一帧图像轮廓序列计算每一帧图像的轮廓序列中每个轮廓的轮廓特征值；比对模块，所述比对模块与所述特征值计算模块相连，用于将当前帧图像的每个轮廓特征值与所述当前帧的前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对以获取所述当前帧图像的每个轮廓的在所述前一帧图像中的相似轮廓；深度赋值模块，所述深度赋值模块与所述比对模块相连，用于将所述前一帧图像中的所述相似轮廓所包围区域的深度值赋值给所述当前帧的对应轮廓所包围区域以得到所述当前帧的每个轮廓的深度值，根据所述当前帧的每个轮廓的深度值生成所述当前帧图像的深度图。
10.如权利要求9所述的基于轮廓匹配的深度扩散装置，其特征在于，所述轮廓序列中每个轮廓的信息包括所述每个轮廓的像素点位置。
11.如权利要求9所述的基于轮廓匹配的深度扩散装置，其特征在于，所述每个轮廓的特征值包括所述每个轮廓的区域直方图、所述每个轮廓的矩和所述每个轮廓的地球移动距离。
12.如权利要求9所述基于轮廓匹配的深度扩散装置，其特征在于，还包括去噪模块， 所述去噪模块分别与所述输入模块和所述特征值计算模块相连，所述去噪模块用于计算所述轮廓序列中各个轮廓的长度，去除所述各个轮廓中轮廓长度小于长度阈值的轮廓噪声， 根据去除所述轮廓噪声后的各个轮廓更新所述轮廓序列。
13.如权利要求9所述的基于轮廓匹配的深度扩散装置，其特征在于，进一步包括修正模块，所述修正模块与深度赋值模块相连，所述修正模块利用边缘提取算法计算所述当前帧图像的边缘信息，根据所述当前帧图像的边缘信息，对所述当前帧的轮廓序列中各个轮廓超出所述边缘区域或者小于所述边缘区域的范围进行修正以使所述各个轮廓的边界与所述当前帧图像的边缘信息一致对所述当前帧的深度图中没有赋值的深度区域进行赋值，其中所述边缘信息包括所述当前帧图像的边缘区域。
14.如权利要求13所述的基于轮廓匹配的深度扩散装置，其特征在于，所述的边缘提取算法采用的是索贝尔SOBEL算法或Laplacian拉普拉斯算法。
15.如权利要求13所述的基于轮廓匹配的深度扩散装置，其特征在于，当所述轮廓序列中的轮廓的范围超出所述当前帧图像的边缘区域时，所述修正模块采用所述当前帧图像的边缘区域作为对应轮廓的边缘，并去除所述当前帧图像的边缘区域的范围外的区域的深度值；当所述轮廓序列中的轮廓的范围小于所述当前帧图像的边缘区域，则所述修正模块扩大相应轮廓的区域至与所述当前帧图像的边缘区域，并对扩大的区域赋予所述相应轮廓的区域的深度值。
16.如权利要求13所述的一种基于轮廓匹配的深度扩散装置，其特征在于，所述修正模块采用以下方式之一对所述当前帧的深度图中没有赋值的深度区域进行赋值邻域填充、高斯滤波、双边滤波、图像自动修复Inpaiting技术或空间深度扩散。
全文摘要
本发明公开了一种基于轮廓匹配的深度扩散方法，包括如下步骤输入多帧图像，提取多帧图像中每一帧图像的轮廓以得到每一帧图像的轮廓序列；根据每一帧图像轮廓序列计算每一帧图像的轮廓序列中每个轮廓的轮廓特征值；将当前帧图像的每个轮廓特征值与当前帧的前一帧图像的轮廓序列中每个轮廓的轮廓特征值进行比对以获取当前帧图像的每个轮廓的在前一帧图像中的相似轮廓；将前一帧图像中的相似轮廓所包围区域的深度值赋值给当前帧的对应轮廓所包围区域生成当前帧图像的深度图。本发明还公开了一种基于轮廓匹配的深度扩散装置。本发明可以得到的非关键帧深度图边缘清楚、深度层次明确、平滑性能好且时域稳定性高。
文档编号G06T17/00GK102306393SQ201110220580
公开日2012年1月4日 申请日期2011年8月2日 优先权日2011年8月2日
发明者徐琨, 戴琼海, 索津莉 申请人:清华大学