视差深度图像的噪声识别方法和噪声识别装置的制造方法
【技术领域】
[0001]本发明涉及视差深度图像处理方法，具体地，涉及视差深度图像的噪声识别方法和噪声识别装置。
【背景技术】
[0002]图像匹配是计算机视觉和图像理解领域的基础研究问题之一，已广泛应用于多源图像融合、目标识别、三维重建等诸多领域。
[0003]随着三维重建技术、虚拟现实等领域的兴起，人们对视差图的精度和密度的要求越来越高，力图得出图像中的每一个像素点的可靠的深度信息。立体图像匹配的目的就是在相同三维场景的两幅成像平面中找到匹配的像素点对，计算出每个像素点坐标对应的视差值d，进而可以准确的描述场景的三维空间信息。
[0004]视差图可以利用各种传统的计算视差值的方法得出，例如块匹配、动态规划法、图割法、半全局匹配法(SGM)等等。然后不论什么方法得到的视差图，往往有或多或少的噪声，即一些像素的视差值，与周围像素的视差值差别很大，形成错误的凹凸点。
[0005]现有技术中已经提出一些视差图像噪声去除方法。
[0006]传统的图像噪声去除方法常常应用各种滤波方法。例如，中值滤波作为非线性的数字滤波方法应用就非常广泛。然而中值滤波方法中，图像窗口的尺寸是受限制的，如果窗口尺寸太大，图像就会变得很模糊，不利于后续的图像处理；但如果窗口设定较小，则有的噪声不能去除，且执行效率也较低。其次，在中值滤波中，每个像素点的视差值都会改变，包括原本正确的视差值，引来更多的噪声。另外，中值滤波需要对每个像素进行处理，非常耗费时间。
[0007]美国专利N0.US7, 570，804B2提出一个基于动态规划和GGCP的视差计算方法，该专利的噪声处理是在视差计算的同时完成的。在该方法中，在视差计算时，会得到一个匹配代价值，如果最低的代价值和第二最低的代价值差距小于一个阈值，就判定这个视差计算的可信度不高，将视作噪声去除。这种噪声去除方法的效率很高，因而实际应用很广泛，缺点就在于很多正确的视差值也同样被当成噪声去除了。
[0008]沈严，杨志卿等的“距离图像的分层滤波处理算法”，西安电子科技大学学报(自然科学版)，2003年I期中提出了一种距离图像的分层滤波处理算法，该方法将图像分割成多个层次，然后在各层采用低通滤波，最后将各层合并形成最终的距离图像。这种方法因为还是采用滤波方式，因而很多正确的视差值也必定受到影响。
【发明内容】
[0009]本发明的一个目的在于提供一种噪声识别方法和装置，其能够快速识别噪声，同时不会影响正确的视差值。
[0010]根据本发明的一个方面，提供了一种识别视差深度图像中噪声的噪声识别方法，可以包括:将视差深度图像分成多个图像块；针对每一个图像块，确定该图像块的视差值取值范围中的可信视差取值范围；对于该图像块中的每一个像素，判断其视差值是否落入该图像块的可信视差取值范围，以及如果该像素的视差值没有落入该可信视差取值范围，则判定该像素的视差值为噪声。
[0011]根据一个实施例的噪声识别方法，确定该图像块的视差值取值范围中的可信视差取值范围可以包括:计算该图像块的视差分布直方图；利用视差分布直方图将视差值取值划分成多个范围；以及从该多个范围中找到置信度最高的一个或多个范围或置信度大于预定阈值的一个或多个范围作为可信视差取值范围。
[0012]根据再一个实施例的噪声识别方法，将图像分成多个图像块可以包括:将整个图像等分成彼此不重叠的多个图像块；或者将整个图像分成图像块具有重叠的多个图像块。
[0013]根据再一个实施例的噪声识别方法，图像块的尺寸可以随图像块的代表性视差值的大小不同而不同，其中当图像块的代表性视差值较大时，图像块的尺寸较大。
[0014]根据再一个实施例的噪声识别方法，计算视差分布直方图可以包括:将该图像块的视差值取值范围或者整个图像的视差值取值范围平均分成m个范围，[a0, al), [al, a2)，…，[a(m-l), am),其中a0和am分别为该图像块的视差值取值的最小值和最大值或者整幅图像的视差值取值的最小值和最大值，m为大于2的正整数；以及扫描图像块内各个像素的视差值，统计落入每个视差值范围内的像素的个数。
[0015]根据再一个实施例的噪声识别方法，将视差分布直方图中的视差值取值范围划分成多个范围，可以包括:以视差分布直方图的统计计算中涉及的各个取值范围作为初始划分的视差范围；计算每两个相邻视差范围的代表性视差值之间的距离；如果该两个相邻视差范围的代表性视差值之间的距离小于预定阈值，合并两个视差范围；以及重复上述距离计算和视差范围合并过程，一直到没有合并操作为止。
[0016]根据再一个实施例的噪声识别装置，所述计算每两个相邻视差范围的代表性视差值之间的距离可以包括:找到每个视差范围中取其值的像素个数最多的视差值作为该视差范围的代表性视差值；以及计算相邻视差范围的代表性视差值之差作为每两个相邻视差范围的代表性视差值之间的距离。
[0017]根据本发明的另一方面，提供了一种识别视差深度图像中噪声的噪声识别装置，可以包括:图像块划分部件，用于将视差深度图像分成多个图像块；可信视差取值范围确定部件，用于针对每一个图像块，确定该图像块的视差值取值范围中的可信视差取值范围；以及噪声识别部件，用于对于一个图像块中的每一个像素，判断其视差值是否落入该图像块的可信视差取值范围，以及如果该像素的视差值没有落入该可信视差取值范围，则判定该像素的视差值为噪声。
[0018]利用本发明的噪声识别方法和装置，能够对图像块取较大的大小，从而具有较高的计算效率，并且后续的噪声去除处理可以仅对识别出的噪声像素进行，不会影响到非噪声像素。
【附图说明】
[0019]从下面结合附图对本发明实施例的详细描述中，本发明的这些和/或其它方面和优点将变得更加清楚并更容易理解，其中:
[0020]图1示出了根据本发明一个实施例的包含初始视差图生成和初始视差图噪声去除的功能部件的示例性系统功能图。
[0021]图2示出了通过立体匹配得到的初始视差图的一个示例。
[0022]图3示出了根据本发明实施例的识别视差深度图像中噪声的噪声识别方法示例的总体流程图。
[0023]图4(a)示出了图像块的视差分布直方图含有一个峰值的例子，图4(b)示出了图像块的视差分布直方图含有多个峰值的例子。
[0024]图5示出了本发明一个实施例的确定图像块的视差值取值范围中的可信视差取值范围的示例性方法230的流程图。
[0025]图6示出了根据本发明实施例的一种识别视差深度图像中噪声的噪声识别装置的配置框图。
[0026]图7示出了适于用来实现本发明实施方式的示例性计算系统400的框图。
【具体实施方式】
[0027]为了使本领域技术人员更好地理解本发明，下面结合附图和【具体实施方式】对本发明作进一步详细说明。
[0028]图1示出了根据本发明一个实施例的包含初始视差图生成和初始视差图噪声去除的功能部件的示例性系统功能图。如图1所示，双目相机100拍摄得到左图像102(1)和右图像102(2)，输入到视差图生成部件103，通过视差图生成算法得到了初始视差图104，该视差图生成部件可以集成到双目相机中，或者集成到外部的计算装置，或者为一个单独的硬件装置。生成的视差图输入到噪声去除装置101，经噪声去除处理后，得到了经去除噪声的视差图105。需要说明的是，该噪声去除装置101可以与立体相机100集成为一个硬件，或者也可以作为单独的硬件或者作为其他计算机器的一个组件来实现。
[0029]图2示出了通过立体匹配得到的初始视差图的一个示例。其中，噪声以圆圈I和2示意性标出。
[0030]下面参