本发明多媒体信息技术领域，更具体地，涉及一种基于视觉显著度的自适应下采样深度图压缩方法。
背景技术：
自从视频显示技术诞生以来，通过媒体获得信息的方式就大大丰富，从以前的黑白显示到彩色显示，从模拟显示设备到数字显示。随着高解析度电视的发展，人们对显示设备的追求越来越高，人们希望能有更真实的观影体验。在这种情况下，3D显示技术产生逐步发展。
3D视频是近年来新出现的一种音视频多媒体技术。它被认为能带来理想的声音，视觉上的3D效果，给用户一种沉浸在内容中的体验。传统意义上的3D媒介是一种能同时给多个用户提供内容的显示设备。需要3D眼睛的立体显示技术目前已经很成熟，是第一代3D技术成功的基石。自由视点的立体显示设备是近年来迅速发展的一种脱离3D眼睛的显示技术。具有方便，更高还原度等优点。也是目前3D显示技术研究重心。在实验方面，各种针对3D视频的产生，编码，传送，系统集成都在进行。
3D显示技术已经在各方面得到应用，并发挥2D显示技术没有的优势。目前来看，具有3D显示功能的显示设备越来越得到用户的青睐，如笔记本电脑，显示器等。在工业领域3D显示技术可应用于过程控制，远程监测等方面，更高还原度的视觉效果，让工业生产具有更高的效率。同时在医疗卫生等领域，3D显示技术在眼科的疾病观察以及内窥镜图像显示等方面也发挥了巨大的优势。在其他方面如军事领域的控制系统演示，飞行模拟训练，3D显示技术也日趋重要。随着科技的发展，3D显示技术在数字显示领域的作用日益增大，离普通消费者也越来越近，具有巨大的市场潜力以及不可限量的发展前景。
在3D视频处理技术中，图像的压缩和传输技术关系到解码端恢复质量的好坏，是整个传输系统中重要的一环。而针对3D视频的传输，不仅仅需要传输纹理图而且还需要传输深度图。纹理图的传统压缩方案已经很成熟，因此深度图的压缩优化就成为3D视频传输中很重要的一部分。
早在2001年，国际动态图像专家组(MPEG)就已经开始了对3D视频压缩的研究并成立了3D音视频的研究委员会。其制定了3D音视频技术未来发展的大致纲要。按照委员会对技术研究的纲要规定，3D音视频技术研究氛围两个阶段，第一阶段主要是研究3D音视频的编解码方案，第二阶段则主要研究3D视频中自由视点合成的方案。按照计划组织在2001年引入了FTV的概念，在2002年12月，MPEG-3DAV小组对3DAV的研究进程进行了细致的研究探讨，并于03年10月定出3DAV的发展进程，同时开启了实验方面的研究。在2004年10月，小组向有关组织提出要求，要求各组织提供视频编码测试数据，并于2005年7月向各组织征求了备选方案。2006年一月完成评估。在2007年四月组织开启了FTV/3DV项目并于2009年2月提出了3DV研究的要求，在2009年3月整个MVC架构基本完成。并推出了3D视频编码的标准软件JMVC。而第二阶段的FTV/3DV项目仍在进行中，其中自由视点绘制技术仍需要各方面的攻关突破。整个3D视频系统重要的技术点可归结为：深度估计，3D视频编码，自由视点绘制这几个方面。尽管目前已经针对3D视频编码提出了标准方案，但方案为兼容传统的纹理图编码，对于深度图的编码仍可以优化。在3D视频传输中发送端需要对纹理图以及深度图进行编码然后将其通过相应信道进行发送；在解码端对深度图以及纹理图解码进行虚拟试点合成生成3D视频并通过3D显示设备显示出来。
由于深度图表征的是场景中的物体和镜头之间的距离信息，因此深度图的特点中的像素值代表了距离。通常用8位的255级灰度图来表示。由于同一物体表面和相机距离变化较小，而不同物体和相机距离较大，因此深度图常常表现为物体表面平滑而在边界处有突变的情况。深度图的冗余性相较于彩色图更为明显。现有的深度图编码方案基本可以分为两种[4]；第一种是基于传统的纹理图采样在进行对应的编码来达到压缩图像的目的，第二种是提出一种新的适用于深度图的编码方案。第一种方案通常是先对深度图进行下采样，然后根据H.264/AVC或HEVC编码方案进行编码。第二种方案有基于小波变换的压缩方案。但此种方案在边缘处会产生失真。因此有学者提出基于敏感区域的编码方案，即对边界区域采取无损压缩。另外还有基于边缘检测的帧内预测等方案提出。
传统方案在深度图编码中存在很多的挑战：如何在下采样中能保证深度图的边缘信息，减少边缘模糊以及锯齿现象等；如何能提高压缩率以减小信道传输压力。
技术实现要素：
针对现有技术的以上缺陷或改进需求，本发明提供了一种基于视觉显著度的自适应下采样深度图压缩方法，其目的在于基于颜色，方向和亮度计算深度图对应纹理图的显著度；另外对深度图进行自适应分块并结合显著度对深度图进行下采样，由此解决传统深度图压缩方案产生的“边缘模糊”和“边缘锯齿”现象。
为实现上述目的，本发明提供了一种基于视觉显著度的自适应下采样深度图压缩方法，所述方法包括：
(1)对深度图对应的纹理图进行显著度提取，得到显著图；
(2)对深度图进行自适应分块，区分图中边缘区域和平滑区域；
(3)由显著图和深度图的映射关系计算深度图分块的平均显著度，再由显著度与采样率之间的映射关系计算深度图分块的采样率，最后根据深度图各个分块的采样率对深度图进行压缩。
进一步地，所述步骤(1)具体包括：
(11)提取纹理图I的特征向量，生成特征图M；
(12)连接特征图M中每个点得到有向图GA，为有向图GA中每条边分配一个权重w1，权重w1在有向图GA上进行随机游走，得到激励图A；
(13)连接激励图A中每个点得到有向图GN，为有向图GN中每条边分配一个权重w2，将w2归一化，根据归一化后的权重w2在激励图A上进行随机游走，得到显著图SM。
进一步地，所述步骤(2)具体为：将深度图进行四叉树分块，若某个分块区域的灰度值小于灰度阈值或某个分块区域的尺寸小于尺寸阈值，则该分块停止继续分块，否则继续进行分块。
进一步地，所述步骤(3)具体包括：
(31)由显著图SM和深度图的映射关系计算深度图分块的平均显著度Si；
(32)由显著度与采样率之间的映射关系计算深度图分块的采样率SRi；
(33)根据深度图各个分块的采样率对深度图进行压缩。
进一步地，所述步骤(11)中提取纹理图I的特征向量具体为：在多个通道上对纹理图I提取特征向量；所述多个通道包括颜色，方向和亮度。
进一步地，所述步骤(12)中为有向图GA中每条边分配一个权重w1具体为：
其中，(i，j)和(p，q)表示边的两端点；σ表示权重影响系数；σ越大，表示有更多的邻域像素值影响权重，反之则越少，σ的取值范围为0～1，优选值为0.15。
进一步地，所述步骤(13)中为有向图GN中每条边分配一个权重W2具体为：
其中，(i，j)和(p，q)表示边的两端点。
进一步地，所述步骤(31)中深度图分块的平均显著度Si具体为：
其中，M和N表示深度图分块的尺寸。
进一步地，所述步骤(32)中深度图分块的采样率SRi具体为：
其中，SRmax和SRmin分别为深度图的最大采样率设定值和最小采样率设定值；优选SRmax＝1，SRmin＝0.125；T是分块尺寸参数；若分块尺寸大于16×16则T＝2，否则T＝1；Savg表示深度图的全图平均显著度。
总体而言，通过本发明所构思的以上技术方案与现有技术相比，具有以下技术特征及有益效果：
(1)由于深度图的主要信息来自于边缘区域，并且为了保证纹理图中更吸引人注意的区域的信息得到更多的保留，本发明方法采用非均匀的采样方式，对边缘区域采用高的采样率，其他区域设置低的采样率，在保证采样率的同时，合理地保留深度信息以获得更好的压缩质量；
(2)本发明方法中对深度图的四叉树分块能有效地区分出边缘区域以及平滑区域，方便对不同区域进行自适应采样处理；
(3)本发明方法中采样率映射充分考虑了分块区域的尺寸及对应的显著度的值，亦即区域是否为边缘和区域是否显著，方便根据区域的特性对其进行不同采样率的采样。对边缘区域的高采样率采样有效地消除了“锯齿边缘”“边缘模糊”等现象
附图说明
图1是本发明实施例中基于显著度的深度图自适应采样流程图；
图2是本发明实施例中基于图论的显著度获取流程图；
图3是本发明实施例中深度图自适应分块流程图；
图4是本发明实施例中深度图自适应分块的结果示意图；
图5a和5b是本发明实施例中的压缩结果和采用传统压缩方法压缩结果对比图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
本发明提出了一种基于视觉显著度的自适应下采样算法,图1描述了本文深度图压缩的基本框架；算法首先由两幅图像的输入作为开端，一幅为纹理图一幅为深度图；然后对纹理图进行显著度的计算得到显著图，并以此提取出纹理图的前景区域；对深度图进行四叉树的分块以对深度图区分出平滑区域与边缘区域。对显著图所提取出的前景区域设置一定的采样率，四叉树分块区分出的平滑区域给予低的采样率，边缘区域给予高的采样率，然后分别执行采样。这样就可以得到下采样后的深度图。
方案可以分为三步，接下来对这三个步骤进行具体的说明。
步骤一：
应用一种基于视觉显著度的自适应下采样方案。其中对纹理图的显著图的计算用于区分出纹理图的前景区域，亦即视觉注意力区域，以便后续对前景区域赋予更高的采样率。显著图计算的流程如图2所示。首先，输入的是一幅纹理图，然后在多个通道上对其进行特征的提取并生成特征图；接着，在特征图上定义马尔科夫随机场，根据定义的激励方式将流入每个节点可能性作为马尔科夫随机场中节点的转移概率，对显著点进行激励以使得量值更多的流向该点；最后，在激励图上重新定义一个马尔科夫矩阵转移概率的获取公式，对激励图进行归一化，使得显著区域的值更高，以更好的凸显出显著区域。
显著度算法可被总结为三个步骤：
1、提取图像I的特征向量，组成特征图；
2、用特征图生成一个激励图：
现有一幅特征图M：[n]2→R，n表示图像的变长；R表示实域。本步骤的目标是计算出一幅激励图A：[n]2→R。这样直观上，图像I或者M的区域(i，j)∈[n]2与它周围区域的不同在激励图A上对应更高的值。
考虑全连通的有向图GA，通过连接M中的每一个点得到，即(i，j)与M中除(i，j)之外的其他点连接所得。从(i，j)到(p，q)的边缘被分配一个权重w1：
其中，(i，j)和(p，q)表示边的两端点；σ优选值为0.15；权重w1在有向图GA上进行随机游走，得到激励图A；
3、归一化激励图A：
已经有了激励图A：[n]2→R，这是归一化的目标图片；创建一个图GN它有n2个点。从某一点(i，j)到其他任一点(p，q)(包括(i，j))，计算从(i，j)到(p，q)的权重w2：
然后，再次将w2((i，j)，(p，q))归一化，根据归一化后的权重w2((i，j)，(p，q))在A上进行随机游走，得到显著图SM；
步骤二：
深度图的边缘区域包含了很丰富的距离信息，因此本方案对深度图的区域进行划分，如图3所示，采用四叉树的算法将深度图分为边缘区域以及平滑区域。算法的核心思想是将深度图进行四叉树分块并以分块区域的灰度值的方差大小作为递归算法的终止条件，这样就会得到多块灰度值均匀分布的小块区域。首先原始的深度图的尺寸必须为2N*2N；然后设置一个方差终止阈值和分块的最小尺寸。原始深度图将被等分为上下左右四个分块；当分块的灰度值方差仍然大于阈值的时候，继续对分块进行相同的操作，直到分块的灰度值方差达到阈值或者分块的尺寸达到预设的尺寸大小。这是每个分块的灰度值将趋于一致并且分布均匀。
从图4实施例结果可以看出在边缘区域，四叉树分块的方案能分出尺寸更小的块区域，在平滑区域，四叉树分块尺寸更大。因此这个算法能够很好的区分出边缘区域，平滑区域，以提供给下一步进行区域判定并进行采样率的映射。
步骤三：
显著图计算的目的是为了得到显著度与采样率之间的映射关系。这样才能对不同的分块分配不同的采样率。在显著区域给予更高的采样率以期望保留更多的像素值，在显著度低的区域给予低的采样率只需要保存少量的像素值即可。同理，在四叉树分块得到的边缘区域需要给予更高的采样率。因此采样率的映射就要同时考虑显著度与分块区域是否为边缘区域两个条件。
现在已经获得了显著图SM：[n]2→R，结合上节所提出的四叉树分块，首先在一个M*N大小的分块图i上定义平均显著度Si：
再由显著度与采样率之间的映射关系计算深度图分块的采样率：
其中，SRmax和SRmin分别为深度图的最大采样率设定值和最小采样率设定值；优选SRmax＝1，SRmin＝0.125；T是分块尺寸参数；若分块尺寸大于16X16则T＝2，否则T＝1；Savg表示深度图的全图平均显著度。最后根据深度图各个分块的采样率对深度图进行压缩。
以上内容本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。