一种基于压缩感知的自适应深度图像编码方法
【专利摘要】本发明提供了一种基于压缩感知的自适应深度图像编码方法，包括以下过程：首先对深度图像进行隔点采样，采用0.5的下采样率；然后用canny算子提取出下采样后深度图像的边缘，根据不同的边缘信息对图像块进行自适应选取采样率，最后根据采样值以高概率重构出深度图像，再通过上采样得到和原来分辨率相同的深度图像。
【专利说明】ー种基于压缩感知的自适应深度图像编码方法
【技术领域】
[0001 ] 本发明涉及数字视频处理【技术领域】，具体涉及ー种基于压缩感知的自适应深度图像编码方法。
【背景技术】
[0002]随着多媒体技术的发展,三维视频(Three-DimensionalVideo, 3DV)已经成为图像与视频处理领域的热点研究方向。与传统的二维视频相比，三维视频使用户能够自由地选择观看的视点，获得更加真实的立体视觉体验。但是，三维视频的原始数据量巨大，数据存储空间和传输带宽的限制成为制约其发展的瓶颈。因此，简单而有效的压缩编码算法对于三维视频的发展至关重要。
[0003]典型的三维视频数据格式包括多视点的颜色视频和与之--对应的深度图像序
列。深度图像中每个像素点的灰度值代表的是场景中每个像素点与摄像机间的距离。在三维视频系统中它并不直接用于视频或图像的显示，而用于解码端虚拟视点合成。因此，深度图像的解码质量严重影响到解码端合成的视频质量。图像的边缘是图像分割所依赖的重要特征之一，也是纹理特征的信息源和形状特征的基础。与传统的二维图像不同，深度图像的边缘锐利，所在的块像素值不够紧凑，但其他区域均匀，具有更强的稀疏性。Xie和Sarkis等在文献中针对整幅图像做测试，用远远少于图像原始数据量的測量值重构原始图像，但是随着图像分辨率的増大，重构算法的复杂程度及运算量会以指数的速度增长，造成编解码速率下降。Gan在文献中提出基于图像块的压缩感知方法，先对图像进行分块，然后对每个块采用同一个块测量矩阵，这样不但可以减少测量矩阵的存储量还有效解决了高维图像的采集问题。Zhang在文献中提出基于局部DCT变换系数的图像重建方法，首先将二维图像降维成ー维的数据，再对数据做DCT变换，得到ー维的DCT系数，但它只简单截取前M个ー维DCT系数作为测量数据，·降低了图像的重构质量。
[0004]针对同一幅图像不同采样率下重构出的图像质量是不同的。随着采样率的提高，重构图像与原始图像之间的差异逐渐减小，即PSNR值逐渐上升，但是采样率较高时，图像的压缩效率降低，编码的码率也会较高，重构算法的复杂程度也随之提升。因此需要在PSNR值与图像的编码码率之间做ー个很好的折中。另ー方面，深度图像中不同图像块的稀疏程度是不一样的，同时不同图像块在重构时的重要程度也是不同的，若采用传统方法对整幅图像中的所有块选取同一个采样率，不但会造成采样数据的浪费也会对重构图像的整体质量造成一定的影响，比如出现块效应等等。
【发明内容】
[0005]本发明针对深度图像的边缘统计特征，提出了ー种基于压缩感知的自适应深度图像编码方法。该方法首先提取出深度图像的边缘，然后根据边缘在各个图像块中所占的比例，自适应地选取不同的采样率进行压缩，从而能够更好的重构深度图像。
[0006]为了实现上述目的，本发明采用的技术方案为:[0007]—种基于压缩感知的自适应深度图像编码方法，包括:
[0008](I)首先对深度图像进行隔点采样，采用0.5的下采样率；
[0009](2)然后用canny算子提取出下采样后深度图像的边缘，根据不同的边缘信息为图像块自适应地选取采样率，
[0010](3)最后根据采样值以高概率重构出深度图像，再通过上采样得到和原来分辨率相同的深度图像。
[0011]本发明的基于深度边缘应用压缩感知的知识进行自适应编解码的具体算法过程，如图2所示,包括:
[0012](I)首先用经典的canny算子提取出图像的边缘信息；
[0013](2)然后将图像分成m个nXn的块，n取16 ;m的取值与图像的分辨率有关，例如，如果图像为512X512分辨率，则m= (512X512)/ (nXn)。对于本方法中，我们并不限定图像的分辨率。通用的图像分辨率即可。
[0014](3)接下来令i = 1，从第一个图像块开始做DCT变换，统计边缘在各个图像块中所占的比例W，根据W与0、5%、10%,20%,30%的关系选择采样率，直到i = m完成整幅图像的采样；
[0015](4)根据图像块中边缘信息的统计比例，用不同的颜色将其标记出来，具体的，若边缘点占的比例大于等于30%，该块用白色方格标出，选择P !的压缩采样率；若边缘点占的比例大于等于20%小于30%，该块用红色方格标出，选择P2的压缩采样率；边缘点占的比例大于等于10%小于20%，该块用蓝色方格标出，选择P3的压缩采样率；边缘点占的比例大于等于5%小于10%，该块用緑色方格标出，选择P 4的压缩采样率；若该块含有图像边缘，但边缘点所占比例小于5%，该块用黄色方格标出，选择P 5的压缩采样率；不含图像边缘的图像块用黑色标出，并选择P6的压缩采样率，且
[0016]( 5 )得到各个图像块的采样率之后，就可以基于压缩感知进行深度图像的编解码。
[0017]假设X ERtl是ー个离散信号，s是其在某个正交基屯下的系数，则1 =ぎ，如果s中只有k个系数为非零元素，则称X在某个正交基W下为k稀疏，根据压缩感知理论，不需要像传统编码器那样去编码k个非零系数，压缩感知编码器的流程如下:
[0018]y = Ox(I)
[0019]这里①是pXq矩阵，y G Rp。因为p < q，所以原始信号X被压缩了。在图像重构中，s能够通过解下面的优化问题得到重构，
[0020]min || Sll1,s.t.y = O ^ts (2)
[0021]该式表示的是非凸优化问题，为典型的NP-hard问题，在求解过程中需穷举s中非零值的所有种排列可能，计算的复杂度较高，鉴于此，Canc^s和Donoho提出了用I1范数代替Itl范数，把⑵式转化成一个凸优化问题，通过线性规划加以求解，即
[0022]多=minIML s.t.&s = y(3)
[0023]这种方法也叫做基追踪方法，如果考虑重构产生的误差，上述问题可以进ー步转化为如(4)式所示的最小I1范数的问题，通过二阶圆锥规划来求解:
[0024]min Ilsll1 s.t.|| ? s-y || 2 < e (4)
[0025]求解得到了信号X在P下的最优稀疏解め之后，重构的X即可表示为:[0026]
X = Cps)
[0027]本发明的编码方法中，将图像分成16X16的块，每个块可以按照行扫描排列为ー个qXl的列向量X,这时q = 256,矩阵①的姆一行为对称独立Bernoulli分布的取样点，即每行中的元素为±1，其中+1和-1的概率为1/2。需要注意的是，对于所有的块使用同一个矩阵の，从而保证了计算的低复杂度。根据公式(1)，可以得到測量值为y，是ー个pXl的列向量。然后y经过算术编码后在信道上传输。本发明在图像重构中，使用DCT变换基作为正交基W，具体的恢复算法使用了通用的log-barrier算法来求解公式(2),相关的matIab代码见文献。
[0028]本发明的深度图像编码方法采用的所述自适应选取采样率的方法，包括:对深度图像中边缘所占比例较大的图像块选取较高的采样率，边缘所占比例较小的图像块选取较低的采样率，确保整体图像在较低的平均采样率下，重构出具有较高主客观质量的深度图像。
[0029]其中，本发明结合虚拟视点合成技术，设计了针对“顔色+深度”格式的三维图像编解码方案，如图1所示，应用多路相机的颜色图像和对应的深度图像来合成虚拟视点的颜色图像，对于多路相机的颜色图像，采用最新的国际视频编码标准ffiVC (HighEfficiency Video Coding)进行编解码；对于多路相机的深度图像,采用本发明的基于压缩感知的自适应编码方法，以 此评价深度图像的编解码算法性能。
[0030]有益效果
[0031](I)本发明提出了基于深度图像边缘自适应选取采样率的方法，对深度图像中边缘所占比例较大的图像块选取较高的采样率，边缘所占比例较小的图像块选取较低的采样率，这样就可以确保整体图像在较低的平均采样率下，重构出具有较高主客观质量的深度图像。
[0032](2)本发明引入压缩感知技术来处理深度图像。压缩感知是近年来新兴起的信号处理技术，可以使用比传统方法更少的測量值来实现稀疏信号的恢复。
【专利附图】
【附图说明】
[0033]图1为针对“颜色+深度”格式的三维图像编解码示意框图；
[0034]图2为本发明的深度图像编码方法的算法流程图；
[0035]图3为本发明的自适应采样方法与均匀采样方法重构深度图像的PSNR值比较图；
[0036]图4为本发明的自适应采样方法与均匀采样方法采用kendo序列在bpp=0.4时合成图像的主观效果比较图；
[0037]图5为本发明的自适应采样方法与均匀采样方法采用balloons序列在bpp=0.3时合成图像的主观效果比较图；
[0038]图6为本发明的自适应采样方法与均匀采样方法分别采用pantomime序列、kendo序列、balloons序列合成图像的客观PSNR值比较图。
【具体实施方式】[0039]下面结合附图对本发明进行详细阐述，以使本发明的优点和特征能更易于被本领域技术人员理解，从而对本发明的保护范围做出更为清楚明确的界定。
[0040]为了对本发明的深度图像编码方法的有效性进行验证，实验中采用kendo序列(1024X 768)、balloons 序列(1024X 768)与 pantomime 序列(1280X960)中不同视角的一帧图像进行试验。其中，kendo序列和balloons序列中的图像纹理特征、细节信息较为丰富，而pantomime序列中的图像，前景与背景区域的区分比较明显。
[0041]实验过程中先处理序列中相机的深度图像，将深度图像的边缘提取出来，根据各个图像块的边缘信息自适应地选取采样率，采样后重构的深度图像与最原始的深度图像作比较，得到PSNR值。结果如图3所示，从图中曲线可以看出，当整幅图像的平均每像素采用的比特数(bpp)相同时，采用本发明所提的方法比采用均匀采样方法重构出的深度图像，客观质量要好，PSNR值要高，即更接近于最原始的深度图像。为了更直观的比较两种方法的优劣，根据图1中的框图，由两个相机合成中间相机的图像，通过观察合成图像的质量，对均匀采样方法和本文所提出的自适应采样方法进行性能比较。图4中的(a)和(b)是kendo序列在bpp=0.4时合成的图像，图5中的(a)和(b)是balloons序列在bpp=0.3时合成的图像，这两幅图中的图(a)都是采用均匀采样方法合成的图像，图(b)都是采用自适应采样方法合成的图像。为了清楚比较两种方法的优劣，将两种方法合成图像主观质量上有较大差距的区域用圆标记出来，并对其做放大处理。主观上，通过合成图像的对比，尤其是用圆标记区域的对比，可以明显看出在bpp相同的情况下，采用本发明的方法合成的图像主观质量更好。另外，二者相比主观质量好的地方多为物体的边缘区域，如人的衣服，头盔等，对于其他平缓区域，两种方法合成的图像主观效果相当，实验结果进一歩说明采用均匀采样率重构的图像在边缘区域存在一定的块效应现象。客观上，将两路相机不经任何处理的原始图像合成的虚拟视点图像作为參照，采用均匀采样和自适应采样方法合成的图像与之对比，得到ー组PSNR值，其结果如图6所示，由曲线图可以看出在bpp相同的情况下，应用本发明提出的方法合成得到的图像与均匀采样合成的图像相比，其PSNR值更高，即本发明所提出的自适应采样方法具有更好的率失真性能。
[0042]本申请中，图中的PSNR及bpp均为图像编码中的通用英文縮写。即PSNR为峰值信噪比，bpp为姆像素比特。
[0043]最后应说明的是:显然，上述实施例仅仅是为清楚地说明本发明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引申出的显而易见的变化或变动仍处于本发明的保护范围之中。
【权利要求】
1.ー种基于压缩感知的自适应深度图像编码方法，其特征在于，包括以下过程: (1)首先对深度图像进行隔点采样，采用0.5的下采样率； (2)然后用canny算子提取出下采样后深度图像的边缘，根据不同的边缘信息对图像块进行自适应选取采样率； (3)最后根据采样值以高概率重构出深度图像，再通过上采样得到和原来分辨率相同的深度图像。
2.根据权利要求1所述的基于压缩感知的自适应深度图像编码方法，其特征在于，所述算法过程进一歩包括: (1)首先用经典的canny算子提取出图像的边缘信息； (2)然后将图像分成nXn的块，n取16; (3)接下来令i= 1，从第一个图像块开始做DCT变换，统计边缘在各个图像块中所占的比例W，根据W与0、5%、10%,20%,30%的关系选择采样率，直到i = m完成整幅图像的采样； (4)根据图像块中边缘信息的统计比例，用不同的颜色将其标记出来，若边缘点占的比例大于等于30%，该块用白色方格标出，选择P:的压缩采样率；若边缘点占的比例大于等于20%，小于30%，该块用红色方格标出，选择P2的压缩采样率；边缘点占的比例大于等于.10%，小于20%，该块用蓝色方格标出，选择P3的压缩采样率；边缘点占的比例大于等于5%，小于10%，该块用緑色方格标出，选择P4的压缩采样率；若该块含有图像边缘，但边缘点所占比例小于5%，该块用黄色方格标出，选择P 5的压缩采样率；不含图像边缘的图像块用黑色标出，并选择3 6的压缩米样率，且^ ； (5)得到各个图像块的采样率之后，基于压缩感知进行深度图像的编解码； 若xe Rtl是ー个离散信号，s是其在某个正交基W下的系数，则X = 若s中只有k个系数为非零元素，则称X在某个正交基W下为k稀疏，压缩感知编码器的流程如下:
3.根据权利要求1所述的基于压缩感知的自适应图像编码方法，其特征在于:步骤(2)中所述自适应选取采样率的方法，包括，对深度图像中边缘所占比例较大的图像块选取较高的采样率，边缘所占比例较小的图像块选取较低的采样率，确保整体图像在较低的平均采样率下，重构出具有较高主客观质量的深度图像。
4.根据权利要求1所述的基于压缩感知的自适应图像编码方法，其特征在于:结合虚拟视点合成技木，采用针对“颜色+深度”格式的三维图像编解码方案，应用多路相机的颜色图像和对应的深度图像来合成虚拟视点的颜色图像，对于多路相机的颜色图像，采用国际视频编码标准HEVC进行编解码；对于多路相机的深度图像，采用基于压缩感知的自适应编码方法，以此评价深度图像的编解码算法性能。
【文档编号】H04N19/597GK103581687SQ201310414049
【公开日】2014年2月12日 申请日期:2013年9月11日 优先权日:2013年9月11日
【发明者】白慧慧, 高静, 刘美琴, 林春雨, 赵耀 申请人:北京交通大学长三角研究院