一种基于sift特征的二阶段三维图像压缩编码方法
【专利摘要】本发明提供了一种基于SIFT特征的二阶段三维图像压缩编码方法，包括阶段一和阶段二两个阶段，阶段一首先对视点C1和C2图像提取SIFT特征点并进行初步特征点匹配，然后用RANSAC算法对提取的特征点进行去误匹配并求出视点C1到C2的变换矩阵H1；由视点C1的图像和变换矩阵H1重构出参考图像C21；同理由视点C3和C2求出变换矩阵H2和参考图像C23；接下来分别将重构的参考图像C21、C23与C2作相关性决策，选出与视点C2最相关的重建图像C以及对应的变换矩阵H；对变换矩阵H做定长编码即形成了阶段一的码流；阶段二是在阶段一的基础上，用视点C2与阶段一中选出的重建图像C相减得一个残差，编码残差和变换矩阵H组成阶段二码流。
【专利说明】一种基于SIFT特征的二阶段三维图像压缩编码方法
【技术领域】
[0001]本发明属于图像处理【技术领域】，具体涉及一种基于SIFT特征的二阶段三维图像压缩编码方法。
【背景技术】
[0002]相对于传统的二维图像，新兴的三维图像能够给人提供真实和自然的立体视觉体验，在学术界和工业界都引起了广泛的关注。然而，由于三维图像的原始数据量远大于二维图像的数据量，因此，如何高效的压缩存储三维图像给传统的图像编码技术提出了新的挑战。
[0003]传统的图像编码技术旨在通过减少图像内部的相关性和冗余信息以达到压缩数据量的目的。例如在国际标准JPEG[1]、JEPG2000气H.264[3]以及HEVCm的帧内编码中，图像的内部相关性通常是利用相邻像素或图像块不同的预测及变换方式来去除。相对于传统二维图像，三维图像由于存在多个视点，因此除了具有二维图像的内部相关性以外，还具有视角间的相关性，因此如何有效去掉视点间的相关性是提高三维图像压缩性能的关键。去除三维图像视点间相关性最直接的方式是在编码当前图像时使用来自相邻视点的重建图像作为参考图像进行估值预测，因此来自相邻视点的重建图像与当前编码视点图像间的相关性对于三维图像的压缩性能有至关重要的影响。本申请中，我们将尝试通过视点图像所提取的特征向量来进行图像重建，以获得具有较高视点间相关性的参考图像。
[0004]传统的特征向量提取方法如SIFT(Scale Invariant Feature Transform,尺度不变特征变换)大多应用于基于内容的图像检索等领域。近年来，越来越多的研究开始将特征向量用于图像的重建[5][6]。文献[7]提出可以根据已知的特征向量寻找相似的图像区域构建出原始图像。文献[8]分析了由SIFT算法提取出特征向量可以有效重建出原始图像信息并带来了一些安全隐患。文献[9]提出提取图像SIFT特征向量进行编码，在解码端借助于丰富的网络图片库，最终恢复成原始图像。由于SIFT特征匹配算法的匹配能力较强，可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，甚至对任意角度拍摄的图像也具备较为稳定的特征匹配能力。因此，本申请将SIFT特征匹配算法用于三维图像的不同视点间，利用SIFT算法提取相邻视点的特征向量以构建当前编码视点的参考图像，通过有效去除视点间的相关性进而实现三维图像压缩。
[0005]由于不同的设备用户对于带宽和图像质量的要求不同，本申请中我们提出了一种新的两阶段编码系统，当带宽受限或用户只需要了解图像大概信息时，我们采用阶段一编码，即通过SIFT提取特征向量，通过RANSAC估计算法求出不同视点间图像的变换矩并进行编码，在解码端由已解码的一路视点图像和变换矩阵就可以重建出另一视点的图像，这样只用了极小的码率编码了一路视点的图像。当带宽较宽或用户对于图像质量有更高要求时，我们在阶段一基础上进行阶段二的编码，多传一部分残差信息来提高图像的质量，从而可以满足用户多样化需求。
[0006]参考文献[0007][1]G.K.Wallace, “The JPEG still picture compressionstandard, ” Communications Of the ACM, vol.34，pp.30-44，1991.[0008][2] D.S.Taubman，M.W.Marcel I in，JPEG2000:1mage CompressionFundamentals, Standards, and Practice.Kluwer Academic Publishers,2001.[0009][3]T.Wiegandj G.J.Sullivan, G.Bjontegaardj A.Luthraj “Overview of theH.264/AVC video coding standard，，，IEEE Trans, on Circuits and Systems for VideoTechnology, vol.13，pp.560-576，2003.[0010][4] JCT-VCj iiWDB: Working Draf t6of Hi gh_Ef f i c i ency VideoCoding”，JCTVC-H1003，JCT-VC Meet-1ng，San Jose February2012
[0011][5]J.Hays, A.A.Efrosj “Scene completion using mill ions ofphotographs, ” ACM Trans, on Graphics, vol.126，2007.[0012][6]M.Eitzj R.Richter, K.Hildebrand, T.Boubekeurj M.Alexaj “Photosketcher:1nteractive sketch-based image synthesis,，’IEEE Journal of Computer Graphics andApplications, vol.31，pp.56-66，2011.[0013][7]T.Chen, M.M.Cheng, P.Tan, A.Shamir, S.M.Huj “PhotoSketch:1nternet imagemontage, ” ACM Proc.0f SIGGRAPH ASIA, 2009.[0014][8], P.Weinzaepfelj H.Jegouj P.Perez, “Reconstructing an imagefrom its local descriptors，，，IEEE Proc.0f Computer Vision and PatternRecognition, pp.337-344，2011.[0015][9]Zhongbo Shij Xiaoyan Sun “Cloud-based Image Coding for MobileDevices-Toward Thousands to One Compression，”W.Lin et al.(Eds):PCM2012, LNCS7646，pp.661-673，2012
[0016][10]D.G.Lowe, “Distinctive image features from scale-1nvariantkeypoints，，，International Journal of Computer Vision, vol.60, pp.91-110, 2004
【发明内容】
[0017]由于不同的设备用户对于带宽和图像质量的要求不同，本发明的目的在于提出了一种新的两阶段编码系统，当带宽受限或用户只需要了解图像大概信息时，我们釆用阶段一编码，即通过SIFT提取特征向量，通过RANSAC估计算法求出不同视点间图像的变换矩并进行编码，在解码端由已解码的一路视点图像和变换矩阵就可以重建出另一视点的图像，这样只用了极小的码率编码了一路视点的图像。当带宽较宽或用户对于图像质量有更高要求时，我们在阶段一基础上进行阶段二的编码，多传一部分残差信息来提高图像的质量，从而可以满足用户多样化需求。
[0018]为了实现上述发明目的，申请提供了以下技术方案:如图1所示是本申请提出的二阶段三维图像编码框图。输入三幅不同视点间同一时刻的图像，记为C1, C2，C3，其中，对视点C1和C3本专利釆用国际视频编码标准H.264的帧内编码方法进行压缩，对视点C2将釆用我们所提出的方法。首先对视点C1和C2图像提取SIFT特征点并进行初步特征点匹配，然后用RANSAC算法对提取的特征点进行去误匹配并求出视点C1到C2的变换矩阵故。由视点C1的图像和变换矩阵H1我们可以重构出参考图像C21 ;同理由视点C3和C2可以求出变换矩阵H2和参考图像C23。接下来分别将重构的参考图像C21、C23与C2作相关性决策，选出与视点C2最相关的重建图像C以及对应的变换矩阵H。对变换矩阵H做定长编码即形成了阶段一的码流。阶段二是在阶段一的基础上，用视点C2与阶段一中选出的最优重建图像C相减得一个残差，编码残差和变换矩阵H组成阶段二码流 。
[0019]阶段一三维图像编码
[0020]在阶段一首先进行SIFT特征点的提取，本申请采用了改进的SIFT特征提取算法完成图像特征点的提取。其具体步骤如下:
[0021]首先，检测尺度空间极值点。二维图像在不同尺度下的尺度空间表示可由该图像与高斯核卷积得到:
[0022]L(x, y, σ ) =G (x, y, σ ) *1 (χ, y) (I)
[0023]式中(x，y)代表图像的像素位置，G(x，y，σ)为高斯函数，σ称为尺度空间因子，其值的大小则表征该图像相应的空间尺度的大小。公式(I)的卷积就得到了一个高斯尺度空间，进一步的，相邻的高斯尺度空间相减得到高斯差分尺度空间(DOG scale-space)。检测尺度空间极值时，目标像素需要和它同一尺度的相邻8个点以及上下相邻尺度对应的9*2个点共26个点进行比较，确定是否为极大值或极小值。从而可以确保在同一尺度空间和相邻尺度空间都检测到极值点。所得到的这些局部极值点就是SIFT的候选特征点。第二步，精确定位极值点。针对所得到的SIFT候选特征点,通过拟合三维二次函数精确定位关键点的位置和尺度。第三步，指定每个关键点的方向参数。利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数。最后，生成关键点的描述子。在以关键点为中心取其邻域的窗口，用直方图统计邻域像素的梯度方向，进行归一化后最终形成128维的SIFT特征向量。生成特征向量后，将特征向量间的欧氏距离作为判断关键点相似性的度量准则。由于SIFT算法是提取的是局部特征点，因此具有纹理和边缘信息比较丰富的图像能提取到更多的特征点。本申请实验中所用图像提取特征点数如表一所示。
[0024]表1:各图像提取特征点数
[0025]
【权利要求】
1.一种基于SIFT特征的二阶段三维图像压缩编码方法，其特征在于:所述方法包括阶段一和阶段二两个阶段，其中，输入三幅不同视点间同一时刻的图像，记为C1, C2, C3，对视点C1和C3采用国际视频编码标准H.264的帧内编码方法进行压缩，对视点C2采用所述方法；阶段一首先对视点C1和C2图像提取SIFT特征点并进行初步特征点匹配，然后用RANSAC算法对提取的特征点进行去误匹配并求出视点C1到C2的变换矩阵H1 ；由视点C1的图像和变换矩阵H1重构出参考图像C21 ;同理由视点C3和C2求出变换矩阵H2和参考图像C23 ;接下来分别将重构的参考图像C21、C23与C2作相关性决策，选出与视点C2最相关的重建图像C以及对应的变换矩阵H ;对变换矩阵H做定长编码即形成了阶段一的码流；阶段二是在阶段一的基础上，用视点C2与阶段一中选出的重建图像C相减得一个残差，编码残差和变换矩阵H组成阶段二码流。
2.根据权利要求1所述的方法，其特征在于，所述阶段一为三维图像编码阶段，具体步骤包括: 步骤一，检测尺度空间极值点，二维图像在不同尺度下的尺度空间表示由该图像与高斯核卷积得到:
L(x, y, σ ) = G(x, y, σ )*Ι (χ, y) (I) 式中(x，y)代表图像的像素位置，G(x，y，σ)为高斯函数，。称为尺度空间因子，其值的大小则表征该图像相应的空间尺度的大小；公式(I)的卷积就得到了一个高斯尺度空间，进一步的，相邻的高斯尺度空间相减得到高斯差分尺度空间，检测尺度空间极值时，目标像素需要和它同一尺度的相邻8个点以及上下相邻尺度对应的9X2个点共26个点进行比较，确定是否为极大值或极小值，从而确保在同一尺度空间和相邻尺度空间都检测到极值点；所得到的这些局部极值点就是SIFT的候选特征点； 步骤二，精确定位极值点，针对所得到的SIFT候选特征点，通过拟合三维二次函数精确定位关键点的位置和尺度； 步骤三，指定每个关键点的方向参数，利用关键点邻域像素的梯度方向分布特性为每个关键点指定方向参数； 步骤四，生成关键点的描述子，在以关键点为中心取其邻域的窗口，用直方图统计邻域像素的梯度方向，进行归一化后最终形成128维的SIFT特征向量，生成特征向量后，将特征向量间的欧氏距离作为判断关键点相似性的度量准则，由于SIFT算法提取的是局部特征点，因此具有纹理和边缘信息比较丰富的图像能提取到更多的特征点。
3.根据权利要求2所述的方法，其特征在于:对所述基于SIFT特征的阶段一进行去误匹配，同时求出不同视点间两幅图像的坐标转换关系，即两幅图像之间的变换矩阵H，图像间的坐标变换矩阵包含了两幅图像间的平移、旋转和缩放关系，见公式(2)
4.根据权利要求1所述的方法，其特征在于，所述阶段二为三维图像编辑阶段，包括以下步骤: 步骤一将视点二的原始图像与相关性决策中得到的最优的参考图像做残差，然后对残差进行编码传输； 步骤二解码，在阶段一解码的基础上加上解压后的残差，最终可以得到C2。
5.根据权利要求1所述的方法，其特征在于:在步骤一中，残差图像主要是包含有边缘信息，对残差采用的H.264帧内编码，残差编码的码流和变换矩阵H编码的码流共同组成了阶段二的码流。
【文档编号】G06T9/00GK103544717SQ201310500171
【公开日】2014年1月29日 申请日期:2013年10月22日 优先权日:2013年10月22日
【发明者】白慧慧, 陶文君, 刘美琴, 林春雨, 赵耀 申请人:北京交通大学长三角研究院