专利名称：一种立体图像的最小可察觉变化步长的客观分析方法
技术领域：
本发明涉及一种立体图像视觉感知特性的测量与分析方法，尤其是涉及一种立体图像的最小可察觉变化步长的客观分析方法。
背景技术：
与二维QD，Two Dimensional)视频显示相比，立体/三维(3D，Three Dimensional)视频显示与人的视觉更加匹配，它使人们在屏幕上观看图像时富有立体感和沉浸感。近年来，美、欧、日、韩等政府和企业纷纷投入巨资进行立体电视/三维电视(3DTV， Three Dimensional Television)的研究和开发，包括美国国家自然科学基金会、美国海军研究能源部、美国先进的可视技术中心、欧盟第六框架协议的3DTV计划、欧盟ATTEST计划、 欧洲信息技术计划、德联邦政府教育研究科学技术部以及英国工程与自然科学研究委员会等，日本和韩国各自正在发展集获取、编码、传输以及立体显示于一体的3DTV系统或具有立体视觉感的3D远程通信。国际标准组织IS0/IEC MPEG与ITU-T VCEG也开展了立体视频压缩应用标准制定的相关工作。现有的心理学研究结果表明，立体视觉中存在掩蔽效应，即构成立体图像的两个视点，质量好的视点图像的质量对立体图像的整体质量的贡献较大。因此，可以利用人类视觉系统的这一特性，通过对某一视点图像保持其高质量而适当降低另一视点图像质量的方法，在保证立体图像整体主观质量不受影响的情况下，充分去除视频信号中的冗余，提高编码效率。平面图像的感知实验结果表明，人眼对图像中变化较小的属性或噪声是不可感知的，除非该属性或噪声的变化强度超过某一阈值，该阈值就是最小可察觉变化步长 (JustNoticeable Difference, JND)，立体视觉同样存在掩蔽效应的阈值。目前主要通过主观实验测定人眼可感知立体视觉变化时的最小可察觉变化步长， 但是主观实验容易受客观条件、主观情绪和观察者自身条件等各种因素的影响，评价结果不够稳定，并且主观实验非常耗时、成本非常高。由于人眼对不同立体图像的立体视觉掩蔽效应是不同的，其相应的最小可察觉变化步长可能也有所不同，因此，如何通过客观方法来分析这个最小可察觉变化步长是十分必要的。
发明内容
本发明所要解决的技术问题是提供一种能够很好地确定非对称立体视频编码时右视点图像的质量相对左视点图像的质量可下降的最大变化范围，通过降低右视点图像的质量来达到提高编码压缩效率的目的，同时利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量的下降，能有效保证立体图像的整体质量的人眼最小可察觉变化步长的客观分析方法。本发明解决上述技术问题所采用的技术方案为一种立体图像的最小可察觉变化步长的客观分析方法，其特征在于包括以下步骤①令S g为原始的无失真的立体图像，令为待评价的失真的立体图像，将Stffg的左视点图像记为L g，将Stffg的右视点图像记为Rwg，将的左视点图像记为Ldis，将Sis 的右视点图像记为I^dis ；②对L。rg、Rorg, Ldis和Iidis4幅图像分别实施奇异值分解，分别得到L。rg、Rorg, Ldis和 Rdis4幅图像各自对应的奇异值矢量，将Ltffg的奇异值矢量记为Tt，将Rtffg的奇异值矢量记为^，将Ldis的奇异值矢量记为Il5，将Iidis的奇异值矢量记为TjL，其中，各个奇异值矢量的维数为m，m = min(M, N),min()为取最小值函数，M表示图像的水平尺寸大小，N表示图像的垂直尺寸大小；③计算Ltffg的奇异值矢量！；^与Ldis的奇异值矢量Ti的绝对差矢量，记为XS Xi = Kirg-Til，将浐作为Ldis的特征矢量，计算R g的奇异值矢量Τ:与Iidis的奇异值矢量
TjL的绝对差矢量，记为χκ，χΛ =I1^"TI|，将Xe作为的特征矢量，其中，“ 11 ”为取绝对值符号；④对Ldis的特征矢量X1和Iidis的特征矢量Xk进行线性加权，得到的特征矢量， 记为X，X = IXSwkXk，其中，ι表示Ldis的权值比重，Wk表示Kdis的权值比重，= 1 ；⑤采用η幅无失真的立体图像，建立其在H. 264编码失真类型的不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DM0S， DMOS = 100-M0S，其中，MOS 表示主观评分均值，DMOS e
，η 彡 1 ；⑥采用与计算的特征矢量X相同的方法，分别计算失真立体图像集合中每幅失真的立体图像的不同权值比重组合的特征矢量，对于失真立体图像集合中第i幅失真的立体图像的第j种权值比重组合的特征矢量，将其记为Xi,」，其中，1 < I^n', 1 ^ j ^ m' ,η'表示失真立体图像集合中包含的失真的立体图像的幅数，m'表示所有权值比重组合的种数；⑦采用支持向量回归对失真立体图像集合中所有的失真的立体图像的相同权值比重组合的特征矢量进行训练，得到不同权值比重组合的支持向量回归训练模型，对于第j 种权值比重组合的支持向量回归训练模型，将其记为A(Xinp)，其中，为第j种权值比重组合的回归函数的函数表示形式，Xinp表示支持向量回归训练模型的输入矢量；⑧从η幅无失真的立体图像中任意选取一幅立体图像，然后任取一个编码量化参数对该立体图像的左视点图像进行编码，并采用多个不同的编码量化参数对该立体图像的右视点图像进行编码，利用训练得到的支持向量回归训练模型对由编码得到的一幅左视点图像和多幅右视点图像构成的多幅测试图像进行测试，计算得到人眼可感知立体视觉变化时测试图像中的右视点图像的最小可察觉变化步长。所述的步骤②的具体过程为②-1、将尺寸大小为MXN的Ltffg表示为MXN维的二维矩阵，记为I二，通过奇异值分解将MXN维的二维矩阵I=表示为Itg =UtgStg0Cg)T，其中，U:表示MXM维的正交矩阵，Vt^表示NXN维的正交矩阵，(V:g)T表示的转置矩阵，8=表示MXN维的对角矩阵；②-2、将MXN维的对角矩阵8二的对角元素作为MXN维的二维矩阵I二的奇异值， 从MXN维的二维矩阵1=的奇异值中取出m个非零的奇异值构成L g的奇异值矢量，记为
7Torg，其中，m = min(M, N)，min()为取最小值函数；②-3、对R g、Ldis和Iidis采用与步骤②-1至②-2相同的操作，获取tog、Ldis和Iidis 的奇异值矢量，分别记为
权利要求
1.一种立体图像的最小可察觉变化步长的客观分析方法，其特征在于包括以下步骤①令S g为原始的无失真的立体图像，令为待评价的失真的立体图像，将S。rg的左视点图像记为L g，将S g的右视点图像记为R g，将的左视点图像记为Ldis，将的右视点图像记为I^dis ；②对L g、R。rg、Ldis和Rdis4幅图像分别实施奇异值分解，分别得到L g、R。rg、Ldis和Rdis4幅图像各自对应的奇异值矢量，将L。rgm奇异值矢量记，将R。rgm奇异值矢量记为！1。， 将Ldis的奇异值矢量记为Il5，将Iidis的奇异值矢量记为TjL，其中，各个奇异值矢量的维数为m，m = min(M, N)，min()为取最小值函数，M表示图像的水平尺寸大小，N表示图像的垂直尺寸大小；③计算L g的奇异值矢与Ldis的奇异值矢量Tl5的绝对差矢量，记为XS Xi = Krg-Til，将浐作为Ldis的特征矢量，计算R g的奇异值矢量Τ:与Iidis的奇异值矢量 TjL的绝对差矢量，记为xW =I1^-τΙ|，将Xe作为I^dis的特征矢量，其中，“ I I ”为取绝对值符号；④对Ldis的特征矢量X1和Iidis的特征矢量Xk进行线性加权，得到的特征矢量，记为 X，X = IXSWkXk，其中，&表示Ldis的权值比重，wK表示Iidis的权值比重，= 1 ；⑤采用η幅无失真的立体图像，建立其在H.264编码失真类型的不同失真程度下的失真立体图像集合，该失真立体图像集合包括多幅失真的立体图像，利用主观质量评价方法分别获取失真立体图像集合中每幅失真的立体图像的平均主观评分差值，记为DMOS，DMOS =100-M0S，其中，MOS表示主观评分均值，DMOS e
，η彡1 ；⑥采用与计算的特征矢量X相同的方法，分别计算失真立体图像集合中每幅失真的立体图像的不同权值比重组合的特征矢量，对于失真立体图像集合中第i幅失真的立体图像的第j种权值比重组合的特征矢量，将其记为&,」，其中，1 < i Sn' ,1 ^ j ^m'， η'表示失真立体图像集合中包含的失真的立体图像的幅数，m'表示所有权值比重组合的种数；⑦采用支持向量回归对失真立体图像集合中所有的失真的立体图像的相同权值比重组合的特征矢量进行训练，得到不同权值比重组合的支持向量回归训练模型，对于第j种权值比重组合的支持向量回归训练模型，将其记为。(Xinp)，其中，为第j种权值比重组合的回归函数的函数表示形式，Xinp表示支持向量回归训练模型的输入矢量；⑧从η幅无失真的立体图像中任意选取一幅立体图像，然后任取一个编码量化参数对该立体图像的左视点图像进行编码，并采用多个不同的编码量化参数对该立体图像的右视点图像进行编码，利用训练得到的支持向量回归训练模型对由编码得到的一幅左视点图像和多幅右视点图像构成的多幅测试图像进行测试，计算得到人眼可感知立体视觉变化时测试图像中的右视点图像的最小可察觉变化步长。
2.根据权利要求1所述的一种立体图像的最小可察觉变化步长的客观分析方法，其特征在于所述的步骤②的具体过程为②-1、将尺寸大小为MXN的L g表示为MXN维的二维矩阵，记为I二，通过奇异值分解将MXN维的二维矩阵表示为Itg =U二Stg(V^)T，其中，U二表示MXM维的正交矩阵，V:表示NXN维的正交矩阵，OCg)T表示的转置矩阵，8=表示MXN维的对角矩阵；②-2、将MXN维的对角矩阵8二的对角元素作为MXN维的二维矩阵I二的奇异值，从 MXN维的二维矩阵1=的奇异值中取出m个非零的奇异值构成L g的奇异值矢量，记为， 其中，111 = 1^11饥沁，1^11()为取最小值函数；②-3、对R g、Ldis和Iidis采用与步骤②-1至②-2相同的操作，获取R g、Ldis和Iidis的奇异值矢量，分别记为
3.根据权利要求1或2所述的一种立体图像的最小可察觉变化步长的客观分析方法， 其特征在于所述的步骤⑦的具体过程为⑦-1、将失真立体图像集合中所有的失真的立体图像的相同权值比重组合的特征矢量和平均主观评分差值作为训练样本数据集合，将第j种权值比重组合的训练样本数据集合记为Ω。，{xkj J, DMOSJ e Ω。，其中，1彡j彡m' , m'表示所有权值比重组合的种数，q 表示第j种权值比重组合的训练样本数据集合Ω +」中包含的失真的立体图像的幅数，Xk, j 表示第j种权值比重组合的训练样本数据集合Ω q,j中第k幅失真的立体图像的特征矢量， DMOSk表示第j种权值比重组合的训练样本数据集合Ω q,j中第k幅失真的立体图像的平均主观评分差值，l^k^q；⑦-2、构造)(k,」的回归函数fj (Xk, j)，f, (Xij ) = WXXij ) + 6，其中，fj ()为第j种权值比重组合的回归函数的函数表示形式，w为权重矢量，Wt为w的转置矩阵，b为偏置项， 树Xu)表示第j种权值比重组合的训练样本数据集合Ω。中第k幅失真的立体图像的特征矢量)^.的线性函数
4.根据权利要求3所述的一种立体图像的最小可察觉变化步长的客观分析方法，其特征在于所述的步骤⑧的具体过程为⑧-1、从η幅无失真的立体图像中任意选取一幅立体图像，任取一个编码量化参数作为该立体图像的左视点图像的基本编码量化参数，记为QPl，将采用QPL对该立体图像的左视点图像进行编码得到的左视点图像定义为A质量点的左视点图像，记为La ；⑧_2、获取五个值大于等于Qh且值各不相同的编码量化参数作为该立体图像的右视点图像的基本编码量化参数，采用这五个基本编码量化参数分别对该立体图像的右视点图像进行编码，获得五幅质量各不相同的右视点图像，分别定义为A质量点的右视点图像、B 质量点的右视点图像、C质量点的右视点图像、D质量点的右视点图像、E质量点的右视点图像，分别记为Ra、Rb、Rc> Rd、Re，其中，将A质量点的右视点图像&编码时采用的基本编码量化参数记为QPea,将B质量点的右视点图像&编码时采用的基本编码量化参数记为QPkb,将 C质量点的右视点图像&编码时采用的基本编码量化参数记为QPK，将D质量点的右视点图像Rd编码时采用的基本编码量化参数记为QPkd,将E质量点的右视点图像&编码时采用的基本编码量化参数记为QPke ；⑧-3、将A质量点的左视点图像La和A质量点的右视点图像&构成的立体图像作为第1幅测试图像，并记为Saa ；将A质量点的左视点图像La* B质量点的右视点图像&构成的立体图像作为第2幅测试图像，并记为；将A质量点的左视点图像La和C质量点的右视点图像&构成的立体图像作为第3幅测试图像，并记为^ ；将A质量点的左视点图像La 和D质量点的右视点图像Rd构成的立体图像作为第4幅测试图像，并记为Sjw ；将A质量点的左视点图像La和E质量点的右视点图像&构成的立体图像作为第5幅测试图像，并记为 Sae ；⑧-4、采用与计算的特征矢量X相同的方法，计算Saa采用不同权值比重组合的特征矢量，将Saa采用第j种权值比重组合的特征矢量记为XA,j，其中，1彡j彡m' , m'表示所有权值比重组合的种数；⑧-5、根据支持向量回归训练模型，预测Saa采用所有不同权值比重组合的特征矢量的客观质量评价预测值，对于Saa采用第j种权值比重组合的特征矢量)(&.，将Xiu作为第j种权值比重组合的支持向量回归训练模型的输入矢量，预测得到的客观质量评价预测值， 记为Q」，07 =//Χ々)，/(X々)= (w_)>(X々)+ F'，其中，w。pt为最优的权重矢量，(wopt)t^ Wopt的转置矩阵，bopt为最优的偏置项，树表示的线性函数；⑧-6、将Saa采用所有不同权值比重组合的特征矢量的客观质量评价预测值的平均值m'作为Saa的客观评价值，记为korq，ScoreA =Y4QjIm'-,；=1⑧-7、采用与步骤⑧-4至⑧-6相同的操作，获得^、Sac, ^和^的客观评价值，分另1Ji己为 ScoreB、Score。、Scorec 禾口 ScoreE ；⑧_8、计算SAA、SAB、SAC. Sad和^的客观分值，分别记为
5.根据权利要求4所述的一种立体图像的最小可察觉变化步长的客观分析方法，其特征在于所述的步骤⑥中在计算失真的立体图像的不同权值比重组合的特征矢量的过程中， 将第 j 种权值比重组合记为(Wl' ,We' ),we' =w0+(j-l)XAw,wL' = I-We'，其中，ι' 表示失真的立体图像的左视点图像的权值比重，We'表示失真的立体图像的右视点图像的权值比重，W0 = 0. 55，Aw = 0. 05，1 ^ j ^ m' , m'表示所有权值比重组合的种数。
全文摘要
本发明公开了一种立体图像的最小可察觉变化步长的客观分析方法，通过对失真立体图像集合中的每幅失真的立体图像采用不同的权值比重组合进行训练，得到不同权值比重组合的支持向量回归训练模型，利用训练得到的支持向量回归模型对任意测试图像进行测试，在左视点图像质量固定不变的情况下，测定人眼可感知立体图像质量变化时右视点图像质量的临界质量点，从而确定对立体图像进行编码时右视点图像质量相对左视点图像质量可下降的最大变化范围，既能通过降低右视点图像质量来达到提高编码效率的目的，又能利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量下降的事实，从而保证了立体图像的整体质量。
文档编号H04N17/00GK102271279SQ20111020650
公开日2011年12月7日 申请日期2011年7月22日 优先权日2011年7月22日
发明者蒋刚毅, 邵枫, 郁梅 申请人:宁波大学