专利名称：：一种立体图像的人眼最小可辨变化分析方法
技术领域：
：本发明涉及一种立体图像视觉感知特性的测量与分析方法，尤其是涉及一种用于非对称立体视频编码的立体图像的人眼最小可辨变化分析方法。
背景技术：
：早期的心理学研究结果表明，立体视觉中存在掩蔽效应，即构成立体图像的两个视点，质量好的视点图像质量对立体图像的整体质量贡献较大。有研究表明，模糊失真的立体图像，其主观质量由质量较好的视点图像决定，甚至在另一视点图像极端模糊的情况下，立体图像的整体质量不会受到影响。因此，可以利用人类立体视觉系统的这一特性，通过对某一视点图像保持其高质量而适当降低另一视点图像质量的方法，在保证立体图像整体主观质量不受影响的情况下，充分去除视频信号中的冗余，提高编码效率。移动3DTV手机的立体视频编码方法，也考虑用混合分辨率的方法来提高编码性能，保证立体图像的整体质量。平面图像的感知实验结果表明，人眼对图像中变化较小的属性或噪声是不可感知的，除非该属性或者噪声的变化强度超过某一阈值，该阈值就是最小可辨变化(JustNoticeableDifference,JND)，立体视觉同样存在掩蔽效应的阈值。但现有技术主要建立在对立体视觉掩蔽效应的定性分析和应用上，然而实际情况是，掩蔽效应的应用是有范围的，如何定量地确定该效应存在的临界值(即阈值)，尚未见报道。由于对于人眼立体视觉掩蔽效应，不同的失真类型其相应的临界值可能也有所不同，因此，如何设计一个分析方法，以定量分析这个临界值是十分必要的。
发明内容本发明所要解决的技术问题是提供一种能够很好地确定非对称立体视频编码时右视点图像的质量相对左视点图像的质量可下降的最大变化范围，通过降低右视点图像的质量来达到提高编码效率的目的，同时利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量的下降，有效保证了立体图像的整体质量的人眼最小可辨变化分析方法。本发明解决上述技术问题所采用的技术方案为一种立体图像的人眼最小可辨变化分析方法，其特征在于包括以下步骤①首先取一幅立体图像作为测试图像，然后利用H.264视频编码标准，采用一个预设的编码量化参数对测试图像的左视点图像以帧内编码方式进行编码，记对测试图像的左视点图像进行编码所采用的预设的编码量化参数为QP^将编码得到的左视点图像定义为A质量点的左视点图像，记为U，再采用N个不同的编码量化参数分别对测试图像的右视点图像以帧内编码方式进行编码，获得所需的N幅质量各不相同的右视点图像，其中，对测试图像的右视点图像进行编码所采用的N个不同的编码量化参数分别为QPf1、QP。QPJ1、QPL+2、......，如果(51-(QPL-1)+1)>15，则N二15，否则，N二51-(QPL_1)+1;②从采用编码量化参数QPf1、QP。QPJ1进行编码得到的3幅质量各不相同的右视点图像中选取一幅采用客观质量评价标准评价时质量与A质量点的左视点图像LA的质量最为接近的右视点图像，并将该选定的右视点图像定义为A质量点的右视点图像，记为RA，将A质量点的右视点图像RA编码采用的编码量化参数记为QPKA，将A质量点的左视点图像LA和A质量点的右视点图像RA所构成的最优立体图像记为SM;记N幅质量各不相同的右视点图像中编码量化参数大于QPra的右视点图像的数量为M幅，将A质量点的左视点图像LA与M幅采用大于QPM的编码量化参数编码得到的右视点图像一一构成M幅立体图像，记为Sm，1《m《M，Sm为由A质量点的左视点图像LA和采用编码量化参数QPKA+m编码得到的右视点图像所构成的立体图像；③组织参与进行图像主观质量评价的观察者若干名，先将m=1时的立体图像Sm作为当前待评价立体图像，然后将内容相同但质量不同的最优立体图像SM和当前待评价立体图像Sm同时播放在屏幕上，要求每位观察者对这2幅立体图像的质量进行独立评价，看观察者是否能辨别出这2幅立体图像的质量差异，并记录下每位观察者对这2幅立体图像的质量的评价结果，再将m加l后的立体图像Sm作为当前待评价立体图像，重复上述评价过程，直至m>M时结束评价过程；根据所有观察者的评价结果选择B、C、D、E另外4个质量点的右视点图像，选择方法如下如果立体图像Sm与最优立体图像SM对比后大多数观察者都不能分辨出该Sm与SAA的质量差异，则将该Sm对应的右视点图像定义为B质量点的右视点图像，记为RB，并将该立体图像Sm记为SAB，将B质量点的右视点图像RB编码采用的编码量化参数记为QPKB;如果立体图像Sm与立体图像SM对比后大多数观察者都可以分辨出该Sm与SM的质量差异，则将该Sm对应的右视点图像定义为E质量点的右视点图像，记为RE，并将该立体图像Sm记为SAEdfE质量点的右视点图像RE编码采用的编码量化参数记为QPKE;再在B质量点的右视点图像RB与E质量点的右视点图像RE之间等量化步长选取C质量点的右视点图像和D质量点的右视点图像，将C质量点的右视点图像记为Rc，将C质量点的右视点图像Rc编码采用的编码量化参数记为QP，将D质量点的右视点图像记为RD，将D质量点的右视点图像R。编码采用的编码量化参数记为QPKD，(QPKB_QPKC)"(QPKC_QPKD)"(QPkztQPJ，将A质量点的左视点图像LA和C质量点的右视点图像Rc所构成的立体图像记为Sm，将A质量点的左视点图像LA和D质量点的右视点图像RD所构成的立体图像记为SAD;④将经上述步骤获得的5幅质量逐次递减的立体图像SAA、SAC、SAD和SAE两两组合，共组成十组不同的立体图像对比组合，分别为SmSSmSac、SaaSad、SaaSae、S^Sac、SabSad、SabSae、SACSffl、SACSAE和SADSAE;随机播放这十组立体图像对比组合，要求每位观察者分别对所有立体图像对比组合中的2幅立体图像两两对比进行独立的主观质量评价，指出其认为立体图像对比组合中的2幅立体图像质量相对较好的立体图像，并记录评价数据；⑤对于十组立体图像对比组合中的其中一组立体图像对比组合，令Qi和Qj分别表示该立体图像对比组合中的2幅立体图像分别对应的2幅不同的右视点图像的质量点，QiG{A，B，C，D，E}，QjG{A，B，C，D，E}，且Qi#Q」；然后根据记录的评价数据统计出参与图像主观质量评价的观察者认为Qi质量点的右视点图像对应的立体图像的质量高于Qj质量点的右视点图像对应的立体图像的质量的概率，记为Pij，表示比例为Pij的观察者认为Qi质量点的右视点图像对应的立体图像的质量高于Qj质量点的右视点图像对应的立体图像的质量；再根据十组立体图像对比组合各自的概率Pij，构造十组立体图像对比组合的偏好概率矩阵；⑥根据偏好概率矩阵构造适用于建立广义线性模型框架下的Thurstone模型所需的回归矩阵，其中，回归矩阵的总行数为io行，每一行对应一组立体图像对比组合，每行包括7项数据，分别记为N、As、Bs、Cs、Ds、Es、p，其中，N为参与对该组立体图像对比组合进行主观质量评价的观察者人数，As、Bs、Cs、Ds、Es分别对应于由A质量点的左视点图像LA和A、B、C、D、E5个质量点的右视点图像分别构成的立体图像SM、S妒SAC、Sffl和SAE，对于回归矩阵中的其中一行，如果4、Bs、(；、Ds、Es5项中的3项值为O，l项值为l，另1项值为-l，则表示该行数据反映的是非零的2项所对应的2幅立体图像的主观评价结果，p为偏好概率，表示参与评价的N名观察者中有比例为p的观察者认为As、Bs、Cs、Ds、Es5项中值为1的项所对应的立体图像的质量要优于值为-1的项所对应的立体图像；⑦根据回归矩阵建立广义线性模型框架下的Thurstone模型，Thurstone模型的形式为:①—乂p)=aXAs+bXBs+cX(;+dXDs+eXEs，其中，a、b、c、d和e分别为对应于立体图像SAA、S妒SAC、SAD和SAE的Z分数，且e=0，1(p)为二项分布的概率函数的反函数；然后将回归矩阵数据代入Thurstone模型进行回归分析得到a、b、c、d的估计值，分别记为aeSt、b"t、ceSt和^st，并令e的估计值eest=e=0;⑧逐一计算Z分数对a和b、a和c、a和d及a和e的置信区间，Z分数对a和b的置信区间为aest-best-B0UND<a_b<aest_best+B0UND，Z分数对a和c的置信区间为aest-cest-B0UND<a_c<aest_cest+B0UND，Z分数对a和d的置信区间为aest-dest-B0UND<a_d<aest-dest+B0UND，Z分数对a和e的置信区间为aest-eest_B0UND<a_e<aest_eest+B0UND，B0UND=ad2im(l-")尸(ZCOVx)"2，XdJ为卡方分布，其自由度dim二4，a表示分位数，x表示相应的检验向量，xT为x的转置矩阵，COV为随机向量(a，b，c，d)的协方差矩阵；⑨按英文字母顺序排列b、c、d和e，依次判断Z分数对a和b、a和c、a和d及a和e的每一对中所对应的2幅立体图像的质量是否是可分辨的，具体过程如下定义当前正在处理的Z分数对为a和q，qG{b，c，d，e}，判断数值0是否在区间(aest-qest-B0UND，aest-qest+B0UND)内，如果是，则认为a和q是不具有显著性差异的，表示a对应的最优立体图像SM与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ之间的图像质量差异是不可分辨的，否则，认为a和q是具有显著性差异的，表示a对应的最优立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SA。之间的图像质量差异是可分辨的，其中，QG{B，C，D，E};如果a对应的最优立体图像SM与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SM之间的图像质量差异是可分辨的，而a对应的最优立体图像SAA与由A质量点的左视点图像和以英文字母顺序排在q对应的质量点之前的各个质量点所对应的右视点图像构成的立体图像之间的图像质量差异均是不可分辨的，则定义a对应的最优立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SM的信噪比差值为测试图像的左视点图像采用预设的编码量化参数(》\编码时的最小可辨变化值，其中，qe{b，c，d，e}。与现有技术相比，本发明的优点在于通过广义线性模型框架下的Thurstone模型对观察者主观评价数据进行回归分析，以在左视点图像质量固定不变的情况下，测定人眼可感知立体图像质量变化时右视点图像质量的临界值，从而确定非对称立体视频编码时右视点图像质量相对左视点图像质量可下降的最大变化范围，使得既能通过降低右视点图像质量来达到提高编码效率的目的，又能利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量下降的事实，从而保证了立体图像的整体质量。现有技术主要建立在对立体视觉掩蔽效应的定性分析和应用上，而本发明方法则可以定量地确定该效应存在的临界值，从而可以更好地满足非对称立体视频编码的需要。图1为"AltMoabit"测试图像;图2a为"AltMoabit"测试图像在左视点图像采用的编码量化参数QP^=24时，根据表2的偏好概率矩阵对应的回归矩阵构建的Thurstone模型回归分析后得到的立体图像SAA、S旭、SAC、S仙和SAE的Z分数的估计值;图2b为根据图2a所示的立体图像SM、SAB、SAC、Sffl和SAE的Z分数的估计值判断得到的观察者对于"AltMoabit"测试图像在左视点图像采用的编码量化参数QP^=24时不同质量点的右视点图像对应的立体图像的主观质量评判结果；图3a为"AltMoabit"测试图像在左视点图像采用的编码量化参数QP^=31时，根据表3的偏好概率矩阵对应的回归矩阵构建的Thurstone模型回归分析后得到的立体图像SAA、S旭、SAC、S仙和SAE的Z分数的估计值;图3b为根据图3a所示的立体图像SM、SAB、SAC、Sffl和SAE的Z分数的估计值判断得到的观察者对于"AltMoabit"测试图像在左视点图像采用的编码量化参数QP^=31时不同质量点的右视点图像对应的立体图像的主观质量评判结果；图4a为"AltMoabit"测试图像在左视点图像采用的编码量化参数QP^=37时，根据表4的偏好概率矩阵对应的回归矩阵构建的Thurstone模型回归分析后得到的立体图像SAA、S旭、SAC、S仙和SAE的Z分数的估计值;图4b为根据图4a所示的立体图像SM、SAB、SAC、Sffl和SAE的Z分数的估计值判断得到的观察者对于"AltMoabit"测试图像在左视点图像采用的编码量化参数QP^=37时不同质量点的右视点图像对应的立体图像的主观质量评判结果；图5a为"AltMoabit"测试图像在左视点图像采用的编码量化参数QP^=41时，根据表5的偏好概率矩阵对应的回归矩阵构建的Thurstone模型回归分析后得到的立体图像SAA、S旭、SAC、S仙和SAE的Z分数的估计值;图5b为根据图5a所示的立体图像SM、SAB、SAC、Sffl和SAE的Z分数的估计值判断得到的观察者对于"AltMoabit"测试图像在左视点图像采用的编码量化参数QP^=41时不同质量点的右视点图像对应的立体图像的主观质量评判结果。具体实施例方式以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种立体图像的人眼最小可辨变化分析方法，具体包括以下步骤①首先任意取一幅立体图像作为测试图像，在本实施例中采用图1所示的"AltMoabit"立体图像作为测试图像，它是通过截取德国HHI机构提供的标准立体视频序列获得的，其分辨率为1024X768，相机间距为65mm。在本实施例中以图1所示的测试图像为对象进行处理，利用H.264视频编码标准，采用了4个预设的不同的编码量化参数分别对图1所示的测试图像的左视点图像以帧内编码方式进行编码，将对测试图像的左视点图像进行编码所采用的预设的编码量化参数记为QP^4个预设的编码量化参数QP^分别为24、31、37和41，编码后得到4幅质量各异的左视点图像，将得到的左视点图像定义为A质量点的左视点图像；其后针对于每幅A质量点的左视点图像各采用N个不同的编码量化参数分别对图1所示的测试图像的右视点图像以帧内编码方式分别进行编码，获得所需的N幅质量各不相同的右视点图像，其中，对测试图像的右视点图像进行编码所采用的N个不同的编码量化参数分别为QPfl、QP。QPjl、QPj2、……，若(51-(QPf1)+1)>15，则N二15，否则，N二51-(QPf1)+1。在本实施例中，对于4幅QP^分别为24、31、37和41的A质量点的左视点图像，其对应的采用N个不同的编码量化参数进行编码的右视点图像的编码量化参数互有重叠，因此，对于重复的右视点图像编码量化参数，编码只需进行一次即可。②从采用编码量化参数QPf1、QP。QPJ1进行编码得到的三幅质量各不相同的右视点图像中选取一幅采用客观质量评价标准评价时质量与A质量点的左视点图像LA的质量最为接近的右视点图像，并将该选定的右视点图像定义为A质量点的右视点图像，记为RA，将A质量点的右视点图像RA编码采用的编码量化参数记为QPKA，将A质量点的左视点图像LA和A质量点的右视点图像RA所构成的最优立体图像记为SM;记N幅质量各不相同的右视点图像中编码量化参数大于QPra的右视点图像的数量为M幅，将A质量点的左视点图像LA与M幅采用大于QPM的编码量化参数编码得到的右视点图像一一构成M幅立体图像，记为立体图像Sm，1《m《M，Sm为由A质量点的左视点图像LA和采用编码量化参数QPKA+m编码得到的右视点图像所构成的立体图像。在本实施例中，对于图l所示的测试图像，当其左视点图像的QP^分别为24、31、37和41时，按本步骤实施，得到相应的QPKA也分别为24、31、37、41，即本实施例中左右视点图像采用相同的编码量化参数时左右视点图像的质量最为接近。这里选取一幅采用客观质量评价标准评价时质量与A质量点的左视点图像LA的质量最为接近的右视点图像的选择准则为A质量点的左视点图像LA的峰值信噪比与采用不同的编码量化参数进行编码所获得的质量各不相同的右视点图像的峰值信噪比(PSNR)数值最为接近的右视点图像。③组织参与进行图像主观质量评价的观察者若干名，先将m=1时的立体图像Sm作为当前待评价立体图像，然后将内容相同但质量不同的最优立体图像SM和当前待评价立体图像Sm同时播放在屏幕上，要求每位观察者对这2幅立体图像的质量进行独立评价，看观察者是否能辨别出这2幅立体图像的质量差异，并记录下每位观察者对这2幅立体图像的质量的评价结果，再将m加1后的立体图像Sm作为当前待评价立体图像，重复上述评价过程，直至m>M时结束评价过程；然后根据所有观察者的评价结果选择B、C、D、E另外4个质量点的右视点图像，选择方法如下若在某立体图像Sm与最优立体图像SM对比显示时大多数观察者都不能分辨出该Sm与SM的质量差异，则将该Sm对应的右视点图像定义为B质量点的右视点图像，记为RB，并将该立体图像Sm记为SAB，将B质量点的右视点图像编码采用的编码量化参数记为QPKB;而若在某立体图像Sm与最优立体图像SAA对比显示时大多数观察者都可以分辨出该Sm与SAA的质量差异，则将该Sm对应的右视点图像定义为E质量点的右视点图像，记为RE，并将该立体图像Sm记为SAE，将E质量点的右视点图像编码采用的编码量化参数记为QPKE;再在B与E质量点的2幅右视点图像之间等量化步长选取C质量点和D质量点的右视点图像Rc和RD，即若记C质量点和D质量点的右视点图像编码采用的编码量化参数为QP和QP,则有(QPkb-QP)"(QPK-QPKD)"(QPMrQPj，将A质量点的左视点图像LA和C质量点的右视点图像Rc所构成的立体图像记为SAC，将A质量点的左视点图像LA和D质量点的右视点图像RD所构成的立体图像记为Sffl。表l"AltMoabit"测试图像的A质量点的左视点图像和五个不同质量的右视点图像所对应的峰值信噪比和编码量化参数<table>tableseeoriginaldocumentpage10</column></row><table>表l给出了图l所示的测试图像的四个不同质量的左视点图像(即四幅不同质量的A质量点的左视点图像LA)以及它们各自所对应的A、B、C、D、E五个质量点的右视点图像的峰值信噪比(PSNR)和对应的编码量化参数QP。QPKA、QP^QP、QPKD、QP^。在本实施例中，所述的在某立体图像Sm与最优立体图像SM对比显示时大多数观察者都不能分辨出该Sm与SM的质量差异是指75%以上的观察者都不能分辨其质量差异，所谓大多数观察者都可以分辨出该Sm与SAA的质量差异是指75%以上的观察者都能够分辨其质量差异。④主观感知实验是研究立体视觉质量变化掩蔽效应阈值的最有效的途径。研究主观感知阈值需要使用恰当的心理学实验方法，常用的心理学实验方法有两两对比法和阶梯法。本发明分析方法主要采用两两对比法进行心理学测试，即同时显示两幅内容完全相同的立体图像，它们的左视点图像质量相同，但它们的右视点图像质量有好有坏，心理学实验中要求观察者进行观测比较，指出哪幅立体图像的立体主观感知质量较高。在本实施例中，立体显示设备为双目立体投影显示系统，需要观察者佩戴偏振光眼镜，实验采用两两对比法，将步骤③中获得的五幅质量逐次递减的立体图像SM、SAB、SAC、Sffl和S^两两组合，共可组成十组不同的立体图像对比组合，即分别为SmSSmSac、SmS皿、SmSae、S^Sac、S^Sad、SabSae、SACSffl、SACSAE和S仙SAE，在立体图像对比组合中的两幅立体图像的左视点图像质量相同，但右视点图像的质量不相同；随机播放这十组立体图像对比组合，播放时，同一立体图像对比组合中的两幅立体图像同时播放在屏幕上供观察者进行对比，以确认两幅立体图像的质量孰优孰劣亦或是质量相同，每一名观察者分别对所有立体图像对比组合中的两幅立体图像两两对比进行独立的主观质量评价，被告知从立体图像对比组合中的2幅立体图像中选出质量相对较好的那一幅立体图像，即从2幅立体图像中直接确定一幅质量好的立体图像，并记录下评价数据。本实施例中，观察者每次比较时，立体图像播放40秒，评价打分时间10秒。对图1所示的测试图像所对应的4幅不同质量的A质量点的左视点图像，观察者需共对比4X10=40组立体图像对比组合中各对立体图像的质量。⑤对于十组立体图像对比组合中的某个立体图像对比组合，令Qi和Qj分别表示该立体图像对比组合中的2幅立体图像分别对应的2幅不同的右视点图像的质量点，QiG{A，B，C，D，E}，QjG{A，B，C，D，E}，且Qi#Q」；然后根据记录的评价数据统计出参与图像主观质量评价的观察者认为Qi质量点的右视点图像对应的立体图像的质量高于Qj质量点的右视点图像对应的立体图像的质量的概率，记为Pij，表示比例为Pij的观察者认为Qi质量点的右视点图像对应的立体图像的质量高于Qj质量点的右视点图像对应的立体图像的质量；再根据十组立体图像对比组合各自的概率Pij，构造十组立体图像对比组合的偏好概率矩阵。表2给出了"AltMoabit"测试图像在QP^=24时的由SAA、SAB、SAC、SAD和SAE所构成的十组立体图像对比组合的偏好概率矩阵；表3给出了"AltMoabit"测试图像在QP^=31时的由S『S^Sac、S皿和S^所构成的十组立体图像对比组合的偏好概率矩阵；表4给出了"AltMoabit"测试图像在QP^=37时的由SM、SAB、SAC、SAD和SAE所构成的十组立体图像对比组合的偏好概率矩阵；表5给出了"AltMoabit"测试图像在QP^=41时的由SAA、SAB、SAC、SAD和SAE所构成的十组立体图像对比组合的偏好概率矩阵。表2"AltMoabit"测试图像所对应的不同质量的立体图像的偏好概率矩阵(QP^=24)<table>tableseeoriginaldocumentpage11</column></row><table>表3"AltMoabit"测试图像所对应的不同质量的立体图像的偏好概率矩阵(QP:=31)<table>tableseeoriginaldocumentpage11</column></row><table>表4"AltMoabit"测试图像所对应的不同质量的立体图像的偏好概率矩阵(QP:=37)<table>tableseeoriginaldocumentpage12</column></row><table>⑥为在广义线性模型框架下建立Thurstone模型，衡量编码量化参数对立体图像的人眼最小可辨变化的影响，首先需要确定合适的回归矩阵，回归矩阵可由偏好概率矩阵来构造。构造得到的回归矩阵的总行数为十行，每一行对应一组立体图像对比组合，回归矩阵的每一行包括7项数据，分别记为N、As、Bs、Cs、Ds、Es、p，其中，N为参与对该组立体图像对比组合进行主观质量评价的观察者人数；AS、Bs、Cs、Ds、Es分别对应于由A质量点的左视点图像LA和A、B、C、D、E5个质量点的右视点图像分别构成的立体图像SAA、SAB、SAC、S仙和S对于回归矩阵中的某一行，如果AS、BS、CS、DS、ES5项中的3项值为0，1项值为l，另1项值为-1，则表示该行数据反映的是非零的2项所对应的2幅立体图像的主观评价结果；p为偏好概率，表示参与评价的N名观察者中有比例为p的观察者认为AS、BS、CS、DS、ES5项中值为1的项所对应的立体图像的质量要优于值为-1的项所对应的立体图像；回归矩阵的十行，对应于立体图像Saa、S旭、Sac、Sa。和SAE十种不同的两两组合，即ASBS、ASCS、ASDS、ASES、BSCS、BSDS、BSES、CSDS、CSES、DSES十种组合方式。表6"AltMoabit"的5幅不同质量的右视点图像对应的立体图像的回归矩阵(QP^=24)<table>tableseeoriginaldocumentpage13</column></row><table>例如，由表2所示的偏好概率矩阵构造的回归矩阵如表6所示。表6中第一行数据反映了某次实验比较"AltMoabit"测试图像在左视点编码量化参数QP^=24时A质量点和B质量点的右视点图像分别对应的立体图像的质量对比结果，其中N=20，As=1，Bs=-1，CS=Ds=Es=O，p=0.75，表示参与评价的20名观察者中有75%的人认为A质量点的右视点图像对应的立体图像SAA的质量要优于B质量点的右视点图像对应的立体图像Sffl。由表3表5所示的偏好概率矩阵也可以构造其相应的回归矩阵。⑦在确定了合适的回归矩阵后，可根据回归矩阵建立广义线性模型框架下的Thurstone模型，Thurstone模型的形式为①—、p)=aXAs+bXBs+cXCs+dXDs+eXEs，其中，a、b、c、d和e分别为对应于立体图像SAA、S妒SAC、SAD和SAE的Z分数，需要注意的是，为了衡量采用不同编码量化参数得到的质量不同的立体图像Sm、S^S^、S皿和SAE之间的Z分数的差异，SAE的Z分数在此处设为0，即e=0，1(p)为二项分布的概率函数的反函数；然后将回归矩阵的数据代入Thurstone模型进行回归分析得到a、b、c、d的估计值，分别记为aest、best、cest和cfst，并令e的估计值eest=e=0。例如，对于"AltMoabit"测试图像，在其左视点图像采用编码量化参数QP^=24时，由表6所示的回归矩阵分别可得到10个方程，从而可得出对应的a、b、c、d的估计值，由于e=0，因此其估计值也为0。图2a给出了根据表2的偏好概率矩阵所对应的如表6所示的回归矩阵构建的Thurstone模型回归分析后得到的立体图像S^S^S^S^和SAE对应的Z分数的估计值，图3a给出了根据表3的偏好概率矩阵对应的回归矩阵构建的Thurstone模型回归分析后得到的立体图像SM、SAB、SAC、Sffl和SAE对应的Z分数的估计值，图4a给出了根据表4的偏好概率矩阵对应的回归矩阵构建的Thurstone模型回归分析后得到的立体图像Sm、SSac、S皿和SAE对应的Z分数的估计值，图5a给出了根据表5的偏好概率矩阵对应的回归矩阵构建的Thurstone模型回归分析后得到的立体图像SAA、SAB、SAC、SAD和SAE对应的Z分数的估计值，在图2a、图3a、图4a、图5a中立体图像SAA、S妒SAC、SAD和SAE的Z分数的估计值标在水平轴的对应坐标上，图中SAE对应的Z分数为0，即e=0。⑧为了比较采用不同的编码量化参数编码得到的立体图像之间的质量差异是否为概率事件，需计算a、b、c、d和e各个Z分数之间的置信区间。在此，采用改进的Scheffe模型，做Z分数对差值的零假设(nullhypothesis)检验，以对比和检验所获得的Z分数是否有显著性的差异。具体方法如下逐一计算Z分数对a和b、a和c、a和d及a和e的置信区间，Z分数对a和b的置信区间为aest-best-B0UND<a_b<aest_best+B0UND，Z分数对a和c的置信区间为aest-cest-B0UND<a_c<aest-Cest+B0UND，Z分数对a和d的置信区间为aest-dest-B0UND<a-d<aest-dest+B0UND，Z分数对a和e的置信区间为aest-eest_B0UND<a_e<aest-eest+B0UND，BOUND=(7d2im(l—cr))"2(xrCOVjc)1/2，xdim2为卡方分布，其自由度dim=4，a表示分位数，x表示相应的检验向量，xT为x的转置矩阵，COV为随机向量(a，b，c，d)的协方差矩阵。在本实施例中，计算了5幅立体图像SM、SAB、SAC、SAD和SAE的所有十种不同的立体图像对比组合的置信区间以判断所有立体图像对比组合中的两个不同质量点的右视点图像对应的立体图像质量差异是否可分辨。事实上对于非对称立体视频编码来说，希望测定的是当左视点图像质量固定不变时，人眼可感知立体图像质量变化时右视点图像质量的临界值，以确定非对称立体视频编码时右视点图像质量相对于左视点图像质量可下降的最大变化范围，因此，具体实施人眼最小可辨变化测定时，可只简单地如本步骤所述逐一计算a和b、a和c、a和d及a和e分数对的置信区间，以判断立体图像SAA分别与立体图像SAB、SAC、SAD和S^之间的图像质量差异是否可分辨即可。这里，分位数a为0.05。对于a和b分数对，为比较它们的差异，相应的检验向量为x=(1，-l，0，0)t，a和b分数对的置信区间给出了a-b的差值的上下界。对于a和c分数对，相应的检验向量为x二(1，0，-1，0)T;对于a和d分数对，相应的检验向量为x=(l，O，O，-l)t;对于a和e分数对，相应的检验向量为x=(I，O，O，O)t。⑨对于某一Z分数对，如果数值0不在其置信区间内，则认为该Z分数对是具有显著性差异的，也即该Z分数对所对应的2幅立体图像的质量差异是可分辨的；反之则表明该Z分数对所对应的2幅立体图像的质量差异是不可分辨的，也就是说观察者认为这2幅立体图像的图像质量是相同的。因此，可以按英文字母顺序排列b、c、d和e，依次判断Z分数对a和b、a和c、a和d及a和e的每一对中所对应的2幅立体图像的质量是否是可分辨的，方法如下定义当前正在处理的Z分数对为a和q，qG{b，c，d，e}，判断数值0是否在区间(aest-qest-B0UND，aest-qest+B0UND)内，如果是，则认为a和q是不具有显著性差异的，表示a所对应的最优立体图像SM与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ(QG{B，C，D，E})之间的图像质量差异是不可分辨的，否则，则认为a和q是具有显著性差异的，表示a所对应的最优立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ之间的图像质量差异是可分辨的。若a所对应的最优立体图像SAA与由A质量点的左视点图像和q(q为b、c、d、e中的某一个)对应的质量点的右视点图像构成的立体图像SAQ之间的图像质量差异是可分辨的，而a所对应的最优立体图像SM与由A质量点的左视点图像和以英文字母顺序排在q对应的质量点之前的各个质量点所对应的右视点图像构成的立体图像之间的图像质量差异均是不可分辨的，则定义a所对应的立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ的信噪比差值为测试图像的左视点图像采用预设的编码量化参数(M\编码时的最小可辨变化值。图2b为根据图2a所示的立体图像S^S^S^S^和SAE的Z分数的估计值判断得到的观察者对于不同质量的立体图像S『S^Sac、S皿和SAE的主观质量评判结果，图3b为根据图3a所示的立体图像SAA、SAB、SAC、SAD和SAE的Z分数的估计值判断得到的观察者对于不同质量的立体图像SAA、SAB、SAC、SAD和SAE的主观质量评判结果，图4b为根据图4a所示的立体图像SM、SAB、SAC、SAD和SAE的Z分数的估计值判断得到的观察者对于不同质量的立体图像SM、S旭、SAC、Sffl和SAE的主观质量评判结果，图5b为根据图5a所示的立体图像SAA、SAB、SAC、Sffl和SAE的Z分数的估计值判断得到的观察者对于不同质量的立体图像SAA、Sffl、SAC、Sffl和SAE的主观质量评判结果。图2b、图3b、图4b、图5b中对左视点图像质量相同但右视点图像质量不同的五幅立体图像按照其各质量点的右视点图像对应的Z分数进行了排序，如果某两个质量点的右视点图像对应的立体图像之间无显著性差异，则在图中用下划线相连。例如图2b表明，当测试图像"AltMoabit"的左视点图像的编码量化参数QP^=24(PSNR=41.437dB)，右视点图像采用不同的编码量化参数所获得的不同质量点的右视点图像与相同的左视点图像组成立体图像时，A与D、A与B、A与C、D与B、D与C、B与C质量点的右视点图像对应的立体图像相比较时，两个质量点的右视点图像对应的立体图像无显著性差异，但E质量点与其它A、D、B、C四个质量点的右视点图像对应的立体图像质量则存在显著性差异，由于A质量点的右视点图像所采用的编码量化参数QPKA=24，PSNR=41.569dB，E质量点的右视点图像所采用的编码量化参数QPKE=34，PSNR=36.409dB，当左视点图像的质量保持不变，而右视点图像的质量从A质量点下降到E质量点时，人眼可察觉右视点图像质量变化所造成的立体图像主观感知的变化，因此，此时人眼对非对称立体视频编码的可感知的最小可辨变化值大约为APSNR=41.569-36.409=5.160dB。图3b则表明，当"AltMoabit"测试图像的左视点图像的编码量化参数QP^=31(PSNR=37.968dB)，右视点图像采用不同的编码量化参数所获得的不同质量点的右视点图像与相同的左视点图像组成立体图像时，A与B、A与C、A与D、B与C、B与D、C与D、B与E、C与E、D与E质量点的右视点图像对应的立体图像相比较时，两个质量点的右视点图像分别所对应的立体图像无显著性差异，但A与E质量点的右视点图像对应的立体图像则有显著性差异，由于A质量点的右视点图像所采用的编码量化参数QPKA=31，PSNR=38.139dB，E质量点的右视点图像所采用的编码量化参数QPKD=39，PSNR=33.509dB，当左视点图像质量保持不变，而右视点图像质量从A质量点下降到E质量点时，人眼可察觉右视点质量变化所造成的立体图像主观感知的变化，因此，此时人眼对非对称立体视频编码的可感知的最小可辨变化值大约为APSNR=38.139-33.509=4.630dB。图4b与图3b相类似，只不过此时人眼对非对称立体视频编码的可感知的最小可辨变化值大约为APSNR=A质量点的右视点图像的PSNR-D质量点的右视点图像的PSNR，图5b与图3b类似。权利要求一种立体图像的人眼最小可辨变化分析方法，其特征在于包括以下步骤①首先取一幅立体图像作为测试图像，然后利用H.264视频编码标准，采用一个预设的编码量化参数对测试图像的左视点图像以帧内编码方式进行编码，记对测试图像的左视点图像进行编码所采用的预设的编码量化参数为QPL，将编码得到的左视点图像定义为A质量点的左视点图像，记为LA，再采用N个不同的编码量化参数分别对测试图像的右视点图像以帧内编码方式进行编码，获得所需的N幅质量各不相同的右视点图像，其中，对测试图像的右视点图像进行编码所采用的N个不同的编码量化参数分别为QPL-1、QPL、QPL+1、QPL+2、……，如果(51-(QPL-1)+1)＞15，则N＝15，否则，N＝51-(QPL-1)+1；②从采用编码量化参数QPL-1、QPL、QPL+1进行编码得到的3幅质量各不相同的右视点图像中选取一幅采用客观质量评价标准评价时质量与A质量点的左视点图像LA的质量最为接近的右视点图像，并将该选定的右视点图像定义为A质量点的右视点图像，记为RA，将A质量点的右视点图像RA编码采用的编码量化参数记为QPRA，将A质量点的左视点图像LA和A质量点的右视点图像RA所构成的最优立体图像记为SAA；记N幅质量各不相同的右视点图像中编码量化参数大于QPRA的右视点图像的数量为M幅，将A质量点的左视点图像LA与M幅采用大于QPRA的编码量化参数编码得到的右视点图像一一构成M幅立体图像，记为Sm，1≤m≤M，Sm为由A质量点的左视点图像LA和采用编码量化参数QPRA+m编码得到的右视点图像所构成的立体图像；③组织参与进行图像主观质量评价的观察者若干名，先将m＝1时的立体图像Sm作为当前待评价立体图像，然后将内容相同但质量不同的最优立体图像SAA和当前待评价立体图像Sm同时播放在屏幕上，要求每位观察者对这2幅立体图像的质量进行独立评价，看观察者是否能辨别出这2幅立体图像的质量差异，并记录下每位观察者对这2幅立体图像的质量的评价结果，再将m加1后的立体图像Sm作为当前待评价立体图像，重复上述评价过程，直至m＞M时结束评价过程；根据所有观察者的评价结果选择B、C、D、E另外4个质量点的右视点图像，选择方法如下如果立体图像Sm与最优立体图像SAA对比后大多数观察者都不能分辨出该Sm与SAA的质量差异，则将该Sm对应的右视点图像定义为B质量点的右视点图像，记为RB，并将该立体图像Sm记为SAB，将B质量点的右视点图像RB编码采用的编码量化参数记为QPRB；如果立体图像Sm与立体图像SAA对比后大多数观察者都可以分辨出该Sm与SAA的质量差异，则将该Sm对应的右视点图像定义为E质量点的右视点图像，记为RE，并将该立体图像Sm记为SAE，将E质量点的右视点图像RE编码采用的编码量化参数记为QPRE；再在B质量点的右视点图像RB与E质量点的右视点图像RE之间等量化步长选取C质量点的右视点图像和D质量点的右视点图像，将C质量点的右视点图像记为RC，将C质量点的右视点图像RC编码采用的编码量化参数记为QPRC，将D质量点的右视点图像记为RD，将D质量点的右视点图像RD编码采用的编码量化参数记为QPRD，(QPRB-QPRC)≈(QPRC-QPRD)≈(QPRD-QPRE)，将A质量点的左视点图像LA和C质量点的右视点图像RC所构成的立体图像记为SAC，将A质量点的左视点图像LA和D质量点的右视点图像RD所构成的立体图像记为SAD；④将经上述步骤获得的5幅质量逐次递减的立体图像SAA、SAB、SAC、SAD和SAE两两组合，共组成十组不同的立体图像对比组合，分别为SAASAB、SAASAC、SAASAD、SAASAE、SABSAC、SABSAD、SABSAE、SACSAD、SACSAE和SADSAE；随机播放这十组立体图像对比组合，要求每位观察者分别对所有立体图像对比组合中的2幅立体图像两两对比进行独立的主观质量评价，指出其认为立体图像对比组合中的2幅立体图像质量相对较好的立体图像，并记录评价数据；⑤对于十组立体图像对比组合中的其中一组立体图像对比组合，令Qi和Qj分别表示该立体图像对比组合中的2幅立体图像分别对应的2幅不同的右视点图像的质量点，Qi∈{A，B，C，D，E}，Qj∈{A，B，C，D，E}，且Qi≠Qj；然后根据记录的评价数据统计出参与图像主观质量评价的观察者认为Qi质量点的右视点图像对应的立体图像的质量高于Qj质量点的右视点图像对应的立体图像的质量的概率，记为pij，表示比例为pij的观察者认为Qi质量点的右视点图像对应的立体图像的质量高于Qj质量点的右视点图像对应的立体图像的质量；再根据十组立体图像对比组合各自的概率pij，构造十组立体图像对比组合的偏好概率矩阵；⑥根据偏好概率矩阵构造适用于建立广义线性模型框架下的Thurstone模型所需的回归矩阵，其中，回归矩阵的总行数为10行，每一行对应一组立体图像对比组合，每行包括7项数据，分别记为N、As、Bs、Cs、Ds、Es、p，其中，N为参与对该组立体图像对比组合进行主观质量评价的观察者人数，As、Bs、Cs、Ds、Es分别对应于由A质量点的左视点图像LA和A、B、C、D、E5个质量点的右视点图像分别构成的立体图像SAA、SAB、SAC、SAD和SAE，对于回归矩阵中的其中一行，如果As、Bs、Cs、Ds、Es5项中的3项值为0，1项值为1，另1项值为-1，则表示该行数据反映的是非零的2项所对应的2幅立体图像的主观评价结果，p为偏好概率，表示参与评价的N名观察者中有比例为p的观察者认为As、Bs、Cs、Ds、Es5项中值为1的项所对应的立体图像的质量要优于值为-1的项所对应的立体图像；⑦根据回归矩阵建立广义线性模型框架下的Thurstone模型，Thurstone模型的形式为Φ-1(p)＝a×As+b×Bs+c×Cs+d×Ds+e×Es，其中，a、b、c、d和e分别为对应于立体图像SAA、SAB、SAC、SAD和SAE的Z分数，且e＝0，Φ-1(p)为二项分布的概率函数的反函数；然后将回归矩阵数据代入Thurstone模型进行回归分析得到a、b、c、d的估计值，分别记为aest、best、cest和dest，并令e的估计值eest＝e＝0；⑧逐一计算Z分数对a和b、a和c、a和d及a和e的置信区间，Z分数对a和b的置信区间为aest-best-BOUND＜a-b＜aest-best+BOUND，Z分数对a和c的置信区间为aest-cest-BOUND＜a-c＜aest-cest+BOUND，Z分数对a和d的置信区间为aest-dest-BOUND＜a-d＜aest-dest+BOUND，Z分数对a和e的置信区间为aest-eest-BOUND＜a-e＜aest-eest+BOUND，χdim2为卡方分布，其自由度dim＝4，α表示分位数，x表示相应的检验向量，xT为x的转置矩阵，COV为随机向量(a，b，c，d)的协方差矩阵；⑨按英文字母顺序排列b、c、d和e，依次判断Z分数对a和b、a和c、a和d及a和e的每一对中所对应的2幅立体图像的质量是否是可分辨的，具体过程如下定义当前正在处理的Z分数对为a和q，q∈{b，c，d，e}，判断数值0是否在区间(aest-qest-BOUND，aest-qest+BOUND)内，如果是，则认为a和q是不具有显著性差异的，表示a对应的最优立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ之间的图像质量差异是不可分辨的，否则，认为a和q是具有显著性差异的，表示a对应的最优立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ之间的图像质量差异是可分辨的，其中，Q∈{B，C，D，E}；⑩如果a对应的最优立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ之间的图像质量差异是可分辨的，而a对应的最优立体图像SAA与由A质量点的左视点图像和以英文字母顺序排在q对应的质量点之前的各个质量点所对应的右视点图像构成的立体图像之间的图像质量差异均是不可分辨的，则定义a对应的最优立体图像SAA与由A质量点的左视点图像和q对应的质量点的右视点图像构成的立体图像SAQ的信噪比差值为测试图像的左视点图像采用预设的编码量化参数QPL编码时的最小可辨变化值，其中，q∈{b，c，d，e}。FSA00000029339200031.tif全文摘要本发明公开了一种立体图像的人眼最小可辨变化分析方法，通过广义线性模型框架下的Thurstone模型对观察者主观评价数据进行回归分析，以在左视点图像质量固定不变的情况下，测定人眼可感知立体图像质量变化时右视点图像质量下降的临界值，从而确定非对称立体视频编码时右视点图像质量相对左视点图像质量可下降的最大变化范围，使得既能通过降低右视点图像质量来达到提高编码效率的目的，又能利用立体视觉掩蔽效应使观察者不能感知到右视点图像质量下降的事实，从而保证了立体图像的整体质量。文档编号H04N7/26GK101795411SQ201010121958公开日2010年8月4日申请日期2010年3月10日优先权日2010年3月10日发明者王旭,蒋刚毅,郁梅申请人:宁波大学