inrg中的所有 像素点的坐标位置的集合，（而，y2)表示{/*心传，>'2)}中的像素点在{.记心枉，片)}中的坐 标位置，1《9,1《y2《9，乂|;,,.g(.Y:，.v2)表示中坐标位置为（而，y2)的 像素点的像素值，柄，y3)表示{/I,,知，片)}中的像素点化[佩，知，片)}中的坐标位置， 1《X3《9,1《y3《9，乂！,,3(?，:v'3)表示知>'3)}中坐标位置为柄，y3)的像素点的像 素值； 上述步骤①-2b中，对于任意一个邻域像素点、当前子块中的任意一个像素点及邻域 子块中的任意一个像素点，假设该像素点的坐标位置为（X，y)，则如果X<1且1《y《H，则 将LiDfg中坐标位置为（1，y)的像素点的像素值赋值给该像素点；如果x〉W且1《y《H，则 将kwg中坐标位置为（w，y)的像素点的像素值赋值给该像素点；如果l《χ《w且パl，则 将Li,。^中坐标位置为（X，1)的像素点的像素值赋值给该像素点；如果1《X《W且y〉H， 则将Lwfg中坐标位置为（x，H)的像素点的像素值赋值给该像素点；如果x<l且y<l，则将 kwg中坐标位置为（1，1)的像素点的像素值赋值给该像素点；如果x〉W且六1，则将Li.Dfg 中坐标位置为（W，1)的像素点的像素值赋值给该像素点；如果X<1且y〉H，则将Lwfg中坐 标位置为（1，H)的像素点的像素值赋值给该像素点；如果x〉W且y〉H，则将中坐标位 置为（W，H)的像素点的像素值赋值给该像素点； ①-2c、计算{佩,枉，托)}中的每个像素点的特征矢量，将{爲"佔，朽)}中坐标位置为 (?y2)的像素点的特征矢量记为，其中，)的维数为7,符号"□"为矢量表示符号，符号"II"为取绝对值符 号，巧^知，於)表示t巧々中坐标位畳为知，72>的像素点的密度值，为巧。,g(^，>'2)在水平方向的一阶偏导数，为巧wg(^，.V2)在垂直方向的一阶偏导 数，在水平方向的二阶偏导数，在 垂直方向的二阶偏导数； ①-地根据{/;p0K知.V.:：)}中的每个像素点的特征矢量，计算{记巧也如}的协方差 矩阵，记为Cfwg，其中， 巧。,,g的维数为7X7，胃表示( /P。，., (?，乃)}中的所有像素点的特征矢量的均值矢量，的转置矢量； ①-2e、对.Cf。,.。进行Qiolesky分解的Sigma 特征集，记为sr.wg，其中，?κ.。,/为Wwg的转置矩阵，S：>",g的维数为7X15,符号"□"为矢量表示符号， 1《j《7，表 示t早。W的第7列向量； ①-2f、按照步骤①-2c至步骤①-2e的操作，W相同的方式获取当前子块的每个邻 域子块的Sigma特征集，将{/;：以.(兩，朽)}的Sigma特征集记为，其中，Sq^的维数为 7X15 ； ①-2g、根据驾^及当前子块的每个邻域子块的Sigma特征集，计算当前像素点的结构 信息，记为/,:,3 (P)，其中，N(p)表示当前像 素点的所有邻域像素点的坐标位置的集合，exp0表示W自然基数e为底的指数函数，σ表 示高斯函数的标准差，符号"IIII"为欧氏距离计算符号，k"g(q)表示坐标位置为q的像 素点的像素值； ①-2h、根据/；：;3社），计算当前像素点的纹理信息，记为/居g(p)，，其中，k"g(p)表示当前像素点的像素值； ①-2i、将Lwfg中下一个待处理的像素点作为当前像素点，然后返回步骤①-化继续 执行，直至中的所有像素点处理完毕，得到中的每个像素点的结构信息和纹理信 息，将Li,。,,中的所有像素点的结构信息构成的图像作为L 的结构图像货,，，将中 的所有像素点的纹理信息构成的图像作为的纹理图像驾?。3.根据权利要求1或2所述的一种基于结构纹理稀疏表示的立体图像质量客观评价方 法，其特征在于所述的步骤①-3中的Dgtf的获取过程为： ①-3a、将!中的每幅结构图像划分成个互不重叠的尺寸大小为 8X8的子块； ①-3b、将·[zC.gil含/<W[中的所有结构图像中的子块构成一个集合，记为 {於'| 1 < /含，其中，，yf表示{/4:J11； / <W中的所有结构图像中的子 块中的第t个子块中的所有像素点组成的列向量，我"的维数为64X 1 ; ①_3。、采用K-SVD方法对{yf11 < /含M}进行字典训练操作，获得松LJ1??/??/V}的 结构字典表町tf，通过K-SVD方法求解得到，其中，min0为取最 小值函数，符号"IIII2"为求取矩阵的2-范数符号，γ""'=b广…於''…矜。，的维数为ΘΑΧΜ，於为{於''中的第1个列向量，於'.为打:"中的第t个列向量， 燃为1《<Μ中的第Μ个列向量，沪'表示稀疏矩阵，X'"=[<…义产…瑞]，rtf的 维数为ΚΧΜ,Χ;"'表示rtf中的第1个列向量，砖'表示r"中的第t个列向量，<'表示r- 中的第Μ个列向量，符号"□"为矢量表示符号，Vi表示对于任意一个t，1《t《M，符号 "IIII。"为求取矩阵的0-范数符号，T为误差系数； 所述的步骤①-3中的DtM的获取过程为： ①-3d、将11 <Z· 5； 7V|中的每幅纹理图像划分成个互不重叠的尺寸大小为 8X8的子块，其中，W和Η对应表示原始的无失真立体图像的宽度和高度； @-36、将^(得,。。|1^;'^~}中的所有纹理图像中的子块构成一个集合，记为 {护| 1 <Κ，其中：中的所有纹理图像中的子 块中的第t个子块中的所有像素点组成的列向量，υΓ的维数为64Χ1 ; ① -乳、采用K-SVD方法对{於、.| 1名ΚΜ}进行字典训练操作，获得{CJ1S/之Λ/j的 纹理字典表DtM，DtJi过K-SVD方法求解爵到，其中，min0为取最 小值函数，符号"IIII2"为求取矩阵的2-范数符号，YtM的维数为 64XM，中的第1个列向量，yw为(yri1 ^K 中的第t个列向量，中的第Μ个列向量，XtM表示稀疏矩阵，，XtM的 维数为ΚΧΜ,ΧΓ表示Xtex中的第1个列向量，炒表示Xtex中的第t个列向量，瑞表示Xtex 中的第Μ个列向量，符号"□"为矢量表示符号，的对于任意一个t，1《t《M，符号"ΜII。" 为求取矩阵的0-范数符号，τ为误差系数。4. 根据权利要求3所述的一种基于结构纹理稀疏表示的立体图像质量客观评价方法， 其特征在于所述的步骤①-3c和所述的步骤①-3f中的τ取值为0. 1。5. 根据权利要求3所述的一种基于结构纹理稀疏表示的立体图像质量客观评价方法， 其特征在于所述的步骤②-3的具体过程为： ② -3a、将Ltest和分别划分成 个互不重叠的尺寸大小为8X8的子块； 8x8 ②-3b、将中的所有子块构成一个集合，记为，其中， 表示中的第t'个子块中的所有像素点组成的列向量，y:心的维数为64X1; 将 中的所有子块构成一个集合，记为，其中，折IkW表示i￡. 中的第t'个子块中的所有像素点组成的列向量，说，的维数为64X1 ; 将巧,:;中的所有子块构成一个集合，记为其中，表示 中的第t'个子块中的所有像素点组成的列向量，的维数为64X1 ; 将iC：,中的所有子块构成一个集合，记为中的第t'个子块中的所有像素点组成的列向量，的维数为64X1 ; 将45中的所有子块构成一个集合，记为中的第t'个子块中的所有像素点组成的列向量，祝的维数为64X1 ; 将巧；中的所有子块构成一个集合，记为中的第t'个子块中的所有像素点组成的列向量，y及.。。的维数为64X1 ; 将1中的所有子块构成一个集合，记为A:中的第t'个子块中的所有像素点组成的列向量，y苗的维数为64X1 ; 将度中的所有子块构成一个集合，记为<巧:；中的第t'个子块中的所有像素点组成的列向量，的维数为64X1 ; ②-3c、根据在训练阶段过程构造得到的町tf和D联合优化获取中的每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩 阵，将扔的结构稀疏系数矩阵和矜l，n,的纹理稀疏系数矩阵对应记为鮮和畔1,<其中，表示取使得的值最小的结构稀疏系数矩阵 和纹理稀疏系数矩阵，X;f'表示结构稀疏系数矩阵，表示纹理稀疏系数矩阵，χΓ和xf的维数均为KX64,Ω表示(x;f'，x;?')的集合，符号"川I2"为求取矩阵的2-范数符号，符号 "IIII1"为求取矩阵的1-范数符号，λ表示拉格朗日参数； 根据在训练阶段过程构造得到的町tf和Dt。、联合优化获取中的 每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩 阵，将y品.,W的结构稀疏系数矩阵和於:的纹理稀疏系数矩阵对应记为X苗，W和.J 其中表示取使 得的值最小的结构稀疏系数矩 阵和纹理稀疏系数矩阵； 根据在训练阶段过程构造得到的町tf和D联合优化获取·中的 每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩 阵，将矜1。,.，的结构稀疏系数矩阵和y芯.。，3的纹理稀疏系数矩阵对应记为和其中，表示取使得的值最小的结构稀疏系数矩阵 和纹理稀疏系数矩阵； 根据在训练阶段过程构造得到的町tf和D联合优化获取中的 每个元素的结构稀疏系数矩阵和中的每个元素的纹理稀疏系数矩 阵，将的结构稀疏系数矩阵和y冷W的纹理稀疏系数矩阵对应记为X苗.nrg和其中，表示取使得的值最小的结构稀疏系数矩阵 和纹理稀疏系数矩阵； ②-3t计算LtMt中的每个子块的局部客观评价度量值，将LtMt中的第t'个子块的 局部客观评价度量值记为Zt.,阵，符号"□"为矢量表示符号，C为控制参数； 计算RtMt中的每个子块的局部客观评价度量值，将RtMt中的第t'个子块的局部客 观评价度量值记为Ζ,.,κ，：其矩阵，符号"□"为矢量表不符号； ②-3e、从LtMt中选出满足设定的第一判定条件的所有子块作为选定子块，对 于Lt。,冲的第t'个子块，如果该子块对应的辞和玲满足设定的第一判定条件，则将该子块作为选定子块，其中，符号"IIII"为欧氏距离计 算符号，T1为设定的第一阔值； 从RtMt中选出满足设定的第二判定条件的所有子块作为选定子块，对于RtMt中的第t'个子块，如果该子块对应的X冶,ew和掉.kfw满足设定的第二判定条件则将该子块作为选定子块，其中，Τ2为设定的第二阔值； ②-3f、根据LtMt和RtMt中的选定子块的局部客观评价度量值，计算StMt的图像 质量客观评价预测值，记为Q，Q=Z^WkXΖκ，其中，· L1。51中的选定 子块的总个数，Z'表示LtMt中的第g个选定子块的局部客观评价度量值，N,表示RtMt中的选定子块的总个数，z\,表示Rtpgt中的第h个选定子块的局部客观评价度量值，表示Ltpgt中的第g个选定子块中的所有像素点组 成的列向量的结构稀疏系数矩阵，表示LtMt中的第g个选定子块中的所有像素点组 成的列向量的纹理稀疏系数矩阵，表示Rt。.,中的 第h个选定子块中的所有像素点组成的列向量的结构稀疏系数矩阵，X"品表示RtMt中的 第h个选定子块中的所有像素点组成的列向量的纹理稀疏系数矩阵。6.根据权利要求5所述的一种基于结构纹理稀疏表示的立体图像质量客 观评价方法，其特征在于所述的步骤②-3e中的，
【专利摘要】本发明公开了一种基于结构纹理稀疏表示的立体图像质量客观评价方法，其在训练阶段，对多幅无失真立体图像的左视点图像实施结构纹理分离，然后通过无监督学习方式对由所有结构图像中的子块构成的集合进行字典训练得到结构字典表，并对由所有纹理图像中的子块构成的集合进行字典训练得到纹理字典表；在测试阶段，根据在训练阶段构造得到的结构字典表和纹理字典表，联合优化得到结构稀疏系数矩阵和纹理稀疏系数矩阵，并计算失真立体图像的图像质量客观评价预测值，与主观评价值保持了较好的一致性，并且在测试阶段不需要再计算结构字典表和纹理字典表，降低了计算复杂度，同时无需预知各评价图像的主观评价值，使得本发明方法适用于实际的应用场合。
【IPC分类】G06T7/00
【公开号】CN105321175
【申请号】CN201510613829
【发明人】邵枫, 李柯蒙, 李福翠
【申请人】宁波大学
【公开日】2016年2月10日
【申请日】2015年9月23日