本发明涉及一种图像质量评价方法，尤其是涉及一种基于多尺度字典的立体图像视觉舒适度评价方法。
背景技术：
：：随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的视觉体验质量(QoE，qualityofexperience)是立体视频系统设计中的一个重要问题，而视觉舒适度(VC，visualcomfort)是影响立体视频的视觉体验质量的重要因素。目前，对立体视频/图像的质量评价研究主要考虑内容失真对于图像质量的影响，而很少考虑视觉舒适度等因素的影响。因此，为了提高观看者的视觉体验质量，研究立体视频/图像的视觉舒适度客观评价模型对指导3D内容的制作和后期处理具有十分重要的作用。传统的立体图像视觉舒适度评价方法主要是基于机器学习的方法，其需要大量的样本数据在立体图像视觉舒适度特征和主观评价值之间建立回归模型，然而由于主观评价值的获取需要通过复杂的主观实验，因此非常耗时，并不适合实际的图像处理应用。考虑到人们在进行主观实验时通常采用多等级打分制对立体图像的视觉舒适度进行评价这一事实，如何在客观评价过程中有效地将评价结果映射到不同的舒适度等级，使得客观评价结果更加符合人类视觉主观评价，是在对立体图像进行客观视觉舒适度评价过程中需要研究解决的问题。技术实现要素：本发明所要解决的技术问题是提供一种基于多尺度字典的立体图像视觉舒适度评价方法，其能够有效地提高客观评价结果与主观感知之间的相关性。本发明解决上述技术问题所采用的技术方案为：一种基于多尺度字典的立体图像视觉舒适度评价方法，其特征在于包括训练阶段和测试阶段两个过程；在训练阶段中，选取五个不同舒适度等级的多幅立体图像，构成初始训练图像集；然后通过获取初始训练图像集中的每幅立体图像的视差统计特征矢量和神经响应特征矢量，得到初始训练图像集中的每幅立体图像的用于反映视觉舒适度的特征矢量；接着根据初始训练图像集中的所有立体图像的用于反映视觉舒适度的特征矢量构造多尺度字典，并确定多尺度字典对应的多尺度质量表；在测试阶段中，对于任意一幅测试立体图像，以相同的方式获得测试立体图像的用于反映视觉舒适度的特征矢量；然后根据在训练阶段构造的多尺度字典，计算测试立体图像的用于反映视觉舒适度的特征矢量的稀疏系数矩阵，进而确定测试立体图像的用于反映视觉舒适度的特征矢量对应于多尺度字典的不同舒适度等级的稀疏系数矩阵；接着根据在训练阶段确定的多尺度质量表和对应于多尺度字典的不同舒适度等级的稀疏系数矩阵，计算测试立体图像对应于不同舒适度等级的舒适度评价预测值；最后结合测试立体图像对应于不同舒适度等级的舒适度评价预测值，获得测试立体图像的视觉舒适度客观评价预测值。所述的训练阶段具体包括以下步骤：①_1、选取五个不同舒适度等级各幅宽度为W且高度为H的立体图像，将选取的共M幅立体图像构成初始训练图像集，记为{Si|1≤i≤M}，其中，M>5且M为5的整数倍，Si表示{Si|1≤i≤M}中的第i幅立体图像；①_2、获取{Si|1≤i≤M}中的每幅立体图像的视差统计特征矢量，将Si的视差统计特征矢量记为其中，的维数为1×5，此处符号“[]”为矢量表示符号，fi1、fi2、fi3、fi4和fi5对应表示Si的左视点图像与右视点图像之间的视差图像{di(x,y)}的平均最大视差、平均最小视差、视差对比度、视差散度和视差偏度，di(x,y)表示{di(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x≤W，1≤y≤H；①_3、获取{Si|1≤i≤M}中的每幅立体图像的神经响应特征矢量，将Si的神经响应特征矢量记为其中，的维数为1×13，此处符号“[]”为矢量表示符号，1≤j≤13，ri1,ri2,…,rij,…,ri13对应为中的第1个元素、第2个元素、…、第j个元素、…、第13个元素，符号“||”为取绝对值符号，表示Si中的第j个神经元在所有视差区间的响应构成的向量经最大池化后得到的特征矢量；①_4、将{Si|1≤i≤M}中的每幅立体图像的视差统计特征矢量和神经响应特征矢量组合成一个新的矢量作为对应的立体图像的用于反映视觉舒适度的特征矢量，将Si的用于反映视觉舒适度的特征矢量记为Di，其中，Di的维数为1×18，此处符号“[]”为矢量表示符号，表示将和连接起来形成一个新的矢量；①_5、根据{Si|1≤i≤M}中的所有立体图像的用于反映视觉舒适度的特征矢量构造多尺度字典，记为D，并确定D对应的多尺度质量表，记为q，其中，D1,1表示{Si|1≤i≤M}中属于第1个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第1个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D2,1表示{Si|1≤i≤M}中属于第2个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第2个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D3,1表示{Si|1≤i≤M}中属于第3个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第3个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D4,1表示{Si|1≤i≤M}中属于第4个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第4个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D5,1表示{Si|1≤i≤M}中属于第5个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第5个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，q1,1表示{Si|1≤i≤M}中属于第1个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第1个舒适度等级的第幅立体图像的平均主观评分均值，q2,1表示{Si|1≤i≤M}中属于第2个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第2个舒适度等级的第幅立体图像的平均主观评分均值，q3,1表示{Si|1≤i≤M}中属于第3个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第3个舒适度等级的第幅立体图像的平均主观评分均值，q4,1表示{Si|1≤i≤M}中属于第4个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第4个舒适度等级的第幅立体图像的平均主观评分均值，q5,1表示{Si|1≤i≤M}中属于第5个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第5个舒适度等级的第幅立体图像的平均主观评分均值；所述的测试阶段具体包括以下步骤：②_1、对于任意一幅测试立体图像Stest，按照步骤①_2至步骤①_4的过程，以相同的操作获取Stest的用于反映视觉舒适度的特征矢量，记为Gt，其中，Gt的维数为1×18；②_2、根据在训练阶段构造的多尺度字典D，计算Gt的稀疏系数矩阵，记为是通过求解得到的，其中，α1,1表示Gt对应于多尺度字典D的第1个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第1个舒适度等级的第幅立体图像的稀疏系数，α2,1表示Gt对应于多尺度字典D的第2个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第2个舒适度等级的第幅立体图像的稀疏系数，α3,1表示Gt对应于多尺度字典D的第3个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第3个舒适度等级的第幅立体图像的稀疏系数，α4,1表示Gt对应于多尺度字典D的第4个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第4个舒适度等级的第幅立体图像的稀疏系数，α5,1表示Gt对应于多尺度字典D的第5个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第5个舒适度等级的第幅立体图像的稀疏系数，符号“||||2”为求取矩阵的2-范数符号，ε为误差阈值，min{}为取最小值函数；②_3、根据确定Gt对应于多尺度字典D的不同舒适度等级的稀疏系数矩阵，将Gt对应于多尺度字典D的第1个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第2个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第3个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第4个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第5个舒适度等级的稀疏系数矩阵记为②_4、计算Stest对应于不同舒适度等级的舒适度评价预测值，将Stest对应于第n个舒适度等级的舒适度评价预测值记为Qn，其中，1≤n≤5，符号“〈〉”为求内积操作符号，q为在训练阶段确定的多尺度质量表，符号“||||1”为求取矩阵的1-范数符号；②_5、通过对Stest对应于不同舒适度等级的舒适度评价预测值进行结合，获得Stest的视觉舒适度客观评价预测值，记为Qt，其中，所述的步骤①_2中{di(x,y)}采用基于光流的视差估计算法获得。所述的步骤①_2中其中，dmax表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排序后最大的像素值，表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排列后、前10％的像素值对应的所有像素点的坐标位置构成的集合，表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排列后、前10％的像素值对应的像素点的总个数，表示{di(x,y)}中的所有像素点的像素值按从小到大的顺序排列后、前10％的像素值对应的所有像素点的坐标位置构成的集合，表示{di(x,y)}中的所有像素点的像素值按从小到大的顺序排列后、前10％的像素值对应的像素点的总个数，NR表示采用超像素分割技术对{di(x,y)}进行分割得到的分割区域的总个数，1≤p≤NR，SPp表示采用超像素分割技术对{di(x,y)}进行分割得到的第p个分割区域，p≠q，exp()表示以自然基数e为底的指数函数，λ为控制参数，符号“||||”为求欧式距离符号，表示SPp中的中心像素点的坐标位置，SPq表示采用超像素分割技术对{di(x,y)}进行分割得到的第q个分割区域，表示SPq中的中心像素点的坐标位置，max()为取最大值函数，表示SPp中的所有像素点的坐标位置构成的集合，表示SPp中包含的像素点的总个数，表示SPq中的所有像素点的坐标位置构成的集合，表示SPq中包含的像素点的总个数，符号“||”为取绝对值符号。所述的步骤①_3中的获取过程为：①_3a、采用基于光流的视差估计算法获取Si的视差图像，记为{di(x,y)}；然后利用视差转换算法计算{di(x,y)}的角视差图像，记为{φi(x,y)}；再计算{φi(x,y)}的视差直方图，记为其中，1≤x≤W，1≤y≤H，di(x,y)表示{di(x,y)}中坐标位置为(x,y)的像素点的像素值，φi(x,y)表示{φi(x,y)}中坐标位置为(x,y)的像素点的像素值，表示{φi(x,y)}中像素值属于第k个视差区间的像素点的总个数，L表示中的视差区间的总数；①_3b、利用13个不同神经元的视差调制函数对{di(x,y)}进行调制操作，得到{di(x,y)}中的不同神经元在不同视差区间的响应，将{di(x,y)}中的第j个神经元在第k个视差区间的响应记为Rj,k，其中，1≤j≤13,1≤k≤L，p(k|φi(x,y))表示φi(x,y)属于第k个视差区间的概率，如果φi(x,y)属于第k个视差区间，则p(k|φi(x,y))＝1，如果φi(x,y)不属于第k个视差区间，则p(k|φi(x,y))＝0，gj(φi(x,y))表示第j个神经元的视差调制函数，Aj表示第j个神经元的视差调制函数的振幅，Aj∈{44,67,73,42,110,124,51,77,46,121,49,31,92}，表示第j个神经元的视差调制函数的中心，δj表示第j个神经元的视差调制函数的高斯核宽度，δj∈{1.86,1.16,1.07,0.62,0.53,0.31,0.62,0.67,0.57,0.52,1.01,2.10,0.56}，cos()为求余弦函数，fj表示第j个神经元的视差调制函数的频率，fj∈{0.19,0.25,0.28,0.43,0.51,0.37,0.42,0.50,0.49,0.30,0.21,0.19,0.33}，Φj表示第j个神经元的视差调制函数的相位，Φj∈{74,86,123,73,40,-51,-38,-55,-92,-61,-19,38,-162}；①_3c、将{di(x,y)}中的第j个神经元在所有视差区间的响应构成一个向量，记为然后利用最大池化方法，获取经最大池化后得到的特征矢量，记为其中，对应表示{di(x,y)}中的第j个神经元在第1个视差区间的响应、在第2个视差区间的响应、…、在第k个视差区间的响应、…、在第L个视差区间的响应，对应表示中的第1个元素、第2个元素、…、第k个元素、…、第L个元素，所述的步骤①_3c中获取经最大池化后得到的特征矢量的过程为：获取中的每个元素经最大池化后得到的值，将经最大池化后得到的值记为其中，max()为取最大值函数；然后将中的所有元素经最大池化后得到的值按顺序排列构成与现有技术相比，本发明的优点在于：1)本发明方法在训练阶段，通过选取不同舒适度等级各多幅立体图像构成初始训练图像集，并通过计算初始训练图像集中的每幅立体图像的视差统计特征矢量和神经响应特征矢量，来获得多尺度字典和对应的多尺度质量表，这样就建立了特征矢量与质量之间的关系模型，从而只需要通过简单的映射就能直接预测图像质量。2)本发明方法在测试阶段，计算测试立体图像的用于反映视觉舒适度的特征矢量，并根据已训练得到的多尺度字典和多尺度质量表，预测得到对应于不同舒适度等级的稀疏系数矩阵和舒适度评价预测值，并结合对应于不同舒适度等级的舒适度评价预测值得到最终的视觉舒适度客观评价预测值，得到的视觉舒适度客观评价预测值与主观评价值保持了较好的一致性，即视觉舒适度客观评价预测值与主观感知之间的相关性高。附图说明图1为本发明方法的总体实现框图。具体实施方式以下结合附图实施例对本发明作进一步详细描述。本发明提出的一种基于多尺度字典的立体图像视觉舒适度评价方法，其总体实现框图如图1所示，其包括训练阶段和测试阶段两个过程；在训练阶段中，选取五个不同舒适度等级的多幅立体图像，构成初始训练图像集；然后通过获取初始训练图像集中的每幅立体图像的视差统计特征矢量和神经响应特征矢量，得到初始训练图像集中的每幅立体图像的用于反映视觉舒适度的特征矢量；接着根据初始训练图像集中的所有立体图像的用于反映视觉舒适度的特征矢量构造多尺度字典，并确定多尺度字典对应的多尺度质量表；在测试阶段中，对于任意一幅测试立体图像，以相同的方式获得测试立体图像的用于反映视觉舒适度的特征矢量；然后根据在训练阶段构造的多尺度字典，计算测试立体图像的用于反映视觉舒适度的特征矢量的稀疏系数矩阵，进而确定测试立体图像的用于反映视觉舒适度的特征矢量对应于多尺度字典的不同舒适度等级的稀疏系数矩阵；接着根据在训练阶段确定的多尺度质量表和对应于多尺度字典的不同舒适度等级的稀疏系数矩阵，计算测试立体图像对应于不同舒适度等级的舒适度评价预测值；最后结合测试立体图像对应于不同舒适度等级的舒适度评价预测值，获得测试立体图像的视觉舒适度客观评价预测值。在此具体实施例中，所述的训练阶段具体包括以下步骤：①_1、选取五个不同舒适度等级各幅宽度为W且高度为H的立体图像，将选取的共M幅立体图像构成初始训练图像集，记为{Si|1≤i≤M}，其中，M>5且M为5的整数倍，在本实施例中取M＝50，Si表示{Si|1≤i≤M}中的第i幅立体图像，符号“{}”为集合表示符号，五个不同舒适度等级分别为极端不舒适(extremelyuncomfortable)、不舒适(uncomfortable)、略微舒适(mildlycomfortable)、舒适(comfortable)和非常舒适(verycomfortable)，即初始训练图像集{Si|1≤i≤M}由幅极端不舒适的立体图像、幅不舒适的立体图像、幅略微舒适的立体图像、幅舒适的立体图像和幅非常舒适的立体图像构成。①_2、获取{Si|1≤i≤M}中的每幅立体图像的视差统计特征矢量，将Si的视差统计特征矢量记为其中，的维数为1×5，此处符号“[]”为矢量表示符号，fi1、fi2、fi3、fi4和fi5对应表示Si的左视点图像与右视点图像之间的视差图像{di(x,y)}的平均最大视差、平均最小视差、视差对比度、视差散度和视差偏度，di(x,y)表示{di(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x≤W，1≤y≤H。在此具体实施例中，步骤①_2中{di(x,y)}采用现有的基于光流的视差估计算法获得。在此具体实施例中，步骤①_2中其中，dmax表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排序后最大的像素值，表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排列后、前10％的像素值对应的所有像素点的坐标位置构成的集合，表示{di(x,y)}中的所有像素点的像素值按从大到小的顺序排列后、前10％的像素值对应的像素点的总个数，表示{di(x,y)}中的所有像素点的像素值按从小到大的顺序排列后、前10％的像素值对应的所有像素点的坐标位置构成的集合，表示{di(x,y)}中的所有像素点的像素值按从小到大的顺序排列后、前10％的像素值对应的像素点的总个数，NR表示采用现有的超像素分割技术对{di(x,y)}进行分割得到的分割区域的总个数，在本实施例中取NR＝400，1≤p≤NR，SPp表示采用现有的超像素分割技术对{di(x,y)}进行分割得到的第p个分割区域，p≠q，exp()表示以自然基数e为底的指数函数，λ为控制参数，在本实施例中取λ＝5，符号“||||”为求欧式距离符号，表示SPp中的中心像素点的坐标位置，SPq表示采用现有的超像素分割技术对{di(x,y)}进行分割得到的第q个分割区域，表示SPq中的中心像素点的坐标位置，max()为取最大值函数，表示SPp中的所有像素点的坐标位置构成的集合，表示SPp中包含的像素点的总个数，表示SPq中的所有像素点的坐标位置构成的集合，表示SPq中包含的像素点的总个数，符号“||”为取绝对值符号。①_3、获取{Si|1≤i≤M}中的每幅立体图像的神经响应特征矢量，将Si的神经响应特征矢量记为其中，的维数为1×13，此处符号“[]”为矢量表示符号，1≤j≤13，ri1,ri2,…,rij,…,ri13对应为中的第1个元素、第2个元素、…、第j个元素、…、第13个元素，符号“||”为取绝对值符号，表示Si中的第j个神经元在所有视差区间的响应构成的向量经最大池化后得到的特征矢量。在此具体实施例中，步骤①_3中的获取过程为：①_3a、采用现有的基于光流的视差估计算法获取Si的视差图像，记为{di(x,y)}；然后利用现有的视差转换算法计算{di(x,y)}的角视差图像，记为{φi(x,y)}；再计算{φi(x,y)}的视差直方图，记为其中，1≤x≤W，1≤y≤H，di(x,y)表示{di(x,y)}中坐标位置为(x,y)的像素点的像素值，φi(x,y)表示{φi(x,y)}中坐标位置为(x,y)的像素点的像素值，表示{φi(x,y)}中像素值属于第k个视差区间的像素点的总个数，L表示中的视差区间的总数，L的取值根据{φi(x,y)}的视差直方图分布而定。①_3b、利用13个不同神经元的视差调制函数对{di(x,y)}进行调制操作，得到{di(x,y)}中的不同神经元在不同视差区间的响应，将{di(x,y)}中的第j个神经元在第k个视差区间的响应记为Rj,k，其中，1≤j≤13,1≤k≤L，p(k|φi(x,y))表示φi(x,y)属于第k个视差区间的概率，如果φi(x,y)属于第k个视差区间，则p(k|φi(x,y))＝1，如果φi(x,y)不属于第k个视差区间，则p(k|φi(x,y))＝0，gj(φi(x,y))表示第j个神经元的视差调制函数，Aj表示第j个神经元的视差调制函数的振幅，Aj∈{44,67,73,42,110,124,51,77,46,121,49,31,92}，表示第j个神经元的视差调制函数的中心，δj表示第j个神经元的视差调制函数的高斯核宽度，δj∈{1.86,1.16,1.07,0.62,0.53,0.31,0.62,0.67,0.57,0.52,1.01,2.10,0.56}，cos()为求余弦函数，fj表示第j个神经元的视差调制函数的频率，fj∈{0.19,0.25,0.28,0.43,0.51,0.37,0.42,0.50,0.49,0.30,0.21,0.19,0.33}，Φj表示第j个神经元的视差调制函数的相位，Φj∈{74,86,123,73,40,-51,-38,-55,-92,-61,-19,38,-162}。①_3c、将{di(x,y)}中的第j个神经元在所有视差区间的响应构成一个向量，记为然后利用现有的最大池化方法，获取经最大池化后得到的特征矢量，记为其中，对应表示{di(x,y)}中的第j个神经元在第1个视差区间的响应、在第2个视差区间的响应、…、在第k个视差区间的响应、…、在第L个视差区间的响应，对应表示中的第1个元素、第2个元素、…、第k个元素、…、第L个元素，为经最大池化后得到的，为经最大池化后得到的，为经最大池化后得到的，为经最大池化后得到的，在此具体实施例中，步骤①_3c中获取经最大池化后得到的特征矢量的过程为：获取中的每个元素经最大池化后得到的值，将经最大池化后得到的值记为其中，max()为取最大值函数；然后将中的所有元素经最大池化后得到的值按顺序排列构成①_4、将{Si|1≤i≤M}中的每幅立体图像的视差统计特征矢量和神经响应特征矢量组合成一个新的矢量作为对应的立体图像的用于反映视觉舒适度的特征矢量，将Si的用于反映视觉舒适度的特征矢量记为Di，其中，Di的维数为1×18，此处符号“[]”为矢量表示符号，表示将和连接起来形成一个新的矢量。①_5、根据{Si|1≤i≤M}中的所有立体图像的用于反映视觉舒适度的特征矢量构造多尺度字典，记为D，并确定D对应的多尺度质量表，记为q，其中，D1,1表示{Si|1≤i≤M}中属于第1个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第1个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D2,1表示{Si|1≤i≤M}中属于第2个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第2个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D3,1表示{Si|1≤i≤M}中属于第3个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第3个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D4,1表示{Si|1≤i≤M}中属于第4个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第4个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，D5,1表示{Si|1≤i≤M}中属于第5个舒适度等级的第1幅立体图像的用于反映视觉舒适度的特征矢量，表示{Si|1≤i≤M}中属于第5个舒适度等级的第幅立体图像的用于反映视觉舒适度的特征矢量，q1,1表示{Si|1≤i≤M}中属于第1个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第1个舒适度等级的第幅立体图像的平均主观评分均值，q2,1表示{Si|1≤i≤M}中属于第2个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第2个舒适度等级的第幅立体图像的平均主观评分均值，q3,1表示{Si|1≤i≤M}中属于第3个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第3个舒适度等级的第幅立体图像的平均主观评分均值，q4,1表示{Si|1≤i≤M}中属于第4个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第4个舒适度等级的第幅立体图像的平均主观评分均值，q5,1表示{Si|1≤i≤M}中属于第5个舒适度等级的第1幅立体图像的平均主观评分均值，表示{Si|1≤i≤M}中属于第5个舒适度等级的第幅立体图像的平均主观评分均值。所述的测试阶段具体包括以下步骤：②_1、对于任意一幅测试立体图像Stest，按照步骤①_2至步骤①_4的过程，以相同的操作获取Stest的用于反映视觉舒适度的特征矢量，记为Gt，其中，Gt的维数为1×18。即Gt的获取过程为：a、获取Stest的视差统计特征矢量，记为其中，的维数为1×5，此处符号“[]”为矢量表示符号，ft1、ft2、ft3、ft4和ft5对应表示Stest的左视点图像与右视点图像之间的视差图像{dt(x,y)}的平均最大视差、平均最小视差、视差对比度、视差散度和视差偏度，dt(x,y)表示{dt(x,y)}中坐标位置为(x,y)的像素点的像素值，1≤x≤W，1≤y≤H；b、获取Stest的神经响应特征矢量，记为其中，的维数为1×13，此处符号“[]”为矢量表示符号，1≤j≤13，rt1,rt2,…,rtj,…,rt13对应为中的第1个元素、第2个元素、…、第j个元素、…、第13个元素，符号“||”为取绝对值符号，表示Stest中的第j个神经元在所有视差区间的响应构成的向量经最大池化后得到的特征矢量；c、将和组合成一个新的矢量作为Stest的用于反映视觉舒适度的特征矢量，记为Gt，其中，Gt的维数为1×18，此处符号“[]”为矢量表示符号，表示将和连接起来形成一个新的矢量。②_2、根据在训练阶段构造的多尺度字典D，计算Gt的稀疏系数矩阵，记为是通过求解得到的，其中，α1,1表示Gt对应于多尺度字典D的第1个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第1个舒适度等级的第幅立体图像的稀疏系数，α2,1表示Gt对应于多尺度字典D的第2个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第2个舒适度等级的第幅立体图像的稀疏系数，α3,1表示Gt对应于多尺度字典D的第3个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第3个舒适度等级的第幅立体图像的稀疏系数，α4,1表示Gt对应于多尺度字典D的第4个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第4个舒适度等级的第幅立体图像的稀疏系数，α5,1表示Gt对应于多尺度字典D的第5个舒适度等级的第1幅立体图像的稀疏系数，表示Gt对应于多尺度字典D的第5个舒适度等级的第幅立体图像的稀疏系数，符号“||||2”为求取矩阵的2-范数符号，ε为误差阈值，在本实施例中取ε＝10，min{}为取最小值函数。②_3、根据确定Gt对应于多尺度字典D的不同舒适度等级的稀疏系数矩阵，将Gt对应于多尺度字典D的第1个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第2个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第3个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第4个舒适度等级的稀疏系数矩阵记为将Gt对应于多尺度字典D的第5个舒适度等级的稀疏系数矩阵记为②_4、计算Stest对应于不同舒适度等级的舒适度评价预测值，将Stest对应于第n个舒适度等级的舒适度评价预测值记为Qn，其中，1≤n≤5，符号“<>”为求内积操作符号，q为在训练阶段确定的多尺度质量表，符号“||||1”为求取矩阵的1-范数符号。②_5、通过对Stest对应于不同舒适度等级的舒适度评价预测值进行结合，获得Stest的视觉舒适度客观评价预测值，记为Qt，其中，在本实施例中，采用宁波大学建立的立体图像数据库来分析本实施例得到的立体图像的视觉舒适度客观评价预测值与平均主观评分均值之间的相关性。该立体图像数据库包括200幅立体图像以及对应的视差图像，该立体图像数据库中包含了各种场景深度的室内和室外图像，并给出了每幅立体图像的视觉舒适度的平均主观评分均值。这里，将50幅立体图像作为训练立体图像构成初始训练图像集，剩下的150幅立体图像作为测试立体图像。利用评估图像质量评价方法的3个常用客观参量作为评价指标，即非线性回归条件下的Pearson线性相关系数(Pearsonlinearcorrelationcoefficient，PLCC)、Spearman秩等级相关系数(Spearmanrankordercorrelationcoefficient，SROCC)、均方根误差(Rootmeansquarederror，RMSE)，PLCC和RMSE反映客观评价预测值的准确性，SROCC反映其单调性。将利用本发明方法计算得到的150幅立体图像各自的视觉舒适度客观评价预测值做五参数Logistic函数非线性拟合，PLCC和SROCC值越高、RMSE值越小说明本发明方法的评价结果与视觉舒适度的平均主观评分均值的相关性越好。表1给出了采用不同的特征矢量得到的视觉舒适度客观评价预测值与视觉舒适度的平均主观评分均值之间的相关性，从表1中可以看出，只采用视差统计特征矢量或神经响应特征矢量构造多尺度字典得到的视觉舒适度客观评价预测值与视觉舒适度的平均主观评分均值之间的相关性并不是最优的，而采用视差统计特征矢量结合神经响应特征矢量构造多尺度字典得到的视觉舒适度客观评价预测值与视觉舒适度的平均主观评分均值之间的相关性提高了，这说明了本发明方法提取的特征信息是有效的，同时也说明了本发明方法建立的基于多尺度字典的视觉舒适度评价模型是准确的，使得得到的视觉舒适度客观评价预测值与视觉舒适度的平均主观评分均值之间的相关性更强，这足以说明本发明方法是可行且有效的。表1采用不同特征组合得到的视觉舒适度客观评价预测值与视觉舒适度的平均主观评分均值之间的相关性当前第1页1 2 3 当前第1页1 2 3