一种立体图像视觉舒适度评价方法
【技术领域】
[0001] 本发明涉及一种图像质量评价方法，尤其是涉及一种立体图像视觉舒适度评价方 法。
【背景技术】
[0002] 随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的 视觉体验质量（Q〇E，quality of experience)是立体视频系统设计中的一个重要问题，而 视觉舒适度（VC，visual comfort)是影响立体视频的视觉体验质量的重要因素。目前，对 立体视频/图像的质量评价研究主要考虑内容失真对于图像质量的影响，而很少考虑视觉 舒适度等因素的影响。因此，为了提高观看者的视觉体验质量，研究立体视频/图像的视觉 舒适度客观评价模型对指导3D内容的制作和后期处理具有十分重要的作用。
[0003] 传统的立体图像视觉舒适度评价方法主要是基于机器学习的方法，其在立体图像 视觉舒适度特征和主观评价值之间建立回归模型，由于主观评价值的获取需要通过复杂的 主观实验，因此非常耗时；并且由于主观评价值是通过观看者打分判断来统计获得，因此人 的因素会对主观评价值产生极大的影响，这会导致建立的回归模型无法精确预测得到客观 评价值。故，如何在评价过程中有效地避免主观评价值的影响，使得客观评价结果更加感 觉符合人类视觉系统，是在对立体图像进行客观视觉舒适度评价过程中需要研究解决的问 题。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种立体图像视觉舒适度评价方法，其能够有 效地提高客观评价结果与主观感知之间的相关性。
[0005] 本发明解决上述技术问题所采用的技术方案为：一种立体图像视觉舒适度评价方 法，包括训练阶段和测试阶段两个过程，其特征在于所述的训练阶段包括以下步骤：
[0006] ①-1、平均选取五个不同舒适度等级的共M对立体图像对构成初始训练图像集， 记为（S i I 1彡i彡M}，其中，M>5, Si表示{S i I 1彡i彡M}中的第i对立体图像对；
[0007] ①-2、计算{S」l彡i <M}中的每对立体图像对的用于反映视觉舒适度的特 征矢量，将{S」l彡i彡M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量记 为匕1：.=[名為，\乂.，<,6/^^]，其中，此处符号"[]"为矢量表示符号，乂1表示 {S」I < i < M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像中的 所有像素点的视差范围，\和&对应表示{S」l < i <M}中的第i对立体图像对的 左视点图像与右视点图像之间的视差图像的交叉视差均值、非交叉视差均值和相对深度， r广和r/对应表示（Si 11彡i彡μ}中的第i对立体图像对的左视点图像与右视点图像之间 的视差图像的焦点深度图像的正焦点深度均值和负焦点深度均值，fi、Tp u Jp ζ i表示 {Si 11 < i < Μ}中的第i对立体图像对的左视点图像的边缘图像的与空间频率相关的四个 特征，维数为10 ;
[0008] ①-3、从（Si I 1彡i彡Μ}中随机选取1对舒适度高的立体图像对和1对舒适度低 的立体图像对，构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组，重复随 机选取N次，这样共获得N组正偏好立体图像对组和N组负偏好立体图像对组，且每组正偏 好立体图像对组与一组负偏好立体图像对组--对应，将用于代表第j组正偏好立体图像 对组的正偏好特征记为$，S) = ，将用于代表第j组负偏好立体图像对组的负偏好 特征记为$，S丨=;再将N个正偏好特征和N个负偏好特征构成初始的偏好立体 图像对组训练集，记为{S)|l句·<#}，S〗={S;,S;}，其中，从{Sjl < i <M}中随机选取 的1对舒适度高的立体图像对与1对舒适度低的立体图像对两者的舒适度等级至少相差两 级，N彡1，1彡j彡N，Dj表示第j组正偏好立体图像对组中舒适度高的立体图像对的用于 反映视觉舒适度的特征矢量Ff4与舒适度低的立体图像对的用于反映视觉舒适度的特征 矢量Ff1的差分特征矢量，D7. -Ffw，Lj表示第j组正偏好立体图像对组的偏好值， Lj =+1，D/表示第j组负偏好立体图像对组中舒适度低的立体图像对的用于反映视觉舒适 度的特征矢量Ff1与舒适度高的立体图像对的用于反映视觉舒适度的特征矢量FfM的差 分特征矢量，D/ = Ff'-Ff;l，Lj'表示第j组负偏好立体图像对组的偏好值，Lj' = 4 ;
[0009] ①-4、从{sfll ^ JSiV(中随机选择T/2个正偏好特征，排除与已选择的正偏 好特征相对应的负偏好特征，从剩余的所有负偏好特征中随机选择T/2个负偏好特征， 将选择的T/2个正偏好特征和T/2个负偏好特征构成偏好立体图像对组训练集，记为 {民丨IU gr}，其中，τ取区间[2, N]内的偶数，艮表示忾11U 中的第t个特征，良为 正偏好特征或为负偏好特征Λ ={?,,Α}，0,表示择Il^ U}中的第t个特征民代表的 一组正偏好立体图像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量，表 示{艮1? 中的第t个特征&代表的一组正偏好立体图像对组或代表的一组负偏好立 体图像对组的偏好值，A e {+u-ih
[0010] ① _5、采用支持向量回归，对$ 11 S 中的所有差分特征矢量进行训练，并使 得经过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量w°pt和最优 的偏置项b°pt，然后利用得到的最优的权重矢量w°pt和最优的偏置项b °pt构造支持向量回归 训练模型，记为f (Dinp)，/(Dinp) = (wf)TWD;";,) + Z^，其中，Dinp表示支持向量回归训练模型 的输入矢量，（w°pt)tSw °pt的转置矢量，火D;";,)表示支持向量回归训练模型的输入矢量D inp 的线性函数；
[0011] 所述的测试阶段包括以下步骤：
[0012] ②对于任意一对测试立体图像对Stest,按照步骤①-2的过程，以相同的操作获取 Stest的用于反映视觉舒适度的特征矢量，记为Ftest;然后计算Ftest与{S」l彡i彡M}中的 每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量；接着根据训练阶段构 造的支持向量回归训练模型f(D inp)，通过对Ftest与{S」l彡i彡M}中的每对立体图像对的 用于反映视觉舒适度的特征矢量的差分特征矢量进行测试，获取S test的客观视觉舒适度评 价预测值，记为Qtest。
[0013] 所述的步骤①-2中（Si I 1彡i彡Μ}中的第i对立体图像对的用于反映视觉舒适 度的特征矢量的获取过程为：
[0014] al、采用视差估计算法计算{Si I 1彡i彡M}中的第i对立体图像对的左视点图像 与右视点图像之间的视差图像，记为Wi (X，y) }，其中，1彡X彡W，1彡y彡H，此处W表示 (Si 11彡i彡M}中的每对立体图像对的宽度，H表示（Si 11彡i彡M}中的每对立体图像对 的高度，Cli(Xj)表示Wi(Xj)}中坐标位置为（x，y)的像素点的像素值；
[0015] a2、采用视差转换算法计算{Si|l Si <M}中的第i对立体图像对的角视差图像， 记为{Φ?(χ，γ)}，其中，Φ?(χ，γ)表示{Φ?(χ，γ)}中坐标位置为（x，y)的像素点的像素值， 如果Φ i (X，y) >〇,则表示（Si 11彡i彡M}中的第i对立体图像对中坐标位置为（X，y)的像 素点在显示时落在屏幕前，如果Φ i (X，y)〈0,则表示（Si 11彡i彡M}中的第i对立体图像 对中坐标位置为（x，y)的像素点在显示时落在屏幕后；
[0016] a3、计算Wi (X，y)}中的所有像素点的视差范围，记为X i，X i= (Iniax-Clniin，其中，d_ 表示Wi (X，y)}中的所有像素点的像素值按从大到小的顺序排序后，前1%的所有像素值的 平均值Mniin表示{djxj)}中的所有像素点的像素值按从大到小的顺序排序后，后1%的 所有像素值的平均值；
[0017] a4、计算Wi(Xj)}的交叉视差均值，记为
【主权项】
1. 一种立体图像视觉舒适度评价方法，包括训练阶段和测试阶段两个过程，其特征在 于所述的训练阶段包括以下步骤： ①-1、平均选取五个不同舒适度等级的共M对立体图像对构成初始训练图像集，记为 {Si|l<i<M}，其中，M>5,Si表示UKi<M}中的第i对立体图像对； ①-2、计算{Si|l彡i彡M}中的每对立体图像对的用于反映视觉舒适度的特征矢 量，将{Si|l彡i彡M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量记为 匕，
，其中，此处符号" □"为矢量表示符号，Xi表示 {S」1 <i<M}中的第i对立体图像对的左视点图像与右视点图像之间的视差图像中的 所有像素点的视差范围，&、\和1对应表示{Si11 <i<M}中的第i对立体图像对的 左视点图像与右视点图像之间的视差图像的交叉视差均值、非交叉视差均值和相对深度， r广和对应表示{Si|Ki<M}中的第i对立体图像对的左视点图像与右视点图像之 间的视差图像的焦点深度图像的正焦点深度均值和负焦点深度均值，fi、Tp\和ft表示{Si11 <i<M}中的第i对立体图像对的左视点图像的边缘图像的与空间频率相关的四个 特征，维数为10 ; ①-3、从{Si11 <i<M}中随机选取1对舒适度高的立体图像对和1对舒适度低的立 体图像对，构成一组正偏好立体图像对组和一组对应的负偏好立体图像对组，重复随机选 取N次，这样共获得N组正偏好立体图像对组和N组负偏好立体图像对组，且每组正偏好立 体图像对组与一组负偏好立体图像对组一一对应，将用于代表第j组正偏好立体图像对组 的正偏好特征记为
，将用于代表第j组负偏好立体图像对组的负偏好特征