记为
：再将N个正偏好特征和N个负偏好特征构成初始的偏好立体图像 对组训练集，记为
，其中，从以11彡i彡M}中随机选取的1 对舒适度高的立体图像对与1对舒适度低的立体图像对两者的舒适度等级至少相差两级，N彡1，Kj<N，Dj表示第j组正偏好立体图像对组中舒适度高的立体图像对的用于反映 视觉舒适度的特征矢量与舒适度低的立体图像对的用于反映视觉舒适度的特征矢量 的差分特征矢量，
，L」表示第j组正偏好立体图像对组的偏好值，L」= +1，D/表示第j组负偏好立体图像对组中舒适度低的立体图像对的用于反映视觉舒适度的 特征矢量Ff"与舒适度高的立体图像对的用于反映视觉舒适度的特征矢量F;A#的差分特征 矢量，
，L/表示第j组负偏好立体图像对组的偏好值，L/ = -1 ; ①-4、从{Sf11S 中随机选择T/2个正偏好特征，排除与已选择的正偏好特征相 对应的负偏好特征，从剩余的所有负偏好特征中随机选择T/2个负偏好特征，将选择的T/2 个正偏好特征和T/2个负偏好特征构成偏好立体图像对组训练集，记为|IS〖，其 中，T取区间[2，N]内的偶数.
中的第t个特征，&为正偏好特征或为负 偏好特征
中的第t个特征代表的一组正偏好立体图 像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量，&表示
中 的第t个特征代表的一组正偏好立体图像对组或代表的一组负偏好立体图像对组的偏 好值，Ae{+1,-1}; ① -5、采用支持向量回归，对中的所有差分特征矢量进行训练，并使得经 过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量w°pt和最优的偏 置项b°pt，然后利用得到的最优的权重矢量w°pt和最优的偏置项b°pt构造支持向量回归训练 模型，记为f0)inp)
，其中，Dinp表示支持向量回归训练模型的输 入矢量，（w°pt)TSw°pt的转置矢量，MD#)表示支持向量回归训练模型的输入矢量Dinp的线 性函数； 所述的测试阶段包括以下步骤： ② 对于任意一对测试立体图像对Stest，按照步骤①-2的过程，以相同的操作获取Stest 的用于反映视觉舒适度的特征矢量，记为Ftest;然后计算Ftest与{Si11彡i彡M}中的每对 立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量；接着根据训练阶段构造的 支持向量回归训练模型f(Dinp)，通过对Ftest与{S」l彡i彡M}中的每对立体图像对的用于 反映视觉舒适度的特征矢量的差分特征矢量进行测试，获取Stest的客观视觉舒适度评价预 测值，记为Qtest。
2.根据权利要求1所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤 ①-2中{Si|l彡i彡M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量的获取 过程为： al、采用视差估计算法计算{SillSiSM}中的第i对立体图像对的左视点图像与 右视点图像之间的视差图像，记为{屯(\7)}，其中，1彡x彡W，1彡y彡H，此处W表示 {Si11彡i彡M}中的每对立体图像对的宽度，H表示{Si11彡i彡M}中的每对立体图像对 的高度djxj)表示{djxj)}中坐标位置为（x，y)的像素点的像素值； a2、采用视差转换算法计算{Si11 <i<M}中的第i对立体图像对的角视差图像，记为 {Mxj)}，其中，Mx，y)表示{Mxj)}中坐标位置为（x，y)的像素点的像素值，如果 小i(X，y) >0,则表示以| 1彡i彡M}中的第i对立体图像对中坐标位置为（X，y)的像素点 在显示时落在屏幕前，如果小i(X，y)〈0,则表示{Si| 1彡i彡M}中的第i对立体图像对中 坐标位置为（x，y)的像素点在显示时落在屏幕后； a3、计算{djxj)}中的所有像素点的视差范围，记为XpXiid^-d^，其中，(1_表 示{ddx，y)}中的所有像素点的像素值按从大到小的顺序排序后，前1%的所有像素值的平 均值；cLn表示{djxj)}中的所有像素点的像素值按从大到小的顺序排序后，后1%的所 有像素值的平均值； a4、计算{diUy)}的交叉视差均值，记为
其中，N￡表示由 {Si11 <i<M}中的第i对立体图像对在显示时落在屏幕前的所有像素点的坐标位置构成 的集合，N。表示{Si11 <i<M}中的第i对立体图像对在显示时落在屏幕前的所有像素点 的个数； a5、计算{diUy)}的非交叉视差均值，记为
其中，KU表示 由{Si|l<i<M}中的第i对立体图像对在显示时落在屏幕后的所有像素点的坐标位置 构成的集合，Nn。表示{Si|l<i<M}中的第i对立体图像对在显示时落在屏幕后的所有像 素点的个数； a6、计算{diO^y)}的相对深度，记为込，
a7、计算{diUy)}的焦点深度图像，记为{Yi(X，y)}，将UiUy)}中坐标位置为 (x，y)的像素点的像素值记为Yi(x，y)
其中，P为瞳孔 直径，s为眼球的节间长度，V表示观看距离，V= 3XH'，H'为显示器的高度，Pi(X，y)表 示{Sill彡i彡M}中的第i对立体图像对中坐标位置为（x，y)的像素点的观看深度，
表示{Si11 <i<M}中的第i对立体图像对中坐标位置为 (x，y)的像素点的屏幕视差值，
W'为显示器的宽度，e为两眼间 距，符号"II"为取绝对值符号； a8、计算{Yi(x，y)}的正焦点深度均值和负焦点深度均值，对应记为f和6，
a9、采用Sobel算法提取{Si| 1 <i<M}中的第i对立体图像对的左视点图像的边缘 图像，记为邮上，7)}，然后计算邮上，7)}的与空间频率相关的四个特征，分别记为4、
TpUjP 其中，SBi(x，y)表示{SBi(x，y)} ? 中坐标位置为（x，y)的像素点的像素值，
符号"II"为取绝对值符号； alO、将x卜lp<、、fi、tpu#q按顺序进行排列，构成 {S」l<i<M}中的第i对立体图像对的用于反映视觉舒适度的特征矢量，记为Fp
，其中，此处符号" □"为矢量表示符号，匕的维数为10。
3. 根据权利要求1或2所述的一种立体图像视觉舒适度评价方法，其特征在于所述的 步骤①-5的具体过程为： bl、将11 <K1中的所有差分特征矢量和偏好值构成训练样本数据集合，记为QT，
b2、构造QT中的每个差分特征矢量的回归函数，将的回归函数记为/(〇,)，
，其中，f()为函数表示形式，W为权重矢量,wT为w的转置矢量,b为偏 直项，)表不j的线性函数，
为支持向量回归中的核函 数，
中的第t'个特征&代表的一组正偏 好立体图像对组或代表的一组负偏好立体图像对组所对应的差分特征矢量，l<t' <T，Y为核参数，exp〇表示以自然基数e为底的指数函数，符号" | | | | "为求欧式距离符号； b3、采用支持向量回归作为机器学习的方法，对\中的所有差分特征矢量进行训 练，使得经过训练得到的回归函数值与偏好值之间的误差最小，得到最优的权重矢量 w°pt和最优的偏置项b°pt，将最优的权重矢量w°pt和最优的偏置项b_的组合记为（w_，
，然后利用得到的最优的权重矢量w°pt和最优的 偏置项b°pt构造支持向量回归训练模型，记为f(Dinp)，
，其中， W表示对中的所有差分特征矢量进行训练的所有的权重矢量和偏置项的组合的集合，
的值最小的w和b的值，Dinp表示支持向 量回归训练模型的输入矢量，（w°pt)TSw°pt的转置矢量，P(D_)表示支持向量回归训练模型 的输入矢量Dinp的线性函数。
4. 根据权利要求3所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤 b2中取核参数Y= 54。
5. 根据权利要求4所述的一种立体图像视觉舒适度评价方法，其特征在于所述的步骤 ②的具体过程为： ②-1、按照步骤①-2的过程，以相同的操作获取Stest的用于反映视觉舒适度的特征矢 量，记为Ftest，Ftest的维数为10; ②-2、计算Ftest与{Si11彡i彡M}中的每对立体图像对的用于反映视觉舒适度的特征 矢量的差分特征矢量，将？1(^与Fi的差分特征矢量记为DDi，te;st=Ftest-Fi; ②-3、根据训练阶段构造的支持向量回归训练模型f(Dinp)，对Ftest与{Si11彡i彡M} 中的每对立体图像对的用于反映视觉舒适度的特征矢量的差分特征矢量进行测试，预测得 到每个差分特征矢量对应的偏好预测值，将〇^&对应的偏好预测值记为LUd，Li^st =
，其中，州U表示支持向量回归训练模型的输入 矢量Di，test的线性函数； ②-4、计算Stest的偏好预测值，记为Ltest，
②-5、计算Stest的客观视觉舒适度评价预测值，记为Qtest，
【专利摘要】本发明公开了一种立体图像视觉舒适度评价方法，其在训练阶段，选取多对立体图像对构成偏好立体图像对组训练集，建立差分特征矢量与偏好值之间的支持向量回归训练模型；在测试阶段，计算测试立体图像与每对训练立体图像的差分特征矢量，并根据已训练得到的支持向量回归训练模型，预测得到每个差分特征矢量对应的偏好预测值，并最终得到测试立体图像的客观视觉舒适度评价预测值；优点是在训练阶段并不需要知道训练立体图像的主观评价值，得到的客观视觉舒适度评价预测值与主观评价值保持了较高的一致性。
【IPC分类】H04N17-00, H04N13-00
【公开号】CN104581141
【申请号】CN201510010148
【发明人】邵枫, 姜求平, 李福翠
【申请人】宁波大学
【公开日】2015年4月29日
【申请日】2015年1月9日