一种立体图像视觉舒适度客观评价方法
【技术领域】
[0001] 本发明设及一种图像质量评价方法，尤其是设及一种立体图像视觉舒适度客观评 价方法。
【背景技术】
[0002] 随着立体视频显示技术和高质量立体视频内容获取技术的快速发展，立体视频的 视觉体验质量（QoE，QualityofExperience)是立体视频系统设计中的一个重要问题，而 视觉舒适度（VC，VisualComfort)是影响立体视频的视觉体验质量的重要因素。目前，对 立体视频/立体图像的质量评价研究主要考虑了内容失真对于图像质量的影响，而很少考 虑视觉舒适度等因素的影响。因此，为了提高观看者的视觉体验质量，研究立体视频/立体 图像的视觉舒适度客观评价模型对指导3D内容的制作和后期处理具有十分重要的作用。
[0003] 传统的立体图像视觉舒适度客观评价方法主要采用全局的视差统计特性来预测 视觉舒适度。然而，过大的双目视差、人眼焦点调节与福辕机制冲突通常被认为是引起视觉 不舒适的主要原因。人眼的双眼融合机制为具有水平视差的左、右眼物像融合成具有立体 感的单一清晰物像提供了生理保证，然而如果水平视差过大，则会导致物像落在Panum融 合区域外，人眼将无法正常形成双眼单视性，长时间观看容易造成严重的视觉疲劳；此外， 不同于自然观看条件下人眼焦点调节与福辕机制的一致性（调节距离和福辕距离都在观 看屏幕上），在观看立体图像时，人眼焦点调节与福辕机制会产生不同程度的冲突，同样会 影响观看者的视觉体验质量。因此，如何在评价过程中有效地表征上述人眼视觉处理机制， 使得客观评价结果更加感觉符合人类视觉系统，是在对立体图像进行视觉舒适度客观评价 过程中需要研究解决的问题。
【发明内容】
[0004] 本发明所要解决的技术问题是提供一种立体图像视觉舒适度客观评价方法，其能 够有效地提高客观评价结果与主观感知之间的相关性。
[0005] 本发明解决上述技术问题所采用的技术方案为；一种立体图像视觉舒适度客观评 价方法，其特征在于包括W下步骤：
[0006] ①将待评价的立体图像的左视点图像记为也(X，y)}，将待评价的立体图像的右 视点图像记为{Ic(x，y)}，将待评价的立体图像的右视差图像记为{屯片7)}，其中，此处 (X，y)表示待评价的立体图像中的像素点的坐标位置，1《X《W，1《y《H，W表示待评价 的立体图像的宽度，H表示待评价的立体图像的高度，I^x，y)表示（I^x，y)}中坐标位置 为（x，y)的像素点的像素值，lE(x，y)表示{lE(x，y)}中坐标位置为（x，y)的像素点的像素 值，dK(x，y)表示（dK(x，y)}中坐标位置为（x，y)的像素点的像素值；
[0007] ②利用基于图论的视觉显著模型提取出也片y)}的显著图，记为怯ME(x，y)};然后根据怯ME(x，y)}和{屯片州，获取{lE(x，y)}的视觉显著图，记为 化,6,6。片7)}，将化16^片7)}中坐标位置为片7)的像素点的像素值记为55,6,6。片7)， 、。，。(-r，>'）=巧j) +CT;X(//,(.v，.r);其中，SMk(X，y)表示怯Mk(X，y)}中坐标位置为 (X，y)的像素点的像素值，巧表示SMk(x，y)的权重，町表示屯片y)的权重，巧+听=1 ;
[0008]⑨根据怯stere。^，y)}和（屯片y)}，获取（屯片y)}中的所有像素点的显著加权视 差幅值fl、显著加权视差对比度f2、显著加权视差散度fs、显著加权视差偏度f4、平均最大视 差fs和平均最小视差f6,然后将fi、f2、fs、f4、fs和f浪顺序进行排列得到{cU(X，y)}的初 级视觉特征矢量，记为Fp，Fp= [f。f2,fs，f4,fs，fe]，其中，Fp的维数为6,符号"□"为矢量 表不符号；
[0009] ④利用视差转换算法计算{dE(x，y)}的角视差图像；然后利用不同神经元的视差 调制函数对{dE(x，y)}的角视差图像进行调制操作，得到{dE(x，y)}的角视差图像中的不同 神经元在不同视差区间的响应；再根据{dc(x，y)}的角视差图像中的不同神经元在不同视 差区间的响应，获取{dE(x，y)}的高级视觉特征矢量，记为Fa，Fa=[r1，r2,…，rj，=片I， 其中，Fg的维数为13,符号"□"为矢量表示符号，1《i《13,符号"II"为取绝对值符号， 表示{dc(x，y)}的角视差图像中的第i个神经元在所有视差区间的响应构成的向量经最 大池化后得到的特征矢量；
[0010] ⑥将Fp和F。组合成一个新的特征矢量，记为X，X= [Fp，Fj，然后将X作为待评价 的立体图像的特征矢量，其中，符号"□"为矢量表示符号，X= [Fp，Fj表示将Fp和F。连接 起来形成一个新的特征矢量；
[0011] ⑧将M副各不相同的立体图像构成一个立体图像集合；然后利用主观质量评价方 法获取立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值，将立体图像集 合中的第m副立体图像的视觉舒适度的平均主观评分均值记为MOSm;再按照步骤①至步骤 ⑥获取待评价的立体图像的特征矢量X的操作，W相同的方式获取立体图像集合中的每幅 立体图像的特征矢量，将立体图像集合中的第m副立体图像的特征矢量记为Xm;其中，M表 示立体图像集合中包含的立体图像的幅数，M> 1，1《m《M，MOSmG[1，引；
[0012] ⑦将立体图像集合中的所有立体图像分成训练集和测试集，将训练集中的所有立 体图像的特征矢量和视觉舒适度的平均主观评分均值构成训练样本数据集合，将测试集中 的所有立体图像的特征矢量和视觉舒适度的平均主观评分均值构成测试样本数据集合；然 后采用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训 练，使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，拟合得到最优 的权重矢量w°Pt和最优的偏置项b接着利用W和b构造得到支持向量回归训练模型； 再根据支持向量回归训练模型，对测试样本数据集合中的每个特征矢量进行测试，预测得 到测试样本数据集合中的每个特征矢量对应的立体图像的客观视觉舒适度评价预测值，将 测试样本数据集合中的第q个特征矢量对应的立体图像的客观视觉舒适度评价预测值记 为9。，9。=^《。)，/'巧9)=(八。'")>战)+沪"，其中，1《(1《1-5,8表示训练集中包含的立 体图像的幅数，fO为函数表示形式，X。表示测试样本数据集合中的第q个特征矢量， T为W的转置矩阵，口(Xg)表示测试样本数据集合中的第q个特征矢量的线性函数；之后 通过重新分配训练集和测试集，重新预测得到测试样本数据集合中的每个特征矢量对应的 立体图像的客观视觉舒适度评价预测值，经过N次迭代后计算立体图像集合中的每幅立体 图像的多个客观视觉舒适度评价预测值的平均值，并将计算得到的平均值作为对应那幅立 体图像的最终的客观视觉舒适度评价预测值，其中，N〉100。
[0013] 所述的步骤⑨的具体过程为：
[0014] ⑨-1、根据怯stere〇(X，y)}和{dE(X，y)}，计算{dE(X，y)}中的所有像素点的显著加 权视差幅值，记为fl，
【主权项】
1. 一种立体图像视觉舒适度客观评价方法，其特征在于包括以下步骤： ① 将待评价的立体图像的左视点图像记为！A(x，y)}，将待评价的立体图像的右视点 图像记为{IK(x，y)}，将待评价的立体图像的右视差图像记为{dK(x，y)}，其中，此处（x，y) 表示待评价的立体图像中的像素点的坐标位置，l<x<W，l<y<H，W表示待评价的 立体图像的宽度，H表示待评价的立体图像的高度，IJx，y)表示{IJX，y)}中坐标位置为 (x，y)的像素点的像素值，IK(x，y)表示{IK(x，y)}中坐标位置为（x，y)的像素点的像素值， dK(x，y)表示{dK(x，y)}中坐标位置为（x，y)的像素点的像素值； ② 利用基于图论的视觉显著模型提取出{IK(x，y)}的显著图，记为{SMK(x，y)};然 后根据{SMK (X，y)}和{dK (X，y)}，获取{IK (X，y)}的视觉显著图，记为{SstOTe。(X，y)}， 将{SsteOT(x，y)}中坐标位置为（x，y)的像素点的像素值记为S&^ky)， (X，y)的像素点的像素值，％表示SMK(x,y)的权重，ar2表示dK(x,y)的权重，％ =1; ③ 根据出&^匕一丨和丨士匕":^获取丨士匕一丨中的所有像素点的显著加权视差幅 值、显著加权视差对比度f2、显著加权视差散度&、显著加权视差偏度&、平均最大视差4 和平均最小视差f6，然后将f\、f2、f3、f4、4和f6按顺序进行排列得到{dK(x，y)}的初级视 觉特征矢量，记为FP，FP=[fpf2,f3,f4,f5,f6]，其中，F#维数为6,符号"[]"为矢量表示 符号； ④ 利用视差转换算法计算{dK(x，y)}的角视差图像；然后利用不同神经元的视差调制 函数对{dK(x，y)}的角视差图像进行调制操作，得到{dK(x，y)}的角视差图像中的不同神经 元在不同视差区间的响应；再根据{dK(x，y)}的角视差图像中的不同神经元在不同视差区 间的响应，获取{dK(x,y)}的高级视觉特征矢量，记为Fa，Fa=[rr2，…，r13]，G=|i;|，其 中，匕的维数为13,符号"[]"为矢量表示符号，1 <i< 13,符号"|I"为取绝对值符号， A表示{dK(x，y)}的角视差图像中的第i个神经元在所有视差区间的响应构成的向量经最 大池化后得到的特征矢量； ⑤ 将FjPFa组合成一个新的特征矢量，记为X，X=[Fp，FJ，然后将X作为待评价的立 体图像的特征矢量，其中，符号"[]"为矢量表示符号，X= [FP，FJ表示将FjPFa连接起 来形成一个新的特征矢量； ⑥ 将M副各不相同的立体图像构成一个立体图像集合；然后利用主观质量评价方法获 取立体图像集合中的每副立体图像的视觉舒适度的平均主观评分均值，将立体图像集合中 的第m副立体图像的视觉舒适度的平均主观评分均值记为MOSm;再按照步骤①至步骤⑤获 取待评价的立体图像的特征矢量X的操作，以相同的方式获取立体图像集合中的每幅立体 图像的特征矢量，将立体图像集合中的第m副立体图像的特征矢量记为Xm;其中，M表示立 体图像集合中包含的立体图像的幅数，M彡1，1彡m彡M，MOSmG[1，5]; ⑦ 将立体图像集合中的所有立体图像分成训练集和测试集，将训练集中的所有立体图 像的特征矢量和视觉舒适度的平均主观评分均值构成训练样本数据集合，将测试集中的所 有立体图像的特征矢量和视觉舒适度的平均主观评分均值构成测试样本数据集合；然后采 用支持向量回归作为机器学习的方法，对训练样本数据集合中的所有特征矢量进行训练， 使得经过训练得到的回归函数值与平均主观评分均值之间的误差最小，拟合得到最优的权 重矢量￥_和最