一种针对垂直视差的3D视频舒适度评价方法与流程

本发明属于立体图像舒适度评价和3D图像处理技术领域，具体涉及一种针对垂直视差的3D视频舒适度评价方法。

背景技术：

随着科学技术的进步，人们对事物的认知不断深入，已经不再满足从二维图像中获得有限的信息，而是渐渐享受三维视觉带来的沉浸感。然而，随着3D电视的普及，各种技术问题接踵而至，对立体视频相关产业的发展也带来了不利的影响。

立体显示技术的理论基础是双眼视差，由于辐辏和调节不一致的矛盾，以及垂直视差不可避免等因素，观众在长时间观看3D视频时会产生视觉疲劳。垂直视差形成的原因有很多：支架的形变，摄像机内部感光元件的不一致性，以及人类的工艺不可能做到精确无误，都会产生不同程度的垂直视差。垂直视差的存在，会影响合成的3D视频的质量，进而出现图像模糊，严重的垂直视差会使视频出现“跳跃”现象，甚至不能观看。同时，垂直视差会导致梯形效应或者其它几何失真，对3D视频的观视舒适度会产生负面的影响。因此，垂直视差对立体视觉造成的影响不可小觑。

目前,关于3D视频舒适度的测量和判定缺乏科学统一的标准，国内外专家学者针对3D视频舒适度影响因素的研究也很有限。如何建立一个针对垂直视差的3D视频舒适度客观评价模型，对3D视频相关产业的进一步发展具有重要的意义。

技术实现要素：

本发明的目的在于提供一种能准确地反映垂直视差对3D视频舒适度的影响，并为3D视频舒适度的评价提供依据的针对垂直视差的3D视频舒适度客观评价方法。

本发明的针对垂直视差的3D视频舒适度评价方法包括下列步骤：

1.1利用尺度不变特征转换(SIFT,Scale-invariant feature transform)算法提取双目立体视图的特征点，并根据匹配特征点计算垂直视差，得到3D视频每一帧左右视图的垂直视差值；

1.2根据步骤1.1所得3D视频每一帧左右视图的垂直视差值，计算基于图像特征点的图像分辨率影响因子和观视距离影响因子；

图像分辨率影响因子的数学表达式为：

观视距离影响因子的数学表达式为：

上述二数学表达式中：h为一帧图像的高；d(x,y)为3D视频中左右视图每个特征点的垂直视差值，单位为像素，其中(x,y)为特征点的坐标；ds(x,y)为每个特征点的屏幕垂直视差值，单位为厘米，由d(x,y)和实际屏幕大小、屏幕分辨率换算得到；D为观视距离；th表示偏差阈值，th＝1，单位为厘米/米——表示在1米的观视距离上产生的1厘米屏幕垂直视差；

1.3根据步骤1.2所得到的基于图像特征点的图像分辨率影响因子和观视距离影响因子，建立针对垂直视差的3D视频每一帧的舒适度客观评价模型，其数学表达式为：

针对垂直视差的一段3D视频的舒适度客观评价模型，其数学表达式为：

上述二数学表达式中：vcm表示针对垂直视差的3D视频每一帧的舒适度评价客观评分；VC表示针对垂直视差的一段3D视频的舒适度评价客观评分；α和β为加权权值，且α＝β＝0.5；w1i和w2i分别表示每一帧图像的第i个特征点的图像分辨率影响因子和观视距离影响因子；N表示一帧图像的特征点的个数；M表示一段视频的帧数。

本发明提出的针对垂直视差的3D视频舒适度客观评价方法，从定量的角度能够准确地反映图像分辨率大小和观视距离对3D视频舒适度的影响，从而能对3D视频舒适度的评价提供依据。

附图说明

图1为针对垂直视差的3D视频舒适度评价方法的流程图

图2为ballet.bmp左立体图像示意图

图3为ballet.bmp右立体图像示意图

图4为以图像分辨率大小为变量的ballet序列针对垂直视差的3D视频舒适度评价值VC的主客观散点示意图

图5为以观看距离为变量的ballet序列针对垂直视差的3D视频舒适度评价值VC的主客观变化曲线示意图

图6为以垂直视差为变量的ballet序列针对垂直视差的3D视频舒适度评价值VC的主客观变化柱状示意图

具体实施方式

下面结合附图和实例，对本发明的具体实施方式作进一步详细描述。

为了从定量的角度研究垂直视差对3D视频观视舒适度的影响，本发明提出一种针对垂直视差的3D视频舒适度客观评价方法。

一、本发明的针对垂直视差的3D视频舒适度评价方法包括下列步骤：

(1)利用尺度不变特征转换(SIFT,Scale-invariant feature transform)算法提取双目立体视图的特征点，并根据匹配特征点计算垂直视差，得到3D视频每一帧左右视图的垂直视差值；

(2)根据步骤(1)所得3D视频每一帧左右视图的垂直视差值，计算基于图像特征点的图像分辨率影响因子和观视距离影响因子；

图像分辨率影响因子的数学表达式为：

观视距离影响因子的数学表达式为：

上述二数学表达式中：h为一帧图像的高；d(x,y)为3D视频中左右视图每个特征点的垂直视差值，单位为像素，其中(x,y)为特征点的坐标；ds(x,y)为每个特征点的屏幕垂直视差值，单位为厘米，由d(x,y)和实际屏幕大小、屏幕分辨率换算得到；D为观视距离；th表示偏差阈值，th＝1，单位为厘米/米——表示在1米的观视距离上产生的1厘米屏幕垂直视差；

(3)根据步骤(2)所得到的基于图像特征点的图像分辨率影响因子和观视距离影响因子，建立针对垂直视差的3D视频每一帧的舒适度客观评价模型，其数学表达式为：

针对垂直视差的一段3D视频的舒适度客观评价模型，其数学表达式为：

上述二数学表达式中：vcm表示针对垂直视差的3D视频每一帧的舒适度评价客观评分；VC表示针对垂直视差的一段3D视频的舒适度评价客观评分；α和β为加权权值，且α＝β＝0.5；w1i和w2i分别表示每一帧图像的第i个特征点的图像分辨率影响因子和观视距离影响因子；N表示一帧图像的特征点的个数；M表示一段视频的帧数。

二、进行主观评价实验，其具体步骤如下：

(1)实验选用国际视频组织提供的标准视频序列作为测试片源，每段视频序列的播放时间为40s，播放间隔为20s；

(2)实验选取双目视觉生理正常(裸视或佩戴眼镜矫正视力达到1.0)的被试者共20人：其中年龄为20-35岁；男性10人，女性10人；被试者均为没有观测经验的评定人员，并且被试者在接受测试前接受一系列相关的培训，以保证可以得到较为合理的评判结果；

(3)实验在NVIDIA 3D Vision显示平台下进行，放映设备采用Sony VPL-HW30ES立体视频投影机，通过Stereoscopic Player立体视频播放器实现3D视频片源播放，观测者佩戴Sony主动快门式眼镜完成对立体视频的观看；

(4)实验一设定3D视频的垂直视差值保持不变，观视距离为3m，将标准测试序列的图像分辨率缩小一半，进行观看；

(5)实验二设定3D视频的垂直视差值保持不变，图像分辨率为原标准测试序列的大小，改变观测者的观视距离，分别选取1.5m、2m、2.5m、3m的距离观看立体视频；

(6)实验三设定3D视频的图像分辨率为原标准测试序列的大小，观视距离保持3m不变，分别观看六组不同视点的序列(以ballet序列为例，六组序列的垂直视差不同)；

(7)设定3D视频观视舒适度主观评价的方法：

式中：m表示立体图像舒适度评分等级数，ci表示第i类对应的评分级数，ni表示选择第i类评分级数的人数。

三、下面以具体的测试实例，来验证本发明提出的针对垂直视差的3D视频观视舒适度客观评价方法。

本次实验片源以ballet序列(分辨率1024×768)作为主要的测试对象，帧刷新频率为每秒25帧，计算和统计测试序列的主客观评价得分，其中立体视频主观评价评分标准见表1。

(1)参见图4，设定3D视频的垂直视差值保持不变，观视距离为3m，将ballet序列的图像分辨率由1024×768缩小一半至724×543，进行观看得到的针对垂直视差的3D视频舒适度评价值VC的主客观散点示意图。

(2)参见图5，设定3D视频的垂直视差值保持不变，图像分辨率为原ballet序列的大小，改变观测者的观视距离，分别选取1.5m、2m、2.5m、3m的距离观看立体视频得到的针对垂直视差的3D视频舒适度评价值VC的主客观变化曲线示意图。

(3)参见图6，设定3D视频的图像分辨率为原ballet序列的大小，观视距离保持3m不变，分别观看六组不同视点的ballet序列,六组序列(按照序号1—6排列)的平均垂直视差值依次为6.159、6.805、8.561、9.916、15.355、23.848，从而得到了针对垂直视差的3D视频舒适度评价值VC的主客观变化柱状示意图。

实验结果分析：

(1)实验一体现了图像分辨率大小与垂直视差的关系，由图4可以看出：将ballet序列的图像分辨率缩小一半后，垂直视差也会随之减小，进而提升了观视舒适度，符合人眼的视觉感知特性。

(2)实验二体现了观视距离与垂直视差的关系，由图5可以看出：观视距离在3m时，能够获得最好的观影效果。靠近屏幕越近，会出现不同程度的重影、模糊等现象，从而导致观视舒适度下降，评分值降低。客观预测值和主观评分值具有较好的一致性。

(3)实验三体现了垂直视差与观视舒适度的关系，由图6可以看出：随着垂直视差值的增大，视觉疲劳感会加剧，舒适度评分值呈下降趋势，提出的客观评价方法与主观评分结果具有较强的相关性。由此可以证明本发明提出的针对垂直视差的3D视频舒适度客观评价方法的正确性。