基于融合时间的立体图像舒适度主观评价方法与流程

本发明属于图像处理领域，尤其立体图像的主观舒适度评价系统，涉及一种基于立体图像融合时间的立体图像视觉舒适度主观评价方法。

背景技术：

立体图像提供了视差信息来增强图像的真实感，给观察者以身临其境的感受，增强观看者对事物的兴趣度和认知度。但是左右图像不匹配，视差过大，辐辏与调节矛盾等因素都可以产生视觉不适，因此立体图像舒适度的评价是一个亟须解决的问题。3D视疲劳的评价方法主要分为主观评价方法和客观评价方法两种。主观评价方法是利用观察者直接进行评判，得到的结果能够更直接更好地反映被试者的观看舒适度。客观评价方法具有速度快、费用低、方便计算机处理和实现的特点，但是和主观评价值之间存在一定的误差。迄今为止，研究者对主观感知领域进行了大量的研究，而对客观评价模型的研究起步较晚，且发展较缓慢。

立体图像舒适度主观评价方案一般包括立体图像库的建立、观看条件、评选者的选定、评测者的训练和测试、数据处理和实验结果与分析这几部分内容。主观实验要选择合适的观看条件，并对评选者进行培训，以确保实验结果更加准确。最后，处理实验数据，分析实验结果并得出最终的结论。

技术实现要素：

本发明针对立体观看舒适度的问题，提出了一种基于立体图像融合时间的立体图像视觉舒适度的主观评价方法。本发明的技术方案如下：

一种基于融合时间的立体图像舒适度主观评价方法，包括下列步骤：

第一步，选用分辨率为1920×1080的随机点深度图作为实验刺激，并通过E-prime软件对实验方案进行设计，实验方案分为两个部分，第一部分为测试融合时间实验，第二部分为评分实验；在融合时间实验中，选取多种形式的实验刺激，每种实验刺激随机呈现六次，每张刺激图片最多呈现3秒钟，每呈现30张刺激图片让被试者休息一次；在评分实验中，选取矩形方块宽度为70、90和110个像素点的视差图片，每张实验图片随机呈现2次，每次也是最多呈现3秒，被试者可按照评分界面内容选择键盘上‘1’、‘2’、‘3’、‘4’、‘5’键中其中一键进行评分，每显示60张视差图片让被试者休息一次；

第二步，使用分辨率为1920×1080的21英寸AOC立体显示屏，营造良好的观看环境，并选择合适的观看距离；

第三步，通过立体视觉验证，筛选出双目视觉生理正常，具有责任心且能够准确表达自身测试感受的被试者进行实验；

第四步，对被试者进行测试；

第五步，实验结束后，对实验数据进行处理和分析，方法如下：

(1)使用Grubbs算法先对数据中的奇异值进行剔除处理，对得到的新的数据，计算均值，再用均值替换被剔除的数据；

(2)使用多因素方差分析法MANOVA探究视差、刺激宽度以及两者交互作用对融合时间的影响；

(3)使用多项式拟合法对反应时间T进行建模，得到系数向量；

(4)我们对融合时间与主观评价舒适度分数之间的关系进行分析，绘制关系散点图。

本发明通过实验验证了被试者的立体图像融合时间可以作为立体图像舒适度评价的一个标准。针对本发明所生成的立体图片素材，我们分析结果发现融合时间会随着视差的增大而上升，随着刺激宽度的增大而下降，并通过分析融合时间与主观评分间的关系得出融合时间与主观舒适度间有着很高的相关性。以融合时间作为评价主观舒适度的一个指标，有助于图像观看舒适度的提高。

附图说明

图1实验随机点深度图

图2实验注视点图

图3实验过程图

图4实验原理图

图5融合时间与视差的关系图

图6拟合的反应时间函数图

图7融合时间与主观评分的关系散点图，上中下三个图的刺激宽度分别为70、90和110个像素点。

具体实施方式

下面结合附图对本发明做进一步阐述。

本发明首先测试被试对所建立的立体图像数据库中图像的融合时间，然后再让被试对图像进行打分，从而得到融合时间与观看舒适度之间的关系。具体做法如下：

第一步，选用分辨率为1920×1080的随机点深度图作为实验刺激，并用E-prime对实验方案进行设计。如图1所示，随机点深度图包含三部分，第一部分是视差为2.1°的背景；第二部分是视差为零的黑色方框，用于定义零视差平面；第三部分为用于观察的矩形条，其宽度从30个像素点变到110个像素点，步进长度为20个像素点，共5个等级，每个宽度下视差变化范围为-2°到2°，步进为0.1°，如图1中的矩形条所示。

在整个融合实验过程中，共有105种形式的实验刺激，每种实验刺激随机呈现六次。每幅刺激图片出现之前，会呈现一幅视差为零的注视点图(如图2所示)，为避免预测效应，使其随机呈现1.5s到2s，该注视点图用于提高被试注意力，使得刺激出现之前调节和辐辏具有一致性。实验中，每张刺激图片最多呈现3秒钟，在这3秒钟内若被试能识别矩形方块，则按‘1’键，程序会记录融合时间并自动跳转到下一张注视点界面。若呈现时间到达3秒被试仍未能融像，程序会自动跳转到下一张注视点界面，并放弃本次记录的反映时间，以0代替。整个实验过程如图3所示，为防止被试过于疲劳，每30张图片会让被试休息一次。

在评分实验中，为防止实验时间过长而导致被试疲劳度增加，本实验只选取矩形方块宽度为70、90和110个像素点的视差图片，这些视差图片拥有相同的视差变化范围。实验中设置每张实验图片随机呈现2次，每次也是最多呈现3秒，3秒后程序会自动跳转到评分界面，被试可按照评分界面内容(1分为非常不舒适，2分为不舒适，3分为有点不舒适，4分为舒适度一般，5分为舒适)选择键盘上‘1’、‘2’、‘3’、‘4’、‘5’键中其中一键进行评分，评分后程序会自动跳转到注视点界面。此实验每显示60张图片便让被试者休息一次。

第二步，本实验选择使用分辨率为1920×1080的21英寸AOC立体显示屏，让被试坐在远离屏幕高度3倍远的地方，实验环境是在一个安静且光线较暗的屋内。实验原理图如图4所示。

第三步，实验的一个重要部分是选择双目视觉生理正常的被试者进行实验，并且要求被试具有责任心，能够及时且较准确地表达自身测试感受。我们选取了7名(3名女性，4名男性)符合要求的被试进行实验。

第四步，实验前先对被试者进行训练，使其熟悉实验内容。在正式实验开始前利用实验程序先让被试进行模拟实验，以便被试能够更好地了解实验进程与实验内容，模拟实验在被试充分熟悉实验内容，并能够正常进行融合反应时结束。在7名被试进行完融合时间实验后，我们再另选时间让被试进行评分实验。实验开始前仍需对被试进行模拟实验，直至被试能够准确掌握实验内容后再进行正式实验。

第五步，实验结束后对数据进行处理和分析。

(1)数据处理

主观实验后，我们使用Grubbs算法对数据

中的奇异值进行剔除处理。首先对将进行数据剔除的实验数据从小到大进行排序，然后再对数据进行剔除，计算公式如下：

$S=\sqrt{\frac{{\mathrm{\Σ}}_{i=1}^n{(x_i-\stackrel{\‾}{x})}^2}{n-1}}---\left(1\right)$

$G_n=\frac{x_i-\stackrel{\‾}{x}}{S}---\left(2\right)$

$G_n^{\′}=\frac{\stackrel{\‾}{x}-x_i}{S}---\left(3\right)$

其中x₁为最小值，x_i是排序后的第i个数据，是此组所有统计数据的平均值。n为一组数据的个数，S为数据的标准差。首先，计算平均值并通过公式1得到标准差S的值，然后利用公式2、公式3分别计算G_n和G'_n。设定检验标准α为0.05，由Grubbs检验值表得到如果则相应的x_i是一个异常值，将它从数据中剔除。如果表示x₁是一个异常值，将其剔除。检验结束后，得到一组新的数据，计算均值，再用均值替换掉被剔除的数据。

(2)数据分析

我们使用多因素方差分析(MANOVA)方法探究视差、刺激宽度以及两者交互作用对融合时间的影响。通过分析我们发现视差对融合时间有很大的影响(F(20,80)＝137.079，p<0.01)，同样，刺激宽度对融合时间也有一定的影响(F(4,80)＝206.679，p<0.01)。另外，融合时间也受视差与刺激宽度交互作用的影响(F(105)＝4.088，p<0.01)。如图5所示，在视差为非交叉视差的情况下，融合时间随着视差值的下降而变长，而在视差为交叉视差的情况下，融合时间随着视差值的上升而变长。从图中我们还可以看出，在视差值相同的情况下，交叉视差比非交叉视差需要更长的融合时间。同时我们能够发现，刺激宽度越窄融合时间越长。

我们使用多项式拟合法对反应时间T进行建模。首先我们需要考虑重要因素d与w，然后选择关于d与w的反应时间T的立方模型如下：

T＝T(d,w)＝P₀₀+P₁₀·x+P₂₀·x²+P₁₁·x·y+P₀₂·y²

+P₃₀·x³+P₂₁·x²·y+P₁₂·x·y²+P₀₃·y³ (4)

其中系数矩阵P＝[P₀₀,P₁₀,P₂₀,P₁₁,P₀₂,P₃₀,P₂₁,P₁₂,P₀₃,]通过拟合来确定。拟合后，我们得到的系数向量为P＝[584.9,-90.96,15701,51064,-38.21,304.4,-2.78,-12.43,-71.19,-15.89]，拟合后的反应时间函数T的模型如图6所示，其R²＝0.932，其中黑点代表真值。

之后我们对融合时间与主观评价舒适度分数之间的关系进行了分析。主观评价分数与融合时间的关系散点图如图7所示，在刺激宽度为70、90与110个像素点的情况下，它们的PLCC值分别为0.9560,0.9359和0.9620。这反映了在融合时间与视觉舒适度间有着很高的相关性，因此融合时间能够作为一个评估由双目视差所引起的视觉不舒适度的有效工具。