应用erp技术评价压缩的立体图像舒适度问题的方法
【专利摘要】本发明涉及一种应用ERP技术评价压缩的立体图像舒适度问题的方法，包括：对原始立体图像对进行不同压缩比的压缩处理；搭建ERP实验平台，进行客观实验，选取事件相关电位作为客观评价指标，分析事件相关电位，分析不同压缩等级条件下事件相关电位的幅值和潜伏期的差异性；进行主观实验，确立立体图像舒适度的评分标准，对不同压缩比的原始立体图像对得到主观评价分数MOS；分析和对比主观行为数据与ERP数据，建立应用ERP技术评价压缩的立体图像舒适度问题的方法。本发明相对于传统的客观评价方法本发明更具有鲁棒性和普适性。
【专利说明】
应用ERP技术评价压缩的立体图像舒适度问题的方法
技术领域
[0001] 本发明属于图像舒适度评价领域，涉及应用事件相关电位（Event Related Po tent ia I s，ERP)技术评价压缩的立体图像带来的舒适度问题。
【背景技术】
[0002] 3D显示技术与2D显示技术相比能给观看者更真实的视觉体验，因此被广泛应用。 与此同时，健康和安全问题也得到了越来越多的关注。各种各样的因素都可以导致观看者 观看立体图像时产生视觉不适，例如，左右图像不匹配，视差过大，辐辏与调节矛盾，物体运 动过快等。立体图像舒适度评价是一个亟待解决的问题。目前，3D视觉疲劳的评价方法主要 分为主观评价方法和客观评价方法两种。但是，两种方法都存在缺陷。基于用户研究的主观 评价方法耗时大，同时结果往往趋于研究者的意愿。提取图像特征的客观评价方法方便，如 峰值信噪比（PSNR)，均方误差(MSE)和结构性相似度(SSM)。然而，对于不同类型的失真，它 不具备鲁棒性和普适性。因此，越来越多的研究者在探索评价图像和视频舒适度问题的新 方法，如眨眼，事件相关电位，功能性磁共振成像(FMRI)。
[0003] 与2D图像相比，3D图像占用更大的存储空间，需要更快的传输速度。因此，在存储 和传输前要对图像进行压缩处理以减少数据量。压缩通常会导致图像信息缺失和图像质量 下降，产生视觉不舒适感。因此，本发明试图应用ERP技术评价对称压缩的立体图像导致的 视觉舒适度问题。
【发明内容】
[0004] 本发明的目的在于提供一种应用ERP技术评价压缩的立体图像带来的舒适度问题 的方法。技术方案如下：
[0005] -种应用ERP技术评价压缩的立体图像舒适度问题的方法，包括下列步骤：
[0006] 1)对原始立体图像对进行不同压缩比的压缩处理；
[0007] 2)搭建ERP实验平台，进行客观实验，选取事件相关电位作为客观评价指标，分析 事件相关电位，分析不同压缩等级条件下事件相关电位的幅值和潜伏期的差异性；
[0008] 3)进行主观实验，确立立体图像舒适度的评分标准，对不同压缩比的原始立体图 像对得到主观评价分数MOS;
[0009] 4)分析和对比主观行为数据与ERP数据，建立应用ERP技术评价压缩的立体图像舒 适度问题的方法。
[0010]本发明的有益效果在于基于ERP技术的客观评价方法源于人的生理指标，更符合 人的切实感受，相对于传统的客观评价方法本发明更具有鲁棒性和普适性。
【附图说明】
[0011] 图1、2为本实验采取的立体实验材料(左视图和右视图）；
[0012] 图3为被试检测率的Psychometric曲线图；
[0013]图4为主观评价分数分布图；
[0014]图5为电极CPZ上记录的ERP波形(压缩等级1、2、3、4的响应波形）；
[0015]图6为电极PZ上记录的ERP波形(压缩等级1、2、3、4的响应波形）；
[0016] 图7,图8,图9,图10,图11，图12,图13分别为不同的主观评价分数MOS值与P300成 分的幅度的关系图。
【具体实施方式】
[0017] 为使本发明的技术方案更加清楚，下面对本发明【具体实施方式】做进一步地描述。
[0018] 1.对原始立体图像对(如图1、2所示)进行压缩处理，压缩比如表1所示。
[0019]实验素材为一般生活场景中的两幅双视点立体图像对(分辨率：1920 X 1080)，对 原始立体图像对进行JEPG压缩处理得到不同压缩比的立体图像对。每一种图像都有出屏和 入屏两种显示信息。
[0020]表1实验图像和压缩等级
L〇〇22」注意，在压缩比一栏中，第一个数和第二个数分别表示原始图像和压缩图像 [0023] 2.搭建ERP实验平台，进行客观实验，选取事件相关电位作为客观评价指标，分析 事件相关电位
[0024] (1)搭建ERP实验平台，被试进行实验准备工作
[0025] ERP实验平台包括立体显示器（刺激呈现装置）、2台高性能计算机、32导电极帽 (Ag-AgCl电极，采用10-20国际脑电记录系统）、Neuroscan信号放大器、偏光式立体眼镜。 [0026]所有被试自愿参加本次实验，在实验之前，确保被试视力或矫正视力正常。在正式 开始实验之前先让被试熟悉实验过程和实验任务。实验之前被试需要洗头以降低头皮与电 极之间的阻抗。让被试坐在光线微暗和隔绝噪音的实验环境中进行实验，以减少外部因素 对实验数据的影响。
[0027] 实验选用21英寸AOC立体显示器(分辨率为1920 X 1080)，刷新频率为60Hz。被试坐 在离显示屏78cm的舒服的椅子上，佩戴偏光式立体眼镜，图像刺激采用经典的oddball范 式，第一种压缩等级占60%，而其它三种压缩等级各占13.3%。待被试的脑电波平稳后开始 实验。每个实验由许多试次(试次，指一个图像刺激呈现到下一个图像刺激呈现的全过程） 组成，每个试次又由四部分组成。1)、显示器正中央呈现一个白色圆亮点，提醒被试双眼汇 聚在屏幕中央。2)、一个标准的无压缩的立体图像呈现600m S(33)、三种压缩等级之中的一种 图像被随机的呈现在屏幕上600mS(34)、白色圆亮点再次呈现在屏幕上，被试需要对刺激进 行快速的判断。如果感觉压缩图像与标准图像相比，存在不舒适感，点击鼠标右键，反之则 点击鼠标左键，点击鼠标的同时触发了下一个实验试次。每组实验有486个试次。
[0028] (2)测量和存储被试的脑电信号
[0029] 本发明中的EEG信号由Neuroscan公司生产的32导电极帽记录。在记录阶段EEG信 号经Neuroscan SyAmps2放大器以1000 Hz的采样频率被记录，同时以0.05Hz_100Hz的带通 滤波器滤波去除漂移成分和直流相位偏移成分。实验过程中，被试的行为数据被记录在E-prime2.0软件中，被试的脑电数据由Neuroscan 4.5软件记录在硬盘中。
[0030] (3)离线处理被试的脑电信号，得到事件相关电位作为客观评价指标，提取ERP信 号中的重要成分
[0031 ]实验结束后对记录到的脑电数据用Neuroscan4.5软件直接地进行离线分析。1)、 进行脑电预览去除脑电漂移比较厉害的无效脑电数据。2)、去除眼电的影响。3)、对数据进 行分段处理，分段区间为刺激呈现前IOOms至呈现后600m S(34)、进行基线校正，即将数据的 基线调整到0电位。5)、进行分类叠加平均，提高信噪比，提取ERPA)、分别对分类叠加平均 后的每个事件进行0.OlHz至35Hz的带通滤波处理。7)、去除伪迹，去除振幅超出一定值的 脑电段。在刺激呈现后300-320ms处提取ERP信号中的P300成分。
[0032] 本发明主要研究P300成分，因为P300成分广泛分布在顶叶和大脑中叶以及周边区 域，因此本发明主要分析了位于这些区域的八个电极(PZ、CPZ、CZ、FCZ、CP3、CP4、C3、C4)。
[0033] (4)分析不同压缩等级条件下P300成分的幅值和潜伏期的差异性
[0034] P300主要分布在？2、0?2、02、？02、0?3、0?4、03工4等电极，以0?2和？2电极为例分析 P300成分。从图5、6可以看出，压缩比的变化明显体现在被试脑电数据上，不同的压缩等级 具有不同的平均幅值，压缩比越大幅值越高。从等级4到等级1，平均幅值分别减小。压缩比 越大潜伏期越短。P300成分的峰值随着实验任务难度的增大而减小，潜伏期变长。同时，随 着任务难度的加大响应时间出现延迟并且准确率降低。随着压缩比的增加，3D图像显示效 果变差，从而引起视觉不适，所以被试很容易辨别出。此外，随着压缩等级的减小P300成分 的潜伏期增加。我们可以直观地看出本发明中压缩比越大P300成分峰值越高。
[0035] 对顶叶和大脑中叶以及周边区域电极的平均幅值统计结果做重复性方差分析(采 用Greenhouse-Geisser对数据进行球形校正），实验结果如表2所示。
[0036] 表2每个电极幅度的方差分析结果，括号中是标准差
[0038] 备注，与等级1有显著性差异(p〈0.05)，与等级2有显著性差异(p〈0.05)，w与等 级3有显著性差异(p〈0.05);
[0039] 等级1:压缩比为1:1;等级2:压缩比为1:0.61;等级3:压缩比为1:0.52;等级4:压 缩比为1:0.44。
[0040] 实验发现:在CPZ和FCZ电极上，等级4与等级1，等级4与等级3，P300成分在幅度上 具有显著性差异(P〈〇. 05)。类似地，在PZ、C3和CZ电极上，等级4与等级1、等级4与等级2具有 显著性差异(P〈〇.〇5)。在CP4和C4电极上，等级4与等级1具有显著性差异(p〈0.05)。从统计 分析的角度来看，ERP中的P300成分的幅度随着压缩等级的不同而不同。此外，等级2与等级 1在幅度上没有显著性差异(p>〇.05)，进一步指出了由压缩引起的小信息损失的3D图像与 原始3D图像差别不大。当信息缺失增加时，等级4与等级1、等级4与等级2在幅度上具有显著 性差异(P〈〇.05)，因此大压缩比导致的视觉不适容易辨别出来。
[0041]综上所述，本发明中采集到的不同压缩等级的立体图像诱发的脑电信号是客观存 在的，并且存在差异性，所以本发明可以作为一种新型的评价立体图像舒适度的客观评价 方法。
[0042] (5)将不同被试针对不同刺激的检测率进行曲线拟合
[0043] 在本实验中，将每种压缩等级的右键点击数与总共点击数的比值称为检测率。
[0044] 应用Psychometric函数对每位被试的检测率进行曲线拟合，如图3所示。检测率随 着压缩比的增加而增加，同时也出现了明显的视觉不适感。从图中可以直观地看出当压缩 等级被设置在3和4时视觉不适感快速增加。
[0045] 3.进行主观实验，确立立体图像舒适度的评分标准，得到主观评价分数MOS
[0046] (1)被试对不同压缩等级的立体图像刺激进行打分
[0047] 脑电实验结束后，被试需要对相同的实验刺激进行主观评价。采用国际电信联盟 通用的5分制评价标准（1:非常差、2:差、3:-般、4:好、5:非常好）的单刺激主观分级法。被 处理的不同压缩比的图像随机呈现给被试5秒钟，被试应按照5分制评价标准做出评价。 [0048] 表3国际5分制评分标准
[0051 ] (2)对打分结果计算均值，得到主观评价分数M0S，并进行分析
[0052] 对打分结果计算均值，得到主观评价分数(MOS,Mean option Score)。均值计算公
式如下：
[0053] 式中代表被试i对压缩等级j的打分结果，j代表不同 的压缩等级。
[0054] 不同压缩等级刺激下的评分结果如图4所示，其中横坐标代表压缩等级，纵坐标代 表所有被试主观评分的平均分数。结果表明，MOS值越低，3D图像的压缩程度越高。
[0055] 4.分析和对比主观行为数据与ERP数据
[0056] 结合实验中的主观行为数据与ERP数据分析可得:压缩过大可能会导致观看者产 生不适感。当压缩比增加时，被试检测率增大;P300成分幅度增加，潜伏期变短;主观评价分 数减少。主观评价分数MOS值与P300成分的幅度的关系如图7，图8,图9,图10,图11，图12,图 13所示，MOS值越大，P300成分的幅度越小。
[0057] 在本发明之中应用主观评价方法的结果验证了以脑电信号为客观评价方法的结 果的正确性。
[0058]本发明具有以下优点：
[0059] (1)本发明通过采集不同压缩等级的立体图像诱发的脑电信号，对观看者观看的 舒适度进行客观评价。由于提取的是生理信号指标，相对于以往的客观评价指标更具有鲁 棒性和普适性。
[0060] (2)本发明采用客观评价与主观评价相结合的方法，相对于以往单一的主观评价 方法或者客观评价方法更具有说服力，得出的结论更具有可靠性。
[0061] (3)本发明结合主观和客观评价方法得出结论：当压缩比增加时，P300成分幅度增 加，潜伏期变短，主观评价分数减少，检测率增加。
【主权项】
1. 一种应用ERP技术评价压缩的立体图像舒适度问题的方法，包括下列步骤： 1) 对原始立体图像对进行不同压缩比的压缩处理； 2) 搭建ERP实验平台，进行客观实验，选取事件相关电位作为客观评价指标，分析事件 相关电位，分析不同压缩等级条件下事件相关电位的幅值和潜伏期的差异性； 3) 进行主观实验，确立立体图像舒适度的评分标准，对不同压缩比的原始立体图像对 得到主观评价分数MOS; 4) 分析和对比主观行为数据与ERP数据，建立应用ERP技术评价压缩的立体图像舒适度 问题的方法。
【文档编号】H04N19/154GK105915889SQ201610242243
【公开日】2016年8月31日
【申请日】2016年4月19日
【发明人】侯春萍, 刘月, 岳广辉, 马彤彤, 冯丹丹
【申请人】天津大学