一种基于生理数据的观影评价服务系统和方法与流程

1.本发明属于影视传媒技术领域，涉及观影评价服务技术，具体是一种基于生理数据的观影评价服务系统和方法。


背景技术：

2.随着文化产业发展进步以及消费水平的逐步提升，中国的电影市场进入了繁荣发展时期。而观众的观影体验在无形中塑造着影片票房和口碑，因此，观影评价研究对影片的创作和拍摄有着至关重要的参考价值。
3.影像观影评价的原因可分为观影心理因素和观影生理因素,已有研究具体包括视觉疲劳诱发因素分析、电影舒适度评估等。在国外电影行业发达的国家，科学的电影测评评估已成体系，但是使用先进科学的测评设备基于生理数据进行观影评价的系统和方法在目前仍是空白。与此同时，现有的脑电、皮电等生理信号分析无法实时分析佩戴者的状态并进行显示。


技术实现要素：

4.本发明的目的在于提供一种基于生理数据的观影评价服务系统和方法，能够简易、实时高效地将人观看电影时的生理活动数据可视化地反馈给电影从业人员，作为电影评价过程的参考。
5.本发明的目的可以通过以下技术方案实现：
6.一种基于生理数据的观影评价服务方法，所述方法包括以下步骤：
7.步骤1：观影者在观影前填写sam情绪状态主观问卷；
8.步骤2：为观影者佩戴生理信号采集装置；
9.步骤3：通过人机交互界面模块对观影者播放固定时长的影片；
10.步骤4：通过生理信号采集装置内的生理信息采集模块进行多通道生理数据采集；
11.步骤5：观影结束后重复步骤1至4三次；
12.步骤6：观影者通过主观评价模块对观影前后的情绪进行效价评价和唤醒度评价，评价结果输出到数据存储模块；
13.步骤7：分析处理模块接收数据存储模块输出的数据并进行预处理；
14.步骤8：特性显示模块通过可视化手段将信号特征进行展示。
15.进一步地，所述通过生理信息采集模块进行多通道生理数据采集之前还包括：
16.所述人机交互界面模块通过设置通信参数控制信号连接，其中，所述信号连接用于控制生理信息采集模块进行多通道生理数据采集。
17.进一步地，所述生理数据包括脑电波、皮肤电信号、眼动数据、血压、心率以及指温。
18.进一步地，所述数据存储模块负责程序运行中数据的记录、保存和输出。
19.进一步地，所述分析处理模块接收数据存储模块输出的数据并进行预处理，其中，
预处理包括以下步骤：
20.通过分析脑电波的特征、皮肤电信号的特征、眼动数据的特征、心率、血压以及指温的变化情况得出信号特征，并将信号特征输出到特性显示模块。
21.进一步地，所述可视化手段包括脑电地形图、影像运动直方图以及影片节点与生理数据对应图。
22.一种基于生理数据的观影评价服务系统，所述观影评价服务系统包括人机交互界面模块、生理信息采集模块、主观评价模块、数据存储模块、分析处理模块和特性显示模块；
23.所述人机交互界面模块设置为，电影播放与通信参数设置；
24.所述生理信息采集模块设置为，采集观影者的生理数据；
25.所述主观评价模块设置为，对观影前后的情绪进行效价评价和唤醒度评价；
26.所述数据存储模块设置为，记录主观评价模块的评价结果；
27.所述分析处理模块设置为，分析脑电波的特征、皮肤电信号的特征、眼动数据的特征、心率、血压以及指温的变化情况得出信号特征；
28.所述特性显示模块设置为，通过可视化手段将信号特征进行展示。
29.进一步地，所述分析处理模块设置有访问权限。。
30.与现有技术相比，本发明的有益效果是：
31.通过观影者在观影前填写sam情绪状态主观问卷；为观影者佩戴生理信号采集装置；人机交互界面模块对观影者播放固定时长的影片；生理信号采集装置内的生理信息采集模块进行多通道生理数据采集；观影结束后重复步骤三次；观影者主观评价模块对观影前后的情绪进行效价评价和唤醒度评价，评价结果输出到数据存储模块；分析处理模块接收数据存储模块输出的数据并进行预处理；特性显示模块可视化手段将信号特征进行展示，实现了将脑电、皮电等生理信号分析并进行显示，填补了使用先进科学的测评设备基于生理数据进行观影评价的系统和方法的空白。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
33.图1为本发明基于生理信号反馈的观影评价系统的结构示意图。
34.图2为本发明具体实施方式的操作流程图。
35.图3为本发明具体实施方式的主观评价流程图。
具体实施方式
36.下面结合本发明实施例中的附图对本发明实施例进行描述。
37.本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包
括对于这些过程、方法、产品或设备固有的其他步骤或单元。
38.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
39.传统的，影像观影评价的原因可分为观影心理因素和观影生理因素,已有研究具体包括视觉疲劳诱发因素分析、电影舒适度评估等。在国外电影行业发达的国家，科学的电影测评评估已成体系，但是使用先进科学的测评设备基于生理数据进行观影评价的系统和方法在目前仍是空白。与此同时，现有的脑电、皮电等生理信号分析无法实时分析佩戴者的状态并进行显示。
40.针对上述技术问题，本技术提出了一种基于生理数据的观影评价服务系统，另一方面本技术提出了一种基于生理数据的观影评价服务方法；
41.本技术实施例公开的可以应用在个人电脑、智能手机(如android手机、ios手机等)、平板电脑、掌上电脑或者可穿戴设备等电子设备中，也可以应用在电子设备运行的多媒体播放应用(例如qq音乐播放器)或者多媒体编辑应用(例如au)中。
42.基于上述描述，参见图1本发明实施例提出一种基于生理信号反馈的观影评价系统，包括人机交互界面模块1、生理信息采集模块2、主观评价模块3、数据存储模块4、分析处理模块5和特性显示模块6。
43.再具体实施时，系统包括管理员与观影者两类用户，他们具有不同的权限；
44.人机交互界面模块1包含电影播放功能和通信参数设置功能。电影播放功能可实现2d和vr电影的观影。通信参数设置功能实现信息采集模块与计算机之间的连接参数的设置，仅允许管理员进行操作。
45.示例性的，2d影像播放界面包括：影院屏幕、座位；vr影像播放界面包括：vr头显、hdmi线缆、vr手柄、vr定位器、支架、座位等；
46.生理信息采集模块2以生理信号采集系统作为服务器，以计算机作为客户端，来读取生理信号数据，生理信号采集系统通过人机界面模块的通信参数设置控制信号连接，来启动生理信息采集模块2进行多通道生理数据采集。
47.示例性的，生理数据包括采集脑电波、皮肤电信号、眼动数据、血压、心率以及指温；
48.再具体实施时，脑电波采集设备包括脑电信号采集模块、存储模块和分析模块；
49.脑电信号采集模块用于采集脑波信号。存储模块负责程序运行中数据的记录、保存和输出，示例性的，包括记录信号采集模块生成的脑电信号、情绪刺激呈现时刻数据的记录和保存。分析模块对存储模块内的脑电信号数据进行rest重参考滤波、分段、ica独立成分分析对数据进行计算，分析脑电波的特征。rest重参考可以将实际记录的脑电信号直接转换成理想零参考信号，从而可标准化各种脑电记录。
50.示例性的，对于m个电极n个样本记录的头皮脑电图，具有无穷参考wrest的头皮电位可建模为：
51.w
rest
＝s
·
r
ꢀꢀꢀ152.其中，wrest为无限参考的头皮脑电图信号m个电极
×
n个样本，s为头模型中的神
经源k个源
×
n个样本，rm个电极
×
k个源为头模型、电极蒙太奇和源轮廓确定的矩阵。
53.示例性的，对于头皮点we或平均war，可建模为：
54.w
e
＝w
rest
‑
fw
e
＝s
·
r
‑
s
·
fre＝s
·
(r
‑
fge)＝s
·
r
e
ꢀꢀꢀ2[0055][0056]
对应于参考电极，f是矩阵r的列向量m，1，re是矩阵r的行向量1，k wrest中的we和war分别是头皮点和平均参考的行向量，re和rar分别是头皮点和平均参考的矩阵，m是脑电电极的总数。
[0057]
公式1至公式3分别表示无限参考、头皮点参考和平均参考的头皮脑电图记录。
[0058]
再具体实施时，皮肤电信号采集设备包括皮电信号采集模块、存储模块和分析模块；
[0059]
示例性的，皮电信号采集模块用于采集皮电信号；示例性的，存储模块负责程序运行中数据的记录、保存和输出，示例性的，包括皮电信号、情绪刺激呈现时刻皮电数据的记录和保存。示例性的，分析模块对存储模块内的皮电信号数据进行处理分析，将皮电水平scl幅度、皮肤电导反应scr的数量和幅度以及主观评分进行数据拟合；
[0060]
再具体实施时，眼动数据采集设备包括眼动信号采集模块、存储模块和分析模块；
[0061]
示例性的，眼动数据采集模块用于采集使用者眼睛注视区域以及眼睛观看的图像数据。示例性的，存储模块用于对所采集到的眼动信号、区域、瞳孔数据等进行存储。示例性的，眼动数据分析模块根据眼动数据确定瞳孔面积的标准差、用户反应时长、视线角度超出正常范围的次数和视线注视时长。示例性的，通过眼动仪获取的眼动数据包括瞳孔面积、视线运动轨迹等信息，结合用户观看电影时反映出的用户动作行为信息可以获取用户在观影过程中视觉分神、动作分神和脑力负荷情况
[0062]
再具体实施时，还设有血压信号采集模块、心率信号采集模块、指温采集模块。
[0063]
示例性的，血压信号采集模块、心率信号采集模块、指温采集模块用于采集使用者血压、心率、指温数据。存储模块用于对所采集到的生理信号进行存储。
[0064]
分析模块对存储模块内的生理信号数据进行分析处理。
[0065]
主观评价模块3，观影者通过主观评价模块3对观影前后的情绪进行效价评价和唤醒度评价，评价结果输出到数据存储模块4；
[0066]
特性显示模块6，根据分析处理模块5计算得到生理信号特征，以脑电地形图、影像运动直方图、影片节点与生理数据对应图的方式展现出来，此功能仅限管理员使用；
[0067]
参见图2，一种基于生理数据的观影评价服务方法。
[0068]
步骤1：2d电影观影评价流程。管理员引导观影者填写sam情绪状态主观问卷；
[0069]
步骤2：随后为观影者佩戴脑电、皮电、眼动、心率、血压、指温生理信号采集装置；
[0070]
步骤3：打开人机交互界面模块1，引导观影者观看一部长达3分钟的2d电影；
[0071]
步骤4：启动生理信息采集模块2进行多通道生理数据采集；
[0072]
步骤5：观影后引导观影者再次填写sam情绪状态主观问卷。以上过程重复三次。
[0073]
参见图2，一种基于生理数据的观影评价服务方法。
[0074]
步骤1：vr电影观影评价流程。管理员引导观影者填写sam情绪状态主观问卷；
[0075]
步骤2：随后为观影者佩戴脑电、皮电、眼动、心率、血压、指温胜生理信号采集装
置；
[0076]
步骤3：打开人机交互界面模块1，引导观影者观看一部长达3分钟的vr电影；
[0077]
步骤4：启动生理信息采集模块2进行多通道生理数据采集；
[0078]
步骤5：观影后引导观影者填写sam情绪状态主观问卷。以上过程重复三次。
[0079]
上述一种基于生理数据的观影评价服务方法还包括：
[0080]
步骤6：观影者通过主观评价模块3对观影前后的情绪进行效价评价和唤醒度评价，评价结果输出到数据存储模块4；
[0081]
步骤7：分析处理模块5接收数据存储模块4输出的数据并进行预处理；
[0082]
步骤8：特性显示模块6通过可视化手段将信号特征进行展示。
[0083]
参见图3，观影者通过评价模块3对情绪调控前后的情绪刺激进行效价评价和唤醒度评价，评价结果输出到数据存储模块4。
[0084]
在实验过程中，生理信息采集模块2以生理信号采集系统作为服务器，以计算机作为客户端，来读取生理信号数据。生理信号采集系统通过人机界面模块的通信参数设置控制信号连接，来启动实时采集生理信号，包括脑电波、皮肤电信号、眼动数据、血压、心率以及指温。
[0085]
数据存储模块4负责程序运行中数据的记录、保存和输出，包括记录信息采集模块收集的脑电波、皮肤电信号、眼动数据、血压、心率以及指温等生理信号，情绪刺激呈现时刻数据的记录和保存。
[0086]
分析处理模块5接收数据存储模块4输出的数据并进行预处理，通过分别计算脑电波的特征，皮肤电信号的特征，眼动数据的特征，心率、血压、指温值的变化情况，并输出到特性显示模块6。
[0087]
处理过程中，对存储模块内的脑电信号数据进行rest重参考滤波、分段、ica独立成分分析，提取脑电信号的特征。对存储模块内的皮电信号数据进行处理分析，将皮电水平scl幅度、皮肤电导反应scr的数量和幅度以及主观评分进行数据拟合。对眼动仪获取的观影路径数据进行处理，通过引入球坐标的方式，将观影路径投影到二维矩阵中，对整体的观影数据进行累加，分析整体观影分布离散程度，获得在水平方向以及垂直方向上观影轨迹的直方图，通过高斯函数对直方图情况进拟合，比较拟合图像以及实际观影路径统计图像，验证视觉引导的效果。对血压、心率、指温信号绘制实时图像，结合电影时刻图进行分析。
[0088]
特性显示模块6根据分析处理模块5计算得到信号特征，通过可视化手段，将各种数据以脑电地形图、影像运动直方图、影片节点与生理数据对应图的方式展现出来，此功能仅限管理员使用。
[0089]
需要说明的是，对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术并不受所描述的动作顺序的限制，因为依据本技术，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本技术所必须的。
[0090]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
[0091]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置，可通过其它的方式
实现。例如，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性或其它的形式。
[0092]
上述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0093]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
[0094]
上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储器中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储器中，包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本技术各个实施例上述方法的全部或部分步骤。而前述的存储器包括：u盘、只读存储器(rom，read
‑
only memory)、随机存取存储器(ram，random access memory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。
[0095]
本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序可以存储于一计算机可读存储器中，存储器可以包括：闪存盘、只读存储器(英文：read
‑
only memory，简称：rom)、随机存取器(英文：random access memory，简称：ram)、磁盘或光盘等。
[0096]
以上对本技术实施例进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。