一种基于瞳孔变化的个人喜好自动检测模型构建方法、装置、设备及介质

1.本发明属于互联网大数据应用技术领域，具体涉及一种基于瞳孔变化的个人喜好自动检测模型构建方法、装置、设备及介质。


背景技术：

2.随着互联网经济的飞速发展和信息服务，尤其是流行的电子商务平台的广泛应用，个人和内容服务平台都需要使用先进的工具来搜索适当的信息并做出满足用户需求和期望的选择，从而提高用户的体验和对在线服务的整体满意度。如果所提供的内容不吸引用户，用户将很快放弃互联网平台，从而给服务提供商带来巨大的收入损失。为了解决这个问题，关键是要建立有效的用户偏好模型，该模型可以捕获有用的信息，以个性化用户的体验并准确推断用户的兴趣或偏好。
3.但是基于复杂的行为活动，例如网页浏览，商品购买，内容点击，打分和评论，建立准确的用户偏好模型非常具有挑战性。这是因为我们永远无法确切地知道用户的真实感受。现有的模型主要利用这些与用户的内在感觉不直接相关的显式和隐式活动来建模用户偏好，这可能会增加模型的不确定性并带来预测误差。由于用户偏好模型的不足，已经被电子商务平台和内容推送系统广泛应用的内容的有效性仍然远远不能令人满意。因此，它仍然需要进一步研究，以通过更深入地了解更准确和可靠的信息，打破显式和隐式行为活动的间接推理限制，从而更好地推测用户的偏好。
4.瞳孔是人类心灵的窗户，由神经系统控制。在观看特定内容时，瞳孔大小的变化与用户的想法有很强的关系。换句话说，瞳孔反应的生理过程可以潜在地用于表达用户对观看内容感兴趣的程度。此外，随着移动互联网技术的飞速发展以及具有内置前置摄像头和增强的计算能力的智能设备的广泛应用，人们越来越多地转向在线购物，教育和娱乐，并且在实际操作中通过遵守隐私保护策略，在智能设备上捕获用户的瞳孔反应。


技术实现要素：

5.本发明提供一种基于瞳孔变化的个人喜好自动检测模型构建方法、装置、设备及介质，利用与用户内心直接相关的瞳孔变化这一即时生理反应信息来推测用户的偏好，从而捕捉观看内容与用户喜好程度之间的关系。
6.为实现上述技术目的，本发明采用如下技术方案：
7.一种基于瞳孔变化的个人喜好自动检测模型构建方法，包括以下步骤：
8.步骤1，采集用户的眼睛在阅读给定内容时的视频，从视频帧中提取眼睛的瞳孔与虹膜的比值pir，得到pir序列；
9.步骤2，对步骤1得到的pir序列进行数据预处理，并对得到pir序列赋予对应的标签，该标签标识用户对阅读的给定内容的兴趣程度；
10.步骤3，从步骤2得到的带标签的pir序列中提取给定的若干特征，得到带标签的特
征向量，构成该用户的一个样本；
11.步骤4，针对每种标签，均按步骤1
‑
3获取多个样本，所有样本构成训练样本集；
12.步骤5，使用训练样本集训练多层感知机的参数，得到该用户的个人喜好自动检测模型。
13.在更优的技术方案中，所述从视频帧中提取眼睛的瞳孔与虹膜的比值pir，具体为：
14.步骤1.1，利用opencv的haar级联分类器分析视频，从中检测出用户的眼睛；
15.步骤1.2，采用深度学习网络u
‑
ne将眼睛区域图像分割出瞳孔和虹膜；
16.步骤1.3，根据分割出的瞳孔和虹膜拟合对应的最小圆，得到瞳孔直径和虹膜直径，进而计算瞳孔直径与虹膜直径的比值，即为瞳孔与虹膜的比值pir。
17.在更优的技术方案中，给定内容是按照用户的兴趣程度在电子设备网络平台上提供，且通过电子设备上的摄像头采集用户的眼睛在阅读给定内容时的视频。
18.在更优的技术方案中，步骤2的数据预处理包括数据去噪，具体为：利用箱型图对步骤1采集到的pir序列进行去噪处理，并取噪声点周围的两个数据点平均值对噪声点进行校正。
19.在更优的技术方案中，步骤2的数据预处理包括利用i
‑
dt算法分割有效注视阶段的pir序列，具体为：
20.1)从视频帧中提取眼睛的几何中心坐标(x,y)，得到视频对应的眼睛中心坐标序列；
21.2)预设窗口初始大小为给定持续时间阈值所包含的中心坐标点数；
22.3)使用窗口遍历眼睛中心坐标序列：根据当前窗口的坐标最大最小值计算当前窗口的坐标离散度：d＝[max(x)
‑
min(x)]+[max(y)
‑
min(y)]；max(x),min(x),max(y),min(y)分别为当前窗口的横坐标的最大值和最小值、纵坐标的最大值和最小值；
[0023]
4)如果当前窗口离散度d高于i
‑
dt工具给出的离散离阈值，则表示当前窗口不代表注视，将当前窗口向右移动一个点；否则表示当前窗口代表注视，将当前窗口向右扩展一个点；
[0024]
5)返回执行步骤3)，直到遍历完所有的眼睛中心坐标，最终得到的窗口即为注视窗口；
[0025]
6)将注视窗口内中心坐标对应的pir序列，作为分割得到的有效注视阶段的pir序列，即为当前预处理得到的pir序列。
[0026]
在更优的技术方案中，步骤2的数据预处理包括归一化处理，具体为：将有效注视阶段的pir序列减去相同光照条件下的pir数据平均值，即为归一化得到的pir序列，作为预处理最终得到的pir序列。
[0027]
在更优的技术方案中，所述给定的若干特征包括：pir序列均值、前1/3段pir序列的斜率、后1/3段pir序列的斜率、中间1/3段pir序列的方差、中间1/3段pir序列的时间复杂度、以及中间1/3段pir序列的样本熵。
[0028]
一种基于瞳孔变化的个人喜好自动检测模型构建装置，包括：
[0029]
原始序列获取模块，用于：采集用户的眼睛在阅读给定内容时的视频，从视频帧中提取眼睛的瞳孔与虹膜的比值pir，得到pir序列；
[0030]
数据预处理模块，用于：对原始序列获取模块得到的pir序列进行数据预处理，并对得到pir序列赋予对应的标签，该标签标识用户对阅读的给定内容的兴趣程度；
[0031]
样本构建模块，用于：从数据预处理得到的带标签的pir序列中提取给定的若干特征，得到带标签的特征向量，构成该用户的一个样本；
[0032]
模型训练模块，用于：使用训练样本集训练多层感知机的参数，得到该用户的个人喜好自动检测模型。
[0033]
一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现上述任一技术方案所述的个人喜好自动检测模型构建方法。
[0034]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一技术方案所述的个人喜好自动检测模型构建方法。
[0035]
有益效果
[0036]
本发明提出了一种基于瞳孔变化的个人喜好自动检测模型构建方法、装置、设备及介质，具体来说，提出在查看智能设备上的特定内容时挖掘瞳孔反应的一般生理过程，提取瞳孔与虹膜的比值pir来反映用户对智能设备上的特定内容的感兴趣程度。此外，为了解决由固有的个体差异引起的瞳孔反应变化的多样性，本发明使用多层感知器来自动训练和调整每个人的关键特征的重要性，然后生成与用户的瞳孔反应相关的个人喜好自动检测模型。因此，本发明可以利用与用户内心直接相关的瞳孔变化这一即时生理反应信息来推测用户对智能设备上特定内容的偏好，从而捕捉观看内容与用户喜好程度之间的关系。
附图说明
[0037]
图1是本技术实施例所述方法的技术线路图；
[0038]
图2是本技术实施例采集pir数据的流程示意图；
[0039]
图3是本技术实施例所述多层感知机的结构图。
具体实施方式
[0040]
下面对本发明的实施例作详细说明，本实施例以本发明的技术方案为依据开展，给出了详细的实施方式和具体的操作过程，对本发明的技术方案作进一步解释说明。
[0041]
实施例1
[0042]
本实施例提供一种基于瞳孔变化的个人喜好自动检测模型构建方法，如图1所示，包括以下步骤：
[0043]
步骤1，采集用户的眼睛在阅读给定内容时的视频，从视频帧中提取眼睛的瞳孔与虹膜的比值pir，得到pir序列。
[0044]
其中，给定内容是按照用户的兴趣程度在电子设备网络平台上提供，且通过电子设备上的摄像头采集用户的眼睛在阅读给定内容时的视频。
[0045]
图2展示的是pir数据的采集流程。在用户查看智能设备上显示的内容时，使用内置摄像头和opencv的haar cascade分类器来捕获相应的pir信息。将捕获的与瞳孔有关的视频分成单独的帧，并且可以将每个帧视为包含瞳孔轮廓的图像。对于每一帧，采用深度学习网络u
‑
net来分割瞳孔和虹膜。u
‑
net可以训练深度学习网络，并且生成的模型可以有效
地将眼睛区域转换为分割的图片。最后，通过算法对虹膜和瞳孔周围的圆进行拟合来计算pir值，该算法找到包含2d点集的虹膜和瞳孔的最小面积的圆。
[0046]
整理上述从视频帧中提取眼睛的瞳孔与虹膜的比值pir在本实施例中的具体过程为：
[0047]
步骤1.1，利用opencv的haar级联分类器分析视频，从中检测出用户的眼睛；
[0048]
步骤1.2，采用深度学习网络u
‑
ne将眼睛区域图像分割出瞳孔和虹膜；
[0049]
步骤1.3，根据分割出的瞳孔和虹膜拟合对应的最小圆，得到瞳孔直径和虹膜直径，进而计算瞳孔直径与虹膜直径的比值，即为瞳孔与虹膜的比值pir。
[0050]
步骤2，对步骤1得到的pir序列进行数据预处理，并对得到pir序列赋予对应的标签，该标签标识用户对阅读的给定内容的兴趣程度。
[0051]
本实施例中对pir序列进行预处理包括：去噪、分割有效注视阶段的pir序列、归一化，下面分别进行解释。
[0052]
(1)去噪
[0053]
pir序列随时间线性变化。但是，由于光照变化和人体移动的影响，通常情况下，获得的pir数据仍然包含一些异常值。比如某些离群值的pir值接近0或1，这违反了瞳孔反应的生理现象。本实施例利用箱型图检测这些异常值。通过箱型图确定离群值的原理是四分位数和四分位数间距，四分位数具有一定程度的抵抗力，多达25％的数据可以任意变远而不会极大地干扰四分位数，因此离群值不会影响箱型图的数据形状，并且通过箱型图识别离群值的结果更加客观。由此可以看出，箱线图在识别异常值方面具有某些优势。采用箱型图对pir序列去噪后，再使用离群点周围两点的平均值进行校正。
[0054]
(2)分割有效注视阶段的pir序列
[0055]
当人们观看智能设备屏幕上显示的内容时，他们必须注视内容。因此，观看不同内容时的凝视时间可以用来表示有效的瞳孔反应。由于注视期间的注视点肯定固定在特定位置，因此在注视的时间中的注视点通常趋于紧密聚集在一起。本发明将注视识别为特定分散或最大间隔内的连续点组。
[0056]
本实施例利用i
‑
dt算法分割有效注视阶段的pir序列，具体为：
[0057]
1)从视频帧中提取眼睛的几何中心坐标(x,y)，得到视频对应的眼睛中心坐标序列；
[0058]
2)预设窗口初始大小为给定持续时间阈值所包含的中心坐标点数；
[0059]
3)使用窗口遍历眼睛中心坐标序列：根据当前窗口的坐标最大最小值计算当前窗口的坐标离散度：d＝[max(x)
‑
min(x)]+[max(y)
‑
min(y)]；max(x),min(x),max(y),min(y)分别为当前窗口的横坐标的最大值和最小值、纵坐标的最大值和最小值；
[0060]
4)如果当前窗口离散度d高于i
‑
dt工具给出的离散离阈值，则表示当前窗口不代表注视，将当前窗口向右移动一个点；否则表示当前窗口代表注视，将当前窗口向右扩展一个点；
[0061]
5)返回执行步骤3)，直到遍历完所有的眼睛中心坐标，最终得到的窗口即为注视窗口；
[0062]
6)将注视窗口内中心坐标对应的pir序列，作为分割得到的有效注视阶段的pir序列，即为当前预处理得到的pir序列。
[0063]
(3)归一化：将有效注视阶段的pir序列减去相同光照条件下的pir数据平均值，即为归一化得到的pir序列，作为预处理最终得到的pir序列。
[0064]
环境光强度的变化会影响瞳孔的直径，并导致pir在时域上的误差。利用瞳孔直径，认知负荷和光照条件之间的关系模型，如下所示：
[0065]
pd＝pd
light
+pd
task
，
[0066]
其中pd是直接测量的瞳孔直径。pp
light
是在给定光照条件下的平均瞳孔直径，pd
task
是由特定任务导致的标准化瞳孔直径。在本实施例中，pd
task
对应于由智能设备屏幕上的观看内容引起的瞳孔直径，因此pd
task
＝pd
‑
pd
light
。
[0067]
在注视期间观看内容的光强度(由内置光传感器记录)保持不变的情况下，仅需从测得的瞳孔直径pd中减去当前照明条件下的平均瞳孔直径，即可获得pd
task
。但是，当光强度在凝视期间动态变化时，本发明可以有效地找到光强度突然变化的点并进行记录，以将注视阶段分成几个较小的部分。每个部分将重复上述过程以在注视期间对原始pir值进行预处理。
[0068]
虹膜直径在人7岁之后就不会发生变化，因此环境光强度对瞳孔直径的影响，直接反映到pir的变化上。本实施例为降低环境光强度对pir序列的影响，将分割得到的有效注视阶段的pir序列，减去同一光照条件下的pir数据平均值，即可得到免受环境光强度影响的pir序列，使其更能体现出对阅读内容的兴趣程度。
[0069]
步骤3，从步骤2得到的带标签的pir序列中提取给定的若干特征，得到带标签的特征向量，构成该用户的一个样本。
[0070]
首先，为了挖掘出用来描述用户偏好的关键特征，将pir的变化过程视为随时间变化的序列响应值，并提取了大量可能与用户的偏好有关的时间序列特征。通过在查看不同内容时分割和预处理瞳孔反应，本实施例使用python模块tsfresh进行对提取的pir序列进行特征挖掘提取，使提取的特征可用于描述或聚类时间序列。此外，它们还可以用于构建在时间序列上执行分类或回归任务的模型。通常，这些特征可以提供对时间序列及其动态特征的新见解。
[0071]
为了找到有效区分pir序列的关键特征，本实施例采用tsfresh模块的特征提取器工具进行特征提取和初步特征过滤，以筛选出潜在的有用特征。为了从众多特征中确定关键特征，采用集成学习中的随机森林算法来权衡与用户偏好相关的每个功能的重要性。得到6个权重较大的关键特征，用于构建个人喜好自动检测模型：pir序列均值，前1/3段pir序列的斜率，后1/3段pir序列的斜率，中间1/3段pir序列的方差，中间1/3段pir序列的时间复杂度，以及中间1/3段pir序列的样本熵。
[0072]
(1)pir序列均值mean
[0073]
通过给定一个pir段s
pir
，可以通过以下公式计算pir序列的平均值mea
□
：
[0074][0075]
其中x
i
表示s
pir
中的第i个pir数据，而n是pir序列的长度。
[0076]
(2)前1/3段pir曲线的斜率k1和后1/3段pir曲线的斜率k2[0077]
前1/3段pir曲线的斜率k1和后1/3段pir曲线的斜率k2，是通过前1/3段和后1/3段
pir数据的最小二乘回归获得的回归线的斜率。最小二乘回归函数的计算表示如下。
[0078][0079]
其中(x,y)是一对观测值，并且x＝[x1,x2,
…
,x
n
]
t
∈r
n
是时间序列，y
i
表示s
pir
中的pir数据，m表示观测数据(x
i
,y
i
)(i＝1,
…
,m)的组数，并且y＝f(x,w)是理论函数，其中w＝[w1,w2,
…
,w
n
]
t
是要确定的参数。l
i
(x)(i＝1,2,
…
,m)是残差函数。因此，斜率k计算如下：
[0080][0081]
(3)中间1/3段pir序列的方差var
[0082]
pir序列s
pir
中间1/3段的方差var计算为：
[0083][0084]
(4)中间1/3段pir序列的时间复杂度
[0085]
考虑到实际收集的pir序列不一定是等长的，并且时间复杂度ce也受时间序列的长度影响，我们将ce的值除以时间序列的长度即可得到归一化的ce。归一化的时间复杂度ce计算式为
[0086][0087]
其中x
i
表示s
pir
中的第i个pir数据。
[0088]
(5)中间1/3段pir序列的样本熵
[0089]
对于由n个pir数据组成的pir序列{x(n)}＝x(1),x(2),
…
,x(n)，样本熵sampen的计算方法如下：
[0090]
a、按序号组成一组维数为m的向量序列，x
m
(1),
…
,x
m
(n
‑
m+1),其中x
m
(i)＝{x(i),x(i+1),
…
,x(i+m
‑
1)},1≤i≤n
‑
m+1。这些向量代表从第i点开始的m个连续的x值。
[0091]
b，定义向量x
m
(i)与x
m
(j)之间的距离d[x
m
(i),x
m
(j)]为两者对应元素中最大差值的绝对值，即：
[0092]
d[x
m
(i),x
m
(j)]＝max
k＝0,
…
,m
‑1(|x(i+k)
‑
x(j+k)|)
[0093]
c，对于给定的x
m
(i)，统计x
m
(i)与x
m
(j)之间距离小于等于r的j(1≤j≤n
‑
m,j≠i)的数目，并记作b
i
。对于1≤i≤n
‑
m，定义：
[0094][0095]
d，定义b
(m)
(r)为：
[0096][0097]
e，增加维数到m+1，计算x
m+1
(i)与x
m+1
(j)(1≤j≤n
‑
m,j≠i)距离小于等于r的个数，记为a
i
。定义为：
[0098][0099]
f，定义a
(m)
(r)为：
[0100][0101]
这样，b
(m)
(r)是两个序列在相似容限r下匹配m个点的概率，而a
(m)
(r)是两个序列匹配m+1个点的概率。样本熵定义为：
[0102][0103]
当n为有限值时，样本熵可以通过下式估计：
[0104][0105]
步骤4，针对每种标签，均按步骤1
‑
3获取多个样本，所有样本构成训练样本集；
[0106]
本实施例中将用户的兴趣程度分为：不感兴趣、可能不感兴趣、一般、可能感兴趣和感兴趣这五个级别，每个级别对应一种标签，因此需要针对每个级别的兴趣程度，均获取该用户的多个样本，以构建训练样本集。
[0107]
步骤5，使用训练样本集训练多层感知机的参数，得到该用户的个人喜好自动检测模型。
[0108]
图3是多层感知机的图示。本发明将用于表示用户喜好的兴趣度分为5个级别：不感兴趣，可能不感兴趣，一般，可能感兴趣和非常感兴趣。因此，对用户偏好进行个性化分类可以被视为典型的多类问题。本发明采用多层感知器(mlp)，可用于多重分类任务，并且在非线性数据上表现出色，可对所有分段和标记的pir序列进行分类。其中多分类器的输入是上述6个关键特征的值，输出是5个感兴趣级别中的一个。
[0109]
最终得到的该用户的个人喜好自动检测模型，即可用于：(1)当该用户阅读智能设备上的任意内容时，采集其眼睛在阅读时的视频，并从视频帧中提取眼睛的瞳孔与虹膜的比值pir得到pir序列；(2)按步骤2相同方法对当前得到的pir序列进行数据预处理；(3)按步骤3相同方法从预处理得到的pir序列中提取给定的若干特征；(4)将提取到的所述给定的若干特征输入到该用户的个人喜好自动检测模型中，即可输出得到该用户对当前阅读内容的兴趣程度。进而，可根据其兴趣程度决定是否向该用户推荐某些相关的内容。
[0110]
实施例2
[0111]
本实施例提供一种基于瞳孔变化的个人喜好自动检测模型构建装置，包括：
[0112]
原始序列获取模块，用于：采集用户的眼睛在阅读给定内容时的视频，从视频帧中提取眼睛的瞳孔与虹膜的比值pir，得到pir序列；
[0113]
数据预处理模块，用于：对原始序列获取模块得到的pir序列进行数据预处理，并对得到pir序列赋予对应的标签，该标签标识用户对阅读的给定内容的兴趣程度；
[0114]
样本构建模块，用于：从数据预处理得到的带标签的pir序列中提取给定的若干特征，得到带标签的特征向量，构成该用户的一个样本；
[0115]
模型训练模块，用于：使用训练样本集训练多层感知机的参数，得到该用户的个人
喜好自动检测模型。
[0116]
实施例3
[0117]
本实施例提供一种电子设备，包括存储器及处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器实现如实施例1所述的个人喜好自动检测模型构建方法。
[0118]
实施例4
[0119]
本实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如实施例1所述的个人喜好自动检测模型构建方法。
[0120]
以上实施例为本技术的优选实施例，本领域的普通技术人员还可以在此基础上进行各种变换或改进，在不脱离本技术总的构思的前提下，这些变换或改进都应当属于本技术要求保护的范围之内。