学习注意力检测与预判系统

学习注意力检测与预判系统
1.本申请为申请号201910263070.9、申请日2019年04月02日、发明名称“可变光环 境下学习注意力检测与预判装置和方法”的分案申请。
技术领域
2.本发明涉及智能照明及学习辅助领域，具体涉及一种学习注意力检测与预判系统。


背景技术：

3.人们通过视觉从外界获取信息，并且迅速作出反应，工作和学习效率都直接受制于环 境的照明条件，而维持基本的视觉功能也依赖于照明。
4.影响视觉的环境照明因素有很多方面，其中比较重要的有：照度水平、亮度分布、颜 色显现、光影光色等，而这些因素对作业效率的影响程度是不同的。作业的用眼强度，用 眼时间，都会影响视觉的疲劳程度，进而影响工作效率。
5.不同光环境下，人员的作业效率是不同的。人眼视网膜上的第三类感光细胞即本征感 光视网膜神经结细胞被发现后，已被证明它可以通过对进入人眼的可见光辐射产生一系列 化学生物反应来控制人的生理节律、生物钟和人眼瞳孔大小，从而对人的生理、心理等产 生影响。光环境的物理特性包括光通量、照度、眩光、亮度、光谱等。一般认为照度水平 是影响视觉器官和工作效率的主要因素之一，光谱色温等也有重要作用。
6.作业效率通常被定义为一定时间内产出与投入之比，在社会向信息化社会迈进的同 时，人们工作的性质也逐渐发生着变化，脑力劳动对社会生产力的贡献越来越大。脑力劳 动者的队伍空前壮大，与体力劳动相比，脑力劳动的评价更困难。脑力劳动使劳动从有形 作业变为无形作业，人从劳动动力变为思维工具，劳动对人的生理要求变成了心理需求。 如，对建筑工人，可以以单位工作时间内的砌砖数来衡量其工作效率，但对技术开发人员 等这些从事创造性劳动的工作人员，怎么定量地衡量其工作产出并进而评价其工作效率 呢？
7.为了研究照明对作业效率的影响机制，很多学者从理论与实验两方面出发进行了研 究。如2010年上海交通大学的兰丽在其博士学位论文《室内环境对人员工作效率影响机 理与评价研究》中，用气候舱模拟办公室对受试者进行实验测试，并通过主观问卷调查和 生理参数测量来对光环境进行评价，结果表明照度过低对人员的工作效率有负面影响，照 度过高也可能不利于人员长期工作，对人员的工作效率，应该存在一个最佳的照度水平。
8.现有研究中对作业效率基于某种任务如算术、图形辨识等的完成速度来进行换算，这 类方法带有一定的主观性、且缺乏个体针对性。
9.以人为对象、环境为介质、工作效率输出为目标的研究涉及到一个多维的研究方法。 许多以前的研究得出了不一致甚至相互矛盾的结果，部分原因也是因为评价指标中有部分 是主观评价如主观问卷调查，而个体之间又存在经验等差异。
10.因此，目前需要一种需要一种通过客观检测来将各种光环境影响与作业者的作
业、学 习效率相关联的系统，以及能对不同光照环境下人员学习效率相关因素进行检测和预判的 方法。


技术实现要素：

11.本发明的目的是提供一种能对各种光照条件下的个体注意力进行检测和判断的装置、 系统和方法，并且该装置、系统和方法要具有较强的泛化能力，以对未测试过的其他不同 光照条件进行预测判定：在该未测试过的光照条件下，个体将表现出何种注意力。从而， 在向该个体进行潜在的高注意力光环境的推荐时，能有据可依。
12.通过多种作业的测试、对比和研究分析，发现相对于作业效率测试，人员注意力的检 测和评价要更为直接，而且可以通过检测手段客观地获取与注意力有关的各因素表现。当 注意力集中时，往往学习效率也更高，此时人员表现为眼睛专注，视线集中在工作面上， 且心率也较平缓。反之，当人员因为疲劳等因素而造成注意力不集中时，往往表现为眼睛 逐渐闭合、开度变小，视线低垂或偏向工作面之外，心率也会降低，有时还会表现为打哈 欠。因此，可以通过捕捉人员面部状态来客观地对其注意力进行检测。
13.在不同光照条件下的桌面学习中，学习者的注意力差异不但包括在缓慢变化的眼睛开 度，还可以包括视线点的范围、心率波动、视线移动速率等其他体征表现。
14.而在光照环境与注意力之间存在一种什么约束关系，这是一个复杂的非线性问题。要 描述它们之间的映射，需要借助一个合适的映射网络。神经网络由于具有自组织和自学习 能力，能够直接接收数据并进行学习，在很短的时间内在模式识别领域内得到广泛应用。 作为人工神经网络的一种，rbf网络能够逼近任意的非线性函数，可以处理系统内的难 以解析的规律性，具有良好的泛化能力，并有很快的学习收敛速度，已成功应用于非线性 函数逼近、模式识别、信息处理等领域。
15.为了解决现有技术中针对光照条件对学习效率影响只能通过作业实验或主观打分进 行评估的问题，本发明通过传感器来对学习者体征数据进行采集，用眼睛开度、视线专注 度、心率、视线移动速率等参数来作为注意力因素，从而对光环境下学习者的注意力高低 进行评估。基于体征传感数据，要进行注意力评估，存在以下几个问题。首先，所采样的 体征数据，如何对其进行量化？并还要能区别出注意力的高低。其次，数据序列前后是关 联的，如何根据其变化过程来进一步区分注意力是否集中？
16.本发明的方案是，通过系统对与学习注意力相关的几种人体特征的信号进行采集，然 后对信号进行滤波、趋势提取并通过统计获得正常情况下特征数据的概率分布，从而通过 将样本数据序列本身的取值、及其变化趋势与先验统计出的特征进行比较，进而获得准确 的注意力因素评估。然后，改变光照条件，采集不同调节下学习者的体征数据样本，并基 于非线性映射理论与处理计算，建立可变光环境下学习注意力的检测与预判模型。
17.本发明通过神经网络来对光照条件与人员注意力之间的复杂非线性映射关系进行建 模，其中光照条件包括工作面照度、色温、颜色的xyz色坐标值，注意力则通过眼睛开度 值、视线专注度值、心率、视线移动速率等参数来表征。考虑到人员注意力还受到累积工 作或学习时间的影响，神经网络以上述的5个光色参数、以及持续学习时间共6个参数作 为输入量，以注意力参数为输出量。神经网络采用rbf网络，采集足够多的样本后，用 k均值聚类算法确定rbf神经网络隐含层节点的个数及其各自的中心向量，采用梯度下 降法修正网
络隐含层到输出层的权值，使训练样本空间输出量的实际值与网络输出值之间 的误差最小。
18.具体地，本发明提供一种以下结构的可变光环境下学习注意力检测与预判系统，其包 括光色传感单元、图像采集单元、心率采集单元、控制单元和可调光灯组；
19.所述可调光灯组用来调光以获得变化的光环境；所述光色传感单元采集各种光环境下 工作面光照的照度、色温和颜色，所述图像采集单元采集学习者的面部及工作面区域的图 像，所述心率采集单元采集学习者的心率所述控制单元中的输出模块用来将注意力因素值 输出；
20.所述控制单元被配置为：
21.对光色传感单元采集的信号进行处理获取工作面照度、色温以及颜色的xyz色坐标值 共5个光色参数，对图像采集单元采集的信号进行处理获取学习者的眼睛开度值、视线专 注度值、视线移动速率，并通过读取心率采集单元的信号获取学习者的心率，
22.以工作面照度、色温、颜色的xyz色坐标值及持续学习时间共6个参数作为输入量， 以用来表征注意力因素的学习者眼睛开度、视线专注度、心率共3个体征参数的注意力因 素值作为输出量，建立人工神经网络，用训练样本对神经网络进行训练，
23.在线预测时，神经网络基于当前工作面照度、色温、颜色的xyz色坐标值及持续学习 时间，对学习者的眼睛开度、视线专注度度、心率等体征参数的注意力因素值进行预测并 向输出模块输出。
24.作为优选，所述可调光灯组采用可调光led灯，所述控制单元向调光器发送调光信 号来调节灯组内各led灯的驱动电流值，所述调光信号为led灯驱动电流的pwm波占 空比数值。
25.作为优选，所述led灯为含rgb三基色电流通道的调光灯，通过分别改变其中一个 通道的驱动电流值来调节灯出光的光色，
26.所述训练样本在获取时，在已知的led灯组调光范围内，以步进的方式改变led灯 组的出光。
27.作为优选，所述训练样本按如下方式采集：
28.将led灯的各通道电流取值与所对应的在工作面上采集到的照度、色温以及颜色合 在一起建立一个变量的映射表，针对照度、色温以及颜色组成的照明向量空间，在其取值 区间中以分别仅改变其中一个变量如照度而保留其他变量如色温及颜色不变，逆向查找所 述映射表找到当前照明向量对应的led灯各通道电流值，控制单元通过输出模块的通信 接口，将各通道电流的pwm波占空比以信号的形式发送给调光器。
29.作为优选，所述训练样本在获取时，在各光色变量的端值区域采样点可以稀疏，而在 中间区域如色温4500k，照度300lx～500lx附近的区域，采样点密集。
30.作为优选，还包括用户接口单元，所述用户接口单元通过一组由颜色粗调旋钮、颜色 微调旋钮和亮度调节旋钮组成的光色调节模块来输入调光指令，
31.所述颜色粗调旋钮和颜色微调旋钮共同决定led灯出光的rgb比例关系，所述亮度 调节旋钮决定led灯驱动电流的相对大小。
32.作为优选，所述颜色粗调旋钮分为6档，分别对应红、黄、绿、青、蓝、品红，它们 对应的rgb值分别为(255，0，0)，(255，255，0)，(0，255，0)，(0，255， 255)，(0，0，255)，(255，0，
间的下限值与上限值，ae、de则分别为另两个预设下限值与上限值；btu为正常状态下当 前持续学习时间范围内覆盖了设定比例的眼睛开度变化时间的上限值，atu为设定的下限 值；
49.计算眼睛开度的注意力因素值为，
50.ke＝ke1
·
ke2；
51.第二，检测学习者视线与工作面的交点，若所述交点落在预设工作面区块范围之外， 计算所述交点到工作面区块的最短距离并记录其对应的视点连续超出预设范围的时间长 度，对于所述距离序列dd，先通过窗口平均滤波获得当前视线偏移距离d，同时计算对应 窗口时间范围内视点连续超出预设范围的最大时间长度td，
52.分别根据所述距离d、时间长度td，计算视线专注度的第一、第二体征值，
[0053][0054][0055]
其中，a、b为拟合系数，td是正常状态下当前持续学习时间范围内覆盖了设定比例 的、视点连续超出预设范围的最大时间长度，σ是一个预设的时间宽度值；
[0056]
计算视线专注度的注意力因素值为，
[0057]
kd＝kd1
·
kd2；
[0058]
第三，对于心率数据序列，根据正常状态下心率期望值设定一个上下波动区间，统计 以当前时间为中心的一预设时间长度内、数据波动超出所述波动区间范围的的次数n，以 及所述预设时间长度内心率在所述区间范围内的样本个数占比rb，
[0059]
n＝n
+
+n
‑
，
[0060]
其中，n
+
为跨出所述区间的次数，n
‑
则是跨入所述区间的次数；
[0061]
分别根据所述次数n、占比rb，计算心率的第一、第二体征值，
[0062][0063][0064]
其中，tn是正常状态下当前持续学习时间范围内覆盖了设定比例的、心率超出波动 区间范围的最大次数，σn是一个预设的宽度值，arb、brb则是根据统计设定的两个比 例阈值；
[0065]
计算心率的注意力因素值为，
[0066]
kb＝kb1
·
kb2。
[0067]
作为优选，其还包括一个用来进行所述工作面区块预设的工作区域设定单元，
[0068]
所述工作区域设定单元通过位于中心的枢轴支撑于一个支架顶端，所述枢轴上活动连 接有呈对称分布的四块三角形调节板，且左右两块调节板之间还连接有第一调节轴、前后 两块调节板之间连接有第二调节轴，在四块调节板的底边均设有一个矩形灯槽，
[0069]
所述矩形灯槽发出条形光斑，所述控制单元通过第一调节轴、第二调节轴改变调节板 相对水平面的倾角，从而在工作面水平面上通过四条条形光斑围出一个矩形区域，作为预 设工作面区块；
[0070]
所述用户接口单元中设有一个学习模式键，且通过所述学习模式键选择为阅读模式 时，所述神经网络的输出量增加一个用来表征注意力因素的的视线移动速率体征参数的注 意力因素值，且其计算过程为：
[0071]
在一预设时间长度tp内，检测学习者视线与工作面的交点，对落入预设工作面区块 范围之内的所述交点的集合，求取外接矩形，并根据所述矩形的长x和宽y，计算视线 移动速率，
[0072][0073]
然后，计算视线移动速率的注意力因素值为，
[0074][0075]
其中，avs、bvs分别为根据统计设定的两个速率阈值。
[0076]
作为优选，所述图像采集单元采用双目相机，所述处理模块包括图像处理部和光色处 理部，所述图像处理部又包括眼开度检测器和视线检测器，所述光色处理部又包括照度检 测器、色温检测器和颜色检测器；
[0077]
所述注意力因素值由所述图像处理部计算。
[0078]
作为优选，所述图像处理部还包括嘴形检测器，所述神经网络的输出量增加一个用来 表征注意力因素的的嘴开度体征参数，且嘴开度的注意力因素值为嘴开度体征值与嘴巴连 续张开时长体征值之积，
[0079]
所述嘴开度体征值根据一个以零开度为顶点的半正态分布函数计算获得，而所述嘴巴 连续张开时长体征值则根据另一个以零时长为顶点的半正态分布函数计算获得。
[0080]
作为优选，所述支架上还有一个红外辅助光源，所述控制单元中的输出模块包括一个 用来指示当前学习者注意力集中程度的显示条。
[0081]
作为优选，本系统包括一个底板，所述底板表面分布有多个已知位置的标定块，所述 标定块各有一个圆形光点，所述用户接口单元有一个标定确认键，所述控制单元进一步被 配置为：
[0082]
轮流点亮所述标定块，学习者注视被点亮的标定块，并在所述标定确认键被按下后通 过图像采集单元采集学习者脸部图像，基于所采集图像提取人眼视线方向，将提取结果与 该标定块的位置进行对比从而对视线方向检测参数进行标定。
[0083]
作为优选，所述用户接口单元包括一个取消采样按键，所述控制单元在检测到此按键 被按下后，暂停数据采样和样本记录。
[0084]
作为优选，所述神经网络采用rbf神经网络，所述rbf神经网络的模型为：
[0085]
隐层第i个节点输出为：
[0086][0087]
输出层第j个节点输出为：
[0088][0089]
其中，输入向量x的维数为m，隐层h节点数为p个，输出向量y的维数为n，c
i
为隐层第i个节点高斯函数的中心，σ
i
是高斯函数中心的宽度，||x
‑
c
i
||是向量x和c
i
之间的欧氏距离，w
ij
为第i个隐层节点到第j个输出节点间的权值；
[0090]
其中，σ
i
可以由下式确定：
[0091][0092]
式子中d
i
为第i隐层节点中心与其他中心之间的最大距离。
[0093]
训练样本内光色参数中照度、色温及颜色分量的变化不够多时，将每个样本x本身 作为一个隐含层节点的中心向量c
i
，随着样本的丰富，用k均值聚类算法确定隐含层节 点的个数及其各自的中心向量c
i
。
[0094]
对样本数据先要进行归一化预处理，将数据映射到[0，1]数值空间里。网络逼近的性 能指标函数即总的平均误差函数为：
[0095][0096]
其中，n为训练样本集中的总样本数，k是样本序号，是相对于输入x
k
的实际输 出，y
k
是相对于输入x
k
的期望输出。rbf网络训练过程中，参数的调整要使网络在最小 二乘意义下逼近所对应的映射关系，也就是使e达到最小，为此，可以采用梯度下降法 修正网络隐含层到输出层的权值，使目标函数达到最小。
[0097]
采用本发明方案，与现有技术相比，具有以下优点：本发明分别通过工作面照度、色 温、颜色的xyz色坐标值来表征光照条件，通过眼睛开度值、视线专注度值、心率、视线 移动速率等来表征注意力并通过多因素量化能客观地区分学习者注意力的高低，各参数分 别通过光色传感单元、图像采集单元或心率采集单元进行信号采集后经控制单元自动提 取；采用非线性网络对环境的光照条件与人员注意力之间的映射关系进行构造建模，经训 练后的网络能对可变光环境下的人员注意力进行预测，从而能向人员进行光环境评价提 示，并为潜在的高注意力光环境的推荐提供依据。
附图说明
[0098]
图1为可变光环境下学习注意力检测与预判装置及系统的组成框图；
[0099]
图2为控制单元组成结构图；图3为处理模块组成结构图；
[0100]
图4为rbf神经网络结构示意图；
[0101]
图5为可变光环境下学习注意力检测与预判方法工作流程图；
[0102]
图6为一实施例下模块布局结构示意图；图7为调光面板结构示意图；
[0103]
图8为另一实施例下模块局部布置示意图；图9为工作区域设定示意图；
[0104]
图10a为工作区域设定单元结构组成图；图10b、图10c为调节轴结构组成图；图10d 为灯槽结构组成图；
[0105]
图11为视线与工作面交点示意图；图12为体征数据序列示意图；
[0106]
图13a、图13b分别为眼睛开度的第一、第二体征值评估函数示意图；
[0107]
图13c、图13d分别为视线专注度的第一、第二体征值评估函数示意图；
[0108]
图14为视点分布示意图。
[0109]
其中：
[0110]
1000学习注意力检测与预判系统，100可变光环境下学习注意力检测与预判装置，
[0111]
110光色传感单元，120图像采集单元，130控制单元，140用户接口单元，150 可调光灯组，160心率采集单元，
[0112]
131处理模块，132 rbf神经网络，133连接切换器，134迭代学习模块，135 输出模块，136存储模块，151调光器，152 led灯，
[0113]
1311图像处理部，1312光色处理部，1351显示屏，1352通信接口，13111眼开 度检测器，13112视线检测器，13113嘴形检测器，13121照度检测器，13122色温 检测器，13123颜色检测器，
[0114]
101底板，102支架，103双目相机，104红外辅助光源，105显示条，106光 色传感块，107按键块，108调光面板，109工作区域设定单元，111标定块，
[0115]
1081颜色粗调旋钮，1082颜色微调旋钮，1083亮度调节旋钮，
[0116]
1091枢轴，1092调节板，1093第一调节轴，1094第二调节轴，1095灯槽，1096 电机，1097驱动杆，1098连杆，
[0117]
951 led灯珠，952玻璃罩，953聚光片。
具体实施方式
[0118]
以下结合附图对本发明的优选实施例进行详细描述，但本发明并不仅仅限于这些实施 例。本发明涵盖任何在本发明的精神和范围上做的替代、修改、等效方法以及方案。
[0119]
为了使公众对本发明有彻底的了解，在以下本发明优选实施例中详细说明了具体的细 节，而对本领域技术人员来说没有这些细节的描述也可以完全理解本发明。
[0120]
在下列段落中参照附图以举例方式更具体地描述本发明。需说明的是，附图均采用较 为简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施例的目的。
[0121]
如图1所示，本发明中的方法应用于学习注意力检测与预判系统1000，学习注意力 检测与预判系统1000包括可变光环境下学习注意力检测与预判装置100和可调光灯组 150，其中，可变光环境下学习注意力检测与预判装置100又包括光色传感单元110、图 像采集单元120、心率采集单元160、控制单元130和用户接口单元140。
[0122]
其中，心率采集单元160采集学习者的心率，可以通过腕表或手环获取，并通过通信 接口传送给控制单元130。
[0123]
光色传感单元110采集工作面光照的照度、色温和颜色，照度可以用独立的模块来
络进行训练；
[0133]
s5、基于训练好的神经网络，在现场环境中，对当前光环境下学习者的注意力进行 在线预测：
[0134]
基于获取的现场工作面照度、色温、颜色的xyz色坐标值及输入的持续学习时间，对 学习者的眼睛开度、视线专注度度、心率等体征参数的注意力因素值进行预测并将结果通 过输出模块输出。
[0135]
下面详细说明本发明的具体处理过程。
[0136]
用图像处理对视线估计方法可选虹膜巩膜边缘法、瞳孔
‑
眼角点定位法和瞳孔
‑
角膜反 射法。前二者分别利用红外线信号差及眼角与瞳孔连线来估计视线方向。作为优选，本方 案采用第三种方法，利用红外光源照射人眼角膜，光线照射到眼睛上时，会在眼角膜的外 表面产生一个反射，在眼睛中显示为亮点，称为普尔钦斑点。当眼球转动时，普尔钦斑点 位置不动，因此可以通过人眼瞳孔与普尔钦斑点的相对位置关系，进行视线方向估计。
[0137]
在具体应用中，瞳孔
‑
角膜反射方法又有二维视线估计法和三维视线估计法两类实现 方法。二维视线估计法采用的是校准过的视线映射函数，二维眼睛特征参数是该函数的输 入参数，输出的就是视线方向或屏幕注视点，该方法是基于单目视觉的，简单快速，但精 度较低。三维视线估计法则基于双目视觉的，通过三维重建过程获取驾驶员眼睛的空间三 维信息，检测精度高、范围大。
[0138]
基于双目相机采集到的学习场景图像，首先要进行平滑处理及阈值分割，去除噪声并 进行学习者面部及眼睛区域定位，提取人眼高宽比、眼睛瞳孔、普尔钦斑点等特征信息； 其次，将提取的特征点进行立体匹配，基于几何约束建立过程，对眼睛瞳孔及普尔钦斑点 进行三维重建，获得其三维世界坐标；最后，通过瞳孔与普尔钦斑点构成的三维坐标向量 判断学习者的三维视线方向。基于周期性获取的人眼高宽比及视线方向跟踪，可以计算出 眼睛开度值、视线空间方向。
[0139]
具体地，结合图1、图6所示，本发明装置将图像采集单元采用的双目相机103安装 在工作场景中人员正对面的支架102上，支架102固定在底板101上。辅助进行视线检测 的红外辅助光源104也固定在支架102上，光色传感单元则固定在底部表面的光色传感块 106区域，在光色传感块106关于支架对称的另一端，用户接口单元的按键设置在按键块 107区域。
[0140]
参见图9所示，为了在图像处理中进行学习者视点的检测与判断，需要在工作面内预 设一个合理的工作区块。为此，在装置中增设一个工作区域设定单元109。
[0141]
工作区域设定单元109通过位于中心的枢轴1091支撑于支架102的顶端，在枢轴1091 上活动连接有呈对称分布的左、右、前、后共四块三角形调节板1092。其中，如图10a 所示，左、右两块调节板1092之间还连接有第一调节轴1093，前、后两块调节板1092 之间连接有第二调节轴1094，在四块调节板的底边均设有一个矩形灯槽1095。两个调节 轴在纵向的高度上相互错开。
[0142]
如图10b所示，第一调节轴、第二调节轴均采用电机1096驱动两个做相反方向运动 的驱动杆1097，其中，驱动杆连接到调节板内侧。
[0143]
如图10c所示，作为优选，两个调节轴的驱动杆1097还可以通过一个连杆1098来连 接到调节板。
[0144]
如图10d所示，位于调节板末端的灯槽1095，内嵌led灯珠951，在灯珠外面设有 玻璃罩952，玻璃罩四周由聚光片953将led的光线聚集为长条形。
[0145]
结合图9、图10b所示，矩形灯槽1095发出条形光斑gs。控制单元通过控制电机旋 转来驱动第一调节轴、第二调节轴，从而分别改变左右、前后两对调节板相对水平面的倾 角，从而在工作面水平面上通过四条条形光斑围出一个矩形区域，作为预设工作面区块。 其中，电机做顺时针转动时，驱动杆带动调节板往外侧移动，使得调节板相对水平面的倾 角变小，条形光斑外移，工作面区块扩大；反之，当电机逆时针转动时，工作面区块缩小。 作为优选，可以在用户接口单元的按键中设置4个按钮来分别调节工作面区块左右、前后 方向上的扩大、缩小。工作面区块的范围可通过电机等机构的旋转角度记录。
[0146]
通过工作面区块的在线调节，大大方便了检测样本的获取，提高了样本获取的准确性、 适用性。
[0147]
如图11所示，通过图像处理部获取的视线为经过p0点的v向射线。在工作水平面 g2中，预设工作面区块是以ga、gb、gc、gd为角点的矩形区域g1，工作平面的法 向向量为u，世界坐标系为o
‑
xyz，则可计算视线与工作平面的交点p1的坐标。
[0148]
首先，射线的参数方程为：其中，t为自变量参数，
[0149]
则由可计算出视线与工作平面的交点p1的坐标，
[0150][0151]
如图11所示，在g2平面中，根据工作面区块的四个角点将工作面区块范围外的区 域划分出i～
ⅷ
共八个区域。若视点p1不在工作面区块内，首先判断其在哪个区域，然后 根据所在区域进一步计算视点与工作面区块的最短距离d。具体地，如果视点落在对角区 域的ⅱ、ⅳ、
ⅵ
、
ⅷ
区域，则计算视点与相应角点的距离；否则，则计算视点与相应角点 在x方向或y方向上的距离。如图中所示，p1在v区，则有，
[0152]
d＝|x
p1
‑
x
gd
|。
[0153]
结合图1、图4所示，本发明采用神经网络对环境的光照条件与人员注意力之间的映 射关系进行构造建模。具体地，建立以图4所示的rbf神经网络，该网络以工作面照度、 色温、颜色的xyz色坐标值及持续学习时间共6个参数作为输入量，以用来表征注意力因 素的学习者眼睛开度、视线专注度、心率共3个体征参数的注意力因素值作为输出量。
[0154]
其中，视线专注度值所依据的视线偏移距离根据学习者视线与工作面交点即视点离开 工作面区块的距离来表征。
[0155]
参见图12所示的归一化后体征数据序列的示意图，其中，所记录的为一次眼睛开度 经滤波后的数据序列，且以体征物理量的最大概率取值区间的中点为1。
[0156]
为发现有助于提高学习者注意力的光照环境，首先，要对学习者的注意力高低进行检 查与判断。本发明分别通过学习者眼睛开度、视线专注度、心率共3个体征参数来表征学 习者的注意力因素，此3个体征参数的量化步骤如下：
[0157]
t1、对于眼睛开度序列de，由于眼睛开度变化高频分量多，先通过下式进行窗口平 均滤波，获得当前时刻的眼睛开度e，
[0158][0159]
再通过间隔移动窗口，获得眼睛开度的下采样序列xe，
[0160]
xe＝{e(0),e(ts),e(2ts),...}，
[0161]
接着，对序列xe用下式进行函数拟合：y＝a
·
e
‑
b
·
x
，获取眼睛开度的变化趋势。根 据所拟合出的函数，求取开度变化时间tu，
[0162]
其中，l为窗口宽度，ts为下采样间隔，a、b均为拟合系数，e1、e2为眼睛开度的 两个阈值，对于归一化的眼睛开度值序列，e1、e2在0～1之间取值。
[0163]
然后，结合图13a与图13b所示，分别根据眼睛开度e、开度变化时间tu，计算眼睛 开度第一、第二体征值，
[0164][0165][0166]
其中，be、ce为根据统计所获得的、覆盖了正常状态下设定比例的眼睛开度值的区 间的下限值与上限值，ae、de则分别为另两个预设下限值与上限值；btu为正常状态下当 前持续学习时间范围内覆盖了设定比例的眼睛开度变化时间的上限值，atu为设定的下限 值；
[0167]
计算眼睛开度的注意力因素值为，
[0168]
ke＝ke1
·
ke2。
[0169]
t2、对于视线专注度，检测学习者视线与工作面的交点，若交点落在预设工作面区 块范围之外，计算所述交点到工作面区块的最短距离并记录其对应的视点连续超出预设范 围的时间长度，对于所述距离序列dd，先通过窗口平均滤波获得当前视线偏移距离d，同 时计算对应窗口时间范围内视点连续超出预设范围的最大时间长度td。若交点落在工作 面区块内，则赋值距离d为零。
[0170]
结合图13c、图13d所示，分别根据所述距离d、时间长度td，计算视线专注度的第 一、第二体征值，
[0171]
[0172][0173]
其中，a、b为拟合系数且a、b的值越大，函数值下降越快；td是正常状态下当前持 续学习时间范围内覆盖了设定比例的、视点连续超出预设范围的最大时间长度，σ是一个 预设的宽度值；
[0174]
计算视线专注度的注意力因素值为，
[0175]
kd＝kd1
·
kd2。
[0176]
t3、对于心率，由于其变化区间相对要小得多，变化周期很长，其注意力因素评价 值按如下过程求取。结合图12所示，在纵轴单位值的上下各δ％的位置画两条虚线。对 心率数据序列，根据正常状态下心率期望值设定的上下波动区间，统计以当前时间为中心 一预设时间长度内、数据波动超出所述波动区间范围的的次数n，以及所述预设时间长度 内心率在所述区间范围内的样本个数占比rb，
[0177]
n＝n
+
+n
‑
，
[0178]
其中，n
+
为跨出所述区间的次数，n
‑
则是跨入所述区间的次数。
[0179]
分别根据所述次数n、占比rb，计算心率的第一、第二体征值，
[0180][0181][0182]
其中，tn是正常状态下当前持续学习时间范围内覆盖了设定比例的、心率超出波动 区间范围的最大次数，σn是一个预设的宽度值，arb、brb则是根据统计设定的两个比 例阈值；
[0183]
计算心率的注意力因素值为，
[0184]
kb＝kb1
·
kb2。
[0185]
在上述量化中的预设参数，如e1、e2可根据持续学习时间增大而逐渐减小，还可以 采用相对比例进行两个参数的设置；其他预设参数也可类似做动态调整。心率参数处理中， 波动区间对应的δ可根据统计设定，如设置使得正常状态下虚线范围内所对应区间的体征 数据概率为一概率阈值，所述概率阈值的上下限均在0.92～0.98之间取值。上述正常状态， 是指学习者在其评分较高的舒适光照条件下的体征检测样本。
[0186]
在上述各体征的注意力因素值计算过程中，处理获得的眼睛开度、视线专注度、心率 的注意力因素值，在考虑各种体征特点的同时还都能体现一致的评价标准。如，所定义的 注意力因素值越大，说明学习者的注意力越高。同时，这种多因素的体征评价，相比单因 素评价如眼睛开度评价，更能体现不同学习者的注意力特征，从而为后续的光照影响建模 和光照优化控制提供了基础。
[0187]
作为优选，在用户接口单元中设置一个学习模式键，且通过该学习模式键选择为阅读 模式时，神经网络的输出量增加一个用来表征注意力因素的的视线移动速率体征参数的注 意力因素值，且其计算过程为：
[0188]
结合图14所示，在一预设时间长度tp内，检测学习者视线与工作面z1的交点p1， 对落入预设工作面区块范围之内的所述交点的集合，求取最外侧视点的外接矩形z2，并 根据所述矩形的长x和宽y，计算视线移动速率，
[0189][0190]
然后，计算视线移动速率的注意力因素值为，
[0191][0192]
其中，avs、bvs分别为根据对正常状态下标准样本统计设定的两个速率阈值。
[0193]
作为优选，设置一个嘴形检测器，针对嘴部进行人嘴开度的特征检测，相应地，在神 经网络的输出量中增加一个用来表征注意力因素的的嘴开度体征参数，且嘴开度的注意力 因素值为嘴开度体征值与嘴巴连续张开时长体征值之积，
[0194]
所述嘴开度体征值根据一个以零开度为顶点的半正态分布函数计算获得，而所述嘴巴 连续张开时长体征值则根据另一个以零时长为顶点的半正态分布函数计算获得。
[0195]
参见图4所示，rbf神经网络的模型如下。
[0196]
隐层第i个节点输出为：
[0197][0198]
输出层第j个节点输出为：
[0199][0200]
其中，输入向量x的维数为6，隐层h节点数为p个，输出向量y的维数为n，c
i
为隐层第i个节点高斯函数的中心，σ
i
是高斯函数中心的宽度，||x
‑
c
i
||是向量x和c
i
之间的欧氏距离，w
ij
为第i个隐层节点到第j个输出节点间的权值。
[0201]
采用本发明时，先要进行参数初始化，其中隐层节点的σ
i
可以由下式确定：
[0202][0203]
式中d
i
为第i隐层节点中心与其他中心之间的最大距离。
[0204]
在用本发明对注意力进行建模评价的初期，训练样本较少，样本集内光色参数中照度、 色温及颜色分量的变化不够多时，将每个样本x本身作为一个隐含层节点的中心向量c
i
， 随着样本的丰富，用k均值聚类算法确定隐含层节点的个数及其各自的中心向量c
i
。为 了获得足够多的训练样本，可以让人员在一个优选的可较大范围调节光亮度和色度的环境 中进行样本采集。
[0205]
由于网络输入输出量的取值区间可能相差较大，为了提高数据的有效性，对样本数据 先要进行归一化预处理，将数据映射到[0，1]数值空间里。网络逼近的性能指标函数即总 的平均误差函数为：
[0206][0207]
其中，n为训练样本集中的总样本数，k是样本序号，是相对于输入x
k
的实际输 出，y
k
是相对于输入x
k
的期望输出。rbf网络训练过程中，参数的调整要使网络在最小 二乘意义下逼近所对应的映射关系，也就是使e达到最小，为此，可以采用梯度下降法 修正网络隐含层到输出层的权值，使目标函数达到最小。
[0208]
本发明装置和方法的应用中，不管是进行训练样本的采集还是应用已训练好的网络进 行注意力参数预测，都需要用光色采集单元进行信号采集；但对于图像采集来说，如果当 前任务是采集训练样本则需要进行图像采集，否则如果是预测任务，则不需要进行图像采 集。
[0209]
为提高神经网络的泛化能力，要采集足够多的训练样本。本发明通过输出模块或用户 接口单元向灯组发出调光信号，对每次变化后的光环境，基于光色传感单元、图像采集单 元和心率采集单元获取人工神经网络的训练样本集。
[0210]
如图1所示，作为优选，测试或者使用本系统的环境中，可调光灯组150采用可调光 led灯组，其通过调光器调节灯组内各led灯152的驱动电流值，调光器151为可改变 输出电流的驱动器，驱动器通过改变led灯各通道驱动电流的pwm波占空比来进行出 光调节。
[0211]
作为优选，led灯为含rgb三基色电流通道的调光灯，此时，分别改变其中一个通 道的驱动电流值，可改变灯的光色。当从某个状态开始，三个通道电流同步增大或变小时， 灯表现出颜色不变而亮度渐亮或渐暗。
[0212]
作为优选，处理模块在已知的led灯组调光范围内，以步进的方式改变led灯组的 出光。例如，将led灯的各通道电流取值与所对应的在工作面上采集到的照度、色温以 及颜色合在一起建立一个变量的映射表，针对照度、色温以及颜色组成的照明向量空间， 在其取值区间中以分别仅改变其中一个变量如照度而保留其他变量如色温及颜色不变，逆 向查找所述映射表找到当前照明向量对应的led灯各通道电流值，处理模块通过输出模 块的通信接口，将各通道电流的pwm波占空比以信号的形式发送给调光器。处理模块通 过不断改变照明向量空间的工作点，获取足够多的网络训练样本，其中在各光色变量的端 值区域采样点可以稀疏，而在中间区域如色温4500k，照度300lx～500lx附近的区域，采 样点要更为密集。所采集样本，保存在存储模块中。
[0213]
迭代学习模块134通过连接切换器133分别从处理模块131获取训练样本对应的5 个输出量实际值，从rbf神经网132络获取该训练样本对应的6个输入量经神经网络处 理后的5个映射值，根据该5个输出量实际值及5个映射值来调整神经网络结构参数以对 神经网络进行训练，并重复训练直至达到预设的训练次数或目标函数小于设定阈值。训练 完成后的网络结构参数保存在存储模块中。
[0214]
控制单元进行处理所需要的预设值等参数通过用户接口单元中的按键来输入。经训练 的神经网络，基于其泛化能力，可以在人员进入新的学习环境后，对该环境光照条件下学 习者将有何种注意力进行预测和判断，并通过输出模块来显示或输出预判的结果。
[0215]
作为优选，神经网络的输入量中，色温和颜色的xyz色坐标值可以只采用其中一项。
[0216]
结合图6所示，作为优选，输出模块135包括一个用来指示当前学习者注意力集中程 度的显示条105。或者，输出模块可以采用显示屏1351并采用多个独立的显示条来分别 显示注意力的各因素评价。
[0217]
作为优选，输出模块135还包括一个通信接口1352，并通过该接口模块向外部输出 所检测或预判的注意力的各因素值。
[0218]
结合图1、图6所示，在线预测时，控制单元通过各传感、采集单元，实时采集光照 信号并处理获得工作面的照度、色温、颜色的xyz色坐标值，将此5个参数，加之预设如 采样周期整数倍时间或通过用户接口单元输入的持续学习时间，同时输入到经训练的神经 网络，经过网络映射处理后获得眼睛开度、视线专注度度、心率等体征参数的注意力因素 预测值，这些注意力参数的预测值可以通过一个显示条轮流显示，或者在同一块显示屏上 同时显示。
[0219]
作为优选，所述持续学习时间输入还可以动态变化，并且将该值变化后重新通过神经 网络映射后的注意力参数预测值，以随时间变化的曲线的形式显示。
[0220]
通过输出模块的显示，学习者可以预知当前光照条件是否优越，并在有调光条件时， 可通过改变光照如调节电流来改变灯具亮度或色温，从而获得有助于提高注意力的光照环 境。
[0221]
由于学习对象有难易之分，作为优选，可在用户接口单元中设置对当前学习难度进行 指示的按键，同时所述神经网络增加一个学习难度系数输入量，所述难度系数可以是1 至5之间的整数。
[0222]
结合图6和图7所示，作为优选，用户接口单元在底板101上设置一个调光面板108， 其中含有颜色粗调旋钮1081、颜色微调旋钮1082和亮度调节旋钮1083共三个旋钮，分 别用来进行led灯的颜色粗调、颜色微调及亮暗调节。
[0223]
其中，颜色粗调旋钮1081即档位调节旋钮分为6档，分别对应红、黄、绿、青、蓝、 品红，它们对应的rgb值分别为(255，0，0)，(255，255，0)，(0，255，0)， (0，255，255)，(0，0，255)，(255，0，255)。建立类似hsv色彩空间的颜色圆周图， 将红、黄、绿、青、蓝、品红依次排列，每两种颜色间隔60
°
，正好组成一个圆。颜色 粗调旋钮1081和颜色微调旋钮1082共同决定了led灯出光的rgb比例关系，而亮度调 节旋钮1083则决定了led灯驱动电流的相对大小，即通过旋转亮度调节旋钮可以调节三 基色led的亮暗。
[0224]
由于仅采用6个颜色档位难以满足环境对光色的要求，因而通过颜色微调旋钮来实现 颜色的微调。所述颜色微调旋钮顺时针和逆时针双向可调，参照hsv色彩空间的颜色圆 周图，当微调旋钮顺时针旋转，led灯颜色会慢慢接近颜色圆周图上顺时针方向的下一 个颜色，反之接近逆时针方向的下一个颜色，微调旋钮在顺、逆时针方向均可以实现颜色 圆周图上30
°
的颜色调节，这样从左往右第一、二旋钮共同作用就可以实现颜色圆周图 上360
°
的颜色调节。微调旋钮调节颜色时rgb分量值是逐渐变化的，例如当颜色粗调 旋钮1081即档位调节旋钮指向红色时，微调旋钮顺时针旋转，r、b值保持不变，g值 线性增加，这时候颜色逐渐往绿色分量增多的方向即黄色方向改变；反之，微调旋钮逆时 针旋转，r、g值保持不变，b值线性增加，这时候颜色逐渐往蓝色分量增多的方向即品 红色方向改变。
[0225]
颜色设定好后，根据亮度设定值相对最大值的比例，将该比例值乘以rgb各通道分 量，作为调各通道电流的依据。结合图1、所示，用户接口单元可以直接也可以通过控制 单元向灯组发出调光信号，改变灯组出光。
[0226]
作为优选，所述三个旋钮可以各自分别控制led灯rgb三通道中一个通道驱动电流 的大小。
[0227]
作为优选，当图像采集单元采用单目相机时，结合图8所示，可在底板表面设置多个 已知位置的标定块111，所述标定块各有一个圆形光点，同时在用户接口单元中设置一个 标定确认键，控制单元可通过这些标定块进行距离标定：轮流点亮所述标定块，学习者注 视被点亮的标定块，并在所述标定确认键被按下后通过图像采集单元采集学习者脸部图 像，基于所采集图像提取人眼视线方向，将提取结果与该标定块的位置进行对比从而对视 线方向检测参数进行标定。
[0228]
当学习者因为情绪等原因引起注意力不集中时，所采集样本与正常情况下的样本将出 现较大偏差，虽然神经网络有较好的容错性，但这种样本太多时将足以影响网络的准确性。 为此，作为优选，在用户接口单元中设置一个取消采样按键，控制单元在检测到此按键被 按下后，暂停数据采样和样本记录。
[0229]
为增加网络的适用性，作为优选，控制单元还可以增加一个实时时钟模块，神经网络 模块增加一个从实时时钟模块获取的季节参数作为输入。
[0230]
作为优选，神经网络模块还可以增加一个从实时时钟模块获取的时段参数作为输入， 所述时段分别为上午、下午或晚上。
[0231]
作为优选，控制单元还可以增加一个温湿度测量模块，神经网络模块增加从温湿度测 量模块获取的温度、湿度两个参数作为输入。
[0232]
作为优选，控制单元还可以增加一个噪声测量模块，神经网络模块增加一个从噪声测 量模块获取的噪声水平参数作为输入。
[0233]
作为优选，还可以通过输出模块来控制一个led灯，当检测到人员注意力明显降低 时，命令led灯短暂闪烁，以提醒学习者集中注意力或停止学习。
[0234]
应用本发明进行可变光环境下学习注意力的检测与预判，在采集到变化足够丰富的样 本后，由于光色变化域内的组合有无穷多种，可以采用本发明对各种现场环境中光照条件 下的注意力参数包括眼睛开度、视线专注度度等随累积学习时间的变化进行预测，从而为 潜在的高注意力光环境的切换提供依据。
[0235]
以上所述的实施方式，并不构成对该技术方案保护范围的限定。任何在上述实施方式 的精神和原则之内所作的修改、等同替换和改进等，均应包含在该技术方案的保护范围之 内。