本发明属于电子类机器人工作方法,涉及一种应用于教育学习领域的知识自动获取的方法和智能设备,通过神经电生理的脑电波分析技术,捕捉到大脑的记忆加工状态时,自动播放知识,形成知识的输入和脑的记忆状态的共振,实现自动化学习的目的。
背景技术:
教育和学习是人类永恒的话题,也是人类进步的推动力。当今时代,脑科学是人们重点关注的领先科学领域,而学习知识,是大脑的重要功能之一。自人类诞生,随着文化的传承、科学的进步,社会的发展造就了现代工业、现代科学的繁荣局面,只是终究没有出现一种科学、定量、规范、高效的使用大脑的技术和方法,特别是学习中的记忆,几千年以来,并没有定量规范的方法出现。这种原因的根源,就是脑科学的落后,人们对大脑的认识很初级,特别是大脑的工作原理,一直是科学界的空白。
要建立科学定量规范的记忆方法,必须发展大脑的测量技术,要能够测量大脑的记忆状态,目前针对大脑的测量,主要集中于医学领域的影像检查和血流测量,解决的问题是肿瘤以及血管硬化。功能影像学也可应用于记忆功能的基础研究,但针对学习中的记忆,人们的测量只能依赖于主观量表和完成心理学任务,主观量表和心理学任务都是人们用主观的自我判断和完成的任务质量实现测量。这样的方法充满了不确定性和不可重复性,更加没有实时性,谈不上应用于日常学习的记忆过程中。近十年以来,人们通过电生理技术,针对大脑功能状态的测量有了初步的结果,可以从大脑中提取包括出镇静、疼痛、焦虑等功能状态指标,同时,脑科学的基础研究也证明,脑电波中存在疼痛、镇静、情绪等有效成分。在这样的背景下,研制一套科学规范的知识记忆的定量方法成为可能。
技术实现要素:
本发明的目的是提供一种基于脑的记忆刻度和诱导捕捉的自动知识记忆牵引方法,以解决通过采集脑电波信号提取出其中反应脑的记忆前准备状态的特征成分和定量表达(记忆刻度)的方法,并在此基础上利用记忆刻度作为反馈控制信号的自动知识记忆牵引的技术问题。
为了实现上述发明目的,本发明所采用的技术方案如下:
一种基于脑的记忆刻度和诱导捕捉的自动知识记忆牵引方法,包括在各种环境状态下,睡眠以及疾病治疗的状态,基于采集脑电波,提取脑的专注记忆的定量刻度,并牵引诱导以及捕捉大脑的最佳学习状态,实现知识的自动化记忆的方法和设备,利用脑电波作为原始信号处理单元,离散化采集到计算机中,施加小波、模式识别、功率谱等多种数学计算算法,将脑电波分解成不同尺度下的涵盖了低频、中频、高频、超高频单元的分量,提取其中和专注记忆相关的特征成分,经过归一化处理,表达为0-100的无量纲数据,实时反应大脑专注记忆的定量刻度,利用专注记忆刻度的大小控制计算机输出声频、视频信号的变化和计算机外延输出作为刺激信号,实时反馈到大脑的感觉器官中,诱导牵引大脑快速进入学习状态,并在捕捉到特定程度的专注记忆状态时,计算机以声音和视频呈现知识内容,计算机输出的两种状态的交替,形成一种闭环模式,不在学习状态时,放松、娱乐、游戏的牵引和诱导过程,在专注记忆状态时,知识的学习和记忆,实现知识的自动化记忆;利用脑电传感电极,佩戴于头部的前额部和耳部部位,无创采集脑部多个部位的电位信号,信号经由前置放大器和多级整合电路、以及模数转换器进入计算单元,信号带宽包含脑电波中的超高频成分(超过30hz以上的脑电波成分),脑电采集导联设置为一至多导联部位,各导联的脑电波信号经由前置放大、模数转换,进入单片计算机单元,经由有线方式直接传送至计算机系统,或经由无线通讯控制单元的tcp/ip协议包装并发送到互联网数据服务器,计算机或服务器中的专用计算控制软件系统对接收到的脑电波信号实时处理计算、显示、存储、转发,其中计算部分以小波分析计算为主,结合模式识别算法,功率谱算法,分解脑电波中相关于波形维度、波形特异点、波形变异度、频率谱等有效成分和伪差成分,实时提取出大脑的记忆前准备状态的特征指标,经过归一化处理,获得从0-100的无量纲数据,作为实时客观定量反映大脑的专注记忆能力的刻度,软件系统再将刻度以音乐、视频、玩具等外在信号形式表达播放,实时回馈到大脑的听、视或体位的感觉通道中,音乐、视频、玩具的表达受刻度及脑电波的频率控制;设定记忆刻度的阈值,软件系统一旦捕捉到超过阈值的记忆前准备状态,立即开始通过听视播放需要记忆的知识内容,一旦低于阈值水平,继续播放音乐视频游戏等内容,过程自动循环往复,播放的知识内容以标准格式编辑,并按照重复次数的设定自动更换;学习和记忆过程中,没有使用者的任何操作动作,一切过程都是设备自动完成。
经由脑电波信号的采集和计算处理,提取出反应脑的专注记忆状态的实时连续定量刻度的方法,刻度可以作为实时反馈控制信号,驱动诱导、牵引和知识播放的过程,其特征在于:利用实时采集得到的定长或可变时间窗口中的一段脑电波信号的数字序列,针对其施加多种数学计算算法,以小波分析计算为主,结合模式识别算法,功率谱算法,分解脑电波中相关于波形维度、波形特异点、波形变异度、频率谱等有效成分和伪差成分,提取出实时连续的大脑记忆状态的当前变化特征,作为大脑记忆的刻度表达,刻度数值的变化精度和速度达到实时连续控制信号的要求,算法涵盖小波分析、功率谱分析、模式识别等等非线性和线性数值信号处理算法。
作为实时客观定量反映大脑的专注记忆状态的刻度,可以控制音乐、视频、玩具等可被人体自然感觉器官接受的外在表现形式的变化的方法,这种变化作为感觉器官的外部反馈刺激信号,诱导牵引大脑的专注记忆状态的改变,其特征在于:针对听觉系统的反馈,机器人自动读取系统内预先存储的音乐文件的曲目名称,格式不限,数量由机器人内部配置的计算机容量决定,根据记忆刻度的大小,机器人自动调节播放的曲目和曲目音量的大小,曲目的改变,由记忆刻度的某个下线阈值决定,播放曲目的顺序,由脑状态在此曲目下的状态好坏决定,包含记忆刻度和脑状态的放松、专注等其它定量数据,音乐曲目和音量大小的变化,回馈到人的听觉神经系统中,引起系统的逆向反射,触发脑区记忆状态的改变,也就是记忆刻度发生改变,音量改变,循环往复,记忆状态的牵引和诱导就产生了;针对视觉系统的反馈,记忆刻度的大小变化同步控制视频播放的过程变化,包括带有知识内容的视频显示的变化以及电子游戏的进程变化;视频知识内容显示的变化,主要以屏幕的明暗变化呈现,明暗变化的频率同步于记忆刻度的大小,两者形成同步的作用;电子游戏进程的变化,采用专业定制的游戏,游戏的运行和机器人软件之间形成数据的实时交换,游戏根据记忆刻度的改变而改变结果,达到用游戏娱乐的方式实现牵引和诱导记忆状态的出现和加强。
机器人软件系统捕捉到超过设定阈值的记忆前准备状态时,触发播放预先设定的知识内容,低于阈值,继续播放音乐游戏等娱乐内容,其特征在于:知识的记忆产生于知识播放和脑的专注记忆状态的双向共振的机制,机器人的计算软件系统实时计算出大脑的记忆刻度,比较预先设定的记忆状态的阈值,超过阈值,切换播放预先存储的知识内容,低于阈值,切换播放音乐游戏内容,记忆出现,知识播放才出现,循环往复,形成共振;设定的记忆刻度阈值可以是不变的,也可以自适应改变,自动适应当前的大脑记忆状态,适应性变化由低于阈值条件的时间过长和刻度偏侧的程度决定,知识的呈现按照一定规则,知识内容通过计算机或服务器的数据库或文字系统编辑生成;知识的呈现包括听觉和视觉表达,听觉和视觉的切换或同时表达由睁眼和闭眼决定,知识按照条目播放,每个条目的播放设定重复次数,重复次数可以不变,也可以关联于刻度阈值的自适应改变和睡眠状态的出现;睁眼和闭眼以及睡眠状态被机器人识别的功能可以作为选项,有或没有,表现在知识内容播放的重复次数是固定的还是可变的;视觉知识的播放,配以屏幕的闪动,触发视觉神经系统的差异化接受,缓解视觉疲劳。
在小波处理计算中,可以分解出这两种生物电信号序列,作为信号强度和干扰信号的标记特征使用,采用小波公式:
对脑电向量组
fi(t)=[x1x2x3…xm-2xm-1xm]
i:脑电波导联数量,m:向量元素数量,x:脑电波数据,t:时间点
实时计算处理,以多尺度滤波器组算法,分解出各尺度窗口下的小波基函数
(wf(2^j,fj(x)))j∈z
(wf(2^0,fj(x))),(wf(2^1,f0(x))),,,(wf(2^n,fn(x)))
j:小波基数量
由小波基函数和各尺度数据的反变换,获得一组时域重构函数如下:
fi,j(x)=∑wf(2^j,x)*x2^j(x)
fi,1(x),fi,2(x),,,fi,n(x);重构函数,x2^1(x),x2^2(x),,,x2^n(x),各尺度小波数据点;n:阶数;j:尺度数量,i:导联数;
各个重构函数代表了不同尺度下的脑电波,眼动电波和肌电波的表现;尺度也对应信号的频率成分,分布于脑电图的常规节律和高频节律;对于分解的重构函数的各个序列数据,采用模式识别算法中的波形识别算法提取出数据的特征点:
tj(x)∈z;
t:特征值向量,j:尺度,x:离散数据,代表波形特点;z:时域空间;向量tj(x)中的特征数据包含特异点、幅度、变异、斜率、面积、自相关、互相关等计算结果,计算来自于基本算法:
数据序列:y(t,i)=(f(j)-f(j-1))/δt
j:离散数据下标,i:尺度;
获取序列y(t,i)中最大数值,可以获得特征指数之一,其中的正负反相点,就是特异点,特异点的数量由t值的大小表示;
对f(x)序列数据施加迭代微分算法:
d(j,i)=∑(f(j+i)-f(j+i-1)/(δt+i))
i:δt的增量,从1..n,j:数值序号;
对于矩阵d(j,i)中的各个向量,将向量中的数据点排序以及相加,选取每个向量中的最大值和相加和,作为斜率和幅度;
针对重构函数中的各个尺度向量fi(x)=[x1x2x3…xm-2xm-1xm],将处理得到的结果向量y(t,i)、d(j,i)生成模式类ω1,ω2,…,ωc,然后利用模式之间的距离函数计算各个重构函数的距离;得到重构函数的变异、自相关、互相关数值;
计算重构函数的积分:
si(t)=∫f(j,i)*δt
求得各个函数的面积数值;
tj(x)向量表达了重构函数的波形特点和规律;对于采集的脑电波中的眼动电信号和额肌电信号,分布于特定尺度的重构函数中,针对这些重构函数,首先,求取其中的一阶导数:
di(x)=(fi(x)-fi(x+m))/δx
x:横坐标,δx:横坐标增量;
对di(x)排序,得到极大值和极小值,设定阈值a,可以求取
di(x)的正负极性变异点,得到一组极值点向量:
mi(j);高点;
mi(j);低点;
j:极值点的数量;
对相关重构函数采用积分算法:
e=∫fi(t)^2*δt
e1=∫fj(t)^2*δt
得到肌电和眼动的功率值大小;针对上述结果数据,经过归一组合算法:
sq=exp(a*abs(mi-mi)+b*e);
a,b:加权系数,由信号表达范围决定;
可以得到指示干扰的信号强度的定量表达sq,作为睁眼和闭眼的实时鉴别条件;
针对不同尺度下的重构函数,提取各尺度波形功率的复杂度:
复杂度之和:
aj={pi(j)};
重构函数中消除了眼动和肌电的脑电波重构成分,采用功率谱算法:
f(x):时域脑电波离散数据,x(w):频谱功率大小;
可以获得脑电波中功率谱的各个成分,包括αβδθ波段的数值,sef,mef等边缘频率,优势频率等数值:
fj={α,β,δ,θ,,,sef,mef};
结合波形识别所得到的特征向量,组合成为一组涵盖了时域和频域,以及非线性复杂度结果的数据向量组:
gi(x)={tj,fj};
i:尺度数量;
数据向量gi(x)组,作为脑电波的一次处理结果,被命名为脑电波一级处理的元数据组,可以被作为二次计算的基础数据;
对于上述各个数据序列,经过数据加权,得到以下计算公式:
e={a,b}*{aj,gi};
a,b:加权系数;
对e数据施加归一化计算:
记忆刻度=(esp(e))×100
得到脑电波中的记忆前准备状态的实时客观定量特征指标。
本发明的优点:
本发明的方法可以用于实现机器人的自动控制技术。机器人由可穿戴生物电信号采集传输终端(生物电信号采集传感器、信号放大器、单片计算单元、通讯控制单元)和计算机或服务器,以及一组数学计算程序组成。信号采集传输终端实时采集多导联的脑电波信号,经过信号的放大、整形、滤波以及模数转换、通讯发送,将信号传送至计算机中,通过计算机中的计算算法程序计算脑电波信号,实时提取出脑电波中有关脑的记忆加工(记忆前准备状态)的特征成分,表达为0-100的无量纲数据作为脑的记忆状态的定量刻度,将刻度转化为人的自然感官的刺激输入信号,闭环反馈诱导和牵引,实时捕捉大脑达到记忆刻度最大化的片段时刻,并通过计算机的多媒体单元,同步触发知识的播放,实现脑的记忆状态和知识显现的双向共振,达到知识的深刻、长期、高效记忆的自动化过程的目的。本发明实现在任何状态下的一种自动学习记忆的能力,特别是在娱乐状态下实现记忆状态的诱导和牵引并捕捉记忆加工状态的片段并加以利用,自动灌注知识内容的功能。本发明对于知识的学习和记忆能力的改善、延缓大脑老化等方面有重要的实用价值。
附图说明
附图说明:
图1是本发明的自动知识记忆牵引方法的工作原理图。
图2是本发明的自动知识记忆牵引方法实施例的组成框图。
具体实施方式
本发明的工作原理参见图1、2所示。
一种基于脑的记忆刻度和诱导捕捉的自动知识记忆牵引方法,包括在各种环境状态下,睡眠以及疾病治疗的状态,基于采集脑电波,提取脑的专注记忆的定量刻度,并牵引诱导以及捕捉大脑的最佳学习状态,实现知识的自动化记忆的方法和设备,利用脑电波作为原始信号处理单元,离散化采集到计算机中,施加小波、模式识别、功率谱等多种数学计算算法,将脑电波分解成不同尺度下的涵盖了低频、中频、高频、超高频单元的分量,提取其中和专注记忆相关的特征成分,经过归一化处理,表达为0-100的无量纲数据,实时反应大脑专注记忆的定量刻度,利用专注记忆刻度的大小控制计算机输出声频、视频信号的变化和计算机外延输出作为刺激信号,实时反馈到大脑的感觉器官中,诱导牵引大脑快速进入学习状态,并在捕捉到特定程度的专注记忆状态时,计算机以声音和视频呈现知识内容,计算机输出的两种状态的交替,形成一种闭环模式,不在学习状态时,放松、娱乐、游戏的牵引和诱导过程,在专注记忆状态时,知识的学习和记忆,实现知识的自动化记忆;利用脑电传感电极,佩戴于头部的前额部和耳部部位,无创采集脑部多个部位的电位信号,信号经由前置放大器和多级整合电路、以及模数转换器进入计算单元,信号带宽包含脑电波中的超高频成分(超过30hz以上的脑电波成分),脑电采集导联设置为一至多导联部位,各导联的脑电波信号经由前置放大、模数转换,进入单片计算机单元,经由有线方式直接传送至计算机系统,或经由无线通讯控制单元的tcp/ip协议包装并发送到互联网数据服务器,计算机或服务器中的专用计算控制软件系统对接收到的脑电波信号实时处理计算、显示、存储、转发,其中计算部分以小波分析计算为主,结合模式识别算法,功率谱算法,分解脑电波中相关于波形维度、波形特异点、波形变异度、频率谱等有效成分和伪差成分,实时提取出大脑的记忆前准备状态的特征指标,经过归一化处理,获得从0-100的无量纲数据,作为实时客观定量反映大脑的专注记忆能力的刻度,软件系统再将刻度以音乐、视频、玩具等外在信号形式表达播放,实时回馈到大脑的听、视或体位的感觉通道中,音乐、视频、玩具的表达受刻度及脑电波的频率控制;设定记忆刻度的阈值,软件系统一旦捕捉到超过阈值的记忆前准备状态,立即开始通过听视播放需要记忆的知识内容,一旦低于阈值水平,继续播放音乐视频游戏等内容,过程自动循环往复,播放的知识内容以标准格式编辑,并按照重复次数的设定自动更换;学习和记忆过程中,没有使用者的任何操作动作,一切过程都是设备自动完成。
经由脑电波信号的采集和计算处理,提取出反应脑的专注记忆状态的实时连续定量刻度的方法,刻度可以作为实时反馈控制信号,驱动诱导、牵引和知识播放的过程,其特征在于:利用实时采集得到的定长或可变时间窗口中的一段脑电波信号的数字序列,针对其施加多种数学计算算法,以小波分析计算为主,结合模式识别算法,功率谱算法,分解脑电波中相关于波形维度、波形特异点、波形变异度、频率谱等有效成分和伪差成分,提取出实时连续的大脑记忆状态的当前变化特征,作为大脑记忆的刻度表达,刻度数值的变化精度和速度达到实时连续控制信号的要求,算法涵盖小波分析、功率谱分析、模式识别等等非线性和线性数值信号处理算法。
作为实时客观定量反映大脑的专注记忆状态的刻度,可以控制音乐、视频、玩具等可被人体自然感觉器官接受的外在表现形式的变化的方法,这种变化作为感觉器官的外部反馈刺激信号,诱导牵引大脑的专注记忆状态的改变,其特征在于:针对听觉系统的反馈,机器人自动读取系统内预先存储的音乐文件的曲目名称,格式不限,数量由机器人内部配置的计算机容量决定,根据记忆刻度的大小,机器人自动调节播放的曲目和曲目音量的大小,曲目的改变,由记忆刻度的某个下线阈值决定,播放曲目的顺序,由脑状态在此曲目下的状态好坏决定,包含记忆刻度和脑状态的放松、专注等其它定量数据,音乐曲目和音量大小的变化,回馈到人的听觉神经系统中,引起系统的逆向反射,触发脑区记忆状态的改变,也就是记忆刻度发生改变,音量改变,循环往复,记忆状态的牵引和诱导就产生了;针对视觉系统的反馈,记忆刻度的大小变化同步控制视频播放的过程变化,包括带有知识内容的视频显示的变化以及电子游戏的进程变化;视频知识内容显示的变化,主要以屏幕的明暗变化呈现,明暗变化的频率同步于记忆刻度的大小,两者形成同步的作用;电子游戏进程的变化,采用专业定制的游戏,游戏的运行和机器人软件之间形成数据的实时交换,游戏根据记忆刻度的改变而改变结果,达到用游戏娱乐的方式实现牵引和诱导记忆状态的出现和加强。
机器人软件系统捕捉到超过设定阈值的记忆前准备状态时,触发播放预先设定的知识内容,低于阈值,继续播放音乐游戏等娱乐内容,其特征在于:知识的记忆产生于知识播放和脑的专注记忆状态的双向共振的机制,机器人的计算软件系统实时计算出大脑的记忆刻度,比较预先设定的记忆状态的阈值,超过阈值,切换播放预先存储的知识内容,低于阈值,切换播放音乐游戏内容,记忆出现,知识播放才出现,循环往复,形成共振;设定的记忆刻度阈值可以是不变的,也可以自适应改变,自动适应当前的大脑记忆状态,适应性变化由低于阈值条件的时间过长和刻度偏侧的程度决定,知识的呈现按照一定规则,知识内容通过计算机或服务器的数据库或文字系统编辑生成;知识的呈现包括听觉和视觉表达,听觉和视觉的切换或同时表达由睁眼和闭眼决定,知识按照条目播放,每个条目的播放设定重复次数,重复次数可以不变,也可以关联于刻度阈值的自适应改变和睡眠状态的出现;睁眼和闭眼以及睡眠状态被机器人识别的功能可以作为选项,有或没有,表现在知识内容播放的重复次数是固定的还是可变的;视觉知识的播放,配以屏幕的闪动,触发视觉神经系统的差异化接受,缓解视觉疲劳。
本发明涉及制造一个可穿戴无线脑电波信号采集传感器和一台计算机,或相当于计算机的移动通讯终端+云计算服务器,以及相关的信号处理计算和控制管理软件。包含多导脑电波的采集处理部分和无创电极、通讯控制模块,记忆前准备状态的脑电波特征成分计算提取方法和归一化表达方式,需要记忆的知识的标准化结构,多媒体输出等软硬件部分。
大脑的高级神经系统,是由神经元细胞组成,神经元放电是神经传导的表现,神经传导的电位信号,到达头部皮肤表面,就是脑电波信号。脑电波信号中包含了大脑状态的各种成分,也是认知记忆的物理源泉。利用采集的脑电波信号,通过计算机上预先配置的一组算法程序,对脑电波信号施加多种数学计算算法,找到并提取其中的记忆加工成分的特征指标,经过归一化处理,就可以作为记忆前准备状态的定量刻度,形成自动知识记忆牵引机器人。
可穿戴无线脑电波信号采集传感器包含了前置放大电路、单片机控制电路、组合式无线通讯接入控制电路、电源电路等部分。各部分之间的连接关系如下:
通过使用者的脑电波感受器电极(生物电信号传感器),将多导脑电波信号采集传送至前置放大电路的滤波、噪音控制、放大输入部分,经相应通道分别送入传感器的单片计算机控制部分的模、数转换电路中。单片计算机控制部分获得数字化的脑电波(包括超过30hz以上的高频脑电波后)数据,经过加密、压缩的数据处理过程,得到处理后的数据流,送入存储队列。队列中的数据在单片控制电路的读指令控制下,经数据端口输出到蓝牙模块中发送,计算机或移动通讯终端(手机)接受到蓝牙通讯数据后,同步通过wifi、3g或4g端口,向移动互联网推送脑电波数据。如果采用计算机(或移动平板),配置于计算机中的算法程序和管理控制程序对于接收到的脑电传感器数据实时处理和计算,捕捉和诱导记忆状态,完成机器人的所有功能。如果采用移动通讯终端(手机),通过设置在互联网平台上的云计算服务器完成对脑电波数据的计算和管理控制的所有任务,移动通讯终端完成结果的呈现,包括音乐和视频。云计算服务器的数据接收和控制指令都是在移动互联网平台上实现交互,每台脑电传感器,包括配置的计算机或移动通讯终端都有自己的唯一设备号,对应服务器的地址和端口。
唯一的设备号由机器号、服务器号加服务器的固定ip地址组成:
脑电传感器设备号(包括配置的计算机或手机)=服务器号范围内的唯一地址号+服务器号+组网服务器的固定ip地址+服务器端口号
每台云计算服务器对应的最大传感器数量=65535
可穿戴无线脑电波传感器对于转换成数字信号的数据实施加密化处理和压缩。数据窗口为7-15个bety
l流窗口=m+addr+asyn+data
m为模块传送的加密标记,addr为机器地址,asyn为同步,data为加密数据,包括数值型数据和波形数据。
当利用近距离的计算机作为脑电传感器的处理平台时,传感器和计算机就组成了机器人的主要部分。计算机需要下载专用的机器人系统软件和音乐曲目、游戏视频、知识内容,下载时,需要建立使用者的身份信息,以身份证号作为唯一用户识别码。传感器数据直接通过计算机上配置的wifi或蓝牙通讯端口接收数据,并由计算机的操作系统和机器人应用软件完成数据计算、记忆诱导捕捉、知识学习的所有工作。同时计算机同步将原始脑电波数据发送到互联网平台,设定的云计算服务器接受数据,形成机器学习的大数据,同步完成机器人所有的功能,并以相同的加密格式将结果数据发送至互联网平台,供相关人员在不同地理位置、不同的终端上共享和监控结果。
针对移动应用,各个移动通讯终端(手机)接受脑电传感器的实时数据,经由手机上配置的app软件,通过wifi、3g、4g端口,同步传输数据至移动互联网区域内的云计算服务器中,服务器运行专用的实时数据计算处理软件、诱导牵引捕捉控制软件、用户身份同步管理软件、知识内容编辑软件等机器人功能软件系统。服务器完成数据的计算、身份匹配、原始和结果数据存储、转发、命令生成、形成大数据等等功能,结果数据和控制命令以相同的加密格式经由移动互联网返回到移动通讯终端(手机)。手机中的app软件接收到数据和命令时,完成声音和视频的呈现功能。同时,分布于互联网上的其他终端的持有者,在身份授权的情况下共享和监控自动学习记忆的结果。
移动通讯终端,手机是其中之一。手机通过其配置的蓝牙功能,在机器人应用app软件的支持下,接受脑电传感器发送的加密数据流。并经过显示、呼叫、转发的过程,将数据实时同步发送至互联网平台。手机和传感器之间设置蓝牙通讯,配对,手机app中采用socket线程,初始化蓝牙通道,进入接收流程,对于接收到的数据信号,解码,并可选择性的实时显示在手机屏幕上。同时对于解码的数据,提取出其中的云计算服务器地址和端口地址,经由手机的wifi或3g、4g接口,将接受的原始数据不加任何处理,向相应的云计算服务器发送。app利用另一个socket线程接受相应服务器发送的命令数据和结果数据,数据的解密计算格式相同于传感器发送的数据计算格式。对于结果数据,app将数据实时显示在手机的固定屏幕位置,供使用者实时观察记忆状态的定量刻度。对于命令数据,app按照命令的不同,控制音乐、视频以及需要记忆的知识的播放。音乐曲目、游戏视频和知识的内容,以及app软件,都需要自服务器中下载。利用身份证号作为唯一用户识别码,在下载的同时,建立使用者的个人档案,一旦生成了用户信息后,手机app软件就可以成为机器人的一部分。
利用计算算法程序计算脑电波信号,实时提取出脑电波中有关脑的记忆加工(记忆前准备状态)的特征成分,表达为0-100的无量纲数据作为脑的记忆状态的定量刻度,将刻度转化为人的自然感官的刺激输入信号,闭环反馈诱导和牵引,实时捕捉大脑达到记忆刻度最大化的片段时刻,并通过计算机的多媒体单元,同步触发知识的播放,实现脑的记忆状态和知识显现的双向共振,达到知识的深刻、长期、高效记忆的自动化过程。其中,记忆刻度表达为人的自然感觉器官的刺激输入信号,是利用了人的游戏娱乐本能,刻度以音乐、玩具、电子竞技等听、视、体感的形式展现,在愉悦、快乐、专注的背景下,自然刺激大脑产生记忆前准备状态。刻度的大小控制音乐、视频画面、电子游戏的变化,变化形成感觉器官的刺激输入,反过来影响大脑的记忆前准备状态,刻度改变,引起刺激改变,在引起刻度改变,不断重复,就是闭环反馈诱导和牵引的过程。记忆刻度的表达,也是大脑的记忆加工(记忆前准备状态)状态的捕捉,只要机器捕捉到记忆加工的刻度达到一定条件(阈值),立即暂停刺激信号的产生,按顺序重复播放需要记忆的知识内容,低于条件,继续启动刺激信号的发生,人的自然感觉器官重新接受能使人们快乐的音乐、绘画、游戏等等信息,两种状态随机切换,决定因素就是记忆刻度的变化,一旦刻度控制知识的播放开始,就是大脑的记忆前准备状态和知识显现的共振,知识在大脑中的记忆就处在了最好、最高效的状态。整个过程的完整实现,相当于在大脑中建立了一座自动生产知识记忆的工厂,不断的将外部知识转化为大脑内部的深刻、长期记忆,同时,音乐、游戏等刺激信号的输入,作用于大脑,又是大脑神经系统的休眠、疲劳恢复的最佳过程,自动化的记忆和疲劳恢复的交替,使机器和人脑形成了有机的整体,两者共同形成了自动知识记忆牵引机器人。
计算机或云计算服务器接收到实时脑电波数据后,施加多种数学算法和控制过程,其中计算部分针对实时采集得到的定长或可变时间窗口中的一段脑电波信号的数字序列,以小波分析计算为主,结合模式识别算法,功率谱算法,分解脑电波中相关于波形维度、波形特异点、波形变异度、频率谱等有效成分和伪差成分,将脑电波分解成不同尺度下的涵盖了低频、中频、高频、超高频单元的分量,实时提取出大脑的记忆前准备状态的特征指标,经过归一化处理,获得从0-100的无量纲数据,作为实时客观定量反映大脑的专注记忆能力的刻度。软件系统再将刻度以音乐、视频、玩具等外在信号形式表达播放,音乐、视频的内容随刻度的大小变化,形成刺激信号,实时回馈到大脑的听、视或体位的感觉通道中,诱导牵引大脑快速进入专注记忆状态。音乐、视频、玩具的表达同时也受刻度及脑电波的频率控制,随着数值的不同,呈现形式也不同,加深大脑的响应力度。软件系统实时计算记忆刻度的大小,和预先设定的刻度阈值相比较,软件系统一旦捕捉到超过阈值的记忆前准备状态的刻度数值,立即开始通过听视播放需要记忆的知识内容。记忆刻度数值一旦低于阈值水平,继续播放音乐视频游戏等内容,进入记忆牵引诱导过程。计算机输出的两种状态的交替,形成一种闭环模式,不在学习状态时,放松、娱乐、游戏的牵引和诱导,在专注记忆状态时,知识的学习和记忆,实现知识的自动化记忆过程自动循环往复,播放的知识内容以标准格式编辑,并按照重复次数的设定自动更换。学习和记忆过程中,没有使用者的任何操作动作,一切过程都是设备自动完成。
作为实时客观定量反映大脑的专注记忆状态的刻度,可以作为控制音乐、视频、玩具等可被人体自然感觉器官接受的外在表现形式的视听信号变化的反馈控制信号使用。这种变化作为感觉器官的外部反馈刺激信号,诱导牵引大脑的专注记忆状态的改变。机器人中的软件系统可以自动读取系统内预先存储的音乐文件的曲目名称,格式不限,数量由机器人内部配置的计算机容量决定。根据记忆刻度的大小,机器人自动调节播放的曲目和曲目音量的大小,曲目的改变,由记忆刻度的某个下线阈值决定,播放曲目的顺序,由脑状态在此曲目下的状态好坏决定,包含记忆刻度和脑状态的放松、专注等其它定量数据。音乐曲目和音量大小的变化,回馈到人的听觉神经系统中,引起系统的逆向反射,触发脑区记忆状态的改变,也就是记忆刻度发生改变,控制音量改变,在触发脑区的记忆状态改变,循环往复,记忆状态的牵引和诱导就产生了。系统中包含视频游戏文件,针对视觉系统的反馈,记忆刻度的大小变化同步控制视频播放的过程变化,包括,带有知识内容的视频显示的变化以及电子游戏的进程变化。视频知识内容显示的变化,主要以屏幕的明暗变化呈现,明暗变化的频率同步于记忆刻度的大小,两者形成同步的作用。电子游戏进程的变化,采用专业定制的游戏,游戏的运行和机器人软件之间形成数据的实时交换,游戏根据记忆刻度的改变而改变结果,达到用游戏娱乐的方式实现牵引和诱导记忆状态的出现和加强。
机器人软件系统捕捉到超过设定阈值的记忆前准备状态的刻度变化时,触发播放预先设定的知识内容,低于阈值,继续播放音乐游戏等娱乐内容。知识的记忆产生于知识播放和脑的专注记忆状态的双向共振的机制,大脑处于高的记忆状态时,知识的播放达到最大音量,两种现象的最大化,就是两个信号的共振,也就处在了最佳的学习效果的状态。机器人的计算软件系统实时计算出大脑的记忆刻度,比较预先设定的记忆状态的阈值,超过阈值,切换播放预先存储的知识内容,低于阈值,切换播放音乐游戏的内容,记忆出现,知识播放才出现,循环往复,形成自动记忆的学习模式。设定的记忆刻度阈值可以是不变的,也可以自适应改变,自动适应当前的大脑记忆状态。适应性变化由低于阈值条件的时间过长和刻度偏侧的程度决定。知识的呈现按照一定规则,知识内容通过计算机或服务器的数据库或文字系统编辑生成。知识的呈现包括听觉和视觉表达,听觉和视觉的切换或同时表达由睁眼和闭眼决定,知识按照条目播放,每个条目的播放设定重复次数,重复次数可以不变,也可以关联于刻度阈值的自适应改变和睡眠状态的出现。睁眼和闭眼以及睡眠状态被机器人识别的功能可以作为选项,有或没有,表现在知识内容播放的重复次数是固定的还是可变的。自适应状态下,刻度阈值越低,需要重复的次数越多。视觉知识的播放,配以屏幕的闪动,触发视觉神经系统的差异化接受,缓解视觉疲劳。
对于脑电波的处理,以采样频率为1400/s、采样时间窗口为1.25s、采样精度为10位bite的离散化处理,采用波形识别、小波分析算法,计算出大脑的不同成分序列和各序列的时域特征、多尺度复杂度特征。并采用功率谱算法,提取出脑电波中的节律成分和各节律波段的功率大小,得到一级处理计算的计算结果序列,本序列对应脑电波中的数百个独立或弱相关的规律特征。对于额部双侧采集的脑电波中,包含有眼动电成分和额肌电成分。在小波处理计算中,可以分解出这两种生物电信号序列,作为信号强度和干扰信号的标记特征使用。采用小波公式:
对脑电向量组
fi(t)=[x1x2x3…xm-2xm-1xm]
i:脑电波导联数量,m:向量元素数量,x:脑电波数据,t:时间点
实时计算处理,以多尺度滤波器组算法,分解出各尺度窗口下的小波基函数
(wf(2^j,fj(x)))j∈z
(wf(2^0,fj(x))),(wf(2^1,f0(x))),,,(wf(2^n,fn(x)))
j:小波基数量
由小波基函数和各尺度数据的反变换,获得一组时域重构函数如下:
fi,j(x)=∑wf(2^j,x)*x2^j(x)
fi,1(x),fi,2(x),,,fi,n(x);重构函数,x2^1(x),x2^2(x),,,x2^n(x),各尺度小波数据点。n:阶数;j:尺度数量,i:导联数。
各个重构函数代表了不同尺度下的脑电波,眼动电波和肌电波的表现。尺度也对应信号的频率成分,分布于脑电图的常规节律和高频节律。对于分解的重构函数的各个序列数据,采用模式识别算法中的波形识别算法提取出数据的特征点:
tj(x)∈z;
t:特征值向量,j:尺度,x:离散数据,代表波形特点。z:时域空间。向量tj(x)中的特征数据包含特异点、幅度、变异、斜率、面积、自相关、互相关等计算结果,计算来自于基本算法:
数据序列:y(t,i)=(f(j)-f(j-1))/δt
j:离散数据下标,i:尺度。
获取序列y(t,i)中最大数值,可以获得特征指数之一,其中的正负反相点,就是特异点,特异点的数量由t值的大小表示。
对f(x)序列数据施加迭代微分算法:
d(j,i)=∑(f(j+i)-f(j+i-1)/(δt+i))
i:δt的增量,从1..n,j:数值序号。
对于矩阵d(j,i)中的各个向量,将向量中的数据点排序以及相加,选取每个向量中的最大值和相加和,作为斜率和幅度。
针对重构函数中的各个尺度向量fi(x)=[x1x2x3…xm-2xm-1xm],将处理得到的结果向量y(t,i)、d(j,i)生成模式类ω1,ω2,…,ωc,然后利用模式之间的距离函数计算各个重构函数的距离。得到重构函数的变异、自相关、互相关数值。
计算重构函数的积分:
si(t)=∫f(j,i)*δt
求得各个函数的面积数值。
tj(x)向量表达了重构函数的波形特点和规律。对于采集的脑电波中的眼动电信号和额肌电信号,分布于特定尺度的重构函数中,针对这些重构函数,首先,求取其中的一阶导数:
di(x)=(fi(x)-fi(x+m))/δx
x:横坐标,δx:横坐标增量。
对di(x)排序,得到极大值和极小值,设定阈值a,可以求取
di(x)的正负极性变异点,得到一组极值点向量:
mi(j);高点。
mi(j);低点。
j:极值点的数量。
对相关重构函数采用积分算法:
e=∫fi(t)^2*δt
e1=∫fj(t)^2*δt
得到肌电和眼动的功率值大小。针对上述结果数据,经过归一组合算法:
sq=exp(a*abs(mi-mi)+b*e);
a,b:加权系数,由信号表达范围决定。
可以得到指示干扰的信号强度的定量表达sq,作为睁眼和闭眼的实时鉴别条件。
针对不同尺度下的重构函数,提取各尺度波形功率的复杂度:
复杂度之和:
aj={pi(j)};
重构函数中消除了眼动和肌电的脑电波重构成分,采用功率谱算法:
f(x):时域脑电波离散数据,x(w):频谱功率大小。
可以获得脑电波中功率谱的各个成分,包括αβδθ波段的数值,sef,mef等边缘频率,优势频率等数值:
fj={α,β,δ,θ,,,sef,mef};
结合波形识别所得到的特征向量,组合成为一组涵盖了时域和频域,以及非线性复杂度结果的数据向量组:
gi(x)={tj,fj};
i:尺度数量。
数据向量gi(x)组,作为脑电波的一次处理结果,被命名为脑电波一级处理的元数据组,可以被作为二次计算的基础数据。
对于上述各个数据序列,经过数据加权,得到以下计算公式:
e={a,b}*{aj,gi};
a,b:加权系数。
对e数据施加归一化计算:
记忆刻度=(esp(e))×100
得到脑电波中的记忆前准备状态的实时客观定量特征指标。