专利名称：运用人的情绪和情绪变化信息构建人机界面的方法
技术领域：
本发明是一种利用人在受到外部或内部刺激后产生的生理变化的信息来实现人/机交互，实现对外部设备的自动控制的方法。属于人工智能应用的技术领域。
背景技术：
现代科学技术的发展特别是信息技术的发展使得计算机成为人类生活中不可缺少的一部分。在很多的场合人的交互对象成为了计算机。计算机和先进的通讯手段可以提高单体工作效率。比如在工业生长中，基于计算机和通讯技术的工业自动化使以前需要多人完成的工作只要一人或少数几个人就能完成。此外，对于一些具有危险性的工作远程控制的方法进行操作。科学技术的这些进步极大地减轻了人的劳动强度。但是，同时带来的问题使单体对外部过程的影响力增大。人的过失对整个生产过程有时会产生毁灭性的影响。这种过失往往是情绪性的。特别是人在困倦，压抑，过度兴奋的状态下这种过失的可能性将极大地增大。因此，需要一个智能的人机界面，它能根据人的行为，生化生理参数的变化自动对过失行为的可能性进行判断，并进行报警，以减小过失概率。
这种利用情绪变化信息的智能人机界面对于一些特殊人群也有着十分重要的意义。比如在临床中，利用病人情绪变化信息的人机界面可以有效地实现对病人的实时监护。
此外，利用情绪变化的智能人机界面在汽车驾驶，银行等重要场所和部门的保安，教育现场的儿童监护等场合都有着十分重要的意义。
发明内容
技术问题本发明的目的是提供一种运用人的情绪和情绪变化信息构建人机界面的方法，该方法运用人脑在外部和内部刺激下产生的情绪和情绪变化信息构建人/机界面，以实现人/机交互功能。
技术方案本人机界面由监测对象、情绪信号采集系统、采集同步和控制系统、特征提取和识别、先验库和数据库、情绪响应系统所组成。本人机界面的信号输入端为一个情绪信号采集系统。该系统由肢体信号检测系统、面部表情检测系统、视觉信息检测系统、语音和发音检测系统、递质、激素、心率、血压、脑电等生理信息检测系统等与情绪有关的信号检测系统中的一个或几个检测系统构成。采集同步和控制系统与情绪信号采集系统构成一个反馈系统。以保证情绪信号的正确采集。然后信号输入特征提取和识别系统。通过特征提取和模式识别对可判断情绪的特征型号进行提取。并与先验库中的先验知识进行比较。在此基础上对人的情绪进行判断。决定是否继续跟踪或改变跟踪方法并根据人的情绪状态决定情绪响应系统是否对被检测对象进行干涉。
本发明运用人的情绪和情绪变化信息构建人机界面的方法的具体构建方法为a、确定检测对象；b、启动情绪信号采集系统，对检测对象的情绪信号进行采集；c、将采集到的信号送入采集器同步和控制系统；d、将采集器同步和控制系统输出的信号分别送入特征提取和识别和反馈到情绪信号采集系统；e、将特征提取和识别(输出的信号送入先验库和数据库进行学习和分析；判断情绪是否正常；判断是否需要继续跟踪或变换采集信号；f、在判断是否需要继续跟踪或变换采集信号时，若是，则返回情绪信号采集系统；若否，则中终止；g、在判断情绪类别后情绪响应系统会根据情绪类别的不同作出响应的判断。
情绪信号采集系统输入的信号是与情绪有关的肢体运动(21)、面部表情(22)、视觉信息、语音和发音、递质和激素、心率和血压、……脑电。
情绪信号采集系统是多个不同类型的与情绪有关的肢体运动、面部表情、视觉信息、语音和发音、递质和激素、心率和血压、……脑电的信号采集器。
先验库和数据库包括脑库，生理信息库，情绪行为库，语音库等与情绪有关的先验库可以对人的行为作自动判断。
有益效果本发明中的人机界面的输入信号采用的是与情绪有关的人的内在和外在的信号。系统具有自主跟踪情绪行为和判断情绪状态的功能。
所利用的生理信息包括面部和姿态的视觉信息，语言和发声的声学信息，递质和激素变化的生化信息，心率，血压等。
本发明的方法使人脑在外部和内部刺激下产生的情绪和情绪变化信息构建人一机界面将在工业自动化，安全保卫，海关，医院，教育现场等提供自动报警，安全检测，自动服务等。
图1是本发明的总体框架示意图。其中有检测对象1，情绪信号采集系统2，采集器同步和控制控制3，特征提取和识别4，先验库和数据库5，情绪响应系统6。情绪信号采集系统2中的信号源有肢体运动21，面部表情22，视觉信息23，语音和发音24，递质和激素25，心率和血压2N等与情绪有关的信号。先验库和数据库5包含脑库51，生理信息库52，情绪行为库53，语音库5N。
图2是本发明实施方案一即从肢体运动感知情绪的人机界面构建的方法示意图。
图3是本发明实施方案二即通过生理参数变化识别情绪的人机界面构建的方法示意图。
具体实施例方式
本发明构建的方法为a、确定检测对象1；b、启动情绪信号采集系统2，对检测对象1的情绪信号进行采集；c、将采集到的信号送入采集器同步和控制系统3；d、将采集器同步和控制系统3输出的信号分别送入特征提取和识别4和反馈到情绪信号采集系统2；e、将特征提取和识别4输出的信号送入先验库和数据库5进行学习和分析；判断情绪是否正常；判断是否需要继续跟踪或变换采集信号；f、在判断是否需要继续跟踪或变换采集信号时，若是，则返回情绪信号采集系统2；若否，则中终止；g、在判断情绪类别后情绪响应系统会根据情绪类别的不同作出响应的判断。。其中情绪信号采集系统2输入的信号是与情绪有关的肢体运动21、面部表情22、视觉信息23、语音和发音24、递质和激素25、心率和血压26、……脑电2N。
情绪信号采集系统2是多个不同类型的与情绪有关的肢体运动21、面部表情22、视觉信息23、语音和发音24、递质和激素25、心率和血压26、……脑电2N的信号采集器。
先验库和数据库5包括脑库51，生理信息库52，情绪行为库53，……语音库5N等与情绪有关的先验库可以对人的行为作自动判断。
实施方案一从肢体运动感知情绪的人机界面人的很多情绪都会通过肢体运动表现出来。因此，捕捉肢体运动变化方式对于比较全面地把握人的情绪变化具有重要价值，对于感知情绪的人机界面技术是必不可少的组成部分。
在基于肢体运动感知情绪的人机界面中被检测对象1是人的肢体运动。人的肢体运动变化主要是由肢体的相对位移和姿态变化所描述的。利用计算机三维视觉技术，肢体在三维空间的运动位移和姿态变化都可以通过多个摄像机传感器所同时获得的二维图像信息综合计算出来。因此，由多个摄像机组成的一个同步拍摄的摄像机阵列构成情绪信号采集系统2。
采集器同步和控制控制3由图像采集与同步控制构成。考虑人的肢体关节点可以代表肢体运动的主要轨迹，肢体关节点的运动转化为关键点在关键帧中的多视点联合射影几何约束三维结构与运动计算问题。多视点摄像机阵列在捕捉处理之前，首先执行离线摄像机参数定标校准预处理，包括摄像机内参数和外参数定标校准处理。经过摄像机阵列预定标之后，关键点在关键帧中的多视点三维结构与运动计算问题简化为多视点联合欧氏几何约束的三维空间点最小二乘优化计算。
特征提取和识别4由多视点联合三维结构与运动计算，提取运动变化特征参数，情绪特征识别和数学计算功能库构成。对于捕捉的肢体运动变化参数，根据情绪变化相应的肢体运动先验模型，计算最相近的情绪变化方式。与情绪变化相应的肢体运动先验模型通过机器学习方法来获得，即首先捕捉一定量的肢体运动参数样本，并且预先对其的情绪变化做分类，然后对有代表性的参数样本进行学习和选择，建立起与情绪变化相应的肢体运动先验模型数据库5。最后，通过判断决定人机界面对情绪的响应。
实施方案二通过生理参数变化识别情绪的人机界面人类的情绪活动由于自主神经系统的参与，常伴随有一定的生理变化，因此，
可以将有机体的生理变化作为情绪的指标加以测量和记录，进行情绪的分类和识别。其主要优点是比较客观。利用各种遥测电生理设备，以各种方法测量并记录伴随情绪而发生的生理变化，例如呼吸、心跳、血管收缩、皮肤电反应、心电、脑电等等，并借助计算机对测量结果进行处理，以达到对情绪比较客观的测量。通过生理参数的变化识别情绪，来构造感知情绪的人机界面，是一种可行的方法。通过生理参数变化识别情绪的人机界面中的检测对象1是情绪状态下人的各种生理指标及其变化。这些生理指标的变化是由于在不同的情绪状态下，个体的自主神经系统的调节活动，导致一系列的内部生理变化，它们在体表导致相应的生理改变，如心律、脉搏、血压、血氧、呼吸、体温、皮肤电、脑电图、眼动变化和体表血流等的改变。采用各种记录和测量设备，检测和记录这些生理信号，结合计算机自动分析识别方法进行处理。这些记录的电生理设备就构成了情绪生理信号采集系统2。
各种记录电生理设备必须利用同步采集和控制系统3进行调控，以使各种采集设备能够同步工作，以便于信号的处理和分析。由于单一生理指标的测量并不能为特定的情绪提供明确的模式，只能提供的个体的特定唤醒水平的信息。只有这样才能将各种生理指标对应起来，进行综合分析才能对特定情绪的进行测量和分析。
特征提取和识别模块4是利用各种信号处理和分析的方法对不同电生理设备记录到的生理指标进行变换和处理，并将提取的信号变化特征参数与先验知识数据库中5的先验知识进行比对，进行情绪测量和分类。情绪状态下的生理指标变化先验数据库5是由预先进行的情绪测量和分类研究获得；同时在系统的使用过程中也可以利用先验模型通过机器学习方法来获得，即先测量一定的情绪变化生理参数样本，并且预先对其进行情绪分类，然后对有代表性的参数样本进行学习和选择，建立起与情绪变化相应的情绪变化生理指标先验模型数据库。最后，利用计算机自动分析识别方法判断是何种情绪，再根据具体应用由情绪响应系统6决定人机界面对情绪的响应。
权利要求
1.一种运用人的情绪和情绪变化信息构建人机界面的方法，其特征在于构建的方法为a、确定检测对象(1)；b、启动情绪信号采集系统(2)，对检测对象(1)的情绪信号进行采集；c、将采集到的信号送入采集器同步和控制系统(3)；d、将采集器同步和控制系统(3)输出的信号分别送入特征提取和识别(4)和反馈到情绪信号采集系统(2)；e、将特征提取和识别(4)输出的信号送入先验库和数据库(5)进行学习和分析；判断情绪是否正常；判断是否需要继续跟踪或变换采集信号；f、在判断是否需要继续跟踪或变换采集信号时，若是，则返回情绪信号采集系统(2)；若否，则中终止；g、根据权利要求1所述的运用人的情绪和情绪变化信息构建人机界面的方法，其特征在于情绪信号采集系统(2)输入的信号是与情绪有关的肢体运动(21)、面部表情(22)、视觉信息(23)、语音和发音(24)、递质和激素(25)、心率和血压(26)、脑电(2N)。
3.根据权利要求1或所述的运用人的情绪和情绪变化信息构建人机界面的方法，其特征在于情绪信号采集系统(2)是多个不同类型的与情绪有关的肢体运动(21)、面部表情(22)、视觉信息(23)、语音和发音(24)、递质和激素(25)、心率和血压(26)、脑电(2N)的信号采集器。
4.根据权利要求1所述的运用人的情绪和情绪变化信息构建人机界面的方法，其特征在于先验库和数据库(5)包括脑库(51)，生理信息库(52)，情绪行为库(53)，语音库(5N)等与情绪有关的先验库可以对人的行为作自动判断。
全文摘要
运用人的情绪和情绪变化信息构建人机界面的方法是一种利用人在受到外部或内部刺激后产生的生理变化的信息来实现人/机交互，实现对外部设备的自动控制的方法，其构建的方法为确定检测对象；启动情绪信号采集系统；将采集到的信号送入采集器同步和控制系统然后分别送入特征提取和识别和反馈到情绪信号采集系统；将特征提取和识别输出的信号送入先验库和数据库进行学习和分析；判断情绪是否正常；判断是否需要继续跟踪或变换采集信号，若是，则返回情绪信号采集系统，若否，则中终止；在判断情绪是否正常时，若是，则输出的信号到情绪响应系统输出响应信号；若否，则返回继续判断是否需要继续跟踪或变换采集信号。
文档编号G06F17/00GK1581149SQ20041001444
公开日2005年2月16日 申请日期2004年3月25日 优先权日2004年3月25日
发明者韦钰, 顾忠泽, 阮宗才, 周建中 申请人:东南大学