一种多模态人机交互与状态智能预警的方法、装置及系统与流程

1.本技术涉及人机交互技术领域，尤其是涉及一种多模态人机交互与状态智能预警的方法、装置及系统。


背景技术：

2.人机交互的发展趋势是使操控人员在最大程度上摆脱任何形式的交互界面，输入信息的方式变得更加简单、随意，借助人工智能与大数据的融合，能够非常直观、直接、全面地捕捉到操作人的需求，并顺畅地按照操控人员的意图进行执行与反馈。
3.目前，人机交互包括通过鼠标点击按钮或触屏等接触式指令输入以及通过手势和语音等的非接触式指令输入，通过这些指令输入对屏幕中的2d或3d显示项进行对应操作；相较于接触式指令输入会分散操作人员的部分精力，非接触式指令输入不仅解放双手，增加互动便利性，而且这种通过采集人的语音、手势等实现指令输入的自然交互模式，还能够提高与智能设备的交互体验感。
4.但是，随着系统性能的智能化、复杂化以及对人机最佳匹配的要求越来越高、目前的自然交互非接触模式进行指令输入的方式单一，人机交互效率有待进一步提升。


技术实现要素：

5.为了丰富非接触模式指令输入的方式，提高用户体验感，本技术提供了一种多模态人机交互与状态智能预警的方法、装置及系统。
6.第一方面，本技术提供的一种多模态人机交互与状态智能预警的方法采用如下的技术方案：一种多模态人机交互与状态智能预警的方法，执行任意一种人机交互流程或多种人机交互流程同步执行，所述人机交互流程包括脑机交互流程、眼动交互流程、肌电交互流程、手势交互流程、语音交互流程、情感交互流程和状态智能预警流程；其中：所述眼动交互流程：根据实时获取的眼动数据确定对应操作显示项，并触发操作所述操作显示项的对应指令；所述手势交互流程：根据实时获取的手势参数判定当前手势，并根据手势判定结果触发对应指令；所述状态智能预警流程：实时从多模态的采集设备获取操作人的身心状态指标数据；根据从不同采集设备获取的所述身心状态指标数据得到对应预测目标的状态阶段；根据每个所述预测目标的所述状态阶段触发对应预警操作。
7.通过采用上述技术方案，能够同时接收通过不同设备采集的操作人的行为和身心状态指标数据，并通过对行为和身心状态指标数据分析得到对应的指令或触发对应的事件，通过眼动注视识别、手势识别将传统的鼠标控制加以提升，并结合身心状态指标数据反
馈预警实时反馈操作人身心状态不仅实现通过操作人身心状态进行人机交互，而且能够更好的达到实验的真实性与体验感，从而将操控人员的体验感数据化。
8.可选的，所述根据实时获取的眼动数据确定对应操作显示项，并触发操作所述操作显示项的对应指令，包括：实时获取眼动数据；其中，所述眼动数据包括用户眼睛注视位置在眼动仪上的第一坐标以及对应注视的有效值；将每次获取的所述第一坐标转换为操作显示项所在第一屏幕的第二坐标，并根据所述第二坐标在所述第一屏幕上查找到对应操作显示项；根据所述有效值判断对所述操作显示项的操作有效性；并在操作有效性为有效时触发操作所述操作显示项的对应指令。
9.可选的，所述根据所述第二坐标在所述第一屏幕上查找到对应操作显示项包括：获取所述第一屏幕上各个显示项的坐标；判断所述第二坐标是否在显示项的第一区域内，如果所述第二坐标在显示项的第一区域内，判定所述显示项为对应操作显示项；其中，所述第一区域为以显示项的坐标为圆心，以预设第一值为半径的区域。
10.可选的，所述有效值为注视所述第一坐标位置的持续时间；所述根据所述有效值判断对所述操作显示项的操作有效性包括：判断所述有效值是否大于预设阈值，如果大于所述预设阈值，对所述操作显示项的操作有效性为有效；如果小于等于所述预设阈值，对所述操作显示项的操作有效性为无效。
11.可选的，所述手势参数包括：左手参数hand.isleft，如果所述左手参数为有效状态，做出当前手势的是左手；右手参数hand.isright，如果所述右手参数为有效状态，做出当前手势的是右手；抓样强度参数hand.grabstrength，值在0至1之间；当抓样强度参数为0时，手部状态为完全展开状态；当抓样强度参数为1时，手部状态为握拳状态；掌心垂直方向参数hand.palmnormal，用于判断手掌掌心垂直方向，掌心垂直方向参数为横坐标x，表示掌心垂直方向为水平；掌心垂直方向参数为纵坐标y，表示掌心垂直方向为竖直；手移动方向参数hand.palmvelocity，用于判断手移动方向，手移动方向参数为横坐标x，表示手移动方向为左右，手移动方向参数为横坐标y，表示手移动方向为上下方向。可选的，所述根据所述手势参数判定当前手势，并根据手势判定结果触发对应指令，包括：根据所述左手参数和所述右手参数判断做当前手势为左手做出还是右手做出，得到第一结果；根据所述抓样强度参数判断所述手部状态，得到第二结果；根据所述掌心垂直方向参数判断掌心垂直方向，得到第三结果；根据所述手移动方向参数判断手移动方向，得到第四结果；根据所述第一结果、所述第二结果、所述第三结果和所述第四结果得到当前手势；根据当前手势触发当前手势对应的指令。
12.可选的，所述根据从不同采集设备获取的所述身心状态指标数据得到对应预测目标的状态阶段，包括：将从不同采集设备获取的所述身心状态指标数据输入对应的预测模型得到对应预测目标的状态阶段。
13.可选的，所述预测模型的训练方法包括以下步骤：收集所述预测目标的样本数据集；其中，所述样本数据集包括多个样本数据，每个样本数据包括一个人在所述预测目标的不同状态阶段对应的所述身心状态指标数据；对所述样本数据集中的每个样本数据按照状态阶段进行分类，并分别标注；将分类标注后的所述样本数据集分为训练集和测试集；通过所述训练集对构建的预测模型进行训练，在迭代预设训练周期后，得到最终的预测模型；将测试集中的每个样本数据依次输入训练后的预测模型，得到对应的测试结果；其中，所述测试结果包括所述测试集中的每个样本数据输入训练后的预测模型后，预测模型输出的状态阶段；根据所述测试结果计算本次训练后的所述预测模型的评估指标；当评估指标符合要求时训练结束。
14.可选的，所述根据从不同采集设备获取的所述身心状态指标数据得到对应预测目标的状态阶段，包括：判断对应采集设备获取的身心状态指标数据与对应状态预设值的关系；如果所述身心状态指标数据都大于状态预设值，对应预测目标的状态阶段为第一状态阶段；如果所述身心状态指标数据都小于状态预设值，对应预测目标的状态阶段为第二状态阶段；如果所述身心状态指标数据不全大于或不全小于状态预设值，对应预测目标的状态阶段为第三状态阶段。
15.可选的，所述预警操作包括：以不同颜色边框显示不同所述状态阶段的方式输出所述状态阶段的预警状态；通过语音播放不同所述状态阶段的方式输出所述状态阶段的预警状态；通过发送预警消息的方式输出所述状态阶段的预警状态。
16.第二方面，本技术提供一种多模态人机交互与状态智能预警的装置，采用如下的技术方案。
17.一种多模态人机交互与状态智能预警的装置，包括：存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如第一方面所述一种多模态人机交互与状态智能预警的方法。
18.通过采用上述技术方案，能够同时接收通过不同设备采集的操作人的行为和身心状态指标数据，并通过对行为和身心状态指标数据分析得到对应的指令或触发对应的事件，尤其是结合身心状态指标数据反馈预警实时反馈操作人身心状态，不仅实现通过操作人身心状态进行人机交互，而且能够更好的达到实验的真实性与体验感，从而将操控人员的体验感数据化。
19.第三方面，本技术提供一种多模态人机交互与状态智能预警的系统，采用如下的技术方案。
20.一种多模态人机交互与状态智能预警的系统，包括多模态采集装置以及第二方面所述多模态人机交互与状态智能预警的装置；所述多模态采集装置采集操作人的人机交互数据；其中，所述人机交互数据包括脑神经信号、眼动数据、肌电信号、手势参数、语音信号、面部表情数据以及身心状态指标数据；所述多模态人机交互与状态智能预警的装置从所述多模态采集装置获取所述人机交互数据，并利用所述人机交互数据执行对应人机交互流程；所述人机交互流程包括脑机交互流程、眼动交互流程、肌电交互流程、手势交互流程、语音交互流程、情感交互流程和状态智能预警流程。
21.通过采用上述技术方案，能够通过多种模态进行人机交互，并且同时接收通过不同设备采集的操作人的行为和身心状态指标数据，并通过对行为和身心状态指标数据分析得到对应的指令或触发对应的事件，尤其是结合身心状态指标数据反馈预警实时反馈操作人身心状态，不仅实现通过操作人身心状态进行人机交互，而且能够更好的达到实验的真实性与体验感，从而将操控人员的体验感数据化。
22.综上所述，本技术包括以下至少一种有益技术效果：1.同时接收通过不同设备采集的操作人的行为和身心状态指标数据，并通过对行为和身心状态指标数据分析得到对应的指令或触发对应的事件，通过眼动注视识别、手势识别将传统的鼠标控制加以提升，并结合身心状态指标数据反馈预警实时反馈操作人身心状态，不仅实现通过操作人身心状态进行人机交互，而且能够更好的达到实验的真实性与体验感，从而将操控人员的体验感数据化；2.通过眼动注视识别实时检测目光的关注点，实现通过眼动输入指令，不仅实现解放双手的目的，而且在通过眼动进行人机交互时只有在操作有效性为有效时才触发操作所述操作显示项的对应指令，避免了指令误判，提高了非接触式指令输入的可靠性，提高用户体验感；3.在通过手势进行指令输入时，通过不同手部参数得到的多个结果来判定当前手势，有效提高对手势识别的准确率，减少识别错误，避免了指令误判，确保触发对应事件。
附图说明
23.图1是本技术实施例提供的一种多模态人机交互与状态智能预警的方法的流程图；图2是本技术实施例提供的步骤s201的流程图；图3是本技术提供的一种多模态人机交互与状态智能预警的装置的结构框图。
具体实施方式
24.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图1-3及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本技术，并不用于限定本技术。
25.本技术实现了多源异构的人机交互，不仅能够通过传统的鼠标键盘输入指令，还能够同时接收通过不同设备采集的操作人的行为和身心状态指标数据，并通过对行为和身心状态指标数据分析得到对应的指令或触发对应的事件，如通过眼睛注视目标和手势完成点击事件的操作功能，代替原始的鼠标点击，并辅以语音命令来操纵对应目标功能，代替原始的键盘控制；身心状态指标数据实时反馈功能不仅实现通过操作人身心状态进行人机交互，而且能够将人员的心率状态、紧张程度通过对应的可视颜色、数值或其它方式显示在界面上，使人机交互操作人的体验感数据化可视化。
26.本技术公开了一种多模态人机交互与状态智能预警的方法，包括但不限于如下人机交互流程：语音交互流程；触控交互流程；手势交互流程；脑机交互流程；眼动交互流程；情感交互流程；肌电交互流程；每种人机交互流程可以单独执行，也可以多种人机交互流程同步执行。
27.参照图1，作为一种多模态人机交互与状态智能预警的方法的一种实施方式，该方法包括以下步骤：步骤s100、启动程序，然后同时执行个人机交互流程步骤s200（眼动交互流程）、步骤s300（手势交互流程）、步骤s400（语音交互流程）、步骤s500（状态智能预警流程即通过身心状态指标数据进行人机交互的流程）和步骤s600（其他人机交互方式预留端口）。
28.步骤s200、实时从眼动检测设备（如tobi眼动仪）上获取眼动数据；其中，眼动数据包括用户眼睛注视位置在眼动仪上的第一坐标以及对应注视的有效值；然后执行步骤s201。
29.在本实施例中，有效值为注视第一坐标位置的持续时间；即第一坐标位置不变的时间，所以在本实施例中为了提高眼动输入指令的可靠性，根据有效值判断对操作显示项的操作有效性包括：判断有效值是否大于预设阈值（一般为1.5s），如果大于所述预设阈值，对操作显示项的操作有效性为有效；如果小于等于预设阈值，对操作显示项的操作有效性为无效。
30.步骤s201、根据实时获取的眼动数据确定对应操作显示项，并触发操作操作显示项的对应指令。
31.步骤s300、实时从手势识别装置（如leapmotion手势识别）获取手势参数，然后执行步骤s301；步骤s301、根据手势参数判定当前手势，并根据手势判定结果触发对应指令。在本实施例中，手势参数包括：左手参数hand.isleft，如果左手参数为有效状态，做出当前手势的是左手；右手参数hand.isright，如果右手参数为有效状态，做出当前手势的是右手；根据左手参数和右手参数判断做当前手势为左手做出还是右手做出，得到第一结果；抓样强度参数hand.grabstrength，值在0至1之间；当抓样强度参数为0时，手部状态为完全展开状态；当抓样强度参数为1时，手部状态为握拳状态；根据抓样强度参数判断手部状态，得到第二结果；掌心垂直方向参数hand.palmnormal，用于判断手掌掌心垂直方向，掌心垂直方向参数为横坐标x，表示掌心垂直方向为水平；掌心垂直方向参数为纵坐标y，表示掌心垂直方
向为竖直；根据掌心垂直方向参数判断掌心垂直方向，得到第三结果；手移动方向参数hand.palmvelocity，用于判断手移动方向，手移动方向参数为横坐标x，表示手移动方向为左右，手移动方向参数为横坐标y，表示手移动方向为上下方向；根据手移动方向参数判断手移动方向，得到第四结果；根据第一结果、第二结果、第三结果和第四结果得到当前手势；然后根据当前手势触发当前手势对应的指令，这种通过不同手部参数得到的多个结果来判定当前手势，能够避免指令误判，提高非接触式指令输入的可靠性，确保对应事件的准确触发，提高用户体验感。
32.在本实施例中，根据第一结果、第二结果、第三结果和第四结果得到的当前手势包括但不限于以下：右手握拳左右移动掌心垂直方向为水平；右手握拳左右移动掌心垂直方向为竖直；右手握拳上下移动掌心垂直方向为水平；右手握拳上下移动掌心垂直方向为竖直；右手展开左右移动掌心垂直方向为水平；右手展开左右移动掌心垂直方向为竖直；右手展开上下移动掌心垂直方向为水平；右手展开上下移动掌心垂直方向为竖直；左手握拳左右移动掌心垂直方向为水平；左手握拳左右移动掌心垂直方向为竖直；左手握拳上下移动掌心垂直方向为水平；左手握拳上下移动掌心垂直方向为竖直；左手展开左右移动掌心垂直方向为水平；左手展开左右移动掌心垂直方向为竖直；左手展开上下移动掌心垂直方向为水平；左手展开上下移动掌心垂直方向为竖直。
33.根据当前手势触发当前手势对应的指令，如通过右手握拳左右移动来控制操作显示项的旋转；右手手掌展开上下移动控制操作显示项上下移动；右手手掌展开左右移动控制操作显示项左右移动；左手握拳与伸开手掌来控制地形图的缩放功能，当检测到左手展开时2d地图进行放大，握拳时2d地图缩小；右手展开掌心垂直方向为水平、且左右移动控制2d地图左右移动，掌心垂直方向为竖直、且上下移动控制2d地图上下移动；右手握拳状态下左右移动控制3d相机左右旋转。
34.步骤s400、实时检测收音设备发送的语音信号，然后执行步骤s401；步骤s401、对语音信号进行分析，判断语音信号是否为语音命令（通过关键字识别）；如果语音信号为语音命令，执行步骤s402；否则，执行步骤s400。
35.步骤s402、根据语音命令得到对应指令；并根据对应指令触发对应事件。
36.步骤s500、从多模态的采集设备实时获取操作人的身心状态指标数据；其中，身心状态指标数据包括但不限于操作人的脑电、生理数据（心率值、血压等）、眼动和近红外数据等，然后执行步骤s501。
37.步骤s501、根据从不同采集设备获取的所述身心状态指标数据得到对应预测目标的状态阶段；在本实施例中，预测目标可以是一个也可以是多个，一个预测目标设有多个状态阶段，每个状态阶段对应一个身心状态指标数据值；预测模型能够根据输入的身心状态指标数据，输出与输入身心状态指标数据对应的预测目标的状态阶段。
38.步骤s502、根据预测模型输出的每个预测目标的状态阶段触发对应预警操作。在本实施例中，还可以直接根据步骤s500实时获取操作人的身心状态指标数据触发对应预警操作。
39.其中，预警操作包括但不限于：（1）以不同颜色边框显示不同状态阶段的方式输出状态阶段的预警状态；（2）通过语音播放不同状态阶段的方式输出所述状态阶段的预警状态；（3）通过发送预警消息的方式输出状态阶段的预警状态。
40.在本实施例中，步骤s501至少包括两种实现方式。
41.（1）将从不同采集设备获取的所述身心状态指标数据输入对应的预测模型得到对应预测目标的状态阶段。其中，预测模型的训练方法包括以下步骤：第一步、收集预测目标的样本数据集；其中，样本数据集包括多个样本数据，每个样本数据包括一个人在预测目标的不同状态阶段对应的身心状态指标数据；第二步、对样本数据集中的每个样本数据按照状态阶段进行分类，并分别标注；第三步、将分类标注后的样本数据集分为训练集和测试集；第四步、通过训练集对构建的预测模型进行训练，在迭代预设个训练周期（训练集中样本数据全部输入预测模型为一个训练周期）后，得到最终的预测模型；第五步、将测试集中的每个样本数据依次输入训练后的预测模型，得到对应的测试结果；其中，测试结果包括测试集中的每个样本数据输入训练得到的预测模型后，预测模型输出的状态阶段；第六步、根据测试结果计算本次训练后的预测模型的评估指标；当评估指标符合要求时训练结束，如果不符合，调整样本集和参数优化，重新进行第二步至第五步。
42.下面以预测目标为操作人压力状态为例，对状态智能预警流程进行详细说明；用于判定压力状态的身心状态指标数据为脑电、生理数据，压力状态包括高压状态、基线状态和低压状态；预警操作采用以不同颜色边框显示不同状态阶段的方式输出状态阶段的预警状态。
43.（1）收集预测目标的样本数据集；根据主观问卷以及状态场景（低压状态、高压状态）诱发出取样对象的低压状态、高压状态时脑电及生理数据的值；将预设时间（如5分钟）静息态作为基线状态，记录此时数据脑电及生理数据的值；存储每个取样对象低压状态、高压状态和基线状态对应的脑电和生理数据，完成压力状态的样本数据集的收集；采集的样本对象越多，训练出来的模型预测结果越准确。
44.（2）按照第二步至第六步对预测模型进行训练得到最终的预测模型。
45.（3）使用训练好的预测模型进行状态智能预警；实时从脑电和生理检测设备采集操作人员的脑电和生理数据的值；将脑电和生理数据输入预测模型，预测模型输出对应的状态阶段，并将脑电和生
理数据的值和对应的状态阶段存入数据库；根据对应的状态阶段触发对应预警操作，具体包括：如果为高压状态，以第一颜色边框显示高压状态，如红色；如果为基线状态，以第二颜色边框显示基线状态，如蓝色；如果为低压状态，以第三颜色边框显示低压状态，如绿色；以人机交互界面边框不同色彩可视化呈现警示，同时将预测结果（状态阶段）发送至通信链接设备。
46.（2）通过预设阈值的方式得到对应预测目标的状态阶段。该方式包括但不限于以下步骤：判断从对应采集设备获取的对应身心状态指标数据与状态预设值的关系；如果身心状态指标数据大于状态预设值，对应预测目标的状态阶段为第一状态阶段；如果身心状态指标数据小于状态预设值，对应预测目标的状态阶段为第二状态阶段；如果身心状态指标数据不全大于或不全小于状态预设值，对应预测目标的状态阶段为第三状态阶段。
47.同样以预测目标为操作人压力状态为例，对状态智能预警流程进行详细说明；用于判定压力状态的身心状态指标数据为脑电、生理数据，压力状态包括高压状态（第一状态阶段）、低压状态（第二状态阶段）和基线状态（第三状态阶段）；判断脑电和生理数据与脑电和生理数据对应状态预设值的大小关系；如果脑电和生理数据都大于脑电和生理数据对应状态预设值为高压状态；如果脑电和生理数据都小于脑电和生理数据对应状态预设值为低压状态；如果脑电和生理数据不全大于或不全小于脑电和生理数据对应状态预设值为基线状态。
48.步骤s600、实时检测预留接口的状态，然后执行步骤s601。
49.步骤s601、判断预留接口的状态是否为在位状态；当预留接口状态为在位状态时，说明当前预留接口接入相应行为或生理采集设备，执行步骤s602，否则，执行步骤s600。
50.步骤s602、通过预留接口接收接入采集设备采集的行为或生理数据，并根据行为或生理数据分析得到对应指令或触发对应事件。
51.本技术实施例实现了多源异构的人机交互，能够同时接收通过不同设备采集的操作人的行为和身心状态指标数据，并通过对行为和身心状态指标数据分析得到对应的指令或触发对应的事件，通过眼动注视识别、手势识别、语音识别将传统的鼠标控制加以提升，并结合身心状态指标数据反馈预警实时反馈操作人身心状态不仅实现通过操作人身心状态进行人机交互，而且能够更好的达到实验的真实性与体验感，从而将操控人员的体验感数据化。
52.在本技术的另一实施例中，如图2所示，步骤s201包括以下步骤：步骤s2011、将每次获取的眼动数据中的第一坐标转换为操作显示项所在第一屏幕的第二坐标，并根据第二坐标在所述第一屏幕上查找到对应操作显示项。
53.在本实施例中，根据第二坐标在第一屏幕上查找到对应操作显示项包括：
获取第一屏幕上各个显示项的坐标；判断第二坐标是否在显示项的第一区域内，如果第二坐标在显示项的第一区域内，判定显示项为对应操作显示项；其中，第一区域为以显示项的坐标为圆心，以预设第一值为半径的区域。
54.步骤s2012、根据眼动数据中的有效值判断对操作显示项的操作有效性；如果有效，执行步骤s2013；否则，执行步骤s200。
55.步骤s2013、触发操作操作显示项的对应指令。
56.本实施例通过眼动进行人机交互时只有在操作有效性为有效时才触发操作所述操作显示项的对应指令，避免指令误判，提高非接触式指令输入的可靠性，确保对应事件的准确触发，提高用户体验感。
57.本技术实施例还公开了一种多模态人机交互与状态智能预警的装置，部署于人机交互系统或然交互人机工程优化设计技术演示系统；具体地，该装置包括：一个或多个处理器和存储器，如图2所示，以一个处理器200及存储器100为例。处理器200和存储器100可以通过总线或者其他方式连接，如以通过总线连接为例。
58.存储器100作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序，如本技术实施例中的一种多模态人机交互与状态智能预警的方法。处理器200通过运行存储在存储器100中的非暂态软件程序以及指令，从而实现上述本技术实施例中的一种多模态人机交互与状态智能预警的方法。
59.存储器100可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储执行上述实施例中的一种多模态人机交互与状态智能预警的方法所需的数据等。此外，存储器100可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至该终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
60.实现上述实施例中的一种多模态人机交互与状态智能预警的方法所需的非暂态软件程序以及指令存储在存储器中，当被一个或者多个处理器执行时，执行上述实施例中的一种多模态人机交互与状态智能预警的方法，例如，执行以上描述的图1中的方法步骤s100至步骤s600、步骤s200至步骤s201、步骤s300至步骤s301、步骤s400至步骤s402、步骤s500至s502、步骤s600至s602以及步骤s2011至s2013。
61.另外本技术还提供了一种多模态人机交互与状态智能预警的系统，包括多模态采集装置以及本技术实施例提供的一种多模态人机交互与状态智能预警的装置；多模态采集装置采集操作人的人机交互数据；其中，人机交互数据包括但不限于脑神经信号、眼动数据、肌电信号、手势参数、语音信号、面部表情数据以及身心状态指标数据；相应的，多模态采集装置包括但不限于脑神经信号检测设备、眼动仪、肌电监测设备、手势识别设备、语音识别设备（能够获取语音信号，获取的语音信号包括语音信息和语音感情标签）、面部表情识别设备以及获取身心状态指标数据的多模态采集设备；多模态人机交互与状态智能预警的装置从多模态采集装置获取人机交互数据，并利用人机交互数据执行对应人机交互流程；其中人机交互流程包括但不限脑机交互流程、
眼动交互流程、肌电交互流程、手势交互流程、语音交互流程、情感交互流程和状态智能预警流程；如根据语音信号、手势参数和面部表情数据得到情感标签，然后根据情感标签触发对应事件或下发对应指令。
62.以上均为本技术的较佳实施例，并非依此限制本技术的保护范围，本说明书（包括摘要和附图）中公开的任一特征，除非特别叙述，均可被其他等效或者具有类似目的的替代特征加以替换。即，除非特别叙述，每个特征只是一系列等效或类似特征中的一个例子而已。