一种基于多模态数据采集的人机交互系统的制作方法

本发明涉及人机交互技术领域，特别是一种基于多模态数据采集的人机交互系统。

背景技术

现有技术中，人机交互系统大多都是从用户中获取单一的数据，并对该数据加以分析和判断后作出相应的回应，采集数据的类型单一，不能全面分析用户要表达的情况，智能化水平低，不能满足用户使用。

技术实现要素：

针对上述问题，本发明旨在提供一种基于多模态数据采集的人机交互系统。

本发明的目的采用以下技术方案来实现：

一种基于多模态数据采集的人机交互系统，包括：

采集模块，用于采集多模态数据，所述多模态数据包括采集到的环境数据，生理数据和行为数据；

状态判断模块，用于根据所述采集模块采集的多模态数据，确定用户当前状态；

处理模块，用于根据所述状态判断模块确定的用户当前状态执行相应的处理。

优选地，所述处理模块，具体用于根据所述用户当前状态在云端数据库中进行数据匹配，获取合适的处理方案，并根据所述处理方案执行相应的处理。

优选地，所述采集模块，具体包括环境采集设备，生理采集设备和行为采集设备，其中，所述环境采集设备包括温度数据采集设备，湿度数据采集设备中的一种或多种；生理采集设备包括脑电数据采集设备，血压数据采集设备，体温数据采集设备，呼吸数据采集设备中的一种或多种；所述行为采集设备包括图像采集设备，语音采集设备中的一种或多种。

本发明提供了一种基于多模态数据采集的人机交互系统，通过采集模块采集用户以及环境的多模态数据，并根据采集的数据进行分析，确定用户的当前状态，以此为基础匹配相应的处理方案进行处理，能够综合考虑采集的多模态数据并作出反应，智能化水平高，适用于不同场合。

附图说明

利用附图对本发明作进一步说明，但附图中的实施例不构成对本发明的任何限制，对于本领域的普通技术人员，在不付出创造性劳动的前提下，还可以根据以下附图获得其它的附图。

图1为本发明的框架结构图；

图2为本发明状态判断模块的框架结构图；

图3为本发明数据融合单元的框架结构图。

具体实施方式

结合以下应用场景对本发明作进一步描述。

参见图1，其示出了一种基于多模态数据采集的人机交互系统，包括：

采集模块1，用于采集多模态数据，多模态数据包括采集到的环境数据，生理数据和行为数据；

状态判断模块2，用于根据采集模块1采集的多模态数据，确定用户当前状态；

处理模块3，用于根据状态判断模块2确定的用户当前状态执行相应的处理。

本发明上述实施方式，通过采集模块1采集用户以及环境的多模态数据，并根据采集的数据进行分析，确定用户的当前状态，以此为基础匹配相应的处理方案进行处理，能够综合考虑采集的多模态数据并作出反应，智能化水平高，适用于不同场合。

优选地，环境数据包括系统所处环境的温度，湿度等；

生理数据包括用户的脑电数据，血压数据，体温数据，呼吸数据等；

行为数据包括用户的脸部表情数据，眼动数据和语音数据等。

优选地，处理模块3，和智能家居系统中的各种电器连接，根据用户当前状态控制控制或调解电器，以适应用户当前状态；例如：当判断用户当前的体温数据和呼吸数据高于正常阈值时，处理模块3控制空调自动打开并调解合适的温度。

优选地，处理模块3，具体用于根据用户当前状态在云端数据库中进行数据匹配，获取合适的处理方案，并根据处理方案执行相应的处理。

优选地，采集模块1，具体包括环境采集设备，生理采集设备和行为采集设备，其中，环境采集设备包括温度数据采集设备，湿度数据采集设备中的一种或多种；生理采集设备包括脑电数据采集设备，血压数据采集设备，体温数据采集设备，呼吸数据采集设备中的一种或多种；行为采集设备包括图像采集设备，语音采集设备中的一种或多种。

优选地，参见图2，状态判断模块2，还包括数据融合单元21和分析判断单元22，其中，数据融合单元21具体用于将采集模块1采集到的多模态数据进行数据融合处理；分析判断单元22具体用于对数据融合单元21中进行数据融合后的数据进行分析处理，确定用户当前状态。

本发明上述实施方式，由于从不同采集设备采集的数据类型和复杂度并不相同，为了降低数据的冗余度和提高交互系统的处理速度，将从采集模块1中采集的数据进行分类和融合处理，将同类型的数据进行融合再进行分析和判断处理，能够有效地减轻状态判断模块2的负担，提高系统的处理性能。

优选地，参见图3，数据融合单元21，还包括预处理子单元211，数据融合子单元212和融合修正子单元213，其中，预处理子单元211用于对从采集模块1中不同采集设备获取的数据进行分类处理；数据融合子单元212，用于将预处理子单元211中获取的分类数据作为数据源，对不同数据源的数据进行融合和二次分类处理；融合修正子单元213，用于对融合的数据进行修正，确定最终的数据融合结果。

本发明上述实施方式，采用上述分层处理方式对采集的数据进行融合处理，能够有效地有效降低噪声及不确定数据带来的不良影响，提高数据融合单元的性能。

优选地，预处理子单元211，具体包括：采用无向图模型训练分类器对不同采集设备获取的数据进行分类处理；

其中，分类器的训练具体包括：

(1)初始化用于训练分类器的已标注训练样本集ψ，从采集设备获取的数据序列作为未标注样本，记入样本集y⁽ⁿ⁾，测试样本集c，采用训练样本集训练初始分类器h⁽ⁿ⁾，其中迭代次数n＝0，并使用分类器h⁽ⁿ⁾对样本集y⁽ⁿ⁾中的未标注样本进行概率预测；

(2)根据无向图模型在样本集y⁽ⁿ⁾上构造无向图，并剔除图像图中的孤立点，即噪声样本点，并且将孤立点从样本集y⁽ⁿ⁾中剔除；

(3)在无向图中的每个连通区域内利用分类器h⁽ⁿ⁾预测样本属于每个类别的概率，并获取每个未标注样本的当前价值，从每个连通区域内挑选当前价值最大的样本组成候选样本集φ，并获取候选样本集φ的样本优化值，

其中，样本当前价值的获取函数为：

式中，α表示未标注样本，j(α,h⁽ⁿ⁾)表示未标注样本α对分类器h⁽ⁿ⁾的价值，和分别表示未标注样本α利用分类器h⁽ⁿ⁾预测的最优和次优类别概率，β1和β2分别是该样本的最优和次优类别标签；

即候选样本集φ可表示为：

式中，α表示未标注样本，y表示未标注样本集；

其中，采用的样本优化值函数为：

式中，y(α)表示样本集φ中样本α的优化值，和分别表示未标注样本α利用分类器h⁽ⁿ⁾预测的最优类别β1和次优类别β1概率，和分别表示未标注样本α利用临时分类器h⁽ⁿ⁺¹⁾(β1)预测的最优类别β′1和次优类别β′2概率，其中临时分类器h⁽ⁿ⁺¹⁾(β1)是采用当前训练样本集ψ加上候选样本集φ的样本α与其最优分类标签β1训练所得，和分别表示未标注样本α利用临时分类器h⁽ⁿ⁺¹⁾(β2)预测的最优类别β″1和次优类别β″2概率，其中临时分类器h⁽ⁿ⁺¹⁾(β2)是采用当前训练样本集ψ加上候选样本集φ的样本α与其次优分类标签β2训练所得；

将样本集φ中优化值大于设定的阈值w的未标注样本进行标注，并添加到训练样本集ψ中；

(4)利用训练样本集ψ更新分类器h⁽ⁿ⁾，使用更新后的分类器在测试样本集c上进行测试，计算分类器的分类正确率，如果正确率大于设定的阈值t，或者训练样本数达到设定的阈值，或者前后两次测试中训练样本集ψ大小不再增大，则结束训练；否则跳转至(3)继续选择合适的样本进行训练，迭代次数n＝n+1。

本发明上述实施方式，采用上述的方式训练的分类器对不同采集设备采集的数据进行分类处理，采用了基于无向图模型的数据分类处理方法，有效地根据数据之间的依赖关系，提出噪声数据，避免噪声数据带来的不良影响；同时根据样本优化值选取无向图模型中不同类型的最优化数据来对分类器进行训练，使得分类器对不同分类类型的适应性大大提高，间接提高了数据分类的准确度。

优选地，数据融合子单元212，用于将预处理子单元211中获取的分类数据作为数据源，对不同数据源的数据进行融合和二次分类处理，具体包括：

将采用不同无向图模型获取的分类数据作为不同信息源，通过采用基于d-s证据理论联合规则对信息源进行融合处理，从而形成一个新的合并信息源，具体包括：

(1)获取来自不同采集设备的信息源，记信息源的数量为l，建立识别框架d＝[d1,d2,…,dv]，其中d1,d2,…,dv表示数据目标类型，v表示设定的数据类型的总数，第v类数据类型的特征向量可表示为：gv＝[gv1,gv2,…,gvw]^t，其中信息源和识别框架都为w维特征向量；

(2)对于每一个信息源y，计算信息源y与识别框架d构成的特征向量矩阵r，r＝(r1,r2,…,rv+1)＝(y,g1,g2,…,gv)，其中，其中y＝[u1,u2,…,uw]^t，u表示信息源的数据特征分量；

(3)计算矩阵r中各个分量之间的相似关系λv,j，构成y与gv的关系矩阵z：

式中，表示第v1个数据类型中的第k维特征向量；

(4)将关系矩阵z转化为其传递闭包矩阵其中传递闭包矩阵中的行向量的元素是融合时将待识别目标和识别框架中目标dv-1划分为一类的信度值，设定即bv表示待识别数据被识别为目标类型dv的信度值；

(5)获取信息源y对目标类型dv的适度值b(v),

其中采用的适度值的获取函数为：

式中，bv表示待识别数据被识别为目标类型dv的信度值，σ表示函数调节因子；

如果信息源y对所有目标类型dv的适度值b(v)均小于设定的阈值，则将信息源y标记为不确定类型；否则选取适度值b(v)最大所对应的目标类型dv作为信息源y的数据类型；

(6)对于全部信息源，采用dempster组合规则将属于同一目标分类dv的信息源进行融合，获取数据融合结果。

本发明上述实施方式，采用上述的方式对从不同采集设备获取的经预处理子单元处理后的分类数据进行融合处理，采用d-s证据理论联合规则对数据不同的信息源进行处理，分别获取根据信息源和识别框架构成的特征矩阵，获取信息源对不同分类的适度值，再采用基于dempster组合规则的方法对属于相同分类的信息源进行融合，能够有效提高数据融合的性能。

优选地，述融合修正子单元213，具体包括：采用二次分类器ε(γ)对标记为不确定类型的信息源进行再次分类，确定其最终分类结果，其中，二次分类器的建立具体包括：

(1)采用数据融合子单元212中分类成功的信息源作为训练样本(γ1,y1),(γ2,y2),…,(γn,yn)，其中γn∈γ，γ表示训练样本空间，n表示训练样本总数，yn表示信息源γn的分类向量表示yn的第k维子分量，表示将γn划分为分类的概率向量，k表示设定的数据类型的总数；

(2)记迭代次数m＝1，初始化训练样本权重，初始分类器εm(γ)；

(3)计算数据样本分布p^m，并将数据样本分布p^m传递给分类器εm(γ)并拟合训练样本，计算εm(γ)的误差qm，

(4)设定调整因子计算判断因子ξ，其中采用的判断因子函数为：

式中，表示训练样本γn的第k维分类子向量；

(5)对判断因子进行判断：

如果判断因子ξ大于设定的阈值，则调整权重分配并重新进行第m次迭代，

否则，重新分配权重并且进行下一轮迭代，m＝m+1，其中，

式中，[|εm(γn)＝yn|]表示第m次迭代中的分类器εm(γ)将样本γn分类其对应的目标分类y′n的概率；

当达到最大迭代次数时，整合获取分类器ε(γ)，其中分类器ε(γ)满足的条件为：

其中，选取符合上述要求的εm(γ)作为最终确定的二次分类器ε(γ)。

本发明上述实施方式，采用上述的方法对数据融合子单元中未确定分类的信息源进行二次分类，选取数据融合子单元中成功分类的信息源作为训练样本，对二次分类器进行训练，通过调整训练样本中不同样本的权重，使得经训练样本训练出的二次分类器具有更好的适应性和更高的准确性，从而对未确定分类的信息源进行分类确定其分类类型，准确度高。

本发明上述实施方式，采用分层式数据融合处理，首先通过预处理子单元对从不同采集设备中采集的数据进行分类，将属于同一数据类型的数据分类到一起，然后通过数据融合子单元对同一类型的数据(信息源)进行数据融合处理，确认其目标分类，最后通过融合修正子单元将不确定类型的数据(信息源)进行二次分类处理，确认其最终的分类类型，有效提高了数据融合的准确度和效率，为人机交互系统中对采集的数据作进一步处理奠定了基础。

最后应当说明的是，以上实施例仅用以说明本发明的技术方案，而非对本发明保护范围的限制，尽管参照较佳实施例对本发明作了详细地说明，本领域的普通技术人员应当分析，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的实质和范围。