一种基于多模态信号融合的设计意图判别系统及方法与流程

本发明涉及人机交互技术领域，特别是涉及一种基于多模态信号融合的设计意图判别系统及方法。

背景技术：

近年来，cad技术向标准化、集成化、智能化方向发展；随着人工智能和专家系统的引入，智能设计概念应运而生。智能设计过程强调以人工智能技术为实现手段，并为用户提供强大的智能人机交互功能。然而，现有的鼠标、键盘等传统交互模式主要依赖双手的高频反复操作，是一种非自然的设计意图表达方式，在使用的自然性和友好性等方面存在很大局限性，难以满足智能设计中对智能交互过程的发展需求。

技术实现要素：

本发明的目的是提供一种基于多模态信号融合的设计意图判别系统及方法，通过对用户多模态信号的融合分析，降低了用户设计意图的表达的局限性。

为实现上述目的，本发明提供了如下方案：

一种基于多模态信号融合的设计意图判别系统，该系统包括多模态信号采集模块、多模态信号预处理模块、多模态信号分层整合模块和产品设计指令生成模块；

多模态信号采集模块，用于采集用户在产品设计过程中的多模态信号，并将多模态信号发送到多模态信号预处理模块；

多模态信号预处理模块，接收多模态信号，对多模态信号进行预处理，去除多模态信号中的无效数据，并将预处理后的多模态信号发送到多模态信号分层整合模块；

多模态信号分层整合模块包括特征层、原语层、指令层和意图层；

特征层，对预处理后的多模态信号进行特征提取；

原语层，构建基于三层反向传播神经网络的信号识别分类模型，将提取的多模态特征信息输入信号识别分类模型，得到与用户的操作意图对应的操作信息，各操作信息采用交互原语的形式表达；

指令层，利用上下文感知技术对各交互原语增加各交互原语中操作信息的承担对象；

意图层将各交互原语进行融合分析确定用户的设计意图；

产品设计指令生成模块，根据多模态信号分层整合模块输出的用户的设计意图，生成与用户的设计意图对应的产品设计指令。

可选的，多模态信号包括脑电信号、手势信号和眼动信号；多模态信号采集模块包括脑电信号采集装置、手势信号采集装置和眼动信号采集装置；脑电信号采集装置用于采集脑电信号，手势信号采集装置用于采集手势信号，眼动信号采集装置用于采集眼动信号。

可选的，预处理包括采用独立分量分析方法去除脑电信号中的眼动伪迹和采用卡尔曼滤波法去除眼动信号中的无效眼跳信号。

可选的，系统还包括图形可视化模块，用于将用户的设计意图输入到相应的设计软件并进行可视化显示。

本发明还公开了一种基于多模态信号融合的设计意图判别方法，该方法包括：

采集用户在产品设计过程中的多模态信号；

对多模态信号进行预处理，去除多模态信号中的无效数据；

对预处理后的多模态信号进行特征提取；

构建基于三层反向传播神经网络的信号识别分类模型，将提取的多模态特征信息输入信号识别分类模型，得到与用户的操作意图对应的操作信息，各操作信息采用交互原语的形式表达；

利用上下文感知技术对各交互原语增加各交互原语中操作信息的承担对象；

将各交互原语进行融合分析确定用户的设计意图；

根据用户的设计意图，生成与用户的设计意图对应的产品设计指令。

可选的，多模态信号包括脑电信号、手势信号和眼动信号；

多模态信号采集装置包括脑电信号采集装置、手势信号采集装置和眼动信号采集装置；脑电信号采集装置用于采集脑电信号，手势信号采集装置用于采集手势信号，眼动信号采集装置用于采集眼动信号。

可选的，预处理包括采用独立分量分析方法去除脑电信号中的眼动伪迹和采用卡尔曼滤波法去除眼动信号中的无效眼跳信号。

可选的，方法还包括，将用户的设计意图输入到相应的设计软件进行可视化显示。

根据本发明提供的发明内容，本发明公开了以下技术效果：本发明采集用户在产品设计过程中的多模态信号，并对多模态信号进行预处理和特征提取，将预处理后获得的特征信息利用三层反向传播神经网络的信号识别分类模型进行识别分类，并采用交互原语的形式表达，通过各交互原语的融合分析确定用户的设计意图，降低了用户设计意图的表达的局限性，提高了用户设计意图表达的自然性和友好性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一种基于多模态信号融合的设计意图判别系统结构示意图；

图2为本发明实施例一种基于多模态信号融合的设计意图判别方法流程示意图；

图3为本发明实施例各模态信号所识别的三个交互原语之间的时序关系图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明的目的是提供一种基于多模态信号融合的设计意图判别系统及方法，通过对用户多模态信号的融合分析，降低了用户设计意图的表达的局限性。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

图1为一种基于多模态信号融合的设计意图判别系统结构示意图，如图1所示：系统包括多模态信号采集模块101，多模态信号预处理模块102、多模态信号分层整合模块103和产品设计指令生成模块104；

多模态信号采集模块101，采集用户在产品设计过程中的多模态信号，并将多模态信号发送到多模态信号预处理模块102；

多模态信号包括脑电信号、手势信号和眼动信号；多模态信号采集模块101包括脑电信号采集装置、手势信号采集装置和眼动信号采集装置；脑电信号采集装置用于采集脑电信号，手势信号采集装置用于采集手势信号，眼动信号采集装置用于采集眼动信号，其中脑电信息采集装置为emotiveepoc意念控制器，手势信号采集装置为leapmotion3d手势采集仪，眼动信号采集装置为tobiiprox2-30眼动仪。

多模态信号预处理模块102，接收多模态信号，对多模态信号进行预处理，去除多模态信号中的无效数据，并将预处理后的多模态信号发送到多模态信号分层整合模块103；

预处理包括采用独立分量分析方法去除脑电信号中的眼动伪迹和采用卡尔曼滤波法去除眼动信号中的无效眼跳信号。

多模态信号分层整合模块103，对预处理后的多模态信号进行特征提取，构建基于三层反向传播神经网络的信号识别分类模型，将提取的特征信息输入信号识别分类模型，将获得的识别结果进行统一表达和融合分析，确定用户的设计意图；

多模态信号分层整合模块103包括特征层、原语层、指令层和意图层；

特征层，对预处理后的多模态信号进行特征提取；特征包括脑电信号特征，手势信号特征和眼动信号特征；脑电信号特征，具体指脑电信号的时频特征其中，为均值，为能量均值，s为均方差；手势信号特征fgesture＝(c,v)，其中，c＝(c1,c2,...,c6)，v＝(v1,v2,...,v6)，具体指手心所在空间坐标c1及手心内法向量v1，拇指尖到小指尖的坐标c2-c6，及各手指指尖的空间法向量v2-v6；眼动信号特征feye＝(gp,timestamp)，具体包括：人眼在显示屏上的注视点位置坐标gp(gp也可以理解为坐标(x,y))以及坐标gp对应的时间戳timestamp；

采用小波变换对脑电信号进行时频特征的提取操作具体包括：

首先，采用daubechies类db5小波对已采集的脑电信号进行三层小波分解；信号分解后获得的高频细节分量为d1-d3；然后以分量d1-d3的均值能量均值及均方差s作为脑电信号的时频特征

令表示cq导联脑电信号的第p层分量系数dp(p＝1,2,3，q＝1,2,3,...,s)，w＝1,2,...,t，其中，s为14；

第cq导联脑电信号的第p层分量的均值定义为：

第cq导联脑电信号的第p层分量的能量均值计算式为：

第cq导联脑电信号的第p层分量的均方差计算值式为：

其中，

眼动信号特征向量和手势信号特征向量可根据采集设备预处理后的原始信号直接获取。

原语层，构建基于三层反向传播神经网络的信号识别分类模型，将提取的多模态特征信息输入信号识别分类模型，得到与用户的操作意图对应的操作信息，各操作信息采用交互原语的形式表达；

其中，基于三层bp(backpropagation反向传播)神经网络的信号识别分类模型的具体构建训练过程如下：

对模型的参数进行初始化设定，具体包括：确定输入层节点数n、隐含层节点数l和输出层节点m；n的取值分别根据特征向量feeg、fgesture、feye的维数进行确定，m的取值为信号所表示的操作信息的类别数，l的取值满足l＝log2n；选取隐含层和输入层的传递函数；初始化设定输入层和隐含层的连接权值ωij以及隐含层的阈值a；隐含层与输出层的连接权值ωjk以及输出层的阈值b。

根据输入变量f＝[x1,x2,...,xn](信号特征向量)，输入层和隐含层连接权值ωij以及隐含层的阈值a，计算隐含层输出h；

隐含层第j个节点数的输出为：hj∈h；

式中，l为隐含层节点个数，f为隐含层激励函数，这里为：

根据隐含层输出h，输出权值ωjk和阈值b，计算bp神经网络的判别输出v；

第k个输出节点的判别输出为：vk∈v；

根据网络判别输出v和期望输出y，计算网络判别误差e；

输出层第k个输出节点的网络判别误差：ek＝yk-vk，k＝1,2,...,m，ej∈e。

更新网络连接权值ωij，ωjk：

ωjk＝ωjk+ηhjek，j＝1,2,...,l，k＝1,2,...,m；

式中，η为学习速率。

更新网络节点阈值a和b：

隐含层第j个节点的阈值：aj∈a；

输出层第k个输出节点的阈值：bk＝bk+ek，k＝1,2,...,m，bj∈b；

根据网络判别误差e，判断是否满足e＜ε'；若满足上式，则模型训练学习过程结束；若不满足，则返回步骤(1)，继续训练。

判别分类模型训练完成后，可将测试样本提取到的脑电信号特征、手势信号特征和眼动信号特征分别输入模型进行前向计算，得到相应的是识别分类结果，分别实现对特征层提取的脑电信号特征、手势信号特征和眼动信号特征进行分类识别。

可识别的类别及对应的cad指令如表1所示。

表1信号识别分类模型输出的分类结果与对应的cad指令

根据对多模态信号(脑电信号、眼动信号、手势信号)操作信息的判别结果，采用交互原语的形式进行统一表达，交互原语可采用三元组进行表示：ip＝(operation,channel,timestamp)；其中，operation，表示从信号特征中识别的有效操作信息；channel，表示当前信号采集的信号类别(脑电信号、眼动信号、手势信号)；timestamp，表示信号采集的时间标签。

指令层，利用上下文感知技术对各交互原语增加各交互原语中操作信息的承担对象，使交互原语满足基本的人机交互语法规范，如“何时何地对何对象执行何操作”，此时交互原语的信息在原有基础上得到进一步扩展，表示为：ipe＝(operation,channel,timestamp,object)，其中object表示原语操作动作所承受的对象信息；

意图层将各交互原语进行融合分析确定用户的设计意图；

具体融合过程如下：

针对各模态信号所识别的三个交互原语之间的语义关系(包括语义相同和语义不同)，对三个交互原语进行整合；当三个交互原语中存在在两个或三个原语的设计意图(设计意图，可以理解为，用户准备采取的设计行为，这里划分为：模式选择意图、图形生成意图、图形操作意图；这些意图是提前划分好的，如前面的列表所示)为同一设计意图中的的不同操作(operation)时，可将这两个或三个原语统一表示为一个设计意图进行输出；以用户画圆这一设计意图为例进行说明，由手势信号的交互原语可以确定设计意图为画圆，由眼动信号的交互原语可以确定设计意图中画圆的坐标位置，最后完整表达为在某一特定坐标下进行画圆操作，这一设计意图。

各模态信号所识别的三个交互原语之间的时序关系图，如图3所示，针对各模态信号所识别的三个交互原语之间的时序关系，对多模态信号识别的交互原语进行整合；由于脑电、眼动、手势信号是并行输入的，且输入的时间间隔较短，为了避免识别信息混乱，需要对作用于同一设计意图的交互原语的时间间隔进行一定的约束。设定时间阈值t作为判断交互原语是否作用于同一设计意图的标准，若交互原语时间标签的差值小于t，则作用于同一设计意图，反之，则作用于不同设计意图。

采用如下三元组定义用户的设计意图(designintention):di＝(da,do,ba)，其中，da＝<da1,…,dai>(0≤i≤3)表示用户的设计行为集合；do表示每个用户行为所对应的承载对象集合；ba＝<direction,data,time>表示用户每个设计行为的属性信息，具体包括方位属性(direction)、数据属性(data)、时间属性(time)。用户设计意图，具体划分为：模式选择意图、图形生成意图、图形操作意图三类。

产品设计指令生成模块104，根据多模态信号分层整合模块输出的用户的设计意图，生成与用户的设计意图对应的产品设计指令。

依据多模信号分层整合模块输出的用户设计意图，调用生成相对应的cad产品设计指令；产品设计指令包括：模式选择指令、图形生成指令和图形操作指令。模式选择指令，具体模式包括：二维草图模式、三维建模模式、特征编辑模式、对象激活模式、全局浏览模式；图形生成指令，具体包括：直线、圆、方形、三角形；图形操作指令，具体包括：平移、拉伸、旋转、删除；

系统还包括图形可视化模块105，用于将用户的设计意图输入到相应的设计软件并进行可视化显示。

图2为一种基于多模态信号融合的设计意图判别方法，如图2所示：方法包括：

步骤201：采集用户在产品设计过程中的多模态信号；

步骤202：对多模态信号进行预处理，去除多模态信号中的无效数据；

步骤203：对预处理后的多模态信号进行特征提取；

步骤204：构建基于三层反向传播神经网络的信号识别分类模型，将提取的多模态特征信息输入所述信号识别分类模型，得到与用户的操作意图对应的操作信息，各所述操作信息采用交互原语的形式表达；

步骤205：利用上下文感知技术对各交互原语增加各交互原语中操作信息的承担对象；

步骤206：将各交互原语进行融合分析确定用户的设计意图；

步骤207：根据所述用户的设计意图，生成与所述用户的设计意图对应的产品设计指令。

其中，步骤201中，多模态信号包括脑电信号、手势信号和眼动信号；

多模态信号采集装置包括脑电信号采集装置、手势信号采集装置和眼动信号采集装置；脑电信号采集装置用于采集脑电信号，手势信号采集装置用于采集手势信号，眼动信号采集装置用于采集眼动信号。

其中，步骤202中，预处理包括采用独立分量分析方法去除脑电信号中的眼动伪迹和采用卡尔曼滤波法去除眼动信号中的无效眼跳信号。

其中，步骤206中，将各交互原语进行融合分析确定用户的设计意图，具体包括，针对各个模态信号之间的语义和时序关系，抽取可表征用户设计意图的信息，并采用三元组进行表示。

方法还包括，查找与用户的设计意图对应的产品设计指令输入到开源cad模块(如freecad)进行可视化显示。

本发明采集用户在产品设计过程中的多模态信号，并对多模态信号进行预处理和特征提取，将预处理后获得的特征信息利用三层反向传播神经网络的信号识别分类模型进行识别分类，并采用交互原语的形式表达，通过各交互原语的融合分析确定用户的设计意图，降低了用户设计意图的表达的局限性，提高了用户设计意图表达的自然性和友好性。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。