构建基于多源生物信息确定控制指令的模型的方法与流程

1.本说明书涉及自动控制技术领域，具体涉及一种构建基于多源生物信息确定控制指令的模型的方法。


背景技术：

2.目前，自动控制领域和沉浸式游戏等技术等领域被参量数量越来越多，传统地基于用户手动选择控制对象、输入控制指令的方式已经不能满足应用需求。
3.为解决前述问题，行业内提出了通过采集脑电信号、眼动信号和声纹信号等各种人体操作信号综合而生成控制指令的控制方法。目前，采用此类均需要精确的物理系统模型；而实际应用中，基于不同情况下操作人员的脑电信号、眼动信号的配合具有多意性(可能包括多个控制目标)，很难确定严格的物理系统模型。另外，实际应用中，对脑电信号、眼动信号的采集存在大量的误差，物理系统模型并不能很好地处理此类误差。


技术实现要素：

4.本说明书提供一种构建基于多源生物信息确定输出指令的模型的方法，包括：
5.建立各个生物信息源行为特征的与控制指令的对应规则；
6.基于所述对应规则训练操作人员，获取每个控制指令对应的各个所述生物信息源行为特征的特征向量；
7.获取第一时间内各个生物信息源的行为特征，并计算为各个生物信息源对应的行为向量；以及，获取所述第一时间时操作人员表示所述行为特征时欲表示的控制指令；
8.根据每个所述生物信息源的行为向量，以及所述生物信息源行为特征对应各个所述控制指令的特征向量，计算行为向量在模糊可测空间中的坐标；
9.根据生物信息源行为特征对应各个控制指令的隶属函数，以及所述坐标计算所述第一时间内各个生物信息源的行为特征对应各个控制指令的隶属度，组成各个生物信息源在所述第一时间内行为特征对应的隶属度向量；
10.将所述第一时间对应的隶属度向量和所述操作人员欲表示的控制指令作为输入，训练模糊神经网络模型，得到基于多源生物信息确定输出指令的模型。
11.可选地，所述基于所述对应规则训练操作人员，分别获取每个控制指令对应的各个所述生物信息源行为特征的特征向量，包括：
12.获取每个控制指令对应的各个生物信息源行为特征的采集样本；
13.采用聚类方法处理所述每个控制指令对应的各个生物信息源行为特征的采集样本，确定所述控制指令对应的所述生物信息源行为特征的特征向量。
14.可选地，根据每个所述生物信息源的行为向量，以及所述生物信息源行为特征对应各个所述控制指令的特征向量，获得行为向量在模糊可测空间中的坐标，包括：
15.采用计算行为向量在所述模糊可测空间中的坐标；为所述
行为向量；为所述特征向量。
16.可选地，所述第一时间为一时间段；
17.根据生物信息源行为特征对应各个控制指令的隶属函数，以及所述坐标计算所述第一时间内各个生物信息源的行为特征对应各个控制指令的隶属度，包括：
18.在所述第一时间对应的坐标区间内，对生物信息源行为特征对应各个控制指令的隶属函数进行积分，获得所述第一时间内各个生物信息源的行为特征对应各个控制指令的隶属度。
19.可选地，将所述第一时间对应的隶属度向量和所述操作人员欲表示的控制指令，训练模糊神经网络模型，得到基于多源生物信息确定输出指令的模型，包括：
20.以所述第一时间对应的隶属度向量和所述操作人员欲表示的控制指令为输入，基于混沌隶属群优化算法初始化和调整模糊神经网络模型的参数，得到基于多源生物信息确定输出指令的模型。
21.可选地，所述生物信息源行为特征包括眼动特征、声纹特征、脑电特征和肢体动作特征中的至少两种。
22.本说明书提供一种基于多源生物信息确定输出指令的方法，包括：
23.根据第二时间内各个生物信息源的行为特征计算各个生物信息源对应的行为向量；
24.根据每个所述生物信息源的行为向量，以及各个类型控制指令对应的所述生物信息源行为特征的特征向量，获得行为向量在模糊可测空间中的坐标；
25.根据每个生物信息源行为特征对应各个控制指令的隶属函数，以及所述坐标计算所述第二时间内各个生物信息源的行为特征对应各个控制指令的隶属度，采用所述隶属度组成各个生物信息源在所述第二时间内行为特征对应的隶属度向量；
26.将各个生物信息源在第二时间内行为特征对应的隶属度向量输入前所述方法建立的模型，得到输出指令。
27.本说明书还提供一种基于多源生物信息确定输出指令的模型的构建装置，包括：
28.特征向量确定单元，用于获取每个控制指令对应的各个所述生物信息源行为特征的特征向量；
29.初始训练信息获取单元，用于获取第一时间内各个生物信息源的行为特征，并计算为各个生物信息源对应的行为向量；以及，获取所述第一时间时操作人员表示所述行为特征时欲表示的控制指令；
30.行为特征隶属度向量构建单元，用于根据每个所述生物信息源的行为向量，以及所述生物信息源行为特征对应各个所述控制指令的特征向量，计算行为向量在模糊可测空间中的坐标；根据生物信息源行为特征对应各个控制指令的隶属函数，以及所述坐标计算所述第一时间内各个生物信息源的行为特征对应各个控制指令的隶属度，组成各个生物信息源在所述第一时间内行为特征对应的隶属度向量；
31.模型训练单元，用于将所述第一时间对应的隶属度向量和所述操作人员欲表示的控制指令作为输入，训练模糊神经网络模型，得到基于多源生物信息确定输出指令的模型。
32.可选地，所述特征向量确定单元获取每个控制指令对应的各个生物信息源行为特征的采集样本；采用聚类方法处理所述每个控制指令对应的各个生物信息源行为特征的采
集样本，确定所述控制指令对应的所述生物信息源行为特征的特征向量。
33.本说明书还提供一种基于多源生物信息确定输出指令的装置，包括：
34.行为向量构建单元，用于根据第二时间内各个生物信息源的行为特征，计算各个生物信息源对应的行为向量；
35.坐标计算单元，用于根据每个所述生物信息源的行为向量，以及各个类型控制指令对应的所述生物信息源行为特征的特征向量，获得行为向量在模糊可测空间中的坐标；
36.隶属度向量构建单元，用于根据每个生物信息源行为特征对应各个控制指令的隶属函数，以及所述坐标计算所述第二时间内各个生物信息源的行为特征对应各个控制指令的隶属度，采用所述隶属度组成各个生物信息源在所述第二时间内行为特征对应的隶属度向量；
37.输出指令确定单元，用于将各个生物信息源在第二时间内行为特征对应的隶属度向量输入如前所述方法构建的模型，得到输出指令。
38.本说明书提供的构建基于多源生物信息确定输出指令的模型的方法，能够充分利用多个信息源在时间和空间上进行组合，以实现信息源在时间或空间上的冗余和互补，以此使得计算得到的控制指令更能获得各个信息源更为优越的性能。采用前述方法构建的模型确定控制指令，可以通过信息融合降低各个生物源信息特征采集存在的不确定性，提高系统的可靠性和精度。另外，本实施例构建的模型采用模糊逻辑进行多源信息融合算法的设计，可以较好地解决模型不确定性的问题。
39.本发明中，上述各技术方案之间还可以相互组合，以实现更多的优选组合方案。本发明的其他特征和优点将在随后的说明书中阐述，并且，部分优点可从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过说明书以及附图中所特别指出的内容中来实现和获得。
附图说明
40.附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制。
41.图1是实施例提供的构建模型的方法的流程图；
42.图2是实施例提供的基于多源生物信息确定输出指令的方法；
43.图3是实施例提供的构建基于多源生物信息确定输出指令的模型的装置；
44.图4是实施例提供的基于多源生物信息确定输出指令的装置的结构示意图；
45.其中：11
‑
特征向量确定单元，12
‑
初始训练信息获取单元，13
‑
行为特征隶属度向量构建单元，14
‑
模型训练单元，21
‑
行为向量构建单元，22
‑
坐标计算单元，23
‑
隶属度向量构建单元，24
‑
输出指令确定单元。
具体实施方式
46.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
47.本说明书实施例提供一种构建基于多源生物信息确定输出指令的模型的方法。图1是实施例提供的构建模型的方法的流程图。如图1所示，本实施例包括步骤s101
‑
s106。
48.s101：建立各个生物信息源行为特征与控制指令的对应规则。
49.步骤s101中，需要根据待控制对象确定需要的控制参量数量，并为每个控制参量设置一控制指令，以及根据生物信息源的数量确定能够输出的生物信息源行为特征组合数量，将生物信息信息源行为特征的组合与控制指令关联。
50.例如在一遥操控行为分析中，待控制的遥操作设备的控制参量包括底盘动作(底盘前进、后退、原地左转、原地右转)、腰部动作(航向方向横摆角增加、横摆角较少、俯仰角增加、俯仰角减少)、头部动作(横摆角增加、横摆角减小、俯仰角增加、俯仰角减小)和载荷状态切换(视频切换、车灯开关、通话开关)，可以使用的生物信息源行为特征包括眼动特征、脑电特征、声纹特征和肢体动作特征。则可以根据四类行为特征建立实现各个控制参量控制的控制指令的对应关系。
51.例如，底盘动作可以通过向前伸臂、眼动注视上下、运行想象腿动作和语音输入实现，腰部动作可以通过向下伸臂、眼球注视正中、运动想象弯腰、语音输入实现；头部动作可以通过向左右伸臂、眼球注视两侧、运动想象转头和语音输入实现；载荷状态切换可以通过运行想象其他部位和语音输入实现。
52.应当注意的是，本实施例中采用眼动特征、脑电特征、声纹特征和肢体动作特征作为生物信息源行为特征，在其他实施例中也可以仅采用前述四个生物信息源行为特征中的两个的组合或者三个的组合；在其他实施例中，也可以采用其他类型的生物信息源行为特征。
53.还应注意的是，为了能够实现各种生物信息源行为特征的采集，实际应用还应当采用各种采集设备，以获得各种生物信息源行为特征。例如，为了采集眼动特征，需要对瞳孔位置进行定位的图像采集设备和图像处理设备；为了采集脑电特征，需要电极和对应的电信号处理设备；为了采集声纹特征，需要拾音器和声音处理设备；为了采集肢体动作特征，需要加速度传感器和对应的信号处理设备。
54.s102：基于对应规则训练操作人员，获取每个控制指令对应的各个生物信息源行为特征的特征向量。
55.步骤s102中，获取各个控制指令对应的各个生物信息源行为特征的特征向量，是确定与各个控制指令相关联的典型生物信息源行为特征，并对典型生物信息源行为特征进行处理而获得特征向量的过程。
56.例如，为了获得各个控制指令对应的眼动行为特征，则采集操作人员为表示相应的控制指令的眼动动作，进行相应的处理确定其特征向量。
57.本实施例中，为了使得获得的每个生物信息源行为特征的特征向量具有足够的代表性，可以采用大量数据采样求取平均值的方法确定特征向量，具体的步骤可以为步骤s1021
‑
s1022。
58.s1021：获取每个控制指令对应的各个生物信息源行为特征的采集样本。
59.s1022：采用聚类分析方法处理每个控制指令对应的生物信息源行为特征的采样样本，确定控制指令对应的生物信息源行为特征的特征向量。
60.根据人类行为特征分析可知，以眼动行为特征为例，当用户想要表示不同的控制指令时，根据步骤s101确定的对应关系，其会控制眼球向不同的方向转动，以形成不同眼动行为特征。而因为操作人员心理状态、眼部疲劳度以及各种因素的影响，为表征同一控制指令，重复形成的眼部动作行为特征具有差异性。而采集少量的眼部行为特征可能并不能较
好地表征实际控制操作中眼部行为特征。
61.为了避免前述问题，本实施例步骤s1021中采集个控制指令对应的各个生物信息源行为特征的大量采样样本，步骤s1022以聚类分析方确定每个控制指令对应的聚类采样样本，再利用聚类的采样样本求取平均值或者中值，并求得平均特征或者中值特征作为对应的特征向量。
62.s103：获取第一时间内各个生物信息源的行为特征，并计算各个生物信息源对应的行为向量；以及获取第一时间时操作人员表示行为特征欲表示的控制指令。
63.步骤s103中，在第一时间内，用户在欲表示某一控制指令时，其同时控制多个生物信息源的行为特征；各种采集设备同时采集各个生物信息源的行为特征。并计算各个生物信息源各个时刻对应的行为向量。
64.s104：根据生物信息源的行为向量，以及生物信息源行为特征对应各个控制指令的特征向量，计算行为向量在模糊可测空间中的坐标。
65.在一个应用中，可以采用公式计算行为向量在模糊可测空间中的坐标。其中为行为向量；为特征向量。
66.与前述公式对应的，各个控制指令对应的各个生物信息源行为特征均对应一个模糊可测空间[0,1]中的隶属度函数，此隶属度函数表示了在坐标区间中各个坐标点，行为特征隶属于某一特定行为特征的程度。
[0067]
s105：根据生物信息源行为特征对应各个控制指令的隶属函数，以及坐标计算第一时间内各个生物信息源的行为特征对应各个控制指令的隶属度，组成各个生物新源在第一时间内行为特征对应的隶属度向量。
[0068]
此处仍以眼动特征为例，对步骤s105做一说明。对于每个控制指令，均包括一隶属函数，则采用前述的坐标，可以确定行为向量对应的行为特征在各个控制指令中的隶属度。如前所述，眼动特征包括眼球注视上、注视下、注视左、注视右和注视中间的动作，因此对于眼动动作可以形成包括五个参数的隶属度向量。
[0069]
应当注意的是，为了能够在后续步骤中实现模型训练，需要针对大量的操作人员的动作执行步骤s103
‑
s105的步骤，以获取足够的训练样本。
[0070]
s106：将第一时间对应的隶属度向量和操作人员欲表示的控制指令作为输入，训练模糊神经网络模型，得到基于多元素生物信息确定输出指令的模型。
[0071]
本实施例中，对模糊神经网络模型进行训练的过程是将部分各个第一时间对应的隶属度向量和操作人员欲表示的控制指令作为输入数据，将另外部分数据作为验证数据，求算模糊神经网络各个节点之间参数的过程。
[0072]
本实施例中，步骤s106采用的神经网络模型为五层，包括操控行为输入层、模糊化层、模糊规则层、去模糊化层和输出层。其中，模糊化层包括采用的生物信息源数量相同的节点，去模糊化层包括与控制指令数量相同的节点。
[0073]
本实施例中，采用作为模糊练成算子，实现从模糊化层节点到模糊规则层节点的模糊运算，采用
作为去模糊化算子，实现从模糊规则层到去模糊化层的运算，采用y
o
＝max{y1,...y
i
,...y
n
}实现从去模糊化层到输出层的运算而确定输出指令。本说明书实施例中，为了减小模型训练的难度，可以采用基于混度隶属群优化算法初始化和调整模糊神经网络模型的参数，以实现模型参数的快速运算。混沌离子群算法作为群体智能启发式优化算法，其结构简单，同时其借鉴遗传算法的变异的思想，引入变异粒子以一定的概率重新初始化粒子，有效改善局部最优。另外，在粒子群算法的基础上，通过引入混度因素，使得模型参数处陷入局部最优的情况下，依然能够保有跳出训练的能力，继而通过大量迭代实现全局最优，确定模糊神经网络模型的最优参数。
[0074]
采用前述步骤s101
‑
s106构建的模型，能够充分利用多个信息源在时间和空间上进行组合，以实现信息源在时间或空间上的冗余和互补，以此使得计算得到的控制指令更能获得各个信息源更为优越的性能。另外，采用此模型，可以通过信息融合降低各个生物源信息特征采集存在的不确定性，提高系统的可靠性和精度。另外，本实施例构建的模型采用模糊逻辑进行多源信息融合算法的设计，可以较好地解决模型不确定性的问题。
[0075]
除了提供前述的模型构建方法外，本说明书实施例还提供一种基于多源生物信息确定输出指令的方法。图2是实施例提供的基于多源生物信息确定输出指令的方法。如图2所示，确定输出指令的方法包括步骤s201
‑
s204。
[0076]
s201：根据第二时间内各个生物信息源的行为特征计算各个生物信息源对应的行为向量。
[0077]
步骤s201中，在第二时间内，用户在欲表示某一控制指令时，其同时控制多个生物信息源的行为特征；各种采集设备同时采集各个生物信息源的行为特征。并计算各个生物信息源各个时刻对应的行为向量。
[0078]
s202：根据每个生物信息源的行为向量、各个类型控制指令对应的生物信息源行为特征的特征想象，获得行为向量在模糊可测空间中的坐标。
[0079]
如前述的步骤s104中，本实施例中，采用公式计算行为向量在模糊可测空间中的坐标。其中为行为向量；为特征向量。
[0080]
本实施例中的特征向量即为步骤s102中确定的特征向量。
[0081]
s203：根据每个生物信息源行为特征对应各个控制指令的隶属函数，以及坐标计算第二时间内各个生物信息源的行为特征对应各个控制指令的隶属度，采用隶属度组成各个生物信息源在第二时间内行为特征对应的隶属度向量。
[0082]
步骤s203与步骤s105相同，相应的描述可以参见步骤s105。
[0083]
s204：将各个生物信息源在第二时间内行为特征对应的隶属度向量输入模型，得到输出指令。
[0084]
步骤s204中提及的模型即为步骤s101
‑
s106形成的模型。
[0085]
采用步骤s201
‑
s204，可以通过信息融合降低各个生物源信息特征采集存在的不确定性，提高系统的可靠性和精度。
[0086]
除了提供前述的模型构建方法和基于多源生物信息确定控制指令的方法外，本说明书还提供一种模型构建装置和基于多源生物信息确定控制指令的装置。因为装置和方法
采用相同的发明构思，因此下文仅对装置的机构做介绍，相关的技术实现过程和技术效果可以参见前文表述。
[0087]
图3是实施例提供的构建基于多源生物信息确定输出指令的模型的装置。如图3所示，模型构建装置包括特征向量确定单元、初始训练信息获取单元、行为特征隶属度向量构建单元和模型训练单元。
[0088]
特征向量确定单元用于获取每个控制指令对应的各个生物信息源行为特征的特征向量；
[0089]
初始训练信息获取单元用于获取第一时间内各个生物信息源的行为特征，并计算为各个生物信息源对应的行为向量；以及，获取第一时间时操作人员表示行为特征时欲表示的控制指令；
[0090]
行为特征隶属度向量构建单元，用于根据每个生物信息源的行为向量，以及生物信息源行为特征对应各个控制指令的特征向量，计算行为向量在模糊可测空间中的坐标；根据生物信息源行为特征对应各个控制指令的隶属函数，以及坐标计算第一时间内各个生物信息源的行为特征对应各个控制指令的隶属度，组成各个生物信息源在第一时间内行为特征对应的隶属度向量；
[0091]
模型训练单元用于将第一时间对应的隶属度向量和操作人员欲表示的控制指令作为输入，训练模糊神经网络模型，得到基于多源生物信息确定输出指令的模型。
[0092]
在一个应用中，特征向量确定单元获取每个控制指令对应的各个生物信息源行为特征的采集样本后，采用聚类方法处理每个控制指令对应的各个生物信息源行为特征的采集样本，确定控制指令对应的生物信息源行为特征的特征向量。
[0093]
图4是实施例提供的基于多源生物信息确定输出指令的装置的结构示意图。如图4所示，确定输出指令的装置包括行为向量构建单元、坐标计算单元、隶属度向量构建单元和输出指令确定单元。
[0094]
行为向量构建单元用于根据第二时间内各个生物信息源的行为特征，计算各个生物信息源对应的行为向量。
[0095]
坐标计算单元用于根据每个生物信息源的行为向量，以及各个类型控制指令对应的生物信息源行为特征的特征向量，获得行为向量在模糊可测空间中的坐标。
[0096]
隶属度向量构建单元用于根据每个生物信息源行为特征对应各个控制指令的隶属函数，以及坐标计算第二时间内各个生物信息源的行为特征对应各个控制指令的隶属度，采用隶属度组成各个生物信息源在第二时间内行为特征对应的隶属度向量；
[0097]
输出指令确定单元用于将各个生物信息源在第二时间内行为特征对应的隶属度向量输入前文构建的模型，得到输出指令。
[0098]
除了提供前述的装置和方法，本说明书实施还提供一种电子设备，电子设备包括存储器和处理器；存储器中存储有程序指令；处理器在加载程序指令后可以执行如前所述的基于多源生物信息确定输出指令的模型的构建方法构建模型，和/或，执行基于多源生物信息确定输出指令的方法。
[0099]
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。