基于多模态的状态识别装置和状态识别系统的制作方法

1.本技术涉及传感器检测领域，具体而言，涉及一种基于多模态的状态识别装置和状态识别系统。


背景技术：

2.目前对待测物体的状态的识别(例如手势识别、人体腿部状态识别、身体其他位置的运行状态识别、机器人状态识别、无人机状态识别)的传感器有多个，但是不同的识别需要应用不同的传感器，而单一模态传感器智能应用于单个应用场景，识别到的结果精度不高，如果部署多个传感器，成本也较高，部署也较为复杂，并且多个传感器叠加起来后会互相摩擦产生移位，检测的精度也较低，部署多个传感器也会造成设备更为繁重，同时由于传感器密度有局限，单个位置只能有单个传感器，当需要多种传感器时，无法覆盖待测物体的整个表面。


技术实现要素：

3.本技术的主要目的在于提供一种基于多模态的状态识别装置和状态识别系统，以解决现有技术中以下至少之一的问题：单一模态传感器智能应用于单个应用场景，识别到的结果精度不高，如果部署多个传感器，成本也较高，部署也较为复杂，并且多个传感器叠加起来后会互相摩擦产生移位，检测的精度也较低，部署多个传感器也会造成设备更为繁重，同时由于传感器密度有局限，单个位置只能有单个传感器，当需要多种传感器时，无法覆盖待测物体的整个表面。
4.根据本发明实施例的一个方面，提供了一种基于多模态的状态识别装置，包括：第一电极单元，包括多个电极；多路复用器单元，具有第一端和第二端，所述多路复用器单元的第一端与所述第一电极单元电连接，所述多路复用器单元用于从多个所述电极中选出目标电极；多个传感器单元，多个所述传感器单元分别与所述多路复用器单元的第二端电连接，所述多路复用器用于从多个所述传感器单元中选出目标传感器单元，其中，所述目标传感器单元通过所述目标电极输出电信号至待测物体，并采集所述待测物体的响应电信号。
5.可选地，所述多路复用器单元包括：第一多路复用器模块，具有第一端和第二端，所述第一多路复用器模块的第一端与所述第一电极单元电连接，所述第一多路复用器模块用于从多个所述电极中选出所述目标电极；第二多路复用器模块，具有第一端和第二端，所述第二多路复用器模块的第一端与所述第一多路复用器模块的第二端电连接，所述第二多路复用器模块的第二端与多个所述传感器单元电连接，所述第二多路复用器模块用于从多个所述传感器单元中选出所述目标传感器单元。
6.可选地，在所述目标传感器单元为压力传感器单元的情况下，所述基于多模态的状态识别装置还包括第二电极单元，所述第二电极单元包括多个电极，所述压力传感器单元用于通过所述第一电极单元和所述第二电极单元输出电信号至所述待测物体，并采集所述待测物体的压力传感电信号。
7.可选地，多个所述传感器单元包括：第一传感器单元，具有第一端和第二端，所述第一传感器单元的第一端与所述第二多路复用器模块的第二端电连接，第一传感器单元用于采集所述待测物体的肌肉形变；第二传感器单元，具有第一端和第二端，所述第二传感器单元的第一端与所述第二多路复用器模块的第二端电连接，所述第二传感器单元用于采集所述待测物体的运动时产生的肌电信号；第三传感器单元，具有第一端和第二端，所述第三传感器单元的第一端与所述第二多路复用器模块的第二端电连接，所述第三传感器单元用于采集所述待测物体的内部的阻抗分布；所述基于多模态的状态识别装置还包括：控制芯片，分别和所述第一传感器单元的第二端、所述第二传感器单元的第二端、所述第三传感器单元的第二端电连接，所述控制芯片用于通过所述第一传感器单元、所述第二传感器单元和所述第三传感器单元采集到的至少一个数据生成识别结果。
8.可选地，所述第一传感器单元包括：电阻模块，具有第一端、第二端和第三端，所述电阻模块的第一端与所述第二多路复用器模块的第二端电连接，所述电阻模块的第二端接地；第一放大模块，具有第一端、第二端和第三端，所述第一放大模块的第一端与所述电阻模块的第三端电连接，所述第一放大模块的第二端与参考电压模块电连接；第一模数转换模块，具有第一端和第二端，所述第一模数转换模块的第一端与所述第一放大模块的第三端电连接，所述第一模数转换模块的第二端与所述控制芯片电连接。
9.可选地，所述第二传感器单元包括：第二放大模块，具有第一端和第二端，所述第二放大模块的第一端与所述第二多路复用器模块的第二端电连接；第一高通滤波模块，具有第一端和第二端，所述第一高通滤波模块的第一端与所述第二放大模块的第二端电连接；第一低通滤波模块，具有第一端和第二端，所述第一低通滤波模块的第一端与所述第一高通滤波模块的第二端电连接；陷波滤波模块，具有第一端和第二端，所述陷波滤波模块的第一端与所述第一低通滤波模块的第二端电连接；第三放大模块，具有第一端和第二端，所述第三放大模块的第一端与所述陷波滤波模块的第二端电连接；第二模数转换模块，具有第一端和第二端，所述第二模数转换模块的第一端与所述第三放大模块的第二端电连接，所述第二模数转换模块的第二端与所述控制芯片电连接。
10.可选地，所述第三传感器单元包括：第四放大模块，具有第一端、第二端和第三端，所述第四放大模块的第一端与所述第二多路复用器模块的第二端电连接；电位器模块，与所述第四放大模块的第二端电连接，所述电位器模块用于调节电阻，以对生成的电压进行调节；第二高通滤波模块，具有第一端和第二端，所述第二高通滤波模块的第一端与所述第四放大模块的第三端电连接；第二低通滤波模块，具有第一端和第二端，所述第二低通滤波模块的第一端与所述第二高通滤波模块的第二端电连接；第三模数转换模块，具有第一端和第二端，所述第三模数转换模块的第一端与所述第二低通滤波模块的第二端电连接，所述第三模数转换模块的第二端与所述控制芯片电连接。
11.可选地，所述控制芯片还用于：构建识别模型，其中，所述识别模型是使用多组训练数据训练得到的，所述多组训练数据中的每一组训练数据均包括历史时间段内获取的历史场景和生成历史识别结果对应的所述传感器单元采集的历史传感数据，所述历史场景是指历史时间段内识别待测物体的状态的场景，其中，不同的所述历史场景采用的所述历史传感数据不同；获取当前场景和当前传感数据，所述当前传感数据包括以下至少之一：所述待测物体的肌肉形变、所述待测物体的运动时产生的肌电信号、所述待测物体的内部的阻
抗分布；根据所述识别模型、所述当前场景和所述当前传感数据生成当前识别结果。
12.可选地，所述控制芯片还用于：将所述当前识别结果发送至智能终端，以使得所述智能终端显示所述识别结果。
13.根据本发明实施例的另一方面，还提供了一种状态识别系统，包括：智能终端；基于多模态的状态识别装置，与所述智能终端通信，所述基于多模态的状态识别装置为任意一种所述的基于多模态的状态识别装置。
14.在本发明实施例中，多路复用器单元和第一电极单元和多个传感器单元分别电连接，多个传感器单元可以通过第一电极单元采集待测物体的信号，通过多路复用器还可以从多个传感器单元中选出目标传感器单元，还可以从多个电极中选出目标电极，这样目标传感器单元可以通过目标电极识别待测物体的当前状态，例如待测物体实时的运动状态，这样保证了识别到的所需检测的状态较为准确，本方案的基于多模态的状态识别装置可以应用至不同的应用场景，可以保证识别到的结果的精度较高，本方案的基于多模态的状态识别装置的部署也较为简单，无需复杂的部署过程，因此本方案的基于多模态的状态识别装置的成本也较低、也更为轻便，信息密度更高，并且相同的单位面积下收集到的信息更多，由于可以再同一点位部署多个不同功能的传感器，可以部署在传感密度需求高的物体上。
附图说明
15.构成本技术的一部分的说明书附图用来提供对本技术的进一步理解，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
16.图1示出了根据本技术的实施例的一种基于多模态的状态识别装置的部分结构示意图；
17.图2示出了根据本技术的实施例的另一种基于多模态的状态识别装置的部分结构示意图；
18.图3示出了根据本技术的实施例的第一传感器的结构示意图；
19.图4示出了电极的矩阵示意图；
20.图5示出了根据本技术的实施例的第二传感器的结构示意图；
21.图6示出了根据本技术的实施例的第三传感器的结构示意图；
22.图7示出了根据本技术的实施例的又一种基于多模态的状态识别装置的部分结构示意图；
23.图8示出了根据本技术的实施例的再一种基于多模态的状态识别装置的部分结构示意图。
24.其中，上述附图包括以下附图标记：
25.10、第一电极单元；20、多路复用器单元；30、传感器单元；40、压力传感单元；50、第二电极单元；60、控制芯片；101、底层；102、第一电极层；1021、电极；201、第一多路复用器模块；202、第二多路复用器模块；301、第一传感器单元；302、第二传感器单元；303、第三传感器单元；3011、电阻模块；3012、第一放大模块；3013、第一模数转换模块；3021、第二放大模块；3022、第一高通滤波模块；3023、第一低通滤波模块；3024、陷波滤波模块；3025、第三放大模块；3026、第二模数转换模块；3031、第四放大模块；3032、电位器模块；3033、第二高通
滤波模块；3034、第二低通滤波模块；3035、第三模数转换模块。
具体实施方式
26.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
27.为了使本技术领域的人员更好地理解本技术方案，下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分的实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本技术保护的范围。
28.需要说明的是，本技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本技术的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
29.应该理解的是，当元件(诸如层、膜、区域、或衬底)描述为在另一元件“上”时，该元件可直接在该另一元件上，或者也可存在中间元件。而且，在说明书以及权利要求书中，当描述有元件“连接”至另一元件时，该元件可“直接连接”至该另一元件，或者通过第三元件“连接”至该另一元件。
30.为了便于描述，以下对本技术实施例涉及的部分名词或术语进行说明：
31.电阻抗成像(electrical impedance tomography，简称eit)是一种通过外部电激励信号检测物体内部结构阻抗分布的成像技术。eit通过在可导电的待测物体表面放置一组电极，对每一对电极施加高频交流电作为激励信号，依次测量其他电极对上的响应电信号，从而获得待测物体内部的电阻率的对象。由于eit具有无辐射、无损伤、成本低、结构简单等优点，eit已经广泛应用于损伤检测、地质勘探等领域。如今，eit也常应用于生物医学成像领域和人机交互领域。
32.eit可以应用在可穿戴设备中，eit可以用于测量待测物体的横截面的阻抗分布。当在待测物体周围检测表面电极时，eit从一个电极发送高频信号，并测量来自其他电极的响应电信号。信号的差异可以恢复内部结构的阻抗分布。人体的手部运动时，不同的手势对应手部的内部肌肉和骨骼的不同状态，并形成内部阻抗分布的变化。因此，eit可以通过重建变化的阻抗来监测手势。通过以往使用eit传感器进行手势识别可以知晓的是，eit对于监测手势变化具有较高的准确率。
33.早期eit的主要应用领域是医疗领域，然而，eit传感器较为笨重和价格昂贵的缺点使这项技术仅局限于医疗领域。随着传感器和人工智能行业的技术进步，使eit成为一种更小的、更便宜、更容易获得的技术。eit-kit展示了其具有高效的快速原型能力，可以应用于复杂的医疗传感，在医疗领域有很大的潜力。
34.肌电图(electromyogram，简称emg)信号是指在肌肉收缩过程中由于神经控制而产生的一系列与肌肉相关的电信号。肌电图信号一般是通过实验方法给出的，可以代表肌
肉收缩产生的电信号经过放大处理后的人体的生理特征。
35.肌电图检测领域已经成为一个不断发展的研究领域，常用于检测人体运动时的微小变化。例如，thalic实验室以前已经开发出肌肉电信号臂章，用来检测人体内传输的毫伏信号，8通道肌电图传感器缠绕在用户的前臂上。肌电图传感器的电极可以测量肌肉收缩时产生的电信号。当人体大脑通过神经发送运动控制信号来控制肌肉收缩时，这个过程会在肌肉膜上产生离子交换并产生小电流，产生的小电流的电信号可以被肌电图传感器检测到。研究人员可以确定的是，增加肌电图传感器的电极数量可以提高手势识别的准确性，更具体地说，更高密度的阵列状的肌电图传感器的电极(hd-semg)可以提供更全面的时空特征，这在手势识别等应用中至关重要。此外，经过研究表明，深度学习可以在重建不间断手势中发挥重要作用。深度学习技术和肌电图传感器的组合可以降低来自不同手指的信号的噪声和复杂性，将深度学习技术结合在肌电图传感器的检测中是现实环境中可以使用的一种较为高效的检测方式。
36.然而，大多数的肌电图传感器的由于传感器数据不足，无法直接重建人的双手。例如，减速运动、指向、挥手等状态是较难被低成本的少通道肌电图传感器直接捕获的。另一方面，大多数的多通道肌电图传感器的设置较为繁琐且相当昂贵，这是由于每个通道肌电图传感器都需要设置一个单独通道的放大器电路。
37.肌力图(forcemyography，简称fmg)检测技术是一种通过感知肌肉体积变化来收集运动信号的技术。它的基本原理是不同的肌肉活动会引起不同的动作，当动作发生时，下面的肌腱复合体的体积会发生变化，从而导致表面机械力的分布发生变化，而不同的动作可以编码成不同的肌力图像，通过对这些肌力图像进行解码，可以获得原始运动信息。
38.压力感传感器(即fmg传感器)也可以应用在可穿戴设备中，当用户的手部运动时，肌肉的收缩和放松会产生局部压力变化。手腕上的压力传感器可以检测设备和肌肉之间压力的持续变化。通过研究表明，基于压力的传感可以检测关于手腕肌肉的关键信息，通过结合软件算法，这些关键信息可以用于预测用户的手势。fmg与emg的区别在于fmg相对emg来说设备更为稳定，fmg信号的方差更低，fmg也具有更好的分离模式，在人体出汗(或者压力传感器处于较为潮湿的条件)也不会影响其使用。
39.但是，目前使用emg进行手势识别时，对手部缓慢移动的动作无法精准复原，fmg对于手指尖的信息无法精准复原，而eit会受到外界干扰导致传感器偏移，而emg/eit/fmg都是状态识别领域里重要的传感器，比如医院患者康复监测，机器人操控与交互，假肢操控，医疗成像等，而目前在状态的识别时，由于不同的传感器会有不同的问题，所以采用单个传感器进行识别时不利于最终应用场景。
40.正如背景技术中所说的，现有技术中单一模态传感器智能应用于单个应用场景，识别到的结果精度不高，如果部署多个传感器，成本也较高，部署也较为复杂，并且多个传感器叠加起来后会互相摩擦产生移位，检测的精度也较低，部署多个传感器也会造成设备更为繁重，同时由于传感器密度有局限，单个位置只能有单个传感器，当需要多种传感器时，无法覆盖待测物体的整个表面，为了解决上述问题，本技术的一种典型的实施方式中，提供了一种基于多模态的状态识别装置和状态识别系统。
41.具体地，目前的传感器的部署方式如下：
42.对于emg，有两种部署方式，第一种是部署传统的医疗电极进行检测，第二种是将
emg部署为多通道的形式，emg的原理是通过电极与手部紧密接触，将采集到的电信号通过放大电路放大手部的电流，以实现在手部缓慢移动时对微电流进行传感。
43.对于fmg，有三种部署方式，第一种是将fmg部署为电容式传感器，这种较为常见，成本较低并且部署较为简单，第二种是将fmg部署为电阻式传感器，这种对于外界电磁噪音较为敏感，第三种是压电式传感器，这种是不适合静力传感的。
44.对于eit，部署方式为通过电极与手部紧密接触，使用两个或者四个电极作为传感端，其中一个或者两个电极作为高频交流电的发送端，另外一个或者两个电极作为交流电的接收端，因此，由上述分析可知，emg、fmg、eit都需要使用电极。
45.根据本技术的实施例，提供了一种基于多模态的状态识别装置，如图1所示，该装置包括：
46.第一电极单元10，包括多个电极1021；
47.具体地，第一电极单元10包括底层101和第一电极层102，底层101用于与待测物体接触，第一电极层102中可以包括多个电极1021。
48.多路复用器单元20，具有第一端和第二端，上述多路复用器单元20的第一端与上述第一电极单元10电连接，上述多路复用器单元20用于从多个上述电极1021中选出目标电极；
49.多个传感器单元可以采用第一电极单元采集信号，为了保证检测的准确性，可以先选择目标电极，通过确定多个传感器单元采集信号共同使用的目标电极，再确定多个传感器单元中的目标传感器单元，以保证可以采用准确的传感器单元进行识别，如图2所示，本技术的一种实施例中，上述多路复用器单元20包括第一多路复用器模块201和第二多路复用器模块202，第一多路复用器模块201具有第一端和第二端，上述第一多路复用器模块201的第一端与上述第一电极单元电连接，上述第一多路复用器模块201用于从多个上述电极1021中选出上述目标电极；第二多路复用器模块202具有第一端和第二端，上述第二多路复用器模块202的第一端与上述第一多路复用器模块201的第二端电连接，上述第二多路复用器模块202的第二端与多个上述传感器单元电连接，上述第二多路复用器模块202用于从多个上述传感器单元中选出上述目标传感器单元。
50.多个传感器单元30，多个上述传感器单元30分别与上述多路复用器单元20的第二端电连接，上述多路复用器单元20用于从多个上述传感器单元30中选出目标传感器单元，其中，上述目标传感器单元通过上述目标电极输出电信号至待测物体，并采集上述待测物体的响应电信号。
51.在实际应用中，多个传感器单元可以根据实际需求安装，对于手势识别或者大腿状态识别可以是用fmg、eit和emg进行识别，本技术的又一种实施例中，如图2所示，多个上述传感器单元包括第一传感器单元301、第二传感器单元302和第三传感器单元303。
52.通过多路复用器单元，电极可以直接连通到不同的传感器单元的测量电路，对于emg，可以连接到一个1000倍的差分放大电路上，实际测量32个电极的微电流，采样帧率为300hz；对于eit，可以连接到一个交流电发送电路与电压测量电路上，使用50khz的交流电；对于fmg，可以使用感知0.1n-2n的压力传感片。
53.为了更为高效地采用第一传感器单元进行状态识别，本技术的一种具体的实施例中，第一传感器单元具有第一端和第二端，上述第一传感器单元的第一端与上述第二多路
复用器模块的第二端电连接，第一传感器单元用于采集上述待测物体的肌肉形变；如图3所示，上述第一传感器单元包括电阻模块3011、第一放大模块3012和第一模数转换模块3013，电阻模块3011具有第一端、第二端和第三端，上述电阻模块3011的第一端与上述第二多路复用器模块202的第二端电连接，上述电阻模块3011的第二端接地；第一放大模块3012具有第一端、第二端和第三端，上述第一放大模块3012的第一端与上述电阻模块3011的第三端电连接，上述第一放大模块3012的第二端与参考电压模块(图3中为vref)电连接；第一模数转换模块3013具有第一端和第二端，上述第一模数转换模块3013的第一端与上述第一放大模块3012的第三端电连接，上述第一模数转换模块3013的第二端与上述控制芯片60电连接。
54.具体地，第一传感器单元采用了特殊的放大电路降低线路之间的串扰，采用了对fmg扫描的方式，扫描具体方式可以是多路复用器进行扫描，如图4所示，可以将多个电极构建矩阵，每一个交叉点都对应一个电极，而所有行每一次仅有一个电极被选中，每一列每一次也仅有一个电极被选中，其他都接参考电压(图4中为vref)。具体的防串扰模式为将每一个在扫描的点位(行列)一方向接地，另一方向接正向放大的第一放大模块，而不被选中的行列接一个参考电压，参考电压可以设置为1.2v(只要低于供电电压即可)，具体的输出电压为vref x(1+r_ref/r_测量)，这样可以让不被选中的点保持一个等电位的状态，降低行列之间的压力传感器单元串扰，而一般的方案是通过直接对压敏电阻供压，将输出的电压通过分压电阻实现测量，相比之下，本技术的第一传感器单元可有更为高效地进行检测。
55.为了更为高效地采用第二传感器单元进行状态识别，本技术的一种具体的实施例中，第二传感器单元具有第一端和第二端，上述第二传感器单元的第一端与上述第二多路复用器模块的第二端电连接，上述第二传感器单元用于采集上述待测物体的运动时产生的肌电信号；如图5所示，上述第二传感器单元包括第二放大模块3021、第一高通滤波模块3022、第一低通滤波模块3023、陷波滤波模块3024、第三放大模块3025和第二模数转换模块3026，第二放大模块3021具有第一端和第二端，上述第二放大模块3021的第一端与上述第二多路复用器模块202的第二端电连接；第一高通滤波模块3022具有第一端和第二端，上述第一高通滤波模块3022的第一端与上述第二放大模块3021的第二端电连接；第一低通滤波模块3023具有第一端和第二端，上述第一低通滤波模块3023的第一端与上述第一高通滤波模块3022的第二端电连接；陷波滤波模块3024具有第一端和第二端，上述陷波滤波模块3024的第一端与上述第一低通滤波模块3023的第二端电连接；第三放大模块3025具有第一端和第二端，上述第三放大模块3025的第一端与上述陷波滤波模块3024的第二端电连接；第二模数转换模块3026具有第一端和第二端，上述第二模数转换模块3026的第一端与上述第三放大模块3025的第二端电连接，上述第二模数转换模块3026的第二端与上述控制芯片60电连接。
56.具体地，第二传感器单元采用的第三放大模块可以包括1000倍放大的电路，并分别通过了第一高通滤波模块中的高通滤波器、第一滤波模块中的低通滤波器、陷波滤波模块中的信号增强器，通过这种设计方案，可以将输出的肌电信号的串扰降低到最低，一般目前的第二传感器单元的主要应用仍然为医疗级为主，不够轻便，同时可以在第二传感器单元的电极设计上采用纺织电极(通过不锈钢纱线纺织而成)，相较于一般方案中第二传感器单元中的插入式电极、吸附式电极和干电极可以在穿戴上给予用户校验的体验效果。
57.为了更为高效地采用第三传感器单元进行状态识别，本技术的一种具体的实施例中，第三传感器单元具有第一端和第二端，上述第三传感器单元的第一端与上述第二多路复用器模块的第二端电连接，上述第三传感器单元用于采集上述待测物体的内部的阻抗分布；如图6所示，上述第三传感器单元包括第四放大模块3031、电位器模块3032、第二高通滤波模块3033、第二低通滤波模块3034和第三模数转换模块3035，第四放大模块3031具有第一端、第二端和第三端，上述第四放大模块3031的第一端与上述第二多路复用器模块202的第二端电连接，电位器模块3032与上述第四放大模块3031的第二端电连接，上述电位器模块3032用于调节电阻，以对生成的电压进行调节；第二高通滤波模块3033具有第一端和第二端，上述第二高通滤波模块3033的第一端与上述第四放大模块3031的第三端电连接；第二低通滤波模块3034具有第一端和第二端，上述第二低通滤波模块3034的第一端与上述第二高通滤波模块3033的第二端电连接；第三模数转换模块3035具有第一端和第二端，上述第三模数转换模块3035的第一端与上述第二低通滤波模块3034的第二端电连接，上述第三模数转换模块3035的第二端与上述控制芯片60电连接。
58.具体地，第三传感器单元可以采用50mhz的正弦波交流电作为阻抗衡量的信号发生频率，并对生成的电压进行放大，可以使用电位器模块进行电压的调节，电位器模块中包括电子电位器，可以根据不同用户的佩戴情况、内部阻抗情况调节第三传感器单元的配置效果。第四放大模块中可以包括差分放大器，差分放大器的输入为前置提出的产生50mhz信号频率与通过手部内部阻抗接收到的信号后的数据。通过多路复用器单元，可以将使用的电路的电压降低。譬如一共有32个电极可作为第三传感器单元的传感电极，可以通过多路复用器单元选择某一行作为交流电的发生电极，另一行作为接收第三模数转换模块的接收电极，以往的第三传感器单元体积较大，作用主要是医用，并没有作为可穿戴的形式出现，而采用本技术的方案，可以作为可穿戴或者覆盖在待测物体的表面的形式，检测穿戴人或者物体的状态。
59.本技术的基于多模态的状态识别装置中，多路复用器单元和第一电极单元和多个传感器单元分别电连接，多个传感器单元可以通过第一电极单元采集待测物体的信号，通过多路复用器还可以从多个传感器单元中选出目标传感器单元，还可以从多个电极中选出目标电极，这样目标传感器单元可以通过目标电极识别待测物体的当前状态，例如待测物体实时的运动状态，这样保证了识别到的所需检测的状态较为准确，本方案的基于多模态的状态识别装置可以应用至不同的应用场景，可以保证识别到的结果的精度较高，本方案的基于多模态的状态识别装置的部署也较为简单，无需复杂的部署过程，因此本方案的基于多模态的状态识别装置的成本也较低、也更为轻便，信息密度更高，并且相同的单位面积下收集到的信息更多，由于可以再同一点位部署多个不同功能的传感器，可以部署在传感密度需求高的物体上。
60.一种实施例中，一个普通手环上本来可能只有30cm2的传感面积，如果需要有三种传感器，则普通情况下，每个传感器智能检测10cm2的面积。而通过多模态传感器，则每个传感器仍然可以获得30cm2，能够更大提升传感面积和密度。
61.在应用压力传感器单元识别运动姿态的情况下，压力传感器单元是需要至少两层电极才可以识别运动姿态的，可以根据具体选择的目标传感器单元，对信号采集单元进行重新布置，本技术的另一种实施例中，在上述目标传感器单元为压力传感器单元的情况下，
上述基于多模态的状态识别装置还包括第二电极单元，上述第二电极单元包括多个电极，上述压力传感器单元用于通过上述第一电极单元和上述第二电极单元输出电信号至上述待测物体，并采集上述待测物体的压力传感电信号。
62.具体地，如图7和图8所示(图7是俯视图，图8是正视图)，基于多模态的状态识别装置中包括底层101、第一电极层102、压力传感单元40和第二电极单元50，第二电极单元50中包括第二电极层，第二电极层中可以包括多个电极，底层101用于与皮肤接触，第一电极层102覆盖在底层101上，第一电极层102可以用于eit的传感(即可以用于eit的扫描发送电极，或交流电接收电极)，第一电极层102还可以用于emg的传感(即可以用于emg的单级(monopolar)或双极输入(bipolar)的任意一端)，第一电极层102还可以用于fmg的传感(即可以用于压阻式传感器的电极的一层)，压力传感单元40包括压力传感层，压力传感层为半透明黑色，也称为压阻层，压力传感层是使用聚乙烯和碳组成的半导体层，第二电极层是fmg的第二层电极，通过图7和图8的方式，仅需要在电路中加入多路复用器，可以实现多种传感器的状态识别，当然，如果是其他类型的传感器，例如eit，那么压力传感单元40和第二电极单元50可以不设置，如果是温度传感器，还可以不设置压力传感单元40，在第一电极层102上直接覆盖温度传感单元即可，如果是湿度传感器，还可以不设置压力传感单元40，在第一电极层102上直接覆盖湿度传感单元即可，这样可以根据不同的传感器，设置合适的传感单元。
63.实际应用中，可以通过互补金属氧化物半导体的方式制作多路复用器单元，在选择单一传感器的时候，电路导通电阻仅为2.5欧姆，在传感电路里，该级别的电阻会使得电信号造成压降，但是影响基本可以忽略。
64.上述的基于多模态的状态识别装置，可以根据实际需求在装置中添加或者删除传感器，例如，如果不需要fmg，可以把压力传感单元和第二电极单元去掉，如果需要新增其他的电阻式传感器，可以把压力传感单元的压力传感片更换为其他的电阻传感片，例如温度响应式电阻，通过本技术的方案，制造出的运动识别装置，成本更低，且部署更为方便，同时信息密度更高。
65.本技术的基于多模态的状态识别装置，不仅可以用于手势识别，还可以是其他的应用场景，譬如放在大腿上可以检测病人的腿部运动和用例情况，用于提供康复场景，而以往的康复场景通过单一的传感器单元无法获取到所需要的所有信息。对于温度式传感器和湿度式传感器等需要第二电极层的传感器单元，也可以根据实际需要设置第二电极单元。
66.并且，本方案的基于多模态的状态识别装置，由于多个传感器单元都采用一个第一电极单元采集信号，多个传感器单元可以共享电极，这样可以在应用集成时大大降低使用成本和缩小占用空间(如果多个传感器单元分别采用不同的电极的话成本较高且占空空间较大)，这样可以在后续提供更多的数据量，比如在无人机的应用场景里(在无人机起飞和飞行时候需要检测机翼的分布式压力和温度，以确定无人机的机翼的状态)，需要保证无人机表面的薄层的厚度小于0.5mm，这样实际上会限制传感器单元的部署，而在一些实施方式中，需要部署很多个传感器，这样会造成无人机表面的薄层的厚度较厚，会影响无人机的飞行，并且如果传感器过厚也是无法部署的，而本技术的方案也可以很好地解决这种问题，采用本技术的方案，无需部署很多传感器，由于本方案的基于多模态的状态识别装置的体积较小，厚度也相对于较薄一些，这样可以不限制传感器的部署，只需要将第一单元电极和
多路复用器单单元覆盖在无人机的机翼上即可。
67.在实际应用中，应用场景还可以是机器人抓取物体的场景，采用的传感器有压力传感器、电容式传感器和温度式传感器，因为机器人需要通过电容知道所抓物体的距离，通过压力判断抓取的力度，通过温度判断抓取物体的温度，可以做出适当反馈(譬如端菜机器人可以判断判断盘子是否过烫)，应用场景还可以是无人飞机飞行的场景，采用的传感器有压力传感器和温度式传感器，因为无人机起飞时候是需要知道机翼的分布式压力和温度的。
68.为了可以更为高效地控制多个传感器单元进行检测，并对多个传感器检测到的数据进行处理，本技术的再一种实施例中，上述基于多模态的状态识别装置还包括控制芯片，控制芯片分别和上述第一传感器单元的第二端、上述第二传感器单元的第二端、上述第三传感器单元的第二端电连接，上述控制芯片用于通过上述第一传感器单元、上述第二传感器单元和上述第三传感器单元采集到的至少一个数据生成识别结果。该实施例中，通过设置控制芯片，可以将多个传感器单元采集到的数据进行筛选或者组合，这样可以保证检测结果更为准确。
69.具体地，组合方式可以是第一传感器单元检测到的数据与第二传感器单元检测到的数据进行组合，还可以是第一传感器单元检测到的数据与第三传感器单元检测到的数据进行组合，还可以是第二传感器单元检测到的数据与第三传感器单元检测到的数据进行组合，还可以是第一传感器单元检测到的数据、第二传感器单元检测到的数据与第三传感器单元检测到的数据进行组合，当然，对于更多数量的传感器单元，其组合方式也可以多种。
70.对于控制芯片的实际应用来看，实际上可以对传感器单元进行注意力训练，本技术的另一种实施例中，上述控制芯片还用于：构建识别模型，其中，上述识别模型是使用多组训练数据训练得到的，上述多组训练数据中的每一组训练数据均包括历史时间段内获取的历史场景和生成历史识别结果对应的上述传感器单元采集的历史传感数据，上述历史场景是指历史时间段内识别待测物体的状态的场景，其中，不同的上述历史场景采用的上述历史传感数据不同；获取当前场景和当前传感数据，上述当前传感数据包括以下至少之一：上述待测物体的肌肉形变、上述待测物体的运动时产生的肌电信号、上述待测物体的内部的阻抗分布；根据上述识别模型、上述当前场景和上述当前传感数据生成当前识别结果。
71.具体地，可以通过前置信号(多个传感器单元检测到的信号)与识别模型确定应用的场景所需要的数据具体有几个，并在实际应用中只采集某个或者某几个传感器单元发送的数据，或者只采集某个或者某几个电极。通过这种方式可以大幅度降低对电源的耗电量以及计算资源的依赖，并通过采样提高传感器的精度。
72.在实际应用中，对于手势识别的场景，可能只需要emg检测的数据和eit检测的数据，对于大腿肌肉力度识别的场景，可能只需要emg检测的数据和fmg检测的数据，对于行动方向识别的场景，则需要emg检测的数据、fmg检测的数据和eit检测的数据，将每种应用场景所需要的数据进行训练，得到识别模型，这样在当前检测场景下，可以快速根据识别模型采集所需要的数据生成识别结果，例如，当前检测场景为手势识别的场景，接收到的是多个传感器单元检测到的数据，只提取emg检测的数据和eit检测的数据即可以生成识别结果。
73.在实际应用中，还可以显示识别结果，用户可以及时知晓识别结果，这样可以方便用户查看，用户可以根据识别结果进行其他的处理，本技术的另一种实施例中，上述控制芯
片还用于：将上述当前识别结果发送至智能终端，以使得上述智能终端显示上述识别结果。
74.当然，在实际应用中，发送识别结果的传输形式不作限制，蓝牙或者wifi以及其他的传输形式均可，例如，可以采用蓝牙将识别结果发送至智能终端，智能终端可以根据识别结果对特定手部姿势进行预测。
75.具体地，本方案的基于多模态的状态识别装置可以应用在多种应用场景中，由于本方案的基于多模态的状态识别装置中包括了多路复用器单元和多个传感器单元，可以采用多个传感器单元应用在不同的场景中，例如，第一种应用场景是检测人体的肌肉变化，可以把基于多模态的状态识别装置部署在人体的不同位置处，可以部署在人体的大腿部位，通过传感器单元实现腿部肌肉变化检测，或者部署在人体的手臂上，此时用户可能正在健身房中健身，通过传感器单元可以检测手臂的肌肉变化，第一种应用场景采用的传感器可以包括fmg、emg和eit，第二种应用场景是控制假肢，可以把基于多模态的状态识别装置部署在假肢处，通过传感器单元检测假肢的电信号再通过控制芯片实现假肢的控制，第二种应用场景采用的传感器可以包括fmg和eit，第三种应用场景是检测无人机的机翼的状态，可以把基于多模态的状态识别装置部署在无人机的机翼上，通过传感器单元检测无人机的机翼上的分布式压力、湿度和温度等数据，第三种应用场景采用的传感器可以包括fmg、温度传感器和湿度传感器，第四种应用场景是检测机器人的机械臂的状态，可以把基于多模态的状态识别装置部署在机器人的机械臂上，通过传感器单元检测机器人的机械臂上的分布式压力和温度等数据，第四种应用场景采用的传感器可以包括fmg和温度传感器。上述地，本方案的基于多模态的状态识别装置实际上可以是设计了一种可以拓展、可以重复使用的传感器框架，例如，在检测机器人的机械臂的数据时，采用的是fmg和温度传感器，在此基础上，如果想检测无人机的机翼上的数据时，可以继续采用检测机器人的机械臂的数据时的传感器，并新添加一个湿度传感器即可，当然，还有多种应用场景和多种情况，采用本技术的这种框架，根据不同的应用场景所需要的传感器进行拓展即可
76.另一种实现方式中，可以采用wifi传输识别结果，对于fmg的传输频率可以是60hz，对于emg的传输频率可以是300hz，对于eit的传输频率可以是150hz，当然，并不限于上述的传输频率，本领域技术人员还可以根据实际情况选择合适的传输频率。智能终端可以是电脑或者手机等。
77.本技术还提供了一种状态识别系统，包括智能终端和基于多模态的状态识别装置，基于多模态的状态识别装置与上述智能终端通信，上述基于多模态的状态识别装置为任意一种上述的基于多模态的状态识别装置。
78.上述的状态识别系统中，由于包括任一种上述的基于多模态的状态识别装置，该基于多模态的状态识别装置中，多路复用器单元和第一电极单元和多个传感器单元分别电连接，多个传感器单元可以通过第一电极单元采集待测物体的信号，通过多路复用器还可以从多个传感器单元中选出目标传感器单元，还可以从多个电极中选出目标电极，这样目标传感器单元可以通过目标电极识别待测物体的当前状态，例如待测物体实时的运动状态，这样保证了识别到的所需检测的状态较为准确，本方案的基于多模态的状态识别装置可以应用至不同的应用场景，可以保证识别到的结果的精度较高，本方案的基于多模态的状态识别装置的部署也较为简单，无需复杂的部署过程，因此本方案的基于多模态的状态识别装置的成本也较低、也更为轻便。
79.在本发明的上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
80.在本技术所提供的几个实施例中，应该理解到，所揭露的技术内容，可通过其它的方式实现。其中，以上所描述的装置实施例仅仅是示意性的，例如上述单元的划分，可以为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，单元或模块的间接耦合或通信连接，可以是电性或其它的形式。
81.从以上的描述中，可以看出，本技术上述的实施例实现了如下技术效果：
82.1)、本技术的基于多模态的状态识别装置，多路复用器单元和第一电极单元和多个传感器单元分别电连接，多个传感器单元可以通过第一电极单元采集待测物体的信号，通过多路复用器还可以从多个传感器单元中选出目标传感器单元，还可以从多个电极中选出目标电极，这样目标传感器单元可以通过目标电极识别待测物体的当前状态，例如待测物体实时的运动状态，这样保证了识别到的所需检测的状态较为准确，本方案的基于多模态的状态识别装置可以应用至不同的应用场景，可以保证识别到的结果的精度较高，本方案的基于多模态的状态识别装置的部署也较为简单，无需复杂的部署过程，因此本方案的基于多模态的状态识别装置的成本也较低、也更为轻便，信息密度更高，并且相同的单位面积下收集到的信息更多，由于可以再同一点位部署多个不同功能的传感器，可以部署在传感密度需求高的物体上。
83.2)、本技术的状态识别系统，由于包括任一种上述的基于多模态的状态识别装置，该基于多模态的状态识别装置中，多路复用器单元和第一电极单元和多个传感器单元分别电连接，多个传感器单元可以通过第一电极单元采集待测物体的信号，通过多路复用器还可以从多个传感器单元中选出目标传感器单元，还可以从多个电极中选出目标电极，这样目标传感器单元可以通过目标电极识别待测物体的当前状态，例如待测物体实时的运动状态，这样保证了识别到的所需检测的状态较为准确，本方案的基于多模态的状态识别装置可以应用至不同的应用场景，可以保证识别到的结果的精度较高，本方案的基于多模态的状态识别装置的部署也较为简单，无需复杂的部署过程，因此本方案的基于多模态的状态识别装置的成本也较低、也更为轻便，信息密度更高，并且相同的单位面积下收集到的信息更多，由于可以再同一点位部署多个不同功能的传感器，可以部署在传感密度需求高的物体上。
84.以上所述仅为本技术的优选实施例而已，并不用于限制本技术，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。