本发明涉及传感器信息处理和手势识别
技术领域：
，特别是一种集于三维传感器数据建模结合，人机交互基于双手环传感器控制的智能设备系统和方法。
背景技术：
：随着科技的不断发展，控制和传感器技术的不断提高，越来越多的设备采用了传感器进行控制。目前市场上的智能手环，因其具有可穿戴、体积小、多传感器、蓝牙4.0无线传输等特点，使得智能设备进入人们的生活当中。智能手环的设计功能是结合智能手机来测量心跳，记录人体运动行走的公里数(步数、燃烧的卡路里数)，记录人体睡眠数据(总睡眠时间、清醒时间、夜间醒来的次数)等信息。我们考虑到智能手环，虽然已经普及应用，但是随着体感、运动设备开发和应用，基于智能手环的智能控制设备却迟迟没有进入人们视野。而且市场上的手环都是以单手环的形式存在，对于设备的控制来说，单手环姿势的识别范围小也缺乏稳定性。这时对于双手环的融合控制技术的探究随之而来，如何让用户体验到更多的手势控制，更高的稳定性是热切关心的话题。同时，随着智能化移动设备的风靡和普及，其应用软件的通用性和便捷性以及本身配备的多种传感器使得在智能运动设备控制具有得天独厚的优势。技术实现要素：本发明提出了一种基于双手环传感器融合的智能遥感控制系统，包括：两个手环，所述手环设置于腕带，所述手环内设有：传感器，其用于采集手环的运动信号；所述运动信号包括三维加速度信号与三维角速度信号；处理器，其与所述传感器通信，其中，所述处理器设有：滤波模块，其对所述运动信号进行卡尔曼滤波处理；及量化模块，其根据所述运动信号构造手部动作特征向量；无线通信发送端，其与所述处理器通信，用于发送所述手部动作特征向量；控制装置，其包括：无线通信接收端，其与所述无线通信发送端通信，接收所述手部动作特征向量；融合处理模块，其融合两个手环的手部动作特征向量；映射模块，其与所述融合处理模块通信，将所述手部动作特征向量映射为对于智能设备的控制命令；驱动接口，其与所述映射模块通信，用以传输所述控制命令；智能设备，其与所述驱动接口通信，接收并根据所述控制命令运动。本发明提出的所述基于双手环传感器融合的智能遥感控制系统中，所述传感器设有：三轴陀螺仪传感器，其用于采集三维角速度信号；三轴加速度传感器，其用于采集三维加速度信号；可扩展数字运动处理器，其具有可扩展的I2C接口或者SPI接口。本发明提出的所述基于双手环传感器融合的智能遥感控制系统中，无线通信发送端与所述无线通信接收端为蓝牙模块。本发明提出的所述基于双手环传感器融合的智能遥感控制系统中，处理器进一步设有：存储模块，其用于存储运动信号与手部动作特征向量。本发明还提出了一种所述基于双手环传感器融合的智能遥感控制系统的控制方法，该方法包括如下步骤：步骤一：分别安装手环于人体上肢手腕处，利用所述手环中的传感器采集所述手环的运动信号，所述运动信号包括三维加速度信号和三维角速度信号；步骤二：所述处理器根据所述运动信号，构造手部动作特征向量；其包括如下：a.所述滤波模块对所述的运动信号进行卡尔曼滤波处理，滤除所述运动信号中的噪声信号；b.根据所述运动信号构造每个手环的特征向量，所述特征向量包括人体的初始姿态，初始姿态包括人体初始静止状态下的俯仰角、滚动角和偏航角；c.根据人体初始姿态获得传感器坐标系与地面坐标系的偏差量，利用偏差量修正传感器坐标系变化后的特征向量，组成特征矩阵；d.所述量化模块对经滤波处理的运动信号进行量化处理，得到人体手部的方为运动信息，以构造所述手部动作特征向量；步骤三：所述无线通信发送端发送所述手部动作特征向量至所述无线通信接收端；步骤四：所述融合处理模块融合两个手环的手部动作特征向量；步骤五：所述映射模块将融合后的所述手部动作特征向量映射为对于智能设备的控制命令，并通过所述驱动接口传输至智能设备；步骤六：所述智能设备根据所述控制指令进行运行。本发明提出的所述基于双手环传感器融合的智能遥感控制方法中，所述传感器进一步对采集的三维加速度信号和三维角速度信号进行初始标定校正。本发明提出的所述基于双手环传感器融合的智能遥感控制方法中，步骤b根据所述运动信号构造每个手环的特征向量的过程包括如下步骤：步骤b1：所述传感器采集三轴加速度信号与三轴角速度信号，三轴分别为相互处置的X轴、Y轴与Z轴；步骤b2：存储所述三轴加速度信号与三轴角速度信号，从而构造每个手环的特征向量。本发明提出的所述基于双手环传感器融合的智能遥感控制方法中，步骤c中利用偏差量修正传感器坐标系变化后的特征向量的过程包括如下步骤：步骤c1：在传感器坐标系下，估测的重力加速度向量和三轴加速度传感器测出的重力加速度向量，将两向量进行叉积获得叉积结果；步骤c2：所述叉积结果以如下公式表示：c＝sin(E)*r(D)；其中sin(E)表示角度偏移的正弦，r(D)为方向，E表示偏移角度；根据叉积结果获得偏移角度；步骤c3:对所述偏移角度进行取平均值，校正三轴陀螺仪传感器的得到的角度偏差。本发明提出的所述基于双手环传感器融合的智能遥感控制方法中，采用连续维纳过程加速，加速度受到一个功率谱密度为q的高斯白噪声干扰。过程噪声协方差方程矩阵为：式中，Δt表示系统采样周期，q表示噪声的功率谱密度，Q表示噪声的协方差；根据不同的测量，模型作出相应的改变，获得相应测量的特征向量H1，当只有加速度测量时获得相应测量的特征向量H2，分别以如下矩阵表示；以上，H1和H2为双手环采样特征向量，针对扩展的三个或更多手环的情况，可根据需要增加特征向量，并调整特征向量值。本发明提出的所述基于双手环传感器融合的智能遥感控制方法中，步骤四中融合两个手环的手部动作特征向量后，用于连续地估计手部动作状态空间模型如以下公式表示：x(k-1)＝Mz(k-1)+u(k-1)；式中，x(k-1)表示经滤波处理的三轴加速度信号和三轴角速度信号，M是定义的量化映射表，z(k-1)是传感器的原始输出数据，u(k-1)是系统的噪声。本发明提出的所述基于双手环传感器融合的智能遥感控制方法中，进一步地，所述滤波模块给出了不确定性估计，利用卡尔曼滤波处理系统的随机不确定性对其各自适用范围进行限制。本发明创新点在于双手环的融合控制技术。与单一的手环相比，双手环的控制可以识别更多的动作具有更高的稳定性。针对双手环的多通道实时性技术，本发明应用了软串口和硬串口的并行设计，使系统能够实时地采集手环的姿态信息，从而将双手环融合技术对智能小车的功能设计和运动控制技术等重要进行了研究。同时，使用者也可以根据自己的实际需要设置特定控制的动作来实现设备的控制。本发明所设计的基于双手环的智能小车控制，原理、结构简单，操作方便，扩展性强，同时支持个性化定制服务，具有广阔的应用前景。具体优点如下：信息处理的多样性：能补偿单手环姿态单一性问题。信息处理的互补性：结合人工智能，对双手采集数据作融合，进行多层次、多空间的信息互补和优化组合处理，最终产生对观测环境的一致性解释。信息处理的及时性：各传感器的处理过程相互独立，整个处理过程可以采用并行处理机制，从而使系统具有更快的处理速度，提供更加及时的处理结果。信息处理的交互性：多传感器的处理数据信息，传输至处理器，将多传感器的信息和三维传感器数据建模结合，人机交互，增强用于感官体验。附图说明：图1是本发明双手环传感器体态姿势融合控制系统的结构图；图2是控制方法的流程图；图3是本发明中数据流程图；图4是本发明中单手环手势姿态图；图5是本发明中对应单手环手势姿用MATLAB软件建立的三维传感器数据建模是模型图；图6是本发明中双手环手势姿态图；图7是本发明中对应双手环手势姿用MATLAB软件建立的三维传感器数据建模模型图；图8是本发明中对应双手环手势姿软件流程图。图9是本发明中对应双手环手势姿子程序流程图。图10是本发明双手环传感器体态姿势融合控制系统的构架示意图。具体实施方式结合以下具体实施例和附图，对本发明作进一步的详细说明。实施本发明的过程、条件、实验方法等，除以下专门提及的内容之外，均为本领域的普遍知识和公知常识，本发明没有特别限制内容。本发明旨在设计一个基于双手环传感器融合的智能遥感控制系统，如图10所示，该系统主要包括两个手环、控制装置与智能设备8组成。手环中的处理器2通过手环上传感器1采集手部运动信息，经过滤波处理之后进行动作的判断，然后将判断的结果发送到控制装置，控制装置再根据双手环的动作判定结果进行处理实现对智能设备的运动控制。(控制系统的构成)图1显示的是本发明基于双手环传感器融合的智能遥感控制系统的结构示意图，手环设置于可佩带的腕带，手环内设有：传感器1、处理器2和无线通信发送端3，传感器1用于采集手环的运动信号，包括三维加速度信号与三维角速度信号；处理器2与传感器1通信。处理器2设有滤波模块21和量化模块22，滤波模块21对运动信号进行卡尔曼滤波处理；量化模块22根据运动信号构造手部动作特征向量。无线通信发送端3与处理器2通信，用于发送手部动作特征向量。控制装置包括：无线通信接收端4、融合处理模块5、映射模块6、驱动接口7。无线通信接收端4与无线通信发送端3通信，接收手部动作特征向量；融合处理模块5融合两个手环的手部动作特征向量；映射模块6与融合处理模块5通信，将手部动作特征向量映射为对于智能设备的控制命令；驱动接口7与映射模块6通信，用以传输控制命令。智能设备8与驱动接口7通信，接收并根据控制命令运动。在本发明优选实施例中，传感器1集成了三轴陀螺仪传感器11、三轴加速度传感器12和可扩展数字运动处理器13。三轴陀螺仪传感器11用于采集三维角速度信号；三轴加速度传感器12用于采集三维加速度信号；可扩展数字运动处理器13为通过I2C接口或者SPI接口连接扩展的第三方数字传感器。扩展之后就可以通过其I2C或SPI接口输出一个9轴的信号。功能强大，运转稳定。在本发明优选实施例中，无线通信发送端(3)与无线通信接收端(4)为蓝牙模块，蓝牙模块具体为为HC-05和HC-06。蓝牙是一种短距离、低功耗的无线通信技术。两个蓝牙模块工作时，可以忽略他们之间的链路。通过建立了强实时、多线程的无线蓝牙4.0双工数据通道，采用双蓝牙点对点连接方式，保证双手环通信的实时性。在本发明优选实施例中，处理器(2)进一步设有存储模块(23)，存储模块23用于存储运动信号、寄存器读出、FIFO缓冲与手部动作特征向量等处理过程中所涉及的数据。(控制方法的流程)本发明还提出了一种基于双手环传感器融合的智能遥感控制系统的控制方法，该方法选用数据融合算法对数据进行处理，对已有的数据融合算法进行优化开发。通过实验测试，对运动行为姿势进行识别算法阈值优化。对数据进行优化处理，保证内存不发生泄漏。并从实例推断归纳模型，双手环传感器三维传感器数据控制建模与算法反演。如图2所示，该控制方法包括如下步骤：步骤一：分别安装手环于人体上肢手腕处，利用手环中的传感器采集手环的运动信号，运动信号包括三维加速度信号和三维角速度信号；步骤二：处理器根据运动信号，构造手部动作特征向量；其包括如下：a.滤波模块对的运动信号进行卡尔曼滤波处理，滤除运动信号中的噪声信号；b.根据运动信号构造每个手环的特征向量，特征向量包括人体的初始姿态，初始姿态包括人体初始静止状态下的俯仰角、滚动角和偏航角；c.根据人体初始姿态获得传感器坐标系与地面坐标系的偏差量，利用偏差量修正传感器坐标系变化后的特征向量，组成特征矩阵；d.量化模块对滤波后的运动信号进行量化处理，得到人体手部的方位运动信息，以构造手部动作特征向量；步骤三：无线通信发送端发送手部动作特征向量至无线通信接收端；步骤四：融合处理模块融合两个手环的手部动作特征向量；步骤五：映射模块将融合后的手部动作特征向量映射为对于智能设备的控制命令，并通过驱动接口传输至智能设备；步骤六：智能设备根据控制指令进行运行。(控制方法的数据流)如图3显示的是本发明较佳实施例中，基于双手环传感器融合的智能遥感控制系统的控制方法的数据流向和细节信息。整个系统的信息流向图，用数据流图进行表现，每一个箭头都表示一种数据的流向，其中，传感器1的接口采用MPU6050，处理器2采用ArduinoPro处理器，控制装置的融合处理模块5采用ArduinoUno处理器，智能设备采用小车为例。其具体数据流如下：[1]：ArduinoPro处理器持续的读取MPU6050加速度传感器的三轴数据。ArduinoPro处理器通过I2C总线协议来读取MPU6050的数据接口数据。Arduino编程环境中已安装Wire库。通过调用Wire库，可实现Arduino与MPU6050之间的通信。三轴加速度传感器12发送一个包含瞬时加速度数据的命令来回复每一个请求，整个过程是在以一个设置默认为125Hz频率进行整体加速度的查询的。利用传感器1采集人体上肢运动手腕上手环的运动信号，运动信号包括三维加速度信号和三维角速度信号；[2]：ArduinoPro处理器对MPU6050传感器数据处理，因为MPU6050传感器初级采集的数据是噪声的，采用卡尔曼滤波器对数据进行初步处理，保证在初始阶段的可操作性。通过采集并存储经滤波处理的运动信号，从而构造每个手环上的特征向量。所获的特征向量包括人体的初始姿态，初始姿态包括人体初始静止状态下的俯仰角、滚动角和偏航角，并且根据人体初始姿态获得传感器坐标系与地面坐标系的偏差量，利用偏差量修正传感器坐标系变化后的特征向量，特征向量可以组成特征矩阵。[3]：ArduinoPro处理器对MPU6050传感器数据处理后的数据信息将进行第一次处理，对数据进行量化处理，这是软件实现的，具有可行性。根据所采集到的运动信号,通过多态KALMAN滤波，对所得到的信息进行处理，根据初步采集的运动信号检测人体上肢手腕的运动，进而获得人体的手部的方位运动信息，构造手部动作特征向量；[4]：将手部动作特征向量通过蓝牙发送到无线通信接收端4；[5]：融合处理模块5使用多传感器融合方法迪特纳特进行第二次融合处理，融合算法是软件实现的，两输入单输出；[6]：数据信息进行第三次处理，也就是映射模块6将融合信息转化为小车的控制信息，融合处理后，将识别动作映射到机械驱动表通过驱动接口7传输至智能设备8，从而驱动智能设备8。(关于传感器的构成及功能)在本发明优选实施例中，传感器1集成了三轴陀螺仪传感器11、三轴加速度传感器12和可扩展数字运动处理器13。三轴陀螺仪传感器11用于采集三维角速度信号；三轴加速度传感器12用于采集三维加速度信号；可扩展数字运动处理器13为通过I2C接口或者SPI接口连接扩展第三方的数字传感器。扩展之后就可以通过其I2C或SPI接口输出一个9轴的信号。功能强大，运转稳定。其中，三轴加速度传感器12输出的三维加速度信号数值由以下公式表示：Y＝K*X+Offset；上式中，Y是传感器输出，X是真实的加速值，K是系数，Offset是加速度为0g时传感器的输出。三轴陀螺仪传感器11输出的三维角速度信号数值由以下公式表示：A＝ADCrate/灵敏度；上式中，A是输出值，ADCrate是读出的各轴的值，灵敏度可以有参数表查询。(步骤a.关于卡尔曼滤波)卡尔曼滤波是一种线性高斯系统的滤波和预测技术。它由一个处理模型和一个测量模型组成。过程模型，如方程(1)中定义的那样，在假设下一个状态是先前状态的线性函数条件下，描述了过程状态的转变，x(k)＝Ax(k-1)+Bu(k-1)+w(k-1)；(1)其中x(k)是一个瞬时时间参量为k的系统状态。A是状态转换矩阵。矩阵B表示了输入为u(k)的随机控制状态。w(k)代表了过程噪声，p(w)服从(0，Q)的高斯分布，Q代表了处理过程的噪声的方差，如方程(2)所示。测量模型为z(k)＝Hx(k)+λ(k)；(3)式(3)中，z(k)是瞬时时间参数为k的测量值，H代表了测量状态，λ(k)代表测量的噪声，p(λ)～N(0,R),R代表了测量噪声方差矩阵，如方程(4)所示因为MPU6050传感器初级采集的数据是噪声的，采用卡尔曼滤波器对数据进行初步处理，保证在初始阶段的可操作性。卡尔曼滤波器可以在时间更新方程和测量更新方程的基础上进行系统离散时间状态的估计。卡尔曼滤波器还给出了不确定性估计，这种不确定性可在后验估计协方差p(k)中找到。离散卡尔曼滤波的时间更新方程：测量更新方程：式(6)中，K(k)是增益矩阵，是k时候的先验状态估计，是后验状态估计，是先验估计误差协方差，P(k)是后验估计误差协方差。本发明创新地采用连续维纳过程加速，加速度受到一个功率谱密度为q的高斯白噪声干扰。过程噪声协方差方程矩阵为：式中，Δt表示系统采样周期，q表示噪声的功率谱密度，Q表示噪声的协方差；根据不同的测量，模型作出相应的改变，获得相应测量的特征向量H1，当只有加速度测量时获得相应测量的特征向量H2，分别以如下矩阵表示；以上，H1和H2为双手环采样特征向量，针对扩展的三个或更多手环的情况，可根据需要增加特征向量，并调整特征向量值。(步骤b.关于人体初始姿态)根据运动信号构造每个手环的特征向量，特征向量包括人体的初始姿态，初始姿态包括人体初始静止状态下的俯仰角、滚动角和偏航角；根据采集运动信号，获得构造每个手环上的特征向量中，MPU6050获取的数据被传送到系统，数据首先被卡尔曼滤波器滤波，然后被融合进一个补充的滤波器。在欧拉角的基础上计算旋转矩阵(滚动、俯仰和航向)。通过这个旋转矩阵可以转换得到来自人的加速度数据。(步骤c.关于修正特征向量)根据人体初始姿态，在传感器坐标系下估测的重力加速度向量和三轴加速度传感器12测出的重力加速度向量，分别规范化记做a与b。然后将a与b进行叉积，得到叉积结果记做c。该叉积结果c＝sin(E)*r(D)，式中sin(E)表示角度偏移的正弦，r(D)为方向，当角度很小的情况下，sin(E)＝E，即E为偏移的角度，定时对加速度采样来的角度进行取平均值来校正陀螺仪的得到的角度偏差，从而获得传感器坐标系与地面坐标系的偏差量，利用偏差量修正传感器坐标系变化后的特征向量，组成特征矩阵。(步骤d.关于初步量化处理及构造手部动作特征向量)量化模块对经滤波处理的运动信号进行量化处理，得到人体手部的方为运动信息，以构造手部动作特征向量；图9显示的是双手环手势姿量化的子程序流程图。初始传感器后，开启线程，获得传感器上加速度X轴/Y轴/Z轴数据，条件一为X轴量化条件，然后执行量化1.同理对Y轴和Z轴进行量化。(关于数据融合)数据处理原理主要就是双通道数据的融合，系统中，两个可穿戴设备即手环具有相同的采样频率和噪声特征，本发明采用一种检测和估计系统状态的技术将传感器数据进行融合，融合后可连续地估计手部动作状态空间模型如以下公式表示：式中，x(k-1)表示经滤波处理的三轴加速度信号与三轴角速度信号，M是定义的量化映射表，z(k-1)是传感器的原始输出数据，u(k-1)是系统的噪声。定义y(k-1)＝(x1(k-1),x2(k-1))，表示双通道的信息集合，得到：式中，y(k-1)表示融合映射输入，t(k)就是最后的融合映射输出。如图4所示，单手环手势姿态图；图5所对应图4单手环手势姿，用MATLAB软件建立的三维传感器数据建模模型图。如图6所示，双手环手势姿态图；图7所对应图6双手环手势姿，用MATLAB软件建立的三维传感器数据建模模型图，对应最后的融合算法后，得到t(k)。可以看到融合前数据单一，融合后数据多元稳定性好。融合前手势方向组合单一，融合后手势方向组合多元。(关于映射规则)以下表1中，输出的字符代表小车的运动方向的控制，BSFLR分别代表后退、停止、前进、左转和右转。最后进行双通道信息的融合时，设定只有两通道发送相同的控制字符时控制字符才有效，否则无效。比如只有两个手环控制端，融合姿态处理判断为字符F并发出指令后，智能小车才会前进。表1ax、ay数值-字符量化映射表ax值变化范围-32768—-6000-6000—60006000—32768ax量化输出字符BSFay值变化范围-32768—-6000-6000—60006000—32768ay量化输出字符LSR图9显示的是双手环手势姿控制命令映射的流程图，多态卡尔曼滤波处理后的数据，处理器将接收到双手环的信息融合后y(k-1)，参见表1的映射表中的变化值范围，对手部动作特征向量融合映射后得到姿势变化t(k)。实施例1：在本实例中，测试者手腕处，包裹双手环传感器，采集到的数据传输至上位机MATLAB软件，上位机安装MATLAB软件的环境为，计算各个参数。在单位时间内对测试者进行多次的采集数据，并且对数据进行实时三维传感器数据建模，并将双手环参数匹配融合后的数据进行图像显示。如图6所示，双手环手势姿态图；图7所对应图6双手环手势姿，用MATLAB软件建立的三维传感器数据建模模型图。图7展示了这种设计，该设计包含了卡尔曼滤波器，可以通过平滑从三轴加速度计和陀螺仪获取的输入信号轻易的确定手部的旋转角度。图6的底部显示了相应的手势。图7显示了在“静止状态”、“手掌翻转180度旋转”和“手向上向上”等改变状态时呈现出模型，参见图7中的波形，波形图中多条波形分别表示DegToPi，代表角度转换为弧度单位，正负相位转变代表方向转变，其振幅波动代表了手腕处手环运动的剧烈程度。由此可知，本发明数据处理及响应的过程为毫秒级，识别时间为30-40个毫秒，具有优良的实时性。本实例提供的基于双手环传感器人体姿态控制方法，能够解决现有技术使用的算法有效性问题，并且能够通过双手环融合的传感器数据能够精确地控制智能设备，实时采集速度和加速度的新算法，能够减小单手环控制所带来的不稳定性。本发明对人体手部运动信号的采集标准化处理，能消除因不同人手部差异性所带来的影响。针对本发明提供的方法，可以用于多种智能设备控制，如对智能小车、遥感控制船模进行控制运用在车位和船位停靠，遥感控制旋翼飞行器、机械臂、机器人等设备；还可以运用智能交通领域针对不同手势自定义，远距离传输当前交通状态进行控制；和VR虚拟现实结合增强用户自定义体验。通过本发明方法，上述测试者可以通过人体姿势识别多智能设备进行控制，可以对智能小车进行运动控制。同时，本发明方法应用具有成本低、易操作等优势，适合商用推广。本发明的保护内容不局限于以上实施例。在不背离发明构思的精神和范围下，本领域技术人员能够想到的变化和优点都被包括在本发明中，并且以所附的权利要求书为保护范围。当前第1页1 2 3