一种基于开源无线鼠标的智能助残系统的制作方法
【专利摘要】一种基于开源无线鼠标的智能助残系统，包括主控制器、重力传感器模块、非特定人语音识别模块、红外线发射传感器模块、无线蓝牙模块、VB鼠标控制上位机和VB电器控制上位机等。利用重力传感器模块和非特定人语音识别模块分别采集残疾人头部或身体其它部位的移动和语音信息送至主控制器，经无线蓝牙模块传送至VB鼠标控制上位机，实现残疾人语音和头部移动对光标的控制，实现鼠标功能。本发明以鼠标为核心，加入红外线发射传感器模块和VB电器控制上位机，利用语音或VB电器控制上位机控制该发射器发射空调、电视等常用电器的红外发射码，实现系统与电器的红外无线通讯，帮助无臂残疾人控制一些常用的家用电器。
【专利说明】
一种基于开源无线鼠标的智能助残系统
技术领域
[0001]本发明属于人工智能技术领域，具体涉及到一种以头部移动和语音控制的鼠标控制系统。
【背景技术】
[0002]在信息高速发展的现代社会，电脑、电器逐渐成为家庭的必需品，但是这些设备的控制都很大程度上依赖于人的四肢，所以对于那些无臂残疾人或者高截肢患者来说难以操作，不便于他们与外界的沟通甚至是生活自理。现有的一些声控鼠标，只能在有限的环境中进行使用;还有一种陀螺仪设备，利用单个陀螺仪可以确定方位的改变，多个陀螺仪可做出目标转动的判断，但是如果使用者原地转圈或头部转动，陀螺仪便无法区分这两种转动，造成判断错误，并且其造价高；另外还有一种颈控鼠标，需要在人体四周设立架子，把传动的绳子绑在头上，虽然定位精确，但是体积庞大，造价高，对使用者有很大的束缚。为了解决这些问题，更大程度上方便于残疾人生活，人们需要研发不依赖四肢控制且缺陷更少的残疾人鼠标，并且进一步扩展其功能，构造一种智能服务系统，更好的为残疾人服务。
【发明内容】
[0003]本发明针对现有肢体残疾人士使用电脑、电器困难的问题，提供一种基于开源无线鼠标的智能助残系统，可解放残疾人的四肢。
[0004]本发明的技术方案是以下述方式实现的。
[0005]—种基于开源无线鼠标的智能助残系统，包括Arduino pro mini主控制器模块、重力传感器模块、非特定人语音识别模块、红外线发射传感器模块、无线蓝牙模块、电源模块、VB鼠标控制上位机和VB电器控制上位机，其中，无线蓝牙模块由主模块和从模块构成。Arduino pro mini主控制器模块分别与重力传感器模块、非特定人语音识别模块、红外线发射传感器模块、无线蓝牙模块中的主模块相连，构成系统信息采集模块和信号发射模块，USB转接口与无线蓝牙模块中的从模块相连，与VB鼠标控制上位机和VB电器控制上位机部分构成系统信息接收模块和PC端控制模块。
[0006]本发明将系统信息采集模块和发射模块一起固定在某种挂饰载体夹内，移动挂饰载体夹即可遥控家用电器。
[0007]所述的重力传感器模块，优先选用重力加速度陀螺仪传感器MPU6050。
[0008]所述的非特定人语音识别模块，优先选用由ICRoute公司设计的语音识别芯片LD3320。
[0009]所述的红外线发射传感器模块，优先选用与开源硬件系列兼容的红外线发射模块。
[0010]所述的无线蓝牙模块，优先选用HC-05。
[0011 ]所述的USB转接口，优先选用CP2102USB转UART数据转换器。
[0012]所述的系统具有USB充电接口和内存卡接口，方便系统供电和语音信息存储。
[0013]所述的电源模块由变压器、稳压限流电路、接口和电池四部分组成，输出5V、1.5A，为该系统供电或充电。
[0014]所述的USB转接口，与无线蓝牙模块的从模块和电脑相连，将从无线蓝牙模块的从模块接收的信息传送至VB鼠标上位机和VB电器控制上位机。
[0015]所述的重力传感器模块，其工作流程如下。
[0016]重力加速度陀螺仪传感器MPU6050通过SDL、SDA与Arduino pro mini主控制器模块相连，进行12C通信。一旦非特定人语音识别模块采集到“开始”指令，鼠标进入标志位，系统开始进入工作状态。若残疾人头部开始移动，重力加速度陀螺仪传感器MPU6050则开始在其虚拟坐标轴上采集残疾人头部移动位置信息和移动加速度信息，将移动信息转换为电信号送入控制器，控制器对采集的坐标信息和速度信息进行相应的计算和处理，再将其通过无线蓝牙模块传输至VB鼠标控制上位机，进而控制光标移动。
[0017]为了避免头部移动过程中的累积误差和信息传输误差造成光标漂移，利用算法对其进行多次滤波和防抖动处理，使光标移动更加的快速和准确。
[0018]所述的非特定人语音识别模块，其工作流程如下。
[0019]语音识别模块LD3320具有非特定人识别的特点，通过读选通端和写选通端与主控的读、写选通端连相连，MIC(拾音器)与识别模块相连，进而进行语音通信，并且在其工作之前采集使用者的语音指令，将其存入寄存器。其后，残疾人可对语音模块的麦克风发送相应指令，一旦非特定人语音识别模块采集到“开始”指令，该模块便开始采集使用者的语音指令，例如“单击”、“双击”、“加速”、“减速”等，将语音指令转换为电信号传输至Arduino promini主控制器模块，Arduino pro mini主控制器模块利用算法对其指令进行相应的处理，使其可控制光标进行相应的操作;若非特定人语音识别模块采集到“空调”、“电视”、“点灯”等指令，即可对选中的电器进行相应的语音控制和操作。
[0020]所述的红外线发射传感器模块，其工作流程如下。
[0021]红外线发射传感器模块，通过SIG信号输入引脚与Arduinopro mini主控制器模块的模拟端口相连，若要利用其控制相应电器，首先需获取对应电器的红外发射码，并且利用算法对其进行解码。获取各电器的控制发射码和解码信息后，编写代码使语音指令和上位机指令对应相应的电器操作，便可对电器进行相应的控制，实现与电器的红外通信。例如，若语音模块检测到“空调”语音指令，在代码中即选择执行空调程序模块，选中空调进行控制，继而可以使用鼠标点击上位机界面中的“风速”、“开”、“关”或者发送相应的语音指令进行控制。
[0022]所述的无线蓝牙模块，其工作流程如下。
[0023]蓝牙模块HC-05工作时，首先对其上电，若P109连接的LED灯常亮，则表示蓝牙串口匹配连接成功;继而观察P108所连接的LED灯(指示模块工作状态，模块上电后闪烁，不同的状态闪烁间隔不同)，利用相关的AT指令将与主控相连接的蓝牙设置为主模块;而后蓝牙模块处于自动连接工作模式，主模块与Arduino pro mini控制器相连，从模块与USB转接口相连，进行无线信息交换。
[0024]本发明所述的系统使用时，可利用某种挂饰载体夹将其固定在耳麦或者耳机上，若电源开关打开，各模块指示灯亮，蓝牙主从模块开始配对，一旦蓝牙指示灯提示配对成功且语音模块采集到使用者“开始”语音控制指令，整个系统开始工作。系统工作时，通过残疾人头部的上下左右移动，带动MPU6050的移动，MPU6050感应到移动并将这种移动信号转化成相应的电信号，以无线的形式传送至电脑，控制光标移动；通过LD3320采集人的语音信息，经无线的形式传输至电脑，控制鼠标的“单击”、“双击”、选中等和调用键盘打字等功能，甚至是控制家用电器的开关;通过VB鼠标上位机将光标控制在小范围内移动，避免头部过分劳累；通过VB电器控制上位机将控制指令包括在一个上位机界面内，点击相应选项即可控制红外线发射器模块对电器进行相关操作，实现语音和VB电器上位机对家电的双控制。本发明使用时，主要利用头部移动和语音，可充分解放四肢，尤其适用于无臂残疾人员。
[0025]本发明具有以下技术效果:
[0026]1.整个系统采用头部移动和语音控制，解放四肢，可帮助无臂残疾人实现对电脑光标的控制，使其可利用电脑进行网上冲浪、查阅资料、创业等，很大程度上的丰富了无臂残疾人和高位截瘫者的日常生活。
[0027]2.利用开源优势，用性价比高的Arduino pro mini作为主控制器，。体积小、成本低、稳定性强，使该产品更具市场前景
[0028]3.利用Vi suaI bas i c编写的VB电器控制上位机，结合红外模块可实现语音和上位机对空调、电视、点灯等常用电器的灵活控制，更大程度上的解决残疾人的生活问题。
[0029]4.利用visual basic编写的VB鼠标控制上位机，利用相关函数可将光标限制于小窗口内移动，避免浏览文档和网页时头部移动过度劳累。
【附图说明】
[0030]图1是本发明所设计的基于开源无线鼠标的智能助残系统的总体框图。
[0031]图2是本发明所设计的基于开源无线鼠标的智能助残系统的工作流程图。
[0032]图3是本发明所设计的基于开源无线鼠标的智能助残系统的非特定人语音识别模块的工作流程图。
[0033]图4是本发明所设计的基于开源无线鼠标的智能助残系统的红外线发射传感器模块的工作流程图。
[0034]图5是本发明所设计的基于开源无线鼠标的智能助残系统的VB鼠标控制上位机界面图。
[0035]图6是本发明所设计的基于开源无线鼠标的智能助残系统的VB电器控制上位机界面图。
【具体实施方式】
[0036]以下将结合附图对本发明作进一步说明。
[0037]实施例1。
[0038]参照附图1。基于开源无线鼠标的智能助残系统，包括Arduino pro mini主控制器模块、重力传感器模块、非特定人语音识别模块、红外线发射传感器模块、无线蓝牙模块、电源模块、VB鼠标控制上位机和VB电器控制上位机。其中，无线蓝牙模块由主模块和从模块构成。重力传感器模块，优先选用重力加速度陀螺仪传感器MPU6050;非特定人语音识别模块，优先选用由ICRoute公司设计的语音识别芯片LD3320;红外线发射传感器模块，优先选用与开源硬件系列兼容的红外线发射模块;无线蓝牙模块，优先选用HC-05;USB转接口，优先选用CP2102USB转UART数据转换器。
[0039]实施例2。
[0040]参照附图2。该系统固定于一个挂饰载体壳内，挂饰载体夹在耳麦或者耳机上，通过头部的上下左右移动，带动壳内整个系统信息采集模块和信号发射模块的移动。系统工作时，首先对其上电，上电后蓝牙自动配对，配对成功后系统进入待启动模式，一旦语音识另IJ模块采集到“开始”语音指令，系统开始运作，鼠标进入标志位，MPU6050感应到头部移动并将这种移动信号转化成相应的电信号，并将其传入Arduino pro mini微控制器，进而通过无线蓝牙经USB转接口传送至电脑，控制光标移动，解决了无臂残疾人无法移动光标的问题，使残疾人能够使用电脑进行网上冲浪、工作、娱乐等，丰富其日常生活;若语音信识别模块LD3320检测到有效语音指令，则将其传输至主控，再经主控进行信息处理传输至电脑上位机，可实现鼠标“单击”、“双击”、“选中”等功能，解决了残疾人无法使用光标点击和选中的功能;且红外线发射传感器模块一旦检测到上位机或者语音控制家电指令，即选中相应电器进行控制，使无臂残疾人依托电脑操作或者语音来实现对家庭电器的灵活操作，让电脑或者语音替代双手，在无人照料的情况下帮助无臂残疾人解决很多基本的生活问题;若要整个系统停止工作，则只需输入语言指令“停止”，而后鼠标退出标志位，各模块不再工作。
[0041]为了充分的增加该系统的便捷性，该发明采用无线蓝牙传输信息。
[0042]作为本发明的改进，增加了可充电USB口和内存卡接口。可充电USB 口使该系统不但可以使用电池供电，还可以充电，使系统在电池没电的情况下仍可以正常使用。内存卡接口可以在LD3320存储容量不够的情况下存储语音指令，使其不但可以调用键盘利用鼠标点击打字，还可以将键盘指令录入系统，实现语音输入打字。
[0043]实施例3。
[0044]参照附图3。所述的非特定人语音识别模块LD3320，响应迅速，50条语音容量，非特定人语音识别，支持地方普通话发音，可以实现语音识别、声控、人机对话功能。首先，利用其在一定条件下采集人的语音信息，录入指令，例如“左键”、“右键”、“双击”、“校正”、“加速”、“减速”、“停止”、“终止”等指令。若非特定人语音识别模块采集到相应的光标控制指令，则可控制光标，实现鼠标的相应功能，例如，“单击”、“双击”、“停止”等;若采集到电器语音控制指令，则选择选中电器进行语音控制，对于开关，将继电器模块的AC端接到零线开关上，用语音控制高低电平来实现对点灯的控制，对于电器，加入相应的语音控制指令，例如遥控器所需要的数字“0、1、2、3、4、5、6、7、8、9”和一些常用的字按键(针对于电视，有“电视、开、关、加、减、确定”等等;针对于空调，有“空调、开、关、加、减、制热、制冷、风速”等等;针对于电灯，有“电灯、开、关”等等)，利用这些指令进行相关控制，在这其中，有些按键语音可以使用同一条指令，完全满足语言模块容量50条的要求。若采集到键盘调用指令，则可调用屏幕键盘，进行打字。
[0045]实施例4。
[0046]参照附图4。所述的Arduino兼容红外线发射传感器，可通过对Arduino进行编程发射出相应的调制信号，以便红外线接收传感器能接收到，从而实现红外无线通讯。对于电视，先获取机顶盒遥控的红外发射码，同时利用红外发射模块发射相同的红外码对机顶盒进行控制。对于空调，先获取空调的红外控制原始码，再通过红外模块发射相应的红外码对其进行控制。而对于Arduino兼容红外线发射传感器的控制，利用语音和VB电器控制上位机实现。一方面，若非特定人语音识别模块在系统工作时采集到“电视”指令，红外线发射传感器则只对电视发射红外调制码，通过之后的语音指令或上位机指令控制电视的开、关等;另一方面，若光标控制电脑打开VB电器控制上位机，点击“电视”，红外线发射传感器则只对电视发射红外调制码，进一步点击VB电器控制上位机界面的所需指令对电视进行相关控制。对于其他可与红外线发射模块进行通信的电器，可使用类似的操作进行控制。
[0047]实施例5。
[0048]参照附图5。由于操作者会经常有点头、抬头的动作，可能会影响光标的移动;并且长期的头部控制会使人感到劳累。所以，作为本发明的进一步优化，利用语音“停止”、“开始”来控制头部移动是否有效控制光标移动，并且编写VB鼠标控制上位机，用MSComm控件将该鼠标的功能定位在一个细小的窗口下，且窗口里面包含了浏览文档、网页等该有的功能，将功能统一在一个细小的窗口里，进而减少了头部的运动，极大的方便了操作，更加符合人性化的需求；同时，引用丰富的API函数库来控制Windows下的鼠标移动，将由主芯片返回的数值进行相应的操作和处理，灵活控制鼠标的移动。
[0049]实施例6。
[0050]参照附图6。由于非特定人语音识别模块的信息采集会受到噪声的干扰和语音容量的限制，所以，为了增加系统的稳定性和适用性，作为本发明的进一步优化，利用VB编写电器控制上位机界面。例如，若残疾人想要切换到电视的65频道，即可点击上位机的“电视”+ “6” + “5”指令，红外发射器模块将与电视实现通信，将电视频道切换到65频道。另外，还可控制红外遥控模块打开空调或电灯，可以任意调节温度或风向。结合物联网技术，使无臂残疾人可依托电脑操作来实现对家庭电器的灵活操作，让电脑替代双手，在无人照料的情况下帮助无臂残疾人解决很多基本的生活问题。
【主权项】
1.一种基于开源无线鼠标的智能助残系统，其特征是包括Arduinopro mini主控制器模块、重力传感器模块、非特定人语音识别模块、红外线发射传感器模块、无线蓝牙模块、电源模块、VB鼠标控制上位机和VB电器控制上位机，其中，无线蓝牙模块由主模块和从模块构成;Arduino pro mini主控制器模块分别与重力传感器模块、非特定人语音识别模块、红外线发射传感器模块、无线蓝牙模块中的主模块相连，构成系统信息采集模块和信号发射模块，USB转接口与无线蓝牙模块中的从模块相连，与VB鼠标控制上位机和VB电器控制上位机部分构成系统信息接收模块和PC端控制模块。2.根据权利要求1所述的智能助残系统，其特征是将系统信息采集模块和发射模块一起固定在挂饰载体夹内。3.根据权利要求1所述的智能助残系统，其特征是所述的重力传感器模块为MPU6050。4.根据权利要求1所述的智能助残系统，其特征是所述的非特定人语音识别模块为LD3320。5.根据权利要求1所述的智能助残系统，其特征是所述的无线蓝牙模块为HC-05。6.根据权利要求1所述的智能助残系统，其特征是所述的USB转接口为CP2102USB转UART数据转换器。7.根据权利要求1所述的智能助残系统，其特征是系统备有USB充电接口和内存卡接□ O8.根据权利要求1所述的的智能助残系统，其特征是通过VB鼠标控制上位机将光标限制在一个软件本身大小的范围内。
【文档编号】G06F3/16GK105843399SQ201610264169
【公开日】2016年8月10日
【申请日】2016年4月26日
【发明人】廖庆洪, 秦丹, 曾维鋆, 胡婉如
【申请人】南昌大学