一种操作大屏的智能手柄、操作方法和系统与流程

本发明涉及一种屏幕控制技术，尤其涉及能够实现大屏幕上数据展示、内容操控的智能手柄、操作方法和操作系统。

背景技术：

随着科技和人文的发展，带有大屏幕的数据展示因具有较好的直观性和展示效果，正在被越来越多的场景使用。尤其是各类大型发布会、演讲、教学演示、会议等。然而，现有技术中大屏幕操作在操作对象、展现效果、交互能力上的局限性给使用者带来了困扰，影响了大屏内容展示的效果，也导致用户使用体验不佳。

目前，大屏幕的控制交互主要依靠传统的电脑终端，通过鼠标控制本机的方式达到控制投影大屏的目的。在做演示报告的场合，当需要脱离鼠标进行屏幕展示控制的时候，现有技术通常采用操作遥控棒进行简单的ppt、图片的播放与切换功能，但是这一操作方法过于简单，极大的限制了用户的操作空间、操作内容，进而局限了用户的展示效果，影响了交互体验和效率。

随着大屏数据展示内容的日趋丰富多样性，数据展示早已不是传统的图片或ppt了。更多控件的加入、更多功能的交互演示，就需要人与大屏可交互性及可操控性的提高。例如脱离鼠标实现快速、精准的控制大屏中的展示数据和控件，能够实现单击、双击、播放控制、快进等操作。

针对以上大屏数据操控的局限性问题，本发明提出了一种操作大屏的智能手柄、操作方法和操作系统，通过实现本发明，用户能够方便、快速、灵活的操控大屏展示内容，增强了人机互动性，改善了操作者使用大屏进行展示的体验。

技术实现要素：

鉴于上述的分析，本发明旨在提供了一种操作大屏的智能手柄、操作方法和操作系统，可以模拟鼠标的功能，实现在大屏上直接操作展示内容，解决了传统技术中人与大屏数据互动在操作上的局限性，还解决了现有技术需要通过鼠标才能实现进一步控制的不便性。

本发明的目的主要是通过以下技术方案实现的：

提供了一种操作大屏的智能手柄，包括壳体，还包括设置在壳体内的感应模块、微处理器、通信装置。

其中，所述感应模块用于获取用户的动作信息，所述微处理器接收感应模块获取的数据，并进行数据处理；通信装置用于信息对外输出。

所述壳体的表面还设置有实现操控功能的操控设备，通过操控设备实现控制命令输入。

所述感应模块采用以下传感器至少之一：重力传感器、加速度传感器、磁力传感器、距离传感器、陀螺仪传感器。

所述微处理器进行用户动作信息的初步处理，包括数据属性标记。该数据属性标记是根据当前设定模式，对获取的数据增加光标控制标识或命令控制标识，以表示数据用途。在数据属性标识为光标控制标识时，所述微处理器还可以进行空间运算，再将空间运算结果转化为平面运动轨迹，进而转化为大屏平面中光标的移动轨迹；在数据属性标识为命令控制标识时，所述微处理器还可以进行轨迹运算、手势识别、命令匹配处理。

本发明还提供了一种采用上述智能手柄操作大屏的系统，具体包括：智能手柄、pc接收器、大屏显示终端；pc接收器进一步包括数据接收模块和数据处理模块，用于接收和处理智能手柄发送过来的数据，并生成模拟信号；大屏显示终端根据模拟信号进行内容显示。

其中，所述pc接收器的数据处理模块判断数据的类型和属性，根据不同数据类型和属性进行相应的数据处理操作，所述数据类型判断是判断该数据是通过操控设备获取的，或者通过感应模块获取的；数据属性是在判断该数据来自感应模块获取的数据后，判断该数据是用于进行光标控制，还是进行命令控制。

所述pc接收机的数据处理模块在判断数据属性是光标控制后，且微处理器未进行处理时，由数据处理模块进行空间运算，再将空间运算结果转化为平面运动轨迹，进而转化为光标的移动轨迹。

所述pc接收机端的数据处理模块在判断数据属性是进行命令控制后，且微处理器未进行相应处理时，数据处理模块还进行轨迹运算、手势识别、命令匹配处理。

进一步的，所述数据处理模块的手势识别中还引入深度学习模型。

本发明还提供了一种采用上述操作大屏的系统实现操作大屏的方法，包括步骤：，唤醒智能手柄，用户选择当前操作模式，当选择光标控制模式时，用户移动智能手柄，感应模块获取运动信息，再通过微处理器或数据处理模块进行位置计算，使大屏中的光标移动到目标位置；当切换到命令控制模式，用户移动智能手柄，感应模块获取运动信息，再通过微处理器或数据处理模块进行轨迹运算、手势识别、命令匹配；数据处理模块进一步结合上述处理结果，以及通过操控设备输入的控制指令，进行大屏中展示内容的操控。

本发明有益效果如下：

本发明可以通过智能手柄控制大屏内容的展示，摆脱了传统鼠标控制的不便性，克服了简易遥控棒功能不足的缺点，为操作者与大屏数据展示交互带来了一定的便捷性，也提高了用户体验。同时，为用户进行大屏控制提供了多种模式，能适应用户的不同需求和使用习惯，提高了环境适应性。此外，还能提高命令匹配的准确性，进一步改善用户体验。

本发明的其他特征和优点将在随后的说明书中阐述，并且，部分的从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

附图仅用于示出具体实施例的目的，而并不认为是对本发明的限制，在整个附图中，相同的参考符号表示相同的部件。

图1是一种操作大屏的智能手柄操作系统的示意图。

具体实施方式

下面结合附图来具体描述本发明的优选实施例，其中，附图构成本申请一部分，并与本发明的实施例一起用于阐释本发明的原理。

根据本发明的具体实施例一，公开了一种操作大屏的智能手柄，包括：便于握持的壳体，壳体表面设置有实现操控功能的至少一个操控设备。操控设备可以是摇杆、触摸控件、按键等操控设备或者其组合。通过操控设备可以实现类似智能设备操控中的点击、确定、back、forward、start、home、确定、音量调节、2d/3d转换、模式转换、电源开关等操作。在智能手柄相应的控制程序中，可以对操控设备或者所述操控设备组合的操控功能进行定义，按照用户习惯实现点击、确定、向前、向后、模式切换、开关等操作，以实现类似鼠标、键盘的部分控制功能。操控设备能够获取用户的控制输入命令，将用户通过操控设备输入的操作信息转化为数字信号并对外输出。

智能手柄还包括设置在壳体内的感应模块、微处理器、通信装置。操控设备和感应装置将获取的信息发送给微处理器，再由微处理器发送给通信装置，并对外传输。其中，微处理器属于可选部件，智能手柄也可以直接将操控设备和/或感应模块获取的数据对外传输。

所述感应模块可以采用下述传感器或模块至少之一或其组合：重力传感器、加速度传感器、磁力传感器、距离传感器、陀螺仪传感器等。

感应模块用于获取用户手持智能手柄作出的动作信息，所述动作信息是用户手持智能手柄作出的手势，进而产生的三维空间运动数据，包括以下参数至少一个：位置、倾斜角度、运动方向、运动速度、加速度、角速度等。优选的，感应模块内置三轴加速度传感器和陀螺仪传感器，分别提取智能手柄运动加速度和角速度的特征值，便于运算操作者手持智能手柄产生的运动轨迹信息。感应模块还可以包括其他传感器，将多种运动参数进行组合，以表征智能手柄的空间运动特征，也即用户握持手柄作出的手势。

所述感应模块可以将获取的用户动作信息，传输给微处理器，由微处理器进行用户动作信息的初步处理。微处理器进行的用户动作信息初步处理，具体包括运动数据去噪、数据属性标记、轨迹运算、手势识别、命令匹配等。微处理器也可以仅在数据去噪和数据属性标记后，而不进行轨迹运算、手势识别和命令匹配，直接发送给通信模块进行数据输出。

所述数据去噪，可以采用平滑滤波器对手柄空间运动过程中获取的三轴加速度数据进行平稳去噪处理，剔除在握持手柄作出手势动作过程中，由于手的抖动及传感器本身精度引起的噪声干扰。

优选的，在数据去噪之后，还包括手势判定步骤：具体采取手势运动判定策略，自动检测手势的开始和结束。

优选的，在数据去噪之后，还包括非手势数据过滤，对经过手势判定的手柄空间运动数据进行非手势过滤去除处理。上述非手势过滤处理不能判断出具体手势，但是能够判断该数据流是手势数据还是非手势数据。

所述数据属性标记用于实现模式切换功能，用于标记当前手柄的运动是用于控制光标移动，还是用于输入操控命令。具体方式为：通过操控设备、或一激活手势(手柄特定形态的运动轨迹)来切换当前的模式。

当智能手柄切换到光标移动控制模式，则微处理器在获取到的智能手柄的空间运动数据上，增加光标控制标识，以表明当前数据用于光标的移动，实现光标移动控制。当智能手柄转换为命令控制模式，则微处理器在获取到智能手柄的空间运动数据上，增加命令控制标识，以表明当前数据用于实现控制命令、控件操作。

微处理器在空间运动数据上添加了光标控制标识后，微处理器接下来可以进行空间运算，进一步的可以将空间运算结果转化为与之对应的平面运动轨迹，并按照一定的比例系数将其转化为大屏平面中光标的移动轨迹，然后通过通信模块将轨迹运算结果输出，达到模拟鼠标的功能。所述智能手柄的空间移动与光标在平面上移动的对应关系是可以预先设定的。

微处理器在空间运动数据上添加了命令控制标识后，微处理器接下来可以进行轨迹运算、手势识别、命令匹配等操作。

所述轨迹运算是通过几何和积分运算，对三轴加速度传感器以及陀螺仪传感器在三个方向上的加速度和角速度进行处理，得到智能手柄空间运动的瞬时速度、转动角度、空间累计运动轨迹、空中转动姿态。

优选的，在手势识别之前，还包括数据量化的处理：对轨迹运算结果进行量化，以减少手势数据序列长度，提高计算效率。具体的，还可以将数值量化为级别形式。

所述手势识别是将运动轨迹与预先设置对应关系进行比较，得到轨迹所对应的手势，即手势识别结果。对比基础可以是轨迹运算结果，也可以是轨迹运算结果经过数据量化后的结果。

所述命令匹配步骤，是在手势识别的基础上，将手势识别结果，与预先定义的控制命令和手势之间对应关系进行匹配，得到当前手势识别结果所对应的操控命令。

微处理器除了针对感应模块获取的数据进行上述处理之外，还针对用户通过操控设备进行的控制输入进行数据处理。具体的，微处理器可以接收用户对操控设备的控制输入，将用户对操作设备的控制与预先设置的对应关系进行匹配，得到控制命令的匹配结果，实现用户对操作设备的操作与用户希望的操作命令相对应。

由微处理器进行的上述一系列针对用户动作信息的初步处理，以及针对通过操控设备进行控制输入的数据处理，可以不在智能手柄的微处理器上实现，而是将数据经过简单去噪、标记处理后、输出到外部设备(如pc接收器)进行处理，或进行部分上述初步处理，以减少微处理器的计算负担。不进行上述完整初步处理流程的微处理器也在本发明的保护范围内。由微处理器进行上述大部分数据初步处理，增加了智能手柄的数据处理负担，但减少了智能手柄与外界终端之间的数据传输量，降低智能手柄对网络稳定性的依赖，从而适用于在网络环境较差的场合。

所述通信装置用于同外部设备进行信息交换，具体可以将感应模块、操控设备的数据发送到外部pc接收器。通信装置具体可以采用无线连接方式进行数据通信，优选采用蓝牙、wifi连接方式。

根据本发明的具体实施例之二，公开了一种操作大屏的智能手柄操作系统，系统包括：智能手柄、pc接收器、大屏显示终端。

其中，所述智能手柄如实施例一中所公开的装置，包括至少一个操控设备、感应模块、微处理器、通信装置。具体实现方式如实施例一所述。操控设备供用户输入操控指令，通信装置用于进行数据传输，感应模块用于获取用户手持手柄操作的三维空间移动数据、微处理器可用于对获取的数据进行处理。

优选的，所述感应模块可以采用三轴加速度传感器和陀螺仪传感器，这两种传感器的组合，可以获取手柄移动的加速度、角速度，两者的结合较好的表征手柄的空间移动特征，进而有利于手势识别、命令匹配，同时计算量较小。

优选的，所述智能手柄的微处理器如实施例一所述，可以仅进行简单数据处理(如去噪、标记)，然后将数据发送给通信装置并对外发送，也可以进行一定规模的数据处理、识别和匹配等处理。针对用户动作信息的初步处理方法如实施例一中所述的处理方法，还可以如实施例一中所述的方法针对用户通过操控设备输入的数据进行处理。

优选的，如实施例一所述，智能手柄通过模式切换功能进行光标控制模式和命令输入控制模式的切换。具体的，可以采用实施例一中的方式进行，通过模式切换功能和数据属性标记实现。

智能手柄的模式切换为光标移动控制模式时，在感应模块获取的数据上添加光标移动控制的标识；当模式切换为命令控制模式时，在感应模块获取的数据上添加命令控制的标识。后续数据处理中，针对不同的数据属性，采用相应的处理方式。具体的，在光标移动控制模式下，微处理器可以进行空间运算，进一步的可以将空间运算结果转化为与之对应的平面运动轨迹，并按照一定的比例系数将其转化为大屏平面中光标的移动轨迹，然后通过通信模块将结果输出，达到模拟鼠标的功能。在命令控制模式下，微处理器可以进行轨迹运算、手势识别、命令匹配等，具体方式采用实施例一种所述的方法。

所述pc接收器可以采用电脑、移动终端等具有处理能力的终端，也可以与大屏显示终端集成，以简化硬件。pc接收器上安装有对应于智能手柄通信装置的数据接收模块，用于接收智能手柄传输过来的数据信息。pc接收器与智能手柄之间采用无线连接方式，优选采用蓝牙、wifi等连接方式。

所述pc接收器上还具有数据处理模块。所述数据处理模块从数据接收模块获取数据，判断获取的数据的类型和属性，根据不同数据类型和属性进行相应的数据处理操作。所述数据类型包括通过操控设备获取的数据，或是通过感应模块获取的数据。数据类型可以通过增加标识进行区别判断，也可以通过数据形式进行区别判断。数据属性是在判断该数据来自感应模块获取的数据后，通过数据标识判断该数据是用于进行光标控制的还是进行命令控制的。

在光标控制模式下，且智能手柄的微处理器没有进行实施例一种所述的数据初步处理流程的，pc接收机端的数据处理模块则进行上述运动数据的初步处理流程，初步处理方法可以采用具体实施例一中微处理器上的数据处理方法。数据处理模块基于三轴加速度传感器以及陀螺仪传感器三个方向上的加速度和角速度进行运算，得到智能手柄空间运动的瞬时速度、空间累计运动轨迹、空中转动姿态以及转动角度。进一步根据上述运算结果，将智能手柄的控制运动轨迹转化为与之对应的光标的运动轨迹，实现通过手柄的移动达到控制光标移动的目的。

在命令控制模式下，且微处理器没有进行处理，则pc接收机端的数据处理模块还可以进行轨迹运算、手势识别、命令匹配等运算。具体运算处理方法采用上述实施例一中智能手柄中微处理器对用户动作信息进行的初步处理方法。

在上述处理方法基础上，为进一步提高手势识别的准确度和适应性，在数据处理模块的手势识别中引入深度学习模型。具体的，在轨迹运算之后，将手柄的运动轨迹或轨迹组合输入深度学习模型，得到手势识别结果。用户可以事先在pc接收器端，将轨迹运算结果与设定的手势作为深度学习模型的输入，在用户进行展示前，对深度学习模型进行训练，使得深度学习模型能更好的学习当前用户的手势习惯，实现对用户手势的有效识别。在当前用户使用时，将用户实时产生的手柄运动数据，经过去噪、轨迹运算后，输入经过当前使用者训练后的深度学习模型，得到当前手柄运动轨迹对应的手势识别结果。所述深度学习模型优选采用二值化卷积神经网络、卷积神经网络等模型。通过加入深度学习模型进行命令匹配，能够提高结果的准确性、实用性，使得针对不同手柄使用者的不同手势习惯，均能得到较好识别结果，提高匹配的鲁棒性和准确度。由于模型训练和运算所需的计算资源较大，因此通常深度学习模型部署在pc接收机端。

在获取手势识别结果后，将识别结果，与预先定义的控制命令和手势之间的对应关系进行匹配，得到当前手势对应的操控命令。

针对感应模块获取的空间数据，既可以通过智能手柄上的微处理器实现空间运算，或轨迹运算、手势识别、命令匹配等，也可以通过pc接收器端的数据处理模块实现。在pc接收器端进行上述计算，能够实现更快的运算速度，适合加载复杂的深度学习算法实现手势识别和命令匹配，但智能手柄和pc接收器之间的数据传输量则相对较大，对数据传输的稳定性、传输速率的要求较高。而在智能手柄端进行手势识别和控制命令匹配，则在数据的处理量上受到限制，适合在智能手柄端的微处理器上加载数据处理量小、复杂度低的识别和匹配算法，但该方式将减少智能手柄和pc接收器之间的数据传输量，对数据传输环境的要求会降低。

在上述数据处理基础上，所述数据处理模块进一步结合由智能手柄操控设备传输过来的用户控制命令，实现大屏中光标的移动和控件操控，最终实现用户的展示目的。在命令控制模式下的命令匹配结果与用户通过操控设备输入的控制命令相冲突时，用户通过操控设备输入的控制命令具有更高的优先级别。

所述大屏显示终端用于进行内容显示，可以采用大屏显示，也可以是投影形式。所述pc接收器可以单独采用终端的形式，也可以集成在大屏显示终端上。

根据本发明的具体实施例三，公开了一种采用上述操作系统进行操作大屏的智能手柄操作方法，具体包括以下步骤：

开启智能手柄、或将智能手柄从睡眠中唤醒，进入工作状态。在智能手柄的手势开关首次开启时，大屏中手柄对应的光标初始位于屏幕中心位置，智能手柄默认处于光标控制模式。所述智能手柄采用具体实施例一中的技术方案。

用户可以选择当前的操作模式，当用户选择光标控制模式时，则系统相应执行以下流程：在光标控制模式下，用户移动智能手柄，朝着要选取屏幕中元素的方向移动；智能手柄内置的感应模块实时获取当前智能手柄在空间中的运动信息，通过对运动信息的数据处理，实现大屏中光标移动的控制。系统中，可以将运动信息发送给微处理器，再由微处理器发送给通信装置，由通信装置将运动信息实时传输给pc接收器，pc接收器最终根据运动数据计算结果，使大屏中的光标移动到目标位置。上述数据运算可以在pc接收器或手柄上实现。

其中，所述感应模块优选采用加速度传感器和陀螺仪传感器实时获取当前智能手柄在空间中的加速度和角速度。所述微处理器还可以针对运动信息进行运动数据初步处理，所述pc接收机也可以进行运动数据初步处理。所述针对运动数据的处理方法采用具体实施例一、实施例二中所述的相应处理方法。

用户通过模式切换功能，可以将智能手柄切换到命令控制模式，在命令控制模式下，系统执行以下流程：pc接收机端的数据处理模块还可以进行轨迹运算、手势识别、命令匹配等运算。具体运算处理方法采用实施例1、2中所述方式对用户动作信息进行初步处理。其中，所述pc接收机还可以引入深度学习模型进行手势识别，进而提高手势识别的准确度和命令匹配精度。

pc接收器根据接收智能手柄中操控设备传输过来的控制指令，结合当前的光标位置和手势控制命令，生成模拟光标信号，供大屏显示装置显示，实现了实时对大屏中展示内容的操控。

命令控制模式下的命令匹配结果与用户通过操控设备输入的控制命令相冲突时，用户通过操控设备输入的控制命令具有更高的优先级别。

使用完后，还包括关闭智能手柄手势开关，停止手势运动轨迹数据收集，或进入待机模式的步骤。

综上所述，本发明实施例提供了一种操作大屏的智能手柄及其操作方法、操作系统，实现了操作者通过智能手柄体感手势控制大屏内容，摆脱了传统鼠标控制不便性、以及简易遥控棒的功能不足性。在众多场合下为操作者与大屏数据交互带来了一定的便捷性。同时，通过增加通过手柄移动实现光标控制和操控命令输入，并结合操控设备的控制，增加了智能手柄进行大屏控制的方式，丰富了用户的不同需求和使用习惯，为用户进行大屏控制提供了多种模式。此外，通过装载深度模型，利用当前使用者的手柄操作来训练深度模型，能提高智能手柄对不同对的适应性，提高手势识别、命令匹配的准确性。

本领域技术人员可以理解，实现上述实施例方法的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读存储介质中。其中，所述计算机可读存储介质为磁盘、光盘、只读存储记忆体或随机存储记忆体等。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。