一种基于单目手势控制的桌面交互系统的制作方法

本发明属于手势控制
技术领域：
，特别是涉及一种基于单目手势控制的桌面交互系统。
背景技术：
：桌面控制与互动是人机交互的主要应用方向之一。在办公领域中，电动升降桌是现代办公中广泛采用的办公设备，可以通过调节桌面高度提供站/坐两种办公位置。而在消费娱乐领域中，各类多媒体触控桌面也为人机交互提供了多样的选择。然而，目前桌面交互大多采用实体按钮或触屏进行控制，操作区域及灵活性受限，且桌面通常需要为控制区预留空间，影响正常使用。基于单目摄像头的手势控制能够实现大操作区域内的非接触式操作，可以为用户提供便捷、自然的交互体验，相较于实体按钮及触屏，所支持的手势更为灵活多样，从而能够为复杂的交互控制提供支持。同时，桌面硬件结构只需为摄像头镜头提供安装口，对桌面平整度影响小，不占用桌面空间，无需手势功能时可作为普通桌面使用。此外，相较于其他摄像头方案如深度摄像头、多角度成像等，单目摄像头成本低、结构简单、易于安装与维护，更有利于产品化及批量化。目前的桌面交互系统中，使用实体按键及触屏设备需要预留按键位及触屏位，操作区域及灵活性受限，且桌面通常需要为控制区预留空间，影响正常使用。操作方式较为固定，定制化程度不高，通常不支持用户自定义操作，对复杂系统支持有限。而使用红外边框的交互系统，边框通常高于桌面，影响桌面平整度。使用投影的交互系统则需要额外的安装空间，或者以外设形式使用，无法镶嵌于桌面内部。技术实现要素：本发明目的是为了解决现有技术中的问题，提出了一种基于单目手势控制的桌面交互系统。本发明是通过以下技术方案实现的，本发明提出一种基于单目手势控制的桌面交互系统，所述系统包括中控模块、手势检测模块、数据传输模块和反馈模块；所述交互系统整体嵌入桌面或独立外设；所述中控模块分别与所述手势检测模块、数据传输模块和反馈模块相连接，用于控制其他各模块的运行；所述手势检测模块采用单目摄像头检测用户手势图像，所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台从而控制受控设备或后台执行所述手势命令对应的功能，所述中控模块还用于从受控设备或后台获取运行结果，所述运行结果通过反馈模块向用户提供反馈；所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台，具体为：通过单目摄像头检测用户手势图像，从检测到的用户手势图像中提取基于用户手形和姿态的静态手势，结合前序提取结果提取基于时序特征变化的动态手势，根据预设对应关系，将提取的手势结果转换为对应的手势命令并输出至受控设备或后台。进一步地，利用卷积神经网络进行静态手势提取，所述卷积神经网络层数不多于8层。进一步地，所述动态手势提取在静态手势提取基础上进行，所述交互系统存储着一段时间内提取到的静态手势序列，当提取到新的静态手势时，将当前提取结果与前序静态手势进行对比，提取该段时间内的位置变化、形态变化及姿态变化，从而得到动态手势。进一步地，所述动态手势还包括用户自定义手势，用户能够将交互系统支持的静态手势自行组合，录制符合自身操作习惯的动态手势，所述录制流程具体如下：步骤1、用户在操作区内做出自定义动态手势，交互系统通过单目摄像头进行录制；步骤2、用户通过交互系统对录制的视频进行二次截取，保留有效部分；步骤3、交互系统对截取后视频进行检测及分析；步骤4、输出并存储新的动态手势。进一步地，所述反馈模块用于向用户实时提供操作反馈，反馈模式包括视觉、声音及震动中的一种或多种。本发明的有益效果：1、将交互系统与传统桌面结合，提供便利的交互终端；2、使用手势控制进行人机交互，能够识别包括手部静态和动态手势，不局限于触摸操作，操作体验好，方便快捷；3、采用单目摄像头实现手势控制，成本低；4、不占用桌面空间，不使用手势控制时，桌面可正常使用；5、交互系统主体既可隐藏于办公桌本体内，保持办公桌整体外观简洁美观，也可作为桌面外设安装，结构灵活；6、交互系统体积小、功耗低、集成度高；7、交互系统既可控制桌面，也可控制其他设备，还可通过连接至数据后台，功能扩展性强。附图说明图1为本发明所述基于单目手势控制的桌面交互系统总体框图；图2为本发明所述基于单目手势控制的桌面交互系统总体运行流程图；图3为手势提取运行流程图；图4为静态手势提取流程图；图5为动态手势提取流程图；图6为动态手势录制流程图；图7为手势控制电动升降桌交互系统硬件结构及安装示意图；图8为手势控制电动升降桌桌面布局示意图；图9为外设式手势控制电动升降桌示意图；图10为多功能自助餐桌交互系统硬件结构及安装示意图；图11为多功能自助餐桌桌面布局示意图；图12为功能切换示意图。具体实施方式下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。结合图1和图2，本发明提出一种基于单目手势控制的桌面交互系统，所述系统包括中控模块、手势检测模块、数据传输模块和反馈模块；所述交互系统整体嵌入桌面或独立外设；使用时，该系统作为面向用户的操作终端，用户可通过该系统控制桌面或其他连接至系统的设备，也可与后台进行数据交互。所述中控模块分别与所述手势检测模块、数据传输模块和反馈模块相连接，用于控制其他各模块的运行；所述手势检测模块采用单目摄像头检测用户手势图像，硬件上，手势检测模块摄像头能够捕获可见光至红外940nm以内谱段的光线，配合红外补光灯，以保证不同照明条件下的正常使用。所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台从而控制受控设备或后台执行所述手势命令对应的功能，所述中控模块还用于从受控设备或后台获取运行结果，所述运行结果通过反馈模块向用户提供反馈；结合图3，所述中控模块对检测到的用户手势图像进行处理分析，得到手势命令，并将手势命令通过数据传输模块发送至受控设备或后台，具体为：通过单目摄像头检测用户手势图像，从检测到的用户手势图像中提取基于用户手形和姿态的静态手势，结合前序提取结果提取基于时序特征变化的动态手势，根据预设对应关系，将提取的手势结果转换为对应的手势命令并输出至受控设备或后台。所述静态手势包括：1、握拳、伸出一个或多个手指等手部形态；2、手部旋转角、俯仰角等姿态特征；3、手部位置。所述动态手势包括：1、运动轨迹；2、静态特征的时序变化。系统采用针对低端嵌入式平台优化的卷积神经网络进行静态手势提取。为保证系统运算效率，网络层数不多于8层，网络输入为单目摄像头采集图像，网络输出为手部静态手势。为保证检测效果，该卷积神经网络针对桌面应用环境进行训练，涵盖手部不同形态、不同距离、不同环境背景、不同光照的图像数据。从图像中提取静态手势的流程如图4所示，具体为：步骤a、输入由单目摄像头采集的图像；步骤b、利用卷积神经网络进行图像提取；步骤c、输出静态手势。所述动态手势提取在静态手势提取基础上进行，所述交互系统存储着一段时间(一般取2-5秒)内提取到的静态手势序列，当提取到新的静态手势时，将当前提取结果与前序静态手势进行对比，提取该段时间内的位置变化、形态变化及姿态变化，从而得到动态手势。提取流程如图5所示，具体如下：步骤a、输入当前静态手势提取结果；步骤b、与前序静态手势进行比较，找出各个特征的时序变化；步骤c、输出动态手势。所述动态手势还包括用户自定义手势，用户能够将交互系统支持的静态手势自行组合，录制符合自身操作习惯的动态手势，所述录制流程具体如下：录制流程如图6所示，步骤1、用户在操作区内做出自定义动态手势，交互系统通过单目摄像头进行录制；步骤2、用户通过交互系统对录制的视频进行二次截取，保留有效部分；步骤3、交互系统对截取后视频进行检测及分析；步骤4、输出并存储新的动态手势。所述数据传输模块将手势命令发送至受控设备或后台并接收状态返回值，支持wifi、蓝牙、zigbee及串口通信。所述反馈模块用于向用户实时提供操作反馈，反馈模式包括视觉、声音及震动中的一种或多种。实施例1--手势控制电动升降桌本实施例中，采用本发明提出的桌面交互系统对电动升降桌进行控制。硬件列表如表1所示。系统整体采用一体化结构，镶嵌于桌面中，上表面覆盖木纹图案层，如图7所示，桌面布局如图8所示。闲置时，显示器熄灭，升降桌桌面为平整整体，外观与普通桌面相同，不影响正常使用；使用时显示器点亮，透过木纹图案层显现。升降桌整体外观简洁美观。表1手势控制电动升降桌硬件列表序号名称型号1主控芯片allwinnerh62计算平台主板搭载主控芯片及摄像头等组件3单目摄像头rgb+ir640x480@60fps4操作反馈显示屏led贴片点阵屏@64x64px5电动升降桌本体市售升降桌操作手势如表2所示。用户将手部放置于操作区上方做出手势即可执行相应功能。表2手势控制电动升降桌操作手势实施例2--外设式手势控制电动升降桌本实施例将交互系统以外设形式安装，如图9所示。硬件设备与上一实施例基本相同，额外增加桌面台历及蓝牙发送/接收器，如表3所示。系统主体镶嵌于桌面台历中，计算平台主板额外集成蓝牙通信模块。桌面升降杆与蓝牙接收器相连，通过蓝牙协议与系统主体传输数据。台历可放置于距离办公桌1m范围内。用户将手部放置于台历上部做出手势即可执行相应功能。表3额外所需硬件序号名称型号1台历内置交互系统主体2蓝牙发送/接收模块nxp88w8997实施例3--多功能自助餐桌本实施例中，交互系统嵌于桌面中，并与后台数据主机通过wifi相连，用户可通过交互系统自助点餐或收看新闻。硬件设备如表4所示。硬件安装方式如图10所示，与实施例1主要区别在于使用了深色透明玻璃钢桌面，无需在桌面开孔。桌面布局如图11所示。用户将手部放置于操作区上方做出手势即可执行相应功能。同时，交互系统通过wifi连接至饭店收银台，发送用户点餐内容。表4多功能自助餐桌硬件列表序号名称型号1主控芯片allwinnerh62计算平台主板搭载主控芯片及摄像头等组件3蓝牙发送/接收模块nxp88w89974单目摄像头rgb+ir640x480@60fps5操作反馈显示屏市售，高亮度led显示器6餐桌本体市售，深色透明玻璃钢桌面交互系统具备时间显示、新闻播报、自助点餐三项功能。系统闲置时为时间显示状态，可通过手势在不同功能间切换，如图12所示。在时间显示状态下，挥手进入自助点餐状态；自助点餐状态下挥手回到时间显示状态，手部持续旋转进入新闻播放状态；新闻播放状态下挥手回到时间显示状态，手部持续旋转则进入自助点餐状态。自助点餐状态下操作方式如表5所示。用户点餐后，交互系统将向收银台发送订餐内容，完成订餐。表5多功能自助餐桌操作手势序号名称功能1手部上下左右挥动菜单导航2做出数字手势，短时间保持订购指定份数的餐品3遮盖摄像头，长时间保持下单综上，本发明提出一种基于单目手势控制的桌面交互系统，将单目手势控制与传统桌面结合，使桌面成为多功能、智能化的操作终端，为用户提供良好的交互体验，所述交互系统检测准确、控制灵敏，成本低、体积小、功耗低，支持用户自定义手势，操作体验好，并可为复杂的控制及数据交互提供支持。以上对本发明所提出的一种基于单目手势控制的桌面交互系统，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。当前第1页12