基于手势识别的多媒体互动查询一体机及其使用方法
【专利摘要】本发明公开了一种基于手势识别的多媒体互动查询一体机及其使用方法，包括壳体(6)及安装在壳体(6)上的主控机(1)、3D手势感应模块(2)、显示器(3)、音响设备(4)、AC-DC电源(5)、后台服务器(7)、应用软件光盘(8)及各种网络接口，所述主控机(1)由四核ARM处理器(101)、USB HUB芯片(102)、RS232收发器(103)、音频DAC电路(104)、以太网收发器电路(105)组成；所述3D手势感应模块(2)由主CPU(201)、3D跟踪姿态控制器(202)、手势识别天线(203)组成。本发明可实现手指旋转、上下左右挥动等自由手势识别，较大程度地简化互动、查询的操作，降低成本。
【专利说明】基于手势识别的多媒体互动查询一体机及其使用方法
【技术领域】
[0001]本发明属于智能设备领域，特别是涉及一种基于手势识别的多媒体互动查询一体机及其使用方法。
【背景技术】
[0002]现有的查询一体机仅是做简单的查询信息，用触模屏来输入用户操作，不仅成本高，而且智慧互动感差。
【发明内容】
[0003]发明目的:发明一种基于手势识别的多媒体互动查询一体机，实现公共场所查询机的多媒体内容查询与人性化互动，且降低触模屏输入的成本。
[0004]技术方案:一种基于手势识别的多媒体互动查询一体机，包括壳体6及安装在壳体6上的主控机1、3D手势感应模块2、显示器3、音响设备4、AC-DC电源5、后台服务器7、应用软件光盘8及各种网络接口，
[0005]所述主控机I由四核ARM处理器101、USB HUB芯片102、RS232收发器103、音频DAC电路104、以太网收发器电路105组成；所述3D手势感应模块2由主CPU201、3D跟踪姿态控制器202、手势识别天线203组成；所述应用软件光盘8包括应用软件801及应用平台802 ；
[0006]所述四核ARM处理器101通过USB协议106连接USB HUB芯片102，将四核ARM处理器101的单路USB HOST扩展成多路USB接口 107，用于连接所述3D手势感应模块2及应用软件光盘8 ;通过LVDS总线108将视频信号直接输出到显示器3 ;通过I2S总线109连接音频DAC电路104，将音频数字信号转换成模拟信号输出到外部的音响设备4 ;通过UART总线112连接RS232收发器103并外接便携式或手持式设备114 ;通过以太网总线110连接以太网收发器105，经过以太网络111实现与后台服务器7的数据交互；
[0007]所述3D手势感应模块2的主CPU201，通过USB接口 107与主控机I连接，通过I2C硬件通信接口 113与所述3D跟踪姿态控制器202连接，从而实现3D跟踪姿态控制器202到四核ARM处理器101的I2C转USB接口功能；
[0008]所述3D跟踪姿态控制器202通过手势识别天线203获取手势动作信息，将有效的动作信息传送到所述四核ARM处理器101，所述四核ARM处理器101根据动作信息进行相应的操作。
[0009]优选的，所述四核ARM处理器101，为飞思卡尔1.MX6Q，是本发明的大脑，具有强大的数据处理性能，内部集成4个C0RTEX-A9内核，运行频率达1.2GHz，带有IMB L2缓存，支持1080P@60fps解码和1080P@30fps编码，同时还可以在高清模式下播放3D视频，它还可以同时管理用于3D立体拍摄的双摄像头，拥有独立的2D和顶点加速引擎；接口方面，可支持HDMI1.4，USB2.0和千兆以太网卡；同时拥有丰富的外围接口，如USB OTG、USB HOST、SP1、I2C、UART等，负责外围设备接入。
[0010]所述USB HUB芯片102，采用SMSC公司的四端口集线器控制器USB2514，内部电路包括转发器(HUB Repeater)、控制器(HUB Controller)和处理翻译器(Transact1nTranslator, TT);该控制器具有I个USB上行端口、4个USB下行端口，每个下行端口最大工作电流可为500mA，最高速率为480Mbps，并在全速USB1.1 (传输速率为12Mbps)和低速USB1.0 (传输速率为1.5Mbps)的基础上提出第三种高速传输速率；USB2.0完全兼容USB1.1和USB1.0 ；USB HUB支持多个不同属性的USB外部设备，分层星形拓扑结构支持多达127个外部设备，为USB用户提供方便、简捷的连接方式；同时也支持热插拔，即在不关机的情况下用户可直接插入或拔出设备。
[0011]所述RS232收发器103，采用SIPEX公司的SP3232EEN芯片，该接收器是一个2驱动器/2接收器的器件，包含Sipex系列特有的片内电荷泵电路，可从+3.0V?+5.5V的电源电压产生2 X Vcc的RS-232电压电平；满足EIA/TIA-232和V.28/V.24通信协议，适用于便携式或手持式设备，如笔记本或掌上型电脑；该器件的驱动器满载工作时典型的数据传输速率为235Kbps，其内部为所有驱动器输出和接收器输入管脚提供的ESD保护，使得驱动器和接收器的管脚可承受±15kV人体放电模式和IEC1000-4-2气隙放电模式。
[0012]所述音频DAC电路104，采用NAU8822A芯片，该芯片是一款低功耗、高质量的音频编解码器，集成24位立体声ADC和DAC模块，可以直接驱动扬声器、耳机等音频设备。
[0013]所述以太网收发器电路105，采用ATHER0S公司的AR8035芯片，该芯片是一款高效的lO/lOO/lOOOMbps的以太网收发器，支持完整的IEEE 802.3az标准，支持SGMII和RGMII的MAC接口，支持10BASE-T、100BASE-TX和1000BASE-T，支持LAN唤醒和高达10KB的全双工，Atheros专有的SmartEEE技术。
[0014]所述主CPU201，采用Microchip公司的PIC18F14K50单片机，是一款采用nanoWattXLP技术的20引脚USB闪存单片机，支持最多16个端点的全速和低速USB2.0，集成256字节双通道快速操作RAM，256字节数据EEPR0M，16K字节程序存储器；提供11路10位ADC，2路模拟比较器，I路PWM输出，SPI和I2C主同步串行端口，I路增强型USART收发器。
[0015]所述3D跟踪姿态控制器202，采用Microchip公司的MGC3130芯片，该芯片是全球第一款单芯片3D手势/自由空间位置跟踪解决方案，是人机界面解决方案的新选择，可在70?130kHz电场频率中侦测手势的变化；利用Microchip公司最新的GestIC技术，该芯片可在15cm的距离内以150dpi的精度确定位置，采样率为每秒200次，这种GestIC技术可侦测手、手指的位置、速度与加速度属性；该芯片的固件还可让频率实现跳动，充分排除射频干扰；功率要求非常低，侦测和处理手势的过程中仅为10mW,平常待机模式下为150uW，深度睡眠模式时30uW。
[0016]所述手势识别天线203，获取到手势动作信息，将有效的动作信息传送到四核ARM处理器101，由1.MX6Q主处理器根据动作信息进行相应的操作。
[0017]所述显示器3，采用19寸IXD显示屏，分辨率为1440*900，主要用于人机交互，信息显不O
[0018]所述音响设备4,为立体声音响,米用2*8欧8W扬声器,用于播放音频信息，通过声音提醒用户进行相应的操作。
[0019]所述AC-DC电源5，采用集成的AC/DC电源板，支持110?240V交流电输入，输出12V/3A的直流电压，主要用于向该查询机内的各部件提供充足稳定的电源。
[0020]关于3D手势感应模块2与主控机I的连接结构，见附图3:
[0021]通过USB HID协议接口 115、基于Linux字符驱动技术，将3D手势感应模块2与主控机I连接并通过USB协议107将手势相关动作的信息传输到应用软件光盘8上，并经应用软件801及应用平台802，实现手指旋转、上下左右挥动、触模单击、双击等自由手势识另Ij，实现多媒体查询机手势互动功能。
[0022]本发明还公开了一种基于手势识别的多媒体互动查询一体机的使用方法，包括:
[0023]I)当用户使用该查询机时，在3D手势识别区域进行系统定义的手势动作；
[0024]2)系统根据定义的手势动作，在显示屏上显示该用户想要进行的操作，用户不再需要用手指在显示屏上触摸点击虚拟功能键进行查询。
[0025]本发明的有益效果:本发明通过手势识别技术与ARM多媒体处理器结合，实现公共场所查询机的多媒体内容查询、三维内容展示互动、Flash动画内容互动等，只需用非接触手势就可以完成互动操作，如左右挥动选择菜单内容、手指旋转选中目标；该查询机可以较大程度的简化操作，降低成本，只需要普通的LCD显示屏，不再需要触摸板；美化界面，不需要在界面上放置虚拟功能键，还可以减少交叉感染的几率；应用范围非常广阔，主要有公共信息的查询，如电信局、税务局、银行、电力等部门的业务查询；城市街头的信息查询；此外还可广泛应用于企业办公、工业控制、军事指挥、电子游戏、点歌点菜、多媒体教学、房地产预售等。
[0026]具体优越性:电场3D手势识别，实现手指旋转、上下左右挥动、触摸(单击、双击)等自由手势识别；支持1080P多媒体内容编码、解码显示、互动操作；支持100/1000M网络接入，支持网络直接传输高分辨率媒体；同时支持多种多媒体输入输出接口，集成LVDS、MIP1、HDMI 等。
【专利附图】
【附图说明】
[0027]图1是本发明互动查询一体机各部件连接示意图；
[0028]图2是本发明互动查询一体机的3D手势感应模块内部连接示意图；
[0029]图3是本发明互动查询一体机的3D手势感应模块2与主控机I的连接结构示意图。
【具体实施方式】
[0030]为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。
[0031]实施例:
[0032]如图1所示，一种基于手势识别的多媒体互动查询一体机，包括壳体6及安装在壳体6上的主控机1、3D手势感应模块2、显示器3、音响设备4、AC-DC电源5、后台服务器7、应用软件光盘8及各种网络接口，
[0033]所述主控机I由四核ARM处理器101、USB HUB芯片102、RS232收发器103、音频DAC电路104、以太网收发器电路105组成；所述3D手势感应模块2由主CPU201、3D跟踪姿态控制器202、手势识别天线203组成；所述应用软件光盘8包括应用软件801及应用平台802 ；
[0034]所述四核ARM处理器101通过USB协议106连接USB HUB芯片102，将四核ARM处理器101的单路USB HOST扩展成多路USB接口 107，用于连接所述3D手势感应模块2及应用软件光盘8 ;通过LVDS总线108将视频信号直接输出到显示器3 ;通过I2S总线109连接音频DAC电路104，将音频数字信号转换成模拟信号输出到外部的音响设备4 ;通过UART总线112连接RS232收发器103并外接便携式或手持式设备114 ;通过以太网总线110连接以太网收发器105，经过以太网络111实现与后台服务器7的数据交互；
[0035]如图2，所述3D手势感应模块2的主CPU201，通过USB接口 107与主控机I连接，通过I2C硬件通信接口 113与所述3D跟踪姿态控制器202连接，从而实现3D跟踪姿态控制器202到四核ARM处理器101的I2C转USB接口功能；
[0036]所述3D跟踪姿态控制器202通过手势识别天线203获取手势动作信息，将有效的动作信息传送到所述四核ARM处理器101，所述四核ARM处理器101根据动作信息进行相应的操作。
[0037]所述四核ARM处理器101，为飞思卡尔1.MX6Q，是本发明的大脑，具有强大的数据处理性能，内部集成4个C0RTEX-A9内核，运行频率达1.2GHz，带有IMB L2缓存，支持1080Pi60fps解码和1080P@30fps编码，同时还可以在高清模式下播放3D视频，它还可以同时管理用于3D立体拍摄的双摄像头，拥有独立的2D和顶点加速引擎；接口方面，可支持HDMI 1.4，USB2.0和千兆以太网卡；同时拥有丰富的外围接口，如USB OTG,USB HOST,SPI,I2C, UART等，负责外围设备接入。
[0038]所述USB HUB芯片102，采用SMSC公司的四端口集线器控制器USB2514，内部电路包括转发器(HUB Repeater)、控制器(HUB Controller)和处理翻译器(Transact1nTranslator, TT);该控制器具有I个USB上行端口、4个USB下行端口，每个下行端口最大工作电流可为500mA，最高速率为480Mbps，并在全速USB1.1 (传输速率为12Mbps)和低速USB1.0 (传输速率为1.5Mbps)的基础上提出第三种高速传输速率；USB2.0完全兼容USB1.1和USB1.0 ；USB HUB支持多个不同属性的USB外部设备，分层星形拓扑结构支持多达127个外部设备，为USB用户提供方便、简捷的连接方式；同时也支持热插拔，即在不关机的情况下用户可直接插入或拔出设备。
[0039]所述RS232收发器103，采用SIPEX公司的SP3232EEN芯片，该接收器是一个2驱动器/2接收器的器件，包含Sipex系列特有的片内电荷泵电路，可从+3.0V?+5.5V的电源电压产生2 X Vcc的RS-232电压电平；满足EIA/TIA-232和V.28/V.24通信协议，适用于便携式或手持式设备，如笔记本或掌上型电脑；该器件的驱动器满载工作时典型的数据传输速率为235Kbps，其内部为所有驱动器输出和接收器输入管脚提供的ESD保护，使得驱动器和接收器的管脚可承受±15kV人体放电模式和IEC1000-4-2气隙放电模式。
[0040]所述音频DAC电路104，采用NAU8822A芯片，该芯片是一款低功耗、高质量的音频编解码器，集成24位立体声ADC和DAC模块，可以直接驱动扬声器、耳机等音频设备。
[0041]所述以太网收发器电路105，采用ATHER0S公司的AR8035芯片，该芯片是一款高效的lO/lOO/lOOOMbps的以太网收发器，支持完整的IEEE 802.3az标准，支持SGMII和RGMII的MAC接口，支持10BASE-T、100BASE-TX和1000BASE-T，支持LAN唤醒和高达10KB的全双工，Atheros专有的SmartEEE技术。
[0042]所述主CPU201，采用Microchip公司的PIC18F14K50单片机，是一款采用nanoWattXLP技术的20引脚USB闪存单片机，支持最多16个端点的全速和低速USB2.0，集成256字节双通道快速操作RAM，256字节数据EEPROM，16K字节程序存储器；提供11路10位ADC，2路模拟比较器，I路PWM输出，SPI和I2C主同步串行端口，I路增强型USART收发器；
[0043]所述3D跟踪姿态控制器202，采用Microchip公司的MGC3130芯片，该芯片是全球第一款单芯片3D手势/自由空间位置跟踪解决方案，是人机界面解决方案的新选择，可在70?130kHz电场频率中侦测手势的变化；利用Microchip公司最新的GestIC技术，该芯片可在15cm的距离内以150dpi的精度确定位置，采样率为每秒200次，这种GestIC技术可侦测手、手指的位置、速度与加速度属性；该芯片的固件还可让频率实现跳动，充分排除射频干扰；功率要求非常低，侦测和处理手势的过程中仅为10mW,平常待机模式下为150uW，深度睡眠模式时30uW。
[0044]所述手势识别天线203，获取到手势动作信息，将有效的动作信息传送到四核ARM处理器101，由1.MX6Q主处理器根据动作信息进行相应的操作。
[0045]所述显示器3，采用19寸IXD显示屏，分辨率为1440*900，主要用于人机交互，信息显不O
[0046]所述音响设备4,为立体声音响,米用2*8欧8W扬声器,用于播放音频信息,通过声音提醒用户进行相应的操作。
[0047]所述AC-DC电源5，采用集成的AC/DC电源板，支持110?240V交流电输入，输出12V/3A的直流电压，主要用于向该查询机内的各部件提供充足稳定的电源。
[0048]关于3D手势感应模块2与主控机I的连接结构，见附图3:
[0049]通过USB HID协议接口 115、基于Linux字符驱动技术，将3D手势感应模块2与主控机I连接并通过USB协议107将手势相关动作的信息传输到应用软件光盘8上，并经应用软件801及应用平台802，实现手指旋转、上下左右挥动、触模单击、双击等自由手势识另Ij，实现多媒体查询机手势互动功能。
[0050]本发明还公开了一种基于手势识别的多媒体互动查询一体机的使用方法，包括:
[0051]I)当用户使用该查询机时，在3D手势识别区域进行系统定义的手势动作；
[0052]2)系统根据定义的手势动作，在显示屏上显示该用户想要进行的操作，用户不再需要用手指在显示屏上触摸点击虚拟功能键进行查询。
[0053]以上所述仅为本发明的较佳实例而已，并不用以限制本发明，在发明的精神和原则之内所作的任何修改、等同替换、改进等，均应包含在本发明的系统结构与方法之内。
【权利要求】
1.一种基于手势识别的多媒体互动查询一体机，包括壳体(6)及安装在壳体(6)上的主控机⑴、3D手势感应模块(2)、显示器(3)、音响设备⑷、AC-DC电源(5)、后台服务器(7)、应用软件光盘(8)及各种网络接口，其特征在于: 所述主控机(I)由四核ARM处理器(101)、USB HUB芯片(102)、RS232收发器(103)、音频DAC电路(104)、以太网收发器电路(105)组成；所述3D手势感应模块⑵由主CPU (201)、3D跟踪姿态控制器(202)、手势识别天线(203)组成；所述应用软件光盘(8)包括应用软件(801)及应用平台(802)； 所述四核ARM处理器(101)通过USB协议(106)连接USB HUB芯片(102)，将四核ARM处理器(101)的单路USB HOST扩展成多路USB接口(107)，用于连接所述3D手势感应模块(2)及应用软件光盘(8);通过LVDS总线(108)将视频信号直接输出到显示器(3);通过I2S总线(109)连接音频DAC电路(104)，将音频数字信号转换成模拟信号输出到外部的音响设备(4);通过UART总线(112)连接RS232收发器(103)并外接便携式或手持式设备(114);通过以太网总线(110)连接以太网收发器(105)，经过以太网络(111)实现与后台服务器(7)的数据交互； 所述3D手势感应模块(2)的主CPU (201)，通过USB接口(107)与主控机(I)连接，通过I2C硬件通信接口(113)与所述3D跟踪姿态控制器(202)连接；所述3D跟踪姿态控制器(202)通过手势识别天线(203)获取手势动作信息，将有效的动作信息传送到所述四核ARM处理器(101)，所述四核ARM处理器(101)根据动作信息进行相应的操作。
2.根据权利要求1所述的多媒体互动查询一体机，其特征在于:所述四核ARM处理器(101)，为飞思卡尔1.MX6Q，具有强大的数据处理性能，内部集成4个C0RTEX-A9内核，运行频率达1.2GHz，带有IMB L2缓存，支持1080P@60fps解码和1080P@30fps编码，同时还可以在高清模式下播放3D视频，它还可以同时管理用于3D立体拍摄的双摄像头，拥有独立的2D和顶点加速引擎；接口方面，可支持HDMI1.4，USB2.0和千兆以太网卡；同时拥有丰富的外围接口，如USB OTG, USB HOST、SP1、I2C、UART等，负责外围设备接入。
3.根据权利要求1所述的多媒体互动查询一体机，其特征在于:所述USBHUB芯片(102)，采用SMSC公司的四端口集线器控制器USB2514，内部电路包括转发器、控制器和处理翻译器；该控制器具有I个USB上行端口、4个USB下行端口，每个下行端口最大工作电流可为500mA，最高速率为480Mbps，并在全速USB1.1和低速USB1.0的基础上提出第三种高速传输速率；USB2.0完全兼容USB1.1和USB1.0 ；USB HUB支持多个不同属性的USB外部设备，分层星形拓扑结构支持多达127个外部设备，为USB用户提供方便、简捷的连接方式；同时也支持热插拔，即在不关机的情况下用户可直接插入或拔出设备。
4.根据权利要求1所述的多媒体互动查询一体机，其特征在于:所述RS232收发器(103)，采用SIPEX公司的SP3232EEN芯片，该接收器是一个2驱动器/2接收器的器件，包含Sipex系列特有的片内电荷泵电路，可从+3.0V?+5.5V的电源电压产生2 X Vcc的RS-232电压电平?’满足EIA/TIA-232和V.28/V.24通信协议，适用于便携式或手持式设备；该器件的驱动器满载工作时典型的数据传输速率为235Kbps，其内部为所有驱动器输出和接收器输入管脚提供的ESD保护，使得驱动器和接收器的管脚可承受土 15kV人体放电模式和IEC1000-4-2气隙放电模式。
5.根据权利要求1所述的多媒体互动查询一体机，其特征在于:所述音频DAC电路(104)，采用NAU8822A芯片，该芯片是一款低功耗、高质量的音频编解码器，集成24位立体声ADC和DAC模块，可以直接驱动扬声器、耳机等音频设备；所述以太网收发器电路(105)，采用ATHEROS公司的AR8035芯片，该芯片是一款高效的10/100/1000Mbps的以太网收发器，支持完整的IEEE802.3az标准，支持SGMII和RGMII的MAC接口，支持10BASE-T、100BASE-TX和1000BASE-T，支持LAN唤醒和高达1KB的全双工，Atheros专有的SmartEEE技术。
6.根据权利要求1所述的多媒体互动查询一体机，其特征在于:所述主CPU(201)，采用Microchip公司的PIC18F14K50单片机，是一款采用nanoWatt XLP技术的20引脚USB闪存单片机，支持最多16个端点的全速和低速USB2.0，集成256字节双通道快速操作RAM，256字节数据EEPR0M，16K字节程序存储器；提供11路10位ADC，2路模拟比较器，I路PWM输出，SPI和I2C主同步串行端口，I路增强型USART收发器；所述3D跟踪姿态控制器(202)，采用Microchip公司的MGC3130芯片，该芯片是全球第一款单芯片3D手势/自由空间位置跟踪解决方案，是人机界面解决方案的新选择，可在70?130kHz电场频率中侦测手势的变化；利用Microchip公司最新的GestIC技术,该芯片可在15cm的距离内以150dpi的精度确定位置，采样率为每秒200次，这种GestIC技术可侦测手、手指的位置、速度与加速度属性；该芯片的固件还可让频率实现跳动，充分排除射频干扰；功率要求非常低，侦测和处理手势的过程中仅为10mW,平常待机模式下为150uW，深度睡眠模式时30uW ;所述手势识别天线(203)，获取手势动作信息，将有效的动作信息传送到四核ARM处理器(101)，由四核ARM处理器(101)所述根据动作信息进行相应的操作。
7.根据权利要求1所述的多媒体互动查询一体机，其特征在于:所述显示器(3)，采用19寸IXD显示屏，分辨率为1440*900，用于人机交互，信息显示；所述音响设备(4)，为立体声音响，采用2*8欧8W扬声器，用于播放音频信息，通过声音提醒用户进行相应的操作；所述AC-DC电源(5)，采用集成的AC/DC电源板，支持110?240V交流电输入，输出12V/3A的直流电压，主要用于向该查询机内的各部件提供充足稳定的电源。
8.一种基于手势识别的多媒体互动查询一体机的使用方法，其特征在于，包括: 1)当用户使用该查询机时，在3D手势识别区域进行系统定义的手势动作； 2)系统根据定义的手势动作，在显示屏上显示该用户想要进行的操作，用户不再需要用手指在显示屏上触摸点击虚拟功能键进行查询。
【文档编号】G06F3/01GK104407706SQ201410722606
【公开日】2015年3月11日 申请日期:2014年12月1日 优先权日:2014年12月1日
【发明者】张军, 李丽, 施晓燕, 高峰 申请人:江苏怡通智运科技发展有限公司