一种手势识别装置、系统及方法
【技术领域】
[0001] 本发明涉及智能识别领域，尤其涉及一种可识别人体手部动作并进行相应控制的 电子装置、系统及方法。
【背景技术】
[0002] 现如今，随着科学技术的发展，大显示屏的电子装置，例如液晶电视、显示器或者 电脑一体机等已进入寻常百姓的家庭生活中。然而目前对大显示屏电子装置的控制主要依 靠红外遥控器以及无线键鼠等实体，这些解决方案普遍存在操作不便且传输距离有限等 缺陷，特别当红外遥控器和无线键鼠损坏或丢失时，导致无法对该大显示屏电子装置进行 遥控。
【发明内容】
[0003] 有鉴于此，有必要提供一种实现手势识别的装置、系统与方法，以解决红外遥控器 及无线鼠标等操作不便且传输距离有限的问题。
[0004] -种手势识别装置，包括显示屏、摄像头、存储单元和处理单元，该摄像头用于摄 取人体手部的动作，该存储单元存储有不同手势动作与功能操作指令的对应关系表，该处 理单元建立有包括人体手部关键骨骼节点的人体手部关键骨骼模型，该处理单元包括：
[0005] 手部识别模块，用于获取摄像头拍摄的一系列人体影像并从该人体影像中分析判 断出人体手部影像。；
[0006] 信息分析模块，用于对该获取的人体手部影像进行分析处理并获取人体关键骨骼 模型中的各关键骨骼节点的位移数据，并将获取到的各关键骨骼节点位移数据进行优化；
[0007] 动作模拟模块，用于根据获取的人体关键骨骼模型中的各关键骨骼节点的位移数 据确定人手所做的各类手势动作；
[0008] 处理模块，用于根据确定的手势动作及手势动作与功能操作指令的对应关系确定 与该手势动作对应的功能操作指令，并控制执行该功能操作指令。
[0009] -种手势识别系统，该系统运行在一种手势识别装置中，该手势识别装置包括显 示屏、摄像头、存储单元和处理单元，该摄像头用于摄取人体手部的动作，该存储单元存储 有不同手势动作与功能操作指令的对应关系表，该系统建立有包括人体手部关键骨骼节点 的人体手部关键骨骼模型，该系统包括：
[0010] 手部识别模块，用于获取摄像头拍摄的一系列人体影像并从该人体影像中分析判 断出人体手部影像。；
[0011] 信息分析模块，用于对该获取的人体手部影像进行分析处理并获取人体关键骨骼 模型中的各关键骨骼节点的位移数据，并将获取到的各关键骨骼节点位移数据进行优化；
[0012] 动作模拟模块，用于根据获取的人体关键骨骼模型中的各关键骨骼节点的位移数 据确定人手所做的各类手势动作；
[0013] 处理模块，用于根据确定的手势动作及手势动作与功能操作指令的对应关系确定 与该手势动作对应的功能操作指令，并控制执行该功能操作指令。
[0014] -种手势识别方法，该方法运用在一种手势识别装置中，该方法包括步骤：
[0015] 建立人体手部关键骨骼的模型；
[0016] 获取摄像头拍摄的一系列人体影像并从该人体影像中分析判断出人体手部影 像；
[0017] 对该获取的人体手部影像进行分析处理并获取人体关键骨骼模型中的各关键骨 骼节点的位移数据，并将获取到的各关键骨骼节点位移数据进行优化；
[0018] 根据获取的人体关键骨骼模型中的各关键骨骼节点的位移数据确定人手所做的 各类手势动作；
[0019] 根据确定的手势动作及手势动作与功能操作指令的对应关系确定与该手势动作 对应的功能操作指令，并控制执行该功能操作指令。
[0020] 本发明中的手势识别装置、系统及方法通过建立包括有人体手部关键骨骼节点的 人体手部关键骨骼模型且利用摄像头获取人体手部关键骨骼节点的位移数据并根据该位 移数据确定人手所做的各类手势动作，并根据该获得的手势动作和手势动作与功能操作指 令的对应关系确定该手势动作对应的功能操作指令，并执行该功能操作指令。本发明操作 方便，避免了遥控器等具有操作不便且传输距离有限等缺陷。
【附图说明】
[0021] 图1为本发明一实施方式中手势识别装置的功能模块图。
[0022] 图2为本发明一实施方式中手势识别系统的功能模块图。
[0023] 图3为本发明中人体手部关键骨骼模型图。
[0024] 图4为本发明一实施方式中手势识别方法流程图。
[0025] 主要元件符号说明
[0027] 如下【具体实施方式】将结合上述附图进一步说明本发明。
【具体实施方式】
[0028] 下面结合附图，对本发明中的手势识别装置、系统和方法作进一步的详细描述。
[0029] 请参考图1，为本发明一实施方式中可进行手势识别控制的电子装置200(以下称 为：电子装置200)的功能模块图。该电子装置200包括显示屏10、摄像头20、存储单元30 和处理单元40。该摄像头20用于摄取人体影像，尤其是人体手部的动作。该存储单元30 存储有一对应关系表，该对应关系表定义了不同手势动作与功能操作指令的对应关系。例 如，该对应关系表中定义向左或向右的移动手势对应的功能操作指令为控制显示屏10中 显示的的光标向左或向右移动，旋转一圈的手势动作对应的功能操作指令为控制显示屏10 产生一调制控制界面。本实施方式中，一手势识别系统100存储在存储单元30中，并能被 处理单元40调用执行。该手势识别系统100通过建立包括有人体手部关键骨骼节点的人 体手部关键骨骼模型300且利用摄像头20获取人体手部关键骨骼节点的位移数据并根据 该位移数据确定人手所做的各类手势动作，并根据该获得的手势动作和手势动作与功能操 作指令的对应关系确定该手势动作对应的功能操作指令，并执行该功能操作指令。
[0030] 请一并参考图2,该人体手部关键骨骼模型300中，将人体手部关键骨骼分为前臂 骨骼节点一 301、前臂骨骼节点二302、前臂骨骼节点三303、手指骨骼节点一 304、手指骨骼 节点二305和手指骨骼节点三306,通过人体手部关键骨骼模型300中手部的六个关键骨骼 节点的位移来模拟各类手势动作。在其他实施方式中，该手势识别系统100为固化在该处 理单元40中的模块程序。
[0031] 本实施方式中，该电子装置200为液晶电视、电脑等，该摄像头20为一个3D (三 维）摄像头，该摄像头20安装在电子装置200的液晶显示屏上方中间位置处，用于识别用 户在三维空间的手势动作。在其他实施方式中，该摄像头20为2D(二维）摄像头且个数为 两个，该两个摄像头20分别安装在装置200的液晶显示屏10左边的中间位置和液晶显示 屏10右边的中间位置处，分别用来获取与该装置200所在液晶显示屏10面平行面的手势 动作信息和与该装置200所在液晶显示屏10面垂直面的手势动作信息。
[0032] 请参考图3,为本发明一实施方式中手势识别系统100的功能模块图。该系统100 包括手部识别模块60、信息分析模块70、动作模拟模块80和处理模块90。该系统100所述 的模块是指完成一特定功能的程序段。其中，该手部识别模块60用于获取摄像头20拍摄 的一系列人体影像并从该人体影像中分析判断出人体手部影像。其中，该人体手部影像包 括人体手部的关键骨骼部位的影像。本实施方式中，手部识别模块60通过手部的面积参数 或者手部的形状，比如手部宽度与长度对比参数，或者两者的结合从获取的人体影像中判 断出人体手部影像。
[0033] 该信息分析模块70用于对该获取的人体手部影像进行分析处理而对每个人体 影像中的人体手部影像建立对应的人体关键骨骼模型300,并对比该些人体关键骨骼模型 300获取人体关键骨骼模型300中的各关键骨骼节点的位移数据。具体的，该信息分析模块 70将获取的第一幅人体手部影像建立的人体关键骨骼模型300作为参照模型，并将后续获 取的一系列人体手部影像建立的人体关键骨骼模型300与该参照模型进行比对分析后判 断出人体手部各关键节点的位移数据。该信息分析模块70还用于将获取到的各关键骨骼 节点位移数据进行优化。其中，该信息分析模块70将获取到的各关键骨骼节点位移数据通 过投影算法进行优化，使优化过的各关键骨骼节点位移数据准确地反映出骨骼的动作。
[0034] 该动作模拟模块80用于根据获取的人体关键骨骼模型300中的各关键骨骼节点 的位移数据确定人手所做的各类手势动作。例如，当该动作模拟模块80确定人体手部关键 骨骼中的前臂骨骼节点一 301和前臂骨骼节点二302的位移方向基本不变，而人体手部关 键骨骼中的前臂节点三303、手指骨骼节点一 304、手指骨骼节点二305和手指骨骼节点三 306的位移方向向左（向右）时，则确定与之对应的手势动作为向左（向右）。又如，当动 作模拟模块80确定人体手部关键骨骼中的节点一 301的位移基本不变，而人体手部的关键 骨骼中的节点二302、前臂节点三303、手指骨骼节点一 30