一种用于识别与表示手势的追踪处理系统的制作方法

[0001]
本实用新型涉及智能教学系统技术领域，特别涉及一种用于识别与表示手势的追踪处理系统。


背景技术：

[0002]
手语是聋哑人的主要语言。由于手语的普及率较低，他们难以与听力正常者交互。
[0003]
正因为如此,近年来研究人员花了很多时间试图通过机器进行手语识别。目前常用的技术为使用深度相机（kinect 或leap motion）来识别手语。使用深度相机识别手语的方式为通过红外线光源发出红外光并接收由环境及使用者反射回的红外光。通过检测相位差对使用者进行三维立体成像后再进行人体轮廓识别，关节定位。用户可通过深度相机读取到的动作将基本动作定义为手语单词。
[0004]
深度相机的常见使用方式为固定在显示屏上方，使用者在显示屏前做出所需的动作或手语。
[0005]
目前在教学系统中使用深度相机在对聋哑人进行教学时，因为相机为固定式安装，因此识别范围有限，影响教学质量。并且目前教学系统也没有通过简单动作发出快捷消息的功能，而这一点对于聋哑人十分重要，故现有的手势识别方式不适合聋哑人课堂使用。


技术实现要素：

[0006]
本实用新型目的是解决现有技术中的教学系统不适合对聋哑人教学，影响教学质量的问题。
[0007]
为达到上述目的之一，本实用新型采用以下技术方案：一种用于识别与表示手势的追踪处理系统，其中，包括：主终端，所述主终端具有：显示单元，所述显示单元显示聋哑人动作转换的文字；副终端，所述副终端具有：id 单元，所述主终端预先保存id 单元的编号信息；手势传感器，所述手势传感器用于获取以及识别聋哑人的动作信息；深度相机，所述深度相机连接所述主终端，所述深度相机朝向所述副终端；云台，所述云台为可旋转结构，所述深度相机安装在所述云台上；主控制器，所述主控制器连接所述主终端和所述副终端以及所述云台。
[0008]
首先，需表明的是，主终端为教师用电脑，副终端为聋哑学生用电脑。
[0009]
其次，所述显示单元包括但不限于显示聋哑人动作转换的文字，还包括显示根据聋哑人动作识别手语、显示深度相机获取的视频画面，显示快捷短语。
[0010]
然后，id 单元的编号信息对应学生的姓名及座位与讲台的角度，用于对深度相机角度方向的调整以及在主终端上显示正在作答的学生姓名。
[0011]
最后，本申请的工作原理为：当某一副终端上的聋哑学生向手势传感器进行手语动作时，将触发深度相机工作，主终端显示深度相机获取的画面，以及主终端根据预先保存得到的该副终端的id 编号信息所对应的角度数据判断其所在位置是否在深度相机的画面中央，如不在，则通过主终端通过主控制器向云台发出信号，使得云台带动深度相机旋转，
进而使得深度相机对准副终端。
[0012]
深度相机与该副终端的角度最终不小于10 度，使得主终端能够根据深度相机获取到该聋哑学生手势动作，进而将该手势动作转换成手语信息或根据该手势动作触发快捷信息，其中，如果聋哑学生向手势传感器做出特定的动作，则可以打开或关闭深度相机。
[0013]
进一步地，在本实用新型实施例中，云台由主控制器控制方向。
[0014]
进一步地，在本实用新型实施例中，所述云台为单轴相机云台。
[0015]
进一步地，在本实用新型实施例中，所述副终端通过无线串口与所述主控制器连接。
[0016]
进一步地，在本实用新型实施例中，所述手势传感器根据基本动作录入了相应的快捷消息和是否激活手势传感器的信息。通过向所述副终端的手势传感器做出的基本的动作触发快捷消息或激活手势识别系统。
[0017]
手势传感器的加入使快捷短语与手语识别能力配合，提高了聋哑学生与教师沟通的效率。
[0018]
进一步地，在本实用新型实施例中，所述手势传感器为paj7620 手势传感器。
[0019]
进一步地，在本实用新型实施例中，所述副终端还包括指示灯与at89c52 单片机，该at89c52 单片机作为处理器，所述id 单元分配在所述该at89c52 单片机上。
[0020]
更进一步地，在本实用新型实施例中，所述无线串口为lc12s 无线串口。
[0021]
进一步地，在本实用新型实施例中，所述主终端具有对关节位置追踪的手语识别功能。
[0022]
进一步地，在本实用新型实施例中，所述主终端还具有：语音模块，所述语音模块用于将文字或者聋哑人的动作转换成语音信息。
[0023]
进一步地，在本实用新型实施例中，所述副终端还具有：灯光模块，所述灯光模块用于表示聋哑人是否处于正在做动作。灯光模块的指示灯是聋哑学生特殊教育中常用的信息传递方式，指示灯的加入更能直观的吸引师生注意力。
[0024]
更进一步地，在本实用新型实施例中，所述副终端还具有：播放模块，所述播放模块用于播放转换出的所述语音信息。
[0025]
进一步地，在本实用新型实施例中，所述主控制器为atmega328p。
[0026]
此外，手势传感器有识别简单动作的能力，学生可通过做出基本的动作触发快捷消息或激活手势识别系统，比如：向前挥手-深度相机启动，灯光模块的指示灯亮起表示该生开始发言，主终端的显示单元显示提问者姓名，深度相机根据副终端的id 编号自动转到提回答者，进行手语识别并显示出识别到的文字。
[0027]
向后挥手-深度相机关闭，云台回正，指示灯灭表示该生发言完毕。
[0028]
向左挥手-主终端发出声音“我有一个问题”，并显示文字提醒“有学生提问”。
[0029]
向右挥手-主终端发出声音“点赞”并显示文字提醒“点赞”。
[0030]
上下挥手-主终端发出声音“老师我没听懂”。
[0031]
手语识别方法为：通过深度相机追踪手掌位置、手肘位置及手掌的朝向与预先录入的动作库进行比对。
[0032]
本实用新型提供一种可覆盖全教室，拥有手语识别、快捷交互、语音合成及投屏功能的手语翻译教学系统，用于为聋哑学生授课的特殊教育学校，提高聋哑人的教学质量。
[0033]
本实用新型的有益效果是：本申请采用预先保留副终端id 编号信息的方式，使得副终端的手势传感器每次获取到动作信息时，主终端都能锁定副终端的位置，进而使用云台控制深度相机旋转对准该副终端，因此使得深度相机可以对教室内任意指定位置的学生进行手语识别。故每次当聋哑学生碰到问题时，该学生在打手语时无需离开座位走到镜头前，就能及时、有效、快速的反应，大大加强了聋哑学生学习的质量效果。
附图说明
[0034]
图1为本实用新型实施例用于识别与表示手势的追踪处理系统结构示意图。
[0035]
图2 为本实用新型实施例深度相机的使用流程示意图。
[0036]
图3为本实用新型实施例用于识别与表示手势的追踪处理系统使用效果示意图。
具体实施方式
[0037]
为了使本实用新型的目的、技术方案进行清楚、完整地描述，及优点更加清楚明白，以下结合附图对本实用新型实施例进行进一步详细说明。应当理解，此处所描述的具体实施例是本实用新型一部分实施例，而不是全部的实施例，仅仅用以解释本实用新型实施例，并不用于限定本实用新型实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本实用新型保护的范围。
[0038]
在本实用新型的描述中，需要说明的是，术语“中心”、“中”“上”、“下”、“左”、“右”、“内”、“外”、“顶”、“底”、“侧”、“竖直”、“水平”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本实用新型和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本实用新型的限制。此外，术语“一”、“第一”、“第二”、“第三”、“第四”、“第五”、“第六”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0039]
在本实用新型的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本实用新型中的具体含义。
[0040]
出于简明和说明的目的，实施例的原理主要通过参考例子来描述。在以下描述中，很多具体细节被提出用以提供对实施例的彻底理解。然而明显的是。对于本领域普通技术人员，这些实施例在实践中可以不限于这些具体细节。在一些实例中，没有详细地描述公知房梁、支撑柱连接方法和结构，以避免无必要地使这些实施例变得难以理解。另外，所有实施例可以互相结合使用。
[0041]
实施例1：一种用于识别与表示手势的追踪处理系统，如图1-3 所示，其中，包括：主终端、副终端、深度相机、云台、主控制器。
[0042]
主终端为教师用电脑，副终端为聋哑学生用电脑。
[0043]
主终端具有显示单元，显示单元具体为显示屏，显示单元显示聋哑人动作转换的文字。
[0044]
显示单元包括但不限于显示聋哑人动作转换的文字，还包括显示根据聋哑人动作
识别手语、显示深度相机获取的视频画面，显示快捷短语。
[0045]
副终端具有id 单元与手势传感器。id 单元的编号信息预先录入在主终端中，手势传感
[0046]
器用于获取以及识别聋哑人的动作信息。
[0047]
id 单元的编号信息对应学生的姓名及座位与讲台的角度，用于对深度相机角度方向的调整以及在主终端上显示正在作答的学生姓名。
[0048]
手势传感器为现有技术，其早已被记载公开，并且应用非常广泛，比如第2012/0280107号美国专利申请公布(2012 年11 月08 日)和第2012/0280904 号美国专利申请公布(2012 年11 月08 日)公开了的手势传感器技术，又比如我国专利cn201410582403.1 公开的手势单元和手势传感器，我国专利cn201410502913.3 公开的一种手势控制摄像头旋转的方法、装置及红外手势传感器。
[0049]
深度相机与主终端相连，深度相机的摄像头朝向副终端，深度相机为kinect，kinect 拥有1080p 高清视频录像的功能与人体姿态识别的功能，可识别人的肢体动作。
[0050]
主终端用于显示kinect 拍摄的画面，显示手语识别文字，主终端还能控制kinect 进行手语识别功能。
[0051]
云台为可旋转结构，深度相机安装在云台上。当有学生启动手语感应器发言时，主控制器会根据副终端的id 编号所对应的角度数据判断其所在位置是否在深度相机的画面中央，如果不在识别角度内，将自动控制云台将深度相机旋转到需要的角度。
[0052]
主控制器连接主终端和副终端以及云台。
[0053]
本申请的工作原理为：当某一副终端上的聋哑学生向手势传感器进行手语动作时，将触发深度相机工作，主终端显示深度相机获取的画面，以及主终端根据预先保存得到的该副终端的id 编号信息所对应的角度数据判断其所在位置是否在深度相机的画面中央，如不在，则通过主终端通过主控制器向云台发出信号，使得云台带动深度相机旋转，进而使得深度相机对准副终端。
[0054]
深度相机与该副终端的角度最终不小于10 度，使得主终端能够根据深度相机获取到该聋哑学生手势动作，进而将该手势动作转换成手语信息或根据该手势动作触发快捷信息，其中，如果聋哑学生向手势传感器做出特定的动作，则可以打开或关闭深度相机。
[0055]
本申请采用预先保留副终端id 编号信息的方式，使得副终端的手势传感器每次获取到动作信息时，主终端都能锁定副终端的位置，进而使用云台控制深度相机旋转对准该副终端，因此使得深度相机可以对教室内任意指定位置的学生进行手语识别。故每次当聋哑学生碰到问题时，该学生在打手语时无需离开座位走到镜头前，就能及时、有效、快速的反应，大大加强了聋哑学生学习的质量效果。
[0056]
优选地，云台由主控制器控制方向。
[0057]
优选地，云台为单轴相机云台。
[0058]
优选地，副终端通过无线串口与主控制器连接。
[0059]
更优选地，无线串口为lc12s 无线串口。
[0060]
优选地，所述手势传感器具有识别手语的功能，并且根据动作还能激活或关闭该手势传感器，手势传感器根据基本动作录入了相应的快捷消息和是否激活手势传感器的信息。通过向副终端的手势传感器做出的基本的动作触发快捷消息或激活手势传感器。
[0061]
手势传感器的加入使快捷短语与手语识别能力配合，提高了聋哑学生与教师沟通的效率。
[0062]
优选地，手势传感器为paj7620 手势传感器。
[0063]
优选地，副终端还包括指示灯与at89c52 单片机，该at89c52 单片机作为处理器，id 单元分配在该at89c52 单片机上。
[0064]
优选地，主终端具有对关节位置追踪的手语识别功能。
[0065]
优选地，主终端还具有语音模块，语音模块用于将文字或者聋哑人的动作转换成语音信息。
[0066]
优选地，副终端还具有灯光模块，灯光模块用于表示聋哑人是否处于正在做动作。灯光模块的指示灯是聋哑学生特殊教育中常用的信息传递方式，指示灯的加入更能直观的吸引师生注意力。
[0067]
更优选地，副终端还具有播放模块，播放模块用于播放转换出的语音信息。
[0068]
优选地，主控制器为atmega328p。
[0069]
此外，手势传感器有识别简单动作的能力，学生可通过做出基本的动作触发快捷消息或激活手势识别系统，比如：向前挥手-深度相机启动，灯光模块的指示灯亮起表示该生开始发言，主终端的显示单元显示提问者姓名，深度相机根据副终端的id 编号自动转到提回答者，进行手语识别并显示出识别到的文字。
[0070]
向后挥手-深度相机关闭，云台回正，指示灯灭表示该生发言完毕。
[0071]
向左挥手-主终端发出声音“我有一个问题”，并显示文字提醒“有学生提问”。
[0072]
向右挥手-主终端发出声音“点赞”并显示文字提醒“点赞”。
[0073]
上下挥手-主终端发出声音“老师我没听懂”。
[0074]
手语识别方法为：通过深度相机追踪手掌位置、手肘位置及手掌的朝向与预先录入的动作库进行比对。
[0075]
尽管上面对本实用新型说明性的具体实施方式进行了描述，以便于本技术领域的技术人员能够理解本实用新型，但是本实用新型不仅限于具体实施方式的范围，对本技术领域的普通技术人员而言，只要各种变化只要在所附的权利要求限定和确定的本实用新型精神和范围内，一切利用本实用新型构思的实用新型创造均在保护之列。