专利名称：基于手语手套的手语识别方法及系统的制作方法
技术领域：
本发明涉及人工智能领域的模式识别，尤其涉及一种基于手语手套的手语识别方 法及系统。
背景技术：
目前的手势识别分为两种，一种是基于传感器数据的手势识别方法，一种是基于 图像识别的手势识别方法。
基于物理手套传感器数据的手势识别是从传感器直接获得手指运动特征数据，通 过一定的算法将其翻译成人可直接识别的文字或声音；基于图像识别的手势识别方法是通 过图像录入设备把手行输入到计算机当中，借助图像处理技术进行手势识别的方法。
国内外科学家对手势识别进行了大量基于图像识别的研究。但对于基于图像识别 的手势识别方法，依赖于摄像机成像、环境、光线等因素，由于人手在运动过程中，必然会使 手指遮掩而使摄像机拍摄不到要分析的手指图像。
对基于传感器数据手套的手势识别技术近年来国内也有研究，主要是通过单一的 传感器所获取的手指运动特征值进行匹配，如加速度值或者角度值。即基于单一源的数据 采集和数据识别。其需要依靠服务器端大数据量的模式匹配，在客户端无法直接完成识别。发明内容
本发明要解决的技术问题在于针对现有技术中手语识别正确率低，识别速度不高 的缺陷，提供一种基于多个数据源的数据采集和识别，且识别正确率高、速度快的手语识别 方法及手语识别手套。
本发明解决其技术问题所采用的技术方案是
提供一种基于手语手套的手语识别方法，包括以下步骤
获取手语识别手套的手指弯曲部分的弯曲传感器感知的手指弯曲数据；
获取手语识别手套的手腕部分的旋转传感器感知的手掌旋转角度数据；
采集手语识别手套的图像，其中手套十只指尖的颜色各不相同，十只手指的颜色 各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；
对采集的图像进行颜色识别，根据颜色识别提取指尖的特征值、手指部分的特征 值、手心和手背的特征值以及手腕部分的特征值；
对手指弯曲数据和手掌旋转角度数据进行预处理，并将预处理后的数据和所有的 特征值组成匹配序列，将该匹配序列与存储在手语数字化标准库中的数据进行匹配；
将匹配的结果转化为可识别的输出信号并发送给输出终端。
本发明所述的手语识别方法中，该方法还包括步骤
获取手语识别手套上设置的磁力传感器感知的指尖运动数据并进行预处理，所述 手语手套的指尖上设有磁铁；
所述匹配序列中还包括预处理后的指尖运动数据。
本发明所述的手语识别方法中，指尖的特征值为对应不同颜色指尖的点坐标；手 指部分的特征值为对应不同颜色指尖的线坐标；手心和手背的特征值为对应不同颜色的手 心和手背的中心坐标；手腕部分的特征值为对应不同颜色手腕部分的中心坐标。
本发明所述的手语识别方法中，所述输出信号为文字、图片或者语音。
本发明解决其技术问题所采用的另一技术方案是
提供一种基于手语手套的手语识别系统，包括
指尖运动数据获取模块，用于获取手语识别手套上设置的指尖传感器感知的指尖 运动数据；
手指弯曲数据获取模块，用于获取手语识别手套的手指弯曲部分的弯曲传感器感 知的手指弯曲数据；
手掌旋转角度数据获取模块，用于获取手语识别手套的手腕部分的旋转传感器感 知的手掌旋转角度数据；
预处理模块，用于对手指弯曲数据和手掌旋转角度数据进行预处理；
图像采集模块，用于采集手语识别手套的图像，其中手套十只指尖的颜色各不相 同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有 不同的颜色；
颜色识别模块，用于对采集的图像进行颜色识别；
特征值提取模块，用于根据颜色识别提取指尖的特征值、手指部分的特征值、手心 和手背的特征值以及手腕部分的特征值；
匹配模块，用于将预处理后的手指弯曲数据、手掌旋转角度数据和所有的特征值 组成匹配序列，将该匹配序列与存储在手语数字化标准库中的数据进行匹配；
输出模块，用于将匹配的结果转化为可识别的输出信号并发送给输出终端。
本发明所述的手语识别系统中，所述数据获取模块，还用于获取手语识别手套上 设置的磁力传感器感知的指尖运动数据，所述手语手套的指尖上设有磁铁；
所述预处理模块还用于对所述指尖运动数据进行预处理；
所述匹配序列中还包括预处理后的指尖运动数据。
本发明所述的手语识别系统中，所述特征值提取模块中所提取的指尖的特征值为 对应不同颜色指尖的点坐标；手指部分的特征值为对应不同颜色指尖的线坐标；手心和手 背的特征值为对应不同颜色的手心和手背的中心坐标；手腕部分的特征值为对应不同颜色 手腕部分的中心坐标。
本发明解决其技术问题所采用的第三技术方案是
提供一种手语手套，其特征在于，手套十只指尖的颜色各不相同，十只手指的颜 色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；
手指弯曲部分设有弯曲传感器，用于感知手指弯曲数据；
手腕部分设有旋转传感器，用于感知手掌旋转角度数据；
手语手套上设有数据通信模块，用于接收所述手指弯曲数据和所述手掌旋转角度 数据并通过无线的方式发送给手语识别系统。
本发明所述的手语手套中，手套指尖上设有磁铁，手套手背上设有磁力传感器，用 于感知指尖动作时磁铁产生的磁力；所述数据通信模块还用于接收磁力传感器感知的磁力数据并通过无线的方式发送给手语识别系统。
本发明所述的手语手套中，所述弯曲传感器至少感知手指的4种弯曲程度。
本发明所述的手语手套中，所述旋转传感器至少感知手掌的4种旋转角度。
本发明产生的有益效果是本发明的手语手套中磁力传感器、弯曲传感器、旋转传 感器等可采样多种数据，将单个手的动作进行了准确的数据采集，提高了准确率；通过将手 套的指尖，手指等的涂色，将复杂的动作视频识别简化为简单的颜色识别。
进一步地通过确定点、线、面的空间坐标，从而将双手的空间组合关系进行了准确 的数据采集，同时也辅助了单个手的动作的数据采集，提高了识别准确率。
下面将结合附图及实施例对本发明作进一步说明，附图中
图1是本发明实施例基于手语手套的手语识别方法流程图2是本发明实施例基于手语手套的手语识别系统结构示意图。
具体实施方式
为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对 本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不 用于限定本发明。
本发明的手语手套的十只指尖的颜色各不相同，十只手指的颜色各不相同；手心 和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色。手套的手指弯曲部分 设有弯曲传感器，用于感知手指弯曲数据；手腕部分设有旋转传感器。利用该手套，可将标 准的手语进行数字化，即将手语中的字，词，句等表达单元进行数字化，保存到一个手语数 字化标准库中。
本发明实施例基于手语手套的手语识别方法，如图1所示，包括以下步骤
S101、获取手语识别手套的手指弯曲部分的弯曲传感器感知的手指弯曲数据；
S102、获取手语识别手套的手腕部分的旋转传感器感知的手掌旋转角度数据；
S103、采集手语识别手套的图像，其中手套十只指尖的颜色各不相同，十只手指的 颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；
S104、对采集的图像进行颜色识别；根据颜色识别提取指尖的特征值、手指部分的 特征值、手心和手背的特征值以及手腕部分的特征值；
S105、对手指弯曲数据和手掌旋转角度数据进行预处理；
S106、将预处理后的数据和所有的特征值组成匹配序列，将该匹配序列与存储在 手语数字化标准库中的数据进行匹配；
S107、将匹配的结果转化为可识别的输出信号并发送给输出终端。本发明的一个 实施例中，输出信号为文字、图片或者语音。
进一步地，本发明实施例中，指尖的特征值为对应不同颜色指尖的点坐标；手指部 分的特征值为对应不同颜色指尖的线坐标；手心和手背的特征值为对应不同颜色的手心和 手背的中心坐标；手腕部分的特征值为对应不同颜色手腕部分的中心坐标。
本发明的一个实施例中，为了更好地识别手指的动作，手语手套的指尖上设有磁铁，手套上设有磁力传感器，通过磁力传感器感知磁铁的磁力变化可以感知手指的运动，则该方法还包括步骤
获取手语识别手套上设置的磁力传感器感知的指尖运动数据并进行预处理，手语手套的指尖上设有磁铁；
匹配序列中还包括预处理后的指尖运动数据。
通常，在手语数字化时，以手语的表达单位为索引，由简单到复杂进行数字化，例如，“你好”，“再见”，“谢谢”，“很好”，“你叫什么名字”，“很高兴认识您”等。一个手语表达单元，可能有多个手语动作。如果一个手语动作数字化后为一个矢量，则一个手语表达单元数字化后可能为多个矢量。
例如，将手语中的“你好”进行数字化，其方法是
I)先戴上手套；
2)然后用手语表示这个词，手套上的传感器返回了相应的感知数据。同时这个动作用视频记录下来，通过视频分析软件(主要是模式提取和识别)提取出手套中不同的颜色，并将这些颜色的空间坐标形成一个坐标序列。将感知数据(用矢量S表示)和视频分析 (用矢量V表示)数据集中起来作为手语的数字化结果，该结果称为手语数字化标准库，例如，可用一个矢量(Si I V)表示。易知，该标准库中保存的是手语对应的文字(如本例中的“你好”)及其对应的矢量；
3)在需要进行手语和文字转换时，将手套戴上，然后开始手语识别，即利用手套采集的数据，与手语数字化标准库进行匹配。从而得到手语对应的文字。
本发明的一个较佳实施例中，手套的指尖具有10种颜色，不妨用C[I]，C[2]，… ，C[10]表示。
手套的手指部分(即从指尖到手掌的部分，长度一般为接近于普通人手指的长度)具有10种颜色，不妨用D[1]，D[2]，…，D[10]表示。
手套的掌心和手背的中心部分用圆表示，具有2种颜色，不妨用E[1]，E[2]表示。
手套的小手臂部分(从肘部到手腕部之间的部分)具有2种颜色，一个是左手，一个是右手，不妨用G[I]和G[2]表不。
可在手套外侧每个指甲上(一个简化版本是拇指，食指，无名指上，因为这三个手指是手语动作中的基本手指)具有磁铁，能够对手掌心的磁力传感器产生磁力影响。
手套手心外侧或手背装有磁力传感器，可将来自手套外侧指甲上的磁铁装置产生的磁力记录下来。手语表达单元如对应一个手语动作，则不妨设该值为T。若一 个手语表达单元对应多个动作，例如，“你好”对应2个手语动作，则不妨设该值为T[l]，Τ[2]。
手套手指部分具有弯曲传感器装置，可以感知手指弯曲的程度。假设每个手指的编号为八[1]^[2]，一^[10]，根据传感器的性能(价格)，不妨设手指弯曲的程度用高度弯曲，中度弯曲，轻度弯曲，不弯曲4种状态表示，则感知的10个手指的弯曲数据为 A[i, j], I≤i≤10，I≤j≤4表示。
手套的手腕上具有旋转扭矩传感器(即上文所描述的旋转传感器)，可以感知手掌的方位(如向上，向下，向左，向右等)。根据传感器的性能(价格)，不妨设手掌的旋转角度用 B[1]，B[2]，…，B[n]表示。例如左旋90度为B [I]，右旋90度为B [2]，上旋90度为B [3]， 下旋90度为B [4]等。
—个手语表达单元，可能有多个手语动作。如果一个手语动作的传感器数据为一个矢量，则一个手语表达单元的传感器数据可能为多个矢量。
识别时对图像中的特征值进行提取，以将图像转化为空间坐标的序列。识别产生的数据为C[1]，C[2]， ，C[10]，D[1]，D[2]， ，D[10]，E[1]，E[2]的空间位置的组合，通常表示为在一个XY 二维坐标系(也可为XYZ三维空间坐标系，例如50厘米*50厘米*50厘米空间，由普通人的小大臂长度为主要依据确定)中的点线面关系。通过简单的颜色识别，可将视频中的指尖部分提取为10个点(P[1]，P[2]，…，P[10])，将视频中的手指部分提取为 10根线(L[1]，L[2]，一，L[10])，将手掌心和手背心的2种颜色提取为2个面(F[1]，F[2])， 将左右2个小臂提取出的线段的坐标数据为S[l]和S[2]。将上述10个点，10根短线(约 4厘米左右)，以及2个圆心，2根长线(约20厘米左右)的中心的空间坐标数据，该数据可视为一种空间组合位置关系。
可以理解的是，以上的数据中，有些数据可能为空。例如，若手握拳，则手掌心的坐标为空。同时，应优先捕捉指尖，以及伸展的手指，其视频捕捉的准确度较高。对于完全弯曲的手指，可能捕捉的结果为空。
戴上手套，以字、词、句等常用表达的使用频率为序，逐个输入规范的手语表达单元。表达单元可能是一个动作，也可能由多个动作组成。
对于单个动作而言，传感器产生的数据为T，A[i，j]，A[i，j] (I彡i彡10，I彡j彡4)，B[k] (I彡k彡4)。本实施例假定弯曲传感器有4种返回数据， 旋转传感器器有4种返回数据。
手语数字化标准库中包括多个匹配项，每一个匹配项包括多个数据，其中第一个为一个手语表达单元(如一个字，词，句等)，第二个为识别项，即T，A[i，j] (I 彡 i 彡 10，I 彡 j 彡 4)，B[k] (I 彡 k 彡 4)，P[1]-P[10]的坐标，L[1]_L[10]的坐标，F[l] 的中心的坐标，F[2]的中心的坐标，S[l]和S[2]的坐标。可以理解的是，若表达单元由多个动作组成，则识别项具有多个。
将经预处理后的传 感器数据以及图像识别后提取的特征值与手语数字化标准库中的数据进行匹配，例如，采用方差计算方法进行匹配，从而将输入的手势数据转换为相应的字、词、句。
本发明实施例基于手语手套的手语识别系统，用于实现上述方法，如图2所示，具体包括
指尖运动数据获取模块201，用于获取手语识别手套上设置的指尖传感器感知的指尖运动数据；
手指弯曲数据获取模块202，用于获取手语识别手套的手指弯曲部分的弯曲传感器感知的手指弯曲数据；
手掌旋转角度数据获取模块203，用于获取手语识别手套的手腕部分的旋转传感器感知的手掌旋转角度数据；
预处理模块204，用于对手指弯曲数据和手掌旋转角度数据进行预处理；
图像采集模块205，可以是摄像头，或者带有摄像头功能的设备，如智能手机和平板电脑，用于采集手语识别手套的图像，其中手套十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；
颜色识别模块206，用于对采集的图像进行颜色识别；
特征值提取模块207，用于根据颜色识别提取指尖的特征值、手指部分的特征值、 手心和手背的特征值以及手腕部分的特征值；
匹配模块208，用于将预处理后的手指弯曲数据、手掌旋转角度数据和所有的特征 值组成匹配序列，将该匹配序列与存储在手语数字化标准库中的数据进行匹配；
输出模块209，用于将匹配的结果转化为可识别的输出信号并发送给输出终端。
本发明的一个实施例中，数据获取模块，还用于获取手语识别手套上设置的磁力 传感器感知的指尖运动数据，手语手套的指尖上设有磁铁；
预处理模块还用于对指尖运动数据进行预处理；
匹配序列中还包括预处理后的指尖运动数据。
进一步地，特征值提取模块中所提取的指尖的特征值为对应不同颜色指尖的点坐 标；手指部分的特征值为对应不同颜色指尖的线坐标；手心和手背的特征值为对应不同颜 色的手心和手背的中心坐标；手腕部分的特征值为对应不同颜色手腕部分的中心坐标。
本发明实施例的手语手套，手套十只指尖的颜色各不相同，十只手指的颜色各不 相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；
手指弯曲部分设有弯曲传感器，用于感知手指弯曲数据；本发明实施例中弯曲传 感器至少感知手指的4种弯曲程度。
手腕部分设有旋转传感器，用于感知手掌旋转角度数据；本发明实施例中旋转传 感器至少感知手掌的4种旋转角度。
手语手套上设有数据通信模块，用于接收手指弯曲数据和手掌旋转角度数据并通 过无线的方式发送给手语识别系统。
进一步地，在上述实施例的基础上，手套指尖上设有磁铁，手套手背上设有磁力传 感器，用于感知指尖动作时磁铁产生的磁力；数据通信模块还用于接收磁力传感器感知的 磁力数据并通过无线的方式发送给手语识别系统。
应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换， 而所有这些改进和变换都应属于本发明所附权利要求的保护范围。
权利要求
1.一种基于手语手套的手语识别方法，其特征在于，包括以下步骤获取手语识别手套的手指弯曲部分的弯曲传感器感知的手指弯曲数据；获取手语识别手套的手腕部分的旋转传感器感知的手掌旋转角度数据；采集手语识别手套的图像，其中手套十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；对采集的图像进行颜色识别，根据颜色识别提取指尖的特征值、手指部分的特征值、手心和手背的特征值以及手腕部分的特征值；对手指弯曲数据和手掌旋转角度数据进行预处理，并将预处理后的数据和所有的特征值组成匹配序列，将该匹配序列与存储在手语数字化标准库中的数据进行匹配；将匹配的结果转化为可识别的输出信号并发送给输出终端。
2.根据权利要求1所述的手语识别方法，其特征在于，该方法还包括步骤获取手语识别手套上设置的磁力传感器感知的指尖运动数据并进行预处理，所述手语手套的指尖上设有磁铁；所述匹配序列中还包括预处理后的指尖运动数据。
3.根据权利要求1所述的手语识别方法，其特征在于，指尖的特征值为对应不同颜色指尖的点坐标；手指部分的特征值为对应不同颜色指尖的线坐标；手心和手背的特征值为对应不同颜色的手心和手背的中心坐标；手腕部分的特征值为对应不同颜色手腕部分的中心坐标。
4.根据权利要求1所述的手语识别方法，其特征在于，所述输出信号为文字、图片或者语音。
5.一种基于手语手套的手语识别系统，其特征在于，包括指尖运动数据获取模块，用于获取手语识别手套上设置的指尖传感器感知的指尖运动数据；手指弯曲数据获取模块，用于获取手语识别手套的手指弯曲部分的弯曲传感器感知的手指弯曲数据；手掌旋转角度数据获取模块，用于获取手语识别手套的手腕部分的旋转传感器感知的手掌旋转角度数据；预处理模块，用于对手指弯曲数据和手掌旋转角度数据进行预处理；图像采集模块，用于采集手语识别手套的图像，其中手套十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；颜色识别模块，用于对采集的图像进行颜色识别；特征值提取模块，用于根据颜色识别提取指尖的特征值、手指部分的特征值、手心和手背的特征值以及手腕部分的特征值；匹配模块，用于将预处理后的手指弯曲数据、手掌旋转角度数据和所有的特征值组成匹配序列，将该匹配序列与存储在手语数字化标准库中的数据进行匹配；输出模块，用于将匹配的结果转化为可识别的输出信号并发送给输出终端。
6.根据权利要求5所述的手语识别系统，其特征在于，所述数据获取模块，还用于获取手语识别手套上设置的磁力传感器感知的指尖运动数据，所述手语手套的指尖上设有磁铁；所述预处理模块还用于对所述指尖运动数据进行预处理；所述匹配序列中还包括预处理后的指尖运动数据。
7.根据权利要求5所述的手语识别系统，其特征在于，所述特征值提取模块中所提取的指尖的特征值为对应不同颜色指尖的点坐标；手指部分的特征值为对应不同颜色指尖的线坐标；手心和手背的特征值为对应不同颜色的手心和手背的中心坐标；手腕部分的特征值为对应不同颜色手腕部分的中心坐标。
8.一种手语手套，其特征在于，手套十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；手指弯曲部分设有弯曲传感器，用于感知手指弯曲数据；手腕部分设有旋转传感器，用于感知手掌旋转角度数据；手语手套上设有数据通信模块，用于接收所述手指弯曲数据和所述手掌旋转角度数据并通过无线的方式发送给手语识别系统。
9.根据权利要求8所述的手语手套，其特征在于，手套指尖上设有磁铁，手套手背上设有磁力传感器，用于感知指尖动作时磁铁产生的磁力；所述数据通信模块还用于接收磁力传感器感知的磁力数据并通过无线的方式发送给手语识别系统。
10.根据权利要求8所述的手语手套，其特征在于，所述弯曲传感器至少感知手指的4 种弯曲程度。
11.根据权利要求8所述的手语手套，其特征在于，所述旋转传感器至少感知手掌的4 种旋转角度。
全文摘要
本发明公开了一种基于手语手套的手语识别方法及系统，手语手套的十只指尖的颜色各不相同，十只手指的颜色各不相同；手心和手背具有不同的颜色，左右两只手套手腕部分也具有不同的颜色；手指弯曲部分设有弯曲传感器，手腕部分设有旋转传感器，手语手套上设有数据通信模块，可进行手语手套和手语识别系统之间的数据传输。手语识别系统通过对手指弯曲数据和手掌旋转角度数据进行预处理，并将预处理后的数据和所有的特征值组成匹配序列，将该匹配序列与存储在手语数字化标准库中的数据进行匹配；将匹配的结果转化为可识别的输出信号并发送给输出终端，从而完成手语识别。本发明结合传感器和图像识别，提高了手语识别的准确率。
文档编号G06K9/62GK103049761SQ20131002188
公开日2013年4月17日 申请日期2013年1月21日 优先权日2013年1月21日
发明者任伟, 牟扬 申请人:中国地质大学(武汉)