专利名称：手语识别方法及系统的制作方法
手语识别方法及系统
技术领域：
本发明涉及人工智能领域，特别涉及一种手语识别方法及系统。
背景技术：
在日常生活中，聋哑人由于丧失了正常人的听说能力，在与他人的沟通中，通常采用手语进行交流。聋哑人通过肢体做出规范的动作来表示相应的语义。但由于大多数正常人不了解手语的含义，因此聋哑人通常只能通过手语与其他聋哑人进行交流，而与正常人的交流仍然存在障碍。传统技术中，为了使聋哑人能够与正常人进行交流，通常使聋哑人戴上具有多个传感器的数据手套，并通过数据手套采集聋哑人肢体的行动轨迹和方位，并根据获取到的行动轨迹和方位生成具有语义的文本信息，从而将手语转换成了正常人较易理解的自然语
言信息。然而，上述手语识别方法中，数据手套体积较小，导致数据手套上的传感器的数量较少。因此，数据手套在采集肢体的行动轨迹和方位时，得到的数据不够准确，使得传统技术中手语识别方法的识别错误的错误率较大。
发明内容基于此，有必要提供一种能提高准确率的手语识别方法。一种手语识别方法，包括以下步骤:采集包含标记区域的图像；识别标记区域的姿态；生成所述姿态对应的控制指令；将所述控制指令转换成自然语言信息。优选的，所述将所述控制指令转换成自然语言信息的步骤包括:将所述控制指令排列成控制指令序列，根据所述控制指令序列生成自然语言信肩、O优选的，所述根据所述控制指令序列生成自然语言信息的步骤包括:计算所述控制指令序列的特征值，根据所述预设的特征值与自然语言信息的映射关系生成自然语言信息。优选的，所述计算所述控制指令序列的特征值的步骤之前还包括:将所述控制指令序列中重复的控制指令去除。优选的，所述计算所述控制指令序列的特征值的步骤之前还包括:将所述控制指令序列中与相邻控制指令差别大于阈值的控制指令去除。优选的，所述将所述 控制指令排列成控制指令序列的步骤具体为:将所述控制指令按照生成的顺序排列成队列，当检测到队列末尾有连续预设个数的相同的控制指令时，排列完毕，并根据所述队列生成控制指令序列。
优选的，所述将所述控制指令转换成自然语言信息的步骤之后还包括:通过文本和/或音频的方式展示所述自然语言信息。此外，还有必要提供一种能提高准确率的手语识别系统。一种手语识别系统，包括以下模块:。图像采集模块，用于采集包含标记区域的图像；姿态识别模块，用于识别标记区域的姿态；指令生成模块，用于生成所述姿态对应的控制指令；指令转换模块，用于将所述控制指令转换成自然语言信息。优选的，所述指令转换模块还用于将所述控制指令排列成控制指令序列，根据所述控制指令序列生成自然语言信息。优选的，所述指令转换模块还用于计算所述控制指令序列的特征值，根据所述预设的特征值与自然语言信息的映射关系生成自然语言信息。 优选的，所述指令转换模块还用于将所述控制指令序列中重复的控制指令去除。优选的，所述指令转换模块还用于将所述控制指令序列中与相邻控制指令差别大于阈值的控制指令去除。优选的，所述指令转换模块还用于将所述控制指令按照生成的顺序排列队列，当检测到队列末尾有连续预设个数的相同的控制指令时，排列完毕，并根据所述队列生成控制指令序列。 优选的，还包括信息展示模块，用于通过文本和/或音频的方式展示所述自然语
言信息。上述手语识别方法及系统，根据采集到的包含标记区域的图像识别出标记区域所产生的姿态，并生成姿态对应的控制指令，然后将该控制指令转换成正常人容易理解的自然语言信息。由于通过获取肢体动作的图像来判断肢体动作的运动轨迹和姿态，因此，对整个肢体动作的过程均有记录，从而避免了因为缺乏传感器而漏掉某个动作或姿态的情况，从而提高了识别手语时的准确率。
图1为本发明中控制浏览网页的方法的流程示意图；图2为一个实施例中步骤S20的流程示意图；图3为一个实施例中交互设备的结构示意图；图4为一个实施例中构建坐标系的示意图；图5为另一个实施例中的交互设备的结构示意图；图6为另一个实施例中的交互设备的结构示意图；图7为另一个实施例中步骤S20的流程示意图；图8为另一个实施例中构建坐标系的示意图；图9为一个实施例中步骤S30的流程示意图；图10为另一个实施例中步骤S30的流程示意图；图11为一个实施例中手语识别系统系统的结构示意图；图12为一个实施例中姿态识别模块的结构示意图13为另一个实施例中姿态识别模块的结构示意图；图14为一个实施例中指令生成模块的结构示意图；图15为另一个实施例中指令生成模块的结构示意图；图16为另一个实施例中手语识别系统的结构示意图。
具体实施方式
下面结合具体的实施例及附图对技术方案进行详细的描述。在一个实施例 中，如图1所示，一种手语识别方法，包括以下步骤:步骤S10，采集包含标记区域的图像。本实施例中，标记区域是采集的图像中的一个区域，该区域可由交互设备形成。具体的，在一个实施例中，交互设备可以是手持装置，可将手持装置的一部分或全部设定为指定的颜色或形状，采集手持装置的图像，图像中的手持装置中的该指定颜色或形状的部分形成标记区域。另外，交互设备还可以是带标记的手持装置，即在手持装置上附带指定颜色或形状的标记(如反光材料)，采集手持装置的图像，图像中的手持装置上所附带的指定颜色或形状的标记形成标记区域。在另一个实施例中，交互设备还可以是人体部位(例如人脸、手掌、手臂等)，采集人体部位的图像，图像中的人体部位形成标记区域。另外，交互设备还可以是带标记的人体部位，即在人体部位上附带指定颜色或形状的标记(如反光材料)，采集人体部位的图像时，图像中的该指定颜色或形状的标记形成标记区域。步骤S20，识别标记区域的姿态。具体的，对采集到的图像进行处理，提取图像中的标记区域，然后根据标记区域中的像素在构建的图像坐标系中的像素坐标产生标记区域的姿态。所谓姿态，是指标记区域在图像中所形成的姿势状态。进一步的，在二维图像中，姿态为二维图像中的标记区域与预设位置之间的角度，即姿态角；在三维图像中，姿态为二维图像中的标记区域与预设位置之间的多个姿态角所组成的矢量，即姿态向量。本发明中说的“标记区域产生的姿态”，“标记区域的姿态”、“姿态”都是指所述姿态，也就是不同实施例的姿态角与姿态向量。步骤S30，生成姿态对应的控制指令。本实施例中，预先设定标记区域的姿态与控制指令之间的映射关系，并将该映射关系存储在数据库中。在识别出标记区域的姿态后，可根据识别出的姿态从数据库中查找与姿态对应的控制指令。步骤S40，将控制指令转换成自然语言信息。自然语言信息即正常人容易理解的语言信息，如中文、英文、拉丁文等。可预先设置控制指令与自然语言信息的映射表，并存储在数据库中，然后通过在数据库中查询控制指令来获取与其对应的自然语言信息。例如，预设的控制指令与自然语言信息的映射表可如表I所示:表I
权利要求
1.一种手语识别方法，包括以下步骤: 采集包含标记区域的图像； 识别标记区域的姿态； 生成所述姿态对应的控制指令； 将所述控制指令转换成自然语言信息。
2.根据权利要求1所述的手语识别方法，其特征在于，所述将所述控制指令转换成自然语言信息的步骤包括: 将所述控制指令排列成控制指令序列，根据所述控制指令序列生成自然语言信息。
3.根据权利要求2中所述的手语识别方法，其特征在于，所述根据所述控制指令序列生成自然语言信息的步骤包括: 计算所述控制指令序列的特征值，根据所述预设的特征值与自然语言信息的映射关系生成自然语言信息。
4.根据权利要求3中所述的手语识别方法，其特征在于，所述计算所述控制指令序列的特征值的步骤之前还包括: 将所述控制指令序列中重复的控制指令去除。
5.根据权利要求3中所述的手语识别方法，其特征在于，所述计算所述控制指令序列的特征值的步骤之前还包括: 将所述控制指令序列中与相邻控制指令差别大于阈值的控制指令去除。
6.根据权利要求2中所述的手语识别方法，其特征在于，所述将所述控制指令排列成控制指令序列的步骤包括: 将所述控制指令按照生成的顺序排列成队列，当检测到队列末尾有连续预设个数的相同的控制指令时，排列完毕，并根据所述队列生成控制指令序列。
7.根据权利要求1至6所述的手语识别方法，其特征在于，所述将所述控制指令转换成自然语言信息的步骤之后还包括: 通过文本和/或音频的方式展示所述自然语言信息。
8.一种手语识别系统，其特征在于，包括以下模块: 图像采集模块，用于采集包含标记区域的图像； 姿态识别模块，用于识别标记区域的姿态； 指令生成模块，用于生成所述姿态对应的控制指令； 指令转换模块，用于将所述控制指令转换成自然语言信息。
9.根据权利要求8所述的手语识别系统，其特征在于，所述指令转换模块还用于将所述控制指令排列成控制指令序列，根据所述控制指令序列生成自然语言信息。
10.根据权利要求9中所述的手语识别系统，其特征在于，所述指令转换模块还用于计算所述控制指令序列的特征值， 根据所述预设的特征值与自然语言信息的映射关系生成自然语言信息。
11.根据权利要求10中所述的手语识别系统，其特征在于，所述指令转换模块还用于将所述控制指令序列中重复的控制指令去除。
12.根据权利要求10中所述的手语识别方法，其特征在于，所述指令转换模块还用于将所述控制指令序列中与相邻控制指令差别大于阈值的控制指令去除。
13.根据权利要求9中所述的手语识别系统，其特征在于，所述指令转换模块还用于将所述控制指令按照生成的顺序排列队列，当检测到队列末尾有连续预设个数的相同的控制指令时，排列完毕，并根据所述队列生成控制指令序列。
14.根据权利要求8至13任一项所述的手语识别系统，其特征在于，还包括信息展示模块，用于通过文本和/或音频的方`式展示所述自然语言信息。
全文摘要
本发明涉及一种手语识别方法，包括以下步骤采集包含标记区域的图像；识别标记区域的姿态；生成所述姿态对应的控制指令；将所述控制指令转换成自然语言信息。此外，还提供了一种手语识别系统。上述手语识别方法及系统可以提高识别的准确率。
文档编号G09B21/00GK103136986SQ20121003159
公开日2013年6月5日 申请日期2012年2月13日 优先权日2011年12月2日
发明者雷敏娟, 周雷, 师丹玮 申请人:深圳泰山在线科技有限公司