一种手指动作编码及其与汉语拼音的映射方法与流程

文档序号:16045135发布日期:2018-11-24 10:48阅读:515来源:国知局

本发明涉及编码技术领域,特别是涉及一种手指动作编码技术、以及其与汉语拼音的映射技术。

背景技术

手语是一种依靠动作和视觉交流的特殊语言,是聋哑人交流的工具。手语由双手的手型、位置、方向、面部表情、唇动、体势信息的组合构成,学习手语,提高聋哑人的生活学习和工作条件,正常人学习手语可以为聋哑人提供更好的服务。然而,中国手语包含3000多个常用的词汇,使得学习手语需要投入非常多的时间和巨大的努力,阻碍了正常人与聋哑人之间的正常交流。

随着计算机的普及使用,以及人工智能技术的发展,研究人员一直在努力实现手语与人类自然语言之间自动互译,手语识别是其中的重要研究方向。手语识别的目的就是通过计算机提供一种有效的、准确的机制,将手语翻译成文本或语音使得聋哑人和听力正常人之间的交流变得更加方便、快捷。

手语识别开始于90年代,从手语数据的采集设备来划分,主要包括基于数据手套的和基于视觉的两种系统。

基于视觉的手语识别系统受限于计算机视觉的技术能力,前端手形的检测非常困难,并且,识别受背景和光照影响非常大,因此,目前基于视觉的手语识别系统只能实现有限的手语识别。

数据手套结合运动传感器,可以容易地获得较精确的手语数据,已经可以实现大词汇量的手语识别,但数据手套成本非常高,严重限制了技术的推广应用。



技术实现要素:

本发明的目的是公开一种手指动作编码及其与汉语拼音的映射方法,利用这种编码和映射方法,可以将手指的动作,简单、精确地映射到对应的汉字语音,基本可以省去手语识别过程,采用这种方法,可以用来构建低成本的聋哑人发声装置。

为达到上述目的,本发明的技术解决方案是:

手指动作编码及其与汉语拼音的映射方法,采用以下手指动作,构成手指动作编码:

大拇指的指尖或指节的一侧,与同一只手的其他四指的指尖、或指节的一侧接触,构成一个手指动作编码。

或采用以下手指动作,构成手指动作编码手指的指尖或指节的一侧,与同一只手的手掌接触,构成一个手指动作编码:

手指动作编码及其与汉语拼音的映射方法,通过以下方法,形成手指动作编码与汉语拼音声母或韵母之间的映射:

a)将一只手的一个手指动作编码与汉语拼音的声母对应,形成该手指动作与汉语拼音一个声母之间的映射关系,然后选择这只手其他不同的手指动作编码,分别于其他汉语拼音声母对应,最终形成这只手不同的手指动作编码与汉语拼音不同声母之间的一一映射。

b)将另一只手一个手指动作编码与汉语拼音的韵母对应,形成该手指动作与汉语拼音一个韵母之间的映射关系,然后选择这只手其他不同的手指动作编码,分别于其他汉语拼音韵母对应,最终形成这只手不同的手指动作编码与汉语拼音不同韵母之间的一一映射。

手指动作编码及其与汉语拼音的映射方法,通过以下方法,形成手指动作编码与汉语拼音之间的映射:

双手各自同时做出一个手指动作编码,分别对应汉语拼音的一个声母和一个韵母,对应的声母和韵母组合,构成一个汉字的汉语拼音。

采用以下手的动作,代表汉语拼音的声调:

一只手的手掌方向,分别代表汉语拼音声调的阴平、阳平、上声、去声和轻声五个声调。

或采用两只手的手掌方向的组合,分别代表汉语拼音声调的阴平、阳平、上声、去声和轻声五个声调。

本发明方法具有以下有益效果:

1、通过构建手指动作编码及其与汉语拼音的映射方法,将手指的动作,简单、精确地映射到对应的汉字语音;

2、利用本发明,在手语到语音的机器自动转换过程中,可以省去复杂的手语识别过程;

3、采用本发明法,可以构建低成本的手语到语音自动转换设备,为聋哑人研制低成本的发声装置。

附图说明

图1是本发明的与手指动作编码相关的指节和指节侧部的示意图;

图2是本发明的一个手指动作编码第一种实施例的示意图;

图3是本发明的一个手指动作编码第二种实施例的示意图;

图4是本发明的一个手指动作编码第三种实施例的示意图;

图5是本发明的一个手指动作编码第四种实施例的示意图;

图6是本发明的一种手指动作编码与汉语拼音声母之间的映射关系示意图;

图7是本发明的一种手指动作编码与汉语拼音韵母之间的映射关系示意图;

图8是本发明的采用双手同时做出一个手指动作编码构成一个无声调的汉字汉语拼音的示意图;

图9是本发明的一种手掌方向的示意图;

图10是本发明的另一种手掌方向的示意图;

图11是本发明的利用一只手的手掌方向代表汉语拼音声调的编码示意图;

图12是本发明的利用两只手的手掌方向代表汉语拼音声调的编码示意图;

图13是本发明的采用双手同时做出一个手指动作编码构成一个有声调的汉字汉语拼音的示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白,以下结合具体实施例,并参照附图,对本发明进一步详细说明。

图1是本发明的与手指动作编码相关的指节和指节侧部的示意图,当手掌面向本人、向上竖起,自上而下的指节,分别为第一指节、第二指节、第三指节,其中,大拇指没有第三指节;对于每个指节,以大拇指一侧的方向为外侧,以小拇指一侧的方向为内侧,以手掌一侧的方向为前侧,以手背一侧的方向为后侧,分别为一个指节4个侧部,包括指节内侧、指节外侧、指节前侧和指节后侧。

图2是本发明的一个手指动作编码第一种实施例的示意图,该手指动作编码为左手大拇指指尖与食指指尖接触,同理可以类推得到其它的大拇指指尖与其他指尖接触的手指动作编码,包括,右手大拇指指尖与食指指尖接触,以及左手或右手的大拇指指尖与中指指尖接触、左手或右手的大拇指指尖与无名指指尖接触、左手或右手的大拇指指尖与小拇指指尖接触。

图3是本发明的一个手指动作编码第二种实施例的示意图,该手指动作编码为左手大拇指第一指节前侧与食指第二指节外侧接触,同理可以类推得到其它的大拇指某一指节的一侧与其它手指某一指节的一侧接触的手指动作编码,例如,右手大拇指第一指节前侧与食指第二指节外侧接触,以及左手或右手的大拇指第一指节前侧与食指第二指节前侧接触、左手或右手的大拇指第二指节前侧与中指第一指节后侧接触等等。

图4是本发明的一个手指动作编码第三种实施例的示意图,该手指动作编码为左手食指指尖与手掌接触,同理可以类推得到其它的手指指尖或手指的一侧与手掌接触的手指编码动作,例如,左手或右手中指指尖与手掌接触、左手或右手无名指前侧与手掌接触等等。

图5是本发明的一个手指动作编码第四种实施例的示意图,该手指动作编码为左手食指指尖与手掌接触、同时左手中指指尖与手掌接触,同理可以类推得到其他的一只手的两个手指的一侧同时与手掌接触的手指编码动作,例如,右手食指指尖与手掌接触、同时右手无名指指尖与手掌接触等等。

图6是本发明的一种手指动作编码与汉语拼音声母之间的映射关系示意图。图7是本发明的一种手指动作编码与汉语拼音韵母之间的映射关系示意图。

左手的一个手指动作编码与汉语拼音的声母对应,右手的一个手指动作编码与汉语拼音的韵母对应,形成左手的手指动作编码与汉语拼音声母之间的一一映射,以及右手的手指动作编码与汉语拼音韵母之间的一一映射。

也可以采用右手的一个手指动作编码与汉语拼音的声母对应,左手的一个手指动作编码与汉语拼音的韵母对应。

也可以通过不同的映射组合形式,形成其他的手指动作编码与汉语拼音声母或汉语拼音韵母之间构成一一映射关系。

可以通过以下方法,形成手指动作编码与汉语拼音之间的映射:双手各自同时做出一个手指动作编码,分别对应汉语拼音的一个声母和一个韵母,对应的声母和韵母组合,构成一个汉字的汉语拼音。

图8是本发明的采用双手同时做出一个手指动作编码构成一个无声调的汉字汉语拼音的示意图。该示意图以图6、图7的手指动作编码与汉语拼音声母和韵母之间的映射关系为基础,左手的手指动作编码代表了汉语拼音声母h,右手的手指动作编码代表了汉语拼音韵母ao,声母和韵母组合,构成汉语拼音hao,可以代表好、郝、豪、号等汉字的发音。

可以采用以下手的动作,代表汉语拼音的声调:一只手的手掌方向,分别代表汉语拼音声调的阴平、阳平、上声、去声和轻声五个声调。或采用两只手的手掌方向的组合,分别代表汉语拼音声调的阴平、阳平、上声、去声和轻声五个声调。

图9是本发明的一种手掌方向的示意图。图9自上而下,分别是手掌方向的向上、向下、向平侧、向平侧上、向平侧下。

图10是本发明的另一种手掌方向的示意图。包括手掌方向的向前、向后、向立侧、向立侧内、向立侧外。

图11是本发明的利用一只手的手掌方向代表汉语拼音声调的编码示意图。可以利用左手的手掌方向,向上、向下、向平侧、向平侧上、向平侧下,分别代表汉语拼音声调的阴平、阳平、上声、去声和轻声五个声调。

也可以利用右手的手掌方向,向上、向下、向平侧、向平侧上、向平侧下,分别代表汉语拼音声调的阴平、阳平、上声、去声和轻声五个声调。

图12是本发明的利用两只手的手掌方向代表汉语拼音声调的示意图。利用左手的手掌方向和右手手掌方向的组合,分别代表汉语拼音声调的阴平、阳平、上声、去声和轻声五个声调。

图13是本发明的采用双手同时做出一个手指动作编码构成一个有声调的汉字汉语拼音的示意图。该示意图以图6、图7的手指动作编码与汉语拼音声母和韵母之间的映射关系、以图12的利用两只手的手掌方向代表汉语拼音声调为基础。左手的手指动作编码代表了汉语拼音声母h,右手的手指动作编码代表了汉语拼音韵母ao,声母和韵母组合,构成汉语拼音hao,两只手的手掌方向,左手手掌方向向下,右手手掌方向向上,代表汉语拼音声调的上声,可以代表好、郝等汉字的发音。

同理,以图6、图7的手指动作编码与汉语拼音声母和韵母之间的映射关系、以图12的利用两只手的手掌方向代表汉语拼音声调为基础,图8的左手的手指动作编码代表了汉语拼音声母h,右手的手指动作编码代表了汉语拼音韵母ao,声母和韵母组合,构成汉语拼音hao,两只手的手掌方向,左手手掌方向向上,右手手掌方向向上,代表汉语拼音声调的阴平,因此,图8的手指动作编码可以代表薅、蒿等汉字的发音。

提供本发明的说明书是为了说明和描述,而不是用来穷举或将本发明限制为所公开的形式。对本领域的普通技术人员而言,许多修改和变更都是可以的。

以上所述的实施例,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施例而已,并不用于限制本发明,凡在本发明的精神和原则之内,所做的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1