专利名称：基于视频与三维路径规划的中国手语标准化训练学习方法
技术领域：
本发明涉及一种聋哑人学习中国手语标准化训练学习的方法，特别是一种基于三维图像识别跟踪技术，进行路径规划和矫正的方法，尤指一种利用计算机三维建模技术、图像识别技术和视频技术相结合进行聋哑人中国手语标准化训练学习方法及对中国手语方言进行纠正的基于视频与三维路径规划的手语标准化训练学习方法。
背景技术：
在中国近2000万聋人，他们却不能进行无障碍手语交流。由于中国各地存在不同的方言，因此，聋哑人也随之使用不同的方言手语。比起中国推行普通话卓然有成，中国手语有待统一，社会福利人士及全国政协代表都呼吁北京当局应成立专责机构改进普通话版本手语。就手语而言，中国大陆存在上海、北京、福建等各地的手语方言。如果要和外国聋哑人交流，更要使用国际手语，我国各大城市懂得国际手语的聋哑人少之又少。比如上海， 不会超出10人。在手语的世界，各个国家的手语在手语词汇和指语指式有很多不同之处，但在个别手势、手语造词法和造句法等方面有诸多相通之处。事实上，中国从1956起就开始推行统一版手语，但目前中国版手语的推广程度还是不够，各地的聋哑人更喜欢使用本地方言。事实证明，今日中国普通话版的手语教育内容不受聋哑人欢迎，才使得手语方言长期存在。专家指出，今日普通话版手语词汇量贫乏，缺乏生动形象的表情语言，没有形成科学的语法体系和严密的逻辑结构，所以不受欢迎，更主要的是没有标准可循，往往手语在打法就有错误。如果能够让聋哑儿童从小就能接受标准化训练，让聋哑儿童能看清标准手语的打法，并且能自主学习和训练，为其今后的知识学习和参与社会活动奠定基础。发明专利申请号为200910021906.0，专利名称为“特定会话场景下的计算机辅助手语交流方法”公开的一种特定会话场景下的计算机辅助手语交流方法，通过建立虚拟人骨骼模型和特定会话场景词汇数据库，设定该骨骼模型各关节的运动自由度范围，并建立虚拟人各关节动作与专用词汇的交流应答对应关系，通过采集聋哑人打出的手语信息，将该手语信息经过图像处理和生物特征识别，获得所采集手语信息的含义，将聋哑人打出的手语转换为文字或语言告知正常人，反之，获得正常人输入的文字信息，或者在获得识别到的聋哑人打出手语的含义之后，自动匹配出相应的回答语句，并将该文字信息或回答语句经过处理并通过手语转换为手语告知聋哑人，实现特定场合下正常人与聋哑人的会话交流。发明专利申请号为99113117. 7，专利名称为“聋儿双项速成康复法”公开了一种涉及聋儿听力、语言康复的新方法，借助理疗、磁疗等方法提高听神经细胞活力，激发听神经潜能，促进听神经细胞的再生，从而提高听觉能力，然后结合辅助功能训练，采用多种形式、多种方式，适用于发明相配套的自编教材，对聋儿进行系统的科学的听力、语音、语言程序训练，使其在短时间内开口说话。但上述方法使用单纯的录音、指认图片，时间久了会感到厌烦，学习兴趣大幅度降低，大多数孩子拒绝这种训练。
中国头用新型专利申请号为200620046680. I，专利名称为“智日^问步手语翻译系
统”公开了一个智能同步手语翻译系统，其特点在于存储手语图像数据高倍手语图像数据库，手语，文字转换模式设定装置，手语触摸显示屏，语音播放装置，数据处理装置，其中，手语、文字转换模式设定装置放在一端，由操作者控制，而与其相对应的是手语触摸显示屏放在另一端，所述的高倍手语图像数据库和数据处理装置与两端都是并联的，这样就保障了翻译的效果是同步的。
上述各种涉及聋哑人群手语识别、辅助、翻译，对聋人手语学习开发具有一定作用，但均有各自的缺点和应用的局限性，具体如下
1、本身要求手语打法必须是标准化的，否则不能识别；
2、不能帮助初学者，特别是聋哑儿童看清楚老师的手语打法路径；
3、设备装置昂贵，学习者不容易拥有。
发明内容
本发明目的是为了克服目前聋哑人在学习、训练中国标准手语的方法单调、枯燥以及打法不标准的不足，将三维动画与视频技术相结合，建立中国标准手语视频及手语打法的三维动作路径规划库，以达到帮助聋哑人接受中国标准手语，并能自主学习目的，特别是手语打法的三维路径规划更能提高聋哑儿童手语标准化，以便他们今后交流无障碍化及国际化。本发明采用以下技术方案根据《GB\T24435-2009中国手语基本手势》中华人民共和国国家标准，真人录制标准手语各部分视频模块；在录制视频的同时，采用三维动作捕捉系统对手语手势进行三维动画采集，通过动作捕捉系统采集到的手势图像，能够显示出手势变化的过程，即手势变化的轨迹，该轨迹能够以慢动作方式显示出来，从而实现手势的路径规划，聋哑人及学习者通过视觉直观看到显示屏幕上文字对应的手势，并根据该手势的三维动作轨迹的变化，纠正自己的手势，一边模仿一边练习，最终达到标准手语手势的程度，三维动作轨迹的变化，能够解决了聋哑人及学习者看不清视频内容或者视频中手势变化复杂、过快等问题；对于手语的地方方言学习者，可以根据视频和三维动作轨迹的变化，改正自己的手语手势的不标准打法，最终达到纠正的目的，具体操作步骤包括
根据中华人民共和国国家标准《GB\T24435-2009中国手语基本手势》一中国手语规范性附录，真人录制标准手语视频，形成基本的标准中国手语可视化视频模块；可视化手语视频模块包括
1)可视化手语视频“字”单元模块；
2)可视化手语视频“词”单元模块；
3)可视化手语视频“短”语单元模块；
4)可视化手语视频“简单句子”单元模块；
b、根据中国标准手语字、词、短语、简单句子的可视化手语视频模块，应用三维动作捕捉技术，通过三维动作捕捉系统，对手语手势进行三维动作捕捉，分步建立与a步骤可视化视频模块相匹配的手势的三维动作轨迹，即路径规划模块，包括
1)可视化手语视频规划“字”单元模块；
2)可视化手语视频规划“词”单元模块；3)可视化手语视频规划“短语”单元模块；
4)可视化手语视频规划“简单句子”单元模块；
C、采用计算机及现代教育技术，将以上“标准中国手语可视化手语视频模块”和“中国标准手语路径规划模块”两个数据库内容分别进行剪辑、编辑，形成一个完整的基于视频与三维路径规划的中国手语标准化训练学习库，分为高级、中级、初级三个等级，分别装载各自不同级别的单元内容，并包括纠正手法的内容，最终形成一个训练平台；
d.聋哑人及学习者可以通过载有“中国手语标准化训练学习库”的电脑，进入该训练平台，进行学习和训练，包括纠正手法，让聋哑人循序渐进的从字到词、句进行标准练习和纠正，而且能够自主学习，达到中国手语手势标准化目的；对于手语的地方方言学习者，通过视频可以清楚的看到标准手语的打法，同时可以根据手语手势的三维路径轨迹的变化进行学习纠正，同时三维路径轨迹的变化可以慢动作实现，解决了打法过快而看不清楚的难题。
e、中国手语标准化，达到无障碍交流。本发明的优点在于所有可视化手语视频模块均采用中国手语基本手势(GB\T24435-2009)/中华人民共和国国家标准制作，通过逼真的三维动作路径规划可以充分指导聋哑人进行中国标准手语训练和学习，让聋哑人循序渐进的从字到词、句进行标准练习和纠正。而且能够自主学习，由于采用的是中国标准手语，推进了手语的无障碍交流，以及国际化交流，非常适合聋哑儿童和正常人的学习，该学习方法必定成为国家标准化手语推广的有力工具，最后达到标准化目的。
图I视频与三维路径规划的中国手语标准化训练学习的示意图。图2视频与三维路径规划的中国手语标准化训练学习方法构建流程图。
具体实施例方式如附图I和附图2所示，为视频与三维路径规划的中国手语标准化训练学习的示意图和视频与三维路径规划的中国手语标准化训练学习方法构建流程图，由附图I画面可知通过计算机模块录制的标准手语视频向聋哑人展示某一“标准手语视频画面”，然后再同时显示该视频画面的“手势路径的三维动画视频”画面，亦即告诉聋哑人和学习者前面的“标准手语视频画面”的具体手势变化的路径，旨在使聋哑人根据中国手语标准，录制标准手语视频，同时通过三维动画显示该手势的路径规划，使聋哑人通过视觉直观看到显示屏幕上的手势，及三维规划路径动画过程，达到一边模仿一边练习的目的，具体步骤包括
a、通过显示屏幕向聋哑人播放标准中国手语可视化手语视频模块中字单元、词单元、短语单元、简单句子单元的手语；
b、根据中国标准手语字单元、词单元、短语单元、简单句子单元的可视化手语视频库内容，匹配三维动作的路径规划库，亦即建立相应的标准中国手语路径规划模块的字单元、词单元、短语单元、简单句子单元；
C、采用计算机及现代教育技术，将以上“标准中国手语可视化手语视频模块”和“中国标准手语路径规划模块”两个数据库内容分别进行剪辑、编辑，形成一个完整的基于视频与三维路径规划的中国手语标准化训练学习库，分为高级、中级、初级三个等级，分别装载各自不同级别的单元内容，并包括纠正手法的内容，最终形成一个训练平台；
d、聋哑人及学习者可以通过“中国手语标准化训练学习库”的电脑进入该训练平台，进行学习和训练，包括纠正手法，让聋哑人循序渐进的从字到词、句进行标准练习和纠正，而且能够自主学习，达到中国手语手势标准化目的；对于手语的地方方言学习者，通过视频可以清楚的看到标准手语的打法，同时可以根据手语手势的三维路径轨迹的变化进行学习纠正，通过逼真的三维动画路径规划可以充分指导聋哑人进行中国标准手语训练和学习， 让聋哑人循序渐进的从字到词、句进行标准练习和纠正，而且能够自主学习，由于采用的是中国标准手语，推进了手语的无障碍交流，以及国际化交流。e、中国手语标准化，达到无障碍交流。
权利要求
1.一种基于视频与三维路径规划的中国手语标准化训练学习方法，其特征在于根据中华人民共和国国家标准《GB\T24435-2009中国手语基本手势》，真人录制标准手语各部分视频模块；在录制视频的同时，采用三维动作捕捉系统对手语手势进行三维动画采集，通过动作捕捉系统采集到的手势图像，能够显示出手势变化的过程，即手势变化的轨迹，该轨迹能够以慢动作方式显示出来，从而实现手势的路径规划，聋哑人及学习者通过视觉直观看到显示屏幕上文字对应的手势，并根据该手势的三维动作轨迹的变化，纠正自己的手势，一边模仿一边练习，最终达到标准手语手势的程度，三维动作轨迹的变化，能够解决了聋哑人及学习者看不清视频内容或者视频中手势变化复杂、过快等问题；对于手语的地方方言学习者，可以根据视频和三维动作轨迹的变化，改正自己的手语手势的不标准打法，最终达到纠正的目的，具体操作步骤是 a、根据中华人民共和国国家标准《GB\T24435-2009中国手语基本手势》一中国手语规范性附录，真人录制标准手语视频，形成基本的标准中国手语可视化视频模块；可视化手语视频模块包括 . 1)可视化手语视频“字”单元模块； . 2)可视化手语视频“词”单元模块； . 3)可视化手语视频“短”语单元模块； .4)可视化手语视频“简单句子”单元模块； b、根据中国标准手语字、词、短语、简单句子的可视化手语视频模块，应用三维动作捕捉技术，通过三维动作捕捉系统，对手语手势进行三维动作捕捉，分步建立与a步骤可视化视频模块相匹配的手势的三维动作轨迹，即路径规划模块，包括 . 1)可视化手语视频规划“字”单元模块；. 2)可视化手语视频规划“词”单元模块； . 3)可视化手语视频规划“短语”单元模块； . 4)可视化手语视频规划“简单句子”单元模块； C、采用计算机及现代教育技术，将以上“标准中国手语可视化手语视频模块”和“中国标准手语路径规划模块”两个数据库内容分别进行剪辑、编辑，形成一个完整的基于视频与三维路径规划的中国手语标准化训练学习库，分为高级、中级、初级三个等级，分别装载各自不同级别的单元内容，并包括纠正手法的内容，最终形成一个训练平台； d、聋哑人及学习者可以通过“中国手语标准化训练学习库”的电脑进入该训练平台，进行学习和训练，包括纠正手法，让聋哑人循序渐进的从字到词、句进行标准练习和纠正，而且能够自主学习，达到中国手语手势标准化目的；对于手语的地方方言学习者，通过视频可以清楚的看到标准手语的打法，同时可以根据手语手势的三维路径轨迹的变化进行学习纠正，通过逼真的三维动画路径规划可以充分指导聋哑人进行中国标准手语训练和学习，让聋哑人循序渐进的从字到词、句进行标准练习和纠正，而且能够自主学习，由于采用的是中国标准手语，推进了手语的无障碍交流，以及国际化交流； e、中国手语标准化，达到无障碍交流。
全文摘要
本发明为一种基于视频与三维路径规划的中国手语标准化训练学习方法，其根据有关国家标准，真人录制标准手语各部分视频模块，在录制视频的同时，采用三维动作捕捉系统对手语手势进行三维动画采集，通过动作捕捉系统采集到的手势图像，显示出手势变化的过程，即手势变化的轨迹，该轨迹能够以慢动作方式显示出来，从而实现手势的路径规划，聋哑人及学习者通过视觉直观看到显示屏幕上文字对应的手势，并根据该手势的三维动作轨迹的变化，纠正自己的手势，一边模仿一边练习，最终达到标准手语手势。本发明通过逼真的三维动作路径规划可以充分指导聋哑人进行中国标准手语训练和学习，让聋哑人循序渐进的从字到词、句进行练习和纠正，达到自主学习。
文档编号G09B21/00GK102663927SQ20121014691
公开日2012年9月12日 申请日期2012年5月14日 优先权日2012年5月14日
发明者宋雅娟, 张猛, 张超, 李 杰, 王丽荣, 王晓丽, 王晓峰, 赵剑, 邹稷 申请人:长春大学