专利名称：：特定会话场景下的计算机辅助手语交流方法
技术领域：
：本发明属于图像生物特征识别
技术领域：
，涉及一种特定会话场景下的it算机辅助手语交流方法。
背景技术：
：现实生活中，正常人既可以获得视觉信息也可以获得听觉信息，聋哑人则只能利用视觉信息。正常人与聋哑人通常以手语作为媒介进行交流，但绝大多数正常人对手语知之甚少，根本无法与聋哑人进行会话，使得正常人与聋哑人之间存在难以克服的交流障碍
发明内容'本发明的目的是提供一种特定会话场景下的计算机辅助手语交流方法，用于词汇量有限的特定场景下，辅助正常人与聋哑人进行会话交流。本发明所采用的技术方案是，特定会话场景下的计算机辅助手语交流方法，建立词汇数据库和虚拟人手语动作的对应关系，通过采集聋哑人打出的手语信息，将该手语信息经过图像处理和生物特征识别，获得所采集手语信息的含义，并将该含义告知正常人，反之，获得正常人输入的文字信息，或者在获得的识别到聋哑人打出手语的含义之后，在词汇数据库中自动匹配'出相应的回答语句，并将该文字信息或回答语句经过处理并通过手语的方式告知聋哑人，实现特定场合下正常人与聋哑人的会话交流，该方法按以下步骤进行步骤l:在计算机中建立特定会话场景下所用的词汇数据库；步骤2:采用计算机图形学的方法构造三维动画虚拟人，并建立该三维动画虚拟人的骨骼关节模型；步骤3:构建步骤1建立的词汇数据库中的词汇与步骤2构造的三维动画虚拟人表征的手语动作之间的对应关系；步骤4:正常人和聋哑人通过步骤2建立的虚拟人和步骤1建立的词汇.数据库，以步骤3建立的对应关系为基础进行会话交流，聋桠人打出的手语转换为文字或语言的具体步骤1)、通过摄像头采集聋哑人打出的手语图像信息，并将该手语图像信息输入计算机；2)、将步骤l)步中采集到的手语图像信息，通过训练获得无目标背景，采用背景差分法，检测出该背景中包括手部区域在内的运动目标，并通过手部区别于其它部位的颜色和形态，分割出手部区域，采用数字视频关键帧.提取方法，提取该手部区域的关键帧，然后，通过提取不同手势的特征差异，识别出该关键帧中的静态手势；3)、将步骤2)中识别出的静态手势序列构成动态手势，并采用包括隐马尔科夫模型的随机过程描述法或神经元网络法结合模式识别法对该动态手势予以识别，获得动态手势所包含的含义；4)、将步骤3)中识别出的动态手势的含义转换为正常人能够理辆的文字或语言；.将正常人输入的文字转换为手语部分的具体步骤如下-a)、通过文字输入装置输入文字信息，或者在获得识别到的聋哑人手语的含义之后，在专用词汇数据库中自动匹配出相应的回答语句，并将该文字信息或回答语句传入计算机；b)、将步骤a)步中获得的信息进行处理，形成步骤1建立的词汇数据库中的专用词汇，将该专用词汇通过步骤3构建的对应关系形成相应的手语动作；c)、将步骤b)步中形成的手语动作通过步骤2构造的三维动画虚拟人予以显示。本发明的特征还在于，其中步骤2)中关键帧的提取采用等间隔关键帧提取法，该提取法中间隔L通过以下公式计算得到丄_Wdea/Vww(11)式中，VideoNum为视频的总帧数，CodeNum为码字数。其中，步骤2)中采用基于多级弦长函数的实现对不同静态手势的识别。其中，傅立叶描述子方法中计算一个手形的傅立叶描述子的公式如下"'(")=HA")6邓(^^)，"=。，1,…，^—1(1一2)式中，丄,(x,)表示第i级弦长函数，分8个级别的弦长函数；N表示函数采样点个数，令N-8。本发明方法的有益效果是，通过信息采集、处理和构建的三维动画虚拟人，将正常人的语言或文字转换为手语，或者将聋桠人的手语转换为语言或文字，用于特定场合下，正常人与聋哑人之间的交流。'图1是本发明方法建立的虚拟人骨骼关节模型；具体实施例方式下面结合附图和具体实施方式对本发明进行详细说明。人们交流时所用的语言非常丰富，若想通过辅助的方法将正常人所说的话语与聋哑人所作的手语完全正确翻译，并进行交流，存在着包括语义分析等许多必须正确翻译的问题，目前尚无较好的方法。然而，对于某些特定的公共服务行业，如银行、邮局、医院、超市等场合的会话内容，其词汇量有限，可以通过本发明方法迸行翻译交流，该方法用于特定场合，包括两部分，一部分是将聋桠人打出的手语转换为文字或语言，通过采集聋哑人打出的手语信息，将该手语信息经过图像处理和生物特征识别，获得所采集手语信息的含义，并将该含义告知正常人。另一部分是将正常人要表达的语言或文字转换为手语，即正常人输入文字信息，或者在获得识别到聋哑人打出手语的含义之后，计算机系统在专用词汇数据库中自动匹配出相应的回答语句，并将该文字信息或回答语句经过处理并通过手语的方式告知聋哑人，实现特定场合下正常人与聋哑人的会话交流。下面以一个具体的实例来说明本发明'的方法步骤1:在计算机中建立特定会话场景下所用的专用词汇数据库；本发明方法用于特定会话场景下辅助正常人与聋观人的交流，需在计算机中建立该特定会话场景下所用的专用词汇数据库，该专用词汇数据库分不同会话场景存储有一定数量的专用词汇。步骤2:采用计算机图形学的方法构造一个三维动画虚拟人，并建立该三维动画虚拟人的骨骼关节模型；'构建虚拟人，使正常人通过该虚拟人与聋哑人进行一定词汇量的会话。虚拟人的构建采用以人体的骨骼关节结构建立的数学模型来实现其相应的'手语动作。参考人体骨骼关节结构构建虚拟人，并以关节链的方式将该虚拟人的骨骼连接成一个整体，同时设置虚拟人骨骼关节的数量和各关节的自由度。建立虚拟人骨骼关节模型，是为了使虚拟人的动作能够转换成不同关节的联合旋转动作，能够反映人体手臂部分的绝大部分动作，不影响手语的表达。根据人体运动学的特点，本发明方法建立的虚拟人骨骼关节模型，如图1所示。该骨骼关节模型建立了43个关节，设置了47个自由度，并对各关节自由度的运动范围进行限制，建立表1所示的虚拟人模型各关节自由度的运'动调整参数范围。由于哑语的表达主要集中在上肢，本发明方法在虚拟人模型的左右手臂各设置了23个自由度，用来实现各种手语动作；在虚拟人模型中心设置了一个自由度，用来控制模型的远近，方便使用者观察。表1虚拟人模型各关节自由度的运动调整参数范围<table>tableseeoriginaldocumentpage9</column></row><table><table>tableseeoriginaldocumentpage10</column></row><table>备注以上各关节运动范围是根据手臂运动所确定的近似值，其中空白格表示无此方向的运动。表中的掌指关节运动范围为不受其它手指约束的情况下得到的。构造的虚拟人可以采用三维动画，使其具有一定的卡通性和亲和力，卡通性是为了在表现手语时，能够夸张手臂部动作，而不会觉得失真；亲和力是为了在交流过程中，能够比较容易被对方接受。同时，虚拟人的手臂部细节为主要描述对象，目的是能够完成较为复杂动作的手语。步骤3:构建步骤1建立的专用词汇数据库中的词汇与步骤2构造的三维动画虚拟人表征的手语动作之间的对应关系；计算机数据库的专用词汇与虚拟人手语动作之间的对应关系，就是虚拟人手臂部的动作序列。通过预先设置虚拟人手臂动作过程对应的参数，通过该参数控制虚拟人各骨骼关节的动作，建立虚拟人各骨骼关节动作与特定场景下专用词汇的交流应答关系。在接收到某个词汇时，根据该交流应答关系检索出需表达词汇或短句对应的动作过程，然后，调出该动作过程参数，驱动虚拟人，按照指定的动作参数，完成某个手语动作。本发明方法采用一种基于关节角度控制的手语动作的编辑与表达，建立特定会话场景的应答关f，在获得识别到的手语含义之后，在专用词汇数据库中自动匹配出相应的回答语句，驱动虚拟人做出相应的应答手语。另外，在专用词汇数据库的词汇.量不足时，能够采用文字进行语句编辑，并将该文字语言翻译成手语，同时也将该语句存储到应答数据库中。以控制三维动画虚拟人的关节角度实现"你好"的手语动作的编辑与表达为例来说明。根据表1中给出的数据范围，通过调节虚拟人各个关节的角度数据来改变虚拟人手臂部的动作，包括分别对应左手和右手的肩关节、肘关节、腕关节、拇指腕掌关节、拇指掌指关节、拇指指骨间关节、食指掌指关节、食指近端指关节、中指掌指关节、中指近端指关节、无名指掌指关节、无名指近端指关节、小指掌指关节或小指近端指关节纵向、横向和绕骨络轴线旋转三个方向设置各关节可以运动的角度。控制各关节运动角度的参数如表2所示。表2虚拟人表示"你好"手语动作的各关节运动角度<table>tableseeoriginaldocumentpage11</column></row><table>步骤4:正常人和聋哑人通过步骤2建立的虚拟人和步骤1建立的专用词汇数据库，以步骤3建立的对应关系为基础进行会话交流，聋哑人打出的手语转换为文字或语言的具体步骤1)通过摄像头采集聋哑人打出的手语视频信息，并将该手语视频信息输入计算机；由于摄像头采集到的视频画面中，除了人的手部外，还包括人体躯干等其他背景部分，为了分析手部动作，需要将摄像头采集的视频画面中的手部区域分割出来。因此，进入下步；.2)将1)步中采集到的手语视频信息，通过训练获得无目标背景，采用背景差分法，检测出该背景中包括手部区域在内的运动目标，并通过手部区别于其它部位的颜色和形态，分割出手部区域，并采用数字视频关键帧提取方法，提取该手部区域的关键帧，然后，通过提取不同手势的特征差异，识别出该关键帧中的静态手势；为提高分割的正确性，根据现场环境让聋哑人选择戴红色、绿色或蓝色的手套，用于辅助分割手部区域。如聋哑人戴上红色手套后打出手语的一冲贞图像，去除背景后，分割得到手部区域图。关键帧是指手语中，手势变化比较大的帧。可采用分析不同帧之间的手势运动的相似度来获取。为了提高手语识别的速度，本方法釆用等间隔关键帧提取方法，间隔L通过以下公式计算得到<formula>formulaseeoriginaldocumentpage12</formula>(11)式中，VideoNum为视频的总帧数，CodeNum为码字数。以上例为例，首先获取聋哑人打出的手语"你好"的关键帧，计算机将该手语动作进行拾取、分割后，获得两个关键帧，每一个关键帧中虚拟人动作的形成都是参考中国标准手语动作，通过调节控制各关节角度的数据，获得各关节表示不同含义的角度位置，然后将每一帧中虚拟人各关节的角度数据保存在数据库中。手语动作"你好"编辑完成。使用时，只需输入手语动作"你好"，计算机系统将通过专用词汇数据库匹配并依次调出"你好"的关键帧动作数据，然后，将虚拟人的手势由当前状态过渡到新的状态，比如，右手食指掌指关节由0°变到-90°，近端指关节关节由0°变到-102°，远端指关节受近端指关节限制，按照约束运动，完成食指弯曲的动作，其他关节原理基本相同；所^有的关节和所有的动作关键帧数据执行完毕后，就实现了"你好"这个动作的表达，为了防止动作的突变，本发明方法在两个动作关键帧对应的每个关节数据之间进行线性插值，防止关节角度数据之间的突变，使得虚拟人的动作更加平滑。静态手势是关键帧中独立的手部动作姿态。即静态手势是指手语中分解出来的每个时刻的手势，不考虑其前后变化。识别静态手势的目的，主要是获得可区分不同手部动作之间的特征。'按照图像处理的方法，目标的特征可以是空域特征，如形状、大小、姿态颜色、纹理等，可采用边缘跟踪链码，质心与面积等方法提取；可以是频域特征，如频谱等，可采用傅立叶变换、傅立叶描述子和小波变换等方法提取；也可以是颜色特征，采用颜色聚类以及颜色直方图等方法提取。本发明方法采用基于多级弦长函数的傅立叶描述子方法实现对不同静态手势的识别。计算一个手形的傅立叶描述子的公式如下<formula>formulaseeoriginaldocumentpage13</formula>式中，丄,(;c,)表示第i级弦长函数，在本发明方法中共分8个级别的弦长函数；N表示函数采样点个数，在本方法中令N-8。按照公式(1-2)计算中国手语中常用典型静态手势的傅立叶描述子的值，并将计算得到的该值储存于用于辅助交流的计算机的数据库中备查。典型静态手势的多少，取决于辅助交流计算机系统适用范围的大小。之后，按照公式(1-2)计算出待检测手势的傅立叶描述子的值，根据最短欧氏距离的原则，与计算机数据库中储存的常用典型静态手势的傅立叶描述子的值进行匹配，判断出待检测静态手势的含义。3)将2)中识别出的静态手势序列构成动态手势，并采用包括隐马尔'科夫模型的随机过程描述法或神经元网络法结合模式识别法对该动态手势予以识别，获得动态手势所包含的含义；连续的静态手势序列构成动态手势，动态手势根据不同的手部动作以及手势的运动轨迹构成。人在不同时刻打出的手势具有一定的随机性，同时，不同的人对于相同含义的手语，存在着个体表述的差异，而动态手势的识别，实际上是对随机过程的特性进行描述与识别。4)将3)中识别出的动态手势的含义转换为正常人能够理解的文字或'语曰c将正常人的语言或文字转换为手语部分的具体步骤如下a)通过文字输入装置输入文字信息，或者在获得识别到的聋观人打出手语的含义之后，在专用词汇数据库中自动匹配出相应的回答语句，并将该文字信息或回答语句传入计算机；b)将a)步中获得的信息进行处理，形成步骤1建立的专用词汇数据库中的专用词汇，将该专用词汇通过步骤3构建的对应关系形成相应的手语'动作；c)将b)步中形成的手语动作通过步骤2构造的三维动画虚拟人予以显示。本发明方法，用于某些特定会话场景下，正常人与聋哑人进行有限词汇量的交流，通过手语识别和显示，辅助不懂手语的正常人能用手语表达，并可将听力障碍者的手语翻译成文字或者是语音表达。权利要求1.一种特定会话场景下的计算机辅助手语交流方法，建立词汇数据库和虚拟人手语动作的对应关系，通过采集聋哑人打出的手语信息，将该手语信息经过图像处理和生物特征识别，获得所采集手语信息的含义，并将该含义告知正常人，反之，获得正常人输入的文字信息，或者在获得的识别到聋哑人打出手语的含义之后，在词汇数据库中自动匹配出相应的回答语句，并将该文字信息或回答语句经过处理并通过手语的方式告知聋哑人，实现特定场合下正常人与聋哑人的会话交流，其特征在于，该方法按以下步骤进行步骤1在计算机中建立特定会话场景下所用的词汇数据库；步骤2采用计算机图形学的方法构造三维动画虚拟人，并建立该三维动画虚拟人的骨骼关节模型；步骤3构建步骤1建立的词汇数据库中的词汇与步骤2构造的三维动画虚拟人表征的手语动作之间的对应关系；步骤4正常人和聋哑人通过步骤2建立的虚拟人和步骤1建立的词汇数据库，以步骤3建立的对应关系为基础进行会话交流，聋哑人打出的手语转换为文字或语言的具体步骤1)、通过摄像头采集聋哑人打出的手语图像信息，并将该手语图像信息输入计算机；2)、将步骤1)步中采集到的手语图像信息，通过训练获得无目标背景，采用背景差分法，检测出该背景中包括手部区域在内的运动目标，并通过手部区别于其它部位的颜色和形态，分割出手部区域，采用数字视频关键帧提取方法，提取该手部区域的关键帧，然后，通过提取不同手势的特征差异，识别出该关键帧中的静态手势；3)、将步骤2)中识别出的静态手势序列构成动态手势，并采用包括隐马尔科夫模型的随机过程描述法或神经元网络法结合模式识别法对该动态手势予以识别，获得动态手势所包含的含义；4)、将步骤3)中识别出的动态手势的含义转换为正常人能够理解的文字或语言；将正常人输入的文字转换为手语部分的具体步骤如下a)、通过文字输入装置输入文字信息，或者在获得识别到的聋哑人手语的含义之后，在专用词汇数据库中自动匹配出相应的回答语句，并将该文字信息或回答语句传入计算机；b)、将步骤a)步中获得的信息进行处理，形成步骤1建立的词汇数据库中的专用词汇，将该专用词汇通过步骤3构建的对应关系形成相应的手语动作；c)、将步骤b)步中形成的手语动作通过步骤2构造的三维动画虚拟人予以显示。2.按照权利要求1所述的计算机辅助手语交流方法，其特征在于，所述2)步中关键帧的提取采用等间隔关键帧提取法，该提取法中间隔L通过以下公式计算得到丄=-(1-1)式中，VideoNum为视频的总帧数，CodeNum为码字数。3.按照权利要求1所述的计算机辅助手语交流方法，其特征在于，所述步骤2)中采用基于多级弦长函数的实现对不同静态手势的识别。4.按照权利要求3所述的计算机辅助手语交流方法，其特征在于，所述傅立叶描述子方法中计算一个手形的傅立叶描述子的公式如下'<formula>formulaseeoriginaldocumentpage4</formula>式中，丄,OO表示第i级弦长函数，分8个级别的弦长函数；N表示函数采样点个数，令N-8。全文摘要本发明公开的一种特定会话场景下的计算机辅助手语交流方法，通过建立虚拟人骨骼模型和特定会话场景词汇数据库，设定该骨骼模型各关节的运动自由度范围，并建立虚拟人各关节动作与专用词汇的交流应答对应关系，通过采集聋哑人打出的手语信息，将该手语信息经过图像处理和生物特征识别，获得所采集手语信息的含义，将聋哑人打出的手语转换为文字或语言告知正常人，反之，获得正常人输入的文字信息，或者在获得识别到的聋哑人打出手语的含义之后，自动匹配出相应的回答语句，并将该文字信息或回答语句经过处理并通过手语转换为手语告知聋哑人，实现特定场合下正常人与聋哑人的会话交流。通过本发明方法可实现特定场合下正常人与聋哑人之间的交流。文档编号G09B21/00GK101527092SQ20091002190公开日2009年9月9日申请日期2009年4月8日优先权日2009年4月8日发明者吴锐杰,杰姚,孙国清,张嘉蕾,曹建斌,虹朱,李丽贤,栋王,洁许,赵朝杰,欢金,韩永朋申请人:西安理工大学