专利名称：电子式手语字典以及其手语查询方法
技术领域：
本发明涉及一种电子式手语字典以及其手语查询方法，特别是适用于各种个人电脑平台或是掌上型电子装置中，运用循环动画播放的方式来展现手语的真实用法，以引导使用者能够学习到正确的手语手势。
如今已是资讯高度发展的电子时代，“便捷、直观、电子化”的各种应用软件已逐步替代了以往的书本式、纸张式、课堂式的教学、学习方式。然而，目前手语语言的查询、学习、掌握等等知识技能还是必须从纸张化作业的书本中汲取。因此，对于手语语言的电子化，视觉化和普及化是残障人士和其他有兴趣学习手语者长久以来期盼的愿望。
目前针对“手语语言”的介绍、学习、查询还是停留在书本的方式。一般介绍手语语言的书本，其书本开始部分为一手语字汇索引，用来指出所有手语字汇其相关手势和说明内容所在的页次。使用者最好先透过手语字汇索引来找到所要学习的手语，再翻到该页详细阅读其手语手势，自然在使用上较不方便。而一般手势图例是以静止独立的图形表现，仅在图形相应处加入了方向性、引导性的线性箭头，以指示出使用者转动的方位及左右手之间的转换等等。所以，必须依靠使用者的推断及感觉来学习掌握，很容易造成错误理解等等原则性上的谬误。另外，受限于利用书本来表示手语的方式，因此对于词组的表达(对于手势之间的动作关连)则缺乏连贯性，误差很大，效果不尽理想，同时也无法得到相对应的语音资料。
有鉴于此，本发明的主要目的，在于提供一种电子式手语字典，能够增加使用者在查询手语字汇和阅读其手势时的方便性，同时能够利用动画方式展现手语手势，让使用者得以更方便地学习到正确的手势，不致于出现学习上的谬误。
根据上述之目的，本发明提出一种电子式手语字典，其包括输入装置，例如像是键盘，用以接收输入的待查字汇；第一存储器，用以暂时储存所输入的上述待查字汇，可以利用随机存取存储器(RandomAccess Memory，RAM)来实现；第二存储器，用以储存动画索引资料、动画帧资料库以及主控程序，其中动画索引资料是用来决定手语字汇和其对应的多个动画帧在上述动画帧资料库中储存位置的关系，动画帧资料库则是用来储存对应于手语字汇的动画帧，其可以利用只读存储器(Read Only Meory，ROM)加以实施；执行装置，例如中央处理器，可以用来执行上述的主控程序，根据待查字汇在上述动画索引资料中找寻对应的储存位置，并且从动画帧资料库中找出对应的多个动画帧；以及显示装置，例如液晶显示器(Liquid CrystalDisplay，LCD)，用以同时显示一手语字汇列表视窗以及一手语字汇动画视窗，其中手语字汇列表视窗是用来显示可供查询的手语字汇，而手语字汇动画视窗用以依序显示上述主控程序所找出的动画帧。
另外，第二存储装置则可以包括一真人语音资料库，而在上述的动画索引资料中则可以同时用来决定手语字汇和其对应的真人语音资料在真人语音资料库中储存位置的关系，并且在显示装置上显示出动画帧的同时，播放找出的真人语音资料。
本发明还提供一种电子式手语字典的手语查询方法，同样的，先提供如上述的动画索引资料及动画帧资料库。在接收输入的待查字汇后，则根据此待查字汇查询上述动画索引资料，以找出对应于待查字汇的多个动画帧在动画帧资料库中存储位置。接着根据找出的存储位置，由动画帧资料库中找出对应的动画帧。最后在显示装置上，同时显示手语字汇列表视窗以及手语字汇动画视窗，上述手语字汇列表视窗用以显示可供查询的手语字汇，而上述手语字汇动画视窗用以依序显示所找出的上述动画帧。藉此，使用者可以直接看到手语字汇和其对应的手语手势，同时手语手势是以动画方式展现，以学习到正确的手语手势。
另外，针对真人发音部分，则包括下列步骤。提供一真人语音资料库；在接收到输入的待查字汇后，则根据此待查字汇决定出所对应的真人语音资料在上述真人语音资料库中的储存位置，并且根据所对应的真人语音资料的储存位置，找出待查字汇的真人语音资料。最后，在显示装置上显示动画帧的同时，播放找出的真人语音资料。
附图的简单说明为使本发明之上述目的、特征和优点能更明显易懂，下文特举一较佳实施例，并配合所附图式，作详细说明如下
图1表示本发明实施例中电子式手语字典硬件架构的方块图。
图2表示本发明实施例中电子式手语字典软件架构的方块图。
图3表示本发明实施例中动画索引档范例的示意图。
图4表示本发明实施例中动画帧资料库范例的示意图。
图5表示本发明实施例中LCD显示范例的示意图。
图6表示本发明实施例中电子式手语字典的手语查询方法的流程图。
图7表示本发明实施例中查询手语字汇时所显示的手语手势的分镜图。符号说明10～中央处理器；20～键盘；30～系统控制芯片；40～LCD；50～LCD驱动器；70～ROM；80～RAM；12～主控程序；72～动画索引档；74～动画帧资料库；76～真人语音资料库；82～待查字汇；42～手语字汇列表视窗；44～手语字汇动画视窗；46～输入盒；48～字汇表头。
以下配合附图，以一实施例详细说明本发明的内容。在以下实施例中是以掌上型电脑(HPC)机型为例来说明。由于一般HPC受限于体积的缘故，无法提供非常大的存储空间，所以如果能够在HPC上实现本发明所提供的方法，则应可轻易地适用于其他各种不同的电脑平台上。
图1表示本实施例中电子式手语字典硬件结构的方块图，此亦为一般HPC或电脑系统的基本架构。如图所示，其中包括中央处理器(Central Processing Unit，CPU)10、键盘(keyboard)20、系统控制芯片30、LCD40、LCD驱动器50、ROM70和RAM80。中央处理器10是整个硬件的执行控制中枢，可以根据既定程序执行工作。键盘20则是输入装置，用以接收使用者所下达的指令或是输入的资料。LCD40则是输出装置，用以显示处理的相关讯息，而其利用专属的LCD驱动器50加以控制。ROM70和RAM80则为存储器模组，分别用来储存固定或暂时的资料或程式。系统控制芯片30则扮演资料交换中心的角色，用以传递资料处理时的相关资料和程序，一般包括CPU接口电路(例如连接于中央处理器10)、外设装置接口电路(例如连接于键盘20和LCD驱动器50)以及存储器控制器(用以控制存储器模组的存取动作)。在一般HPC的ROM70会存放作业系统程序，此作业系统程序经由中央处理器10加以执行后，便可以让整个HPC动作。必须说明的是，图1所示结构为一般性架构，在实际应用上可能有许多变化。举例来说，ROM70可以利用其他非易失性存储器(non-volatile memory)加以取代，例如快闪存储器(flash memory)；另外对于某些具有附加卡的HPC机种而言，附加卡内的ROM或是Flash也可能包括执行所需要的程序码或是资料；例如稍后叙述的主控程序或是各种资料库和索引档，此时则需要透过这些附加卡的接口电路(例如PCMCIA)来存取这些资料和程序。不过，实际应用时可以调整资料存取方式来解决这些差异，所以这些变化并不致影响本发明的实施。
图2表示本实施例中电子式手语字典软件架构的方块图。在软件架构中主要包括主控程序12、动画索引档72、动画帧资料库74和真人语音资料库76。动画索引档72是用来决定手语字汇和其对应动画的各动画帧(frame)在动画帧资料库74中存储位置的关系。动画帧资料库74则是用来实际储存对应于手语字汇的多个动画帧。主控程序12则是本实施例中的主要执行程序，它接收到使用者透过键盘20所输入的待查字汇82，将其储存于RAM80中；并且根据待查字汇82在动画索引档中找寻对应的储存位置，再由动画帧资料库74中找出对应的多个动画帧，以连续循环播放的方式在LCD40中进行播放。执行主控程序12的硬件即为中央处理器10。真人语音资料库76则是用来储存各手语字汇的真人语音资料，主控程序12则可以在显示动画的同时，播放其对应的真人语音资料。上述的各资料库、索引档和程序码由于均为固定式资料，因此适合于储存在ROM70中，以节省储存资料的成本。
以下就手语动画处理方式详细说明。图3表示本实施例中动画索引档72范例的示意图。如前所述，动画索引档72是储存所有手语字汇的动画帧在动画帧资料库74中的储存位置。因此，动画索引档72中对于每个字汇均赋予一个索引项，如图所示，每个索引项包含三个栏位，分别为字汇、动量编号、动画帧资讯。字汇栏位用以储存收编的手语字汇本身，动画编号则记录此字汇对应的动画之编号，动画帧资讯则用以储存此手语字汇动画中各动画帧在动画帧资料库74的储存位置。如图，字汇“A”包含00001A～00001F的六个动画帧，字汇“B”包含00002A～00002E的五个动画帧，其余依此类推。实际在动画索引档72中所储存的储存位置讯息(动画帧)，可以利用很多方式加以实现。假设在动画帧资料库74的动画帧是根据动画编号以及动画帧顺序依序加以储存，则在各索引项的动画帧资讯栏位中可以储存下列两个资料开始动画帧的实体(或逻辑)储存位址以及此手语字汇所包含的动画帧个数。
图4表示本实施例中动画帧资料库74范例的示意图。图中是以动画帧以连续储存位置依序储存，即，首先储存编号00001动画的各动画帧，再储存编号00002动画的各动画帧，其余依此类推。将图3和图4的情况合并说明的话，可知在字汇“A”的动画帧资料中储存的讯息可以是00001A动画帧的开始位置，以及共有6个动画帧的讯息。然而在实际应用上，动画帧资讯栏位内的资料能够有不同的形式。举例来说，一般手语字汇的各分镜手势有很多是相同的，换言之，动画帧资料库74是不必将这些部分重复记录。因此，此时代表手语字汇动画的各动画帧并非以连续的方式加以储存，所以在动画帧资讯栏位中就需要记录每个动画帧的实体(或逻辑)储存位置。至于其他可能的索引方式亦可以适用于本发明，此处则不再赘述。
当主控程序12找到待查字汇82的各动画帧后，就可以连续循环的方式进行播放。图5表示本实施例中LCD40显示范例的示意图。本实施例中在LCD40上显示的部分，包括手语字汇列表视窗42、手语字汇动画视窗44、输入盒(input box)46以及字汇表头48。手语字汇列表视窗42是用来提示手语字汇，在一般操作中，其显示在手语字典中依序编排的各字汇；当选择历史清单(history record)时，则会显示出曾经查询过的手语字汇列表，在图5的范例中即是显示此历史清单。一般历史清单均视为暂时性的资料，因此大都储存于RAM80中。手语字汇动画视窗44则是用来显示找到的动画，在图5所指示的字汇为“A”，所以在手语字汇动画视窗44中播放的即为字汇“A”的手语动画，而字汇表头48则显示目前播放的手语字汇。输入盒46则供使用者输入待查询的字汇，使用者可以利用键盘来输入需要查询的手语内容。由于在LCD40上同时显示了手语字汇列表和手语字汇动画，因此使用者可以不必像使用书本般在索引和内容之间翻页，而且可以更清楚正确地看到手语的动作。
为了增强学习效果，本实施例中另外加入了真人语音部分。回到图2，真人语音资料库76中储存各字汇的真人语音资料，主控程序12则可以从其中找到待查字汇的真人语音资料，并且在LCD40上显示手语字汇动画时，同时播放真人语音资料，以加强使用者对于此字汇的印象。因此，在动画索引档72中可以一并储存每个字汇的真人语音资料在真人语音资料库76中的储存位置，藉此可以在检索动画索引档72的同时找到动画和语音资料的储存位置。
图6表示本实施例中电子式手语字典的手语查询方法的流程图，亦即主控程序12的动作。首先，使用者透过键盘20输入欲查询的手语字汇(S1)，而主控程序12则可以将此待查手语字汇储存于RAM80。接着，主控程序12则在动画索引档72中查询输入手语字汇的索引资料，亦即其动画帧在动画帧资料库74中的储存位置以及其真人语音资料在真人语音资料库76中的储存位置(S2)。接着，主控程序12则根据索引资料，由动画帧资料库74找出其动画帧以及由真人语音资料库76找出其真人语音资料(S3)，再播放真人语音资料以及以连续循环的方式播放动画帧(S4)。此时，只要使用者没有其他的动作(S5)，主控程序12会反覆地播放手语动画，直到收到使用者的下一步指示为止。当使用者下达其他命令时，则判断其后续动作(S6)如果使用者输入其他的待查字汇，则回到步骤S1；如果使用者要调出字汇存储，则找出储存于RAM80中的历史清单，显示于LCD40中的手语字汇列表视窗42中(S7)，并且回到步骤S2；如果使用者选择退出，则结束主控程序12。
在步骤S4中，主控程序12会反覆地播放目前字汇的动画，图7表示本实施例中查询手语字汇“A”时所显示的手语手势的分镜图。在播放其动画时，会依序显示出其各动画帧00001A、00001B、000001C、000001D、000001E、000001F。各动画帧之间可以间隔一既定时间，例如1秒。使用者透过如此展示的手语字汇，自然可以很容易地掌握其手语手势的变化，进而增加学习的效果。
本发明的电子式手语字典以及其手语查询方法，可以提供一种以手语语言为字典，并且易于查询和学习的操作模式，其具有以下优点1．充分展现电子化的优势，查询方便，并且辅以历史记录功能，便于学习手语。
2．利用连续动画循环展示，可以给人强烈的视觉效果，特别对于手语表达较复杂的字汇／词组，可以产生比一般书本更强烈的学习效果。
3．可以同时引入真人发音，做到音、形、义的结合，有效引导使用者正确学习。
本发明虽以一较佳实施例揭示如上，然其并非用以限定本发明，任何熟悉此项技艺者，在不脱离本发明的精神和范围内，当可做些许的更动与润饰，因此本发明的保护范围当视后附之申请专利范围所界定者为准。
权利要求
1．一种电子式手语字典，其包括输入装置，用以接收输入的待查字汇；第一存储器，用以暂时储存所输入的上述待查字汇；第二存储器，用以储存动画索引资料、动画帧资料库以及主控程序，上述动画索引资料用以决定手语字汇和其对应的多个动画帧在上述动画帧资料库中储存位置的关系，上述动画帧资料库用以储存对应于手语字汇的动画帧；执行装置，用以执行上述主控程序，其根据上述待查字汇，在上述动画索引资料中找寻对应的储存位置，并且由上述动画帧资料库找出对应的多个动画帧；以及显示装置，用以同时显示一手语字汇列表视窗以及一手语字汇动画视窗，上述手语字汇列表视窗用以显示可供查询的手语字汇，上述手语字汇动画视窗用以依序显示上述主控程序所找出的上述动画帧。
2．如权利要求1所述的电子式手语字典，其中上述第二存储装置还包括一真人语音资料库，上述动画索引资料同时用以决定手语字汇和其对应的真人语音资料在上述真人语音资料库中储存位置的关系，并且在上述显示装置上显示上述动画帧的同时，播放找出的真人语音资料。
3．如权利要求1或2所述的电子式手语字典，其中上述第一存储器为随机存取存储器(RAM)。
4．如权利要求1或2所述的电子式手语字典，其中上述第二存储器为只读存储器(ROM)。
5．如权利要求1或2所述的电子式手语字典，其中上述执行装置为中央处理器。
6．如权利要求1或2所述的电子式手语字典，其中上述显示装置为液晶显示幕(LCD)。
7．一种电子式手语字典的手语查询方法，其包括提供一动画索引资料及一动画帧资料库，上述动画索引资料用以决定手语字汇和其对应的多个动画帧在上述动画帧资料库中储存位置的关系，上述动画帧资料库用以储存对应于手语字汇的动画帧；接收输入的待查字汇；根据输入的上述待查字汇，查询上述动画索引资料，用以找出对应于上述待查字汇的多个动画帧在上述动画帧资料库中的储存位置；根据找出的上述储存位置，从上述动画帧资料库中找出对应的多个动画帧；以及同时显示一手语字汇列表视窗以及一手语字汇动画视窗于一显示装置上，上述手语字汇列表视窗用以显示可供查询的手语字汇，上述手语字汇动画视窗用以依序显示所找出的上述动画帧。
8．如权利要求7所述的手语查询方法，其中还包括下列步骤提供一真人语音资料库；根据输入的上述待查字汇，决定上述待查字汇所对应的真人语音资料在上述真人语音资料库中的储存位置；根据所对应的真人语音资料的储存位置，找出上述待查字汇的真人语音资料；以及在上述显示装置上显示上述动画帧的同时，播放找出的真人语音资料。
9．如权利要求7或8所述的手语查询方法，其中上述显示装置为液晶显示幕(LCD)。
全文摘要
一种电子式手语字典及其字语查询方法,可以连续播放动画的方式展示手语。其利用动画索引资料来决定手语字汇和其对应动画帧在资料库中储存位置的关系,资料库中储存对应于手语字汇的动画。当收到待查字汇后,则可以根据待查字汇由动画索引资料中找寻对应动画的储存位置,并且由资料库中找出对应的动画资料,连续地显示手语动画。此外,同时显示手语字汇列表视窗,用来显示可供查询的手语字汇,以避免使用者反复地在索引和内容之间查询,增加使用的方便性。
文档编号G06F17/30GK1293413SQ99121570
公开日2001年5月2日 申请日期1999年10月19日 优先权日1999年10月19日
发明者陈淮琰, 吴卫国, 燕智贤 申请人:英业达集团(西安)电子技术有限公司