一种基于手势追踪的手语翻译方法及系统的制作方法【专利摘要】本发明公开的一种基于手势追踪的手语翻译方法及系统，利用手势追踪传感器获取手势运动信息，并将获取到的手势运动信息传输到终端上的数字信号处理器进行解析，将解析出所述手势运动信息与存储在终端上的手语信息数据库中保存的手势运动信息进行比对，对比出所述手势运动信息所对应的手语信息，从而可以准确的获取用户通过手势运动发出的手语信息，解决普通人对手语理解困难的问题，增强语言障碍的人与普通人之间的交流和沟通，为人们的日常生活提供方便。【专利说明】一种基于手势追踪的手语翻译方法及系统【
技术领域：
】[0001]本发明涉及人机交互【
技术领域：
】，特别涉及一种基于手势追踪的手语翻译方法及系统。【
背景技术：
】[0002]当今社会发展越来越快，互联网技术以及与电子技术的结合程度越来越高。智能化，人性化的要求也越来越高。[0003]对于一些语言障碍的人士的关心也引起了大多说人的注意。知道和理解语言障碍人士的意图，也是越来越迫切解决的问题。针对聋哑人士的手语沟通的问题，一般都需要经过手语专业的训练才能看懂，一般人往往很难看懂。那么怎么解决这种之间的沟通障碍成为了目前迫切的问题。[0004]随着手势追踪技术的日益发展，人们使用此项技术来实现人与智能终端之间的交互已经成为现实，但是在现有技术中智能终端基于手势追踪技术的应用仅限于对简单手势的追踪，对于复杂的手势，智能终端的手势追踪技术并不能很准确的获取到相应的信息，因此还不能直接用现有技术中智能终端的手势追踪功能来解决语言障碍人士的手语翻译问题。[0005]有鉴于此，现有的技术还需要进一步的发展和改进。【
发明内容】[0006]鉴于上述现有技术的智能终端中手势追踪技术还不能准确的对手语进行翻译的不足之处，本发明的目的在于提供一种基于手势追踪的手语翻译方法及系统，所述方法利用leapmotion传感器和NMF算法进行手势追踪，来精确获取手语彳目息的方法。[0007]为了达到上述目的，本发明采取了以下技术方案:一种基于手势追踪的手语翻译方法，其中，用于带有手势追踪传感器和数字信号处理器的终端进行手语翻译，所述方法包括以下步骤:A、在所述终端上预先存储手语信息数据库；所述手语信息数据库用于存储与手语信息相对应的手势信息；B、开启手势追踪传感器，实时捕获用户发出的手势运动信息，并将所述手势运动信息以帧数据信息的方式传输给数字信号处理器；C、数字信号处理器接收所述帧数据信息并对其进行解析，将解析出的手势运动信息与手语信息数据库中存储的手势运动信息相比对，查找出与该手势运动信息相对应的手语信肩、O[0008]所述基于手势追踪的手语翻译方法，其中，在所述步骤B之前还包括以下步骤:B0、开启手势追踪传感器之后，对初始化过程是否正常进行检测，所述初始化过程包括:所述手势追踪传感器的摄像头是否正常启动、所述数字信号处理器是否正常上电以及数字信号处理算法是否加载成功。[0009]所述基于手势追踪的手语翻译方法，其中，所述步骤C中包括:数字信号处理器首先将其接收到的帧数据信息保存在预处理模块中的缓冲区域，然后再将保存在缓冲区域的帧数据信息发送到处理模块进行解析。[0010]所述基于手势追踪的手语翻译方法，其中，在所述步骤C中还包括:系统启动定时模块定时对接收到的帧数据信息保存到预处理模块的缓冲区域进行监控，防止帧数据信息丢失。[0011]所述基于手势追踪的手语翻译方法，其中，在所述步骤C中将解析出的手势运动信息与所述手语信息数据库中手语信息相比对时运用的是NMF矩阵分解算法。[0012]一种具有手势追踪的手语翻译系统，其中，用于带有手势追踪传感器和数字信号处理器的终端进行手语翻译，所述系统包括以下模块:预先存储模块，用于预先存储手语信息数据库，所述手语信息数据库用于存储与手语信息相对应的手势信息；手势运动追踪模块，用于开启手势追踪传感器，实时捕获用户发出的手势运动信息，将所述手势运动信息以帧数据信息的方式传输给数字信号处理器；手语翻译模块，用于数字信号处理器接收所述帧数据信息并对其进行解析，将解析出的手势运动信息与手语信息数据库中存储的手势运动信息相比对，查找出与该手势运动信息相对应的手语信息。[0013]所述基于手势追踪的手语翻译系统，其中，所述系统还包括:初始化检测模块，用于在手势追踪传感器开启之后，对初始化过程是否正常进行检测，所述初始化过程包括:所述手势追踪传感器的摄像头是否正常启动、所述数字信号处理器是否正常上电以及数字信号处理算法是否加载成功。[0014]所述基于手势追踪的手语翻译系统，其中，所述手语翻译模块包括预处理单元和处理单元；所述预处理单元，用于数字信号处理器将其接收到的帧数据信息保存在预处理模块中的缓冲区域；处理单元，用于将保存在缓冲区域的帧数据信息发送到处理模块进行解析。[0015]所述基于手势追踪的手语翻译系统，其中，所述手语翻译模块还包括定时模块；所述定时模块，系统用于对接收到的帧数据信息保存到预处理模块的缓冲区域进行定时监控，防止帧数据信息丢失。[0016]所述基于手势追踪的手语翻译系统，其中，所述手语翻译模块中将解析出的手势运动信息与所述手语信息数据库中手语信息相比对时运用的是NMF矩阵分解算法。[0017]有益效果:本发明提供的一种基于手势追踪的手语翻译方法及系统，利用手势追踪传感器获取手势运动信息，并将获取到的手势运动信息传输到终端上的数字信号处理器进行解析，将解析出所述手势运动信息与存储在终端上的手语信息数据库中保存的手势运动信息进行比对，对比出所述手势运动信息所对应的手语信息，从而可以准确的获取用户通过手势运动发出的手语信息，解决普通人对手语理解困难的问题，增强语言障碍的人与普通人之间的交流和沟通，为人们的日常生活提供方便。【专利附图】【附图说明】[0018]图1是本发明一种基于手势追踪的手语翻译方法的步骤流程图。[0019]图2是本发明一种基于手势追踪的手语翻译系统的原理结构图。【具体实施方式】[0020]本发明提供了一种基于手势追踪的手语翻译方法及系统。为使本发明的目的、技术方案及效果更加清楚、明确，以下参照附图并举实例对本发明进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。[0021]本发明提供的一种基于手势追踪的手语翻译方法，用于带有手势追踪传感器和数字信号处理器的终端进行手语翻译。[0022]具体的,所述手势追踪传感器,较佳的,使用LeapMotion体感传感器。所述LeapMotion体感传感器根据内置的两个摄像头从不同角度捕捉的画面，重建出手掌在真实的三维信息空间的运动信息。检测的范围大概在传感器上方10毫米到800毫米之间，检测的空间大体是一个倒四棱椎体。[0023]工作原理:LeapMotion体感传感器会建立一个直角坐标系，坐标的原点是传感器的中心，坐标的X轴平行于传感器，指向屏幕右方，Y轴指向上方，Z轴指向背离屏幕的方向。在使用过程中，LeapMotion体感传感器会定期的发送关于手的运动信息，每份这样的信息称为帧，每一个这样的帧包含检测到的:所有手掌的列表及信息、所有手指的列表及信息、手持工具(细的、笔直的、比手指长的东西，例如一枝笔)的列表及信息以及所有可指向对象(PointableObject),即所有手指和工具的列表及信息。LeapMotion体感传感器会给所有这些信息自动分配一个唯一标识(ID)，在手掌、手指、工具保持在视野范围内时，是不会改变的，根据这些ID,可以通过Frame::hand(),Frame::finger()等函数来查询每个运动对象的信息。Leap可以根据每帧和前帧检测到的数据，生成运动信息。[0024]例如，若检测到两只手，并且两只手都超一个方向移动，就认为是平移；若是像握着球一样转动，则记为旋转；若两只手靠近或分开，则记为缩放。具体的，所生成的数据包含:旋转的轴向向量、旋转的角度(顺时针为正)、描述旋转的矩阵、缩放因子、平移向量。[0025]对于每只手，可以检测到如下信息:手掌中心的位置(三维向量，相对于传感器坐标原点，毫米为单位)、手掌移动的速度(毫米每秒)、手掌的法向量(垂直于手掌平面，从手心指向外)、手掌朝向的方向、根据手掌弯曲的弧度确定的虚拟球体的中心、以及根据手掌弯曲的弧度确定的虚拟球体的半径。[0026]下面结合实施例对如何利用LeapMotion体感传感器和数字信号处理器对本发明所提供的一种基于手势追踪的手语翻译方法进行详细解释。[0027]如图1所示，所述基于手势追踪的手语翻译方法，用于带有手势追踪传感器和数字信号处理器的终端进行手语翻译，所述方法包括以下步骤:S1、在所述终端上预先存储手语信息数据库；所述手语信息数据库用于存储与手语信息相对应的手势信息。[0028]在终端上预先存储一手语信息数据库，所述手语信息数据库中保存了各种用户可能发出的代表手语信息的手势运动信息，并将此手势运动信息与手语信息一一对应。[0029]S2、开启手势追踪传感器，实时捕获用户发出的手势运动信息，并将所述手势运动信息以帧数据信息的方式传输给数字信号处理器。[0030]开启终端上的手势追踪传感器，也即是LeapMotion体感传感器，开启手势追踪功能，所述手势追踪传感器能全方位的获取用户发出的手势运动信息，包括所有手指和工具的列表及信息，并获取到的手势运动信息已帧数据信息的方式传输给数字信号处理器。[0031]进一步的，在开启手势追踪传感器之后，还需要对初始化过程是否正常进行检测，所述初始化过程包括:所述手势追踪传感器的摄像头是否正常启动、所述数字信号处理器是否正常上电以及数字信号处理算法是否加载成功。[0032]所述初始化过程其实是一个终端中基于手势追踪进行手语翻译的准备过程是否正常进行检测的过程，其包括硬件方面从非工作状态进入到工作状态是否正常的检测也包括软件方面是否正常加载的检测。[0033]可以想到的是，如果初始化检测出现异常，则直接退出本应用，停止进行手势追踪，并且发送通知给终端，使用户得知终端此功能出现故障。[0034]S3、数字信号处理器接收所述帧数据信息并对其进行解析，将解析出的手势运动信息与手语信息数据库中存储的手势运动信息相比对，查找出与该手势运动信息相对应的手语信息。[0035]具体的，数字信号处理器在接收到所述帧数据信息之后，可以建立多个进程来处理其所获取到的帧数据信息，较佳的，为了能加快处理帧数据信息的速度，数字信号处理器首先将其接收到的帧数据信息保存在预处理模块中的内存缓冲区域中，然后再将保存在内存缓冲区域的帧数据信息发送到处理模块进行解析。[0036]由于帧数据信息比较大的原因，所述内存缓冲区域可以分为两个区域大小相同的部分，每个部分大小为2Mbit。所述处理模块中比对过程可以包括write和read还有cleanlock和unlock的过程。基于此设计,在初始化过程中还可以包括:初始化分配内存缓冲区域，及处理模块中硬件和软件的初始化过程。[0037]在所述处理模块中解析出所述帧数据信息中所包括的手势运动信息之后，所述处理模块将其解析出的所述手势运动信息与预先存储的手语信息数据库中所保存的手势运动信息相比对，查找出与其解析出的手势运动信息相对应的手语信息，并将其查找出的手语信息上报终端进行显示。[0038]具体的，为了很更快的查找出与解析出的手势运动信息相对应的手语信息，在上述步骤中使用NMF矩阵分解算法，使用此算法能快速的在手语信息数据库中查找出相对应的手语信息。[0039]所述NMF矩阵分解算法是一种新的矩阵分解算法，现在广泛应用于图像的分析和处理领域。由于图像本身包含大量的数据，计算机一般将图像的信息按照矩阵的形式进行存放，针对图像的识别、分析和处理也是在矩阵的基础上进行的，凭借其高效的数据检索能力，能够在以图像为主的手语信息数据库中发挥很大的作用。所述NMF矩阵分解算法克服了传统矩阵分解的很多问题，通过寻找上下文有意义的解决方法，提供解释数据的更深看法。NMF通过寻找低秩，非负分解那些都为非负值的矩阵。因此本发明中使用NMF矩阵分解算法进行快速对比，可以得到更快的查找出对比结果。[0040]进一步的，在使用所述NMF矩阵分解算法在进行手势运行信息比对时，还需要结合数字信号处理器中接收到的上下帧数据信息，根据具体的语境对对比出的手语信息是否正确进行判断，更好的提高手语翻译的准确性。[0041]为了进一步提高手语翻译的准确性，在所述步骤S3中还包括:系统启动定时模块定时对接收到的帧数据信息保存到预处理模块的缓冲区域进行监控，防止帧数据信息丢失。从而协调预处理模块中预处理线程和处理模块中比对数据的线程之间的协同性，防止出现帧数据信息的丢失和将解析出的手势运动信息与手语信息数据库中的手势运动信息进行对比时出现的数据丢失等误操作。[0042]具体的，所述定时模块从开始追踪到手势动作开始计时。由于手语表达一个意思是一个连续性的动作，这个过程中会有一个适当的停顿，比如左手换右手；右手变换动作与左手进行配合等进行的停顿。因为上述停顿时间较为短暂，因此可以将上述停顿看成是一个连续的动作，定时模块不停止定时，又由于手语表达一个句子时，其停顿的时间是有限的，因此可以通过系统设置或者自定义的方式设置停顿时间在3秒以内获取到的手势动作为一个句子，超过3秒钟没有任何动作变化说明通过手语发出的整个句子已经表达完成，定时模块停止定时，如此便可以提高一个手语表达的连贯性和准确性。[0043]因此系统通过所述定时模块对接收到的代表整个手语句子信息的帧数据信息是否保存到预处理模块的缓冲区域进行监控，防止手势运动信息丢失。[0044]所述定时模块是系统保证资源不被其他进程占用的一个非常好用的方法，可以保证手势跟踪的过程中系统资源不会释放，从而保证了手语能够准确高效的进行翻译。[0045]可以想到的是，如果定时模块中检测出现了数据丢失或者其他情况的误操作，则中断此应用，释放在内存缓冲区域中的内存，取消定时模块中的定时，并上报终端，呈现给用户。[0046]进一步的，在由于比对后的结果显示出的是比对后的结果实际上是GBK汉字码，需要系统所提供的字库接口进行转换成UNICODE码输出，调用显示线程进行显示输出。[0047]本发明提供的一种具有手势追踪的手语翻译方法，适用于电子设备之中，尤其适用于智能终端中，用于对用户发出的手势运动信息进行追踪和翻译，从而方便用户之间沟通。[0048]具体应用时，首先需要启动电子设备上的手势追踪的手语翻译的功能模块，设置在该功能模块上的LeapMotion体感传感器与定时模块相结合获取到用户发出手势运动信息，并将获取到的手势运动信息，即帧数据信息存储到预处理模块中的内存缓冲区域中，然后再发送到处理模块进行处理。所述处理模块的处理为将获取到的手势运动信息与预先存储手语信息数据库中的手语信息数据进行比对，从而比对出获取的手势运动信息具体所表达的意思，并将比对的结果在电子设备的显示屏上显示出来，从而实现对手势进行追踪并进行翻译的目的，为用户之间的沟通提供方便。[0049]在上述本发明提供的一种具有手势追踪的手语翻译方法的基础上，本发明还提供了一种具有手势追踪的手语翻译系统，同样所述系统用于带有手势追踪传感器和数字信号处理器的终端进行手语翻译，如图2所示，所述系统包括以下模块:预先存储模块10，用于预先存储手语信息数据库，所述手语信息数据库用于存储与手语信息相对应的手势信息；具体功能如上述步骤SI所述。[0050]手势运动追踪模块20，用于开启手势追踪传感器，实时捕获用户发出的手势运动信息，将所述手势运动信息以帧数据信息的方式传输给数字信号处理器；具体功能如上述步骤S2所述。[0051]手语翻译模块30，用于数字信号处理器接收所述帧数据信息并对其进行解析，将解析出的手势运动信息与手语信息数据库中存储的手势运动信息相比对，查找出与该手势运动信息相对应的手语信息；具体功能如上述步骤S3所述。[0052]所述系统还包括:初始化检测模块，用于在手势追踪传感器开启之后，对初始化过程是否正常进行检测，所述初始化过程包括:所述手势追踪传感器的摄像头是否正常启动、所述数字信号处理器是否正常上电以及数字信号处理算法是否加载成功。[0053]所述手语翻译模块30包括预处理单元和处理单元；所述预处理单元，用于数字信号处理器将其接收到的帧数据信息保存在预处理模块中的缓冲区域；处理单元，用于将保存在缓冲区域的帧数据信息发送到处理模块进行解析。[0054]所述手语翻译模块30还包括定时模块；所述定时模块，系统用于对接收到的帧数据信息保存到预处理模块的缓冲区域进行定时监控，防止帧数据信息丢失。[0055]所述基于手势追踪的手语翻译系统，其中，所述手语翻译模块中将解析出的手势运动信息与所述手语信息数据库中手语信息相比对时运用的是NMF矩阵分解算法。[0056]本发明提供的一种基于手势追踪的手语翻译的方法及系统，通过利用手势追踪传感器获取手势运动信息，并将获取到的手势运动信息以帧数据信息的方式传输到终端上的数字信号处理器进行解析，将解析出所述手势运动信息与存储在终端上的手语信息数据库中保存的手势运动信息进行比对，对比出所述手势运动信息所对应的手语信息，从而可以准确的获取用户通过手势运动发出的手语信息，使普通人能轻松的从终端上查看到语言障碍人士发出手语信息，轻松理解其所要表达的信息，所述方法和系统解决普通人对手语理解困难的问题，方便了语言障碍的人与普通人之间的交流和沟通。[0057]可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。【权利要求】1.一种基于手势追踪的手语翻译方法，其特征在于，用于带有手势追踪传感器和数字信号处理器的终端进行手语翻译，所述方法包括以下步骤:A、在所述终端上预先存储手语信息数据库；所述手语信息数据库用于存储与手语信息相对应的手势信息；B、开启手势追踪传感器，实时捕获用户发出的手势运动信息，并将所述手势运动信息以帧数据信息的方式传输给数字信号处理器；C、数字信号处理器接收所述帧数据信息并对其进行解析，将解析出的手势运动信息与手语信息数据库中存储的手势运动信息相比对，查找出与该手势运动信息相对应的手语信息。2.根据权利要求1所述基于手势追踪的手语翻译方法，其特征在于，在所述步骤B之前还包括以下步骤:B0、开启手势追踪传感器之后，对初始化过程是否正常进行检测，所述初始化过程包括:所述手势追踪传感器的摄像头是否正常启动、所述数字信号处理器是否正常上电以及数字信号处理算法是否加载成功。3.根据权利要求1所述基于手势追踪的手语翻译方法，其特征在于，所述步骤C中包括:数字信号处理器首先将其接收到的帧数据信息保存在预处理模块中的缓冲区域，然后再将保存在缓冲区域的帧数据信息发送到处理模块进行解析。4.根据权利要求3所述基于手势追踪的手语翻译方法，其特征在于，在所述步骤C中还包括:系统启动定时模块定时对接收到的帧数据信息保存到预处理模块的缓冲区域进行监控，防止帧数据信息丢失。5.根据权利要求1所述基于手势追踪的手语翻译方法，其特征在于，在所述步骤C中将解析出的手势运动信息与所述手语信息数据库中手语信息相比对时运用的是NMF矩阵分解算法。6.一种具有手势追踪的手语翻译系统，其特征在于，用于带有手势追踪传感器和数字信号处理器的终端进行手语翻译，所述系统包括以下模块:预先存储模块，用于预先存储手语信息数据库，所述手语信息数据库用于存储与手语信息相对应的手势信息；手势运动追踪模块，用于开启手势追踪传感器，实时捕获用户发出的手势运动信息，将所述手势运动信息以帧数据信息的方式传输给数字信号处理器；手语翻译模块，用于数字信号处理器接收所述帧数据信息并对其进行解析，将解析出的手势运动信息与手语信息数据库中存储的手势运动信息相比对，查找出与该手势运动信息相对应的手语信息。7.根据权利要求6所述基于手势追踪的手语翻译系统，其特征在于，所述系统还包括:初始化检测模块，用于在手势追踪传感器开启之后，对初始化过程是否正常进行检测，所述初始化过程包括:所述手势追踪传感器的摄像头是否正常启动、所述数字信号处理器是否正常上电以及数字信号处理算法是否加载成功。8.根据权利要求6所述基于手势追踪的手语翻译系统，其特征在于，所述手语翻译模块包括预处理单元和处理单元；所述预处理单元，用于数字信号处理器将其接收到的帧数据信息保存在预处理模块中的缓冲区域；处理单元，用于将保存在缓冲区域的帧数据信息发送到处理模块进行解析。9.根据权利要求8所述基于手势追踪的手语翻译系统，其特征在于，所述手语翻译模块还包括定时模块；所述定时模块，系统用于对接收到的帧数据信息保存到预处理模块的缓冲区域进行定时监控，防止帧数据信息丢失。10.根据权利要求6所述基于手势追踪的手语翻译系统，其特征在于，所述手语翻译模块中将解析出的手势运动信息与所述手语信息数据库中手语信息相比对时运用的是NMF矩阵分解算法。【文档编号】G09B21/04GK103793527SQ201410063592【公开日】2014年5月14日申请日期:2014年2月25日优先权日:2014年2月25日【发明者】陈琼申请人:惠州Tcl移动通信有限公司