专利名称：通过嘴唇图像进行信息提示的方法及系统的制作方法
技术领域：
本发明属于计算机、软件技术领域。
背景技术：
即时通讯工具(IM)发展到今天，已经被大多数的网民所接受。例如QQ，TM，P0P0， MSN，RTX等IM工具已经广泛使用。在IM工具中，用户使用频率最高的功能就是利用IM工具与联系人进行聊天交流的功能，这也是IM工具最基本的功能，可以使用户通过网络进行实时沟通。在即时通信客户端，通常采用文字内容来提示用户联系人对象正在进行信息输入。如图1所示，这儿展示的是与即时通讯工具相对应的即时通信交互界面，作为举例而非限定，所使用的硬件设备为个人电脑。当用户A向联系人对象“Mary”发送“早上好”的问候后，"Mary"收到信息后进行回复。当“Mary”进行信息输入时，系统采集“Mary”进行信息输出时的状态信息，并用户A 的即时通信客户端输出。具体来说，可以在用户A的即时通信客户端的即时通信交互界面中，显示“Mary正在输入”一类的字符提示信息，用以提示用户A的联系人对象Mary正在进行信息输入操作。另外，所在视窗下部的任务栏中所对应的窗口位置，也会显示“正在输入” 一类的文字内容，使得在即时通信交互界面的窗口最小化时，或者非焦点窗口的情况下，也能够达到提示用户A的联系人对象的输入状态信息。该方法实现起来比较简单，但是由于形式单一，难免会使用户在感受信息提示的时候觉得单调枯燥。
发明内容
本发明的目的在于，提供一种通过嘴唇图像进行信息提示的方法、终端及系统。利用本发明，通过在用户的即时通信客户端显示丰富多变的嘴唇图像，来提示用户的联系人对象正在进行信息输入，从而改善用户的体验感。为了解决上述技术问题，本发明提供以下技术方案一种通过嘴唇图像进行信息提示的方法，该方法包括如下步骤步骤1，建立输入信息和嘴唇图像信息之间的对应规则；步骤2，采集用户在即时通信交互界面中的输入信息；步骤3，按照所述的对应规则，根据所采集的输入信息获取对应的嘴唇图像信息；步骤4，将获取的嘴唇图像信息在即时通信客户端输出。进一步，所述步骤1中的对应规则为，用户进行信息输入操作时对应着张开或变化的嘴唇图像信息，用户未进行信息输入操作时对应着嘴唇的闭合图像或者无嘴唇图像信息。进一步，建立所述对应规则的过程为，
建立张开的嘴唇图像模型和闭合的嘴唇图像模型，通过交替显示两种嘴唇图像来代表变化的嘴唇图像信息；将用户进行信息输入的操作状态和张开的嘴唇图像模型或者变化的嘴唇图像信息建立映射关系，将用户未进行信息输入的操作状态和闭合的嘴唇图像模型或者无嘴唇图像信息建立映射关系。进一步，所述步骤1中的对应规则为，嘴唇图像的开合的速度和采集获得的对应联系人对象的字符信息输入速度成正向比例关系。进一步，建立所述对应规则的过程为，建立张开的嘴唇图像模型和闭合的嘴唇图像模型，通过改变两种嘴唇图像模型交替显示的时间间隔来获取快慢不同的嘴唇图像变化模型；将用户输入信息的速度值和快慢不同的嘴唇图像变化模型建立映射关系表，其中最快的输入速度值和变化最快的嘴唇图像模型建立映射关系。进一步，所述步骤1中的对应规则为，用户单次在交互界面输入栏中写入但未发送的字符量，和嘴唇图像的张开尺寸相对应。进一步，建立所述对应规则的过程为，建立不同尺寸的嘴唇图像模型，获取张开尺寸大小不同的嘴唇图像信息；将用户输入信息的字符量值和不同尺寸的嘴唇图像模型建立映射关系表，其中最大的字符量值和尺寸最大的嘴唇图像模型建立映射关系。进一步，所述的方法，步骤为，S310，建立输入信息的字符量多少和嘴唇图像张开尺寸之间的对应规则；S320，获取用户在即时通信交互界面中输入的字符量；S330，按照对应规则中的映射关系表，获取所述字符量所对应尺寸的嘴唇图像模型；S340，将获取的嘴唇图像模型在即时通信客户端输出。进一步，所述步骤1中的对应规则为，用户输入信息的内容所对应的发音口型和变化的嘴唇图像信息一一对应。进一步，建立所述对应规则的过程为，通过图像拍摄方式采集各种发音音节对应的发音口型，将采集的发音口型图像转换成嘴唇图像模型；将每个发音音节和对应的嘴唇图像模型建立映射关系，保存在映射关系表中。进一步，所述的方法，其步骤为，S410，建立发音音节或文字和嘴唇图像之间的对应规则；S420，采集用户的输入信息，获取所述输入信息对应的发音音节；S430，按照对应规则中的映射关系表，获取所述发音音节对应的嘴唇图像模型；S440，将获取的嘴唇图像模型在即时通信客户端输出。进一步，所述步骤2中的输入信息为用户进行信息输入操作和用户未进行信息输入操作两种状态。进一步，所述步骤2中的输入信息为用户进行信息输入时所输入的字符信息内容。
进一步，所述步骤3中根据所采集的输入信息获取对应的嘴唇图像信息的过程为，获取用户进行信息输入的操作状态；当用户处于进行信息输入的操作状态时，根据该操作状态和变化的嘴唇图像信息之间的映射关系，获取变化的嘴唇图像信息；当用户处于未进行信息输入的操作状态时，获取闭合的嘴唇图像或者无嘴唇图像 fn息ο进一步，所述步骤3中根据所采集的输入信息获取对应的嘴唇图像信息的过程为，获取用户进行信息输入的输入速度值；根据映射关系表，获取所述输入速度值对应的嘴唇图像变化模型信息。进一步，所述步骤3中根据所采集的输入信息获取对应的嘴唇图像信息的过程为，获取用户进行信息输入的字符量值；根据映射关系表，获取所述输入字符量值所对应尺寸的嘴唇图像模型信息。进一步，所述步骤3中根据所采集的输入信息获取对应的嘴唇图像信息的过程为，采集用户输入信息所对应的发音音节；通过映射关系表，获取所述发音音节对应的嘴唇图像信息。进一步，所述变化的嘴唇图像信息通过交替显示张开的嘴唇图像和闭合的嘴唇图像来实现，对于交替显示两种图像的时间间隔可以定为0.1秒至1秒之间的一个确定值。进一步，采集用户的输入信息，判断设定的时间阈值内是否接收到键盘操作信息， 若在时间阈值内没有收到键盘操作信息，则判断用户未处于信息输入的操作状态。进一步，通过光标位置获取用户输入的字符量，步骤如下，记录信息输入起始点处光标的坐标位置，再获取用户输入字符后光标所在的坐标位置；通过两个坐标位置计算所输入字符的总长度；再根据每个字符所占的长度，即可计算出用户输入的字符量。进一步，所述的获取嘴唇图像信息并进行输出的过程包括，即时通信发送方客户端获取嘴唇图像信息，并封装成数据包，发送至即时通信接收方客户端；即时通信接收方客户端解析出所述的嘴唇图像信息，并输出显示给即时通信接收方用户。进一步，所述的获取嘴唇图像信息并进行输出的过程包括，即时通信发送方客户端将用户的输入信息封装成数据包，发送至即时通信接收方客户端；即时通信接收方客户端解析出所述的用户输入信息，按照对应规则获取嘴唇图像信息，并输出显示给即时通信接收方用户。进一步，所述的获取嘴唇图像信息并进行输出的过程包括，
即时通信发送方客户端将用户的输入信息封装成数据包，发送至嘴唇图像服务器；嘴唇图像服务器解析出所述的用户输入信息，按照对应规则获取嘴唇图像信息， 并将获取的嘴唇图像信息发送至即时通信接收方客户端；即时通信接收方客户端解析出所述的嘴唇图像信息，并输出显示给即时通信接收方用户。进一步，将嘴唇图像信息在即时通信客户端输出的方式包括以下至少其一，将嘴唇图像信息载入到即时通信交互界面中输出；将嘴唇图像信息载入到即时通信主面板对应的联系人对象所在的区域中输出；将嘴唇图像信息载入到接收方客户端的任务栏中输出；将嘴唇图像信息载入到接收方客户端的即时通信托盘中输出；将嘴唇图像信息载入到接收方客户端的悬浮窗口中输出。本发明还提供一种通过嘴唇图像进行信息提示的系统，它包括发送方客户端包括，规则建立单元，用以建立输入信息和嘴唇图像信息之间的对应规则；信息采集单元，用以采集用户在即时通信交互界面中的输入信息；图像获取单元，用以按照规则建立单元所建立的对应规则，根据信息采集单元所采集的输入信息获取对应的嘴唇图像信息；图像发送单元，用以将图像获取单元所获取的嘴唇图像信息发送至接收方客户端；接收方客户端包括，图像接收单元，用以接收发送方客户端发送的嘴唇图像信息；图像输出单元，用以将图像解析单元解析的嘴唇图像信息在即时通信客户端输出ο本发明还提供一种通过嘴唇图像进行信息提示的系统，它包括发送方客户端包括，信息采集单元，用以采集用户在即时通信交互界面中的输入信息；信息发送单元，用以将信息采集单元所采集的输入信息发送至接收方客户端；接收方客户端包括，规则建立单元，用以建立输入信息和嘴唇图像信息之间的对应规则；信息接收单元，用以接收发送方客户端所发送的输入信息；图像获取单元，用以按照规则建立单元所建立的对应规则，根据信息接收单元接收的输入信息获取对应的嘴唇图像信息；图像输出单元，用以将图像获取单元获取的嘴唇图像信息在即时通信客户端输出ο本发明还包括一种通过嘴唇图像进行信息提示的系统，包括发送方客户端、嘴唇图像服务器和接收方客户端发送方客户端包括，信息采集单元，用以采集用户在即时通信交互界面中的输入信息；
信息发送单元，用以将信息采集单元采集的输入信息发送至嘴唇图像服务器；嘴唇图像服务器包括，规则建立单元，用以建立输入信息和嘴唇图像信息之间的对应规则；信息接收单元，用以接收发送方客户端发送的输入信息；图像获取单元，用以按照规则建立单元所建立的对应规则，根据信息接收单元所接收的输入信息获取对应的嘴唇图像信息；图像发送单元，用以将获取的嘴唇图像信息发送至接收方客户端；接收方客户端包括，图像接收单元，用以接收嘴唇图像服务器发送的嘴唇图像信息；图像输出单元，用以将图像接收单元接收的嘴唇图像信息在即时通信客户端输
出ο
图1为现有技术中通过文字内容进行信息提示的即时通信交互界面的示意图；图2为本发明实施例中通过嘴唇图像进行信息提示的即时通信交互界面的示意图；图3为本发明实施例1提供的一种通过嘴唇图像进行信息提示的方法流程图；图4为本发明实施例2提供的一种通过嘴唇图像进行信息提示的方法流程图；图5为本发明实施例3提供的一种通过嘴唇图像进行信息提示的方法流程图；图6为本发明实施例4提供的一种通过嘴唇图像进行信息提示的方法流程图；图7为本发明实施例5提供的一种通过嘴唇图像进行信息提示的系统的示意图；图8为本发明实施例6提供的另一种通过嘴唇图像进行信息提示的系统的示意图；图9为本发明实施例7提供的一种通过嘴唇图像进行信息提示的系统的示意图。
具体实施例方式下面结合附图和具体实施例对本发明作详细描述。在本发明的实施过程中，需要首先建立输入信息与嘴唇图像信息之间的对应规则，该对应规则有几种不同的情况，下面分别通过具体实施例对每种对应规则所对应的详细过程进行描述。实施例1本实施例中，所建立的对应规则为用户进行信息输入操作时，显示张开的嘴唇图像或者交替显示张开的嘴唇图像和闭合的嘴唇图像；用户未进行信息输入操作时，则显示闭合的嘴唇图像或者不显示嘴唇图像。参见图3，该图为本实施例中通过嘴唇图像进行信息提示的方法流程，具体包括以下步骤S110，建立信息输入操作状态和嘴唇图像信息之间的对应规则；所述的对应规则具体为用户进行信息输入操作时对应着张开或变化的嘴唇图像信息，用户未进行信息输入操作时对应着嘴唇的闭合图像或者无嘴唇图像信息。作为举例，所述变化的嘴唇图像信息通过交替显示张开的嘴唇图像和闭合的嘴唇图像来实现，对于交替显示两种图像的时间间隔可以定为0. 1秒至1秒之间的一个确定值。而且在本实施例中，无论用户输入信息的速度有多快，但作为嘴唇图像信息的变化速度，比如开合的速度，是一致的。就如同目前的字符提醒方式，无论是输入文字的速度有多快，但作为字符的提醒信息，均为“文字输入中”一类的固定内容。建立所述对应规则的具体过程为建立张开的嘴唇图像模型和闭合的嘴唇图像模型，通过交替显示两种嘴唇图像来代表变化的嘴唇图像信息；将用户进行信息输入的操作状态和张开的嘴唇图像模型或者变化的嘴唇图像信息建立映射关系，将用户未进行信息输入的操作状态和闭合的嘴唇图像模型或者无嘴唇图像信息建立映射关系。所述的对应规则在即时通信客户端实现的效果是当用户进行信息输入时，通过张开的嘴唇图像或者一张一合的嘴唇变化图像，进行信息输入的提示；当用户没有进行信息输入时，通过闭合的嘴唇图像或者无嘴唇图像信息，来进行信息提示。S120，检测用户是否处于信息输入的操作状态，如果处于信息输入的操作状态，进入步骤S130，如果没有处于信息输入的操作状态，进入步骤S140 ；作为举例，用户进行信息输入操作是通过键盘操作来实现的，可以通过Windows 的键盘钩子函数来获取键盘操作信息，即可获取用户进行信息输入的操作状态。作为举例，在Windows平台上，一切事件，都以消息的形式进行传递，任何一个鼠标或键盘操作都会产生一个消息。首先，由Windows系统接收消息，然后根据消息的接收句柄，将消息发送至对应的目标应用程序，Windows钩子函数即设置在系统和目标应程序之间，能够在消息到达目标应用程之前，提前截获该消息，并对该消息进行相应处理，然后再将该消息发送至目标应用程序。在本实施例中，将用户针对于即时通信交互界面中进行信息输入时的键盘操作消息，通过设置的Windows键盘钩子函数进行截获。当检测到用户处于信息输入的操作状态时，进入步骤S130，当检测到用户未处于信息输入的操作状态，进入步骤S140。接收到Windows键盘钩子函数获取到键盘操作信息时，即检测到用户处于信息输入的操作状态；所述的检测到用户未处于信息输入的操作状态，通过设定时间阈值内始终未接收到键盘操作信息来进行确定，例如设置的时间阈值为3s，当上次接收到键盘操作信息，过了 3s后仍没有再次接收到键盘操作信息，则此时为用户未处于信息输入的操作状态，直到再次接收到键盘操作信息为止。S130，根据所述操作状态和嘴唇图像信息之间的映射关系，获取张开或变化的嘴唇图像信息；当接收到用户处于信息输入的操作状态时，通过遍历对应规则中的映射关系表， 可以获取到操作状态所对应的嘴唇图像信息。如果前述的对应规则为张开的嘴唇图像，该步骤中即获取到所存储的张开的嘴唇图像模型；如果前述的对应规则为变化的嘴唇图像， 则获取到张开的嘴唇图像模型和闭合的嘴唇图像模型交替显示的嘴唇图像信息。S140，获取闭合的嘴唇图像信息或者无图像信息；通过遍历对应规则中的映射关系表，获取闭合的嘴唇图像模型或者无嘴唇图像信肩、οS150，将获取的嘴唇图像信息在即时通信客户端输出。
本发明实施例中获取嘴唇图像并进行输出的过程包括以下几种不同的方式方式1，即时通信发送方客户端根据用户的输入信息获取嘴唇图像信息，并封装成数据包，发送至即时通信接收方客户端；即时通信接收方客户端解析出所述的嘴唇图像信息，并输出显示给即时通信接收方用户。方式2，即时通信发送方客户端将用户的输入信息封装成数据包，发送至即时通信接收方客户端；即时通信接收方客户端解析出所述的用户输入信息，按照对应规则获取嘴唇图像信息，并输出显示给即时通信接收方用户。以上两种方式中，进行数据传输时，可以采用P2P的方式由发送方客户端直接将数据包发送至接收方客户端；也可以采用服务器中转的方式，由发送方客户端将数据发送至服务器，再由服务器将数据发送至接收方客户端。方式3，即时通信发送方客户端将用户的输入信息封装成数据包，发送至嘴唇图像服务器；嘴唇图像服务器解析出所述的用户输入信息，按照对应规则获取嘴唇图像信息，并将获取的嘴唇图像信息发送至即时通信接收方客户端；即时通信接收方客户端解析出所述的嘴唇图像信息，并输出显示给即时通信接收方用户。在即时通信客户端输出嘴唇图像信息，包括以下几种方式方式1，将嘴唇图像信息载入到即时通信交互界面中输出。参见图2，该图为本发明实施例中通过嘴唇图像进行信息提示的示意图。如图2所示，即是在即时通信交互界面100中输出嘴唇图像的情形，当联系人对象 “Mary”进行信息输入时，在用户的客户端会显示有嘴唇图像200，以向用户提示对方正在进行信息输入。作为举例，将嘴唇图像信息载入到即时通信交互界面中的过程为获取即时通信交互界面的窗口句柄，通过DC相关的API函数确定嘴唇图像在即时通信交互界面窗口中输出的区域位置，利用LoadImage函数将嘴唇图像载入到即时通信交互界面中的指定区域位置。方式2，将嘴唇图像信息载入到即时通信主面板对应的联系人对象所在的区域中输出。在即时通信主面板中包含有联系人列表，在该联系人列表中对应着每一个联系人对象，具有和该联系人对象区域。目前大多将其称为“Item项”，并且多是条框结构，在其中载入有该联系人对象的昵称、头像等数据信息。在该方式中，能够通过这儿的Item项目，将嘴唇图像信息输出。方式3，将嘴唇图像信息载入到接收方客户端的任务栏中输出。需要指出的是，这儿是针对于具有任务栏的视窗类型而言的。典型的情况作为举例而非限定，通过个人电脑来实现的Windows视窗，通常在下方设置有任务栏。在即时通信交互界面所对应的窗口打开后，能够视窗下方的任务栏中显示有该即时通信交互界面窗口的标签。从而根据该标签的句柄信息，将嘴唇图像信息载入到该窗口标签中输出。方式4，将嘴唇图像信息载入到接收方客户端的即时通信托盘中输出。需要指出的是，这儿是针对于具有任务栏托盘的视窗类型而言的。典型的情况作为举例而非限定，通过个人电脑来实现的Windows视窗，通常在下方任务栏，显示有启动程序的图标托盘。
在该方式中，当即时通信工具打开后，在前述的图标托盘中显示有即时通信的图标信息。通过获取图标托盘的句柄信息，将嘴唇图像信息载入到图标托盘处输出。方式5，将嘴唇图像信息载入到接收方客户端的悬浮窗口中输出。本实施例中还可以通过在接收方客户端生成一个悬浮窗口，来输出嘴唇图像信息。所述的悬浮窗口，指的是独立于即时通讯工具所对应的即时通信主面板和即时通信交互界面两者之外的其它窗口形式。具体实施时，可以通过窗口生成函数，来生成预设的窗口区域，进而通过该窗口区域所对应的句柄信息，载入嘴唇图像信息后输出。实施例2本实施例中，所建立的对应规则为用户输入信息的速度大小和嘴唇图像的变化快慢相对应，而且为正向比例关系。即用户输入信息的速度越快，对应着嘴唇图像的变化速度就越快，输入的速度越慢对应着嘴唇图像的变化速度也越慢。参见图4，该图为本实施例中通过嘴唇图像进行信息提示的方法流程，具体包括以下步骤S210,建立输入信息的速度大小和嘴唇图像变化快慢之间的对应规则；建立所述对应规则的具体过程为建立张开的嘴唇图像模型和闭合的嘴唇图像模型，通过改变两种嘴唇图像模型交替显示的时间间隔来获取快慢不同的嘴唇图像变化模型。具体实施时，作为举例而非限定，方案有两种类型。其中之一，采用预设的函数关系，通过该函数关系，来建立输入速度与嘴唇变化速度之间的对应关系。从而，根据用户所输入字符的速度快慢来计算出对应的嘴唇图像的变化速度。作为举例，可以这样来实施将字符输入的速度和嘴唇变化速度之间，建立正向比例关系。比如，每分钟完成10 个字符之内的速度，对应着嘴唇图像张合三次；每分钟输入10-30个字符，对应着嘴唇图像张合六次；每分钟输入30-80个字符，对应着嘴唇图像张合9次；每分钟输入80个字符以上，对应着嘴唇图像张合12次。其中之二，是将用户输入信息的速度值和快慢不同的嘴唇图像变化模型建立映射关系表，其中包括最快的输入速度值和变化最快的嘴唇图像模型建立映射关系。作为举例而非限定，建立所述对应规则时，可以将输入信息的速度大小分为不同的等级，例如可以是极快、快、中等、慢、极慢这些速度等级，用户每秒钟输入120个字符以上为“极快”，每秒输入60到120个字符为“快”，依次设定不同等级所对应的输入速度。同样建立5种变化快慢不同的嘴唇图像变化模型，然后将五种嘴唇图像变化模型和对应的五种速度等级建立映射关系。另外，建立所述对应规则时，还可以将输入字符的个数和嘴唇的变化次数相对应， 例如，用户每输入一个字符对应着一次嘴唇图像模型变化，用户不输入字符时对应着嘴唇图像模型不变。S220，采集用户的输入信息，计算用户输入信息的速度值；作为举例，用户在即时通信交互界面进行信息输入时，利用Windows键盘钩子函数截获键盘操作信息，获取键盘按键的虚拟键值，通过虚拟键值判断用户按下的键是否为字符键，通过统计用户一定时间内所按下的字符键次数，即可计算出用户输入按键信息的速度值。进一步，可以通过采集所输入的文字信息，来判断有字符键的操作信息所对应的文字数量。比如，采用拼音输入法输入中文时，多次按下字符键，才能够生成一个中文字符。前述的速度值，既可以是字符键输入的速度值，也可以是字符键所对应文字的输入速度值。S230，按照对应规则中的映射关系表，获取所述速度值对应的嘴唇图像变化模型；遍历对应规则中的映射关系表，获取前述步骤计算的输入信息速度值所对应的嘴唇图像变化模型。SMO，将获取的嘴唇图像变化模型在即时通信客户端输出。该步骤的实施过程和实施例1中的步骤S150是相同的，此处不再赘述。实施例3本实施例中，所建立的对应规则为用户输入信息的字符量多少和嘴唇图像的张开尺寸大小相对应，即用户输入信息的字符量越多，对应着嘴唇图像的张开尺寸就越大，输入的字符量越少对应着嘴唇图像的尺寸也越小。参见图5，该图为本实施例中通过嘴唇图像进行信息提示的方法流程，具体包括以下步骤S310，建立输入信息的字符量多少和嘴唇图像张开尺寸之间的对应规则；建立所述对应规则的具体过程为建立不同尺寸的嘴唇图像模型，获取张开尺寸大小不同的嘴唇图像信息；将用户输入信息的字符量值和不同尺寸的嘴唇图像模型建立映射关系，其中，最大的字符量值和尺寸最大的嘴唇图像模型建立映射关系。建立所述对应规则时，用户在即时通信交互界面未输入字符信息时，嘴唇张开尺寸为0，即为闭合的嘴唇图像。作为举例而非限定，可以将嘴唇张开尺寸分为不同的等级，例如可以是微小、小、中等、大、极大这五种尺寸大小。然后为每种尺寸大小的嘴唇图像设定对应的字符量范围，例如设定每分钟输入5个字符以下对应微小的嘴唇尺寸，进而将每种尺寸等级的嘴唇图像和对应的字符量范围建立映射关系。S320，获取用户在即时通信交互界面中输入的字符量；获取字符量的方法可以通过Windows键盘钩子函数截获键盘操作信息，获取键盘按键的虚拟键值，判断用户按下的键是否为字符键，然后统计用户按下的字符键个数。或者，直接采集所输入的文字的数量。这两种数据类型，都可以视为所输入的字符的不同形式。另外，还可以通过光标位置获取用户输入的字符量，首先记录信息输入起始点处光标的坐标位置，再获取用户输入字符后光标所在的坐标位置，通过两个坐标位置可以计算出所输入字符的总长度，再根据每个字符所占的长度，即可计算出用户输入的字符量。S330，按照对应规则中的映射关系表，获取所述字符量所对应尺寸的嘴唇图像模型；遍历对应规则中的映射关系表，根据前述步骤中获取的输入字符量，进一步获取所对应尺寸的嘴唇图像模型。S340，将获取的嘴唇图像模型在即时通信客户端输出。该步骤的实施过程和实施例1中的步骤S150是相同的，此处不再赘述。
实施例4本实施例中，所建立的对应规则为用户输入信息的内容所对应的发音口型和变化的嘴唇图像信息一一对应。例如，用户输入信息“你好”，则嘴唇图像信息为“你好”的嘴唇口型；而输入信息“天气”，则会有另外一种口型。参见图6，该图为本实施例中通过嘴唇图像进行信息提示的方法流程，具体包括以下步骤S410，建立发音音节或文字和嘴唇图像之间的对应规则；建立所述对应规则的具体过程为通过图像拍摄方式采集各种发音音节对应的发音口型，将采集的发音口型图像转换成嘴唇图像模型；将每个发音音节和对应的嘴唇图像模型建立映射关系，保存在映射关系表中。需要指出的是，也可以将每个文字所对应的嘴唇图像单独进行记录，形成每个文字和嘴唇图像之间的对应规则。作为举例而非限定，下面通过汉语拼音音节来说明本实施例中对应规则的建立过程。汉语中一个汉字就是一个音节，每个音节由声母、韵母和声调三个部分组成。由于不同声调对应的音节，其发音口型是基本相同的，因此本实施例中的发音音节为无调音节，汉语中的无调音节共有398个。对于每一个音节，可以通过图像拍摄的方式，采集到发生该音节的口型图像，然后通过绘画方式将拍摄的口型图像转换成对应的嘴唇图像模型，最后将该音节和转换的嘴唇图像模型建立映射关系，同样方法获取其它所有音节所对应的嘴唇图像模型。而对于其它语言类型来说，比如英文，经常一个文字可以划分多个音节。S420，采集用户的输入信息，获取所述输入信息对应的发音音节；作为举例，当用户采用拼音输入法进行信息输入时，可以将用户所输入的拼音字符与拼音音节表进行比对，即可获取到输入信息对应的发音音节。如果用户采用其它的输入法进行汉字输入，可以首先建立一个汉字与音节的转换表，根据该转换表，把输入的字符信息转换成对应的音节。S430，按照对应规则中的映射关系表，获取所述发音音节对应的嘴唇图像模型；遍历对应规则中的映射关系表，根据前述步骤中获取的发音音节，进一步获取所对应的嘴唇图像模型。S440，将获取的嘴唇图像模型在即时通信客户端输出。该步骤的实施过程和实施例1中的步骤S150是相同的，此处不再赘述。实施例5本实施例提供一种通过嘴唇图像进行信息提示的系统300，如图7所示，该终端包括发送方客户端310和接收方客户端320，发送方客户端310，具体包括规则建立单元311，用以建立输入信息和嘴唇图像信息之间的对应规则；信息采集单元312，用以采集用户在即时通信交互界面中的输入信息；图像获取单元313，用以按照所述的对应规则，根据所采集的输入信息获取对应的嘴唇图像信息；图像发送单元314，用以将获取的嘴唇图像信息发送至接收方客户端；所述的图像获取单元313分别与规则建立单元311、信息采集单元312、图像发送单元314相连接。信息采集单元312将采集的用户输入信息发送至图像获取单元313 ；图像获取单元313接收到用户的输入信息后，根据规则建立单元311所建立的输入信息与嘴唇图像之间的对应规则，获取嘴唇图像信息，并将获取的图像信息发送至图像发送单元314;图像发送单元314将获取的嘴唇图像信息发送至接收方客户端320。接收方客户端320，具体包括图像接收单元321，用以接收发送方发送的嘴唇图像信息；图像输出单元322，用以将获取的嘴唇图像信息在即时通信客户端输出。图像接收单元321，与发送方客户端310的图像发送单元314进行数据通信，接收来自于图像发送单元314发送的嘴唇图像信息；图像输出单元322与图像接收单元321相连接，将其接收的嘴唇图像信息在即时通信接收方客户端输出。实施例6本实施例提供另一种通过嘴唇图像进行信息提示的系统400，如图8所示，该终端包括发送方客户端410和接收方客户端420，发送方客户端410，具体包括信息采集单元411，用以采集用户在即时通信交互界面中的输入信息；信息发送单元412，用以将采集的输入信息发送至接收方客户端。接收方客户端420，具体包括规则建立单元421，用以建立输入信息和嘴唇图像信息之间的对应规则；信息接收单元422，用以接收发送方所发送的输入信息；图像获取单元423，用以按照所述的对应规则，根据所接收的输入信息获取对应的嘴唇图像信息；图像输出单元424，用以将获取的嘴唇图像信息在即时通信客户端输出。利用接收方客户端420中的信息接收单元422，与发送方客户端410的信息发送单元412进行数据通信，接收来自于信息发送单元412发送的来自于信息采集单元411所采集的用户在即时通信交互界面中的输入信息。该输入信息，可以是输入的字符内容，也可以是字符内容的数量统计。所述的图像获取单元423，分别与规则建立单元421、信息接收单元422、图像输出单元似4相连接，获取信息接收单元422接收到的输入信息，按照规则建立单元421建立的对应规则，获取嘴唇图像信息，并发送至图像输出单元424 ；由图像输出单元4M将嘴唇图像信息在即时通信接收方客户端输出。实施例7本实施例提供一种通过嘴唇图像进行信息提示的系统500，如图9所示，该系统包括发送方客户端510、嘴唇图像服务器520和接收方客户端530，其中的发送方客户端510，具体包括信息采集单元511，用以采集用户在即时通信交互界面中的输入信息；信息发送单元512，用以将采集的输入信息发送至嘴唇图像服务器。其中的嘴唇图像服务器520，具体包括规则建立单元521，用以建立输入信息和嘴唇图像信息之间的对应规则；
信息接收单元522，用以接收发送方客户端发送的输入信息；图像获取单元523，用以按照所述的对应规则，根据所接收的输入信息获取对应的嘴唇图像信息；图像发送单元524，用以将获取的嘴唇图像信息发送至接收方客户端。前述的信息接收单元522与发送方客户端510的信息发送单元512进行数据通信，接收来自于信息发送单元512发送的来自于信息采集单元511所采集的用户在即时通信交互界面中的输入信息。前述的图像获取单元523分别与规则建立单元521、信息接收单元522、图像发送单元5M相连接，获取信息接收单元522接收到的输入信息，按照规则建立单元521建立的对应规则，获取嘴唇图像信息，并发送至图像发送单元5M。接收方客户端530，具体包括图像接收单元531，用以接收并解析发送方发送的嘴唇图像信息；图像输出单元532，用以将获取的嘴唇图像信息在即时通信客户端输出。图像接收单元531，与嘴唇图像服务器520的图像发送单元5M进行数据通信，接收来自于图像发送单元5M发送的嘴唇图像信息；图像输出单元532与图像接收单元531 相连接，将其接收的嘴唇图像信息在即时通信接收方客户端输出。以上是对本发明的描述而非限定，基于本发明思想的其它实施方式，均在本发明的保护范围之中。
权利要求
1.一种通过嘴唇图像进行信息提示的方法，其特征在于该方法包括如下步骤 步骤1，建立输入信息和嘴唇图像信息之间的对应规则；步骤2，采集用户在即时通信交互界面中的输入信息；步骤3，按照所述的对应规则，根据所采集的输入信息获取对应的嘴唇图像信息； 步骤4，将获取的嘴唇图像信息在即时通信客户端输出。
2.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于所述步骤1中的对应规则为，用户进行信息输入操作时对应着张开或变化的嘴唇图像信息，用户未进行信息输入操作时对应着嘴唇的闭合图像或者无嘴唇图像信息。
3.根据权利要求2所述的一种通过嘴唇图像进行信息提示的方法，其特征在于建立所述对应规则的过程为，建立张开的嘴唇图像模型和闭合的嘴唇图像模型，通过交替显示两种嘴唇图像来代表变化的嘴唇图像信息；将用户进行信息输入的操作状态和张开的嘴唇图像模型或者变化的嘴唇图像信息建立映射关系，将用户未进行信息输入的操作状态和闭合的嘴唇图像模型或者无嘴唇图像信息建立映射关系。
4.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于所述步骤1中的对应规则为，嘴唇图像的开合的速度和采集获得的对应联系人对象的字符信息输入速度成正向比例关系。
5.根据权利要求4所述的一种通过嘴唇图像进行信息提示的方法，其特征在于建立所述对应规则的过程为，建立张开的嘴唇图像模型和闭合的嘴唇图像模型，通过改变两种嘴唇图像模型交替显示的时间间隔来获取快慢不同的嘴唇图像变化模型；将用户输入信息的速度值和快慢不同的嘴唇图像变化模型建立映射关系表，其中最快的输入速度值和变化最快的嘴唇图像模型建立映射关系。
6.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于所述步骤1中的对应规则为，用户单次在交互界面输入栏中写入但未发送的字符量，和嘴唇图像的张开尺寸相对应。
7.根据权利要求6所述的一种通过嘴唇图像进行信息提示的方法，其特征在于建立所述对应规则的过程为，建立不同尺寸的嘴唇图像模型，获取张开尺寸大小不同的嘴唇图像信息； 将用户输入信息的字符量值和不同尺寸的嘴唇图像模型建立映射关系表，其中最大的字符量值和尺寸最大的嘴唇图像模型建立映射关系。
8.根据权利要求1或6所述的一种通过嘴唇图像进行信息提示的方法，其特征在于 所述的方法，步骤为，S310，建立输入信息的字符量多少和嘴唇图像张开尺寸之间的对应规则； S320，获取用户在即时通信交互界面中输入的字符量；S330，按照对应规则中的映射关系表，获取所述字符量所对应尺寸的嘴唇图像模型； S340，将获取的嘴唇图像模型在即时通信客户端输出。
9.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于所述步骤1中的对应规则为，用户输入信息的内容所对应的发音口型和变化的嘴唇图像信息--对应。
10.根据权利要求9所述的一种通过嘴唇图像进行信息提示的方法，其特征在于建立所述对应规则的过程为，通过图像拍摄方式采集各种发音音节对应的发音口型，将采集的发音口型图像转换成嘴唇图像模型；将每个发音音节和对应的嘴唇图像模型建立映射关系，保存在映射关系表中。
11.根据权利要求1或9所述的一种通过嘴唇图像进行信息提示的方法，其特征在于 所述的方法，其步骤为，S410，建立发音音节或文字和嘴唇图像之间的对应规则；S420，采集用户的输入信息，获取所述输入信息对应的发音音节；S430，按照对应规则中的映射关系表，获取所述发音音节对应的嘴唇图像模型；S440，将获取的嘴唇图像模型在即时通信客户端输出。
12.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于所述步骤2中的输入信息为用户进行信息输入操作和用户未进行信息输入操作两种状态。
13.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于所述步骤2中的输入信息为用户进行信息输入时所输入的字符信息内容。
14.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于所述步骤3中根据所采集的输入信息获取对应的嘴唇图像信息的过程为，获取用户进行信息输入的操作状态；当用户处于进行信息输入的操作状态时，根据该操作状态和变化的嘴唇图像信息之间的映射关系，获取变化的嘴唇图像信息；当用户处于未进行信息输入的操作状态时，获取闭合的嘴唇图像或者无嘴唇图像信肩、ο
15.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于所述步骤3中根据所采集的输入信息获取对应的嘴唇图像信息的过程为，获取用户进行信息输入的输入速度值；根据映射关系表，获取所述输入速度值对应的嘴唇图像变化模型信息。
16.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于所述步骤3中根据所采集的输入信息获取对应的嘴唇图像信息的过程为，获取用户进行信息输入的字符量值；根据映射关系表，获取所述输入字符量值所对应尺寸的嘴唇图像模型信息。
17.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于所述步骤3中根据所采集的输入信息获取对应的嘴唇图像信息的过程为，采集用户输入信息所对应的发音音节；通过映射关系表，获取所述发音音节对应的嘴唇图像信息。
18.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于所述变化的嘴唇图像信息通过交替显示张开的嘴唇图像和闭合的嘴唇图像来实现，对于交替显示两种图像的时间间隔可以定为0. 1秒至1秒之间的一个确定值。
19.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于采集用户的输入信息，判断设定的时间阈值内是否接收到键盘操作信息，若在时间阈值内没有收到键盘操作信息，则判断用户未处于信息输入的操作状态。
20.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于通过光标位置获取用户输入的字符量，步骤如下，记录信息输入起始点处光标的坐标位置，再获取用户输入字符后光标所在的坐标位置；通过两个坐标位置计算所输入字符的总长度；再根据每个字符所占的长度，即可计算出用户输入的字符量。
21.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于所述的获取嘴唇图像信息并进行输出的过程包括，即时通信发送方客户端获取嘴唇图像信息，并封装成数据包，发送至即时通信接收方客户端；即时通信接收方客户端解析出所述的嘴唇图像信息，并输出显示给即时通信接收方用户。
22.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于所述的获取嘴唇图像信息并进行输出的过程包括，即时通信发送方客户端将用户的输入信息封装成数据包，发送至即时通信接收方客户端；即时通信接收方客户端解析出所述的用户输入信息，按照对应规则获取嘴唇图像信息，并输出显示给即时通信接收方用户。
23.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于所述的获取嘴唇图像信息并进行输出的过程包括，即时通信发送方客户端将用户的输入信息封装成数据包，发送至嘴唇图像服务器； 嘴唇图像服务器解析出所述的用户输入信息，按照对应规则获取嘴唇图像信息，并将获取的嘴唇图像信息发送至即时通信接收方客户端；即时通信接收方客户端解析出所述的嘴唇图像信息，并输出显示给即时通信接收方用户。
24.根据权利要求1所述的一种通过嘴唇图像进行信息提示的方法，其特征在于将嘴唇图像信息在即时通信客户端输出的方式包括以下至少其一，将嘴唇图像信息载入到即时通信交互界面中输出；将嘴唇图像信息载入到即时通信主面板对应的联系人对象所在的区域中输出； 将嘴唇图像信息载入到接收方客户端的任务栏中输出； 将嘴唇图像信息载入到接收方客户端的即时通信托盘中输出； 将嘴唇图像信息载入到接收方客户端的悬浮窗口中输出。
25.一种通过嘴唇图像进行信息提示的系统，包括发送方客户端和接收方客户端，其特征在于发送方客户端包括，规则建立单元，用以建立输入信息和嘴唇图像信息之间的对应规则；信息采集单元，用以采集用户在即时通信交互界面中的输入信息； 图像获取单元，用以按照规则建立单元所建立的对应规则，根据信息采集单元所采集的输入信息获取对应的嘴唇图像信息；图像发送单元，用以将图像获取单元所获取的嘴唇图像信息发送至接收方客户端； 接收方客户端包括，图像接收单元，用以接收发送方客户端发送的嘴唇图像信息；图像输出单元，用以将图像解析单元解析的嘴唇图像信息在即时通信客户端输出。
26.—种通过嘴唇图像进行信息提示的系统，包括发送方客户端和接收方客户端，其特征在于发送方客户端包括，信息采集单元，用以采集用户在即时通信交互界面中的输入信息； 信息发送单元，用以将信息采集单元所采集的输入信息发送至接收方客户端； 接收方客户端包括，规则建立单元，用以建立输入信息和嘴唇图像信息之间的对应规则； 信息接收单元，用以接收发送方客户端所发送的输入信息；图像获取单元，用以按照规则建立单元所建立的对应规则，根据信息接收单元接收的输入信息获取对应的嘴唇图像信息；图像输出单元，用以将图像获取单元获取的嘴唇图像信息在即时通信客户端输出。
27.一种通过嘴唇图像进行信息提示的系统，包括发送方客户端、嘴唇图像服务器和接收方客户端，其特征在于发送方客户端包括，信息采集单元，用以采集用户在即时通信交互界面中的输入信息； 信息发送单元，用以将信息采集单元采集的输入信息发送至嘴唇图像服务器； 嘴唇图像服务器包括，规则建立单元，用以建立输入信息和嘴唇图像信息之间的对应规则； 信息接收单元，用以接收发送方客户端发送的输入信息；图像获取单元，用以按照规则建立单元所建立的对应规则，根据信息接收单元所接收的输入信息获取对应的嘴唇图像信息；图像发送单元，用以将获取的嘴唇图像信息发送至接收方客户端； 接收方客户端包括，图像接收单元，用以接收嘴唇图像服务器发送的嘴唇图像信息；图像输出单元，用以将图像接收单元接收的嘴唇图像信息在即时通信客户端输出。
全文摘要
本发明提供了一种通过嘴唇图像进行信息提示的方法及系统，属于计算机软件技术领域。该方法包括建立输入信息和嘴唇图像信息之间的对应规则；采集用户在即时通信交互界面中的输入信息；按照所述的对应规则，根据所采集的输入信息获取对应的嘴唇图像信息；将获取的嘴唇图像信息在即时通信客户端输出。本发明的优点在于通过在用户的即时通信客户端显示丰富多变的嘴唇图像，来提示用户联系人对象正在进行信息输入，从而改善用户的体验感。
文档编号H04L12/58GK102368198SQ20111029661
公开日2012年3月7日 申请日期2011年10月4日 优先权日2011年10月4日
发明者刘红梅, 马宇尘 申请人:上海量明科技发展有限公司