即时通信中语音搜索的方法、客户端及系统的制作方法

文档序号:6382470阅读:138来源:国知局
专利名称:即时通信中语音搜索的方法、客户端及系统的制作方法
即时通信中语音搜索的方法、客户端及系统技术领域
本发明属于通信、软件技术领域。技术背景
即时通信(InstantMessaging,简称IM),大多数情况下,指的是能够即时发送或接收互联网消息等功能的业务。它已成为人们通过网络进行交互通信的平台,用以实现包括文本、图片、语音、视频、多媒体等多种数据格式的交互操作,并能够对已有的文档数据利用即时通信工具便利地进行传输操作。在交互通信的基础上,通过即时通信工具还逐步发展出了个人页面、博客、微博、电子邮件、音乐、图片、游戏、影视和搜索等多种功能。即时通信工具已不再单纯作为聊天工具,还实现了资讯、娱乐、搜索、电子商务、办公、网络社区等更加广泛的用途。能够实现即时通信接入功能的设备有多种多样。典型的设备类型,包括使用传统网络的个人电脑,以及平板电脑;还包括使用移动互联网的智能手机,等等。
目前即时通信软件的类型也多种多样,典型的包括有腾讯科技公司的QQ或微信、 微软公司的MSN、A0L的ICQ,以及淘宝旺旺、网易泡泡、飞信、小米公司的米聊,等等。
即时通信客户端登录之后,通常呈现有即时通信主面板。在该即时通信主面板上设置有联系人列表,其中设置着用户的各个联系人对象。每个联系人对象所在的区域,大多为矩形的条框结构,在该条框结构中包括有联系人图标和联系人用户名,该条框结构通常被称为ITEM项。触发该ITEM项之后,能够开启对应的即时通信交互界面。其中包括有交互界面输入栏,用以采集用户所写入的数据信息;以及包括有交互界面输出栏,用以输出交互通信的双方或多方之间的通信记录。进一步,对应着交互界面输入栏,通常还设置有交互界面工具栏,用以对写入到交互界面输入栏中的数据信息进行编辑操作,或者插入图标或图片,或者发送数据,等等。
人们在通过交互界面输入栏写入数据信息时,经常会有插入图标或图片方面的需求。在插入图标数据时,通常的方式,是触发前述交互界面工具栏中的图标控件,然后生成图标列表,其中包括有各个预设的图标选项,在采集获得用户对特定图标选项的触发操作时,以回调函数的形式调取与其对应的图标数据,载入到交互界面输入栏中。
这种插入图标的方式虽然较为方便,但前述图标列表中可供选择的对象数量有限,难以充分满足用户的个性化需求。发明内容
本发明的目的在于,提供一种即时通信中语音搜索的方法,以及对应的客户端及系统,利用本发明,能够通过即时通信工具进行输入操作的过程中,便利地执行语音搜索功能,将搜索的结果插入到交互界面输入栏中。
本发明提供一种即时通信中语音搜索的方法,该方法包括有如下步骤
步骤1,在用户通过即时通信交互界面的交互界面输入栏进行数据输入的过程中, 采集用户的语音信息;
步骤2,对用户的语音信息进行搜索,采集搜索结果作为输入内容载入到当前的交互界面输入栏中。进一步,前述通过交互界面输入栏进行数据输入的过程,是向所在的交互界面输入栏载入字符,和/或载入图片,和/或载入图标。进一步,前述通过交互界面输入栏进行数据输入的过程,是在录制载入音频和/或视频数据之前或之后,且活动窗口中的光标依旧处于前述交互界面输入栏的时间阶段。进一步,前述采集用户的语音信息,以及对语音信息所进行的搜索操作,是通过触发在前述即时通信交互界面上所设置的语音搜索控件实现的。进一步,所述的语音搜索控件若在用户进行语音或视频交互操作中被触发,则按如下步骤进行操作, 采集所述的语音搜索控件是否受到触发;在受到触发的情况下,判定对应着所在的即时通信客户端,是否进行着用户和联系人对象之间的语音或视频交互操作;在进行着语音或视频交互操作的情况下,触发该语音或视频交互操作暂停,执行前述语音搜索控件所对应的搜索操作;采集获得搜索结果载入到交互界面输入栏的消息后,或者采集获得搜索操作取消的操作消息后,启动前一步骤暂停的语音或视频交互操作,使其重新进入到工作状态。进一步,前述采集用户的语音信息,以及对语音信息所进行的搜索操作,是通过采集交互界面工具栏中的图标控件的操作消息后触发的,或者在采集获得图标控件触发生成图标列表的消息后触发的。进一步,对应着图标控件或图标列表所触发的语音搜索操作,仅针对于图标数据进行搜索。进一步,所述在交互界面输入栏进行输入操作的过程中,指的是交互界面输入栏处于开启状态,为位于最前方的活动窗口,且光标在该交互界面输入栏中,且距离该交互界面输入栏中最相邻的输入操作时间在预设阈值之内。进一步,所述的预设阈值,在3分钟或之内。进一步,对应着所述的语音搜索,预设有搜索选项列表,选择其中的搜索选项后,依据该搜索选项的设定条件进行数据搜索以及将搜索结果向前述交互界面输入栏进行载入操作。进一步,所述的搜索选项,包括有如下至少其一,图标搜索选项,用以在启动后执行图标数据的搜索及载入操作;图片搜索选项,用以在启动后执行图片数据的搜索及载入操作;音乐搜索选项,用以在启动后搜索音乐数据并进行数据或链接的载入操作;音频搜索选项,用以在启动后搜索对应的音频数据,并进行数据或链接的载入操作;多媒体搜索选项,用以在启动后搜索对应的多媒体数据,并进行数据或链接的载入操作。进一步,对应着前述的图片搜索选项,设置有图片大小设置模式,用以设定所搜索获得的图片的大小条件;
或者,所述的音乐搜索选项,设置有音乐类型设置模式,用以设置音乐搜索的限定条件。
进一步,在设定搜索选项的情况下,所述的语音信息还设置有搜索限定条件,只有在满足限定条件的情况下才执行数据搜索及载入操作,其步骤如下,
预设限定条件为语音识别的字符内容包括“搜索执行关键字+对象数据”的数据模式,其中搜索执行关键字是代表启动搜索操作的字词,其中的对象数据,是包含有待搜索对象信息的数据;
采集前述的语音信息后,进行语音识别,转换为字符内容;
解析所识别获得的字符内容,判定是否具有“搜索执行关键字”的关键字和“对象数据”的关键字;
在具有前述两者数据的情况下,判定为满足搜索的限定条件,否则不满足。
进一步,所述的语音信息,对其进行识别及按照识别结果进行搜索,是通过所在的即时通信客户端推送至识别服务器进行的。
进一步,所述的语音信息,对其进行识别及按照识别结果进行搜索,是通过所在的即时通信客户端预设的搜索引擎实现的。
进一步,所述的语音信息,在进行数据搜索时具有搜索限定条件,只有在满足限定条件的情况下执行数据搜索,其步骤如下,
预设限定条件为,语音识别的字符内容为“数据类型+对象数据”的数据模式,其中数据类型是可以输入到前述交互界面输入栏中的数据类型,其中的对象数据,是包含有待搜索对象信息的数据;
采集前述的语音信息后,进行语音识别,转换为字符内容;
解析所识别获得的字符内容,判定是否具有“数据类型”的关键字,以及具有“对象数据”的关键字;
在具有前述两点数据的情况下,判定为满足搜索的限定条件,否则不满足。
进一步,所述的语音信息,在进行数据搜索时具有搜索限定条件,只有在满足限定条件的情况下执行数据搜索,其步骤如下,
预设限定条件为语音识别的字符内容包括“搜索执行关键字+数据类型+对象数据”的数据模式,其中搜索执行关键字是代表启动搜索操作的字词,其中数据类型是可以输入到前述交互界面输入栏中的数据类型,其中的对象数据,是包含有待搜索对象信息的数据;
采集前述的语音信息后,进行语音识别,转换为字符内容;
解析所识别获得的字符内容,判定是否具有“搜索执行关键字”、“数据类型”和“对象数据”的关键字;
在具有前述三者数据的情况下,判定为满足搜索的限定条件,否则不满足。
进一步,所述的数据类型,为图标,或图片,或动画,或音频,或歌曲,或视频,或多媒体。
进一步,在搜索结果包括两个或以上时,生成搜索选项列表,在采集获得特定选项的选择消息后,采集该选项所对应的数据内容,载入到前述的交互界面输入栏中。
进一步,在搜索结果包括两个或以上时,将最符合搜索条件的搜索结果直接载入到前述的交互界面输入栏中,将其它符合输出条件的搜索结果通过选项列表输出,若获得该选项列表中特定选项的触发消息后,采集该选项所对应的数据内容替换前述已载入的搜索结果,如果没有采集获得对选项列表中选项的触发消息时,则保留已载入的搜索结果。进一步,前述的搜索,对应的数据库是公网的数据库,和/或即时通信工具所在识别服务器中预设的数据库,和/或即时通信客户端中预设的数据库,和/或用户预设的数据库。进一步,在搜索结果包括两个或以上时,将最符合搜索条件的搜索结果直接载入到前述的交互界面输入栏中,将其它符合输出条件的搜索结果通过选项列表输出。进一步,若获得该选项列表中特定选项的触发消息后,采集该选项所对应的数据内容替换前述已载入的搜索结果,如果没有采集获得对选项列表中选项的触发消息时,则保留已载入的搜索结果。进一步,对应着所述的搜索选项列表,设置有翻页控件,用以在触发的情况下判定 是否预先已经为翻页操作准备了更多的待输出数据,若具有则直接调出及输出;如果没有,则可以重新触发对应数据的搜索操作,输出再次获得的搜索结果。本发明还提供一种即时通信中语音搜索的客户端,该客户端包括语音信息采集单元,用以在用户通过即时通信交互界面的交互界面输入栏进行数据输入的过程中,采集用户的语音信息;搜索载入单元,用以对用户的语音信息进行搜索,采集搜索结果作为输入内容载入到当前的交互界面输入栏中。本发明还提供一种即时通信中语音搜索的系统,该系统包括即时通信客户端,用以在对即时通信客户端中的当前交互界面输入栏进行输入操作的过程中,采集用户的语音信息上传至对应的识别服务器,以及从识别服务器中接收搜索结果,作为输入内容载入到前述的交互界面输入栏中;识别服务器,用以对前述即时通信客户端所上传的语音信息进行搜索,将搜索结果推送至前述的即时通信客户端。


图I是本发明所述的一种即时通信中语音搜索的方法流程图,对应着实施例I。图2是本发明所述的一种即时通信中语音搜索的客户端的结构框图,对应着实施例4。图3是本发明所述的一种即时通信中语音搜索的系统的结构框图,对应着实施例5。
具体实施例方式实施例I参图I所示,本发明提供了一种即时通信中语音搜索的方法,该方法包括有如下步骤步骤S110,在用户通过即时通信交互界面的交互界面输入栏进行数据输入的过程中,采集用户的语音信息;
步骤S120,对用户的语音信息进行搜索,采集搜索结果作为输入内容载入到当前的交互界面输入栏中。
在本发明中,为了避免所采集用以搜索的语音内容和用户用以交互的语音内容之间产生冲突,优选的实施例,是在用户不进行以语音内容为交互通信内容的情况下,进行语音的采集、识别和搜索操作。在目前广泛应用的即时通信工具中,人们不进行语音内容交互的实施方式,主要是通过即时通信交互界面中的交互界面输入栏,以载入字符和/或图片和/或图标的形式进行交互操作。可以仅仅在该内容类型的数据输入过程中,才触发对用户语音信息的采集、识别和搜索操作。
在本发明中,所述的交互界面输入栏进行数据输入的过程,尤其指的是对应着特定即时通信交互界面的交互界面输入栏处于最前方的活动窗口状态,且当前的可操作光标处于该交互界面输入栏中,这种情况下,才能够触发本发明的语音数据采集及搜索操作。
进一步,在当前的即时通信工具中,还广泛应用着通过录制用户的语音和视频等数据内容进行交互的通信形式。对于这种通信形式来说,优选的方式,是用户没有触发录制控件用以录制音频和/或视频数据的情况下,才进行用户语音数据的采集、识别和搜索操作。也就是说,可以在通过录制载入音频和/或视频数据之前或之后,且活动窗口中的光标依旧处于前述交互界面输入栏的情况下,才触发前述的语音数据搜索操作。为了避免在进行音频和/或视频交互内容录制的过程中,和采集用户语音进行搜索的操作之间产生冲突,优选的方式,是将所述采集用户语音信息进行搜索操作的启动方式,通过触发前述即时通信交互界面所设置的语音搜索控件实现的。所述的语音搜索控件,可以通过图标的形式进行呈现,从而通过点选的方式进行触发,或者通过其它预设的形式进行触发等。
其中,所述的语音搜索控件若在用户进行语音或视频交互操作中被触发,则按如下步骤进行操作
采集所述的语音搜索控件是否受到触发;
在受到触发的情况下,判定对应着所在的即时通信客户端,是否进行着用户和联系人对象之间的语音或视频交互操作;
在进行着语音或视频交互操作的情况下,触发该语音或视频交互操作暂停,执行前述语音搜索控件所对应的搜索操作;
采集获得搜索结果载入到交互界面输入栏的消息后,或者采集获得搜索操作取消的操作消息后,启动前一步骤暂停的语音或视频交互操作,使其重新进入到工作状态。
也就是说,在触发了前述的语音搜索控件的情况下,正在进行的音频和/或视频数据的录制操作暂停,在完成了该语音搜索控件所启动的语音搜索操作之后,继续进行所暂停的音频和/或视频数据的录制操作。
进一步,触发对用户语音信息采集及搜索操作的过程,还可以通过交互界面工具栏中已有的图标控件的触发消息进行启动。所述的图标控件,指的是在即时通信交互界面的交互界面工具栏中,通过系统提供商已经预设的、用以通过打开图标列表获取图标选项的控件形式。该控件形式在目前几乎所有的即时通信客户端中都有所设置,在触发该控件之后,生成弹出窗口,在该弹出窗口中输出图标列表,在图标列表中输出各个图标选项,每一个图标选项对应着一个图标数据,该图标数据可以通过系统提供商进行预设,也可以采集用户自己设置的数据信息,上载到该图标列表中作为图标选项。在本发明中,可以在用户触发了图标数据的选择操作的情况下,还可以采集用户的语音信息对其进行识别以及数据搜索,来搜索对应的数据内容。这儿所述的对应的数据内容,优选的实施例,是仅仅针对于图标数据进行搜索。于是,利用这种方式进行图标数据搜索的情况下,既可以获得语音识别后搜索的图标结果,还可以结合着用户对图标列表中图标选项的选择操作,提高用户获取图标数据的效率。进一步,还可以对用户对交互界面输入栏的操作形式进行限定。比如说,所述在交互界面输入栏进行输入操作的过程中,指的是交互界面输入栏处于开启状态,为位于最前方的活动窗口,且光标在该交互界面输入栏中,且距离该交互界面输入栏中最相邻的输入操作时间在预设阈值之内。其中,所述的预设阈值,优选在3分钟或之内。这种限定条件下的操作方式,指的是用户通过交互界面输入栏利用本发明所描述的方式进行语音数据的采集及搜索时,需要前面具有已经交互的数据内容,且最相邻输入交互内容的操作时间,设置 有时间阈值方面的限制。对应的预设阈值优选在3分钟或之内,超出该预设阈值的其它时间,不再触发本发明所描述的语音采集及搜索功能。这样可以防止用户并没有对应着交互界面输入栏进行数据输入的情况下,也采集用户与交互无关的语音信息进行搜索及载入操作。在本实施例中,所进行的语音搜索,优选的方式,是首先对其识别为字符内容,然后再进行数据搜索。进行字符内容识别的方式,可以通过所在的终端进行,也可以将采集的语音数据推送至识别服务器,由识别服务器进行,具体是不限定的。所搜索的数据类型也是不限定的,但是可以通过预设来限定所输入的数据内容。而所搜索获得的结果,优选的形式是将其直接载入到交互界面输入栏中,对应着光标所在的位置进行载入。另外,在搜索结果达到两个或以上时,还可以另外生成选择列表,供用户进行选择,然后采集用户所选择的数据内容替换已载入的搜索结果。在前述的步骤S120中,所述对用户语音信息进行的搜索,其搜索的数据范围并不限定。作为优选的实施例,可以在即时通信客户端中预设的数据库中进行搜索,比如在预设图标数据库中进行图标数据的搜索;和/或,在用户预设的数据库中进行搜索,比如在用户设置的图片或图标数据库中搜索;和/或,在即时通信工具所在的识别服务器中预设的数据库,在该数据库中进行搜索,比如,通过识别服务器可以由系统提供商预设大量的图片和/或图片和/或音频和/或视频等方面的数据,从中进行搜索,将搜索结果推送至发起搜索操作的即时通信客户端;和/或,在公网的数据库中搜索,所述的公网,指的是公开的互联网,由公网中的搜索引擎进行预设数据的搜索操作。实施例2在本实施例中提供了一种即时通信中语音搜索的方法,该方法包括有如下步骤步骤S210,通过所在的即时通信客户端,触发生成搜索选项列表,包括图标搜索选项、图片搜索选项、音乐搜索选项、音频搜索选项和多媒体搜索选项,以及对采集的语音信息设定“搜索执行关键字+对象数据”的搜索限定条件。需要指出的是,前述搜索选项列表中的选项,是优选的实施例,但并非限定,还可以设置其它类型的选项,比如进行文字内容的搜索等,也是可以的。前述的搜索选项列表中,所述的图标搜索选项,用以在启动后仅仅执行图标数据的搜索操作,以及将搜索的图标结果载入到交互界面输入栏中;所述的图片搜索选项,用以在启动后仅仅执行图片数据的搜索操作,以及将搜索的图片结果载入到交互界面输入栏中;所述的音乐搜索选项,用以在启动后仅仅搜索公认为音乐数据的内容,包括音频或多媒体形式的纯音乐、歌曲等,并将对应的数据内容或数据内容的链接载入到交互界面输入栏中,其中的链接在触发之后,能够调取该链接所对应的音乐数据并播放;其中的音频搜索选项,用以在启动后搜索对应的音频数据,并将所搜索的音频数据的内容或链接载入到交互界面输入栏中;其中的多媒体搜索选项,用以在启动后搜索对应的多媒体数据,并将搜索获得的多媒体数据的内容或链接载入到交互界面输入栏中。
进一步,对应着前述的图片搜索选项,还可以预设各种设置模式,比如图片大小设置模式,用以设定所搜索获得的图片的大小条件,利用该方式,允许用户选择自己所需求大小的图片进行搜索。另外,对应着前述的音乐搜索选项,还可以预设音乐类型设置模式,用以设置音乐搜索的限定条件,比如限定歌手的名字,或者音乐的流派,或者乐器的类型,等坐寸ο
进一步,为了避免搜索操作被随意启动,在本实施例中,还设置了搜索限定条件, 只有在满足限定条件的情况下才执行数据搜索及载入操作。实现该搜索限定条件的步骤, 作为举例而非限定,包括如下
预设限定条件为语音识别的字符内容包括“搜索执行关键字+对象数据”的数据模式,其中搜索执行关键字是代表启动搜索操作的字词,其中的对象数据,是包含有待搜索对象信息的数据;
采集前述的语音信息后,进行语音识别,转换为字符内容;
解析所识别获得的字符内容,判定是否具有“搜索执行关键字”的关键字和“对象数据”的关键字;
在具有前述两者数据的情况下,判定为满足搜索的限定条件,否则不满足。
前述的“搜索执行关键字”特别是指用以启动数据搜索与载入操作的词汇,可以由用户或服务提供商进行预设,建立搜索执行关键字的字符库。然后将识别的字符与该字符库进行比对,判定是否吻合,如果吻合的话,则属于前述的“搜索执行关键字”,否则就不属于。
该“搜索执行关键字”,在本发明中,典型的例子,包括如下字词其中之一
“搜索”、“载入”、“插入”、“获得”、“获取”、“查找”、“加载”,或者这些词汇的组合,如“搜索插入”等。符合前述要求的词汇数量并不多,可以在建立字符库之后进行便利地识别。
而前述的“对象数据”中的内容,尤其指的是名词类数据。这些都对应着特定的对象,便于进行搜索操作。当然,其它能够实现搜索操作的对象数据,也同样可以应用于本发明。
需要指出的是,前述的搜索限定条件,还可以根据需要灵活设定。
步骤S220,采集其中图标搜索选项的设置信息,触发该选项进入到工作状态。
图标数据在即时通信中的应用频率非常高。而且,仅仅针对于图标数据进行搜索, 也方便于本发明的执行。
步骤S230,在利用所在终端已有的输入法工具进行字符输出操作的过程中,启动所在的即时通信客户端进行语音信息采集操作。
所述输入法工具的具体类型是不限定的,所输入的内容也是不限定的。采集用户触发所在的交互界面输入栏进行数据输入的操作消息,在数据输入的状态下,即可触发所在的即时通信客户端启动所在终端上安装的音频数据采集结构,如麦克风,采集用户的语音数据。步骤S240,将采集的语音信息推送至识别服务器进行识别操作。需要指出的是,所采集的语音信息,也可以通过所在的终端进行识别。但将语音数据推送至识别服务器进行识别操作的话,能够减少所在终端上安装的软件类别,且可以提高识别的准确率,便于进行操作。步骤S250,在识别服务器中,判断语音内容的识别结果能否满足前述的“搜索执行关键字+对象数据”的搜索限定条件。将语音内容识别为字符后,将文字识别结果进行分析,判定其中是否包括有“搜索执行关键字”,以及包括“对象数据”。步骤S260,在获得的语音内容的识别结果为“搜索红苹果”的情况下,判定其中包括搜索执行关键字“搜索”,以及对象数据“红苹果”,符合搜索限定条件,启动搜索操作。步骤S270,启动公网的搜索引擎,和/或启动针对即时通信系统中预设图标进行数据搜索的搜索引擎,搜索获得一组10个符合“红苹果”对象数据搜索条件的图标,推送至前述的即时通信客户端。在本实施例中,所述的搜索引擎可以选为公网的搜索引擎。该“公网”特别指的是公开的互联网。另外,还可以通过其它的数据库类型进行搜索操作。比如,还可以在即时通信系统中预设图标数据库,启动对应的搜索引擎进行数据搜索。另外,也可以通过所在的即时通信客户端接收前述的文字识别结果,然后在该即时通信客户端所预设的图片数据范围中进行搜索操作,等等,具体并不限定。步骤S280,所在的即时通信客户端接收到前述的搜索结果后,将排序最靠前的一张红苹果图标直接采集载入到当前交互界面输入栏的光标位置,以及采集其余的9个红苹果图标,对应着前述已载入的图标旁边生成弹出窗口,将其输出为搜索选项列表。本发明中,若搜索结果包括两个或以上时,则可以生成搜索选项列表,其中每个选项就是一个搜索结果。在本实施例中,每个选项中设置有一个“红苹果”图标。在采集获得特定选项的选择消息后,即可采集该选项所对应的数据内容,载入到前述的交互界面输入栏中。作为优选的实施方式,在搜索结果包括两个或以上时,将最符合搜索条件的搜索结果直接载入到前述的交互界面输入栏中,将其它符合输出条件的搜索结果通过选项列表输出,若获得该选项列表中特定选项的触发消息后,采集该选项所对应的数据内容替换前述已载入的搜索结果,如果没有采集获得对选项列表中选项的触发消息时,则保留已载入的搜索结果。在本实施例中,直接将一张红苹果的图标载入到了交互界面输入栏中的当前光标所在位置,另外9张红苹果图标以缩略图的形式,在搜索选项列表中依次输出,供用户进行选择。步骤S290,采集用户对该搜索选项列表中第二个选项的触发消息,确定该选项中的图标为确定载入的图标,替换已载入的图标,并消隐前述的搜索选项列表,完成本次语音信息的搜索及载入操作。
实施例3
在本实施例中,包括有如下步骤
步骤S310,通过所在的即时通信客户端,设置语音搜索功能在交互界面输入栏中通过字符和/或图片和/或图标形式进行输入的情况下启动,以及对采集的语音信息设定 “搜索执行关键字+数据类型+对象数据”的搜索限定条件。
步骤S320,在利用输入法工具对即时通信交互界面中的交互界面输入栏进行字符输入操作的过程中,启动所在的即时通信客户端进行语音信息的采集操作。
步骤S330,通过所在终端对采集的语音信息进行识别,判断语音内容的识别结果是否满足前述的“搜索执行关键字+数据类型+对象数据”的搜索限定条件。
在本实施例中,所述的“数据类型”,泛指各种能够搜索的数据类型。在本发明中, 所述的数据类型,可以是图标,或图片,或动画,或音频,或歌曲,或视频,或多媒体等形式, 具体并不限定。有了 “数据类型”,就便于针对于该类型的数据进行搜索。
步骤S340,在获得的语音内容的识别结果为字符“插入笑脸图标”的情况下,判定其中包括搜索执行关键字“插入”,对象数据“笑脸”,以及数据类型为“图标”,依据该搜索限定条件启动搜索操作。
在使用即时通信客户端输入字符的过程中,以口述语音的方式启动本发明所描述的搜索功能是适合的。判定所在的即时通信客户端是否采用字符形式进行输入操作,可以通过已有的交互记录是否输入有字符这一条件进行判定。另外,对于新开启的即时通信交互界面,在没有进行音频和/或视频数据的录制操作的情况下,还可以默认为字符形式的输入状态。
进一步,在启动语音搜索功能时,还可以设置时间上的限制。具体来说,若对应的交互界面输入栏启动语音搜索,则要求进行启动操作的时间,距最相邻的字符输入操作的间隔时间在预设阈值之内。作为优选的实施例,所述的预设阈值在3分钟或之内。比如,上次在交互界面输入栏中输入了字符“你好”,于是,在三分钟时间范围内能够触发采集用户的语音数据并进行搜索操作,超出了该时间范围,不再进行触发。
步骤S350,通过所在的即时通信客户端启动预设的公网搜索引擎,搜索获得一组 10个符合大小要求的“笑脸”图标;
步骤S360,通过所在的即时通信交互界面将排序最靠前的一个笑脸图标直接采集载入到当前交互界面输入栏中的光标位置,以及采集其余的9个笑脸图标,对应着前述已载入的图标的上方位置输出为搜索选项列表,并在该搜索选项列表中设置有翻页控件;
利用前述的搜索选项列表,可以便利地获取更多的同类型图标供用户选择。
进一步,在操作前述翻页控件的情况下,则触发更多图标数据的搜索操作,从而允许用户在更大范围内筛选搜索获得的图标数据。
其中,如果预先已经为翻页操作准备了更多的图标数据,则直接调出即可;如果没有预先准备更多的图标数据,则可以重新触发图标数据的搜索操作,输出再次获得的搜索结果。
步骤S370,采集用户对前述搜索选项列表中翻页控件的触发消息后,输出其它页面的图标数据;
步骤S380,依据用户所触发的特定图标选项,调出对应的图标,并替换已载入的图标,消隐前述的搜索选项列表,从而完成本次语音信息的搜索载入操作。实施例4参图2所示,在本实施例中,还提供一种即时通信中语音搜索的客户端100,它是一种即时通信客户端,能够完成各种预设的即时通信功能。进一步,所述的即时通信客户端100在用户使用该客户端的交互界面输入栏进行输入操作的过程中,还可以采集用户的语音信息,识别后进行数据搜索,将搜索获得的数据内容插入到用户当前所在的界面中。为实现该目的,所述的即时通信客户端100还包括如下结构语音信息采集单元110,用以在用户通过即时通信交互界面的交互界面输入栏进行数据输入的过程中,采集用户的语音信息;搜索载入单元120,用以对用户的语音信息进行搜索,采集搜索结果作为输入内容载入到当前的交互界面输入栏中。
在具体实施时,通过前述的语音信息采集单元110,在用户对着即时通信交互界面中的交互界面输入栏进行输入操作的过程中,比如在字符输入操作的过程中,采集用户的语音信息。然后,利用搜索载入单元120,首先对用户的语音信息进行识别,将其识别为字符内容。然后对识别获得的字符内容进行搜索,采集搜索结果作为输入内容,载入到当前的交互界面输入栏中。在进行数据搜索前,可以预设搜索数据的类型,比如,将搜索对象限定为图标数据。进一步,所述的语音数据的识别内容,还可以与预设的限定条件或字符库相对应,只有在符合该限定条件或字符库范围要求情况下,才可以触发搜索操作。所获得的搜索结果,适合直接载入到前述的交互界面输入栏中,或者,载入最符合要求的搜索结果,而将其它可供用户选择的搜索结果构成搜索选项列表,输出后供用户选择。在用户进行了该列表中特定选项的选择操作之后,将该选项所对应的数据内容采集后替换原有已载入的搜索结果。实施例5参图3所示,在本实施例中,还提供了一种即时通信中语音搜索的系统200,它包括即时通信客户端210和识别服务器220。利用该系统200,能够完成各种预设的即时通信功能。进一步,所述的系统200还可以采集用户的语音信息,对其进行字符识别后,判定是否需要搜索数据,并将搜索的数据插入到用户当前编辑的交互界面输入栏中。为了实现该目的,所述的系统200还包括有如下结构即时通信客户端210,用以在对即时通信客户端中的当前交互界面输入栏进行输入操作的过程中,采集用户的语音信息上传至对应的识别服务器220,以及从识别服务器220中接收搜索结果,作为输入内容载入到前述的交互界面输入栏中;识别服务器220,用以对前述即时通信客户端210所上传的语音信息进行搜索,将搜索结果推送至前述的即时通信客户端210。在本实施例中,通过即时通信客户端210能够在输入操作的过程中,采集用户的语音数据,将其推送至识别服务器220。通过识别服务器220首先将语音数据识别为字符内容,然后进行数据搜索。其中,是否启动数据搜索操作,还可以结合着前述的搜索限定条件进行。在符合搜索限定条件的情况下,将搜索结果推送至即时通信客户端210,进而将搜索结果直接载入到前述的交互界面输入栏中,或者,载入最符合要求的搜索结果,而将其它可供用户选择的搜索结果构成搜索选项列表,其中的选项供用户进行选择操作,在完成特定选项的选择操作之后,采集该选项所对应的数据内容替换原已载入的搜索结果。
以上是对本发明的描述而非限定,基于本发明思想的其它实施例,亦均在本发明的保护范围之中。
权利要求
1.一种即时通信中语音搜索的方法,其特征在于该方法包括有如下步骤 步骤1,在用户通过即时通信交互界面的交互界面输入栏进行数据输入的过程中,采集用户的语音信息; 步骤2,对用户的语音信息进行搜索,采集搜索结果作为输入内容载入到当前的交互界面输入栏中。
2.根据权利要求I所述的ー种即时通信中语音搜索的方法,其特征在于前述通过交互界面输入栏进行数据输入的过程,是向所在的交互界面输入栏载入字符,和/或载入图片,和/或载入图标。
3.根据权利要求I所述的ー种即时通信中语音搜索的方法,其特征在于前述通过交互界面输入栏进行数据输入的过程,是在录制载入音频和/或视频数据之前或之后,且活动窗口中的光标依旧处于前述交互界面输入栏的时间阶段。
4.根据权利要求I所述的ー种即时通信中语音搜索的方法,其特征在于前述采集用户的语音信息,以及对语音信息所进行的捜索操作,是通过触发在前述即时通信交互界面上所设置的语音搜索控件实现的。
5.根据权利要求4所述的ー种即时通信中语音搜索的方法,其特征在于所述的语音搜索控件若在用户进行语音或视频交互操作中被触发,则按如下步骤进行操作, 采集所述的语音搜索控件是否受到触发; 在受到触发的情况下,判定对应着所在的即时通信客户端,是否进行着用户和联系人对象之间的语音或视频交互操作; 在进行着语音或视频交互操作的情况下,触发该语音或视频交互操作暂停,执行前述语音搜索控件所对应的搜索操作; 采集获得捜索结果载入到交互界面输入栏的消息后,或者采集获得捜索操作取消的操作消息后,启动前一步骤暂停的语音或视频交互操作,使其重新进入到工作状态。
6.根据权利要求I所述的ー种即时通信中语音搜索的方法,其特征在于前述采集用户的语音信息,以及对语音信息所进行的捜索操作,是通过采集交互界面工具栏中的图标控件的操作消息后触发的,或者在采集获得图标控件触发生成图标列表的消息后触发的。
7.根据权利要求6所述的ー种即时通信中语音搜索的方法,其特征在于对应着图标控件或图标列表所触发的语音捜索操作,仅针对于图标数据进行捜索。
8.根据权利要求I所述的ー种即时通信中语音搜索的方法,其特征在于所述在交互界面输入栏进行输入操作的过程中,指的是交互界面输入栏处于开启状态,为位于最前方的活动窗ロ,且光标在该交互界面输入栏中,且距离该交互界面输入栏中最相邻的输入操作时间在预设阈值之内。
9.根据权利要求8所述的ー种即时通信中语音搜索的方法,其特征在于所述的预设阈值,在3分钟或之内。
10.根据权利要求I所述的ー种即时通信中语音搜索的方法,其特征在于对应着所述的语音搜索,预设有捜索选项列表,选择其中的捜索选项后,依据该搜索选项的设定条件进行数据搜索以及将捜索结果向前述交互界面输入栏进行载入操作。
11.根据权利要求10所述的ー种即时通信中语音搜索的方法,其特征在于所述的搜索选项,包括有如下至少其一,图标搜索选项,用以在启动后执行图标数据的搜索及载入操作; 图片搜索选项,用以在启动后执行图片数据的搜索及载入操作; 音乐搜索选项,用以在启动后搜索音乐数据并进行数据或链接的载入操作; 音频搜索选项,用以在启动后搜索对应的音频数据,并进行数据或链接的载入操作; 多媒体捜索选项,用以在启动后搜索对应的多媒体数据,并进行数据或链接的载入操作。
12.根据权利要求11所述的ー种即时通信中语音搜索的方法,其特征在于对应着前述的图片搜索选项,设置有图片大小设置模式,用以设定所搜索获得的图片的大小条件; 或者,所述的音乐搜索选项,设置有音乐类型设置模式,用以设置音乐搜索的限定条件。
13.根据权利要求10所述的ー种即时通信中语音搜索的方法,其特征在于在设定搜索选项的情况下,所述的语音信息还设置有捜索限定条件,只有在满足限定条件的情况下才执行数据搜索及载入操作,其步骤如下, 预设限定条件为语音识别的字符内容包括“搜索执行关键字+对象数据”的数据模式,其中捜索执行关键字是代表启动搜索操作的字词,其中的对象数据,是包含有待搜索对象信息的数据; 采集前述的语音信息后,进行语音识别,转换为字符内容; 解析所识别获得的字符内容,判定是否具有“搜索执行关键字”的关键字和“对象数据”的关键字; 在具有前述两者数据的情况下,判定为满足捜索的限定条件,否则不满足。
14.根据权利要求I所述的ー种即时通信中语音搜索的方法,其特征在于所述的语音信息,对其进行识别及按照识别结果进行搜索,是通过所在的即时通信客户端推送至识别服务器进行的。
15.根据权利要求I所述的ー种即时通信中语音搜索的方法,其特征在于所述的语音信息,对其进行识别及按照识别结果进行搜索,是通过所在的即时通信客户端预设的搜索引擎实现的。
16.根据权利要求I所述的ー种即时通信中语音搜索的方法,其特征在于所述的语音信息,在进行数据搜索时具有捜索限定条件,只有在满足限定条件的情况下执行数据搜索,其步骤如下, 预设限定条件为,语音识别的字符内容为“数据类型+对象数据”的数据模式,其中数据类型是可以输入到前述交互界面输入栏中的数据类型,其中的对象数据,是包含有待搜索对象信息的数据; 采集前述的语音信息后,进行语音识别,转换为字符内容; 解析所识别获得的字符内容,判定是否具有“数据类型”的关键字,以及具有“对象数据”的关键字; 在具有前述两点数据的情况下,判定为满足捜索的限定条件,否则不满足。
17.根据权利要求I所述的ー种即时通信中语音搜索的方法,其特征在于所述的语音信息,在进行数据搜索时具有捜索限定条件,只有在满足限定条件的情况下执行数据搜索,其步骤如下,预设限定条件为语音识别的字符内容包括“搜索执行关键字+数据类型+对象数据”的数据模式,其中捜索执行关键字是代表启动搜索操作的字词,其中数据类型是可以输入到前述交互界面输入栏中的数据类型,其中的对象数据,是包含有待搜索对象信息的数据; 采集前述的语音信息后,进行语音识别,转换为字符内容; 解析所识别获得的字符内容,判定是否具有“搜索执行关键字”、“数据类型”和“对象数据”的关键字; 在具有前述三者数据的情况下,判定为满足捜索的限定条件,否则不满足。
18.根据权利要求16或17所述的ー种即时通信中语音搜索的方法,其特征在于所述的数据类型,为图标,或图片,或动画,或音频,或歌曲,或视频,或多媒体。
19.根据权利要求I所述的ー种即时通信中语音搜索的方法,其特征在于在捜索结果包括两个或以上时,生成捜索选项列表,在采集获得特定选项的选择消息后,采集该选项所对应的数据内容,载入到前述的交互界面输入栏中。
20.根据权利要求I所述的ー种即时通信中语音搜索的方法,其特征在于在捜索结果包括两个或以上时,将最符合捜索条件的捜索结果直接载入到前述的交互界面输入栏中,将其它符合输出条件的捜索结果通过选项列表输出,若获得该选项列表中特定选项的触发消息后,采集该选项所对应的数据内容替换前述已载入的捜索结果,如果没有采集获得对选项列表中选项的触发消息吋,则保留已载入的捜索結果。
21.根据权利要求I所述的ー种即时通信中语音搜索的方法,其特征在于前述的搜索,对应的数据库是公网的数据库,和/或即时通信工具所在识别服务器中预设的数据库,和/或即时通信客户端中预设的数据库,和/或用户预设的数据库。
22.根据权利要求I所述的ー种即时通信中语音搜索的方法,其特征在于在捜索结果包括两个或以上时,将最符合捜索条件的捜索结果直接载入到前述的交互界面输入栏中,将其它符合输出条件的捜索结果通过选项列表输出。
23.根据权利要求22所述的ー种即时通信中语音搜索的方法,其特征在于若获得该选项列表中特定选项的触发消息后,采集该选项所对应的数据内容替换前述已载入的捜索结果,如果没有采集获得对选项列表中选项的触发消息吋,则保留已载入的捜索結果。
24.根据权利要求22所述的ー种即时通信中语音搜索的方法,其特征在于对应着所述的搜索选项列表,设置有翻页控件,用以在触发的情况下判定是否预先已经为翻页操作准备了更多的待输出数据,若具有则直接调出及输出;如果没有,则可以重新触发对应数据的搜索操作,输出再次获得的搜索结果。
25.—种即时通信中语音搜索的客户端,其特征在于该客户端包括 语音信息采集单元,用以在用户通过即时通信交互界面的交互界面输入栏进行数据输入的过程中,采集用户的语音信息; 捜索载入单元,用以对用户的语音信息进行搜索,采集搜索结果作为输入内容载入到当前的交互界面输入栏中。
26.—种即时通信中语音搜索的系统,其特征在于该系统包括 即时通信客户端,用以在对即时通信客户端中的当前交互界面输入栏进行输入操作的过程中,采集用户的语音信息上传至对应的识别服务器,以及从识别服务器中接收搜索结果,作为输入内容载入到前述的交互界面输入栏中;识别服务器,用以对前述即时通信客户端所上传的语音信息进行搜索,将搜索结果推送至前述的即时通信客户端。
全文摘要
本发明提供了一种即时通信中语音搜索的方法、客户端及系统,属于通信、软件技术领域。该方法包括步骤1,在用户通过即时通信交互界面的交互界面输入栏进行数据输入的过程中,采集用户的语音信息;步骤2,对用户的语音信息进行搜索,采集搜索结果作为输入内容载入到当前的交互界面输入栏中。利用本发明,能够通过即时通信工具进行输入操作的过程中,便利地执行语音搜索功能,将搜索的结果插入到交互界面输入栏中。
文档编号G06F3/0481GK102984050SQ20121049326
公开日2013年3月20日 申请日期2012年11月27日 优先权日2012年11月27日
发明者马宇尘 申请人:上海量明科技发展有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1