专利名称：即时通讯伴侣机器人的制作方法
技术领域：
即时通讯伴侣机器人
技术领域：
本实用新型涉及一种通讯装置，尤其是一种即时通讯装置。背景技术：
即时通讯(Instant Messenger，简称IM)，是指两人或多人使用网络即时的传递文 字讯息、档案、语音与视频交流。现有的常用即时通讯软件有MSN Messenger.AOL Instant Messenger、GoCom、UcSTAR、calling、Yahoo ！ Messenger、NET Messenger Service、Jabber、 ICQ与QQ、imo 互联网办公室、juyouchina、Gmail Talk、飞信、大蚂蚁bigant、奥博即时通 讯、千瓦即时通信系统等等。即时通讯利用网络来实现文字、语音、视频、文件的信息的即时 交流与互动，有效节省了沟通双方的时间与经济成本，不但成为人们的沟通工具，还成为了 人们进行电子商务、工作、学习等交流的平台。现有的即时通讯的发展一直局限在不断地提高即时通讯本身的扩展功能，如提供 语音/视频聊天、传送文件、发送Email、多人聊天、在线感知等等，这些只是丰富了在线聊 天的形式，并没有从操作端的角度考虑IM用户的需求。
实用新型内容本实用新型的目的在于，提供一种可作为即时通讯伴侣的机器人，一方面实现现 实行为虚拟化，辅助用户进行即时通信交互，将用户发送的信息同时实现本地演绎和远程 传输，另一方面实现虚拟行为现实化，接收远程的多媒体信息流并演绎相应信息。为了实现上述的目的，本实用新型的技术方案如下一种即时通讯伴侣机器人，包括承载机器人各个部件的机器人实体，还包括信息 输入装置，用于由用户输入或主动跟踪用户而输入用户的本地行为信息；信息处理模块，用 于对所述本地行为信息进行处理得到本地行为指令和/或本地通讯信息，对远程通讯信息 进行处理得到本地行为指令；行为表达装置，用于根据所述本地行为指令进行相应的本地 行为表达；以及即时通讯模块，用于接收来自通讯终端的远程通讯信息并将所述远程通讯 信息传递给信息处理模块，接收本地通讯信息并通过通信终端发出。优选地，所述的行为表达装置根据所述的本地行为指令进行相应的本地行为表达 以及即时通讯模块将本地通讯信息通过通信终端发出是同步进行的。优选地，所述即时通讯模块为所述的即时通讯伴侣机器人内置的或外置的。优选地，所述的通讯终端是即时通讯工具。优选地，所述信息输入装置包括图像输入设备、声音输入设备以及文字输入设备 中的一种以上。优选地，所述图像输入设备包括以下设备中的一种以上摄像装置，用于捕捉用户 的面部表情图像或人体动作图像；以及存储设备，用于保存包含图像的文件，作为图像输入 源。优选地，所述声音输入设备包括以下设备中的一种以上麦克风，用于获取语音或音乐；电话通讯装置，用于获取电话语音；以及存储设备，用于保存包含声音的文件，作为 声音输入源。优选地，所述文字输入设备包括以下设备中的一种以上键盘或手写输入设备，用 于输入文字；转换设备，用于根据语音获取文字并输入文字；以及存储设备，用于保存包含 文字的文件，作为文字输入源。优选地，所述信息处理模块包括图像处理单元、声音处理单元以及文字处理单元 中的一种以上。优选地，所述图像处理单元包括以下处理单元中的一种以上人脸识别单元，用于 识别用户的面部表情，得到表情相关的本地行为指令和/或本地通讯信息；动作识别单元， 用于识别用户的人体动作，得到动作相关的本地行为指令和/或本地通讯信息；图片处理 单元，用于分析图片内容，得到图片内容相关的本地行为指令和/或本地通讯信息；以及虚 拟表情处理单元，用于处理虚拟表情，得到表情相关的本地行为指令和/或本地通讯信息。优选地，所述信息处理模块包括转换模块，用于将用户的面部表情图像或人体动 作图像转换为虚拟表情。优选地，所述声音处理单元包括以下处理单元中的一种以上声音识别单元，用于 识别用户的语音；语音处理单元，用于分析语音内容，得到语音内容相关的本地行为指令和 /或本地通讯信息；以及音乐播放单元，用于解析音乐文件并播放。优选地，所述文字处理单元包括以下处理单元中的一种以上语义识别单元，用于 分析文字的语义信息，得到文字相关的行为指令和/或本地通讯信息；以及语音合成单元， 用于将文字转换成语音，供机器人播放。优选地，所述行为表达装置包括机械运动组件、发光组件、声音输出组件以及显示 装置中的一种以上。优选地，所述机械运动组件包括设于机器人头部可开合的眼帘和嘴巴、设于眼帘 内可转动的眼球、可挥动的四肢以及可旋转的底座中一种以上。优选地，所述发光组件包括可闪烁以及亮度可调节的LED灯。优选地，所述声音输出组件为音箱或耳机。优选地，即时通讯伴侣机器人还包括学习模块，用于在用户使用过程中收集用户 信息，得到更适合用户使用习惯的行为表达模式和远程通讯信息模式。由于采用上述的技术方案，本实用新型的有益效果包括本实用新型为即时通讯提供了通讯伴侣，一方面实现现实行为虚拟化，辅助用户 进行即时通信交互，将用户发送的信息同时实现本地演绎和远程传输，另一方面实现虚拟 行为现实化，接收远程的多媒体信息流并演绎相应信息，并通过机器人自主学习实现个性 化网络信息服务，从而，提升了用户体验，为即时通讯增值。本实用新型为即时通讯提供了本地至本地、本地至远程以及远程至本地的多通道 的人机对话的智能平台，开拓了即时通讯的多种用户端的功能，包括但不限于聊天机器人、 机器人宠物、机器人提醒等等。通过不同信息流的转换，如语音到文字、文字到语音等，增加了机器人通讯伴侣使 用的便捷性。此外，通过伴侣机器人自身的学习，在使用过程中不断收集用户信息，如用户的语音、语言习惯、动作习惯等，使 机器人的服务更加贴近用户的使用方式，增强了用户体验。以下结合附图，通过对本实用新型的较佳实施例的详细描述，将使本实用新型的 技术方案及其他有益效果显而易见。附图中，
图1为本实用新型的即时通讯伴侣机器人的原理框图；图2为本实用新型的即时通讯伴侣机器人的更为详细的原理框图。
具体实施方式为更进一步阐述本实用新型为达成预定目的所采取的技术手段及功效，请参阅以 下有关本实用新型的详细说明与附图，相信本实用新型的目的、特征与特点，应当可以由此 得到深入且具体的了解，然而附图和实施方式仅提供参考与说明用，并非用来对本实用新 型加以限制。本实用新型中的“本地”是指用户所在的位置，“远程”是指用户通过即时通讯进行 交流的异地对象所在的位置。如图1所示，本实用新型的即时通讯伴侣机器人包括承载机器人各个部件的机器 人实体，还包括信息输入装置10、信息处理模块20、行为表达装置30以及即时通讯模块40。信息输入装置10用于输入用户的本地行为信息，包括用户输入和主动跟踪用户 而输入；信息处理模块20对本地行为信息进行处理得到本地行为指令和本地通讯信息，对 远程通讯信息进行处理得到本地行为指令；行为表达装置30根据本地行为指令进行相应 的行为表达；即时通讯模块40接收来自通信终端的远程通讯信息并传递给信息处理模块， 将本地通讯信息通过通信终端发出的；行为表达装置根据本地行为指令进行本地行为表达 和即时通讯模块将本地通讯信息通过通信终端发出是同步进行的；通讯模块40可以内置 或外置；通讯终端则包括MSN、QQ等即时通讯工具。—方面，实现了现实行为虚拟化，机器人辅助用户进行即时通信交互，将用户发送 的信息同时实现本地演绎和远程传输，也就是，机器人采集用户在本地发生的行为即本地 行为信息，机器人再将本地行为信息转换为本地行为指令在本地实施行为表达，同时机器 人还将本地行为信息转换成本地通讯信息通过通讯终端发送出去；另一方面实现虚拟行为 现实化，机器人接收远程的多媒体信息流并演绎相应信息，也就是，机器人从通讯终端接收 到远程通讯信息，转换为本地行为指令在本地实施行为表达。本地行为信息包含图像、声音或文字。信息输入装置10包括图像输入设备102、声 音输入设备104以及文字输入设备106中的一种以上。图像输入设备102包括摄像设备和存储设备中的一种以上。摄像设备用于主动捕 捉用户的面部表情图像或人体动作图像。存储设备中保存有包含图像的文件，如图片、视频 等，作为图像输入源，提供给信息处理模块，比如笑脸图片、舞蹈视频等。声音输入设备104包括麦克风、电话通讯装置以及存储设备中的一种以上。麦克 风用于获取语音或音乐，如用户说的话或者舞蹈伴奏音乐；电话通讯装置用于获取电话语 音，即该机器人可用于电话通讯，并在电话通讯过程中获取语音；存储设备中保存有包含声音的文件，作为声音输入源，如用户录音或音乐，用户录音可以是用户为了保证指令输入的 一致性做的录音存档。文字输入设备106包括键盘或手写输入设备、转换设备以及存储设备中的一种 以上。键盘或手写输入设备是常规的输入文字的手段；转换设备是一种利用语音到文字 (speech to text)技术的输入文字的设备，可将用户的语音转换成文字；存储设备中保存 有包含图像的文件，该文件可作为文字输入源。上述的图像、声音或文字除了用于本地表达之外，还经过信息处理模块20的处理 形成本地通讯信息，通过即时通讯模块发送到远端。图像、声音或文字可以是单独出现，也可以一起出现。本地行为信息包含在图像、 声音或文字中，信息处理模块20用于对图像、声音或文字进行处理获取指示机器人实施指 定行为的本地行为指令以及机器人通过通讯终端向远程发送的本地通讯信息。信息处理模 块20包括图像处理单元202、声音处理单元204以及文字处理单元206中的一种以上。图像处理单元202包括人脸识别单元、动作识别单元、图片处理单元以及虚拟表 情处理单元中的一种以上。人脸识别单元用于识别人的面部表情，得到使机器人作出相应 表情的本地行为指令和将向远程发送的本地通讯信息，如用户的笑脸被摄像头捕捉，就可 将其转换为机器人实现笑脸和发出笑声的动作指令，同时将笑脸相关图像(包括实际图像 和虚拟图像)通过即时通讯终端发送。动作识别单元用于识别人体动作，得到使机器人作 出相应动作的指令，比如用户做出挥手动作被摄像头捕捉，经过动作识别模块识别为挥手， 就可将其转换为机器人的挥手指令，同时将挥手动作相关图像(包括实际图像和虚拟图 像)通过即时通讯终端发送。图片处理单元用于分析图片内容，图片可以是静态或动态的 图像，如用户照片或GIF动画等，得到使机器人的本地行为指令和向远程发送的本地通讯 信息。虚拟表情处理单元用于处理虚拟表情，得到使机器人做出相应表情的指令，同时将表 情相关图像通过即时通讯终端发送，虚拟表情被广泛地用在网络上，可以代替较多的文字 表达，形象生动。声音处理单元204包括声音识别单元和音乐播放单元中的一种以上。声音识别单 元用于识别用户；语音处理单元，用于分析语音内容，得到使机器人做出与语音内容相关的 本地行为指令，同时将相关信息通过即时通讯终端发送；音乐播放单元用于解析音乐文件 播放音乐。文字处理单元206包括语义识别单元和语音合成单元中的一种以上。语义识别单 元用于分析文字的语义信息，得到使机器人做出相应行为的指令，同时将相关信息通过即 时通讯终端发送；语音合成单元，采用文字到语音(text tospeech)技术将文字转换成语 音，供机器人朗读。此外，还包括转换模块208，用于将用户的面部表情图像或人体动作图像转换为虚 拟表情。机器人的行为表达可通过动作或声光效果来表现。比如挥手、转动、嘴巴开合、目艮 睛发光闪烁以及发声等。如图2所示，机器人的行为表达组件30安装于机器人体上的机械 运动组件302、发光组件304、声音输出组件306以及显示装置308中的一种以上。机械运动组件302包括设于机器人头部可开合的眼帘和嘴巴、设于眼帘内可转动 的眼球、可挥动的四肢以及可旋转的底座。眼帘的开合可以实现眨眼、嘴巴的开合可配合机器人朗读。发光组件304包括可闪烁以及亮度可调节的LED灯。LED灯可安装于机器人的眼睛上，并且通过亮度调节以及闪烁效果使机器人的表情效果更生动。声音输出组件306为音箱或耳机。显示装置308为显示器，可用于显示虚拟表情、文字、图像等。本实用新型的机器人还可以实现诸多功能，如独立聊天、机器人宠物等。独立聊天 就是用户与机器人之间的交互，用户向机器人输入语音或文字，甚至动作等本地行为信息， 这些本地行为信息被处理后由机器人表达，达到交互的目的。而机器人的行为表达装置根 据用户的输入的本地信息以及接收到的远程通讯信息来做出丰富的表情、动作及发声等， 使其可以作为宠物。通过连接到网络，该机器人可以实现多种远程信息的演绎功能，如邮件提醒，网络 传输到机器人的信息通过触发声音或动作、发光等，实现提醒功能。进一步地，机器人还包括学习模块50，用于在用户使用过程中收集用户信息，得到 更适合用户使用习惯的行为表达模式，远程信息通讯模式和个性化的网络信息服务。实施例1 本地和远程的即时通讯娱乐机器人既是输入端，也是输出端，产生、传递和表达相 应的信息。本地端即时通讯娱乐机器人通过智能摄像头获得人脸图像，图像在数据处理模 块中被进行分析并生成情绪信号，然后同时向本地和远程的机器人发生行为指令。本地和 远程的机器人通过动作、声音、灯光的组合表达出相应的情绪和表情。比如使用者在使用QQ 进行聊天的时候，本地使用者做了一个非常生气的表情，一方面，本地机器人就会识别出表 情，眼帘突然打开，眼睛的LED等会突然增亮并闪烁，嘴巴张开并发出“嗯”的声音；同时，本 地机器人通过QQ向对方发过去一个虚拟的生气表情在远程屏幕上显示，而且远程的机器 人在扑捉到生气的表情信息后会做出生气的表情和动作。实施例2 远程用户通过即时通讯工具向本地发送一个大笑虚拟表情信号，本地机器人会自 动捕捉该虚拟表情信号，眼帘微合，眼睛的LED不停闪烁，嘴巴张开并发出“哈、哈”的笑声。实施例3 在使用即时通讯工具的时候，本地用户向远程发送一个伤心的虚拟表情。远程用 户的机器人在捕捉到该虚拟表情后，眼帘会慢慢闭上，眼睛LED亮度减弱，嘴巴发出“呜呜”
的声音。实施例4 当用户对机器人说“登录QQ聊天”时，机器人通过语音识别产生行为指令。同时 摄像头进行拍摄并进行人脸识别。如果确定使用者为主人，通过人脸信息与身份信息捆绑， 机器人将自动为主人登录上QQ聊天室，而不需要通过键盘输入用户的号码和密码。通过人 脸识别和身份信息捆绑，机器人还可以帮助主人进行其他的登录操作，比如登录邮箱。实施例5 用户在outlook中设定事件的时间和内容。机器人会提取事件的时间和内容，并 及时提醒用户。比如事件设定为2009年6月6号为主人的生日，当天，机器人就会自动的 为主人唱祝你生日快乐的歌曲，并伴有表情和舞蹈动作。[0066]与特定的情景结合，比如QQ的开心农场，机器人会定时提醒主人去摘菜。会经预 先设定，在特定的时间段帮主人种菜、收菜、偷菜等。再比如，当接收到新的邮件时，机器人 会通过Text-to-speech技术读出新邮件的地址和主题内容，还可以通过Speech-to-text 技术，实现通过语音撰写邮件的功能。实施例6 通过机器人学习技术，该机器人通过收集、存储、分析用户的使用信息，学习用户 的操作习惯，并自动提供一些相关的服务。以客户网上购物为例，该机器人可以记录主人的 购物历史，并将之发送到服 务器，服务器进行超算和云计算，并能针对计算出的客户行为习 惯，自动进行相关搜索，成为主人的购物顾问。再以语音输入为例，即使用户的发音不标准， 比如湖南方言，机器人通过学习也能识别出相应的语义，并能做出湖南方言的发音。以上所述实施例仅表达了本实用新型的几种实施方式，其描述较为具体和详细， 但并不能因此而理解为对本实用新型专利范围的限制。应当指出的是，对于本领域的普通 技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干变形和改进，这些都属 于本实用新型的保护范围。因此，本实用新型专利的保护范围应以所附权利要求为准。
权利要求一种即时通讯伴侣机器人，包括承载机器人各个部件的机器人实体，其特征在于，还包括信息输入装置，用于由用户输入或主动跟踪用户而输入用户的本地行为信息；信息处理模块，用于对所述本地行为信息进行处理得到本地行为指令和/或本地通讯信息，对远程通讯信息进行处理得到本地行为指令；行为表达装置，用于根据所述本地行为指令进行相应的本地行为表达；以及即时通讯模块，用于接收来自通讯终端的远程通讯信息并将所述远程通讯信息传递给信息处理模块，获取本地通讯信息并通过通信终端发出。
2.如权利要求1所述的即时通讯伴侣机器人，其特征在于，所述的行为表达装置根据 所述的本地行为指令进行相应的本地行为表达以及即时通讯模块将本地通讯信息通过通 信终端发出是同步进行的。
3.如权利要求1或2所述的即时通讯伴侣机器人，其特征在于，所述即时通讯模块为所 述的即时通讯伴侣机器人内置的或外置的。
4.如权利要求1或2所述的即时通讯伴侣机器人，其特征在于，所述的通讯终端是即时 通讯工具。
5.如权利要求1或2所述的即时通讯伴侣机器人，其特征在于，所述信息输入装置包括 图像输入设备、声音输入设备以及文字输入设备中的一种以上。
6.如权利要求5所述的即时通讯伴侣机器人，其特征在于，所述图像输入设备包括以 下设备中的一种以上摄像装置，用于捕捉用户的面部表情图像或人体动作图像；以及 存储设备，用于保存包含图像的文件，作为图像输入源。
7.如权利要求5所述的即时通讯伴侣机器人，其特征在于，所述声音输入设备包括以 下设备中的一种以上麦克风，用于获取语音或音乐；电话通讯装置，用于获取电话语音；以及存储设备，用于保存包含声音的文件，作为声音输入源。
8.如权利要求5所述的即时通讯伴侣机器人，其特征在于，所述文字输入设备包括以 下设备中的一种以上键盘或手写输入设备，用于输入文字；转换设备，用于根据语音获取文字并输入文字；以及存储设备，用于保存包含文字的文件，作为文字输入源。
9.如权利要求1或2所述的即时通讯伴侣机器人，其特征在于，所述信息处理模块包括 图像处理单元、声音处理单元以及文字处理单元中的一种以上。
10.如权利要求9所述的即时通讯伴侣机器人，其特征在于，所述图像处理单元包括以 下处理单元中的一种以上人脸识别单元，用于识别用户的面部表情，得到表情相关的本地行为指令和/或本地 通讯信息；动作识别单元，用于识别用户的人体动作，得到动作相关的本地行为指令和/或本地 通讯信息；图片处理单元，用于分析图片内容，得到图片内容相关的本地行为指令和/或本地通 讯信息；以及虚拟表情处理单元，用于处理虚拟表情，得到表情相关的本地行为指令和/或本地通讯f曰息O
11.如权利要求1或2所述的即时通讯伴侣机器人，其特征在于，所述信息处理模块包 括转换模块，用于将用户的面部表情图像或人体动作图像转换为虚拟表情。
12.如权利要求9所述的即时通讯伴侣机器人，其特征在于，所述声音处理单元包括以 下处理单元中的一种以上声音识别单元，用于识别用户的语音；语音处理单元，用于分析语音内容，得到语音内容相关的本地行为指令和/或本地通 讯信息；以及音乐播放单元，用于解析音乐文件并播放。
13.如权利要求9所述的即时通讯伴侣机器人，其特征在于，所述文字处理单元包括以 下处理单元中的一种以上语义识别单元，用于分析文字的语义信息，得到文字相关的行为指令和/或本地通讯 信息；以及语音合成单元，用于将文字转换成语音，供机器人播放。
14.如权利要求1或2所述的即时通讯伴侣机器人，其特征在于，所述行为表达装置包 括机械运动组件、发光组件、声音输出组件以及显示装置中的一种以上。
15.如权利要求14所述的即时通讯伴侣机器人，其特征在于，所述机械运动组件包括 设于机器人头部可开合的眼帘和嘴巴、设于眼帘内可转动的眼球、可挥动的四肢以及可旋转的底座中一种以上。
16.如权利要求14所述的即时通讯伴侣机器人，其特征在于，所述发光组件包括可闪 烁以及亮度可调节的LED灯。
17.如权利要求14所述的即时通讯伴侣机器人，其特征在于，所述声音输出组件为音 箱或耳机。
18.如权利要求1或2所述的即时通讯伴侣机器人，其特征在于，还包括学习模块，用于 在用户使用过程中收集用户信息，得到更适合用户使用习惯的行为表达模式，远程通讯信 息模式和个性化的网络信息服务。
专利摘要一种即时通讯伴侣机器人，包括承载机器人各个部件的机器人实体；信息输入装置，用于由用户输入或主动跟踪用户而输入用户的本地行为信息；信息处理模块，用于对所述本地行为信息进行处理得到本地行为指令和/或本地通讯信息，对远程通讯信息进行处理得到本地行为指令；行为表达装置，用于根据所述本地行为指令进行相应的本地行为表达；以及即时通讯模块，用于接收来自通讯终端的远程通讯信息并将所述远程通讯信息传递给信息处理模块，获取本地通讯信息并通过通信终端发出。本实用新型可实现现实行为虚拟化，虚拟行为现实化以及个性化即时通讯服务，提升了用户体验，为即时通讯增值。
文档编号H04L12/58GK201611889SQ20102011739
公开日2010年10月20日 申请日期2010年2月10日 优先权日2010年2月10日
发明者刘伟, 毕亚雷, 沈玲玲, 程俊, 胡晓伟 申请人:深圳先进技术研究院