面向问答机器人的信息处理方法及系统的制作方法
【专利摘要】本发明公开了一种面向问答机器人的信息处理方法及系统，其中方法包括：获取多模态交互信息；调用记忆系统的用户实体信息，用户实体信息为用于表征用户的习惯、属性、身份及行为的信息；根据多模态交互信息和用户实体信息，确定针对当前问答过程的结果。本发明在多模态交互的基础上，深度挖掘用户实体信息，从而给整个多模态交互流程提供用户信息支撑。与仅能简单地完成与用户对话的需求的传统对话系统相比，本发明能更加准确地推测用户意图，并针对用户的实际情况进行贴心的回答，大大提升了用户体验。
【专利说明】
面向问答机器人的信息处理方法及系统
技术领域
[0001]本发明涉及智能机器人技术领域，尤其涉及一种面向问答机器人的信息处理方法，还涉及一种面向问答机器人的信息处理系统。
【背景技术】
[0002]问答系统(问答机器人)是信息检索系统的一种高级形式。它能用准确、简洁的自然语言回答用户用自然语言提出的问题。其研究兴起的主要原因是人们对于快速、准确的获取息的需求。
[0003]目前，人们开始把诸如视觉信息等多模态交互信息引入针对问答机器人的研究中，以使问答机器人在与用户进行沟通的过程中能够考虑多模态交互信息，从而令问答机器人的回答更加准确，更加拟人化，有利于增加用户的使用体验。
[0004]然而，现有的技术方案，尚未将用户的历史行为数据引入问答机器人，而这些历史行为数据是进行用户意图推测的重要补充，如能结合用户的历史行为数据进行回复，必能使回答更加贴心、准确，大大提升用户体验。
【发明内容】
[0005]本发明的目的在于针对现有技术的不足，提供一种面向问答机器人的信息处理方法及系统，结合用户的历史行为数据，更加准确的推测用户意图，针对用户的实际情况进行贴心的回答，提升用户体验。
[0006]根据本发明的一个方面，提供了一种面向问答机器人的信息处理方法，其包括:
[0007]获取多模态交互信息；
[0008]调用记忆系统的用户实体信息，所述用户实体信息为用于表征用户的习惯、属性、身份及行为的信息；
[0009]根据所述多模态交互信息和所述用户实体信息，确定针对当前问答过程的结果。
[0010]优选的是，上述面向问答机器人的信息处理方法，还包括构建所述记忆系统的步骤，其包括:
[0011 ]按照预设规则，对所述多模态交互信息进行用户关联分析，得到关联分析结果；
[0012]从所述关联分析结果中抽取所述用户实体信息；
[0013]将所述用户实体信息保存在所述记忆系统中。
[0014]优选的是，上述面向问答机器人的信息处理方法还包括，所述记忆系统将所述用户实体信息输出给知识图谱系统。
[0015]优选的是，所述记忆系统向所述知识图谱系统输出的用户实体信息包括知识点关系信息。
[0016]优选的是，所述知识点关系信息包括人与人的关系、人与物的关系、物与物的关系、以及人与事件的关系中的一项或多项。
[0017]根据本发明的另一个方面，提供了一种面向问答机器人的信息处理系统，其包括:
[0018]信息获取模块，设置为获取多模态交互信息；
[0019]信息调用模块，设置为调用记忆系统的用户实体信息，所述用户实体信息为用于表征用户的习惯、属性、身份及行为的信息；
[0020]确定模块，设置为根据所述多模态交互信息和所述用户实体信息，确定针对当前问答过程的结果。
[0021]优选的是，上述面向问答机器人的信息处理系统还包括构建模块，其设置为构建所述记忆系统;所述构建模块包括:
[0022]关联分析单元，设置为按照预设规则，对所述多模态交互信息进行用户关联分析，得到关联分析结果；
[0023]抽取单元，设置为从所述关联分析结果中抽取所述用户实体信息；
[0024]保存单元，设置为将所述用户实体信息保存在所述记忆系统中。
[0025]优选的是，所述记忆系统设置为将所述用户实体信息输出给知识图谱系统。
[0026]优选的是，所述记忆系统向所述知识图谱系统输出的用户实体信息包括知识点关系信息。
[0027]优选的是，所述知识点关系信息包括人与人的关系、人与物的关系、物与物的关系、以及人与事件的关系中的一项或多项。
[0028]与现有技术相比，上述方案中的一个或多个实施例可以具有如下优点或有益效果:
[0029]本发明在多模态交互的基础上，深度挖掘用户实体信息，从而给整个多模态交互流程提供用户信息支撑。与仅能简单地完成与用户对话的需求的传统对话系统相比，本发明能更加准确地推测用户意图，并针对用户的实际情况进行贴心的回答，大大提升了用户体验。
[0030]本发明的其它特征和优点将在随后的说明书中阐述，并且部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在说明书、权利要求书以及附图中所特别指出的结构来实现和获得。
【附图说明】
[0031]附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例共同用于解释本发明，并不构成对本发明的限制。在附图中:
[0032]图1示出了本发明实施例面向问答机器人的信息处理方法的流程示意图；
[0033]图2示出了本发明实施例中构建记忆系统的方法的流程示意图；
[0034]图3示出了本发明实施例面向问答机器人的信息处理系统与记忆系统的连接示意图；
[0035]图4示出了本发明实施例面向问答机器人的信息处理系统的结构示意图；
[0036]图5示出了本发明实施例中构建模块的结构示意图；以及
[0037]图6示出了本发明实施列面向问答机器人的信息处理系统与记忆系统和知识图谱系统的连接示意图。
【具体实施方式】
[0038]以下将结合附图及实施例来详细说明本发明的实施方式，借此对本发明如何应用技术手段来解决技术问题，并达成技术效果的实现过程能充分理解并据以实施。需要说明的是，只要不构成冲突，本发明中的各个实施例以及各实施例中的各个特征可以相互结合，所形成的技术方案均在本发明的保护范围之内。
[0039]在现有的技术方案中，尚未将用户的历史行为数据引入问答机器人，而这些历史行为数据是进行用户意图推测的重要补充，如能结合用户的历史行为数据进行回复，必能使回答更加贴心、准确，大大提升用户体验。因此，本发明实施例的目的在于针对现有技术的不足，提供一种面向问答机器人的信息处理方法，结合用户的历史行为数据，更加准确的推测用户意图，针对用户的实际情况进行贴心的回答，提升用户体验。
[0040]实施例一
[0041]图1示出了本发明实施例面向问答机器人的信息处理方法的流程示意图。如图1所示，本发明实施例的面向问答机器人的信息处理方法主要包括步骤101至步骤103。
[0042]在步骤101中，获取多模态交互信息。
[0043]具体地，多模态交互信息主要涉及视觉信息、语音信息和触觉信息中的一类或几类。系统接收视觉信息、语音信息、触觉信息后，对各类信息进行相应的处理，得到多模态交互信息。
[0044]例如，对于视觉信息，系统首先检测图像或视频信息，然后对检测到的图像、视频信息进行图像识别处理，得到图像表达的意思(本文中称为图像语义结果，其用文本表示)以及触发的事件(其采用文本表示，并满足预定义的文字格式)。
[0045]对于语音信息，系统首先拾取用户输入的语音，然后对拾取到的语音进行语音识另IJ，得到与该语音相对应的文本。
[0046]对于触觉信息，系统首先检测用户作用于问答机器人的触摸力度信息，然后从触摸力度信息中提取力度大小及受力点(本文中称为触摸描述，是标准格式的文本，其包含描述、力度大小、受力点等)。
[0047]值得注意的是，可采用本领域技术人员惯常采用的技术手段来实现针对上述视觉信息、语音信息和触摸信息的检测和处理，故本文不对这些技术手段进行展开说明。
[0048]在步骤102中，调用记忆系统的用户实体信息，用户实体信息为用于表征用户的习惯、属性、身份及行为的信息。
[0049]具体地，记忆系统中存储有用户实体信息。这里，用户实体信息具体为用于表征用户的习惯、属性及身份的信息。
[0050]举例来说，用于表征用户的习惯的用户实体信息有:脾气温和、脾气暴躁、每天吃一个苹果、喜欢甜食、喜欢四川菜等。
[0051]用于表征用户的属性的用户实体信息有:性别女、民族汉族、有男朋友等。
[0052]用于表征用户的身份的信息有:出生在北京、中共党员、硕士毕业、毕业于北京工业大学、从事专利代理工作等。
[0053]用于表征用户的行为的用户实体信息有:用户昨天吃了一个苹果、用户今天拉肚子了、用户今天和男朋友吵架了等。
[0054]关于记忆系统的构建方法将在下一实施例中进行详细地阐述。
[0055]在步骤103中，根据多模态交互信息和用户实体信息，确定针对当前问答过程的结果O
[0056]具体地，系统根据由步骤101得到的多模态交互信息，并结合由步骤102得到的用户实体信息，得到针对当前问答过程的结果，即反馈给问答机器人的回复。
[0057]举例来说，假设获取用户输入的语音信息(多模态交互信息)为“我今天难受，猜猜谁欺负我了”，于是系统结合用于表征用户的属性的用户实体信息“有男朋友”，就会确定反馈给用户的回复“我猜是你的男朋友欺负你了，对吗”。
[0058]再例如，记忆系统中保存了用户昨天吃了一个苹果的行为信息(用户实体信息)，当用户第二天向问答机器人输入语音“想吃苹果了”时，问答机器人就会结合从记忆系统调用的“用户昨天吃了一个苹果”的行为信息，就会确定反馈给用户的回复“你不是昨天才吃过了吗”。
[0059]再例如，记忆系统中保存了用户经常重拍机器人的习惯信息(用户实体信息)，当用户再次重拍问答机器人之后，问答机器人就会结合从记忆系统调用的用户经常重拍机器人的习惯信息，就会确定反馈给用户的回复“小朋友，不要老是发脾气，发脾气对身体不好”。
[0060]应用本实施例所述的面向问答机器人的信息处理方法，在多模态交互的基础上，深度挖掘用户实体信息，从而给整个多模态交互流程提供用户信息支撑。与仅能简单地完成与用户对话的需求的传统对话系统相比，本实施例能更加准确地推测用户意图，并针对用户的实际情况进行贴心的回答，大大提升了用户体验。
[0061 ] 实施例二
[0062]本实施例在实施例一的基础上增加了构建记忆系统的方法。
[0063]图2示出了本发明实施例中构建记忆系统的方法的流程示意图。如图2所示，本发明实施例所述的构建记忆系统的方法主要包括步骤201至步骤203。
[0064]在步骤201中，按照预设规则，对多模态交互信息进行用户关联分析，得到关联分析结果。
[0065]具体地，通过预设值的一些规则(视用户数据不断更新补充)，判断用户输入内容(即多模态交互信息)中是否包含需要存储的内容。这里，判断输入内容中是否包括需要存储的内容的原则是:判断输入内容中是否包括用户的个人情况(姓名、性别、年龄、住址、爱好、行为(文本描述))、情绪表达、动作输入等。
[0066]在步骤202中，从关联分析结果中抽取用户实体信息。
[0067]具体地，在步骤中所提取的有效内容是与用户相关的内容，预设值是便于提取输入中相关的内容，设定的形式在本实施例中并不局限。另外，如何规定匹配度在本实施例中也不局限。
[0068]举例来说，在对话过程中，用户提到“我今年都28了还是单身汪”，除对话以外，还有其他输入，比如视觉判断该用户为女性、在说此句话时双手摊开等。记忆系统中的关联预设值，比如O〈“数字”〈150，同时出现“年”等字样，进行匹配，解析后得到用户的年龄是28岁。
[0069]再例如，如果触觉信息指示用户经常重拍机器人，则可以得出用户情绪比较暴躁的用户实体信息。
[0070]在步骤203中，将用户实体信息保存在记忆系统中。
[0071 ]具体地，将抽取得到的用户实体信息保存在记忆系统中，由此构建了记忆系统。
[0072]在本实施例中，根据预设规则，对获取的多模态交互信息进行关联分析，并从分析结果中提取出用户实体信息，最后将用户实体信息保存在记忆系统中，构建成记忆系统。本实施例基于多模态交互信息构建记忆系统，能更贴切地、更准确地反映用户的习惯、属性及身份等信息，同时根据本实施例的方法构建的记忆系统反过来能进一步提升多模态交互的用户体验和整个问答系统的智能度。
[0073]实施例三
[0074]本实施例在实施例一或实施例二的基础上，进一步优化记忆系统的对外接口。
[0075]在本实施例中，面向问答机器人的信息处理方法还包括以下步骤:记忆系统将用户实体信息输出给知识图谱系统。
[0076]通过本实施例的支持，知识图谱系统能够获取记忆系统中有价值的节点，即用户实体信息，从而有利于丰富知识图谱系统中的信息。
[0077]在本发明一优选的实施例中，记忆系统向知识图谱系统输出的用户实体信息包括知识点关系信息。这里，知识点关系信息优选地包括以下几项中的一项或多项:人与人的关系(例如，公众人物及公众人物之间的关系)、人与物的关系、物与物的关系、以及人与事件的关系。这里，值得注意的是，人与人的关系既可以由记忆系统得到，再由记忆系统发送给知识图谱系统，也可以由知识图谱系统得到，再由知识图谱系统发送给记忆系统。
[0078]在本实施例中，记忆系统配置有与知识图谱系统相连的接口，通过此接口，可实现记忆系统与知识图谱系统的信息交换，有助于丰富两个系统存储的知识。因此，本实施例在记忆系统的基础上引入知识图谱系统，进一步为整个多模态交互流程提供强有力的用户信息支撑，使系统能更加准确地推测用户意图，并针对用户的实际情况进行贴心的回答，进一步提升了用户体验，进一步提高了整个问答系统的智能度。
[0079]实施例四
[0080]对应于上述实施例一至实施例三，本发明实施例提供了一种面向问答机器人的信息处理系统。
[0081]图3示出了本发明实施例面向问答机器人的信息处理系统与记忆系统的连接示意图。图4示出了本发明实施例面向问答机器人的信息处理系统的结构示意图。参照图3和图4，本实施例的面向问答机器人的信息处理系统300与记忆系统400相连，该信息处理系统300主要包括信息获取模块301、信息调用模块302和确定模块303。
[0082]信息获取模块301，设置为获取多模态交互信息。
[0083]信息调用模块302，设置为调用记忆系统400的用户实体信息，用户实体信息为用于表征用户的习惯、属性及身份的信息。
[0084]确定模块303，设置为根据多模态交互信息和用户实体信息，确定针对当前问答过程的结果。
[0085]应用本实施例所述的面向问答机器人的信息处理系统300，在多模态交互的基础上，深度挖掘用户实体信息，从而给整个多模态交互流程提供用户信息支撑。与仅能简单地完成与用户对话的需求的传统对话系统相比，本实施例能更加准确地推测用户意图，并针对用户的实际情况进行贴心的回答，大大提升了用户体验。
[0086]实施例五
[0087]本实施例的面向问答机器人的信息处理系统300在实施例四的基础上还包括用于构建记忆系统400的构建模块304。参照图5，构建模块304包括:
[0088]关联分析单元3041，设置为按照预设规则，对多模态交互信息进行用户关联分析，得到关联分析结果。
[0089]抽取单元3042，设置为从关联分析结果中抽取用户实体信息。
[0090]保存单元3043，设置为将用户实体信息保存在记忆系统400中。
[0091]在本实施例中，根据预设规则，对获取的多模态交互信息进行关联分析，并从分析结果中提取出用户实体信息，最后将用户实体信息保存在记忆系统400中，构建成记忆系统400。本实施例基于多模态交互信息构建记忆系统400，能更贴切地、更准确地反映用户的习惯、属性及身份等信息，同时根据本实施例的方法构建的记忆系统400反过来能进一步提升多模态交互的用户体验和整个问答系统的智能度。
[0092]实施例六
[0093]本实施例在实施例四和实施例的基础上进一步优化了记忆系统400的对外接口。图6示出了本发明实施列面向问答机器人的信息处理系统300与记忆系统400和知识图谱系统500的连接示意图。如图6所示，记忆系统400设置为将用户实体信息输出给知识图谱系统500 ο特别地，记忆系统400向知识图谱系统500输出的用户实体信息包括知识点关系信息。知识点关系信息优选地包括人与人的关系、人与物的关系、物与物的关系、以及人与事件的关系中的一项或多项。
[0094]在本实施例中，记忆系统400配置有与知识图谱系统500相连的接口，通过此接口，可实现记忆系统400与知识图谱系统500的信息交换，有助于丰富两个系统存储的知识。因此，本实施例在记忆系统400的基础上引入知识图谱系统500，进一步为整个多模态交互流程提供强有力的用户信息支撑，使系统能更加准确地推测用户意图，并针对用户的实际情况进行贴心的回答，进一步提升了用户体验，进一步提高了整个问答系统的智能度。
[0095]值得注意的是，实施例四至实施例中各个模块中的操作的具体细化，可参见上面结合图1和图2对本发明方法(具体参见实施例一至实施例三)的说明，在此不再详细赘述。
[0096]本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。
[0097]虽然本发明所公开的实施方式如上，但所述的内容只是为了便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属技术领域内的技术人员，在不脱离本发明所公开的精神和范围的前提下，可以在实施的形式上及细节上作任何的修改与变化，但本发明的保护范围，仍须以所附的权利要求书所界定的范围为准。
【主权项】
1.一种面向问答机器人的信息处理方法，其特征在于，包括: 获取多模态交互信息； 调用记忆系统的用户实体信息，所述用户实体信息为用于表征用户的习惯、属性、身份及行为的信息； 根据所述多模态交互信息和所述用户实体信息，确定针对当前问答过程的结果。2.根据权利要求1所述的方法，其特征在于，还包括构建所述记忆系统的步骤，其包括: 按照预设规则，对所述多模态交互信息进行用户关联分析，得到关联分析结果； 从所述关联分析结果中抽取所述用户实体信息； 将所述用户实体信息保存在所述记忆系统中。3.根据权利要求1或2所述的方法，其特征在于，还包括，所述记忆系统将所述用户实体信息输出给知识图谱系统。4.根据权利要求3所述的方法，其特征在于，所述记忆系统向所述知识图谱系统输出的用户实体信息包括知识点关系信息。5.根据权利要求4所述的方法，其特征在于，所述知识点关系信息包括人与人的关系、人与物的关系、物与物的关系、以及人与事件的关系中的一项或多项。6.一种面向问答机器人的信息处理系统，其特征在于，包括: 信息获取模块，设置为获取多模态交互信息； 信息调用模块，设置为调用记忆系统的用户实体信息，所述用户实体信息为用于表征用户的习惯、属性、身份及行为的信息； 确定模块，设置为根据所述多模态交互信息和所述用户实体信息，确定针对当前问答过程的结果。7.根据权利要求6所述的系统，其特征在于，还包括构建模块，其设置为构建所述记忆系统;所述构建模块包括: 关联分析单元，设置为按照预设规则，对所述多模态交互信息进行用户关联分析，得到关联分析结果； 抽取单元，设置为从所述关联分析结果中抽取所述用户实体信息； 保存单元，设置为将所述用户实体信息保存在所述记忆系统中。8.根据权利要求6或7所述的系统，其特征在于，所述记忆系统设置为将所述用户实体信息输出给知识图谱系统。9.根据权利要求8所述的系统，其特征在于，所述记忆系统向所述知识图谱系统输出的用户实体信息包括知识点关系信息。10.根据权利要求9所述的系统，其特征在于，所述知识点关系信息包括人与人的关系、人与物的关系、物与物的关系、以及人与事件的关系中的一项或多项。
【文档编号】G06F17/30GK105824935SQ201610157400
【公开日】2016年8月3日
【申请日】2016年3月18日
【发明人】孙永超
【申请人】北京光年无限科技有限公司