人机对话系统中基于时间线记忆的认知方法及装置与流程

本发明涉及智能识别技术领域，具体涉及一种人机对话系统中基于时间线记忆的认知方法及装置。

背景技术：

现有的人机对话系统中，对于用户事件活动相关话题的理解与潜在逻辑的推理普遍依赖于规则系统的预设规则。基本触发形式或由用户发出“指令式”的对话，或由机器识别固定的对话句型，导致对话无法深入并且不符合人类自然的交互习惯。

技术实现要素：

针对现有技术中的缺陷，本发明提供了一种人机对话系统中基于时间线记忆的认知方法及装置，将用户表述的事件活动抽象为时间线，并在后续的用户对话中根据关键词进行记忆检索，实现对用户活动的认知，使人机对话更加符合人类自然的交互习惯。

第一方面，本发明提供的一种人机对话系统中基于时间线记忆的认知方法，包括：抽取对话信号中的多元信号；根据所述多元信号得到活动要素；按所述活动要素中的时间要素为顺序，将所述活动要素添加到用户时间线中。

本实施例提供的人机对话系统中基于时间线记忆的认知现方法，实现了一种基于时间线自动提取记忆的方法，依赖于对话信号中的时间表达式、话题、语句类型、情绪、语言行为、语义角色标准、人称命名实体、地点命名实体、等，将用户表述的事件活动抽象为时间线，基于用户时间线构建对用户活动的记忆认知，使得机器人更加智能化和人性化。

优选地，还包括：对所述对话信号进行句型分析；所述按所述活动要素中的时间要素为顺序，将所述活动要素添加到用户时间线中，包括：若所述对话信号的句型为陈述句，则按所述活动要素中的时间要素为顺序，将所述活动要素添加到用户时间线中；若所述对话信号的句型为疑问句，则在用户时间线中检索与所述活动要素匹配的记录，根据检索到的记录进行对话回答。

优选地，所述按所述活动要素中的时间要素为顺序，将所述活动要素添加到用户时间线中，包括：在用户时间线中检索与所述活动要素匹配的记录；若检索到匹配的记录，则根据所述活动要素对匹配到的记录进行补全；若未检索到匹配的记录，则根据所述时间要素生成新增记录，按所述活动要素中的时间要素为顺序，将所述新增记录添加到用户时间线中。

优选地，还包括：在所述用户时间线中检索与所述新增记录存在冲突的记录，若存在冲突，则向用户发出提醒。

优选地，所述多元信号包括时间表达式、人称命名实体、地点命名实体、语义角色标注、话题、句型、情绪、语言行为中的至少一种。

优选地，所述活动要素包括时间要素、地点要素、人物要素、事件要素中的至少一种。

第二方面，本发明提供的一种人机对话系统中基于时间线记忆的认知装置，包括：信号抽取模块，用于抽取对话信号中的多元信号；要素提取模块，用于根据所述多元信号得到活动要素；记忆添加模块，用于按所述活动要素中的时间要素为顺序，将所述活动要素添加到用户时间线中。

本实施例提供的人机对话系统中基于时间线记忆的认知现装置，实现了一种基于时间线自动提取记忆的方法，依赖于对话信号中的时间表达式、话题、语句类型、情绪、语言行为、语义角色标准、人称命名实体、地点命名实体、等，将用户表述的事件活动抽象为时间线，基于用户时间线构建对用户活动的记忆认知，使得机器人更加智能化和人性化。

优选地，还包括句型分析模块，用于对所述对话信号进行句型分析；所述记忆添加模块具体用于：若所述对话信号的句型为陈述句，则按所述活动要素中的时间要素为顺序，将所述活动要素添加到用户时间线中；若所述对话信号的句型为疑问句，则在用户时间线中检索与所述活动要素匹配的记录，根据检索到的记录进行对话回答。

优选地，所述记忆添加模块中，按所述活动要素中的时间要素为顺序，将所述活动要素添加到用户时间线中，包括：在用户时间线中检索与所述活动要素匹配的记录；若检索到匹配的记录，则根据所述活动要素对匹配到的记录进行补全；若未检索到匹配的记录，则根据所述时间要素生成新增记录，按所述活动要素中的时间要素为顺序，将所述新增记录添加到用户时间线中。

优选地，还包括冲突检测模块，用于在所述用户时间线中检索与所述新增记录存在冲突的记录，若存在冲突，则向用户发出提醒。

附图说明

图1示出了本发明实施例所提供的人机对话系统中基于时间线记忆的认知方法的流程图；

图2示出了本发明实施例所提供的人机对话系统中基于时间线记忆的认知装置的结构框图。

具体实施方式

下面将结合附图对本发明技术方案的实施例进行详细的描述。以下实施例仅用于更加清楚地说明本发明的技术方案，因此只是作为示例，而不能以此来限制本发明的保护范围。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本发明所属领域技术人员所理解的通常意义。

如图1所示，本实施例提供的一种人机对话系统中基于时间线记忆的认知现方法，包括：

步骤s1，抽取对话信号中的多元信号。

其中，多元信号包括但不限于以下内容时间表达式、人称命名实体、地点命名实体、语义角色标注、话题、情绪、语言行为。在抽取对话信号中的多元信号时，不一定能抽取到上述所有内容，也不需要抽取到所有内容。上述多元信号的获取方法可以采用既有方案实现，有较高的准确度。

时间表达式包括日期、时间，通过现有的基于机器学习的crfmodel(条件随机场模型)训练标注时间表达式，并通过nlp分词和词性标注处理后对表达式进行归一化处理，去除“的”等助词，如果是“16年11月1日”通过正则表达式识别“年”“月”“日”部分并进行标准化，如果是“上周一”“下周三”等推算格式，则进行对应的时间推算。时间表达式采用标准格式，类似于“2016年11月1日15：30”的结构化格式，并且是基于当前时间基线计算的，如昨天，明天，下周一等等，但是概括的时间只精确到日期，如明天是“2016年11月1日”，明天下午三点是“2016年11月1日15:00”。

命名实体就是人名、机构名、地名以及其他所有以名称为标识的实体，常见有机构名、人名、地名等，也可以有时间、日期、数量短语等。人称命名实体指人名，通过现有的基于机器学习的crfmodel、关键词词典与正则表达式规则的识别方法识别人称命名实体。地点命名实体指地名，通过现有的基于机器学习的crfmodel、关键词词典与正则表达式规则的识别方法识别地点命名实体。

语义角色标注是句子语法结构树的抽象，表明了句子各短语的依赖修饰关系，即句子的施事和受事关系，例如：“我明天去西单看电影”，施事是“我看”和“我去”，受事为“看电影”，地点修饰为“去西单”。

通过现有的对nlp(naturallanguageprocessing，自然语言处理)依存句法树进行集束搜索和联合学习的方式标注句子的语义角色标注。

话题是对话中常用语/短语的语义标注，例如“我明天去西单看电影”，其中“看电影”的话题是“娱乐休闲活动”，“西单”是“北京商圈”，句子成分中的话题标注是作为用户记忆层次分类的依据，在记忆用户“明天去看电影”的同时，能够理解用户的“看电影”活动要素属于“娱乐休闲活动”，地点要素“西单”属于“北京商圈”，便于辅助用户的记忆检索。例如用户询问“明天我要去玩什么？”，其中“玩”对应的话题为“娱乐休闲活动”，这样对应可以将用户看电影的活动检索出来。话题的获取需要建立人工分类的常识辞典库，在此之上结合lstm深度学习算法识别多轮对话下的话题。

情绪代表了对话中的喜、怒、中性状态，用户强烈情绪状态下的事件通常是比较重要的记忆，基于deeplearning(深度学习)模型训练识别句子的情绪。

语言行为代表了对话的行为倾向是陈述、确认、道歉、肯定/否定意见、疑问、指责等等，是识别对话语义中活动事件需要记忆的重要依据，通过现有的deeplearningcnn(深度学习卷积神经网络)模型训练识别语言行为。

步骤s2，根据多元信号得到活动要素。

其中，对用户对话中表述的活动可以抽象为时间，地点，人物，事件这四要素，因此，步骤s2中的活动要素包括时间要素、地点要素、人物要素、时间要素。但各个活动要素并非是记忆认知的不可或缺的部分，实际中，根据一条对话信号可能只能获取其中的一个或多个活动要素，其它活动要素可以在多轮对话过程中进行信息补全。在人机交互过程中，根据对话信号中的时间表达式抽取时间要素；根据人称以及人称命名实体识别人物得到人物要素，或通过对语义角色标注中的施事进行人称命名实体匹配得到人物要素；根据地点命名实体识别地点得到地点要素，或通过对语义角色标注中的地点修饰进行地点命名实体匹配得到地点要素；根据语义角色标注(semanticrolelabeling)与话题等多元信号识别事件要素，如根据语义角色标注中施受关系将句子中的活动成分抽取为事件，以“明天我要带女朋友去看电影”为例，事件为“看电影”。

步骤s3，按活动要素中的时间要素为顺序，将活动要素添加到用户时间线中。

其中，添加到用户时间线中的活动要素按预先设定好的格式进行存储，例如：“时间要素-地点要素-人物要素-事件要素”，存储的记录中除时间要素外各个活动要素可以缺省。

本实施例提供的人机对话系统中基于时间线记忆的认知现方法，实现了一种基于时间线自动提取记忆的方法，依赖于对话信号中的时间表达式、话题、语句类型、情绪、语言行为、语义角色标准、人称命名实体、地点命名实体、等，将用户表述的事件活动抽象为时间线，基于用户时间线构建对用户活动的记忆认知，使得机器人更加智能化和人性化。

为了使机器人更加智能，需要针机器人对不同的句型作出不同的回应，为了实现上述功能，本实施例提供的方法还包括：对话信号进行句型分析。具体地，通过现有的基于aimlartificialintelligencemarkuplanguage(人工智能标记语言)与正则表达式规则的方法识别对话信号的句型，并可以结合多元信号中的情绪、语言行为提高判断对话信号的句型的精确度。

基于上述句型分析的结果，步骤s3具体包括：

步骤s31，若对话信号的句型为陈述句，则按活动要素中的时间要素为顺序，将活动要素添加到用户时间线中。

步骤s32，若对话信号的句型为疑问句，则在用户时间线中检索与活动要素匹配的记录，根据检索到的记录进行对话回答。

在上述任一方法实施例的基础上，可以综合多轮对话中提取的活动要素，对用户时间线中的记录进行补全，使机器人更加的智能化。具体地，步骤s3中，按活动要素中的时间要素为顺序，将活动要素添加到用户时间线中，包括：在用户时间线中检索与活动要素匹配的记录；若检索到匹配的记录，则根据活动要素对匹配到的记录进行补全；若未检索到匹配的记录，则根据时间要素生成新增记录，按活动要素中的时间要素为顺序，将新增记录添加到用户时间线中。

在涉及到多轮对话的过程中，可能第一轮对话只获取到人物要素和事件要素，如用户：“我要去看电影”，在时间线中新增“用户-时间缺省-地点缺省-看电影”；在第二轮对话中，机器人：“去哪看电影？”，用户：“去西单看电影”，则提取地点要素“西单”、事件要素“看电影”，根据“看电影”这一关键词检索到第一条记录并进行补全得到“用户-时间缺省-西单-看电影”，第三轮对话，机器人：“什么时候去看电影？”，用户：“明天去看电影”，则根据时间表达式“明天”得到时间要素“2016年11月2日”(假设今天是2016年11月1日)、事件要素“看电影”，根据“看电影”这一关键词检索到第一条记录并进行补全得到“用户-2016年11月2日-西单-看电影”。

为了防止用户时间线中的记录发生冲突，本实施例提供的方法还包括：在用户时间线中检索与新增记录存在冲突的记录，若存在冲突，则向用户发出提醒。在进行冲突检索时，可以根据用户对话中的关键词或时间要素进行记忆检索。

这种冲突判定典型应用于用户的行程安排，例如用户一周之前就提过“下周三下午四点和老板开会”，时间线记忆为“2016年11月1日16:00-地点缺省-老板-和老板开会”，如果用户周二在对话中说“明天下午开会”，则按照用户所提的“明天下午”(2016年11月1日12:00–18:00)和“开会”关键词进行检索，现有的“开会”活动的时间在查询范围之内，表明没有冲突，则机器人回复：“对呀，下午四点和老板开会”；如用户说“明天要去看电影”，按照用户所提的“明天”(2016年11月1日)和“看电影”进行检索，现有的“开会”活动在2016年11月1日范围内，表明可能存在冲突，机器人回复“别忘了下午四点和老板开会”。通过记忆检索，给用户提供了冲突提醒，提供了更好的用户体验。

本实施例提供的方法，通过挖掘人机交互对话的自然语言信息，并将这些信息转化成可用于记忆认知的多元信号，根据多元信号将用户活动抽象为通用的活动要素，便于利用多元信号进行记忆的补全与检索，将用户活动记忆组织为时间线，有利于排序与构建索引实现快速的记忆检索，机器能够识别不同的对话句型，使人机对话更加符合人类自然的交互习惯。

基于与上述人机对话系统中基于时间线记忆的认知方法相同的发明构思，本实施例提供了一种人机对话系统中基于时间线记忆的认知装置，如图2所示包括：信号抽取模块，用于抽取对话信号中的多元信号；要素提取模块，用于根据多元信号得到活动要素；记忆添加模块，用于按活动要素中的时间要素为顺序，将活动要素添加到用户时间线中。

本实施例提供的人机对话系统中基于时间线记忆的认知现装置，实现了一种基于时间线自动提取记忆的方法，依赖于对话信号中的时间表达式、话题、语句类型、情绪、语言行为、语义角色标准、人称命名实体、地点命名实体、等，将用户表述的事件活动抽象为时间线，基于用户时间线构建对用户活动的记忆认知，使得机器人更加智能化和人性化。

优选地，本实施例提供的装置还包括句型分析模块，用于对对话信号进行句型分析；相应地，记忆添加模块具体用于：若对话信号的句型为陈述句，则按活动要素中的时间要素为顺序，将活动要素添加到用户时间线中；若对话信号的句型为疑问句，则在用户时间线中检索与活动要素匹配的记录，根据检索到的记录进行对话回答。

优选地，记忆添加模块中，按活动要素中的时间要素为顺序，将活动要素添加到用户时间线中，包括：在用户时间线中检索与活动要素匹配的记录；若检索到匹配的记录，则根据活动要素对匹配到的记录进行补全；若未检索到匹配的记录，则根据时间要素生成新增记录，按活动要素中的时间要素为顺序，将新增记录添加到用户时间线中。

优选地，还包括冲突检测模块，用于在用户时间线中检索与新增记录存在冲突的记录，若存在冲突，则向用户发出提醒。

本实施例提供的装置，通过挖掘人机交互对话的自然语言信息，并将这些信息转化成可用于记忆认知的多元信号，根据多元信号将用户活动抽象为通用的活动要素，便于利用多元信号进行记忆的补全与检索，将用户活动记忆组织为时间线，有利于排序与构建索引，实现快速的记忆检索，机器能够识别不同的对话句型，使人机对话更加符合人类自然的交互习惯。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围，其均应涵盖在本发明的权利要求和说明书的范围当中。