问答模型优化方法及装置、问答机器人系统与流程

本公开通常涉及计算机技术领域，更具体地，涉及用于优化问答机器人的问答模型的方法及装置以及具有该装置的问答机器人系统。

背景技术：

随着互联网技术的不断普及，用户越来越多地使用服务提供商所提供的互联网平台来向客服人员咨询比如服务质量、服务维护之类的问题。为了提高客服效果和节约人力成本，服务提供商通常使用比如客服机器人的问答机器人系统来与用户进行交流沟通并给予答复。例如，客服机器人首先使用具有标准问题/标准问题对和问题/答案对的知识数据库以及历史问题/答案实例来训练问答模型。接着，针对用户所输入的问法，使用所训练的问答模型来给出问题答案。客服机器人的客服效率直接影响服务提供商的客服系统的服务能力以及用户的客服体验。因此，如何提升客服机器人的客服效率对整个客服体系都十分重要。

在当前客服机器人中，知识数据库的数据庞大并且缺乏有效组织，维护更新人员对知识数据库的整体很难有清晰的了解，从而使得知识数据库维护和优化困难，以及知识数据库中经常会出现标准问题重复以及相似的标准问法与不同的标准问题对应的问题。

此外，在当前客服机器人中，由于在问答模型训练时缺少业务和语义信息，从而使得问答模型的更新无法反映业务变化的变化，难以适应现今业务变化越来越快的趋势，从而导致问答模型优化效率不佳。另外，由于在训练问答模型时不需要业务运营人员参与，从而不能有效将业务运营人员对业务和语义的理解应用于问答模型优化。

技术实现要素：

鉴于上述问题，本公开提供了一种问答模型优化方法及装置以及具有该装置的问答机器人系统。利用该问答模型优化方法及装置，通过利用所收集的样本数据中的坏样本数据以及知识数据库中的标问-问法知识和业务-语义知识来分析出坏样本原因分析；然后基于坏样本原因来使用知识数据库以及所收集的经过标注处理后的样本数据来优化问答模型，可以在问答模型优化时引入业务和语义信息，从而使得问答模型的优化能够跟上业务变化的变化，由此大大地提升问答模型优化效率。

根据本公开的一个方面，提供了一种用于问答机器人系统的问答模型优化的方法，包括：基于至少一个第二样本数据以及知识数据库进行坏样本原因分析，以确定坏样本原因，所述至少一个第二样本数据是经过标注处理后的至少一个第一样本数据中的被标注为坏样本的样本数据，所述知识数据库包括至少一个标问-问法知识数据库和至少一个业务-语义知识数据库；以及基于所确定出的坏样本原因，使用所述知识数据库和所述经过标注处理后的至少一个第一样本数据来对问答机器人系统的问答模型进行优化，其中，所述至少一个第一样本数据是所述问答装置基于所述问答模型产生的，每条第一样本数据至少包括问题数据以及对应的答案数据。

可选地，在上述方面的一个示例中，基于至少一个第二样本数据以及知识数据库进行坏样本原因分析，以确定坏样本原因包括：基于至少一个第二样本数据、与所述至少一个第二样本数据对应的中间处理结果以及知识数据库进行坏样本原因分析，以确定坏样本原因。

可选地，在上述方面的一个示例中，在进行坏样本原因分析之前，所述方法还可以包括：对所述至少一个第一样本数据进行标注处理，所述标注处理包括标注为好样本或坏样本。

可选地，在上述方面的一个示例中，所述坏样本原因包括知识数据库原因，基于所确定出的坏样本原因，使用所述知识数据库和所述经过标注处理后的至少一个第一样本数据来对问答机器人系统的问答模型进行优化包括：基于所述知识数据库原因来对所述知识数据库进行优化处理；以及使用所述经过优化处理的知识数据库以及所述经过标注处理后的至少一个第一样本数据来训练所述问答模型，以得到优化后的问答模型。

可选地，在上述方面的一个示例中，基于所述知识数据库原因来对所述知识数据库进行优化处理包括：使用知识管理平台来基于所述知识数据库原因对所述知识数据库进行优化处理。

可选地，在上述方面的一个示例中，所述坏样本原因还包括问答模型原因，所述问答模型原因包括问答模型算法规则原因和/或问答模型参数原因，在所述坏样本原因还包括所述问答模型算法规则原因时，使用所述知识数据库和所述经过标注处理后的至少一个第一样本数据来对问答机器人系统的问答模型进行优化还包括：基于所述问答模型算法规则原因来修改所述问答模型的算法规则，以得到经过算法规则修改后的问题模型，以及使用所述经过优化处理的知识数据库以及所述经过标注处理后的至少一个第一样本数据来训练所述问答模型，以得到优化后的问答模型包括：使用所述经过优化处理的知识数据库以及所述经过标注处理后的至少一个第一样本数据来训练经过算法规则修改后的问答模型，以得到优化后的问答模型。

可选地，在上述方面的一个示例中，所述知识数据库原因包括标问-问法知识原因、业务知识原因和/或语义知识原因。

可选地，在上述方面的一个示例中，所述坏样本原因仅包括问答模型原因，所述问答模型原因包括问答模型算法规则原因和/或问答模型模型参数原因，在所述坏样本原因包括问答模型算法规则原因或者包括问答模型算法规则原因和问答模型模型参数原因两者时，基于所确定出的坏样本原因，使用所述知识数据库和所述经过标注处理后的至少一个第一样本数据来对问答机器人系统的问答模型进行优化包括：基于所述问答模型算法规则原因来修改所述问答模型的算法规则，以得到经过算法规则修改后的问题模型；以及使用所述知识数据库以及所述经过标注处理后的至少一个第一样本数据来训练经过算法规则修改后的问答模型，以得到优化后的问答模型。

可选地，在上述方面的一个示例中，基于至少一个第二样本数据以及知识数据库进行坏样本原因分析，以确定坏样本原因包括：基于至少一个第二样本数据以及知识数据库进行坏样本原因分析，以确定坏样本原因和对应的优化建议，以及基于所确定出的坏样本原因，使用所述知识数据库和所述经过标注处理后的至少一个第一样本数据来对问答机器人系统的问答模型进行优化包括：按照所述确定出的坏样本原因所对应的优化建议，使用所述知识数据库和所述经过标注处理后的至少一个第一样本数据来对所述问答模型进行优化。

可选地，在上述方面的一个示例中，所述优化建议是经过人工复核后的优化建议。

可选地，在上述方面的一个示例中，所述第一样本数据还包括下述数据中的至少一项：用户访问场景、用户访问路径、用户访问时间、用户ID信息、用户会话ID信息以及用户聊天ID信息。

可选地，在上述方面的一个示例中，所述业务知识包括标问业务特征信息，以及所述语义知识包括标问要素的语义信息以及标问要素之间的语义关系信息。

可选地，在上述方面的一个示例中，所述知识数据库被设置在所述问答机器人系统中，或者设置在所述问答机器人系统之外。

可选地，在上述方面的一个示例中，所述至少一个业务-语义知识数据库被所述至少一个标问-问法数据库复用。

根据本公开的另一方面，提供一种用于问答机器人系统的问答模型优化的装置，包括：坏样本原因确定单元，被配置为基于至少一个第二样本数据以及知识数据库进行坏样本原因分析，以确定坏样本原因，所述至少一个第二样本数据是经过标注处理后的至少一个第一样本数据中的被标注为坏样本的样本数据，所述知识数据库包括至少一个标问-问法知识数据库和至少一个业务-语义知识数据库；以及模型优化单元，被配置为基于所确定出的坏样本原因，使用所述知识数据库和所述经过标注处理后的至少一个第一样本数据来对问答机器人系统的问答模型进行优化，其中，所述至少一个第一样本数据是所述问答装置基于所述问答模型产生的，每条第一样本数据至少包括问题数据以及对应的答案数据。

可选地，在上述方面的一个示例中，所述坏样本原因确定单元被配置为：基于至少一个第二样本数据、与所述至少一个第二样本数据对应的中间处理结果以及知识数据库进行坏样本原因分析，以确定坏样本原因。

可选地，在上述方面的一个示例中，所述装置还包括：样本数据标注单元，被配置为在进行坏样本原因分析之前，对所述至少一个第一样本数据进行标注处理，所述标注处理包括标注为好样本或坏样本。

可选地，在上述方面的一个示例中，所述坏样本原因包括知识数据库原因，所述模型优化单元包括：知识数据库优化模块，被配置为基于所述知识数据库原因来对所述知识数据库进行优化处理；以及模型优化模块，被配置为使用所述经过优化处理的知识数据库以及所述经过标注处理后的至少一个第一样本数据来训练所述问答模型，以得到优化后的问答模型。

可选地，在上述方面的一个示例中，所述坏样本原因还包括问答模型原因，所述问答模型原因包括问答模型算法规则原因和/或问答模型参数原因，在所述坏样本原因还包括所述问答模型算法规则原因时，所述模型优化单元还包括：算法规则修改模块，被配置为基于所述问答模型算法规则原因来修改所述问答模型的算法规则，以得到经过算法规则修改后的问题模型，以及所述模型优化模块被配置为：使用所述经过优化处理的知识数据库以及所述经过标注处理后的至少一个第一样本数据来训练经过算法规则修改后的问答模型，以得到优化后的问答模型。

可选地，在上述方面的一个示例中，所述坏样本原因仅包括问答模型原因，所述问答模型原因包括问答模型算法规则原因和/或问答模型模型参数原因，在所述坏样本原因包括问答模型算法规则原因或者包括问答模型算法规则原因和问答模型模型参数原因两者时，所述模型优化单元包括：算法规则修改模块，被配置为基于所述问答模型算法规则原因来修改所述问答模型的算法规则，以得到经过算法规则修改后的问题模型；以及模型优化模块，被配置为使用所述知识数据库以及所述经过标注处理后的至少一个第一样本数据来训练经过算法规则修改后的问答模型，以得到优化后的问答模型。

可选地，在上述方面的一个示例中，所述坏样本原因确定单元被配置为：基于至少一个第二样本数据以及知识数据库进行坏样本原因分析，以确定坏样本原因和对应的优化建议，以及所述模型优化单元被配置为：按照所述确定出的坏样本原因所对应的优化建议，使用所述知识数据库和所述经过标注处理后的至少一个第一样本数据来对所述问答模型进行优化。

根据本公开的另一方面，提供一种问答机器人系统，包括：问答装置，被配置为基于问答模型来提供所输入的问题的答案；以及如上所述的用于问答机器人系统的问答模型优化的装置。

可选地，在上述方面的一个示例中，所述问答机器人系统还包括：知识数据库，所述知识数据库包括至少一个标问-问法知识数据库和至少一个业务-语义知识数据库。

根据本公开的另一方面，提供一种计算设备，包括：至少一个处理器，以及与所述至少一个处理器耦合的存储器，所述存储器存储指令，当所述指令被所述至少一个处理器执行时，使得所述至少一个处理器执行如上所述的用于问答机器人系统的问答模型优化的方法。

根据本公开的另一方面，提供一种非暂时性机器可读存储介质，其存储有可执行指令，所述指令当被执行时使得所述机器执行如上所述的用于问答机器人系统的问答模型优化的方法。

附图说明

通过参照下面的附图，可以实现对于本公开内容的本质和优点的进一步理解。在附图中，类似组件或特征可以具有相同的附图标记。

图1示出了现有问答机器人的问答模型优化方案的示意图；

图2示出了根据本公开的实施例的问答机器人系统的结构的方框图；

图3示出了根据本公开的实施例的知识数据库的树状结构的示例示意图；

图4A示出了根据本公开的实施例的知识数据库的结构的一个示例的示意图；

图4B示出了根据本公开的实施例的知识数据库的结构的另一示例的示意图；

图5示出了根据本公开的实施例的问答模型优化装置的一个示例的方框图；

图6示出了图5中的模型优化单元的一个示例结构的方框图；

图7示出了根据本公开的实施例的坏用例原因及分析建议的示例示意图；

图8示出了根据本公开的实施例的问答模型优化方法的一个示例的流程图；

图9示出了根据本公开的用于问答模型优化的计算设备的方框图。

具体实施方式

现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，并非是对权利要求书中所阐述的保护范围、适用性或者示例的限制。可以在不脱离本公开内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。例如，所描述的方法可以按照与所描述的顺序不同的顺序来执行，以及各个步骤可以被添加、省略或者组合。另外，相对一些示例所描述的特征在其它例子中也可以进行组合。

如本文中使用的，术语“包括”及其变型表示开放的术语，含义是“包括但不限于”。术语“基于”表示“至少部分地基于”。术语“一个实施例”和“一实施例”表示“至少一个实施例”。术语“另一个实施例”表示“至少一个其他实施例”。术语“第一”、“第二”等可以指代不同的或相同的对象。下面可以包括其他的定义，无论是明确的还是隐含的。除非上下文中明确地指明，否则一个术语的定义在整个说明书中是一致的。

在本公开中，术语“问答机器人”是指利用知识数据库中的问题-答案对(QA pair)来回答用户问题的对话机器人，也称为QA机器人(QA bot)。所述问答机器人通常应用于企业的客服系统中，从而也可以称为客服机器人。术语“标准问题(在本公开中简称为标问)”是指问答机器人的知识数据库中所包含的问题-答案对中的问题。在接收到用户的问题后，问答机器人将用户提问与知识数据库中的标准问题进行匹配，如果找到匹配的标准问题，则将其对应的答案返回用户。

术语“标问问法(在本公开中简称为问法)”是指为了拓展标准问题理解的泛化能力，一个标准问题通常对应于多种字面不同的表达方式，该多种表达方式称为标问的问法。如果用户的问题和某一问法匹配，则该用户的问题与该问法所对应的标问匹配。在本公开中，标问和问法之间的对应关系可以是一对多。问法和标问之间的对应关系也可以是一一对应。在本公开中，术语“样本”是指用户提问并且问答机器人给出答案的一个实例。术语“坏样本”是指问答机器人系统所提供的答案不正确的样本。术语“好样本”是指问答机器人系统所提供的答案正确的样本。术语“样本数据”至少包括问题数据以及对应的答案数据。例如，所述样本数据可以是问答装置的日志数据。

图1示出了现有问答机器人的问答模型优化方案的示意图。

如图1所示，在用户向问答机器人的问答系统120提出问题110后，问答系统120基于问答模型给出问题答案130。这里，问题110和问题答案130构成一条样本数据。

为了使得问答机器人的问答模型所提供的问题答案更加准确，在现有技术中，提供了一种问答模型优化方案。在该问答模型优化方案中，收集指定时间段内问答系统120所产生的多条样本数据，并且将所收集的多条样本数据经过标注处理后使用来对问答机器人的问答模型进行优化。

具体地，针对所收集的多条样本数据，在标注平台140上进行标注处理，以得到标注数据150。在本公开中，所述标注处理是指将样本标注为坏样本或者好样本。例如，在一个示例中，可以将该多条样本数据显示在标注平台140上，供用户根据问题答案的好坏来评估该样本是好样本还是坏样本。在另一示例中，也可以由标注平台140根据预定评估规则来自行评估该样本是好样本还是坏样本，或者根据用户的反馈来评估该样本是好样本还是坏样本。

在经过标注平台140的标注处理后，使用标注数据150和标问-问法知识数据库170来在模型训练平台160上对问答模型进行训练，以得到训练后的问答模型。此外，为了确保训练后的问答模型的效果确实得到优化，在将该训练后的问答模型提供给回归测试平台180上进行回归测试。只有在回归测试平台180上的回归测试通过后，该训练后的问答模型才能作为优化后的问答模型提供给问答系统120使用。

然而，在该种问答模型优化方案中，由于在问答模型训练时缺少业务和语义信息，从而使得问答模型的更新无法反映业务变化的变化，难以适应现今业务变化越来越快的趋势，由此导致问答模型优化效率不佳。另外，由于在训练问答模型时不需要业务运营人员参与，从而不能有效将业务运营人员对业务和语义的理解应用于问答模型优化。

鉴于上述，本公开提供一种问答模型优化方法及装置。利用该问答模型优化方法及装置，通过在知识数据库中增加业务-语义知识数据库，并且利用所收集的样本数据中的坏样本数据以及知识数据库中的标问-问法知识和业务-语义知识来分析出坏样本原因分析；然后基于坏样本原因来使用知识数据库以及所收集的经过标注处理后的样本数据来优化问答模型，可以在问答模型优化时引入业务和语义信息，从而使得问答模型的优化能够跟上业务变化的变化，由此大大地提升问答模型优化效率。

图2示出了根据本公开的实施例的问答机器人系统200的结构的方框图。

如图2所示，问答机器人系统200包括问答装置210和问答模型优化装置220。

问答装置210被配置为基于问答模型来提供所输入的问题的答案。例如，在用户经由问答装置210的输入机制(例如，问答机器人系统200的屏幕上显示的问题输入框或者其他合适的输入单元)输入问题后，问答装置210基于问答机器人系统的问答模型来提供所输入的问题的答案。在本公开中，问答装置210可以采用本领域任何适合的方式来实现，例如，可以采用硬件、软件或者软件/硬件结合的方式实现，在此不再详细描述。

问答模型优化装置220被配置为利用包括至少一个标问-问法知识数据库231和至少一个业务-语义知识数据库232的知识数据库230，对问答装置210基于问答模型产生的至少一个第一样本数据中的被标注为坏样本的至少一个第二样本数据进行坏样本原因分析，并基于所确定出的坏样本原因，使用知识数据库230和经过标注处理后的至少一个第一样本数据来对问答模型进行优化，以得到优化后的问答模型。在得到优化后的问答模型后，问答模型优化装置220将该优化后的问答模型提供给问答装置210使用。关于问答模型优化装置220的结构和操作将在下面参照图3到图8进行详细描述。

在本公开中，知识数据库230包括至少一个标问-问法知识数据库231和至少一个业务-语义知识数据库232。标问-问法知识数据库231用于存储标问和问法之间的对应关系，并且每个标问-问法知识数据库231与一个业务相对应，即，不同的业务对应不同的标问/问法知识数据库231。

业务-语义知识数据库232用于存储与标问相关的业务知识和语义知识。所述业务知识包括标问业务特征信息，以及所述语义知识包括标问要素的语义信息以及标问要素之间的语义关系信息。这里，业务/语义知识数据库232所包含的知识主要是业务/运营人员对标准问题在业务方面和语义方面的理解和组织，比如，对于给定标准问题，业务-语义知识库232中的业务知识包括该标问所属业务、所属领域、所涉及的属性以及操作等业务特征。所述语义知识中包括的标问要素的语义信息例如可以包括标问要素的同义表达方式、标问提出时间、标问提出位置、标问提出人群、问句类型(why，how等)等语义方面的信息。所述标问要素之间的语义关系信息可以包括这些标问要素之间的关系，比如依赖关系、修饰关系、语义槽位等等。通过在知识数据库中增加业务知识和语义知识，可以为原来互相独立的标问增加了多维度的联系，使得原本独立或者具有层次结构的标问知识形成网状组织结构，同时还增加了问答机器人系统对标问的理解，有助于问答机器人系统的问答模型优化效果提升。此外，由于知识数据库中的这些要素之间的相互关联，也使得非任务型多轮对话成为可能，提升了问答模型算法的拓展创新空间。

在本公开的一个示例中，在知识数据库230中，至少一个标问-问法知识数据库231被组织为与至少一个业务/语义知识数据库232相关联，以形成树状结构。例如，可以通过使用知识管理平台来将至少一个标问-问法知识数据库231与至少一个业务-语义知识数据库232组织为树状结构。图3示出了根据本公开的实施例的经过优化处理后的知识数据库的树状结构的示例示意图。

在本公开的一个示例中，标问-问法知识数据库231可以与业务-语义知识数据库232一一对应，即，每个业务对应一个标问-问法知识数据库231和一个业务-语义知识数据库232，如图4A所示。在本公开的另一示例中，标问-问法知识数据库231可以与业务-语义知识数据库232之间可以存在多对一的对应关系，如图4B所示，由此，业务-语义知识数据库232可以在多个标问-问法知识数据库231之间共享，从而使得在组织知识数据库的树状结构时，可以被多个标问-问法知识数据库231复用。

在本公开中，知识数据库230可以设置在问答机器人系统200之内，也可以设置在问答机器人系统200之外。

图5示出了根据本公开的实施例的问答模型优化装置220的一个示例的方框图。

如图5所示，问答模型优化装置220包括样本数据标注单元221、坏样本原因确定单元223和模型优化单元225。

样本数据标注单元221与问答装置210相连，被配置为接收来自问答装置210的至少一个第一样本数据，并且在进行坏样本原因分析之前，对该至少一个第一样本数据进行标注处理，所述标注处理包括标注为好样本或坏样本。通过样本数据标注单元221的操作，可以得到至少一个第一样本数据中的被标注为坏样本的至少一个第二样本数据。这里，至少一个第一样本数据可以是在问答装置210在指定时间段内产生的样本数据。所述指定时间段可以是任何合适的时间段。在本公开中，第一/第二样本数据至少包括问题数据以及对应的答案数据。

坏样本原因确定单元223被配置为从样本数据标注单元221接收经过标注处理后的至少一个第一样本数据以及从知识数据库230接收标问-问法知识和业务-语义知识；然后基于所接收的至少一个第一样本数据中的至少一个第二样本数据以及知识数据库中的标问-问法知识和业务-语义知识进行坏样本原因分析，以确定坏样本原因。

在本公开中，所述坏样本原因可以包括知识数据库原因和/或问答模型原因。这里，所述知识数据库原因是指由于知识数据库中缺少标问-问法知识和/或业务-语义知识而导致问答模型的预测不准确的原因。例如，所述知识数据库原因可以包括标问-问法知识原因、业务知识原因和/或语义知识原因。所述问答模型原因是指由于问答模型自身不合适而导致问答模型的预测不准确的原因。在本公开中，所述问答模型原因可以包括问答模型算法规则原因和问答模型参数原因。所述问答模型算法规则原因是指由于问答模型算法规则不合适而导致问答模型的预测不准确的原因。例如，由于随着业务场景的变化，问答模型的输入变量的数目变多或变少，由此导致会发生由于问答模型的输入变量相较于实际变量过多或过少而导致问答模型的预测不准确。在本公开中，问答模型算法规则可以包括问答模型的输入变量、输出变量以及内部算法逻辑等。所述问答模型参数原因是指由于问答模型的参数值的取值不合适而导致问答模型的预测不准确的原因。

在如上确定出坏样本原因后，模型优化单元225基于所确定出的坏样本原因，使用知识数据库230和经过标注处理后的至少一个第一样本数据来对问答机器人系统的问答模型进行优化。

图6示出了图5中的模型优化单元225的一个示例结构的方框图。如图6所示，模型优化单元225包括知识数据库优化模块226、算法规则修改模块227和模型优化模块228。

在所述坏样本原因仅仅包括知识数据库原因时，知识数据库优化模块226基于知识数据库原因来对知识数据库进行优化处理，以得到优化后的知识数据库。在本公开中，知识数据库优化模块226可以利用知识管理平台来实现。相应地，使用知识管理平台来基于知识数据库原因对所述知识数据库进行优化处理。然后，模型优化模块228使用所述经过优化处理的知识数据库以及所述经过标注处理后的至少一个第一样本数据来训练问答模型，以得到优化后的问答模型。

在所述坏样本原因包括知识数据库原因和问答模型算法规则原因以及所述坏样本原因包括知识数据库原因、问答模型算法规则原因和问答模型参数原因时，知识数据库优化模块226基于知识数据库原因来对知识数据库进行优化处理，以得到优化后的知识数据库。算法规则修改模块227基于问答模型算法规则原因来修改所述问答模型的算法规则，以得到经过算法规则修改后的问题模型。然后，模型优化模块228使用所述经过优化处理的知识数据库以及所述经过标注处理后的至少一个第一样本数据来训练经过算法规则修改后的问答模型，以得到优化后的问答模型。

在所述坏样本原因仅包括问答模型参数原因时，模型优化模块228被配置为：使用所述知识数据库和所述经过标注处理后的至少一个第一样本数据来训练问答模型，以得到优化后的问答模型。

在所述坏样本原因仅包括问答模型算法规则原因或者仅包括问答模型算法规则原因和问答模型模型参数原因两者时，算法规则修改模块227基于所述问答模型算法规则原因来修改问答模型的算法规则，以得到经过算法规则修改后的问题模型。然后，模型优化模块228使用知识数据库以及所述经过标注处理后的至少一个第一样本数据来训练经过算法规则修改后的问答模型，以得到优化后的问答模型。

此外，可选地，在本公开的优选实施例中，坏样本原因确定单元223还可以被配置为从样本数据标注单元221接收经过标注处理后的至少一个第一样本数据，从问答装置210接收与至少一个第二样本数据对应的在问答机器人系统200的问答装置210处产生的中间处理结果，以及从知识数据库230接收标问-问法知识和业务-语义知识；然后基于所接收的至少第二样本数据、与至少一个第二样本数据对应的中间处理结果以及知识数据库中的标问-问法知识和业务-语义知识进行坏样本原因分析，以确定坏样本原因。

在本公开中，所述中间处理结果是指问答装置在为了提供问题答案而针对问题进行的除了提供最终问题答案的处理之外的各种处理的处理结果，比如，在本公开的一个示例中，所述中间处理结果可以包括针对问题的分词结果、要素提取结果、以及意图识别结果。在本公开的其它示例中，所述中间处理结果还可以包括其它合适的中间处理结果。

利用该中间处理结果，可以为坏样本原因分析提供更多有价值的信息，比如分词结果信息、语义要素信息、语义意图信息等等，从而有助于确定坏样本是由于知识数据库中的语义要素缺失或者业务知识点缺失等造成的预测不准确，还是由于算法规则原因而导致的预测不准确。

此外，可选地，在本公开的一个示例中，坏样本原因确定单元223还可以被配置为：基于至少一个第二样本数据以及知识数据库进行坏样本原因分析，以确定坏样本原因和对应的优化建议。图7示出了根据本公开的实施例的坏用例原因及分析建议的示例示意图。如图7所示，所述优化建议比如为“算法优化”、“词表优化”、“节点优化”、“仅业务”、“加标问”等。然后，模型优化单元225按照所述确定出的坏样本原因所对应的优化建议，对知识数据库进行优化和/或对问答模型的算法规则进行修改，并且使用所述知识数据库(或者，经过优化的知识数据库)和所述经过标注处理后的至少一个第一样本数据来对问答模型(或者，经过算法规则修改后的问答模型)进行优化。

此外，在本公开的其他示例中，第一/第二样本数据还可以包括用户访问场景、用户访问路径、用户访问时间、用户ID信息、用户会话ID信息以及用户聊天ID信息。在第一/第二样本数据还包括用户访问场景、用户访问路径、用户访问时间、用户ID信息、用户会话ID信息以及用户聊天ID信息的情况下，可以更容易地帮助进行坏样本原因分析。

这里要说明的是，图5中的问答模型优化装置220被示出为包括样本数据标注单元221，但是在本公开的其它示例中，样本数据标注单元221也可以不包括在问答模型优化装置220中。相应地，问答模型优化装置220从外部接收已经经过标注处理后的样本数据来进行问答模型优化处理。

图8示出了根据本公开的实施例的问答模型优化方法的一个示例的流程图。

如图8所示，首先，在块810，对问答机器人系统中的问答装置所产生的至少一个第一样本数据进行标注处理，所述标注处理包括标注为好样本或坏样本。块810的操作可以参考上面参照图5描述的样本数据标注单元221的操作。

接着，在块820，基于至少一个第一样本数据中的被标注为坏样本的至少一个第二样本数据以及知识数据库，确定坏样本原因。所述知识数据库包括至少一个标问-问法知识数据库和至少一个业务-语义知识数据库。此外，可选地，在本公开的另一示例中，块820处的操作也可以利用下述过程替换：基于所述至少一个第二样本数据、与所述至少一个第二样本数据对应的中间处理结果以及所述知识数据库进行坏样本原因分析，以确定坏样本原因。块820的操作可以参考上面参照图5描述的坏样本原因确定单元223的操作。

然后，在块830，基于所确定出的坏样本原因，使用所述知识数据库和所述经过标注处理后的至少一个第一样本数据来对问答机器人系统的问答模型进行优化。块830的操作可以参考上面参照图5的模型优化单元225的操作。

具体地，在所述坏样本原因仅仅包括知识数据库原因(图8中的条件1)时，在块831，基于知识数据库原因来对知识数据库进行优化处理，以得到优化后的知识数据库。例如，使用知识管理平台来基于知识数据库原因对所述知识数据库进行优化处理。然后，在块832，使用所述经过优化处理的知识数据库以及所述经过标注处理后的至少一个第一样本数据来训练问答模型，以得到优化后的问答模型。

在所述坏样本原因包括知识数据库原因和问答模型算法规则原因以及所述坏样本原因包括知识数据库原因、问答模型算法规则原因和问答模型参数原因(图8中的条件2)时，在块833，基于知识数据库原因来对知识数据库进行优化处理，以得到优化后的知识数据库。在块834，基于问答模型算法规则原因来修改所述问答模型的算法规则，以得到经过算法规则修改后的问题模型。然后，在块835，使用所述经过优化处理的知识数据库以及所述经过标注处理后的至少一个第一样本数据来训练经过算法规则修改后的问答模型，以得到优化后的问答模型。

在所述坏样本原因仅包括问答模型算法规则原因或者仅包括问答模型算法规则原因和问答模型模型参数原因两者(图8中的条件3)时，在块836，基于所述问答模型算法规则原因来修改问答模型的算法规则，以得到经过算法规则修改后的问题模型。然后，在块837，使用知识数据库以及所述经过标注处理后的至少一个第一样本数据来训练经过算法规则修改后的问答模型，以得到优化后的问答模型。

在所述坏样本原因仅包括问答模型参数原因(图8中的条件4)时，在块838，使用知识数据库以及所述经过标注处理后的至少一个第一样本数据来训练问答模型，以得到优化后的问答模型。

此外，要说明的是，图8中示出的仅仅是根据本公开的实施例的问答模型优化方法的一个实现示例。在本公开的其它实现示例中，可以包括更多或者更少的步骤。例如，可以省略图8中的块810的操作。

此外，可选地，基于至少一个第二样本数据以及知识数据库进行坏样本原因分析，以确定坏样本原因可以包括：基于至少一个第二样本数据以及知识数据库进行坏样本原因分析，以确定坏样本原因和对应的优化建议。相应地，基于所确定出的坏样本原因，使用所述知识数据库和所述经过标注处理后的至少一个第一样本数据来对问答机器人系统的问答模型进行优化可以包括：按照所述确定出的坏样本原因所对应的优化建议，使用所述知识数据库和所述经过标注处理后的至少一个第一样本数据来对所述问答模型进行优化。

另外，在本公开的一个示例中，在基于优化建议进行模型优化之前，需要对所述优化建议进行人工复核。只有经过人工复核通过后，才利用所确定出的优化建议来进行问答模型优化。

利用本公开的问答模型优化方法及装置，通过在知识数据库中增加业务-语义知识数据库，并且利用所收集的样本数据中的坏样本数据以及知识数据库中的标问-问法知识和业务/语义知识来分析出坏样本原因分析；然后基于坏样本原因来使用知识数据库以及所收集的所有样本数据来优化问答模型，可以在问答模型优化时引入业务和语义信息，从而使得问答模型的优化能够跟上业务变化的变化，由此大大地提升问答模型优化效率。

利用本公开的问答模型优化方法及装置，通过基于所接收的至少第二样本数据、与至少一个第二样本数据对应的中间处理结果以及知识数据库中的标问-问法知识和业务-语义知识进行坏样本原因分析，可以为坏样本原因分析提供更多有价值的信息，比如分词结果信息、语义要素信息、语义意图信息等等，从而有助于确定坏样本是由于知识数据库中的语义要素缺失或者业务知识点缺失等造成的预测不准确，还是由于算法规则原因而导致的预测不准确。

利用本公开的问答模型优化方法及装置，通过提供包括用户访问场景、用户访问路径、用户访问时间、用户ID信息、用户会话ID信息以及用户聊天ID信息的样本数据，使得坏样本原因分析更加容易。

利用本公开的问答模型优化方法及装置，通过提供优化建议并经过人工复核，从而可以将业务/运营人员针对业务的业务及语义理解引入问答模型优化中，从而提升了问答模型优化效率。

如上参照图1到图8，对根据本公开的问答模型优化方法及装置、问答机器人系统的实施例进行了描述。上面的问答模型优化装置和问答机器人系统可以采用硬件实现，也可以采用软件或者硬件和软件的组合来实现。

图9示出了根据本公开的实施例的用于实现经由多个训练参与方来协同训练线性/逻辑回归模型的计算设备900的硬件结构图。如图9所示，计算设备900可以包括至少一个处理器910、存储器920、内存930和通信接口940，并且至少一个处理器910、存储器920、内存930和通信接口940经由总线960连接在一起。至少一个处理器910执行在存储器中存储或编码的至少一个计算机可读指令(即，上述以软件形式实现的元素)。

在一个实施例中，在存储器中存储计算机可执行指令，其当执行时使得至少一个处理器910：基于经过标注处理后的至少一个第一样本数据中的被标注为坏样本的至少一个第二样本数据以及知识数据库进行坏样本原因分析，以确定坏样本原因，所述知识数据库包括至少一个标问-问法知识数据库和至少一个业务-语义知识数据库；以及基于所确定出的坏样本原因，使用所述知识数据库和所述经过标注处理后的至少一个第一样本数据来对问答机器人系统的问答模型进行优化，其中，所述至少一个第一样本数据是所述问答装置基于所述问答模型产生的，每条第一样本数据至少包括问题数据以及对应的答案数据。

应该理解，在存储器中存储的计算机可执行指令当执行时使得至少一个处理器910进行本公开的各个实施例中以上结合图2-8描述的各种操作和功能。

根据一个实施例，提供了一种比如非暂时性机器可读介质的程序产品。非暂时性机器可读介质可以具有指令(即，上述以软件形式实现的元素)，该指令当被机器执行时，使得机器执行本公开的各个实施例中以上结合图2-8描述的各种操作和功能。具体地，可以提供配有可读存储介质的系统或者装置，在该可读存储介质上存储着实现上述实施例中任一实施例的功能的软件程序代码，且使该系统或者装置的计算机或处理器读出并执行存储在该可读存储介质中的指令。

在这种情况下，从可读介质读取的程序代码本身可实现上述实施例中任何一项实施例的功能，因此机器可读代码和存储机器可读代码的可读存储介质构成了本发明的一部分。

可读存储介质的实施例包括软盘、硬盘、磁光盘、光盘(如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM、DVD-RW、DVD-RW)、磁带、非易失性存储卡和ROM。可选择地，可以由通信网络从服务器计算机上或云上下载程序代码。

本领域技术人员应当理解，上面公开的各个实施例可以在不偏离发明实质的情况下做出各种变形和修改。因此，本发明的保护范围应当由所附的权利要求书来限定。

需要说明的是，上述各流程和各系统结构图中不是所有的步骤和单元都是必须的，可以根据实际的需要忽略某些步骤或单元。各步骤的执行顺序不是固定的，可以根据需要进行确定。上述各实施例中描述的装置结构可以是物理结构，也可以是逻辑结构，即，有些单元可能由同一物理实体实现，或者，有些单元可能分由多个物理实体实现，或者，可以由多个独立设备中的某些部件共同实现。

以上各实施例中，硬件单元或模块可以通过机械方式或电气方式实现。例如，一个硬件单元、模块或处理器可以包括永久性专用的电路或逻辑(如专门的处理器，FPGA或ASIC)来完成相应操作。硬件单元或处理器还可以包括可编程逻辑或电路(如通用处理器或其它可编程处理器)，可以由软件进行临时的设置以完成相应操作。具体的实现方式(机械方式、或专用的永久性电路、或者临时设置的电路)可以基于成本和时间上的考虑来确定。

上面结合附图阐述的具体实施方式描述了示例性实施例，但并不表示可以实现的或者落入权利要求书的保护范围的所有实施例。在整个本说明书中使用的术语“示例性”意味着“用作示例、实例或例示”，并不意味着比其它实施例“优选”或“具有优势”。出于提供对所描述技术的理解的目的，具体实施方式包括具体细节。然而，可以在没有这些具体细节的情况下实施这些技术。在一些实例中，为了避免对所描述的实施例的概念造成难以理解，公知的结构和装置以框图形式示出。

本公开内容的上述描述被提供来使得本领域任何普通技术人员能够实现或者使用本公开内容。对于本领域普通技术人员来说，对本公开内容进行的各种修改是显而易见的，并且，也可以在不脱离本公开内容的保护范围的情况下，将本文所定义的一般性原理应用于其它变型。因此，本公开内容并不限于本文所描述的示例和设计，而是与符合本文公开的原理和新颖性特征的最广范围相一致。