可解释人工智能的制作方法

本申请要求于2018年2月5日提交的美国临时申请号62/626,460的优先权，其公开内容通过引用整体并入本文。

背景技术：

人工智能(还被称为ai)的核心是使用机器学习技术，以允许机器模拟人类行为的某些核心方面。换言之，ai允许机器表现为能够在很少或没有人为干预的情况下感知、学习、做出决策、以及采取行动的自主系统。

基于ai的系统在用于增强人类智能时的有效性通常根据系统向用户解释决策和行动的能力来衡量。虽然在某些情况下用户可以同意某个行动或决策或者完全放弃对于来自机器的解释的需求，但是在大多数情况下，如果机器能够解释用于达成该推荐的逻辑步骤和推理(reasoning)，则用户可以仅欣赏或者甚至接受由机器给出的推荐。例如，用户可以不知道netflix推荐某些电影的原因；但是，用户仍然可以接受推荐。但是，如果机器推荐用户经受侵入性医疗，则由于情况的严重性，用户可能希望能够看到用于推荐的推理和智力(intellect)。

例如，在财务和会计场景中，对于日记账分录的账户代码表的推荐，必须进行解释和推理。在另一示例中，在采购中，推理和解释是必要的，例如，以解释供应商的选择或最终出价。在又一示例中，在基于政策的内容审核中，对于被拒绝的政策外的广告或社交媒体发布，需要解释和推理。作为另一备选示例，在医疗保健中，对于被拒绝的索赔的解释是强制性的，作为福利解释的一部分。

传统上，存在用于可解释ai的各种技术，可解释ai是用于ai的术语，其能够针对由其做出的决策提供解释。例如，一种技术可以将数字媒体和社交媒体内容连接到所公认的真相源。因此，该技术基于内容是否与真实源相关联来提供关于媒体内容的真实性的解释。另一种技术试图基于与图像相关联的描述和类定义来对图像进行分类，并且通过描绘描述和类定义之间的连接来解释分类。又一种技术使用图像分解来标识图像中的各种元素。经分解的图像的不同元素用于解释图像和图像的最终分析。

然而，在可解释ai系统中使用的大多数上述机器学习技术使用从输入数据中提取的特征向量(其可以是时间序列、文本、图像、视频)并且产生输出标签，而没有明确记录关于标签的产生方式和原因的解释。基于前向或后向链接(chaining)的其他机器推理技术可能无法提供推理过程的完整溯源。这些技术中的很多技术不提供答案的置信度，并且很少将与业务环境相关联的风险值考虑到对解释的考虑中。在很多情况下，单独的准确性或置信度不足以确定是否需要人为干预，因为做出正确或错误决策的值(或风险)变化很大。此外，由现有的可解释ai系统提供的验证粒度可能不足以使得用户审核推荐并且确保可以信任决策做出(decision-making)。此外，在存在错误决策做出的情况下，用户无法准确地查明或标识出针对这种决策做出的原因。

这提出了可解释ai系统的技术问题，因为它们在提供对它们提供的解决方案的分析方面可能是低效的。因此，现有系统可以利用计算和手动资源，这仍然可能导致不充分和无效的结果。本公开涉及可解释ai工具，其以技术方式解决了上述技术问题。

技术实现要素：

根据一个方面，提供了一种人工智能ai系统，其包括知识模型构造器和执行器。知识模型构造器用于生成知识模型，知识模型包括多个本体和多个推论规则，多个推论规则用于生成针对由ai系统做出的决策的解释，知识模型构造器包括：本体创建器，用于基于从知识模型构造器的真实世界交互获取的数据来创建多个本体，所获取的数据是真实世界数据，真实世界数据包括结构化数据、非结构化数据和半结构化数据；以及规则构造器，用于基于本体和从真实世界交互获取的真实世界数据来构造多个推论规则。执行器用于在面对真实世界问题时做出决策，执行器包括：知识模型检测器，用于基于真实世界问题来选择要用于解决真实世界问题的知识模型；以及解释器，用于执行决策做出过程并且生成针对所做出的决策的解释，解释器包括：分类器和簇生成器，用于将从真实世界问题获取的数据分类和聚类到所确定的知识模型的本体中；规则标识器，用于标识要用于解构真实世界问题的推论规则；以及推论器和假设生成器，用于提供基于机器学习的推理，以提供针对真实世界问题的假设和伴随假设的解释，其中推论器和假设生成器捕获置信度参数，置信度参数指示针对所做出的决策的解释的强度。

根据一个实施例，解释器使用机器学习技术来生成决策和解释的视觉表示。

根据一个实施例，规则标识器解析真实世界问题，以组织所述真实世界问题中的逻辑语句。

根据一个实施例，规则标识器提供真实世界问题的解构的人类可读形式，以预览推理线。

根据一个实施例，所标识的推论规则是使用前向链接过程和后向链接过程中的一者而被触发的。

根据另一方面，提供了一种ai系统，其包括知识模型构造器和执行器。知识模型构造器用于生成知识模型，知识模型包括多个本体和多个推论规则，多个推论规则用于生成针对由ai系统做出的决策的解释，知识模型构造器包括：本体创建器，用于基于从知识模型构造器的真实世界交互获取的数据来创建多个本体，所获取的数据是真实世界数据，真实世界数据包括结构化数据、非结构化数据和半结构化数据，其中本体创建器利用归纳推理技术用于创建本体；以及规则构造器，用于基于本体和从真实世界交互获取的真实世界数据来构造多个推论规则，其中规则构造器利用演绎推理技术用于创建多个推论规则。执行器用于在面对真实世界问题时做出决策，执行器包括：知识模型检测器，用于基于真实世界问题来选择要用于解决真实世界问题的知识模型；以及解释器，用于执行决策做出过程并且生成针对所做出的决策的解释，解释器包括：分类器和簇生成器，用于将从真实世界问题获取的数据分类和聚类到所确定的知识模型的本体中，其中分类器和簇生成器使用归纳推理技术用于对数据进行分类和聚类；规则标识器，用于标识要用于解构真实世界问题的推论规则，其中规则标识器利用演绎推理技术用于解构真实世界问题；以及推论器和假设生成器，用于提供机器生成的推理，以提供针对问题的假设和伴随假设的解释，其中推论器和假设生成器利用溯因推理技术用于提供假设和解释。

根据一个实施例，规则构造器将解释的强度构建到推论规则中。

根据一个实施例，推论器和假设生成器确定置信度参数，置信度参数指示强度，置信度参数与决策和关联的解释相关联。

根据一个实施例，规则标识器解析真实世界问题，以组织真实世界问题中的逻辑语句。

根据一个实施例，规则标识器提供真实世界问题的解构的人类可读形式，以预览推理线。

根据一个实施例，所标识的推论规则是使用前向链接过程和后向链接过程中的一者而被触发的。

根据一个实施例，归纳推理技术包括监督聚类技术和无监督聚类技术中的一者。

根据一个实施例，溯因推理技术包括基于证据的推理技术。

根据又一方面，提供了一种包括机器可读指令的非暂态计算机可读介质，机器可读指令由处理器可执行以：生成知识模型，知识模型包括多个本体和多个推论规则，多个推论规则用于生成针对由ai系统做出的决策的解释，其中生成本体包括：通过使用归纳推理技术用于创建本体，而基于从真实世界交互获取的数据来创建多个本体；以及通过使用演绎推理技术用于创建多个推论规则，而基于本体和从真实世界交互获取的数据来创建多个推论规则；基于真实世界问题，确定要用于解决真实世界问题的知识模型；通过使用归纳推理技术用于对数据进行分类和聚类，而将从真实世界问题中获取的数据分类和聚类到所确定的知识模型的本体中；通过使用演绎推理技术用于解构真实世界问题，而标识要用于解构真实世界问题的推论规则；以及通过使用溯因推理技术用于提供假设和解释，而提供基于机器学习的推理，以提供针对问题的假设和伴随假设的解释。

根据一个实施例，为了提供基于机器学习的推理，处理器使用机器学习技术来生成决策和解释的视觉表示。

根据一个实施例，为了标识推论规则，处理器解析真实世界问题，以组织真实世界问题中的逻辑语句。

根据一个实施例，为了标识推论规则，处理器提供真实世界问题的解构的人类可读形式，以预览推理线。

根据一个实施例，所标识的推论规则是使用前向链接过程和后向链接过程中的一者而被触发的。

根据一个实施例，归纳推理技术包括监督聚类技术和无监督聚类技术中的一者。

根据一个实施例，溯因推理技术包括基于证据的推理技术。

附图说明

通过在以下附图中示出的示例来说明本公开的特征。在下面的附图中，相同的数字指示相同的元素，其中：

图1图示了根据本公开的一个示例实施例的在网络环境内的系统实施方式；

图2图示了根据本公开的一个示例实施例的系统的框图；

图3a至图3c图示了根据本公开的一个示例实施例的结构知识模型的一个示例；

图4图示了根据本公开的一个示例实施例的作为决策做出和解释的一部分来负责数据元素的无监督分类的部件的示意图；

图5图示了根据本公开的一个示例实施例的作为决策做出和解释的一部分的数据元素的无监督分类的过程；

图6描述了根据本公开的一个示例实施例的作为演绎推理的一部分的后向链接过程的一个示例；

图7图示了根据本公开的一个示例实施例的用于遍历知识图的推理的溯源的过程；

图8a、图8b和图8c图示了根据本公开的一个示例实施例的由系统执行的推理和解释的各种示例；

图9图示了根据本公开的一个示例实施例的用于实现系统的硬件平台；以及

图10图示了根据本公开的一个示例实施例的解释推理或决策的方法。

具体实施方式

出于简化和说明的目的，通过主要参考其示例来描述本公开。在本文中所描述的本公开的实施例可以以不同的组合一起使用。在以下描述中，阐述细节以便提供对本公开的理解。然而，很清楚的是，可以实践本公开而不限于所有这些细节。而且，在整个本公开中，术语“一”和“一个”旨在表示至少一个特定元素。如本文中使用的，术语“包括”表示包括但不限于，术语“包括有”表示包括有但不限于。术语“基于”表示至少部分基于，术语“在……基础上”表示至少部分在……基础上，并且术语“诸如”表示诸如但不限于。

本公开描述了用于人工智能(ai)工具的系统和方法，其能够从由人工智能工具处理的数据中导出逻辑推理并且使用该逻辑推理来设计解释以呈现给用户。因此，为了作为起点进行操作，本公开的技术涉及数据驱动的本体和推论(inferencing)规则构造。这样构造的推论规则被用于开发推理过程，并且还用于开发“置信度”或“信任度”的框架以指示推理过程的强度。一致地，这用于开发可解释ai技术，以提供一种有效的方式来在相当精细的级别说明ai系统的后端推理过程，这允许用户做出知情的决策或接受代表其而做出的决策。此外，可解释ai技术还提供了框架以使用户能够标识在推理中的可能的错误或缺陷、在发生错误的过程中的确切步骤，并且提出解决方案以解决这些错误。

作为第一步，创建本体并且将其与数据相关联。为了实现这一点，经常解析大量数据并且对其进行组织(curate)，以形成本体并且将数据与本体链接。具体地，无监督学习(例如，k均值聚类)可以用于对从整个数据中提取的特征向量进行聚类，整个数据可以是结构化或非结构化数据的形式。在新数据变得可用时，通过ai系统与真实世界的交互，在初始创建之后，逐步且不断地细化本体。另外，经组织的数据还用于提取关系和推论规则，其形成用于可解释ai的知识模型的基础，即，ai系统最终向用户提供的解释的基础。

例如，组织不同类型的电子邮件和数据的本体，对其进行聚类，并且将其映射到各种本体。无监督学习技术被用于聚类以确定四个簇(cluster)；但是，当数据被组织和解析时，可以建立六个本体标签。然后，ai系统将四个簇映射到六个本体标签。通过与真实世界的交互来对本体和簇进行迭代细化有助于ai系统进行这种映射。例如，ai系统可以使用主成分分析来建立簇的层次结构。然后，ai系统递归地处理数据空间，以尝试建立本体并且使用与数据相关联的注释，并且然后将数据映射到分层簇。

如前所述，经组织的数据还被用于提取推论规则和关系。此外，所提取的推论规则和关系使用前向或后向链接来触发。通过前向或后向链接的在推论引擎内的推论规则的激活序列被称为推理的溯源。因此，如上所述，本公开的ai系统使用机器学习方法和推论规则(或谓词(predicate))的组合来表示知识模型。

作为推理过程的一部分，推论规则的提取可以作为前向和/或后向链接过程的结果来被触发。前向链接可以表示ai系统从假设或事实开始，并且然后基于该假设或事实而达成结果。向后链接可以表示ai系统从假设结果开始，并且在结果与现有事实之间建立关联。在这两种情况下，ai系统都试图证明为达成决策而采取的推理的路径，并且将该路径呈现给用户。也就是说，ai系统使用各种模式来向用户提供解释，并且在特定实例中使用的模式可以基于很多因素，诸如已经寻求ai系统的帮助的目的和行业。该方法既可以应用于确定性推理框架，还可以应用于概率性推理框架。

一旦以上述方式开发和设置了ai系统，ai系统就可以用于执行诸如将新鲜的真实世界数据分类到结果中的任务以及提供解释。在一个示例中，有助于提供解释的无监督聚类提供了特征向量的自下而上的结构，并且提供了自上而下的本体结构与自下而上的聚类结构之间的对准，以完全使得ai系统能够解释分类。

在产生分类结果时，解释的强度还被捕获为“置信度”或“信任度”。在一个示例中，基于一个标签在特征向量空间中距离另一标签的边界有多远来评估置信度和信任度。此外，置信度由决策的“风险值”加权，因此较高的风险值将需要较高的置信度。

例如，假设分类应当标识在新会计规则下要考虑的范围内的合同。每份合同的价值可以大体从数千美元变化到数亿美元，因此，这些高价值合同的分类将自然需要更高的置信度。

置信度参数的存在以及分类可以使得用户能够正确地理解分类结果和解释。本公开的技术允许开发制定(formulate)分类方法的ai系统，该分类方法使用谓词结构或推论规则用于逻辑和推理，从而使得ai系统能够达成结论并且向用户解释该结论。此外，人工智能系统涉及机器学习技术的汇合以实现分类，从而允许识别类似的推理模式并且调用类似的解释器来解释该决策。这有效地允许重复使用先前生成的解释，只要输入类似于先前的情况。

此外，本公开设想使用基于机器学习的方法以视觉表示的形式来开发知识表示。基于机器学习的方法提供了示例和反例，并且该方法可以用作例如使用模糊、逻辑、空间、时间和时空操作符来构造更复杂的知识模型的基本构建块。因此，本公开的技术可以有效地解释空间现象(诸如油气藏的深度)或时空图案(诸如电晕质量喷射(cme))。

图1图示了根据本公开的一个示例实施例的实现人工智能(ai)系统105(下文中被称为系统105)的网络环境100。在一个示例实施例中，出于创建框架以提供对于由系统105所做出的决策的解释的目的，系统105使用人工智能(ai)技术，诸如机器学习、数据挖掘和知识发现。系统105与输入/输出(i/o)系统110和真实世界实体115通信，并且利用人工智能工具，该人工智能工具能够根据从i/o系统110和真实世界实体115(在下文中可互换地被称为真实世界115)收集的数据来导出逻辑推理。这样推导出的逻辑推理被用于设计解释。系统105能够生成数据驱动的本体，以用于解析大量的真实世界数据并且筛选该数据以对该数据进行聚类。作为创建解释框架的一部分，系统105还执行推论规则构造。这样构造的推论规则被用于开发推理过程，并且还用于开发“置信度”或“信任度”的框架以指示推理过程的强度。鉴于此，i/o系统110被启用并且启发以便接受由系统105做出的决策或向系统105提出更好的解决方案。因为系统105是基于机器学习的系统，所以系统105反复学习这些交互，以便向用户提供更好的解释和更好的决策。

在一个示例中，网络环境100可以是公共网络环境，包括多个个人计算机、膝上型计算机、各种服务器(诸如刀片式服务器)、以及其他计算设备和资源。在另一示例中，网络环境100可以是具有有限数目的计算设备(诸如个人计算机、服务器和膝上型计算机)的私人网络环境。此外，系统105在各种计算系统(诸如膝上型计算机、台式计算机、量子计算机、平板计算机等)中实现。

根据一个示例实施例，系统105直接与真实世界实体115通信以获得数据，还被称为真实世界数据。所收集的数据可以是结构化数据、非结构化数据和半结构化数据的形式。非结构化数据可以包括例如文本、语音、图像、视频、地震数据、社交媒体内容和其他形式的数字媒体。例如，半结构化数据可以包括来自可扩展商业报告语言(xbrl)文件的数据、可扩展标记语言(xml)格式的文件和数据、以及来自资源描述框架(rdf)文件的数据。

根据本公开的一个方面，系统105可以从网络环境100中与系统105相关联的真实世界实体115收集真实世界数据。例如，真实世界实体115可以包括传感器、计算设备等。传感器例如可以是iot设备，并且可以包括图像捕获设备、音频传感器、文本分析器、车载诊断(obd2)传感器等。

在一个示例实施例中，系统105可以通过网络120连接到i/o系统110和真实世界实体115。网络120可以是单独的网络，或者是彼此互连并且用作单个大型网络(例如，因特网或内联网)的很多这样的单独网络的集合。网络120可以被实现为不同类型的网络之一，诸如内联网、局域网(lan)、广域网(wan)、因特网等。随着功能和技术的发展或开发，图1中所示的基础设施可以同时更换和升级，这将确保超越任何现有的和潜在的“瓶颈”或“边缘”。

根据本公开，系统105可以提供使用知识模型创建的可解释ai技术，该知识模型包含各种本体，这些本体与系统105将要用于的应用直接相关，并且该知识模型还包含各种推论规则。在一个示例中，系统105可以通过数据簇提供解释，该数据簇被映射到本体，并且然后该数据簇被用于由系统105进行决策做出以及提供针对所做出的决策的推理。在另一示例中，系统105可以使用推论规则来进行决策做出，并且然后解释规则以用于提供解释。在又一示例中，系统105可以使用数据簇到本体的映射以及推论规则来进行决策做出，并且然后提供针对决策的推理和解释。因此，对于相同的问题和相同的知识模型，系统105可以能够提供不同的推理过程。例如，基于知识模型，系统105可以触发进行解释的方式，可以有效地选择推理的模态，并且然后可以将本体映射到数据簇并且使用推论规则来进行决策做出和推理。

在操作中，系统105使用真实世界数据以用于使用聚类技术来创建本体，并且还使用各种推理技术从数据中提取推论规则和谓词。因此，系统105创建可以用于筛选来自真实世界的更多数据的知识模型。在该方面，知识模型被执行以便从数据中得出某些结论和推论并且向用户110提供解释。此外，系统105还同化数据并且理解数据，以便递归地改进自身。结合图2进一步详细描述系统105的各种部件的功能。

图2图示了根据本公开的一个示例实施例的系统105的框图。除了其他之外，系统105还包括知识模型构造器205和执行器210。知识模型构造器205包括但不限于数据收集器215、本体创建器220、规则构造器225，它们与彼此进行通信并且共同负责收集来自各种真实世界源的数据并且利用数据构建本体。执行器210包括但不限于与彼此进行通信的知识模型检测器230和解释器235。解释器235还包括分类器和簇生成器240、规则标识器245以及推论和假设生成器250。

如上所述，系统105能够基于其处理的数据来导出决策。数据收集器215可以与真实世界通信，并且获取大量数据，以用于本体创建器220处理和生成一个或多个本体并且用于规则构造器225创建有效的推论规则、谓词和类似构造。本体以及推论规则和谓词被用于生成知识模型，该知识模型稍后可以被用于解决真实世界问题并且作为可解释ai的一部分来向用户110提供适当的解释。

数据收集器215可以从各种源获取数据，该各种源包括结构化数据源、非结构化数据源和半结构化数据源。非结构化数据源可以包括例如社交媒体和其他数字媒体源。非结构化数据可以包括例如文本、语音、图像、视频、地震数据和其他形式的数字媒体。半结构化数据源可以包括例如可扩展商业报告语言(xbrl)数据库、可扩展标记语言(xml)格式的数据库和资源描述框架(rdf)数据库。

反过来，本体创建器220使用由数据收集器215获取的数据来创建本体并且将数据与本体相关联。为此目的，本体创建器220解析大量数据并且组织该数据。例如，本体创建器220可以使用诸如演绎学习技术的各种类型的学习技术，用于组织数据和对数据进行聚类。在一个示例中，本体创建器220可以使用包括k均值聚类在内的无监督学习来对从整个数据中提取的特征向量进行聚类。在另一种情况下，本体创建器220可以使用涉及监督分类的技术用于整个数据块的聚类和组织。然后，经聚类的数据被用于创建本体，并且数据被映射回到本体。

例如，考虑不同类型的电子邮件的本体。本体创建器220可以执行任务，诸如筛选所有数据、混淆数据、以及将数据映射到各种本体。本体创建器220可以应用诸如无监督学习的演绎推理技术来对数据进行聚类。在一个示例实施例中，本体创建器220通过处理数据来组织四个簇；然而，本体创建器220在解析数据时建立六个本体标签。然后，本体创建器220将四个簇适当地映射到六个本体标签。

在一个示例中，映射可以简单地通过比较向数据分配的本体和数据被映射到的特定簇来完成。例如，特征向量x可以对应于簇#3和本体标签d。然后，系统105可以建立对簇#3与本体标签d之间的等价的初始假设。附加特征向量可以为簇#3与本体标签d之间的映射以及簇#3与本体标签e之间的附加映射提供附加支持。这可以得出结论：簇#3等同于本体标签d和本体标签e。

另外，例如，本体创建器220可以使用主成分分析由数据建立簇的层次结构。然后，本体创建器220可以使用与数据相关联的注释并且将本体映射到先前建立的分层簇，来递归地处理数据。

规则构造器225使用经组织的数据，用于提取关系和推论规则。这些关系和推论规则构成了系统105将其作为可解释ai的一部分来使用的知识模型的基础，即，系统105最终向用户110提供的、针对由系统105做出的决策的解释的基础。规则构造器225可以利用所提取的推论规则和关系(被称为推理的溯源)，用于使用推论规则(或谓词)来制定机器学习方法，以表示知识模型。

规则构造器225可以采用用于提取推论规则的各种推理/学习技术，诸如演绎推理技术。例如，在一种情况下，规则构造器225可以通过前向链接过程来触发推论规则和谓词的提取；而在另一示例中，作为推理过程的一部分，它可以作为后向链接过程的结果来被触发。在第一种情况下，作为前向链接技术的一部分，规则构造器225可以将推论规则配置为从假设或事实开始并且然后基于该假设或事实来达成结果。另一方面，作为后向链接的一部分，规则构造器225可以设计推论规则，该推论规则使得系统105从假设结果开始并且建立结果与现有事实之间的关联。在这两种情况下，规则构造器225设计用于系统105的机构，以试图证明由系统105为了达成决策而采用的推理路径，并且规则构造器225将该路径呈现给用户110。该方法可以被应用于确定性推理框架以及概率性推理框架。

此外，规则构造器225可以被配置为将解释的强度构建到推论规则中。在产生分类结果时，由系统105提供的解释强度被捕获为“置信度”或“信任度”值，该解释强度可以使得用户能够正确地理解分类结果和解释。

因此，数据收集器215、本体创建器220和规则构造器225以协同方式操作，以便制定将由系统105使用用于推理和解释推理的知识模型。随后，执行器210可以使用知识模型并且处理另外的真实世界数据以用于分类或决策做出。例如，执行器210可以以问题或困境的形式遇到真实世界问题，执行诸如将新鲜的真实世界数据分类到结果中的任务，并且还可以提供针对决策的逻辑解释。

因此，知识模型检测器230确定要用于处理真实世界问题的知识模型(在推论规则、知识图或资源描述框架中)。知识模型可以在概念或功能级别、结构级别或行为级别进行定义。概念模型可以包括本体和预测逻辑。本体可以以元组(例如，资源描述框架(rdf)文件)或知识图的形式表示。谓词逻辑包括推论规则(捕获一阶或更高阶逻辑)。结构模型包括地理空间模型(诸如地图)、社交网络。行为模型包括时空模型。表示知识模型时可以涉及到一个或多个知识模型，包括推论规则、知识图、搜索索引(基于搜索引擎，诸如开源搜索引擎apachesolr和elasticsearch)、结构模型和行为模型。

知识模型检测器230可以使用以下方法来检测知识模型。知识模型检测器230可以首先(通过分类)确定知识是概念性的、功能性的、结构性的还是行为性的。对于概念知识或功能知识，知识模型检测器230可以例如标识实体和关系的共现，其导致知识图或问题答案对或其他概念或功能知识表示的提取。另一方面，对于结构知识，知识模型检测器230可以提取地理空间或社交网络知识表示，而对于行为级知识，知识模型检测器230可以提取时空知识表示。在另一种情况下，知识模型检测器230可以以与上述相同的方式检测和提取一个或多个知识模型。

一旦知识模型检测器230已经确定了用于解决当前的真实世界问题所要采用的知识模型，解释器235就进一步承担找到解决方案以及向用户110解释背景推理过程的任务。因此，分类器和簇生成器(ccg)240利用归纳推理的概念，用于组织数据并且对来自真实世界问题的数据进行聚类。如先前关于本体创建器220所解释的，ccg240可以以类似的方式剖析真实世界问题，以对数据进行分类并且将数据聚类成先前由知识模型检测器230标识的知识模型中的一个或多个本体。在一个示例中，ccg240可以利用监督分类技术来对从真实世界问题中提取的数据进行聚类和分类。在另一示例中，ccg240可以采用诸如k均值聚类技术的无监督聚类技术来将从真实世界问题中提取的数据聚类和映射到所确定的知识模型。

随后，规则标识器245执行标识将在给定情况下适用的推论规则的角色，系统105在该基础上提供决策和针对决策的推理。通过各种推论规则和谓词，系统105提供各种模式以用于向用户110提供对于由系统105做出的决策的解释。在特定实例中使用的模式、(即，推论规则)可以基于很多因素，诸如已经寻求系统105的帮助的目的和行业、或者已经由知识模型检测器230确定的知识模型。例如，规则标识器245可以确定对于某种情况，前向链接推理过程可能是适当的，而对于另一种情况，后向链接推理过程可能是合适的。

基于为应用选择的一个或多个推论规则，系统105可以将真实世界问题解构为更小的结构。在一个示例中，在详细提供解释或推理之前，规则标识器245可以向i/o系统提供问题的解构的人类可读形式。这为用户110提供了系统105为了达成决策而可能采取的推理线的预览。

作为一个示例，根据本公开，以下描述由规则构造器225和规则标识器245执行的后向链接推理过程。在上述示例中，所遇到的真实世界问题是“eaglesportinggoods的库存为250万美元，并且应收账款为200万美元。它的平均每日销售额为100,000美元。公司的应付款延期为30天，并且平均每日销售成本为50,000美元。公司现金转换期有多长？提供以下选项作为答案选择：(a)90天；(b)60天；(c)50天；(d)40天。由解释器235(即由规则标识器245和ihg250)执行的推理返回对上述真实世界问题的答案及其解释。

例如，规则标识器245可以解析问题以组织逻辑语句，该逻辑语句编码关于问题的会计知识。换言之，自然语言问题可以被编码为逻辑查询，如下所示：

i.questionstem:

ii.company('eaglesportinggoods').

iii.inventory_of('eaglesportinggoods',2500000).

iv.receivables_of('eaglesportinggoods',2000000).

v.payables_deferral_period_of('eaglesportinggoods',time_amount(30,days)).

vi.sales_per_day_of('eaglesportinggoods',90000).

vii.cost_of_sales_per_day_of('eaglesportinggoods',50000).

viii.focal_company_of(q7,'eaglesportinggoods').

ix.narrow_query_property_of(q7,cash_conversion_period_of).

x.questionalternatives:

xi.answer_choice(q7,a,time_amount(100,days)).

xii.answer_choice(q7,b,time_amount(60,days)).

xiii.answer_choice(q7,c,time_amount(50,days)).

xiv.answer_choice(q7,d,time_amount(40,days)).

规则标识器245可以将经编码的问题动态地添加到具有会计知识的整体逻辑知识库。另外，如上所述，规则标识器245可以向用户110提供问题的解构的人类可读形式，从而向用户110提供系统105为了达成决策而可能采取的推理线的预览。例如，编码的逻辑语句可以如下：

i.inventory_conversion_period_of(？company,

ii.time_amount(？inventory_conversion_period,days)):-

iii.average_inventory_of(？company,？average_inventory)\and

iv.cost_of_sales_per_day_of(？company,

？cost_of_sales_per_day)\and

v.？inventory_conversion_period\is

vi.？average_inventory/？cost_of_sales_per_day

可以将上述经编码的逻辑语句转换为自然语言的、人类可读的语句“库存转换期等于平均库存除以每天售出商品成本”。

在另一种情况下，经编码的逻辑语句可以如下：

i.@{'presumeaverageinventoryissameasinventory'}

ii.average_inventory_of(？company,？inventory):-

iii.inventory_of(？company,？inventory).

以上经编码的逻辑语句可以被转换到自然语言的人类可读的语句，转换为“假设平均库存等于库存”。在上述两个示例中，规则标识器245可以被配置为读取符号：“:-”以表示“if”，以及“？”以作为逻辑变量的前缀，并且“@{…}”可以被理解为附上在异常处理中使用的优先级标记。

在以下示例中，规则标识器245通过在进行深度优先和从左到右的同时将逻辑推论规则与目标进行匹配来评估子问题并且创建目标树：

i.goal1:answer_of(q7,？choice).

b.found:inferencingrule1–fromgeneraltest-takingknowledge–withconditionsthatbecomesubgoalsgoal2,goal3,goal4,goal5,goal6

c.goal2:focal_company_of(q7,？company).

d.found:factinferencingrule2–fromquestionstem–thatsatisfiesgoal2withbinding？company＝‘eaglesportinggoods’

e.goal3:narrow_query_property_of(q7,？property).

f.found:factinferencingrule3–fromquestionstem–thatsatisfiesgoal3withbinding？property＝cash_conversion_period_of

g.goal4:？property(？company,？time_amount(？raw_value,days).

h.found:inferencingrule4–fromaccountingknowledgeaboutworkingcapitalmanagement–withconditionsthatbecomesubgoalsgoal7,goal8,goal9,goal10,goal11

i.goal7:company(‘eaglesportinggoods’).

j.found:factinferencingrule5–fromquestionstem–thatsatisfiesgoal7

k.goal8:inventory_conversion_period_of(‘eaglesportinggoods’,time_amount(？inventory_conversion_period,days)).

l.found:inferencingrule6–fromaccountingknowledge–thatsatisfiesgoal8withconditionsthatbecomesubgoalsgoal12,goal13,goal14

m.goal12:average_inventory_of('eaglesportinggoods',？average_inventory).

n.found:inferencingrule7–fromaccountingknowledge–thatsatisfiesgoal12withaconditionthatbecomessubgoalgoal15

o.goal15:inventory_of('eaglesportinggoods',？inventory).

p.found:factinferencingrule8–fromquestionstem–thatsatisfiesgoal15withbinding？inventory＝2500000

q.goal13:cost_of_sales_per_day_of('eaglesportinggoods',？cost_of_sales_per_day).

r.found:factinferencingrule9–fromquestionstem–thatsatisfiesgoal13withbinding？cost_of_sales_per_day＝50000

s.goal14:？inventory_conversion_period\is？average_inventory/？cost_of_sales_per_day.

t.found:builtinarithmeticoperationthatsatisfiesgoal14withbinding？inventory_conversion_period＝50.0

u.goal9:receivables_collection_period_of('eaglesportinggoods',time_amount(？receivables_collection_period,days)).

v.found:inferencingrule10thatsatisfiesgoal9withconditionsthatbecomesubgoalsgoal16,goal17,goal18

w.goal16:receivables_of('eaglesportinggoods',？receivables).

x.found:factinferencingrule11–fromquestionstem–thatsatisfiesgoal16withbinding？receivables＝2000000

y.goal17:credit_sales_per_day_of('eaglesportinggoods',？credit_sales_per_day).

z.found:inferencingrule12–fromaccountingknowledge–withaconditionthatbecomessubgoalgoal19

aa.goal19:sales_per_day_of('eaglesportinggoods',？sales_per_day).

bb.found:factinferencingrule13–fromquestionstem–thatsatisfiesgoal19withbinding？sales_per_day＝90000

cc.goal18:？receivables_collection_period\isreceivables/？credit_sales_per_day.

dd.found:builtinarithmeticoperationthatsatisfiesgoal18withbinding？receivables_collection_period＝20.0

ee.goal10:payables_deferral_period_of('eaglesportinggoods',time_amount(？payment_deferral_period,days)).

ff.found:factinferencingrule14–fromquestionstem–thatsatisfiesgoal10withbinding？payables_deferral_period＝30

gg.goal11:？cash_conversion_period\is？inventory_conversion_period+？receivables_collection_period-？payment_deferral_period.

hh.found:builtinarithmeticoperationthatsatisfiesgoal11withbinding？cash_conversion_period＝40.0andtherebysatisfiesgoal4withbinding？raw_value＝40.0

ii.goal5:？raw_value[round->？value]@\basetype

jj.found:builtinarithmeticoperationthatsatisfiesgoal5withbinding？value＝40

kk.goal6:answer_choice(q7,？choice,time_amount(？value,days)).

found:factinferencingrule15–fromquestionalternatives–thatsatisfiesgoal6withbinding？choice＝dandtherebysatisfiesgoal1；这完成了推理。

此外，推论器和假设生成器(ihg)250使用经解构的问题，并且应用各种技术，ihg250可以提供机器推理以提供对问题的假设和伴随该假设的解释。在一个示例中，ihg250可以使用诸如基于证据的推理技术的溯因推理技术，用于提供假设和解释性证据。

例如，溯因推理可以被理解为逻辑推论形式，其从观察进行到解释观察的假设，并且在过程中寻求找到最简单和最可能的解释。在溯因推理中，与诸如向后或向前链接的演绎推理不同，前提并不能保证结论。因此，溯因推理可以被理解为“对最佳解释的推论”。

为了提供由ihg250使用的溯因推理技术的示例，考虑以下内容。以下观察导致推论或其之后的假设。观察是：(1)营销副总裁在1985年至1989年间经常与sara沟通，(2)sara与第三方tom多次关于卷烟和儿童进行沟通，以及(3)sara与营销副总裁之间的文件提到儿童。ihg250在这些观察的基础上作为溯因推理的一部分而生成的假设是“营销副总裁知道在1989年之前香烟广告针对儿童”。因此，在这种情况下，ihg250在分析社交交互网络时可以特别有效，该社交交互网络包括通过组织的显式交互和通过电子邮件、电话日志和即时消息以及信息和概念检索的隐式交互。

另外，解释器235能够对由规则构造器225在规则中构建的“强度”参数进行加权。因此，推论器和假设生成器250可以确定与决策和关联的解释相关联的强度或置信度，并且将其提供给用户110。这将参考图8a详细说明。

在一个示例中，解释器235能够使用机器学习技术生成决策以及推理或解释的视觉表示。这也参考图3a-图3c详细描述和解释。

图3a-图3c图示了根据本公开的一个示例的结构模型的一个示例。如所述，解释器235可以被配置为使用基于机器学习的方法以图3a-图3c中所示的视觉表示的形式开发知识表示。机器学习技术提供示例和反例，并且可以用作例如使用模糊、逻辑、空间、时间和时空操作符来构造更复杂的知识模型的基本构建块，。

图3a图示了结构知识模型的一个示例。在该示例中，图3a图示了潜在的油气藏310的结构300。油气藏310的结构300可以具有可渗透的基底1(诸如例如沙质层)，基底1邻近在不可渗透层3下面的凸体积2，并且整个结构300相当深4。可以使用知识模型检测器230来构造针对该结构的知识模型。图3b图示了查询的构造，查询的构造是基于这种结构300的知识而制定的，并且然后可以针对大型数据库来启动以搜索这种位置的类似实例。

图3c图示了结构知识模型的生成过程。从图3c中可以看出，在图3b中制定的查询的结果可以被用作油气勘探的起点。在图3c的框320处，可以获得图示油气藏的结构300的岩心照片，并且在框330处，可以使用岩心照片生成纹理图案，再次图示结构300的各个部分，诸如可渗透基底1、凸体积2和不可渗透层3。使用框340处的地震数据以及框330的纹理图案，知识模型检测器230可以在框350处通过图案匹配来检测关联知识模型。知识模型检测器230还可以利用测井记录360用于检测知识模型。

图4图示了ccg240的示意图，作为本公开的一个示例，ccg240负责作为决策做出和解释的一部分的数据元素的无监督分类。从图中可以看出，传入数据405可以是结构化数据405-1、半结构化数据405-2或非结构化数据405-3。由ccg240实现的特征410的提取可以完全手工制作(例如，200天移动平均值)以获得经手工制作的特征410-1，可以被组织(例如，从知识图)以获得经组织的特征410-2，或者可以是基于表示的(例如，单词嵌入)，其中通过机器学习获取特征，以获得基于表示的特征410-3。ccg240然后通过无监督训练415(诸如k均值)和评分420来放置特征向量，以提供外部代理辅助决策425。因此，ccg240使特征向量与本体对准。参考图5解释特征向量的无监督训练的详细过程。

图5图示了作为本公开的一个示例的作为决策做出和解释的一部分的数据元素的非监督分类的过程500。例如，如前所述，无监督分类由ccg240实现。在所述示例中，在框505处，ccg240可以从语料库、文本或图像构造特征向量，并且特征向量可以是20维向量。在框510处，通过应用无监督聚类(诸如k均值)，ccg240可以将该组特征向量聚类成为6个簇。在框515处，通过将本体与簇对准，即，通过将本体和与“已知”数据相对应的簇进行比较，ccg240将簇映射到本体。对于多级本体，如框520处所示，ccg240可以潜在地将奇异值分解或主值分解应用于顶级簇，然后在完成顶级本体的映射之后进行聚类。然后，ccg240可以将子簇映射到第二级本体。ccg240可以递归地重复该过程，直到所有本体和簇已经彼此映射为止。

图6描述了根据本公开的一个示例的作为由规则构造器225和规则标识器245执行的演绎推理的一部分的前向链接处理的一个示例。示例图示了在由规则标识器245执行时所接收的响应的示例屏幕截图600。基于响应，解释器235可以为用户110生成解释和推荐。例如，响应允许用户110标识可以请求外部输入的空隙。这允许容易地标识不完整或错误的数据，例如从i/o系统110寻求外部帮助来完成或校正数据，并且基于正确和/或无误的数据来实现有效的推论和推理解释。

图7图示了作为本公开的一个示例的由规则标识器245执行的用于遍历知识图的推理溯源的过程700。图7图示了使用前向链接推理过程进行解释的另一种技术。加深着色线表示用于生成用于计算现金转换期的解释的推理线。如将理解的，可解释ai与正在使用的知识模型密切关联。图7的图示示出了针对推理过程所选择的知识模型，以及在考虑到解释器235遇到的问题的情况下的、在知识图中被遍历以解决该问题的路径。例如，路径可以从705开始，现金转换周期到库存转换期710到售出商品成本715和平均库存720。此外，可以获得应付款延期725、售出商品成本730和平均应付款735。在多个实例中遍历路径以获得相关值时，也可以获得相对应的公式。

图8a、图8b和图8c图示了由系统105执行的、包括添加置信度参数的推理和解释的各种示例。图8a图示了示例屏幕截图800；图8b图示了示例屏幕截图830；图8c图示了示例屏幕截图860。图8a中所示的屏幕截图800图示了根据具有置信度805的预先建立的本体由ccg240提供的段落的推荐分类。在需要校正的情况下，它可以通过标签810来提供，并且在不需要校正的情况下，结果可以如在发送结果815处所示被发送。图8b和图8c图示了屏幕截图830和860，提供在使用总分类账进行日记账分录验证之后由系统105提供的解释。

图9图示了根据本公开的一个示例的用于实现系统105的硬件平台900。特别地，计算机诸如但不限于可以用于执行系统105或者可以具有硬件平台900的结构的内部/外部服务器簇、量子计算机、台式计算机、膝上型计算机、智能电话、平板计算机和可穿戴设备。硬件平台900可以包括未示出的附加部件，并且所描述的一些部件可以被去除和/或修改。在另一示例中，具有多个gpu的计算机系统可以位于外部云平台(包括amazonwebservices)、或者内部企业云计算簇、或者组织计算资源等上。

参考图9，硬件平台900可以是可以与本文中所描述的示例一起使用的计算机系统900。计算机系统900可以表示包括可以在服务器或另一计算机系统中的部件的计算平台。计算机系统900可以通过处理器(例如，单个或多个处理器)或其他硬件处理电路来执行本文中描述的方法、功能和其他过程。这些方法、功能和其他过程可以被实现为在计算机可读介质上所存储的机器可读指令，计算机可读介质可以是非暂态的，诸如硬件存储设备(例如，ram(随机存取存储器)、rom(只读存储器)、eprom(可擦除可编程rom)、eeprom(电可擦除可编程rom)、硬盘驱动器和闪存)。计算机系统900可以包括处理器905，处理器905执行在非暂态计算机可读存储介质910中所存储的软件指令或代码以执行本公开的方法。软件代码包括例如用于执行先前参考图2中的系统105的部件所描述的步骤的指令。在一个示例中，知识模型构造器205和执行器210可以是执行这些步骤的软件代码或部件。

读取在计算机可读存储介质910上的指令，并且将指令存储在存储装置915或随机存取存储器(ram)420中。存储装置915提供大空间用于保存静态数据，其中可以存储至少一些指令用于稍后执行。所存储的指令可以被进一步编译以生成指令的其他表示，并且被动态地存储在ram920中。处理器905从ram920读取指令并且按照指示执行行动。

计算机系统900还包括输出设备925，以将至少一些执行结果(包括但不限于视觉信息)作为输出提供给诸如外部代理的用户。输出设备可以包括计算设备和虚拟现实眼镜上的显示器。例如，显示器可以是移动电话屏幕或膝上型计算机屏幕。gui和/或文本作为输出被呈现在显示屏上。计算机系统900还包括输入设备930，以向用户或另一设备提供用于输入数据和/或以其他方式与计算机系统900交互的机构。输入设备可以包括例如键盘、小键盘、鼠标或触摸屏。在一个示例中，执行器210的输出被显示在输出设备925上。这些输出设备925和输入设备930中的每个设备可以通过一个或多个附加外围设备连接。

例如，可以网络通信器935可以被设置为将计算机系统900连接到网络，并且反过来还连接到与网络连接的其他设备，包括例如其他客户端、服务器、数据存储装置和接口。网络通信器935可以包括例如网络适配器，诸如lan适配器或无线适配器。计算机系统900包括用于访问数据源945的数据源接口940。数据源是信息资源。例如，异常和推论规则的数据库可以是数据源。此外，知识库和经组织的数据可以是数据源的其他示例。

图10图示了根据本公开的一个示例方法的用于解释推理或决策的方法1000。在框1005处，检测要用于处理真实世界问题的知识模型。

一旦确定了知识模型，在框1010处，使用推理/学习技术(诸如例如归纳推理技术、监督分类技术、无监督聚类技术、前向链接、后向链接和溯因推理技术)来将问题解构为较小的构造。在框1010的框1010-1处，利用归纳推理的概念用于组织数据并且对来自真实世界问题的数据进行聚类。可以采用监督分类技术用于对从真实世界问题中提取的数据进行聚类和分类。在另一示例中，可以使用诸如k均值聚类技术的无监督聚类技术用于对从真实世界问题中提取的数据进行聚类并且将其映射到所确定的知识模型。

随后，在框1010的框1010-2处，执行将在给定情况下适用的推论规则的标识，推论规则是系统105提供决策和针对决策的推理所基于的推论规则。推论规则可以基于很多因素，诸如已经寻求系统105的帮助的目的和行业、或者已经由知识模型检测器230确定的知识模型。例如，规则标识器245可以确定对于某种情况，前向链接推理过程可能是适当的，而对于另一种情况，后向链接推理过程可能是合适的。基于为应用选择的一个或多个推论规则，真实世界问题可以被分解为更小的构造。在一个示例中，在详细提供解释或推理之前，规则标识器245可以向用户110提供问题的解构的人类可读形式。这为用户110提供了系统105为了达成决策而可能采取的推理线的预览。

此外，在框1010的框1010-3处，可以处理经解构的问题，并且生成机器推理，以提供针对问题的假设和伴随假设的解释。在一个示例中，可以采用诸如基于证据的推理技术等溯因推理技术，以用于提供假设和解释性证据。

此外，在框1015处，向用户110提供对推理过程的解释。

本文中所描述和说明的是本公开的示例及其一些变型。本文中所使用的术语、描述和附图仅通过说明来进行阐述，并不意味着限制。在旨在由所附权利要求及其等同物限定的主题内容的精神和范围内可以有很多变化，其中除非另有说明，否则所有术语均表示其最广泛的合理含义。