本发明一般地涉及提供用于辅助在给定多个结果的情况下确定充分原因的系统和方法。
背景技术：
因果性是在原因与效果或结果之间存在关系的原理。在一部分情况下，结果可能是许多原因之一的结果。存在用于试图形式化因果关系的各种模型和理论。一个这样的模型的集合被称为因果影响(ici)的独立性，其通过假设因果影响(ici)的独立性来解决在处理条件概率时的参数的指数增长的问题。接受该假设允许仅使用在多个原因中是线性的多个参数来定义条件概率分布的参数模型。
诸如noisy-or和noisy-and门的ici模型已经被广泛使用。noisy-or模型是因果独立形式体系，对在多个原因和结果之间的关系进行建模。“noisy”修饰语强调任何因果关系首先是概率性的。noisy-and模型是对在多个原因与结果之间的关系进行建模的因果独立形式系统，其中每个原因都是产生结果所必需的。
可以使用等式pr(o)＝1–[(1–泄漏)π(1–pi)]来示出噪声noisy-or，其中pi是导致结果o的原因i的概率；并且泄漏是观察没有产生它的任何原因的结果o的概率。可以使用等式pr(o)＝(1–抑制)π(1–pi)来示出noisy-and，其中pi是导致结果o的原因i的概率；并且抑制是没有观察到具有全部所需原因的结果o的概率。
在现实生活中，许多noisy-or事件可能重叠。用于结果a的充分原因可能与用于结果b的那些重叠。例如，在作为基于综合快速医学参考(qmr)知识库的医疗决策支持系统的快速医疗参考-决策理论(qmr-dt)中，肺炎和流感都是可观察到的结果发热的充分原因。如果患者描述发烧症状，那么问题就变成：“医生如何确定患者患有肺炎还是流感还是其他情况？”或者在不同的情况下，使用报警系统作为示例，流浪的流浪猫和实际的入侵抢劫都是触发报警的充分条件；因此，可能会问一个问题：“如何确定这是否是一个假警报？
因此，需要用于从一个或多个观察结果和因果关系推断最可能原因的系统和方法。
技术实现要素：
本发明在第一方面提供一种用于从结果确定一个或多个潜在原因的计算机实现的方法，所述方法包括：获得观察结果的集合；
根据所指派的索引对观察结果中的至少一部分进行排序；基于所述排序将所排序的结果分成第一结果集合和第二结果集合；使用变分推断过程中的第一结果集合和精确推断过程中的第二结果集合来确定原因集合中每个原因的推断的概率；以及基于具有高于阈值概率值的概率的原因输出可能原因的集合作为可能原因。
本发明在第二方面提供一种用于从多个充分结果确定潜在原因的方法，所述方法包括：获得包括正观察量和负观察量的观察量集合，所述负观察量是未观察的确认，所述观察集合与可能原因集合相关；确定每个负观察量的单个负观察量概率；应用每个单个负观察量概率确定所述负观察量的联合概率；针对所述正观察量中的每一个，根据为正观察量中的每一个指派的当前索引来选择精确推断或变分推断；使用变分变换确定被选择用于变分推断的每个正观察量的概率；确定被选择用于变分推断的全部正观察量的联合概率；使用确定出的全部正观察量的联合概率和确定出的全部负观察量的联合概率来确定所述观察量集合的联合概率；以及使用确定出的所述观察量集合的联合概率来确定原因集合的每个原因的推断概率。
本发明在第三方面提供一种包括一个或多个指令序列的非瞬时计算机可读介质或介质，当所述一个或多个指令序列由一个或多个处理器执行时，使得多个步骤被执行，所述多个步骤包括：接收观察量集合，所述观察量与可能原因集合相关；基于预先指派给每个观察量的索引将所述观察量集合划分为第一观察量集合和第二观察量集合；针对所述第一观察量集合中的每个观察量，使用变分推断来计算可能原因集合中的每一个的概率，和针对所述第二观察量集合中的每个观察量，使用精确推断来计算可能原因集合中的每一个的概率；以及选择具有最高计算概率的原因作为最可能原因。
附图说明
将参考本发明的实施例，其示例可以在附图中示出。这些附图意在是说明性的而非限制性的。虽然通常在这些实施例的上下文中描述本发明，但是应当理解，不期望将本发明的范围限制于这些具体实施例。
图1示出了根据本发明的实施例的具有结果排序索引的noisy-or模型。
图2示出了根据本发明的实施例的用于从观察结果推断最可能的原因的一般流程图。
图3示出了根据本发明的实施例的使用因式分解的概率函数来推断最可能的原因的示例性流程图。
图4描绘了根据本发明的实施例的计算设备/信息处理系统的简化框图。
具体实施方式
在以下描述中，为了说明的目的，阐述了具体细节以便提供对本发明的理解。然而，对于本领域技术人员将显而易见的是，本发明可以在没有这些细节的情况下被实践。此外，本领域技术人员将认识到，下面描述的本发明的实施例可以以各种方式被实现，诸如过程、装置、系统、设备或者有形计算机可读介质上的方法。
图中所示的组件或模块说明本发明的示例性实施例，并且意在避免混淆本发明。还应当理解，在本说明书中，组件可以被描述为可以包括子单元的单独的功能单元，但是本领域技术人员将认识到，各种组件或其部分可以被划分为单独的组件或者可以被集成在一起，包括被集成在单个系统或组件内。应当注意，本文讨论的功能或操作可以被实现为组件。组件可以以软件、硬件或其组合来实现。
此外，图中的组件或系统之间的连接不意在限于直接连接。相反，这些组件之间的数据可以通过中间组件修改、重新格式化或以其他方式改变。而且，可以使用附加的或更少的连接。还应当注意，术语“耦合”、“连接”或“通信地耦合”应当被理解为包括直接连接、通过一个或多个中间设备的间接连接和无线连接。
在说明书中对“一个实施例”、“优选实施例”、“实施例”的引用意味着结合该实施例描述的具体特征、结构、特性或功能至少被包括在本发明的一个实施例并且可以在多于一个的实施例中。而且，上述短语在说明书中各处的出现不一定都指代相同的实施例。
在说明书中各处使用某些术语是为了说明，并且不应当被解释为限制。服务、功能或资源不限于单个服务、功能或资源；这些术语的使用可以指可以是分布或聚合的相关服务、功能或资源的分组。此外，在本文中可以使用存储器、数据库、信息库、数据存储、表、硬件等来指代可以将信息输入或以其他方式记录在其中的系统组件。
术语“包括”和“包含”应当被理解为开放式术语，并且以下的任何列表是示例，而不意味着限于所列出的项目。本文使用的任何标题仅用于组织目的，并且不应当用于限制说明书或权利要求的范围。本专利文献中提及的每个参考文献通过引用整体并入本文中。
此外，应当注意：(1)可以可选地执行某些步骤；(2)步骤可以不限于本文所阐述的具体顺序；(3)某些步骤可以以不同的顺序被执行；以及(4)某些步骤可以被同时进行。
图1描绘了根据本发明的实施例的具有结果排序索引的样本noisy-or模型。在实施例中，noisy-or模型包括多个观察结果110。每个结果可以由一个或多个原因120产生130，每个原因足以导致结果。“noisy”修饰语强调任何因果关系都是概率性的。给定观察到的结果，一个原因的概率独立于其他原因。每个结果110和关联的原因120之间的关系130可以从知识图获得。在实施例中，知识图可以是由noisy-or模型100使用的独立组件或用于生成noisy-or模型100的独立组件，或者知识图可以是noisy-or模型的集成部分。用于生成知识图的系统和方法的示例在共同待决和共同拥有的2016年7月8日提交的发明人为chaochunliu、nandu、shulongtan、hongliangfei、weifan，标题为“systemsandmethodsforrelationinference”的美国专利申请no.15/205,798以及2016年7月11日提交的发明人为yaliangli、nandu、yushengxie和weifan，标题为“systemsandmethodsfordataandinformationsourcereliabilityestimation”的美国专利申请no.15/207,434中找到，这些专利文献通过引用整体并入本文并用于全部目的。noisy-or模型还可以包括用于使用户输入观察结果110的输入界面。
在实施例中，观察结果110具有一个或多个索引140或与之相关联的分类。通常，结果是无序的；然而，在实施例中，可以根据排序来指派索引，排序可以包括但不限于结果的固有频率顺序、专家标记的顺序、机器学习得到的顺序等。通过示例的方式考虑图1所示中的示例100。如图1所示，可以基于与原因连接的数目，将索引“2”(例如，145)指派给一个结果(例如，结果o1115)。因为结果o1115与两个原因(原因c1125和原因c2127)有着因果联系(由连接135和137示出)，所以该结果的索引是2。同样，对于具有一个原因的结果，结果索引是1；对于具有三个原因的结果，结果索引是3，等等。可以理解，图1仅用于说明目的，且可以使用其他方法。
在实施例中，观察到的结果110可以是与疾病相关的症状。模型接收观察到的症状(结果)，并且可以输出可能已经产生观察到的症状和/或可能输出与结果相关的索引的最可能的疾病中的一个或多个的集合。在实施例中，模型可以用于开发医疗诊断人工智能，但是也可以在其他上下文中使用。例如，在实施例中，该模型还可以在极其大量的因果信号的情况下使用，如股票市场，以用于快速和正确的动作。应当注意，随着潜在原因的数目的增加，结果的数目增加，或者二者，确定可能原因的复杂性对于人类在没有援助的情况下进行确定来说变得非常复杂。
图2示出了根据本发明的实施例的用于从观察的结果推断最可能的原因的一般流程图。在步骤205中，接收一个或多个观察到的结果f。在实施例中，观察到的结果可以是疾病相关症状。在实施例中，在步骤210中，获得对应于输入症状的结果索引。在实施例中，可以从结果的预先指派的索引获得索引。可以根据多个因素中的一个或多个来指派索引，这些因素包括但不限于结果的固有频率顺序、专家标记的顺序、知识图、机器学习得到的顺序等。
在步骤215中，在实施例中，基于索引将排序的结果划分成第一结果集合和第二结果集合。第一结果集合可以与指示非常适合变分推断的结果的索引相关联，诸如不太重要的结果，并且第二结果集合可以与指示非常适合于精确推断的结果的索引相关联，诸如更重要的结果。在一部分实施例中，结果f可以包括正结果(f+)和负结果(f-)。在一部分实施例中，负结果(f-)总是具有低阶索引并且始终是第一(精确推断)集合的一部分。
例如，在实施例中，可以根据指派的索引来对结果进行排序，并且可以设置将排序的结果划分为第一集合和第二集合的阈值。例如，具有较低索引的观察到的结果(例如，第一结果集合f1)被指派用于变分推断，而具有较高索引的观察到的结果(第二结果集合f2)被指派用于精确推断。应当注意，根据索引如何被配置，可以是具有较低索引的结果对应于更适合于精确推断的结果，并且具有高索引的结果更适合于变分推断。还应当注意，在实施例中，不是全部的结果都可以包括在一个集合中。例如，一部分最不重要的结果可以被丢弃而不是包括在结果的变分推断集合中。在实施例中，用于将结果划分为变分推断组和精确推断组的阈值可以基于计算成本与精确度的平衡，其中，在精确推断组中包括更多结果，增加了精度但是也增加了计算成本。
应当注意，先前对noisy-or推断的尝试没有使用结果排序。在不使用结果索引的情况下，选择精确或变分推断曾是一个计算量非常大的决定。因此，包括使用指派的索引来帮助将结果划分成精确推断组和变分推断组的本文的实施例可以具有益处。首先，其使得计算过程更快。第二，可能的原因可以比严格精确推断更快地推断，并且比严格变分推断更准确。而且，实施例提供稳健性；例如，在不完全结果观察的情况下，使用本发明的实施例的推断将比使用严格精确推断的推断更准确。本领域技术人员还应当认识到其他益处。
在步骤220中，在精确推断和变分推断中，根据分组使用观察结果的集合。例如，具有较低索引的第一集合用于精确推断，而具有较高索引的观察结果的第二集合用于变分推断。精确推断和变分推断均应用于现代统计学和逻辑推理。变分推断已经应用于近似贝叶斯模型的后验分布作为马可夫链蒙特卡罗采样的替代方法。变分推断已经应用于诸如大规模数据分析、神经科学等问题。在实施例中，精确推断和变分推断二者可以用不同的算法来实现。例如，包括但不限于凸共轭最小化和循环传播的方法可以用于变分推断。如下面更详细讨论的，应当注意，实现上，变分或精确推断过程还可以包括分别组合精确或变分推断。在实施例中，负推断还可以被包括在对最可能的原因的计算中。
实施例1-变分推断并且然后精确推断：在实施例中，变分推断过程可以用于计算后验，其在精确推断过程中使用。作为示例，考虑以下：
其中使用变分推断方法来在给定已经经由上述指派的索引标识的第一正结果集合
在实施例中，变分推断过程的后验可以用作精确推断的输入。作为示例，考虑下述：
其中精确推断方法用于在已经经由如上所述的指派的索引识别的给定第二正结果集合
应当注意，在实施例中，所获得的观察可以被分类为正观察量和负观察量(分别为f+和f-)。正观察是肯定观察结果。正观察的示例可以是在医疗背景下的疾病相关症状或在股市背景下的股票下跌价格。负观察是确认不观察某事(而不是忽略某事)的确认。没有被触发的警报的观察或者患者没有发烧(即，具有正常温度)的观察是负观察的示例。在实施例中，仅对正观察结果编索引并将其划分为两个集合——一个集合用于变分推断，并且一个集合用于精确推断。
实施例2-精确推断并且然后变分推断：在实施例中，可以使用精确推断过程来计算后验，其在变分推断过程中使用。作为示例，考虑下述：
其中使用精确推断方法来在给定第二正结果集合
在实施例中，精确推断的后验可以用作变分推断的输入。作为示例，考虑下述：
其中使用变分推断方法来在已经经由如上所述指派的索引标识的给定第一正结果集合
在实施例中，在步骤225中，使用推断过程的结果来输出最可能的原因。在上面给出的示例中，最可能的原因可以是具有最高推断概率的那些疾病。
在实施例中，该输出可能原因的步骤包括输出具有高于阈值推断的概率值(在实施例中，其可以包括选择具有最高概率的单个原因作为最可能原因)的概率的那些原因。在实施例中，阈值概率值可以被选择为统计置信水平。根据结果索引的精确推断和变分推断的独特组合使得可能的原因更快地推断，节省了对于为结果选择精确或变分推断的计算昂贵的决定，并且潜在地更加稳健。
在实施例中，在步骤230中，可以基于精确推断和变分推断的结果来更新观察到的结果的索引。在实施例中，机器学习模型可以用于改进索引。例如，基于大量的随机选择的观察结果的集合，比较每个集合在精确推断和变分推断之间的误差容限。然后，可以训练预测器以从结果索引预测到其误差容限。预测的误差容限可以用于对顺序索引进行分等级。
图3示出了根据本发明的实施例的用于使用正观察量和负观察量来推断最可能原因的示例性流程图。在步骤305中，将所获得的观察分类为正观察量和负观察量(分别为f+和f-)。
针对精确推断过程的产生f+和f-的概率(后验概率)可以被表达为：
其中f+＝{f1+,f2+,…},f–＝{f1–,f2–,…}，并且di表示第i疾病。
正观察量包括一个或多个观察(例如，f1+,f2+…)，而负观察量包括一个或多个阴性观察(例如，f1–,f2–…)。期望的目标是确定全部原因当中的最可能的原因。
在实施例中，将正观察量划分成至少两个组，其中一个组被指派给变分推断，而另一组被指派给精确推断。在实施例中，用于形成两个组的过程可以使用指派的索引如上文关于图2所讨论的那样被执行。例如，f+可以被表达为f+＝f1+∪f2+，其中
f1+是指定用于变分推断的正观察量，并且
f2+是指定用于精确推断的正观察量。在实施例中，
在步骤310中，通过将单个负结果概率应用于多个负结果的联合概率，来将负观察量的概率p(f-)变换为因子分解形式。
对于单个负结果，结果概率可以被表达为：
等式(2)也可以被表达为：
基于单个负结果概率，多个负结果的联合概率可以被表达为：
在步骤315中，针对f+内的每个f+选择适当的变换。图2所示的过程可以包含于此。每个f+可以被指派预指派的索引并且根据其指派的索引来处理。在一部分实施例中，如果f+被索引为很可能是假，则f+在进一步计算中被省略，或者如果其被索引为可能为假则被保持用于变分变换，或者如果其被索引为不可能为假，则保留用于精确推断。
对于变分推断，di的后验概率可以被表达为
在一部分实施例中，p(f+)可以通过以下获得：
p(f+)＝1-p(f–)≤-ξ·p(f–)·g*(ξ)(5)
在步骤320中，对p(f+)的变分变换的上边界进行优化。在实施例中，优化过程包括下述步骤：
(1)将1-p(f–)变换作为凹函数(或对数凹)g()，并使用共轭g*()作为变分变换的上界。共轭g*()相对于函数ξ是凸的。
(2)优化ξ：ξ是变分参数，其保证共轭g*()始终是g()的上边界。对于固定的x，存在独特ξ，使得g*(ξ)实现其最小值g(x)。考虑到ξ的凸问题相对于n不可分解而不是可解析的，变分证据-ξ·p(f–)·g*(ξ)进一步被放松以获得分析解并且获得处理速度。在一部分实施例中，典型的二阶优化器(例如牛顿法)可以求解ξ。
在步骤325中，使用优化的上边界来实现每个f+的变分变换。
在步骤330中，针对变分推断选择的全部正观察量的联合概率p(f+)被变换为因式分解的形式。在实施例中，可以从联合概率中的每个结果的否定结果概率计算多个肯定结果的联合概率，被表示为：
在步骤335中，正和负结果的联合概率被获得为：
等式(7)是等式(1)的分母。关于等式(1)中的分子，从分母的这种形式导出分子是微不足道的。函数p(f+,f–)具有o(n|f–|2|f+|)的时间复杂度。以与p(f–)类似的方式对p(f+)进行因式分解降低了p(f+,f–)的计算成本，并且因此提供了快速的响应时间。
在步骤340中，基于所获得的正负结果的联合概率来计算每个原因的概率。然后，可以选择具有最高概率的原因作为最可能的原因。
在实施例中，本专利文档的各方面可以涉及或在信息处理系统/计算系统上实现。为了本发明的目的，计算系统可以包括可操作为计算、运算、确定、分类、处理、传送、接收、检索、源发、路由、切换、存储、显示、通信、表示、记录、在线、处理或利用任何形式的信息、情报或数据以用于商业、科学、控制或其他目的的任何工具或工具的聚合。例如，计算系统可以是个人计算机(例如，膝上型计算机)、平板计算机、平板电脑、个人数字助理(pda)、智能手机、智能手表、智能包、服务器(例如刀片服务器或机架服务器)、网络存储设备或任何其他合适的设备，并且可以在大小、形状、性能、功能和价格上变化。计算系统可以包括随机存取存储器(ram)、诸如中央处理单元(cpu)或硬件或软件控制逻辑的一个或多个处理资源、rom和/或其他类型的存储器。计算系统的附加组件可以包括一个或多个磁盘驱动器，用于与外部设备和诸如键盘、鼠标、触摸屏和/视频显示器的各种输入和输出(i/o)设备通信的一个或多个网络端口。计算系统还可以包括可操作为在各种硬件组件之间传送通信的一个或多个总线。
图4描绘了根据本发明的实施例的计算设备/信息处理系统的简化框图。应当理解，针对系统400示出的功能可以操作为支持信息处理系统的各种实施例—但是应当理解，信息处理系统可以被不同地配置并且包括不同的组件。如图4所示，系统400包括提供计算资源并控制计算机的一个或多个中央处理单元(cpu)401。cpu401可以用微处理器等实现，并且还可以包括一个或多个图形处理器(gpu)417和/或用于数学计算的浮点协处理器。系统400还可以包括系统存储器402，其可以是随机存取存储器(ram)、只读存储器(rom)或二者的形式。
还可以提供多个控制器和外围设备，如图4所示。输入控制器403表示对诸如键盘、鼠标或指示笔的各种输入设备404的接口。还可以存在与扫描仪406通信的扫描仪控制器405。系统400还可以包括用于与一个或多个存储设备408对接的存储控制器407，一个或多个存储设备408中的每一个包括诸如磁带或磁盘的存储介质或者光介质，其可以用于记录用于操作系统、实用程序和应用的指令的程序，程序可以包括实现本发明的各个方面的程序的实施例。存储设备408还可以用于存储所处理的数据或要根据本发明处理的数据。系统400还可以包括用于提供对显示设备411的接口的显示控制器409，显示设备411可以是阴极射线管(crt)、薄膜晶体管(tft)显示器或其他类型的显示器。计算系统400还可以包括用于与打印机413通信的打印机控制器412。通信控制器414可以与一个或多个通信设备415对接，这使得系统400能够通过各种网络中的任何一个或者通过包括红外线信号的任何适当的电磁载波信号连接到远程设备，包括因特网、以太网云、以太网光纤信道(fcoe)/数据中心桥接(dcb)云、局域网(lan)、广域网(wan)、存储区域网络(san)。
在所示系统中，全部主要系统组件可以连接到总线416，总线416可以表示多于一个物理总线。然而，各种系统组件可以彼此物理接近或不在物理上彼此接近。例如，输入数据和/或输出数据可以从一个物理位置远程传送到另一物理位置。另外，实现本发明的各个方面的程序可以通过网络从远程位置(例如，服务器)访问。这样的数据和/或程序可以通过各种机器可读介质中的任何一个来传送，机器可读介质包括但不限于：磁介质，诸如硬盘、软盘和磁带；光介质，诸如cd-rom和全息设备；磁光介质；以及专门配置为存储或存储和执行程序代码的硬件设备，诸如专用集成电路(asic)、可编程逻辑器件(pld)、闪存设备以及rom和ram设备。
应当理解，各种系统组件可以彼此物理接近或不在物理上彼此接近。例如，输入数据和/或输出数据可以从一个物理位置远程传送到另一物理位置。另外，实现本发明的各个方面的程序可以通过网络从远程位置(例如，服务器)访问。这样的数据和/或程序可以通过各种机器可读介质中的任何一个来传送，机器可读介质包括但不限于：磁介质，诸如硬盘、软盘和磁带；光介质，诸如cd-rom和全息设备；磁光介质；以及专门配置为存储或存储和执行程序代码的硬件设备，诸如专用集成电路(asic)、可编程逻辑器件(pld)、闪存设备以及rom和ram设备。
本发明的实施例可以被编码在具有用于使一个或多个处理器或处理单元以使得执行步骤的指令的一个或多个非瞬时计算机可读介质上。应当注意，一个或多个非瞬时计算机可读介质应当包括易失性和非易失性存储器。应当注意，替代实现是可能的，包括硬件实现或软件/硬件实现。硬件实现的功能可以使用asic、可编程阵列、数字信号处理电路等来实现。因此，任何权利要求中的“装置”术语意在涵盖软件和硬件实现二者。类似地，如本文所使用的术语“计算机可读介质或媒介”包括具有在其上实现的指令程序的软件和/或硬件或其组合。考虑到这些实现替代，应当理解，附图和伴随的描述提供了本领域技术人员将程序代码(即，软件)写入和/或制造电路(即硬件)以执行所需处理所需要的功能信息。
应当注意，本发明的实施例还可以涉及计算机程序产品，该计算程序产品具有用于执行各种计算机实现的操作的计算机代码的非瞬时有形计算机可读介质。介质和计算机代码可以是为了本发明的目的而特殊设计和构造的那些介质和计算机代码，或者其可以具有相关领域的技术人员已知或可用的类型。有形计算机可读介质的示例包括但不限于：磁介质，诸如硬盘、软盘和磁带；光学介质，诸如cd-rom和全息设备；磁光介质；以及专门配置为存储或存储和执行程序代码的硬件设备，诸如专用集成电路(asic)、可编程逻辑器件(pld)、闪存设备以及rom和ram设备。计算机代码的示例包括诸如由编译器产生的机器代码和包含由计算机使用解释器执行的更高级代码的文件。本发明的实施例可以全部或部分地实现为可以在由处理设备执行的程序模块中的机器可执行指令。程序模块的示例包括库、程序、例程、对象、组件和数据结构。在分布式计算环境中，程序模块可以物理地位于本地、远程或二者的设置中。
本领域技术人员将认识到，没有计算系统或编程语言对于本发明的实践是关键的。本领域技术人员还将认识到，上述多个元素可以物理地和/或功能地被分离为子模块或被组合在一起。
本领域技术人员将理解，本文的示例和实施例是示例性的，并且不限制本发明的范围。本领域技术人员在阅读本文档时显而易见的全部排列、增强、等同物、组合和改进都包括在本发明的真实精神和范围内。应当注意，下面的权利要求的元素可以被不同地布置，包括具有多个从属性、配置和组合。例如，在实施例中，各种权利要求的主题可以与其他权利要求组合。