[0001]本发明实施例涉及大数据处理
技术领域：
：，具体而言，涉及一种医疗辅助决策模型解释方法、医疗辅助决策模型解释装置、计算机可读存储介质以及电子设备。
背景技术：
：：[0002]随着人工智能技术的发展，机器学习在零售、医疗、金融、自动驾驶等领域均有着广泛的应用。然而，很多机器学习模型类似于“黑盒”，输入数据后可输出结果，但却不具有解释性，用户无法了解其内部的决策机制，无法满足业务场景的需求。[0003]为了解决上述问题，现有技术采用了如下方式对模型进行解释：通过可视化的shap方案，来发掘特征对于决策的贡献程度。其中，shap是python开发的一个"模型解释"包，可以解释任何机器学习模型的输出。其名称来源于shapleyadditiveexplanation，在合作博弈论的启发下shap构建一个加性的解释模型，所有的特征都视为“贡献者”。对于每个预测样本，模型都产生一个预测值，shapvalue就是该样本中每个特征所分配到的数值。[0004]但是，在医疗辅助决策预测领域，预测结果需要知道患者的具体诊疗情况，对误报的代价非常敏感，因此对模型的可解释性的需求很高。但是，shap作为一个模型解释开发包，只提供通用的基础模型解释功能，不会对医疗辅助决策领域模型进行专门优化，因此会使得医疗辅助决策模型的可解释性较弱；同时，shap解释性依旧局限于特征层面，发掘特征的贡献程度依旧无法对深度学习的决策过程进行解释。[0005]因此，需要提供一种新的医疗辅助决策模型解释方法及装置。[0006]需要说明的是，在上述
背景技术：
：部分发明的信息仅用于加强对本发明的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。技术实现要素：[0007]本发明的目的在于提供一种医疗辅助决策模型解释方法、医疗辅助决策模型解释装置、计算机可读存储介质以及电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的医疗辅助决策模型的可解释性较弱的问题。[0008]根据本公开的一个方面，提供一种医疗辅助决策模型解释方法，包括：[0009]获取医疗辅助决策模型的输入数据以及与所述输入数据对应的数据预测结果，并根据所述输入数据中包括的子特征生成特征子集；[0010]对所述特征子集中包括的目标特征进行组合得到特征对，并对所述特征对中包括的各所述目标特征的特征值的值域进行挖掘，得到各所述目标特征的候选值域；[0011]对各所述目标特征的候选值域进行组合得到待融合值域，并将所述待融合值域融合至预设的初始规则库中与所述目标特征对应的当前值域中，得到目标规则库；其中，所述初始规则库是根据医学指南生成的；[0012]在所述目标规则库中对从所述输入数据至所述预测结果的决策路径进行匹配，并根据所述决策路径中所包括的目标规则，对所述医疗辅助决策模型的解释。[0013]在本公开的一种示例性实施例中，根据所述输入数据中包括的子特征生成特征子集，包括：[0014]基于决策树模型计算所述输入数据中包括的子特征的重要性值，并根据所述重要性值的大小对所述子特征进行排序；[0015]根据排序结果中包括的前预设数量个的子特征，生成所述特征子集。[0016]在本公开的一种示例性实施例中，基于决策树模型计算所述输入数据中包括的子特征的重要性值，包括：[0017]根据每棵所述决策树中所包括的非叶子节点数量、和该决策树中与所述子特征对应的节点相关联的其他特征的数量以及与所述子特征对应的节点分裂之后的平方损失的减少值，计算所述子特征在每棵所述决策树中的重要性值；[0018]对所述子特征在每棵所述决策树中的重要性值进行平均运算，得到所述输入数据中包括的子特征的重要性值。[0019]在本公开的一种示例性实施例中，对所述特征子集中包括的目标特征进行组合得到特征对，并对所述特征对中包括的各所述目标特征的特征值的值域进行挖掘，得到各所述目标特征的候选值域，包括：[0020]对所述特征子集中包括的目标特征进行任意的两两组合得到所述特征对；[0021]以所述特征对中包括的各所述目标特征的特征值的值域作为最大初始窗口，基于从大到小且每次比上一次缩小第一预设数值的方式，对所述目标特征的特征值的值域进行范围缩减，得到各所述目标特征的候选值域。[0022]在本公开的一种示例性实施例中，对各所述目标特征的候选值域进行组合得到待融合值域，并将所述待融合值域融合至预设的初始规则库中与所述目标特征对应的当前值域中，得到目标规则库，包括：[0023]遍历各所述目标特征的候选值域，对各所述候选值域进行组合得到待融合值域；[0024]判断所述初始规则库中，通过所述待融合值域对与所述目标特征对应的当前值域融合后的值域对应的决策结果与所述预测结果一致的规则条数，在所述预测结果的总数中所占的比例是否大于预设阈值；[0025]若是，则利用所述待融合值域更新所述初始规则库，得到所述目标规则库。[0026]在本公开的一种示例性实施例中，利用所述待融合值域更新所述初始规则库，得到所述目标规则库，包括：[0027]计算融合后的值域对应的决策结果与所述预测结果一致的规则条数中，预测结果为是所占的第一比例，以及预测结果为否所占的第二比例；[0028]在确定所述第一比例大于第二比例时，将融合后的值域对应的决策结果更新为是；[0029]在确定所述第二比例大于第一比例时，将融合后的值域对应的决策结果更新为否。[0030]在本公开的一种示例性实施例中，在所述目标规则库中对从所述输入数据至所述预测结果的决策路径进行匹配，并根据所述决策路径中所包括的目标规则，对所述医疗辅助决策模型的解释，包括：[0031]提取所述输入数据中包括的子特征，并对所述子特征进行组合得到多个待匹配特征对；[0032]从所述目标规则库中匹配与各所述待匹配特征对对应的初始规则，并从所述初始规则中筛选出决策结果与所述预测结果相同的目标规则；[0033]根据所述目标规则中包括的子特征的值域，对所述医疗辅助决策模型进行解释。[0034]根据本公开的一个方面，提供一种医疗辅助决策模型解释装置，包括：[0035]特征子集生成模块，用于获取医疗辅助决策模型的输入数据以及与所述输入数据对应的数据预测结果，并根据所述输入数据中包括的子特征生成特征子集；[0036]特征值挖掘模块，用于对所述特征子集中包括的目标特征进行组合得到特征对，并对所述特征对中包括的各所述目标特征的特征值的值域进行挖掘，得到各所述目标特征的候选值域；[0037]值域融合模块，用于对各所述目标特征的候选值域进行组合得到待融合值域，并将所述待融合值域融合至预设的初始规则库中与所述目标特征对应的当前值域中，得到目标规则库；其中，所述初始规则库是根据医学指南生成的；[0038]医疗辅助决策模型解释模块，用于在所述目标规则库中对从所述输入数据至所述预测结果的决策路径进行匹配，并根据所述决策路径中所包括的目标规则，对所述医疗辅助决策模型的解释。[0039]根据本公开的一个方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述任意一项所述的医疗辅助决策模型解释方法。[0040]根据本公开的一个方面，提供一种电子设备，包括：[0041]处理器；以及[0042]存储器，用于存储所述处理器的可执行指令；[0043]其中，所述处理器配置为经由执行所述可执行指令来执行上述任意一项所述的医疗辅助决策模型解释方法。[0044]本发明实施例提供的一种医疗辅助决策模型解释方法，一方面，通过获取医疗辅助决策模型的输入数据以及与输入数据对应的数据预测结果，并根据输入数据中包括的子特征生成特征子集；然后对特征子集中包括的目标特征进行组合得到特征对，并对特征对中包括的各目标特征的特征值的值域进行挖掘，得到各目标特征的候选值域；再对各目标特征的候选值域进行组合得到待融合值域，并将待融合值域融合至预设的初始规则库中与目标特征对应的当前值域中，得到目标规则库；最后在目标规则库中对从输入数据至预测结果的决策路径进行匹配，并根据决策路径中所包括的目标规则，对医疗辅助决策模型的解释，由于目标规则库中包括了充分的与输入数据对应的子特征以及特征对，以及与子特征以及子特征对对应的值域，同时，由于初始规则库是根据医学指南生成的，因此各特征都对应的存在有决策结果，进而可以从目标规则库中匹配与输入数据以及预测结果对应的目标规则，用以对医疗辅助决策模型进行解释，解决了现有技术中由于shap作为一个模型解释开发包，只提供通用的基础模型解释功能，不会对医疗辅助决策领域模型进行专门优化，因此会使得医疗辅助决策模型的可解释性较弱的问题；另一方面，由于目标规则库中包括了对特征子集进行组合所得到的所有可能出现的情况，且目标规则库中包括了从输入数据的子特征到决策结果这一过程中所有可能存在的路径，进而可以根据各路径中所包括的所有的子特征、特征对以及与其对应的值域对医疗辅助决策模型在训练过程中如何得到最终的预测结果的整体过程进行解释，解决了现有技术中由于shap解释性依旧局限于特征层面，发掘特征的贡献程度依旧无法对深度学习的决策过程进行解释，进一步的增强了医疗辅助决策模型的可解释性。[0045]应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。附图说明[0046]此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。[0047]图1示意性示出根据本发明示例实施例的一种医疗辅助决策模型解释方法的流程图。[0048]图2示意性示出根据本发明示例实施例的一种根据所述输入数据中包括的子特征生成特征子集的方法流程图。[0049]图3示意性示出根据本发明示例实施例的一种决策树示例图。[0050]图4示意性示出根据本发明示例实施例的一种对特征子集中包括的目标特征进行组合得到特征对，并对特征对中包括的各目标特征的特征值的值域进行挖掘，得到各目标特征的候选值域的方法流程图。[0051]图5示意性示出根据本发明示例实施例的一种对各目标特征的候选值域进行组合得到待融合值域，并将待融合值域融合至预设的初始规则库中与目标特征对应的当前值域中，得到目标规则库的方法流程图。[0052]图6示意性示出根据本发明示例实施例的一种利用所述待融合值域更新所述初始规则库，得到所述目标规则库的方法流程图。[0053]图7示意性示出根据本发明示例实施例的另一种医疗辅助决策模型解释方法的流程图。[0054]图8示意性示出根据本发明示例实施例的一种医疗辅助决策模型(神经网络)的超平面与规则库的对比示例图。[0055]图9示意性示出根据本发明示例实施例的一种医疗辅助决策模型解释装置的框图。[0056]图10示意性示出根据本发明示例实施例的一种用于实现上述医疗辅助决策模型解释方法的电子设备。具体实施方式[0057]现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中，提供许多具体细节从而给出对本发明的实施方式的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而省略所述特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知技术方案以避免喧宾夺主而使得本发明的各方面变得模糊。[0058]此外，附图仅为本发明的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。[0059]随着硬件算力的增强，深度学习凭借优秀的泛化能力和特征抽象能力，迅速促成了人工智能在近些年的崛起。大量智能化应用，如同声翻译，人脸识别等功能已经悄然融入到大家的生活中。在这个过程中，由于深度学习模型的高度抽象和庞大的特征空间，其模型内部往往被视为“黑盒”，很难定义黑盒内部发生了什么，在一些需要谨慎决策的场景，如医学的诊疗决策过程中，需要知道模型的具体决策过程，否则难以让医生和病人信服。因此在某些实际场景中，深度学习总是会遭受不可解释的质疑，这种“玄学”形成阻碍人工智能的发展的一道坚实壁垒。近些年大家也着手开始对深度学习可解释性进行研究，但是目前来看无论是针对特征的可解释，还是某些局部可解释模型，都还远远不够。[0060]现有的对模型解释的方案主要包括以下几种：[0061]一种是，提供基于决策树模型对特征进行解释，以发掘影响决策的重要特征；其中，解释决策树是从根节点开始，根据边的判断，转到下一个子集，直到走到叶节点，得到结果；这样这条路径下每一个条件用and相连接，这条路径就解释了对于整个样本基于特征的不同条件，得到最终决策的整个过程，实现决策的可解释；另一种是，通过可视化的方式，通过pd(partialdependence，部分依赖)图、ice(individualconditionalexpectation，个体条件期望图)图，的方案，发掘特征对于决策的贡献；其中，部分依赖图通过特征和预测结果的关系可视化实现可解释性，显示特征对先前模型预测结果的边际效应，并通过对其他特性的边缘化，得到仅依赖于目标特征的函数，示例：乳腺癌和怀孕次数，年龄的相关性等等；再一种是，通过lime(localinterpretablemodel-agnosticexplanations，局部可解释不可知模型)方法对特征进行局部解释；其中，局部可解释不可知模型使用简单模型对复杂模型的局部进行解释，主要方法为从原始数据集中选取部分构建新的数据集，并训练简单模型g，希望原始模型f与新模型g预测值之间的误差尽可能小，从而对选取的部分数据集合，用简单模型的决策实现可解释过程。[0062]但是，上述方案存在如下缺陷：[0063]在第一种方案中，只能说明特征在数据集中的重要程度，而实际使用深度学习模型建模之后，深度学习模型的内部决策过程和树模型的特征分析基本没有关联，存在断层。[0064]在第二中方案中，解释性依旧局限于特征层面，发掘特征的贡献程度依旧无法对深度学习的决策过程进行解释。[0065]在第三种方案中，虽然确实达到了一定的可解释性，但是局部的可解释应用场景比较窄，在一些实际场景比如医学诊断决策，需要全局的可解释性。[0066]基于此，本示例实施方式中首先提供了一种医疗辅助决策模型解释方法，该方法可以运行于服务器、服务器集群或云服务器等；当然，本领域技术人员也可以根据需求在其他平台运行本发明的方法，本示例性实施例中对此不做特殊限定。参考图1所示，该医疗辅助决策模型解释方法可以包括以下步骤：[0067]步骤s110.获取医疗辅助决策模型的输入数据以及与所述输入数据对应的数据预测结果，并根据所述输入数据中包括的子特征生成特征子集；[0068]步骤s120.对所述特征子集中包括的目标特征进行组合得到特征对，并对所述特征对中包括的各所述目标特征的特征值的值域进行挖掘，得到各所述目标特征的候选值域；[0069]步骤s130.对各所述目标特征的候选值域进行组合得到待融合值域，并将所述待融合值域融合至预设的初始规则库中与所述目标特征对应的当前值域中，得到目标规则库；其中，所述初始规则库是根据医学指南生成的；[0070]步骤s140.在所述目标规则库中对从所述输入数据至所述预测结果的决策路径进行匹配，并根据所述决策路径中所包括的目标规则，对所述医疗辅助决策模型的解释。[0071]上述医疗辅助决策模型解释方法中，一方面，通过获取医疗辅助决策模型的输入数据以及与输入数据对应的数据预测结果，并根据输入数据中包括的子特征生成特征子集；然后对特征子集中包括的目标特征进行组合得到特征对，并对特征对中包括的各目标特征的特征值的值域进行挖掘，得到各目标特征的候选值域；再对各目标特征的候选值域进行组合得到待融合值域，并将待融合值域融合至预设的初始规则库中与目标特征对应的当前值域中，得到目标规则库；最后在目标规则库中对从输入数据至预测结果的决策路径进行匹配，并根据决策路径中所包括的目标规则，对医疗辅助决策模型的解释，由于目标规则库中包括了充分的与输入数据对应的子特征以及特征对，以及与子特征以及子特征对对应的值域，同时，由于初始规则库是根据医学指南生成的，因此各特征都对应的存在有决策结果，进而可以从目标规则库中匹配与输入数据以及预测结果对应的目标规则，用以对医疗辅助决策模型进行解释，解决了现有技术中由于shap作为一个模型解释开发包，只提供通用的基础模型解释功能，不会对医疗辅助决策领域模型进行专门优化，因此会使得医疗辅助决策模型的可解释性较弱的问题；另一方面，由于目标规则库中包括了对特征子集进行组合所得到的所有可能出现的情况，且目标规则库中包括了从输入数据的子特征到决策结果这一过程中所有可能存在的路径，进而可以根据各路径中所包括的所有的子特征、特征对以及与其对应的值域对医疗辅助决策模型在训练过程中如何得到最终的预测结果的整体过程进行解释，解决了现有技术中由于shap解释性依旧局限于特征层面，发掘特征的贡献程度依旧无法对深度学习的决策过程进行解释，进一步的增强了医疗辅助决策模型的可解释性。[0072]以下，将结合附图对本发明示例实施例医疗辅助决策模型解释方法中包括的各步骤进行详细的解释以及说明。[0073]首先，对本发明示例实施例的发明目的进行解释以及说明。[0074]本发明的目的是希望从模型的决策结果入手，通过对现有知识或规则(医学指南)的扩充，一步一步扩充更多决策规则，将规则不断进行积累和组合，希望组合后的规则模型的决策不断逼近深度学习的决策平面，达到深度恶习模型可解释的目的。此处需要补充说明的是，本申请所涉及的医疗辅助决策模型的解释方法仅支持针对分类问题模型的解释，该分类问题可以是二分类，也可以是多分类；当然也可以将医疗辅助决策模型解释方法应用到其他场景中，例如风险评估场景等等，本示例对此不做特殊限制。[0075]其次，对步骤s110-步骤s140进行解释以及说明。具体的，为了对本发明示例实施例中所记载的医疗辅助决策模型解释方法进行更好的解释以及说明，本发明示例实施例以临床辅助决策系统中的依据肿瘤分期做治疗方案推荐为例，对涉及到的输入数据以及子特征、预测结果等进行解释说明，当然也适用于其他医疗方案，例如依据咳嗽、温度以及白细胞数量决策是否白血病等等，本示例对此不做特殊限制。[0076]在步骤s110中，获取医疗辅助决策模型的输入数据以及与所述输入数据对应的数据预测结果，并根据所述输入数据中包括的子特征生成特征子集。[0077]在本示例实施例中，首先，获取医疗辅助决策模型的输入数据(例如为患者的各项指标数据)以及与该数据如数据对应的数据预测结果(例如为具体的诊疗方案推荐)；然后，参考图2所示，根据输入数据中包括的子特征生成特征子集可以包括步骤s210以及步骤s220。其中：[0078]在步骤s210中，基于决策树模型计算所述输入数据中包括的子特征的重要性值，并根据所述重要性值的大小对所述子特征进行排序。[0079]在本示例实施例中，首先，根据每棵所述决策树中所包括的非叶子节点数量、和该决策树中与所述子特征对应的节点相关联的其他特征的数量以及与所述子特征对应的节点分裂之后的平方损失的减少值，计算所述子特征在每棵所述决策树中的重要性值；其次，对所述子特征在每棵所述决策树中的重要性值进行平均运算，得到所述输入数据中包括的子特征的重要性值。[0080]具体的，使用决策树模型训练肿瘤分期治疗方案推荐数据，以一个样本在模型的决策路径为例，展示决策树模型的决策过程。其中，模型经过训练后，可以获得完整的多节点多分叉的决策路径(完整的决策树，具体可以参考图3所示)；进一步的，可以通过计算每个子特征j在每颗树中的重要度的平均值，来获得每个特征的重要性程度；其中，每个子特征j在每颗树中的重要度的平均值的计算方法可以如下公式(1)所示：[0081][0082]其中，为第j个子特征的重要性值，m是树的数量，表示第j个子特征在第m棵决策树中的重要性值，其具体的计算方法可以参考如下公式(2)所示：[0083][0084]其中，l为第m棵决策树的叶子节点数量，l-1为树的非叶子节点数量，其中，树为具有左右孩子的二叉树；为与子特征对应的节点t分裂之后的平方损失的减少值，vt为与子特征对应的节点t相关联的其他特征的数量，j为预设参数，i(·)为指示函数，并且有：[0085][0086]进一步的，当得到输入数据中包括的子特征的重要性值以后，可以根据重要性值的大小对所述子特征进行排序。例如，在图3中，重要性最高的为t分期，其次为n分期、高危因素、低危因素等等，当然也可以是其他特征，本示例对此不做特殊限制。此处需要进一步补充说明的是，本发明示例实施例所列举的具体子特征仅起到示例性作用，并不代表真实的医疗信息。[0087]在步骤s220中，根据排序结果中包括的前预设数量个的子特征，生成所述特征子集。[0088]具体的，当得到排序结果以后，可以选取如前十个或者前15个子特征生成特征子集s；当然，如果所包括的所有子特征的数量未达到该预设数量，也可以根据实际需要自行选取，或者子特征的数量过多，也可以再继续增加该子特征的数量，本发明示例实施例对此不做特殊限制。通过该方法，可以在提高候选值域的计算效率，降低服务器的负担的情况下，还可以保证决策结果的准确率。[0089]在步骤s120中，对所述特征子集中包括的目标特征进行组合得到特征对，并对所述特征对中包括的各所述目标特征的特征值的值域进行挖掘，得到各所述目标特征的候选值域。[0090]在本示例实施例中，参考图4所示，对特征子集中包括的目标特征进行组合得到特征对，并对特征对中包括的各目标特征的特征值的值域进行挖掘，得到各目标特征的候选值域可以包括步骤s410以及步骤s420。其中：[0091]在步骤s410中，对所述特征子集中包括的目标特征进行任意的两两组合得到所述特征对；[0092]在步骤s420中，以所述特征对中包括的各所述目标特征的特征值的值域作为最大初始窗口，基于从大到小且每次比上一次缩小第一预设数值的方式，对所述目标特征的特征值的值域进行范围缩减，得到各所述目标特征的候选值域。[0093]以下，将对步骤s410以及步骤s420进行解释以及说明。具体的，首先，可以对特征子集s中所包括的目标特征进行任意的两两组合，得到多个特征对，当然，可以三个或者多个组合，本示例对此不做特殊限制。进一步的，选取两两组合中的一对组合，如f1以及f2，以f1以及f2特征对中包括的各目标特征的特征值的值域作为最大初始窗口，基于从大到小且每次比上一次缩小第一预设数值的方式，对目标特征的特征值的值域进行范围缩减，得到各目标特征的候选值域，具体可以如下所示：[0094]例如，f1的值域为[0,100]，f2的值域为[0,200]，通过从大到小的方式，每次按照百分之1(也可以根据自行需要选取其他第一预设数值)的范围缩减，获取规则挖掘的值域选取范围：[0095]第一次，选取fy1的值域集合加入[0,100]，fy2的值域集合加入[0,200]，[0096]第二次，窗口大小变为最大窗口的99％，得到的候选值域为：fy1加入[0,99]、[1,100]；fy2加入[0,198]、[1,199]、[2,200]；[0097]第三次，窗口大小变为最大窗口的98％，得到的候选值域为：fy1加入[0,99]、[1,99]、[2,100]；fy2加入[0,196]、[1,197]、[2,198]、[3,199]、[4,100]；[0098]以此类推，每次窗口都会比最大窗口缩减百分之一，并滑动得到对应特征的值域，加入特征子集s。由此可见，值域fy1和fy2都将会是一个很大的值域集合，其组合也将非常庞大。因此，组合后的规则模型(也即候选值域)的决策不断逼近深度学习的决策平面，达到深度恶习模型可解释的目的。[0099]此处需要补充说明的是，也可以通过二分查找的方式，每次寻找上次值域一半的范围进行遍历，或者其他的缩短值域的遍历方式，本示例对此不做特殊限制。同时，本发明示例实施例在效率和详尽的取舍中偏向挖掘详尽的规则，这也是例子中选取了2个特征作为组合的原因。[0100]在步骤s130中，对各所述目标特征的候选值域进行组合得到待融合值域，并将所述待融合值域融合至预设的初始规则库中与所述目标特征对应的当前值域中，得到目标规则库；其中，所述初始规则库是根据医学指南生成的。[0101]在本示例实施例中，参考图5所示，对各目标特征的候选值域进行组合得到待融合值域，并将待融合值域融合至预设的初始规则库中与目标特征对应的当前值域中，得到目标规则库可以包括步骤s510-步骤s530。其中：[0102]在步骤s510中，遍历各所述目标特征的候选值域，对各所述候选值域进行组合得到待融合值域；[0103]在步骤s520中，判断所述初始规则库中，通过所述待融合值域对与所述目标特征对应的当前值域融合后的值域对应的决策结果与所述预测结果一致的规则条数，在所述预测结果的总数中所占的比例是否大于预设阈值；[0104]在步骤s530中，若是，则利用所述待融合值域利用所述待融合值域更新所述初始规则库，得到所述目标规则库。[0105]以下，将对步骤s510-步骤s530进行解释以及说明。有了fy1和fy2的候选值域全集以及初始规则库kb以后，将从大到小遍历fy1和fy2，即选取的值域范围的大小，例如f1在fy1的遍历方式为[0,100]、[0,99]、[1,99]、[2,100]、[0,98]....而组合的遍历方式，即：[0106]for_fy1infy1：[0107]for_fy2infy2：[0108]dosimcompair(_fy1,_fy2,kb)[0109]通过simcompair的方式，即可以判断目前候选值域_fy1和_fy2是否可以在和kb叠加的作用下，使得决策结果和r的准确度(规则集成决策结果和r一致的条目数/r的总条目数)高于预设阈值t，如70％。若高于阈值t，则利用待融合值域更新初始规则库，得到目标规则库；若否，将需要继续遍历fy1和fy2，在更小的规则值域里寻找是否有更合适的候选。[0110]此处需要进一步补充说明的是，此处也可以使用精确度、召回率以及f1值作为是否可以进行融合的标准，本示例崔次不做特殊限制。[0111]进一步的，参考图6所示，利用所述待融合值域更新所述初始规则库，得到所述目标规则库可以包括步骤s610-步骤s630。其中：[0112]在步骤s610中，计算融合后的值域对应的决策结果与所述预测结果一致的规则条数中，预测结果为是所占的第一比例，以及预测结果为否所占的第二比例；[0113]在步骤s620中，在确定所述第一比例大于第二比例时，将融合后的值域对应的决策结果更新为是；[0114]在步骤s630中，在确定所述第二比例大于第一比例时，将融合后的值域对应的决策结果更新为否。[0115]以下，将对步骤s610-步骤s630进行解释以及说明。具体的，由于fy1和fy2和kb的融合就是简单的相加。即如果kb可以涵盖到的样本，直接kb输出决策，样本在fy1和fy2的范围内，那么将产生如下决策：决策的结果可以是任意分类，如原问题为0，1分类问题，那么若样本在fy1和fy2时，决策时将产生决策为0的结果和决策为1的结果。判断结果和r的准确度时，以这两类决策结果中更高的准确度来判断是否符合阈值要求；同时，也将赋予fy1和fy2对应的决策标签为更高准确度的结果对应的决策标签。需要补充说明的是，fy1和fy2和kb的融合中可能出现kb和fy1和fy2有交集的情况，因此，定义先使用kb进行决策，无法决策的区域再引入fy1和fy2；每次新规则挖掘和kb的融合，都相当于以kb为主体，用挖掘的规则进行补充。[0116]在步骤s140中，在所述目标规则库中对从所述输入数据至所述预测结果的决策路径进行匹配，并根据所述决策路径中所包括的目标规则，对所述医疗辅助决策模型的解释。[0117]在本示例实施例中，首先，提取所述输入数据中包括的子特征，并对所述子特征进行组合得到多个待匹配特征对；其次，从所述目标规则库中匹配与各所述待匹配特征对对应的初始规则，并从所述初始规则中筛选出决策结果与所述预测结果相同的目标规则；最后，根据所述目标规则中包括的子特征的值域，对所述医疗辅助决策模型进行解释。具体的，通过可以解释的一条一条规则，从而逼近神经网络模型的决策结果，对神经网络模型进行解释。[0118]以下，将结合图7对本发明示例实施例医疗辅助决策模型解释方法进行进一步的解释以及说明。参考图7所示，该医疗辅助决策模型解释方法可以包括以下步骤：[0119]步骤s710，获取数据集，使用深度学习模型得到决策结果r；[0120]步骤s720，利用医学指南，构建基础规则库kb；[0121]步骤s730，使用特征重要性分析方法，获取重要特征集合s；[0122]步骤s740，基于算法复杂度考量，选取s中特征的两两组合作为规则挖掘的特征范围；[0123]步骤s750，基于两两组合的特征，如f1以及f2，通过滑动窗口生成特征的候选至于集合fy1，fy2；[0124]步骤s760，通过fy1和fy2从大到小递减的方式进行组合，并将组合后的结果融合到kb和深度学习决策结果r判断相似程度；[0125]步骤s770，设定相似程度阈值，并判断相似程度是否大于该阈值；若是，跳转至步骤s780，若否，跳转至步骤s760；[0126]步骤s780，对kb进行更新得到目标规则库，对所需要的s内的特征组合重复步骤s760以及步骤s770，并再次更新规则库kb，汇总所有特征对组合对应的规则值域；其中，规则库中每一条规则都是对深度学习r决策的解释。[0127]最后需要补充说明的是，步骤s750中提到，特征的组合可以从s中不断选取，再进行后续的挖掘；步骤s770中也提到，融合方式为以kb为主体，用挖掘的规则进行补充，那么在进行上述步骤s760以及s770后，新挖掘的规则可以直接融合到kb中，形成新的kb。然后再重复使用新的特征组合继续挖掘，并融合进kb。此处可以遍历s的所有特征组合，也可以自行选取想要扩充的特征组合作为规则。最终形成的kb即为规则的集合，在不断地调整阈值t，或者扩充到挖掘三个特征，四个特征组合后，kb将无限逼近于神经网络的决策面。直观的二维表示可以如图8所示。其中，图8中的801斜线即为神经网络的超平面(降维到2维后即一条曲线，不断的扩充rule(规则)的数量，去不断通过叠加的规则1(802)、规则2(803)，规则3(804)，……，规则n来逼近斜线的决策平面，使用规则的集合来解释神经网络的决策，实现了对各种模型的解释。[0128]本发明示例实施例所提供的医疗辅助决策模型解释方法，一方面，通过可以解释的一条一条规则，不断进行规则的发掘和融合工作，从而逼近神经网络模型的决策结果，对神经网络模型进行解释。在现实场景的重要决策中，神经网络将可以合理地被解释，因此例如诊疗决策，风险评估等场景，深度学习才可以真正地被引入，每一条决策也将有迹可循，不再是玄学，有了真正让深度学习模型落地到更多场景的可能；另一方面，也解决了在前述第一种方案中，只能说明特征在数据集中的重要程度，而实际使用深度学习模型建模之后，深度学习模型的内部决策过程和树模型的特征分析基本没有关联，存在断层的问题；以及在前述第二中方案中，解释性依旧局限于特征层面，发掘特征的贡献程度依旧无法对深度学习的决策过程进行解释的问题；以及在前述第三种方案中，虽然确实达到了一定的可解释性，但是局部的可解释应用场景比较窄，在一些实际场景比如医学诊断决策，需要全局的可解释性的问题。[0129]本发明示例实施例还提供了一种医疗辅助决策模型解释装置。参考图9所示，该医疗辅助决策模型解释装置可以包括特征子集生成模块910、特征值挖掘模块920、值域融合模块930以及医疗辅助决策模型解释模块940。其中：[0130]特征子集生成模块910，可以用于获取医疗辅助决策模型的输入数据以及与所述输入数据对应的数据预测结果，并根据所述输入数据中包括的子特征生成特征子集；[0131]特征值挖掘模块920，可以用于对所述特征子集中包括的目标特征进行组合得到特征对，并对所述特征对中包括的各所述目标特征的特征值的值域进行挖掘，得到各所述目标特征的候选值域；[0132]值域融合模块930，可以用于对各所述目标特征的候选值域进行组合得到待融合值域，并将所述待融合值域融合至预设的初始规则库中与所述目标特征对应的当前值域中，得到目标规则库；其中，所述初始规则库是根据医学指南生成的；[0133]医疗辅助决策模型解释模块940，可以用于在所述目标规则库中对从所述输入数据至所述预测结果的决策路径进行匹配，并根据所述决策路径中所包括的目标规则，对所述医疗辅助决策模型的解释。[0134]在本公开的一种示例性实施例中，根据所述输入数据中包括的子特征生成特征子集，包括：[0135]基于决策树模型计算所述输入数据中包括的子特征的重要性值，并根据所述重要性值的大小对所述子特征进行排序；[0136]根据排序结果中包括的前预设数量个的子特征，生成所述特征子集。[0137]在本公开的一种示例性实施例中，基于决策树模型计算所述输入数据中包括的子特征的重要性值，包括：[0138]根据每棵所述决策树中所包括的非叶子节点数量、和该决策树中与所述子特征对应的节点相关联的其他特征的数量以及与所述子特征对应的节点分裂之后的平方损失的减少值，计算所述子特征在每棵所述决策树中的重要性值；[0139]对所述子特征在每棵所述决策树中的重要性值进行平均运算，得到所述输入数据中包括的子特征的重要性值。[0140]在本公开的一种示例性实施例中，对所述特征子集中包括的目标特征进行组合得到特征对，并对所述特征对中包括的各所述目标特征的特征值的值域进行挖掘，得到各所述目标特征的候选值域，包括：[0141]对所述特征子集中包括的目标特征进行任意的两两组合得到所述特征对；[0142]以所述特征对中包括的各所述目标特征的特征值的值域作为最大初始窗口，基于从大到小且每次比上一次缩小第一预设数值的方式，对所述目标特征的特征值的值域进行范围缩减，得到各所述目标特征的候选值域。[0143]在本公开的一种示例性实施例中，对各所述目标特征的候选值域进行组合得到待融合值域，并将所述待融合值域融合至预设的初始规则库中与所述目标特征对应的当前值域中，得到目标规则库，包括：[0144]遍历各所述目标特征的候选值域，对各所述候选值域进行组合得到待融合值域；[0145]判断所述初始规则库中，通过所述待融合值域对与所述目标特征对应的当前值域融合后的值域对应的决策结果与所述预测结果一致的规则条数，在所述预测结果的总数中所占的比例是否大于预设阈值；[0146]若是，则利用所述待融合值域更新所述初始规则库，得到所述目标规则库。[0147]在本公开的一种示例性实施例中，利用所述待融合值域更新所述初始规则库，得到所述目标规则库，包括：[0148]计算融合后的值域对应的决策结果与所述预测结果一致的规则条数中，预测结果为是所占的第一比例，以及预测结果为否所占的第二比例；[0149]在确定所述第一比例大于第二比例时，将融合后的值域对应的决策结果更新为是；[0150]在确定所述第二比例大于第一比例时，将融合后的值域对应的决策结果更新为否。[0151]在本公开的一种示例性实施例中，在所述目标规则库中对从所述输入数据至所述预测结果的决策路径进行匹配，并根据所述决策路径中所包括的目标规则，对所述医疗辅助决策模型的解释，包括：[0152]提取所述输入数据中包括的子特征，并对所述子特征进行组合得到多个待匹配特征对；[0153]从所述目标规则库中匹配与各所述待匹配特征对对应的初始规则，并从所述初始规则中筛选出决策结果与所述预测结果相同的目标规则；[0154]根据所述目标规则中包括的子特征的值域，对所述医疗辅助决策模型进行解释。[0155]上述医疗辅助决策模型装置中各模块的具体细节已经在对应的医疗辅助决策模型方法中进行了详细的描述，因此此处不再赘述。[0156]应当注意，尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本发明的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。[0157]此外，尽管在附图中以特定顺序描述了本发明中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。[0158]在本发明的示例性实施例中，还提供了一种能够实现上述方法的电子设备。[0159]所属
技术领域：
：的技术人员能够理解，本发明的各个方面可以实现为系统、方法或程序产品。因此，本发明的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。[0160]下面参照图10来描述根据本发明的这种实施方式的电子设备1000。图10显示的电子设备1000仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。[0161]如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030以及显示单元1040。[0162]其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1010执行，使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。例如，所述处理单元1010可以执行如图1中所示的步骤s110：获取医疗辅助决策模型的输入数据以及与所述输入数据对应的数据预测结果，并根据所述输入数据中包括的子特征生成特征子集；步骤s120：对所述特征子集中包括的目标特征进行组合得到特征对，并对所述特征对中包括的各所述目标特征的特征值的值域进行挖掘，得到各所述目标特征的候选值域；步骤s130：对各所述目标特征的候选值域进行组合得到待融合值域，并将所述待融合值域融合至预设的初始规则库中与所述目标特征对应的当前值域中，得到目标规则库；其中，所述初始规则库是根据医学指南生成的；步骤s140：在所述目标规则库中对从所述输入数据至所述预测结果的决策路径进行匹配，并根据所述决策路径中所包括的目标规则，对所述医疗辅助决策模型的解释。[0163]存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(ram)10201和/或高速缓存存储单元10202，还可以进一步包括只读存储单元(rom)10203。[0164]存储单元1020还可以包括具有一组(至少一个)程序模块10205的程序/实用工具10204，这样的程序模块10205包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。[0165]总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。[0166]电子设备1000也可以与一个或多个外部设备1100(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(lan)，广域网(wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。[0167]通过以上的实施方式的描述，本领域的技术人员易于理解，这里描述的示例实施方式可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本发明实施方式的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本发明实施方式的方法。[0168]在本发明的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本发明的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本发明各种示例性实施方式的步骤。[0169]根据本发明的实施方式的用于实现上述方法的程序产品，其可以采用便携式紧凑盘只读存储器(cd-rom)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本发明的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。[0170]所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。[0171]计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。[0172]可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、rf等等，或者上述的任意合适的组合。[0173]可以以一种或多种程序设计语言的任意组合来编写用于执行本发明操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如java、c++等，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(lan)或广域网(wan)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。[0174]此外，上述附图仅是根据本发明示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。[0175]本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其他实施例。本申请旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本
技术领域：
：中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由权利要求指出。当前第1页1 2 3 当前第1页1 2 3