一种AI模型可靠性判断方法、装置、设备及存储介质与流程

一种ai模型可靠性判断方法、装置、设备及存储介质
技术领域
1.本发明涉及人工智能技术领域，更具体地说，涉及一种ai模型可靠性判断方法、装置、设备及存储介质。


背景技术：

2.随着近年来ai(人工智能)技术的不断发展和崛起，大量的领域开始使用ai技术，如车牌识别、人脸识别、医学辅助诊断等。与传统技术相比，ai模型以高准确性和易操作性而被广泛使用；给定一个输入，ai模型通常可以快速准确的给出结果，并且有相当一部分任务中已经超越了人类的识别水平。
3.然而，大量的优秀的ai模型的决策原理是人类不可理解的黑盒，这给ai技术的使用带来了潜在的风险。具体来说，当使用ai模型进行医学辅助诊断时，考虑到ai模型的决策原理是一个黑盒，ai模型的好坏通常是无法实现有效准确的评价的，进而导致使用ai模型来进行医学辅助诊断有非常大的风险。


技术实现要素：

4.本发明的目的是提供一种ai模型可靠性判断方法、装置、设备及存储介质，能够实现对ai模型的准确评价，进而有效降低使用ai模型来进行医学辅助诊断的风险。
5.为了实现上述目的，本发明提供如下技术方案：
6.一种ai模型可靠性判断方法，包括：
7.获取全部病例集合，依次确定用于训练ai模型的每个病例为当前病例，通过多次随机改变当前病例中包含的特征数据得到相应的多个采样样本，并利用所述ai模型获取每个所述采样样本的诊断结果；
8.利用每个所述采样样本及相应的诊断结果对机器学习模型进行训练，并在训练完成后基于所述机器学习模型的可解释性，确定表示所述ai模型获取当前病例的诊断结果的依据为依据信息；
9.如果全部病例集合中所述依据信息合理的病例数量达到数量阈值，则确定所述ai模型可靠。
10.优选的，确定所述ai模型可靠之后，还包括：
11.基于全部病例集合中每个病例分别对应的依据信息，确定每预设数量个病例的依据信息中存在的交集的部分均为医学知识，以供学习及使用。
12.优选的，还包括：
13.每经过预设时间段则执行依次确定用于训练ai模型的每个病例为当前病例的步骤。
14.优选的，依次确定用于训练ai模型的每个病例为当前病例之后，还包括：
15.将当前病例中包含的全部特征数据均处理为相应的数值。
16.优选的，利用每个所述采样样本及相应的诊断结果对机器学习模型进行训练，包
括：
17.利用每个所述采样样本及相应的诊断结果对线性回归算法或者决策树算法进行训练。
18.优选的，确定每预设数量个病例的依据信息中存在的交集的部分均为医学知识之后，还包括：
19.将所述医学知识推送至与每个相应医护人员对应的医疗处理端，以供各医护人员远程获取所述医学知识。
20.优选的，确定当前病例的依据信息是否合理，包括：
21.将当前病例的依据信息以及表示依据信息是否合理的选项进行输出；
22.如果外界选择的选项表示依据信息合理，则确定当前病例的依据信息合理，否则，确定当前病例的依据信息不合理。
23.一种ai模型可靠性判断装置，包括：
24.获取模块，用于：获取全部病例集合，依次确定用于训练ai模型的每个病例为当前病例，通过多次随机改变当前病例中包含的特征数据得到相应的多个采样样本，并利用所述ai模型获取每个所述采样样本的诊断结果；
25.分析模块，用于：利用每个所述采样样本及相应的诊断结果对机器学习模型进行训练，并在训练完成后基于所述机器学习模型的可解释性，确定表示所述ai模型获取当前病例的诊断结果的依据为依据信息；
26.确定模块，用于：如果全部病例集合中所述依据信息合理的病例数量达到数量阈值，则确定所述ai模型可靠。
27.一种ai模型可靠性判断设备，包括：
28.存储器，用于存储计算机程序；
29.处理器，用于执行所述计算机程序时实现如上任一项所述ai模型可靠性判断方法的步骤。
30.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述ai模型可靠性判断方法的步骤。
31.本发明提供了一种ai模型可靠性判断方法、装置、设备及存储介质，该方法包括：获取全部病例集合，依次确定用于训练ai模型的每个病例为当前病例，通过多次随机改变当前病例中包含的特征数据得到相应的多个采样样本，并利用所述ai模型获取每个所述采样样本的诊断结果；利用每个所述采样样本及相应的诊断结果对机器学习模型进行训练，并在训练完成后基于所述机器学习模型的可解释性，确定表示所述ai模型获取当前病例的诊断结果的依据为依据信息；如果全部病例集合中所述依据信息合理的病例数量达到数量阈值，则确定所述ai模型可靠。本技术中针对训练ai模型的每个病例，可以通过多次改变病例中的任意特征数据得到相应的多个采样样本，利用多个采样样本及利用ai模型得到的采样样本的诊断结果对机器学习模型进行训练，在训练完成后基于机器学习模型的可解释性确定ai模型基于相应病例得到诊断结果的依据，从而在依据合理的病例数量较多时认为ai模型是可靠的，并利用该ai模型进行医学诊断，否则认为ai模型不可靠，无法利用该ai模型进行医学诊断。可见，本技术通过机器学习模型的可解释性得到ai模型基于训练所用每个病例得到相应诊断结果的依据，进而通过判断每个病例对应依据的合理性实现对ai模型的
准确评价，进而有效降低使用ai模型来进行医学辅助诊断的风险。
附图说明
32.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
33.图1为本发明实施例提供的一种ai模型可靠性判断方法的流程图；
34.图2为本发明实施例提供的一种ai模型可靠性判断方法的实现框架图；
35.图3为本发明实施例提供的一种ai模型可靠性判断装置的结构示意图。
具体实施方式
36.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
37.请参阅图1，其示出了本发明实施例提供的一种ai模型可靠性判断方法的流程图，可以包括：
38.s11：获取全部病例集合，依次确定用于训练ai模型的每个病例为当前病例，通过多次随机改变当前病例中包含的特征数据得到相应的多个采样样本，并利用ai模型获取每个采样样本的诊断结果。
39.本技术中的ai模型具体为用于实现医学诊断的模型，可以预先利用病例及为病例标注的诊断结果进行训练得到相应的ai模型，进而将需要实现医学诊断的病例输入至该ai模型中，该ai模型即可给出相应的诊断结果；具体来说，对于任意的ai模型，假设其输入为病例x，输出为f(x)，通过f(x)可以得到该ai模型的预测结果(比如该病例是阳性病例还是阴性病例的预测)，其中，f(x)的作用机理可以是完全黑盒的，也即无法获知该ai模型基于病例得到相应诊断结果的依据。
40.病例具体可以包括对就医人员进行血液检测、尿液检测等检测所得的数据(也即为特征数据)，而诊断结果则可以为基于病例确定的病例是阳性病例还是阴性病例，或者某项指标少、中、高等诊断结果；本技术实施例中如果需要针对某项诊断结果进行研究，则仅需确定用于训练ai模型的每个该项诊断结果的全部病例集合中每个病例为当前病例，在一种具体方式中仅需要针对阳性病例这一诊断结果进行研究，则仅需确定训练ai模型所用病例中诊断结果为阳性病例的病例为当前病例，从而提高病例研究的针对性及准确性。例如：一个血液检测数据为x(其包含相应的一个病例的所有血检信息)，x中包括数值型数据，例如白细胞水平为100，包含定性类型数据，例如血小板数量为少，另外包含一些检测时间、检测机器型号等类别数据；通过这些数据训练一个专门的神经网络或者其他黑盒模型f(x)作为ai模型达到一个非常良好的预测效果。
41.对于确定出的任意的当前病例来说，本技术实施例可以通过改变当前病例中包含的任意特征数据得到相应的采样样本，进而通过多次改变当前病例中包含的任意特征数据
得到相应的多个采样样本，将每个采样样本分别输入至ai模型中，即可得到该采样样本的诊断结果，进而将这些采样样本及相应的诊断结果用于研究ai模型基于当前病例得到相应诊断结果。其中，在改变当前病例中包含的任意特征数据得到相应采样样本时，可以是随机改变当前病例中包含的一个特征数据，也可以是随机改变当前病例中包含的多个特征数据，均在本发明的保护范围之内。
42.s12：利用每个采样样本及相应的诊断结果对机器学习模型进行训练，并在训练完成后基于机器学习模型的可解释性，确定表示ai模型获取当前病例的诊断结果的依据为依据信息。
43.利用通过对当前病例中任意的特征数据进行改变得到的多个采样样本，以及与每个采样样本对应的诊断结果进行机器学习模型的训练，进而在训练完成后基于机器学习模型的可解释性，可获知机器学习模型基于每个采样样本得到相应诊断结果的依据，进而对每个采样样本得到相应诊断结果的依据进行综合分析，即可确定出基于当前病例得到相应诊断结果的依据，并将该依据作为需要分析合理性的依据信息。其中，机器学习模型的可解释性与现有技术中对应概念的原理相同，也即通过对机器学习模型做出决策的原理进行分析，得到其做出决策的依据。
44.另外，基于采样样本或者当前病例得到相应诊断结果的依据，可以理解为是由于采样样本或者当前病例中包含了怎样的特征数据，导致其存在相应的诊断结果；例如：训练完成的机器学习模型给出的依据为【白细胞水平大于100】的都是阳性病例，那么由此可认为当前病例被判断为阳性病例的依据就是白细胞水平过高，如果这是事实则说明其是合理的，但是如果给出的依据与事实相悖，比如说早上检测的病例都是阳性病例，中午检测的病例都是阴性病例，那么说明其并不合理，相应的ai模型是不可信任的。利用这种方式，可以为任意黑盒模型ai模型添加每一次决策的解释，并且通过这些决策的解释，可以判断ai模型是否是可信任的。
45.s13：如果全部病例集合中依据信息合理的病例数量达到数量阈值，则确定ai模型可靠，并利用ai模型实现医学诊断，否则，确定ai模型不可靠，并禁止利用ai模型实现医学诊断。
46.其中，数量阈值可以根据实际需要进行设定；如果确定的全部当前病例中依据信息合理的当前病例的数量达到数量阈值，也即依据信息合理的当前病例的数量占全部当前病例中的绝大部分，则说明ai模型基于当前病例得到相应诊断结果的依据是对的，也即ai模型是可靠的，因此可以利用ai模型实现医学诊断，也即将需要实现医学诊断的病例输入至ai模型中，得到ai模型输出的对该病例的诊断结果，否则，说明ai模型基于当前病例得到相应诊断结果的依据可能是错误的，因此禁止利用ai模型实现医学诊断，从而实现对ai模型的有效评估，进而保证利用ai模型实现医学诊断时的有效性及可靠性。
47.本技术中针对训练ai模型的每个病例，可以通过多次改变病例中的任意特征数据得到相应的多个采样样本，利用多个采样样本及利用ai模型得到的采样样本的诊断结果对机器学习模型进行训练，在训练完成后基于机器学习模型的可解释性确定ai模型基于相应病例得到诊断结果的依据，从而在依据合理的病例数量较多时认为ai模型是可靠的，并利用该ai模型进行医学诊断，否则认为ai模型不可靠，无法利用该ai模型进行医学诊断。可见，本技术通过机器学习模型的可解释性得到ai模型基于训练所用每个病例得到相应诊断
结果的依据，进而通过判断每个病例对应依据的合理性实现对ai模型的准确评价，进而有效降低使用ai模型来进行医学辅助诊断的风险。
48.本发明实施例提供的一种ai模型可靠性判断方法，确定ai模型可靠之后，还可以包括：
49.基于全部病例集合中每个病例分别对应的依据信息，确定每预设数量个病例的依据信息中存在的交集的部分均为医学知识，以供学习及使用。
50.其中，预设数量可以根据实际需要进行设定；确定ai模型可靠，也即为确定ai模型基于任意病例得到相应诊断结果的依据是正确的，基于此，本技术实施例可以利用基于每个当前病例得到相应诊断结果的全部依据中，得到包含于较多依据中的信息作为相应的医学知识，也即为确定同时包含于预设数量个病例对应依据中的信息为医学知识(例如多个病例的依据中都表明某一项指标(如白细胞水平)大于某一个阈值t，就会被判断为阳性病例，那么“白细胞水平>t”这一个规则可能是该疾病诊断的重要知识，因此将该规则作为医学知识进行提取)，从而从已有的ai模型和病例中凝练出可理解的相关病理知识，以供后续学习、使用等操作，从而可以帮助医生发现或者改进现有的医学认知，以及快速提升年轻医生的诊断能力甚至是医学内的行业认知。
51.本发明实施例提供的一种ai模型可靠性判断方法，还可以包括：
52.每经过预设时间段则执行依次确定用于训练ai模型的每个病例为当前病例的步骤。
53.其中，预设时间段可以根据实际需要进行设定，如一个月、半年等；为了使得ai模型能够符合日新月异的医学水平，本技术实施例中每经过预设时间段则可以重新执行对ai模型的可靠性进行判断的相应步骤，从而进一步保证基于ai模型实现医学诊断的有效性及准确性。
54.本发明实施例提供的一种ai模型可靠性判断方法，依次确定用于训练ai模型的每个病例为当前病例之后，还包括：
55.将当前病例中包含的全部特征数据均处理为相应的数值。
56.为了便于实现对机器学习模型的训练，本技术实施例中可以将当前病例中的全部特征数据均处理为相应的数值，然后通过对这些数值的改变(如上下浮动等)得到相应的采样样本。具体来说，对于当前病例全部特征数据中欧的数值型数据，可以直接复制其内容，对于定性类型数据，比如少、中、高一一对应的分别用1、2、3替代，对于类别型数据，一些无关类别可以丢弃(比如病人id等)，有关类别(比如用药历史等)可以用已有的encoder方法编码成相应的数值(利用encoder方法将类别型数据编码成相应数值与现有技术中对应技术方案实现原理相同，在此不再赘述)。
57.本发明实施例提供的一种ai模型可靠性判断方法，利用每个采样样本及相应的诊断结果对机器学习模型进行训练，可以包括：
58.利用每个采样样本及相应的诊断结果对线性回归算法或者决策树算法进行训练。
59.本技术实施例中的机器学习模型可以采用线性回归算法或者决策树算法等，而线性回归算法和决策树算法可以不经改变地直接得到解释，因此本技术可以利用这些算法的优点，有效实现相应依据的获取；当然根据实际需要进行的其他设定，也均在本发明的保护范围之内。
60.本发明实施例提供的一种ai模型可靠性判断方法，确定每预设数量个病例的依据信息中存在的交集的部分均为医学知识之后，还可以包括：
61.将医学知识推送至与每个相应医护人员对应的医疗处理端，以供各医护人员远程获取医学知识。
62.为了便于医护人员对医学知识的远程获取，本技术实施例可以将医学知识推送至与每个需要医学知识的医护人员对应的设备终端(也即医疗处理端)；还可以将医学知识均存储至统一的可供相应医护人员访问的数据库中，从而便于实现对医学知识的统一管理。
63.本发明实施例提供的一种ai模型可靠性判断方法，确定当前病例的依据信息是否合理，可以包括：
64.将当前病例的依据信息以及表示依据信息是否合理的选项进行输出；
65.如果外界选择的选项表示依据信息合理，则确定当前病例的依据信息合理，否则，确定当前病例的依据信息不合理。
66.本技术实施例中对于依据是否合理的判断可以由有丰富经验的医护人员实现，从而可以保证判断准确性。具体来说，可以将当前病例的依据及不表示依据是否合理的选项进而输出，医护人员在判断出依据是否合理后选择相应的选项，进而点击该选项，而被外界点击的选项表示的信息(是否合理)也即为对当前病例的依据是否合理的判断结果。
67.在一种具体实现方式中，本发明实施例提供的一种ai模型可靠性判断方法的实现框架可以如图2所示(其中的样本即为病例，阳性样本、阳性病例、阳性病例样本的含义均相同，可解释信息即为依据信息，病例数据集即为包含全部病例的数据的集合，阳性病例样本集合即为包含全部阳性病例的集合，标签集合即为包含表示相应诊断结果的标签的集合)，具体可以包括：
68.1)对于任意用于医疗诊断的ai模型，假设其输入为病例x，输出为f(x)，通过f(x)可以得到该ai模型的预测结果(比如该病例是阳性病例还是阴性病例的预测，也即为诊断结果)，其中f(x)的作用机理可以是完全黑盒的。
69.例如一个血液检测数据x(其包含一个病例的所有血检信息)，x中包括数值型数据，例如白细胞水平为100，包含定性类型数据，比如血小板数量为少，另外包含一些检测时间、检测机器型号等类别数据。通过这些数据，训练一个专门的神经网络或者其他黑盒模型f(x)作为ai模型达到非常良好的预测效果。
70.2)收集训练数据中所有的阳性病例，记为x
+
，并且构建其对应的可解释数据集z
+
。一个可能的构建方法是，对于数值型数据，直接复制其内容，对于定性类型数据，比如少、中、高分别用1、2、3替代，对于类别型数据，一些无关类别可以丢弃(比如病人id等)，有关类别(比如用药历史等)可以用已有的encoder方法编码成相应竖直。然后，在z
+
上定义可解释机器学习模型g，如线性回归，决策树等，而线性回归和决策树可以不经改变地直接得到解释，最终通过可解释机器学习模型g来得到整个模型f做出决策的解释。
71.具体地，对x
+
中的每一个病例(如x
+
中有m个样本，则i＝{1，2，...，m})，在其周围采样n个样本作为采样样本其中采样的方式可以随机改变其中的某一个特征数据或者改变某几个特征数据，然后根据这些采样样本生成对应的可解释样本利用上述样本和已有的ai模型构建训练集再在此基础上训练可解释
机器学习模型g
i
。通过g
i
的解释性可以获取ai模型f(x)将判断为病例的依据。例如g
i
是决策树且深度为1，那么利用数据集训练完成的决策树可能给出的规则为【白细胞水平大于100】的都是阳性病例，那么由此认为当前的样本病例被f判断为阳性病例的依据就是白细胞水平过高。由此医生可以快速判断该ai模型是否是可信任的(如果给出的依据与事实相悖，比如说早上检测的病例都是阳性，中午检测的都是阴性，那么该ai模型应该是不可信任的)。利用这种方式，可以为任意黑盒模型f添加每一次决策的解释，并且通过这些决策的解释，可以判断f模型是否是可信任的。
72.3)当获取了x
+
中的每一个病例的可解释机器学习模型g
i
之后，可以利用这些可解释机器学习模型，取交集浓缩一套知识规则(即医学知识，例如每一个g
i
都表明某一项指标(如白细胞水平)大于某一个阈值t，就会被判断为阳性病例，那么“白细胞水平>t”这一个规则可能是该疾病诊断的重要知识)
73.可见，本技术能够增加或者提升已有ai模型的可解释性，进而确定该ai模型的可信任度；能够对每一次的ai模型诊断给出解释；能够从已有的ai模型和病例中凝练出可理解的相关病理知识。
74.本发明实施例还提供了一种ai模型可靠性判断装置，如图3所示，具体可以包括：
75.获取模块11，用于：获取全部病例集合，依次确定用于训练ai模型的每个病例为当前病例，通过多次随机改变当前病例中包含的特征数据得到相应的多个采样样本，并利用ai模型获取每个采样样本的诊断结果；
76.分析模块12，用于：利用每个采样样本及相应的诊断结果对机器学习模型进行训练，并在训练完成后基于机器学习模型的可解释性，确定表示ai模型获取当前病例的诊断结果的依据为依据信息；
77.确定模块13，用于：如果全部病例集合中依据信息合理的病例数量达到数量阈值，则确定ai模型可靠。
78.本发明实施例还提供了一种ai模型可靠性判断设备，可以包括：
79.存储器，用于存储计算机程序；
80.处理器，用于执行计算机程序时实现如上任一项ai模型可靠性判断方法的步骤。
81.本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时可以实现如上任一项ai模型可靠性判断方法的步骤。
82.需要说明的是，本发明实施例提供的一种ai模型可靠性判断装置、设备及存储介质中相关部分的说明请参见本发明实施例提供的一种ai模型可靠性判断方法中对应部分的详细说明，在此不再赘述。另外，本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。
83.对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的
范围。