一种评估预测模型的方法、装置、设备和可读存储介质与流程

1.本技术涉及模型评估的领域，具体而言，涉及一种评估预测模型的方法、装置、设备和可读存储介质。


背景技术：

2.目前，在人机对话中评估预测用户在某个项目中是否会转化的预测模型时，用到的主要是通过roc曲线的一些简单数据进行评估的。
3.上述基于roc曲线的一些简单数据进行模型评估存在很大的局限性，对一些业务提升指标是很难进行预测的，例如，转化率，导致很难准确的对预测模型进行评估。
4.因此，如何准确的对预测模型进行评估，是一个需要解决的技术问题。


技术实现要素：

5.本技术实施例的目的在于提供一种评估预测模型的方法，通过本技术的实施例的技术方案可以达到准确的对预测模型进行评估的效果。
6.第一方面，本技术实施例提供了一种评估预测模型的方法，包括，获取历史人机对话数据中多个用户通过目标项目时的转化用户比率和召回用户比率，其中，转化用户比率表示待评估预测模型预测转化的用户占多个用户的比例，召回用户比率表示待评估预测模型预测转化的用户中实际转化的用户占实际转化的用户的比例；根据转化用户比率和召回用户比率，确定待评估预测模型的roc曲线；根据roc曲线，对待评估预测模型进行评估。
7.本技术在上述实施例中，以转化用户比率和召回用户比率为变量确定预测目标项目的roc曲线，通过该曲线的特征可以准确的对预测模型进行评估，更能对预测模型预测的多个指标进行准确评估，可以达到准确的对预测模型进行评估的效果。
8.在一些实施例中，根据roc曲线，对待评估预测模型进行评估，包括：
9.计算roc曲线下方的面积，其中，roc曲线下方的面积小于等于1；
10.将roc曲线下方的面积和面积阈值进行比较，若roc曲线下方的面积大于面积阈值，则待评估预测模型为准确模型，若roc曲线下方的面积小于等于面积阈值，则待评估预测模型为不准确模型。
11.本技术在上述实施例中，通过roc曲线下方的面积和面积阈值进行比较可以准确的对预测模型进行评估，能够快速的判断预测模型是否标准。
12.在一些实施例中，在根据roc曲线，对待评估预测模型进行评估之后，还包括：
13.利用交叉验证集中的多个样本对待评估预测模型的预测结果进行验证，将多个样本按照转化用户比率由高到低的顺序进行排列，得到预测集合；
14.将预测集合中前n个样本对应的预测召回用户比率和实际召回用户比率进行比较，得到比较结果，其中，n为大于等于1的正整数；
15.根据比较结果对待评估预测模型的预测结果进行调整。
16.本技术在上述实施例中，通过转化用户比率较高的多个样本再次对模型结果进行
验证，可以对预测模型结果进行再次的调整，得到的结果更加准确。
17.在一些实施例中，根据比较结果对待评估预测模型的预测结果进行调整，包括：
18.若比较结果为预测召回用户比率大于实际召回用户比率，则对待评估预测模型的预测结果调低差值；
19.若比较结果为预测召回用户比率小于实际召回用户比率，则对待评估预测模型的预测结果调高差值。
20.本技术在上述实施例中，通过将预测召回用户比率和实际召回用户比率的比较可以对模型进行参数的调整，使模型最终调整为标准模型，预测用户是否转化时的结果更加准确。
21.在一些实施例中，获取历史人机对话数据中多个用户通过目标项目时的转化用户比率和召回用户比率，包括：
22.获取历史人机对话数据中多个用户通过目标项目时的预测转化用户和实际转化用户；
23.将预测转化用户和多个用户的比作为转化用户比率；
24.将预测转化用户中的实际转化用户占实际转化的用户的比作为召回用户比率。
25.本技术在上述实施例中，通过预测转化用户和实际转化用户可以确定转化用户比率和召回用户比率，同时可以用来确定roc曲线，进而通过roc曲线的一些特征准确的对预测模型进行预测。
26.在一些实施例中，根据转化用户比率和召回用户比率，确定待评估预测模型的roc曲线，包括：
27.获取不同转化用户比率的值对应的召回用户比率的值；
28.将不同转化用户比率的值和召回用户比率的值通过坐标表示并用曲线连接，得到roc曲线。
29.本技术在上述实施例中，通过转化用户比率和对应的召回用户比率的不同值，可以确定roc曲线，进而可以通过roc曲线的一些特征准确的对预测模型进行预测。
30.在一些实施例中，在根据roc曲线，对待评估预测模型进行评估之后，还包括：
31.获取当前用户通过目标项目时待评估预测模型的预测预测结果和实际转化结果；
32.利用预测预测结果和实际转化结果对待评估预测模型进行测试，得到测试结果；
33.根据测试结果对待评估预测模型进行调整，得到调整后的测试模型。
34.本技术在上述实施例中，通过对预测模型的不断调试，可以得到准确的预测模型，通过调整后的预测模型可以更准确的对用户在目标项目是否转化的结果进行预测。
35.第二方面，本技术实施例提供了一种评估预测模型的装置，包括：
36.可选的，所述装置还包括：
37.获取模块，用于获取历史人机对话数据中多个用户通过目标项目时的转化用户比率和召回用户比率，其中，转化用户比率表示待评估预测模型预测转化的用户占多个用户的比例，召回用户比率表示待评估预测模型预测转化的用户中实际转化的用户占实际转化的用户的比例；
38.确定模块，用于根据转化用户比率和召回用户比率，确定待评估预测模型的roc曲线；
39.评估模块，用于根据roc曲线，对待评估预测模型进行评估。
40.可选的，评估模块具体用于：
41.计算roc曲线下方的面积，其中，roc曲线下方的面积小于等于1；
42.将roc曲线下方的面积和面积阈值进行比较，若roc曲线下方的面积大于面积阈值，则待评估预测模型为准确模型，若roc曲线下方的面积小于等于面积阈值，则待评估预测模型为不准确模型。
43.可选的，所述装置还包括：
44.测试模块，用于所述评估模块在根据roc曲线，对待评估预测模型进行评估之后，利用交叉验证集中的多个样本对待评估预测模型的预测结果进行验证，将多个样本按照转化用户比率由高到低的顺序进行排列，得到预测集合；
45.将预测集合中前n个样本对应的预测召回用户比率和实际召回用户比率进行比较，得到比较结果，其中，n为大于等于1的正整数；
46.根据比较结果对待评估预测模型的预测结果进行调整。
47.可选的，测试模块具体用于：
48.若比较结果为预测召回用户比率大于实际召回用户比率，则对待评估预测模型的预测结果调低差值；
49.若比较结果为预测召回用户比率小于实际召回用户比率，则对待评估预测模型的预测结果调高差值。
50.可选的，获取模块具体用于：
51.获取历史人机对话数据中多个用户通过目标项目时的预测转化用户和实际转化用户；
52.将预测转化用户和多个用户的比作为转化用户比率；
53.将预测转化用户中的实际转化用户占实际转化的用户的比作为召回用户比率。
54.可选的，确定模块具体用于：
55.获取不同转化用户比率的值对应的召回用户比率的值；
56.将不同转化用户比率的值和召回用户比率的值通过坐标表示并用曲线连接，得到roc曲线。
57.可选的，所述装置还包括：
58.调整模块，用于所述评估模块在根据roc曲线，对待评估预测模型进行评估之后，获取当前用户通过目标项目时待评估预测模型的预测预测结果和实际转化结果；
59.利用预测预测结果和实际转化结果对待评估预测模型进行测试，得到测试结果；
60.根据测试结果对待评估预测模型进行调整，得到调整后的测试模型。
61.第三方面，本技术实施例提供一种电子设备，包括处理器以及存储器，所述存储器存储有计算机可读取指令，当所述计算机可读取指令由所述处理器执行时，运行如上述第一方面提供的所述方法中的步骤。
62.第四方面，本技术实施例提供一种可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时运行如上述第一方面提供的所述方法中的步骤。
63.本技术的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本技术实施例了解。本技术的目的和其他优点可通过在所写的说
明书、权利要求书、以及附图中所特别指出的结构来实现和获得。
附图说明
64.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
65.图1为本技术实施例提供的一种评估预测模型的方法的流程图；
66.图2为本技术实施例提供的一种roc曲线的示意图；
67.图3为本技术实施例提供的一种优化预测模型的方法的流程图；
68.图4为本技术实施例提供的一种评估预测模型的装置的示意框图；
69.图5为本技术实施例提供的一种评估预测模型的装置的结构示意框图。
具体实施方式
70.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。通常在此处附图中描述和显示出的本技术实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本技术的实施例的详细描述并非旨在限制要求保护的本技术的范围，而是仅仅表示本技术的选定实施例。基于本技术的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
71.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本技术的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
72.首先对本技术实施例中涉及的部分用语进行说明，以便于本领域技术人员理解。
73.auc：(area under curve)被定义为roc曲线下与坐标轴围成的面积，显然这个面积的数值不会大于1。
74.roc曲线：接受者操作特性曲线(receiver operating characteristic curve)，是指在特定刺激条件下，以被试在不同判断标准下所得的虚报概率p(y/n)为横坐标，以击中概率p(y/sn)为纵坐标，画得的各点的连线。
75.auuc：为uplift曲线和baseline的曲线下面积差。
76.本技术应用于模型评估的场景，具体场景为在人机对话时通过预测模型对用户在某个项目是否转化时，对预测模型进行评估。
77.但是在目前的人机对话中评估预测用户在某个项目中是否会转化的预测模型时，用到的主要是通过roc曲线的一些简单数据进行评估的。上述基于roc曲线的一些简单数据进行模型评估存在很大的局限性，对一些业务提升指标是很难进行预测的，例如，转化率，只能通过auc越大代表分类效果越好，但无法评估出到底能提升多少业务指标，recall(真正例比率)越高说明同样的资源下，得到的转化更高，或者通过auuc(面积差值)对预测模型进行评估。导致很难准确的对预测模型进行评估。
78.为此本技术通过获取历史人机对话数据中多个用户通过目标项目时的转化用户
比率和召回用户比率，其中，转化用户比率表示待评估预测模型预测转化的用户占多个用户的比例，召回用户比率表示待评估预测模型预测转化的用户中实际转化的用户占实际转化的用户的比例；根据转化用户比率和召回用户比率，确定待评估预测模型的roc曲线；根据roc曲线，对待评估预测模型进行评估。以转化用户比率和召回用户比率为变量确定预测目标项目的roc曲线，通过该曲线的特征可以准确的对预测模型进行评估，更能对预测模型预测的多个指标进行准确评估，可以达到准确的对预测模型进行评估的效果。
79.本技术实施例中，执行主体可以为评估预测模型系统中的评估预测模型设备，实际应用中，评估预测模型设备可以为终端设备和服务器等电子设备，在此不做限制。
80.下面结合图1对本技术实施例的评估预测模型的方法进行详细描述。
81.请参看图1，图1为本技术实施例提供的一种评估预测模型的方法的流程图，如图1所示的评估预测模型的方法包括：
82.步骤110：获取历史人机对话数据中多个用户通过目标项目时的转化用户比率和召回用户比率。
83.其中，转化用户比率表示待评估预测模型预测转化的用户占多个用户的比例，召回用户比率表示待评估预测模型预测转化的用户中实际转化的用户占实际转化的用户的比例。历史人机对话数据可以是目标项目中多个用户在和客服机器人对话的录音或者是用户的一些按键操作等。目标项目可以是一个业务，例如，销售行业中的一个产品的销售业务。转化的用户表示用户在进行某个业务时进行了再次了解的阶段，也可以说是对该业务比较感兴趣。预测转化的用户中实际转化的用户表示在模型预测转化的用户中也是实际转化的用户。其中，模型预测的准确率为实际转化用户占预测转化的用户的比例。
84.在本技术的一些实施例中，获取历史人机对话数据中多个用户通过目标项目时的转化用户比率和召回用户比率，包括：获取历史人机对话数据中多个用户通过目标项目时的预测转化用户和实际转化用户；将预测转化用户和多个用户的比作为转化用户比率；将预测转化用户中的实际转化用户占实际转化的用户的比作为召回用户比率。
85.本技术在上述过程中，通过预测转化用户和实际转化用户可以确定转化用户比率和召回用户比率，同时可以用来确定roc曲线，进而通过roc曲线的一些特征准确的对预测模型进行预测。
86.其中，转化用户比率也可以说是预测转化用户的比率，也就是说预测转化的用户占所有用户的比例。
87.步骤120：根据转化用户比率和召回用户比率，确定待评估预测模型的roc曲线。
88.在本技术的一些实施例中，根据转化用户比率和召回用户比率，确定待评估预测模型的roc曲线，包括：获取不同转化用户比率的值对应的召回用户比率的值；将不同转化用户比率的值和召回用户比率的值通过坐标表示并用曲线连接，得到roc曲线。
89.本技术在上述过程中，通过转化用户比率和对应的召回用户比率的不同值，可以确定roc曲线，进而可以通过roc曲线的一些特征准确的对预测模型进行预测。
90.其中，roc曲线(roc)在本技术汇总可以反映出用户在某个项目中转化的概率，同时也可以计算出转化率和转化比率等数据。
91.步骤130：根据roc曲线，对待评估预测模型进行评估。
92.在本技术的一些实施例中，根据roc曲线，对待评估预测模型进行评估，包括：计算
roc曲线下方的面积，其中，roc曲线下方的面积小于等于1；将roc曲线下方的面积和面积阈值进行比较，若roc曲线下方的面积大于面积阈值，则待评估预测模型为准确模型，若roc曲线下方的面积小于等于面积阈值，则待评估预测模型为不准确模型。
93.本技术在上述过程中，通过roc曲线下方的面积和面积阈值进行比较可以准确的对预测模型进行评估，能够快速的判断预测模型是否标准。
94.例如，比如转化率只有0.1％的这种极端情况，横坐标可以理解为转率最高的top转化用户比率，纵坐标是召回用户比率。现在有10000个用户，只有10个用户转化，对这批数据建模测算画出图2的roc图。
95.请参看图2，图2为本技术实施例提供的一种roc曲线的示意图，如图2所示的roc曲线例如：
96.根据不同的阈值，对模型预测的转化率排序，可以划分出对应预测的0-1(例如预测概率大于0.2就认为是转化取1，否则取0)，再对比实际是否转化的数据，可以计算出真正例比率(recall)，和真负例比率(specificity)。那么使用1-specificity作为横坐标，recall作为纵坐标画图，就能画出roc曲线，而auc则是roc曲线下方的面积，因此auc越大，说明预测的更准。横坐标包括，0、0.2、0.4、0.6、0.8和1，纵坐标包括，0、0.2、0.4、0.6、0.8和1。横坐标为0.2，纵坐标为0.7的这个点，可以理解为：预测转化率最高的20％的样本中，能召回70％的正例转化数据。
97.推导计算如下：横坐标＝1-负例的召回＝1-预测是不转化且实际不转化的/(实际不转化的)，约等于＝预测转化的/(实际不转化的)＝预测转化的/(9990+10)，约等于＝预测转化的/所有数据＝转率最高的top样本比率。纵坐标＝正例的召回＝预测是转化且实际转了的/实际转化的＝即我们常说的召回用户比率。由此可以计算出曲线的auc＝0.766，当设置面积阈值为0.7时，则可以评估该模型的预测效果比较准确。
98.在本技术的一些实施例中，在根据roc曲线，对待评估预测模型进行评估之后，图1所示的方法还包括：利用交叉验证集中的多个样本对待评估预测模型的预测结果进行验证，将多个样本按照转化用户比率由高到低的顺序进行排列，得到预测集合；
99.将预测集合中前n个样本对应的预测召回用户比率和实际召回用户比率进行比较，得到比较结果，其中，n为大于等于1的正整数；
100.根据比较结果对待评估预测模型的预测结果进行调整。
101.本技术在上述过程中，通过转化用户比率较高的多个样本再次对模型预测结果进行验证，可以对预测模型的预测结果进行再次的调整，可以使最终的预测结果更加准确。
102.在本技术的一些实施例中，根据比较结果对待评估预测模型的预测结果进行调整，包括：若比较结果为预测召回用户比率大于实际召回用户比率，则对待评估预测模型的预测结果调低差值；若比较结果为预测召回用户比率小于实际召回用户比率，则对待评估预测模型的预测结果调高差值。
103.本技术在上述过程中，通过将预测召回用户比率和实际召回用户比率的比较可以对模型进行参数的调整，使模型最终调整为标准模型，预测用户是否转化时的结果更加准确。
104.在本技术的一些实施例中，在根据roc曲线，对待评估预测模型进行评估之后，图1所示的方法还包括：获取当前用户通过目标项目时待评估预测模型的预测预测结果和实际
转化结果；利用预测预测结果和实际转化结果对待评估预测模型进行测试，得到测试结果；根据测试结果对待评估预测模型进行调整，得到调整后的测试模型。
105.本技术在上述过程中，通过对预测模型的不断调试，可以得到准确的预测模型，通过调整后的预测模型可以更准确的对用户在目标项目是否转化的结果进行预测。
106.在上述图1所示的过程中，本技术通过获取历史人机对话数据中多个用户通过目标项目时的转化用户比率和召回用户比率，其中，转化用户比率表示待评估预测模型预测转化的用户占多个用户的比例，召回用户比率表示待评估预测模型预测转化的用户中实际转化的用户占实际转化的用户的比例；根据转化用户比率和召回用户比率，确定待评估预测模型的roc曲线；根据roc曲线，对待评估预测模型进行评估。以转化用户比率和召回用户比率为变量确定预测目标项目的roc曲线，通过该曲线的特征可以准确的对预测模型进行评估，更能对预测模型预测的多个指标进行准确评估，可以达到准确的对预测模型进行评估的效果。
107.下面结合图3对本技术实施例的优化预测模型的方法进行详细描述。
108.请参看图3，图3为本技术实施例提供的一种优化预测模型的方法的流程图，如图3所示的优化预测模型的方法包括：
109.步骤310：利用测试集中的多个样本对待评估预测模型进行测试。
110.具体的：将多个样本按照转化用户比率由高到低的顺序进行排列，得到预测集合；将预测集合中前n个样本对应的预测召回用户比率和实际召回用户比率进行比较，得到比较结果，其中，n为大于等于1的正整数。
111.例如，按照预测的转化用户比例从高到低排序，按照当下业务的干预比例x，选择前x的比例的样本，假设为m个，剩余n个样本。
112.步骤320：将预测集合中前n个样本对应的预测的用户转化率和实际的用户转化率进行比较，得到比较结果。
113.具体的：根据比较结果对待评估预测模型进行调整，直到预测的用户转化率和实际的用户转化率相同为止。
114.例如，预估转化＝缩放校正后的，m的y求和+n的y求和在测试集中，根据预测的y和实际的y做对比，例如预测偏高10％，那么实际给样本的效果预估就缩10％。
115.其中，预测的用户转化率＝预测的转化数/n，实际的用户转化率＝实际的转化数/n。
116.步骤330：预估预测模型提升效果。
117.具体的：计算模型效果提升的比例。
118.例如，提升比例＝预测转化用户/实际转化用户-1。例如，总人数435816人，实际召回用户1442人，预测召回1442人，预测转化1665人，则实际转化率为0.33％，预测转化率0.382％，相对提升转化率15.465％。
119.此外，图3所示的方法和步骤可参看图1所示的方法，此处不在过多赘述。
120.前文通过图1-图3描述了评估预测模型的方法，下面结合图4-图5描述评估预测模型的装置。
121.请参照图4，为本技术实施例中提供的一种评估预测模型的装置400的示意框图，该装置400可以是电子设备上的模块、程序段或代码。该装置400与上述图1方法实施例对
应，能够执行图1方法实施例涉及的各个步骤，该装置400具体的功能可以参见下文中的描述，为避免重复，此处适当省略详细描述。
122.可选的，所述装置400包括：
123.获取模块410，用于获取历史人机对话数据中多个用户通过目标项目时的转化用户比率和召回用户比率，其中，转化用户比率表示待评估预测模型预测转化的用户占多个用户的比例，召回用户比率表示待评估预测模型预测转化的用户中实际转化的用户占实际转化的用户的比例；
124.确定模块420，用于根据转化用户比率和召回用户比率，确定待评估预测模型的roc曲线；
125.评估模块430，用于根据roc曲线，对待评估预测模型进行评估。
126.可选的，评估模块具体用于：
127.计算roc曲线下方的面积，其中，roc曲线下方的面积小于等于1；将roc曲线下方的面积和面积阈值进行比较，若roc曲线下方的面积大于面积阈值，则待评估预测模型为准确模型，若roc曲线下方的面积小于等于面积阈值，则待评估预测模型为不准确模型。
128.可选的，所述装置还包括：
129.测试模块，用于所述评估模块在根据roc曲线，对待评估预测模型进行评估之后，利用交叉验证集中的多个样本对待评估预测模型的预测结果进行验证，将多个样本按照转化用户比率由高到低的顺序进行排列，得到预测集合；将预测集合中前n个样本对应的预测召回用户比率和实际召回用户比率进行比较，得到比较结果，其中，n为大于等于1的正整数；根据比较结果对待评估预测模型的预测结果进行调整。
130.可选的，测试模块具体用于：
131.若比较结果为预测召回用户比率大于实际召回用户比率，则对待评估预测模型的预测结果调低差值；若比较结果为预测召回用户比率小于实际召回用户比率，则对待评估预测模型的预测结果调高差值。
132.可选的，获取模块具体用于：
133.获取历史人机对话数据中多个用户通过目标项目时的预测转化用户和实际转化用户；将预测转化用户和多个用户的比作为转化用户比率；将预测转化用户中的实际转化用户占实际转化的用户的比作为召回用户比率。
134.可选的，确定模块具体用于：
135.获取不同转化用户比率的值对应的召回用户比率的值；将不同转化用户比率的值和召回用户比率的值通过坐标表示并用曲线连接，得到roc曲线。
136.可选的，所述装置还包括：
137.调整模块，用于所述评估模块在根据roc曲线，对待评估预测模型进行评估之后，获取当前用户通过目标项目时待评估预测模型的预测预测结果和实际转化结果；利用预测预测结果和实际转化结果对待评估预测模型进行测试，得到测试结果；根据测试结果对待评估预测模型进行调整，得到调整后的测试模型。
138.请参照图5为本技术实施例中提供的一种评估预测模型的装置的结构示意框图，该装置可以包括存储器510和处理器520。可选的，该装置还可以包括：通信接口530和通信总线540。该装置与上述图1方法实施例对应，能够执行图1方法实施例涉及的各个步骤，该
装置具体的功能可以参见下文中的描述。
139.具体的，存储器510，用于存储计算机可读指令。
140.处理器520，用于处理存储器存储的可读指令，能够执行图1方法中的各个步骤。
141.通信接口530，用于与其他节点设备进行信令或数据的通信。例如：用于与服务器或者终端的通信，或者与其它设备节点进行通信，本技术实施例并不限于此。
142.通信总线540，用于实现上述组件直接的连接通信。
143.其中，本技术实施例中设备的通信接口530用于与其他节点设备进行信令或数据的通信。存储器510可以是高速ram存储器，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。存储器510可选的还可以是至少一个位于远离前述处理器的存储装置。存储器510中存储有计算机可读取指令，当所述计算机可读取指令由所述处理器520执行时，电子设备执行上述图1所示方法过程。处理器520可以用于装置400上，并且用于执行本技术中的功能。示例性地，上述的处理器520可以是通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，本技术实施例并不局限于此。
144.本技术实施例还提供一种可读存储介质，所述计算机程序被处理器执行时，执行如图1所示方法实施例中电子设备所执行的方法过程。
145.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的装置的具体工作过程，可以参考前述方法中的对应过程，在此不再过多赘述。
146.综上所述，本技术实施例提供一种评估预测模型的方法、装置、电子设备和可读存储介质，该方法包括，获取历史人机对话数据中多个用户通过目标项目时的转化用户比率和召回用户比率，其中，转化用户比率表示待评估预测模型预测转化的用户占多个用户的比例，召回用户比率表示待评估预测模型预测转化的用户中实际转化的用户占实际转化的用户的比例；根据转化用户比率和召回用户比率，确定待评估预测模型的roc曲线；根据roc曲线，对待评估预测模型进行评估。通过该方法可以达到准确的对预测模型进行评估的效果。
147.在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
148.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
149.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
150.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
151.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。因此，本技术的保护范围应所述以权利要求的保护范围为准。
152.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。