本技术涉及人工智能,尤其涉及一种模型筛选方法和装置、电子设备及存储介质。
背景技术:
1、目前,根据历史数据选择合适的模型进行未知数据预测或者数据拟合时,例如在水泥产能预测场景中,根据历史水泥产能时序数据选择合适的模型进行未知水泥产能数据的预测时,通常需要人工对历史水泥产能时序数据进行筛选,再将筛选出来的历史水泥产能时序数据用于测试调优不同的模型,最后根据模型的输出结果选择最佳的模型应用到具体场景中,智能化程度低,导致模型应用效率低下,因此,如何提高模型筛选的效率,成为了亟待解决的技术问题。
技术实现思路
1、本技术实施例的主要目的在于提出一种统计模型筛选方法和装置、电子设备及存储介质,旨在提高模型筛选的效率。
2、为实现上述目的,本技术实施例的第一方面提出了一种统计模型筛选方法,所述方法包括:
3、接收客户端输入的时序数据,并对所述时序数据进行数据清洗处理,得到时序清洗数据;
4、响应于所述客户端发送的数据处理指令,根据所述数据处理指令对所述时序清洗数据进行时间序列预处理,得到标准时序数据;
5、响应于所述客户端发送的数据配置指令,根据所述数据配置指令对所述标准时序数据进行数据配置,得到目标时序数据,其中,所述目标时序数据包括实际输出数据;
6、响应于所述客户端发送的模型选择指令,根据所述模型选择指令从预设的模型库中选取备选统计模型;
7、基于所述目标时序数据对所述备选统计模型进行模型训练,得到训练输出数据;
8、响应于所述客户端发送的模型筛选指令,根据所述模型筛选指令、所述训练输出数据与所述实际输出数据,从所述备选统计模型中筛选出目标统计模型。
9、在一些实施例,所述接收客户端输入的时序数据,并对所述时序数据进行数据清洗处理,得到时序清洗数据,包括:
10、对所述时序数据进行数据缺失填充处理,得到时序填充数据;
11、对所述时序填充数据进行重复值去除处理,得到所述时序清洗数据。
12、在一些实施例,所述基于所述目标时序数据对所述备选统计模型进行模型训练,得到训练输出数据,包括:
13、获取所述备选统计模型的模型类型;
14、根据所述模型类型对所述目标时序数据进行封装处理,得到时序封装数据;
15、利用所述时序封装数据对所述备选统计模型进行模型训练,得到所述训练输出数据。
16、在一些实施例,所述利用所述时序封装数据对所述备选统计模型进行模型训练,得到所述模型训练输出,包括:
17、对所述时序封装数据进行数据拆分,得到实际变化封装数据及实际输出封装数据;
18、利用所述实际变化封装数据对所述备选统计模型进行模型训练,得到所述模型训练输出。
19、在一些实施例,所述响应于所述客户端发送的数据处理指令,根据所述数据处理指令对所述时序清洗数据进行时间序列预处理,得到标准时序数据,包括:
20、提取所述数据处理指令中的时间粒度指标、时间戳对齐指标及非重要数据指标,其中,所述非重要数据指标是指在备选统计模型进行训练的过程中,非目标时间段的时序数据的参考指标;
21、根据所述时间粒度指标,对所述时序清洗数据进行时间粒度转换,得到时序转换数据;
22、根据所述时间戳对齐指标,对所述时序转换数据进行时序对齐,得到时序对齐数据;
23、根据所述非重要数据指标,对所述时序对齐数据进行数据删除,得到所述标准时序数据。
24、在一些实施例,所述响应于所述客户端发送的数据配置指令,根据所述数据配置指令对所述标准时序数据进行数据配置,得到目标时序数据,包括:
25、提取所述数据配置指令中的预测时间跨度指标、时序数据时间跨度指标及训练样本比例指标;
26、根据所述预测时间跨度指标及所述标准时序数据的时间粒度,生成超前预测时间跨度;
27、根据所述时间粒度、所述超前预测时间跨度及所述时序数据时间跨度指标,计算所述标准时序数据的有效时间跨度;
28、根据所述有效时间跨度,从所述标准时序数据中筛选出时序样本数据;
29、根据所述训练样本比例指标,对所述时序样本数据进行数据切分,得到所述目标时序数据。
30、在一些实施例,所述响应于所述客户端发送的模型筛选指令,根据所述模型筛选指令、所述训练输出数据与所述实际输出数据,从所述备选统计模型中筛选出目标统计模型,包括:
31、提取所述模型筛选指令中的模型对比指标;
32、当所述模型对比指标为模型拟合能力指标时,计算所述实际结果数据的总平方和,得到实际数据总平方和;
33、计算所述模型训练输出与所述实际输出数据之间的残差平方和,得到模型残差平方和;
34、根据所述实际数据总平方和及所述模型残差平方和,计算所述备选模型的拟合判定系数;
35、根据所述拟合判定系数,从所述备选统计模型中筛选出所述目标统计模型;
36、当所述模型对比指标为模型趋势指标时,绘制所述训练输出数据的趋势图,得到训练数据趋势图;
37、绘制所述实际输出数据的趋势图,得到实际数据趋势图;
38、将所述训练数据趋势图与所述实际数据趋势图进行对比,得到趋势对比数据;
39、根据所述趋势对比数据,从所述备选统计模型中筛选出所述目标统计模型。
40、为实现上述目的,本技术实施例的第二方面提出了一种统计模型筛选装置,所述装置包括:
41、数据清洗模块,用于接收客户端输入的时序数据,并对所述时序数据进行数据清洗处理,得到时序清洗数据;
42、数据处理模块,用于响应于所述客户端发送的数据处理指令,根据所述数据处理指令对所述时序清洗数据进行时间序列预处理,得到标准时序数据;
43、数据配置模块,用于响应于所述客户端发送的数据配置指令,根据所述数据配置指令对所述标准时序数据进行数据配置,得到目标时序数据,其中,所述目标时序数据包括实际输出数据;
44、模型初选模块,用于响应于所述客户端发送的模型选择指令,根据所述模型选择指令从预设的模型库中选取备选统计模型;
45、模型训练模块,用于基于所述目标时序数据对所述备选统计模型进行模型训练,得到训练输出数据;
46、模型筛选模块,用于响应于所述客户端发送的模型筛选指令,根据所述模型筛选指令、所述训练输出数据与所述实际输出数据,从所述备选统计模型中筛选出目标统计模型。
47、为实现上述目的,本技术实施例的第三方面提出了一种电子设备,所述电子设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
48、为实现上述目的,本技术实施例的第四方面提出了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面所述的方法。
49、本技术实施例通过接收客户端输入的时序数据,再根据客户端发送的时序数据处理指令,对数据进行数据清洗、时间序列预处理及数据配置等处理,得到目标时序数据,保证了时序数据的准确率,提高了模型训练的准确率,进一步地,利用目标时序数据对备选统计模型进行训练,并根据训练输出数据及实际输出数据筛选出目标统计模型,减少了模型调试机模型对比过程中人工的参与度,提高了模型筛选的效率。