一种基于业务需求的模型管理方法与系统与流程

本发明属于数据处理，尤其涉及一种基于业务需求的模型管理方法与系统。

背景技术：

1、为了实现人工智能的相关算法的推广应用，越来越多的公司内部搭建了通用的人工智能综合管理平台，为用户在样本存储、样本标注、模型训练、模型评估、模型迭代、模型归集、通用组件应用、云边协同等一站式人工智能服务领域提供高质量服务，具体的在发明专利cn201810049862.1《基于人工智能技术的通用知识图谱可视化装置及方法》、cn201811581190.5《面向第三方社会服务的人工智能基础资源与技术开放平台》中均给出了类似的综合管理平台的搭建方式，但是均存在以下技术问题：

2、现有技术方案中忽视了根据具体的业务需求进行对综合管理平台的不同的人工智能模型的管理，具体的，对于综合管理平台，特别是电网企业中由于不同的业务部门的业务需求的差异，对于不同的人工智能模型的需求也存在差异，因此若不能结合不同的业务部门的业务需求对人工智能模型进行差异化的管理，则无法提升人工智能模型的使用率。

3、针对上述技术问题，本发明提供了一种基于业务需求的模型管理方法与系统。

技术实现思路

1、为实现本发明目的，本发明采用如下技术方案：

2、根据本发明的一个方面，提供了一种基于业务需求的模型管理方法。

3、一种基于业务需求的模型管理方法，其特征在于，具体包括：

4、s1通过综合管理平台的人工智能模型的使用数据进行不同的人工智能模型的使用业务部门以及不同的使用业务部门的使用数据的确定，并结合所述人工智能模型的浏览数据进行不同的人工智能模型的使用热度的确定，基于所述使用热度进行筛选模型的确定；

5、s2基于所述筛选模型的不同的业务部门的使用数据进行所述筛选模型在不同的业务场景的使用结果的确定，并结合所述使用结果中的不满足预设准确率的业务场景进行所述筛选模型的使用问题评估量的确定，基于所述使用问题评估量确定所述筛选模型中的问题模型；

6、s3利用所述问题模型的训练数据的数据量以及训练数据中的问题标注数据的数据量进行所述问题模型的训练数据的可靠性评估值的确定；

7、s4通过所述问题模型的训练数据的可靠性评估值、使用问题评估量以及使用热度确定分配优先值，并根据所述分配优先值进行所述问题模型的训练资源的分配管理。

8、本发明的有益效果在于：

9、1、通过基于业务部门的使用数据和浏览数据进行不同的人工智能模型的使用热度的评估，从而实现了从多个角度对综合管理平台的人工智能模型的使用热度的综合评估，也为实现对需要进一步训练处理的人工智能模型的评估和筛选奠定了基础。

10、2、根据使用结果中的不满足预设准确率的业务场景进行筛选模型的使用问题评估量的确定，充分考虑到人工智能模型在不同的业务场景的使用结果的差异，实现了对使用效果不佳的人工智能模型的筛选，从而可以针对性的对人工智能模型进行训练处理。

11、3、通过基于问题模型的训练数据的可靠性评估值、使用问题评估量以及使用热度确定分配优先值，实现了在有限的训练资源的前提下对不同的人工智能模型的差异化的训练处理，不仅考虑到不同的训练模型的使用问题以及使用热度的差异，同时考虑到不同的训练模型由于训练数据的差异导致训练结果的准确性的差异，从而实现了对人工智能模型的训练管理。

12、进一步的技术方案在于，所述使用业务部门的使用数据包括所述业务部门在不同的业务场景的使用次数以及不同的使用次数的使用时间。

13、进一步的技术方案在于，所述问题模型的训练数据的可靠性评估值的确定的方法为：

14、判断所述问题模型的训练数据的数据量是否小于预设数据量，若是，则通过所述问题模型的训练数据的数据量进行所述问题模型的训练数据的可靠性评估值的确定，若否，则进入下一步骤；

15、基于所述问题模型的训练数据的数据量以及训练数据中的问题标注数据的数据量进行所述问题模型的有效训练数据的数据量的确定，判断所述问题模型的有效训练数据的数据量是否小于预设数据量，若是，则通过所述问题模型的有效训练数据的数据量进行所述问题模型的训练数据的可靠性评估值的确定，若否，则进入下一步骤；

16、通过基于所述问题模型的训练数据的数据量以及训练数据中的问题标注数据的数据量、所述问题模型的有效训练数据的数据量进行所述问题模型的训练数据的可靠性评估值的确定。

17、另一方面，本发明提供了一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行上述的一种基于业务需求的模型管理方法。

18、另一方面，本申请实施例中提供一种计算机可读介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行上述的一种基于业务需求的模型管理方法。

19、其他特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点在说明书以及附图中所特别指出的结构来实现和获得。

20、为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

技术特征：

1.一种基于业务需求的模型管理方法，其特征在于，具体包括：

2.如权利要求1所述的一种基于业务需求的模型管理方法，其特征在于，所述使用业务部门的使用数据包括所述业务部门在不同的业务场景的使用次数以及不同的使用次数的使用时间。

3.如权利要求1所述的一种基于业务需求的模型管理方法，其特征在于，所述人工智能模型的使用热度的确定的方法为：

4.如权利要求3所述的一种基于业务需求的模型管理方法，其特征在于，利用所述人工智能模型的频繁使用业务部门的数量以及不同的频繁使用业务部门的部门使用热度进行所述人工智能模型的频繁使用热度的确定，具体包括：

5.如权利要求1所述的一种基于业务需求的模型管理方法，其特征在于，所述筛选模型在不同的业务场景的使用结果包括业务场景的模型预测准确率、模型预测时间以及模型使用报错次数。

6.如权利要求1所述的一种基于业务需求的模型管理方法，其特征在于，所述筛选模型的使用问题评估量的确定的方法为：

7.如权利要求1所述的一种基于业务需求的模型管理方法，其特征在于，所述问题模型的训练数据的可靠性评估值的确定的方法为：

8.如权利要求1所述的一种基于业务需求的模型管理方法，其特征在于，所述分配优先值的确定的具体步骤为：

9.一种计算机系统，包括：通信连接的存储器和处理器，以及存储在所述存储器上并能够在所述处理器上运行的计算机程序，其特征在于：所述处理器运行所述计算机程序时执行权利要求1-8任一项所述的一种基于业务需求的模型管理方法。

10.一种计算机可读介质，其上存储有计算机程序，当所述计算机程序在计算机中执行时，令计算机执行权利要求1-8任一项所述的一种基于业务需求的模型管理方法。

技术总结
本发明提供一种基于业务需求的模型管理方法与系统，属于数据处理技术领域，具体包括：通过综合管理平台的人工智能模型的使用数据进行不同的人工智能模型的使用业务部门以及不同的使用业务部门的使用数据的确定，并结合人工智能模型的浏览数据进行不同的人工智能模型的使用热度以及筛选模型的确定，基于筛选模型的使用问题评确定筛选模型中的问题模型，利用训练数据的数据量以及训练数据中的问题标注数据的数据量进行问题模型的训练数据的可靠性评估值的确定，通过问题模型的训练数据的可靠性评估值、使用问题评估量以及使用热度确定分配优先值，并根据分配优先值进行所述问题模型的训练资源的分配管理，从而实现了对模型的差异化管理。

技术研发人员：续晓光,胡岸,朱莹,王心妍,孟昭泰,张向伍,冯肖,王万欣
受保护的技术使用者：国网河南省电力公司信息通信分公司
技术研发日：
技术公布日：2024/3/27