机器学习模型和测试数据的测试和基线化的制作方法

背景技术：

1、机器学习模型是一种基于先前未看到的数据集来确定模式或做出决策的模型。例如，在自然语言处理中，机器学习模型可以解析并且正确识别之前未听过的句子或单词组合背后的意图。

技术实现思路

1、本文中描述的一些实现涉及一种方法。该方法可以包括接收机器学习模型、历史验证测试数据和实时数据，并且将历史验证测试数据存储为训练数据并且将实时数据存储为测试数据。该方法可以包括对机器学习模型执行单元测试以生成单元测试结果，并且利用训练数据和测试数据对机器学习模块执行回归测试，以为机器学习模型计算模型得分、创建图表、确定推理延迟以及标识缺失点。该方法可以包括利用训练数据和测试数据对机器学习模型执行规模和寿命测试，以为机器学习模型标识附加缺失点以及计算资源利用率。该方法可以包括基于单元测试结果、模型得分、图表、推理延迟、缺失点、附加缺失点或资源利用率中的一项或多项来更新机器学习模型以生成已更新机器学习模型。

2、本文中描述的一些实现涉及一种设备。该设备可以包括一个或多个存储器和一个或多个处理器。一个或多个处理器可以被配置为接收机器学习模型、历史验证测试数据和实时数据，并且将历史验证测试数据存储为训练数据并且将实时数据存储为测试数据。一个或多个处理器可以被配置为对机器学习模型执行单元测试以生成单元测试结果，并且利用训练数据和测试数据对机器学习模块执行回归测试，以为机器学习模块计算模型得分、创建图表、确定推理延迟以及标识缺失点。一个或多个处理器可以被配置为利用训练数据和测试数据对机器学习模型执行规模和寿命测试，以为机器学习模型标识附加缺失点以及计算资源利用率，并且基于单元测试结果、模型得分、图表、推理延迟、缺失点、附加缺失点或资源利用率中的一项或多项来更新机器学习模型以生成已更新机器学习模型。一个或多个处理器可以被配置为基于与训练数据和测试数据相关联的参数和属性来计算测试数据的测试数据得分，并且基于测试数据得分满足得分阈值来用测试数据更新训练数据。

3、本文中描述的一些实现涉及一种存储设备指令集的非暂态计算机可读介质。该指令集由设备的一个或多个处理器执行时可以引起该设备接收机器学习模型、历史验证测试数据和实时数据，并且将历史验证测试数据存储为训练数据并且将实时数据存储为测试数据。该指令集在由设备的一个或多个处理器执行时可以引起该设备对机器学习模型执行单元测试以生成单元测试结果，并且利用训练数据和测试数据对机器学习模块执行回归测试，以为机器学习模型计算模型得分、创建图表、确定推理延迟以及标识缺失点。该指令集在由设备的一个或多个处理器执行时可以引起该设备利用训练数据和测试数据对机器学习模型执行规模和寿命测试，以为机器学习模型标识附加缺失点以及计算资源利用率，并且基于单元测试结果、模型得分、图表、推理延迟、缺失点、附加缺失点或资源利用率中的一项或多项来更新机器学习模型以生成已更新机器学习模型。该指令集在由设备的一个或多个处理器执行时可以引起该设备使用静态分析模型处理训练数据，以标识误编码错误和异常值，并且校正训练数据以消除误编码错误和异常值。

技术特征：

1.一种方法，包括：

2.根据权利要求1所述的方法，还包括：

3.根据权利要求2所述的方法，其中所述静态分析模型是lint模型。

4.根据权利要求1所述的方法，还包括：

5.根据权利要求4所述的方法，其中所述参数和所述属性包括以下一项或多项：

6.根据权利要求4所述的方法，还包括：

7.根据权利要求1所述的方法，其中所述单元测试结果提供所述机器学习模型的线覆盖率的指示。

8.一种设备，包括：

9.根据权利要求8所述的设备，其中为了利用所述训练数据和所述测试数据对所述机器学习模型执行所述回归测试以计算所述模型得分，所述一个或多个处理器用以：

10.根据权利要求8所述的设备，其中为了利用所述训练数据和所述测试数据对所述机器学习模型执行所述回归测试以创建所述图表，所述一个或多个处理器用以：

11.根据权利要求8所述的设备，其中所述推理延迟指示所述机器学习模型生成推理所需要的时间段。

12.根据权利要求8所述的设备，其中所述缺失点指示所述机器学习模型未能生成的推理的数量。

13.根据权利要求8所述的设备，其中所述资源利用率提供当所述机器学习模型被执行时处理器利用率和存储器利用率的指示。

14.根据权利要求8所述的设备，其中所述一个或多个处理器还用以：

15.一种非暂态计算机可读介质，存储指令集，所述指令集包括：

16.根据权利要求15所述的非暂态计算机可读介质，其中所述一个或多个指令还使所述设备：

17.根据权利要求16所述的非暂态计算机可读介质，其中所述一个或多个指令还使所述设备：

18.根据权利要求15所述的非暂态计算机可读介质，其中使所述设备利用所述训练数据和所述测试数据对所述机器学习模型执行所述回归测试以计算所述模型得分的所述一个或多个指令使所述设备：

19.根据权利要求15所述的非暂态计算机可读介质，其中使所述设备利用所述训练数据和所述测试数据对所述机器学习模型执行所述回归测试以创建所述图表的所述一个或多个指令使所述设备：

20.根据权利要求15所述的非暂态计算机可读介质，其中所述一个或多个指令还使所述设备：

技术总结
一种设备可以接收机器学习模型、训练数据和测试数据，并且可以对机器学习模型执行单元测试以生成单元测试结果。该设备可以利用训练数据和测试数据对机器学习模型执行回归测试，以为机器学习模型计算模型得分、创建图表、确定推理延迟以及标识缺失点。该设备可以利用训练数据和测试数据对机器学习模型执行规模和寿命测试，以为机器学习模型标识附加缺失点以及计算资源利用率。该设备可以基于单元测试结果、模型得分、图表、推理延迟、缺失点、附加缺失点或资源利用率来更新机器学习模型以生成已更新机器学习模型。

技术研发人员：S·格拉普迪,P·S·阿亚尼勒,S·穆科帕迪亚,S·K·米什拉,R·恩,S·巴内杰,D·T·达纳拉杰
受保护的技术使用者：瞻博网络公司
技术研发日：
技术公布日：2024/3/4