一种基于模型的边缘云基准测试优化方法及装置与流程

本发明属于边缘云测试，具体涉及一种基于模型的边缘云基准测试优化方法及装置。

背景技术：

1、在当前ai技术高速发展的时代，尤其是llama-2系列等先进大型模型的推出，见证了这些模型数据规模的迅猛增长。举例来说，llama-2模型的规模已从llama2-7b扩展到了llama2-70b，其大小从10多g增加到280多g，这种增长是指数级的，ai能力也是显著提升。

2、在边缘云计算节点上部署llama2-70b大模型，并基于llama2-70b大模型实现人工智能问答、文案写作和代码编写等服务，用户在访问大模型提供的服务时，其在数据产生源附近的计算节点上处理用户的需求，能显著降低延迟并提高处理速度。然而边缘云gpu节点由于设备异构性及硬件间的性能差异，在不同的边缘云节点设备上部署大模型后会因为硬件配置差异导致用户在不同节点的请求与响应耗时有巨大差异，最终导致边缘云每个节点的收入差异比较大，用户的使用体验也较差。在这种场景下，如何通过一定的方法获取边缘云gpu节点硬件算力与模型之间的性能数据，并根据性能数据部署相应模型，以实现收入效益最大化，关系着边缘云gpu节点的利用价值。因此，在对llama 2 70b等拥有700亿参数的大型模型进行边缘云gpu节点部署前，需要在各种边缘云gpu硬件上进行综合基准测试，获取边缘云gpu硬件运行llama 2 70b大模型的性能数据。

3、然而，在边缘云节点进行llama 2 70b基准测试前，首要挑战是模型下载，传统的下载方法具有以下问题：1.下载速度受网络环境如网络带宽影响极大，边缘云节点分布广，不同地区网络状况的差异也可能导致下载时间不一，严重延迟基准测试的开始，另外，由于有些边缘云节点处于普通数据中心或属于线上租赁节点，有着严格的带宽限制，它们往往无法迅速下载llama 2 70b大模型并进行基准测试；2.网络不稳定可能会造成下载中断，这不仅需要重新下载，还会进一步推迟测试进程；3.长时间的下载过程意味着更多的机器使用时间，尤其是边缘云节点属于租赁的机器时，测试周期长和下载时消耗的大流量，可能产生额外的机器租赁成本。

技术实现思路

1、针对以上问题，本发明提出了一种基于模型的边缘云基准测试优化方法及装置，旨在通过创新的模型生成方式，加速llama 2 70b大模型在各类硬件上的获取能力，解决因网络条件限制而导致的效率瓶颈。不仅能应用到llama-2 70b大模型的模型生成，加速llama 2 70b基准测试，还能复用到模型文件后缀为safetentors的其他大模型，加速基于其他大模型的基准测试。为解决以上技术问题，本发明所采用的技术方案如下：

2、一种基于模型的边缘云基准测试优化方法，包括如下步骤：

3、s1，构建包括云端和至少一个边缘云终端的测试系统，所述云端设有用于对边缘云终端的性能参数进行测试的设备性能测试模型；

4、s2，云端对设备性能测试模型的每个safetensors文件的byte位置的内容分别进行提取，基于提取得到的数据通过map结构的构造方法生成对应的模型权重配置头文件，集合所有模型权重配置头文件形成模型权重配置头文件集；

5、s3，将步骤s1中设备性能测试模型的非safetensors文件保存至云端的新建目录中；

6、s4，通过下载云端目录的方法在待执行基准测试的边缘云终端上获取所有非safetensors文件，同时下载步骤s2得到模型权重配置头文件集至该边缘云终端；

7、s5，边缘云终端利用numpy库基于模型权重配置头文件集创建每个模型权重配置头文件所对应的浮点数矩阵，根据所有浮点数矩阵构建对应的safetensors文件；

8、s6，根据步骤s4得到的非safetensors文件和步骤s5得到的safetensors文件构建边缘云终端上的性能测试模型，基于性能测试模型对边缘云终端进行测试。

9、在步骤s2中，所述safetensors文件的byte位置的内容是指safetensors文件的至少前n个byte。

10、所述模型权重配置头文件的生成方法包括：

11、①.通过目录遍历的方法获取设备性能测试模型的结构文件中所有后缀为safetensors的文件的文件名；

12、②.使用文件流读取步骤①中每个safetensors文件的前n字节的数据；

13、③.基于map结构的构造方法将每个safetensors文件的文件名作为key，同时将读取的前n字节的数据作为value构建每个safetensors文件对应的map结构。

14、所述步骤s5包括如下步骤：

15、s5.1，读取每个模型权重配置头文件的map结构的key值作为待生成文件的文件名，生成对应的文件；

16、s5.2，读取每个模型权重配置头文件的map结构的value值作为步骤s5.1得到文件的头文件，并将该头文件对应写入步骤s5.1生成的文件中；

17、s5.3，读取每个模型权重配置头文件的map结构的value值的第8个byte到第n个byte的内容生成对应的json文件；

18、s5.4，根据步骤s5.3得到的json文件获取张量元数据；

19、s5.5，基于步骤s5.4得到的张量元数据利用python语言和numpy库创建随机浮点数矩阵，并将创建随机浮点数矩阵对应写入步骤s5.1生成的文件中。

20、一种基于模型的边缘云基准测试优化装置，包括云端和至少一个边缘云终端，所述云端上设有：

21、模型存储模块：用于存储对边缘云终端的性能参数进行测试的设备性能测试模型；

22、头文件集构建模块：与模型存储模块连接，用于基于设备性能测试模型的每个safetensors文件利用map结构的构造方法生成对应的模型权重配置头文件，并集合所有模型权重配置头文件形成模型权重配置头文件集；

23、非safetensors文件提取模块：与模型存储模块连接，用于基于新建目录的方法将设备性能测试模型的非safetensors文件保存至新建目录中；

24、每个边缘云终端上均设有：

25、下载模块：与云端连接，用于将头文件集构建模块生成的模型权重配置头文件集和非safetensors文件提取模块保存的非safetensors文件下载至边缘云终端上；

26、safetensors文件创建模块：用于根据下载模块得到的模型权重配置头文件集利用numpy库创建每个模型权重配置头文件所对应的浮点数矩阵，并根据浮点数矩阵创建对应的safetensors文件；

27、测试模块：用于根据safetensors文件创建模块创建的safetensors文件以及下载模块下载的非safetensors文件构建性能测试模型，并基于性能测试模型对边缘云终端进行测试。

28、本发明的有益效果：

29、1、基于llama-2 70b大模型文件的存储格式设计了llama-2 70b的模型生成方法，可以快速生成相应格式的大模型，显著减少了在网络条件不佳时的下载时间，快速帮助测试用户生成可用来基准测试的大模型，优化基准测试的时间和成本；

30、2、利用磁盘读写性能，降低对网络的依赖，显著提升模型生成速度，缩短基准测试准备阶段，实现了最少的线上机器租赁成本投入；

31、3、使边缘云租赁节点上快速生成超大模型进行基准测试成为可能，减少了租赁成本投入，加速了模型基准测试过程，避免了网络带宽小但模型文件大的矛盾，同时兼顾了基准测试的准确性，获得了租赁节点的性能信息，提高了租赁节点的收入。