一种数据处理方法以及数据处理系统与流程

本技术实施例涉及通信领域，尤其涉及一种数据处理方法以及数据处理系统。

背景技术：

1、随着人工智能(artificial intelligence，ai)技术的飞速发展，也伴随着越来越多的ai芯片的出现以及应用，ai芯片可以支持运行多个不同的程序，完成不同的功能。ai芯片的资源通常会大于一个程序的资源需求，因此为了避免浪费ai资源，期望在一个ai芯片上同时运行多个程序，以最大化资源利用率。

2、目前为了尽可能提高ai资源的利用率，通常采用硬件辅助的ai芯片虚拟化技术来实现。例如将一个ai芯片虚拟化分为多个独立的虚拟ai芯片，使得每个独立的虚拟ai芯片分别协同处理对应的程序。由此一个ai芯片能同时协同处理多个程序，最大化利用ai芯片资源。

3、但是，ai芯片虚拟化技术需要硬件的辅助，对ai芯片要求较高，实现成本较大，且对于没有硬件辅助的ai芯片来说，难以实现ai芯片的虚拟化以提高ai芯片资源的利用率。

技术实现思路

1、本技术提供了一种数据处理方法以及数据处理系统，应用于ai芯片的应用领域，基于ai芯片协同执行的程序对应的进程的pid获取进程占用ai芯片的资源的占用率，然后在该占用率超过占用ai芯片的资源的阈值的情况下，停止执行该占用率对应的进程，能够释放多占用的资源，以保证其他程序的正常运行，同时能减少硬件的辅助成本，广泛应用于使用ai芯片的领域。

2、第一方面，提供了一种数据处理方法，包括：

3、基于目标程序获取目标进程识别号(process identification，pid)，其中目标程序为ai芯片协同执行的程序，目标pid为目标程序对应的进程的pid。

4、接着，基于目标pid获取第一占用率，该第一占用率表示目标pid对应的进程占用ai芯片的资源的状态。

5、然后，在第一占用率超过第二占用率的情况下，停止执行目标进程。其中，目标进程为第一占用率超过第二占用率的进程，且第二占用率为目标pid对应的进程占用ai芯片的资源的阈值。

6、在本技术的实施方式中，基于目标程序获取目标pid，然后基于目标pid获取第一占用率，该第一占用率表示目标pid对应的进程占用ai芯片的资源的状态，且在第一占用率超过第二占用率的情况下，停止执行目标进程，该第二占用率为目标pid对应的进程占用ai芯片的资源的阈值。其中，在第一占用率超过第二占用率的情况下，停止执行目标进程，能释放多占用的资源，以保证其他的程序正常运行，且能减少硬件的辅助成本，广泛应用于ai芯片的领域。

7、在第一方面的一种可能的实现方式中，在停止执行目标进程之后，再次执行目标进程。具体地，在停止执行目标进程之后，在一定的时间段后，重新执行目标进程对应的程序。

8、在本技术的实施方式中，在停止执行目标进程之后，在一定时间段后再执行目标进程对应的程序，能释放目标进程多占用的资源，且同时能正常执行该程序，避免影响程序的正常运行。

9、在第一方面的一种可能的实现方式中，本技术提供的方法在操作系统的内核态或用户态下执行。

10、在本技术的实施方式中，本技术提供的方法在操作系统的内核态或用户态下执行，体现了方案的可选择性，适用于更多的应用场景。

11、在第一方面的一种可能的实现方式中，获取第三占用率，该第三占用率表示ai芯片的资源被占用的总体状态。

12、在本技术的实施方式中，还获取第三占用率，用于了解ai芯片的资源被占用的总体状态，提升方案的适应性以及灵活性。

13、在第一方面的一种可能的实现方式中，可以基于显示进程记载第一占用率和/或第三占用率，该显示进程为预设的程序对应的进程。或者，可以基于虚拟文件系统记载第一占用率和/或第三占用率。

14、在本技术的实施方式中，可以基于显示进程或者虚拟文件系统记载第一占用率和/或第三占用率，体现了方案的多样性，且能适用多样的应用场景。

15、在第一方面的一种可能的实现方式中，可以通过日志、trap或告警等任意一种方式记录目标pid以及对应的第一占用率，和/或目标进程。

16、在本技术的实施方式中，通过日志、trap或告警等任意一种方式记录目标pid以及对应的第一占用率，和/或目标进程，能够便于定位目标进程占用资源超过阈值的问题，或能提醒网络管理员出现异常，以便于尽快定位问题。

17、在第一方面的一种可能的实现方式中，ai芯片的资源至少包括ai芯片设备(device)内存、ai加速资源或编解码资源。可以理解的是，还包括ai芯片中的其他用于支撑进程执行的资源，具体此处不做限定。

18、在本技术的实施方式中，ai芯片的资源至少包括ai芯片device内存、ai加速资源或编解码资源中的任意一项。明确了ai芯片的资源的具体形式，体现了方案的可靠性。

19、第二方面，本技术提供了一种数据处理方法，包括：

20、基于目标pid获取第一占用率，其中，目标pid为ai芯片协同执行的程序对应的进程的pid，第一占用率表示目标pid对应的进程占用ai芯片的资源的状态；

21、然后，发送第一占用率；

22、接着，在第一占用率超过第二占用率的情况下停止执行目标进程，目标进程为第一占用率超过第二占用率的进程，第二占用率为目标pid对应的进程占用ai芯片的资源的阈值。

23、在本技术的实施方式中，基于目标pid获取第一占用率，然后发送第一占用率，在第一占用率超过第二占用率的情况下停止执行目标进程，可以释放目标进程多占用的ai芯片的资源，保证ai芯片协同执行的其他程序的正常运行。

24、在第二方面的一种可能的实现方式中，获取第三占用率，该第三占用率表示所述ai芯片的资源被占用的总体状态。

25、然后，发送该第三占用率。

26、在本技术的实施方式中，获取第三占用率并发送，以便于了解当前ai芯片的资源被占用的总体状态，体现了方案的多样性，且能适用多样的应用场景。

27、在第二方面的一种可能的实现方式中，ai芯片的资源至少包括ai芯片device内存、ai加速资源或编解码资源。可以理解的是，还包括ai芯片中的其他用于支撑进程执行的资源，具体此处不做限定。

28、在本技术的实施方式中，ai芯片的资源至少包括ai芯片device内存、ai加速资源或编解码资源中的任意一项。明确了ai芯片的资源的具体形式，体现了方案的可靠性。

29、第三方面，提供了一种数据处理系统，该数据处理系统具有实现上述第一方面、第一方面任意一种可能实现方式、第二方面或第二方面任意一种可能实现方式的方法的功能。该功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。该硬件或软件包括一个或多个与上述功能相对应的模块。

30、在本技术的实施方式中第三方面的数据处理系统执行本技术第一方面、第一方面任意一种可能实现方式、第二方面或第二方面任意一种可能实现方式所描述的方法。

31、第四方面，提供另一种数据处理系统，可以包括处理器，该处理器与存储器耦合，其中存储器用于存储指令，处理器用于执行存储器中的指令使得该数据处理系统执行本技术第一方面、第一方面任意一种可能实现方式、第二方面或第二方面任意一种可能实现方式所描述的方法。

32、第五方面，提供另一种数据处理系统，包括处理器，用于执行存储器中存储的计算机程序(或计算机可执行指令)，当计算机程序(或计算机可执行指令)被执行时，使得执行如第一方面及第一方面各个可能的实现方式中的方法，或使得执行如第二方面及第二方面各个可能的实现方式中的方法。

33、在一种可能的实现中，处理器和存储器集成在一起；

34、在另一种可能的实现中，上述存储器位于该数据处理系统之外。

35、该数据处理系统还包括通信接口，该通信接口用于该数据处理系统与其他设备进行通信，例如数据和/或信号的发送或接收。示例性的，通信接口可以是收发器、电路、总线、模块或其它类型的通信接口。

36、第六方面提供一种计算机可读存储介质，包括计算机可读指令，当计算机可读指令在计算机上运行时，使得本技术第一方面或第一方面任一种可能实现方式所描述的方法被执行，或使得本技术第二方面或第二方面任意一种可能实现方式的方法被执行。

37、第七方面，提供一种计算机程序产品，包括计算机可读指令，当计算机可读指令在计算机上运行时，使得本技术第一方面或第一方面任一种可能实现方式所描述的方法被执行，或使得本技术第二方面或第二方面任意一种可能实现方式的方法被执行。

38、第八方面，提供了一种芯片，该芯片包括至少一个处理器和至少一个接口电路，该接口电路和该处理器耦合，至少一个接口电路用于执行收发功能，并将指令发送给至少一个处理器，至少一个处理器用于运行计算机程序或指令，其具有实现如上述第一方面或第一方面任意一种可能实现方式的方法的功能，或具有实现如上述第二方面或第二方面任意一种可能实现方式的方法的功能，该功能可以通过硬件实现，也可以通过软件实现，还可以通过硬件和软件组合实现，该硬件或软件包括一个或多个与上述功能相对应的模块。