一种基于大数据的计算机性能控制分析系统及方法与流程

本发明涉及计算机性能分析，具体涉及一种基于大数据的计算机性能控制分析系统及方法。

背景技术：

1、计算机性能控制分析是指通过对计算机系统的性能进行监测、评估和调控，以确保其在运行过程中能够达到或维持一定的性能水平。这涉及到对硬件、软件、网络以及系统整体的性能进行综合考察和管理。总体来说，计算机性能控制分析是一种综合性的管理方法，旨在确保计算机系统在各种条件下都能够稳定、高效地运行。这需要对硬件、软件、网络和系统整体的性能进行全面的监测、评估和调整，以满足用户对计算机系统性能的需求。

2、计算机性能控制分析通常更广泛地涵盖了整个计算机系统，包括中央处理器(cpu)、内存、硬盘、网络等多个方面。数字信号处理器(dsp)是计算机体系结构的一个重要组成部分，主要用于处理数字信号，例如在音频、图像、雷达等领域。

3、目前，dsp(数字信号处理器)在计算机信号处理领域，许多信号处理板都采用dsp为核心处理芯片，然而，随着现有技术对于信号处理板的处理能力要求越来越高，例如，对于高帧数、大尺寸的图像序列的实时处理，单片dsp的运算能力不可能满足其要求，通常需要信号处理板在设计时采用多dsp并行处理结构，以满足系统对运算量的要求。

4、现有技术存在以下不足：然而，实际的图像处理过程中往往会包括诸如去噪、分割、特征提取、图像分析等多个步骤才能获得最终结果，不同的步骤会用到不同的算法，不同的算法可能对应不同的并行机制，在采用多个dsp并行处理结构进行信号处理板设计时，不同的图像处理步骤可能需要在处理过程中传递数据，并且需要在不同的dsp之间进行同步，这涉及到数据的有效传递和同步机制的处理，如果不同步或传递出现问题，可能导致处理结果不准确或者处理过程中断。

5、在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

技术实现思路

1、本发明的目的是提供一种基于大数据的计算机性能控制分析系统及方法，通过对整个图像处理流程进行任务划分、并行算法设计、数据流图建立、同步机制设计、数据缓存、错误检测与纠正后，对计算机进行图像处理时的性能进行监测，根据监测结果调整数据传递策略和同步时机，可有效解决在多个dsp并行处理结构中进行图像处理时可能出现的同步和数据传递问题，可以使多个dsp协同工作，高效地完成复杂的图像处理任务，提高系统的整体性能和可靠性，以解决上述背景技术中的问题。

2、为了实现上述目的，本发明提供如下技术方案：一种基于大数据的计算机性能控制分析方法，包括以下步骤：

3、s100、对整个图像处理流程进行任务划分，确定能够并行处理的步骤，针对能够并行处理的步骤，使用不同dsp的计算资源分配和算法适应性进行并行算法设计；

4、s200、建立一个明确的数据流图，标明数据在不同处理步骤和dsp之间的流动方向，确认数据在dsp之间传递以及在何时传递；

5、s300、对于需要在dsp之间传递的数据，建立数据缓存机制，实现数据有效共享；

6、s400、基于信号量同步机制确定不同dsp之间的同步点，确保在并行处理过程中各个dsp都处于正确的状态；

7、s500、通过错误检测和纠正机制在数据传递和同步中出现错误时及时检测和修复；

8、s600、监测计算机进行图像处理时的性能，根据监测结果调整数据传递策略和同步时机。

9、优选的，步骤s100中，判断图像处理步骤的并行处理性能，采用以下步骤：

10、a、将整个图像处理流程划分成独立的步骤；

11、b、对每个步骤分析其输入和输出，确定步骤之间的依赖关系；

12、c、使用amdahl's law评估每个步骤的并行化潜力，计算的表达式为：式中，sp为加速比，表示并行化后的性能提升倍数，p为并行部分的比例，n是数字信号处理器的数量。

13、优选的，计算资源分配和算法适应性考虑的过程如下：

14、s101、根据每个图像处理步骤的计算需求，合理划分dsp的计算资源；

15、s102、针对不同dsp的计算能力和架构特点，选择合适的并行算法；

16、s103、实施动态负载均衡算法，在不同图像处理阶段动态调整dsp的计算资源分配；

17、s104、如果信号处理板中包含不同种类的dsp，采用异构计算的方法，通过任务划分和资源分配，确保异构系统中不同类型dsp的协同工作。

18、优选的，步骤s300中，数据缓存机制设计的步骤为：

19、s301、根据数据流图确定需要在dsp之间传递的数据；

20、s302、使用lru算法根据数据的使用频率来管理缓存；

21、s303、使用双向链表和哈希表的组合来实现lru缓存；

22、s304、初始化缓存，建立双向链表和哈希表，用于存储数据和维护lru顺序；

23、s305、当有新数据需要读取时，检查新数据是否在缓存中，如果在缓存中，将新数据移到链表头表示最近使用，如果不在缓存中，将新数据添加到链表头，并在哈希表中添加对应的索引；

24、s306、写入新数据时，检查缓存是否已满，如果缓存未满，直接写入新数据，如果缓存已满，淘汰链表尾的数据，将新数据添加到链表头；

25、s307、建立数据同步机制。

26、优选的，步骤s400中，设计基于信号量同步机制的数据缓存和同步点确保在多个dsp之间进行并行处理时数据的有效传递和各个dsp的正确状态，以下是具体的步骤：

27、数据缓存机制设计：

28、s401、根据数据流图和处理步骤的需要，在设计中明确定义需要在dsp之间传递和共享的数据；

29、s402、选择信号量作为同步机制；

30、s403、系统运行时，对每个需要同步的数据设置一个信号量，每个信号量的初始值为1，表示可用；

31、s404、为每个dsp建立数据缓存结构，包括缓存空间和相应的信号量；

32、s405、在读取和写入共享数据时，使用信号量来控制对共享数据的访问。

33、优选的，同步点的确定步骤为：

34、s410、在处理流程中确定需要进行同步的位置；

35、s420、对于每个同步点，设置一个同步信号量；

36、s430、在达到同步点之前，每个dsp在处理流程中等待同步信号量；

37、s440、到达同步点时，选择其中一个dsp负责发出信号量通知；

38、s450、一旦同步信号量的值达到预定的条件，唤醒所有dsp，继续进行下一步的处理。

39、优选的，步骤s500中，错误检测机制为循环冗余校验、奇偶校验或者海明码，错误纠正机制为海明码、bch码或者重复编码。

40、优选的，步骤s600中，在实际运行中，监测计算机进行图像处理时的并行加速度比、数据流平衡度以及数据传递负载系数，通过并行加速度比、数据流平衡度以及数据传递负载系数生成处理指数clξ，将计算机进行图像处理时生成的处理指数与预先设置的处理指数参考阈值进行比对，若处理指数大于等于处理指数参考阈值，则不对计算机进行图像处理调整数据传递策略和同步时机，若处理指数小于处理指数参考阈值，则对计算机进行图像处理调整数据传递策略和同步时机。

41、一种基于大数据的计算机性能控制分析系统，包括并行化模块、数据流管理模块、数据缓存模块、同步模块、错误处理模块以及性能监测模块；

42、并行化模块，对整个图像处理流程进行任务划分，确定能够并行处理的步骤，针对能够并行处理的步骤，使用不同dsp的计算资源分配和算法适应性进行并行算法设计；

43、数据流管理模块，建立一个明确的数据流图，标明数据在不同处理步骤和dsp之间的流动方向，确认数据在dsp之间传递以及在何时传递；

44、数据缓存模块，对于需要在dsp之间传递的数据，建立数据缓存机制，实现数据有效共享；

45、同步模块，基于信号量同步机制确定不同dsp之间的同步点，确保在并行处理过程中各个dsp都处于正确的状态；

46、错误处理模块，通过错误检测和纠正机制在数据传递和同步中出现错误时及时检测和修复；

47、性能监测模块，监测计算机进行图像处理时的性能，根据监测结果调整数据传递策略和同步时机。

48、在上述技术方案中，本发明提供的技术效果和优点：

49、本发明通过对整个图像处理流程进行任务划分、并行算法设计、数据流图建立、同步机制设计、数据缓存、错误检测与纠正后，对计算机进行图像处理时的性能进行监测，根据监测结果调整数据传递策略和同步时机，可有效解决在多个dsp并行处理结构中进行图像处理时可能出现的同步和数据传递问题，可以使多个dsp协同工作，高效地完成复杂的图像处理任务，提高系统的整体性能和可靠性；

50、本发明通过监测计算机进行图像处理时的并行加速度比、数据流平衡度以及数据传递负载系数，在根据并行加速度比、数据流平衡度以及数据传递负载系数生成处理指数，通过处理指数监测计算机进行图像处理时的性能，根据监测结果调整数据传递策略和同步时机，在实际运行中能够更加智能地监测和调整，从而达到最佳的图像处理性能，这种动态性能优化的机制使计算机进行图像处理时更具适应性和可维护性，提高了整个图像处理系统的效率和可靠性。