存储系统性能评估装置、方法、电子设备及存储介质与流程

本申请涉及系统性能评估领域，具体而言，涉及一种存储系统性能评估装置、方法、电子设备及存储介质。

背景技术：

随着soc(systemonchip，系统级芯片)芯片中处理器、业务模块运算速率的大幅度提升，其内部的dram(dynamicrandomaccessmemory，动态随机存取存储器)存储子系统的性能好坏成为影响soc系统性能的重要因素。因此，怎样对dram存储子系统进行性能评估成为dram存储子系统的设计和整芯片架构的开发中非常重要的一环。

当前，通常采用fpga(field－programmablegatearray，现场可编程门阵列)原型验证的方式对dram存储子系统进行性能评估，但是，由于fpga速率较低，fpga原型验证中的等比降频方案对dram存储子系统性能的评估并不适用，并且会放大诸如动态刷新等对dram存储子系统性能的影响程度。另外，采用emulator平台对dram存储子系统进行性能评估，虽然能够提升工作速率，但是存在价格昂贵的缺点。

技术实现要素：

本申请的目的在于提供一种存储系统性能评估装置、方法、电子设备及存储介质，其实现了对待测模块功能的评估，并且具备成本低、自动化、可靠性高以及应用灵活的优点。

为了实现上述目的，本申请实施例采用的技术方案如下：

第一方面，本申请实施例提供一种存储系统性能评估装置，应用于eda电子设计自动化仿真验证平台。所述装置包括收发模块、参考模块以及判断模块。所述收发模块用于将获取的测试数据发送至待测模块以及所述参考模块，所述收发模块还用于获取所述待测模块根据预设规则处理所述测试数据得到的实际测试数据，以及用于将所述实际测试数据发送至所述判断模块。所述参考模块用于根据所述预设规则处理所述测试数据，得到期望测试数据，以及用于将所述期望测试数据发送至所述判断模块。所述判断模块用于判断所述实际测试数据与所述期望测试数据是否一致，所述判断模块还用于在所述实际测试数据与所述期望测试数据一致时，确定所述待测模块功能正常。

第二方面，本申请实施例提供一种存储系统性能评估方法，应用于eda电子设计自动化仿真验证平台，所述方法包括：将获取的测试数据发送至待测模块；获取所述待测模块根据预设规则处理所述测试数据得到的实际测试数据；根据所述预设规则处理所述测试数据，得到期望测试数据；判断所述实际测试数据与所述期望测试数据是否一致；若所述实际测试数据与所述期望测试数据一致，则确定所述待测模块功能正常。

第三方面，本申请实施例提供一种电子设备，所述电子设备包括存储器以及处理器，所述存储器用于存储一个或多个程序。当一个或多个程序被处理器执行时，实现上述的存储系统性能评估方法。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述的存储系统性能评估方法。

相对于现有技术，本申请实施例所提供的一种存储系统性能评估装置、方法、电子设备及存储介质。该装置应用于eda电子设计自动化仿真验证平台。所述装置包括收发模块、参考模块以及判断模块。所述收发模块用于将获取的测试数据发送至待测模块以及所述参考模块，所述收发模块还用于获取所述待测模块根据预设规则处理所述测试数据得到的实际测试数据，以及用于将所述实际测试数据发送至所述判断模块。所述参考模块用于根据所述预设规则处理所述测试数据，得到期望测试数据，以及用于将所述期望测试数据发送至所述判断模块。所述判断模块用于判断所述实际测试数据与所述期望测试数据是否一致，所述判断模块还用于在所述实际测试数据与所述期望测试数据一致时，确定所述待测模块功能正常。由于参考模块以及待测模块均根据同一个预设规则处理测试数据，判断模块可以根据参考模块输出的期望测试数据以及待测模块输出的实际测试数据判断待测模块的功能是否正常，进而实现了对待测模块功能的评估，并且具备成本低、自动化、可靠性高以及应用灵活的优点。

为使本申请的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它相关的附图。

图1为本申请实施例提供的一种存储系统性能评估装置的方框示意图。

图2为本发明实施例提供的另一种存储系统性能评估装置的方框示意图。

图3为本申请实施例提供的又一种存储系统性能评估装置的方框示意图。

图4为本申请实施例提供的再一种存储系统性能评估装置的方框示意图。

图5为本申请实施例提供的一种数据传输时序的示意图。

图6为本申请实施例提供的一种存储系统性能评估方法的流程示意图。

图7为本申请实施例提供的一种电子设备的示意性结构框图。

图中：100-存储系统性能评估装置；110-收发模块；120-参考模块；130-判断模块；200-待测模块；300-电子设备；301-存储器；302-处理器；303-通信接口。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本申请的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

在本申请的描述中，还需要说明的是，除非另有明确的规定和限定，术语“设置”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本申请中的具体含义。

下面结合附图，对本申请的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。

请参阅图1，为本申请实施例提供的一种存储系统性能评估装置100的方框示意图。该装置可以应用于eda(electronicsdesignautomation，电子设计自动化)仿真验证平台，包括：收发模块110、参考模块120以及判断模块130。其中，如图2所示，收发模块110可以用于与待测模块200之间进行数据的交互以及从eda仿真验证平台获取测试数据，待测模块200可以为开发测试中的ip内核(intellectualpropertycore)模块，例如，dram存储子系统。需要说明的是，本申请实施例所提供的存储系统性能评估装置100既可以由软件程序实现，也可以由若干集成电路构成的电子设备实现，在此不做限定。

在本实施例中，收发模块110用于将获取的测试数据发送至待测模块200以及参考模块120。收发模块110还用于获取待测模块200根据预设规则处理测试数据得到的实际测试数据，以及用于将实际测试数据发送至判断模块130。

参考模块120用于根据预设规则处理测试数据，得到期望测试数据，以及用于将期望测试数据发送至判断模块130，其中，期望测试数据与实际测试数据对应。

判断模块130用于判断实际测试数据与期望测试数据是否一致，以确定待测模块200的功能是否正常。判断模块130还用于在实际测试数据与期望测试数据一致时，确定待测模块200功能正常。

基于上述图1和图2所提供的实施例，参考模块120以及待测模块200均根据同一个预设规则处理测试数据，判断模块130可以根据参考模块120输出的期望测试数据以及待测模块200输出的实际测试数据判断待测模块200的功能是否正常，进而实现了在eda仿真验证平台上对待测模块200功能的评估。

进一步的，本发明实施例还提供一种完整的存储系统性能评估装置100，请参照图3，为本发明实施例提供的另一种存储系统性能评估装置100的示意图。该存储系统性能评估装置100包括：收发模块110、参考模块120、判断模块130，其中，收发模块110包括获取单元、驱动单元以及监测单元。

在本实施例中，收发模块110用于通过获取单元获取测试数据，以及用于通过驱动单元将测试数据发送至待测模块200。收发模块110还用于通过监测单元获取实际测试数据并将实际测试数据发送至判断模块130。收发模块110还用于通过监测单元将测试数据发送至参考模块120。

具体的，收发模块110的获取单元从eda仿真验证平台的测试数据集中获取预设的测试数据，然后根据预设的转换格式将测试数据转换为时序信号，并该时序信号发送至驱动单元。驱动单元用于将该时序信号分别发送至监测单元以及待测模块200，监测单元用于在接收到测试数据后，将该测试数据发送至参考模块120，监测单元还用于从待测模块200获取实际测试数据并将实际测试数据发送至判断模块130。其中，测试数据包括第一格式生成数据以及第二格式生成数据，第一格式生成数据包括预设长度的随机数据，第二格式生成数据包括递增数据以及全0和/或全1的数据。

需要说明的是，本申请实施例不对测试数据的格式做限定，测试数据的格式可以包括但不限于上诉的第一格式生成数据以及第二格式生成数据，例如，测试数据的格式还可以包括第三格式生成数据，其中，第三格式生成数据为实际应用中收集的数据集。

待测模块200用于根据预设规则处理测试数据，得到实际测试数据。

参考模块120用于根据预设规则处理测试数据，得到期望测试数据，并将期望测试数据发送至判断模块130，其中，期望测试数据与实际测试数据对应。

判断模块130用于获取实际测试数据，并判断实际测试数据与期望测试数据是否一致，以确定待测模块200的功能是否正常。

其中，对于判断模块130如何获取实际测试数据，并判断实际测试数据与期望测试数据是否一致，具体包括：收发模块110用于通过监测单元从待测模块200中获取实际测试数据，并将实际测试数据发送至判断模块130；在实际测试数据与期望测试数据是否一致时，判断模块130确定待测模块200的功能正常，并且判断模块130还用于在待测模块200的功能正常时，向eda仿真验证平台上报待测模块功能正常信息。

当待测模块200的功能正常时，判断模块130还用于根据实际测试数据的有效传输数据量以及传输时间计算待测模块200的数据传输效率，其中，数据传输效率表征待测模块200的性能。

其中，对于判断模块130如何根据实际测试数据的有效传输数据量以及传输时间计算待测模块200的数据传输效率，具体包括：判断模块130用于根据第一计算公式：获取有效带宽；判断模块130还用于根据第二计算公式：获取满带宽，其中，时钟周期以及数据位宽为预设参数；判断模块130还用于根据第三计算公式：获取数据传输效率。

在判断模块130计算出待测模块200的数据传输效率后，判断模块130还用于判断数据传输效率是否达到预设定的优化值。在数据传输效率达到优化值时，判断模块130用于向eda仿真验证平台上报性能提升信息；在数据传输效率未达到优化值时，判断模块130用于向eda仿真验证平台上报性能未提升信息，以便配置人员根据性能未提升信息重新配置待测模块200的参数。

基于上述图3所提供的实施例，由于该装置应用于eda仿真验证平台，从而该装置具备成本低、可靠性高的优点，进一步的，该装置能够根据实际测试数据、期望测试数据是否一致以及计算待测模块200的数据传输效率，对待测模块200的功能以及性能进行评估，从而该装置具备自动化的优点。

下面结合实际应用对上述存储系统性能评估装置100做进一步解释。

请参照图4，为本申请实施例提供的又一种存储系统性能评估装置100的示意图。该装置包括收发模块110(inputandoutputagent)、参考模块120(referencemodel)、判断模块130(scoreboard)以及待测模块200(dut，deviceundertest)，其中，收发模块110包括获取组件(sequencer)、驱动组件(driver)、监测组件1(monitor)以及监测组件2(monitor)。测试数据集(sequences)为测试人员预先设置的，并且该测试数据集可以预先设置在eda仿真验证平台中，或者预先设置在其他存储模块中，本申请实施例对测试数据集的预先设置的位置不做限制。

在本实施例中，获取组件用于从测试数据集中获取测试数据，并将测试数据发送给驱动组件，其中测试数据包括第一格式生成数据以及第二格式生成数据，第一格式生成数据包括预设长度的随机数据，第二格式生成数据包括递增数据以及全0和/或全1的数据。

驱动组件根据预设的转换格式将测试数据转换为时序信号，其中，驱动组件包括与待测模块200对应的接口，驱动组件可以通过该接口将时序信号发送至待测模块200。

待测模块200在接收到驱动组件发送的时序信号时，用于根据预设规则处理该时序信号，得到实际测试数据。

监测组件1用于获取该时序信号，并将该时序信号发送至参考模块120，其中，监测组件1包括与待测模块200对应的接口。需要说明的是，监测组件1可以从待测模块200的输入接口中获取时序信号，或者直接获取驱动组件发送给待测模块200的时序信号。

监测组件2用于从待测模块200的输出接口获取待测模块200输出的处理后的时序信号(即实际测试数据)，并将实际测试数据发送至判断模块130。

参考模块120用于根据预设规则对从监测组件1获取到的时序信号进行处理，得到期望测试数据，并将期望测试数据发送至判断模块130中。

判断模块130用于判断实际测试数据与期望测试数据是否一致，以确定待测模块200的功能是否正常。

当待测模块200的功能正常时，判断模块130还用于根据实际测试数据的有效传输数据量以及传输时间计算待测模块200的数据传输效率，其中，数据传输效率表征待测模块200的性能。

具体的，以支持dfi3接口的待测模块200的性能估计为例，请参照图5，为本申请实施例提供的一种数据传输时序的示意图。在t0到t1时间段内，写入的数据包括“数据1”和“数据2”，从而有效传输数据量为“数据1”和“数据2”之“和”。

进而根据第一计算公式：可以计算

根据第二计算公式：可以计算出其中，时钟周期以及数据位宽为预设参数，可以理解的是，时钟周期以及数据位宽为实际应用中根据具体应用环境可以直接获取的参数；

根据第三计算公式：可以获取待测模块200的数据传输效率。

需要补充的是，收发模块110可以包括输入模块和输出模块，输入模块包括上述图4中的获取组件、驱动组件以及监测组件1，输出模块包括上述图4中的监测组件2。其中，输入模块包括但不限于收集dfi3或dfi3.1接口数据的组件，输出模块包括但不限于收集ddr3/3l，ddr4，lpddr3或lpddr4接口数据的组件。

基于上述图4所提供的实施例，由于该装置在实际应用时能够在eda仿真验证平台上设置不同的组件，并由不同的组件、待测模块200之间的交互来实现对存储系统性能的评估，从而该装置具备应用灵活的优点。

可以理解的是，在实际应用中，测试人员可以根据本申请提供的存储系统性能评估装置100的功能以及性能的反馈对待测模块200进行实施调整优化，例如，当待测模块200为dram存储子系统时，测试人员可以通过运行设置有本申请提供的存储系统性能评估装置100，并根据该装置的反馈判断是否对dram存储子系统的配置参数做进一步优化，当需要进一步优化时，测试人员可以通过配置dramcontroller和phy的参数来实现dram存储子系统的性能优化。

请参照图6，为本申请实施例提供的一种存储系统性能评估方法的流程示意图。该方法的执行主体是上述实施例所提供的存储系统性能评估装置100，可以理解的是，存储系统性能评估方法的具体实施方式可参考上述图2所示的存储系统性能评估装置。该方法包括如下步骤：

s100，将获取的测试数据发送至待测模块。

在本实施例中，s100具体包括：获取测试数据，根据预设的格式转换规则将测试数据转换为时序信号，并将时序信号发送至待测模块；其中，测试数据包括第一格式生成数据以及第二格式生成数据，第一格式生成数据包括预设长度的随机数据，第二格式生成数据包括递增数据以及全0和/或全1的数据。

可以理解的是，上述的收发模块110可以执行s100。

s110，获取待测模块根据预设规则处理测试数据得到的实际测试数据。

可以理解的是，上述的收发模块110可以执行s110。

s120，根据预设规则处理测试数据，得到期望测试数据。

可以理解的是，上述的参考模块120可以执行s120。

s130，判断实际测试数据与期望测试数据是否一致；当实际测试数据与期望测试数据一致时，执行s140；当实际测试数据与期望测试数据不一致时，执行s150。

可以理解的是，上述的判断模块130可以执行s130。

s140，确定待测模块功能正常。

可以理解的是，上述的判断模块130可以执行s140。

s150，确定待测模块功能不正常。

可以理解的是，上述的判断模块130可以执行s150。

进一步的，在s500之后，存储系统性能评估方法还包括：若实际测试数据与期望测试数据一致，则根据实际测试数据的有效传输数据量以及传输时间计算数据传输效率，其中，数据传输效率表征待测模块的性能。可以理解的是，判断模块130可以执行该步骤。

进一步的，在s500之后，存储系统性能评估方法还包括：判断数据传输效率是否达到预设优化值；若数据传输效率达到预设优化值，则确定待测模块的性能提升；若数据传输效率未达到预设优化值，则确定待测模块的性能未提升。可以理解的是，判断模块130可以执行该步骤。

请参阅图7，为本申请实施例提供的一种电子设备300的示意性结构框图。电子设备300包括存储器301、处理器302和通信接口303，该存储器301、处理器302和通信接口303相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器301可用于存储软件程序及模块，如本申请实施例所提供的存储系统性能评估装置100对应的程序指令/模块，处理器302通过执行存储在存储器301内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口303可用于与其他设备进行信令或数据的通信。

其中，存储器301可以是但不限于，随机存取存储器(randomaccessmemory，ram)，只读存储器(readonlymemory，rom)，可编程只读存储器(programmableread-onlymemory，prom)，可擦除只读存储器(erasableprogrammableread-onlymemory，eprom)，电可擦除只读存储器(electricerasableprogrammableread-onlymemory，eeprom)等。

处理器302可以是一种集成电路芯片，具有信号处理能力。该处理器302可以是通用处理器，包括中央处理器(centralprocessingunit，cpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(digitalsignalprocessing，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

可以理解，图7所示的结构仅为示意，电子设备还可包括比图7中所示更多或者更少的组件，或者具有与图7所示不同的配置。图7中所示的各组件可以采用硬件、软件或其组合实现。

在本申请所提供的实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本申请实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

另外，在本申请实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。

所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

综上所述，本申请实施例提供的一种存储系统性能评估装置、方法、电子设备及存储介质。该装置应用于eda电子设计自动化仿真验证平台。该装置的收发模块用于将获取的测试数据发送至待测模块以及参考模块，收发模块还用于获取待测模块根据预设规则处理测试数据得到的实际测试数据。参考模块用于根据预设规则处理测试数据，得到期望测试数据。判断模块用于判断实际测试数据与期望测试数据是否一致，判断模块还用于在实际测试数据与期望测试数据一致时，确定待测模块功能正常。由于参考模块以及待测模块均根据同一个预设规则处理测试数据，判断模块可以根据参考模块输出的期望测试数据以及待测模块输出的实际测试数据判断待测模块的功能是否正常，进而实现了对待测模块功能的评估，并且具备成本低、自动化、可靠性高以及应用灵活的优点。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

对于本领域技术人员而言，显然本申请不限于上述示范性实施例的细节，而且在不背离本申请的精神或基本特征的情况下，能够以其它的具体形式实现本申请。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本申请的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。