一种同步云端仿真数据的多级缓存传输加速系统的制作方法

本发明涉及云计算
技术领域：
，尤其涉及用于工业仿真的云计算领域
背景技术：
：云计算作为一种新兴的共享基础架构的方法，其可以将网络上的计算机系统连接在一起，向用户提供各种服务。客户可以以很低的成本获得极高的计算能力。在计算机辅助工程(cae)领域，利用仿真软件求解问题是非常常见的，但是不少cae软件对计算机的性能，包括cpu主频、cpu核数、ram大小、rom读写速度、rom容量等，要求非常高，因此通常将这些软件部署在云端高性能计算机集群上，并让其为普通用户提供仿真服务，而提供的服务中数据实时同步是一个至关重要的部分，但是由于cae软件产生的仿真数据具有数据量巨大，仿真时间长，仿真期间持续变化等特征，使用传统的文件同步方法去处理，会造成带宽浪费、同步速度慢、同步数据存在一定的重复率等问题。此外，目前同步云端数据的方法虽然有很多种，但其基本构思都是当本地数据内容与云端数据不一致时，重新从云端拉取最新的数据，从而达到同步的效果，而针对仿真数据特征进行设计的传输加速方案还未出现。技术实现要素：因此，针对现有技术存在的上述问题，本发明提出了一种高效的同步云端仿真数据的多级缓存传输加速系统，可以达到高效同步仿真数据的效果。一种同步云端仿真数据的多级缓存传输加速系统，该系统包括：高性能计算机集群，用来存储和运行计算机辅助工程(cae)仿真软件；本地客户端，包含本地缓存，所述本地缓存中存储第一数据块描述符表，其上存有频数处于前列的数据块描述符；存储服务器，用来存储相应的数据块；数据库，存储有第二数据块描述符表，当本地缓存未命中时，根据所述第二数据块描述符表进行命中检测。一种同步云端仿真数据的多级缓存传输加速系统，优选的：所述本地客户端用来向所述高性能计算机集群请求数据块的消息摘要(messagedigest)。一种同步云端仿真数据的多级缓存传输加速系统，优选的：所述本地客户端根据获取的消息摘要，查询本地缓存中的数据块描述符表，若缓存命中则根据描述符中的数据索引查找相应的本地数据或存储服务器上的数据。一种同步云端仿真数据的多级缓存传输加速系统，优选的：缓存命中后，更新所述描述符中的出现频数和时间戳。一种同步云端仿真数据的多级缓存传输加速系统，优选的：所述第二数据块描述符表中的数据索引可以是一个文件或为空。一种同步云端仿真数据的多级缓存传输加速系统，优选的：所述本地缓存中的数据块描述符来自于所述数据库，将出现频数较大、时间较近的数据块描述符放至本地缓存中。一种同步云端仿真数据的多级缓存传输加速方法：该方法包括：步骤s1：用户端从高性能计算机集群请求数据块的消息摘要；步骤s2：根据所述消息摘要判断本地缓存是否命中，若是，根据数据索引取得数据，并更新缓存中相应的条目；若否则转步骤s3；步骤s3：根据所述消息摘要查询数据库是否命中，若是，更新数据块描述符表中的频数和时间戳，并检查数据索引是否存在；若否，则转步骤s4；步骤s4：根据所述消息摘要，向数据库中添加一个新的描述符；步骤s5：向高性能计算机集群拉取数据块；步骤s6：检查数据库中的所述消息摘要对应的描述符的频数是否大于预设的阈值，若是则转步骤s7，若否则转步骤s8；步骤s7：将所述数据块存入数据库存储服务器，并更新数据库中相应描述符的数据索引值；步骤s8：结束。一种同步云端仿真数据的多级缓存传输加速方法，优选的：所述步骤2还包括，当频数超过某一阈值，并且数据索引来自存储服务器，则将取出的数据缓存到本地内存，然后跳转至步骤s8。本申请所述的同步云端仿真数据的多级缓存传输和加速系统和方法，充分利用缓存中已经存在的数据来取代从远程高性能计算机集群上请求的数据，极大地降低了网络传输的总流量，使得同步云端仿真数据变得高效而迅捷，从而达到了从云端高效同步仿真数据到本地的技术效果。附图说明图1为系统工作架构图；图2为数据块描述符表的二级缓存系统；图3为系统工作的工作路径图；图4为缓存加速系统工作流程图。以下结合附图和具体实施例对本发明作进一步详述。具体实施方式下面参照附图对本发明进行更全面的描述，详细说明本发明的示例性实施例。图1示出了同步云端仿真数据的多级缓存传输加速系统的工作架构图。如图1所示，系统包括，高性能计算机集群，其用来存储和运行计算机辅助工程(cae)仿真软件，数据库，用来存储数据块描述符表，存储服务器，用来存储相应的数据块，普通计算机(即本地客户端)，以及用于网络连接的路由器。图2示出了数据块描述符表的二级缓存系统，如图2所示，本地计算机包含一级缓存，所述缓存中存有数据块描述符表。数据块描述符包括消息摘要、频数、数据索引以及时间戳四个条目，存储数据块描述符的表称之为数据块描述符表。作为一级缓存，缓存中的数据索引默认是存储服务器上的地址，而对于频数处于前列的数据块描述符，则会将相应的数据存储到本地内存中。加速系统会定期地从数据块中取得频数超过某一阈值的数据块描述符放到缓存中去，其采用的更新策略为最近最少使用(lru)策略。同时，也会将缓存中的一些数据描述符的更新信息持久化到数据库中。图3示出了同步云端仿真数据的多级缓存传输加速系统的一条工作路径。第1步，缓存加速系统先去高性能计算机集群上拉取相应的数据块的消息摘要，由于该消息摘要的数据量很小，因此这一操作耗时很少。然后缓存加速系统先查询本地缓存中的数据块描述符表，表中的每个条目具有如下表1所显示的格式：消息摘要出现频数数据索引(可选)时间戳表1数据块描述符我们将其称为数据块描述符，存储数据块描述符的表称之为数据块描述符表。第2步，利用第1步获取到的消息摘要，查询本地缓存中的数据块描述符表，以消息摘要匹配为准，若是匹配到，则称缓存命中，然后缓存加速系统根据描述符中的数据索引查找到相应的本地数据或者存储服务器上的数据，从而节省了一次数据块的网络请求，达到加速的效果。当缓存命中后，需要更新出现频数和时间戳，这两个字段是用来维护数据块描述符表的重要指标。当缓存加速系统需要替换一些描述符时，会以出现频数和时间戳为指标，采用类似lru的策略来更新数据块描述符表。第3步，如果第2步中本地缓存没有命中，则使用数据库中存储的数据块描述符表来做命中检测。第4步，需要注意的是，在数据库中的数据索引可能是一个文件，也可能为空值(这样做可以节省空间)。假设第3步命中，缓存加速系统则会从存储服务器上取得相应的数据块，从而达到加速的效果。另外，数据库中的数据块描述符表也是使用lru策略来更新，并调整相应的参数。第5步，当第3步没有命中，或者第4步获取数据失败后，则会进入这一步，普通计算机会尝试从高性能计算机集群上去拉取相应的数据块，拉取到之后，及时更新本地缓存的数据块描述符表或者数据库中的数据块描述符表。图4示出了缓存加速系统的工作流程图。步骤s1：用户端从高性能计算机集群请求数据块的消息摘要；步骤s2：根据所述消息摘要判断本地缓存是否命中，若是，根据数据索引取得数据，并更新缓存中命中描述符的频数和时间戳，若是频数超过某一阈值，并且数据索引来自存储服务器，则将取出的数据缓存到本地内存，然后跳转至步骤s8；若否则转步骤s3；步骤s3：根据所述消息摘要查询数据库是否命中，若是，更新命中数据块描述符中的频数和时间戳，并检查数据索引是否存在；若是，则跳转至步骤s8，若否，则转步骤s4；步骤s4：根据所述消息摘要，向数据库中添加一个新的描述符；步骤s5：向高性能计算机集群拉取数据块；步骤s6：检查数据库中的所述消息摘要对应的描述符的频数是否大于预设的阈值，若是则转步骤s7，若否则转步骤s8；步骤s7：将所述数据块存入数据库存储服务器，并更新数据库中相应描述符的数据索引值；步骤s8：结束本次循环。采用本发明的同步云端仿真数据的多级缓存传输加速系统和方法，在实际应用中，对于很多商业仿真软件输出的文件，可以达到约40％-45％的数据传输量的减少。应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的范围。当前第1页12