一种提升软拷贝读性能的方法、系统、终端及存储介质与流程

本发明属于分布式系统技术领域，具体涉及一种提升软拷贝读性能的方法、系统、终端及存储介质。

背景技术：

在大数据时代，基于实现的文件软拷贝功能，在读取软拷贝文件时，现有做法是：首先需要关联到源文件，然后再从硬盘读取数据；下盘直读源文件快照数据时，数据不在缓存中，上层应用需要等待数据从磁盘读取成功后再返回，直接从硬盘读取数据耗时是缓存读取的50倍，严重影响存储系统读性能和数据传输效率，直接从磁盘读取数据成为分布式系统读带宽和读性能的瓶颈。

技术实现要素：

针对现有技术的上述不足，本发明提供一种提升软拷贝读性能的方法、系统、终端及存储介质，以解决上述技术问题。

第一方面，本发明提供一种提升软拷贝读性能的方法，包括：

读取软拷贝文件并关联到读取范围内的源文件数据；

根据预读算法和读取范围计算得到预读数据涉及到的数据段；

根据所述数据段循环预读出对应的源文件数据并放到缓存中；

根据数据缓存淘汰算法将缓存中的数据进行移动。

进一步的，所述方法还包括：

创建默认缓存淘汰队列和相应缓存淘汰队列；

读取软拷贝文件关联的源文件数据，并判断读取数据的来源：

若从缓存直接读出，则将已读完的缓存数据放入默认缓存淘汰队列；

若从磁盘直接读出，则在数据读取过程中，自动收集数据读取范围规律并适配缓存淘汰模型，根据缓存淘汰模型匹配情况将读取数据移入到相应缓存淘汰队列，并把默认缓存淘汰队列的数据移入到相应缓存淘汰队列。

进一步的，所述根据预读算法和读取范围计算得到预读数据涉及到的数据段，包括：

调用预读算法，并根据读取范围传入当前读取数据的偏移量和读取数据的长度，计算出预读数据涉及到的数据段。

进一步的，所述根据所述数据段循环预读出对应的源文件数据并放到缓存中，包括：

找到各个预读数据段对应的源文件，循环异步读出各个数据段的源文件数据并加载到缓存中，等待下次从缓存直接读出时，放入默认缓存淘汰队列进行缓存更新。

第二方面，本发明提供一种提升软拷贝读性能的系统，包括：

文件读取单元，配置用于读取软拷贝文件并关联到读取范围内的源文件数据；

数据预读单元，配置用于根据预读算法和读取范围计算得到预读数据涉及到的数据段；

缓存写入单元，配置用于根据所述数据段循环预读出对应的源文件数据并放到缓存中；

缓存淘汰单元，配置用于根据数据缓存淘汰算法将缓存中的数据进行移动。

第三方面，提供一种终端，包括：

处理器、存储器，其中，

该存储器用于存储计算机程序，

该处理器用于从存储器中调用并运行该计算机程序，使得终端执行上述的终端的方法。

第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有指令，当其在计算机上运行时，使得计算机执行上述各方面所述的方法。

本发明的有益效果在于，

本发明提供的一种提升软拷贝读性能的方法、系统、终端及存储介质，通过分布式系统预读算法和缓存模块淘汰机制的自学习技术，实现软拷贝文件预读，提升软拷贝文件读性能和系统吞吐量。

此外，本发明设计原理可靠，结构简单，具有非常广泛的应用前景。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一个实施例的方法的示意性流程图。

图2是本发明一个实施例的系统的示意性框图。

图3为本发明实施例提供的一种终端的结构示意图。

具体实施方式

为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。

下面对本发明中出现的关键术语进行解释。

图1是本发明一个实施例的方法的示意性流程图。其中，图1执行主体可以为一种提升软拷贝读性能的系统。

如图1所示，该方法100包括：

步骤110，读取软拷贝文件并关联到读取范围内的源文件数据；

步骤120，根据预读算法和读取范围计算得到预读数据涉及到的数据段；

步骤130，根据所述数据段循环预读出对应的源文件数据并放到缓存中；

步骤140，根据数据缓存淘汰算法将缓存中的数据进行移动。

可选地，作为本发明一个实施例，所述方法还包括：

创建默认缓存淘汰队列和相应缓存淘汰队列；

读取软拷贝文件关联的源文件数据，并判断读取数据的来源：

若从缓存直接读出，则将已读完的缓存数据放入默认缓存淘汰队列；

若从磁盘直接读出，则在数据读取过程中，自动收集数据读取范围规律并适配缓存淘汰模型，根据缓存淘汰模型匹配情况将读取数据移入到相应缓存淘汰队列，并把默认缓存淘汰队列的数据移入到相应缓存淘汰队列。

可选地，作为本发明一个实施例，所述根据预读算法和读取范围计算得到预读数据涉及到的数据段，包括：

调用预读算法，并根据读取范围传入当前读取数据的偏移量和读取数据的长度，计算出预读数据涉及到的数据段。

可选地，作为本发明一个实施例，所述根据所述数据段循环预读出对应的源文件数据并放到缓存中，包括：

找到各个预读数据段对应的源文件，循环异步读出各个数据段的源文件数据并加载到缓存中，等待下次从缓存直接读出时，放入默认缓存淘汰队列进行缓存更新。

为了便于对本发明的理解，下面以本发明一种提升软拷贝读性能的方法的原理，结合实施例中对分布式系统进行软拷贝读取的过程，对本发明提供的一种提升软拷贝读性能的方法做进一步的描述。

具体的，所述一种提升软拷贝读性能的方法包括：

首先，运行分布式系统和客户端程序，创建软拷贝文件；

客户端在读取软拷贝文件时，先关联读取范围(offset～offset+size)对应的源文件快照数据段或数据段信息，再读取数据，若读取数据命中缓存直接从缓存读出数据后返回，已读完的缓存数据放入默认缓存淘汰队列q1；若读取数据不在缓存中，从磁盘直接读取数据，然后返回；数据读取过程中，缓存模块自动收集数据读取范围规律并适配相应的缓存淘汰模式，待缓存淘汰模式选定成功后，再把q1的数据移入到相应缓存淘汰队列q2；数据读取完成后，调用缓存模块预读算法传入当前读取数据的偏移量offset和读取数据的长度size，计算出后续预读数据涉及到的数据段，再找到各个预读数据段对应的源文件，循环异步读出各个数据段的数据并加载到缓存中，等待下次读取命中后，放入相应的缓存淘汰队列进行缓存更新。

客户端程序实现时主要包括以下几个步骤：

(1)运行分布式系统和客户端程序，创建软拷贝文件；

(2)读取软拷贝文件，并等待读取数据返回；

(3)关联读取范围对应的源文件快照数据段或数据段信息；

(4)根据关联到的数据段读取数据并等待返回；

(5)数据读取完成后，根据当前读取数据的范围并调用缓存模块预读算法计算出预读数据涉及到的数据段；

(6)关联预读数据段涉及到的源文件数据段或快照数据段；

(7)循环下发异步消息预读各个数据段数据；

(8)预读消息下发完成后，给客户端返回读取到的数据。

缓存模块处理程序主要包括以下步骤：

(1)接收到客户端读消息后，判断要读取数据是否在缓存；

(2)若是则进入步骤(3)；

(3)从缓存中取出数据并把读取过的缓存数据放入默认缓存淘汰队列q1,

待后续缓存淘汰模型匹配成功后，再移入相应缓存淘汰队列；

(4)若不是则进入步骤(5)；

(5)判断是否是预读，若是预读则进入步骤(6)；

(6)下发异步读取数据操作并返回，待数据读取成功后放入到相应缓存队列中；

(7)若不是预读，则进入步骤(8)；

(8)下发读数据操作并等待返回；

(9)自学习数据读取范围数据，并匹配相应的缓存淘汰模型，匹配成功后，进行缓存数据移动。

如图2示，该系统200包括：

文件读取单元210，配置用于读取软拷贝文件并关联到读取范围内的源文件数据；

数据预读单元220，配置用于根据预读算法和读取范围计算得到预读数据涉及到的数据段；

缓存写入单元230，配置用于根据所述数据段循环预读出对应的源文件数据并放到缓存中；

缓存淘汰单元240，配置用于根据数据缓存淘汰算法将缓存中的数据进行移动。

图3为本发明实施例提供的一种终端系统300的结构示意图，该终端系统300可以用于执行本发明实施例提供的一种提升软拷贝读性能的方法。

其中，该终端系统300可以包括：处理器310、存储器320及通信单元330。这些组件通过一条或多条总线进行通信，本领域技术人员可以理解，图中示出的服务器的结构并不构成对本发明的限定，它既可以是总线形结构，也可以是星型结构，还可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

其中，该存储器320可以用于存储处理器310的执行指令，存储器320可以由任何类型的易失性或非易失性存储终端或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。当存储器320中的执行指令由处理器310执行时，使得终端300能够执行以下上述方法实施例中的部分或全部步骤。

处理器310为存储终端的控制中心，利用各种接口和线路连接整个电子终端的各个部分，通过运行或执行存储在存储器320内的软件程序和/或模块，以及调用存储在存储器内的数据，以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(integratedcircuit，简称ic)组成，例如可以由单颗封装的ic所组成，也可以由连接多颗相同功能或不同功能的封装ic而组成。举例来说，处理器310可以仅包括中央处理器(centralprocessingunit，简称cpu)。在本发明实施方式中，cpu可以是单运算核心，也可以包括多运算核心。

通信单元330，用于建立通信信道，从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

本发明还提供一种计算机存储介质，其中，该计算机存储介质可存储有程序，该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文：read-onlymemory，简称：rom)或随机存储记忆体(英文：randomaccessmemory，简称：ram)等。

因此，本发明通过分布式系统预读算法和缓存模块淘汰机制的自学习技术，实现软拷贝文件预读，提升软拷贝文件读性能和系统吞吐量，本实施例所能达到的技术效果可以参见上文中的描述，此处不再赘述。

本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中如u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质，包括若干指令用以使得一台计算机终端(可以是个人计算机，服务器，或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。

本说明书中各个实施例之间相同相似的部分互相参见即可。尤其，对于终端实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例中的说明即可。

在本发明所提供的几个实施例中，应该理解到，所揭露的系统、系统和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，系统或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述，但本发明并不限于此。在不脱离本发明的精神和实质的前提下，本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换，而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。