http请求访问文件系统资源的调度方法、装置及设备与流程

本发明涉及网络通信、文件系统技术领域，特别是涉及一种http请求访问文件系统资源的调度方法、装置、设备以及计算机可读存储介质。

背景技术：

超文本传输协议(hypertexttransferprotocol，http)是互联网上应用最为广泛的一种网络协议，所有的www文件都必须遵守这个标准。从网络参考模型来看，它是属于应用层。它规定了计算机通信网络中两台计算机之间进行通信所必须共同遵守的规定或规则，它允许将超文本标记语言(html)文档从web服务器传送到客户端的浏览器。简单的来说，它就是基于应用层一个规范一个标准。http协议可以用于在网络上的文件系统服务器进程与用户设备上的客户端之间交换信息，其是一种与平台、文件系统无关的协议。

统一资源定位符url是对可以从互联网上得到的资源的位置和访问方法的一种简洁的表示，是互联网上标准资源的地址。互联网上的每个文件都有一个唯一的url，它包含的信息指出文件的位置以及浏览器应该怎么处理它。

在这种对等的分布式集群中，每个节点都对外提供的相同存储服务，其中，用户通过基于http协议的分布式集群web文件服务器来访问集群存储数据是一种普遍使用的场景，由于每个节点都对外提供存储服务，随着业务数据量的逐渐增加，分布式集群web文件服务器的性能是一项重要指标，由于分布式集群服务模块复杂、模块之间协同运行对自动化web文件服务器的性能统计提出了难题，因此，http协议对文件存储集群的文件系统资源进行访问调度访问、均分压力，把http请求根据url线程分发，提高访问文件系统的性能。

目前，现有技术中，http协议使用多进程和多线程的io调度模型，一个进程生成n个线程，每线程响应一个连接请求事件驱动。如何进一步提高http请求访问文件系统的效率是本领域技术人员亟待解决的技术问题。

技术实现要素：

本发明的目的是提供一种http请求访问文件系统资源的调度方法、装置、设备以及计算机可读存储介质，以提高http请求访问文件系统的效率。

为解决上述技术问题，本发明提供一种http请求访问文件系统资源的调度方法，包括：

创建http请求线程池；

保持客户端与服务器的连接持续有效，当出现对所述服务器的后续连接请求时复用http认证链接；

对http请求的报文数据进行缓存；

提供文件系统数据的存储url地址数组，采用随机读取url的方法处理http请求响应。

可选地，所述http请求线程池用于记录要请求的服务器的地址、以及与所述服务器的http连接。

可选地，所述对http请求的报文数据进行缓存包括：

接收缓存从网络中读取抵达的http请求报文；

解析缓存中的所述http请求报文，提取出url和http请求首部；

查询缓存中是否存在所述http请求报文的本地副本，如果没有则将复制副本保存到本地；

检查缓存是否失效，如果失效则进行更新处理；

通过新的http首部和已缓存的主体构建响应报文；

缓存通过网络将所述响应报文发送至所述客户端。

可选地，在所述缓存通过网络将所述响应报文发送至所述客户端之后还包括：

通过日志来描述缓存事务的过程。

本申请还提供了一种http请求访问文件系统资源的调度装置，包括：

创建模块，用于创建http请求线程池；

保持模块，用于保持客户端与服务器的连接持续有效，当出现对所述服务器的后续连接请求时复用http认证链接；

缓存模块，用于对http请求的报文数据进行缓存；

响应模块，用于提供文件系统数据的存储url地址数组，采用随机读取url的方法处理http请求响应。

可选地，所述http请求线程池用于记录要请求的服务器的地址、以及与所述服务器的http连接。

可选地，所述缓存模块包括：

接收单元，用于接收缓存从网络中读取抵达的http请求报文；

提取单元，用于解析缓存中的所述http请求报文，提取出url和http请求首部；

查询单元，用于查询缓存中是否存在所述http请求报文的本地副本，如果没有则将复制副本保存到本地；

更新单元，用于检查缓存是否失效，如果失效则进行更新处理；

创建单元，用于通过新的http首部和已缓存的主体构建响应报文；

发送单元，用于缓存通过网络将所述响应报文发送至所述客户端。

可选地，还包括：

日志记录单元，用于在缓存通过网络将所述响应报文发送至所述客户端之后，通过日志来描述缓存事务的过程。

本申请还提供了一种http请求访问文件系统资源的调度设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现上述任一种所述http请求访问文件系统资源的调度方法的步骤。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种所述http请求访问文件系统资源的调度方法的步骤。

本发明所提供的http请求访问文件系统资源的调度方法，通过创建http请求线程池；保持客户端与服务器的连接持续有效，当出现对服务器的后续连接请求时复用http认证链接；对http请求的报文数据进行缓存；提供文件系统数据的存储url地址数组，采用随机读取url的方法处理http请求响应。本申请使用http自动管理tcp链接，自动分发url资源，解决了人为释放、创建链接的问题，提高了http服务器访问文件系统的效率。进一步地，本申请采用复用的http认证链接方法，解决了http认证过程中tcp三次握手的重复认证过程，极大的降低了http请求响应的处理时间；使用http请求缓存处理，减少冗余的数据传输，节约了网络资源，降低了对文件系统服务的要求，提高了文件系统响应速度。此外，本申请还提供了一种具有上述技术效果的http请求访问文件系统资源的调度装置、设备以及计算机可读存储介质。

附图说明

为了更清楚的说明本发明实施例或现有技术的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本申请所提供的http请求访问文件系统资源的调度方法的一种具体实施方式的流程图；

图2为本申请提供的http请求访问文件系统资源的调度方法架构图；

图3为本申请所提供的http请求访问文件系统资源的调度方法中对http请求的报文数据进行缓存的过程示意图；

图4为本发明实施例提供的http请求访问文件系统资源的调度装置的结构框图；

图5为本发明实施例提供的http请求访问文件系统资源的调度设备的结构框图。

具体实施方式

为了使本技术领域的人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本申请所提供的http请求访问文件系统资源的调度方法的一种具体实施方式的流程图如图1所示，该方法具体包括：

步骤s101：创建http请求线程池；

创建http请求线程池用于对http请求线程进行管理，以解决内存开销，降低资源消耗，提高响应速度，提高线程的可管理性。其中，http请求线程池用于记录要请求的服务器的地址、以及与所述服务器的http连接。

步骤s102：保持客户端与服务器的连接持续有效，当出现对所述服务器的后续连接请求时复用http认证链接；

保持连接功能是指http协议采用“请求-应答”模式，当使用普通模式，即非keepalive模式时，每个请求/应答客户和服务器都要新建一个连接，完成之后立即断开连接(http协议为无连接的协议)；当使用keep-alive模式(又称持久连接、连接重用)时，keep-alive功能使客户端到服务器端的连接持续有效，当出现对服务器的后继请求时，keep-alive功能避免了建立或者重新建立连接。本申请实施例即可通过使用keep-alive功能，建立客户端到服务器的连接持续有效，在建立客户端到服务端的连接并通过三次握手保持连接之后，当出现对服务器的后续连接请求时，可以复用之前建立的通信连接，避免了建立或重新建立连接。这样，能够解决http认证过程中tcp三次握手的重复认证过程，降低了http请求响应的处理时间。

可选地，可以通过在http头加入"connection:keep-alive"。

步骤s103：对http请求的报文数据进行缓存；

通过使用http请求缓存处理，能够减少冗余的数据传输，节约了网络资源，降低了对文件系统服务的要求，提高了文件系统的响应速度。

步骤s104：提供文件系统数据的存储url地址数组，采用随机读取url的方法处理http请求响应。

首先，提供文件系统数据的存储url地址数组，采用随机读取url的方法，对文件系统进行选举进而处理http请求响应。

本申请提供的http请求访问文件系统资源的调度方法架构图如图2所示，本发明所提供的http请求访问文件系统资源的调度方法，通过创建http请求线程池；保持客户端与服务器的连接持续有效，当出现对服务器的后续连接请求时复用http认证链接；对http请求的报文数据进行缓存；提供文件系统数据的存储url地址数组，采用随机读取url的方法处理http请求响应。

本申请使用http自动管理tcp链接，自动分发url资源，解决了人为释放、创建链接的问题，提高了http服务器访问文件系统的效率。进一步地，本申请采用复用的http认证链接方法，解决了http认证过程中tcp三次握手的重复认证过程，极大的降低了http请求响应的处理时间；使用http请求缓存处理，减少冗余的数据传输，节约了网络资源，降低了对文件系统服务的要求，提高了文件系统响应速度。

在上述实施例的基础上，本申请所提供的http请求访问文件系统资源的调度方法中，参照图3，所述步骤s103对http请求的报文数据进行缓存的过程可以进一步包括：

步骤s1031：接收缓存从网络中读取抵达的http请求报文；

缓存检测到一条网络链接上的活动，读取输入数据。高性能的缓存会同时从多条输入的链接上读取数据，在整条报文到达之前就进行处理。

步骤s1032：解析缓存中的所述http请求报文，提取出url和http请求首部；

缓存将报文解析为片段，将服务器首部的各个部分放入到易于操作的数据结构中，目的是缓存软件能够较容易处理首部字段并修改。

步骤s1033：查询缓存中是否存在所述http请求报文的本地副本，如果没有则将复制副本保存到本地；

缓存获取到url，查找本地副本，本地副本可以存储在内存，本地磁盘。已缓存的对象中包含了服务器的响应主体和原始服务器响应首部，这样就会在缓存命中时返回正确的服务器首部，已存在的缓存对象中也包换元数据信息，用来记录对象在缓存中停留了多长时间，以及调用次数。

步骤s1034：检查缓存是否失效，如果失效则进行更新处理；

通过缓存将服务器文档的副本保留一段时间，这一段时间里，则认为缓存是有效的，缓存可以在不通过服务器的情况下，直接提供该文档。如果停留的时间过长，则认为缓存失效。

步骤s1035：通过新的http首部和已缓存的主体构建响应报文；

步骤s1036：缓存通过网络将所述响应报文发送至所述客户端。

进一步地，在上述步骤s1036缓存通过网络将所述响应报文发送至所述客户端之后还包括：s1037：通过日志来描述缓存事务的过程。

本申请采用复用的http认证链接方法，解决了http认证过程中tcp三次握手的重复认证过程，极大的降低了http请求响应的处理时间；使用http请求缓存处理，减少冗余的数据传输，节约了网络资源，降低了对文件系统服务的要求，提高了文件系统响应速度；使用http自动管理tcp链接，自动分发url资源，解决了人为释放、创建链接的问题，提高了http服务器访问文件系统的效率。本发明在分布式集群多模块协作运行系统中，在缩短产品研发周期的同时，提供一种简便、高效的一种http请求访问文件系统资源的调度方法。

下面对本发明实施例提供的http请求访问文件系统资源的调度装置进行介绍，下文描述的http请求访问文件系统资源的调度装置与上文描述的http请求访问文件系统资源的调度方法可相互对应参照。

图4为本发明实施例提供的http请求访问文件系统资源的调度装置的结构框图，参照图4http请求访问文件系统资源的调度装置可以包括：

创建模块100，用于创建http请求线程池；

保持模块200，用于保持客户端与服务器的连接持续有效，当出现对所述服务器的后续连接请求时复用http认证链接；

缓存模块300，用于对http请求的报文数据进行缓存；

响应模块400，用于提供文件系统数据的存储url地址数组，采用随机读取url的方法处理http请求响应。

作为一种具体实施方式，本申请所提供的http请求访问文件系统资源的调度装置，所述http请求线程池用于记录要请求的服务器的地址、以及与所述服务器的http连接。

作为一种具体实施方式，本申请所提供的http请求访问文件系统资源的调度装置，所述缓存模块包括：

接收单元，用于接收缓存从网络中读取抵达的http请求报文；

提取单元，用于解析缓存中的所述http请求报文，提取出url和http请求首部；

查询单元，用于查询缓存中是否存在所述http请求报文的本地副本，如果没有则将复制副本保存到本地；

更新单元，用于检查缓存是否失效，如果失效则进行更新处理；

创建单元，用于通过新的http首部和已缓存的主体构建响应报文；

发送单元，用于缓存通过网络将所述响应报文发送至所述客户端。

进一步地，本申请实施例还可以包括：

日志记录单元，用于在缓存通过网络将所述响应报文发送至所述客户端之后，通过日志来描述缓存事务的过程。

本实施例的http请求访问文件系统资源的调度装置用于实现前述的http请求访问文件系统资源的调度方法，因此http请求访问文件系统资源的调度装置中的具体实施方式可见前文中的http请求访问文件系统资源的调度方法的实施例部分，例如，创建模块100，保持模块200，缓存模块300，响应模块400，分别用于实现上述http请求访问文件系统资源的调度方法中步骤s101，s102，s103和s104，所以，其具体实施方式可以参照相应的各个部分实施例的描述，在此不再赘述。

本发明所提供的http请求访问文件系统资源的调度装置，通过创建http请求线程池；保持客户端与服务器的连接持续有效，当出现对服务器的后续连接请求时复用http认证链接；对http请求的报文数据进行缓存；提供文件系统数据的存储url地址数组，采用随机读取url的方法处理http请求响应。本申请使用http自动管理tcp链接，自动分发url资源，解决了人为释放、创建链接的问题，提高了http服务器访问文件系统的效率。进一步地，本申请采用复用的http认证链接方法，解决了http认证过程中tcp三次握手的重复认证过程，极大的降低了http请求响应的处理时间；使用http请求缓存处理，减少冗余的数据传输，节约了网络资源，降低了对文件系统服务的要求，提高了文件系统响应速度。

此外，本申请还提供了一种http请求访问文件系统资源的调度设备，如图5所示，该设备具体包括：

存储器11，用于存储计算机程序；

处理器12，用于执行所述计算机程序时实现上述任一种所述http请求访问文件系统资源的调度方法的步骤。

本申请还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述任一种所述http请求访问文件系统资源的调度方法的步骤。

本申请所提供的http请求访问文件系统资源的调度设备、计算机可读存储介质与上述http请求访问文件系统资源的调度方法相对应，其具体实施方式可以相互参照，在此不再赘述。

本申请使用http自动管理tcp链接，自动分发url资源，解决了人为释放、创建链接的问题，提高了http服务器访问文件系统的效率。进一步地，本申请采用复用的http认证链接方法，解决了http认证过程中tcp三次握手的重复认证过程，极大的降低了http请求响应的处理时间；使用http请求缓存处理，减少冗余的数据传输，节约了网络资源，降低了对文件系统服务的要求，提高了文件系统响应速度。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其它实施例的不同之处，各个实施例之间相同或相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

专业人员还可以进一步意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(ram)、内存、只读存储器(rom)、电可编程rom、电可擦除可编程rom、寄存器、硬盘、可移动磁盘、cd-rom、或技术领域内所公知的任意其它形式的存储介质中。

以上对本发明所提供的http请求访问文件系统资源的调度方法、装置、设备以及计算机可读存储介质进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。