一种分布式文件系统的调度方法及系统与流程

本发明属于计算机应用技术领域，尤其涉及一种分布式文件系统的调度方法及系统。

背景技术：

分布式文件系统(distributedfilesystem)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。

综上所述，现有技术存在的问题是：现有的分布式文件系统存在存储设备能耗较大，名字节点namenode的负担、海量小文件存储访问效率低，分布式文件系统中独立认证模块的开发人力和财力资源成本高。

技术实现要素：

针对现有技术存在的问题，本发明提供了一种分布式文件系统的调度方法及系统。

本发明是这样实现的，一种分布式文件系统的调度系统，所述分布式文件系统的调度系统包括：

分布式文件系统的调度系统，其特征在于，所述分布式文件系统的调度系统统包括：

集群负载信息获取模块，用于按照预设的时间周期定期获取所述分布式文件系统的集群负载信息；

所述集群负载信息获取模块对跳频混合信号时频域矩阵进行预处理，具体包括如下两步：

第一步，对进行去低能量预处理，即在每一采样时刻p，将幅值小于门限ε的值置0，得到门限ε的设定可根据接收信号的平均能量来确定；

第二步，找出p时刻(p＝0，1，2，…p-1)非零的时频域数据，用表示，其中表示p时刻时频响应非0时对应的频率索引，对这些非零数据归一化预处理，得到预处理后的向量b(p，q)＝[b1(p，q)，b2(p，q)，…，bm(p，q)]^t，其中：

确定调度策略模块，用于根据查询语句构建查询计划树、确定查询种类和需要查询的数据表，并根据查询种类确定最终调度策略；根据所述的最终调度策略，为所述查询计划树中各个结点选择执行节点以完成并行查询执行调度；

数据存储模块，用于将分布式文件系统客户端聚类成为虚拟资源池，且建立了存储单元与虚拟资源池的映射关系，存储单元与其对应的虚拟资源池中存储相同的数据，使得在虚拟资源池上线时，由虚拟资源池为分布式文件系统客户端提供服务；

小文件存储模块，用于通过建立相应的本地索引和小文件处理机制，来有效地完成小文件的合并、映射、预取，在写入或读取文件之前，先判断该文件是否是小文件，如果是，则先交给小文件服务器处理，否则直接交给原hdfs系统处理；

认证模块，用于在分布式文件系统中部署ldap服务器和cas服务器，使cas服务器和ldap服务器能够双向读取和存储数据；用户通过web应用服务进程访问分布式文件系统时，检查该用户的会话是否存在，如果不存在则重新定向到cas服务器端，检查tgt，若tgt不存在或者tgt错误则需要用户重新登录，用户输入了用户名和密码后，在ldap服务器进行统一认证单点登录；ldap认证完成后，cas返回给用户合法的tgt和st，根据用户的当前的web应用服务进程重新定向到分布式文件系统中；分布式文件系统接收到返回的st，还要由cas服务器认证st的合法有效性，如果合法有效则确认用户可以访问该分布式文件系统中资源；当用户获得访问分布式文件系统中一个业务系统的权限后，当该用户访问其他业务系统的文件资源时，用户访问进程只需提供st，被访问的业务系统把接收到的st重定向到cas服务器，验证合法性和是否过期，若st不存在或者st过期，则返回校验tgt，如果tgt合法则cas重新授予用户一张st；

路径解析模块，用于通过对元数据服务器按照一定结构进行组织，并利用计算机系统提供的向内部存储器核心空间装载二进制代码的指令，将实现了新lookup操作的模块植入内存的核心空间中，使该分布式文件系统可以完成全路径解析；

处理器，与确定调度策略模块、数据存储模块、小文件存储模块、认证模块、路径解析模块连接，用于实现确定调度策略模块、数据存储模块、小文件存储模块、认证模块、路径解析模块传输信息的处理；

所述处理器对m路离散时域混合信号进行重叠加窗短时傅里叶变换，得到m个混合信号的时频域矩阵p＝0，1，…，p-1，q＝0，1，…，nfft-1，其中p表示总的窗数，nfft表示fft变换长度；

(p，q)表示时频索引，具体的时频值为这里nfft表示fft变换的长度，p表示加窗次数，ts表示采样间隔，fs表示采样频率，c为整数，表示短时傅里叶变换加窗间隔的采样点数，c＜nfft，且kc＝nfft/c为整数，也就是说采用的是重叠加窗的短时傅里叶变换。

本发明的另一目的在于提供一种所述分布式文件系统的调度系统的分布式文件系统的调度方法，所述分布式文件系统的调度方法包括：

按照预设的时间周期定期获取所述分布式文件系统的集群负载信息；根据查询语句构建查询计划树、确定查询种类和需要查询的数据表，并根据查询种类确定最终调度策略；根据所述的最终调度策略，为所述查询计划树中各个结点选择执行节点以完成并行查询执行调度；

将分布式文件系统客户端聚类成为虚拟资源池，且建立了存储单元与虚拟资源池的映射关系，存储单元与其对应的虚拟资源池中存储相同的数据，使得在虚拟资源池上线时；

通过建立相应的本地索引和小文件处理机制，来有效地完成小文件的合并、映射、预取，在写入或读取文件之前，先判断该文件是否是小文件，如果是，则先交给小文件服务器处理，否则直接交给原hdfs系统处理；

在分布式文件系统中部署ldap服务器和cas服务器，使cas服务器和ldap服务器能够双向读取和存储数据；用户通过web应用服务进程访问分布式文件系统时，检查该用户的会话是否存在，如果不存在则重新定向到cas服务器端，检查tgt，若tgt不存在或者tgt错误则需要用户重新登录，用户输入了用户名和密码后，在ldap服务器进行统一认证单点登录；ldap认证完成后，cas返回给用户合法的tgt和st，根据用户的当前的web应用服务进程重新定向到分布式文件系统中；分布式文件系统接收到返回的st，还要由cas服务器认证st的合法有效性，如果合法有效则确认用户可以访问该分布式文件系统中资源；当用户获得访问分布式文件系统中一个业务系统的权限后，当该用户访问其他业务系统的文件资源时，用户访问进程只需提供st，被访问的业务系统把接收到的st重定向到cas服务器，验证合法性和是否过期，若st不存在或者st过期，则返回校验tgt，如果tgt合法则cas重新授予用户一张st；

通过对元数据服务器按照一定结构进行组织，并利用计算机系统提供的向内部存储器核心空间装载二进制代码的指令，将实现新lookup操作的模块植入内存的核心空间中，使该分布式文件系统可以完成全路径解析。

进一步，所述用于通过对元数据服务器按照一定结构进行组织，并利用计算机系统提供的向内部存储器核心空间装载二进制代码的指令，将实现了新lookup操作的模块植入内存的核心空间中，使该分布式文件系统可以完成全路径解析具体包括：

1)首先构造一个全路径名解析的二进制模块；

2)用计算机系统提供的向内部存储器核心空间装载二进制代码的指令将具有全路径解析功能的模块植入客户端计算机系统内部存储器的核心空间；

3)用该模块中具有全路径名解析功能的函数替换原操作系统中的路径名解析函数，在全路径名解析函数中，对于没有提供全路径名解析的文件系统，仍按原函数的流程执行；

4)对于提供全路径名解析的分布式文件系统，获取需要解析的文件的全路径名，作为参数提供给分布式文件系统的客户端核心模块；

5)分布式文件系统的客户端核心模块将路径解析请求和全路径名发给服务器进行处理，并对服务器返回解析的结果进行处理；

6)在分布式文件系统服务器端，相应地提供全路径名解析的函数，可以使用全路径名查找文件并返回结果，提供本方法适用于所有基于客户一服务器模型的分布式文件系统。

本发明的优点及积极效果为：设置有数据存储模块充分利用了各个客户端的存储能力，且能够达到降低存储设备能耗的作用；设置有小文件存储模块达到减轻名字节点namenode的负担、海量小文件存储访问效率高的目的，同时保证了系统的通用性；设置有认证模块，能够实现分布式文件系统下多业务域的统一权限管理，即当用户登录到某一业务系统后，再使用其他业务系统的文件资源时，无需进行再次认证，统一认证模块的实现，减少分布式文件系统中独立认证模块的开发，节省人力和财力资源；采取ldap服务器和cas服务器相结合的方式，可大大降低数据存储的重复性和减少占用网络资源；设置有路径解析模块通过对元数据服务器按照一定结构进行组织，并利用计算机系统提供的向内部存储器核心空间装载二进制代码的指令，将实现了新lookup操作的模块植入内存的核心空间中，使该分布式文件系统可以完成全路径解析。

附图说明

图1是本发明实施例提供的分布式文件系统的调度系统结构示意图；

图中：1、群负载信息获取模块；2、确定调度策略模块；3、数据存储模块；4、小文件存储模块；5、认证模块；6、路径解析模块；7、处理器。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

下面结合附图对本发明的应用原理作详细的描述。

如图1所示，本发明实施例提供的分布式文件系统的调度系统包括：群负载信息获取模块1、确定调度策略模块2、数据存储模块3、小文件存储模块4、认证模块5、路径解析模块6、处理器7。

集群负载信息获取模块1，用于按照预设的时间周期定期获取所述分布式文件系统的集群负载信息；

确定调度策略模块2，用于根据查询语句构建查询计划树、确定查询种类和需要查询的数据表，并根据查询种类确定最终调度策略；根据所述的最终调度策略，为所述查询计划树中各个结点选择执行节点以完成并行查询执行调度；

数据存储模块3，用于将分布式文件系统客户端聚类成为虚拟资源池，且建立了存储单元与虚拟资源池的映射关系，存储单元与其对应的虚拟资源池中存储相同的数据，使得在虚拟资源池上线时，可以由虚拟资源池为分布式文件系统客户端提供服务，仅以可以使与其对应的存储单元处于休眠状态，充分利用了各个客户端的存储能力，且能够达到降低存储设备能耗的作用。

小文件存储模块4，用于通过建立相应的本地索引和小文件处理机制，来有效地完成小文件的合并、映射、预取，在写入或读取文件之前，先判断该文件是否是小文件，如果是，则先交给小文件服务器处理，否则直接交给原hdfs系统处理。达到减轻名字节点namenode的负担、海量小文件存储访问效率高的目的，同时保证了系统的通用性。

认证模块5，用于在分布式文件系统中部署ldap(lightweightdirectoryaccessprotocol轻量级目录访问协议)服务器和cas(centralauthenticationservice中心认证服务)服务器，使cas服务器和ldap服务器能够双向读取和存储数据；用户通过web应用服务进程访问分布式文件系统时，检查该用户的会话是否存在，如果不存在则重新定向到cas服务器端，检查tgt(ticketgrantingticket用户身份认证凭证票据)，若tgt不存在或者tgt错误则需要用户重新登录，用户输入了用户名和密码后，在ldap服务器进行统一认证单点登录；ldap认证完成后，cas返回给用户合法的tgt和st(serviceticket服务许可凭证票据)，根据用户的当前的web应用服务进程重新定向到分布式文件系统中。分布式文件系统接收到返回的st，还要由cas服务器认证st的合法有效性，如果合法有效则确认用户可以访问该分布式文件系统中资源；当用户获得访问分布式文件系统中一个业务系统的权限后，当该用户访问其他业务系统的文件资源时，用户访问进程只需提供st，被访问的业务系统把接收到的st重定向到cas服务器，验证合法性和是否过期，若st不存在或者st过期，则返回校验tgt，如果tgt合法则cas重新授予用户一张st。

路径解析模块6，用于通过对元数据服务器按照一定结构进行组织，并利用计算机系统提供的向内部存储器核心空间装载二进制代码的指令，将实现了新lookup操作的模块植入内存的核心空间中，使该分布式文件系统可以完成全路径解析。

处理器7，与确定调度策略模块2、数据存储模块3、小文件存储模块4、认证模块5、路径解析模块6连接，用于实现确定调度策略模块2、数据存储模块3、小文件存储模块4、认证模块5、路径解析模块6传输信息的处理。

所述集群负载信息获取模块对跳频混合信号时频域矩阵进行预处理，具体包括如下两步：

第一步，对进行去低能量预处理，即在每一采样时刻p，将幅值小于门限ε的值置0，得到门限ε的设定可根据接收信号的平均能量来确定；

第二步，找出p时刻(p＝0，1，2，…p-1)非零的时频域数据，用表示，其中表示p时刻时频响应非0时对应的频率索引，对这些非零数据归一化预处理，得到预处理后的向量b(p，q)＝[b1(p，q)，b2(p，q)，…，bm(p，q)]^t，其中：

所述处理器对m路离散时域混合信号进行重叠加窗短时傅里叶变换，得到m个混合信号的时频域矩阵p＝0，1，…，p-1，q＝0，1，…，nfft-1，其中p表示总的窗数，nfft表示fft变换长度；

(p，q)表示时频索引，具体的时频值为这里nfft表示fft变换的长度，p表示加窗次数，ts表示采样间隔，fs表示采样频率，c为整数，表示短时傅里叶变换加窗间隔的采样点数，c＜nfft，且kc＝nfft/c为整数，也就是说采用的是重叠加窗的短时傅里叶变换。

路径解析模块6具体包括：

1)首先构造一个全路径名解析的二进制模块；

2)用计算机系统提供的向内部存储器核心空间装载二进制代码的指令将具有全路径解析功能的模块植入客户端计算机系统内部存储器的核心空间；

3)用该模块中具有全路径名解析功能的函数替换原操作系统中的路径名解析函数，在全路径名解析函数中，对于没有提供全路径名解析的文件系统，仍按原函数的流程执行；

4)对于提供全路径名解析的分布式文件系统，获取需要解析的文件的全路径名，作为参数提供给分布式文件系统的客户端核心模块；

5)分布式文件系统的客户端核心模块将路径解析请求和全路径名发给服务器进行处理，并对服务器返回解析的结果进行处理；

6)在分布式文件系统服务器端，相应地提供全路径名解析的函数，可以使用全路径名查找文件并返回结果，提供本方法适用于所有基于客户一服务器模型的分布式文件系统。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。