分布式文件系统及其数据处理方法和装置与流程

本发明涉及数据存储领域，尤其涉及一种分布式文件系统及其数据处理方法和装置。

背景技术：

分布式文件系统是实现存储系统扩展性和高可靠的重要技术手段。分布式文件系统包含多个节点(例如，计算机)，其中，任意一个或多个节点出现故障时，文件系统仍然可以正常工作。所谓的分布式是指文件系统的重要控制信息是分布在多个节点上，从而提高了文件系统的整体的可靠性。现有的流媒体视频系统的后端存储大多使用集中式架构，若遇到故障则无法保证服务的可靠性。

技术实现要素：

本发明的主要目的在于提供一种分布式文件系统及其数据处理方法和装置，旨在提高存储数据资源的稳定性和效率。

为实现上述目的，本发明提供的分布式文件系统数据处理方法，所述分布式文件系统数据处理方法包括以下步骤：

接收分布式文件系统客户端发送的数据资源；

根据所接收的数据资源判断所述分布式文件系统客户端所要访问的处理单元；

对所接收到的的数据资源进行处理；

将处理后的数据资源存储到相应存储区域。

优选地，所述数据资源为流媒体数据资源。

优选地，所述接收分布式文件系统客户端发送的数据资源的步骤包括：

接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息。

优选地，所述将处理后的数据资源存储到相应存储节点的步骤之前包括：

将处理后的数据先缓存至预存储设备；

将预存储设备中存储的数据存储到相应存储区域。

此外，为实现上述目的，本发明还提供一种分布式文件系统数据处理装置，所述分布式文件数据处理装置包括：

接收模块，用于接收分布式文件系统客户端发送的数据资源；

判断模块，用于根据所接收的数据资源判断所述分布式文件系统客户端所要访问的目标对象；

处理模块，用于对所接收到的的数据资源进行处理；

存储模块，用于将处理后的数据资源存储到相应的目标存储区域。

优选地，所述接收模块包括：

接收单元，用于接收分布式文件系统客户端发送的数据资源的数据块ID和命名空间信息。

优选地，所述存储模块包括：

缓存单元，用于将处理后的数据先缓存至预存储设备；

存储单元，用于将预存储设备中存储的数据存储到相应存储区域。

此外，为实现上述目的，本发明还提供一种分布式文件系统，所述分布式文件系统包括：

分布式文件系统客户端，用于传送数据资源至所述分布式文件系统节点；

分布式文件系统节点，用于处理所述分布式文件系统客户端传送的数据资源，且所述分布式文件系统节点还包括RTSP网关；

所述分布式文件系统客户端与所述分布式文件系统节点信号连接；所述分布式文件系统节点包括如权上所述的分布式文件系统数据处理装置。

优选地，设置至少一个所述分布式文件系统节点以及至少一个RTSP网关，且各个所述分布式文件系统节点之间能够相互通信，各个所述RTSP网关之间同样能相互通信。

优选地，所述RTSP网关与至少一个分布式文件系统客户端相连，并且所述RTSP网关能同时接收至少一个分布式文件系统客户端发送的数据资源。

本发明实施例的分布式文件系统数据处理方法通过接收分布式文件系统客户端发送的数据；根据所接收的数据判断所述分布式文件系统客户端所要访问的目标对象；对所接收到的的数据进行处理；将处理后的数据存储到相应的目标存储节点。通过将客户端发送的数据采用分布式文件系统的处理方式进行存储，可以便捷、高效且稳定的存储数据资源。

附图说明

图1为本发明分布式文件系统数据处理方法第一实施例的流程示意图；

图2为本发明分布式文件系统数据处理方法第二实施例的流程示意图；

图3为本发明分布式文件系统数据处理装置第一实施例的功能模块示意图；

图4为本发明分布式文件系统数据处理装置第二实施例中的存储模块的细化功能模块示意图；

图5为本发明实施例中分布式文件系统示意图。

本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

本发明提供一种分布式文件系统数据处理方法，参照图1，在一实施例中，该分布式文件系统数据处理方法包括：

步骤S10，接收分布式文件系统客户端发送的数据资源；

具体地，本实施例中的所述分布式文件系统客户端包括能够提供RTSP数据的设备，包括但不限于高清摄像头、计算机、机顶盒等等。所述分布式文件系统客户端发送需要处理的数据资源至分布式文件系统，所述分布式文件系统包括RTSP网关以及分布式文件系统节点，所述数据资源通过RTSP、RTP协议传送至所述RTSP网关。其中，所述RTSP协议为实时流传输协议，是TCP/IP协议体系中的一个应用层协议，是用来控制声音或影像的多媒体串流协议，在监控、视频直播、点播中应用广泛。

需要说明的是，所述数据资源为流媒体数据资源。现有的流媒体视频系统的后端存储大多使用集中式架构，若遇到故障无法保证服务的可靠性。本实施例能够将分布式存储资源与流媒体数据资源进行整合，便捷、高效地存储媒体数据资源，体现出较大的实际应用价值。

优选地，本实施例中，要求所述分布式文件系统客户端不只发送要存储的数据资源到数据节点，还要同时发送数据资源对应的数据块ID等信息。客户端可通过预先设置的分布式文件系统中数据存储策略来确定要存储的数据的数据块ID及相应的命名空间信息。同时需要存储所述数据资源及所述数据块ID和命名空间信息。

优选地，所述分布式文件系统接收到所述分布式文件系统客户端所发送的数据资源，可以预先判断所接收到的数据资源的大小。如果数据资源的大小小于预设值，则可以将数据资源存储至云端服务器；如果数据资源大于预设值，则可以将数据资源切分为多个自数据，并存储至本地文件系统。具体可根据需要进行设置，在此不做限制。

步骤S20，根据所接收的数据判断所述分布式文件系统客户端所要访问的目标对象；

对所接收的数据资源进行分析，判断所接收到的数据资源所要访问的目标对象，即所接收到的数据资源是否有确定的保存地址，若根据接收到的数据资源的分析可明确得知该数据资源需要保存的地址，则直接将数据资源处理后保存至相应的地址。

步骤S30，对所接收到的的数据资源进行处理；

步骤S40，将处理后的数据资源存储到相应的目标存储区域。

具体地，所述RTSP网关可以理解成是所述分布式文件系统节点的一部分，具体用于处理所述分布式文件系统客户端发送的数据。

所述数据资源通过RTSP、RTP协议传送至所述RTSP网关后，所述RTSP网关对所接收到的数据进行处理，处理后将该数据资源进一步发送至分布式文件系统相应的目标存储区域。

本实施例的分布式文件系统数据处理方法通过接收分布式文件系统客户端发送的数据；根据所接收的数据判断所述分布式文件系统客户端所要访问的目标对象单元；对所接收到的的数据进行处理，并将处理后的数据存储到相应的目标存储节点。通过将客户端发送的数据采用分布式文件系统的处理方式进行存储，可以便捷、高效的存储数据资源。

进一步地，参照图2，基于本发明分布式文件系统数据处理方法第一实施例，在本发明分布式文件系统数据处理方法第二实施例中，上述步骤S40包括：

步骤S41，将处理后的数据资源先缓存至预存储设备；

步骤S42，将预存储设备中存储的数据资源存储到相应的目标存储区域。

本实施例中，将经过RTSP网关处理过的数据资源存储至相应的存储节点之前，还可以先使用固态硬盘作为预存储设备，先将处理过的数据缓存至预存储设备，然后将数据存储到分布式文件系统中相应的存储节点中。

采用将处理过的数据先写入到预存储设备可减轻分布式文件系统存储节点存储的压力，同时在预存储设备缓存的数据可作为一种临时存储，使数据不会丢失，使数据存储过程更加稳定。

本发明还提供一种分布式文件系统数据处理装置，参照图3，在一实施例中，本发明提供的分布式文件系统数据处理装置包括：

接收模块10，用于接收分布式文件系统客户端发送的数据资源；

具体地，本实施例中的所述分布式文件系统客户端包括能够提供RTSP数据的设备，包括但不限于高清摄像头、计算机、机顶盒等等。所述分布式文件系统客户端发送需要处理的数据资源至分布式文件系统，所述分布式文件系统包括RTSP网关以及分布式文件系统节点，所述数据资源通过RTSP、RTP协议传送至所述RTSP网关。其中，所述RTSP协议为实时流传输协议，是TCP/IP协议体系中的一个应用层协议，是用来控制声音或影像的多媒体串流协议，在监控、视频直播、点播中应用广泛。

需要说明的是，所述数据资源为流媒体数据资源。现有的流媒体视频系统的后端存储大多使用集中式架构，若遇到故障无法保证服务的可靠性。本实施例能够将分布式存储资源与流媒体数据资源进行整合，便捷、高效地存储媒体数据资源，体现出较大的实际应用价值。

优选地，本实施例中，要求所述分布式文件系统客户端不只发送要存储的数据资源到数据节点，还要同时发送数据资源对应的数据块ID等信息。客户端可通过预先设置的分布式文件系统中数据存储策略来确定要存储的数据的数据块ID及相应的命名空间信息。同时需要存储所述数据资源及所述数据块ID和命名空间信息。

优选地，所述分布式文件系统接收到所述分布式文件系统客户端所发送的数据资源，可以预先判断所接收到的数据资源的大小。如果数据资源的大小小于预设值，则可以将数据资源存储至云端服务器；如果数据资源大于预设值，则可以将数据资源切分为多个自数据，并存储至本地文件系统。具体可根据需要进行设置，在此不做限制。

判断模块20，用于根据所接收的数据判断所述分布式文件系统客户端所要访问的目标对象；

对所接收的数据资源进行分析，判断所接收到的数据资源所要访问的目标对象，即所接收到的数据资源是否有确定的保存地址，若根据接收到的数据资源的分析可明确得知该数据资源需要保存的地址，则直接将数据资源处理后保存至相应的地址。

处理模块30，用于对所接收到的的数据资源进行处理；

存储模块40，用于将处理后的数据资源存储到相应的目标存储区域。

具体地，所述RTSP网关可以理解成是所述分布式文件系统节点的一部分，具体用于处理所述分布式文件系统客户端发送的数据。

所述数据资源通过RTSP、RTP协议传送至所述RTSP网关后，所述RTSP网关对所接收到的数据进行处理，处理后将该数据资源进一步发送至分布式文件系统相应的目标存储区域。

本实施例的分布式文件系统数据处理方法通过接收分布式文件系统客户端发送的数据；根据所接收的数据判断所述分布式文件系统客户端所要访问的目标对象；对所接收到的的数据进行处理，并将处理后的数据存储到相应的目标存储节点。通过将客户端发送的数据采用分布式文件系统的处理方式进行存储，可以便捷、高效的存储数据资源。

进一步地，参照图4，基于本发明分布式文件系统数据处理装置第一实施例，在本发明分布式文件系统数据处理装置第二实施例中，上述存储模块40包括：

缓存单元41，用于将处理后的数据资源先缓存至预存储设备；

存储单元42，用于将预存储设备中存储的数据资源存储到相应存储区域。

本实施例中，将经过RTSP网关处理过的数据存储至相应的存储区域之前，还可以先使用固态硬盘作为预存储设备，先将处理过的数据缓存至预存储设备，然后将数据存储到分布式文件系统中相应的存储区域中。可以理解的是，所述的存储区域为将数据资源存储至分布式文件系统的存储介质中，所述的存储介质可以为机械硬盘等。

采用将处理过的数据先写入到预存储设备可减轻分布式文件系统存储节点存储的压力，同时在预存储设备缓存的数据可作为一种临时存储，使数据不会丢失，使数据存储过程更加稳定。

本发明还提供一种分布式文件系统，参照图5，在一实施例中，本发明提供的分布式文件系统包括：

分布式文件系统客户端，用于传送数据资源至所述分布式文件系统节点；

分布式文件系统节点，用于处理所述分布式文件系统客户端传送的数据资源，且所述分布式文件系统节点还包括RTSP网关；

所述分布式文件系统客户端与所述分布式文件系统节点信号连接；所述分布式文件系统节点包括如上所述的分布式文件系统数据处理装置。

需要说明的是，本实施例中设置至少一个所述分布式文件系统节点以及至少一个RTSP网关，且各个所述分布式文件系统节点之间能够相互通信，各个所述RTSP网关之间同样能相互通信。

优选的，所述RTSP网关能够相互通信并协同工作，提供包括但不限于：主备、负载均衡等工作模式，当分布式文件系统节点或RTSP网关无法正常工作时，能够将连接到故障节点的客户端自动分配到正常RTSP网关上；或当某个RTSP网关的工作负载较高时，将新的客户端连接分配到其他RTSP节点，从而提高整个架构的可用性和容错性。

其中，所述分布式文件系统节点包括任何能提供以分布式文件系统工作模式工作的设备，包括但不限于：X86架构、ARM架构服务器。

优选地，所述RTSP网关与至少一个分布式文件系统客户端相连，并且所述RTSP网关能同时为至少一个分布式文件系统客户端提供服务。

需要说明的是，所述分布式文件系统节点还包括固态硬盘，所述固态硬盘用于缓存所述RTSP网关处理过的数据。当所述RTSP网关将接收到的数据资源进行处理后，可以先将该数据资源缓存与固态硬盘内。具体的，每个分布式文件系统节点上的固态硬盘包括但不限于单块使用，也可以使用磁盘阵列(Redundant Arrays of Independent Disks，RAID)等现有技术提高性能、扩展容量。

本实施例通过该分布式系统能够将可扩展性和高可靠性的存储与流媒体数据进行整合，如果一台分布式文件系统节点瘫痪，原有客户端会被自动切换到其他分布式文件系统节点上的RTSP网关，这样分布式文件系统仍然可以为客户端提供服务，由此，即便部分服务器设备出现问题，也不会对客户端设备带来影响，可以便捷、高效且稳定地存储媒体数据资源，体现出较大的实际应用价值。

以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。