一种高速存储和操作数据流的方法与装置与流程

本发明涉及高速数据流的存储与操作，特别是涉及一种采用现场可编程阵列(fpga)来高速存储和操作数据流的方法与装置。

背景技术：

就目前而言，在数据流的高速存储与应用时，一般通过cpu顺序将完整的数据块写入存储单元，以实现数据流的存储，在需要对数据块进行操作时，也是由cpu根据外部系统指令，直接对存储单元中的数据块进行操作（数据删除、数据提取、数据组合或数据复制等），从一方面来看，不便于用户对数据进行管理，另一方面来看，系统频繁删除、创建文件，导致磁盘存在大量碎片，读写速度会随着碎片增多而减慢，这就给数据流的高速存储与操作带来了诸多不便。

为高效完成数据的搬移与控制，可以利用dma作为协处理器辅助cpu进行大量数据搬移，并将cpu和dma以及存储单元之间通过总线形式进行相互连接，即dma+cpu架构，该架构下，cpu只需执行控制任务，数据处理压力有所降低；但是该架构的数据搬移与处理基于总线方式进行控制，处理数据依然很缓慢，不能支持高速数据流的存储与操作。

技术实现要素：

本发明的目的在于克服现有技术的不足，提供一种高速存储和操作数据流的方法与装置，基于fpga，构造数据存储逻辑单元来提供高速数据存储与读取，构造文件管理逻辑单元把数据映射为文件进行操作，方便于数据管理，且能够有效提高数据存储与操作的速度；由于数据存储逻辑单元与数据管理逻辑单元均位于fpga内部，各逻辑单元之间连接关系紧密，传输速率与效率更高。

本发明的目的是通过以下技术方案来实现的：一种高速存储和操作数据流的方法，包括数据写入步骤s1和数据操作步骤s2；

所述数据写入步骤s1包括：

s101.将存储单元划分为数据存储区和文件索引区；

s102.在fpga模块内部构造数据存储逻辑单元、文件管理逻辑单元,并通过文件系统供用户访问、操作和需求输入；其中，数据存储逻辑单元用于提供高速数据存储与读取，文件管理逻辑单元用于将数据映射为文件进行操作；

s103.数据存储逻辑单元接收待写入的数据，并基于来自文件系统的用户需求对数据进行分块；

s104.数据存储逻辑单元将数据存储区进行分块，存储区分块的大小等于数据分块的大小；

s105.数据存储逻辑单元将分块数据逐块按顺序写入存储单元的数据存储区，并将数据块的路径信息反馈给文件管理逻辑单元；

s106.写入完成后，文件管理逻辑单元在文件索引区建立数据文件夹与文件名，并且与数据存储区的数据块进行关联；

s107.文件夹与文件名建立后，文件管理逻辑单元将对应数据块的路径信息更新至文件系统，便于用户对文件进行操作；

所述数据操作步骤s2包括：

s201.用户通过文件系统访问存储单元，在文件索引区选择数据文件夹与文件名作为目标文件，并通过文件系统生成操作指令；

s202.文件系统将操作指令和目标文件对应的数据块路径信息传输给数据存储逻辑单元；

s203.数据存储逻辑单元根据路径信息，找到对应的数据块，并根据文件系统的操作指令，执行数据块操作。

一种高速存储和操作数据流的方法所采用的装置，包括存储单元和fpga模块；所述fpga与存储单元连接；所述存储单元包括文件索引区和数据存储区；所述fpga模块包括数据存储逻辑单元和文件管理逻辑单元，并通过文件系统供用户访问、操作和需求输入；

所述数据存储逻辑单元，用于根据来自文件系统的用户需求，完成接收待写入数据，进行数据分块和数据写入，并根据来自用户系统的操作指令，对数据存储区中的数据块进行操作；

文件管理逻辑单元，用于在文件索引区建立数据文件夹与文件名，并且与数据存储区的数据块进行关联，同时将对应数据块的路径信息更新至文件系统，便于用户对文件进行操作。

本发明的有益效果是：本发明中基于fpga，构造数据存储逻辑单元来提供高速数据存储与读取，构造文件管理逻辑单元把数据映射为文件进行操作，方便于数据管理，且能够有效提高数据存储与操作的速度；由于数据存储逻辑单元与数据管理逻辑单元均位于fpga内部，各逻辑单元之间连接关系紧密，传输速率与效率更高；文件管理逻辑单元在文件索引区建立数据文件夹与文件名，并且与数据存储区的数据块进行关联后，文件管理逻辑单元将对应数据块的路径信息更新至文件系统，方便于文件系统对数据的综合管理。

附图说明

图1为本发明的方法流程图；

图2为文件系统嵌入在fpga模块中对应的装置原理框图；

图3为文件系统嵌入在外部文件管理设备中对应的装置原理框图。

具体实施方式

下面结合附图进一步详细描述本发明的技术方案，但本发明的保护范围不局限于以下所述。

如图1所示，一种高速存储和操作数据流的方法，包括数据写入步骤s1和数据操作步骤s2；

所述数据写入步骤s1包括：

s101.将存储单元划分为数据存储区和文件索引区；

s102.在fpga模块内部构造数据存储逻辑单元、文件管理逻辑单元,并通过文件系统供用户访问、操作和需求输入；其中，数据存储逻辑单元用于提供高速数据存储与读取，文件管理逻辑单元用于将数据映射为文件进行操作；

s103.数据存储逻辑单元接收待写入的数据，并基于来自文件系统的用户需求对数据进行分块；

s104.数据存储逻辑单元将数据存储区进行分块，存储区分块的大小等于数据分块的大小；

s105.数据存储逻辑单元将分块数据逐块按顺序写入存储单元的数据存储区，并将数据块的路径信息反馈给文件管理逻辑单元；

s106.写入完成后，文件管理逻辑单元在文件索引区建立数据文件夹与文件名，并且与数据存储区的数据块进行关联；

s107.文件夹与文件名建立后，文件管理逻辑单元将对应数据块的路径信息更新至文件系统，便于用户对文件进行操作；

所述数据操作步骤s2包括：

s201.用户通过文件系统访问存储单元，在文件索引区选择数据文件夹与文件名作为目标文件，并通过文件系统生成操作指令；

s202.文件系统将操作指令和目标文件对应的数据块路径信息传输给数据存储逻辑单元；

s203.数据存储逻辑单元根据路径信息，找到对应的数据块，并根据文件系统的操作指令，执行数据块操作。

在本申请的实施例中，所述步骤s201中，用户通过文件系统生成的操作指令包括数据删除指令、数据提取指令、数据组合指令或数据复制指令；相应的，所述步骤s203中，数据存储逻辑单元执行的数据块操作包括数据删除、数据提取、数据组合或数据复制；在进行数据删除、数据组合或数据复制，数据存储逻辑单元根据操作指令，直接在数据存储区中对相应的数据块进行操作；在进行数据提取时，数据存储逻辑单元根据操作指令，对数据存储区中相应的数据块进行读取，并对外输出。

一种高速存储和操作数据流的方法所采用的装置，包括存储单元和fpga模块；所述fpga与存储单元连接；所述存储单元包括文件索引区和数据存储区；所述fpga模块包括数据存储逻辑单元和文件管理逻辑单元，并通过文件系统供用户访问、操作和需求输入；

所述数据存储逻辑单元，用于根据来自文件系统的用户需求，完成接收待写入数据，进行数据分块和数据写入，并根据来自用户系统的操作指令，对数据存储区中的数据块进行操作；

具体地，在数据存储过程中，所述数据存储逻辑单元接收待写入的数据，基于来自文件系统的用户需求对数据进行分块，同时对数据存储区进行分块，存储区分块的大小等于数据分块的大小，并将分块数据逐块按顺序写入存储单元的数据存储区，将数据块的路径信息反馈给文件管理逻辑单元；在数据操作过程中，所述数据存储逻辑单元根据来自文件系统的路径信息，找到对应的数据块，并根据文件系统的操作指令，执行数据块操作；

文件管理逻辑单元，用于在文件索引区建立数据文件夹与文件名，并且与数据存储区的数据块进行关联，同时将对应数据块的路径信息更新至文件系统，便于用户对文件进行操作。

如图2所示，在一些实施例中，所述文件系统嵌入在fpga模块中，用户通过用户接口访问fpga模块的文件系统，并进行操作和需求输入；该实施例中，用户通过与用户接口连接的外部管理设备，即可访问fpga模块中的文件系统，进行操作和需求输入；

如图3所示，在另一些实施例中，所述文件系统嵌入在外部的文件管理设备中，用户通过外部管理设备直接访问文件系统，并进行操作和需求输入，所述文件系统通过用户接口与fpga模块交互，将操作和需求传输到fpga模块；

在上述实施例中，用户接口可以是网络接口，也可以是硬件接口；存储逻辑单元、文件管理逻辑单元都是在fpga内部构造的软件程序单元；文件系统为安装在fpga模块或外部管理设备中的软件系统，具体为windows操作系统或linux操作系统；所述存储单元包括但不限于硬盘或ssd闪存；所述外部管理设备包括但不限于电脑和pad。

本发明中基于fpga，构造数据存储逻辑单元来提供高速数据存储与读取，构造文件管理逻辑单元把数据映射为文件进行操作，方便于数据管理，且能够有效提高数据存储与操作的速度；由于数据存储逻辑单元与数据管理逻辑单元均位于fpga内部，各逻辑单元之间连接关系紧密，传输速率与效率更高；文件管理逻辑单元在文件索引区建立数据文件夹与文件名，并且与数据存储区的数据块进行关联后，文件管理逻辑单元将对应数据块的路径信息更新至文件系统，方便于文件系统对数据的综合管理；传统技术方案中，数据流存储和操作速度一般在百兆bps级别，本申请的实施例中，数据流存储和操作速度可以达到100gbps左右。

以上所述是本发明的优选实施方式，应当理解本发明并非局限于本文所披露的形式，不应该看作是对其他实施例的排除，而可用于其他组合、修改和环境，并能够在本文所述构想范围内，通过上述教导或相关领域的技术或知识进行改动。而本领域人员所进行的改动和变化不脱离本发明的精神和范围，则都应在本发明所附权利要求的保护范围内。