一种分布式日志存储方法、设备及介质与流程

本申请涉及计算机，尤其涉及一种分布式日志存储方法、设备及介质。

背景技术：

1、传统的日志存储方式通常需要依赖中央服务器和基础设施，将数据控制权集中在中央机构或平台上，以及将数据存储在固定的存储区域。在存在大量日志数据的情况时，就会出现存储资源紧张的问题，同时，在查询日志数据时，只需要向具有集中控制权的主体发起访问请求，进行权限验证即可，这就导致存储数据的安全性有限，在访问方具有访问权限时，中央服务器遍历存储区域查找请求数据的方式，还会使得数据查询的效率不高。

2、由此，亟需设计一种日志存储方案，用来解决存储资源紧张、数据容易被篡改、日志查询缓慢延时高的问题。

技术实现思路

1、为解决上述技术问题，本申请实施例提供了一种分布式日志存储方法、设备及介质。

2、本申请实施例采用下述技术方案：

3、第一方面，本申请实施例提供了一种分布式日志存储方法，所述方法包括：采集日志文件并提取所述日志文件中的日志数据；将所述日志文件存储到ipfs网络的节点上，并接收所述ipfs网络的节点返回的第一标识符；对日志数据进行实时计算得到结果数据，并将所述结果数据存储到结果文件中；将所述结果数据存储至查询数据库中，同时将所述结果文件存储到所述ipfs网络的节点上，并接收所述ipfs网络的节点返回的第二标识符；将所述第一标识符与所述第二标识符写入区块链。

4、在本申请说明书的一个或多个实施例中，将所述第一标识符与所述第二标识符写入区块链之后，所述方法还包括：确定待访问数据，所述待访问数据至少包括所述日志文件与所述结果文件；在所述区块链上获取所述待访问数据对应的标识符，所述标识符至少包括所述第一标识符与所述第二标识符；利用所述标识符在所述ipfs网络中检索节点，以得到所述待访问数据。

5、在本申请说明书的一个或多个实施例中，将所述日志文件存储到ipfs网络的节点上之后，所述方法还包括：在所述ipfs网络中，将所述节点上的存储内容自动复制备份到其它所有节点上。

6、在本申请说明书的一个或多个实施例中，对日志数据进行实时计算得到结果数据之前，所述方法还包括：将所述日志数据存储消息队列；利用实时计算引擎从所述消息队列中获取所述日志数据，并对所述日志数据进行实时计算处理，所述实时计算引擎采用flink计算框架或spark计算框架实现。

7、在本申请说明书的一个或多个实施例中，将所述结果数据存储至查询数据库中，具体为，将所述结果数据存储到clickhouse高性能查询数据库中。

8、在本申请说明书的一个或多个实施例中，将所述第一标识符与所述第二标识符写入区块链之后，所述方法还包括：将所述日志文件对应的访问权限与所述结果文件对应的访问权限写入所述区块链。

9、在本申请说明书的一个或多个实施例中，在所述区块链上获取所述待访问数据对应的标识符之前，所述方法还包括：所述区块链接收用户针对所述待访问数据的访问请求，所述访问请求中包含有所述用户对应的用户访问信息；利用所述所述日志文件对应的访问权限与所述结果文件对应的访问权限，对所述用户访问信息进行权限验证；验证通过后，将所述待访问数据对应的标识符返回给用户。

10、在本申请说明书的一个或多个实施例中，将所述待访问数据对应的标识符返回给用户之后，所述方法还包括：根据所述用户访问信息将所述待访问数据对应的访问记录写入所述区块链。

11、第二方面，本申请实施例还提供了一种分布式日志存储设备，所述设备包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有能够被所述至少一个处理器执行的指令，以使所述至少一个处理器能够执行如上述的一种分布式日志存储方法。

12、第三方面，本申请实施例还提供了一种非易失性计算机存储介质，其上存储有计算机可执行指令，所述计算机可执行指令被设置为执行如上述的一种分布式日志存储方法。

13、本申请实施例提供的一种分布式日志存储方法、设备及介质，具有以下有益效果：

14、1)、通过区块链可以实现精细的数据共享控制，数据所有者可以定义访问权限和数据使用规则，确保只有授权的用户能够访问和使用数据。这种细粒度的权限管理可以保护存储数据的隐私和安全。

15、2)、采用区块链和ipfs网络的去中心化数据存储方案，将数据控制权归属于数据所有者和参与ipfs网络的节点，消除了单一实体对数据的掌控，增加了数据的自主性和民主性。

16、3)、区块链记录了数据的存储和访问历史，使得数据的修改和访问记录都可以被追溯和验证，增加了数据的透明性，有助于建立数据信任和可靠性。

17、4)、利用区块链记录标识符还可以防止标识符的意外或恶意篡改，增加了数据的可信度和可靠性。

18、5)、使用区块链和ipfs网络的去中心化方案可以大大降低了存储成本，数据存储在参与ipfs网络的节点上，没有中央服务器的运营和维护成本。

19、6)、通过实时计算引擎，将计算分析后的日志数据放入高性能查询数据库中，可以有效提升关键日志数据的查询速度，增加查询性能。

技术特征：

1.一种分布式日志存储方法，其特征在于，所述方法包括：

2.根据权利要求1所述的一种分布式日志存储方法，其特征在于，将所述第一标识符与所述第二标识符写入区块链之后，所述方法还包括：

3.根据权利要求1所述的一种分布式日志存储方法，其特征在于，将所述日志文件存储到ipfs网络的节点上之后，所述方法还包括：

4.根据权利要求1所述的一种分布式日志存储方法，其特征在于，对日志数据进行实时计算得到结果数据之前，所述方法还包括：

5.根据权利要求1所述的一种分布式日志存储方法，其特征在于，将所述结果数据存储至查询数据库中，具体为，将所述结果数据存储到clickhouse高性能查询数据库中。

6.根据权利要求1所述的一种分布式日志存储方法，其特征在于，将所述第一标识符与所述第二标识符写入区块链之后，所述方法还包括：

7.根据权利要求2所述的一种分布式日志存储方法，其特征在于，在所述区块链上获取所述待访问数据对应的标识符之前，所述方法还包括：

8.根据权利要求7所述的一种分布式日志存储方法，其特征在于，将所述待访问数据对应的标识符返回给用户之后，所述方法还包括：

9.一种分布式日志存储设备，其特征在于，所述设备包括：

10.一种非易失性计算机存储介质，其上存储有计算机可执行指令，其特征在于，所述计算机可执行指令被设置为执行根据权利要求1-8任一项所述的一种分布式日志存储方法。

技术总结
本发明公开了一种分布式日志存储方法、设备及介质，属于计算机技术领域，用于解决现有的日志存储系统可靠性和查询性能差技术问题。方法包括：采集日志文件并提取所述日志文件中的日志数据；将所述日志文件存储到IPFS网络的节点上，并接收所述IPFS网络的节点返回的第一标识符；对日志数据进行实时计算得到结果数据，并将所述结果数据存储到结果文件中；将所述结果数据存储至查询数据库中，同时将所述结果文件存储到所述IPFS网络的节点上，并接收所述IPFS网络的节点返回的第二标识符；将所述第一标识符与所述第二标识符写入区块链。

技术研发人员：赵子墨,赵海兴,郭亚琨,李沅泽,邱阳
受保护的技术使用者：浪潮卓数大数据产业发展有限公司
技术研发日：
技术公布日：2024/1/22