一种Elasticsearch日志记录方法、电子设备和存储介质和产品与流程

本申请涉及物联网数字处理，具体地，涉及一种elasticsearch日志记录方法、装置、电子设备和存储介质和产品。

背景技术：

1、elasticsearch是一款分布式的搜索和分析引擎，常用于记录和分析大量的日志数据。在传统的elasticsearch记录日志的方式中，请参阅图1，一般采用直接连接elasticsearch的方式进行数据的投递和保存。具体来说，日志数据会直接发送到elasticsearch的节点上，然后由elasticsearch进行分片、索引和保存。

2、但是由于网络、节点负载等问题的影响，会造成数据丢失、响应缓慢等问题。本发明的作用就是为了保障elasticsearch保存日志数据正常稳定，且接口相应速度加快。对于物联网行业来说，大量的设备操作都需要记录下日子，切需要及时、有效、快速的读取。并且要对数据进行过滤、统计，因此需要一个方法来解决大量日志快速投递出去的问题。

3、具体体现为：

4、1、目前常用的elasticsearch日志记录方法都采用直接链接es进行数据的投递，效率低下、接口相应缓慢。

5、2、大量的日志同步投递造成服务器压力大。

6、3、链接的不稳定性会造成数据的丢包。

技术实现思路

1、本发明第一方面提供了一种elasticsearch日志记录方法，包括：

2、当用户请求接口后，服务器直接给用户返回结果，无需等待日志保存结果；

3、服务器异步投递日志到pulsar服务器，pulsar返回接收结果；pulsar接到日志之后，进行处理，投递到es进行保存；es接收到日志数据后进行保存并返回结果。

4、可选的，pulsar支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性。

5、可选的，服务器异步投递日志到pulsar服务器的方式是异步方式，能加快接口的响应速度。

6、可选的，pulsar是云原生时代实时消息流传输、存储和计算最佳解决方案之一，其稳定性可靠，使用成本较低。

7、可选的，es是elasticsearch，用于进行日志的保存，其稳定性高，存储能力强，能够满足大量日志的存储和查询需求。

8、本发明第二方面提供了一种电子设备，包括：

9、至少一个处理器；以及

10、与所述至少一个处理器通信连接的存储器；其中，

11、所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行上述的方法。

12、本发明第三方面提供了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行上述的方法。

13、本发明第四方面提供了一种计算机程序产品，包括计算机程序，所述计算机程序在被处理器执行时，执行上所述的方法。

14、相对于现有技术，本发明具有以下优点：

15、1.从效率来看：pulsar采用异步投递数据方式，能加快接口的响应速度；pulsar支持多租户、持久化存储、多机房跨区域数据复制，具有强一致性、高吞吐、低延时及高可扩展性等流数据存储特性，被看作是云原生时代实时消息流传输、存储和计算最佳解决方案。

16、2.从成本来看：采用pulsar来管理日志的投递，比自己去开发和维护一套庞大切不成熟的日志投递方法的成本更低，能为公司的生成提升效率，降低成本。

17、3.从技术来看：目前以使用pulsar用来投递数据的公司有腾讯、移动通信、电信等，说明pulsar的技术能满足使用的需求，且稳定性可行。

技术特征：

1.一种elasticsearch日志记录方法，其特征在于，包括：

2.根据权利要求1所述的elasticsearch日志记录方法，其特征在于：服务器异步投递日志到pulsar服务器的方式是异步方式，能加快接口的响应速度。

3.根据权利要求1所述的elasticsearch日志记录方法，其特征在于：pulsar为云原生时代实时消息流传输、存储和计算中任意一项或多种组合。

4.根据权利要求1所述的elasticsearch日志记录方法，其特征在于：es用于进行日志的保存。

5.一种电子设备，其特征在于，包括：

6.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法。

7.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时，执行权利要求1-5中任一项所述的方法。

技术总结
本申请实施例中提供了一种Elasticsearch日志记录方法，为了保障Elasticsearch保存日志数据正常稳定，且接口相应速度加快。针对现有技术的缺点，本方案是在基于采用直连ES投递日志的基础上进行优化操作。具体来说，当用户请求接口后，服务器直接给用户返回结果，无需等待日志保存结果；服务器异步投递日志到Pulsar服务器，Pulsar返回接收结果；Pulsar接到日志之后，进行处理，投递到ES进行保存；ES接受到日志数据后进行保存并返回结果。相对于直接链接ES投递日志，本方法效率更高、成本更低、技术更成熟稳定。

技术研发人员：刘亚新,陶建伟
受保护的技术使用者：广州三叠纪元智能科技有限公司
技术研发日：
技术公布日：2024/3/12