一种日志传输方法及装置的制造方法
【技术领域】
[0001 ]本发明涉及网络日志技术领域，尤其涉及一种日志传输方法及装置。
【背景技术】
[0002]现有技术在日志传输方面一般都是开源解决方案，如Scribe (Scribe是Facebook开源的日志收集系统，在Facebook内部已经得到大量的应用)、Flume (Flume最早是Cloudera提供的日志收集系统，目前是Apache下的一个孵化项目，Flume支持在日志系统中定制各类数据发送方，用于收集数据)或者通过编写脚本将本地文件定期传输到处理节点上，对于有些属于事务类型的日志，这些方式传输无法达到实时传输，trace(追踪)类型的日志可以用以上方式传输，但是如果日志传输用两套解决方案势必会增加业务团队的工作量，维护成本也会随之增加。
【发明内容】
[0003]本发明实施例提供一种日志传输方法及装置，以降低日志产生业务方的接入门槛。
[0004]—方面，本发明实施例提供了一种日志传输方法，所述方法包括:
[0005]监听并获取日志数据；
[0006]将监听获取到的日志数据依次转存到数据转存队列中；
[0007]从所述数据转存队列中读取日志数据，根据包含日志的存储类型和日志存储服务器的对应关系的日志类型配置对应表，确定所述日志数据需要存储的对应的日志存储服务器，将所述日志数据发送到对应的日志存储服务器上。
[0008]另一方面，本发明实施例提供了一种日志传输装置，所述装置包括:
[0009]日志数据获取单元，用于监听并获取日志数据；
[0010]数据转存队列单元，用于将监听获取到的日志数据依次转存到数据转存队列中；[0011 ]日志存储适配单元，用于从所述数据转存队列中读取日志数据，根据包含日志的存储类型和日志存储服务器的对应关系的日志类型配置对应表，确定所述日志数据需要存储的对应的日志存储服务器，将所述日志数据发送到对应的日志存储服务器上。
[0012]上述技术方案具有如下有益效果:降低了日志产生业务方的接入门槛，解决了现有技术特定协议的接入不灵活的问题和日志消息实时性的问题，顺便解决了日志吞吐量的问题，最终使得业务方随便选择一个自己团队熟悉的接入方式即可，不再需要业务方考虑日志消息的实时性问题和日志存储服务对接方式的解决方案。
【附图说明】
[0013]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0014]图1为本发明实施例一种日志传输方法流程图；
[0015]图2为本发明实施例一种日志传输装置结构示意图；
[0016]图3为本发明实施例一种日志数据获取单元结构示意图；
[0017]图4为本发明实施例另一种日志传输装置结构示意图；
[0018]图5为本发明应用实例一种日志传输流程示意图；
[0019]图6为本发明应用实例日志数据的统一的数据封装数据格式示意图。
【具体实施方式】
[0020]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0021 ]如图1所示，为本发明实施例一种日志传输方法流程图，所述方法包括:
[0022]101、监听并获取日志数据；
[0023]102、将监听获取到的日志数据依次转存到数据转存队列中；
[0024]103、从所述数据转存队列中读取日志数据，根据包含日志的存储类型和日志存储服务器的对应关系的日志类型配置对应表，确定所述日志数据需要存储的对应的日志存储服务器，将所述日志数据发送到对应的日志存储服务器上。
[0025]优选地，所述日志数据包括:不同的网络协议数据、发生变更的目录或文件数据。
[0026]优选地，监听并获取所述不同的网络协议数据具体包括:监听并获取超文本传输协议Http数据;监听并获取分布式的高速缓存系统使用的应用层协议Memcache数据;监听并获取公司内部应用层通讯协议Adhead数据。
[0027]优选地，监听并获取所述不同的网络协议数据后，所述方法还包括:对不同的网络协议数据分别进行网络协议适配，然后进行网络协议解析，获得需要传输的日志数据;将解析出的不同的网络协议数据对应的需要传输的日志数据和所述发生变更的目录或文件数据，封装为一个统一的数据格式，然后再依次转存到所述数据转存队列中。
[0028]优选地，所述统一的数据格式包括:日志的存储类型，要转存的日志数据，用于保证时序一致的哈希身份标识号hashid。
[0029]如图2所示，为本发明实施例一种日志传输装置结构示意图，所述装置包括:
[0030]日志数据获取单元21，用于监听并获取日志数据；
[0031]数据转存队列单元22，用于将监听获取到的日志数据依次转存到数据转存队列中；
[0032]日志存储适配单元23，用于从所述数据转存队列中读取日志数据，根据包含日志的存储类型和日志存储服务器的对应关系的日志类型配置对应表，确定所述日志数据需要存储的对应的日志存储服务器，将所述日志数据发送到对应的日志存储服务器上。
[0033]优选地，如图3所示，为本发明实施例一种日志数据获取单元结构示意图，所述日志数据获取单元21包括:
[0034]网络数据获取模块211，用于监听并获取不同的网络协议数据；
[0035]目录文件数据获取模块212，用于监听并获取发生变更的目录或文件数据。
[0036]优选地，所述网络数据获取模块211，具体用于监听并获取超文本传输协议Http数据;还具体用于监听并获取分布式的高速缓存系统使用的应用层协议Memcache数据;还具体用于监听并获取公司内部应用层通讯协议Adhead数据。
[0037]优选地，如图4所示，为本发明实施例另一种日志传输装置结构示意图，所述装置不但包括日志数据获取单元21、数据转存队列单元22、日志存储适配单元23，还包括:
[0038]网络协议适配单元24，用于所述日志数据获取单元监听并获取不同的网络协议数据后，对不同的网络协议数据分别进行网络协议适配，然后进行网络协议解析，获得需要传输的日志数据；
[0039]统一数据格式封装单元25，用于将解析出的不同的网络协议数据对应的需要传输的日志数据和所述发生变更的目录或文件数据，封装为一个统一的数据格式，然后再依次转存到所述数据转存队列中。
[0040]优选地，所述统一的数据格式包括:日志的存储类型，要转存的日志数据，用于保证时序一致的hashid。
[0041]本发明实施例上述技术方案具有如下有益效果:降低了日志产生业务方的接入门槛，解决了现有技术特定协议的接入不灵活的问题和日志消息实时性的问题，顺便解决了日志吞吐量的问题，最终使得业务方随便选择一个自己团队熟悉的接入方式即可，不再需要业务方考虑日志消息的实时性问题和日志存储服务对接方式的解决方案。
[0042]以下结合应用实例对本发明实施例上述技术方案进行详细说明:
[0043]现有的技术方案的缺点是对于传输事务类型的日志在实时性方面没有办法保证，或者支持网络传输的传输中间件是特定的自定义协议，增加业务方接入的门槛，事务日志必须业务方自己出方案解决实时性的问题。
[0044]如图5所示，为本发明应用实例一种日志传输流程示意图。本发明应用实例技术方案的重