一种实现日志传输的方法及装置与流程

本发明涉及通信技术，尤指一种实现日志传输的方法及装置。

背景技术：

随着互联网的发展，网络规模日益扩大，应用日趋复杂。为了能够及时了解网络带宽的负载和业务的占用情况、发现和检测异常流量、审计用户的上网行为，以及为将来的网络优化、扩容提供分析数据的转发面管理，网络的事件信息的采集分析势在必行。路由器、交换机、服务器等设备的系统日志文件(syslog，system log)(以下简称日志)记录着系统中的所有事件，通过查看系统记录可以掌握系统状况。syslog系统能够接收远程系统的日志记录，在一个日志中按时间顺序处理多个系统的日志记录，并以日志文件形式存盘。同时在无需连接多个系统的情况下，可以在一个位置查看接收的多个系统的日志文件。

目前，大部分存储syslog的日志服务器，采用套接字(SOCKET)方式，使用用户数据报协议(UDP)作为传输协议，通过目的端口514(或其它定义的端口号)将设备的日志管理配置发送到安装有syslog系统的日志服务器中，日志服务器自动接受日志数据并写到日志文件中。

高性能路由器通常采用分布式架构，需要通过专门的网络处理器和相应的硬件用来转发报文，单个接口的速率达到40Gbps甚至100Gbps，且集成的功能丰富，大量的系统日志在路由器工作过程中产生。采用SOCKET方式无法满足高性能路由器的日志传输。且由于SOCKET方式多采用单个设备作为多台设备的日志服务器，无法满足存储高性能路由器的存储性能。另外，采用SOCKET方式在跨网络进行日志传输时还容易发生丢包的问题。

技术实现要素：

为了解决上述技术问题，本发明提供一种实现日志传输的方法及装置，能够满足高性能路由器的日志传输在速度及存储性能上的要求。

为了达到本发明目的，本发明提供了一种实现日志传输的方法，其特征在于，包括：

从缓存中查询生成的日志的转发信息；

根据查询的转发信息，通过快速转发通道发送生成的日志至预先配置的一个或一个以上日志服务器上。

进一步地，发送生成的日志到预先配置的日志服务器之前，该方法还包括：

将所述生成的日志与预先设置的告警级别进行匹配过滤，仅发送所述生成的日志中达到所述预先设置的告警级别的部分。

进一步地，预先配置的日志服务器为：

通过预先设置的用户界面接收预先配置的所述日志服务器的网络地址信息；根据所述日志服务器的网络地址信息配置的接收所述生成的日志的服务器。

进一步地，日志服务器的网络地址信息至少包括：

所述日志服务器的网络地址为互联网协议第四版IPV4地址或互联网协议第六版IPV6地址；和，

所述日志服务器和路由器直连，或所述日志服务器和路由器非直连的连接信息。

进一步地，从缓存中查询生成的日志的转发信息具体包括：

根据查询键值从缓存中查询生成的日志的转发信息；

所述查询键值根据以下步骤生成：

从转发面获取所述日志服务器的网络地址；

所述日志服务器和路由器直连时，获取日志发送的目的地址作为路由下一跳；所述日志服务器和路由器非直连时，查询路由表获取路由下一跳；

获取路由器的出接口的五元组信息；

将获取的日志服务器的网络地址、路由下一跳及路由器的出接口的五元组信息作为所述查询键值；

所述出接口为实接口或虚接口。

进一步地，虚接口为以下接口至少之一：链路聚合组Smartgroup接口、超级虚拟局域网SuperVlan接口、多链路点对点协议MPPP、PosGroup接口；

出接口为虚接口时，所述路由器出接口的五元组信息为：

查询接口端口状态信息以选取一条激活的物理接口，将选取的激活的物理接口及所述虚接口的信息作为路由器出接口的五元组信息。

进一步地，转发信息至少包括：发往日志服务器的以太网头信息ESH、交换头信息和网络处理器处理的头信息NPH；

所述交换头信息为SAIH和ITMH。

进一步地，从缓存中查询生成的日志的转发信息之前，该方法还包括：

从转发面获取所述转发信息，将转发信息传输至所述缓存中。

进一步地，当缓存中查询不到所述转发信息时，该方法还包括：

将所述生成的日志通过套接字SOCKET方式发送到日志服务器地址对应的日志服务器上。

另一方面，本申请还提供一种实现日志传输的装置，包括：查询单元和发送单元；其中，

查询单元，用于从缓存中查询生成的日志的转发信息；

发送单元，用于根据查询的转发信息，通过快速转发通道发送生成的日志至预先配置的一个或一个以上日志服务器上。

进一步地，该装置还包括过滤单元，用于发送所述生成的日志到预先配置的日志服务器之前，将所述生成的日志与预先设置的告警级别进行匹配过滤，仅发送所述生成的日志中达到所述预先设置的告警级别的部分。

进一步地，该装置还包括转发缓存单元，用于查询转发信息之前，

从转发面获取所述转发信息并传输至缓存中。

进一步地，该装置还包括套接字单元，用于查询单元从缓存中查询不到所述转发信息时，

将所述生成的日志通过套接字SOCKET方式发送到所述预先配置的日 志服务器上。

进一步地，查询单元具体用于，

从转发面获取所述日志服务器的网络地址；

所述日志服务器和路由器直连时，获取日志发送的目的地址作为路由下一跳；所述日志服务器和路由器非直连时，查询路由表获取路由下一跳；

获取路由器的出接口的五元组信息；

将获取的日志服务器的网络地址、路由下一跳及路由器的出接口的五元组信息作为所述查询键值；

根据查询键值从缓存中查询生成的日志的所述转发信息。

与现有技术相比，本申请技术方案包括：从缓存中查询生成的日志的转发信息；根据查询的转发信息，通过快速转发通道发送生成的日志至预先配置的一个或一个以上日志服务器上。本发明方法通过从缓存中查询转发信息，利用快速转发通道将生成的日志发送到一个或一个以上预先设置的日志服务器，解决了采用SOCKET方式无法满足高性能路由器的日志传输的性能问题。同时，避免了采用SOCKET方式由于采用单个设备作为多台设备的日志服务器出现存储性能问题。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实现日志传输的方法的流程图；

图2为本发明实现日志传输的装置的结构框图；

图3为本发明第一实施例的方法流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，下文中将结合附图对本发明的实施例进行详细说明。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1为本发明实现日志传输的方法的流程图，如图1所示，包括：

步骤100、从缓存中查询生成的日志的转发信息；

本步骤中，根据查询键值从缓存中查询生成的日志的转发信息；

查询键值根据以下步骤生成：

从转发面获取日志服务器的网络地址；

日志服务器和路由器直连时，获取日志发送的目的地址作为路由下一跳；日志服务器和路由器非直连时，查询路由表获取路由下一跳；

获取路由器的出接口的五元组信息；

将获取的日志服务器的网络地址、路由下一跳及路由器的出接口的五元组信息作为所述查询键值；

出接口可以是实接口或虚接口。

这里，获取路由器的出接口的五元组信息数据本领域技术人员的惯用技术手段。

虚接口为以下接口至少之一：链路聚合组(Smartgroup)接口、超级虚拟局域网(SuperVlan)接口、多链路点对点协议(MPPP)、Pos口聚合PosGroup接口。Pos口是现有名词，是指无源光纤分路器的端口。

当出接口为虚接口时，路由器出接口的五元组信息为：

查询接口端口状态信息以选取一条激活的物理接口，将选取的激活的物理接口及虚接口的信息作为路由器出接口的五元组信息。

需要说明的是，当出接口是虚接口时，通过现有的选路算法选取激活的物理接口。五元组信息为现有定义，包括机架号、槽位号、端口号、子端口号、端口类型，通过五元组信息可以唯一的确定报文的出口。

从缓存中查询生成的日志的转发信息之前，本发明方法还包括：

从转发面获取转发信息，将转发信息传输至缓存中。

需要说明的是，将转发信息传输至缓存中，可以提高生成的日志的传输效率，达到提高生成的日志的传输性能的目的。

步骤101、根据查询的转发信息，通过快速转发通道发送生成的日志至 预先配置的一个或一个以上日志服务器上。

这里，预先配置的日志服务器为：通过预先设置的用户界面接收预先配置的日志服务器的网络地址信息；根据日志服务器的网络地址信息配置的接收生成的日志的服务器。

需要说明的是，通过预先配置一个或一个以上日志服务器进行生成的日志的接收，避免了由于SOCKET方式多采用单个设备作为多台设备的日志服务器出现的存储性能问题。发送到一个以上日志服务器上可以实现日志冗余；另外，技术人员可以在任意的一个日志服务器上进行生成的日志的查询，为查询日志信息提供了便捷。

优选的，日志服务器的网络地址信息至少包括：

日志服务器的网络地址为互联网协议第四版(IPV4)地址或互联网协议第六版(IPV6)地址；和，

日志服务器和路由器直连，或日志服务器和路由器非直连的连接信息。

转发信息至少包括：发往日志服务器的以太网头信息(ESH)、交换头(SAIH和ITMH)和网络处理器处理的头信息NPH头。

需要说明的是，SAIH是交换通道(SA)200交换芯片对应的交换头；ITMH是传输管理器(TM)对应的交换头。根据转发信息进行数据传输属于本领域技术人员的公知常识，在此不再赘述。

当缓存中查询不到转发信息时，本发明方法还包括：

将生成的日志通过套接字(SOCKET)方式发送到日志服务器地址对应的日志服务器上。

需要说明的是，通过快速转发通道快速发送生成的日志，满足了高性能路由器的性能要求；当出现从缓存中查询转发信息失败时，通过SOCKET方式可以保证生成的日志信息的完整。

发送生成的日志到预先配置的日志服务器之前，本发明方法还包括：

将生成的日志与预先设置的告警级别进行匹配过滤，仅发送生成的日志中达到预先设置的告警级别的部分。

需要说明的是，这里预先设置的告警级别是指本领域技术人员对生成的日志进行技术需求分析，根据日志信息的重要程度设置的过滤级别，例如设置电源、转换地址、涉及到安全的某些关键信息等进行告警，即只有设置了告警才进行日志的转发。

本发明方法通过从缓存中查询转发信息，利用快速转发通道将生成的日志发送到一个或一个以上预先设置的日志服务器，解决了采用SOCKET方式无法满足高性能路由器的日志传输的性能问题。同时，避免了采用SOCKET方式由于采用单个设备作为多台设备的日志服务器出现存储性能问题。

图2为本发明实现日志传输的装置的结构框图，如图2所示，包括：查询单元和发送单元；其中，

查询单元，用于从缓存中查询生成的日志的转发信息；

查询单元具体用于，

从转发面获取日志服务器的网络地址；

日志服务器和路由器直连时，获取日志发送的目的地址作为路由下一跳；日志服务器和路由器非直连时，查询路由表获取路由下一跳；

获取路由器的出接口的五元组信息；

将获取的日志服务器的网络地址、路由下一跳及路由器的出接口的五元组信息作为所述查询键值；

根据查询键值从缓存中查询生成的日志的转发信息。

发送单元，用于根据查询的转发信息，通过快速转发通道发送生成的日志至预先配置的一个或一个以上日志服务器上。

本发明装置还包括过滤单元，用于发送生成的日志到预先配置的日志服务器之前，将生成的日志与预先设置的告警级别进行匹配过滤，仅发送生成的日志中达到预先设置的告警级别的部分。

本发明装置还包括转发缓存单元，用于查询转发信息之前，从转发面获取转发信息并传输至缓存中。

本发明装置还包括套接字单元，用于查询单元从缓存中查询不到转发信 息时，将生成的日志通过套接字SOCKET方式发送到预先配置的日志服务器上。

以下通过具体实施例对本发明方法进行清楚详细的说明，实施例仅用于陈述本发明，并不用于限制本发明方法的保护范围。

实施例1

图3为本发明第一实施例的方法流程图，如图3所示，包括：

步骤300、将生成的日志与预先设置的告警级别进行匹配过滤，获得生成的日志中达到预先设置的告警级别的部分。

步骤301、以日志服务器的网络地址和路由下一跳作为查询键值，从缓存中查询转发信息。查询成功时，执行步骤302；查询失败时，执行步骤303。

具体包括“从转发面获取日志服务器的网络地址；

日志服务器和路由器直连时，获取日志发送的目的地址作为路由下一跳；日志服务器和路由器非直连时，查询路由表获取路由下一跳；

将获取的日志服务器的网络地址和路由下一跳作为查询键值；通过查询键值从缓存中查询转发信息。

需要说明的是，当转发面的转发信息发生更新、增加了新的转发信息或对转发信息进行删除时，首先需要对缓存中的转发信息进行相应的处理，以对生成的日志的传输进行相应的调整。具体调整过程属于本领域技术人员的公知常识。

查询键值还包括路由器的出接口的五元组信息；

出接口为实接口或虚接口：

虚接口为以下接口至少之一：链路聚合组(Smartgroup)接口、超级虚拟局域网(SuperVlan)接口、多链路点对点协议(MPPP)、PosGroup接口。

当出接口为虚接口时，路由器出接口的五元组信息为：

查询接口端口状态信息以选取一条激活的物理接口，将选取的激活的物理接口及虚接口的信息作为路由器出接口的五元组信息。

步骤302、根据查询的转发信息将生成的日志中达到预先设置的告警级 别的部分发往预先配置的一个或一个以上日志服务器。

转发信息至少包括：ESH、交换头(SAIH和ITMH)和NPH；转发信息一般组合生成cookie，其中，基于ESH进行二层转发，将生成的日志发往SA芯片；SA芯片基于SAIH将交换至TM芯片，剥离ESH和SAIH；TM芯片基于ITMH将生成的日志送至网络处理器(NP)；NP芯片基于NPH将TM发往物理面板口。

步骤303、将生成的日志中达到预先设置的告警级别的部分通过套接字(SOCKET)方式发送到日志服务器地址对应的日志服务器上。这里通过SOCKET方式进行日志传输时，仍需要从转发面获取转发消息。经过一次传输后，之后的转发信息将被传输至换换中；本实施例中，查询失败是指在缓存中找不到相应的cookie。

本实施例，生成的日志只有达到预先设置的告警级别时，才查询获取缓存中的转发消息，进行日志传输。灵活的日志传输方法，既可以通过快速转发通道快速发送日志，也可以通过SOCKET方式发送生成的日志。支持IPV4、IPV6地址，虚接口、实接口，直连和非直连情形下，生成的日志的传输，通过转发信息进行缓存有效提高了生成的日志的传输效率；通过快速传输通道保证了传输速度。

虽然本发明所揭露的实施方式如上，但所述的内容仅为便于理解本发明而采用的实施方式，并非用以限定本发明。任何本发明所属领域内的技术人员，在不脱离本发明所揭露的精神和范围的前提下，可以在实施的形式及细节上进行任何的修改与变化，但本发明的专利保护范围，仍须以所附的权利要求书所界定的范围为准。