1.一种自定制的日志收集方法,其特征在于所述的方法包括以下步骤:
步骤一、根据需要采集的日志文件类型确定自定制的数据库系统结构化日志的采集源程序,实现对日志文件的内容拉取功能;
所述的步骤一中自定制的采集源程序步骤包括:
步骤a.建立采集文件的配置参数类;
步骤b.实现文件的采集开始和停止方法;
步骤c.对文件的起始读取点进行配置和保存在position文件里;
步骤d.建立一个线程,从position点开始处理,不断发送的日志更新文件内容;
步骤e.设置容错点,线程每执行10次,将文件当前读取的最后一次position值保存到position文件里面;
步骤f.为采集的事件添加title字符串,特定标识内容包括:采集所属服务器名称,采集所属应用程序名称,采集所属服务器的IP;
步骤二、配置需要采集的文件路径;
步骤三、设置采用的通道类型;
步骤四、设置拦截器的内容,用于过滤掉不需要的事件;
步骤五、根据需要采集的客户端数量设计流向中间服务器的定制框架;
步骤六、各个客户端实时拉取日志文件内容并实现过滤后写入到通道中;
之后,通过组件avrosink发送到中间的服务器的指定端口,中间服务器收到数据并通过自定制的sink发送到目标的消息存储机制里面,完成日志的采集过程。
2.根据权利要求1所述的自定制的日志收集方法,其特征在于所述的步骤三中所述通道类型包括:File类型或memory类型。
3.根据权利要求1所述的自定制的日志收集方法,其特征在于所述的步骤六中所述消息存储机制包括:数据库、消息序列器或者分布式文件系统。