分布式日志分析系统处理装置的制作方法

文档序号:7845157阅读:261来源:国知局
专利名称:分布式日志分析系统处理装置的制作方法
技术领域
本实用新型涉及一种处理装置,尤其涉及一种分布式日志分析系统处理装置。
背景技术
随着计算机的普及以及互联网的迅猛发展,公司上线的系统越来越多,随之产生的系统访问日志也是迅速增长,每天新增海量的系统日志。为了保护系统的安全,方便排查系统故障,监控系统运行状况,挖掘出日志中蕴藏的信息来改进用户体验,定期对产生的日志进行分析显得十分必要。管理员可以查看在某段时间内所发生的事件,也可以通过对各个日志文件进行分析获取知识。由于日志具有数据量大,不易读懂的特点,如果仅凭借管理员查看日志记录的手段,其中所蕴含的有用信息也难以发现。使用传统的技术对这些海量日志进行分析时无论在时效,存储和计算量上都遇到了瓶颈。

实用新型内容本实用新型的目的就是为了解决现有技术中存在的上述问题,提供一种分布式日志分析系统处理装置。本实用新型的目的通过以下技术方案来实现分布式日志分析系统处理装置,包括有日志服务器,其中所述日志服务器的主数据处理端口,通过通讯线材连接分布式集群主机的主数据处理端口,所述分布式集群主机的从数据处理端口,通过通讯线材连接分布式集群从属服务器组的从数据处理端口,所述从属服务器组的主数据处理端口通过通讯线材连接日志服务器的从数据处理端口,所述的日志服务器上设置有辅助对外开放接口组件。进一步地,上述的分布式日志分析系统处理装置,其中所述的分布式集群从属服务器组至少由四台分布式从属服务器组成,所述的从属服务器均设有独立的主数据处理端口与从数据处理端口,所述每个从属服务器的主数据处理端口通过通讯线材连接日志服务器的从数据处理端口,所述每个从属服务器的从数据处理端口通过通讯线材连接日志服务器的从数据处理端口。更进一步地,上述的分布式日志分析系统处理装置,其中所述的辅助对外开放接口组件通过通讯线材连接有外接服务器。本实用新型技术方案的优点主要体现在依托于分布式集群从属服务器组的存在,将海量的数据文件分发到每个DataNode,每个DataNode只需计算处理少部分数据。并且,通过布式集群从属服务器组进行数据计算分析时平行处理的,可以线性扩展的,最大可以实现上千DataNode集群配置。同时,可依托实现同步的分布式计算来解决海量日志分析 中时效,存储,计算的瓶颈。

本实用新型的目的、优点和特点,将通过下面优选实施例的非限制性说明进行图示和解释。这些实施例仅是应用本实用新型技术方案的典型范例,凡采取等同替换或者等效变换而形成的技术方案,均落在本实用新型要求保护的范围之内。这些附图当中,图I是分布式日志分析系统处理装置的构造示意图。
具体实施方式
如图I所示的分布式日志分析系统处理装置,包括有日志服务器1,其与众不同之处在于本实用新型所采用的日志服务器I的主数据处理端口,通过通讯线材6连接分布式集群主机2的主数据处理端口。与之对应的是,分布式集群主机2的从数据处理端口,通过通讯线材6连接分布式集群从属服务器组的从数据处理端口。并且,为了数据的名字结点和服务跟踪功能得以有效实现,从属服务器组的主数据处理端口通过通讯线材6连接日志服务器I的从数据处理端口。考虑到用于接收其他系统产生的日志数据和外接扩充的需要,在日志服务器I上设置有辅助对外开放接口组件4。就本实用新型一较佳的实施方式来看,为了便于实现分布式日志分析,本实用新型所采用的分布式集群从属服务器组至少由四台分布式从属服务器3组成。考虑到可以提高处理能力,采用的从属服务器均设有独立的主数据处理端口与从数据处理端口。具体来说,每个从属服务器的主数据处理端口通过通讯线材6连接日志服务器I的从数据处理端口,每个从属服务器的从数据处理端口通过通讯线材6连接日志服务器I的从数据处理端口。由此,提升了每个从属服务器处理能力。进一步来看,考虑到提高分布式日志分析的能力,辅助对外开放接口组件4通过通讯线材6连接有外接服务器5。结合本实用新型的实际使用情况来看,分布式从属服务器3有数据节点和任务跟踪功能。同时,日志服务器I内部署有日志系统,能够将不同系统的日志数据保存为统一格式的日志文件,对日志数据进行预处理,便于将日志文件提交到分布式集群中。同样的,分布式集群主机2有名字结点和服务跟踪功能,提高处理功能。通过上述的文字表述可以看出,采用本实用新型后,依托于分布式集群从属服务器组的存在,将海量的数据文件分发到每个DataNode,每个DataNode只需计算处理少部分数据。并且,通过布式集群从属服务器组进行数据计算分析时平行处理的,可以线性扩展的,最大可以实现上千DataNode集群配置。同时,可依托实现同步的分布式计算来解决海量日志分析中时效,存储,计算的瓶颈。权利要求1.分布式日志分析系统处理装置,包括有日志服务器,其特征在于所述日志服务器的主数据处理端口,通过通讯线材连接分布式集群主机的主数据处理端口,所述分布式集群主机的从数据处理端口,通过通讯线材连接分布式集群从属服务器组的从数据处理端口,所述从属服务器组的主数据处理端口通过通讯线材连接日志服务器的从数据处理端口,所述的日志服务器上设置有辅助对外开放接口组件。
2.根据权利要求I所述的分布式日志分析系统处理装置,其特征在于所述的分布式集群从属服务器组至少由四台分布式从属服务器组成,所述的从属服务器均设有独立的主数据处理端口与从数据处理端口,所述每个从属服务器的主数据处理端口通过通讯线材连接日志服务器的从数据处理端口,所述每个从属服务器的从数据处理端口通过通讯线材连 接日志服务器的从数据处理端口。
3.根据权利要求I所述的分布式日志分析系统处理装置,其特征在于所述的辅助对外开放接口组件通过通讯线材连接有外接服务器。
专利摘要本实用新型涉及一种分布式日志分析系统处理装置,包括有日志服务器,其特点是日志服务器的主数据处理端口,通过通讯线材连接分布式集群主机的主数据处理端口,分布式集群主机的从数据处理端口,通过通讯线材连接分布式集群从属服务器组的从数据处理端口。同时,从属服务器组的主数据处理端口通过通讯线材连接日志服务器的从数据处理端口,日志服务器上设置有辅助对外开放接口组件。由此,依托于分布式集群从属服务器组的存在,将海量的数据文件分发到每个DataNode,每个DataNode只需计算处理少部分数据。同时,可依托实现同步的分布式计算来解决海量日志分析中时效,存储,计算的瓶颈。
文档编号H04L29/08GK202364244SQ20112052389
公开日2012年8月1日 申请日期2011年12月15日 优先权日2011年12月15日
发明者吴剑, 吴志祥, 庞绍进, 张海龙, 王专, 王晓钟, 郭凤林, 马和平 申请人:苏州同程旅游网络科技有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1