一种带宽数据的动态查询系统的制作方法

文档序号:6331278阅读:139来源:国知局
专利名称:一种带宽数据的动态查询系统的制作方法
技术领域
本发明涉及数据处理领域,特别是涉及一种带宽数据的动态查询系统。
背景技术
随着互联网的不断兴起,CDN(Content Delivery Network,内容分发网络)以其特 有的优势,越来越多的被提供网络服务的各中小企业用户使用。计费是CDN服务提供商的 业务与运营支撑系统(BOSS)的必备的基础功能之一,作为CDN服务商,需向用户提供服务 的各种分析统计数据(包括计费数据),且这些分析统计数据需要具有实时性及准确性。在现有技术中,有一种带宽数据的查询系统,一般采用Cacti网络流量检测图形 分析工具,Cacti是通过简单网络管理协议(Simple NetworkManagement Protocol, SNMP) 服务来获取数据,然后使用RRDT00L(Round Robin Database工具,环状数据库)存储和更 新数据,当用户需要查看数据的时候用RRDT00L生成图表呈现给用户。所述“RoimdRobin” 其实是一种存储数据的方式,使用固定大小的空间来存储数据,并有一个指针指向最新的 数据的位置。但是,SNMP服务只能获取到交换机端口流量,因此,如果需要统计用户流量, 需知道用户对应的具体的加速服务器及每台加速服务器所连接交换机的端口,进而才能通 过统计交换机的端口流量来获取用户流量。但是上述过程具有如下缺点因为不能够将多个域名部署到一台加速服务器上, 通过SNMP服务获取的流量数据就无法区分同一交换机端口中不同域名的流量,即SNMP只 能监控交换机各端口的流量,所以现有技术就会导致服务器运行负载不均衡,进而会降低 服务器的性能。进一步的,现有技术监控到的数据流量,也会包括一些服务请求数据,并不 完全是用户的访问流量,因此,现有技术统计到的带宽数据可以说并不十分准确。因此,目前需要本领域技术人员迫切解决的一个技术问题就是如何能够提出一 种带宽数据的动态查询系统,主要用以解决现有技术导致的服务器运行负载不均衡和性能 较低的技术问题,进一步的,还能解决现有技术中统计到的带宽数据不够准确的技术问题。

发明内容
本发明所要解决的技术问题是提供一种带宽数据的动态查询系统,主要用以解决 现有技术导致的服务器运行负载不均衡和性能较低的技术问题,进一步的,还能解决现有 技术中统计到的带宽数据不够准确的技术问题。本发明实施例提供了一种带宽数据的动态查询系统,包括接收模块,用于接收用户输入的针对带宽数据的查询条件;查询模块,用于依据所述查询条件从预置的数据库中匹配得到目标数据,所述预 置的数据库用于存储带宽数据。优选的,所述查询条件具体包括时间参数信息或/和频道信息,所述时间参数信 息包括天、周、月或时间段信息,所述频道信息包括单个频道或者全部频道信息。优选的,所述预置的数据库通过以下方式建立
对接收到的来自边缘节点的原始带宽信息数据实时进行汇总;依据数据类型和/或用户信息对汇总后的带宽信息数据进行分类;对分类后的带宽信息数据再按照用户域名信息进行分区划分,并根据取样点设置 带宽信息数据的字段个数;将分区划分之后的带宽信息数据保存至预先建立的数据库中。优选的,所述系统还包括换算模块,用于针对匹配得到的目标数据,采用预置算法对取样点进行换算;绘制图形模块,用于按照换算之后的取样点绘制目标数据的流量带宽图。优选的,还包括备份数据模块,用于对所述预置的数据库中的带宽数据进行备份。与现有技术相比,本发明具有以下优点在本实施例中,依据用户输入的查询条件可以从预置的数据库中查询得到满足条 件的带宽数据,同时由于本发明实施例中每取样点上的数据均是通过分析日志得到的,因 此,可以说该带宽数据统计是完全的用户访问流量,而没有统计多余的请求所消耗的资源 情况,可以说这样的带宽数据是十分准确的。而且,通过报表系统对获取到的取样点数据进 行再次合并汇总存储,并按照用户对数据表进行分区管理,将数据存储为特定的数据格式, 能够满足前台用户的查询效率要求。


为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现 有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本 发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可 以根据这些附图获得其他的附图。图1是本发明的一种带宽数据的动态查询方法实施例1的流程图;图2是本发明方法实施例1中建立数据库的流程图;图3是本发明的一种带宽数据的动态查询方法实施例2的流程图;图4是本发明的一种带宽数据的动态查询系统实施例1的结构示意图;图5是本发明的一种带宽数据的动态查询系统实施例2的结构示意图。
具体实施例方式为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实 施方式对本发明作进一步详细的说明。本发明可用于众多通用或专用的计算系统环境或配置中。例如个人计算机、服务 器计算机、手持设备或便携式设备、平板型设备、多处理器系统、包括以上任何系统或设备 的分布式计算环境等等。本发明可以在由计算机执行的计算机可执行指令的一般上下文中描述,例如程序 模块。一般地,程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组 件、数据结构等等。也可以在分布式计算环境中实践本发明,在这些分布式计算环境中,由 通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中,程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。参考图1,示出了本发明的一种带宽数据的动态查询方法实施例1的流程图,可以 包括以下步骤步骤101 接收用户输入的针对带宽数据的查询条件。步骤102 依据所述查询条件从预置的数据库中匹配得到目标数据,所述预置的 数据库用于存储带宽数据。参考图2所示,所述预置的数据库可以通过以下方式建立步骤201 对接收到的来自边缘节点的原始带宽信息数据实时进行汇总。在本步骤进行临时数据接收,接收到的临时数据可以保存至TEMP_*表中,该表是 一个临时数据接收表,用于接收来自边缘节点的、已经过初步处理的原始带宽信息数据。需 要说明的是,在该表中,数据会实时进行汇总,然后可删除已使用过的数据,等待下次数据 的收集,以便后续可以将初步汇总后的数据放入BILLING_*表中。本步骤的执行过程是实 时且不间断的进行的,即后台会定时运行,一旦发现可入库数据,即第一时间将获取数据插 入该表中,以确保建立的数据库数据的准确性及实时性。步骤202 依据数据类型和/或用户信息对汇总后的带宽信息数据进行分类。本步骤中需要对TEMP_*表中的数据进行规整合并,并根据数据类型及用户信息 (即是用户关心程度)对原始带宽信息数据进行归类划分,以便于尽可能将数据的数量级 降为最低级别,并分别按照每五分钟一个取样点及每天一个取样点,对统计分析数据进行 归类,分类后的数据保存至BILLING_*表中,该表是由一组表组成的。需要说明的是,BILLING_*表中的数据具有实时性,为了保证用户能够第一时间看 到统计分析结果,BILLING^表中的数据会实时的从TEMP_*表汇总得到,可以预先设定为 每五分钟进行一次汇总,以确保其展现的数据延迟性较少,一般情况下,数据延时不得超过 半小时。可以理解的是,由于BILLING_*中的数据可能会不断更新,因此对于近一周的数 据,一般认为是不够准确的,有可能后期会不断的进行更新,即对于这一周内的数据结果是 动态可变的,该动态可变的数据存放于BILLING_*表中,而对于一周之后的数据,一般不会 再发生任何变化,将后续自动汇总到REP0RT_*表中。因此,对于近一周内数据的查询,可以 由BILLING_*表作为查询依据。步骤203 对分类后的带宽信息数据再按照用户域名信息进行分区划分,并根据 取样点设置带宽信息数据的字段个数。本步骤即是保存所有客户的带宽信息数据,为了提高前台查询数据的效率,还可 以按照用户域名信息进行分区划分,并保存至数据表REP0RT_*。REP0RT_*表中的数据会 作为用户带宽信息的最终数据进行保存,该保存期可以设置为至少一年。该数据除了作 为用户查询带宽流量等统计分析结果的依据之外,还作为用户计费依据。用户可以通过 天、周、月或时间段等查询条件查询相应域名及其全部域名的数据,该数据主要是通过查询 REP0RT_*表中的信息获得。需要说明的是,还可以将数据表根据取样点划分288个字段,即T0000 T2355。 这样每域名每天只有一条记录,当用户查询数据时,可根据用户域名进行信息汇总或者仅 查询一条数据,这就能极大地提高前台查询页面的数据响应速度。
5
步骤204 将分区划分之后的带宽信息数据保存至预先建立的数据库中。从上述内容中可以看出,在建立数据库时数据流向是通过TEMP_*至BILLING_*, 再到REP0RT_*,逐步地将数据进行汇总、归类,最后,将最终数据汇总并归类到REP0RT_*这 组数据表中,并保存至预先建立的数据库作为前台的报表系统的查询依据。在介绍完建立预置的数据库的具体方式之后,在系统实施例1中,所述步骤102之 后还可以继续包括步骤103 对所述预置的数据库中的带宽数据进行备份。步骤104 当数据库发生异常时,按照备份数据对数据库中的数据进行恢复。在本发明实施例中的查询方式是动态的,即是可以根据用户的不同查询方式,动 态的生成用户所需要的数据及图表。本发明实施例可以解决现有技术导致的服务器运行负 载不均衡和性能较低的技术问题,进一步的,还能解决现有技术中统计到的带宽数据不够 准确的技术问题。参考图3,示出了本发明的一种带宽数据的动态查询方法实施例2的流程图,本实 施例可以包括以下步骤步骤301 接收用户输入的针对带宽数据的查询条件。步骤302 依据所述查询条件从预置的数据库中匹配得到目标数据,所述预置的 数据库用于存储带宽数据。所述预置的数据库的建立方式,以及本步骤的实现过程在前述实施例中已经详细 描述,在此不再赘述。步骤303 针对匹配得到的目标数据,采用预置算法对取样点进行换算。当用户查询得到目标数据之后,还可以将查询数据生成流量带宽图展现给用户。 但是在进行图形绘制的过程中,受图形本身像素点的限制,在用户按周、按频道进行查询 时,需将2016个取样点换算为288个,因此需要采用相应算法进行再次取样,以获取较接近 的流量带宽图。同时,在用户按月、按频道进行查询时,需将8640个取样点换算为288个, 同样的需要采用相应算法进行再次取样,以获取较接近的流量带宽图。步骤304 按照换算之后的取样点绘制目标数据的流量带宽图。需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列 的动作组合,但是本领域技术人员应该知悉,本发明并不受所描述的动作顺序的限制,因为 依据本发明,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知 悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本发明 所必须的。参考图4,示出了本发明的一种带宽数据的动态查询系统实施例1的结构框图,可 以包括以下模块接收模块401,用于接收用户输入的针对带宽数据的查询条件。在本发明实施例中,用户输入的针对带宽数据的查询条件具体可以包括时间参 数信息或/和频道信息,所述时间参数信息具体可以包括天、周、月或时间段信息,所述频 道信息具体可以包括单个频道或者全部频道信息。例如,用户的查询可以按天、按频道进 行查询,也可以按周、按频道进行查询,也可以按月、按频道进行查询,当然,也可以按时间 段、按频道进行查询。所述查询条件具体包括时间参数信息或/和频道信息,所述时间参数信息包括天、周、月或时间段信息,所述频道信息包括单个频道或者全部频道信息。查询模块402,用于依据所述查询条件从预置的数据库中匹配得到目标数据,所述 预置的数据库用于存储带宽数据。接收到用户输入的不同的查询条件时,就需要依据该查询条件限定的内容从预置 的数据库中匹配得到目标数据,该预置的数据库用于存储带宽数据,需要说明的是,这里的 带宽数据需要遵循一定的格式定义才能被用户查询得到。更具体的,考虑到用户的不同查询方式,当按天、按频道进行查询时,因为现有的 日志报表系统,每五分钟获取一个计费取样点,每频道一天会有288取样点,每取样点根据 时间进行区分,即采用年月日时分形式(例如201006250000代表2010年06月25日00点 00分)。由于采用每五分钟一个取样点,因此,时间以0或5结尾。在本发明实施例中,用 户可以查询单个频道或全部频道。所述全部频道的含义即是,在某用户名下所有频道的带 宽数据的汇总结果,需要将相同时间上的取样点对应的相应数据进行合并计算,合并后全 部取样点仍为288个。当用户按周、按频道进行查询时,需查询一周内该频道所有取样点的数据,一共为 288*7 = 2016个,全部频道取样,也应对其进行累加。当用户按月、按频道进行查询时,需要 查询一个月内该频道涉及到的所有取样点,一共约为288*30 = 8640个取样点,全部频道取 样,也应对其进行累加。当用户按时间段,按频道进行查询时,查询数据可为一个自然月内, 也可跨自然月,这种情况下涉及的取样点可能会比较多,而且全部频道取样,也应对其进行 累加。因为是按照时间段进行查询,因此查询可能也会涉及跨月及跨年的问题,而且也可能 涉及取样点较多的问题,此时也可以考虑效率问题。在本实施例中对目前要支持的查询系统进行了详细的介绍,而且,用户在查询页 面时页面的响应效率也较高,即页面生成图片时间较短,就可以提升用户的使用系统的满 意度及用户体验。同时,本发明实施例可以在数据库中实现,衔接了后台程序和前台查询系 统,后台程序通过分析统计,将得到的符合要求的数据插入数据库中,前台查询系统会根据 查询条件从数据库中获取用户要查询的数据。所述预置的数据库的建立方式可以参考图2以及前述关于图2的文字部分。备份数据模块403,用于对所述预置的数据库中的带宽数据进行备份。需要说明的是,数据库中的数据例如REP0RT_*中的最终数据,还可以定时进行备 份,这样就可以确保一旦数据库等出现异常问题,能够以最快速度的对数据库中的数据进 行恢复,不会影响到用户的查询及计费。同时对于用户跨月、跨年进行查询的情况,预置的 数据库中的数据表结构也具有很好的兼容性,能够保证查询数据量不会过大,进而最大限 度地保证用户查询效率。数据恢复模块404,用于当数据库发生异常时,按照备份数据对数据库中的数据进 行恢复。在本发明实施例中的查询方式是动态的,即是可以根据用户的不同查询方式,动 态的生成用户所需要的数据及图表。本发明实施例可以解决现有技术导致的服务器运行负 载不均衡和性能较低的技术问题,进一步的,还能解决现有技术中统计到的带宽数据不够 准确的技术问题。其中,所述实施例中预置的数据库通过以下方式建立
步骤Al 对接收到的来自边缘节点的原始带宽信息数据实时进行汇总。步骤A2 依据数据类型和/或用户信息对汇总后的带宽信息数据进行分类。步骤A3 对分类后的带宽信息数据再按照用户域名信息进行分区划分,并根据取 样点设置带宽信息数据的字段个数。步骤A4 将分区划分之后的带宽信息数据保存至预先建立的数据库中。在本实施例中的查询方式是动态的,即是可以根据用户的不同查询方式,动态的 生成用户所需要的数据及图表。本发明实施例可以解决现有技术导致的服务器运行负载不 均衡和性能较低的技术问题,进一步的,还能解决现有技术中统计到的带宽数据不够准确 的技术问题。参考图5,示出了本发明的一种带宽数据的动态查询系统实施例2的结构框图,可 以包括以下模块接收模块401,用于接收用户输入的针对带宽数据的查询条件;查询模块402,用于依据所述查询条件从预置的数据库中匹配得到目标数据,所述 预置的数据库用于存储带宽数据。换算模块501,用于针对匹配得到的目标数据,采用预置算法对取样点进行换算。当用户查询得到目标数据之后,还可以将查询数据生成流量带宽图展现给用户。 但是在进行图形绘制的过程中,受图形本身像素点的限制,在用户按周、按频道进行查询 时,需将2016个取样点换算为288个,因此需要采用相应算法进行再次取样,以获取较接近 的流量带宽图。同时,在用户按月、按频道进行查询时,需将8640个取样点换算为288个, 同样的需要采用相应算法进行再次取样,以获取较接近的流量带宽图。绘制图形模块502,用于按照换算之后的取样点绘制目标数据的流量带宽图。在取样点进行换算之后,可以快速通过绘图程序将获取到的数据绘制成图形展现 在用户面前。需要说明的是,在本发明实施例中,多用户的动态的日志分析报表系统主要是以 域名和时间点作为唯一取样点,通过分析每台加速服务器上的日志,来获取每域名的带宽 数据,因此,能够更加灵活的获取用户数据,可实现一台加速服务器上加速多个域名,而不 会因为后期计费问题得到限制,能够最大限度地发挥加速服务器的性能。而且,通过域名计 费能够很灵活的合并多个节点上该域名的带宽数据,也能够分节点进行汇总,从而最大限 度地满足用户及运维工作人员对数据统计结果的查询要求。由于本发明实施例中每取样点上的数据均是通过分析日志得到的,因此,可以说 该带宽数据统计是完全的用户访问流量,而没有统计多余的请求所消耗的资源情况,可以 说这样的带宽数据是十分准确的。而且,通过报表系统对获取到的取样点数据进行再次合 并汇总存储,并按照用户对数据表进行分区管理,将数据存储为特定的数据格式,能够满足 前台用户的查询效率要求。需要说明的是,本说明书中的各个实施例均采用递进的方式描述,每个实施例重 点说明的都是与其他实施例的不同之处,各个实施例之间相同相似的部分互相参见即可。 对于系统类实施例而言,由于其与方法实施例基本相似,所以描述的比较简单,相关之处参 见方法实施例的部分说明即可。需要说明的是,而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性
8的包含,从而使得包括一系列要素的过程、系统、物品或者设备不仅包括那些要素,而且还 包括没有明确列出的其他要素,或者是还包括为这种过程、系统、物品或者设备所固有的要
素。在没有更多限制的情况下,由语句“包括一个......,,限定的要素,并不排除在包括所
述要素的过程、系统、物品或者设备中还存在另外的相同要素。 以上对本发明所提供的一种带宽数据的动态查询系统进行了详细介绍,本文中应 用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理 解本发明的系统及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式
及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发 明的限制。
权利要求
一种带宽数据的动态查询系统,其特征在于,包括接收模块,用于接收用户输入的针对带宽数据的查询条件;查询模块,用于依据所述查询条件从预置的数据库中匹配得到目标数据,所述预置的数据库用于存储带宽数据。
2.如权利要求1所述的系统,其特征在于,所述查询条件具体包括时间参数信息或/ 和频道信息,所述时间参数信息包括天、周、月或时间段信息,所述频道信息包括单个频 道或者全部频道信息。
3.如权利要求1所述的系统,其特征在于,所述预置的数据库通过以下方式建立 对接收到的来自边缘节点的原始带宽信息数据实时进行汇总;依据数据类型和/或用户信息对汇总后的带宽信息数据进行分类; 对分类后的带宽信息数据再按照用户域名信息进行分区划分,并根据取样点设置带宽 信息数据的字段个数;将分区划分之后的带宽信息数据保存至预先建立的数据库中。
4.如权利要求1所述的系统,其特征在于,所述系统还包括换算模块,用于针对匹配得到的目标数据,采用预置算法对取样点进行换算; 绘制图形模块,用于按照换算之后的取样点绘制目标数据的流量带宽图。
5.如权利要求1-4任意一项所述的系统,其特征在于,还包括 备份数据模块,用于对所述预置的数据库中的带宽数据进行备份。
全文摘要
本发明提供了一种带宽数据的动态查询系统,所述系统包括接收模块,用于接收用户输入的针对带宽数据的查询条件;查询模块,用于依据所述查询条件从预置的数据库中匹配得到目标数据,所述预置的数据库用于存储带宽数据。本发明可以解决现有技术导致的服务器运行负载不均衡和性能较低的技术问题,进一步的,还能解决现有技术中统计到的带宽数据不够准确的技术问题。
文档编号G06F17/30GK101923576SQ20101026957
公开日2010年12月22日 申请日期2010年8月31日 优先权日2010年8月31日
发明者井卫军, 姚永壮, 杨利军, 蒋建平, 郜时红 申请人:北京云快线软件服务有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1