一种基于云加端模式的运维数据处理系统和方法与流程

本发明属于运维数据处理技术领域，尤其涉及一种基于云加端模式的运维数据处理系统和方法。

背景技术：

云监控运维服务是基于云计算技术提供的监控运维服务。通过和云计算平台的整合，针对网络、系统、应用等内容提供可用性、用户体验和安全性方面的监控服务。保障用户的业务稳定安全运行。当服务器发送故障时，及时的给网站管理人员发送邮件和短信报警。第一时间了解网站状态，将故障时间降低到最小。同时也提供其他服务，例如追踪用户访问网站的速度、协助用户判断故障原因等。云计算作为信息技术领域的一种创新模式，因其低成本、弹性、按需付费等特点引发了新一轮的商业模式变革，已经成为一种技术应用新常态。分布式计算和自动化管理，能够跨平台、分布式集群化部署，提升整体计算分析和计算资源利用率，实现整体计算成本的降低；能够基于智能分析和数据挖掘数据提升数据的有效性，提高监控系统的实用价值，能够充分结合多媒体应用大信息量交互和频繁的信令调度进行优化设计，提高处理性能，并实现统一管理手段，从而减少维护使用成本。

然而，现有的云监控和运维服务，对于传统的企业信息系统,在数据处理上有很多的局限性。首先，企业信息系统部署在企业局域网内部，无法直接通过探针采集数据并上传到监控云中。有的企业开通了数据的上传通道，可以在云端进行监控和报警处理，但是有些企业运维数据过大，现有的网络带宽无法满足数据传输的要求，另外，许多的数据对运维工作用处不大，也上传到了云端，造成资源浪费。

因此，需要提出一种合理的运维数据处理技术来避免上述缺陷的产生。

技术实现要素：

针对现有技术的不足，本发明的目的是提供一种基于云加端模式的运维数据处理系统和方法，充分利用云计算的技术优势，对运维数据进行分析处理；在企业内部部署企业端运维数据处理系统，负责对接云端，采集监控数据和日志等运维信息，进行基本的处理，并上传到云端。

一种基于云加端模式的运维数据处理系统，所述运维数据处理系统系统包括：

运维云服务：部署在云端，接收企业端上传的运维数据，基于云计算资源对云进行分析和管理数据，并下发给各个运维企业端，所述管理数据包括数据通信、数据分析、数据存储和处理规则。

运维企业端：部署在每个企业防火墙内部的独立服务器上，该服务器需要对互联网的访问权限，但不必被外界网络访问到；所述运维企业端接收Agent采集运维数据，存储到本地，按照处理规则进行分析处理后，上传到云端服务系统。

Agent：部署在运行业务系统的服务器上，是采集数据的探针和命令执行器；每个Agent对应唯一的企业运维端系统，向其发送运维数据并接受运维指令。

优选地，所述处理规则包括数据的采集规则、汇总规则、上传条件和基准库。

优选地，所述运维数据包括性能数据、业务数据和快照数据三种。

优选地，所述性能数据为实时监控的数据，体现当前时刻的性能指标的实际数值；所述业务数据是业务处理过程数据；所述快照数据是指服务和应用在某一时刻的全部上下文信息。

优选地，所述性能数据具有实效性，需要实时收集，实时分析，及时报警，处理分析过程在企业端完成，数据无需上传到云端；所述业务数据，需要实时收集，企业端每隔一段时间，对业务数据进行汇总，并将汇总数据上传到云端，云端定期的进行处理和分析，发掘用户的操作习惯、热度应用操作，并以报表形式呈现；所述快照数据，根据数据处理规则，只有满足一定触发条件时，才会采集快照数据，存储到企业端，保留一定的时间，用于分析追踪问题。

优选地，所述汇总的类别包括业务领域、业务模块、业务操作、操作耗时、执行次数、数据库连接数量和执行SQL数量。在云端定义基准库，包括但不限于性能基准库、异常基准库和故障基准库。

优选地，所述基准库由多个企业端数据综合生成，按照各个企业端系统的硬件配置、操作系统类型和并发数以及相关环境因素进行归档和分类，并随着数据的积累自动调整。

优选地，所述运维数据处理系统采用消息队列作为通信协议，在云端部署消息队列服务器，企业端系统向消息服务器发送消息，并监听特定的消息频道，云端通过消息发送信息令给各个云端子系统，其具体过程如下：

企业端通过消息队列服务器，定时上传运维数据包到云端，每个数据包包括起止时间、运维数据内容、企业端标识ID；

云端接收到数据包后进行解析，将每条数据ID+企业端ID作为主键，进行存储，防止数据的重复，成功存储后，将该时间段设为完成；

云端定时检查数据完整性，对为完成的时间段，想企业端发送数据重传请求，完成数据的补偿过程。

一种基于云加端模式的运维数据处理方法，所述运维数据处理方法基于上述运维数据处理系统，所述处理方法包括以下过程：企业端运维系统同步云端的基准库信息和数据处理规则，收集Agent采集的数据后，对信息进行过滤和汇总，将有效数据和汇总信息上传到云端；如果诊断为非正常状态，则根据数据处理规则，进行故障处理，保存快照数据，并告知云端；云端接收到运维数据，保存到云存储中，将运维指标进行统计和分析，并形成统计分析报告；最后更新基准库。

本发明的技术方案具有以下有益效果：

本发明提供的一种基于云加端模式的运维数据处理系统和方法，带来以下明显的效果：充分利用了云计算的特性：低成本的处理运维数据，实现多个项目数据的横向对比，积累了系统的运维数据，实现数据驱动业务的服务模式；节省了运维的人力和物力：基于互联网和通信技术，企业端运维数据上传到云端，避免运维人员到处奔波；节省数据流量：对监控数据和日志数据等在企业端进处理和过滤，快照数据仅保存在企业端，有效的避免了数据传输造成的浪费；企业运维端，对运维数据进行存储，可以建立独立自治的运维微系统，供企业信息管理员自助的对业务系统进行运维；监控模式创新：目前的运维产品，要么部署在企业内部运行，要么要求被监控服务器能够访问外网，该创新能够提供云加端运维模式，属于比较新颖的做法；解决了通信问题：大多数企业应用部署在私有防火墙内部，不允许外网访问，因此无法通过TCP连接到云端；采用消息通信，运维端系统向云端发送运维数据。

附图说明

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

图1是本发明一种基于云加端模式的运维数据处理系统和方法的系统结构图；

图2是本发明一种基于云加端模式的运维数据处理系统和方法的消息队列服务器处理过程示意图。

具体实施方式

为了清楚了解本发明的技术方案，将在下面的描述中提出其详细的结构。显然，本发明实施例的具体施行并不足限于本领域的技术人员所熟习的特殊细节。本发明的优选实施例详细描述如下，除详细描述的这些实施例外，还可以具有其他实施方式。

下面结合附图和实施例对本发明做进一步详细说明。

本发明的目的旨在设计一种基于云加端模式的运维数据处理方法和系统。针对大多数企业应用部署在防火墙内部的现状，利用云加端运术方案，实现对企业内部应用运维数据进行处理，进行本地化存储，并将需要的数据上传到云端。运维云端不仅能够收集到每个项目的运维数据，而且对各家的数据进行横向对比，生成企业运行报表，对企业IT规划具有很好的指导价值。同时，对业务异常、故障类型、性能基准按照领域归类和分析，不断积累用户的运维基准库数据，对运维规则处理和领域研发具有很好的参考和反馈。而企业端系统可以对运维数据的处理规则、报警处理策略、以及数据存储和通信处理等进行定制和扩展。

本发明设计了一种运维数据处理系统和方法，通过互联网技术和部署端系统，解决网络连通和数据通信问题；通过云计算技术对运维数据进行分析，形成全面运维报告处理，实现对企业系统的自动化监控和运维，及时发现运行隐患，提高资源利用率，最大程度的保障生产正常运行。

参照图1，基于云计算技术，在总部部署一套运维系统，集中为所有的企业客户项目提供监控和运维服务。在每个企业客户防火墙内部部署一套企业运维端系统，负责采集数据和分析处理，并把分析结果上传到云服务器进行综合分析。如果发生故障或报警，企业运维端系统根据设置好的规则进行处理。包含如下组件：运维云服务：部署在云端，接收企业端上传的运维数据，基于云计算资源对云进行分析和管理数据，并下发给各个运维企业端，所述管理数据包括数据通信、数据分析、数据存储和处理规则；运维企业端：部署在每个企业防火墙内部的独立服务器上，该服务器需要对互联网的访问权限，但不必被外界网络访问到；所述运维企业端接收Agent采集运维数据，存储到本地，按照处理规则进行分析处理后，上传到云端服务系统；Agent：部署在运行业务系统的服务器上，是采集数据的探针和命令执行器；每个Agent对应唯一的企业运维端系统，向其发送运维数据并接受运维指令。

上述运维数据分为性能数据、业务数据和快照数据。

性能数据为实时监控的数据，体现当前时刻的性能指标的实际数值；业务数据是业务处理过程数据，比如某个用户在工作时间内做了某些业务操作；快照数据，服务和应用在某一时刻的全部上下文信息，包括线程信息、宕机dump文件、数据库状态、主机状态等；性能数据，具有实效性，需要实时收集，实时分析，及时报警，处理分析过程在企业端完成，数据无需上传到云端；

业务数据，需要实时收集，企业端每隔一段时间，对业务数据进行汇总，并将汇总数据上传到云端，汇总类别包括业务领域、业务模块、业务操作、操作耗时、执行次数、数据库连接数量、执行SQL数量等。云端定期的进行处理和分析，发掘用户的操作习惯、热度应用操作等，并以报表形式呈现；

快照数据，根据数据处理规则，只有满足一定触发条件时，才会采集快照数据，存储到企业端，保留一定的时间，用于分析追踪问题。

在云端定义基准库，包括但不限于性能基准库、异常基准库和故障基准库；基准库由多个企业端数据综合生成，按照各个企业端系统的硬件配置、操作系统类型、并发数等环境因素进行归档和分类，并随着数据的积累自动调整；

一种基于云加端模式的运维数据处理方法，所述运维数据处理方法基于上述运维数据处理系统，所述处理方法包括以下过程：企业端运维系统同步云端的基准库信息和数据处理规则，收集Agent采集的数据后，对信息进行过滤和汇总，将有效数据和汇总信息上传到云端，如果诊断为非正常状态，则根据数据处理规则，进行故障处理，保存快照数据，并告知云端，云端接收到运维数据，保存到云存储中，将运维指标进行统计和分析，并形成统计分析报告，更新基准库。

通过技术上的通信处理，需要考虑部署企业端运维系统的服务器开通访问互联网权限，但是从外面无法访问到企业防火墙内部，这是一种单向通信的网络。因此云服务无法通过TCP建立端到端的连接，无法直接向企业端发送指令和调用。为了实现通信的交互性，使用消息队列作为通信协议，在云端部署消息队列服务器，企业端系统向消息服务器发送消息，并监听特定的消息频道，云端通过消息发送信息令给各个云端子系统, 其具体过程如下：

企业端通过消息队列服务器，定时上传运维数据包到云端，每个数据包包括起止时间、运维数据内容、企业端标识ID；

云端接收到数据包后进行解析，将每条数据ID+企业端ID作为主键，进行存储，防止数据的重复，成功存储后，将该时间段设为完成；

云端定时检查数据完整性，对为完成的时间段，想企业端发送数据重传请求，完成数据的补偿过程。

通过使用云加端运维数据处理，在云和端分别对运维数据进行不同的分析处理，进而对企业客户应用集中运维，生成运维数据报表，实现一屏看千家。

在云端，不仅收集到了每个企业端的运维数据，而且对各家的数据进行横向对比，生成企业运行报表，对企业IT规划具有很好的指导价值，同时，对错误进行分类统计，对性能按照领域归类，对产品厂商的各领域研发部门有很好的反馈和参考。

通过企业端的实时数据处理功能，我们能够及时掌握应用的运行状况，尽早的发现系统中存在问题，并快速进行问题的定位。实现了对企业内部应用运维服务的能力，能够促进运维模式的变革。

总部的运维技术人员收到通知后，通过云运维平台查看追踪问题。对于不可再现问题，企业端系统保存了系统快照，运维人员事后查看异常快照，根据对快照中的信息进行分析并解决问题。

充分利用了云计算的特性。低成本的处理运维数据，实现多个项目数据的横向对比，积累了系统的运维数据，实现数据驱动业务的服务模式。

节省了运维的人力和物力。基于互联网和通信技术，企业端运维数据上传到云端，避免运维人员到处奔波。

节省数据流量。对监控数据和日志数据等在企业端进处理和过滤，快照数据仅保存在企业端，有效的避免了数据传输造成的浪费。

企业运维端，对运维数据进行存储，可以建立独立自治的运维微系统，供企业信息管理员自助的对业务系统进行运维。

监控模式创新，目前的运维产品，要么部署在企业内部运行，要么要求被监控服务器能够访问外网，该创新能够提供云加端运维模式，属于比较新颖的做法。

解决了通信问题，大多数企业应用部署在私有防火墙内部，不允许外网访问，因此无法通过TCP连接到云端。采用消息通信，运维端系统向云端发送运维数据。

最后应当说明的是：以上实施例仅用以说明本发明的技术方案而非对其限制，尽管参照上述实施例对本发明进行了详细的说明，所属领域的普通技术人员依然可以对本发明的具体实施方式进行修改或者等同替换，这些未脱离本发明精神和范围的任何修改或者等同替换，均在申请待批的权利要求保护范围之内。