一种采集数据的方法以及装置与流程

本发明实施例涉及数据处理的技术领域，尤其涉及一种采集数据的方法以及装置。

背景技术：

在大数据产品运维日常工作中，经常会出现数据异常的情况，在分析这些异常原因时，发现数据会在很多环节出错，比如ycl、kafka、storm、solr、hadoop等。而定位这些原因往往会花费开发人员很大的精力，有时甚至会出现查找一个原因团队所有人都出动的情况。通过逐项排查各节点查找数据异常的方法越来越困难，效率也很低。

技术实现要素：

本发明实施例的目的在于提出一种采集数据的方法以及装置，旨在解决需要开发出一套高效、可靠、具有整合性的运维产品。

为达此目的，本发明实施例采用以下技术方案：

第一方面，一种采集数据的方法，所述方法包括：

服务器接收客户端发送的交互命令；

所述服务器判断是否是所述交互命令的结束命令；

若所述服务器判断是所述交互命令的结束命令，则所述服务器根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。

可选地，所述方法还包括：

当所述客户端发起所述交互命令时，所述客户端根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头。

可选地，所述服务器与所述客户端交互、发送日志，包括：

所述服务器根据所述消息头的内容，所述服务器获取对应类型或者路径下的日志。

可选地，所述方法还包括：

若所述消息头是实时类型的消息，所述客户端需将通信协议中的时间间隔指定为目标更新时间。

可选地，所述服务器与所述客户端交互、发送日志，包括：

若所述消息头是实时类型的消息，则所述服务器采集到日志后，根据所需的数据类型，将相应的数据传输发送给client端。

可选地，所述方法还包括：

若所述服务器判断不是所述交互命令的结束命令，则所述服务器退出采集数据的流程。

第二方面，一种采集数据的装置，所述装置包括：

接收模块，用于接收客户端发送的交互命令；

判断模块，用于判断是否是所述交互命令的结束命令；

发送模块，用于若所述服务器判断是所述交互命令的结束命令，则根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。

可选地，所述装置还包括：

创建模块，用于当所述客户端发起所述交互命令时，根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头；

所述发送模块，具体用于：

根据所述消息头的内容，获取对应类型或者路径下的日志。

可选地，所述装置还包括：处理模块，用于若所述消息头是实时类型的消息，需将通信协议中的时间间隔指定为目标更新时间；

所述发送模块，具体用于：

若所述消息头是实时类型的消息，则采集到日志后，根据所需的数据类型，将相应的数据传输发送给client端。

可选地，所述装置还包括：

退出模块，用于若所述服务器判断不是所述交互命令的结束命令，则退出采集数据的流程。

本发明实施例的有益效果为：可以准确的展示集群数据量统计信息和数据集统计数据，并且可以对各集群运行情况、处理速度和硬件资源占用情况进行实时监控。作为数据中心平台必不可少的辅助监测工具，不仅能为运维人员提供高效、可靠的数据反馈，减少集群发生问题时的故障排除时间，且为以后运维功能的逐渐完善打造了一个良好的基础。

附图说明

图1是本发明实施例提供的一种采集数据的方法的流程示意图；

图2是本发明实施例提供的一种采集数据的方法的交互流程示意图；

图3是本发明实施例提供的一种采集数据的装置的功能模块示意图。

具体实施方式

下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明实施例，而非对本发明实施例的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明实施例相关的部分而非全部结构。

参考图1，图1是本发明实施例提供的一种采集数据的方法的流程示意图。如图1所示，所述采集数据的方法包括：

步骤110，服务器接收客户端发送的交互命令；

步骤120，所述服务器判断是否是所述交互命令的结束命令；

步骤130，若所述服务器判断是所述交互命令的结束命令，则所述服务器根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。

第一种方式：所述方法还包括：

当所述客户端发起所述交互命令时，所述客户端根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头。

所述服务器与所述客户端交互、发送日志，包括：

所述服务器根据所述消息头的内容，所述服务器获取对应类型或者路径下的日志。

第二种方式：所述方法还包括：

若所述消息头是实时类型的消息，所述客户端需将通信协议中的时间间隔指定为目标更新时间。

所述服务器与所述客户端交互、发送日志，包括：

若所述消息头是实时类型的消息，则所述服务器采集到日志后，根据所需的数据类型，将相应的数据传输发送给client端。

可选地，所述方法还包括：

若所述服务器判断不是所述交互命令的结束命令，则所述服务器退出采集数据的流程。

示例性的，当程序启动后会读取并保存配置文件中的相关信息，当client发起获取数据时，根据保存的配置文件中相关的serverip、采集日志类型、日志路径来创建对server端的连接，并根据这些信息组织通信协议的消息头，如果是实时类型的消息，还需将通信协议中的时间间隔指定为目标更新时间；server端根据接收到的通信协议消息头中的内容，去获取相应类型、相应路径下的日志。如果是实时日志就取相应时间段内的日志，如果是前一天类型日志就取其一天的日志，server端采集到日志后，根据所需的数据类型，将相应的数据通过数据传输发送给client端。

示例性的，如图2所示，步骤210，服务器接收客户端发送的交互命令；

步骤220，服务器判断是否是交互命令的接收命令；

步骤230，若否，则服务器根据接收到的客户端发送的协议头中的日志类型、日志路径等信息，与客户端开始交互、发送日志；

步骤240，若是，则退出。

本发明实施例的有益效果为：可以准确的展示集群数据量统计信息和数据集统计数据，并且可以对各集群运行情况、处理速度和硬件资源占用情况进行实时监控。作为数据中心平台必不可少的辅助监测工具，不仅能为运维人员提供高效、可靠的数据反馈，减少集群发生问题时的故障排除时间，且为以后运维功能的逐渐完善打造了一个良好的基础。

参考图3，图3是本发明实施例提供的一种采集数据的装置的功能模块示意图。如图3所示，所述采集数据的装置包括：

接收模块310，用于接收客户端发送的交互命令；

判断模块320，用于判断是否是所述交互命令的结束命令；

发送模块330，用于若所述服务器判断是所述交互命令的结束命令，则根据所述客户端发送的通信协议头中的日志类型和日志路径，与所述客户端交互、发送日志。

第一种方式：所述装置还包括：

创建模块，用于当所述客户端发起所述交互命令时，根据预设信息中的服务器标识、日志类型、日志路径创建对所述客户端的连接，并根据所述预设信息组织通信协议的消息头；

所述发送模块330，具体用于：

根据所述消息头的内容，获取对应类型或者路径下的日志。

第二种方式：所述装置还包括：处理模块，用于若所述消息头是实时类型的消息，需将通信协议中的时间间隔指定为目标更新时间；

所述发送模块330，具体用于：

若所述消息头是实时类型的消息，则采集到日志后，根据所需的数据类型，将相应的数据传输发送给client端。

可选地，所述装置还包括：

退出模块，用于若所述服务器判断不是所述交互命令的结束命令，则退出采集数据的流程。

以上结合具体实施例描述了本发明实施例的技术原理。这些描述只是为了解释本发明实施例的原理，而不能以任何方式解释为对本发明实施例保护范围的限制。基于此处的解释，本领域的技术人员不需要付出创造性的劳动即可联想到本发明实施例的其它具体实施方式，这些方式都将落入本发明实施例的保护范围之内。