一种传输数据的方法以及装置与流程

文档序号:14011568阅读:123来源:国知局

本发明实施例涉及数据传输的技术领域,尤其涉及一种传输数据的方法以及装置。



背景技术:

在大数据产品运维日常工作中,经常会出现数据异常的情况,在分析这些异常原因时,发现数据会在很多环节出错,比如ycl、kafka、storm、solr、hadoop等。而定位这些原因往往会花费开发人员很大的精力,有时甚至会出现查找一个原因团队所有人都出动的情况。通过逐项排查各节点查找数据异常的方法越来越困难,效率也很低。



技术实现要素:

本发明实施例的目的在于提出一种传输数据的方法以及装置,旨在解决需要开发出一套高效、可靠、具有整合性的运维产品。

为达此目的,本发明实施例采用以下技术方案:

第一方面,一种传输数据的方法,所述方法包括:

客户端根据已保存的配置信息,逐个使用配置信息中的标识创建套接字,链接服务器;以使得所述服务器根据通信协议中的消息头的信息,将采集到的数据按指定长度逐条发送到所述客户端;

所述客户端将接收到的信息保存到相应日志类型命名的文件中。

可选地,所述方法还包括:

所述客户端向服务器触发交互流程;

所述客户端向所述服务器发送接收响应,所述接收响应用于通知所述服务器所述客户端已做好接收准备;

所述客户端向所述服务器发送结束响应,所述结束响应用于表示所述客户端接收完成。

第二方面,一种传输数据的方法,所述方法包括:

服务器接收客户端创建的链接,所述链接是所述客户端根据已保存的配置信息中的标识创建的;

所述服务器根据通信协议中的消息头的信息,将采集到的数据按指定长度逐条发送到所述客户端,以使得所述客户端将接收到的信息保存到相应日志类型命名的文件中。

可选地,所述方法还包括:

所述服务器向所述客户端返回响应,所述返回响应用于通知所述客户端接收日志;

所述服务器向所述客户端逐行发送日志内容;

所述服务器向所述客户端发送结束信息,所述结束信息用于表示所述服务器已完成数据发送。

可选地,所述服务器接收客户端创建的链接之前,还包括:

所述服务器接收客户端发送的交互命令;

所述服务器判断是否是所述交互命令的结束命令;

若所述服务器判断是所述交互命令的结束命令,则所述服务器根据所述客户端发送的通信协议头中的日志类型和日志路径,与所述客户端交互、发送日志。

可选地,所述服务器与所述客户端交互、发送日志,包括:

所述服务器根据所述消息头的内容,所述服务器获取对应类型或者路径下的日志。

可选地,所述服务器与所述客户端交互、发送日志,包括:

若所述消息头是实时类型的消息,则所述服务器采集到日志后,根据数据类型将相应的数据传输发送给客户端。

第三方面,一种传输数据的系统,所述系统包括:

客户端和服务器;

所述客户端,用于根据已保存的配置信息,逐个使用配置信息中的标识创建套接字,链接所述服务器;将接收到的信息保存到相应日志类型命名的文件中;

所述服务器,用于接收客户端创建的链接,所述链接是所述客户端根据已保存的配置信息中的标识创建的;根据通信协议中的消息头的信息,将采集到的数据按指定长度逐条发送到所述客户端。

可选地,所述服务器还用于:

在所述服务器接收客户端创建的链接之前,接收客户端发送的交互命令;判断是否是所述交互命令的结束命令;若所述服务器判断是所述交互命令的结束命令,则根据所述客户端发送的通信协议头中的日志类型和日志路径,与所述客户端交互、发送日志。

可选地,所述服务器还用于:

所述服务器根据所述消息头的内容,获取对应类型或者路径下的日志;

若所述消息头是实时类型的消息,则采集到日志后,根据数据类型将相应的数据传输发送给客户端。

本发明实施例的有益效果为:可以准确的展示集群数据量统计信息和数据集统计数据,并且可以对各集群运行情况、处理速度和硬件资源占用情况进行实时监控。作为数据中心平台必不可少的辅助监测工具,不仅能为运维人员提供高效、可靠的数据反馈,减少集群发生问题时的故障排除时间,且为以后运维功能的逐渐完善打造了一个良好的基础。

附图说明

图1是本发明实施例提供的一种传输数据的方法的流程示意图;

图2是本发明实施例提供的一种传输数据的方法的流程示意图;

图3是本发明实施例提供的一种传输数据的方法的流程示意图;

图4是本发明实施例提供的一种传输数据的系统的结构示意图。

具体实施方式

下面结合附图和实施例对本发明实施例作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明实施例,而非对本发明实施例的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明实施例相关的部分而非全部结构。

参考图1,图1是本发明实施例提供的一种传输数据的方法的流程示意图。如图1所示,所述传输数据的方法包括:

步骤110,客户端根据已保存的配置信息,逐个使用配置信息中的标识创建套接字,链接服务器;以使得所述服务器根据通信协议中的消息头的信息,将采集到的数据按指定长度逐条发送到所述客户端;

步骤120,所述客户端将接收到的信息保存到相应日志类型命名的文件中。

可选地,所述方法还包括:

所述客户端向服务器触发交互流程;

所述客户端向所述服务器发送接收响应,所述接收响应用于通知所述服务器所述客户端已做好接收准备;

所述客户端向所述服务器发送结束响应,所述结束响应用于表示所述客户端接收完成。

示例性的,本产品采用tcpc/s传输模型,client端根据已保存的配置信息,逐个使用配置信息中的ip去创建套接字,链接server端;server端根据通信协议消息头中的信息,将采集到的数据按指定长度逐条发送到client端,client将接收到的信息保存到相应日志类型命名的文件中。

示例性的,如图2所示,步骤210,客户端(client)向服务端(server端)发送type_need_log请求,触发交互流程;

步骤220,服务端向客户端发送type_file_start,表示服务端将要开始发送日志;

步骤230,客户端向服务端发送type_ack_file_start,表示客户端做好接收准备;

步骤240,服务端向客户端逐行发送日志内容;

步骤250,服务端向客户端发送type_file_end,表示服务端日志已发送完成;

步骤260,客户端向服务端发送type_ack_file_end,表示客户端接收完成。

本发明实施例的有益效果为:可以准确的展示集群数据量统计信息和数据集统计数据,并且可以对各集群运行情况、处理速度和硬件资源占用情况进行实时监控。作为数据中心平台必不可少的辅助监测工具,不仅能为运维人员提供高效、可靠的数据反馈,减少集群发生问题时的故障排除时间,且为以后运维功能的逐渐完善打造了一个良好的基础。

参考图3,图3是本发明实施例提供的一种传输数据的方法的流程示意图。如图3所示,所述传输数据的方法包括:

步骤310,服务器接收客户端创建的链接,所述链接是所述客户端根据已保存的配置信息中的标识创建的;

步骤320,所述服务器根据通信协议中的消息头的信息,将采集到的数据按指定长度逐条发送到所述客户端,以使得所述客户端将接收到的信息保存到相应日志类型命名的文件中。

可选地,所述方法还包括:

所述服务器向所述客户端返回响应,所述返回响应用于通知所述客户端接收日志;

所述服务器向所述客户端逐行发送日志内容;

所述服务器向所述客户端发送结束信息,所述结束信息用于表示所述服务器已完成数据发送。

可选地,所述服务器接收客户端创建的链接之前,还包括:

所述服务器接收客户端发送的交互命令;

所述服务器判断是否是所述交互命令的结束命令;

若所述服务器判断是所述交互命令的结束命令,则所述服务器根据所述客户端发送的通信协议头中的日志类型和日志路径,与所述客户端交互、发送日志。

可选地,所述服务器与所述客户端交互、发送日志,包括:

所述服务器根据所述消息头的内容,所述服务器获取对应类型或者路径下的日志。

可选地,所述服务器与所述客户端交互、发送日志,包括:

若所述消息头是实时类型的消息,则所述服务器采集到日志后,根据数据类型将相应的数据传输发送给客户端。

参考图4,图4是本发明实施例提供的一种传输数据的系统的结构示意图。如图4所示,所述系统包括:

客户端410和服务器420;

所述客户端410,用于根据已保存的配置信息,逐个使用配置信息中的标识创建套接字,链接所述服务器;将接收到的信息保存到相应日志类型命名的文件中;

所述服务器420,用于接收客户端创建的链接,所述链接是所述客户端根据已保存的配置信息中的标识创建的;根据通信协议中的消息头的信息,将采集到的数据按指定长度逐条发送到所述客户端。

可选地,所述服务器420还用于:

在所述服务器接收客户端创建的链接之前,接收客户端发送的交互命令;判断是否是所述交互命令的结束命令;若所述服务器判断是所述交互命令的结束命令,则根据所述客户端发送的通信协议头中的日志类型和日志路径,与所述客户端交互、发送日志。

可选地,所述服务器420还用于:

所述服务器根据所述消息头的内容,获取对应类型或者路径下的日志;

若所述消息头是实时类型的消息,则采集到日志后,根据数据类型将相应的数据传输发送给客户端。

以上结合具体实施例描述了本发明实施例的技术原理。这些描述只是为了解释本发明实施例的原理,而不能以任何方式解释为对本发明实施例保护范围的限制。基于此处的解释,本领域的技术人员不需要付出创造性的劳动即可联想到本发明实施例的其它具体实施方式,这些方式都将落入本发明实施例的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1