多服务器分布式数据处理方法、服务器及系统的制作方法

文档序号:7954434阅读:139来源:国知局
专利名称:多服务器分布式数据处理方法、服务器及系统的制作方法
技术领域
本发明涉及数据处理技术领域,具体涉及一种多服务器分布式数据处理方法、服务器及系统。
背景技术
数据提取、转换和加载(ETL,Extraction-Transformation-Loading)作为商业智能(Bi,Business Intelligence)和数据仓库(Dff,Data Warehouse)的核心和灵魂,按照统一的规则集成并提高数据的价值,负责完成数据从数据源向目标数据仓库转化的过程,是实施数据仓库的重要步骤。如果说数据仓库的模型设计是一座大厦的设计蓝图,数据是砖瓦的话,那么ETL就是建设大厦的过程。
数据ETL —般应用在局域网内,将数据源的数据经过抽取、转换、清洗后,装载到数据仓库中,本发明的发明人发现,数据ETL之所以能应用在局域网中,是因为通常局域网内的网络环境和网络质量较好,数据源相对固定。针对网络游戏(WebGame)这种数据量巨大,游戏服务器遍布世界各地,网络环境复杂,网络质量参差不齐,尤其是数据源不稳定的分布式数据采用上述ETL方法进行处理,就不能适应WebGame的现状。发明内容
本发明实施例提供一种多服务器分布式数据处理方法,可以实现动态添加数据源,并且能适应各种网络。本发明实施例还提供了相应的服务器及系统。
一种多服务器分布式数据处理方法,包括
中心服务器读取到远程代理服务器信息及所述远程代理服务器的数据抽取任务信息和数据合并任务信息后,发送所述数据抽取任务信息给所述远程代理服务器,使所述远程代理服务器抽取所述数据抽取任务信息中要求的数据,并返回压缩加密后的数据,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址;
接收所述压缩加密后的数据,并解压缩所述压缩加密后的数据;
根据所述数据合并任务信息,将解压缩后的数据合并装载到数据仓库中。
一种多服务器分布式数据处理方法,包括
远程代理服务器接收数据抽取任务信息,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址;
根据所述数据库服务器地址与所述数据库服务器建立连接;
从所述数据库服务器中抽取所述数据抽取任务信息中要求的数据;
对所述抽取到的数据压缩并加密处理;
发送所述压缩加密后的数据给中心服务器。
一种中心服务器,包括
发送单元,用于在读取到远程代理服务器信息及所述远程代理服务器的数据抽取任务信息和数据合并任务信息后,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址,发送所述数据抽取任务信息给所述远程代理服务器,使所述远程代理服务器抽取所述数据抽取任务信息中要求的数据,并返回压缩加密后的数据;
接收单元,用于接收所述压缩加密后的数据;
解压缩处理单元,用于在所述接收单元接收到压缩加密后的数据后,解压缩所述压缩加密后的数据;
合并装载单元,用于根据所述数据合并任务信息,将所述解压缩处理单元解压缩后的数据合并装载到数据仓库中。
一种远程代理服务器,包括
接收单元,用于接收数据抽取任务信息,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址;
建立单元,用于根据所述接收单元接收到的所述数据库服务器地址与所述数据库服务器建立连接;
数据抽取单元,用于在所述建立单元与所述数据库服务器建立连接后,从所述数据库服务器中抽取所述数据抽取任务信息中要求的数据;
压缩加密处理单元,用于对所述数据抽取单元抽取到的数据压缩并加密处理;
发送单元,用于在所述压缩加密处理单元压缩并加密所述抽取到的数据后,发送所述压缩加密后的数据给中心服务器。
一种多服务器分布式数据处理系统,包括
中心服务器,远程代理服务器和数据库服务器,所述远程代理服务器有多个,所述中心服务器与每个远程代理服务器间的数据交互互不关联;
中心服务器读取到远程代理服务器信息及所述远程代理服务器的数据抽取任务信息和数据合并任务信息后,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址,发送所述数据抽取任务信息给所述远程代理服务器;
远程代理服务器接收所述数据抽取任务信息,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址,根据所述数据库服务器地址与所述数据库服务器建立连接,从所述数据库服务器中抽取所述数据抽取任务信息中要求的数据,对所述抽取到的数据压缩并加密处理,发送所述压缩加密后的数据给中心服务器;
所述中心服务器接收所述压缩加密后的数据,并解压缩所述压缩加密后的数据, 根据所述数据合并任务信息,将解压缩后的数据合并装载到数据仓库中。
本发明实施例提供的多服务器分布式数据处理方法,采用中心服务器读取到远程代理服务器信息及所述远程代理服务器的数据抽取任务信息和数据合并任务信息后,发送所述数据抽取任务信息给所述远程代理服务器,使所述远程代理服务器抽取所述数据抽取任务信息中要求的数据,并返回压缩加密后的数据,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址,接收所述压缩加密后的数据,并解压缩所述压缩加密后的数据,根据所述数据合并任务信息,将解压缩后的数据合并装载到数据仓库中。与现有技术相比,本发明实施例提供的多服务器分布式数据处理方法,可以实现动态添加数据源, 并且能适应各种网络环境和网络质量。
说明书附图


图1是本发明实施例中分布式数据处理方法的一实施例示意图2是本发明实施例中分布式数据处理方法的另一实施例示意图3是本发明实施例中中央服务器与远程代理服务器一实施例示意图4是本发明实施例中中央服务器与远程代理服务器另一实施例示意图5是本发明实施例中分布式数据处理系统一实施例示意图。
具体实施方式
本发明实施例提供一种多服务器分布式数据处理方法,可以实现动态添加数据源,并且能适应各种网络。本发明实施例还提供了相应的服务器及系统。以下分别进行详细说明。
参阅图1,从中心服务器的角度出发,本发明实施例提供的多服务器分布式数据处理方法包括
101、中心服务器读取到远程代理服务器信息及所述远程代理服务器的数据抽取任务信息和数据合并任务信息后,发送所述数据抽取任务信息给所述远程代理服务器。
中心服务器读取用户配置的任务信息,找到远程代理服务器信息及任务信息,所述任务信息包括所述数据抽取任务信息和所述数据合并任务信息,中心服务器将所述数据取任务信息发送给所述远程代理服务器,使所述远程代理服务器抽取所述数据抽取任务信息中要求的数据,并返回压缩加密后的数据,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址。
102、接收所述压缩加密后的数据,并解压缩所述压缩加密后的数据。
103、根据所述数据合并任务信息,将解压缩后的数据合并装载到数据仓库中。
压缩加密后的数据解压缩后,按照数据合并任务信息,将解压缩后的数据合并装载到数据仓库中,实现从数据源到数据仓库的转移。
本发明实施例中,采用中心服务器读取到远程代理服务器信息及所述远程代理服务器的数据抽取任务信息和数据合并任务信息后,发送所述数据抽取任务信息给所述远程代理服务器,使所述远程代理服务器抽取所述数据抽取任务信息中要求的数据,并返回压缩加密后的数据,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址,接收所述压缩加密后的数据,并解压缩所述压缩加密后的数据,根据所述数据合并任务信息,将解压缩后的数据合并装载到数据仓库中。与现有技术相比,本发明实施例提供的多服务器分布式数据处理方法,可以实现动态添加数据源,并且能适应各种网络环境和网络质量。
可选地,在上述图1对应的实施例的基础上,在步骤101之前还可以包括接收用户配置的远程代理服务器信息和任务信息,所述任务信息包括所述数据抽取任务信息,所述数据合并任务信息和任务执行时间信息。
可选地,在上述实施例的基础上,在步骤103之后还可以包括更新所述任务执行时间信息。
参阅图2,从远程代理服务器角度出发,本发明实施例提供的多服务器分布式数据处理方法包括
201、远程代理服务器接收数据抽取任务信息,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址。
202、根据所述数据库服务器地址与所述数据库服务器建立连接。
远程代理服务器通过代理程序与数据库服务器建立连接。
203、从所述数据库服务器中抽取所述数据抽取任务信息中要求的数据;
204、对所述抽取到的数据压缩并加密处理;
205、发送所述压缩加密后的数据给中心服务器。
本发明实施例中,远程代理服务器接收数据抽取任务信息,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址,根据所述数据库服务器地址与所述数据库服务器建立连接,从所述数据库服务器中抽取所述数据抽取任务信息中要求的数据, 对所述抽取到的数据压缩并加密处理,发送所述压缩加密后的数据给中心服务器。与现有技术相比,本发明实施例提供的多服务器分布式数据处理方法,可以实现动态添加数据源, 并且能适应各种网络环境和网络质量。
可选地,在上述图2对应的实施例的基础上,在步骤204之前还可以包括转换并清洗所述抽取到的数据。
可选地,在上述实施例的基础上,在步骤203的同时还包括标记数据抽取位置。
参阅图3,本发明中心服务器和远程代理服务器的一实施例包括中心服务器30 和远程代理服务器40,所述中心服务器30包括
发送单元301,用于在读取到远程代理服务器信息及所述远程代理服务器的数据抽取任务信息和数据合并任务信息后,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址,发送所述数据抽取任务信息给所述远程代理服务器,使所述远程代理服务器抽取所述数据抽取任务信息中要求的数据,并返回压缩加密后的数据;
接收单元302,用于接收所述压缩加密后的数据;
解压缩处理单元303,用于在所述接收单元302接收到压缩加密后的数据后,解压缩所述压缩加密后的数据;
合并装载单元304,用于根据所述数据合并任务信息,将所述解压缩处理单元303 解压缩后的数据合并装载到数据仓库中。
所述远程代理服务器40包括
接收单元401,用于接收数据抽取任务信息,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址;
建立单元402,用于根据所述接收单元401接收到的所述数据库服务器地址与所述数据库服务器建立连接;
数据抽取单元403,用于在所述建立单元402与所述数据库服务器建立连接后,从所述数据库服务器中抽取所述数据抽取任务信息中要求的数据;
压缩加密处理单元404,用于对所述数据抽取单元403抽取到的数据压缩并加密处理;
发送单元405,用于在所述压缩加密处理单元404压缩并加密所述抽取到的数据后,发送所述压缩加密后的数据给中心服务器。
本发明实施例中,中心服务器30的发送单元301发送所述数据抽取任务信息给所述远程代理服务器40的接收单元401,建立单元402在所述接收单元401接收到的所述数据库服务器地址与所述数据库服务器50建立连接,数据抽取单元403在所述建立单元402与所述数据库服务器建立连接后,从所述数据库服务器中抽取所述数据抽取任务信息中要求的数据,压缩加密处理单元404对所述数据抽取单元403抽取到的数据压缩并加密处理, 发送单元405发送所述压缩加密后的数据给中心服务器30的接收单元302,解压缩处理单元303在所述接收单元302接收到压缩加密后的数据后,解压缩所述压缩加密后的数据,合并装载单元304,根据所述数据合并任务信息,将所述解压缩处理单元303解压缩后的数据合并装载到数据仓库中。本发明实施例所提供的中心服务器和远程代理服务器可以实现动态添加数据源,并且能适应各种网络环境和网络质量。
参阅图4,可选地,在上述实施例的基础上,中心服务器30还可以包括
所述接收单元302,还用于接收用户配置的远程代理服务器信息和所述远程代理服务器的任务信息,所述任务信息包括所述数据抽取任务信息,所述数据合并任务信息和任务执行时间信息。
更新单元305,用于在所述合并装载单元将解压缩后的数据合并装载到数据仓库中后,更新所述任务执行时间信息。
远程代理服务器40还可以包括
转换清洗处理单元406,用于在所述压缩加密处理单元压缩并加密所述抽取到的数据之前转换并清洗所述抽取到的数据。
数据标记单元407,用于在所述数据抽取单元403抽取数据时,标记数据抽取位置。
本发明实施例中,数据标记单元407在所述数据抽取单元403抽取数据时,标记数据抽取位置。在发生网络故障后,数据抽取单元403可以自上次抽取数据的位置继续处理, 降低了网络异常带来的影响。
参阅图5,本发明实施例提供的多服务器分布式数据处理系统包括
中心服务器30,远程代理服务器40和数据库服务器50,所述远程代理服务器有4 个,所述中心服务器30与每个远程代理服务器40间的数据交互互不关联;
中心服务器30读取到远程代理服务器信息及所述远程代理服务器的数据抽取任务信息和数据合并任务信息后,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址,发送所述数据抽取任务信息给所述远程代理服务器;
远程代理服务器40接收所述数据抽取任务信息,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址,根据所述数据库服务器地址与所述数据库服务器建立连接,从所述数据库服务器中抽取所述数据抽取任务信息中要求的数据,对所述抽取到的数据压缩并加密处理,发送所述压缩加密后的数据给中心服务器。
所述中心服务器30接收所述压缩加密后的数据,并解压缩所述压缩加密后的数据,根据所述数据合并任务信息,将解压缩后的数据合并装载到数据仓库中。
本发明实施例提供的多服务器分布式数据处理系统在远程代理服务器上对抽取的数据进行压缩加密,再将压缩加密后的数据传输给中心服务器,保证了数据的网络安全, 另一方面,中心服务器根据用户配置信息执行任务,当有新的数据源加入或有旧的数据源减少时,中心服务器通过信息读取就可以发现,从而实现了动态添加数据源。而且中心服务器与任意一个远程代理服务器间的数据交互互不关联,当有一个远程代理服务器出现问题后,不会影响其他服务器,而且这种数据交互方式可以使多个远程代理服务同时与中心服务器进行数据交互,加快了数据交互速度,提高了系统性能。
本发明实施例中只给出了 4个远程代理服务器40,实际上远程代理服务器可以有多个,本发明对远程代理服务器的数量不做限制。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件完成,该程序可以存储于一种计算机可读存储介质中,上述提到的存储介质可以是只读存储器,磁盘或光盘等。
以上对本发明所提供的多服务器分布式数据处理方法、服务器及系统进行了详细介绍,对于本领域的一般技术人员,依据本发明实施例的思想,在具体实施方式
及应用范围上均会有改变之处,因此,本说明书内容不应理解为对本发明的限制。
权利要求
1.一种多服务器分布式数据处理方法,其特征在于,包括中心服务器读取到远程代理服务器信息及所述远程代理服务器的数据抽取任务信息和数据合并任务信息后,发送所述数据抽取任务信息给所述远程代理服务器,使所述远程代理服务器抽取所述数据抽取任务信息中要求的数据,并返回压缩加密后的数据,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址; 接收所述压缩加密后的数据,并解压缩所述压缩加密后的数据; 根据所述数据合并任务信息,将解压缩后的数据合并装载到数据仓库中。
2.根据权利要求1所述的多服务器分布式数据处理方法,其特征在于,还包括接收用户配置的远程代理服务器信息和任务信息,所述任务信息包括所述数据抽取任务信息,所述数据合并任务信息和任务执行时间信息。
3.根据权利要求2所述的多服务器分布式数据处理方法,其特征在于,在所述将解压缩后的数据合并装载到数据仓库中后还包括更新所述任务执行时间信息。
4.一种多服务器分布式数据处理方法,其特征在于,包括远程代理服务器接收数据抽取任务信息,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址;根据所述数据库服务器地址与所述数据库服务器建立连接; 从所述数据库服务器中抽取所述数据抽取任务信息中要求的数据; 对所述抽取到的数据压缩并加密处理; 发送所述压缩加密后的数据给中心服务器。
5.根据权利要求4所述的多服务器分布式数据处理方法,其特征在于,在所述对所述抽取到的数据压缩并加密处理之前还包括转换并清洗所述抽取到的数据。
6.根据权利要求4或5所述的多服务器分布式数据处理方法,其特征在于,在抽取数据时还包括标记数据抽取位置。
7.—种中心服务器,其特征在于,包括发送单元,用于在读取到远程代理服务器信息及所述远程代理服务器的数据抽取任务信息和数据合并任务信息后,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址,发送所述数据抽取任务信息给所述远程代理服务器,使所述远程代理服务器抽取所述数据抽取任务信息中要求的数据,并返回压缩加密后的数据; 接收单元,用于接收所述压缩加密后的数据;解压缩处理单元,用于在所述接收单元接收到压缩加密后的数据后,解压缩所述压缩加密后的数据;合并装载单元,用于根据所述数据合并任务信息,将所述解压缩处理单元解压缩后的数据合并装载到数据仓库中。
8.根据权利要求7所述的中心服务器,其特征在于,还包括所述接收单元,还用于接收用户配置的远程代理服务器信息和所述远程代理服务器的任务信息,所述任务信息包括所述数据抽取任务信息,所述数据合并任务信息和任务执行时间信息。
9.根据权利要求8所述的中心服务器,其特征在于,还包括更新单元,用于在所述合并装载单元将解压缩后的数据合并装载到数据仓库中后,更新所述任务执行时间信息。
10.一种远程代理服务器,其特征在于,包括接收单元,用于接收数据抽取任务信息,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址;建立单元,用于根据所述接收单元接收到的所述数据库服务器地址与所述数据库服务器建立连接;数据抽取单元,用于在所述建立单元与所述数据库服务器建立连接后,从所述数据库服务器中抽取所述数据抽取任务信息中要求的数据;压缩加密处理单元,用于对所述数据抽取单元抽取到的数据压缩并加密处理; 发送单元,用于在所述压缩加密处理单元压缩并加密所述抽取到的数据后,发送所述压缩加密后的数据给中心服务器。
11.根据权利要求10所述的远程代理服务器,其特征在于,还包括转换清洗处理单元,用于在所述压缩加密处理单元压缩并加密所述抽取到的数据之前转换并清洗所述抽取到的数据。
12.根据权利要求10或11所述的远程代理服务器,其特征在于,还包括 数据标记单元,用于在所述数据抽取单元抽取数据时,标记数据抽取位置。
13.一种多服务器分布式数据处理系统,其特征在于,包括中心服务器,远程代理服务器和数据库服务器,所述远程代理服务器有多个,所述中心服务器与每个远程代理服务器间的数据交互互不关联;中心服务器读取到远程代理服务器信息及所述远程代理服务器的数据抽取任务信息和数据合并任务信息后,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址,发送所述数据抽取任务信息给所述远程代理服务器;远程代理服务器接收所述数据抽取任务信息,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址,根据所述数据库服务器地址与所述数据库服务器建立连接,从所述数据库服务器中抽取所述数据抽取任务信息中要求的数据,对所述抽取到的数据压缩并加密处理,发送所述压缩加密后的数据给中心服务器;所述中心服务器接收所述压缩加密后的数据,并解压缩所述压缩加密后的数据,根据所述数据合并任务信息,将解压缩后的数据合并装载到数据仓库中。
全文摘要
本发明公开了一种多服务器分布式数据处理方法,中心服务器读取到远程代理服务器信息及所述远程代理服务器的数据抽取任务信息和数据合并任务信息后,发送所述数据抽取任务信息给所述远程代理服务器,使所述远程代理服务器抽取所述数据抽取任务信息中要求的数据,并返回压缩加密后的数据,所述数据抽取任务信息中携带要求抽取的数据所在的数据库服务器地址,接收所述压缩加密后的数据,并解压缩所述压缩加密后的数据,根据所述数据合并任务信息,将解压缩后的数据合并装载到数据仓库中。本发明实施例提供的多服务器分布式数据处理方法,可以实现动态添加数据源,并且能适应各种网络环境和网络质量。
文档编号H04L29/06GK102497353SQ20111033469
公开日2012年6月13日 申请日期2011年10月28日 优先权日2011年10月28日
发明者彭大力, 龙春燕 申请人:深圳第七大道科技有限公司
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1