一种据点运营同步管理系统及方法_2

文档序号:9581866阅读:来源:国知局
连接第一服务器1,提供一第二临时表组和一历史表组,第二服 务器2用于W第二预设周期接收第一服务器1发送的文件,对文件进行处理W导入第二临 时表组中,并将第二临时表组中的原始数据导入历史表组中,根据原始数据生成同步日志 信息并存储。 W例进一步地,第一服务器1为据点服务器,第二服务器2为运营管理服务器,第一预 设周期和第二预设周期可W相同均为一天。
[0050] 在本实施例中,据点运营同步管理系统可定时同步第一服务器I与第二服务器2 中的数据内容,W方便数据的查找等操作,采用的增量同步方式可W大大缩小第一服务器1 提供的文件的大小,进而缩短同步脚本的执行时间,同时也降低了文件在网络不稳定情况 下上传失败需重传的概率。第二服务器2可W满足管理系统中各项数据统计功能W及对据 点相关业务处理功能所设及的数据的查询、修改等操作,方便管理系统业务功能的扩展。
[0051] 在优选的实施例中,原始数据包括四个信息类别分别为:用户行为信息、用户举报 处理信息、审核信息和系统参数配置信息,每一信息类别对应第一临时表组中的一第一临 时表、第二临时表组中的一第二临时表和历史表组中的一历史表。
[0052] 在本实施例中,第二服务器2可同步存储第一服务器1采集到的用户行为信息、用 户举报处理信息、审核信息和系统参数配置信息。用户行为信息可包括客户端的活跃用户 (日活、月活)、新增用户、留存用户、在线用户等,W及对据点客户端业务相关的用户行为 的统计,如用户互动频率统计(收藏、喜欢)等,用于将存储在据点服务器中相关统计项的 数据同步到运营管理服务器并进行处理后得到的。运营管理服务器还可W满足据点运营同 步管理系统中设及到与据点相关的业务功能处理的数据存储,例如用户举报的处理。
[0053] 在优选的实施例中,第一服务器1包括:
[0054] 一采集单元11,用于W第一预设周期采集复数个客户端的原始数据; 阳化5] -第一存储单元12,用W存储第一临时表组;
[0056] 一第一识别单元14,分别连接采集单元11和第一存储单元12,用W识别原始数据 对应的信息类别,W将原始数据存储于与相应的信息类别对应的第一临时表中;
[0057] 一第一处理单元13,连接第一存储单元12,用W分别对每一个第一临时表中的原 始数据进行处理W形成预设格式的文件,并清空第一临时表中的原始数据;
[0058] 一上传单元15,连接第一处理单元13,用W将文件发送至第二服务器2。
[0059] 第一服务器1用于将原始数据存储于第一临时表组中的原始数据采用insed语 句组织成对应的结构化查询语言W存入预设格式的文件中。
[0060] 进一步地,预设格式的文件为结构化查询语言(Struc化red如eryLanguage, sql)文件。
[0061] 在本实施例中,据点服务器每天定时将运营管理服务器需要的数据W增量同步的 方式从据点服务器的第一存储单元12中提取出来,并组织成对应的sql语句存于.sql文 件中,W发送至运营管理服务器。
[0062] 在优选的实施例中,第二服务器2包括:
[0063] 一同步单元21,用于W第二预设周期同步接收第一服务器1发送的文件;
[0064] 一第二存储单元22,用W存储第二临时表组和历史表组;
[00化]一第二识别单元23,分别连接同步单元21和第二存储单元22,用W识别文件中的 原始数据对应的信息类别,并将原始数据存储于与相应的信息类别对应的第二临时表中;
[0066] 一第二处理单元24,连接第二存储单元22,用W过滤掉第二临时表中的无用信 息,并将第二临时表中的原始数据存储于与原始数据信息类别对应的历史表,根据原始数 据生成同步日志信息并存储。
[0067] 在本实施例中,定时增量同步时将同步时间和同步结果记录在日志文件中可W便 于观察数据同步情况,在出现统计数据与据点服务器记录的数据不一致时也方便定位。
[0068] 增量同步的具体过程为:运营管理服务器调用file_get_contents函数读取据点 服务器上传到运营管理服务器上的增量生成的.sql文件,并使用化reach函数循环遍原始 数据中各条记录的insed语句,然后调用mysql_que巧函数执行,将对应的数据被插入到 insert语句所指定的第二临时表中。在.sql文件遍历完后,对第二临时表同步过来的数据 进行处理,并过滤掉无用信息,将处理后的记录写入各个第二临时表对应的历史表里,并清 空相应的第二临时表。
[0069] 具体地,Wuse;r_in化;rm_event是用于用户举报的第二临时表为例说明,第二临 时表与据点服务器的用于记录用户举报信息的第一临时表的表结构一致。use;r_in化;rm_ event的表结构如下:
[0070]
[0071] 与之对应的举报的历史表的in化;rm_in化结构的如下:
[0072]
[0073] 历史表in化rm_in化用于存储统计数据和业务处理的数据,其中前面几项数据类 型与临时表保持一致,去掉了borad_id,informedjiame运两个无关字段,最后一项status 是用于处理用户举报业务时存储举报处理状态的。历史表中的数据是在数据同步时根据第 二临时表use;r_in化;rm_event中同步过来的数据进行处理并过滤掉无关记录后得到的。运 营管理服务器可直接操作历史表。
[0074] 在优选的实施例中,同步单元21义用AJAX(Async虹onousJavascriptAndXML) 机制同步接收第一服务器I发送的文件。
[00巧]运营管理服务器的语言是采用PHP编写的,PHP只能被用户触发,被调用,调用后 会自动退出内存,没有常驻内存,就没有办法准确的定时处理,PHP定时执行任务一般是通 过添加视窗操作系统(WINDOW巧任务计划或LINUX的化ontab工具设置周期性被执行的指 令来实现的。运两种定时执行任务的实现方法均与操作系统有关,不利于系统的跨平台性。 在本实施例中采用化vaScript的setinterval函数来定时异步运行数据同步脚本(即执 行PHP同步脚本),并记录数据同步日志信息,可支持跨平台使用。
[0076] 本实施例采用JavaScript定时加AJAX机制,JavaScript中的setinterval函数 可按照指定的周期(W毫秒计)来调用函数或计算表达式,函数中也采用化vaScript语 句。AJAX是与服务器交换数据并更新部分网页的艺术,可W执行PHP脚本。
[0077] 一种据点运营同步管理的方法,应用如上述的据点运营同步管理系统,包括下述 步骤:
[0078] SI.第一服务器1W第一预设周期采集复数个客户端的原始数据,将原始数据存 储于第一临时表组中,并对原始数据进行处理W形成预设格式的文件并输出;
[00巧]S2.第二服务器2W第二预设周期接收第一服务器1发送的文件,对文件进行处理W导入第二临时表组中,并将第二临时表组中的原始数据导入历史表组中,根据原始数据 生成同步日志信息并存储。
[0080] 在本实施例中,据点运营同步管理的方法采用的同步方式可W大大缩小第一服务 器1提供的文件的大小,进而缩短同步脚本的执行时间,并方便数据的查找等操作,减轻了 第一服务器的压力。
[0081] 在优选的实施例中,原始数据包括四个信息类别分别为:用户行为信息、用户举报 处理信息、审核信息和系统参数配置信息,每一信息类别对应第一临时表组中的一第一临 时表、第二临时表组中的一第二临时表和历史表组中的一历史表。 阳0間如图2所示,在优选的实施例中,步骤Sl包括:
[0083] S11.第一服务器W第一预设周期采集复数个客户端的原始数据;
[0084] S12.第一服务器识别原始数据对应的信息类别,W将原始数据存储于与相应的信 息类别对应的第一临时表中;
[00化]S13.第一服务器分别对每一个第一临时表中的原始数据进行处理W形成预设格 式的文件,并清空第一临时表中的原始数据;
[0086] S14.第一服务器将文件发送至第二服务器。
[0087] 进一步地,第一服务器为据点服务器,第二服务器为运营管理服务器;预设格式的 文件为结构化查询语言(Sl::ruc1:ured如eryLangu
当前第2页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1