利用html脚本解析的异构系统间多层级数据同步方法及系统的制作方法
【专利摘要】一种利用HTML脚本解析的异构系统间多层级数据同步方法及系统，其特征是所述的方法包括后台程序模拟用户登录，通过指定URL页面发送请求；接收页面发送的URL请求；解析URL，抽取数据；判断当前页面是否有更新；查询数据存储服务器，判断步骤103所述目标数据是否有更新，如果有更新，执行步骤106；否则，执行步骤105；忽略本次URL请求；对所述URL请求不作处理，直接忽略，结束流程；采集网页数据并存储；采集所述URL对应的网页数据，交给数据存储服务器进行存储；判断下一层级数据；根据所述URL，判断其对应页面是否有下一层级数据链接，如果有，获取该链接URL，执行步骤101；否则，结束流程。本发明解决了跨系统数据同步共享问题，具有速度快，准确性高的优点。
【专利说明】利用HTML脚本解析的异构系统间多层级数据同步方法及系统
【技术领域】
[0001]本发明涉及一种数据解析及数据采集技术，尤其涉及一种利用HTML脚本解析的异构系统间多层级数据同步方法及系统。
【背景技术】
[0002]目前，随着信息技术的不断发展，现今各大行业企事业单位在经过多年的信息化建设，形成了基于自己公司实际情况的面向各个职能、业务部门的专业系统，而多个系统拥有相对独立的数据存储结构与方案，这对跨系统数据的共享及整合分析造成一定的难度。针对此类问题，现有解决方案通常是通过开发数据接口或生成特定的数据交换文件方式解决。此种解决方案无法脱离业务系统，需要系统开发方根据需求配合开发诸多接口，为一种双向都要开发的系统，协调工作较为繁琐。若将双向开发变为单向需求方开发，无疑将降低数据同步工作的开发难度，节约大量协调成本。
【发明内容】
[0003]本发明的目的是针对目前跨系统数据同步共享不便的问题，发明一种利用HTML脚本解析的异构系统间多层级数据同步方法，同时提供一种相匹配的系统。
[0004]本发明的技术方案之一是:
一种利用HTML脚本解析的异构系统间多层级数据同步方法，其特征是它包括以下步
骤:
步骤101:后台程序模拟用户登录，通过指定URL页面发送请求；
步骤102:接收页面发送的URL请求；
步骤103:解析URL，抽取数据；
步骤104:判断当前页面是否有更新；查询数据存储服务器，判断步骤103所述目标数据是否有更新，如果有更新，执行步骤106 ;否则，执行步骤105 ；
步骤105:忽略本次URL请求；对所述URL请求不作处理，直接忽略，结束流程；
步骤106:采集网页数据并存储；采集所述URL对应的网页数据，交给数据存储服务器进行存储；
步骤107:判断下一层级数据；根据所述URL，判断其对应页面是否有下一层级数据链接，如果有，获取该链接URL，执行步骤101 ;否则，结束流程。
[0005]所述指定URL为异构系统上某个预知的链接的URL，该URL对应网页所包含的数据即所述业务系统需要同步的数据。
[0006]所述解析URL是指生成HTML源文件，取出包含目标数据的源码块，生成DOM文档对象，解析DOM文档对象并抽取出目标数据。
[0007]本发明的技术方案之二是:
一种利用HTML脚本解析的异构系统间多层级数据同步异构系统间多层级数据同步系统，其特征是它包括数据采集服务器200和数据存储服务器300，其中数据存储服务器300用于存储数据采集服务器200所采集的数据；所述的数据采集服务器200用于采集目标网页数据，包括用于通过后台程序模拟用户登录指定URL的网页并向后台发送请求的发送请求模块201、用于接收指定URL的网页所发送的请求的接收请求模块202和用于判断指定URL的网页是否有更新，在有更新时触发采集模块的判断模块203和用于采集指定URL网页的数据的数据采集模块204。
[0008]本发明的有益效果:
本发明解决了跨系统数据同步共享问题，具有速度快，准确性高的优点。同时通过异构系统间多层级数据同步系统将数据采集服务器与数据存储服务器分离，有利于减轻自身系统的负担，提闻数据同步的效率。
【专利附图】
【附图说明】
[0009]图1为本发明同步方法的流程图。
[0010]图2为本发明同步系统的结构示意图。
【具体实施方式】
[0011]下面结合附图和实施例对本发明作进一步的说明。
[0012]实施例一。
[0013]如图1所示。
[0014]一种利用HTML脚本解析的异构系统间多层级数据同步方法包括以下步骤:
步骤101:后台程序模拟用户登录，通过指定URL页面发送请求；
所述指定URL为异构系统上某个预知的链接的URL，该URL对应网页所包含的数据即所述业务系统需要同步的数据。
[0015]步骤102:接收页面发送的URL请求；
步骤103:解析URL，抽取数据；
解析所述URL，生成HTML源文件，取出包含目标数据的源码块，生成DOM文档对象解析DOM文档对象并抽取出目标数据。
[0016]步骤104:判断当前页面是否有更新；
查询数据存储服务器，判断步骤103所述目标数据是否有更新，如果有更新，执行步骤016 ;否则，执行步骤015。
[0017]步骤105:忽略本次URL请求；
对所述URL请求不作处理，直接忽略，结束流程。
[0018]步骤106:采集网页数据并存储；
采集所述URL对应的网页数据，交给数据存储服务器进行存储。
[0019]步骤107:判断下一层级数据；
根据所述URL，判断其对应页面是否有下一层级数据链接，如果有，获取该链接URL，执行步骤101;否则，结束流程。
[0020]实施例二。
[0021]一种利用HTML脚本解析的异构系统间多层级数据同步异构系统间多层级数据同步系统，它包括数据采集服务器200和数据存储服务器300，如图2所示，其中数据存储服务器300用于存储数据采集服务器200所采集的数据；所述的数据采集服务器200用于采集目标网页数据，包括用于通过后台程序模拟用户登录指定URL的网页服务器400并向后台发送请求的发送请求模块201、用于接收指定URL的网页服务器400所发送的请求的接收请求模块202和用于判断指定URL的网页是否有更新，在有更新时触发采集模块的判断模块203和用于采集指定URL网页服务器400的数据的数据采集模块204，判断模块203与数据存储服务器300双向连接，数据采集模块204的输出接数据存储服务器300的输入。
[0022]本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。
【权利要求】
1.一种利用HTML脚本解析的异构系统间多层级数据同步方法，其特征是它包括以下步骤: 步骤101:后台程序模拟用户登录，通过指定URL页面发送请求； 步骤102:接收页面发送的URL请求； 步骤103:解析URL，抽取数据； 步骤104:判断当前页面是否有更新；查询数据存储服务器，判断步骤103所述目标数据是否有更新，如果有更新，执行步骤106 ;否则，执行步骤105 ； 步骤105:忽略本次URL请求；对所述URL请求不作处理，直接忽略，结束流程； 步骤106:采集网页数据并存储；采集所述URL对应的网页数据，交给数据存储服务器进行存储； 步骤107:判断下一层级数据；根据所述URL，判断其对应页面是否有下一层级数据链接，如果有，获取该链接URL，执行步骤101 ;否则，结束流程。
2.根据权利要求1所述方法，其特征是所述指定URL为异构系统上某个预知的链接的URL，该URL对应网页所包含的数据即所述业务系统需要同步的数据。
3.根据权利要求1所述方法，其特征是所述解析URL是指生成HTML源文件，取出包含目标数据的源码块，生成DOM文档对象，解析DOM文档对象并抽取出目标数据。
4.一种利用HTML脚本解析的异构系统间多层级数据同步异构系统间多层级数据同步系统，其特征是它包括数据采集服务器(200)和数据存储服务器(300)，其中数据存储服务器(300)用于存储数据采集服务器(200)所采集的数据；所述的数据采集服务器(200)用于采集目标网页数据，包括用于通过后台程序模拟用户登录指定URL的网页并向后台发送请求的发送请求模块(201)、用于接收指定URL的网页所发送的请求的接收请求模块(202)和用于判断指定URL的网页是否有更新，在有更新时触发采集模块的判断模块(203)和用于采集指定URL网页的数据的数据采集模块(204)。
【文档编号】G06F17/30GK103927384SQ201410179995
【公开日】2014年7月16日 申请日期:2014年4月30日 优先权日:2014年4月30日
【发明者】朱红, 张明, 孙佳炜, 嵇文路, 朱红勤, 郭晏 申请人:国家电网公司, 江苏省电力公司南京供电公司, 江苏省电力公司, 南京鑫欧欣信息技术有限公司