一种web数据自动采集系统的制作方法
【专利摘要】本发明公开一种WEB数据自动采集系统，包括WEB 客户端、WEB 服务器和应用服务器，所述WEB 客户端包括索引图，所述索引图保存图形和数据与链接之间的对应关系，所述WEB 客户端将客户点击的图形或数据对应的链接发送至WEB 服务器，所述WEB 服务器从应用服务器采集链接对应的图形或数据，并将采集到的图形或数据转换成SVG 文件后返回至WEB 客户端。本发明可以将半结构化和非结构化的数据变为结构化的元数据，实现航班数据的动态跟踪与监测。
【专利说明】一种WEB数据自动采集系统
【技术领域】
[0001]本发明涉及一种数据采集系统，更确切地说是一种WEB数据自动采集系统。
【背景技术】
[0002]Web服务系统主要实现信息发布功能，是配网自动化系统的基本功能之一，客户使用浏览器通过Web服务系统对配电网运行状况进行了解和分析。目前在线运行的配网自动化系统基本上都是运行于EMS (Energy Manage System,能量管理系统)系统的I控制区，然后通过隔离装置将数据同步到非控制III区，通过非控制III区对外提供Web月艮务。配网自动化系统对外提供的Web服务，大多是基于ActiveX控件技术或者Java控件技术，不管是基于哪种控件技术，都需要用户下装相应的控件，控件将配网自动化系统某一时刻的图形与数据全部下载到客户端，这样用户的查看请求可以快速得到响应，但用户看到的并不是当前配网自动化系统的运行状况。另外，为了系统安全，需要配网自动化系统在保护模式运行该控件，如果运行的权限没有设置正确，会导致这些控件的功能失效，从而导致客户端的用户体验不佳。
【发明内容】
[0003]本发明的目的是提供一种WEB数据自动采集系统，其可以解决现有技术产的上述缺点。
[0004]本发明采用以下技术方案:
[0005]一种WEB数据自动采集系统，包括WEB客户端、WEB服务器和应用服务器，所述WEB客户端包括索引图，所述索引图保存图形和数据与链接之间的对应关系，所述WEB客户端将客户点击的图形或数据对应的链接发送至WEB服务器，所述WEB服务器从应用服务器采集链接对应的图形或数据，并将采集到的图形或数据转换成SVG文件后返回至WEB客户端；还包括一 Web无线数据采集控制系统，Web无线数据采集控制系统由数据采集发送模块和数据接收模块组成，数据采集发送模块包括信号调理模块、A/D转换模块、微控制器和无线模块，采集到的信号经过信号调理模块传送到A/D转换模块，A/D转换模块连接微控制器；数据接收模块包括无线模块和微控制器，无线模块输入端连接数据采集发送模块中的微控制器，无线模块输出端连接数据接收模块中的微控制器，微处理器与PC连接。
[0006]所述WEB服务器包括:
[0007]链接解析模块，用于解析WEB客户端发来的链接得出链接的内容，并将SVG文件导出程序转换的SVG文件返回给WEB客户端；
[0008]图形数据采集模块，用于从应用服务器采集链接解析模块解析出的内容对应的图形或数据；
[0009]SVG文件导出程序，用于将图形数据采集模块采集的图形或数据转换为SVG文件并转发给链接解析模块。
[0010]所述WEB服务器还包括SVG文件拓扑着色程序，用于将转换为SVG文件的厂站图进行拓扑着色后输出给所述链接解析模块，所述链接解析模块将拓扑着色后的SVG文件返回给WEB客户端。
[0011]所述信号处理模块包括信号放大电路和滤波电路，信号放大电路输出端连接滤波电路；所述微控制器为STM32芯片。
[0012]本发明的优点是:可以将半结构化和非结构化的数据变为结构化的元数据，实现航班数据的动态跟踪与监测。
【具体实施方式】
[0013]下面进一步阐述本发明的【具体实施方式】:
[0014]本发明公开一种WEB数据自动采集系统，包括WEB客户端、WEB服务器和应用服务器，其特征在于，所述WEB客户端包括索引图，所述索引图保存图形和数据与链接之间的对应关系，所述WEB客户端将客户点击的图形或数据对应的链接发送至WEB服务器，所述WEB服务器从应用服务器采集链接对应的图形或数据，并将采集到的图形或数据转换成SVG文件后返回至WEB客户端；还包括一 Web无线数据采集控制系统，Web无线数据采集控制系统由数据采集发送模块和数据接收模块组成，数据采集发送模块包括信号调理模块、A/D转换模块、微控制器和无线模块，采集到的信号经过信号调理模块传送到A/D转换模块，A/D转换模块连接微控制器；数据接收模块包括无线模块和微控制器，无线模块输入端连接数据采集发送模块中的微控制器，无线模块输出端连接数据接收模块中的微控制器，微处理器与PC连接。
[0015]所述WEB服务器包括:链接解析模块，用于解析WEB客户端发来的链接得出链接的内容，并将SVG文件导出程序转换的SVG文件返回给WEB客户端；图形数据采集模块，用于从应用服务器采集链接解析模块解析出的内容对应的图形或数据；SVG文件导出程序，用于将图形数据采集模块采集的图形或数据转换为SVG文件并转发给链接解析模块。
[0016]所述WEB服务器还包括SVG文件拓扑着色程序，用于将转换为SVG文件的厂站图进行拓扑着色后输出给所述链接解析模块，所述链接解析模块将拓扑着色后的SVG文件返回给WEB客户端。
[0017]所述信号处理模块包括信号放大电路和滤波电路，信号放大电路输出端连接滤波电路；所述微控制器为STM32芯片。
[0018]Web数据自动采集技术涉及到Web数据挖掘、Web信息检索、信息提取、搜索引擎等技术。所谓Web数据自动采集是指从大量非结构化、异构的Web信息资源中发现有效的、新颖的、潜在可用的信息(包括概念、模式、规则、规律、约束及可视化等形式)的非平凡过程。包括Web内容挖掘、Web结构挖掘和Web使用挖掘。
[0019]通过本发明的WEB数据自动采集技术的表现为根据航班数据构成规则，对指定航空公司、OTA、GDS网站的海量航班数据进行信息检索、信息提取、分析处理、查重去噪、整合数据，将半结构化和非结构化的数据变为结构化的元数据，实现航班数据的动态跟踪与监测。
[0020]本发明可以将半结构化和非结构化的数据变为结构化的元数据，实现航班数据的动态跟踪与监测。
[0021]以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【权利要求】
1.一种WEB数据自动采集系统，包括WEB客户端、WEB服务器和应用服务器，其特征在于，所述WEB客户端包括索引图，所述索引图保存图形和数据与链接之间的对应关系，所述WEB客户端将客户点击的图形或数据对应的链接发送至WEB服务器，所述WEB服务器从应用服务器采集链接对应的图形或数据，并将采集到的图形或数据转换成SVG文件后返回至WEB客户端；还包括一Web无线数据采集控制系统，Web无线数据采集控制系统由数据采集发送模块和数据接收模块组成，数据采集发送模块包括信号调理模块、A/D转换模块、微控制器和无线模块，采集到的信号经过信号调理模块传送到A/D转换模块，A/D转换模块连接微控制器；数据接收模块包括无线模块和微控制器，无线模块输入端连接数据采集发送模块中的微控制器，无线模块输出端连接数据接收模块中的微控制器，微处理器与PC连接。
2.根据权利要求1所述的WEB数据自动采集系统，其特征在于，所述WEB服务器包括: 链接解析模块，用于解析WEB客户端发来的链接得出链接的内容，并将SVG文件导出程序转换的SVG文件返回给WEB客户端； 图形数据采集模块，用于从应用服务器采集链接解析模块解析出的内容对应的图形或数据； SVG文件导出程序，用于将图形数据采集模块采集的图形或数据转换为SVG文件并转发给链接解析模块。
3.根据权利要求2所述的WEB数据自动采集系统，其特征在于，所述WEB服务器还包括SVG文件拓扑着色程序，用于将转换为SVG文件的厂站图进行拓扑着色后输出给所述链接解析模块，所述链接解析模块将拓扑着色后的SVG文件返回给WEB客户端。
4.根据权利要求1至3中任意一项所述的WEB数据自动采集系统，其特征在于，所述信号处理模块包括信号放大电路和滤波电路，信号放大电路输出端连接滤波电路；所述微控制器为STM32芯片。
【文档编号】H04L29/08GK104283914SQ201310279488
【公开日】2015年1月14日 申请日期:2013年7月4日 优先权日:2013年7月4日
【发明者】不公告发明人 申请人:上海朗迈网络科技有限公司