数据处理解析系统及方法

文档序号:8430893阅读:171来源:国知局
数据处理解析系统及方法
【技术领域】
[0001]本发明涉及一种数据处理解析系统及方法。
【背景技术】
[0002]现有技术中在修改订单时都需要手动操作,无论是修改订单的票台票点数据还是恢复订单的历史数据,均需要人工操作,导致操作步骤繁琐和频繁。

【发明内容】

[0003]本发明要解决的技术问题是为了克服现有技术中订单处理操作需要人工操作,导致操作步骤繁琐及频繁的缺陷,提供一种数据处理解析系统及方法。
[0004]本发明是通过下述技术方案来解决上述技术问题的:
[0005]本发明提供了一种数据处理解析方法,其特点在于,包括如下步骤:
[0006]第一线程修改与订单对应的原始URL (统一资源定位符),设置并生成新的URL格式,并从数据库抓取与新的URL格式对应的订单数据;
[0007]第二线程遍历订单数据,并查询出待修改的订单数据源;
[0008]第三线程对待修改的订单进行数据修改并保存。
[0009]较佳地,所述第一线程、所述第二线程及所述第三线程同时运行。
[0010]较佳地,所述第一线程修改原始URL的操作包括:在WebBrowser (网页浏览器)中提取Cookie (为了辨别用户身份、储存在用户本地终端上的数据),并去除所有的HTML (超文本标记语言)代码。
[0011]较佳地,第三线程的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据。
[0012]本发明的目的在于还提供了一种数据处理解析系统,其特点在于,包括第一线程、第二线程及第三线程;第一线程用于修改与订单对应的原始URL,设置并生成新的URL格式,并从数据库抓取与新的URL格式对应的订单数据;
[0013]第二线程用于遍历订单数据,并查询出待修改的订单数据源;
[0014]第三线程用于对待修改的订单进行数据修改并保存。
[0015]较佳地,所述第一线程、所述第二线程及所述第三线程同时运行。
[0016]较佳地,所述第一线程修改原始URL的操作包括:在WebBrowser中提取Cookie,并去除所有的HTML代码。
[0017]较佳地,第三线程的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据。
[0018]本发明的积极进步效果在于:本发明能够对订单数据进行自动处理和修改,包括自动恢复历史订单数据及自动修改订单票台票点数据,从而减少了订单修改的操作步骤,方便了用户操作。
【附图说明】
[0019]图1为本发明的一实施例的数据处理解析系统的结构示意图。
[0020]图2为本发明的一实施例的数据处理解析方法的流程图。
【具体实施方式】
[0021]下面通过实施例的方式进一步说明本发明,但并不因此将本发明限制在所述的实施例范围之中。
[0022]如图1所示,本发明的数据处理解析系统包括第一线程1、第二线程2及第三线程3,其中所述第一线程I用于修改与订单对应的原始URL,包括在WebBrowser中提取Cookie,及去除所有的HTML代码,所述第一线程I还设置并生成新的URL格式,并从数据库抓取与新的URL格式对应的订单数据。所述第二线程2则实现遍历订单数据,并查询出待修改的订单数据源;所述第三线程3则对待修改的订单进行数据修改并保存,其中第三线程3的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据。
[0023]在本发明中,所述第一线程1、所述第二线程2及所述第三线程3同时运行。
[0024]本发明需要用户运行所述数据处理解析系统,登录之后导入数据源、订单号,点击运行相应软件,在后台实现多线程自动抓包读取,其中会运用爬虫爬取网页的基本步骤,包括:
[0025]人工给定一个URL作为入口,并从该入口开始爬取;
[0026]用运行队列和完成队列来保存不同状态的链接;
[0027]每次抓取网页之后分析其中的URL(URL是字符串形式,功能类似指针),将经过过滤的合法链接写入运行队列。
[0028]本发明中利用多线程同时运行,提高了处理速度。通过开发后的所述数据处理解析系统,直接登录账户,批量导入需要提取数据的数据源,点击执行,实现自动抓取数据,遍历数据表,实现自动修改订单数据。经过测试得知,现有技术中利用人工操作对每一订单的处理操作平均耗时约60秒,而采用本发明的数据处理解析系统对每一订单的处理操作平均耗时则只有约3秒,从而大大提高了处理速度。
[0029]如图2所示,本发明利用本实施例的数据处理解析系统实现的数据处理解析方法包括以下步骤:
[0030]第一线程修改与订单对应的原始URL,设置并生成新的URL格式,并从数据库抓取与新的URL格式对应的订单数据;
[0031]第二线程遍历订单数据,并查询出待修改的订单数据源;
[0032]第三线程对待修改的订单进行数据修改并保存。
[0033]其中所述第一线程修改原始URL的操作包括:在WebBrowser中提取Cookie,并去除所有的HTML代码,第三线程的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据,并且所述第一线程、所述第二线程及所述第三线程同时运行。
[0034]虽然以上描述了本发明的【具体实施方式】,但是本领域的技术人员应当理解,这些仅是举例说明,本发明的保护范围是由所附权利要求书限定的。本领域的技术人员在不背离本发明的原理和实质的前提下,可以对这些实施方式做出多种变更或修改,但这些变更和修改均落入本发明的保护范围。
【主权项】
1.一种数据处理解析方法,其特征在于,包括如下步骤: 第一线程修改与订单对应的原始URL,设置并生成新的URL格式,并从数据库抓取与新的URL格式对应的订单数据; 第二线程遍历订单数据,并查询出待修改的订单数据源; 第三线程对待修改的订单进行数据修改并保存。
2.如权利要求1所述的数据处理解析方法,其特征在于,所述第一线程、所述第二线程及所述第三线程同时运行。
3.如权利要求1所述的数据处理解析方法,其特征在于,所述第一线程修改原始URL的操作包括:在WebBrowser中提取Cookie,并去除所有的HTML代码。
4.如权利要求1所述的数据处理解析方法,其特征在于,第三线程的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据。
5.一种数据处理解析系统,其特征在于,包括第一线程、第二线程及第三线程;第一线程用于修改与订单对应的原始URL,设置并生成新的URL格式,并从数据库抓取与新的URL格式对应的订单数据; 第二线程用于遍历订单数据,并查询出待修改的订单数据源; 第三线程用于对待修改的订单进行数据修改并保存。
6.如权利要求5所述的数据处理解析系统,其特征在于,所述第一线程、所述第二线程及所述第三线程同时运行。
7.如权利要求5所述的数据处理解析系统,其特征在于,所述第一线程修改原始URL的操作包括:在WebBrowser中提取Cookie,并去除所有的HTML代码。
8.如权利要求5所述的数据处理解析系统,其特征在于,第三线程的数据修改操作包括恢复历史订单数据及修改订单的票台和票点数据。
【专利摘要】本发明公开了一种数据处理解析系统及方法,方法包括如下步骤:第一线程修改与订单对应的原始URL,设置并生成新的URL格式,并从数据库抓取与新的URL格式对应的订单数据;第二线程遍历订单数据,并查询出待修改的订单数据源;第三线程对待修改的订单进行数据修改并保存。本发明能够对订单数据进行自动处理和修改,包括自动恢复历史订单数据及自动修改订单票台票点数据,从而减少了订单修改的操作步骤,方便了用户操作。
【IPC分类】G06F17-30, G06Q10-02
【公开号】CN104750862
【申请号】CN201510181314
【发明人】郑小龙, 印巍, 梅蓓, 洪燕
【申请人】携程计算机技术(上海)有限公司
【公开日】2015年7月1日
【申请日】2015年4月16日
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1