本发明涉及计算机领域中的数据集成领域,具体地,涉及一种通过web客户端自动化操作实现数据直通集成的系统。
背景技术:
数据集成是把不同来源、格式、特点性质的数据在逻辑上或物理上有机地集中,从而为企业提供全面的数据共享。在企业数据集成领域,已经有了很多成熟的框架可以利用。
现有数据集成主要通过数据清洗和转换完成,需要以下动作:
1)获取访问权限:需要获取对源数据库的管理员访问权限
2)数据结构分析:由专业人员对源数据结构进行分析
3)数据转换:源数据以专业格式存放,一般与目标数据字段是不一致的,需要数据转换,包括数据合并、转换、拆分等
4)数据清洗:从源到目标数据需要经过筛选,去掉冗余和不符合条件的数据
现有数据集成主要存在以下问题:
1)需要对数据有管理员权限,会对源数据造成安全隐患;
2)需要专业的数据架构师和业务分析师参与,对资源要求太高;
3)需要编写转换和清洗的程序,实施周期和成本不可控。
技术实现要素:
本发明提供了一种通过web客户端自动化操作实现数据直通集成的系统,解决了现有数据集成存在的不足,简化了集成过程,降低集成门槛,大幅提高集成效果。
为实现上述发明目的,本申请提供了一种通过web客户端自动化操作实现数据直通集成的系统,所述系统包括:
自动化设计模块,用于对web客户端自动化操作流程进行设计,自动生成web客户端操作流程,并用于提供可视化操作界面,以及用于捕捉网页元素;
自动化服务模块,用于自动发布webapi访问接口,通过对webapi接口的调用,发起对web客户端的自动化操作,实现对数据直接访问集成。
进一步的,自动生成web客户端操作流程,具体包括:
打开自动化设计模块;创建一个新的设计;配置浏览器类型;在设计面板中添加新的操作步骤;基于添加的多个操作步骤按顺序形成操作流程;添加操作步骤过程中,或流程设计完成后,设置操作步骤对应的页面元素,页面元素的设置可通过手动输入,或通过捕捉页面元素输入。
进一步的,捕捉页面元素在设计模式下跳转到需要捕捉的页面,按ctrl键选中捕捉的元素,点右键弹出对话框,在对话框加输入步骤名、指定动作(动作包括:点击、输入、其它),点击“添加”按钮完成捕捉。
进一步的,添加的操作包括:
跳转:跳转到指定网页;
等待:等待元素呈现,或等待指定时间;
点击:点击网页元素,计数为1表明单击,计数为2表明双击;
输入:在网页input元素中输入内容;
选项:基于select元素选择内容;
对话框:对alert对话框的操作;
切换窗体:在打开的不同页面窗体之间切换;
切换框架:在指定的页面中切换到指定的iframe框架;
条件:根据预选设定的条件,对于传入的不同变量值,有不同选择或不同操作流程;
循环:用于创建循环区域,基于指定条件进行循环操作;
执行:执行javascript脚本,处理指定页面数据。
进一步的,自动化设计模块可基于以下方式中的一种或几种捕捉元素:id选择器、类选择器、标签选择器、位置选择器、属性选择器。
进一步的,自动化服务模块的自动化服务包括以下内容:提供web服务主机功能,允许http访问;提供webapi访问接口,定义输入和输出参数;响应客户请求,执行动动化过程。
本申请提供的一个或多个技术方案,至少具有如下技术效果或优点:
由于本系统是基于用户的实际业务操作进行模拟处理,所以不需要对数据库有访问权限,也不需要对底层数据结构进行分析,也不需要专业的架构师和分析师参与;又因为web客户端页面上呈现的信息是友好易懂的信息,也不需要再进一步数据清洗。所以能够简化集成过程,降低集成门槛,大幅提高集成效果。
附图说明
此处所说明的附图用来提供对本发明实施例的进一步理解,构成本申请的一部分,并不构成对本发明实施例的限定;
图1是本申请中数据直通集成系统的组成示意图。
具体实施方式
本发明提供了一种通过web客户端自动化操作实现数据直通集成的系统,解决了现有数据集成存在的不足,简化了集成过程,降低集成门槛,大幅提高集成效果。
为了能够更清楚地理解本发明的上述目的、特征和优点,下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是,在相互不冲突的情况下,本申请的实施例及实施例中的特征可以相互组合。
在下面的描述中阐述了很多具体细节以便于充分理解本发明,但是,本发明还可以采用其他不同于在此描述范围内的其他方式来实施,因此,本发明的保护范围并不受下面公开的具体实施例的限制。
请参考图1,本发明系统主要包括自动化设计器和自动化服务两大功能模块:
一、自动化设计模块:能够对web客户端自动化操作流程进行设计,提供可视化操作界面,并能捕捉网页元素,设计过程描述如下:
1、打开可视化设计器;
2、创建一个新的设计;
3、配置浏览器类型;
3、接下来在设计面板中添加新的操作步骤,主要操作如下:
1)跳转:跳转到指定网页;
2)等待:等待元素呈现,或等待指定时间;
3)点击:点击网页元素,计数为1表明单击,计数为2表明双击;
4)输入:在网页input元素中输入内容;
5)选项:基于select元素选择内容;
6)对话框:对alert对话框的操作;
7)切换窗体:在打开的不同页面窗体之间切换;
8)切换框架:在指定的页面中切换到指定的iframe框架;
9)条件:根据预选设定的条件,对于传入的不同变量值,有不同选择或不同操作流程;
10)循环:用于创建循环区域,基于指定条件进行循环操作;
11)执行:执行javascript脚本,处理指定页面数据。
4、多个操作步骤按顺序形成操作流程;
5、添加操作步骤过程中,或流程设计完成后,需要设置操作中对应的页面元素,页面元素的设置可通过手动输入,或通过捕捉页面元素输入。要捕捉页要元素,需要在设计模式下跳转到需要捕捉的页面,按ctrl键选中捕捉的元素,点右键弹出对话框,在对话框加输入步骤名、指定动作(动作包括:点击、输入、其它),点击“添加”按钮完成捕捉。本自动化设计器可基于以下方式捕捉元素:
1)id选择器;
2)类选择器;
3)标签选择器;
4)位置选择器;
5)属性选择器;
二、自动化服务模块:自动发布webapi访问接口,通过对webapi接口的调用,发起对web客户端的自动化操作,从而实现对数据直接访问集成。自动化服务包括以下内容:
1)提供web服务主机功能,允许http访问;
2)提供webapi访问接口,定义输入和输出参数;
3)响应客户请求,执行动动化过程。
尽管已描述了本发明的优选实施例,但本领域内的技术人员一旦得知了基本创造性概念,则可对这些实施例作出另外的变更和修改。所以,所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。
显然,本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样,倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内,则本发明也意图包含这些改动和变型在内。