数据采集的方法、装置、存储介质及终端与流程

文档序号:14256632阅读:187来源:国知局

本发明属于通信技术领域,尤其涉及一种数据采集的方法、装置、存储介质及终端。



背景技术:

现有的数据采集方式,主要采用后台工具,比如plsql对数据进行采集,是一种过程化语言,没有可视化的操作界面,需要熟悉技术的it人员进入后台数据库中操作。采集过程需要预先查询并确认所需采集的数据,然后由it人员手动完成下载,操作专业性强,不方便。其他非it人员无法自行进行数据采集,也不能自主设计数据展示页面,数据采集效率低,对数据库的操作风险高,且仅仅支持oracle数据库采集。由于现有的数据采集方式需要预先确认所需采集的数据,无法实现定时采集。



技术实现要素:

本发明实施例提供了一种数据采集的方法、装置、存储介质及终端,以解决现有技术在进行数据采集时采集效率低、操作风险高、无法定时采集的问题。

本发明实施例提供了一种数据采集的方法,所述方法包括:

加载数据源管理界面,基于所述数据源管理界面配置数据源,所述数据源类型包括oracle数据库或hive数据库;

加载报表模板管理界面,基于所述报表模板管理界面设置报表模板的数据源,构建sql模型,并根据所述sql模型生成对应的报表模板;

在进行数据采集时,读取所述sql模型中的sql语句,按照所述sql语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。

进一步地,所述方法还包括:

将所采集到的数据载入到指定文档中,将所述指定文档转换为压缩文件,并保存至文件服务器中;

获取所述压缩文件在文件服务器中的统一资源定位符。

进一步地,在构建sql模型,并根据所述sql模型生成对应的报表模板之后,所述方法还包括:

设置所述报表模板的定时采集时间;

按照预设时间间隔检测当前系统时间是否满足所述定时采集时间;

若当前系统时间满足所述定时采集时间,则读取所述sql模型中的sql语句;

按照所述sql语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。

进一步地,所述基于所述数据源管理界面配置数据源,所述数据源类型包括oracle数据库或hive数据库包括:

在所述数据源管理界面上,根据接收到的操作指令配置数据源的基础信息,设置数据源的扩展属性;

其中,所述基础信息包括数据源类型、数据源平台名称、数据源所属url、数据源生效状态,所述数据源类型包括oracle数据库或者hive数据库。

进一步地,所述构建sql模型,并根据所述sql模型生成对应的报表模板包括:

通过所述报表模板管理界面获取输入的sql模型的标签信息、类型信息;

通过所述报表模板管理界面获取输入的至少一个sql语句;

保存所述标签信息、类型信息以及sql语句,生成sql模型并进入可视控件编辑窗口;

根据所述sql模型在所述可视控件编辑窗口中添加报表元素,其中一个sql语句对应一个报表元素;

根据所选择的编辑控件对所述报表元素进行修改;

保存修改后的所述报表元素,生成报表模板。

进一步地,所述在进行数据采集时,读取所述sql模型中的sql语句,按照所述sql语句从所设置的数据源中采集数据包括:

当接收到数据采集指令时,获取报表模板的名称信息;

根据所述名称信息获取所述报表模板已配置的sql模型,读取所述sql模型中的sql语句,输出所述sql语句的选择界面;

根据所选取的sql语句从所设置的数据源中采集数据。

本发明实施例还提供了一种数据采集的装置,所述装置包括:

数据源配置模块,用于加载数据源管理界面,基于所述数据源管理界面配置数据源,所述数据源类型包括oracle数据库或hive数据库;

报表模板配置模块,用于加载报表模板管理界面,基于所述报表模板管理界面设置报表模板的数据源,构建sql模型,并根据所述sql模型生成对应的报表模板;

数据采集模块,用于在进行数据采集时,读取所述sql模型中的sql语句,按照所述sql语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。

进一步地,所述装置还包括:

数据保存模块,用于将所采集到的数据载入到指定文档中,将所述指定文档转换为压缩文件,并保存至文件服务器中;

数据发送模块,用于获取所述压缩文件在文件服务器中的统一资源定位符。

进一步地,所述数据源配置模块具体用于:

在所述数据源管理界面上,根据接收到的操作指令配置数据源的基础信息,设置数据源的扩展属性;

其中,所述基础信息包括数据源类型、数据源平台名称、数据源所属url、数据源生效状态,所述数据源类型包括oracle数据库或者hive数据库。

进一步地,所述报表模板配置模块还包括:

第一获取单元,用于通过所述报表模板管理界面获取输入的sql模型的标签信息、类型信息;

第二获取单元,用于通过所述报表模板管理界面获取输入的至少一个sql语句;

模型生成单元,用于保存所述标签信息、类型信息以及sql语句,生成sql模型并进入可视控件编辑窗口;

添加单元,用于根据所述sql模型在所述可视控件编辑窗口中添加报表元素,其中一个sql语句对应一个报表元素;

编辑单元,用于根据所选择的编辑控件对所述报表元素进行修改;

模板生成单元,用于保存修改后的所述报表元素,生成报表模板。

进一步地,所述数据采集模块还包括:

名称获取单元,用于当接收到数据采集指令时,获取报表模板的名称信息;

选择提示单元,用于根据所述名称信息获取所述报表模板已配置的sql模型,读取所述sql模型中的sql语句,输出所述sql语句的选择界面;

采集单元,用于根据所选取的sql语句从所设置的数据源中采集数据。

进一步地,所述装置还包括:

定时设置模块,用于设置所述报表模板的定时采集时间;

定时采集模块,用于按照预设时间间隔检测当前系统时间是否满足所述定时采集时间,若当前系统时间满足所述定时采集时间,则读取所述sql模型中的sql语句,按照所述sql语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。

本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序由处理器执行时实现如上所述的数据采集的方法所述的步骤。

本发明实施例还提供了一种终端,所述终端包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如上所述的数据采集的方法的步骤。

与现有技术相比,本发明实施例通过改进数据采集的操作流程,提供管理员和采集者可视化的操作界面;在进行数据采集前,首先加载数据源管理界面,根据管理员在所述数据源管理界面上的操作配置数据源,以供采集者选择,所述数据源类型包括oracle数据库或hive数据库;然后加载报表模板管理界面,根据采集者在所述报表模板管理界面上的操作设置报表模板的数据源,构建sql模型,并根据所述sql模型生成对应的报表模板;在进行数据采集时,则直接读取所述sql模型中的sql语句,按照所述sql语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据;从而使得采集者可以自主地进行数据采集操作,提高了数据采集的效率,避免了进入后台数据库,降低了数据采集的风险,且不限于对常规数据库oracle的采集,还支持对数据仓库hive的采集,丰富了数据采集的类型。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他附图。

图1是本发明实施例提供的数据采集的方法的第一实现流程图;

图2是本发明实施例提供的构建sql模型,并根据所述sql模型生成对应的报表模板的实现流程图;

图3是本发明实施例提供的数据采集的方法的第二实现流程图;

图4是本发明实施例提供的数据采集的方法的第三实现流程图;

图5是本发明实施例提供的数据采集的方法的第四实现流程图;

图6是本发明实施例提供的数据采集的装置的组成结构图;

图7是本发明实施例提供的终端的示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于限定本发明。

实施例1

图1示出了本发明实施例提供的数据采集的方法的第一实现流程。

在本发明实施例中,所述数据采集的方法应用于终端,包括但不限于计算机、服务器等,用于从数据库中读取并下载数据。

参阅图1,所述数据采集的方法包括:

在步骤s101中,加载数据源管理界面,基于所述数据源管理界面配置数据源,所述数据源类型包括oracle数据库或hive数据库。

在这里,所述数据源管理界面为可视化的操作界面,用于辅助数据库管理员创建可供选择的数据库的bi源信息,包括在所述数据源管理界面上,根据所述管理员的操作配置数据源的基础信息以及设置数据源的扩展属性。其中,所述基础信息包括但不限于数据源类型、数据源平台名称、数据源所属url、数据源生效状态。所述数据源类型包括oracle数据库或者hive数据库,以及mybatis3.2.3、staticreporet1.0、ibmcognos8.4、ibmcognos10.2、pentahosaiku5等其他数据库类型。不同的数据源类型对应的扩展属性不相同,其中,对于oracle数据库和hive数据库,所需设置的扩展属性包括但不限于数据源驱动类型、数据源用户、数据源密码、数据源链接。

对完成配置的数据源,则在报表模板管理界面中增加对应的选择项,以供采集者在创建报表时选择所需的数据库,从而丰富了数据采集的类型,不仅支持对常规数据库oracle的采集,还支持对数据仓库hive的采集,实现了海量数据的采集方式。

在步骤s102中,加载报表模板管理界面,基于所述报表模板管理界面设置报表模板的数据源,构建sql模型,并根据所述sql模型生成对应的报表模板。

在这里,所述报表模板管理界面为可视化的操作界面,用于辅助采集者自主配置数据查询条件以及设计数据展示页面,即报表模板。当进行数据采集时,采集者依次触发管理标识、报表管理标识、新增报表或修改报表页面标识后,终端加载报表模板管理界面,进入可视化的编辑页面。采集者可在所述报表模板管理界面上完成对报表模板的自助设计,包括选择数据源、输入要采集数据的sql语句,从而无需进入后台数据库。终端则根据用户的操作依次设置数据源,根据所输入的sql语句构建sql模型,最后根据所述sql模型生成包含所述sql语句所查询出来的字段信息的报表模板。

作为本发明的一个优选示例,图2示出了本发明实施例提供的步骤s102中所述的构建sql模型,并根据所述sql模型生成对应的报表模板的实现流程。参阅图2,所述构建sql模型,并根据所述sql模型生成对应的报表模板包括:

在步骤s201中,通过所述报表模板管理界面获取输入的sql模型的标签信息、类型信息。

在这里,所述报表模板管理界面上包括sql模型的标签信息输入框、类型信息输入框、sql语句的输入窗口以及目录。所述标签信息为sql模型的id信息,用于区分不同的sql模型;所述类型信息为目录的表现方式,包括表格和非表格。

在步骤s202中,通过所述报表模板管理界面获取输入的至少一个sql语句。

在本发明实施例中,每一个sql语句包括查询参数、别名。在输入窗口中写入的sql语句,通过所述目录来展示,以方便用户查看。其中别名需要与sql配置中的结果别名一样,如果没有别名,则需要使用大写字母。

示例性地,假设输入窗口中写入的sql语句包括:

selectr.nameas报表名称,l.opr_usernameas用户名,r.is_validas是否有效,count(l.id_report_opr_log)as访问量fromxxx

此时,所述目录中的内容包括四条,分别为:

name,报表名称;

opr_username,用户名;

is_valid,是否有效;

count(l.id_report_opr_log),访问量。

在步骤s203中,保存所述标签信息、类型信息以及sql语句,生成sql模型并进入可视控件编辑窗口。

在完成sql语句的配置后,若检测到保存指令时,则关联存储所述标签信息、类型信息以及sql语句,生成以所述标签信息命名的sql模型,然后进入可视控件编辑窗口。在本发明实施例中,所述可视控件编辑窗口用于采集者自主设计报表模板,其中包括多个不同功能的控件,采集者点击到相应的控件会弹出操作窗口。可选地,常用控件包括但不限于from表单控件、单行文本控件、插入时间控件、插入按钮控件、插入\编辑表格控件、保存控件等。在所述可视控件编辑窗口中,采集者可以完成对报表模板的自主编辑操作。

在步骤s204中,根据所述sql模型在所述可视控件编辑窗口中添加报表元素,其中一个sql语句对应一个报表元素。

在这里,所述报表元素为报表模板中的字段及其字段值输入框。终端首先获取采集者通过from表单控件输入的sql模型的标签信息,然后根据标签信息获取对应的sql模型及已配置的sql语句,最后根据所述sql语句在所述可视控件编辑窗口中展示对应的字段及其字段值输入框。

在步骤s205中,根据所选择的编辑控件对所述报表元素进行修改。

不同的编辑控件能够实现不同的编辑功能。示例性地,如前文所述,若检测到单行文本控件被选中时,则弹出操作窗口,以提示用户定义报表元素的修改方式。在所述操作窗口中,包括别名、名称、字符宽度、类型输入框以及确认标识。其中,所述名称用于指定对哪个报表元素进行编辑,需要与所配置的sql语句的查询参数一致;所述字符宽度用于控制可视控件编辑窗口中字段值输入框的长度,所述类型用于定义输入框内容的格式,比如文本、图片等。若检测到采集者触发所述确认标识时,则将所述操作窗口上所定义的修改方式应用到报表元素上进行预览。

在步骤s206中,保存修改后的所述报表元素,生成报表模板。

当完成对所有报表元素的修改后,若检测到采集者触发所述保存控件时,则保存所述可视控件编辑窗口中当前所显示的报表元素,即应用修改方式后的报表元素,生成对应的报表模板。所述报表模板应当与所述可视控件编辑窗口所显示的报表元素一致。

上述实施例实现了可视化的报表模板编辑过程,采集者可以自主地设置数据采集的sql语句以及设置数据展示的报表模板,无需it人员的参与,也无需进入数据库,有利于提高数据采集效率,降低对数据库的操作风险。

在步骤s103中,在进行数据采集时,读取所述sql模型中的sql语句,按照所述sql语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。

在完成数据源选择和报表模板的设计之后,采集者可以随时进行数据采集。终端依据所构建的sql模型中的sql语句从所选择的数据源中采集数据。示例性地,如所选择的数据源为hive数据源时,则根据所配置的数据源也就是hive数据库的连接串信息采集数据。采集者每次数据采集时无需再找数据库管理者或者it人员进行操作,有利于降低数据库操作风险,提高数据采集的效率。

进一步地,现有技术在进行数据采集时,只能按照sql模型中的所有sql语句采集全部的字段。而生成的报表模板是可以提供给多方业务的采集者使用的,报表模板中的字段并非全部都是采集者所需的。对不同的业务方采集者,有些字段可能是无实际意义的,现有技术采集全部字段,明显增加了采集者查看数据的压力。鉴于此,基于图1提供的数据采集的方法的第一实现流程的基础上,提出本发明实施例提供的数据采集的方法的第二实现流程。

如图3所示,是本发明实施例提供的数据采集的方法的第二实现流程图,所述步骤s103在进行数据采集时,读取所述sql模型中的sql语句,按照所述sql语句从所设置的数据源中采集数据包括:

在步骤s1031中,当接收到数据采集指令时,获取报表模板的名称信息。

在这里,所述名称信息为报表模板的id信息,用于区分不同的报表模板,比如车险批改清单、寿险月售清单等。

在步骤s1032中,根据所述名称信息获取所述报表模板已配置的sql模型,读取所述sql模型中的sql语句,输出所述sql语句的选择界面。

在本发明实施例中,不同的报表模板可以共享相同的sql模型。每一个报表模板都有对应的名称信息,以及已经配置好的一个或多个sql模型。在进行数据采集时,根据所获取的名称信息,查询对应的报表模板及其已配置的sql模型,得到所有sql语句,从而得到报表模板设置过程中所定义的所有字段,输出所述sql语句的选择界面,以供所述采集者选取本次数据采集所需的sql语句。

在步骤s1033中,根据所选取的sql语句从所设置的数据源中采集数据。

在所述选择界面上,每一个sql语句对应的字段前有一个复选框,采集者可通过勾选所述复选框完成对字段的选取。终端根据所述勾选操作对sql语句的指定标志位进行置位,以将选取的字段与未选取的字段区分开来。在完成字段的选取之后,当检测到查询或下载指令时,遍历所有的sql语句,查找指定标志位已置位的sql语句,得到所有选取的sql语句,并根据所选取的sql语句完成数据采集。

本发明实施例通过添加动态选取字段的功能,使得采集者可以在采集或下载数据之前再次从报表模板已配置的sql语句中选取所需采集的字段,有效地减少了采集出来的无效数据,也减轻了采集者查看数据的压力。

进一步地,基于图1提供的数据采集的方法的第一实现流程的基础上,提出本发明实施例提供的数据采集的方法的第三实现流程。

如图4所示,是本发明实施例提供的数据采集的方法的第三实现流程图,所述方法还包括:

在步骤s104中,将所采集到的数据载入到指定文档中,将所述指定文档转换为压缩文件,并保存至文件服务器中。

示例性地,所述指定文档可以为excel文档,所述压缩文件可以为zip文件。采集到的数据会写入到excel文档中,然后压缩成zip文件,保存至文件服务器中。

在步骤s105中,获取所述压缩文件在文件服务器中的统一资源定位符。

在这里,所述统一资源定位符为压缩文件在文件服务器中的访问地址。压缩文件保存至文件服务器之后,文件服务器根据存放地址生成统一资源定位符url,并发送至终端。终端获取所述统一资源定位符,采用预设的通信方式发送至采集者,使得采集者可以通过所述统一资源定位符访问、查看所采集到的数据,从而简化了采集者的查看操作,且通过设置专门的文件服务器来保存采集到的数据,确保了数据的完整性,即使在数据采集量过大时也可保证数据不会丢失。可选地,所述预设的通信方式可以为电子邮件。

进一步地,现有技术进行数据采集时,采集过程需要预先查询并确认所需采集的数据,然后由it人员手动完成下载,由于存在预先查询和确认的环节,使得现有技术无法实现定时采集。为解决上述技术问题,基于图1提供的数据采集的方法的第一实现流程的基础上,提出本发明实施例提供的数据采集的方法的第四实现流程。

如图5所示,是本发明实施例提供的数据采集的方法的第四实现流程图,所述方法还包括:

在步骤s501中,加载数据源管理界面,基于所述数据源管理界面配置数据源,所述数据源类型包括oracle数据库或hive数据库。

在步骤s502中,加载报表模板管理界面,基于所述报表模板管理界面设置报表模板的数据源,构建sql模型,并根据所述sql模型生成对应的报表模板。

其中,步骤s501、步骤s502与图1实施例中所述的步骤s101、s102相同,具体请参见上述实施例的叙述,此处不再赘述。

在根据所述sql模型生成对应的报表模板之后,所述方法还包括:

在步骤s503中,设置所述报表模板的定时采集时间。

在这里,定时采集是针对采集周期为天、周或月的指定时间点去执行数据采集。因此,所述定时采集时间包括所述指定时间点、采集周期,此外,还包括采集开始时间和采集结束时间。所述定时采集时间应当与每一个报表模板一一对应。所设置的定时采集时间会保存至数据库中,以备定时任务检测。

在步骤s504中,按照预设时间间隔检测当前系统时间是否满足所述定时采集时间。

在这里,oracle中job任务有定时执行的功能,能够在指定的时间点或者每天的某个时间点自行执行任务。在本发明实施例中,定时采集任务可以选用job任务。所述job任务按照预设时间间隔去检测数据库中所存储的定时采集时间。若当前系统时间在所述定时采集时间范围内时,表明定时时间到达,触发数据采集任务,执行步骤s505。可选地,所述预设时间间隔可以为5分钟。

在步骤s505中,读取所述sql模型中的sql语句。

在步骤s506中,按照所述sql语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。

综上所述,基于改进后的数据采集流程提供的报表模板管理界面和可视化操作,本发明实施例进一步在所述报表模板管理界面上增添对数据采集操作的定时设置功能,并增加定时任务检测所设置的定时采集时间,从而实现了对数据的定时采集,解决了现有技术无法实现数据定时采集的问题,有效地提高了数据采集的效率。

应理解,在上述实施例中,各步骤的序号的大小并不意味着执行顺序的先后,各步骤的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。

实施例2

图6示出了本发明实施例提供的数据采集的装置的组成结构图,为了便于说明,仅示出了与本发明实施例相关的部分。

在本发明实施例中,所述数据采集的装置用于实现上述图1、图2、图3、图4、图5实施例中所述的数据采集的方法,可以是内置于终端的软件单元、硬件单元、软硬件结合的单元,所述终端包括但不限于计算机、服务器等。

参阅图6,所述数据采集的装置包括:

数据源配置模块61,用于加载数据源管理界面,基于所述数据源管理界面配置数据源,所述数据源类型包括oracle数据库或hive数据库;

报表模板配置模块62,用于加载报表模板管理界面,基于所述报表模板管理界面设置报表模板的数据源,构建sql模型,并根据所述sql模型生成对应的报表模板;

数据采集模块63,用于在进行数据采集时,读取所述sql模型中的sql语句,按照所述sql语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。

可选地,所述装置还包括:

数据保存模块64,用于将所采集到的数据载入到指定文档中,将所述指定文档转换为压缩文件,并保存至文件服务器中;

数据发送模块65,用于获取所述压缩文件在文件服务器中的统一资源定位符。

可选地,所述所述数据源配置模块61具体用于:

在所述数据源管理界面上,根据接收到的操作指令配置数据源的基础信息,设置数据源的扩展属性;

其中,所述基础信息包括数据源类型、数据源平台名称、数据源所属url、数据源生效状态,所述数据源类型包括oracle数据库或者hive数据库。

可选地,所述报表模板配置模块62还包括:

第一获取单元621,用于通过所述报表模板管理界面获取输入的sql模型的标签信息、类型信息;

第二获取单元622,用于通过所述报表模板管理界面获取输入的至少一个sql语句;

模型生成单元623,用于保存所述标签信息、类型信息以及sql语句,生成sql模型并进入可视控件编辑窗口;

添加单元624,用于根据所述sql模型在所述可视控件编辑窗口中添加报表元素,其中一个sql语句对应一个报表元素;

编辑单元625,用于根据所选择的编辑控件对所述报表元素进行修改;

模板生成单元626,用于保存修改后的所述报表元素,生成报表模板。

可选地,所述数据采集模块63还包括:

名称获取单元631,用于当接收到数据采集指令时,获取报表模板的名称信息;

选择提示单元632,用于根据所述名称信息获取所述报表模板已配置的sql模型,读取所述sql模型中的sql语句,输出所述sql语句的选择界面;

采集单元633,用于根据所选取的sql语句从所设置的数据源中采集数据。

可选地,所述装置还包括:

定时设置模块66,用于设置所述报表模板的定时采集时间;

定时采集模块67,用于按照预设时间间隔检测当前系统时间是否满足所述定时采集时间,若当前系统时间满足所述定时采集时间,则读取所述sql模型中的sql语句,按照所述sql语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。

需要说明的是,本发明实施例中的各模块/单元可以用于实现上述方法实施例中的全部技术方案,其具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。

实施例3

本实施例提供一计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器执行时实现实施例1中数据采集的方法,为避免重复,这里不再赘述。或者,该计算机程序被处理器执行时实现实施例2中数据采集的装置中各模块/单元的功能,为避免重复,这里不再赘述。

实施例4

图7是本发明实施例提供的一种终端的示意图,所述终端包括但不限于服务器、移动终端。如图7所示,该实施例的终端7包括:处理器70、存储器71以及存储在所述存储器71中并可在所述处理器70上运行的计算机程序72。所述处理器70执行所述计算机程序72时实现上述数据采集的方法实施例中的步骤,例如图1所示的步骤s101至s103、图2实施例中所述的步骤s201至s206、图3实施例中所述的步骤s1031至s1033、图4实施例所述的步骤s104至s105以及图5实施例所述的步骤s501至s505;或者,所述处理器70执行所述计算机程序72时实现上述数据采集的装置实施例中各模块/单元的功能,例如图6所示模块61至67的功能。

示例性的,所述计算机程序72可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器71中,并由所述处理器70执行,以完成本发明。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段,该指令段用于描述所述计算机程序72在所述终端7中的执行过程。例如,所述计算机程序72可以被分割成数据源配置模块、报表模板配置模块、数据采集模块,各模块具体功能如下:

数据源配置模块,用于加载数据源管理界面,基于所述数据源管理界面配置数据源,所述数据源类型包括oracle数据库或hive数据库;

报表模板配置模块,用于加载报表模板管理界面,基于所述报表模板管理界面设置报表模板的数据源,构建sql模型,并根据所述sql模型生成对应的报表模板;

数据采集模块,用于在进行数据采集时,读取所述sql模型中的sql语句,按照所述sql语句从所设置的数据源中采集数据,并通过所述报表模板展示所采集到的数据。

所述终端7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端可包括,但不仅限于,处理器70、存储器71。本领域技术人员可以理解,图7仅仅是终端7的示例,并不构成对终端7的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述终端还可以包括输入输出设备、网络接入设备、总线等。

所称处理器70可以是中央处理单元(centralprocessingunit,cpu),还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等,所述处理器是所述终端的控制中心,利用各种接口和线路连接整个终端的各个部分。

所述存储器71可用于存储所述计算机程序和/或模块,所述处理器通过运行或执行存储在所述存储器内的计算机程序和/或模块,以及调用存储在存储器内的数据,实现所述终端的各种功能。所述存储器可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器可以包括高速随机存取存储器,还可以包括非易失性存储器,例如硬盘、内存、插接式硬盘、智能存储卡(smartmediacard,smc)、安全数字卡(securedigital,sd)、闪存卡(flashcard),至少一个磁盘存储器件、闪存器件或其他易失性固态存储器件。

另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读存储介质可以包括:能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质等。需要说明的是,所述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减,例如在某些司法管辖区,根据立法和专利实践,计算机可读存储介质不包括是电载波信号和电信信号。

以上所述实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1