一种基于后台数据库配置进行数据下载的方法和系统的制作方法
【专利摘要】本发明涉及网络技术领域，特别涉及一种基于后台数据库配置进行数据下载的方法和系统。方法包括以下步骤：根据业务需求设计配置表模板；根据后台数据库的数据模型，填写配置表模板，形成配置表；将预设的下载任务参数配置到配置表中，并形成对应的可执行任务脚本；采用可执行任务脚本对数据库的数据进行提取，生成下载文件。本发明的方法基于后台数据库配置生成SQL、存储过程、SHELL等任务脚本，并指定启动时间和启动频率，不需要采用Crontab配置定时任务就可以定期执行任务脚本生成需要下载的目标文件或表，不仅提高了维护效率、减轻了维护人员的工作量、降低了风险，而且配置过程简单灵活，可以针对不同业务进行多类型配置，可维护性好。
【专利说明】
-种基于后台数据库配置进行数据下载的方法和系统
技术领域
[0001] 本发明设及网络技术领域，特别设及一种基于后台数据库配置进行数据下载的方 法和系统。
【背景技术】
[0002] 在数据库的维护工作中，按照要求提取数据和生成目标文件或表是每天都要重复 的工作，有时同一个数据需要提取多次，现有技术通常采用人工的方式进行逐项提取，不仅 容易出错，而且效率低下，大幅增加了数据库管理员的工作量。
【发明内容】
[0003] 本发明提供一种基于后台数据库配置进行数据下载的方法和系统，解决了现有技 术采用人工方式对数据库进行维护时，容易出错且效率低下的技术问题。本发明解决上述 技术问题的技术方案如下:一种基于后台数据库配置进行数据下载的方法，包括W下步骤：
[0004] 步骤1，根据业务需求设计配置表模板；
[0005] 步骤2,根据后台数据库的数据模型，填写所述配置表模板，形成配置表；
[0006] 步骤3,将预设的下载任务参数配置到所述配置表中，并形成对应的可执行任务脚 本；
[0007] 步骤4,采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件。
[000引本发明的有益效果是：本发明的方法基于后台数据库配置生成SQL、存储过程、 S肥化等任务脚本，并指定启动时间和启动频率，不需要采用化ontab配置定时任务就可W 定期执行任务脚本生成需要下载的目标文件或表，不仅提高了维护效率、减轻了维护人员 的工作量、降低了风险，而且配置过程简单灵活，可W针对不同业务进行多类型配置，可维 护性好。
[0009] 在上述技术方案的基础上，本发明还可W做如下改进。
[0010] 进一步，步骤1中，所述配置表模板包括稽核配置表、调度配置表和/或文件属性 表。
[0011] 采用上述进一步方案的有益效果是:本进一步技术方案设置包括稽核配置表、调 度配置表、文件属性表等在内的配置表模板，结合数据库的数据模型，可W实现符合业务需 求的稽核配置，生成有效的、符合用户需求的下载文件。
[0012] 进一步，步骤3中，所述可执行任务脚本的类型包括SQL、存储过程和/或shell。
[0013] 采用上述进一步方案的有益效果是:本进一步技术方案根据稽核配置W及下载文 件类型的不同，选择对应的可执行任务脚本的类型，可W针对不同业务进行多类型配置，可 维护性好。
[0014] 进一步，步骤4中，所生成的下载文件类型包括txt、csv、xlsx、xls或化;r.gz。
[0015] 采用上述进一步方案的有益效果是:本进一步技术方案可W下载多种类型的下载 文件，且配置过程简单灵活，适用性高。
[0016] 进一步，步骤3具体为：
[0017] S301创建要执行的任务序号；
[0018] S302根据业务需求对所述任务序号对应的任务设定下载任务参数，所述下载任务 参数包括执行时间、执行间隔、执行流程、生成的下载文件类型、下载文件保存路径和用于 提取数据的任务脚本类型；
[0019] S303将所述下载任务参数自动配置到所述配置表中，并形成对应的可执行任务脚 本。
[0020] 采用上述进一步方案的有益效果是:本进一步技术方案采用jave语言编写可执行 任务脚本，不仅可W实现稽核执行逻辑，比如执行时间、执行间隔、执行流程等等，而且开发 简单、执行效率高、程序可移植性好。
[0021] 进一步，步骤4具体为：
[0022] S401运行java程序，根据可执行任务脚本对应的配置表，抽取符合条件的可执行 任务脚本；
[0023] S402根据可执行任务脚本的类型，指定所述可执行任务脚本的运行方式；
[0024] S403采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件和执行日 志；
[0025] S404全部文件下载结束后，根据所设定的执行间隔，计算出下次运行所述可执行 任务脚本的时间，并修改所述可执行任务脚本对应的配置表。
[0026] -种基于后台数据库配置进行数据下载的系统，包括配置表模板存储模块、配置 表生成模块、脚本生成模块和下载模块，
[0027] 所述配置表模板存储模块用于存储根据业务需求设计的配置表模板；
[0028] 所述配置表生成模块用于根据后台数据库的数据模型，填写所述配置表模板，形 成配置表；
[0029] 所述脚本生成模块用于将预设的下载任务参数配置到所述配置表中，并形成对应 的可执行任务脚本；
[0030] 所述下载模块用于采用所述可执行任务脚本对数据库的数据进行提取，生成下载 文件。
[0031] 进一步，所述脚本生成模块包括任务创建单元、下载任务参数设定单元和任务脚 本生成单元，
[0032] 所述任务创建单元用于创建任务序号；
[0033] 所述下载任务参数设定单元用于根据业务需求对所述任务序号对应的任务设定 下载任务参数，所述下载任务参数包括执行时间、执行间隔、执行流程、生成的下载文件类 型、下载文件保存路径和用于提取数据的任务脚本类型；
[0034] 所述任务脚本生成单元用于将所述下载任务参数自动配置到配置表中，并形成对 应的可执行任务脚本。
[0035] 进一步，所述下载模块包括选择单元、设定单元、下载单元和计算单元，
[0036] 所述选择单元用于运行java程序，抽取符合条件的可执行任务脚本；
[0037] 所述设定单元用于根据可执行任务脚本的类型，指定所述可执行任务脚本的运行 方式；
[0038] 所述下载单元用于采用所述可执行任务脚本对数据库的数据进行提取，生成下载 文件和执行日志；
[0039] 所述计算单元用于在全部文件下载结束后，根据所设定的执行间隔，计算出下次 运行所述可执行任务脚本的时间，并修改所述可执行任务脚本对应的配置表。
[0040] 进一步，所下载的文件类型包括txt、csv、xlsx、xls或1:a;r.gz。
【附图说明】
[0041] 图1为本发明一种基于后台数据库配置进行数据下载的方法的流程示意图；
[0042] 图2为本发明一种基于后台数据库配置进行数据下载的系统的结构示意图；
【具体实施方式】
[0043] W下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并 非用于限定本发明的范围。
[0044] 如图1所示，为本发明一种基于后台数据库配置进行数据下载的方法的流程示意 图，包括W下步骤：
[0045] 步骤1，根据业务需求设计配置表模板，所述配置表模板包括稽核配置表、调度配 置表和/或文件属性表。
[0046] 步骤2,根据后台数据库的数据模型，填写所述配置表模板，形成配置表。下表1为 一个实施例的稽核配置表，表2为一个实施例的文件属性表，表3为一个实施例的调度配置 表。
[0047] 表1稽核配置表
[004引
[(K)日0] 表2文件属性表
[0化1 ]
[0化2] 表3调度配置表
[0化3]
[0054] 步骤3,将预设的下载任务参数配置到所述配置表中，并形成对应的可执行任务脚 本，所述可执行任务脚本的类型包括SQL、存储过程和/或shell。
[0055] 步骤4,采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件，所生 成的下载文件类型包括txt、csv、xlsx、xls或ta;r.gz。当下载文件是表时，需要对表信息和 表字段进行配置，如表4、表5所示。
[0056] 表4表信息配置表
[0化7]
[0060]
[0061] 在优选实施例中，所述步骤3具体为：
[0062] S301创建要执行的任务序号；
[0063] S302根据业务需求对所述任务序号对应的任务设定下载任务参数，所述下载任务 参数包括执行时间、执行间隔、执行流程、生成的下载文件类型、下载文件保存路径和用于 提取数据的任务脚本类型；
[0064] S303将所述下载任务参数自动配置到所述配置表中，并形成对应的可执行任务脚 本。
[0065] 在另一优选实施例中，步骤4具体为：
[0066] S401运行java程序，根据可执行任务脚本对应的配置表，抽取符合条件的可执行 任务脚本；
[0067] S402根据可执行任务脚本的类型，指定所述可执行任务脚本的运行方式；
[0068] S403采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件和执行日 志，执行日志如下表6所示；
[0069] S404全部文件下载结束后，根据所设定的执行间隔，计算出下次运行所述可执行 任务脚本的时间，并修改所述可执行任务脚本对应的配置表。
[0070] 表6执行日志表
[00711
[0072] 如图2所示，为本发明一种基于后台数据库配置进行数据下载的系统的结构示意 图，包括配置表模板存储模块、配置表生成模块、脚本生成模块和下载模块，所述配置表模 板存储模块用于存储根据业务需求设计的配置表模板;所述配置表生成模块用于根据后台 数据库的数据模型，填写所述配置表模板，形成配置表;所述脚本生成模块用于将预设的下 载任务参数配置到所述配置表中，并形成对应的可执行任务脚本;所述下载模块用于采用 所述可执行任务脚本对数据库的数据进行提取，生成下载文件。
[0073] 优选实施例中，所述脚本生成模块包括任务创建单元、下载任务参数设定单元和 任务脚本生成单元，所述任务创建单元用于创建任务序号;所述下载任务参数设定单元用 于根据业务需求对所述任务序号对应的任务设定下载任务参数，所述下载任务参数包括执 行时间、执行间隔、执行流程、生成的下载文件类型、下载文件保存路径和用于提取数据的 任务脚本类型;所述任务脚本生成单元用于将所述下载任务参数自动配置到配置表中，并 形成对应的可执行任务脚本。
[0074] 在另一优选实施例中，所述下载模块包括选择单元、设定单元、下载单元和计算单 元，所述选择单元用于运行java程序，抽取符合条件的可执行任务脚本;所述设定单元用于 根据可执行任务脚本的类型，指定所述可执行任务脚本的运行方式;所述下载单元用于采 用所述可执行任务脚本对数据库的数据进行提取，生成下载文件;所述计算单元用于在全 部文件下载结束后，根据所设定的执行间隔，计算出下次运行所述可执行任务脚本的时间， 并修改所述可执行任务脚本对应的配置表，生成执行日志。
[0075] 本发明的方法基于后台数据库配置生成SQL、存储过程、S肥化等任务脚本，并指定 启动时间和启动频率，不需要采用Crontab配置定时任务就可W定期执行任务脚本生成需 要下载的目标文件或表，不仅提高了维护效率、减轻了维护人员的工作量、降低了风险，而 且配置过程简单灵活，可W针对不同业务进行多类型配置，可维护性好。
[0076] 尽管上面已经示出和描述了本发明的实施例，可W理解的是，上述实施例是示例 性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可W对上述 实施例进行变化、修改、替换和变型。
【主权项】
1. 一种基于后台数据库配置进行数据下载的方法，其特征在于，包括以下步骤： 步骤1，根据业务需求设计配置表模板； 步骤2，根据后台数据库的数据模型，填写所述配置表模板，形成配置表； 步骤3,将预设的下载任务参数配置到所述配置表中，并形成对应的可执行任务脚本； 步骤4，采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件。2. 根据权利要求1所述的基于后台数据库配置进行数据下载的方法，其特征在于，步骤 1中，所述配置表模板包括稽核配置表、调度配置表和/或文件属性表。3. 根据权利要求1所述的基于后台数据库配置进行数据下载的方法，其特征在于，步骤 3中，所述可执行任务脚本的类型包括SQL、存储过程和/或shell。4. 根据权利要求1所述的基于后台数据库配置进行数据下载的方法，其特征在于，步骤 4中，所生成的下载文件类型包括txt、csv、xlsx、xlsStar.gz。5. 根据权利要求1~4任一所述的基于后台数据库配置进行数据下载的方法，其特征在 于，步骤3具体为： S301创建要执行的任务序号； S302根据业务需求对所述任务序号对应的任务设定下载任务参数，所述下载任务参数 包括执行时间、执行间隔、执行流程、生成的下载文件类型、下载文件保存路径和用于提取 数据的任务脚本类型； S303将所述下载任务参数自动配置到所述配置表中，并形成对应的可执行任务脚本。6. 根据权利要求5所述的基于后台数据库配置进行数据下载的方法，其特征在于，步骤 4具体为： S401运行java程序，根据可执行任务脚本对应的配置表，抽取符合条件的可执行任务 脚本； S402根据可执行任务脚本的类型，指定所述可执行任务脚本的运行方式； S403采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件和执行日志； S404全部文件下载结束后，根据所设定的执行间隔，计算出下次运行所述可执行任务 脚本的时间，并修改所述可执行任务脚本对应的配置表。7. -种基于后台数据库配置进行数据下载的系统，其特征在于，包括配置表模板存储 模块、配置表生成模块、脚本生成模块和下载模块， 所述配置表模板存储模块用于存储根据业务需求设计的配置表模板； 所述配置表生成模块用于根据后台数据库的数据模型，填写所述配置表模板，形成配 置表； 所述脚本生成模块用于将预设的下载任务参数配置到所述配置表中，并形成对应的可 执行任务脚本； 所述下载模块用于采用所述可执行任务脚本对数据库的数据进行提取，生成下载文 件。8. 根据权利要求7所述的基于后台数据库配置进行数据下载的系统，其特征在于，所述 脚本生成模块包括任务创建单元、下载任务参数设定单元和任务脚本生成单元， 所述任务创建单元用于创建任务序号； 所述下载任务参数设定单元用于根据业务需求对所述任务序号对应的任务设定下载 任务参数，所述下载任务参数包括执行时间、执行间隔、执行流程、生成的下载文件类型、下 载文件保存路径和用于提取数据的任务脚本类型； 所述任务脚本生成单元用于将所述下载任务参数自动配置到配置表中，并形成对应的 可执行任务脚本。9. 根据权利要求7所述的基于后台数据库配置进行数据下载的系统，其特征在于，所述 下载模块包括选择单元、设定单元、下载单元和计算单元， 所述选择单元用于运行java程序，抽取符合条件的可执行任务脚本； 所述设定单元用于根据可执行任务脚本的类型，指定所述可执行任务脚本的运行方 式； 所述下载单元用于采用所述可执行任务脚本对数据库的数据进行提取，生成下载文件 和执行日志； 所述计算单元用于在全部文件下载结束后，根据所设定的执行间隔，计算出下次运行 所述可执行任务脚本的时间，并修改所述可执行任务脚本对应的配置表。10. 根据权利要求7~9任一所述的基于后台数据库配置进行数据下载的系统，其特征 在于，所下载的文件类型包括txt、csv、xlsx、xlsStar.gz。
【文档编号】G06F17/30GK106020944SQ201610290787
【公开日】2016年10月12日
【申请日】2016年5月4日
【发明人】王会国
【申请人】北京思特奇信息技术股份有限公司