脚本管理系统、脚本管理方法及计算机可读介质与流程

本发明主要涉及数据开发自动化，具体地涉及一种脚本管理系统、脚本管理方法及计算机可读介质。

背景技术：

1、目前，企业系统中的数据呈现出多样化、多元化和海量的特点，这使得传统数据分析方式面临诸多挑战，并且传统的软件(例如脚本管理软件)开发方式效率低下、步骤繁琐且重复，难以预判软件模型错误，导致模型维护成本高昂。由于企业系统规模庞大，传统数据库的数据需要按照统一的标准接入数据中台，这使得人工建模和脚本开发成本急剧增加，建设效率大幅下降。此外，快速交付和迭代开发等研发模式的转变也对数据开发工程师提出了更高的要求。然而，每个工程师在模型的规范化、统一化和标准化方面难以保持一致，给下游开发人员带来了一定的困扰，导致人力成本提高。

2、目前市面上缺乏一套功能齐全、成熟的自动化生成脚本和部署包软件，大部分仍依赖于手动开发sql(structured query language)脚本或简单的脚本执行工具，手动开发脚本会延长开发周期，在处理大数据海量开发任务时，这种方式的效率极其低下。现有工具的可扩展性差也是一个问题，现有的自动执行脚本工具通常是针对特定需求场景“一对一”使用，难以实现自动化功能的“一对多”拓展。随着需求的不断扩展和调整，这种工具会导致版本众多、使用复杂等问题。处理效率低下和时效性差也是现有技术中的一大缺陷，由于缺乏高效的可扩展性，新场景出现时需要针对自动化工具(例如脚本管理系统)的底层代码进行调整，导致开发效率低下，功能稳定性无法保证。

技术实现思路

1、本申请所要解决的技术问题是提供一种脚本管理系统、脚本管理方法及计算机可读介质，可以自动化生成脚本语句及脚本部署包，提高了脚本数据开发人员的开发效率，降低了人工开发成本，可以满足大批量模型建设、脚本开发、脚本部署的需求。

2、本申请为解决上述技术问题而采用的技术方案是一种脚本管理系统，包括：模型标准化模块，用于根据模型模板对原始模型文件进行模型标准化处理从而生成标准模型文件；自动化脚本生成模块，用于对标准模型文件进行脚本生成处理从而得到脚本语句；部署包生成模块，用于将脚本语句封装为脚本部署包，脚本部署包用于部署于服务器；模型模板配置模块，用于对模型模板的模型配置信息进行增加操作、删除操作、修改操作中的一种或任意种的组合；以及日志打印窗口模块，包括可视化界面，可视化界面用于输出操作信息，操作信息包括模型标准化模块中、自动化脚本生成模块中、部署包生成模块中、模型模板配置模块中的执行结果、执行进程和报错信息中的一种或任意种的组合。

3、在本申请的一实施例中，模型标准化模块中，模型模板包括词根库文件，在根据模型模板对原始模型文件进行模型标准化处理的过程中，包括步骤sa：根据词根库文件将原始模型文件中的中文字段名转换为英文字段名。

4、在本申请的一实施例中，模型标准化模块中，在步骤sa之后，还包括步骤sb：在可视化界面上输出原始模型文件中不符合模型模板的字段在原始模型文件中的第一模型名称和第一模型位置。

5、在本申请的一实施例中，自动化脚本生成模块中，脚本语句包括数据库建表语句和/或数据库操作脚本语句。

6、在本申请的一实施例中，自动化脚本生成模块中，在对标准模型文件进行脚本生成处理的过程中，包括：在可视化界面上输出标准模型文件中存在重复字段的第二模型名称、第二模型位置、重复字段名称。

7、在本申请的一实施例中，模型模板配置模块中，模型配置信息包括：模型名称、目标数据库名、表名、表名中文名称、字段名、字段中文名称、字段类型、是否分区字段、序号、来源库名、来源表名、来源字段名、关联条件、加工逻辑、缩写词汇路径、基础词汇、剔除词汇中的一种或任意种的组合。

8、在本申请的一实施例中，日志打印窗口模块中，操作信息还包括用户的操作指令。

9、本申请为解决上述技术问题还提出一种脚本管理方法，使用如上的脚本管理系统，包括：获取原始模型文件，原始模型文件包括一个或者多个；获取模型模板的模型配置信息；根据模型模板对原始模型文件进行模型标准化处理，生成标准模型文件；对标准模型文件进行脚本生成处理，生成脚本语句；将脚本语句封装为脚本部署包；以及在可视化界面上输出脚本管理过程中的执行结果、执行进程和报错信息中的一种或任意种的组合。

10、在本申请的一实施例中，在根据模型模板对原始模型文件进行模型标准化处理的步骤中，包括：根据模型模板的词根库文件将原始模型文件中的中文字段名转换为英文字段名；将英文字段名回填至原始模型文件中的对应位置。

11、本申请为解决上述技术问题还提出一种存储有计算机程序代码的计算机可读介质，计算机程序代码在由处理器执行时实现如上的脚本管理方法。

12、本申请的技术方案通过构建模型标准化模块、自动化脚本生成模块、部署包生成模块、模型模板配置模块、日志打印窗口模块，能够提供基于可视化界面的自动化生成脚本语句及其部署包的功能。本申请通过提供可视化界面，可以帮助开发人员快速、准确地完成脚本模型开发和部署工作。开发人员可以根据实际需求灵活配置模型模板，能够根据原始模型文件快速生成所需的脚本模型结果，也能尽可能减少人工错误，从而减少人工环节的成本，显著提升了脚本模型开发和部署的效率。本申请可以满足大批量模型建设和脚本开发的需求。

技术特征：

1.一种脚本管理系统，其特征在于，包括：

2.如权利要求1所述的脚本管理系统，其特征在于，所述模型标准化模块中，所述模型模板包括词根库文件，在根据模型模板对原始模型文件进行模型标准化处理的过程中，包括步骤sa：根据所述词根库文件将所述原始模型文件中的中文字段名转换为英文字段名。

3.如权利要求2所述的脚本管理系统，其特征在于，所述模型标准化模块中，在所述步骤sa之后，还包括步骤sb：在所述可视化界面上输出所述原始模型文件中不符合所述模型模板的字段在所述原始模型文件中的第一模型名称和第一模型位置。

4.如权利要求1所述的脚本管理系统，其特征在于，所述自动化脚本生成模块中，所述脚本语句包括数据库建表语句和/或数据库操作脚本语句。

5.如权利要求1所述的脚本管理系统，其特征在于，所述自动化脚本生成模块中，在对所述标准模型文件进行脚本生成处理的过程中，包括：在所述可视化界面上输出所述标准模型文件中存在重复字段的第二模型名称、第二模型位置、重复字段名称。

6.如权利要求1所述的脚本管理系统，其特征在于，所述模型模板配置模块中，所述模型配置信息包括：模型名称、目标数据库名、表名、表名中文名称、字段名、字段中文名称、字段类型、是否分区字段、序号、来源库名、来源表名、来源字段名、关联条件、加工逻辑、缩写词汇路径、基础词汇、剔除词汇中的一种或任意种的组合。

7.如权利要求1所述的脚本管理系统，其特征在于，所述日志打印窗口模块中，所述操作信息还包括用户的操作指令。

8.一种脚本管理方法，其特征在于，使用如权利要求1-7任一项所述的脚本管理系统，包括：

9.如权利要求8所述的脚本管理方法，其特征在于，在根据所述模型模板对所述原始模型文件进行模型标准化处理的步骤中，包括：

10.一种存储有计算机程序代码的计算机可读介质，其特征在于，所述计算机程序代码在由处理器执行时实现如权利要求8或9所述的脚本管理方法。

技术总结
本发明涉及一种脚本管理系统、脚本管理方法及计算机可读介质，脚本管理系统包括：模型标准化模块，用于根据模型模板对原始模型文件进行模型标准化处理从而生成标准模型文件；自动化脚本生成模块，用于对标准模型文件进行脚本生成处理从而得到脚本语句；部署包生成模块，用于将脚本语句封装为脚本部署包；模型模板配置模块，用于对模型模板的模型配置信息进行增加、删除、修改操作；日志打印窗口模块，包括用于输出操作信息的可视化界面，操作信息包括模型标准化模块中、自动化脚本生成模块中、部署包生成模块中、模型模板配置模块中的执行结果、执行进程和报错信息中的一种或任意种的组合。本发明可以提高脚本数据开发人员的开发效率。

技术研发人员：沈慧清,陆尔东,汪健,彭春红,徐洪,楚军,贺朝辉,任熊
受保护的技术使用者：太保科技有限公司
技术研发日：
技术公布日：2024/3/27