一种基于可视化技术算法建模的方法和系统与流程

1.本发明涉及sql可视化算法模型技术领域，尤其涉及一种基于可视化技术算法建模的方法和系统。


背景技术：

2.随着科学技术的迅速发展，数据处理，特别是跨不同数据库，大量数据的处理越来越多，通过各种大数据平台和工具来对数据进行提取分析时，往往需要整合不同来源的数据，把不同数据库类型、不同表结构和字段是数据整合到一个大数据源库系统中，然后通过分析工具来进行sql语句的编写进行查询。
3.但是，首先，这种方式的处理过程需要具备一套大数据底座平台，而且要先进性数据清洗和整合，同时还需要用户具有大数据的专业能力和sql能力，用户通过sql编写好的语句或算法只能在现有的执行界面填入去执行，语句没办法分拆复用，下次遇到另一个复杂的数据分析时又要重新写一个sql语句；
4.其次，很多数据分析的时候往往会重复用到某些表和字段，同样的sql语句重复写多次，有时候还要去以前写过的的案例中找sql语句，还要重新梳理一遍业务逻辑，费事费力。
5.因此，虽然目前很大数据产品都具有很多sql运行的功能和产品，但是不能很好的解决不同数据库来源在没有大数据平台基础的情况下进行跨源分析、sql 语句重复编写和清晰展现业务逻辑的问题。


技术实现要素：

6.为了解决上述背景技术中所提到的技术问题，而提出的一种基于可视化技术算法建模的方法和系统。
7.为了实现上述目的，本发明采用了如下技术方案：
8.一种基于可视化技术算法建模系统，包括算子装配模块、模型装配模块、模型运行模块和结果查看模块；
9.所述算子装配模块，对算子的数据源配置、sql语句、输入/输出参数进行填写和编辑，且数据源配置支持多种不同的数据库类型，配置连接参数后进行保存，提供算子使用；
10.所述模型装配模块用于把算子拖拽到面板中，通过连接关系的配置组装成 sql可视化算法模型，设置连接关系的输入和输出参数的对应关系；
11.所述模型运行模块用于解析和运行sql可视化算法模型，并产生结果；
12.所述结果查看模块用于查看sql可视化算法模型运行结果，通过sql可视化算法模型各个算子节点展示的形式，对每个算子的运行日志和数据结果进行展示。
13.作为上述技术方案的进一步描述：
14.一种基于可视化技术算法建模的方法，包括以下步骤：
15.s1、装配算子：s11、创建算子，在算子创建界面可以配置图标、算子名称、样式、算
子分类和描述的基础信息；
16.s12、在脚本界面输入算子处理的sql语句，点击“格式化”按钮，对语句的格式化和数据源配置、输入输出信息的自动读取解析回填，并根据实际的数据源表选择数据来源；
17.s2、装配模型：s21、创建模型分类和模型：对模型的类型、名称和描述信息进行选择；
18.s22、模型创建后，在工具栏中“个人算子”、“算子超市”和“系统算子”中选择需要使用的算子，将算子拖拽到模型面板中，鼠标移动到算子下方的圆形图标可以进行连线，按业务需要连接算子，配置算子之间连接的输出和输入关联参数；
19.s23、最后配置一个输出算子，设置输出算子的输出参数，配置文本、数据库表的输出配置，点击“保存”按钮保存配置信息；
20.s3、运行模型：s31、模型配置完毕后，进行模型测试，点击工具栏的“测试”按钮，后台对模型的sql语句、连接关系和配置参数进行逻辑验证，测试通过后模型发布到模型超市进行运行；
21.s32、模型发布到超市后，在模型超市中选择模型，点击“运行”按钮，后台会读取模型信息、运行参数和配置参数解析sql可视化算法模型并在内存中进行计算运行，根据输出配置把结果输出并生成运行日志；
22.s4、在模型运行结束后，点击“查看”按钮，进入到模型运行结果查看页面，对模型进行概览、运行结果和运行日志的查看，日志以文本方式显示，运行结果数据可按每个节点的运行过程进行单个查看并下载。
23.作为上述技术方案的进一步描述：
24.在步骤s3中，通过内部缓存器进行数据的缓存，数据存储器和监测模块之间互相调用，存储sql可视化算法模型运行的旧数据和日志信息。
25.作为上述技术方案的进一步描述：
26.在步骤s3中，首先，模型运行模块遍历sql可视化算法模型具有的算子，按照算子的连接顺序，对每个算子的sql语句进行组装，组装后的sql语句在按照对应的运行方式进行运行，所有算子均执行成功后完成sql可视化算法模型的运行。
27.作为上述技术方案的进一步描述：
28.所述运行参数包括运行模式、内存大小和cpu核数，所述运行模式包括flinkapplication yarn、flink standalone和local方式。
29.综上所述，由于采用了上述技术方案，本发明的有益效果是：通过支持多种类型数据源，实现跨不同数据源的数据连接，不需要事先抽取用户数据进行汇总，首先，通过sql算子的配置，保存sql语句、输入/输出条件和参数等满足sql 语句的重复使用，减少sql的重复编写，其次，通过算子拖拽式的组装连接形成 sql可视化算法模型，减少sql的编写，通过算子和算子的连接关系清晰的展示 sql可视化算法模型的业务逻辑，最后，结合内部缓存器、数据存储器和监测模块，将模型运行时的每个节点的运行数据结果和日志情况进行保存记录，并通过结果显示模块，在sql可视化算法模型运行完毕后查看模型整体和单个节点的运行情况。
附图说明
30.图1示出了根据本发明实施例提供的一种基于可视化技术算法建模系统的局部结构示意图；
31.图2示出了根据本发明实施例提供的一种基于可视化技术算法建模的方法流程示意图；
32.图3示出了根据本发明实施例提供的一种基于可视化技术算法建模的方法的算子字段关联示意图。
具体实施方式
33.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
34.实施例一
35.请参阅图1-3，本发明提供一种技术方案：一种基于可视化技术算法建模系统，包括算子装配模块、模型装配模块、模型运行模块和结果查看模块，还包括内部缓存器、数据存储器和监测模块，内部缓存器用于暂存sql可视化算法模型中间运行的相关数据，数据存储器用于存放sql可视化算法模型中间节点数据和日志，监测模块用于监测sql可视化算法模型运行后各个节点的状态；
36.算子装配模块，对算子的数据源配置、sql语句、输入/输出参数进行填写和编辑，且数据源配置支持多种不同的数据库类型，配置连接参数后进行保存，提供算子使用，用于装配单一的算子配置，在sql可视化算法模型装配时进行使用，并支持不同sql可视化算法模型重复使用同一个算子；
37.模型装配模块用于把算子拖拽到面板中，通过连接关系的配置组装成sql可视化算法模型，设置连接关系的输入和输出参数的对应关系。
38.模型运行模块用于解析和运行sql可视化算法模型，并产生结果；
39.结果查看模块用于查看sql可视化算法模型运行结果，通过sql可视化算法模型各个算子节点展示的形式，对每个算子的运行日志和数据结果进行展示。
40.请参阅图1和图2，一种基于可视化技术算法建模的方法，包括以下步骤：
41.s1、装配算子：s11、创建算子，在算子创建界面可以配置图标、算子名称、样式、算子分类和描述等基础信息；
42.s12、在脚本界面输入算子处理的sql语句，点击“格式化”按钮，对语句的格式化和数据源配置、输入输出信息的自动读取解析回填，减少手动填写的繁琐工作量，并根据实际的数据源表选择数据来源；
43.s2、装配模型：s21、创建模型分类和模型：对模型的类型、名称和描述信息进行选择；
44.s22、模型创建后，在工具栏中“个人算子”、“算子超市”和“系统算子”中选择需要使用的算子，将算子拖拽到模型面板中，鼠标移动到算子下方的圆形图标可以进行连线，按业务需要连接算子，配置算子之间连接的输出和输入关联参数；
45.s23、最后配置一个输出算子，设置输出算子的输出参数，配置文本、数据库表的输出配置，点击“保存”按钮保存配置信息；
46.s3、运行模型：s31、模型配置完毕后，进行模型测试，点击工具栏的“测试”按钮，后台对模型的sql语句、连接关系和配置参数进行逻辑验证，测试通过后模型发布到模型超市进行运行；
47.s32、模型发布到超市后，在模型超市中选择模型，点击“运行”按钮，后台会读取模型信息、运行参数和配置参数解析sql可视化算法模型并在内存中进行计算运行，根据输出配置把结果输出并生成运行日志；
48.s4、在模型运行结束后，点击“查看”按钮，进入到模型运行结果查看页面，对模型进行概览、运行结果和运行日志的查看，日志以文本方式显示，运行结果数据可按每个节点的运行过程进行单个查看并下载。
49.具体的，在步骤s3中，通过内部缓存器进行数据的缓存，数据存储器和监测模块之间互相调用，存储sql可视化算法模型运行的旧数据和日志信息。
50.具体的，在步骤s3中，首先，模型运行模块遍历sql可视化算法模型具有的算子，按照算子的连接顺序，对每个算子的sql语句进行组装，组装后的sql语句在按照对应的运行方式进行运行，所有算子均执行成功后完成sql可视化算法模型的运行；
51.其次，在单个算子运行时，首先会找到算子配置的数据源，通过数据源的配置取查询对应的表和字段信息，然后，通过算子的sql语句与配置的连接关系进行解析组合成后台数据库可以运行的sql语句，放到内部缓存器中去运行，并把中间日志和数据存储在数据存储器中。
52.具体的，运行参数包括运行模式、内存大小和cpu核数，运行模式包括flinkapplicationyarn、flinkstandalone和local方式；
53.本发明通过支持多种类型数据源，实现跨不同数据源的数据连接，不需要事先抽取用户数据进行汇总，首先，通过sql算子的配置，保存sql语句、输入/输出条件和参数等满足sql语句的重复使用，减少sql的重复编写，其次，通过算子拖拽式的组装连接形成sql可视化算法模型，减少sql的编写，通过算子和算子的连接关系清晰的展示sql可视化算法模型的业务逻辑，最后，结合内部缓存器、数据存储器和监测模块，将模型运行时的每个节点的运行数据结果和日志情况进行保存记录，并通过结果显示模块，在sql可视化算法模型运行完毕后查看模型整体和单个节点的运行情况；
54.具体的，在创建算子时，在语句编辑框内输入sql语句，通过“格式化”按钮自动解析sql语句内的select、from、where等各部位的逻辑结构，然后提取select到from之间的字段填入到“配置输出信息”项中，把from带where之间的输入表和where语句后的使用到的输入表的字段获取并填入到“配置输入信息”项中，整个识别分析和回填的过程由系统完成，减少人工的手动输入；
55.比如“selects.zjhm,s.xmfrom${input}l,#{lqyd_qkry}swherel.sfzhm＝s.zjhm”语句，解析后把zjhm和xm字段配置到“配置输出信息”中，把input和sfzhm字段配置到“配置输入信息”中，这个算子实现了对接一个上级输入算子，这个输入算子的结果集用input替换，并且关联这个输入算子的输出字段与“sfzhm”进行关联。；
56.算子创建完后，便可以在建模过程中，将算子拖曳到画布中，在移动算子时会出现
连线提示，可以从算子的边缘拉出一条线与下一级的算子连接，通过连线将上下级算子连接起来，单击算子之间的连线，页面右边弹出连线的关系配置框，在配置框里面里面会展示下级算子的输入项，如果这个算子有多个输入项，就在“输入名称”的下拉框中进行选择，选择好后，便将这个输入项与上级算子进行关联，如图3所示；
57.输入项选择完后，会在下面展示上级算子的输出和算子的输入项具有的字段，选择相对应的字段进行配置即可建立上级算子的输出字段与下级算子的输入项的字段关联，比如：图3中上级算子“是否外来人员”与下级算子“风险评级”建立了连接，在连线中的“输入名称”中选择“wlry”这个输入项，便把“是否外来人员”的输出结果集与“风险评级”输入项中的“wlry”建立了关联，同时在“上级输出”中会列出“是否外来人员”算子的输出字段，这时候进行下拉选择，并右边选择“算子连接”中“wlry”的字段进行关联，这样相当于就把上级算子的输出表和输出字段与下级算子的输入项和输入项的字段进行一一映射，并把这个关系映射配置进行保存。
58.模型由多个算子组合连接形成，当模型运行时，后台会把每个算子的sql语句进行封装，每个算子会生成一个临时表存在内存中，把算子的输出和输入当做临时表的输出和输入。再根据算子连接关系的配置，把连接关系的输出和输入与临时表的输入和输出进行一一对应。运行时，从起始算子开始，单个计算每个算子的内容，获取算子的数据源信息，后台取数进行计算，把中间结果存储在数据存储器的中间表，每个算子对应一个结果输出的中间表。下一个算子计算时，再从前一个算子的中间表中取数与下一个算子获取到的数据集进行计算，数据结果也存在下一个算子的中间表中，依此进行，直到最后的算子计算完毕，并把结果存储最后的中间表。在根据最后的输出配置，是输出到指定数据库表还文本文件，根据配置进行结果数据的输出。
59.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，根据本发明的技术方案及其发明构思加以等同替换或改变，都应涵盖在本发明的保护范围之内。