基于低代码平台的数据处理和分析系统及方法与流程

本发明涉及数据处理和分析领域，尤其涉及基于低代码平台的数据处理和分析系统及方法。

背景技术：

1、随着数据量的爆炸式增长，数据处理和分析已成为企业获取洞察力、做出决策的关键步骤，然而传统的编程方法要求开发者具备深厚的编程知识和专业技能，限制了非专家用户进行数据处理和分析的能力。

2、而当前的数据处理和分析系统存在如下技术问题：固定数据获取窗口大小对动态数据流的适应性不足，当数据流量剧增或骤降时，固定数据获取窗口无法及时调整，导致数据处理的实时性和准确性下降；传统的标准化方法在处理数据时，难以消除不同量纲之间的影响，同时对于极端值的处理也不够有效，容易造成数据处理结果的不稳定性；在数据聚合过程中，传统的方法往往只考虑单一维度或时间因素，忽略了数据多维度特征的重要性以及数据随时间推移的动态变化，导致聚合结果难以全面反映数据的实际情况；低代码平台的用户在选择合适的数据分析模型时，缺乏必要的技术背景和经验，容易导致选择错误或不适用的模型。

3、故本发明提出了一种基于低代码平台的数据处理和分析系统及方法，通过提供快速、灵活、低成本的开发环境，帮助企业提升开发效率、响应市场变化、增强数据处理和分析能力，并在数字化转型的大潮中保持竞争力。

技术实现思路

1、本发明提供基于低代码平台的数据处理和分析系统及方法，以解决固定数据获取窗口大小对动态数据流的适应性不足，当数据流量剧增或骤降时，固定数据获取窗口无法及时调整，导致数据处理的实时性和准确性下降；传统的标准化方法在处理数据时，难以消除不同量纲之间的影响，同时对于极端值的处理也不够有效，容易造成数据处理结果的不稳定性；在数据聚合过程中，传统的方法往往只考虑单一维度或时间因素，忽略了数据多维度特征的重要性以及数据随时间推移的动态变化，导致聚合结果难以全面反映数据的实际情况；低代码平台的用户在选择合适的数据分析模型时，缺乏必要的技术背景和经验，容易导致选择错误或不适用的模型的技术问题。

2、本发明的基于低代码平台的数据处理和分析系统及方法，具体包括以下技术方案：

3、基于低代码平台的数据处理和分析方法，包括以下步骤：

4、s1：在获取数据过程中，引入自适应数据获取窗口算法，动态调整数据获取窗口大小，得到窗口获取数据；

5、s2：基于窗口获取数据，使用对数密度标准化算法进行数据处理，得到标准化后的窗口获取数据；

6、s3：基于标准化后的窗口获取数据进行数据聚合，得到聚合结果，并将每个时间点和业务维度的聚合结果整合成多维数据集；

7、s4：基于多维数据集，使用模型综合评分算法计算得到候选模型的综合评分，通过候选模型的综合评分选择模型，利用选择的模型对聚合处理后的数据进行分析。

8、优选的，所述s1，具体包括：

9、所述自适应数据获取窗口算法，结合了数据量的线性变化、非线性变化以及数据波动；通过对初始设定的数据获取窗口大小、数据量变化的调整系数、当前数据流中数据量变化、基准数据量、非线性调整系数、数据波动的标准差及波动调整系数进行计算，得到窗口获取数据。

10、优选的，所述s2，具体包括：

11、所述对数密度标准化算法，通过对数缩放以及引入数据密度调整系数和数据密度参数对窗口获取数据进行标准化处理，得到标准化后的窗口获取数据。

12、优选的，所述s3，具体包括：

13、在数据聚合的实现过程中，引入多维时间衰减权重聚合算法。

14、优选的，所述s3，具体包括：

15、所述多维时间衰减权重聚合算法，通过引入时间衰减因子和多维度业务优先级的动态权重，对标准化后的窗口获取数据进行聚合，得到聚合结果。

16、优选的，所述s4，具体包括：

17、所述模型综合评分算法，通过量化候选模型的计算效率和计算复杂度，得到候选模型的综合评分。

18、基于低代码平台的数据处理和分析系统，应用于上述的基于低代码平台的数据处理和分析方法，包括以下部分：

19、数据获取模块、数据处理模块、数据聚合模块、模型综合评分计算模块、模型选择模块；

20、数据获取模块：从数据库中实时获取数据，并引入自适应数据获取窗口算法，动态调整数据获取窗口大小，得到经过动态调整后的窗口获取数据，将窗口获取数据输入至数据处理模块；

21、数据处理模块：基于数据获取模块的窗口获取数据，使用对数密度标准化算法进行数据处理，得到标准化后的窗口获取数据，将标准化后的窗口获取数据输入至数据聚合模块；

22、数据聚合模块：基于数据处理模块的标准化后的窗口获取数据，采用多维时间衰减权重聚合算法进行数据聚合，得到聚合结果，将每个时间点和业务维度的聚合结果整合成多维数据集，将多维数据集输入至模型综合评分计算模块；

23、模型综合评分计算模块：基于数据聚合模块的多维数据集，使用模型综合评分算法计算得到候选模型的综合评分，将候选模型的综合评分输入至模型选择模块；

24、模型选择模块：基于模型综合评分计算模块的候选模型的综合评分，选择符合需求的模型。

25、本发明的技术方案的有益效果是：

26、1、通过自适应数据获取窗口算法，动态调整数据获取窗口的大小，综合考虑数据量的线性变化、非线性变化以及数据波动，能够适应数据流的动态变化，提高了基于低代码平台的数据处理和分析系统对数据变化的响应速度和准确性，避免了传统固定数据获取窗口大小难以适应数据流变化的问题。

27、2、使用对数密度标准化算法对窗口获取数据进行数据处理，通过对数缩放减少极端值的影响，并引入数据密度调整系数和数据密度参数进行适应性调整，提升了数据质量、提高了数据的稳定性和鲁棒性。

28、3、多维时间衰减权重聚合算法引入时间衰减因子和多维度业务优先级的动态权重，进行精细且灵活的聚合，时间衰减因子确保了数据的时效性，业务优先级权重则增强了聚合结果对业务需求的适应性。

29、4、使用模型综合评分算法，对每个候选模型的综合评分进行计算，提供了一个客观的标准，用于评估候选模型的性能和适用性，减少了用户在选择模型时的困惑和错误，帮助用户快速、准确地选择符合需求的模型，避免了因经验不足或误判导致的模型选择错误，提高了数据分析的效率和准确性。

30、5、模型综合评分算法通过对数函数和指数函数量化了计算效率和计算复杂度，能够适应不同规模的数据和资源需求，对不同场景具有良好的适应性，确保模型选择的科学性和公正性。

技术特征：

1.基于低代码平台的数据处理和分析方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于低代码平台的数据处理和分析方法，其特征在于，所述s1，具体包括：

3.根据权利要求2所述的基于低代码平台的数据处理和分析方法，其特征在于，所述s2，具体包括：

4.根据权利要求1所述的基于低代码平台的数据处理和分析方法，其特征在于，所述s3，具体包括：

5.根据权利要求4所述的基于低代码平台的数据处理和分析方法，其特征在于，所述s3，具体包括：

6.根据权利要求1所述的基于低代码平台的数据处理和分析方法，其特征在于，所述s4，具体包括：

7.基于低代码平台的数据处理和分析系统，应用于权利要求1所述的基于低代码平台的数据处理和分析方法，其特征在于，包括以下部分：

技术总结
本发明涉及数据处理和分析领域，尤其涉及基于低代码平台的数据处理和分析系统及方法。包括：在获取数据过程中，动态调整数据获取窗口大小，得到窗口获取数据；基于窗口获取数据，使用对数密度标准化算法进行数据处理，得到标准化后的窗口获取数据；基于标准化后的窗口获取数据进行数据聚合，得到聚合结果，并将每个时间点和业务维度的聚合结果整合成多维数据集；基于多维数据集，使用模型综合评分算法计算得到候选模型的综合评分。解决了固定数据获取窗口大小对动态数据流的适应性不足；低代码平台的用户在选择合适的数据分析模型时，缺乏必要的技术背景和经验，容易导致选择错误或不适用的模型的技术问题。

技术研发人员：张利锋
受保护的技术使用者：竞跃数字科技（山东）有限公司
技术研发日：
技术公布日：2024/9/12