动态扩缩容方法及装置与流程

本发明涉及数据处理，尤其涉及一种动态扩缩容方法及装置。

背景技术：

1、随着城市轨道交通建设的不断发展，城轨智慧应用需求不断增加，为城轨大数据的采集、挖掘、分析和存储能力带来了挑战。在引入新的业务功能或者调整现有的业务流程时，经常遇到随着运算任务的增多，现有的数据仓库规模可以无法满足业务需求。比如数据中间层、数据应用层的数据存储空间不足，或者查询缓慢，此时需要增加数据存储服务。或者，当业务萎缩或者高峰过后，大部分资源可能处于空闲状态，需要进行缩容操作以节约成本。数据仓库存储需要根据需求动态分配和释放存储资源，以实现资源的有效利用和成本的最小化。

2、相关技术中，扩缩容方面相对较为复杂，需要手动进行管理。在扩缩容时，需要添加新的节点并进行相应的配置和调优，手动调整数据分布和节点负载，并进行相应的数据迁移和重分区操作。此种人工参与的方式费事费力，并且容易出错，灵活性和及时性较差，效率较低。

技术实现思路

1、本发明提供一种动态扩缩容方法及装置，用以解决现有技术中传统的人工参与扩缩容的方式容易出错，灵活性和及时性较差，效率较低的缺陷，实现更好地自动化扩缩容。

2、本发明提供一种动态扩缩容方法，应用于数据仓库动态扩缩容监控系统，所述数据仓库动态扩缩容监控系统用于对数据仓库所依赖的集群的状态数据进行监控，所述数据仓库所依赖的集群采用至少一台前端服务器结合至少一台后端服务器的集群部署策略，所述前端服务器用于响应前端的客户端请求，所述后端服务器用于负责数据的存储和查询执行工作，所述方法包括：

3、按照时间维度访问所述集群的状态数据，将访问到的时序监控数据存储至时序数据库，所述时序监控数据包括所述前端服务器的时序监控数据以及所述后端服务器的时序监控数据；

4、获取预设采样周期内所述时序数据库中所存储的所述前端服务器对应的至少一个第一监控指标下的时序监控数据，以及，所述后端服务器对应的至少一个第二监控指标下的时序监控数据；

5、根据所述至少一个第一监控指标下的时序监控数据以及所述至少一个第二监控指标下的时序监控数据，通过预设扩缩容策略对所述数据仓库所依赖的集群进行扩缩容，所述预设扩缩容策略是根据所述数据仓库的城轨大数据业务需求制定的。

6、根据本发明提供的一种动态扩缩容方法，所述根据所述至少一个第一监控指标下的时序监控数据以及所述至少一个第二监控指标下的时序监控数据，通过所述数据仓库对应的扩缩容策略对所述数据仓库所依赖的集群进行扩缩容，包括：

7、在监控到所述至少一个第一监控指标下的时序监控数据满足预设前端服务器扩缩容条件的情况下，对前端服务器进行扩缩容；

8、或者，

9、在监控到所述至少一个第二监控指标下的时序监控数据满足预设后端服务器扩缩容条件的情况下，对后端服务器进行扩缩容。

10、根据本发明提供的一种动态扩缩容方法，所述至少一个第一监控指标包括至少一个性能监控指标、一个前端服务器状态监控指标以及一个元数据一致性监控指标，所述预设前端服务器扩缩容条件包括预设前端服务器扩容条件以及预设前端服务器缩容条件；

11、其中，所述预设前端服务器扩容条件包括以下至少一项：

12、存在至少一个所述性能监控指标在连续第一目标个所述预设采样周期下的时序监控数据高于所述性能监控指标对应的上限阈值；

13、所有的所述性能监控指标对应的综合性能时序监控数据高于综合性能门限阈值，所述综合性能时序监控数据是对所有的所述性能监控指标下的时序监控数据进行加权求和得到的；

14、所述元数据一致性监控指标下的时序监控数据高于所述元数据一致性监控指标对应的上限阈值；

15、所述前端服务器状态监控指标下的时序监控数据为第一预设类型数据，所述第一预设类型数据表征前端服务器实例发生故障；

16、其中，所述预设前端服务器缩容条件包括以下至少一项：

17、存在至少一个所述性能监控指标在连续第二目标个所述预设采样周期下的时序监控数据低于所述性能监控指标对应的下限阈值；

18、所有的所述性能监控指标对应的综合性能时序监控数据低于所述综合性能门限阈值。

19、根据本发明提供的一种动态扩缩容方法，所述前端服务器包括主服务器以及备用服务器，所述元数据一致性监控指标下的时序监控数据为所述主服务器的最大元数据日志id与所述备用服务器的最大元数据日志id之间的差值。

20、根据本发明提供的一种动态扩缩容方法，所述至少一个第二监控指标包括至少一个负载监控指标以及一个后端服务器状态监控指标，所述预设后端服务器扩缩容条件包括预设后端服务器扩容条件以及预设后端服务器缩容条件；

21、其中，所述预设后端服务器扩容条件包括以下至少一项：

22、存在至少一个所述负载监控指标在连续第三目标个所述预设采样周期下的时序监控数据高于所述负载监控指标对应的上限阈值；

23、所有的所述负载监控指标对应的综合负载时序监控数据高于综合负载门限阈值，所述综合负载时序监控数据是对所有的所述负载监控指标下的时序监控数据进行加权求和得到的；

24、所述后端服务器状态监控指标下的时序监控数据为第二预设类型数据，所述第二预设类型数据表征后端服务器实例发生故障；

25、其中，所述预设后端服务器缩容条件包括以下至少一项：

26、存在至少一个所述负载监控指标在连续第四目标个所述预设采样周期下的时序监控数据低于所述负载监控指标对应的下限阈值；

27、所有的所述负载监控指标对应的综合负载时序监控数据低于所述综合负载门限阈值。

28、根据本发明提供的一种动态扩缩容方法，所述方法还包括：

29、在需对所述数据仓库所依赖的集群中添加新节点进行扩容的情况下，将所述新节点添加至所述集群中，重启所述数据仓库所依赖的集群中的所有节点后。

30、根据本发明提供的一种动态扩缩容方法，所述方法还包括：

31、在用户监控界面中按照可视化时序监控数据，所述时序监控数据包括所述至少一个第一监控指标下的时序监控数据以及所述至少一个第二监控指标下的时序监控数据；

32、在所述时序监控数据达到预设触发报警条件时，通过预设报警通知方式向相应的终端进行报警，其中，所述预设触发报警条件与所述预设报警通知方式是基于所述用户监控界面配置的。

33、本发明还提供一种动态扩缩容装置，应用于数据仓库动态扩缩容监控系统，所述数据仓库动态扩缩容监控系统用于对数据仓库所依赖的集群的状态数据进行监控，所述数据仓库所依赖的集群采用至少一台前端服务器结合至少一台后端服务器的集群部署策略，所述前端服务器用于响应前端的客户端请求，所述后端服务器用于负责数据的存储和查询执行工作，所述装置包括：

34、数据访问模块，用于按照时间维度访问所述集群的状态数据，将访问到的时序监控数据存储至时序数据库，所述时序监控数据包括所述前端服务器的时序监控数据以及所述后端服务器的时序监控数据；

35、监控指标模块，用于获取预设采样周期内所述时序数据库中所存储的所述前端服务器对应的至少一个第一监控指标下的时序监控数据，以及，所述后端服务器对应的至少一个第二监控指标下的时序监控数据；

36、扩缩容模块，用于根据所述至少一个第一监控指标下的时序监控数据以及所述至少一个第二监控指标下的时序监控数据，通过预设扩缩容策略对所述数据仓库所依赖的集群进行扩缩容，所述预设扩缩容策略是根据所述数据仓库的城轨大数据业务需求制定的。

37、本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述动态扩缩容方法。

38、本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述动态扩缩容方法。

39、本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述动态扩缩容方法。

40、本发明提供的动态扩缩容方法及装置，应用于数据仓库动态扩缩容监控系统，数据仓库动态扩缩容监控系统用于对数据仓库所依赖的集群的状态数据进行监控，数据仓库所依赖的集群采用至少一台前端服务器结合至少一台后端服务器的集群部署策略，前端服务器用于响应前端的客户端请求，后端服务器用于负责数据的存储和查询执行工作，具体地，数据仓库动态扩缩容监控系统通过按照时间维度访问集群的状态数据，将访问到的时序监控数据存储至时序数据库，时序监控数据包括前端服务器的时序监控数据以及后端服务器的时序监控数据；接着获取预设采样周期内时序数据库中所存储的前端服务器的时序监控数据对应的至少一个第一监控指标下的时序监控数据，以及，后端服务器的时序监控数据对应的至少一个第二监控指标下的时序监控数据；最后根据至少一个第一监控指标下的时序监控数据以及至少一个第二监控指标下的时序监控数据，通过预设扩缩容策略对数据仓库所依赖的集群进行扩缩容，预设扩缩容策略是根据数据仓库的城轨大数据业务需求制定的，一方面使用前端服务器结合后端服务器的分布式集群架构构建出数据仓库，确保可自动化灵活地进行扩缩容。另一方面针对数据仓库，按照时间维度访问并监控各监控指标下的时序监控数据，并结合预先根据城轨大数据业务需求制定好的预设扩缩容策略进行自动化地扩缩容，能更简单、更高效且及时地对数据仓库所依赖的集群进行扩缩容，进而能够更好地满足城轨大数据数仓的扩缩容业务需求。