存储容量端到端管理方法及系统与流程

存储容量端到端管理方法及系统
【技术领域】
1.本技术涉及互联网技术支撑领域的存储容量管理技术领域，尤其涉及一种存储容量端到端管理方法及系统。


背景技术：

2.it(internet technology，互联网技术)支撑领域内存储设备应用范围广，如何实现存储容量的有效使用及管理日益迫切。现有存储容量管理方法仅限于存储端的容量分配，无法有效监控主机平台内存储容量使用率，缺少对存储实际有效使用情况的跟踪管理，造成存储资源的浪费，无法实现存储容量的优化配置。并且，管理手段单一，多仅限于通过文件记录存储设备数量、分配容量等静态配置数据。
3.现有存储容量管理技术仅限于对存储端分配容量的记录管理，缺少对存储有效使用容量的监控追踪，并且将统计信息以文件记录的管理方式无法实现对使用情况变化的动态实时反应。主要存在如下缺点：
4.1.无法监控存储有效使用率情况
5.现有存储容量管理方法仅限于存储端的容量分配管理，无法监控主机平台内存储容量的使用率，缺少获取存储容量有效使用率的方法，造成存储资源的浪费，无法实现存储容量的优化配置。
6.2.存储容量管理信息滞后
7.现有的存储容量管理方法较为单一，多仅限于使用文件的方式来对存储设备数量、分配容量等信息进行记录。但此类管理统计信息为静态配置，多滞后于实际使用情况，需要人工的手动更新，无法实现配置信息的动态监控和实时自动追踪。
8.所以，迫切需要创建一种有效的存储至主机间的端到端容量管理解决方案，实现动态、自动化的存储统计数据收集展示等功能。


技术实现要素：

9.有鉴于此，本技术实施例提供了一种存储容量端到端管理方法及系统，用以解决现有技术存在的上述技术问题。
10.第一方面，本技术实施例提供了一种存储容量端到端管理方法，所述方法包括以下步骤：
11.基础配置信息订制收集：订制基础信息收集项列表，对涉及存储及主机进行配置数据收集整理工作，为容量管理实时统计分析提供基础数据输入；
12.存储有效容量实时管理统计：在存储涉及的主机端部署自动化配置脚本进行实时信息收集，并将收集结果以存储设备为单位进行动态汇总；
13.运维管理平台展示及决策支持：将存储容量管理同运维管理平台相整合。
14.本技术实施例所公开的方法中，所述基础配置信息订制收集的步骤包括：
15.订制基础配置信息的收集项内容；
16.搭建数据收集平台；
17.对存储及主机进行配置数据收集，为容量管理实时统计分析提供基础数据；
18.其中，所述内容包括存储配置数据和主机配置数据。
19.本技术实施例所公开的方法中，所述存储有效容量实时管理统计的步骤包括：
20.存储端接入主机的容量分配统计；
21.主机端自动化脚本对存储设备实际有效使用情况的运算收集；
22.以存储为单位的有效使用率汇总统计。
23.本技术实施例所公开的方法中，所述主机端自动化脚本对存储设备实际有效使用情况的运算收集的步骤包括：
24.管理平台服务器向各主机发出数据收集请求；
25.自动化脚本运行；
26.整理输出结果。
27.本技术实施例所公开的方法中，所述自动化脚本运行的步骤包括：
28.对主机类型进行判断，根据主机类型获取存储硬盘的文件系统实际使用空间情况；
29.对是否运行数据库进行判断，如果运行有数据库，则根据数据库类型及表空间名称，运行相应的数据库有效使用容量计算脚本，进而得出存储硬盘的数据库裸设备实际使用空间情况。
30.本技术实施例所公开的方法中，所述运维管理平台展示及决策支持的步骤包括：
31.开发同运维管理平台接口，实时统计展现存储与主机端的容量实际有效使用率；
32.灵活生成定制化报告，为存储容量精细化管理、配置优化等提供数据支持，创建有效的决策模式。
33.第二方面，本技术实施例提供了一种存储容量端到端管理系统，所述系统包括：
34.信息收集模块，用于订制基础信息收集项列表，对涉及存储及主机进行配置数据收集整理工作，为容量管理实时统计分析提供基础数据输入；
35.容量统计模块，用于在存储涉及的主机端部署自动化配置脚本进行实时信息收集，并将收集结果以存储设备为单位进行动态汇总；
36.平台管理模块，用于将存储容量管理同运维管理平台相整合。
37.第三方面，本技术实施例提供了一种电子设备，包括：存储器和处理器：
38.所述存储器，用于存储计算机程序；
39.所述处理器，用于执行所述存储器中存储的计算机程序，以使所述电子设备执行如第一方面所述的方法。
40.第四方面，本技术实施例提供了一种计算机可读存储介质，包括程序或指令，当所述程序或指令在计算机上运行时，如第一方面所述的方法被执行。
41.与现有技术相比，本技术方案至少具有如下有益效果：
42.本技术实施例所公开的存储容量端到端管理方法及系统，面向存储至主机间的端到端容量管理目标，通过主机端脚本订制部署，针对不同平台类型主机、不同主机端存储使用模式，实现存储有效使用容量的动态、自动化、实时统计收集展示，避免了现有存储容量管理方法中仅涉及统计存储端容量分配的片面性和配置信息采用文件手工记录的滞后性。
并且，将该端到端容量管理方法与运维管理平台相整合，提供存储容量管理多纬度视角的对比展现，完善端到端的存储容量管理实时可视性，提升运维管理水平，灵活生成定制化报告，为存储容量精细化管理、配置优化等提供数据参考，辅助决策支持，技术优点突出。
【附图说明】
43.为了更清楚地说明本技术实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
44.图1是本技术实施例1所提供的存储容量端到端管理方法的步骤示意图；
45.图2是本技术实施例1所提供的存储容量端到端管理方法中基础配置信息订制收集的步骤示意图；
46.图3是本技术实施例1所提供的存储容量端到端管理方法中存储有效容量实时管理统计的步骤示意图；
47.图4是本技术实施例1所提供的存储容量端到端管理方法中所使用的模块的结构示意图；
48.图5是本技术实施例1所提供的存储容量端到端管理方法中主机端自动化脚本对存储设备实际有效使用情况的运算收集的步骤示意图；
49.图6是本技术实施例1所提供的存储容量端到端管理方法中运维管理平台存储容量端到端管理展现示意图；
50.图7是本技术实施例2所提供的存储容量端到端管理系统的结构示意图。
51.附图标记：
52.1-信息收集模块；
53.2-容量统计模块；
54.3-平台管理模块。
【具体实施方式】
55.为了更好的理解本技术的技术方案，下面结合附图对本技术实施例进行详细描述。
56.应当明确，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本技术保护的范围。
57.实施例1
58.本技术实施例1公开了一种存储容量端到端管理方法，能够有效解决现有技术所存在的下述两个技术问题：
59.1、存储有效使用率的监控管理
60.在不影响存储及主机现有运行配置的情况下，编辑自动化脚本，部署至各相关主机，进行主机端存储容量有效使用率的自动统计，包括主机端存储设备使用类型的自动判断、文件系统及表空间的使用率统计、主机平台所收集数据在存储端的合理汇聚等，实现对存储有效使用率的监控管理。
61.2、存储容量的动态实时管理
62.进行主机端的存储配置信息收集，完善存储至主机端的基础数据统计，避免传统管理方法中仅限于管理存储空间分配量的片面局限性。结合自动化脚本部署，进行存储容量动态统计，实现主机至存储的端到端容量空间实时管理。
63.如图1所示，本技术实施例所公开的方法包括以下步骤：
64.step100：基础配置信息订制收集：订制基础信息收集项列表，对涉及存储及主机进行配置数据收集整理工作，为容量管理实时统计分析提供基础数据输入；
65.step200：存储有效容量实时管理统计：在存储涉及的主机端部署自动化配置脚本进行实时信息收集，并将收集结果以存储设备为单位进行动态汇总，实现主机至存储的端到端容量空间实时管理；
66.step300：运维管理平台展示及决策支持：将存储容量管理同运维管理平台相整合。从而提供存储容量管理多纬度视角的对比展现，完善端到端的存储容量管理实时可视性，提升运维管理水平，灵活生成定制化报告，为存储容量精细化管理、配置优化等决策提供数据支持。
67.如图2所示，进一步地，本技术实施例所公开的方法中，基础配置信息订制收集的步骤包括：
68.step101：订制基础配置信息的收集项内容；
69.step102：搭建数据收集平台；
70.step103：对存储及主机进行配置数据收集，为容量管理实时统计分析提供基础数据。
71.其中，内容包括存储配置数据和主机配置数据。该存储配置数据包括存储品牌及型号、物理容量、逻辑容量、所连接主机列表及对应分配容量等；该主机配置数据包括主机操作系统类型、是否使用数据库及数据库软件类型、数据库表空间名称等。将存储及主机配置数据输入相关管理系统内，生成存储分配容量分配率数据及主机映射表，并编辑相应的配置文件，作为运行自动化脚本的输入参数。
72.如图3所示，进一步地，本技术实施例所公开的方法中，存储有效容量实时管理统计的步骤包括：
73.step201：存储端接入主机的容量分配统计；
74.step202：主机端自动化脚本对存储设备实际有效使用情况的运算收集；
75.step203：以存储为单位的有效使用率汇总统计。
76.在连接存储的主机端部署自动化配置脚本，对主机端所使用的存储设备容量进行实时统计，并将输出结果以存储设备为单位进行动态汇总，实现主机至存储的端到端容量空间实时管理，达到对存储容量精细管理的目的。
77.如图4所示的是本技术实施例所公开的方法中所使用的模块的结构示意图，收集统计方法包括存储端接入主机的容量分配统计、主机端自动化脚本对存储设备实际有效使用情况的运算收集、以存储为单位的有效使用率汇总统计三个模块。
78.在步骤step201中，基于step100所搭建的基础配置信息订制收集平台，获取存储和相关主机的基础配置信息，记录存储端接入主机的容量分配信息，进行处理加工，生成配置文件，供后续计算模块使用。
79.具体而言，现网系统内拥有多台不同品牌的存储设备，结合存储品牌类型对各存储设备进行命名，如emc5363、emc2201、hds11287等，并整理各存储的物理容量、逻辑容量、分配容量、分配主机等信息以备使用；
80.各存储所连接的主机平台类型多样，包括aix、linux、hp-unix等多种开放平台系统，考虑自动化脚本收集数据的操作便利性，将主机ip作为主机名输入，使用aix、sol等标识主机操作系统类型。同时，确认主机运行应用类型，如无数据库则标记为nodb，如运行有数据库则将数据库类型及实例名称作为标记，如sjjs、ivr1等。
81.结合上述收集信息，编制配置文件，格式如下：
82.存储名称主机ip地址数据库实例名称数据库类型操作系统类型
83.实例如下：
84.emc2460 10.181.103.9nodb none aix
85.emc2460 10.175.104.11nodb none sol
86.emc5620 10.181.17.142nodb none aix
87.emc3751 10.175.129.54ivr1 oracle aix
88.emc3751 10.175.129.55nodb none linux
89.emc5669 10.175.129.52dhjl1 db2 aix
90.……
91.在步骤step202中，主机端自动化脚本运算收集模块，根据配置文件输入，自动选取主机平台类型、存储运行模式及对应的数据抓取方法，实现实时动态收集存储设备在主机平台上各种模式(文件系统、数据库等)的有效使用率情况。
92.其中，主机端所使用的存储容量的实时统计，分为两种情况，第一种为存储硬盘挂接为文件系统模式使用，直接统计汇总各文件系统实际有效使用空间；第二种为存储硬盘挂接为裸设备模式供数据库使用，调用数据库脚本方法，运算统计数据库的实际有效使用率，从而实现了各种情形下主机端存储实际有效使用容量的统计汇总。
93.存储容量动态实时统计收集方法模块的运行流程如下：
94.a.管理平台服务器向各主机发出数据收集请求；
95.b.自动化脚本运行，首先对主机类型进行判断，根据主机类型获取存储硬盘的文件系统实际使用空间情况；然后对是否运行数据库进行判断，如果运行有数据库，则根据数据库类型及表空间名称，运行相应的数据库有效使用容量计算脚本，进而得出存储硬盘的数据库裸设备实际使用空间情况。
96.c.整理输出结果，以单台存储为单位，记录下各主机内使用该存储的文件系统/数据库裸设备的实际有效使用容量，为端到端存储容量有效管理提供基础数据。
97.具体而言，自动化收集脚本部署于各主机平台，采取安全协议，从管理平台向各主机定时发起运行请求，对各主机端连接存储设备的实际有效使用率进行实时查询汇总。主机平台上所部署的自动化收集脚本autocollect.sh的文件版本如下：
98.[0099][0100]
在步骤step203中，基于自动化脚本运算收集模块的输出结果，以存储为单位进行自动汇总，实时展现存储容量有效使用率。
[0101]
自动化脚本提供输出结果整合功能，将输出结果以存储为单位汇总，包括该存储在各主机内的应用[文件系统/表空间]实际有效使用率，为后期的存储实际有效使用率统计提供数据基础。输出结果示例如下：
[0102]
emc1686|10.175.3.5|ts_gprs_796_01|495320|375122|75.7％
[0103]
emc1686|10.175.3.5|ts_gsm_793_ind|221166|167276|75.6％
[0104]
emc1686|10.175.3.5|ts_gprs_796_ind|148404|112055|75.5％
[0105]
emc1686|10.175.12.8|ts_gsm_790|393184|295933|75.2％
[0106]
emc1686|10.175.12.8|ts_gprs_791_jy|2759526|2061438|74.7％
[0107]
emc1686|10.175.105.11|ts_gprs_792|540628|402879|74.5％
[0108]
emc1686|10.175.105.11|/bossdb1|211759|156532|73.9％
[0109]
emc1686|10.175.105.11|/bossdb2|520854|382434|73.4％
[0110]
…
[0111]
如图5所示，进一步地，本技术实施例所公开的方法中，主机端自动化脚本对存储设备实际有效使用情况的运算收集的步骤包括：
[0112]
step301：管理平台服务器向各主机发出数据收集请求；
[0113]
step302：自动化脚本运行；
[0114]
step303：整理输出结果。
[0115]
其中，自动化脚本运行的流程包括：
[0116]
①
对主机类型进行判断，根据主机类型获取存储硬盘的文件系统实际使用空间情况；
[0117]
②
对是否运行数据库进行判断，如果运行有数据库，则根据数据库类型及表空间名称，运行相应的数据库有效使用容量计算脚本，进而得出存储硬盘的数据库裸设备实际使用空间情况。
[0118]
进一步地，运维管理平台展示及决策支持的流程包括：
[0119]
①
开发同运维管理平台接口，实时统计展现存储与主机端的容量实际有效使用率；
[0120]
②
灵活生成定制化报告，为存储容量精细化管理、配置优化等提供数据支持，创建有效的决策模式。
[0121]
采用步骤step300的主机端自动化脚本对存储设备实际有效使用情况的运算收集，能够开发同运维管理平台接口，实时统计展现存储与主机端的容量实际有效使用率，实现存储分配容量、主机端使用容量、存储实际有效使用容量等多纬度视角的对比展现，提供端到端的存储容量实时可视性，提高运维管理水平；灵活生成定制化报告，为存储容量精细化管理、配置优化等提供数据支持，创建有效的决策模式。
[0122]
如图6所示，开发运维管理平台接口，部署实施存储与主机间的端到端容量管理模块，实现存储端容量有效使用率、主机端存储资源有效使用率、主机内各应用实际存储使用率的多层次、动态数据展现和分析，为辅助决策提供数据支持。
[0123]
实施例2
[0124]
如图7所示，本技术实施例2公开了一种存储容量端到端管理系统，系统包括：
[0125]
信息收集模块1，用于订制基础信息收集项列表，对涉及存储及主机进行配置数据收集整理工作，为容量管理实时统计分析提供基础数据输入；
[0126]
容量统计模块2，用于在存储涉及的主机端部署自动化配置脚本进行实时信息收集，并将收集结果以存储设备为单位进行动态汇总；
[0127]
平台管理模块3，用于将存储容量管理同运维管理平台相整合。
[0128]
本技术实施例所公开的存储容量端到端管理系统，通过脚本订制，实现存储至主机间端到端有效使用容量的动态、自动化、实时统计收集展示，避免了现有存储容量管理方法中仅涉及统计存储端容量分配的片面性和配置统计信息采用文件手工记录的滞后性。是
本提案的关键核心点。同时，实现了与运维管理平台的整合，提供存储容量管理多纬度视角的对比展现，完善端到端的存储容量管理实时可视性，辅助决策支持。
[0129]
本技术实施例还提供了一种电子设备，包括：存储器和处理器：
[0130]
存储器，用于存储计算机程序；
[0131]
处理器，用于执行存储器中存储的计算机程序，以使电子设备执行本技术实施例1所公开的文本溯源检测方法。
[0132]
本技术实施例还提供了一种计算机可读存储介质，包括程序或指令，当程序或指令在计算机上运行时，本技术实施例1所公开的文本溯源检测方法被执行。
[0133]
本技术实施例所公开的存储容量端到端管理方法及系统，面向存储至主机间的端到端容量管理目标，通过主机端脚本订制部署，针对不同平台类型主机、不同主机端存储使用模式，实现存储有效使用容量的动态、自动化、实时统计收集展示，避免了现有存储容量管理方法中仅涉及统计存储端容量分配的片面性和配置信息采用文件手工记录的滞后性。并且，将该端到端容量管理方法与运维管理平台相整合，提供存储容量管理多纬度视角的对比展现，完善端到端的存储容量管理实时可视性，提升运维管理水平，灵活生成定制化报告，为存储容量精细化管理、配置优化等提供数据参考，辅助决策支持，技术优点突出。
[0134]
以上仅为本技术的较佳实施例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。