分布式文件系统的容量监测方法、相关装置及存储介质与流程

1.本技术涉及计算机技术领域，特别涉及一种分布式文件系统的容量监测方法、相关装置及存储介质。


背景技术：

2.随着银行信息化的不断发展，各个业务系统之间的交互愈发频繁，为此各家商业银行分别建立了自身的数据仓库，用于内部各系统之间的数据共享。
3.传统的数据仓库一般采用文件交互的方式进行数据传递，即源系统采用文件传输的方式将数据推送至数据仓库的缓冲层所使用的nas存储完成数据质量检核后将数据存储至数据仓库中，供下游应用系统使用。
4.但是，随着银行业务的不断发展，特别是系统数量增加、数据量的不断增长，数据仓库所接收的源文件数量、大小、数据类型越来越多，目前针对这些海量文件，暂无高效的监测方法。


技术实现要素：

5.有鉴于此，本技术提供一种分布式文件系统的容量监测方法、相关装置及存储介质，用于对分布式文件系统的容量进行高效地监测。
6.本技术第一方面提供了一种分布式文件系统的容量监测方法，包括：
7.每隔预设时间对网络附属存储卷的容量情况进行监测，得到所述网络附属存储卷的当前容量；
8.判断所述网络附属存储卷的当前容量是否超过次要告警阈值；
9.若判断出所述网络附属存储卷的当前容量超过次要告警阈值，则判断所述网络附属存储卷的当前容量是否超过主要告警阈值；其中，所述主要告警阈值大于所述次要告警阈值；
10.若判断出所述网络附属存储卷的当前容量未超过主要告警阈值，对所述网络附属存储卷中的每一个目录空间进行扫描，得到第一扫描结果，并返回执行所述每隔预设时间对网络附属存储卷的容量情况进行监测，得到所述网络附属存储卷的当前容量步骤；
11.若判断出所述网络附属存储卷的当前容量超过主要告警阈值，对所述网络附属存储卷中的每一个目录空间进行扫描，得到第二扫描结果；
12.根据所述第一扫描结果和所述第二扫描结果，确定异常目录清单。
13.可选的，所述根据所述第一扫描结果和所述第二扫描结果，确定异常目录清单，包括：
14.针对第二扫描结果中的每一个目录的当前大小，判断所述目录的当前大小是否超过所述目录的空间大小阈值；其中，所述目录的空间大小阈值根据季度内固定统计的均值与预先设定百分比的积；
15.若判断出所述目录的当前大小超过所述目录的空间大小阈值，判断当前日期是否
为业务组件的特殊业务日期；
16.若判断出当前日期不为业务组件的特殊业务日期，则确定所述目录为异常目录，并将其存储至异常目录清单中。
17.可选的，所述分布式文件系统的容量监测方法，还包括：
18.若判断出所述目录的当前大小未超过所述目录的空间大小阈值或判断出所述当前日期为业务组件的特殊业务日期，则确定所述目录在得到第二扫描结果时相较于得到第一扫描结果时的大小增长百分比；
19.判断所述大小增长百分比是否大于所述网络附属存储卷的增长百分比；
20.若判断出所述大小增长百分比大于所述网络附属存储卷的增长百分比，则确定所述目录为异常目录，并将其存储至异常目录清单中。
21.可选的，所述根据所述第一扫描结果和所述第二扫描结果，确定异常目录清单之后，还包括：
22.获取压缩专用服务器的cpu核数，并根据所述压缩专用服务器的cpu核数确定多线程压缩程序的压缩参数；其中，所述压缩参数至少包括所述多线程压缩程序的线程数量和压缩比；
23.调用所述多线程压缩程序按照所述异常目录清单中异常目录的大小，依次获取异常目录清单中的异常目录，对所述异常目录进行紧急压缩；
24.每完成一个异常目录的紧急压缩后，判断所述网络附属存储卷的当前容量是否超过主要告警阈值；
25.若判断出所述网络附属存储卷的当前容量超过主要告警阈值，则继续执行所述调用所述多线程压缩程序按照所述异常目录清单中异常目录的大小，依次获取异常目录清单中的异常目录，并对所述异常目录进行紧急压缩步骤；
26.若判断出所述网络附属存储卷的当前容量未超过主要告警阈值，则所述多线程压缩程序停止获取异常目录清单中的异常目录，并在已获取的异常目录完成紧急压缩后，停止本次压缩。
27.可选的，所述对所述异常目录进行紧急压缩之前，还包括：
28.判断所述异常目录在当日是否已经进行过紧急压缩；
29.若判断出所述异常目录在当日已经进行过紧急压缩，则不再对所述异常目录进行紧急压缩。
30.可选的，所述若判断出所述网络附属存储卷的当前容量超过主要告警阈值，对所述网络附属存储卷中的每一个目录空间进行扫描，得到第二扫描结果之后，还包括：
31.获取所述网络附属存储卷中存储的每一个业务组件目录的大小；
32.针对每一个业务组件，将当前网络附属存储文件系统的使用率与所述业务组件所在空间比例做差；
33.当差值与所述次要告警阈值的差值最小且低于所述次要告警阈值时，选择所述业务组件进行迁移扩容。
34.可选的，所述选择所述业务组件进行迁移扩容，包括：
35.根据所述业务组件目录已有标签选取不同性能的新网络附属存储卷；
36.在所述新网络附属存储卷上建立跟所述网络附属存储卷上一样的目录结构，并将
目录网络附属存储上的组件链接指向所述新网络附属存储卷；
37.在所述新网络附属存储卷上新建日期目录链接回链接到所述网络附属存储卷上。
38.本技术第二方面提供了一种分布式文件系统的容量监测装置，包括：
39.第一监测单元，用于每隔预设时间对网络附属存储卷的容量情况进行监测，得到所述网络附属存储卷的当前容量；
40.第一判断单元，用于判断所述网络附属存储卷的当前容量是否超过次要告警阈值；
41.第二判断单元，用于若所述第一判断单元判断出，所述网络附属存储卷的当前容量超过次要告警阈值，则判断所述网络附属存储卷的当前容量是否超过主要告警阈值；其中，所述主要告警阈值大于所述次要告警阈值；
42.第一扫描单元，用于若所述第二判断单元判断出，所述网络附属存储卷的当前容量未超过主要告警阈值，对所述网络附属存储卷中的每一个目录空间进行扫描，得到第一扫描结果，并激活所述第一监测单元执行所述每隔预设时间对网络附属存储卷的容量情况进行监测，得到所述网络附属存储卷的当前容量；
43.第二扫描单元，用于若所述第二判断单元判断出，所述网络附属存储卷的当前容量超过主要告警阈值，对所述网络附属存储卷中的每一个目录空间进行扫描，得到第二扫描结果；
44.确定单元，用于根据所述第一扫描结果和所述第二扫描结果，确定异常目录清单。
45.可选的，所述确定单元，包括：
46.第三判断单元，用于针对第二扫描结果中的每一个目录的当前大小，判断所述目录的当前大小是否超过所述目录的空间大小阈值；其中，所述目录的空间大小阈值根据季度内固定统计的均值与预先设定百分比的积；
47.第四判断单元，用于若所述第三判断单元判断出，所述目录的当前大小超过所述目录的空间大小阈值，判断当前日期是否为业务组件的特殊业务日期；
48.第一确定子单元，用于若所述第四判断单元判断出，当前日期不为业务组件的特殊业务日期，则确定所述目录为异常目录，并将其存储至异常目录清单中。
49.可选的，所述分布式文件系统的容量监测装置，还包括：
50.第二确定子单元，用于若所述第三判断单元判断出，所述目录的当前大小未超过所述目录的空间大小阈值或所述第四判断单元判断出，所述当前日期为业务组件的特殊业务日期，则确定所述目录在得到第二扫描结果时相较于得到第一扫描结果时的大小增长百分比；
51.第五判断单元，用于判断所述大小增长百分比是否大于所述网络附属存储卷的增长百分比；
52.第三确定子单元，用于若所述第五判断单元判断出，所述大小增长百分比大于所述网络附属存储卷的增长百分比，则确定所述目录为异常目录，并将其存储至异常目录清单中。
53.可选的，所述分布式文件系统的容量监测装置，还包括：
54.第一获取单元，用于获取压缩专用服务器的cpu核数，并根据所述压缩专用服务器的cpu核数确定多线程压缩程序的压缩参数；其中，所述压缩参数至少包括所述多线程压缩
程序的线程数量和压缩比；
55.调用单元，用于调用所述多线程压缩程序按照所述异常目录清单中异常目录的大小，依次获取异常目录清单中的异常目录，对所述异常目录进行紧急压缩；
56.所述第二判断单元，还用于每完成一个异常目录的紧急压缩后，判断所述网络附属存储卷的当前容量是否超过主要告警阈值；
57.激活单元，用于若所述第二判断单元判断出，所述网络附属存储卷的当前容量超过主要告警阈值，则继续激活所述调用单元执行调用所述多线程压缩程序按照所述异常目录清单中异常目录的大小，依次获取异常目录清单中的异常目录，并对所述异常目录进行紧急压缩；
58.第一停止单元，用于若所述第二判断单元判断出，所述网络附属存储卷的当前容量未超过主要告警阈值，则所述多线程压缩程序停止获取异常目录清单中的异常目录，并在已获取的异常目录完成紧急压缩后，停止本次压缩。
59.可选的，所述分布式文件系统的容量监测装置，还包括：
60.第六判断单元，用于判断所述异常目录在当日是否已经进行过紧急压缩；
61.第二停止单元，用于若所述第六判断单元判断出，所述异常目录在当日已经进行过紧急压缩，则不再对所述异常目录进行紧急压缩。
62.可选的，所述分布式文件系统的容量监测装置，还包括：
63.第二获取单元，用于获取所述网络附属存储卷中存储的每一个业务组件目录的大小；
64.计算单元，用于针对每一个业务组件，将当前网络附属存储文件系统的使用率与所述业务组件所在空间比例做差；
65.选择单元，用于当差值与所述次要告警阈值的差值最小且低于所述次要告警阈值时，选择所述业务组件进行迁移扩容。
66.可选的，所述选择单元，包括：
67.选取单元，用于根据所述业务组件目录已有标签选取不同性能的新网络附属存储卷；
68.建立单元，用于在所述新网络附属存储卷上建立跟所述网络附属存储卷上一样的目录结构，并将目录网络附属存储上的组件链接指向所述新网络附属存储卷；
69.链接单元，用于在所述新网络附属存储卷上新建日期目录链接回链接到所述网络附属存储卷上。
70.本技术第三方面提供了一种电子设备，包括：
71.一个或多个处理器；
72.存储装置，其上存储有一个或多个程序；
73.当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现如第一方面任意一项所述的分布式文件系统的容量监测方法。
74.本技术第四方面提供了一种计算机存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如第一方面任意一项所述的分布式文件系统的容量监测方法。
75.由以上方案可知，本技术提供一种分布式文件系统的容量监测方法、相关装置及
存储介质，所述分布式文件系统的容量监测方法包括：每隔预设时间对网络附属存储卷的容量情况进行监测，得到所述网络附属存储卷的当前容量；判断所述网络附属存储卷的当前容量是否超过次要告警阈值；若判断出所述网络附属存储卷的当前容量超过次要告警阈值，则判断所述网络附属存储卷的当前容量是否超过主要告警阈值；其中，所述主要告警阈值大于所述次要告警阈值；若判断出所述网络附属存储卷的当前容量未超过主要告警阈值，对所述网络附属存储卷中的每一个目录空间进行扫描，得到第一扫描结果，并返回执行所述每隔预设时间对网络附属存储卷的容量情况进行监测，得到所述网络附属存储卷的当前容量步骤；若判断出所述网络附属存储卷的当前容量超过主要告警阈值，对所述网络附属存储卷中的每一个目录空间进行扫描，得到第二扫描结果；根据所述第一扫描结果和所述第二扫描结果，确定异常目录清单。从而实现对分布式文件系统的容量进行高效地监测。
附图说明
76.为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
77.图1为本技术实施例提供的一种分布式文件系统的容量监测方法的具体流程图；
78.图2为本技术另一实施例提供的一种迁移扩容方法的具体流程图；
79.图3为本技术另一实施例提供的一种迁移扩容方法的具体流程图；
80.图4为本技术另一实施例提供的一种确定异常目录清单方法的具体流程图；
81.图5为本技术另一实施例提供的一种压缩方法的具体流程图；
82.图6为本技术另一实施例提供的一种分布式文件系统的容量监测装置的示意图；
83.图7为本技术另一实施例提供的一种实现分布式文件系统的容量监测方法的电子设备的示意图。
具体实施方式
84.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
85.需要注意，本技术中提及的“第一”、“第二”等概念仅用于对不同的装置、模块或单元进行区分，并非用于限定这些装置、模块或单元所执行的功能的顺序或者相互依存关系，而术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
86.本技术实施例提供了一种分布式文件系统的容量监测方法，如图1所示，具体包括以下步骤：
87.s101、每隔预设时间对网络附属存储卷的容量情况进行监测，得到网络附属存储卷的当前容量。
88.其中，网络附属存储(network attached storage，nas)是一种基于网络协议将分布、独立的数据整合为大型、集中化管理的数据中心，以便于对不同主机和应用服务器进行访问的存储技术。预设时间(如15分钟)为技术人员或相关有权限的工作人员，预先进行设置、更改的，此处不做限定。
89.分布式文件系统(distributed file system，dfs)是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点(可简单的理解为一台计算机)相连；或是若干不同的逻辑磁盘分区或卷标组合在一起而形成的完整的有层次的文件系统。dfs为分布在网络上任意位置的资源提供一个逻辑上的树形文件系统结构，从而使用户访问分布在网络上的共享文件更加简便。单独的dfs共享文件夹的作用是相对于通过网络上的其他共享文件夹的访问点。
90.需要说明的是，狭义的文件系统容量监测指的是文件系统的容量监测及inode监测，广义的的容量监测不仅包括上述两个监测指标，同时也包括趋势监测、热点数据监测及数据操作指标监测等一系列监测指标，这些指标汇总到一起能够很好的体现文件系统的容量及性能使用情况。
91.需要说明的是，根据所有nas卷的当前容量，可以推算得到当前网络附属存储文件系统空间的使用率以及当前网络附属存储文件系统空间的增长百分比阈值。
92.s102、判断网络附属存储卷的当前容量是否超过次要告警阈值。
93.其中，次要告警阈值为技术人员或相关有权限的工作人员，预先进行设置、更改的，此处不做限定。
94.具体的，若判断出网络附属存储卷的当前容量超过次要告警阈值，则执行步骤s103；若判断出网络附属存储卷的当前容量未超过次要告警阈值，则说明当前网络附属存储文件系统无异常，无需进行操作。
95.在本技术的具体实现过程中，当判断出网络附属存储卷的当前容量超过次要告警阈值，还可以生成次要告警以提醒工作人员，nas卷的当前容量已经超过了次要告警阈值。
96.s103、判断网络附属存储卷的当前容量是否超过主要告警阈值。
97.其中，主要告警阈值为技术人员或相关有权限的工作人员，预先进行设置、更改的，此处不做限定。且主要告警阈值大于次要告警阈值。
98.具体的，若判断出网络附属存储卷的当前容量未超过主要告警阈值，则执行步骤s104；若判断出网络附属存储卷的当前容量超过主要告警阈值，则执行步骤s105。
99.在本技术的具体实现过程中，当判断出网络附属存储卷的当前容量超过主要告警阈值，还可以生成主要告警以提醒工作人员，nas卷的当前容量已经超过了主要告警阈值。
100.s104、对网络附属存储卷中的每一个目录空间进行扫描，得到第一扫描结果。
101.具体的，对网络附属存储卷中的每一个目录空间进行扫描，得到第一扫描结果，并将第一扫描结果记录至数据库中。
102.s105、对网络附属存储卷中的每一个目录空间进行扫描，得到第二扫描结果。
103.具体的，对网络附属存储卷中的每一个目录空间进行扫描，得到第二扫描结果，并将第二扫描结果记录至数据库中。
104.可选的，在本技术的另一实施例中，在得到第二扫描结果之后，为实现快速的扩容，提前准备待扩容的高性能及低性能两个nas卷存储资源池，当容量上限触发主要告警后自动触发扩容程序，并根据预设的算法逻辑，自动进行迁移扩容，降低了业务中断时间，提升了业务连续性，如图2所示，包括：
105.s201、获取网络附属存储卷中存储的每一个业务组件目录的大小。
106.s202、针对每一个业务组件，将当前网络附属存储文件系统的使用率与业务组件所在空间比例做差。
107.s203、当差值与次要告警阈值的差值最小且低于次要告警阈值时，选择业务组件进行迁移扩容。
108.可选的，在本技术的另一实施例中，步骤s203的一种实施方式，如图3所示，包括：
109.s301、根据业务组件目录已有标签选取不同性能的新网络附属存储卷。
110.s302、在新网络附属存储卷上建立跟网络附属存储卷上一样的目录结构，并将目录网络附属存储上的组件链接指向新网络附属存储卷。
111.其中，本步骤中的链接为符号链接：又称为软连接，是一类特殊的文件，其包含有一条以绝对路径或者相对路径的形式指向其它文件或者目录的引用。符号链接的操作是透明的：对符号链接文件进行读写的程序会表现得直接对目标文件进行操作。某些需要特别处理符号链接的程序(如备份程序)可能会识别并直接对其进行操作。一个符号链接文件仅包含有一个文本字符串，其被操作系统解释为一条指向另一个文件或者目录的路径。它是一个独立文件，其存在并不依赖于目标文件。如果删除一个符号链接，它指向的目标文件不受影响。如果目标文件被移动、重命名或者删除，任何指向它的符号链接仍然存在，但是它们将会指向一个不复存在的文件。
112.s303、在新网络附属存储卷上新建日期目录链接回链接到网络附属存储卷上。
113.本技术通过软连接方法，提供自适应算法进行扩容，避免数据迁移及存储容量达到限制，扩容方案对应用无感知，减少了应用的改动，同时降低了业务中断时间，提升了业务连续性。
114.由于，整个目录结构通过链接文件串接，并无实质变化，可以做到使用数据的应用系统完全无感知，且可在一个数据保留周期内完成整个数据的迁移。
115.s106、根据第一扫描结果和第二扫描结果，确定异常目录清单。
116.可以看出，相比单一文件系统告警，本技术针对nas新增目录级别告警，可以提前预知快速定位nas中存在异常目录。
117.可选的，在本技术的另一实施例中，步骤s106的一种实施方式，如图4所示，包括：
118.s401、针对第二扫描结果中的每一个目录的当前大小，判断目录的当前大小是否超过目录的空间大小阈值。
119.其中，目录的空间大小阈值根据季度内固定统计的均值与预先设定百分比的积。预先设定百分比(如120％)为技术人员或相关有权限的工作人员，预先进行设置、更改的，此处不做限定。
120.均值是指在一组数据中所有数据之和再除以数据的个数，是表示一组数据集中趋势的量数，它是反映数据集中趋势的一项指标。
121.具体的，若判断出目录的当前大小超过目录的空间大小阈值，则执行步骤s402；若
判断出目录的当前大小未超过目录的空间大小阈值，则执行步骤s404。
122.s402、判断当前日期是否为业务组件的特殊业务日期。
123.其中，特殊业务日期(如节假日)为技术人员或相关有权限的工作人员，预先进行设置、更改的，此处不做限定。
124.具体的，若判断出当前日期不为业务组件的特殊业务日期，则执行步骤s403；若判断出当前日期为业务组件的特殊业务日期，则执行步骤s404。
125.s403、确定目录为异常目录，并将其存储至异常目录清单中。
126.s404、确定目录在得到第二扫描结果时相较于得到第一扫描结果时的大小增长百分比。
127.s405、判断大小增长百分比是否大于网络附属存储卷的增长百分比。
128.具体的，若判断出大小增长百分比大于网络附属存储卷的增长百分比，则执行步骤s403。
129.nas上的数据是按照业务日期存储，经生产实际测试，结构化文本文件的压缩比可达1:7，所以当nas空间主要告警时，压缩一日文件，可使目标nas的空间使用率降低14％左右，极大的缓解了nas的空间使用情况，且nas存储设计时将写的优先级设置的较高，进行文件压缩处理其实就是读写操作，nas对写操作的响应时间要高于删除操作，所以针对大文件采用压缩降低nas空间使用率要比删除快速很多，因此，在本技术的另一实施例中，在得到异常目录清单后，还可以对异常目录清单中的异常目录进行压缩处理，快速高效的解决容量应急的问题，具体方式如图5所示，包括以下步骤：
130.s501、获取压缩专用服务器的cpu核数，并根据压缩专用服务器的cpu核数确定多线程压缩程序的压缩参数。
131.其中，压缩参数至少包括多线程压缩程序的线程数量和压缩比。
132.需要说明的是，为尽快缓解空间压力，在本技术的具体实现过程中，压缩可以借助但不限于pigz工具，来实现多线程压缩。
133.s502、调用多线程压缩程序按照异常目录清单中异常目录的大小，依次获取异常目录清单中的异常目录，对异常目录进行紧急压缩。
134.可选的，在本技术的另一实施例中，在对异常目录进行紧急压缩之前，还包括：
135.判断异常目录在当日是否已经进行过紧急压缩。
136.具体的，若判断出异常目录在当日已经进行过紧急压缩，则不再对异常目录进行紧急压缩。
137.s503、每完成一个异常目录的紧急压缩后，判断网络附属存储卷的当前容量是否超过主要告警阈值。
138.具体的，若判断出网络附属存储卷的当前容量超过主要告警阈值，则继续执行调用多线程压缩程序按照异常目录清单中异常目录的大小，依次获取异常目录清单中的异常目录，并对异常目录进行紧急压缩步骤；若判断出网络附属存储卷的当前容量未超过主要告警阈值，则执行步骤s504。
139.s504、多线程压缩程序停止获取异常目录清单中的异常目录，并在已获取的异常目录完成紧急压缩后，停止本次压缩。
140.例如：压缩专用服务器的cpu核数为4核，那么多线程压缩程序的线程数量为6，按
照异常目录清单中异常目录的大小，依次获取异常目录清单中的4个异常目录，异常目录1(异常目录清单中最大的异常目录)、异常目录2(异常目录清单中第二大的异常目录)、异常目录3(异常目录清单中第三大的异常目录)、异常目录4(异常目录清单中第四大的异常目录)、进行紧急压缩。当完成异常目录1或异常目录2或异常目录3或异常目录4的紧急压缩后，判断网络附属存储卷的当前容量是否超过主要告警阈值，若判断出网络附属存储卷的当前容量超过主要告警阈值，则在异常目录清单中异常目录的大小，选取下一个异常目录(在本例子中为异常目录5，为异常目录清单中第五大的异常目录)，并对异常目录5进行紧急压缩步骤；若判断出网络附属存储卷的当前容量未超过主要告警阈值，则多线程压缩程序停止获取异常目录清单中的异常目录(即不获取异常目录5了)，并在已获取的异常目录完成紧急压缩(即完成异常目录1、异常目录2、异常目录3和异常目录4的压缩)后，停止本次压缩。
141.可以看出，本技术压缩处置算法，支持可选压缩比及可选线程数，当出现容量预警时，可自动快速的降低存储空间，减少人工干预。
142.如表1所示，为本技术实施例所使用的脚本清单。
143.检查脚本名称功能注释dirspace_check.py单个目录空间扫描进行单个目录的容量监测filesys_check.py单个nas空间扫描进行单个nas的容量监测exception_check.py异常目录分析判断异常目录分析判断compress_pigz.py多线程压缩程序进行多线程压缩compress_register.py压缩结果登记程序进行单个nas的容量监测dir_choose.py迁移目录选择程序选择待迁移目录待使用nasdir_change.py扩容迁移扩容迁移
144.表1
145.由以上方案可知，本技术提供一种分布式文件系统的容量监测方法：每隔预设时间对网络附属存储卷的容量情况进行监测，得到网络附属存储卷的当前容量；判断网络附属存储卷的当前容量是否超过次要告警阈值；若判断出网络附属存储卷的当前容量超过次要告警阈值，则判断网络附属存储卷的当前容量是否超过主要告警阈值；其中，主要告警阈值大于次要告警阈值；若判断出网络附属存储卷的当前容量未超过主要告警阈值，对网络附属存储卷中的每一个目录空间进行扫描，得到第一扫描结果，并返回执行每隔预设时间对网络附属存储卷的容量情况进行监测，得到网络附属存储卷的当前容量步骤；若判断出网络附属存储卷的当前容量超过主要告警阈值，对网络附属存储卷中的每一个目录空间进行扫描，得到第二扫描结果；根据第一扫描结果和第二扫描结果，确定异常目录清单。从而实现对分布式文件系统的容量进行高效地监测。
146.可选的，在本技术的另一实施例中，分布式文件系统的容量监测装置的一种实施方式，如图6所示，包括：
147.第一监测单元601，用于每隔预设时间对网络附属存储卷的容量情况进行监测，得到网络附属存储卷的当前容量。
148.第一判断单元602，用于判断网络附属存储卷的当前容量是否超过次要告警阈值。
149.第二判断单元603，用于若第一判断单元602判断出，网络附属存储卷的当前容量
超过次要告警阈值，则判断网络附属存储卷的当前容量是否超过主要告警阈值。
150.其中，主要告警阈值大于次要告警阈值。
151.第一扫描单元604，用于若第二判断单元603判断出，网络附属存储卷的当前容量未超过主要告警阈值，对网络附属存储卷中的每一个目录空间进行扫描，得到第一扫描结果，并激活第一监测单元601执行每隔预设时间对网络附属存储卷的容量情况进行监测，得到网络附属存储卷的当前容量。
152.第二扫描单元605，用于若第二判断单元603判断出，网络附属存储卷的当前容量超过主要告警阈值，对网络附属存储卷中的每一个目录空间进行扫描，得到第二扫描结果。
153.可选的，在本技术的另一实施例中，分布式文件系统的容量监测装置的一种实施方式，还包括：
154.第六判断单元，用于判断异常目录在当日是否已经进行过紧急压缩；
155.第二停止单元，用于若第六判断单元判断出，异常目录在当日已经进行过紧急压缩，则不再对异常目录进行紧急压缩。
156.可选的，分布式文件系统的容量监测装置，还包括：
157.第二获取单元，用于获取网络附属存储卷中存储的每一个业务组件目录的大小。
158.计算单元，用于针对每一个业务组件，将当前网络附属存储文件系统的使用率与业务组件所在空间比例做差。
159.选择单元，用于当差值与次要告警阈值的差值最小且低于次要告警阈值时，选择业务组件进行迁移扩容。
160.本技术上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图2所示，此处不再赘述。
161.可选的，在本技术的另一实施例中，选择单元的一种实施方式，具体包括：
162.选取单元，用于根据业务组件目录已有标签选取不同性能的新网络附属存储卷。
163.建立单元，用于在新网络附属存储卷上建立跟网络附属存储卷上一样的目录结构，并将目录网络附属存储上的组件链接指向新网络附属存储卷。
164.链接单元，用于在新网络附属存储卷上新建日期目录链接回链接到网络附属存储卷上。
165.本技术上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图3所示，此处不再赘述。
166.确定单元606，用于根据第一扫描结果和第二扫描结果，确定异常目录清单。
167.本技术上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图1所示，此处不再赘述。
168.可选的，在本技术的另一实施例中，确定单元606的一种实施方式，具体包括：
169.第三判断单元，用于针对第二扫描结果中的每一个目录的当前大小，判断目录的当前大小是否超过目录的空间大小阈值。
170.其中，目录的空间大小阈值根据季度内固定统计的均值与预先设定百分比的积。
171.第四判断单元，用于若第三判断单元判断出，目录的当前大小超过目录的空间大小阈值，判断当前日期是否为业务组件的特殊业务日期。
172.第一确定子单元，用于若第四判断单元判断出，当前日期不为业务组件的特殊业
务日期，则确定目录为异常目录，并将其存储至异常目录清单中。
173.本技术上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图4所示，此处不再赘述。
174.可选的，在本技术的另一实施例中，分布式文件系统的容量监测装置的一种实施方式，还包括：
175.第二确定子单元，用于若第三判断单元判断出，目录的当前大小未超过目录的空间大小阈值或第四判断单元判断出，当前日期为业务组件的特殊业务日期，则确定目录在得到第二扫描结果时相较于得到第一扫描结果时的大小增长百分比。
176.第五判断单元，用于判断大小增长百分比是否大于网络附属存储卷的增长百分比。
177.第三确定子单元，用于若第五判断单元判断出，大小增长百分比大于网络附属存储卷的增长百分比，则确定目录为异常目录，并将其存储至异常目录清单中。
178.本技术上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图4所示，此处不再赘述。
179.可选的，在本技术的另一实施例中，分布式文件系统的容量监测装置的一种实施方式，还包括：
180.第一获取单元，用于获取压缩专用服务器的cpu核数，并根据压缩专用服务器的cpu核数确定多线程压缩程序的压缩参数。
181.其中，压缩参数至少包括多线程压缩程序的线程数量和压缩比。
182.调用单元，用于调用多线程压缩程序按照异常目录清单中异常目录的大小，依次获取异常目录清单中的异常目录，对异常目录进行紧急压缩。
183.第二判断单元，还用于每完成一个异常目录的紧急压缩后，判断网络附属存储卷的当前容量是否超过主要告警阈值。
184.激活单元，用于若第二判断单元判断出，网络附属存储卷的当前容量超过主要告警阈值，则继续激活调用单元执行调用多线程压缩程序按照异常目录清单中异常目录的大小，依次获取异常目录清单中的异常目录，并对异常目录进行紧急压缩。
185.第一停止单元，用于若第二判断单元判断出，网络附属存储卷的当前容量未超过主要告警阈值，则多线程压缩程序停止获取异常目录清单中的异常目录，并在已获取的异常目录完成紧急压缩后，停止本次压缩。
186.本技术上述实施例公开的单元的具体工作过程，可参见对应的方法实施例内容，如图5所示，此处不再赘述。
187.由以上方案可知，本技术提供一种分布式文件系统的容量监测装置：第一监测单元601每隔预设时间对网络附属存储卷的容量情况进行监测，得到网络附属存储卷的当前容量；第一判断单元602判断网络附属存储卷的当前容量是否超过次要告警阈值；若第一判断单元602判断出网络附属存储卷的当前容量超过次要告警阈值，则第二判断单元603判断网络附属存储卷的当前容量是否超过主要告警阈值；其中，主要告警阈值大于次要告警阈值；若第二判断单元603判断出网络附属存储卷的当前容量未超过主要告警阈值，第一扫描单元604对网络附属存储卷中的每一个目录空间进行扫描，得到第一扫描结果，并激活第一监测单元601执行每隔预设时间对网络附属存储卷的容量情况进行监测，得到网络附属存
储卷的当前容量；若第二判断单元603判断出网络附属存储卷的当前容量超过主要告警阈值，第二扫描单元605对网络附属存储卷中的每一个目录空间进行扫描，得到第二扫描结果；确定单元606根据第一扫描结果和第二扫描结果，确定异常目录清单。从而实现对分布式文件系统的容量进行高效地监测。
188.本技术另一实施例提供了一种电子设备，如图7所示，包括：
189.一个或多个处理器701。
190.存储装置702，其上存储有一个或多个程序。
191.当所述一个或多个程序被所述一个或多个处理器701执行时，使得所述一个或多个处理器701实现如上述实施例中任意一项所述的分布式文件系统的容量监测方法。
192.本技术另一实施例提供了一种计算机存储介质，其上存储有计算机程序，其中，计算机程序被处理器执行时实现如上述实施例中任意一项所述的分布式文件系统的容量监测方法。
193.在本技术公开的上述实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置和方法实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本公开的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
194.另外，在本公开各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，直播设备，或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccess memory)、磁碟或者光盘等各种可以存储程序代码的介质。
195.专业技术人员能够实现或使用本技术。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本技术的精神或范围的情况下，在其它实施例中实现。因此，本技术将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。