硬盘smart数据中特征数据提取方法和装置制造方法
【专利摘要】本发明提出一种硬盘SMART自我监测、分析和报告技术数据中特征数据提取方法和装置，其中，该方法包括以下步骤：获取样本硬盘的SMART数据集合，其中，SMART数据集合包括Q个SMART数据和与Q个SMART数据分别对应的Q个硬盘类型信息；对Q个SMART数据进行归一化处理，以生成Q个归一化SMART数据；根据Q个硬盘类型信息分别对Q个归一化SMART数据进行修正，以生成修正SMART数据集合；根据修正SMART数据集合生成硬盘特征数据。本发明实施例的方法，可通过同一个故障预警模型实现对不同硬盘的故障预警测试和分析，提高了故障预警模型的准确性，降低了模型训练、测试和分析成本。
【专利说明】硬盘SMART数据中特征数据提取方法和装置
【技术领域】
[0001]本发明涉及存储【技术领域】，特别涉及一种硬盘SMART自我监测、分析和报告技术数据中特征数据提取方法和装置。
【背景技术】
[0002]由于硬盘故障可从硬盘SMART (Self Monitoring Analysis And ReportingTechnology,自我监测、分析和报告技术)数据中反映出来，因此在硬盘故障预警分析中，可根据硬盘的SMART数据分析硬盘在未来的一段时间之内是否会发生故障。目前，可通过机器学习算法根据SMART数据中的某个属性训练故障预警模型，从而根据该故障预警模型对硬盘的SMART数据进行分析以预测硬盘在未来一段时间内是否能够稳定工作。
[0003]但是，由于SMART数据中不同属性的特征值表示方式不统一，并且过于离散，很难预测若干不同属性对硬盘的共同影响。而且，有些属性在训练模型的时候，存在特征值缺失的情况，增大了分析SMART数据的难度，使得模型预测不准确。此外，不同厂商的硬盘数据的特征值计算方式不统一，不利于统一的数值特征表示，因此需要对每个厂商的硬盘的SMART数据分别训练故障预警模型以进行故障预警分析，这就需要多次进行模型训练，由此使得分析成本被大大增高。
【发明内容】
[0004]本发明旨在至少在一定程度上解决上述技术问题。
[0005]为此，本发明的第一个目的在于提出一种硬盘SMART数据中特征数据提取方法，该方法无需多个故障预警模型，仅通过同一个故障预警模型即可实现对不同硬盘的故障预警测试和分析，提高了故障预警模型的准确性，降低了模型训练、测试和分析成本。
[0006]本发明的第二个目的在于提出一种硬盘SMART数据中特征数据提取装置。
[0007]为达上述目的，本发明第一方面实施例提出了一种硬盘SMART数据中特征数据提取方法，包括以下步骤:获取样本硬盘的SMART数据集合，其中，所述SMART数据集合包括Q个SMART数据和与所述Q个SMART数据分别对应的Q个硬盘类型信息；对所述Q个SMART数据进行归一化处理，以生成Q个归一化SMART数据；根据所述Q个硬盘类型信息分别对所述Q个归一化SMART数据进行修正，以生成修正SMART数据集合；根据所述修正SMART数据集合生成硬盘特征数据。
[0008]本发明实施例的硬盘SMART数据中特征数据提取方法，通过对样本硬盘的SMART数据进行归一化处理，以及根据硬件类型信息对归一化的硬盘SMART数据进行修正，由此，使硬盘SMART数据具有相同的值域，并且通过对归一化的硬盘SMART数据进行修正分区，从而通过同一个故障预警模型即可实现对不同硬盘的故障预警测试和分析，提高了故障预警模型的准确性，降低了模型训练、测试和分析成本。
[0009]为达上述目的，本发明第二方面实施例提供了一种硬盘SMART数据中特征数据提取装置，包括:第一获取模块，用于获取样本硬盘的SMART数据集合，其中，所述SMART数据集合包括Q个SMART数据和与所述Q个SMART数据分别对应的Q个硬盘类型信息；第一生成模块，用于对所述Q个SMART数据进行归一化处理，以生成Q个归一化SMART数据；修正模块，用于根据所述Q个硬盘类型信息分别对所述Q个归一化SMART数据进行修正，以生成修正SMART数据集合；第二生成模块，用于根据所述修正SMART数据集合生成硬盘特征数据。
[0010]本发明实施例的硬盘SMART数据中特征数据提取装置，通过对样本硬盘的SMART数据进行归一化处理，以及根据硬件类型信息对归一化的硬盘SMART数据进行修正，由此，使硬盘SMART数据具有相同的值域，并且通过对归一化的硬盘SMART数据进行修正分区，从而通过同一个故障预警模型即可实现对不同硬盘的故障预警测试和分析，提高了故障预警模型的准确性，降低了模型训练、测试和分析成本。
[0011]本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
【专利附图】
【附图说明】
[0012]本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中:
[0013]图1是本发明一个实施例的硬盘SMART数据中特征数据提取方法的流程图；
[0014]图2是本发明另一个实施例的硬盘SMART数据中特征数据提取方法的流程图；
[0015]图3是本发明一个具体实施例的硬盘SMART数据中梯度数据的归一化分析结果的示意图；
[0016]图4是本发明的一个具体实施例的硬盘SMART数据中属性数据的归一化分析结果的不意图；
[0017]图5是本发明一个实施例的硬盘SMART数据中特征数据提取装置的结构示意图；
[0018]图6是本发明另一个实施例的硬盘SMART数据中特征数据提取装置的结构示意图；以及
[0019]图7是本发明又一个实施例的硬盘SMART数据中特征数据提取装置的结构示意图。
【具体实施方式】
[0020]下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
[0021]在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
[0022]在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
[0023]目前，可通过机器学习算法根据SMART数据中的某个属性训练故障预警模型，从而预测硬盘在未来一段时间内是否能够稳定工作。然而，现有的故障预警模型无法体现出若干SMART属性对硬盘的共同影响，并且也无法将若干种型号的硬盘SMART数据加到一个故障预警模型当中进行训练。因此，硬盘故障预警并不准确，并且在硬盘预警过程中需要对不同型号的硬盘所对应的不同故障预警模型进行分析，分析成本较高。如果可将不同型号的硬盘SMART数据中的属性值进行处理，使得各个属性值表示统一，则可将若干不同型号的硬件数据加到一个故障预警模型中进行训练，由此可减少故障预警模型训练次数，减少分析成本。为此，本发明提出了一种硬盘SMART数据中特征数据提取方法。
[0024]图1是本发明一个实施例的硬盘SMART数据中特征数据提取方法的流程图。
[0025]如图1所示，硬盘SMART数据中特征数据提取方法包括以下步骤
[0026]S11，获取样本硬盘的SMART数据集合。
[0027]在本发明的一个实施例中，SMART数据集合包括Q个SMART数据和与Q个SMART数据分别对应的Q个硬盘类型信息。其中，SMART数据集合是Q个同种类型和/或不同类型的硬盘SMART中记录的与硬盘相关的例如硬盘寻道出错率、硬盘温度等属性数据，以及与之对应的硬盘类型信息的数据集合。其中，硬盘类型信息是指由硬盘厂商提供的与硬盘相关的例如硬盘型号、硬盘ID (Identity)等数据信息。举例来说，在进行机器算法学习时，硬盘的SMART数据集合中包括多个不同硬盘的硬盘寻道出错率、硬盘加电次数、硬盘温度等属性数据，以及硬盘对应的硬盘型号、硬盘ID (Identity)等信息。
[0028]S12，对Q个SMART数据进行归一化处理，以生成Q个归一化SMART数据。
[0029]在本发明的一个实施例中，可对Q个不同类型和/或不同类型的硬盘SMART数据中的各个属性数据分别进行归一化处理，从而将SMART数据中具有不同值域的各个属性数据归一化为同一值域内的数据。由此，可实现对不同类型的硬件SMART数据的统一分析和处理。
[0030]S13，根据Q个硬盘类型信息分别对Q个归一化SMART数据进行修正，以生成修正SMART数据集合。
[0031]为了能够在硬盘故障预警模型的测试结果中分别获取不同硬盘的测试结果，在本发明的一个实施例中，可根据每个硬盘的类型信息对不同的硬盘分别设定相应的数据偏移量，并根据每个硬盘所对应的数据偏移量对Q个归一化SMART数据进行修正以实现对SMART数据集合的分区。
[0032]S14，根据修正SMART数据集合生成硬盘特征数据。
[0033]本发明实施例的硬盘SMART数据中特征数据提取方法，通过对样本硬盘的SMART数据进行归一化处理，以及根据硬件类型信息对归一化的硬盘SMART数据进行修正，由此，使硬盘SMART数据具有相同的值域，并且通过对归一化的硬盘SMART数据进行修正分区，从而通过同一个故障预警模型即可实现对不同硬盘的故障预警测试和分析，提高了故障预警模型的准确性，降低了模型训练、测试和分析成本。[0034]为了使训练出的故障预警模型性能更佳，在对多个SMART数据进行归一化处理之前，还可通过最小二乘法获得每个SMART数据中的各个属性数据的对应的梯度值。具体地，图2是本发明另一个实施例的硬盘SMART数据中特征数据提取方法的流程图。
[0035]如图2所示，硬盘SMART数据中特征数据提取方法包括以下步骤。
[0036]S21，获取样本硬盘的SMART数据集合。
[0037]在本发明的一个实施例中，SMART数据集合包括Q个SMART数据和与Q个SMART数据分别对应的Q个硬盘类型信息。其中，SMART数据集合是Q个同种类型和/或不同类型的硬盘SMART中记录的与硬盘相关的例如硬盘寻道出错率、硬盘温度等属性数据，以及与之对应的硬盘类型信息的数据集合。其中，硬盘类型信息是指由硬盘厂商提供的与硬盘相关的例如硬盘型号、硬盘ID (Identity)等数据信息。举例来说，在进行机器算法学习时，硬盘的SMART数据集合中包括多个不同硬盘的硬盘寻道出错率、硬盘加电次数、硬盘温度等属性数据，以及硬盘对应的硬盘型号、硬盘ID (Identity)等信息。
[0038]S22，分别获取每个SMART数据中的S个第一属性数据子集合对应的S个梯度数据
口 O
[0039]在本发明的实施例中，SMART数据集合还包括与S个属性分别对应的S个属性数据集合，每个SMART数据中包括与S个属性分别对应的S个第一属性数据子集合。其中，第一属性数据子集合是SMART中的某个属性所对应的数据集合。例如，第一属性数据子集合可以是SMART中的硬盘寻道出错率属性所对应的数据集合。
[0040]在本发明的实施例中，首先，从每个SMART数据中的第s个属性对应的第一属性数据子集合中依次选取M个属性数据，以生成P个第二属性数据子集合，其中，每个第二属性数据子集合中包括M个属性数据`，P=N-M+1，N为属性s对应的第一属性数据子集合中属性数据的总数，s=l-S。
[0041]然后，分别计算P个第二属性数据子集合对应的P个梯度数据，并根据P个梯度数据生成属性s对应的梯度数据集合。具体地，在获得P个第二属性数据子集之后，可通过加权最小二乘法分别获取P个第二属性数据子集合对应的P个拟合系数，具体而言，可先获得P个拟合系数中第i个拟合系数ki=(Z-b*Y)/X，其中，?=Ρ..Ρ，具体地，X、Y、Z和b可以通过下述公式所得:
【权利要求】
1.一种硬盘SMART自我监测、分析和报告技术数据中特征数据提取方法，其特征在于，包括: 获取样本硬盘的SMART数据集合，其中，所述SMART数据集合包括Q个SMART数据和与所述Q个SMART数据分别对应的Q个硬盘类型信息； 对所述Q个SMART数据进行归一化处理，以生成Q个归一化SMART数据； 根据所述Q个硬盘类型信息分别对所述Q个归一化SMART数据进行修正，以生成修正SMART数据集合； 根据所述修正SMART数据集合生成硬盘特征数据。
2.如权利要求1所述的方法，其特征在于，所述SMART数据集合包括与S个属性分别对应的S个属性数据集合，每个所述SMART数据中包括与S个属性分别对应的S个第一属性数据子集合，在所述对所述多个SMART数据进行归一化处理之前，还包括: 分别获取每个所述SMART数据中的S个第一属性数据子集合对应的S个梯度数据集合； 将获取的每个所述SMART数据的S个梯度数据集合作为S个新的第一属性数据子集合分别加入所述每个SMART数据。
3.如权利要求2所述的方法，其特征在于，分别获取每个所述SMART数据中的S个第一属性数据子集合对应的S个梯度数据集合具体包括: 从每个所述SMART数据中的第s个属性对应的第一属性数据子集合中依次选取M个属性数据，以生成P个第二属性数据子集合，其中，P=N-M+1, N为所述属性s对应的第一属性数据子集合中属性数据的总数，S=1-S ； 分别计算所述P个第二属性数据子集合对应的P个梯度数据，并根据所述P个梯度数据生成所述属性s对应的梯度数据集合。
4.如权利要求3所述的方法，其特征在于，所述分别计算所述P个第二属性数据子集合对应的P个梯度数据具体包括: 通过加权最小二乘法分别获取所述P个第二属性数据子集合对应的P个拟合系数，其中，所述P个拟合系数中第i个拟合系数kf (Z-b*Y) /X，
5.如权利要求2-4任一项所述的方法，其特征在于，所述对所述多个SMART数据进行归一化处理具体包括: 通过以下公式对所述多个SMART数据进行归一化处理:
g (X) =sign (X) X 1gy I X , 其中，X为所述多个SMART数据中的一个属性数据，g (x)为属性数据X对应的归一化后的属性数据，所述y可通过以下公式计算:
Yz ≤ Value<(y+Ay)z, 其中，z为预设阈值，Value为所述属性数据x对应的属性的出厂默认值，Ay为预设精度。
6.如权利要求2-4任一项所述的方法，其特征在于，所述根据所述Q个硬盘类型信息分别对所述Q个归一化SMART数据进行修正具体包括: 根据所述Q个硬盘类型信息获取与所述Q个硬盘类型信息分别对应的Q个修正值； 根据与所述Q个硬盘类型信息分别对应的Q个修正值分别对相应的归一化SMART数据进行修正。
7.如权利要求2-4任一项所述的方法，其特征在于，所述修正SMART数据集合中包括与所述S个属性分别对应的S个修正属性数据集合，所述根据所述修正SMART数据集合生成硬盘特征数据具体包括: 分别获取所述S个属性对应的S个训练特征数据； 分别对每个训练特征数据中的训练特征值进行排序以生成与所述S个属性对应的S个特征序列(Vi); 通过以下预设映射规则获取每个属性对应的修正属性数据集合中的每个属性值V的特征值f (V):
8.—种硬盘SMART数据中特征数据提取装置，其特征在于，包括: 第一获取模块，用于获取样本硬盘的SMART数据集合，其中，所述SMART数据集合包括Q个SMART数据和与所述Q个SMART数据分别对应的Q个硬盘类型信息； 第一生成模块，用于对所述Q个SMART数据进行归一化处理，以生成Q个归一化SMART数据； 修正模块，用于根据所述Q个硬盘类型信息分别对所述Q个归一化SMART数据进行修正，以生成修正SMART数据集合； 第二生成模块，用于根据所述修正SMART数据集合生成硬盘特征数据。
9.如权利要求8所述的装置，其特征在于，所述SMART数据集合包括与S个属性分别对应的S个属性数据集合，每个所述SMART数据中包括与S个属性分别对应的S个第一属性数据子集合，在所述第一生成模块之前，还包括:第二获取模块，用于分别获取每个所述SMART数据中的S个第一属性数据子集合对应的S个梯度数据集合；加入模块，用于将获取的每个所述SMART数据的S个梯度数据集合作为S个新的第一属性数据子集合分别加入所述每个SMART数据。
10.如权利要求9所述的装置，其特征在于，所述第二获取模块具体包括:第一生成单元，用于从每个所述SMART数据中的第s个属性对应的第一属性数据子集合中依次选取Μ个属性数据，以生成P个第二属性数据子集合，其中，Ρ=Ν-Μ+1，Ν为所述属性s对应的第一属性数据子集合中属性数据的总数，s=l-S；第二生成单元，用于分别计算所述P个第二属性数据子集合对应的P个梯度数据，并根据所述P个梯度数据生成所述属性s对应的梯度数据集合。
11.如权利要求10所述的装置，其特征在于，所述第二生成单元具体包括:第一获取子单元，用于通过加权最小二乘法分别获取所述P个第二属性数据子集合对应的P个拟合系数，其中，所述P个拟合系数中第i个拟合系数kf (Z-b*Y) /X，其中，i=l…P，
12.如权利要求9-11任一项所述的装置，其特征在于，所述第一生成模块具体包括:处理单元，用于通过以下公式对所述多个SMART数据进行归一化处理:g(x)=sign(x) X logy | x ,其中，x为所述多个SMART数据中的一个属性数据，g (x)为属性数据X对应的归一化后的属性数据，所述y可通过以下公式计算:y2 ≤ Value<(y+Ay)z,其中，z为预设阈值，Value为所述属性数据x对应的属性的出厂默认值，Δy为预设精度。
13.如权利要求9-11任一项所述的装置，其特征在于，所述修正模块具体包括:第一获取单元，用于根据所述Q个硬盘类型信息获取与所述Q个硬盘类型信息分别对应的Q个修正值； 修正单元，用于根据与所述Q个硬盘类型信息分别对应的Q个修正值分别对相应的归一化SMART数据进行修正。
14.如权利要求9-11任一项所述的装置，其特征在于，所述修正SMART数据集合中包括与所述S个属性分别对应的S个修正属性数据集合，所述第二生成模块具体包括: 第二获得单元，用于分别获取所述S个属性对应的S个训练特征数据； 排序单元，用于分别对每个训练特征数据中的训练特征值进行排序以生成与所述S个属性对应的S个特征序列(Vi)； 第三获取单元，用于通过以下预设映射规则获取每个属性对应的修正属性数据集合中的每个属性值V的特征值f (V):
【文档编号】G06F17/30GK103646114SQ201310733574
【公开日】2014年3月19日 申请日期:2013年12月26日 优先权日:2013年12月26日
【发明者】胡光, 胡殿明, 杨文君, 魏伟 申请人:北京百度网讯科技有限公司