一种云储存系统中动态接入存储设备的方法及装置与流程

本发明涉及计算机通信技术领域，特别涉及一种云储存系统中动态接入存储设备的方法及装置。

背景技术：

云存储是在云计算概念上延伸和衍生发展出来的一个新的概念。云计算是分布式处理(distributedcomputing)、并行处理(parallelcomputing)和网格计算(gridcomputing)的发展，是透过网络将庞大的计算处理程序自动分拆成无数个较小的子程序，再交由多部服务器所组成的庞大系统经计算分析之后将处理结果回传给用户。

云存储的概念与云计算类似，它是指通过集群应用、网格技术或分布式文件系统等功能，网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统，保证数据的安全性，并节约存储空间。简单来说，云存储就是将储存资源放到云上供人存取的一种新兴方案。使用者可以在任何时间、任何地方，透过任何可连网的装置连接到云上方便地存取数据。云存储系统由多个存储设备组成，通过集群功能、分布式文件系统或类似网格计算等功能联合起来协同工作，并通过一定的应用软件或应用接口，对用户提供一定类型的存储服务和访问服务。

传统的云储存系统在接入存储设备时基本都是通过人为设置来接入存储设备，比如按照不同的数据类型，数据量的大小来设置相应的存储设备，例如某用户在某某网盘云存储手机上的照片时，需要手动选择存储路径。由于用户并不清楚当前使用的云存储系统的所有存储设备特征，也不知道数据特征和存储设备特征之间如何匹配时最优的选择，因此用户为当前待存储的数据手动选择的存储设备往往不是最优的存储设备。

技术实现要素：

本发明提供一种云储存系统中动态接入存储设备的方法及装置，用于解决现有的云存储系统在选择存储设备时需要人工选择以及选择不能最优化的问题。本发明提供的云储存系统中动态接入存储设备的方案，根据云存储系统中存储设备存储的数据特征和设备特征，通过机器学习算法训练出一个神经网络，通过该神经网络，可以在有新数据存储要求时，为所述新数据选择最优存储设备并将所述新数据动态接入该最优存储设备。

本发明提供一种云储存系统中动态接入存储设备的方法，包括：

获取云存储系统中各存储设备对应的特征数据集；所述特征数据集包括相应存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值；

利用resnet18网络结构对所述各存储设备对应的特征数据集进行迁移学习，得到一个神经网络模型；

获取待存储数据的数据特征值，生成待存储数据对应的特征数据集；所述待存储数据对应的特征数据集包括待存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值；

将待存储数据对应的特征数据集输入所述神经网络模型中计算，根据所述神经网络模型的输出结果确定本次存储设备；

将所述待存储的数据动态接入所述本次存储设备进行云存储。

在一可选实施例中，所述利用resnet18网络结构对所述各存储设备对应的特征数据集进行迁移学习，得到一个神经网络模型，包括：

以所述各存储设备对应的特征数据集ai为输入样本数据，根据以下公式计算输出向量yi：

计算使预设损失函数l(ai，yi)最小的参数w1、w2、c1、c2的值；

将参数w1、w2、c1、c2的值带入上述公式，得到以以下公式为代表的神经网络模型：

其中，ai＝(ai1,ai2,…,aim)^t为第i个存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值的集合，i＝1,1,…,n，n为所述云存储系统中存储设备的总数量，m为每个存储设备对应的特征数据集的参数个数，且n<m；f1、f2为中间输出，f2是一个100维的列向量；w1∈r^256×256,m表示w1为(256×256)×m维矩阵，w2∈r^n,100表示w2为n×100维矩阵，c1∈r^256×256,1表示c1为(256×256)维的列向量，c2∈rⁿ表示c2是n维列向量；x和y分别是所述神经网络模型的输入和输出；

σ()这一函数的表达式为：

sigmoid()这一函数的表达式为：

预设损失函数l(ai，yi)的表达式为：bi为第i个位置元素值等于1而其它位置元素值等于0的n维行向量。

在一可选实施例中，所述将待存储数据对应的特征数据集输入所述神经网络模型中计算，根据所述神经网络模型的输出结果确定本次存储设备，包括：

将待存储数据对应的特征数据集输入所述神经网络模型，计算得到输出向量y；其中，y为一个n维列向量；

确定所述输出向量y中值最大的元素对应行数n；

将所述云存储系统中的第n个存储设备确定为本次存储设备。

在一可选实施例中，在所述将待存储数据对应的特征数据集输入所述神经网络模型之前，还包括：

比较所述待存储数据对应的特征数据集的维度s与所述神经网络模型所要求的输入数据的维度m的大小；

若s＝m，则执行所述将待存储数据对应的特征数据集输入所述神经网络模型的步骤；

若m-k≤s≤m+k，且s≠m，则根据公式x＝wmsx′将所述待存储数据对应的特征数据集x′变换为具有所述神经网络模型所要求的输入数据维度的特征数据集x，随后将变换后的待存储数据对应的特征数据集x作为所述神经网络模型的输入，执行所述计算得到输出向量y的步骤；其中，x′为所述待存储数据对应的特征数据集，是一个s维列向量，x为m维列向量，wms为预先设置的m×s维实矩阵，k为预设整数；

当s<m-k时，将预先设置的小数据存储设备确定为本次存储设备；

当s＞m-k时，将预先设置的大数据存储设备确定为本次存储设备。

在一可选实施例中，在获取云存储系统中各存储设备对应的特征数据集之前，还包括：确定是否对存储设备的存储规则进行调整，其确定步骤包括：

步骤a1：基于云存储系统的历史数据库，调取所述云存储系统中的每个存储设备的设备日志，并对所述设备日志进行拟合处理，根据拟合处理结果确定对应的存储设备是否正常工作，同时，对正常工作的存储设备进行标定处理；

步骤a2：基于云存储系统的历史数据库，调取每个标定处理后的存储设备的存储日志，并对每个所述标定处理后的存储设备的存储日志进行聚类分析，获得聚类集合，并基于所述聚类集合以及如下公式，计算对应所述标定处理后的存储设备的综合存储值z；

其中，q表示所述聚类集合中的与存储日志相关的子数据的总类数；kq1表示第q1类子数据的子数据属性值；k表示对应所述标定处理后的存储设备的存储属性值；δq1表示第q1类子数据的在聚类集合中的数据量占比比例；

步骤a3：判断所述综合存储值z与对应所述标定处理后的存储设备的预设存储值之间的绝对值差值是否在预设差值范围内；

若是，将对应所述标定处理后的存储设备的存储日志进行保留，同时，按照对应所述标定处理后的存储设备的当前存储规则继续存储相关的目标数据；

否则，获取对应所述标定处理后的存储设备的所述聚类集合中的每类子数据，基于每类子数据在所述聚类集合中的数据量占比比例中，提取前n1个最大数据量占比比例，其中，n1小于q，且n1和q都为正整数；

步骤a4：根据如下公式，计算所述n1个最大数据量占比比例对应的子数据属性值分别与对应的所述标定处理后的存储设备的存储属性的匹配值p1；

其中，n1＝1,2,3,...,n1；kn1表示第n1类子数据的子数据属性值；δn1表示第n1类子数据的在聚类集合中的数据量占比比例；

步骤a5：获取匹配值小于预设值的子数据，并将对应的所述子数据存储到备用设备中，同时，对对应的所述标定处理后的存储设备的当前存储规则进行调整，并按照调整后的存储规则继续存储相关的目标数据。

本发明还提供一种云储存系统中动态接入存储设备的装置，包括：

第一获取模块，用于获取云存储系统中各存储设备对应的特征数据集；所述特征数据集包括相应存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值；

学习模块，用于利用resnet18网络结构对所述各存储设备对应的特征数据集进行迁移学习，得到一个神经网络模型；

第二获取模块，用于获取待存储数据的数据特征值，生成待存储数据对应的特征数据集；所述待存储数据对应的特征数据集包括待存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值；

计算模块，用于将所述待存储数据对应的特征数据集输入所述神经网络模型中计算，根据所述神经网络模型的输出结果确定本次存储设备；

存储模块，用于将所述待存储的数据动态接入所述本次存储设备进行云存储。

在一可选实施例中，所述学习模块，包括：

第一计算单元，用于以所述各存储设备对应的特征数据集ai为输入样本数据，根据以下公式计算输出向量yi：

第二计算单元，用于计算使预设损失函数l(ai，yi)最小的参数w1、w2、c1、c2的值；

模型建立单元，用于将所述第二计算单元计算出的参数w1、w2、c1、c2的值带入所述第一计算单元使用的公式，得到以以下公式为代表的神经网络模型：

其中，ai＝(ai1,ai2,…,aim)^t为第i个存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值的集合，i＝1,1,…,n，n为所述云存储系统中存储设备的总数量，m为每个存储设备对应的特征数据集的参数个数，且n<m；f1、f2为中间输出，f2是一个100维的列向量；w1∈r^256×256,m表示w1为(256×256)×m维矩阵，w2∈r^n,100表示w2为n×100维矩阵，c1∈r^256×256,1表示c1为(256×256)维的列向量，c2∈rⁿ表示c2是n维列向量；x和y分别是所述神经网络模型的输入和输出；

σ()这一函数的表达式为：

sigmoid()这一函数的表达式为：

预设损失函数l(ai，yi)的表达式为：bi为第i个位置元素值等于1而其它位置元素值等于0的n维行向量。

在一可选实施例中，所述计算模块，包括：

第三计算单元，用于将待存储数据对应的特征数据集输入所述神经网络模型，计算得到输出向量y；其中，y为一个n维列向量；

第一确定单元，用于确定所述输出向量y中值最大的元素对应行数n；

第二确定单元，用于根据所述第一确定单元确定的n值，将所述云存储系统中的第n个存储设备确定为本次存储设备。

在一可选实施例中，所述计算模块，还包括：

比较单元，用于比较所述待存储数据对应的特征数据集的维度s与所述神经网络模型所要求的输入数据的维度m的大小；

变换单元，用于在所述比较单元比较出m-k≤s≤m+k，且s≠m时，根据公式x＝wmsx′将所述待存储数据对应的特征数据集x′变换为具有所述神经网络模型所要求的输入数据维度的特征数据集x，随后将变换后的待存储数据对应的特征数据集x提供给所述第三计算单元作为神经网络模型的输入；其中，x′为所述待存储数据对应的特征数据集，是一个s维列向量，x为m维列向量，wms为预先设置的m×s维实矩阵，k为预设整数；

所述第三计算单元，具体用于在所述比较单元比较出s＝m时，将待存储数据对应的特征数据集输入所述神经网络模型，计算得到输出向量；或者用于将所述变换单元提供的变换后的待存储数据对应的特征数据集x输入所述神经网络模型，计算得到输出向量；

所述第二确定单元，具体用于在所述比较单元比较出s<m-k时，将预先设置的小数据存储设备确定为本次存储设备；或者在在所述比较单元比较出s＞m-k时，将预先设置的大数据存储设备确定为本次存储设备；或者根据所述第一确定单元确定的n值，将所述云存储系统中的第n个存储设备确定为本次存储设备。

在一可选实施例中，所述装置还包括：用于确定是否对存储设备的存储规则进行调整的存储规则调整模块；所述存储规则调整模块可以包括：

标定单元，用于基于云存储系统的历史数据库，调取所述云存储系统中的每个存储设备的设备日志，并对所述设备日志进行拟合处理，根据拟合处理结果确定对应的存储设备是否正常工作，同时，对正常工作的存储设备进行标定处理；

聚类单元，用于基于云存储系统的历史数据库，调取每个标定处理后的存储设备的存储日志，并对每个所述标定处理后的存储设备的存储日志进行聚类分析，获得聚类集合，并基于所述聚类集合以及如下公式，计算对应所述标定处理后的存储设备的综合存储值z；

其中，q表示所述聚类集合中的与存储日志相关的子数据的总类数；kq1表示第q1类子数据的子数据属性值；k表示对应所述标定处理后的存储设备的存储属性值；δq1表示第q1类子数据的在聚类集合中的数据量占比比例；

判断单元，用于判断所述综合存储值z与对应所述标定处理后的存储设备的预设存储值之间的绝对值差值是否在预设差值范围内；

存储单元，用于在所述判断单元的判断结果为是时，将对应所述标定处理后的存储设备的存储日志进行保留，同时，按照对应所述标定处理后的存储设备的当前存储规则继续存储相关的目标数据；

获取单元，用于在所述判断单元的判断结果为否时，获取对应所述标定处理后的存储设备的所述聚类集合中的每类子数据，基于每类子数据在所述聚类集合中的数据量占比比例中，提取前n1个最大数据量占比比例，其中，n1小于q，且n1和q都为正整数；

匹配值计算单元，用于根据如下公式，计算所述n1个最大数据量占比比例对应的子数据属性值分别与对应的所述标定处理后的存储设备的存储属性的匹配值p1；

其中，n1＝1,2,3,...,n1；kn1表示第n1类子数据的子数据属性值；δn1表示第n1类子数据的在聚类集合中的数据量占比比例；

规则调整单元，用于获取匹配值小于预设值的子数据，并将对应的所述子数据存储到备用设备中，同时，对对应的所述标定处理后的存储设备的当前存储规则进行调整，并按照调整后的存储规则继续存储相关的目标数据。

本发明提供的云储存系统中动态接入存储设备的方法及装置，通过云存储系统中存储设备已存储数据的数据特征和设备特征，利用resnet18网络结构对对这些特征数据集进行迁移学习，得到一个神经网络模型，随后对于待存储的新数据，获取其对应的数据特征值，即可通过所述神经网络计算得到最优的存储设备，不需要人为选择存储设备，能够根据待存储数据的特征为其选择最优存储设备并进行动态接入存储。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例一提供的一种云储存系统中动态接入存储设备的方法流程图；

图2为本发明实施例二提供的一种云储存系统中动态接入存储设备的方法流程图；

图3为本发明提供的云储存系统中动态接入存储设备的方法实施例一的结构示意图；

图4为本发明提供的云储存系统中动态接入存储设备的方法实施例二的结构示意图；

图5本发明提供的云储存系统中动态接入存储设备的方法实施例三的结构示意图；

图6本发明提供的云储存系统中动态接入存储设备的方法实施例四的结构示意图。

具体实施方式

以下结合附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明。

图1为本发明实施例一提供的一种云储存系统中动态接入存储设备的方法流程图。如图1所示，该方法包括以下步骤：

s11：获取云存储系统中各存储设备对应的特征数据集。

其中，所述特征数据集包括相应存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值。数据的数据特征可以包括数据的类型，数据的大小，数据格式等特征；存储设备的设备特征可以包括设备总存储容量，设备剩余存储容量，设备工作环境温度等。

例如：当前云存储系统中具有2个存储设备y1、y2，通过此步骤获取到存储设备y1已存储数据的数据特征值有：数据类型为d1，数据大小为e1；存储设备y1的总存储容量为g1，剩余存储容量为g1’，设备工作环境温度为t1；存储设备y2已存储数据的数据特征值有：数据类型为d2，数据格式为h2；存储设备y2的总存储容量为g2，剩余存储容量为g2’，设备工作环境温度为t2；若定义存储设备ai对应的特征数据集为(数据类型，数据大小，数据格式，设备y1的存储容量，设备y1的剩余存储容量，设备y1的工作环境温度，设备y2的存储容量，设备y2的剩余存储容量，设备y2的工作环境温度)，则可以得到存储设备y1对应的特征数据集为a1＝(d1,e1,0,g1,g1’,t1,g2,g2’,t2)，存储设备y2对应的特征数据集为a2＝(d2,0,h2,g1,g1’,t1,g2,g2’,t2)。

优选地，存储设备对应的特征数据集中，数据特征数量要大于云存储系统中全部存储设备的设备特征数量，以提高数据特征在机器学习时的权重。

s12：利用resnet18网络结构对所述各存储设备对应的特征数据集进行迁移学习，得到一个神经网络模型。

本实施例中，希望降低神经网络训练时的运算量，故引入resnet18网络结构，resnet18可以看作一个非线性映射，即对于给定输入变量z∈r^256×256,1输出变量resnet18(z)是一个100维的列向量。

在一可选实施例中，本步骤s12可具体通过以下步骤s121-s123来实现：

s121：以所述各存储设备对应的特征数据集ai为输入样本数据，根据以下公式(1)计算输出向量yi：

其中，ai＝(ai1,ai2,…,aim)^t为第i个存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值的集合，i＝1,1,…,n，n为所述云存储系统中存储设备的总数量，m为每个存储设备对应的特征数据集的参数个数，且n<m；f1、f2为中间输出，f2是一个100维的列向量；w1∈r^256×256,m表示w1为(256×256)×m维矩阵，w2∈r^n,100表示w2为n×100维矩阵，c1∈r^256×256,1表示c1为(256×256)维的列向量，c2∈rⁿ表示c2是n维列向量；

σ()这一函数的表达式为：

sigmoid()这一函数的表达式为：

s122：计算使预设损失函数l(ai，yi)最小的参数w1、w2、c1、c2的值。

优选地，预设损失函数l(ai，yi)的表达式为：

其中，bi为第i个位置元素值等于1而其它位置元素值等于0的n维行向量。假设按云存储系统中的存储设备为y1,y2,…,yn，bi∈{y1,y2,…,yn}用于标识第i个存储设备yi。为计算损失函数，将bi转化为one-hot编码，例如第i个存储设备对应的one-hot编码为bi＝(0,0,…,0,1,0,…,0,0)，即第i个位置为1，其余位置为0。公式(2)中的乘法为哈达码乘法，也可以理解为向量之间的内积。

s123：将上一步骤计算出的参数w1、w2、c1、c2的值带入公式(1)，得到以公式(3)为代表的神经网络模型：

公式(3)中，x和y分别是所述神经网络模型的输入和输出，输入x为m维列向量，输出y为n维列向量。

s13：获取待存储数据的数据特征值，生成待存储数据对应的特征数据集。

其中，所述待存储数据对应的特征数据集包括待存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值。

本步骤的具体实施方法类似于上述步骤s11，获取当前待存储数据的数据特征值，并将其与s11中已获取的云存储系统中全部存储设备的设备特征值组合在一起，得到待存储数据对应的特征数据集。

s14：将待存储数据对应的特征数据集输入训练好的神经网络模型中计算，根据所述神经网络模型的输出结果确定本次存储设备。

在一可选实施例中，步骤s14可以包括以下步骤s141-s143：

s141：将待存储数据对应的特征数据集x输入公式(3)所示的神经网络模型，计算得到输出向量y；其中，x为m维列向量，y为一个n维列向量；

s142：确定所述输出向量y中值最大的元素对应行数n；

本实施例中，根据sigmoid函数的公式可得知：上一步骤输出向量y的各元素的值位于0-1之间。

本步骤中，采用公式：result＝argmaxy来确认y中最大元素的行数。

s143：将所述云存储系统中的第n个存储设备确定为本次存储设备。

本实施例中，在公式(3)的神经网络模型进行计算时，f2是一个100维的列向量，输出y的各元素的值位于0-1之间，实际上该神经网络计算的是输入数据属于现有存储设备的概率，因此选择输出y中值最大的元素，也就代表该元素对应的存储设备用于存储所述输入对应的待存储数据的概率最大，至此，我们便可以利用神经网络，根据待存储数据的特征和云存储系统中的存储设备的特征，自动智能地选择当前待存储数据对应的最优存储设备。

s15：将所述待存储的数据动态接入所述本次存储设备进行云存储。

本实施例中，在确定本次存储设备后，将待存储的数据动态接入所述本次存储设备进行云存储，不再需要人为选择存储设备。

本实施例，通过云存储系统中存储设备已存储数据的数据特征和设备特征，利用resnet18网络结构对对这些特征数据集进行迁移学习，得到一个神经网络模型，随后对于待存储的新数据，获取其对应的数据特征值，即可通过所述神经网络计算得到最优的存储设备，不需要人为选择存储设备，能够根据待存储数据的特征为其选择最优存储设备并进行动态接入存储。

若待存储数据对应的特征数据集的维度不等于所述神经网络模型所要求的输入数据的维度，则还需要对上述方法进行改进，以下以实施例二进行详细说明。

图2为本发明实施例二提供的一种云存储系统动态接入存储设备的方法流程图，如图2中所示，该方法包括如下步骤：

s201：获取云存储系统中各存储设备对应的特征数据集。

本实施例中，步骤s201的具体实施方法类似于上述步骤s11，此处不再赘述。

s202：利用resnet18网络结构对所述各存储设备对应的特征数据集进行迁移学习，得到一个神经网络模型；

本实施例中，步骤s202的具体实施方法类似于上述步骤s12，此处不再赘述。

s203：获取待存储数据的数据特征值，生成待存储数据对应的特征数据集；

本实施例中，步骤s203的具体实施方法类似于上述步骤s13，此处不再赘述。

s204：比较所述待存储数据对应的特征数据集的维度s与所述神经网络模型所要求的输入数据的维度m的大小；

本实施例中，若s＝m，则执行s205；若m-k≤s≤m+k，且s≠m，则执行步骤s206；若s<m-k，则执行s210；若s＞m-k，则执行s211。

s205：将待存储数据对应的特征数据集输入所述神经网络模型，并执行步骤s207；

本步骤中，将当前待存储数据对应的特征数据集作为公式(3)所示的神经网络模型。

s206：根据公式(4)将所述待存储数据对应的特征数据集x′变换为具有所述神经网络模型所要求的输入数据维度的特征数据集x，随后将变换后的特征数据集x输入所述神经网络模型，并执行步骤s207；

x＝wmsx′(4)

其中，x′为原始的待存储数据对应的特征数据集，是一个s维列向量；x为对原始待存储数据对应的特征数据集变换后的得到的特征数据集，是一个m维列向量wms为预先设置的m×s维实矩阵，k为预设整数。

此步骤的用意在于当待存储数据对应的特征数据集的维度s与m相近时，将已经训练好的神经网络结构新增一个隐藏层，以对神经网络的输入进行维度变换，以使其满足公式(3)中输入的维度要求。

s207：通过所述神经网络计算得到输出向量。

本步骤对输入向量通过公式(3)所示的神经网络模型进行计算，得到输出向量。

s208：确定所述输出向量y中值最大的元素对应行数n。

本实施例中，步骤s208的具体实施方法类似于上述步骤s142，此处不再赘述。

s209：将所述云存储系统中的第n个存储设备确定为本次存储设备，随后执行步骤s212。

s210：将预先设置的小数据存储设备确定为本次存储设备，随后执行步骤s212

本步骤中，所述预先设置的小数据存储设备可以为云存储系统中的n个存储设备中预先被指定的一个存储设备，或者，也可以在所述云存储系统中，除了这n个存储设备外，新增一个存储设备作为所述小数据存储设备，只用来存储数据量较小的数据。

s211：将预先设置的大数据存储设备确定为本次存储设备，随后执行步骤s212。

本步骤中，所述预先设置的大数据存储设备可以为云存储系统中的n个存储设备中预先被指定的一个存储设备，或者，也可以在所述云存储系统中，除了这n个存储设备外，新增一个容量较大的存储设备作为所述大数据存储设备，专用来存储数据量较大的数据。

s212：将所述待存储的数据动态接入所述本次存储设备进行云存储。

本实施例在实施例一的基础上，对于待存储数据对应的特征数据集的维度不等于训练好的神经网络模型要求的输入数据维度时，提出了更加完善的动态接入存储设备的方法。

在一可选实施例中，在获取云存储系统中各存储设备对应的特征数据集之前，还包括：确定是否对存储设备的存储规则进行调整，其确定步骤包括：

步骤a1：基于云存储系统的历史数据库，调取所述云存储系统中的每个存储设备的设备日志，根据所述设备日志确定对应的存储设备是否正常工作，同时，对正常工作的存储设备进行标定处理；标定处理是指进行标识；

步骤a2：基于云存储系统的历史数据库，调取每个标定处理后的存储设备的存储日志，并对每个所述标定处理后的存储设备的存储日志进行聚类分析，获得聚类集合，并基于所述聚类集合以及如下公式，计算对应所述标定处理后的存储设备的综合存储值z；

其中，q表示所述聚类集合中的与存储日志相关的子数据的总类数；kq1表示第q1类子数据的子数据属性值，子数据属性值是指子数据的数据量大小；k表示对应所述标定处理后的存储设备的存储属性值，存储属性值是指存储空间大小；δq1表示第q1类子数据的在聚类集合中的数据量占比比例；

步骤a3：判断所述综合存储值z与对应所述标定处理后的存储设备的预设存储值之间的绝对值差值是否在预设差值范围内；

若是，将对应所述标定处理后的存储设备的存储日志进行保留，同时，按照对应所述标定处理后的存储设备的当前存储规则继续存储相关的目标数据；

否则，获取对应所述标定处理后的存储设备的所述聚类集合中的每类子数据，基于每类子数据在所述聚类集合中的数据量占比比例中，提取前n1个最大数据量占比比例，其中，n1小于q，且n1和q都为正整数；

步骤a4：根据如下公式，计算所述n1个最大数据量占比比例对应的子数据属性值分别与对应的所述标定处理后的存储设备的存储属性的匹配值p1；

其中，n1＝1,2,3,...,n1；kn1表示第n1类子数据的子数据属性值；δn1表示第n1类子数据的在聚类集合中的数据量占比比例；

步骤a5：获取匹配值小于预设值的子数据，并将对应的所述子数据存储到备用设备中，同时，对对应的所述标定处理后的存储设备的当前存储规则进行调整，并按照调整后的存储规则继续存储相关的目标数据。

对应于本发明实施例提供的方法，本发明实施例还提供一种云储存系统中动态接入存储设备的装置，如图3所示为本发明实施例还提供的云储存系统中动态接入存储设备的装置实施例一的结构示意图，如图3中所示，该装置包括：

第一获取模块11，用于获取云存储系统中各存储设备对应的特征数据集；所述特征数据集包括相应存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值；

学习模块12，用于利用resnet18网络结构对所述各存储设备对应的特征数据集进行迁移学习，得到一个神经网络模型；

第二获取模块13，用于获取待存储数据的数据特征值，生成待存储数据对应的特征数据集；所述待存储数据对应的特征数据集包括待存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值；

计算模块14，用于将所述待存储数据对应的特征数据集输入所述神经网络模型中计算，根据所述神经网络模型的输出结果确定本次存储设备；

存储模块15，用于将所述待存储的数据动态接入所述本次存储设备进行云存储。

本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图4为本发明提供的云储存系统中动态接入存储设备的装置实施例二的结构示意图，如图4所示，本实施例的装置在图3所示装置结构的基础上，进一步地，学习模块12，可以包括：

第一计算单元121，用于以所述各存储设备对应的特征数据集ai为输入样本数据，根据以下公式计算输出向量yi：

第二计算单元122，用于计算使预设损失函数l(ai，yi)最小的参数w1、w2、c1、c2的值；

模型建立单元123，用于将第二计算单元122计算出的参数w1、w2、c1、c2的值带入第一计算单元121使用的公式，得到以以下公式为代表的神经网络模型：

其中，ai＝(ai1,ai2,…,aim)^t为第i个存储设备已存储数据的数据特征值以及所述云存储系统中全部存储设备的设备特征值的集合，i＝1,1,…,n，n为所述云存储系统中存储设备的总数量，m为每个存储设备对应的特征数据集的参数个数，且n<m；f1、f2为中间输出，f2是一个100维的列向量；w1∈r^256×256,m表示w1为(256×256)×m维矩阵，w2∈r^n,100表示w2为n×100维矩阵，c1∈r^256×256,1表示c1为(256×256)维的列向量，c2∈rⁿ表示c2是n维列向量；x和y分别是所述神经网络模型的输入和输出；

σ()这一函数的表达式为：

sigmoid()这一函数的表达式为：

预设损失函数l(ai，yi)的表达式为：bi为第i个位置元素值等于1而其它位置元素值等于0的n维行向量。

本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图5为本发明提供的云储存系统中动态接入存储设备的装置实施例三的结构示意图，如图5所示，本实施例的装置在图4所示装置结构的基础上，进一步地，计算模块14，可以包括：

第三计算单元141，用于将待存储数据对应的特征数据集输入所述神经网络模型，计算得到输出向量y；其中，y为一个n维列向量；

第一确定单元142，用于确定所述输出向量y中值最大的元素对应行数n；

第二确定单元143，用于根据第一确定单元142确定的n值，将所述云存储系统中的第n个存储设备确定为本次存储设备。

本实施例的装置，可以用于执行图1所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

图6为本发明提供的云储存系统中动态接入存储设备的装置实施例四的结构示意图，如图6所示，本实施例的装置在图5所示装置结构的基础上，进一步地，计算模块14，还包括：

比较单元144，用于比较所述待存储数据对应的特征数据集的维度s与所述神经网络模型所要求的输入数据的维度m的大小；

变换单元145，用于在比较单元144比较出m-k≤s≤m+k，且s≠m时，根据公式x＝wmsx′将所述待存储数据对应的特征数据集x′变换为具有所述神经网络模型所要求的输入数据维度的特征数据集x，随后将变换后的待存储数据对应的特征数据集x提供给第三计算单元141作为神经网络模型的输入；其中，x′为所述待存储数据对应的特征数据集，是一个s维列向量，x为m维列向量，wms为预先设置的m×s维实矩阵，k为预设整数；

第三计算单元141，具体用于在比较单元144比较出s＝m时，将待存储数据对应的特征数据集输入所述神经网络模型，计算得到输出向量；或者用于将所述变换单元145提供的变换后的待存储数据对应的特征数据集x输入所述神经网络模型，计算得到输出向量；

第二确定单元143，具体用于在比较单元144比较出s<m-k时，将预先设置的小数据存储设备确定为本次存储设备；或者在在比较单元144比较出s＞m-k时，将预先设置的大数据存储设备确定为本次存储设备；或者根据第一确定单元142确定的n值，将所述云存储系统中的第n个存储设备确定为本次存储设备。

本实施例的装置，可以用于执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。

在一可选实施例中，所述装置还包括：用于确定是否对存储设备的存储规则进行调整的存储规则调整模块；所述存储规则调整模块可以包括：

标定单元，用于基于云存储系统的历史数据库，调取所述云存储系统中的每个存储设备的设备日志，并对所述设备日志进行拟合处理，根据拟合处理结果确定对应的存储设备是否正常工作，同时，对正常工作的存储设备进行标定处理；

聚类单元，用于基于云存储系统的历史数据库，调取每个标定处理后的存储设备的存储日志，并对每个所述标定处理后的存储设备的存储日志进行聚类分析，获得聚类集合，并基于所述聚类集合以及如下公式，计算对应所述标定处理后的存储设备的综合存储值z；

其中，q表示所述聚类集合中的与存储日志相关的子数据的总类数；kq1表示第q1类子数据的子数据属性值；k表示对应所述标定处理后的存储设备的存储属性值；δq1表示第q1类子数据的在聚类集合中的数据量占比比例；

判断单元，用于判断所述综合存储值z与对应所述标定处理后的存储设备的预设存储值之间的绝对值差值是否在预设差值范围内；

存储单元，用于在所述判断单元的判断结果为是时，将对应所述标定处理后的存储设备的存储日志进行保留，同时，按照对应所述标定处理后的存储设备的当前存储规则继续存储相关的目标数据；

获取单元，用于在所述判断单元的判断结果为否时，获取对应所述标定处理后的存储设备的所述聚类集合中的每类子数据，基于每类子数据在所述聚类集合中的数据量占比比例中，提取前n1个最大数据量占比比例，其中，n1小于q，且n1和q都为正整数；

匹配值计算单元，用于根据如下公式，计算所述n1个最大数据量占比比例对应的子数据属性值分别与对应的所述标定处理后的存储设备的存储属性的匹配值p1；

其中，n1＝1,2,3,...,n1；kn1表示第n1类子数据的子数据属性值；δn1表示第n1类子数据的在聚类集合中的数据量占比比例；

规则调整单元，用于获取匹配值小于预设值的子数据，并将对应的所述子数据存储到备用设备中，同时，对对应的所述标定处理后的存储设备的当前存储规则进行调整，并按照调整后的存储规则继续存储相关的目标数据。

上述技术方案的有益效果是：通过确定是否对存储设备的存储规则进行调整，可以对存储设备的存储有效性进行及时调整，便于后续动态接入存储设备提供有效的数据辨识基础，通过对设备日志进行拟合处理，选择正常的存储设备，是为了保证存储的可靠性，通过计算存储设备的综合存储值，通过差值比较，确定是否按照当前存储规则进行存储，可以提高存储设备的有效使用性。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。