一种模型训练方法、数据存储方法、装置及电子设备与流程

文档序号:29042171发布日期:2022-02-25 21:01阅读:77来源:国知局
一种模型训练方法、数据存储方法、装置及电子设备与流程

1.本发明涉及数据处理技术领域,特别是涉及一种模型训练方法、数据存储方法、装置及电子设备。


背景技术:

2.文件存储是一种分布式文件系统,能够为各类客户端用户提供高可用、高可靠、易拓展的文件存储功能。客户端用户可以将文件存储挂载到本地进行使用,在使用的过程中可以像操作本地文件一样访问文件存储中的数据。文件存储能够兼顾多个应用和客户端用户的访问,为多用户提供数据共享的功能。
3.实际应用中,因客户端用户需求的不确定性,进而无法事先为不同的客户端用户准备其需求对应的文件存储。现有技术中,使用通用的文件存储为不同的客户端用户提供相应的文件存储功能。然而,因客户端用户需求的差异性,使得该通用的文件存储无法为用户提供更精细化的数据存储服务。


技术实现要素:

4.本发明实施例的目的在于提供一种模型训练方法、数据存储方法、装置及电子设备,以实现为用户提供更精细化的数据存储服务。具体技术方案如下:
5.在本发明实施的第一方面,首先提供了一种模型训练方法,所述方法包括:
6.获取样本用户历史存储数据过程中的操作数据及数据属性;其中,所述样本用户具有偏好标签,所述偏好标签用于指示所述样本用户对文件存储系统类型的实际偏好;
7.从所述操作数据及所述数据属性中提取所述样本用户操作历史存储数据的属性特征;
8.将所述属性特征输入待训练模型中进行分类预测,得到所述样本用户的预测偏好标签;
9.根据所述偏好标签以及所述预测偏好标签,计算所述待训练模型的损失,并根据所述损失对所述待训练模型的参数进行调整。
10.可选地,所述属性特征包括文件存储性能特征以及容量特征,所述偏好标签包括:容量型、均衡型、性能型。
11.可选地,所述从所述操作数据及所述数据属性中提取所述样本用户操作历史存储数据的属性特征,包括:
12.从所述操作数据及所述数据属性中提取所述样本用户操作历史存储数据的数据操作频率、数据类型及数据大小;
13.根据所述数据操作频率、数据类型,确定所述样本用户的文件存储性能特征;
14.根据所述数据大小,确定所述样本用户的容量特征。
15.在本发明实施的第二方面,还提供了一种数据存储方法,所述方法包括:
16.获取目标用户历史存储数据过程中的目标操作数据及目标数据属性;
17.从所述目标操作数据及所述目标数据属性中提取所述目标用户操作历史存储数据的目标属性特征;
18.将所述目标属性特征输入预先训练好的模型中进行分类预测,得到所述目标用户的目标偏好标签,其中,所述预先训练好的模型为采用上述第一方面的方法训练得到的,所述目标偏好标签用于指示所述目标用户对文件存储系统类型的偏好,所述目标偏好标签与目标用户类型之间具有对应关系;
19.根据用户类型与文件存储系统之间的对应关系,将所述目标用户的数据存储至所述目标用户类型对应的文件存储系统中。
20.可选地,所述目标属性特征包括文件存储性能特征以及容量特征,所述目标偏好标签包括:容量型、均衡型、性能型,所述文件存储系统包括:容量型文件存储系统、均衡型文件存储系统、性能型文件存储系统。
21.可选地,所述从所述目标操作数据及所述目标数据属性中提取所述目标用户操作历史存储数据的目标属性特征,包括:
22.从所述目标操作数据及所述目标数据属性中提取所述目标用户操作历史存储数据的数据操作频率、数据类型及数据大小;
23.根据所述数据操作频率、数据类型,确定所述目标用户的文件存储性能特征;
24.根据所述数据大小,确定所述目标用户的容量特征。
25.在本发明实施的第三方面,还提供了一种模型训练装置,所述装置包括:
26.第一数据获取模块,用于获取样本用户历史存储数据过程中的操作数据及数据属性;其中,所述样本用户具有偏好标签,所述偏好标签用于指示所述样本用户对文件存储系统类型的实际偏好;
27.第一特征提取模块,用于从所述操作数据及所述数据属性中提取所述样本用户操作历史存储数据的属性特征;
28.第一分类预测模块,用于将所述属性特征输入待训练模型中进行分类预测,得到所述样本用户的预测偏好标签;
29.模型训练模块,用于根据所述偏好标签以及所述预测偏好标签,计算所述待训练模型的损失,并根据所述损失对所述待训练模型的参数进行调整。
30.在本发明实施的第四方面,还提供了一种数据存储装置,所述装置包括:
31.第二数据获取模块,用于获取目标用户历史存储数据过程中的目标操作数据及目标数据属性;
32.第二特征提取模块,用于从所述目标操作数据及所述目标数据属性中提取所述目标用户操作历史存储数据的目标属性特征;
33.第二分类预测模块,用于将所述目标属性特征输入预先训练好的模型中进行分类预测,得到所述目标用户的目标偏好标签,其中,所述预先训练好的模型为采用上述第一方面的方法训练得到的,所述目标偏好标签用于指示所述目标用户对文件存储系统类型的偏好,所述目标偏好标签与目标用户类型之间具有对应关系;
34.数据存储模块,用于根据用户类型与文件存储系统之间的对应关系,将所述目标用户的数据存储至所述目标用户类型对应的文件存储系统中。
35.在本发明实施的又一方面,还提供了一种电子设备,包括处理器、通信接口、存储
器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;
36.存储器,用于存放计算机程序;
37.处理器,用于执行存储器上所存放的程序时,实现上述任一所述方法的步骤。
38.在本发明实施的又一方面,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述任一所述方法的步骤。
39.在本发明实施的又一方面,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述任一所述方法的步骤。
40.本发明实施例提供的一种模型训练方法、数据存储方法、装置及电子设备,相较于现有使用通用的文件存储为不同的客户端用户提供相应的文件存储功能,无法为用户提供更精细化的数据存储服务,能够根据从样本用户历史存储数据过程的操作数据及数据属性中,提取的样本用户操作历史存储数据的属性特征,以及样本用户所具有的对文件存储系统类型的实际偏好标签,对待训练模型进行训练,使得所训练的模型能够对用户实际需求的文件存储系统类型偏好进行预测,进一步能够为用户分配更符合需求的文件存储系统,进而能够为用户提供更精细化的数据存储服务。
附图说明
41.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
42.图1为本发明实施例中一种模型训练方法的流程示意图;
43.图2为本发明实施例中一种特征提取实施方式示意图;
44.图3为本发明实施例中一种数据存储方法的流程示意图;
45.图4为本发明实施例中一种预测用户偏好的实施方式示意图;
46.图5为本发明实施例中一种数据存储方法示意图;
47.图6为本发明实施例中一种模型训练装置的结构示意图;
48.图7为本发明实施例中一种数据存储装置的结构示意图;
49.图8为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
50.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行描述。
51.现有技术中,使用通用的文件存储为不同的客户端用户提供相应的文件存储功能。然而,因客户端用户需求的差异性,使得该通用的文件存储无法为用户提供更精细化的数据存储服务。
52.为了解决上述问题,本发明实施例提供了一种模型训练方法、数据存储方法、装置及电子设备。本发明实施例所提供的模型训练方法以及数据存储方法可以通过电子设备实现,该电子设备可以是终端、服务器等。
53.其中,本发明实施例提供的一种模型训练方法,包括:
54.获取样本用户历史存储数据过程中的操作数据及数据属性;其中,所述样本用户具有偏好标签,所述偏好标签用于指示所述样本用户对文件存储系统类型的实际偏好;
55.从所述操作数据及所述数据属性中提取所述样本用户操作历史存储数据的属性特征;
56.将所述属性特征输入待训练模型中进行分类预测,得到所述样本用户的预测偏好标签;
57.根据所述偏好标签以及所述预测偏好标签,计算所述待训练模型的损失,并根据所述损失对所述待训练模型的参数进行调整。
58.本发明实施例提供的一种模型训练方法,相较于现有使用通用的文件存储为不同的客户端用户提供相应的文件存储功能,无法为用户提供更精细化的数据存储服务,能够根据从样本用户历史存储数据过程的操作数据及数据属性中,提取的样本用户操作历史存储数据的属性特征,以及样本用户所具有的对文件存储系统类型的实际偏好标签,对待训练模型进行训练,使得所训练的模型能够对用户实际需求的文件存储系统类型偏好进行预测,进一步能够为用户分配更符合需求的文件存储系统,进而能够为用户提供更精细化的数据存储服务。
59.下面分别对本发明实施例提供的模型训练方法以及数据存储方法进行详细介绍。
60.如图1所示,本发明实施例所提供的一种模型训练方法,可以通过如下步骤实现:
61.s101,获取样本用户历史存储数据过程中的操作数据及数据属性。
62.样本用户可以为任一使用文件存储系统的客户端用户。示例性的,样本用户可以是使用文件存储系统的邮件系统、数据库、办公自动化系统(office automation,oa)、供应链管理系统(supply chain management,scm)或者客户关系管理系统(customer relationship management,crm)等等。
63.样本用户历史存储数据的过程,可以是历史数据存储至本地的过程,也可以是历史数据存储至通用文件存储系统的过程,还可以是历史数据存储至实际偏好类型的文件存储系统的过程等。
64.示例性的,样本用户历史存储数据过程中的操作数据可以理解为:样本用户存储数据过程中的操作数据,比如写操作数据;还可以是样本用户访问历史已存储数据过程中的操作数据,比如读操作数据等。样本用户历史存储数据过程中的数据属性,可以是样本用户历史存储数据的数据类型、名称、大小等。
65.实际应用中,样本用户对文件存储性能以及容量等的需求,往往与该样本用户存储数据过程中的操作数据以及已存储数据的数据属性相关,因此,本发明实施例中获取样本用户历史存储数据过程中的操作数据及数据属性,以便于能够从操作数据及数据属性中提取样本用户操作历史存储数据的属性特征,进一步对样本用户的类型进行预测。
66.当然,本发明实施例中只是以样本用户对文件存储性能以及容量的需求为例进行说明,实际应用中并不仅限于此。
67.其中,样本用户具有偏好标签,该偏好标签用于指示样本用户对文件存储系统类型的实际偏好。
68.在一种可能的实施方式中,偏好标签可以包括容量型、均衡型以及性能型等,相应的,文件存储系统可以包括:容量型文件存储系统、均衡型文件存储系统、性能型文件存储系统。
69.实际应用中,不同用户对不同类型的文件存储系统偏好不同。示例性的,可以根据
用户对文件存储系统性能以及容量的需要,设置容量及性能阈值将文件存储系统划分为不同的类型。例如,设置容量型文件存储系统对应的容量阈值为大于1t,设置性能型文件存储系统对应的性能阈值为读写操作频率大于5分钟/次,在容量阈值小于1t和/或性能阈值读写操作频率小于5分钟/次,则属于均衡型文件存储系统等等。那么,因邮件系统通常使用文件存储系统进行邮件数据的存储、查看等,需要存储容量较大,比如2t容量大小等,而读写操作的频率一般较小,比如一天或一周访问一次等,故而邮件系统偏好于容量型文件存储系统。因oa系统通常存储的数据量相对不大,比如512g的容量大小就可以满足,而读写操作的频率例如每天进行操作等,故而oa系统偏好于均衡型文件存储系统。因scm系统通常对数据存储的容量需要较小,比如128g的容量就可以满足,而读写操作的频率相对较大,比如几秒或者几分钟就需要访问一次,故而scm系统偏好于性能型文件存储系统。
70.在一种可能的实施方式中,样本用户可以采集自身历史存储数据过程中的操作数据及数据属性,进一步将所采集的操作数据及数据属性发送给进行模型训练的电子设备,以使得该电子设备能够基于样本用户历史存储数据过程中的操作数据及数据属性,进一步实现模型的训练。
71.s102,从操作数据及数据属性中提取样本用户操作历史存储数据的属性特征。
72.在获取样本用户历史存储数据过程中的操作数据及数据属性之后,可以从操作数据及数据属性中提取样本用户操作历史存储数据的属性特征,该样本用户操作历史存储数据的属性特征可以是能够表征样本用户对文件存储性能以及容量等需求的特征。
73.作为本发明实施例一种可选的实施方式,上述属性特征可以包括文件存储性能特征以及容量特征。
74.其中,文件存储性能特征可以是能够表征样本用户对文件存储系统性能需求的特征,例如读写频率特征等。容量特征可以是能够表征样本用户对文件存储系统容量需求的特征,例如文件大小特征等。
75.s103,将属性特征输入待训练模型中进行分类预测,得到样本用户的预测偏好标签。
76.样本用户操作历史存储数据的属性特征为能够表征该样本用户对文件存储性能以及容量等需求的特征,进而,可以根据所提取的样本用户操作历史存储数据的属性特征,预测样本用户对不同类型文件存储系统的需求偏好。
77.待训练模型可以是机器学习模型或深度学习模型等任一能够实现分类预测的模型。示例性的,机器学习模型可以是支持向量机(support vector machine,svm)分类模型、逻辑回归(logistic regression,lr)分类模型等等,深度学习模型可以是神经网络模型等。
78.s104,根据偏好标签以及预测偏好标签,计算待训练模型的损失,并根据损失对待训练模型的参数进行调整。
79.根据偏好标签以及预测偏好标签,计算待训练模型的损失,并根据损失对待训练模型的参数进行调整,直至满足预设结束条件,得到训练好的模型。
80.其中,预设结束条件可以是预先设定的迭代次数,或是损失达到预先设定的损失阈值等。
81.本发明实施例提供的一种模型训练方法,相较于现有使用通用的文件存储为不同
的客户端用户提供相应的文件存储功能,无法为用户提供更精细化的数据存储服务,能够根据从样本用户历史存储数据过程的操作数据及数据属性中,提取的样本用户操作历史存储数据的属性特征,以及样本用户所具有的对文件存储系统类型的实际偏好标签,对待训练模型进行训练,使得所训练的模型能够对用户实际需求的文件存储系统类型偏好进行预测,进一步能够为用户分配更符合需求的文件存储系统,进而能够为用户提供更精细化的数据存储服务。
82.作为本发明实施例一种可选的实施方式,如图2所示,上述从操作数据及数据属性中提取样本用户操作历史存储数据的属性特征,可以包括:
83.s201,从操作数据及数据属性中提取样本用户操作历史存储数据的数据操作频率、数据类型及数据大小。
84.在获取样本用户历史存储数据过程中的操作数据及数据属性之后,可以从操作数据及数据属性中提取样本用户操作历史存储数据对应的数据操作频率、数据类型及数据大小。
85.示例性的,数据操作频率可以是样本用户访问已存储数据的访问频率(包含数据写入和读取),例如数据读写频率、数据修改频率等等。数据类型和大小即样本用户操作历史存储数据的类型和大小。
86.可以理解的,历史存储数据可以是日志备份文件,通常日志备份文件数据量较大,读写频率相对较小,文件名通常以log结尾;历史存储数据还可以是表情包文件,通常表情包文件数据量较小,读写频率相对较大,文件名通常以jpg结尾等等。基于此,针对日志备份文件可以选择容量型文件存储系统,针对表情包文件可以选择性能型文件存储系统。故而,可以从操作数据及数据属性中提取样本用户操作历史存储数据的属性特征,并进一步基于该属性特征,实现对样本用户偏好文件存储系统类型的预测。
87.s202,根据数据操作频率、数据类型,确定样本用户的文件存储性能特征。
88.通常情况下,数据操作频率以及数据类型,与用户对文件存储的性能要求相关,数据操作频率越高,表明对数据存储的性能要求越高,数据类型与数据操作频率也有一定的相关性,比如日志类型的数据,其操作频率相对较高等。进而,可以将数据操作频率以及数据类型,确定为样本用户的文件存储性能特征。
89.s203,根据数据大小,确定样本用户的容量特征。
90.数据大小与用户对文件存储的容量要求相关,数据越大,表明对数据存储的容量要求越高。进而,可以将数据大小,确定为样本用户的容量特征。
91.实际应用中,用户对文件存储性能以及容量等的需求,往往与该用户存储数据过程中的操作数据以及存储数据的数据属性相关,因此,本发明实施例中获取样本用户历史存储数据过程中的操作数据及数据属性,并从操作数据及数据属性中提取样本用户包括文件存储性能特征以及容量特征的属性特征,以便于能够根据样本用户的属性特征,对样本用户的类型进行预测,进而利用样本用户真实的偏好标签以及预测偏好标签,对模型进行训练,使得所训练的模型能够对用户实际需求的文件存储系统类型偏好进行预测,进一步能够为用户分配更符合需求的文件存储系统,进而能够为用户提供更精细化的数据存储服务。
92.如图3所示,本发明实施例所提供的一种数据存储方法,可以通过如下步骤实现:
93.s301,获取目标用户历史存储数据过程中的目标操作数据及目标数据属性。
94.s302,从目标操作数据及目标数据属性中提取目标用户操作历史存储数据的目标属性特征。
95.其中,步骤s301-s302的实现过程,可参见上述步骤s101-s102的实现过程,本发明实施例在此不再赘述。
96.s303,将目标属性特征输入预先训练好的模型中进行分类预测,得到目标用户的目标偏好标签。
97.其中,预先训练好的模型为采用上述模型训练方法训练得到的,目标偏好标签用于指示目标用户对文件存储系统类型的偏好,目标偏好标签与目标用户类型之间具有对应关系。
98.本发明实施例中,可以针对文件存储性能和容量要求偏好已知的样本用户,获取该样本用户历史存储数据过程中的操作数据及数据属性,采用上述模型训练方法训练得到预先训练好的模型,以便于对偏好未知的目标用户,使用该训练好的模型进行偏好的预测。
99.示例性的,如图4所示,可以针对文件存储性能和容量要求偏好已知的样本用户,获取该样本用户历史存储数据过程中的操作数据及数据属性,进一步从该操作数据及数据属性中提取样本用户操作历史存储数据的属性特征,利用样本用户的偏好标签,以及提取的属性特征,训练svm分类模型。进而,针对文件存储性能和容量要求偏好未知的目标用户,提取目标用户操作历史存储数据的目标属性特征,利用所训练的svm分类模型,预测目标用户对文件存储性能和容量要求的目标偏好标签。
100.作为本发明实施例一种可选的实施方式,目标属性特征可以包括文件存储性能特征以及容量特征,目标偏好标签可以包括:容量型、均衡型、性能型,文件存储系统可以包括:容量型文件存储系统、均衡型文件存储系统、性能型文件存储系统。
101.本发明实施例中,还可以根据用户对文件存储系统的需求,对用户类型进行分组或分类。在一种可能的实施方式中,用户类型可以包括容量型用户、均衡型用户、性能型用户。
102.进一步的,可以设置目标偏好标签与目标用户类型之间的对应关系。示例性的,目标偏好标签与目标用户类型之间的对应关系可以是:容量型用户与容量型偏好标签相对应,均衡型用户与均衡型偏好标签相对应,性能型用户与性能型偏好标签相对应。
103.进而,在得到目标用户的目标偏好标签时,即确定该目标用户对应的目标用户类型。
104.s304,根据用户类型与文件存储系统之间的对应关系,将目标用户的数据存储至目标用户类型对应的文件存储系统中。
105.本发明实施例中,可以预先设置用户类型与文件存储系统之间的对应关系,进而在确定目标用户对应的目标用户类型之后,可以将目标用户的数据存储至目标用户类型对应的文件存储系统中,以使得该文件存储系统能够为目标用户提供更精细化的数据存储服务,更好的满足目标用户的需求。
106.其中,文件存储系统可以是文件存储系统集群,不同的文件存储系统集群根据其对应的类型进行配置。示例性的,容量型文件存储系统集群的软硬件根据容量需求进行配置,性能型文件存储系统集群的软硬件根据性能需求进行配置等。
107.示例性的,用户类型与文件存储系统之间的对应关系可以是:容量型用户与容量型文件存储系统集群相对应,均衡型用户与均衡型文件存储系统集群相对应,性能型用户与性能型文件存储系统集群相对应。
108.本发明实施例中,电子设备能够为不同的用户调度不同的文件存储系统,进而可以在得到目标用户的目标偏好标签,即确定该目标用户对应的目标用户类型后,为目标用户调度目标用户类型对应的文件存储系统,以实现目标用户的数据存储。
109.本发明实施例提供的一种数据存储方法,相较于现有使用通用的文件存储为不同的客户端用户提供相应的文件存储功能,无法为用户提供更精细化的数据存储服务,能够根据从用户历史存储数据过程的操作数据及数据属性中,提取的用户操作历史存储数据的属性特征,以及预先根据对文件存储性能和容量需求偏好已知的样本用户相关特征数据训练的模型,得到用户对文件存储性能和容量需求偏好的预测,该预测的偏好标签更符合用户数据存储的实际需求,使得为用户所确定的文件存储系统更符合用户数据存储的需求,进而能够为用户提供更精细化的数据存储服务。
110.作为本发明实施例一种可选的实施方式,上述从目标操作数据及目标数据属性中提取目标用户操作历史存储数据的目标属性特征,包括:
111.从目标操作数据及目标数据属性中提取目标用户操作历史存储数据的数据操作频率、数据类型及数据大小;
112.根据数据操作频率、数据类型,确定目标用户的文件存储性能特征;
113.根据数据大小,确定目标用户的容量特征。
114.实际应用中,目标用户对文件存储性能以及容量等的需求,往往与该目标用户存储数据过程中的操作数据以及存储数据的数据属性相关,因此,本发明实施例中获取目标用户历史存储数据过程中的操作数据及数据属性,并从操作数据及数据属性中提取目标用户包括文件存储性能特征以及容量特征的属性特征,以便于能够根据目标用户的属性特征,准确的对目标用户的类型进行预测,进而为目标用户提供更符合用户数据存储需求的文件存储系统,以及为用户提供差异化以及更精细化的服务。
115.示例性的,如图5所示,图5中针对文件存储性能和容量要求偏好未知的目标用户(图5中邮件系统、oa系统以及scm系统),获取目标用户历史存储数据过程中的操作数据及数据属性,进而从操作数据及数据属性中提取目标用户操作历史存储数据的属性特征,将所提取的属性特征,输入预先训练好的svm分类模型中进行预测分类,得到目标用户的偏好标签。预先设置目标偏好标签与目标用户类型之间的对应关系,以及用户类型与文件存储系统之间的对应关系,进而根据用户类型与文件存储系统之间的对应关系,将目标用户的数据存储至目标用户类型对应的文件存储系统中。该文件存储系统可以是文件存储系统集群,文件存储系统集群包含容量型文件存储系统集群,均衡型文件存储系统集群,性能型文件存储系统集群。
116.相应于上述方法实施例,本发明实施例提供了一种模型训练装置,如图6所示,该装置可以包括:
117.第一数据获取模块601,用于获取样本用户历史存储数据过程中的操作数据及数据属性;其中,样本用户具有偏好标签,偏好标签用于指示样本用户对文件存储系统类型的实际偏好;
118.第一特征提取模块602,用于从操作数据及数据属性中提取样本用户操作历史存储数据的属性特征;
119.第一分类预测模块603,用于将属性特征输入待训练模型中进行分类预测,得到样本用户的预测偏好标签;
120.模型训练模块604,用于根据偏好标签以及预测偏好标签,计算待训练模型的损失,并根据损失对待训练模型的参数进行调整。
121.本发明实施例提供的一种模型训练装置,相较于现有使用通用的文件存储为不同的客户端用户提供相应的文件存储功能,无法为用户提供更精细化的数据存储服务,能够根据从样本用户历史存储数据过程的操作数据及数据属性中,提取的样本用户操作历史存储数据的属性特征,以及样本用户所具有的对文件存储系统类型的实际偏好标签,对待训练模型进行训练,使得所训练的模型能够对用户实际需求的文件存储系统类型偏好进行预测,进一步能够为用户分配更符合需求的文件存储系统,进而能够为用户提供更精细化的数据存储服务
122.可选地,上述属性特征包括文件存储性能特征以及容量特征,偏好标签包括:容量型、均衡型、性能型。
123.可选地,上述第一特征提取模块602,具体用于:
124.从操作数据及数据属性中提取样本用户操作历史存储数据的数据操作频率、数据类型及数据大小;
125.根据数据操作频率、数据类型,确定样本用户的文件存储性能特征;
126.根据数据大小,确定样本用户的容量特征。
127.相应于上述方法实施例,本发明实施例提供了一种数据存储装置,如图7所示,该装置可以包括:
128.第二数据获取模块701,用于获取目标用户历史存储数据过程中的目标操作数据及目标数据属性;
129.第二特征提取模块702,用于从目标操作数据及目标数据属性中提取目标用户操作历史存储数据的目标属性特征;
130.第二分类预测模块703,用于将目标属性特征输入预先训练好的模型中进行分类预测,得到目标用户的目标偏好标签,其中,预先训练好的模型为采用本发明实施例中模型训练方法训练得到的,目标偏好标签用于指示目标用户对文件存储系统类型的偏好,目标偏好标签与目标用户类型之间具有对应关系;
131.数据存储模块704,用于根据用户类型与文件存储系统之间的对应关系,将目标用户的数据存储至目标用户类型对应的文件存储系统中。
132.本发明实施例提供的一种数据存储装置,相较于现有使用通用的文件存储为不同的客户端用户提供相应的文件存储功能,无法为用户提供更精细化的数据存储服务,能够根据从用户历史存储数据过程的操作数据及数据属性中,提取的用户操作历史存储数据的属性特征,以及预先根据对文件存储性能和容量需求偏好已知的样本用户相关特征数据训练的模型,得到用户对文件存储性能和容量需求偏好的预测,该预测的偏好标签更符合用户数据存储的实际需求,使得为用户所确定的文件存储系统更符合用户数据存储的需求,进而能够为用户提供更精细化的数据存储服务。
133.可选地,上述目标属性特征包括文件存储性能特征以及容量特征,目标偏好标签包括:容量型、均衡型、性能型,文件存储系统包括:容量型文件存储系统、均衡型文件存储系统、性能型文件存储系统。
134.可选地,上述第二特征提取模块702,具体用于:
135.从目标操作数据及目标数据属性中提取目标用户操作历史存储数据的数据操作频率、数据类型及数据大小;
136.根据数据操作频率、数据类型,确定目标用户的文件存储性能特征;
137.根据数据大小,确定目标用户的容量特征。
138.本发明实施例还提供了一种电子设备,如图8所示,包括处理器801、通信接口802、存储器803和通信总线804,其中,处理器801,通信接口802,存储器803通过通信总线804完成相互间的通信,
139.存储器803,用于存放计算机程序;
140.处理器801,用于执行存储器803上所存放的程序时,实现上述任一方法实施例的步骤,以达到相同的技术效果。
141.上述终端提到的通信总线可以是外设部件互连标准(peripheral component interconnect,简称pci)总线或扩展工业标准结构(extended industry standard architecture,简称eisa)总线等。该通信总线可以分为地址总线、数据总线、控制总线等。为便于表示,图中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。
142.通信接口用于上述终端与其他设备之间的通信。
143.存储器可以包括随机存取存储器(random access memory,简称ram),也可以包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。可选的,存储器还可以是至少一个位于远离前述处理器的存储装置。
144.上述的处理器可以是通用处理器,包括中央处理器(central processing unit,简称cpu)、网络处理器(network processor,简称np)等;还可以是数字信号处理器(digital signal processor,简称dsp)、专用集成电路(application specific integrated circuit,简称asic)、现场可编程门阵列(field-programmable gate array,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
145.在本发明提供的又一实施例中,还提供了一种计算机可读存储介质,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现上述实施例中任一所述的方法。
146.在本发明提供的又一实施例中,还提供了一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述实施例中任一所述的方法。
147.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时,可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字
用户线(dsl))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
148.需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
149.本说明书中的各个实施例均采用相关的方式描述,各个实施例之间相同相似的部分互相参见即可,每个实施例重点说明的都是与其他实施例的不同之处。尤其,对于装置/电子设备实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例的部分说明即可。
150.以上所述仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等,均包含在本发明的保护范围内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1