一种基于云计算的用户数据稳定储存装置

1.本发明涉及数据存储技术领域，具体是一种基于云计算的用户数据稳定储存装置。


背景技术：

2.存储系统中，为了保证数据的安全，通常使用多副本存储技术来实现数据的冗余备份。多副本冗余技术就是对一份数据同时存储多份相同的副本，当一份数据丢失时，可以通过其他副本的数据将丢失的数据恢复出来，从而降低数据丢失的概率。副本个数的增加将会大大增加系统存储空间和网络带宽的消耗，从而增加数据存储的成本。如两副本情况下，用户真正可用空间是整个系统总存储空间的50％，而在三副本的情况下，用户真正可用空间则只有33％。
3.由于多副本存储技术存在存储空间浪费的缺点，现阶段的分布式存储系统越来越多的采用纠删码(ec，erasure code)技术对数据进行存储；相对副本而言，纠删码的编码技术无疑对存储空间利用率带来很大提升，但由于引入额外的编码、解码运算，对分布式存储系统的计算能力带来额外的要求；且在对用户数据进行分布式存储时，无法根据存储节点的存储情况和威胁情况合理选择对应的存储节点进行存储，减小用户数据被窃取、泄露的可能性，方便其他用户查询，进一步提高数据安全；针对以上不足，本发明提供了一种基于云计算的用户数据稳定储存装置。


技术实现要素：

4.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于云计算的用户数据稳定储存装置。
5.为实现上述目的，根据本发明的第一方面的实施例提出一种基于云计算的用户数据稳定储存装置，包括私有云构建模块、数据分类模块、数据转存模块、数据存储中心以及数据库；
6.所述私有云构建模块用于将企业内部网络中各计算机节点上的闲置存储空间构建私有云；所述私有云用于存储用户数据；所述用户数据包括用户的身份信息以及用户的交易行为数据；
7.所述数据分类模块用于对私有云内存储的用户数据进行存储等级分析，若存储等级值yx≥存储阈值，则将对应用户数据标记为贵宾数据，并发起对应贵宾数据的转存；否则，对应用户数据继续存储于私有云；
8.所述数据转存模块与数据分类模块相连接，用于获取贵宾数据并将贵宾数据转存至数据存储中心；所述数据存储中心包括一个主存储节点和若干个备存储节点，用于将贵宾数据分布式存储于多个选中节点中；具体为：
9.s1：所述主存储节点用于获取待存储数据以及所述待存储数据的键key值，刷新所述key值对应的版本号；然后对待存储数据进行纠删码ec编码，生成ec条带；其中所述ec条
带包括m+k个ec块，其中m个ec块为数据块，k个ec块为校验块；k为预设值；
10.s2：所述主存储节点用于向各选中节点发送存储请求，所述存储请求携带有待存储数据所在的私有云地址、对应的key值、版本号以及分配给各选中节点的ec块数据；所述选中节点用于根据存储请求存储对应的ec块数据。
11.进一步地，所述数据分类模块的具体分析步骤为：
12.获取用户的身份信息，设定用户的财富值为cf；
13.在预设时间段内，统计用户的交易次数为cs；统计用户的交易总金额为zs；将每次交易的交易金额标记为yi，将相邻交易时间进行差值计算得到交易缓冲时长dti，其中yi与dti一一对应；
14.设定若干个交易缓冲时长阈值，每个交易缓冲时长阈值均对应一个预设交易金额范围；根据交易金额yi确定对应的交易缓冲时长阈值为hm；将dti与对应的交易缓冲时长阈值hm相比较；当dti小于hm，则认为此时用户交易需求迫切，反馈高质信号至数据转存模块；
15.统计高质信号的出现次数为p2，将最近一次高质信号的出现时刻与系统当前时间进行差值计算得到高质缓冲时长ht；利用公式jx＝(cs
×
g1+zs
×
g2+p2
×
g3)/ht计算得到用户的交易吸引值jx，其中g1、g2、g3为系数因子；对用户的财富值cf和交易吸引值jx分配权重，计算得到对应用户数据的存储等级值yx。
16.进一步地，其中步骤s1中m值的确定方法为：获取待存储数据的存储等级值yx，根据存储等级值yx确定编码数据块数量为m；所述数据库内存储有存储等级值范围与编码数据块数量的映射关系表。
17.进一步地，其中，选中节点的具体获取方法为：
18.获取备存储节点的剩余内存为nc，自动从云平台中获取对应备存储节点的恶意吸引值ew，利用公式cp＝(nc
×
b1)/(ew
×
b2)计算得到对应备存储节点的存配值cp，其中b1、b2均为系数因子；根据存配值cp大小对备存储节点进行排序，选取排序前m个备存储节点作为选中节点。
19.进一步地，所述数据库用于根据数据存储中心访问的具体环境，设定允许访问该数据存储中心的网络ip及其拥有的访问权限，生成该数据存储中心特有的网络访问白名单；并对已有的数据存储中心访问ip进行时间、空间特性和恶意性分析，并最终生成恶意ip组库。
20.进一步地，还包括节点分析模块；所述节点分析模块与数据存储中心相连接，用于对备存储节点进行恶意吸引值分析，具体分析步骤为：
21.采集备存储节点在预设时间段内的访问记录，所述访问记录包括访问时间和对应的访问ip；访问ip包括可信ip、可疑ip以及恶意ip；
22.统计可信ip、可疑ip以及恶意ip出现的次数占比，并依次标记为x1、x2和x3；截取最近一次可疑ip或者恶意ip的访问时间与系统当前时间之间的时间区间为辐射区间，统计辐射区间可信ip的出现次数为辐射次数f1；
23.利用公式ew＝(x3
×
3+x2
×
2)/(x1+f1
×
g5)计算得到对应备存储节点的恶意吸引值ew，其中g5为系数因子；所述节点分析模块用于将备存储节点的恶意吸引值ew存储至云平台。
24.进一步地，所述可信ip指代白名单中ip；所述可疑ip指代既不在白名单，也不在恶
意ip组库中ip。
25.进一步地，所述数据存储中心还包括：
26.当所述选中节点存储失败时，所述主存储节点用于缓存分配给所述选中节点的ec块数据，并生成对应的元数据信息；所述元数据信息包括所述待存储数据所在的私有云地址、对应的key值以及版本号；
27.当所述选中节点故障恢复后，所述主存储节点用于将缓存的分配给所述选中节点的ec块数据以及对应的元数据信息发送给所述选中节点；
28.选中节点用于根据所述元数据信息存储对应的ec块数据。
29.与现有技术相比，本发明的有益效果是：
30.1、本发明中数据分类模块用于对私有云内存储的用户数据进行存储等级分析，若存储等级值yx≥存储阈值，则将对应用户数据标记为贵宾数据，并发起对应贵宾数据的转存，否则，对应用户数据继续存储于私有云；有效避免关键数据泄露或遗失，大大提高数据的安全性；
31.2、本发明中数据存储中心包括一个主存储节点和若干个备存储节点，用于将贵宾数据分布式存储于多个选中节点中；首先主存储节点用于根据存储等级值yx确定编码数据块数量为m；再根据存配值cp大小选取排序前m个备存储节点作为选中节点；然后对待存储数据进行纠删码ec编码，生成ec条带；其中ec条带包括m+k个ec块；再将ec条带分布式存储于多个选中节点中，减小数据块被窃取、攻击的可能性，方便其他用户查询，大大提高数据的安全性；同时提高数据存储效率；
32.3、本发明中当选中节点存储失败时，主存储节点用于缓存分配给选中节点的ec块数据，并生成对应的元数据信息；当选中节点故障恢复后，主存储节点用于将缓存的分配给选中节点的ec块数据以及对应的元数据信息发送给选中节点；选中节点用于根据元数据信息存储对应的ec块数据；避免了备存储节点故障恢复进行数据重建时执行ec反编码带来的计算资源消耗以及传递大量数据带来的网络资源消耗。
附图说明
33.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
34.图1为本发明一种基于云计算的用户数据稳定储存装置的系统框图。
具体实施方式
35.下面将结合实施例对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
36.如图1所示，一种基于云计算的用户数据稳定储存装置，包括私有云构建模块、数据分类模块、数据转存模块、数据存储中心、数据库、节点分析模块以及云平台；
37.私有云构建模块用于将企业内部网络中各计算机节点上的闲置存储空间构建私有云；私有云用于存储用户数据；用户数据包括用户的身份信息以及用户的交易行为数据；交易行为数据包括产品名称、交易数量、交易金额和交易时间；
38.数据分类模块与私有云相连接，用于对私有云内存储的用户数据进行存储等级分析，若存储等级值yx≥存储阈值，则将对应用户数据标记为贵宾数据，并发起对应贵宾数据的转存；否则，对应用户数据继续存储于私有云；具体分析步骤为：
39.步骤一：获取用户的身份信息，设定用户的财富值为cf；具体包括：
40.将用户的身份信息与大数据平台内存储的资产身份信息进行对比，获取用户的资产记录；资产记录包括房产信息、车辆信息和存款信息；根据资产记录对用户的财富值进行评估；
41.步骤二：在预设时间段内，统计用户的交易次数为cs；统计用户的交易总金额为zs；将每次交易的交易金额标记为yi，
42.将对应交易时间与下一次的交易时间进行时间差计算得到交易缓冲时长dti，其中yi与dti一一对应；设定若干个交易缓冲时长阈值并标记为hm，m＝1，
……
，z；且h1＜h2＜
……
＜hz；
43.每个交易缓冲时长阈值均对应一个预设交易金额范围，依次分别为(h1，h2]，
……
，(hm，h(m+1)]；当yi∈(hm，h(m+1)]，则交易金额对应的交易缓冲时长阈值为hm；
44.将dti与对应的交易缓冲时长阈值hm相比较；当dti小于hm，则认为此时用户交易需求迫切，反馈高质信号至数据转存模块；统计高质信号的出现次数为p2，将最近一次高质信号的出现时刻与系统当前时间进行差值计算得到高质缓冲时长ht；
45.利用公式jx＝(cs
×
g1+zs
×
g2+p2
×
g3)/ht计算得到用户的交易吸引值jx，其中g1、g2、g3为系数因子；
46.步骤三：对用户的财富值cf和交易吸引值jx分配权重，计算得到对应用户数据的存储等级值yx；
47.本发明能够根据存储等级值yx对用户数据进行分类，并发起对应贵宾数据的转存，有效避免关键数据泄露或遗失，大大提高数据的安全性；
48.数据转存模块与数据分类模块相连接，用于获取贵宾数据并将贵宾数据转存至数据存储中心，提高数据安全；
49.数据存储中心包括一个主存储节点和若干个备存储节点，用于将贵宾数据分布式存储于多个选中节点中；具体为：
50.s1：主存储节点用于获取待存储数据以及待存储数据的键key值，刷新key值对应的版本号；然后对待存储数据进行纠删码ec编码，生成ec条带；其中ec条带包括m+k个ec块，其中m个ec块为数据块，k个ec块为校验块；k为预设值；
51.其中m值的确定方法为：获取待存储数据的存储等级值yx，根据存储等级值yx确定编码数据块数量为m；数据库内存储有存储等级值范围与编码数据块数量的映射关系表；
52.在本实施例中，能够根据待存储数据的存储等级值yx将待存储数据编码成包括对应数量数据块的ec条带，再将ec条带分布式存储于多个选中节点中，大大提高数据的安全性；
53.s2：主存储节点用于向各选中节点发送存储请求，存储请求携带有待存储数据所
在的私有云地址、对应的key值、版本号以及分配给各选中节点的ec块数据；其中选中节点的数量为m个；
54.其中，选中节点的具体获取方法为：
55.获取备存储节点的剩余内存为nc，自动从云平台中获取对应备存储节点的恶意吸引值ew，利用公式cp＝(nc
×
b1)/(ew
×
b2)计算得到对应备存储节点的存配值cp，其中b1、b2均为系数因子；
56.根据存配值cp大小对备存储节点进行排序，选取排序前m个备存储节点作为选中节点，减小数据块被窃取、攻击的可能性，方便其他用户查询，同时提高数据存储效率；
57.s3：当选中节点存储失败时，主存储节点用于缓存分配给选中节点的ec块数据，并生成对应的元数据信息；元数据信息包括待存储数据所在的私有云地址、对应的key值以及版本号；
58.s4：当选中节点故障恢复后，主存储节点用于将缓存的分配给选中节点的ec块数据以及对应的元数据信息发送给选中节点；
59.s5：选中节点用于根据元数据信息存储对应的ec块数据；
60.在本实施例中，当部分备存储节点故障时，无需执行ec反编码以恢复故障节点上的数据，而是由主存储节点缓存分配给故障节点的ec块，待故障节点恢复后再将缓存的ec块重新发送给故障节点进行数据重建；避免了备存储节点故障恢复进行数据重建时执行ec反编码带来的计算资源消耗以及传递大量数据带来的网络资源消耗；
61.数据库用于根据数据存储中心访问的具体环境，设定允许访问该数据存储中心的网络ip及其拥有的访问权限，生成该数据存储中心特有的网络访问白名单；并对已有的数据存储中心访问ip进行时间、空间特性和恶意性分析，并最终生成恶意ip组库；
62.节点分析模块与数据存储中心相连接，用于对备存储节点进行恶意吸引值分析，具体分析步骤为：
63.采集备存储节点在预设时间段内的访问记录，访问记录包括访问时间和对应的访问ip；访问ip包括可信ip、可疑ip以及恶意ip，可信ip指代白名单中ip；可疑ip指代既不在白名单，也不在恶意ip组库中ip；
64.统计可信ip、可疑ip以及恶意ip出现的次数占比，并依次标记为x1、x2和x3；截取最近一次可疑ip或者恶意ip的访问时间与系统当前时间之间的时间区间为辐射区间，统计辐射区间可信ip的出现次数为辐射次数f1；
65.利用公式ew＝(x3
×
3+x2
×
2)/(x1+f1
×
g5)计算得到对应备存储节点的恶意吸引值ew，其中g5为系数因子；节点分析模块用于将备存储节点的恶意吸引值ew存储至云平台。
66.上述公式均是去除量纲取其数值计算，公式是由采集大量数据进行软件模拟得到最接近真实情况的一个公式，公式中的预设参数和预设阈值由本领域的技术人员根据实际情况设定或者大量数据模拟获得。
67.本发明的工作原理：
68.一种基于云计算的用户数据稳定储存装置，在工作时，私有云构建模块用于将企业内部网络中各计算机节点上的闲置存储空间构建私有云；私有云用于存储用户数据；数据分类模块用于对私有云内存储的用户数据进行存储等级分析，若存储等级值yx≥存储阈值，则将对应用户数据标记为贵宾数据，并发起对应贵宾数据的转存，有效避免关键数据泄
露或遗失，大大提高数据的安全性；否则，对应用户数据继续存储于私有云；
69.数据转存模块用于获取贵宾数据并将贵宾数据转存至数据存储中心，数据存储中心包括一个主存储节点和若干个备存储节点，用于将贵宾数据分布式存储于多个选中节点中；首先主存储节点用于根据存储等级值yx确定编码数据块数量为m；然后对待存储数据进行纠删码ec编码，生成ec条带；其中ec条带包括m+k个ec块；再将ec条带分布式存储于多个选中节点中，大大提高数据的安全性；
70.节点分析模块用于对备存储节点进行恶意吸引值分析，数据存储中心结合恶意吸引值和剩余内存，计算得到备存储节点的存配值cp；根据存配值cp大小选取排序前m个备存储节点作为选中节点，减小数据块被窃取、攻击的可能性，方便其他用户查询，同时提高数据存储效率；其中当选中节点存储失败时，主存储节点用于缓存分配给选中节点的ec块数据，并生成对应的元数据信息；当选中节点故障恢复后，主存储节点用于将缓存的分配给选中节点的ec块数据以及对应的元数据信息发送给选中节点；选中节点用于根据元数据信息存储对应的ec块数据；避免了备存储节点故障恢复进行数据重建时执行ec反编码带来的计算资源消耗以及传递大量数据带来的网络资源消耗。
71.在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
72.以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制。