使用云存储的数据管理装置的制作方法

文档序号:11843447阅读:198来源:国知局
使用云存储的数据管理装置的制作方法

本发明涉及数据管理领域,具体涉及使用云存储的数据管理装置。



背景技术:

随着信息技术的发展以及互联网的普及,数据呈爆炸式增长,尤其是近年来社交网络的快速发展使得数据急剧增长。云存储技术的提出与发展为信息安全大数据的处理开辟了新的路径。云存储平台能够向用户提供强大的存储服务,用户仅通过Web浏览器便可进行存储服务申请,然后上传数据,最终由平台反馈数据。目前对数据管理的云存储研究还处于起步阶段,基于云存储的数据管理装置亟待开发。



技术实现要素:

针对上述问题,本发明提供使用云存储的数据管理装置。

本发明的目的采用以下技术方案来实现:

使用云存储的数据管理装置,包括云存储系统和数据管理系统,其中,云存储系统包括:

注册单元,用于处理各个独立云存储系统的注册请求,并为注册通过的每个独立云存储系统绑定一个已注册的存储牌照;

请求解析单元,用于接收用户端发送的数据请求,基于所有已注册的存储牌照对该数据请求进行解析;

请求转发单元,用于基于解析结果将该数据请求转发给相应的独立云存储系统进行处理,独立云存储系统基于该数据请求进行数据处理后返回处理结果给用户端。

优选地,所述存储牌照包括以下信息:牌照ID、发布者、接收者、数字证书以及有效时间,每个存储牌照的牌照ID互不相同;所述数据请求包括以下信息:数据请求ID、处理者、数据请求信息、响应信息。

优选地,所述注册单元包括:

存储牌照生成单元:用于接收各个独立云存储系统分别发送的注册请求,针对每个注册请求,将所述牌照ID、发布者、数字证书以及有效时间写入一个存储牌照中并下发给对应的独立云存储系统;

存储牌照验证单元:用于对各个独立云存储系统返回的写入有各自的系统信息作为所述接收者的存储牌照进行验证,并在某个存储牌照验证通过时将该存储牌照设为已注册的存储牌照并下发给对应的独立云存储系统进行存储,每个独立云存储系统基于存储的已注册的存储牌照注册到该统一云存储系统中。

有益效果:

1、设置信息共享服务平台,有效解决了集中式服务管理造成的压力集中,大量服务难以管理等问题;

2、设置信息存储模块,其采用云存储系统进行加密后数据的存储,不需要了解具体的存储设备信息,不需要考虑数据备份和冗余等问题,节约了时间成本和存储成本;

3、设置服务分类管理模块,通过创建服务目录,解决了以往检索准确率低和耗费时间长的问题;

4、设置服务查询检索模块,采用向量检索算法,提高了检索精确度,实现了服务名称和服务功能相匹配的检索;

5、设置信息安全服务平台,通过数据安全处理层和数据服务层对数据进行加密处理,提高了信息安全度;

6、在平台部署层中设置访问安全控制模块,大大提高了信息安全大数据管理系统的安全性。

附图说明

利用附图对本发明作进一步说明,但附图中的实施例不构成对本发明的任何限制,对于本领域的普通技术人员,在不付出创造性劳动的前提下,还可以根据以下附图获得其它的附图。

图1是本发明的云存储系统连接示意图。

图2是本发明的数据管理系统连接示意图。

附图标记:平台接口层-10;平台管理层20;平台部署层30;数据安全处理层40;数据服务层50;信息存储模块21;服务分类模块22;服务查询检索模块23;访问安全控制模块31。

具体实施方式

结合以下实施例对本发明作进一步描述。

实施例1

参见图1,图2,本实施例的使用云存储的数据管理装置,包括云存储系统和数据管理系统,其中,云存储系统包括:

注册单元,用于处理各个独立云存储系统的注册请求,并为注册通过的每个独立云存储系统绑定一个已注册的存储牌照;

请求解析单元,用于接收用户端发送的数据请求,基于所有已注册的存储牌照对该数据请求进行解析;

请求转发单元,用于基于解析结果将该数据请求转发给相应的独立云存储系统进行处理,独立云存储系统基于该数据请求进行数据处理后返回处理结果给用户端。

优选地,所述存储牌照包括以下信息:牌照ID、发布者、接收者、数字证书以及有效时间,每个存储牌照的牌照ID互不相同;所述数据请求包括以下信息:数据请求ID、处理者、数据请求信息、响应信息。

优选地,所述注册单元包括:

存储牌照生成单元:用于接收各个独立云存储系统分别发送的注册请求,针对每个注册请求,将所述牌照ID、发布者、数字证书以及有效时间写入一个存储牌照中并下发给对应的独立云存储系统;

存储牌照验证单元:用于对各个独立云存储系统返回的写入有各自的系统信息作为所述接收者的存储牌照进行验证,并在某个存储牌照验证通过时将该存储牌照设为已注册的存储牌照并下发给对应的独立云存储系统进行存储,每个独立云存储系统基于存储的已注册的存储牌照注册到该统一云存储系统中。

优选地,数据管理系统包括信息共享服务平台和信息安全服务平台,所述信息共享服务平台包括平台接口层10、平台管理层20和平台部署层30,所述信息安全服务平台包括数据安全处理层40和数据服务层50;

所述平台接口层10通过对外提供统一的接口,实现用户进行数据的发布、查询和获取;

所述平台管理层20用于管理由数据安全处理模块处理后的数据,包括依次连接的信息存储模块21、服务分类管理模块22和服务查询检索模块23:

(1)信息存储模块21,其采用云存储系统进行加密后数据的存储,形成虚拟的存储资源池并协调配置存储资源;

(2)服务分类管理模块22,用于对具有相似特征的服务进行分类并形成服务目录,采用的算法为:

设有服务集F={f1,…,fn},服务集中的每个服务用m个属性来描述,则有fi=(fi1,…,fim),fi∈Rm,其中,R表示实数,m的取值范围为[4,8],i=1,…,n;

step1确定聚类个数k,随机选择k个对象{t1,…,tk}作为聚类中心,则有tj=(tj1,…,tjm),tj∈Rm,其中,j=1,…,k;

step2对于每个服务fi,计算其相对应分类:

<mrow> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mi>j</mi> </munder> <mfrac> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>t</mi> <mrow> <mi>j</mi> <mi>l</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <msubsup> <mi>f</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </msqrt> <mo>&times;</mo> <msqrt> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <msubsup> <mi>t</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </msqrt> </mrow> </mfrac> </mrow>

式中,ci表示服务fi与k个类中距离最近的类,当满足条件的ci不止一个,则服务fi同时对应多个分类;

step3对于每个聚类j,重新计算该类的聚类中心:

当聚类j中含有的服务均只属于一类,则有:

<mrow> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>:</mo> <mo>=</mo> <mfrac> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> </mrow> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> </mrow> </mfrac> </mrow>

当聚类j中有服务同时属于w个分类,则有:

<mrow> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>:</mo> <mo>=</mo> <mfrac> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mfrac> <mrow> <mi>w</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>w</mi> </mfrac> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>j</mi> <mi>w</mi> </msub> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> </mrow> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> </mrow> </mfrac> </mrow>

式中,{ci=j}表示对应于聚类j的服务,{ci=jw}表示服务同时对应于w个聚类,其中2≤w≤k;

step4重复step2和step3,前后两次聚类中心的距离d=||tj后-tj前||,tj后为后一次聚类中心,tj前为前一次聚类中心,根据实际应用设定阈值T,当满足d<T时,停止聚类;

利用上述算法,在服务类内继续聚类可以细化服务分类,在一级目录的基础上形成多级目录;

(3)服务查询检索模块23,用于在海量信息中精确找到需要的信息,从而完成信息检索,采用的算法为:

step1对于服务集中的服务fi,若包含特征词C1,…,Cq,确定相应特征词权值δ1,…,δq,tCq表示特征词Cq在服务fi中出现的次数,n为服务集中包含的服务总数,nq表示服务集中包含特征词Cq的服务数,则服务用向量可表示为:

<mrow> <mover> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>&RightArrow;</mo> </mover> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>&delta;</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>&delta;</mi> <mi>q</mi> </msub> <mo>)</mo> </mrow> </mrow>

step2对于检索请求Ai中包含表示服务的特征词C1,…,Cs,并确定相应特征词权值σ1,…,σs,tCs表示特征词Cs在服务fi中出现的次数,maxtCs表示特征词Cs在所有服务中出现的次数的最大值,n为服务集中包含的服务总数,ns表示服务集中包含特征词Cs的服务数,则检索请求用向量可表示为:

<mrow> <mover> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>&RightArrow;</mo> </mover> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>&sigma;</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>&sigma;</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> </mrow>

step3确定特征词空间特征词个数d,将服务和检索请求向量标准化,对服务和检索请求中没有的特征词,其相应的权值为0,此时有求和欧式距离,按照从小到大的顺序将服务提供给用户;

所述平台部署层30用于建立服务管理中心,部署网络服务器,采用网络服务器对服务信息进行保存,并提供客户使用;

所述数据安全处理层40,连接平台接口层和平台管理层,用于将平台接口层中用户发布的数据利用自生成的数据集密钥加密后进行备份并上传给所述平台管理层,同时提取、上传数据的元信息,并利用自生成的元信息密钥对提取的元信息加密后发送给所述数据服务层、利用主密钥加密所述数据集密钥和所述元信息密钥后发送给所述数据服务层;

所述数据服务层50,连接数据安全处理层和平台部署层,用于存储所述数据安全处理层加密上传的元信息和密钥信息,并通过平台部署层提供数据集访问支持,以及密文检索和数据验证服务支持。

进一步地,所述平台部署层30包括访问安全控制模块31,所述访问安全控制模块31包括访问权限控制单元、数据访问流量控制单元、数据访问传输控制单元和敏感信息访问控制单元;所述数据访问权限控制单元用于控制用户的访问权限,所述数据访问流量控制单元用于控制用户访问数据的流量,所述数据访问传输控制单元用于对数据传输进行加密和安全认证控制,所述敏感信息访问控制单元用于对访问敏感信息的行为进行监控并予以告警,以及针对异常访问的操作进行限制。

其中,所述数据访问传输控制单元中,对于安全认证控制,包括基于虹膜识别加口令的安全认证和基于指纹识别加密钥的安全认证。

其中,所述云信息包括数据集名字、数据集大小和数据集关键词。

本实施例设置信息共享服务平台,有效解决了集中式服务管理造成的压力集中,大量服务难以管理等问题;设置信息存储模块,其采用云存储系统进行加密后数据的存储,不需要了解具体的存储设备信息,不需要考虑数据备份和冗余等问题,节约了时间成本和存储成本;设置信息安全服务平台,通过数据安全处理层和数据服务层对数据进行加密处理,提高了信息安全度;在平台部署层中设置访问安全控制模块,大大提高了信息安全大数据管理系统的安全性;设置服务分类管理模块,通过创建服务目录,解决了以往检索准确率低和耗费时间长的问题,并设置服务查询检索模块,采用向量检索算法,提高了检索精确度,实现了服务名称和服务功能相匹配的检索,其中服务集中的描述每个服务的属性数目m取值为4,检索准确率相对提高了0.4%,效率相对提高了0.5%。

实施例2

参见图1,图2,本实施例的使用云存储的数据管理装置,包括云存储系统和数据管理系统,其中,云存储系统包括:

注册单元,用于处理各个独立云存储系统的注册请求,并为注册通过的每个独立云存储系统绑定一个已注册的存储牌照;

请求解析单元,用于接收用户端发送的数据请求,基于所有已注册的存储牌照对该数据请求进行解析;

请求转发单元,用于基于解析结果将该数据请求转发给相应的独立云存储系统进行处理,独立云存储系统基于该数据请求进行数据处理后返回处理结果给用户端。

优选地,所述存储牌照包括以下信息:牌照ID、发布者、接收者、数字证书以及有效时间,每个存储牌照的牌照ID互不相同;所述数据请求包括以下信息:数据请求ID、处理者、数据请求信息、响应信息。

优选地,所述注册单元包括:

存储牌照生成单元:用于接收各个独立云存储系统分别发送的注册请求,针对每个注册请求,将所述牌照ID、发布者、数字证书以及有效时间写入一个存储牌照中并下发给对应的独立云存储系统;

存储牌照验证单元:用于对各个独立云存储系统返回的写入有各自的系统信息作为所述接收者的存储牌照进行验证,并在某个存储牌照验证通过时将该存储牌照设为已注册的存储牌照并下发给对应的独立云存储系统进行存储,每个独立云存储系统基于存储的已注册的存储牌照注册到该统一云存储系统中。

优选地,数据管理系统包括信息共享服务平台和信息安全服务平台,所述信息共享服务平台包括平台接口层10、平台管理层20和平台部署层30,所述信息安全服务平台包括数据安全处理层40和数据服务层50;

所述平台接口层10通过对外提供统一的接口,实现用户进行数据的发布、查询和获取;

所述平台管理层20用于管理由数据安全处理模块处理后的数据,包括依次连接的信息存储模块21、服务分类管理模块22和服务查询检索模块23:

(1)信息存储模块21,其采用云存储系统进行加密后数据的存储,形成虚拟的存储资源池并协调配置存储资源;

(2)服务分类管理模块22,用于对具有相似特征的服务进行分类并形成服务目录,采用的算法为:

设有服务集F={f1,…,fn},服务集中的每个服务用m个属性来描述,则有fi=(fi1,…,fim),fi∈Rm,其中,R表示实数,m的取值范围为[4,8],i=1,…,n;

step1确定聚类个数k,随机选择k个对象{t1,…,tk}作为聚类中心,则有tj=(tj1,…,tjm),tj∈Rm,其中,j=1,…,k;

step2对于每个服务fi,计算其相对应分类:

<mrow> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mi>j</mi> </munder> <mfrac> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>t</mi> <mrow> <mi>j</mi> <mi>l</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <msubsup> <mi>f</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </msqrt> <mo>&times;</mo> <msqrt> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <msubsup> <mi>t</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </msqrt> </mrow> </mfrac> </mrow>

式中,ci表示服务fi与k个类中距离最近的类,当满足条件的ci不止一个,则服务fi同时对应多个分类;

step3对于每个聚类j,重新计算该类的聚类中心:

当聚类j中含有的服务均只属于一类,则有:

<mrow> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>:</mo> <mo>=</mo> <mfrac> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> </mrow> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> </mrow> </mfrac> </mrow>

当聚类j中有服务同时属于w个分类,则有:

<mrow> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>:</mo> <mo>=</mo> <mfrac> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mfrac> <mrow> <mi>w</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>w</mi> </mfrac> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>j</mi> <mi>w</mi> </msub> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> </mrow> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> </mrow> </mfrac> </mrow>

式中,{ci=j}表示对应于聚类j的服务,{ci=jw}表示服务同时对应于w个聚类,其中2≤w≤k;

step4重复step2和step3,前后两次聚类中心的距离d=||tj后-tj前||,tj后为后一次聚类中心,tj前为前一次聚类中心,根据实际应用设定阈值T,当满足d<T时,停止聚类;

利用上述算法,在服务类内继续聚类可以细化服务分类,在一级目录的基础上形成多级目录;

(3)服务查询检索模块23,用于在海量信息中精确找到需要的信息,从而完成信息检索,采用的算法为:

step1对于服务集中的服务fi,若包含特征词C1,…,Cq,确定相应特征词权值δ1,…,δq,tCq表示特征词Cq在服务fi中出现的次数,n为服务集中包含的服务总数,nq表示服务集中包含特征词Cq的服务数,则服务用向量可表示为:

<mrow> <mover> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>&RightArrow;</mo> </mover> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>&delta;</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>&delta;</mi> <mi>q</mi> </msub> <mo>)</mo> </mrow> </mrow>

step2对于检索请求Ai中包含表示服务的特征词C1,…,Cs,并确定相应特征词权值σ1,…,σs,tCs表示特征词Cs在服务fi中出现的次数,maxtCs表示特征词Cs在所有服务中出现的次数的最大值,n为服务集中包含的服务总数,ns表示服务集中包含特征词Cs的服务数,则检索请求用向量可表示为:

<mrow> <mover> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>&RightArrow;</mo> </mover> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>&sigma;</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>&sigma;</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> </mrow>

step3确定特征词空间特征词个数d,将服务和检索请求向量标准化,对服务和检索请求中没有的特征词,其相应的权值为0,此时有求和欧式距离,按照从小到大的顺序将服务提供给用户;

所述平台部署层30用于建立服务管理中心,部署网络服务器,采用网络服务器对服务信息进行保存,并提供客户使用;

所述数据安全处理层40,连接平台接口层和平台管理层,用于将平台接口层中用户发布的数据利用自生成的数据集密钥加密后进行备份并上传给所述平台管理层,同时提取、上传数据的元信息,并利用自生成的元信息密钥对提取的元信息加密后发送给所述数据服务层、利用主密钥加密所述数据集密钥和所述元信息密钥后发送给所述数据服务层;

所述数据服务层50,连接数据安全处理层和平台部署层,用于存储所述数据安全处理层加密上传的元信息和密钥信息,并通过平台部署层提供数据集访问支持,以及密文检索和数据验证服务支持。

进一步地,所述平台部署层30包括访问安全控制模块31,所述访问安全控制模块31包括访问权限控制单元、数据访问流量控制单元、数据访问传输控制单元和敏感信息访问控制单元;所述数据访问权限控制单元用于控制用户的访问权限,所述数据访问流量控制单元用于控制用户访问数据的流量,所述数据访问传输控制单元用于对数据传输进行加密和安全认证控制,所述敏感信息访问控制单元用于对访问敏感信息的行为进行监控并予以告警,以及针对异常访问的操作进行限制。

其中,所述数据访问传输控制单元中,对于安全认证控制,包括基于虹膜识别加口令的安全认证和基于指纹识别加密钥的安全认证。

其中,所述云信息包括数据集名字、数据集大小和数据集关键词。

本实施例设置信息共享服务平台,有效解决了集中式服务管理造成的压力集中,大量服务难以管理等问题;设置信息存储模块,其采用云存储系统进行加密后数据的存储,不需要了解具体的存储设备信息,不需要考虑数据备份和冗余等问题,节约了时间成本和存储成本;设置信息安全服务平台,通过数据安全处理层和数据服务层对数据进行加密处理,提高了信息安全度;在平台部署层中设置访问安全控制模块,大大提高了信息安全大数据管理系统的安全性;设置服务分类管理模块,通过创建服务目录,解决了以往检索准确率低和耗费时间长的问题,并设置服务查询检索模块,采用向量检索算法,提高了检索精确度,实现了服务名称和服务功能相匹配的检索,其中服务集中的描述每个服务的属性数目m取值为5,检索准确率相对提高了0.45%,效率相对提高了0.4%。

实施例3

参见图1,图2,本实施例的使用云存储的数据管理装置,包括云存储系统和数据管理系统,其中,云存储系统包括:

注册单元,用于处理各个独立云存储系统的注册请求,并为注册通过的每个独立云存储系统绑定一个已注册的存储牌照;

请求解析单元,用于接收用户端发送的数据请求,基于所有已注册的存储牌照对该数据请求进行解析;

请求转发单元,用于基于解析结果将该数据请求转发给相应的独立云存储系统进行处理,独立云存储系统基于该数据请求进行数据处理后返回处理结果给用户端。

优选地,所述存储牌照包括以下信息:牌照ID、发布者、接收者、数字证书以及有效时间,每个存储牌照的牌照ID互不相同;所述数据请求包括以下信息:数据请求ID、处理者、数据请求信息、响应信息。

优选地,所述注册单元包括:

存储牌照生成单元:用于接收各个独立云存储系统分别发送的注册请求,针对每个注册请求,将所述牌照ID、发布者、数字证书以及有效时间写入一个存储牌照中并下发给对应的独立云存储系统;

存储牌照验证单元:用于对各个独立云存储系统返回的写入有各自的系统信息作为所述接收者的存储牌照进行验证,并在某个存储牌照验证通过时将该存储牌照设为已注册的存储牌照并下发给对应的独立云存储系统进行存储,每个独立云存储系统基于存储的已注册的存储牌照注册到该统一云存储系统中。

优选地,数据管理系统包括信息共享服务平台和信息安全服务平台,所述信息共享服务平台包括平台接口层10、平台管理层20和平台部署层30,所述信息安全服务平台包括数据安全处理层40和数据服务层50;

所述平台接口层10通过对外提供统一的接口,实现用户进行数据的发布、查询和获取;

所述平台管理层20用于管理由数据安全处理模块处理后的数据,包括依次连接的信息存储模块21、服务分类管理模块22和服务查询检索模块23:

(1)信息存储模块21,其采用云存储系统进行加密后数据的存储,形成虚拟的存储资源池并协调配置存储资源;

(2)服务分类管理模块22,用于对具有相似特征的服务进行分类并形成服务目录,采用的算法为:

设有服务集F={f1,…,fn},服务集中的每个服务用m个属性来描述,则有fi=(fi1,…,fim),fi∈Rm,其中,R表示实数,m的取值范围为[4,8],i=1,…,n;

step1确定聚类个数k,随机选择k个对象{t1,…,tk}作为聚类中心,则有tj=(tj1,…,tjm),tj∈Rm,其中,j=1,…,k;

step2对于每个服务fi,计算其相对应分类:

<mrow> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mi>j</mi> </munder> <mfrac> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>t</mi> <mrow> <mi>j</mi> <mi>l</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <msubsup> <mi>f</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </msqrt> <mo>&times;</mo> <msqrt> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <msubsup> <mi>t</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </msqrt> </mrow> </mfrac> </mrow>

式中,ci表示服务fi与k个类中距离最近的类,当满足条件的ci不止一个,则服务fi同时对应多个分类;

step3对于每个聚类j,重新计算该类的聚类中心:

当聚类j中含有的服务均只属于一类,则有:

<mrow> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>:</mo> <mo>=</mo> <mfrac> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> </mrow> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> </mrow> </mfrac> </mrow>

当聚类j中有服务同时属于w个分类,则有:

<mrow> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>:</mo> <mo>=</mo> <mfrac> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mfrac> <mrow> <mi>w</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>w</mi> </mfrac> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>j</mi> <mi>w</mi> </msub> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> </mrow> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> </mrow> </mfrac> </mrow>

式中,{ci=j}表示对应于聚类j的服务,{ci=jw}表示服务同时对应于w个聚类,其中2≤w≤k;

step4重复step2和step3,前后两次聚类中心的距离d=||tj后-tj前||,tj后为后一次聚类中心,tj前为前一次聚类中心,根据实际应用设定阈值T,当满足d<T时,停止聚类;

利用上述算法,在服务类内继续聚类可以细化服务分类,在一级目录的基础上形成多级目录;

(3)服务查询检索模块23,用于在海量信息中精确找到需要的信息,从而完成信息检索,采用的算法为:

step1对于服务集中的服务fi,若包含特征词C1,…,Cq,确定相应特征词权值δ1,…,δq,tCq表示特征词Cq在服务fi中出现的次数,n为服务集中包含的服务总数,nq表示服务集中包含特征词Cq的服务数,则服务用向量可表示为:

<mrow> <mover> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>&RightArrow;</mo> </mover> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>&delta;</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>&delta;</mi> <mi>q</mi> </msub> <mo>)</mo> </mrow> </mrow>

step2对于检索请求Ai中包含表示服务的特征词C1,…,Cs,并确定相应特征词权值σ1,…,σs,tCs表示特征词Cs在服务fi中出现的次数,maxtCs表示特征词Cs在所有服务中出现的次数的最大值,n为服务集中包含的服务总数,ns表示服务集中包含特征词Cs的服务数,则检索请求用向量可表示为:

<mrow> <mover> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>&RightArrow;</mo> </mover> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>&sigma;</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>&sigma;</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> </mrow>

step3确定特征词空间特征词个数d,将服务和检索请求向量标准化,对服务和检索请求中没有的特征词,其相应的权值为0,此时有求和欧式距离,按照从小到大的顺序将服务提供给用户;

所述平台部署层30用于建立服务管理中心,部署网络服务器,采用网络服务器对服务信息进行保存,并提供客户使用;

所述数据安全处理层40,连接平台接口层和平台管理层,用于将平台接口层中用户发布的数据利用自生成的数据集密钥加密后进行备份并上传给所述平台管理层,同时提取、上传数据的元信息,并利用自生成的元信息密钥对提取的元信息加密后发送给所述数据服务层、利用主密钥加密所述数据集密钥和所述元信息密钥后发送给所述数据服务层;

所述数据服务层50,连接数据安全处理层和平台部署层,用于存储所述数据安全处理层加密上传的元信息和密钥信息,并通过平台部署层提供数据集访问支持,以及密文检索和数据验证服务支持。

进一步地,所述平台部署层30包括访问安全控制模块31,所述访问安全控制模块31包括访问权限控制单元、数据访问流量控制单元、数据访问传输控制单元和敏感信息访问控制单元;所述数据访问权限控制单元用于控制用户的访问权限,所述数据访问流量控制单元用于控制用户访问数据的流量,所述数据访问传输控制单元用于对数据传输进行加密和安全认证控制,所述敏感信息访问控制单元用于对访问敏感信息的行为进行监控并予以告警,以及针对异常访问的操作进行限制。

其中,所述数据访问传输控制单元中,对于安全认证控制,包括基于虹膜识别加口令的安全认证和基于指纹识别加密钥的安全认证。

其中,所述云信息包括数据集名字、数据集大小和数据集关键词。

本实施例设置信息共享服务平台,有效解决了集中式服务管理造成的压力集中,大量服务难以管理等问题;设置信息存储模块,其采用云存储系统进行加密后数据的存储,不需要了解具体的存储设备信息,不需要考虑数据备份和冗余等问题,节约了时间成本和存储成本;设置信息安全服务平台,通过数据安全处理层和数据服务层对数据进行加密处理,提高了信息安全度;在平台部署层中设置访问安全控制模块,大大提高了信息安全大数据管理系统的安全性;设置服务分类管理模块,通过创建服务目录,解决了以往检索准确率低和耗费时间长的问题,并设置服务查询检索模块,采用向量检索算法,提高了检索精确度,实现了服务名称和服务功能相匹配的检索,其中服务集中的描述每个服务的属性数目m取值为6,检索准确率相对提高了0.6%,效率相对提高了0.35%。

实施例4

参见图1,图2,本实施例的使用云存储的数据管理装置,包括云存储系统和数据管理系统,其中,云存储系统包括:

注册单元,用于处理各个独立云存储系统的注册请求,并为注册通过的每个独立云存储系统绑定一个已注册的存储牌照;

请求解析单元,用于接收用户端发送的数据请求,基于所有已注册的存储牌照对该数据请求进行解析;

请求转发单元,用于基于解析结果将该数据请求转发给相应的独立云存储系统进行处理,独立云存储系统基于该数据请求进行数据处理后返回处理结果给用户端。

优选地,所述存储牌照包括以下信息:牌照ID、发布者、接收者、数字证书以及有效时间,每个存储牌照的牌照ID互不相同;所述数据请求包括以下信息:数据请求ID、处理者、数据请求信息、响应信息。

优选地,所述注册单元包括:

存储牌照生成单元:用于接收各个独立云存储系统分别发送的注册请求,针对每个注册请求,将所述牌照ID、发布者、数字证书以及有效时间写入一个存储牌照中并下发给对应的独立云存储系统;

存储牌照验证单元:用于对各个独立云存储系统返回的写入有各自的系统信息作为所述接收者的存储牌照进行验证,并在某个存储牌照验证通过时将该存储牌照设为已注册的存储牌照并下发给对应的独立云存储系统进行存储,每个独立云存储系统基于存储的已注册的存储牌照注册到该统一云存储系统中。

优选地,数据管理系统包括信息共享服务平台和信息安全服务平台,所述信息共享服务平台包括平台接口层10、平台管理层20和平台部署层30,所述信息安全服务平台包括数据安全处理层40和数据服务层50;

所述平台接口层10通过对外提供统一的接口,实现用户进行数据的发布、查询和获取;

所述平台管理层20用于管理由数据安全处理模块处理后的数据,包括依次连接的信息存储模块21、服务分类管理模块22和服务查询检索模块23:

(1)信息存储模块21,其采用云存储系统进行加密后数据的存储,形成虚拟的存储资源池并协调配置存储资源;

(2)服务分类管理模块22,用于对具有相似特征的服务进行分类并形成服务目录,采用的算法为:

设有服务集F={f1,…,fn},服务集中的每个服务用m个属性来描述,则有fi=(fi1,…,fim),fi∈Rm,其中,R表示实数,m的取值范围为[4,8],i=1,…,n;

step1确定聚类个数k,随机选择k个对象{t1,…,tk}作为聚类中心,则有tj=(tj1,…,tjm),tj∈Rm,其中,j=1,…,k;

step2对于每个服务fi,计算其相对应分类:

<mrow> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mi>j</mi> </munder> <mfrac> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>t</mi> <mrow> <mi>j</mi> <mi>l</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <msubsup> <mi>f</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </msqrt> <mo>&times;</mo> <msqrt> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <msubsup> <mi>t</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </msqrt> </mrow> </mfrac> </mrow>

式中,ci表示服务fi与k个类中距离最近的类,当满足条件的ci不止一个,则服务fi同时对应多个分类;

step3对于每个聚类j,重新计算该类的聚类中心:

当聚类j中含有的服务均只属于一类,则有:

<mrow> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>:</mo> <mo>=</mo> <mfrac> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> </mrow> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> </mrow> </mfrac> </mrow>

当聚类j中有服务同时属于w个分类,则有:

<mrow> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>:</mo> <mo>=</mo> <mfrac> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mfrac> <mrow> <mi>w</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>w</mi> </mfrac> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>j</mi> <mi>w</mi> </msub> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> </mrow> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> </mrow> </mfrac> </mrow>

式中,{ci=j}表示对应于聚类j的服务,{ci=jw}表示服务同时对应于w个聚类,其中2≤w≤k;

step4重复step2和step3,前后两次聚类中心的距离d=||tj后-tj前||,tj后为后一次聚类中心,tj前为前一次聚类中心,根据实际应用设定阈值T,当满足d<T时,停止聚类;

利用上述算法,在服务类内继续聚类可以细化服务分类,在一级目录的基础上形成多级目录;

(3)服务查询检索模块23,用于在海量信息中精确找到需要的信息,从而完成信息检索,采用的算法为:

step1对于服务集中的服务fi,若包含特征词C1,…,Cq,确定相应特征词权值δ1,…,δq,tCq表示特征词Cq在服务fi中出现的次数,n为服务集中包含的服务总数,nq表示服务集中包含特征词Cq的服务数,则服务用向量可表示为:

<mrow> <mover> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>&RightArrow;</mo> </mover> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>&delta;</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>&delta;</mi> <mi>q</mi> </msub> <mo>)</mo> </mrow> </mrow>

step2对于检索请求Ai中包含表示服务的特征词C1,…,Cs,并确定相应特征词权值σ1,…,σs,tCs表示特征词Cs在服务fi中出现的次数,maxtCs表示特征词Cs在所有服务中出现的次数的最大值,n为服务集中包含的服务总数,ns表示服务集中包含特征词Cs的服务数,则检索请求用向量可表示为:

<mrow> <mover> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>&RightArrow;</mo> </mover> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>&sigma;</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>&sigma;</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> </mrow>

step3确定特征词空间特征词个数d,将服务和检索请求向量标准化,对服务和检索请求中没有的特征词,其相应的权值为0,此时有求和欧式距离,按照从小到大的顺序将服务提供给用户;

所述平台部署层30用于建立服务管理中心,部署网络服务器,采用网络服务器对服务信息进行保存,并提供客户使用;

所述数据安全处理层40,连接平台接口层和平台管理层,用于将平台接口层中用户发布的数据利用自生成的数据集密钥加密后进行备份并上传给所述平台管理层,同时提取、上传数据的元信息,并利用自生成的元信息密钥对提取的元信息加密后发送给所述数据服务层、利用主密钥加密所述数据集密钥和所述元信息密钥后发送给所述数据服务层;

所述数据服务层50,连接数据安全处理层和平台部署层,用于存储所述数据安全处理层加密上传的元信息和密钥信息,并通过平台部署层提供数据集访问支持,以及密文检索和数据验证服务支持。

进一步地,所述平台部署层30包括访问安全控制模块31,所述访问安全控制模块31包括访问权限控制单元、数据访问流量控制单元、数据访问传输控制单元和敏感信息访问控制单元;所述数据访问权限控制单元用于控制用户的访问权限,所述数据访问流量控制单元用于控制用户访问数据的流量,所述数据访问传输控制单元用于对数据传输进行加密和安全认证控制,所述敏感信息访问控制单元用于对访问敏感信息的行为进行监控并予以告警,以及针对异常访问的操作进行限制。

其中,所述数据访问传输控制单元中,对于安全认证控制,包括基于虹膜识别加口令的安全认证和基于指纹识别加密钥的安全认证。

其中,所述云信息包括数据集名字、数据集大小和数据集关键词。

本实施例设置信息共享服务平台,有效解决了集中式服务管理造成的压力集中,大量服务难以管理等问题;设置信息存储模块,其采用云存储系统进行加密后数据的存储,不需要了解具体的存储设备信息,不需要考虑数据备份和冗余等问题,节约了时间成本和存储成本;设置信息安全服务平台,通过数据安全处理层和数据服务层对数据进行加密处理,提高了信息安全度;在平台部署层中设置访问安全控制模块,大大提高了信息安全大数据管理系统的安全性;设置服务分类管理模块,通过创建服务目录,解决了以往检索准确率低和耗费时间长的问题,并设置服务查询检索模块,采用向量检索算法,提高了检索精确度,实现了服务名称和服务功能相匹配的检索,其中服务集中的描述每个服务的属性数目m取值为7,检索准确率相对提高了0.7%,效率相对提高了0.32%。

实施例5

参见图1,图2,本实施例的使用云存储的数据管理装置,包括云存储系统和数据管理系统,其中,云存储系统包括:

注册单元,用于处理各个独立云存储系统的注册请求,并为注册通过的每个独立云存储系统绑定一个已注册的存储牌照;

请求解析单元,用于接收用户端发送的数据请求,基于所有已注册的存储牌照对该数据请求进行解析;

请求转发单元,用于基于解析结果将该数据请求转发给相应的独立云存储系统进行处理,独立云存储系统基于该数据请求进行数据处理后返回处理结果给用户端。

优选地,所述存储牌照包括以下信息:牌照ID、发布者、接收者、数字证书以及有效时间,每个存储牌照的牌照ID互不相同;所述数据请求包括以下信息:数据请求ID、处理者、数据请求信息、响应信息。

优选地,所述注册单元包括:

存储牌照生成单元:用于接收各个独立云存储系统分别发送的注册请求,针对每个注册请求,将所述牌照ID、发布者、数字证书以及有效时间写入一个存储牌照中并下发给对应的独立云存储系统;

存储牌照验证单元:用于对各个独立云存储系统返回的写入有各自的系统信息作为所述接收者的存储牌照进行验证,并在某个存储牌照验证通过时将该存储牌照设为已注册的存储牌照并下发给对应的独立云存储系统进行存储,每个独立云存储系统基于存储的已注册的存储牌照注册到该统一云存储系统中。

优选地,数据管理系统包括信息共享服务平台和信息安全服务平台,所述信息共享服务平台包括平台接口层10、平台管理层20和平台部署层30,所述信息安全服务平台包括数据安全处理层40和数据服务层50;

所述平台接口层10通过对外提供统一的接口,实现用户进行数据的发布、查询和获取;

所述平台管理层20用于管理由数据安全处理模块处理后的数据,包括依次连接的信息存储模块21、服务分类管理模块22和服务查询检索模块23:

(1)信息存储模块21,其采用云存储系统进行加密后数据的存储,形成虚拟的存储资源池并协调配置存储资源;

(2)服务分类管理模块22,用于对具有相似特征的服务进行分类并形成服务目录,采用的算法为:

设有服务集F={f1,…,fn},服务集中的每个服务用m个属性来描述,则有fi=(fi1,…,fim),fi∈Rm,其中,R表示实数,m的取值范围为[4,8],i=1,…,n;

step1确定聚类个数k,随机选择k个对象{t1,…,tk}作为聚类中心,则有tj=(tj1,…,tjm),tj∈Rm,其中,j=1,…,k;

step2对于每个服务fi,计算其相对应分类:

<mrow> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>arg</mi> <munder> <mrow> <mi>m</mi> <mi>a</mi> <mi>x</mi> </mrow> <mi>j</mi> </munder> <mfrac> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <mrow> <mo>(</mo> <msub> <mi>f</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> </msub> <mo>&times;</mo> <msub> <mi>t</mi> <mrow> <mi>j</mi> <mi>l</mi> </mrow> </msub> <mo>)</mo> </mrow> </mrow> <mrow> <msqrt> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <msubsup> <mi>f</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </msqrt> <mo>&times;</mo> <msqrt> <mrow> <msubsup> <mi>&Sigma;</mi> <mrow> <mi>l</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>m</mi> </msubsup> <msubsup> <mi>t</mi> <mrow> <mi>i</mi> <mi>l</mi> </mrow> <mn>2</mn> </msubsup> </mrow> </msqrt> </mrow> </mfrac> </mrow>

式中,ci表示服务fi与k个类中距离最近的类,当满足条件的ci不止一个,则服务fi同时对应多个分类;

step3对于每个聚类j,重新计算该类的聚类中心:

当聚类j中含有的服务均只属于一类,则有:

<mrow> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>:</mo> <mo>=</mo> <mfrac> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> </mrow> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> </mrow> </mfrac> </mrow>

当聚类j中有服务同时属于w个分类,则有:

<mrow> <msub> <mi>t</mi> <mi>j</mi> </msub> <mo>:</mo> <mo>=</mo> <mfrac> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>-</mo> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mfrac> <mrow> <mi>w</mi> <mo>-</mo> <mn>1</mn> </mrow> <mi>w</mi> </mfrac> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <msub> <mi>j</mi> <mi>w</mi> </msub> <mo>}</mo> <msub> <mi>f</mi> <mi>i</mi> </msub> </mrow> <mrow> <msubsup> <mo>&Sigma;</mo> <mrow> <mi>i</mi> <mo>=</mo> <mn>1</mn> </mrow> <mi>n</mi> </msubsup> <mn>1</mn> <mo>{</mo> <msub> <mi>c</mi> <mi>i</mi> </msub> <mo>=</mo> <mi>j</mi> <mo>}</mo> </mrow> </mfrac> </mrow>

式中,{ci=j}表示对应于聚类j的服务,{ci=jw}表示服务同时对应于w个聚类,其中2≤w≤k;

step4重复step2和step3,前后两次聚类中心的距离d=||tj后-tj前||,tj后为后一次聚类中心,tj前为前一次聚类中心,根据实际应用设定阈值T,当满足d<T时,停止聚类;

利用上述算法,在服务类内继续聚类可以细化服务分类,在一级目录的基础上形成多级目录;

(3)服务查询检索模块23,用于在海量信息中精确找到需要的信息,从而完成信息检索,采用的算法为:

step1对于服务集中的服务fi,若包含特征词C1,…,Cq,确定相应特征词权值δ1,…,δq,tCq表示特征词Cq在服务fi中出现的次数,n为服务集中包含的服务总数,nq表示服务集中包含特征词Cq的服务数,则服务用向量可表示为:

<mrow> <mover> <msub> <mi>f</mi> <mi>i</mi> </msub> <mo>&RightArrow;</mo> </mover> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>&delta;</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>&delta;</mi> <mi>q</mi> </msub> <mo>)</mo> </mrow> </mrow>

step2对于检索请求Ai中包含表示服务的特征词C1,…,Cs,并确定相应特征词权值σ1,…,σs,tCs表示特征词Cs在服务fi中出现的次数,maxtCs表示特征词Cs在所有服务中出现的次数的最大值,n为服务集中包含的服务总数,ns表示服务集中包含特征词Cs的服务数,则检索请求用向量可表示为:

<mrow> <mover> <msub> <mi>A</mi> <mi>i</mi> </msub> <mo>&RightArrow;</mo> </mover> <mo>=</mo> <mrow> <mo>(</mo> <msub> <mi>&sigma;</mi> <mn>1</mn> </msub> <mo>,</mo> <mo>...</mo> <mo>,</mo> <msub> <mi>&sigma;</mi> <mi>s</mi> </msub> <mo>)</mo> </mrow> </mrow>

step3确定特征词空间特征词个数d,将服务和检索请求向量标准化,对服务和检索请求中没有的特征词,其相应的权值为0,此时有求和欧式距离,按照从小到大的顺序将服务提供给用户;

所述平台部署层30用于建立服务管理中心,部署网络服务器,采用网络服务器对服务信息进行保存,并提供客户使用;

所述数据安全处理层40,连接平台接口层和平台管理层,用于将平台接口层中用户发布的数据利用自生成的数据集密钥加密后进行备份并上传给所述平台管理层,同时提取、上传数据的元信息,并利用自生成的元信息密钥对提取的元信息加密后发送给所述数据服务层、利用主密钥加密所述数据集密钥和所述元信息密钥后发送给所述数据服务层;

所述数据服务层50,连接数据安全处理层和平台部署层,用于存储所述数据安全处理层加密上传的元信息和密钥信息,并通过平台部署层提供数据集访问支持,以及密文检索和数据验证服务支持。

进一步地,所述平台部署层30包括访问安全控制模块31,所述访问安全控制模块31包括访问权限控制单元、数据访问流量控制单元、数据访问传输控制单元和敏感信息访问控制单元;所述数据访问权限控制单元用于控制用户的访问权限,所述数据访问流量控制单元用于控制用户访问数据的流量,所述数据访问传输控制单元用于对数据传输进行加密和安全认证控制,所述敏感信息访问控制单元用于对访问敏感信息的行为进行监控并予以告警,以及针对异常访问的操作进行限制。

其中,所述数据访问传输控制单元中,对于安全认证控制,包括基于虹膜识别加口令的安全认证和基于指纹识别加密钥的安全认证。

其中,所述云信息包括数据集名字、数据集大小和数据集关键词。

本实施例设置信息共享服务平台,有效解决了集中式服务管理造成的压力集中,大量服务难以管理等问题;设置信息存储模块,其采用云存储系统进行加密后数据的存储,不需要了解具体的存储设备信息,不需要考虑数据备份和冗余等问题,节约了时间成本和存储成本;设置信息安全服务平台,通过数据安全处理层和数据服务层对数据进行加密处理,提高了信息安全度;在平台部署层中设置访问安全控制模块,大大提高了信息安全大数据管理系统的安全性;设置服务分类管理模块,通过创建服务目录,解决了以往检索准确率低和耗费时间长的问题,并设置服务查询检索模块,采用向量检索算法,提高了检索精确度,实现了服务名称和服务功能相匹配的检索,其中服务集中的描述每个服务的属性数目m取值为8,检索准确率相对提高了0.9%,效率相对提高了0.3%。

最后应当说明的是,以上实施例仅用以说明本发明的技术方案,而非对本发明保护范围的限制,尽管参照较佳实施例对本发明作了详细地说明,本领域的普通技术人员应当理解,可以对本发明的技术方案进行修改或者等同替换,而不脱离本发明技术方案的实质和范围。

当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1