一种应用于机巡业务数据存储的分布式数据存储方法与流程

文档序号:30061476发布日期:2022-05-17 23:42阅读:来源:国知局

技术特征:
1.一种应用于机巡业务数据存储的分布式数据存储方法,它包括:步骤1、对机巡业务数据进行资源划分;步骤2、数据通过负载均衡获得节点动态ip地址;步骤3、将file用户需要读写的文件,进行file->object映射;步骤4、将不同的pg通过crush算法被分配到不同的osd。2.根据权利要求1所述的一种应用于机巡业务数据存储的分布式数据存储方法,其特征在于:步骤1所述对机巡业务数据进行资源划分的方法为:将机巡业务数据存储到ceph集群中,存储数据的同时把数据分割成一个以上对象,每个对象拥有唯一的身份序列标识,对象是ceph集群中最小的存储单元,采用crush算法实现数据的存放。3.根据权利要求1所述的一种应用于机巡业务数据存储的分布式数据存储方法,其特征在于:步骤2所述数据通过负载均衡获得节点动态ip地址的方法为:当数据包从负载均衡器往后端转发时候,真实源ip在l3、l4和l7实现。4.根据权利要求3所述的一种应用于机巡业务数据存储的分布式数据存储方法,其特征在于:通过负载均衡获得节点动态ip地址的方法具体包括:步骤3.1、保持l3层源ip不变,根据连接次数分为:一次连接模式和二次连接模式;步骤3.2、在l4层数据里,添加源ip信息,有2种模式:在4层的option字段里增加源ip信息;在4层末尾和7层开头之间,增加proxy protocol信息;步骤3.3、在l7层数据里,增加源ip信息,有2种模式:协议自带和业务程序自行实现;步骤3.4、一次连接与二次连接实现:一次连接:负载均衡器对数据包仅做转发,而不对后端重新发起三次握手;二次连接:和一次连接相对应,在tcp转发时候,对后端重新进行了三次握手。5.根据权利要求1所述的一种应用于机巡业务数据存储的分布式数据存储方法,其特征在于:步骤3所述file->object映射的方法为:a.ino(file的元数据,file的唯一id);b.ono(file切分产生的某个object的序号,默认以4m切分一个块大小);c.oid(object id:ino+ono)。6.根据权利要求1所述的一种应用于机巡业务数据存储的分布式数据存储方法,其特征在于:步骤4所述将不同的pg通过crush算法被分配到不同的osd的方法包括:object是rados需要的对象。ceph指定一个静态hash函数计算oid的值,将oid映射成一个近似均匀分布的伪随机值,然后和mask按位相与,得到pgid;object->pg映射:a.hash(oid)&mask->pgid。b.mask=pg总数m(m为2的整数幂)-1;采用crush算法,将pgid代入,然后得到一组osd,pg->osd映射:a.crush(pgid)->(osd1,osd2,osd3)。

技术总结
本发明公开了一种应用于机巡业务数据存储的分布式数据存储方法,它包括:步骤1、对机巡业务数据进行资源划分;步骤2、数据通过负载均衡获得节点动态IP地址;步骤3、将File用户需要读写的文件,进行File->Object映射;步骤4、将不同的PG通过CRUSH算法被分配到不同的OSD;解决了机巡业务数据存储这一应用场景下,业务数据存储的安全性、可靠性、可扩展性和存储层及内的优化问题。及内的优化问题。及内的优化问题。


技术研发人员:毛先胤 文屹 吴建蓉 曾华荣 牛唯 许逵
受保护的技术使用者:贵州电网有限责任公司
技术研发日:2021.12.31
技术公布日:2022/5/16
当前第2页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1