本发明涉及分布式存储，尤其涉及一种基于分布式数据库的非结构化数据存储方法及装置。
背景技术：
：：1、随着计算机信息技术的普及与互联网用户数量的增多，使得数据量的增长速度越来越快，传统数据库与集中式存储技术已无法适应海量信息处理的需求。为了改善传统数据存储技术的局限性，研发了分布式存储技术，分布式存储技术增强了数据库的处理能力与处理效率。使用分布式数据库对非结构化数据进行存储，不但能满足大规模数据存储的需要，并且能够提高存储的性能，实现了文件的高可靠性、高性能和安全存储。技术实现思路1、本发明的目的在于克服现有技术的不足，本发明提供了一种基于分布式数据库的非结构化数据存储方法及装置，通过分布式数据库存储海量非结构化数据，提高了存储性能，实现文件的高可靠性、高性能和安全存储。2、为了解决上述技术问题，本发明实施例提供了一种基于分布式数据库的非结构化数据存储方法，所述方法包括：3、获取非结构化数据；4、将所述非结构化数据进行冷热分层处理，获得冷热分层处理后的非结构化数据；5、确定所述冷热分层处理后的非结构化数据所要存储的数据节点；6、所述数据节点基于水平分片的方式对所述冷热分层处理后的非结构化数据进行横向切分，获得非结构化数据分片；7、基于多副本机制对所述非结构化数据分片进行多副本处理，获得所述非结构化数据分片对应的多个副本；8、将所述非结构化数据分片及所述对应的多个副本分别存储于分布式数据库中对应的存储节点中。9、可选的，所述获取非结构化数据，包括：10、基于数据引擎接口接收写入数据请求；11、基于所述写入数据请求对数据进行提取处理，获得非结构化数据。12、可选的，所述将所述非结构化数据进行冷热分层处理，获得冷热分层处理后的非结构化数据，包括：13、基于特定的时序规则对所述非结构化数据进行判断，获得冷热数据判断结果；14、基于所述冷热数据判断结果使用apache doris技术进行冷热分层处理，获得冷热分层处理后的非结构化数据。15、可选的，所述基于所述冷热数据判断结果使用apache doris技术进行冷热分层处理，包括：16、基于实时流式投递技术创建tablestore数据源表；17、基于所述tablestore数据源表进行tp查询处理，获得tablestore数据源表的生命周期；18、基于所述tablestore数据源表的生命周期进行数据分离处理，获得冷热分层处理后的非结构化数据。19、可选的，所述确定所述冷热分层处理后的非结构化数据所要存储的数据节点，包括：20、基于异或运算方法计算所述冷热分层处理后的非结构化数据对应的哈希值；21、基于所述哈希值确定非结构化数据所要存储的数据节点。22、可选的，所述数据节点基于水平分片的方式对所述冷热分层处理后的非结构化数据进行横向切分，获得非结构化数据分片，包括：23、所述数据节点基于水平分片对所述冷热分层处理后的非结构化数据进行横向切分，其中横向切分的分区通过hash算法计算哈希索引，基于所述哈希索引确定切分的分区，获得非结构化数据分片。24、可选的，所述基于多副本机制对所述非结构化数据分片进行多副本处理，获得所述非结构化数据分片对应的多个副本，包括：25、基于多副本机制对所述非结构化数据分片进行多副本复制备份处理，确定主副本与备副本；26、采用同步复制方式对所述主副本与备副本进行数据复制处理，获得所述非结构化数据分片对应的多个副本。27、可选的，所述采用同步复制方式对所述主副本与备副本进行数据复制处理，包括：28、将写请求发送给主副本，主副本接收写请求；29、主副本基于复制日志将所述写请求同步给备副本，备副本进行同步处理，并将同步处理信息反馈至主副本；30、主副本接收反馈信息，获得对应的备副本。31、可选的，所述将所述非结构化数据分片及所述对应的多个副本分别存储于分布式数据库中对应的存储节点中，包括：32、将所述非结构化数据分片及所述对应的多个副本进行映射处理，获得分卷标识；33、基于所述分卷标识将所述非结构化数据分片及所述对应的多个副本分别存储于分布式数据库中对应的存储节点中。34、另外，本发明实施例还提供了一种基于分布式数据库的非结构化数据存储装置，所述装置包括：35、获取模块：获取非结构化数据；36、冷热分层模块：将所述非结构化数据进行冷热分层处理，获得冷热分层处理后的非结构化数据；37、数据节点模块：确定所述冷热分层处理后的非结构化数据所要存储的数据节点；38、水平分片模块：所述数据节点基于水平分片的方式对所述冷热分层处理后的非结构化数据进行横向切分，获得非结构化数据分片；39、副本模块：基于多副本机制对所述非结构化数据分片进行多副本处理，获得所述非结构化数据分片对应的多个副本；40、存储模块：将所述非结构化数据分片及所述对应的多个副本分别存储于分布式数据库中对应的存储节点中。41、在本发明实施例中，通过使用分布式数据库对非结构化数据进行存储，可以满足大规模数据存储的需要，而且分布式存储技术支持冷热数据分层处理，可以提高存储性能和进一步提升数据安全性；也支持多副本机制，采用多副本机制可以保障数据库的高可用与容灾；并且可以通过数据分片的方式，对数据引擎层的存储进行弹性水平扩展，从而实现高性能与无限水平弹性扩展能力；因此，采用分布式数据库存储数据不但提高了存储的可靠性和可用性，而且将通用硬件引入的不稳定因素降到最低，从而实现文件的高性能和安全存储。技术特征：1.一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述方法包括：2.根据权利要求1所述的一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述获取非结构化数据，包括：3.根据权利要求1所述的一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述将所述非结构化数据进行冷热分层处理，获得冷热分层处理后的非结构化数据，包括：4.根据权利要求3所述的一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述基于所述冷热数据判断结果使用apache doris技术进行冷热分层处理，包括：5.根据权利要求1所述的一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述确定所述冷热分层处理后的非结构化数据所要存储的数据节点，包括：6.根据权利要求1所述的一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述数据节点基于水平分片的方式对所述冷热分层处理后的非结构化数据进行横向切分，获得非结构化数据分片，包括：7.根据权利要求1所述的一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述基于多副本机制对所述非结构化数据分片进行多副本处理，获得所述非结构化数据分片对应的多个副本，包括：8.根据权利要求7所述的一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述采用同步复制方式对所述主副本与备副本进行数据复制处理，包括：9.根据权利要求1所述的一种基于分布式数据库的非结构化数据存储方法，其特征在于，所述将所述非结构化数据分片及所述对应的多个副本分别存储于分布式数据库中对应的存储节点中，包括：10.一种基于分布式数据库的非结构化数据存储装置，其特征在于，所述装置包括：技术总结本发明公开了一种基于分布式数据库的非结构化数据存储方法及装置，其中所述方法包括：获取非结构化数据；将所述非结构化数据进行冷热分层处理，获得冷热分层处理后的非结构化数据；确定所述冷热分层处理后的非结构化数据所要存储的数据节点；所述数据节点基于水平分片的方式对所述冷热分层处理后的非结构化数据进行横向切分，获得非结构化数据分片；基于多副本机制对所述非结构化数据分片进行多副本处理，获得所述非结构化数据分片对应的多个副本；将所述非结构化数据分片及所述对应的多个副本分别存储于分布式数据库中对应的存储节点。本发明通过分布式数据库存储海量非结构化数据，提高了存储性能，实现文件的高可靠性、高性能和安全存储。技术研发人员：杜家兵,王晶,宋才华,吴丽贤,皇甫汉聪,关兆雄,陈旭宇,庞伟林,庞维欣受保护的技术使用者：广东电网有限责任公司佛山供电局技术研发日：技术公布日：2024/1/15