巨量数据存取方法以及使用该方法的系统的制作方法_3

文档序号:9564636阅读:来源:国知局
败。安全 检验哈希模块650可使用公知的错误检查修正(ECC, Error Check and Correction)演算 法来尝试修正存在于数据段以及同位元段中可容忍数目的错误。
[0060] 图8是依据本发明实施例的执行处理单元210的数据读取方法流程图。此方法当 安全检验哈希模块650中的程序码被处理单元210载入并执行时实施。通过文件导向数据 库331、分散式批次数据库351或分散式即时数据库371所提供的API读取巨量数据集文件 系统611、613或615所请求的数据后(步骤S811),判断读取的数据是否正确(步骤S813)。 于步骤S813,读取的数据包含数据区段及同位元区段的值。若是,则通过纠删编码模块630 回复读取的数据给巨量数据集文件系统611、613或615(步骤S831);否则,执行错误修正 演算法来尝试修正错误(步骤S851)。接着,判断是否成功修正错误(步骤S853),若是, 则通过纠删编码模块630回复修正后的数据给巨量数据集文件系统611、613或615 (步骤 S871),通过文件导向数据库331、分散式批次数据库351或分散式即时数据库371提供的 API将修正后的数据写回相应的文件系统(步骤S873),以及传送包含修正过区段中的元标 签的事件给安全智能分析模块(步骤S875);否则,通过纠删编码模块630回复巨量数据集 文件系统611、613或615数据读取失败的信息(步骤S891)。于步骤S813、S851及S853 中,可使用公知的错误检查修正演算法来检查读取或修正后的数据是否正确,以及尝试修 正错误的数据。
[0061] 虽然图1至图6中包含了以上描述的元件,但不排除在不违反发明的精神下,使用 更多其他的附加元件,已达成更佳的技术效果。此外,虽然图8的方法流程图采用特定的顺 序来执行,但是在不违法发明精神的情况下,本领域技术人员可以在达到相同效果的前提 下,修改这些步骤间的顺序,所以,本发明并不局限于仅使用如上所述的顺序。
[0062] 虽然本发明使用以上实施例进行说明,但需要注意的是,这些描述并非用以限缩 本发明。相反地,此发明涵盖了本领域技术人员显而易见的修改与相似设置。所以,申请权 利要求范围须以最宽广的方式解释来包含所有显而易见的修改与相似设置。
【主权项】
1. 一种巨量数据存取方法,其特征在于,包含: 接收从不同类型的多个数据库前端模块中之一者传送的一数据存取请求;以及 使用一相应的应用程序界面来操作不同类型的多个云端文件系统中之一者,用以完成 上述数据存取请求的数据存取作业。2. 如权利要求1所述的巨量数据存取方法,其中,上述应用程序界面相应于一跨平台 文件导向数据库,以及上述云端文件系统为一格状文件系统。3. 如权利要求1所述的巨量数据存取方法,其中,上述应用程序界面相应于一分散式 批次数据库,以及上述云端文件系统为一分散式文件系统。4. 如权利要求1所述的巨量数据存取方法,其中,上述应用程序界面相应于一分散式 即时数据库,以及上述云端文件系统为一分散式文件系统。5. 如权利要求1所述的巨量数据存取方法,其中,上述数据存取请求为一数据写入请 求,还包含: 依据欲写入的数据产生一错误检查修正码,其中,上述欲写入的数据放置于一文件中 的一数据区段,并且上述错误检查修正码放置于上述文件中的一同位元区段;以及 使用上述相应的应用程序界面将上述数据区段以及上述同位元区段的值写入上述云 端文件系统。6. 如权利要求5所述的巨量数据存取方法,还包含: 为每一上述数据区段以及上述同位元区段计算一哈希值;以及 储存上述哈希值于上述相应的数据区段以及上述同位元区段。7. 如权利要求6所述的巨量数据存取方法,还包含: 为每一上述数据区段储存一元标签,用以辨认写入数据的类型。8. 如权利要求7所述的巨量数据存取方法,其中,上述数据存取请求为一数据读取请 求,还包含: 使用上述相应的应用程序界面从上述云端文件系统中读取一数据,其中,上述数据包 含一数据区段及一同位元区段的值; 判断上述读取数据是否正确; 当上述读取数据正确时,则回复上述读取数据; 当上述读取数据不正确时,则执行一错误修正演算法来尝试修正上述读取数据中的错 误以及判断是否成功修正错误; 当修正错误成功时,则回复上述修正后的数据;以及 当修正错误失败时,则回复数据读取失败的一信息。9. 如权利要求8所述的巨量数据存取方法,还包含: 当修正错误成功时,使用上述相应的应用程序界面将上述修正后的数据写回上述云端 文件系统。10. 如权利要求9所述的巨量数据存取方法,还包含: 当修正错误成功时,传送上述修正后的数据区段中的一元标签给一安全智能分析模 块,其中,上述元标签用以辨认上述修正后的数据区段的数据类型。11. 如权利要求10所述的巨量数据存取方法,还包含: 当上述安全智能分析模块收到一定数量的包含相同的上述元标签时,发布一假的文件 作为蜜罐。12. 如权利要求10所述的巨量数据存取方法,其中,上述安全智能分析模块预测将来 哪一类型的数据可能遭受攻击。13. -种巨量数据存取系统,其特征在于,包含: 一安全检验哈希模块,耦接于不同类型的多个数据库前端模块以及不同类型的多个云 端文件系统之间,用以接收从上述数据库前端模块中之一者传送的一数据存取请求;以及 使用一相应的应用程序界面来操作上述云端文件系统中之一者,用以完成上述数据存取请 求的数据存取作业。14. 如权利要求13所述的巨量数据存取系统,其中,上述云端文件系统的应用程序界 面包含一跨平台文件导向数据库、一分散式批次数据库以及一分散式即时数据库的应用程 序界面,以及上述云端文件系统包含一格状文件系统以及一分散式文件系统。15. 如权利要求13所述的巨量数据存取系统,其中,上述数据存取请求为一数据写入 请求,还包含: 一纠删编码模块,用以依据欲写入的数据产生一错误检查修正码,其中,上述欲写入的 数据放置于一文件中的一数据区段,并且上述错误检查修正码放置于上述文件中的一同位 元区段;以及使用上述相应的应用程序界面将上述数据区段以及上述同位元区段的值写入 上述云端文件系统。16. 如权利要求15所述的巨量数据存取系统,其中,上述纠删编码模块为每一上述数 据区段以及上述同位元区段计算一哈希值;以及储存上述哈希值于上述相应的数据区段以 及上述同位元区段。17. 如权利要求16所述的巨量数据存取系统,其中,上述纠删编码模块为每一上述数 据区段储存一元标签,用以辨认写入数据的类型。18. 如权利要求13所述的巨量数据存取系统,其中,上述数据存取请求为一数据读取 请求,上述安全检验哈希模块使用上述相应的应用程序界面从上述云端文件系统中读取一 数据,其中,上述数据包含一数据区段及一同位元区段的值;判断上述读取数据是否正确; 当上述读取数据正确时,则回复上述读取数据;当上述读取数据不正确时,则执行一错误修 正演算法来尝试修正上述读取数据中的错误以及判断是否成功修正错误;当修正错误成功 时,则回复上述修正后的数据;以及当修正错误失败时,则回复数据读取失败的一信息。19. 如权利要求18所述的巨量数据存取系统,其中,当修正错误成功时,上述安全检验 哈希模块使用上述相应的应用程序界面将上述修正后的数据写回上述云端文件系统。20. 如权利要求19所述的巨量数据存取系统,其中,当修正错误成功时,上述安全检验 哈希模块传送上述修正后的数据区段中的一元标签给一安全智能分析模块,其中,上述元 标签用以辨认上述修正后的数据区段的数据类型。21. 如权利要求20所述的巨量数据存取系统,其中,当收到一定数量的包含相同的上 述元标签时,上述安全智能分析模块发布一假的文件作为蜜罐。22. 如权利要求20所述的巨量数据存取系统,其中,上述安全智能分析模块预测将来 哪一类型的数据可能遭受攻击。
【专利摘要】本发明提出一种巨量数据存取方法以及使用该方法的系统。该存取方法包含以下步骤:接收从不同类型的多个数据库前端模块中之一者传送的请求;以及使用相应的应用程序界面来操作不同类型的多个云端文件系统中之一者,用以完成请求的数据存取作业。
【IPC分类】G06F17/30
【公开号】CN105320711
【申请号】CN201410399954
【发明人】陈志明
【申请人】纬创资通股份有限公司
【公开日】2016年2月10日
【申请日】2014年8月13日
【公告号】US20160034491
当前第3页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1