一种基于分布式架构的光储一体化信息管理系统的制作方法

本发明涉及数据管理，更具体地说，本发明涉及一种基于分布式架构的光储一体化信息管理系统。

背景技术：

1、现有的信息管理系统可以集中管理和存储大量的数据，便于组织和查找信息，通过自动化和流程化，信息管理系统可以提高工作效率，减少人工操作和错误，可以实时更新数据，并且可以实现多用户之间的数据共享，促进协作和沟通，可以减少纸质文件的使用和存储，节省空间和资源，给人类的生活带来快捷便利；

2、然而，上述系统在使用过程中仍存在一定的问题，现有的信息管理系统，在一定情况下面临数据泄露、黑客攻击或未经授权的访问等安全威胁，并且可能存在运行缓慢、响应时间长等问题，影响用户的工作效率，不仅如此现有的信息管理系统缺乏灵活性，无法适应不同组织或用户的特定需求，无法与其他系统进行有效集成，导致数据交换困难，还缺乏数据分析功能，无法提供对数据的深入分析和洞察，现有的信息管理系统可扩展性差，单点故障风险高，在进行用户信息数据管理时，存在诸多不便。

技术实现思路

1、为了克服现有技术的上述缺陷，本发明的一种基于分布式架构的光储一体化信息管理系统，通过对用户上传的信息数据进行分布式存储、加密传输和权限设置，并计算出用户信息数据的数据质量、传输效果指数、数据安全性指数以及综合质量指数，并筛选出数据综合质量指数不合格的数据信息和时间戳信息，并对系统进行管理和故障修复，以解决上述背景技术中提出的问题。

2、为实现上述目的，本发明提供如下技术方案：包括：数据存储模块、数据安全模块、数据统计模块、数据计算模块、数据评估模块、系统管理模块、用户界面模块。

3、数据存储模块：用于存储用户上传的数据信息，采用分布式存储方式，实现数据的分片、去重和压缩操作，并将存储后的数据传输至数据安全模块；

4、数据安全模块：用于采用数据加密算法和访问控制列表方法，保护数据的安全和权限控制，包括数据的加密和审计操作，并将进行安全加密后的数据传输至数据统计模块；

5、数据统计模块：用于根据加密传输数据，统计传输数据的基础状态，具体包括信息数据的传输状态、数据安全状况、传输完成的数据状态，将统计到的数据信息传输至数据计算模块；

6、数据计算模块：用于根据采集到的用户数据信息的基础状态，计算出传输数据的数据质量、传输效果指数、数据安全性指数以及综合质量指数，并将综合质量指数传输至数据评估模块；

7、数据评估模块：用于将数据评估指数与预设值进行对比判断，并对此次数据综合质量做出评估，并筛选出综合质量低于预设值的数据节点信息，并将不合格数据传输状态信息反馈至系统管理模块；

8、系统管理模块：用于接收数据评估模块下发的数据传输状态信息，并利用自动化管理和监控技术，管理系统的配置和维护，包括节点管理、任务调度和故障恢复操作；

9、用户界面模块：用于提供用户界面，用户通过直观的图形界面和交互设计，完成数据上传、查询和分析操作。

10、优选的，数据存储模块用于存储用户上传的数据信息，采用分布式存储方式，实现数据的分片、去重和压缩操作，所述数据存储模块具体包括：

11、数据分片单元：将用户上传的数据按照文件大小的规则进行分片，将大文件切割成多个较小的数据块；

12、数据去重单元：利用哈希算法对每个数据块进行去重操作，利用md5或sha-1，对数据块进行哈希计算，将哈希值作为唯一标识，检查是否已存在相同的数据块，当已存在相同的数据块，则保存一份，并记录其引用计数；

13、数据压缩算法：利用lz77算法对数据块进行压缩；

14、存储管理单元：将分片、去重和压缩后的数据块存储到分布式存储系统中。

15、优选的，数据安全模块用于采用数据加密算法和访问控制列表方法，保护数据的安全和权限控制，包括数据的加密和审计操作，所述数据安全模块具体包括：

16、数据加密单元：利用aes算法对需要保护的数据进行加密操作；

17、密钥管理单元：使用密钥管理系统存储机制，将生成的密钥存储在存储介质中，并定期更新和备份密钥；

18、审计操作单元：记录用户的操作日志，包括数据的访问、修改和删除操作，存储操作日志，后续审计和追踪数据的访问和操作记录使用；

19、优选的，数据统计模块用于根据加密传输数据，统计传输数据的基础状态，具体包括信息数据的传输状态、数据安全状况、传输完成的数据状态，所述数据统计模块具体包括：

20、数据记录单元：记录数据传输过程中的时间戳和数据大小，并对记录的信息进行分析；

21、数据状态获取单元：根据分析结果获取数据状态，具体包括：传输数据总量、传输遗漏数量、错误数据量、重复数据量、失效数据量、数据更新频率、系统存储容量、已使用容量、数据传输速率、用户访问速率、数据压缩速率、压缩比例、传输数据大小、加密时间、解密时间、密钥长度、密钥生成时间。

22、优选的，数据计算模块用于根据采集到的用户数据信息的基础状态，计算出传输数据的数据质量、传输效果指数、数据安全性指数以及综合质量指数，所述数据计算模块具体包括：

23、数据质量计算单元：用于根据计算用户信息数据传输过程中的数据状态，计算该用户的数据质量为：，其中an为传输数据总量、sn为传输遗漏数量、dn为错误数据量、fn为重复数据量、gn为失效数据量、hn为数据更新频率；

24、传输效果指数计算单元：根据传输完成的数据状态信息，计算出用户信息数据的传输效果指数为：，其中qn为系统存储容量、wn为已使用容量、en为数据传输速率、tn为用户访问速率、yn为数据压缩速率、un为压缩比例；

25、数据安全性指数计算单元：根据用户信息数据的数据安全状况，计算出传输数据的安全指数为：；

26、综合质量指数计算单元：根据计算出的数据质量、传输效果指数、数据安全性指数，整合计算出传输数据的综合质量指数为：。

27、优选的，数据评估模块用于将数据评估指数与预设值进行对比判断，并对此次数据综合质量做出评估，并筛选出综合质量低于预设值的数据信息，所述数据评估模块具体包括：

28、数据对比单元：将计算出的传输数据的综合质量指数zn与预设值yn进行对比，判断二者的大小关系；

29、数据判断单元：当zn<yn时，传输数据的综合质量指数判断结果为不合格，并筛选出该传输数据的时间戳信息和传输状态数据；

30、数据反馈单元：将采集到的数据反馈给系统管理模块。

31、优选的，系统管理模块用于接收数据评估模块下发的数据状态信息，并利用自动化管理和监控技术，管理系统的配置和维护，包括配置管理、质量提升和故障恢复操作，所述系统管理模块具体包括：

32、质量提升单元：对数据信息进行详细的分析，包括数据缺失分析、数据错误分析、数据异常分析，利用去除重复数据、处理缺失数据、修复错误数据技术对低质量数据节点进行数据清洗，并使用插值、回归方法填补缺失值；

33、故障恢复单元：使用监控工具以及系统日志，实时监测系统中的故障和异常情况，利用查看系统日志、检查硬件设备、网络连接测试技术进行故障的诊断，并采取相应的恢复操作，包括：重启节点、修复网络连接；

34、配置管理单元：制定权限分配策略，根据用户角色和权限的层次结构，确保权限的合理分配和控制，确定每个用户角色的访问和操作的资源，以及权限的具体细节，使用身份验证机制以及使用访问控制列表定义不同用户角色对资源的访问权限。

35、优选的，用户界面模块用于提供用户界面，用户通过直观的图形界面和交互设计，完成数据上传、查询和分析操作，所述用户界面模块具体包括：

36、界面确定单元：确定用户界面需要提供的功能，包括：数据上传、查询、分析、数据质量显示、数据传输效果显示以及数据安全性指数显示；

37、功能整合单元：通过api接口，将用户界面与后端进行数据交互和通信，用户通过智能终端完成信息数据的上传、信息数据的查询以及系统的维护和管理。

38、本发明的技术效果和优点：

39、本发明通过分布式存储技术，将数据分散存储在多个节点上，提高了系统的容量和可扩展性，同时降低了单点故障的风险，采用多层次的数据安全策略，包括数据加密、权限控制、访问控制等，保障数据的机密性和完整性，防止数据泄露和篡改，通过对存储在系统中的数据进行统计分析，提供数据的可视化展示和报表生成功能，帮助用户了解数据的趋势和变化，支持决策和规划，利用分布式计算技术，对大规模数据进行高效的计算和处理，有助于系统对用户信息数据管理质量做出评估，方便后期进行系统维护，通过对数据进行评估和分析，提供数据质量评估和异常检测功能，帮助用户发现数据中的问题和异常情况，提高数据的准确性和可信度，通过系统管理模块，提供系统的配置和管理功能，包括用户管理、权限管理、系统监控等，方便管理员对系统进行管理和维护，本发明采用分布式架构，系统具有高可用性和容错性，当某个节点发生故障时，系统可以自动切换到其他可用节点，保证系统的稳定运行，并且可以根据需要进行水平扩展，即增加更多的节点来处理更多的数据和用户请求，提高系统的性能和吞吐量。