一种基于大数据分析的检验检测信息化方法及系统

本发明属于信息化，尤其涉及一种基于大数据分析的检验检测信息化方法。

背景技术：

1、对于数据挖掘技术，国内相关研究主要体现在理论设计及单决策信息研究，通过数据挖掘技术对大量数据进行快速准确的分析处理，全面高效地提供定制服务,给食品安全监管提供新思路和新途径。通过分析目前食品安全中存在的问题及特征,结合大数据与云计算的功能与优势,提出解决食品安全的创新思考。

2、国外的相关研究集中在对数据深度挖掘技术的应用方面，他们尝试通过各种感应探测器对整个供应链开展大数据采集与分析，研究途径主要包括：在线食品安全数据库、移动设备及手持设备、社会媒体；技术手段主要通过：物联网、云计算、区块链、大数据深度挖掘等。

3、目前，已有许多数理统计方法用于对食品安全数据的监测分析，如控制图、移动平均线、线性回归等。然而，食品安全性涉及因素较多，传统的数理统计分析方法不能完全满足食品安全检测数据的深度分析，在充分利用已有的检验检测数据来评估和预测食品安全风险的趋势上有所欠缺，如何利用数据分析工具从海量数据中提取具有指导价值的信息成为挖掘大数据分析技术的关键。

4、相关现有技术：传统的检验检测信息化方法主要依赖于人工收集和处理数据，然后使用定量的统计方法进行分析，最后生成报告。这种方法以人工方式进行检验检测，数据处理和分析的过程中用到一些基本的数据库管理工具和统计分析软件。

5、现有技术存在的技术问题：

6、1.数据利用效率低：传统的方法主要依赖于人工操作，数据收集和处理的效率较低，容易出现错误。而且，由于没有进行脱敏处理，敏感信息会被泄露，这限制了数据的使用和分享。

7、2.缺乏深度分析：虽然传统的方法可以进行一些基本的统计分析，但是不能进行深度的数据挖掘和预测分析。例如，它不能发现数据之间的隐藏关系，也不能预测未来的趋势。

8、3.数据孤岛问题：传统的方法通常只关注单一的数据库，很难实现数据的跨数据库联接，这导致了数据孤岛问题，限制了数据的价值。

9、4.结果表达方式单一：传统的方法通常只能生成文字和表格形式的报告，缺乏直观的数据可视化。

10、5.缺乏智能决策能力：传统的方法依赖于人工进行决策，而人工决策往往缺乏科学依据，易受个人主观因素影响，决策质量和效率难以保证。

11、相比之下，基于大数据分析的检验检测信息化方法通过脱敏处理和数据清洗提高了数据利用效率，通过建立大数据模型和关联其他数据库进行深度分析和预测，通过数据可视化提供了直观的结果展示方式，通过算法的人工智能特征提升了决策的科学性和精确性。

技术实现思路

1、针对现有技术存在的问题，本发明提供了一种基于大数据分析的检验检测信息化方法，该方法具体包括：

2、s1：将已有的商检数据进行脱敏处理，按不同应用层面进行分类和数据清洗；

3、s2：建立大数据模型并训练数据，使之产生趋势性决策信息，同时利用算法的人工智能特征，提升检验检测技术；

4、s3：关联其他数据库，通过关联分析手段，为保障食品安全，增强学生体质及均衡饮食搭配给出策略性建议，为商检数据的社会化服务提供新的应用路径；

5、s4：利用平台进行数据可视化。

6、进一步，所述s1中，将已有的商检数据进行脱敏处理，具体包括：

7、获取脱敏处理请求，基于所述脱敏处理请求获取待脱敏数据表，待脱敏数据表对应一表标识，所述待脱敏数据表包括待脱敏字段和对应的待脱敏信息；

8、基于所述表标识查询数据库，获取与所述表标识相对应的目标敏感数据屏蔽表，所述目标敏感数据屏蔽表包括目标敏感字段和对应的目标脱敏规则；

9、将所述待脱敏数据表中，与所述目标敏感字段相同的待脱敏字段对应的待脱敏信息的处理状态设置为未处理状态；

10、调用目标脱敏脚本执行所述目标脱敏规则，对所述待脱敏数据表中与所述目标敏感字段相同的待脱敏字段对应的待脱敏信息进行脱敏处理，获取脱敏处理结果，并更新所述待脱敏信息的处理状态。

11、进一步，所述s1中，按不同应用层面进行分类和数据清洗，具体包括：

12、将商检数据按照不同应用层面进行类别划分，创建数据组织网；并根据所述数据组织网中不同数据结构扩展结构信息表；根据所述结构信息表，从所述数据组织网中剔除冗余数据结构的数据，完成清洗。

13、进一步，所述s2中，建立大数据模型并训练数据，使之产生趋势性决策信息具体包括：

14、通过建立关联模型和时序模型，将应用数据挖掘中的关联规则挖掘能够发现大量数据中项集之间的相关联系，适用于食品安全检测数据的分析，可以探索食品安全环节潜在的风险点，可为食品监管部门抽验任务布置、监管决策提供依据；时序模型可以动态监测未来的趋势，对食品安全监管提供数据支持和预警提示。

15、进一步，所述s2中，利用算法的人工智能特征，提升检验检测技术，具体包括：

16、利用推荐算法通过筛选客户的偏好、兴趣及行为定位目标客户，实现食品供应链上的安全预警；

17、通过对输入数据的算法及学习，建立有较高精确度及辨识率的稳健模型，从而以分类、回归、预测及聚类来挖掘各类数据价值。

18、进一步，所述s3具体包括：

19、通过商检数据与其他数据库的联合，比如学生体质检验数据库，可以产生更多的关联属性，对学生的营养保障、校园食品安全均具备增值效应；挖掘能够发现大量数据中项集之间的相关联系，实现对食品安全检测数据的深度分析。

20、本发明另一目的在于提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行所述基于大数据分析的检验检测信息化方法的步骤。

21、本发明另一目的在于提供一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时，使得所述处理器执行所述基于大数据分析的检验检测信息化方法的步骤。

22、本发明另一目的在于提供一种实施所述基于大数据分析的检验检测信息化方法的基于大数据分析的检验检测信息化系统，该系统包括：

23、元数据处理模块，用于将已有的商检数据进行脱敏处理，按不同应用层面进行分类和数据清洗；

24、大数据挖掘模块，与元数据处理模块连接，分别从时间、空间、分类三方面建立大数据模型并训练数据，使之产生趋势性决策信息，同时利用算法的人工智能特征，提升检验检测技术；

25、模型分析与评估模块，与大数据挖掘模块连接，用于接入实时数据，对大数据模型进行分析、评估和验证；

26、平台可视化模块，与模型分析与评估模块连接，用于将数据进行可视化。

27、本发明另一目的在于提供一种信息数据处理终端，所述信息数据处理终端用于实现所述基于大数据分析的检验检测信息化系统。

28、结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：

29、第一、本发明采用了关联分析技术：关联分析是一种寻找频繁项的数理计算方法。在本项目中，通过建立关联模型和时序模型，将应用数据挖掘中的关联规则挖掘能够发现大量数据中项集之间的相关联系，适用于食品安全检测数据的分析，可以探索食品安全环节潜在的风险点，可为食品监管部门抽验任务布置、监管决策提供依据。同时，时序模型可以动态监测未来的趋势，对食品安全监管提供数据支持和预警提示。另一方面，商检数据具备优良的可挖掘性，与其他数据库的联合，比如学生体质检验数据库，可以产生更多的关联属性，对学生的营养保障、校园食品安全均具备增值效应。

30、推荐算法：推荐算法广泛应用于商业模式中，通过筛选客户的偏好、兴趣及行为定位目标客户。但国际上相关研究人员已经在社会媒体数据的基础上提出了一种推荐系统，能够实现食品供应链上的安全预警。

31、机器学习：机器学习是一种在食品安全及增值应用方面采用的主要大数据分析方法，通过对输入数据的算法及学习，可以建立有较高精确度及辨识率的稳健模型，从而以分类、回归、预测及聚类来挖掘各类数据价值。

32、第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：

33、(1)通过历史商检数据的挖掘，建立模型并训练数据，使之产生趋势性决策信息，同时利用算法的人工智能特征，提升检验检测技术。

34、(2)关联其他数据库，通过关联分析手段，为保障食品安全，增强学生体质及均衡饮食搭配给出策略性建议，为商检数据的社会化服务提供新的应用路径。

35、第三，该基于大数据分析的检验检测信息化方法带来了以下显著的技术进步：

36、1.数据驱动决策：通过大数据分析，可以从海量的检验检测数据中提炼出有价值的信息，帮助决策者做出更准确和有效的决策。例如，通过关联分析，可以发现不同数据间的隐藏关系，从而预测潜在的风险和趋势。

37、2.提高数据利用效率：通过脱敏处理和数据清洗，可以保护数据的隐私，同时去除冗余和无关的数据，提高数据的利用效率。

38、3.实现数据可视化：通过数据可视化，可以更直观和易于理解地展示数据分析的结果，使决策者能够快速把握关键信息。

39、4.增强跨数据库的联接能力：通过关联其他数据库，可以发现更多的关联属性，为决策提供更全面的依据。

40、5.利用人工智能提升技术水平：通过使用人工智能算法，可以提升检验检测的技术水平，例如使用推荐算法进行安全预警，建立高精度的模型进行数据挖掘等。

41、6.社会化服务的新应用路径：通过大数据分析，可以为商检数据的社会化服务提供新的应用路径，例如，为食品安全，学生体质的保障等提供策略性建议。

42、这些进步不仅提高了检验检测的效率和准确性，也极大地推进了信息化和数据化的发展，为社会的各个领域带来了实实在在的价值。