一种基于大规模数据的管理方法、系统以及存储装置与流程

本发明涉及管理方法领域，具体涉及一种基于大规模数据的管理方法、系统以及存储装置。

背景技术：

在传统的制造行业中，产品在出厂之前，往往需要进行质量检测，若检测合格，方能出厂。产品检测会产生大量数据，若是产品数量巨大，产生的数据也是非常多的。

对于普通的产品来说，产生的测试信息可能只有几个参数，现今的常用方式是直接存储在sql或者oracle数据库中，难度不大。但是对于产生大量测试信息的文件，例如光谱文件、电流电压扫描文件等来说，甚至会产生上百tb级别的测试信息，上述方式会极大的消耗数据库的资源，若需进行文件查找，数据获取速度会极慢，从而无法满足需求。

为了应对测试信息过多的问题，还有另外一种方式是将文件保存在服务器中，通过将文件按照序列存储来手动查找。但是该种方式智能化不足，需要手动化操作，通过多个序列查找所需文件，查找效率低。

技术实现要素：

本发明要解决的技术问题在于，针对现有技术的上述缺陷，提供一种基于大规模数据的管理方法、系统以及存储装置，解决在产品测试过程中，无法即时存储并快速检索测试信息的问题。

为解决该技术问题，本发明提供一种基于大规模数据的管理方法，所述管理方法具体包括以下步骤：设定各设备的设备编号；创建具有编号的第一文件夹以及第二文件夹，所述设备编号、第一文件夹编号和第二文件夹编号相互对应；使用设备测试产品，即时将产生的所有测试信息缓存到对应的第一文件夹，并将筛选后的测试信息发送到对应的第二文件夹，所述第一文件夹和第二文件夹形成数据库；设定至少一个限制条件，在数据库中查询符合所述限制条件的测试信息，并显示查询后的测试信息。

其中，较佳方案是，所述管理方法还包括以下步骤：设定超级文本，所述超级文本包括基本信息、环境信息以及交互信息；对第一文件夹中的所有测试信息进行处理，提取属于超级文本的测试信息并发送到对应的第二文件夹中。

其中，较佳方案是，所述管理方法还包括以下步骤：将测试信息发送到第二文件夹时，同步生成表单，并且所述表单的内容无法删除。

其中，较佳方案是，所述管理方法还包括以下步骤：输入基本信息，和/或输入环境信息，以及选取与环境信息相关联的逻辑关系。

其中，较佳方案是，所述基本信息包括测试地点、测试时间、测试人员、设备id中的至少一种，所述环境信息包括温度、湿度、亮度中的至少一种，所述交互信息包括文档、音频、图片、视频中的至少一种；并且，所述交互信息以快捷方式存储在第二文件夹中。

其中，较佳方案是，所述管理方法还包括以下步骤：当输入基本信息时，获取与已输入的字符相关联的下拉框，从下拉框中选取基本信息。

其中，较佳方案是，所述管理方法还包括以下步骤：选择至少一个测试信息，并选择直接导出测试信息，形成数据结果，或者，选择生成与测试信息相关的测试报表，形成报表结果。

其中，较佳方案是，所述管理方法还包括以下步骤：若筛选后的测试信息出现错误，在出现错误的测试信息一侧显示第一标识，若筛选后的测试信息可能出现错误，在可能出错的测试信息一侧显示第二标识。

本发明还提供一种基于大规模数据的管理系统，所述管理系统用于实现如上所述的管理方法，所述管理系统包括存储模块以及检索模块，其中，所述存储模块包括用于即时存储所有测试信息的第一文件夹和用于存储筛选后的测试信息第二文件夹，所述第一文件夹和第二文件夹形成数据库；所述检测模块设定至少一个限制条件，并在数据库中查询符合所述限制条件的测试信息。

本发明还提供一种存储装置，所述存储装置存储有计算机程序，所述计算机程序能够被执行以实现如上所述管理方法的步骤。

本发明的有益效果在于，与现有技术相比，本发明通过设计一种基于大规模数据的管理方法、系统以及存储装置，设备编号、第一文件夹和第二文件夹编号相互对应，若开始产品测试时，产生的测试信息会即时发送到第一文件夹中，并将筛选后有用的测试信息发送到第二文件夹中，可通过限定限制条件进行筛选，快速查询到所需求的测试信息；由于第一文件夹和第二文件夹的编号相互对应，可通过限定第二文件夹中的测试信息快速查询到对应的第一文件夹，从而快速获取所有的测试信息。

附图说明

下面将结合附图及实施例对本发明作进一步说明，附图中：

图1是本发明管理方法的流程框图；

图2是本发明处理测试信息的流程框图；

图3是本发明建立表单的流程框图；

图4是本发明设定限制条件的流程框图；

图5是本发明模糊检索的流程框图；

图6是本发明弹出第一文件夹和第二文件夹的流程框图；

图7是本发明形成结果的流程框图；

图8是本发明显示标识的流程框图。

具体实施方式

现结合附图，对本发明的较佳实施例作详细说明。

如图1至图7所示，本发明提供一种基于大规模数据的管理方法的优选实施例。

具体地，参考图1，一种基于大规模数据的管理方法，所述管理方法具体包括以下步骤：

s1、设定各设备的设备编号；

s2、创建具有编号的第一文件夹以及第二文件夹，所述设备编号、第一文件夹编号和第二文件夹编号相互对应；

s3、使用设备测试产品，即时将产生的所有测试信息缓存到对应的第一文件夹，并将筛选后的测试信息发送到对应的第二文件夹，所述第一文件夹和第二文件夹形成数据库；

s4、设定至少一个限制条件，在数据库中查询符合所述限制条件的测试信息，并显示查询后的测试信息。

其中，先为测试现场的每一设备按照排列顺序进行编号，例如，编号0001至编号9999，所述设备包括用于测试产品的测试装置和用于控制以及传输数据的主控装置，所述主控装置可为电脑。再在云端服务器中创建第一文件夹以及第二文件夹，所述第一文件夹和第二文件夹的编号和设备编号相互对应，并且第一文件夹和第二文件夹的建立时间也相互对应，有几台设备就创建几个第一文件夹和第二文件夹，例如，编号0001设备与编号0001第一文件夹和编号0002第二文件夹对应；需要说明的是，所述第一文件夹和所述第二文件夹分别存储在各自对应的总文件夹中。随后，设备开始进行产品测试，并且，主控装置即时将在测试过程中产生的测试信息发送到云端服务器，云端服务器检测自身接收到的测试信息，并判断测试信息所属的设备，即时将测试信息缓存到对应编号的第一文件夹。其后，云端服务器将所有测试信息进行筛选，将筛选过后有用的测试信息发送到与设备相对应的第二文件夹。例如，对应编号0001设备的所有测试信息缓存到编号0001第一文件夹中，并将筛选后的测试信息发送到编号0001第二文件夹中。此时，所述第一文件夹中的基本数据和第二文件夹中的测试信息形成数据库，该数据库规模大，其存储的数据量也巨大。最后，在检索过程中，可直接通过云端服务器或者与云端服务器连接的终端设备限定至少一个限制条件，快速在数据库中查询并显示符合所述限制条件的测试信息，从而获取产品的测试情况。

考虑到设备所属编号可能会在后续检测过程中发生改变，所述云端服务器能够自动识别出该改变过程，并以此做出对应的第一文件夹和第二文件夹的编号改变。

所述管理方法集成有处理、存储以及检索功能，设备编号、第一文件夹编号和第二文件夹编号相互对应设置后，可形成一个有机网络，随后，再将所有测试信息和筛选后的测试信息分别对应存储到第一文件夹和第二文件夹，这样一来，数据不会出现存储差错，在检索过程中，也能够根据限制条件进行筛选，再跟随着编号路径找到对应的测试信息。无论基本数据还是测试信息的数据量都是巨大的，将各类数据进行有序、归类的存储，能够大幅度提高检索速度，提高用户的工作效率。

更具体地，参考图2，所述管理方法还包括以下步骤：

s321、设定超级文本，所述超级文本包括基本信息、环境信息以及交互信息；

s322、对第一文件夹中的所有测试信息进行处理，提取属于超级文本的测试信息并发送到对应的第二文件夹中。

其中，预先设定超级文本，并且超级文本的范围包括基本信息、环境信息以及交互信息，最核心的为基本信息，可根据实际情况添加或删减。随后，服务器对第一文件夹中的所有测试信息进行处理，所有测试信息包括有属于超级文本的测试信息，于是，服务器根据测试信息的后缀提取属于超级文本的测试信息，并将提取后的测试信息发送到对应编号的第二文件夹中，所述第二文件夹可接收并存储提取后的测试信息。例如，创建好编号0001第一文件夹和编号0001第二文件夹后，可将编号0001设备产生的所有测试信息缓存到编号0001第一文件夹中，并将所有测试信息中属于超级文本的测试信息存储到编号0001第二文件夹中，编号0001设备、编号0001第一文件夹和编号0001第二文件夹产生关联。

在本实施例中，所述基本信息包括测试地点、测试时间、测试人员、设备id中的至少一种，所述环境信息包括温度、湿度、亮度中的至少一种，在膜片行业中，所述环境信息还应包括激光波长、频率等必要信息，所述交互信息包括文档、音频、图片、视频中的至少一种，文档、音频、图片、视频均为准备过程中所使用的，在膜片行业中，可为膜片端面的图片、激光扫过的视频等信息。

进一步地，参考图3，所述管理方法还包括以下步骤：

s323、将测试信息发送到第二文件夹时，同步生成表单，并且所述表单的内容无法删除。

其中，在第二文件夹接收到测试信息时，服务器同步生成表单，并将表单存储到数据库中。形成表单能够使得原本在第二文件夹中杂乱无章的测试信息变得井然有序，便于用户查找以及查看相关信息。详细来说，所述第二文件夹新增有测试参数时，所述服务器进行修改，同步添加该测试参数相关的内容到表单中。但是，若第二文件夹删除有测试参数时，之前服务器已经将该测试参数相关内容添加到表单中，所述表单并不会同步删除该测试参数相关内容，即是说，所述服务器放弃对表单的修改。如此一来，能够确保数据库中以往测试参数的可追溯性。如果是在某一第二文件夹中新增的测试参数，所述服务器会根据编号建立新的表单，再进行测试参数的编辑以及存储。

值得一提的是，由于交互信息的占有内存过大，为避免第二文件夹过于拥挤，所述交互信息可以快捷方式存储在表单中，实际内容还存储在第一文件夹中，在后续检索过程中，选取快捷方式，即可一路查询到对应编号的第一文件夹，进行交互信息的显示。而基本信息和环境信息可直接存储到表单中，在后续检索过程中，可直接从表单中选取并显示基本信息和环境信息。

再具体地，参考图4，所述管理方法还包括以下步骤：

s41、输入基本信息，和/或输入环境信息，以及选取与环境信息相关联的逻辑关系。

其中，用户需要进行检索时，可输入基本信息，或者，输入环境信息，并选取与环境信息相关联的逻辑关系，亦或者，输入基本信息和环境信息，并选取与环境信息相关联的逻辑关系，所述逻辑关系包括大于、小于、等于以及包含。需要说明的是，由于在对单个产品进行测试时，同类的环境信息可能有多个，逻辑关系为包含即可满足该种逻辑。

例如，可单独输入测试人员的名称，即可弹出该测试人员所负责测试产品产生的测试信息。或者，可单独选择温度，输入温度为30，并选择逻辑关系为包含，即可弹出在包含温度30情况下产生的测试信息。亦或者，可同时选择基本信息和环境信息，限定多个限制条件，弹出符合多个限制条件的测试信息。

另外，所述基本信息包括测试时间，由于对单个产品进行测试是非常短暂的过程，测试时间需要精确到毫秒，才能在后续检索过程中做更好的区分。例如，用户在进行后续检索时，输入测试时间为6点6分6秒6毫秒至6点6分6秒16毫秒，即可弹出在该区间段之间产生的测试信息。

进一步地，参考图5，所述管理方法还包括以下步骤：

s411、当输入基本信息时，获取与已输入的字符相关联的下拉框，从下拉框中选取基本信息。

其中，由于基本信息往往是固定字符，例如名称或者编号，而非像环境信息一般是数值，有时候用户会忘记基本信息的名称或者编号，只记得部分名称或者编号。因此，增添一种模糊检索的功能，选择基本信息后，输入部分字符，即可弹出与已输入字符相关联的下拉框，用户可在下拉框中选取完整的基本信息，从而实现准确检索。例如，用户选择的基本信息为设备id，可输入“0011”，即可弹出下拉框，下拉框包含“001111”、“001112”、“001113”三个选项，用户可选择所需求的“001111”。

进一步地，参考图6，所述管理方法还包括以下步骤：

s5、筛选后的测试信息设在其一第二文件夹中，在查询完毕后，选取其一测试信息，获取对应的第二文件夹，并且，根据第二文件夹编号弹出编号相一致的第一文件夹。

其中，筛选后的测试信息保存在对应编号的第二文件夹中，在查询出符合限制条件的测试信息之后，选择其一测试信息，可同步弹出与该测试信息对应的第二文件夹，并且，可同步弹出与该第二文件夹编号相一致的第一文件夹。用户直接点击所要了解的测试信息，即可获取其他相关信息，具体了解到产品的测试情况。当然，也可以设置为，在选择其一测试信息后，只同步弹出与该测试信息对应的第二文件夹，而不同步弹出与该第二文件夹编号相一致的第一文件夹。

再进一步地，参考图7，所述管理方法还包括以下步骤：

s6、选择至少一个测试信息，并选择直接导出测试信息，形成数据结果，或者，选择生成与测试信息相关的测试报表，形成报表结果。

其中，在查询出符合限制条件的测试信息之后，若想导出相关数据，可选择直接导出测试信息，形成只含有测试信息的数据结果，需要说明的是，若之前该测试信息已形成数据结果，此次只需对数据结果进行更新。或者，可选择生成测试报表，形成既含有测试信息还含有与该测试信息相关的其他数据的报表结果，需要说明的是，若之前该测试信息已形成数据结果，此次只需对数据结果进行更新。

具体地，参考图8，所述管理方法还包括以下步骤：

s42、若筛选后的测试信息出现错误，在出现错误的测试信息一侧显示第一标识，若筛选后的测试信息可能出现错误，在可能出错的测试信息一侧显示第二标识。

其中，在测试信息筛选完毕之后，云端服务器自动检测测试信息，若检测出测试信息肯定有误，则在该测试信息一侧显示第一标识，例如叉号标识。比如说，测试信息的值本应在0.5至0.8之间，但检测出测试信息为1.5，则云端服务器判断该项测试信息肯定有误，则显示第一标识，并且该列的测试信息显示红色。

若检测出测试信息可能有误，则在该测试信息一侧显示第二标识，例如问号标识。比如说，在膜片行业中，对膜片进行测试时，测试所采用膜片可能是glassblock或者普通膜片，云端服务器仅靠测试信息难以判断是否有误，则显示第二标识，并且该列的测试信息显示红色。

如此一来，用户通过观察标识，即可得知测试信息是否有误，从而进行深度检查，判断是否设备出错，或者是否文件传输路径出错，以此排除错误之处，提高管理方法的准确性。

本发明还提供一种基于大规模数据的管理系统的较佳实施例。

具体地，一种基于大规模数据的管理系统，所述管理系统用于实现如上所述的管理方法，所述管理系统包括存储模块以及检索模块，其中，所述存储模块包括用于即时存储所有测试信息的第一文件夹和用于存储筛选后的测试信息第二文件夹，所述第一文件夹和第二文件夹形成数据库；所述检测模块设定至少一个限制条件，并在数据库中查询符合所述限制条件的测试信息。

本发明还提供一种存储装置的较佳实施例。

具体地，一种存储装置，所述存储装置存储有计算机程序，所述计算机程序能够被执行以实现如上所述管理方法的步骤。

综上所述，以上仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改，等同替换，改进等，均应包含在本发明的保护范围内。