一种数据存储终端系统及其使用方法与流程

本发明涉及数据存储领域，特别涉及一种数据存储终端系统及其使用方法。

背景技术：

目前，数据采集大都集成在整个产品中，将要采集的信息分类，对不同类型的信息，均重复开发采集、处理、存储、控制、输出等功能。

现有软件的数据采集方式固定了采集数据的种类和与之对应的软件功能，没有统一的集中控制，每一种数据均需要一套对应的采集、处理、存储等机制，当需要对采集数据进行集中控制，或灵活增加数据种类时，必须重新开发。为解决现有技术中数据采集不能扩展的问题，因此，需要经一步改进。

技术实现要素：

本发明的目的在于提供一种数据存储终端系统及其使用方法，用以解决现有技术中数据采集不能扩展的问题。

为解决上述技术问题，本发明的实施方式提供了一种数据存储终端系统，所述数据存储终端系统通过采集程序片段进行功能扩展，所述数据存储终端系统包括登记端、策略表端、控制端、存储端，所述登记端和所述策略表端数据连接，所述存储端、所述策略表端和所述控制端数据连接；

所述登记端包括用于处理接受所述采集程序片段并进行存储的采集程序片段缓存装置、用于从所述采集程序片段中分析其中所需要的相关登记数据信息并进行提取后进行处理相应的登记数据运算的登记运算装置、用于从所述登记运算装置中获取片段功能信息并进行登记的功能片段登记装置、用于从所述登记运算装置中获取数据格式信息并进行登记的数据格式登记装置、用于从所述登记运算装置中获取采集策略信息并进行登记的采集策略登记装置、用于从所述登记运算装置中获取采集存储策略信息并进行登记的存储策略登记装置；

所述策略表端包括用于登记并存储从所述功能片段登记装置中获取并进行配置片段功能数据的功能片段登记表装置、用于登记并存储从数据格式登记装置中获取并进行配置数据格式数据的数据格式登记表装置、用于登记并存储从采集策略登记装置中获取并进行配置数据采集策略数据的数据采集策略登记表装置、用于登记并存储从存储策略登记装置中获取并进行配置数据存储策略数据的数据存储策略登记表装置；

所述控制端包括用于判断并驱动采集数据的采集控制装置、用于将采集数据根据数据格式要求进行统一封装的数据统一封装装置、用于每一类型的数据存储的存储控制装置、用于对外界查询数据进行反应的统一输出装置、用于接受外界查询指令并对其数据进行分析的数据查询装置。

进一步的改进在于，所述存储控制装置包括缓存队列机构和持久化存储机构。

进一步的改进在于，所述数据统一封装装置包括id号封装机构、时间戳封装机构、序列化封装机构。

进一步的改进在于，所述数据存储策略登记表装置包括数据缓存的时间登记表机构、数据队列循环间隔登记表机构、数据保存时长登记表机构。

进一步的改进在于，所述采集控制装置包括采集评估机构、采集执行机构。

进一步的改进在于，所述统一输出装置包括通信服务机构、查询控制机构。

进一步的改进在于，所述通信服务机构包括拆包组数单元、组数组包单元。

进一步的改进在于，所述查询控制机构包括指令解析单元、执行单元。

本发明还提供了一种数据存储终端系统的使用方法：

步骤1：针对新的要采集的数据类型，编写简单的所述采集程序片段；

步骤2：通过所述登记端将所述采集程序片段进行提取，获取各项数据信息进行相应配置并登记到所述策略表端；

步骤3：所述采集控制装置通过访问所述策略表端内信息进行采集作业，并将采集到的数据存入所述存储端；

步骤4：所述统一输出装置接受外界指令，驱动所述数据查询装置进行对所述存储端访问，并将查询结果返回外界。

本发明能使用户方便地通过登记端将采集程序片段进行提取，获取各项数据信息并登记到策略表端，控制端通过访问策略表端进行数据采集，达到了解决现有技术中数据采集不能扩展的问题。

附图说明

图1为本发明第一实施方式的一种数据存储终端系统的连接示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明的各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请各个权利要求所要求保护的技术方案。

本发明的第一实施方式涉及一种数据存储终端系统，数据存储终端系统通过采集程序片段进行功能扩展，结合图1所示，该终端系统包括登记端1、策略表端2、控制端3、存储端4，登记端1和策略表端2数据连接，存储端4、策略表端2和控制端3数据连接。

登记端1包括用于从采集程序片段中分析其中所需要的相关登记数据信息并进行提取后进行处理相应的登记数据运算的登记运算装置11、用于处理接受采集程序片段并进行存储的采集程序片段缓存装置12、用于从登记运算装置中获取片段功能信息并进行登记的功能片段登记装置13、用于从登记运算装置中获取数据格式信息并进行登记的数据格式登记装置14、用于从登记运算装置中获取采集策略信息并进行登记的采集策略登记装置15、用于从登记运算装置中获取采集存储策略信息并进行登记的存储策略登记装置16。

策略表端2包括用于登记并存储从功能片段登记装置中获取并进行配置片段功能数据的功能片段登记表装置21、用于登记并存储从数据格式登记装置中获取并进行配置数据格式数据的数据格式登记表装置22、用于登记并存储从采集策略登记装置中获取并进行配置数据采集策略数据的数据采集策略登记表装置23、用于登记并存储从存储策略登记装置中获取并进行配置数据存储策略数据的数据存储策略登记表装置24。

数据存储策略登记表装置24包括数据缓存的时间登记表机构、数据队列循环间隔登记表机构、数据保存时长登记表机构。

控制端3包括用于判断并驱动采集数据的采集控制装置31、用于将采集数据根据数据格式要求进行统一封装的数据统一封装装置32、用于每一类型的数据存储的存储控制装置33、用于对外界查询数据进行反应的统一输出装置34、用于接受外界查询指令并对其数据进行分析的数据查询装置35。

其中，采集控制装置31包括采集评估机构、采集执行机构。

存储控制装置33包括缓存队列机构和持久化存储机构。为之相对应的存储端4包括数据缓存存储装置41和数据持久化存储装置42。

数据统一封装装置32包括id号封装机构、时间戳封装机构2、序列化封装机构。

统一输出装置34包括通信服务机构、查询控制机构。其中通信服务机构包括拆包组数单元、组数组包单元。查询控制机构包括指令解析单元、执行单元。

本发明的第二实施方式还提供了一种数据存储终端系统的使用方法，该方法包含以下步骤：

步骤1：针对新的要采集的数据类型，编写简单的采集程序片段；

步骤2：采集程序片段缓存装置12将采集程序片段进行存储，由登记运算装置11进行提取，获取各项数据信息，再由功能片段登记装置13、数据格式登记装置14、采集策略登记装置15、存储策略登记装置16将各项数据信息登记到策略表端2，由策略表端2的功能片段登记表装置21、数据格式登记表装置22、数据采集策略登记表装置23、数据存储策略登记表装置24进行登记；

步骤3：采集控制装置31通过访问策略表端2内的功能片段登记表装置21、数据格式登记表装置22、数据采集策略登记表装置23、数据存储策略登记表装置24信息进行采集作业，并将采集到的数据根据数据统一封装装置32进行封装，封装后由存储控制装置33存入存储端4内的数据缓存存储装置41和数据持久化存储装置42；

步骤4：统一输出装置34接受外界指令，由通信服务机构的拆包组数单元进行拆解数据包，由查询控制机构的指令解析单元、执行单元进行分解，驱动数据查询装置35进行对存储端4访问，最后由通信服务机构的组数组包单元将查询结果进行组合数据包返回外界。

由于本案采用了新的采集模式，其中采集控制装置31的采集流程如下：

步骤1：建立调度策略队列；

步骤2：产生全新的单一调度策略；

步骤3：单一调度策略关联采集策略；

步骤4：单一调度策略关联程序片段（根据采集策略id）；

步骤5：根据程序片段、指令参数，生成程序片段实例；

步骤6：单一调度策略关联程序片段实例；

步骤7：轮询调度策略队列；

步骤8：依据采集策略的时间单位、时间频率等，判断是否触发本次采集；如不满足条件，跳至下一调度策略，继续循环；

步骤9：执行程序片段实例，获得一组采集数据。

本发明的数据存储终端系统能使用户方便的通过登记端将采集程序片段进行提取，获取各项数据信息并登记到策略表端，控制端通过访问策略表端进行数据采集，达到了解决现有技术中数据采集不能扩展的问题。

本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。