一种数据接入方法及系统与流程

本发明涉及数据传输技术领域，更具体地，涉及一种数据接入方法及系统。

背景技术：

随着物联网技术的发展，物联网在农业领域中的应用不断深入。农业物联网的体系包含感知层、传输层和应用层；传输层和感知层进行农业生产感知数据的釆集，应用层对感知数据进行处理应用。感知层釆集的数据包含了设施、大田、水产和果园等农业各生产领域，加之数据的传输协议各异，使得农业感知数据具有了来源多、异构性强等特点。

另外，农业物联网的应用覆盖面越来越广，接入的物联网设备数量越来越多、采集频率越来越高，农业物联网数据已经呈现为大数据的趋势，而且在实际的农业生产、经营和管理中，对农业物联网数据的需求也不再单一，如在农业数据挖掘、病虫害预警决策、农产品质量追溯等领域，往往需要对农业物联网数据进行高效稳定的数据接入和存储分析。目前在物联网数据接入的架构设计上，主要有以下两种架构方法：

第一种是基于同构设备类型的wsn网络的物联网数据接入方法，此类物联网数据接入方法要求物联网设备高度严格同构一致，针对特定的智能设备，来设计和开发适应性的物联网数据接入方式。但是在实际大规模农业物联网应用中，可能存在大规模农场或农业企业需采用不同厂商和不同类型的异构物联网设备，这些物联网设备采用的数据转化模式和格式都不相同，如温室大棚多采用网关和无线传感器节点模式，数据发送多采用ip地址网络直传或者是网关中心节点发布web数据服务，数据服务多为webservice、http等；如在田间气象观测应用中，多采用田间气象站，由于农田生产环境区别于工业生产环境，田间气象站采用太阳能和基于gprs的数据发送模式是较为常见和成熟的。面对这样一种物联网智能设备在农业生产中实际应用的现状问题，单一同构化的物联网智能设备已经满足不了农业生产的需求。

第二种是混合型物联网数据接入的解决方案，采用此接入方法，虽然标准化组件、中间件和适配器模式能针对不同物联网产品进行统一接入，但是其原理是提供面向数据平台的统一数据接入接口，这就要求物联网厂商要重新针对统一接口对物联网设备进行重新编码，或又者是对中间件和适配器进行扩展和重编写，在设备厂商产品趋于成熟稳定的情况下，这给大规模的农业物联网设备数据接入带来了一定的难度，同时智能设备扩展性受到农业企业二次开发能力的制约。同时当农业物联网设备的数量和数据的采集频率到达一定的峰值时，此方法采用的多线程接入方法一方面会消耗大量服务器资源，另一方面容易造成数据堵塞，出现数据丢失问题。

技术实现要素：

本发明为了克服现有技术中的数据接入方法所存在的在实现异构物联网设备接入时需进行二次开发，且复杂低效的问题，提供一种数据接入方法及系统。

一方面，本发明提供一种数据接入方法，包括：

s1，接收目标设备对目标数据的传输请求，注册所述目标设备的相关参数信息，所述相关参数信息至少包括所述目标数据的类型和传输协议模式；

s2，创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据；

s3，根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器，获取转换后的所述目标数据；

s4，根据所述目标数据的类型选择对应的映射规则，利用所述映射规则解析转换后的所述目标数据。

优选地，所述步骤s2之前还包括：根据所述目标数据的类型配置对应的清洗规则，利用所述清洗规则对所述目标数据进行筛选；

相应地，利用所述数据接收入口接收筛选后的所述目标数据。

优选地，所述步骤s3之前还包括：根据所述目标数据的类型和传输协议模式配置对应的数据转换器，将所述对应的数据转换器加入所述数据转换器库。

优选地，所述步骤s4之后，还包括：s5，将解析后的所述目标数据加入分布式消息队列中。

优选地，所述步骤s5之后还包括：s6，根据解析后的所述目标数据创建对应的发布接口，基于所述分布式消息队列，利用所述发布接口对解析后的所述目标数据进行分发。

优选地，所述目标数据的类型包括温度数据、湿度数据、风速数据和风向数据。

优选地，所述清洗规则包括异常数据清洗规则、不规则数据清洗规则和时间清洗规则。

一方面，本发明提供一种数据接入系统，包括：

设备注册模块，用于接收目标设备对目标数据的传输请求，注册所述目标设备的相关参数信息，所述相关参数信息至少包括所述目标数据的类型和传输协议模式；

数据接收模块，用于创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据；

数据转换模块，用于根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器，获取转换后的所述目标数据；

规则映射模块，用于根据所述目标数据的类型选择对应的映射规则，利用所述映射规则解析转换后的所述目标数据。

优选地，还包括：数据清洗模块，用于根据所述目标数据的类型配置对应的清洗规则，利用所述清洗规则对所述目标数据进行筛选。

优选地，还包括：数据分发模块，用于将解析后的所述目标数据加入分布式消息队列中，根据解析后的所述目标数据创建对应的发布接口，基于所述分布式消息队列，利用所述发布接口对解析后的所述目标数据进行分发。

本发明提供的数据接入方法及系统针对不同的目标设备创建不同的数据接收入口，根据不同目标设备的传输协议选择对应的数据转换器，并根据传输的目标数据类型选择对应的映射规则，最终根据数据转换器和映射规则反向解析目标数据，能够对不同设备传输的数据进行动态接入，仅需针对不同的设备选择或配置对应的数据转换器和映射规则，无需进行二次开发，实现方式简单高效，能对多源异构的农业物联网数据进行简单高效稳定的接入，一定程度上为农业生产部门和农业企业提供了便利。同时将解析后的目标数据加入消息队列，并采用负载均衡调度的策略进行消息队列的调度，并结合目标数据对应的发布接口对目标数据进行分发，提高数据分发效率的同时还能够确保数据的安全性、一致性和稳定性。

附图说明

图1为本发明实施例的一种数据接入方法的整体流程示意图；

图2为本发明实施例的一种数据接入系统的整体结构示意图。

具体实施方式

下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。

图1为本发明实施例的一种数据接入方法的整体流程示意图，如图1所示，本发明提供一种数据接入方法，包括：

s1，接收目标设备对目标数据的传输请求，注册所述目标设备的相关参数信息，所述相关参数信息至少包括所述目标数据的类型和传输协议模式；

s2，创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据；

s3，根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器，利用所述数据转换器将所述目标数据转换为数据包或数据文件；

s4，根据所述目标数据的类型选择对应的映射规则，利用所述映射规则解析所述目标数据。

在实际大规模农业物联网应用中，存在大规模农场或农业企业需采用不同厂商和不同类型的异构物联网设备，这些物联网设备采用的数据转化模式和格式都不相同，如温室大棚多采用网关和无线传感器节点模式，数据发送多采用ip地址网络直传或者是网关中心节点发布web数据服务等；如在田间气象观测应用中，多采用田间气象站，由于农田生产环境区别于工业生产环境，田间气象站采用太阳能和基于gprs的数据发送模式是较为常见和成熟的。

有鉴于此，本发明实现异构物联网设备数据的具体实现如下：

当接收到某一目标设备的数据传输请求时，需首先对目标设备进行注册，具体为注册目标设备的相关参数信息，包括目标设备请求传输的目标数据的类型和传输协议模式。此外，还需对目标设备的ip地址和数据传输端口进行注册，以便于根据注册的ip地址从注册端口接收目标数据，具体的注册信息可以根据实际需求进行设置，此处不做具体限定。

进一步地，针对上述注册的目标设备，对每个目标设备创建对应的数据接收入口，即创建目标设备的数据发送的目标地址，数据接收入口具体包括系统ip地址、数据接收端口和数据接收的http地址等。目标设备可以根据系统ip地址和数据接收端口将目标数据发送给系统，此外系统也可以根据数据接收的http地址获取目标数据。在创建了目标设备对应的数据接收入口后，利用数据接收入口接收目标设备传输的目标数据。

进一步的，在接收到目标数据的基础上，根据目标数据的类型和传输协议模式，从预先配置并存储的数据转换器库中选择对应的数据转换器，选择的数据转换器能够将目标设备在传输协议模式下传输的目标数据转换为可读的字符串，即获得转换后的目标数据。其中，数据转换器库中预先存储了基本的数据转换器，主要包括如下几种类型：http传输协议数据转换器，适用以http为数据传输协议的农业物联网设备的数据接入源；socket传输协议数据转换器，适用以socket为数据传输协议的数据接入源；webservice传输协议数据转换器，适用以wsdl为数据传输协议的数据接入源；xml数据协议数据转换器，适用以webservice和以xml为数据格式的数据接入源；json数据协议数据转化器，适用rest、http、webservice等以json为数据格式的接入数据源。此外，数据转换器库中还可以根据实际需求预先配置并存储其他的数据转换器，此处不做具体限定。

进一步地，在获得了转换后的目标数据的基础上，获取目标数据的类型，根据目标数据的类型，选择与目标数据的类型对应的映射规则，映射规则中预先存储了目标数据的可读字符串与目标数据的具体参数值的映射关系，利用对应的映射规则，则可对转换后的目标数据进行解析，获得目标数据的具体参数值。

本发明提供的数据接入方法针对不同的目标设备创建不同的数据接收入口，根据不同目标设备的传输协议选择对应的数据转换器，并根据传输的目标数据类型选择对应的映射规则，最终根据数据转换器和映射规则反向解析目标数据，能够对不同设备传输的数据进行动态接入，仅需针对不同的设备选择或配置对应的数据转换器和映射规则，无需进行二次开发，实现方式简单高效，能对多源异构的农业物联网数据进行简单高效稳定的接入，一定程度上为农业生产部门和农业企业提供了便利。

基于上述任一实施例，提供一种数据接入方法，所述步骤s2之前还包括：根据所述目标数据的类型配置对应的清洗规则，利用所述清洗规则对所述目标数据进行筛选；

相应地，利用所述数据接收入口接收筛选后的所述目标数据。

具体地，在针对目标设备创建数据接收入口之前，为了避免接收无效的数据，还需对目标设备发送的目标数据进行清洗，本实施例中通过获取目标设备的类型，根据目标设备的类型配置相应的清洗规则，再利用清洗规则对目标数据进行筛选，筛选出合格的目标数据，将不合格的目标数据进行丢弃。最后，将筛选出的合格的目标数据通过创建的数据接收入口进行接收。

本发明提供的一种数据接入方法，能够根据接收数据的类型配置对应的清洗规则，并根据清洗规则筛选出合格的数据进行接收，对不合格的数据进行丢弃，一定程度上降低了系统数据接收的负担，有利于提高数据接入的整体效率。

基于上述任一实施例，提高一种数据接入方法，所述步骤s3之前还包括：根据所述目标数据的类型和传输协议模式配置对应的数据转换器，将所述对应的数据转换器加入所述数据转换器库。

具体地，由于不同目标设备所采用的数据传输协议模式和传输的数据类型不尽相同，如温室大棚多采用网关和无线传感器节点模式，数据发送多采用ip地址网络直传或者是网关中心节点发布web数据服务；如在田间气象观测应用中，多采用田间气象站，由于农田生产环境区别于工业生产环境，田间气象站采用太阳能和基于gprs的数据发送模式是较为常见和成熟的。有鉴于此，为了能够对不同目标设备传输的目标数据进行接入，需利用与目标设备所采用的传输协议模式相对应的数据转换器，数据转换器库中存在一些基本的数据转换器，若数据转换器库中不存在当前目标设备对应的数据转换器，则需首先根据目标数据的类型和所采用的数据传输协议模式配置对应的数据转换器，以利用对应的数据转换器对目标设备传输的目标数据进行转换，将目标数据转换为可读的字符串等。同时，还可以将配置好的数据转换器加入数据转换器库中，有效丰富了数据转换器库，以便于后续从数据转换器库中选择对应的数据转化器。

本发明提供的一种数据接入方法，能够根据目标设备所传输的目标数据的类型和数据传输协议模式配置对应的数据转换器，故而能够实现对不同目标设备所传输的不同目标数据的接入，无需进行二次开发，实现方式简单高效。

基于上述任一实施例，提供一种数据接入方法，所述步骤s4之后，还包括：s5，将解析后的所述目标数据加入分布式消息队列中。

具体地，利用映射规则对目标数据进行反向解析之后，则可获取到目标数据的具体参数，在实际应用中，往往需要将解析后的目标数据分发至其他数据应用系统，有鉴于此，本实施例中，采用分布式消息队列的策略，将解析后的目标数据加入分布式消息队列中进行分发，同时采用均衡负载调度对不同服务器上分布的消息队列进行调度，确保消息队列在高并发下的数据的安全性、一致性和稳定性，提升了服务器的资源利用率。

进一步地，可以对上述分布式消息队列进行配置，包括消息队列的名称、生命周期、启用状态和最大存储空间等，具体配置可以根据实际需求进行设置，此处不做具体限定。

本发明提供的一种数据接入方法，通过将解析后的目标数据加入消息队列，并采用负载均衡调度的策略进行消息队列的调度，有利于通过消息队列对目标数据进行分发，提高分发效率的同时还能够确保数据的安全性、一致性和稳定性。

基于上述任一实施例，提供一种数据接入方法，所述步骤s5之后还包括：s6，根据解析后的所述目标数据创建对应的发布接口，基于所述分布式消息队列，利用所述发布接口对解析后的所述目标数据进行分发。

具体地，为了满足其他数据应用系统对目标数据的调用需求，本实施例中，针对解析获取的目标数据创建对应的数据发布接口，故而系统可以将存储于分布式消息队列中的目标数据传输至对应的发布接口，利用发布接口对目标数据进行分发，其他数据应用系统也可以通过目标数据对应的数据发布接口，对目标数据进行存储、转发、查询和分析等具体的应用。

此外，系统可以为每个创建的数据发布接口进行管理，包括启用数据发布接口，停用数据发布接口或删除数据发布接口等，可以根据实际需求进行配置，此处不做具体限定。

本发明提供的一种数据接入方法，针对不同设备构建负载均衡的分布式消息队列，并针对不同的目标设备传输的目标数据创建对应的发布接口，有利于其他数据应用系统对目标数据进行存储、转发、查询和分析等，实现了对目标数据的高效分发，同时确保了目标数据的安全性、一致性和稳定性。

基于上述任一实施例，提供一种数据接入方法，所述目标数据的类型包括温度数据、湿度数据、风速数据和风向数据。

具体地，本实施例中的数据接入方法应用于农业物联网数据的接入，对于农业物联网数据中所涉及的数据类型包括温度数据、湿度数据、风速数据和风向数据等，不同数据对应的采集设备不同，其中温度采集设备可用于采集温度数据，温度数据包括气温数据和土壤温度数据，湿度采集装置用于采集湿度数据，包括空气湿度数据和土壤湿度数据。此外，在实际应用中，不同的设备所采集并传输的数据类型不同，目标数据的具体类型可以根据目标设备进行确定，此处不做具体限定。

本发明提供的一种数据接入方法，目标数据的类型包括温度数据、湿度数据、风速数据和风向数据等，能够实现对多源异构的农业物联网数据进行接入。

基于上述任一实施例，提供一种数据接入方法，所述清洗规则包括异常数据清洗规则、不规则数据清洗规则和时间清洗规则。

具体地，针对不同目标设备传输的目标数据，根据目标数据的类型，并结合实际需求，可以为目标数据配置对应的清洗规则，清洗规则包括异常数据清洗规则、不规则数据清洗规则和时间清洗规则。其中利用异常数据清洗规则可以筛选出明显错误的异常数据，例如，温室大棚中采集的温度数据为零下二十度，而实际情况下温室大棚中的温度不可能出现零下二十度的情况，故而可将异常的零下二十度数据进行丢弃；利用不规则数据清洗规则可以筛选出不符合数据规律的数据，例如，温度采集设备采集一整天的气温变化值，若一组温度数据中早晚温度明显高于正午温度，则利用不规则数据清洗规则可筛选出该组数据，并将该组数据进行丢弃；利用时间清洗规则可以筛选出符合预设时间段的数据，将不在预设时间段的数据进行丢弃。此外，在实际应用中，可以根据不同的目标数据配置不同的清洗规则，此处不做具体限定。

本发明提供的一种数据接入方法，通过预先配置的异常数据清洗规则、不规则数据清洗规则和时间清洗规则对目标数据进行筛选，能够将明显异常的数据和不规则的数据以及不符合预设时间段的数据进行丢弃，避免系统对无效的数据进行接入，节省了系统的资源。

图2为本发明实施例的一种数据接入系统的整体结构示意图，如图2所示，本发明提供一种数据接入系统，包括：

设备注册模块1，用于接收目标设备对目标数据的传输请求，注册所述目标设备的相关参数信息，所述相关参数信息至少包括所述目标数据的类型和传输协议模式；

数据接收模块2，用于创建与所述目标设备对应的数据接收入口并利用所述数据接收入口接收所述目标设备传输的所述目标数据；

数据转换模块3，用于根据所述目标数据的类型和传输协议模式从预先预存的数据转换器库中选择对应的数据转换器，获取转换后的所述目标数据；

规则映射模块4，用于根据所述目标数据的类型选择对应的映射规则，利用所述映射规则解析转换后的所述目标数据。

具体地，在实际应用中，上述任一实施例中的数据接入方法是通过本实施例的数据接入系统进行实现的，本实施例的数据接入系统包括设备注册模块1、数据接收模块2、协议解析模块3和规则映射模块4，数据接入系统的各模块实现异构物联网设备数据的具体过程如下：

当接收到某一目标设备的数据传输请求时，首先利用设备注册模块1对目标设备进行注册，具体为注册目标设备的相关参数信息，包括目标设备请求传输的目标数据的类型和传输协议模式。此外，设备注册模块1还需对目标设备的ip地址和数据传输端口进行注册，以便于根据注册的ip地址从注册端口接收目标数据，具体的注册信息可以根据实际需求进行设置，此处不做具体限定。

进一步地，针对上述设备注册模块1注册的目标设备，利用数据接收模块2对每个目标设备创建对应的数据接收入口，即创建目标设备的数据发送的目标地址，数据接收入口具体包括系统ip地址、数据接收端口和数据接收的http地址等。目标设备可以根据系统ip地址和数据接收端口将目标数据发送给数据接收模块2，此外数据接收模块2也可以根据数据接收的http地址获取目标数据。在创建了目标设备对应的数据接收入口后，利用数据接收入口接收目标设备传输的目标数据。

进一步的，在数据接收模块2接收到目标数据的基础上，利用数据转换模块3根据目标数据的类型和传输协议模式，从预先配置并存储的数据转换器库中选择对应的数据转换器，选择的数据转换器能够将目标设备在传输协议模式下传输的目标数据转换为可读的字符串，即获得转换后的目标数据。其中，数据转换器库中预先存储了基本的数据转换器，主要包括如下几种类型：http传输协议数据转换器，适用以http为数据传输协议的农业物联网设备的数据接入源；socket传输协议数据转换器，适用以socket为数据传输协议的数据接入源；webservice传输协议数据转换器，适用以wsdl为数据传输协议的数据接入源；xml数据协议数据转换器，适用以webservice和以xml为数据格式的数据接入源；json数据协议数据转化器，适用rest、http、webservice等以json为数据格式的接入数据源。此外，数据转换器库中还可以根据实际需求预先配置并存储其他的数据转换器，此处不做具体限定。

进一步地，在数据转换模块3获得了转换后的目标数据的基础上，利用规则映射模块4获取目标数据的类型，根据目标数据的类型，选择与目标数据的类型对应的映射规则，映射规则中预先存储了目标数据的可读字符串与目标数据的具体参数值的映射关系，利用对应的映射规则，则可对转换后的目标数据进行解析，获得目标数据的具体参数值。

本发明提供的数据接入系统针对不同的目标设备创建不同的数据接收入口，根据不同目标设备的传输协议选择对应的数据转换器，并根据传输的目标数据类型选择对应的映射规则，最终根据数据转换器和映射规则反向解析目标数据，能够对不同设备传输的数据进行动态接入，仅需针对不同的设备选择或配置对应的数据转换器和映射规则，无需进行二次开发，实现方式简单高效，能对多源异构的农业物联网数据进行简单高效稳定的接入，一定程度上为农业生产部门和农业企业提供了便利。

基于上述任一实施例，提供一种数据接入系统，还包括：数据清洗模块，用于根据所述目标数据的类型配置对应的清洗规则，利用所述清洗规则对所述目标数据进行筛选。

具体地，在利用数据接收模块针对目标设备创建数据接收入口之前，为了避免数据接收模块接收无效的数据，还需对目标设备发送的目标数据进行清洗。本实施例中，利用数据清洗模块获取目标设备的类型，根据目标设备的类型配置相应的清洗规则，再利用清洗规则对目标数据进行筛选，筛选出合格的目标数据，将不合格的目标数据进行丢弃。最后，利用数据接收模块接收筛选出的合格的目标数据。

本发明提供的一种数据接入系统，能够根据接收数据的类型配置对应的清洗规则，并根据清洗规则筛选出合格的数据进行接收，对不合格的数据进行丢弃，一定程度上降低了系统数据接收的负担，有利于提高数据接入的整效率。

基于上述任一实施例，提供一种数据接入系统，还包括：数据分发模块，用于将解析后的所述目标数据加入分布式消息队列中，根据解析后的所述目标数据创建对应的发布接口，基于所述分布式消息队列，利用所述发布接口对解析后的所述目标数据进行分发。

具体地，利用规则映射模块对目标数据进行反向解析之后，则可获取到目标数据的具体参数，在实际应用中，往往需要将解析后的目标数据分发至其他数据应用系统，有鉴于此，本实施例中，采用分布式消息队列的策略，利用分发模块将解析后的目标数据加入分布式消息队列中进行分发，同时采用均衡负载调度对不同服务器上分布的消息队列进行调度，确保消息队列在高并发下的数据的安全性、一致性和稳定性，提升了服务器的资源利用率。此外，可以对上述分布式消息队列进行配置，包括消息队列的名称、生命周期、启用状态和最大存储空间等，具体配置可以根据实际需求进行设置，此处不做具体限定。

进一步地，为了满足其他数据应用系统对目标数据的调用需求，本实施例中，利用分发模块针对解析获取的目标数据创建对应的数据发布接口，故而分发模块可以将存储于分布式消息队列中的目标数据传输至对应的发布接口，利用发布接口对目标数据进行分发，其他数据应用系统也可以通过目标数据对应的数据发布接口，对目标数据进行存储、转发、查询和分析等具体的应用。此外，分发模块可以为每个创建的数据发布接口进行管理，包括启用数据发布接口，停用数据发布接口或删除数据发布接口等，可以根据实际需求进行配置，此处不做具体限定。

本发明提供的一种数据接入系统，针对不同设备构建负载均衡的分布式消息队列，并针对不同的目标设备传输的目标数据创建对应的发布接口，有利于其他数据应用系统对目标数据进行存储、转发、查询和分析等，实现了对目标数据的高效分发，同时确保了目标数据的安全性、一致性和稳定性。

综合上述，本发明提供的数据接入方法及系统针对不同的目标设备创建不同的数据接收入口，根据不同目标设备的传输协议选择对应的数据转换器，并根据传输的目标数据类型选择对应的映射规则，最终根据数据转换器和映射规则反向解析目标数据，能够对不同设备传输的数据进行动态接入，仅需针对不同的设备选择或配置对应的数据转换器和映射规则，无需进行二次开发，实现方式简单高效，能对多源异构的农业物联网数据进行简单高效稳定的接入，一定程度上为农业生产部门和农业企业提供了便利。同时将解析后的目标数据加入消息队列，并采用负载均衡调度的策略进行消息队列的调度，并结合目标数据对应的发布接口对目标数据进行分发，提高数据分发效率的同时还能够确保数据的安全性、一致性和稳定性。

最后，本申请的方法仅为较佳的实施方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。