应用于农业物联网的数据处理方法及装置与流程

本发明涉及农业物联网数据采集处理领域，具体涉及一种应用于农业物联网的数据处理方法及装置。

背景技术：

农业物联网是物联网技术在农业生产、经营、管理和服务中的具体应用，其采用各类传感器、视觉采集终端等感知设备进行大田种植、设施园艺、畜禽养殖、水产养殖、农产品物流等领域的现场信息的采集，通过建立数据传输和格式转换方法实现农业信息多尺度的可靠传输；由于上述数据信息数据量较大，实时传输数据较多，因此，往往会出现数值冲突、数据冗余等情况，从而导致采集到的感测数据可靠性不高，同时系统的传输过程中由于各模块工作状态的问题又容易导致错误数据的出现，进一步降低了系统的可靠性。

技术实现要素：

为解决上述问题，本发明提供了应用于农业物联网的数据处理方法及装置。

为实现上述目的，本发明采取的技术方案为：

应用于农业物联网的数据处理装置，包括：

目标数据采集模块，内设算法编辑模块，用于各种目标数据的采集，并将采集到的数据发送到数据整理模块；

数据整理模块，用于查找所述数据之间存在的冗余内容以及冲突内容，并将清除相应的冗余内容和冲突内容；

数据特征提取模块，采用mapreduce对整理完成后的数据进行特征数据的提取；

数据分析模块，采用神经网络模型基于所述特征数据完成对应数据的评估，并输出评估结果；

数据定位模块，基于所述特征数据为整理完成后的数据在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系；

监测模块，以静态jar包的形式部署在处理装置内，用于通过脚本录制方式进行数据处理过程中目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块工作流程数据的录制，并基于录制的流程数据实现各模块工作状态的评估，将评估结果发送到中央处理器；

预警模块，用于根据中央处理器发送的控制命令输出对应的预警信息；

中央处理器，用于协调上述模块工作。

进一步地，所述神经网络模型采用pca-bp神经网络模型。

进一步地，所述预警模块包括

语音预警模块，用于根据数据分析模块的评估结果或者监测模块的评估结果进行相应语音预警警示语的播放；

短信预警模块，用于通过短信编辑的方式进行预警短信的发送，所发送的短信至少包括目前对应的评估结果。

进一步地，还包括：

图形绘制模块，用于基于选中的曲线图模板根据整理完成后的数据生成各种曲线图。

进一步地，所述数据整理模块采用eka算法和akf算法处理冲突内容。

进一步地，所述冗余内容采用redundancy函数进行清除。

进一步地，所述监测模块基于bp神经网络模型实现工作状态的评估，且目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块各对应一个bp神经网络模型。

本发明还提供了一种应用于农业物联网的数据处理方法，基于上述系统实现，包括如下步骤：

s1、根据需要获取的目标数据，通过算法编辑模块在预设的算法数据库内调用对应的算法实现目标数据的采集，并将采集到的数据发送到数据整理模块；

s2、通过数据整理模块查找所述数据之间存在的冗余内容以及冲突内容，并将清除相应的冗余内容和冲突内容；

s3、采用mapreduce对整理完成后的数据进行特征数据的提取；

s4、采用神经网络模型基于所述特征数据完成对应数据的评估，并输出评估结果；

s5、为整理完成后的在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系。

进一步地，整个数据处理过程中，通过以静态jar包的形式部署在数据处理装置内的监测模块采用脚本录制方式进行数据处理过程中目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块工作流程数据的录制，并完成各模块工作状态的评估，将评估结果发送到中央处理器。

进一步地，所述中央处理器基于数据分析模块和监测模块的评估结果输出对应的控制命令到预警模块进行预警。

本发明具有以下有益效果：

1）在实现目标数据定向采集的同时实现了冲突数据和亢余数据的自动清除，提高了数据源的可靠性。

2）基于mapreduce进行数据特征的提取，将纷繁多样的海量数据转换成具有价值的可用数据，提高了大规模数据的分析效率。

3）通过静态jar包的形式进行监测模块的布置，实现了目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块工作状态数据的留档，便于工作情况的追溯管理；同时实现了目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块工作状态的监测，进一步提高了系统的可靠性。

附图说明

图1为本发明实施例应用于农业物联网的数据处理装置的系统框图。

图2为本发明实施例应用于农业物联网的数据处理方法的流程图。

具体实施方式

为了使本发明的目的及优点更加清楚明白，以下结合实施例对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

实施例1

如图1所示，本发明实施例提供了一种应用于农业物联网的数据处理装置，包括：

目标数据采集模块，内设算法编辑模块，用于各种目标数据的采集，并将采集到的数据发送到数据整理模块；

数据整理模块，用于查找所述数据之间存在的冗余内容以及冲突内容，并将清除相应的冗余内容和冲突内容；所述数据整理模块采用eka算法和akf算法处理冲突内容；所述冗余内容采用redundancy函数进行清除；具体的，在redundancy函数中，分别将k1和k2中的知识元素取出e1和e2，然将e1和e2中的x，y以及关系r取出进行比较并分别对比xe1，xe2，ye1，ye2，将具有相同内容的元素项删除，并保留原有关系r值，将关系与未被删除项合并；

数据特征提取模块，采用mapreduce对整理完成后的数据进行特征数据的提取；

数据分析模块，采用pca-bp神经网络模型基于所述特征数据完成对应数据的评估，并输出评估结果；

数据定位模块，基于所述特征数据为整理完成后的数据在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系；所述数据定位模块基于刻面技术来实现数据定位，通过计算不同数据术语间的刻面距离来准确定位数据；在定位数据时，在已知刻面的约束下选择相应的术语，以此来完成对所需数据的描述，如果选择成功，则返回相应的数据；如果选择不成功，则系统将根据同义词词典和概念距离图计算术语的相似性，形成新的定位信息；

监测模块，以静态jar包的形式部署在处理装置内，用于通过脚本录制方式进行数据处理过程中目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块工作流程数据的录制，并基于录制的流程数据实现各模块工作状态的评估，将评估结果发送到中央处理器；

预警模块，用于根据中央处理器发送的控制命令输出对应的预警信息；

图形绘制模块，用于基于选中的曲线图模板根据整理完成后的数据生成各种曲线图；

中央处理器，用于协调上述模块工作。

本实施例中，所述预警模块包括

语音预警模块，用于根据数据分析模块的评估结果或者监测模块的评估结果进行相应语音预警警示语的播放；

短信预警模块，用于通过短信编辑的方式进行预警短信的发送，所发送的短信至少包括目前对应的评估结果。

本实施例中，所述监测模块基于bp神经网络模型实现工作状态的评估，且目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块各对应一个bp神经网络模型。

实施例2

如图2所示，本发明实施例提供了一种应用于农业物联网的数据处理方法，包括如下步骤：

s1、根据需要获取的目标数据，通过算法编辑模块在预设的算法数据库内调用对应的算法实现目标数据的采集，并将采集到的数据发送到数据整理模块；

s2、通过数据整理模块查找所述数据之间存在的冗余内容以及冲突内容，并将清除相应的冗余内容和冲突内容；

s3、采用mapreduce对整理完成后的数据进行特征数据的提取；

s4、采用pca-bp神经网络模型基于所述特征数据完成对应数据的评估，并输出评估结果；

s5、为整理完成后的在数据库中找到合适的位置，并为其找到相似数据点，建立其与相似数据点之间的关系，具体的，基于刻面技术来实现数据定位，通过计算不同数据术语间的刻面距离来准确定位数据；在定位数据时，在已知刻面的约束下选择相应的术语，以此来完成对所需数据的描述，如果选择成功，则返回相应的数据；如果选择不成功，则系统将根据同义词词典和概念距离图计算术语的相似性，形成新的定位信息。

本实施例中，整个数据处理过程中，通过以静态jar包的形式部署在数据处理装置内的监测模块采用脚本录制方式进行数据处理过程中目标数据采集模块、数据整理模块、数据特征提取模块以及数据分析模块工作流程数据的录制，并完成各模块工作状态的评估，将评估结果发送到中央处理器。

本实施例中，所述数据整理模块采用eka算法和akf算法处理冲突内容；所述冗余内容采用redundancy函数进行清除；具体的，在redundancy函数中，分别将k1和k2中的知识元素取出e1和e2，然将e1和e2中的x，y以及关系r取出进行比较并分别对比xe1，xe2，ye1，ye2，将具有相同内容的元素项删除，并保留原有关系r值，将关系与未被删除项合并。

本实施例中，所述中央处理器基于数据分析模块和监测模块的评估结果输出对应的控制命令到预警模块进行预警。

以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以作出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。