本发明涉及人工智能和数据挖掘分析技术领域，特别涉及一种农业生态多源异构大数据采集、处理与分析架构。
背景技术：
农业生态，是指农业生物之间以及它们与环境的相互关系，主要包括的农业生物有作物、果树、蔬菜、栽培牧草和树木、家畜、家禽、养殖鱼类、食用菌等。是按照生态学原理和经济学原理，运用现代科学技术成果和现代管理手段，以及传统农业的有效经验建立起来的，能获得较高的经济效益、生态效益和社会效益的现代化农业。它要求把发展粮食与多种经济作物生产，发展大田种植与林、牧、副、渔业，发展大农业与第二、三产业结合起来，利用传统农业精华和现代科技成果，通过人工设计生态工程、协调发展与环境之间、资源利用与保护之间的矛盾，形成生态上与经济上两个良性循环，经济、生态、社会三大效益的统一。
目前，随着社会的进步和时代的发展，人们对生态农业的关注度越来越高，希望能够利用现代科技更好地、更精细地管理生态农业，为全人类造福，所以就需要一种农业生态多源异构大数据采集、处理与分析架构。
技术实现要素：
本发明实施例提供了一种农业生态多源异构大数据采集、处理与分析架构，用以解决现有技术中存在的问题。
一种农业生态多源异构大数据采集、处理与分析架构，包括数据获取模块，所述数据获取模块与数据存储模块电连接，所述数据存储模块与数据预处理模块电连接，所述数据预处理模块与数据特征提取模块电连接，所述数据特征提取模块与并行挖掘与分析模块电连接，所述并行挖掘与分析模块与环境预测与展示模块电连接；
所述数据获取模块包括卫星遥感模块、航空遥感模块、无人机采集遥感信息模块和布置传感网模块，所述卫星遥感模块是通过卫星遥感来获取观测地区农业的数据信息，所述航空遥感模块是通过各种飞机、飞艇和气球作为传感器运载工具在空中获取观测地区农业的数据信息，所述无人机采集遥感信息模块是通过无人机内的传感器获取目标物的电磁波信息，从而获取观测地区农业的数据信息，所述布置传感网模块是通过在地面布置传感器网络来获取观测地区农业的数据信息；
所述数据存储模块包括hdfs模块、hive模块和mysql模块，所述hdfs模块是hadoop分布式文件系统，具有高容错性的特点，并且部署在低廉的硬件上，同时放宽了posix的要求，可以以流的形式访问文件系统中的数据，所述hive模块是基于所述hdfs模块的一种可以存储、查询和分析存储在hadoop中大规模数据的机制，所述mysql模块是一个开放源码的小型关联式数据库管理系统；
所述数据预处理模块包括数据清洗模块、几何校正模块、数据融合模块、去云及阴影处理模块和大气校正模块，所述数据清洗模块是发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值，所述几何校正模块用于消除或改正遥感影像的几何误差，所述数据融合模块是将多传感器信息源的数据和信息加以联合、相关及组合，以便获得更为精确的位置估计和身份估计，从而实现对战场态势和威胁以及其重要程度的实时完整评价，所述去云及阴影处理模块用于对遥感影像进行处理，达到去云和阴影的目的，所述大气校正模块用于消除遥感影像中由大气散射和吸收引起的辐射误差；
所述数据特征提取模块包括土壤数据特征提取模块、气象观测数据特征提取模块、水文观测数据特征提取模块和农作物生产数据特征提取模块，所述土壤数据特征提取模块用于对观测地区内的土壤数据信息进行特征提取，所述气象观测数据特征提取模块用于对观测地区内的气象数据信息进行特征提取，所述水文观测数据特征提取模块用于对观测地区内的水文数据信息进行特征提取，所述农作物生产数据特征提取模块用于对观测地区内的农作物生产数据信息进行特征提取；
所述并行挖掘与分析模块包括大数据降维技术模块、时间空间数据分析模块和分布式大数据查询模块，所述大数据降维技术模块用于对农业生态的大数据使用主成分分析方法进行降维处理，所述时间空间数据分析模块用于通过对观测地区的时空大数据使用机器学习算法和深度学习算法，从而对农业生态的时空大数据进行深入地挖掘与分析，所述分布式大数据查询模块用于对农业生态多源异构大数据采用分布式大数据查询方法进行查询；
所述环境预测与展示模块包括农作物长势预测模块、农作物产量预测模块、农作物病虫害遥感预测模块和可视化展示预测分析结果模块，所述农作物长势预测模块用于对观测地区的农作物长势进行预测，所述农作物产量预测模块用于对观测地区的农作物产量进行预测，所述农作物病虫害遥感预测模块用于对观测地区的农作物病虫害进行遥感预测，所述可视化展示预测分析结果模块用于对预测分析结果进行可视化展示。
较佳地，所述数据预处理模块、所述数据特征提取模块、所述并行挖掘与分析模块和所述环境预测与展示模块均在spark数据处理平台中进行。
较佳地，所述可视化展示预测分析结果模块采用的软件为envi软和arcgis软件。
本发明有益效果：本发明用于通过对农业生态多源异构大数据进行采集、处理与分析等处理步骤，从而实现对观测地区生态农业的全方位监测，有利于工作人员从分析结果判断观测地区生态农业的具体生产情况，非常有利于促进生态农业的发展。
附图说明
图1为本发明实施例提供的一种农业生态多源异构大数据采集、处理与分析架构的结构示意图。
附图标记说明：
1-数据获取模块，2-数据存储模块，3-数据预处理模块，4-数据特征提取模块，5-并行挖掘与分析模块，6-环境预测与展示模块，7-卫星遥感模块，8-航空遥感模块，9-无人机采集遥感信息模块，10-布置传感网模块，11-hdfs模块，12-hive模块，13-mysql模块，14-数据清洗模块，15-几何校正模块，16-数据融合模块，17-去云及阴影处理模块，18-大气校正模块，19-土壤数据特征提取模块，20-气象观测数据特征提取模块，21-水文观测数据特征提取模块，22-农作物生产数据特征提取模块，23-大数据降维技术模块，24-时间空间数据分析模块，25-分布式大数据查询模块，26-农作物长势预测模块，27-农作物产量预测模块，28-农作物病虫害遥感预测模块，29-可视化展示预测分析结果模块。
具体实施方式
下面结合发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整的描述，但应当理解本发明的保护范围并不受具体实施方式的限制。
本发明是在农业生态领域大数据海量性、多样性、快速性、价值性特点的基础上，根据农业生态环境管理决策的应用需求，在spark并行分布式计算环境下，设计的一种农业生态多源异构行业领域大数据采集、处理与分析架构的搭建方案。
参照图1，本发明提供了一种农业生态多源异构大数据采集、处理与分析架构，包括数据获取模块1，所述数据获取模块1与数据存储模块2电连接，所述数据存储模块2与数据预处理模块3电连接，所述数据预处理模块3与数据特征提取模块4电连接，所述数据特征提取模块4与并行挖掘与分析模块5电连接，所述并行挖掘与分析模块5与环境预测与展示模块6电连接；
由于遥感技术具有视域广、时效性强、信息量大和受条件限制少等优点，为了保证农业生态大数据真实、可信，本发明采集和获取农业生态多源异构大数据时，主要通过以下四种渠道来获取农业生态多源异构大数据。所述数据获取模块1包括卫星遥感模块7、航空遥感模块8、无人机采集遥感信息模块9和布置传感网模块10，所述卫星遥感模块7是通过卫星遥感来获取观测地区农业的数据信息，所述航空遥感模块8是通过各种飞机、飞艇和气球作为传感器运载工具在空中获取观测地区农业的数据信息，所述无人机采集遥感信息模块9是通过无人机内的传感器获取目标物的电磁波信息，从而获取观测地区农业的数据信息，所述布置传感网模块10是通过在地面布置传感器网络来获取观测地区农业的数据信息。
把通过卫星遥感、航空遥感、无人机与传感网采集的多源农业生态大数据存储至多源异构的分布式存储系统hdfs、hive和mysql中，本发明采用hdfs+hive+mysql的多源异构的分布式存储系统。所述数据存储模块2包括hdfs模块11、hive模块12和mysql模块13，所述hdfs模块11是hadoop分布式文件系统，具有高容错性的特点，并且部署在低廉的硬件上，同时放宽了posix的要求，可以以流的形式访问文件系统中的数据，所述hive模块12是基于所述hdfs模块11的一种可以存储、查询和分析存储在hadoop中大规模数据的机制，hive能够帮助用户屏蔽掉复杂的mapreduce逻辑，而只需用户使用简单sql即可完成一定的查询功能，所述mysql模块13是一个开放源码的小型关联式数据库管理系统；
对通过卫星遥感、航空遥感、无人机与传感网来采集多源的农业生态大数据进行预处理，农业生态多源异构大数据预处理是遥感应用的第一步，也是非常重要的一步。所述数据预处理模块3包括数据清洗模块14、几何校正模块15、数据融合模块16、去云及阴影处理模块17和大气校正模块18，所述数据清洗模块14是发现并纠正数据文件中可识别的错误的最后一道程序，包括检查数据一致性，处理无效值和缺失值，所述几何校正模块15用于消除或改正遥感影像的几何误差，几何校正主要包括地理定位、几何精校正、图像配准、正射校正等操作，所述数据融合模块16是将多传感器信息源的数据和信息加以联合、相关及组合，以便获得更为精确的位置估计和身份估计，从而实现对战场态势和威胁以及其重要程度的实时完整评价，所述去云及阴影处理模块17用于对遥感影像进行处理，达到去云和阴影的目的，所述大气校正模块18主要是指遥感图像在获取过程中，受到如大气吸收与散射、传感器定标、地形等因素的影响，且它们会随时间的不同而有所差异，因此需要进行大气校正以去除大气对图像的干扰和影响；
对预处理后的农业生态多源异构大数据进行特征抽取，主要抽取土壤数据特征、气象观测数据特征、水文观测数据特征和农作物生产数据特征，以进一步对于农作物生长环境有关的土壤、气象、水文和生产数据进行挖掘与分析。所述数据特征提取模块4包括土壤数据特征提取模块19、气象观测数据特征提取模块20、水文观测数据特征提取模块21和农作物生产数据特征提取模块22，所述土壤数据特征提取模块19用于对观测地区内的土壤数据信息进行特征提取，所述气象观测数据特征提取模块20用于对观测地区内的气象数据信息进行特征提取，所述水文观测数据特征提取模块21用于对观测地区内的水文数据信息进行特征提取，所述农作物生产数据特征提取模块22用于对观测地区内的农作物生产数据信息进行特征提取；
基于spark机器学习和流计算结构对农业生态多源异构大数据和所抽取的特征进行挖掘分析与处理，主要是对农业生态多源异构大数据使用主成分分析方法(pca)进行降维，对农业生态多源异构时空大数据进行分析，使用分类和聚类等机器学习算法和深度学习算法对农业生态多源异构时空大数据进行深入地挖掘与分析，采用分布式大数据查询技术对农业生态多源异构大数据进行查询；基于spark机器学习和流计算结构对数据进行挖掘分析与处理不仅可以处理离线数据数据，还可以对实时数据进行处理。所述并行挖掘与分析模块5包括大数据降维技术模块23、时间空间数据分析模块24和分布式大数据查询模块25，所述大数据降维技术模块23用于对农业生态的大数据使用主成分分析方法进行降维处理，所述时间空间数据分析模块24用于通过对观测地区的时空大数据使用机器学习算法和深度学习算法，从而对农业生态的时空大数据进行深入地挖掘与分析，所述分布式大数据查询模块25用于对农业生态多源异构大数据采用分布式大数据查询方法进行查询；
所述环境预测与展示模块主要指对农作物长势进行预测、对农作物产量进行预测、对农作物病虫害遥感图像进行监测、并使用envi软件和arcgis软件对预测分析结果进行可视化展示。所述环境预测与展示模块6包括农作物长势预测模块26、农作物产量预测模块27、农作物病虫害遥感预测模块28和可视化展示预测分析结果模块29，所述农作物长势预测模块26用于对观测地区的农作物长势进行预测，所述农作物产量预测模块27用于对观测地区的农作物产量进行预测，所述农作物病虫害遥感预测模块28用于对观测地区的农作物病虫害进行遥感预测，所述可视化展示预测分析结果模块29用于对预测分析结果进行可视化展示。
所述数据预处理模块3、所述数据特征提取模块4、所述并行挖掘与分析模块5和所述环境预测与展示模块6均在spark数据处理平台中进行。
所述可视化展示预测分析结果模块29采用的软件为envi软和arcgis软件。
综上所述，本发明用于通过对农业生态多源异构大数据进行采集、处理与分析等处理步骤，从而实现对观测地区生态农业的全方位监测，有利于工作人员从分析结果判断观测地区生态农业的具体生产情况，非常有利于促进生态农业的发展。
以上公开的仅为本发明的一个具体实施例，但是，本发明实施例并非局限于此，任何本领域的技术人员能思之的变化都应落入本发明的保护范围。