一种农业大数据模型及其在农业上的应用的制作方法

本发明涉及一种大数据模型及其在农业上的应用。

背景技术：

传感器部分是外部环境与系统的接口。从大范围层面来看，它包括各地方气象站点和遥感平台等。从小范围层面来看，它包括gps、智能传感器、射频识别（rfid）、激光扫描仪、实地工作时的手持数据采集设备等。传感器部分也包括当前备受关注的农业物联网技术，物联网是一种短距无线自组织网络，在上述传感器间建立物－物通信模式（ｍ２ｍ），按照约定的协议，把任何物品与互联网连接起来，进行信息交换和通信，以实现智能化识别、定位、跟踪、监控和管理。并且基于农业物联网的功能，在传感器部分就可以进行对较为简单的决策，提高系统运行效率。可以说，物联网在农业各领域的渗透已经成为农业信息技术发展的必然趋势。传感器部分收集的数据是农业大数据中最主要的一部分，是数据挖掘分析的主要对象。

大数据与农业中的结合一方面改变了传统农业生产缺少量化数据支撑的问题，通过与互联网络和计算机信息技术的结合，改变我国农业高度分散、生产规模小、时空变异大、规模化程度差、稳定性和可控程度低等行业性弱点；另一方面丰富了大数据的应用功能，增强了农业与其他领域之间的联系。将大数据应用到农业领域，需要一个完善的理论体系和应用框架的支撑。农业的稳定发展影响着国民经济与粮食安全战略，迫切需要利用大数据技术提高我国农业信息化程度，目前农业大数据研究尚处于初级阶段，需农业相关部门及社会各界予以关注支持。借鉴数位国内外知名学者在大数据方面的研究成果，本发明将大数据在农业方面的应用作了细化和补充，并讨论农业大数据的各个组成部分。然后在此基础上探讨大数据在基于webgis的农业领域中的具体应用，最后分析了webgis与农业大数据的结合应用当前尚面临的一些困难。

技术实现要素：

针对农业领域当前缺少量化数据支撑、数据挖掘能力不足和难以与空间数据结合分析等问题，本发明提出将大数据技术与webgis应用到农业中的体系框架。借鉴国内外学者在大数据和webgis领域的研究成果，基于农业的具体行业特征，从数据采集、挖掘、应用3个方面入手，分析了大数据和webgis与农业的结合应用方式，提出应用体系框架并对各个部分加以解释。

本发明提供的技术方案是：一种农业大数据模型，该模型框架主要由四部分组成，即农业数据定义部分、传感器部分、数据收集部分和数据挖掘分析部分，连接这四个部分的是3个主要的数据流，即农业数据的组织表示、传感器数据和挖掘分析结果反馈，其中，数据挖掘分析部分包括数据转换、数据整合、数据建库的建立和挖掘分析，构建数据库和大数据挖掘分析的基础是分布式架构与云平台。

所述数据挖掘分析包括智能分析平台，该平台由综合平台、etl工具、设计工具、运行时、预置应用和bi门户6部分构成，其中，是从农业各类数据源中采集数据，并整理形成各行业主题数据库，数据挖掘所需的农业信息数据源主要分为３个部分：第一部分是历史数据，历史数据是一批按照时间序列收集记录的数据，包括传感器数据、农业领域的统计数据、跨领域的农业相关数据以及一些未整理的历史资料与书籍等数据；第二部分是gis数据，包括各类农业专题图、gps数据、gis在精准农业方面的应用以及数字高程模型数据等数据；第三部分是其他数据，主要包括社交网络上的视频、音频、图片、文字以及各种数据的元数据等数据；将上述数据导入数学模型挖掘分析后得出模拟结果；

主题数据库的设计根据不同应用需求提供三级数据服务层，分别是细节数据层、汇总数据层和应用集市层；

其中；一级etl抽取将临时存储区的数据按照预设的etl抽取规则，抽取整理入细节数据层；

二级etl抽取将细节数据抽取、整理、分析成面向业务主题的统计数据集，即汇总数据层；

第三级etl抽取将细节数据层和汇总数据层数据抽取整理成应用集市层，形成各主题多维数据立方体bi分析平台bi分析平台和门户采用portal技术实现，通过系统提供的多维数据服务，定制不同的预警和分析模型，bi系统可以将复杂的专业数据，以简单、易懂的图形方式展现出来，配合多维分析工具，用户可从数据立方体中对分析指标进行多维度、多角度的分析，报告输出功能，可自动生成包含文字、数字、图表、报表的pdf或doc形式的决策分析报告。

本发明具有以下有益效果：

与原有农业建模分析功能不同的是，本发明拓宽了挖掘分析的数据来源、深化了分析功能、分析结果更为精确。从现阶段看来，大数据在农业中的应用包括但不仅限于：农业可视化监控系统、更精确的近中远期灾害预测、与农业遥感的紧密结合、农产品流通体系、农业气象预测，以及农业环境变化趋势预测。

附图说明

图1是农业大数据采集分析模型，通过基础数据库采集数据，将基础数据导入各各专业数据库中，经过模型分析得出结论数据。

图2是农业大数据挖掘分析体系图。

用来建立农业数据库的数据有两个来源，一是农业数据定义部分定义并通过传感器部分获取的数据，二是数据收集部分收集的涉农领域和其他相关领域的数据。前者直接用于数据库建立，后者则需要转化并与前者整合重组才能用于数据库建立。这些转化与整合重组一般包括增加新属性、建立完善的概念等级、共享或合并相关类型数据、聚合、过滤、取样、删除属性等。数据整合重组是大数据体系中一个重要的理念，多类数据的整合重组，能够降低挖掘分析的成本，提高挖掘分析的效率。

图3是面向对象的本体图。

面向对象本体数据：面向对象的本体应当具有继承性、多态性、封装性等特征。继承性是指在定义和实现一个类的时候，在一个已经存在的类的基础之上加入若干新的内容;多态性是指相同的方法可作用于多种类型的实例上并获得不同的结果;封装性是指将类的实现过程同定义过程区别开来，用户只需要接口就可以定义类，而并不需要了解内部实现。

图4是农业数据采集过程示意图。

农业大数据智能分析平台由综合平台、etl工具、设计工具、运行时、预置应用和bi门户6部分构成，为涉农企业提供端到端的bi服务。技术框架如图4所示：综合平台提供系统基础服务和运行框架，统一管理各种bi工具和分析模型，并可对资源进行管理。etl工具可以完成异构数据的整合、集成和辅助数据仓库的建设，形成各行业的主题数据库。设计工具提供了灵活查询、多维分析、指标工具、管理驾驶舱、智能报告、及地图分析等工具，能实现各种分析模型的定义和发布。运行时用于解析设计模型，并监控整个模型的运行状态。预置应用提供多个分析、评价、预警、预测、优化方面的模型，为用户提供参考。bi门户采用portal技术实现了综合展板，可以将各类关键信息自由组合展现在同一界面中。

具体实施方式

下面通过具体实施方式的详细描述来进一步阐明本发明，但并不是对本发明的限制，仅仅作示例说明。

请参见图1至图4，本发明一种农业大数据模型，该模型框架主要由四部分组成，即农业数据定义部分、传感器部分、数据收集部分和数据挖掘分析部分，连接这四个部分的是３个主要的数据流，即农业数据的组织表示、传感器数据和挖掘分析结果反馈，其中，数据挖掘分析部分包括数据转换、数据整合、数据建库的建立和挖掘分析，构建数据库和大数据挖掘分析的基础是分布式架构与云平台。

预见性数据挖掘就是利用ｇｉｓ分析技术，通过数据分析，将大量的数据精简为单个的预见或评分。在ｗｅｂｇｉｓ与农业大数据结合应用中，ｇｉｓ能够联合上述农业数据与其他相关统计数据，并根据这些数据建立预见性模型，评价有潜力的农业区域、农业市场、农业规划项目以及其他相似农业应用。数据挖掘分析包括智能分析平台，该平台由综合平台、etl工具、设计工具、运行时、预置应用和bi门户6部分构成，其中，是从农业各类数据源中采集数据，并整理形成各行业主题数据库，数据挖掘所需的农业信息数据源主要分为3个部分（图1）：第一部分是历史数据，历史数据是一批按照时间序列收集记录的数据，包括传感器数据、农业领域的统计数据、跨领域的农业相关数据以及一些未整理的历史资料与书籍等数据；第二部分是gis数据，包括各类农业专题图、gps数据、ｇｉｓ在精准农业方面的应用以及数字高程模型数据等数据；第三部分是其他数据，主要包括社交网络上的视频、音频、图片、文字以及各种数据的元数据等数据；将上述数据导入数学模型挖掘分析后得出模拟结果。

本发明数据采集分析平台的基础核心是从农业各类数据源中采集数据，并整理形成各行业主题数据库。核心数据采集整理的etl工具，采用基于开源项目kettle再进行二次开发完成。该etl工具数据抽取高效，性能稳定，而且是采用插件式框架，针对不同主题的采集数据源需求，开发相应的数据采集整理插件即可，插件的可复用性强；用户端实现非编程、可视化数据采集设计功能。农业数据采集过程如图4所示，从各数据源采集到的数据，先经过格式检查校验和转换处理后存储于临时存储区。临时存储区数据再经过三级etl抽取整理后形成各行业的主题数据库。主题数据库设计上，根据不同应用需求提供三级数据服务层，分别是细节数据层、汇总数据层和应用集市层。一级etl抽取将临时存储区的数据按照预设的etl抽取规则，抽取整理入细节数据层。二级etl抽取将细节数据抽取、整理、分析成面向业务主题的统计数据集，即汇总数据层。第三级etl抽取将细节数据层和汇总数据层数据抽取整理成应用集市层，形成各主题多维数据立方体bi分析平台bi分析平台和门户采用portal技术实现，通过系统提供的多维数据服务，定制不同的预警和分析模型，bi系统可以将复杂的专业数据，以简单、易懂的图形方式展现出来，配合多维分析工具，用户可从数据立方体中对分析指标进行多维度、多角度的分析，科学准确的了解各指标的现状和发展趋势。报告输出功能，可自动生成包含文字、数字、图表、报表的pdf或doc形式的决策分析报告。

面向对象的本体（图3）定义：

本体模型包括概念、实例、属性、关系、公理等5个部分。而“面向对象”原指在程序设计中采用封装、继承、多态等设计方法，有类、对象、消息和方法等基本概念。对象可以指具体的或者抽象的事物。类具有属性和操作，指具有相同特性和行为的实例的抽象，类的具体化就是实例。类中操作的实现过程叫做方法。实例之间进行通信的结构叫做消息。对象和实例、类和概念分别具有相同的含义。

面向对象的本体应当具有继承性、多态性、封装性等特征。继承性是指在定义和实现一个类的时候，在一个已经存在的类的基础之上加入若干新的内容;多态性是指相同的方法可作用于多种类型的实例上并获得不同的结果;封装性是指将类的实现过程同定义过程区别开来，用户只需要接口就可以定义类，而并不需要了解内部实现。

本体模型包括概念、实例、属性、关系、公理等5个部分，这5个部分都是之间用箭头连系的，它们之间发生的关系要写清楚，比如“关系”到“类”中间是封装，关系到公理之间是约束关系；属性到实例及公理是约束关系；属性到类及关系无约束；类到实例之间是相互关系；关系内部是循环方法；公理内部是多态循环；实例内部是消息循环；类内部是继承循环；

定义1:设o为面向对象本体，0={c，i，p，r，x}。其中，c为类集，i即实例，p表示属性，r为类之间的关系，x即公理。其中属性p={cp，ip，dp，ap，dt}，其中，cp(classproperties)即类属性，类的属性描述可以用来实现继承和封装，ip(instanceproperties)即实例属性，dp(dataproperties)即数据属性，ap(annotationproperties)即注释属性，dt(datatypes)即数据类型。公理是指类及实例的约束并包含一般的规则，属性、关系等可以作为公理的一种。公理集应当为有限非空谓词演算逻辑集合。

定义2:消息是指实例通过消息通信，可以通过定义1当中的ip、dp、ap来描述源实例和目的实例的状态，达到状态间的信息通信。

定义3:方法是指用于改变实例的状态的操作。定义一种方法，可以实现实例数据和操作的结合，使数据和操作封装于实例的统一体中。

定义4:关联是建立类之间关系的一种手段，表示类之间的一种关系。关联集r是笛卡尔积c×p×r×x的子集。

定义5:链是指实例间的物理与概念联结，是建立实例之间关系的一种手段。链是关联的实例，关联是链的抽象。