本发明涉及的是一种图像处理领域的技术，具体是一种基于图像风格迁移的广域监测系统及方法。
背景技术：
随着农田种植的规模化，对大面积农田的人工监控模式已经滞后。建立农田监管系统能帮助管理者掌握农业生产情况、制定农业发展规划、加强生产管理。目前，卫星遥感技术以其低成本、监控范围广的优势被应用于广泛应用于土地覆被监控，但它存在拍摄周期长、空间分辨低、易受天气影响等不足，监控信息具有时间不连续性；高清定点摄像技术具有实时性、高分辨率等特点，但监控范围极为有限，空间信息不连续。如何将二者整合，相互补全不连续的时空信息，是解决“实时监控大面积农田”难题的一大关键。如果能同时从整体和局部两方面来把握农作物生长势态，及时发现病害，将大大提高农田的种植效率，带来巨大的经济效益和社会效益。
技术实现要素：
本发明针对现有技术存在的上述不足，提出一种基于图像风格迁移的广域监测系统及方法，将农田的不同区域与覆盖范围极度有限的采样点进行匹配、融合，同时采用迭代的方式对全时空模型对卫星遥感图进行更新、修正；本发明适用于农田监管领域，可以帮助农田管理者从整体和局部两方面同时把握农作物生长势态：预估产量、监测水肥等级、及时发现病害并提供灌溉、施肥、撒药等建议，来提高种植效率。
本发明是通过以下技术方案实现的：
本发明涉及一种基于图像风格迁移的广域监测系统，包括：位于数据采集层的卫星遥感图像采集单元和高清定点摄像单元、位于云服务层的区域划分与特征提取模块、时空信息补全模块和具有全时空模型的智能分析模块、位于用户交互层的农田管理应用模块及实时监控应用模块，其中：卫星遥感图像采集单元和高清定点摄像单元将各自采集的农田的卫星遥感图像和采样点的图像数据分别以规范格式输出至云服务层；区域划分与特征提取模块从输入图像中解析出农田区域并提取得到颜色纹理特征，时空信息补全模块根据实时的图像数据及相关历史图像数据基于风格迁移算法合成卫星遥感图及扩展的采样图像组用于更新完善全时空模型，智能分析模块根据全时空模型分析得到农田、农作物的多项指标并输出优化管理方案并分析各项指标的变化趋势对优化管理方案进行评判，农田管理应用模块和实时监控应用模块同时从整体及局部的角度提供面向用户的农田管理决策和实时监控。
技术效果
与现有技术相比，本发明实现了通过整合卫星遥感图与采样图像组数据以构建全时空模型的过程，支持实时农田全景及任意局部的细节的可视化，并能同时从整体和局部两方面对农田进行实时的监管，包括植被指数、水肥含量及局部的病害情况，及时给出相应管理建议，提高了农田管理效率。这样的设计既解决了卫星遥感图更新周期长、分辨率低的难题，也弥补了定点摄像覆盖范围小、成本高的不足。本发明提出了“更新-修正”的迭代模式，系统根据最新输入的卫星遥感图及采样图像组所提供的真实数据，对过去合成的图像数据及对应的分析数据做修正及更新。随着数据库录入的真实数据增多，合成数据在时空分布上越来越稠密且逼真，全时空模型逐步完善，保证了决策的可靠性。
附图说明
图1为本发明系统示意图；
图2为本发明云服务层示意图；
图3为本发明全时空模型结构示意图；
图4为本发明全时空模型构造过程示意图；
图中：加号表示按权重融合，以降低计算误差；箭头及旁注指示合成关系；
图5为本发明全时空模型修正过程示意图；
图6为本发明基于全时空模型的智能分析示意图。
具体实施方式
如图2所示，为本实施例涉及的一种基于图像风格迁移的广域监测系统，包括：位于数据采集层的卫星遥感图像采集单元和高清定点摄像单元、位于云服务层的区域划分与特征提取模块、时空信息补全模块和具有全时空模型的智能分析模块、位于用户交互层的农田管理应用模块及实时监控应用模块，其中：卫星遥感图像采集单元和高清定点摄像单元将各自采集的农田的卫星遥感图像和采样点的图像数据分别以规范格式输出至云服务层；区域划分与特征提取模块从输入图像中解析出农田区域并提取得到颜色纹理特征，时空信息补全模块根据实时的图像数据及相关历史图像数据基于风格迁移算法合成卫星遥感图及扩展的采样图像组用于更新完善全时空模型，智能分析模块根据全时空模型分析得到农田、农作物的多项指标并输出优化管理方案并分析各项指标的变化趋势对优化管理方案进行评判，农田管理应用模块和实时监控应用模块同时从整体及局部的角度提供面向用户的农田管理决策和实时监控。
所述的规范格式是指：统一规范的编码、命名、传输格式。
所述的输入图像是指：分别从卫星遥感图像采集单元和高清定点摄像单元采集的农田的卫星遥感图像和采样点的图像数据。
所述的解析是指：区域划分与特征提取模块对卫星遥感图进行波段剔除、降维处理，然后基于神经网络识别图像中的农田区域。由于不同区域农作物种类和生长情况不同，故基于轮廓提取将农田划分为多个子区，并从每个农田子区中分别提取图像特征。当接收实时输入的采样图像组时，直接利用神经网络分割农田前景并从中提取图像特征。纹理特征及颜色特征分别用lbp特征向量和基于hsv空间的颜色直方图表示。
考虑到各图像由不同设备采集，采集时间及画质存在差异，故还需对齐各图像的时间、纹理和颜色：以本系统时间为标准，计算外部系统与标准时间的时间差，用以修正从外部系统输出的图像的拍摄时间，以保证卫星遥感图与采样图像组在标准时间的时间轴上对齐；根据经纬度坐标信息确定输入的采样图像组与卫星遥感图中的农田子区的对应关系，基于纹理、颜色特征向量计算采样图像组与卫星遥感图在纹理、颜色特征方面的偏移关系矩阵，将采样图像组的颜色纹理特征与卫星遥感图对齐。
所述的实时的图像数据是指：反映农田及农作物实时状态的卫星遥感图像与定点采样图像组，其中定点采样图像组包括实时的图像数据与基于风格迁移算法合成卫星遥感图。
所述的相关历史图像数据是指：在一定时间范围内反映农田及农作物历史状态的卫星遥感图像与定点采样图像组，其中定点采样图像组包括实时的图像数据与基于风格迁移算法合成卫星遥感图。
所述的基于风格迁移算法合成卫星遥感图是指：通过风格迁移算法将预设的风格图中的颜色纹理风格迁移融合到内容图中以合成新的图像，具体为：首先结合历史数据对真实的采样图像组进行扩展，计算出多个虚拟采样点并合成对应采样图像；然后将原遥感图中各农田子区与采样图像按颜色纹理特征相似度匹配，对各子区按对应采样图的颜色纹理风格作风格迁移处理后，再拼合为完整的卫星遥感图。
所述的扩展是指：当采样点数量逐渐增多，采样图像将布满整个农田空间。
所述的合成卫星遥感图补全了时间上的不连续性，即当输入数据不包含卫星遥感图时，模块合成实时的卫星遥感图及采样图像组；否则，模块合成历史日期的卫星遥感图及采样图像组，对全时空模型进行修正。即，比对最新合成的图像与对应的历史数据，基于多分辨率融合算法平滑融合新旧图像，实现数据的修正，以保证系统的准确度和可靠性。
所述的更新完善是指：当输入数据包含最新的卫星遥感图时，融合最新合成的图像数据与过去的数据，以实现模型的修正。
所述的优化管理方案包括：基于多植被指数组合的产量预估、基于水含量分析的灌溉管理方案、基于肥含量分析的施肥管理方案及基于叶片病害诊断的撒药管理方案。
所述的基于多植被指数组合的产量预估是指基于全时空模型计算各农田子区的多类植被指数并组合成特征向量，输入预测模型，输出各子区单位面积的预估产量，并将每日的预估产量进行拟合，所得估产曲线反映了农作物长势变化，可作为管理方案的整体评判指标，如图6(a)所示。由于不同生长阶段的农作物的植被指数保持变化且变化趋势具有一定规律性，为提高预测精度，需首先基于植被指数变化趋势拟合生长期曲线，通过匹配已有模型识别农作物所处生长阶段，然后选取该阶段对应的预测模型进行预测。某特定生长阶段所对应的预测模型的构建方法为：通过支持向量机模型拟合该生长阶段的多植被指数组合与农作物产量间的非线性关系，利用已有数据集完成模型训练：以从遥感图计算得出的多类植被指数组合成特征向量作为模型输入，以实测农作物单产作为输出，训练模型直至输出精度达到阈值。
所述的多植被指数组合是指：evi2(enhancedvegetationindexwithoutablueband)，即无蓝带增强植被指数；msavi2(modifiedsecondarysoiladjustedvegetationindex)，即修正的次生土壤调节植被指数；savi(soiladjustedvegetationindex)，即土壤调节植被指数；mtvi1(modifiedtriangularvegetationindex)，即修正的三角植被指数；msr(modifiedsimpleratio)，即修正的比值植被指数；osavi(optimizedsoiladjustedvegetationindex)，即优化的土壤调节植被指数，相应特征向量写做6维向量：vi＝(vienvi2，vimsavi2，visavi，vimtvi1，vimsr，viosai)，各维度为对应植被指数的值，利用模型中卫星遥感图像所包含的不同波段探测数据，按照通用公式计算可得。计算模型估产值与实测值的均方根误差rmse以评价模型估产结果。若农田分为k个子区，从各子区提取的特征向量记为(vi1，vi2，…，vik)，对应的预测模型记为
所述的基于水含量分析的灌溉管理方案与基于肥含量分析的施肥管理方案分别根据全时空模型中每日的农田遥感图像反演水肥含量，并给出对应的灌溉建议、施肥建议，将各农田子区每日的水肥含量进行拟合，所得曲线反映了各子区农田质量的变化趋势，用以评判灌溉、施肥管理效率，如图6(b)所示。
所述的水肥含量是指：将遥感图像中农田各子区分割为20×20像素的子块，非农田区域补零，得到rgb三通道图(ir，ig，ib)与对应的二值掩膜图像imask，合并为20×20×4像素的图像i＝(ir，ig，ib，imask)。imask的加入有利于排除非农田区域的干扰。因为农作物生长情况受水含量、肥含量共同影响，为避免图像特征的重复提取，水肥含量的测定选用多任务卷积神经网络，特征共享可提升运算效率，并且多重监督有利于神经网络的快速拟合及准确度提升。输入图像i，经过多层卷积、池化和一层全连接，输出图像i的特征向量
所述的基于叶片病害诊断的撒药管理方案是指通过从全时空模型的采样图像中分割提取农作物叶片的高清细节图像，基于所得图像分析叶片病斑，诊断农作物病害情况并给出相应的撒药建议，包括农药的种类、浓度、使用方法及范围，通过监测农作物患病率的每日变化趋势对撒药效率进行评判，如图6(c)所示。考虑到农作物病害分为四大类：真菌性、细菌性、病毒性及生理性病害，对于不同分类的病害处理方式不同，同一分类下的病害处理方式往往相近。故提出在经典分类器alexnet上作扩展，增加预诊断操作作为辅助任务，即先诊断农作物为健康或患有四大类病害之一，再精准诊断为健康或患有具体某种病害。分类标签均以one-hot编码方式编码，对应的损失函数为
如图3所示，所述的全时空模型提供全时空的农田可视化效果并为农田管理提供决策支持，该模型具体为在由经度、纬度、时间所构成的时空坐标系统下，以卫星遥感图像集为全局时间不连续样本，以采样图像集为局部时间连续样本，通过整合二者构建得到的全时空农田的可视化模型，包括：按时间顺序存储的由卫星遥感图像采集单元输出的卫星遥感图像及由时空信息补全模块通过基于风格迁移的图像合成方法合成的卫星遥感图像、由高清定点摄像单元输出的采样图像组及由时空信息补全模块通过基于风格迁移的图像合成方法合成的采样图像组、各图像对应的属性信息、图像间的关系信息，其中：卫星遥感图像反映农田全景概况；采样图像组反映各真实采样点及虚拟采样点周围农作物生长情况；卫星遥感图像对应的属性信息包括像素级农田子区划分信息及各子区对应的颜色纹理特征信息、卫星遥感图像所涵盖的地理范围及其拍摄时间；采样图像组对应的属性信息包括拍摄时间、各采样点地理坐标、对应的各采样图像所涵盖地理范围及其中农田区域的颜色纹理特征信息以及各采样图像中农作物叶片提取分割信息；图像间的关系信息是指在同一时间刻度下的卫星遥感图像与采样图像组之间的关系信息，包括各农田子区与采样点的匹配关系、时间对齐关系、颜色特征对齐关系、纹理特征对齐关系。通过构建文件系统实现全时空模型的存储：上述各数据均以规范格式写入文件，按统一命名格式命名，并按时间顺序对文件进行归纳、排序；通过读写文件实现全时空模型的构造及修正。
所述的整体及局部的角度是指：被检测农田的综合整体及小面积范围内农作物的局部个体。
所述的面向用户的农田管理决策包括：农田全景实时监控与农田定点实时监控、产量预估、施肥管理、灌溉管理和撒药管理。
所述的实时监控是指：对农田的状态及农作物生长情况作实时同步的可视化监控与分析。
所述的高清定点摄像单元通过在农田中分散地架设高清摄像设备实时地向云服务层传送采样图像数据，采样点在数量有限的前提下尽可能地覆盖不同种类及不同生长期的农作物。
如图4、图5所示，所述的全时空模型，通过以下步骤构造得到：
①初始化：根据原始图像数据构建图像集、分析计算图像属性与图像关系，得到初始模型，具体为：设定1号、2号两个采样点并架设定点摄像设备；卫星遥感图
②更新：通过图像合成与分析补全实时的监控信息，对模型从时间、空间两个维度进行扩展，具体为：更新反映农田每日整体状态的一系列卫星遥感图像
③修正：在获取新的真实的卫星遥感图时，反向推演历史数据，对模型进行修正，具体为：当系统输入新的卫星遥感图时，例如卫星遥感图
因为真实的卫星遥感图是不定期输入的，所以模型在保持更新的过程中，会不定期地自我修正，从而形成“更新-修正”的迭代过程。
本实施例涉及上述系统的控制方法，具体包括以下步骤：
①数据采集层通过外部系统采集图像数据并输出至服务端。
②当云服务层接收到实时的采样图像组时，区域划分与特征提取模块识别图像中的农田区域，提取纹理及颜色特征，对齐时间及纹理颜色特征，将图像及其特征向量输出至时空信息补全模块，结合历史图像数据合成实时的卫星遥感图及扩展的采样图像组，初始化或更新全时空模型；当云服务层接收到最新的卫星遥感图时，区域划分与特征提取模块识别图像中的农田区域，并将农田划分为多个子区，提取每个农田子区的纹理及颜色特征。然后将图像及其特征向量输出至时空信息补全模块，结合原图像数据反向合成历史日期对应的卫星遥感图及扩展的采样图像组，融合新合成的图像与原图像以修正全时空模型。
③时空信息补全模块支持图像合成的实时进行以实现实时的全时空农田可视化效果，但鉴于单日内农田情况变化微小，为提高存储效率，每日仅在固定时刻保存一张卫星遥感图及对应的采样图像组。云服务层的智能分析模块基于全时空模型分析农田、作物的多项指标，估算产量并提出施肥、灌溉、撒药的相关管理建议，制定并调整适用的农田管理方案。
④用户交互层接收云服务层的全时空模型与智能分析模块输出的图像数据及管理方案，以可视化的方式与用户交互。
本系统与现有技术的比较见表1。
表1
与现有技术相比，本系统不仅补全了原本时空不连续的农田监控信息，支持实时查看农田全景及局部细节；还支持从整体和局部两方面对农田状态及农作物生长情况同时进行实时监控分析，及时给出适用的管理方案；采用“更新-修正”的迭代模式，不断地对历史数据进行修正，使得输出数据的准确性逐步提高。本发明的提出使得农田管理更及时、更精准、更高效。
上述具体实施可由本领域技术人员在不背离本发明原理和宗旨的前提下以不同的方式对其进行局部调整，本发明的保护范围以权利要求书为准且不由上述具体实施所限，在其范围内的各个实现方案均受本发明之约束。