包含气象参数的图像融合采集系统的制作方法

本实用新型涉及图像领域，具体涉及一种包含气象参数的图像融合采集系统。

背景技术：

目前，传统图像的表达方式通常是原始的亮度信息，或是基于亮度计算的特征表达，例如遥感图像测量、光谱图像测量、红外图像测量等，以上图像测量严重依赖于图像的亮度信息，而图像的亮度信息又明显受到拍摄环境的干扰，上述特征都建立在可见光的基础之上，然而在不同环境下，同一场景的光线情况存在较大的差异性。

图像的表征通常采用一个通道(灰度图像)、三个通道(彩色图像)或者多个通道(光谱图像)来表示，计算机视觉应用中的特征表达也都是基于这些图像参数进行计算得到，然而同一场景在不同拍摄条件下的表现通常是不一样的；例如随着光线越来越弱，图像表现为由明到暗的转变；随着空气中湿度的增加，图像中地物的光谱曲线会产生明显的变化；图像拍摄时的温度不同，拍摄出的图像效果也会有差异；能见度直接影响了图像的清晰度。因此，目前仅依靠采集到各个通道亮度值的图像表示方法是不完整的，图像表征中缺少了拍摄图像时的环境信息，忽略了拍摄的气象条件，如大气温度、湿度、能见度、光照等，这将造成图像信息的缺失。

技术实现要素：

本实用新型的目的是解决现有图像测量依赖于图像亮度信息，而图像亮度信息受到拍摄环境干扰的问题，提供一种包含气象参数的图像融合采集系统，能够实现对包含多个气象参数的图像进行存储，并且进一步提高拍摄图像的准确性。

本实用新型的技术方案是：

一种包含气象参数的图像融合采集系统，包括融合采集单元和服务器单元；所述服务器单元包括第一控制器、第一无线通信装置和至少一个数据库，所述第一无线通信装置、数据库分别与第一控制器连接；所述融合采集单元包括第二控制器、分别与第二控制器连接的第二无线通信装置、存储装置、相机、定位装置、定时装置和多个气象传感器；所述第二无线通信装置与第一无线通信装置通讯；所述数据库存储有特定格式且包含气象信息的图像；第二控制器根据定位装置获取的位置标识和定时装置生成的时间标识，对图像数据和气象数据关联，并且以特定格式发送至服务器单元，存储于服务器单元的数据库中；所述特定格式包括文件头和文件体，文件头包括文件注册码和文件图像参数，文件图像参数包括图像格式、图像大小、图像通道、预留信息位、时间标识位、位置标识；文件体包括气象数据和图像数据。

进一步地，所述相机为用于捕获图像的摄像头、照相机或云台相机。

进一步地，所述气象传感器包括能见度仪器、光照度传感器、用于探测PM2.5的传感器和/或者自动气象站。

进一步地，所述定位装置包括北斗卫星定位或GPS定位系统。

进一步地，所述第二无线通信装置与第一无线通信装置为有线连接、WiFi网络连接或蜂窝连接。

同时本实用新型还提供一种基于上述系统的包含气象参数的图像存储方法，包括以下步骤：

1)数据采集；

对同一环境场景的图像和气象参数进行采集，并且根据气象采集点处的位置标识和时间标识将数据存储于存储装置中；

2)气象数据处理及关联；

第二控制器根据定位装置获取的位置标识和定时装置生成的时间标识，对图像数据和气象数据关联，并生成包含气象参数的图像，生成的图像以所述特定格式发送至服务器单元，存储于服务器单元的数据库中；所述特定格式包括文件头和文件体，文件头包括文件注册码和文件图像参数，文件图像参数包括图像格式、图像大小、图像通道、预留信息位、时间标识位、位置标识；文件体包括气象数据和图像数据；

3)图像处理及分类；

3.1)将气象数据标准化后利用全连接网络得到天气数据特征Fwea；

3.2)利用步骤3.1)得到的天气数据特征Fwea构造自适应卷积神经网络；

3.3)利用步骤3.2)构造的自适应卷积神经网络提取遥感图像特征Frgb，并利用SoftMax分类器对其进行分类；

3.4)训练和测试自适应卷积神经网络，并利用训练好的自适应卷积神经网络对遥感图像进行分类；

4)存储；

在数据库中累积特定格式生成的包含气象参数的图像。

进一步地，步骤3.1)具体为设初始天气特征向量为全连接网络有L层，从l层到l+1层的过程如下式：

其中，为第l+1层的权重，取随机初始化值；为第l+1层的基向量，取随机初始化值；为第l层的输出；为第l+1层的输出；sigmoid为激活函数；

重复式(1)，得到第L+1层的输出记此输出为最终输出天气数据特征Fwea。

进一步地，步骤3.2)具体为设原始卷积神经网络第l层的卷积核参数为通过步骤1)得到的天气数据特征Fwea加权卷积核参数得到新的卷积核参数过程如下：

其中，Wtransfer是变换矩阵，是变形函数，代表元素乘操作，公式(2)得到的即为原始卷积核参数的自适应参数。

进一步地，步骤3.3)具体为自适应卷积神经网络为多层网络结构，每一层由卷积、激活、池化三个操作组成，从第l层到第l+1层的计算由下式得到：

其中，公式(3)表示卷积操作，公式(4)表示激活操作，公式(5)表示池化操作；在公式(3)中，为第l+1层中卷积操作输出，表示第l+1层中第k个filter，表示第l+1层中第k个filter的偏重，表示第l层的输出；在公式(4)中，代表第l+1层中激活操作输出，max指取最大值操作；在公式(5)中，Z^l+1代表第l+1层的整体输出，pooling指池化操作；

卷积神经网络的第一层输入为RGB图像Irgb，因此Z¹＝Irgb，自适应层l的卷积核参数为步骤2)中得到的经过逐层的前向传播，得到最后一层网络的输出Z^L+1，记此输出为最终遥感图像特征Frgb，再利用SoftMax分类器对此特征进行分类。

进一步地，步骤3.4)具体为：

4a)训练：将步骤1)中的全连接网络和步骤2)中的自适应卷积神经网络参数在采集的数据集上进行训练，训练方法为误差反向传播算法，利用的数据集为训练集；

4b)测试：将测试集中的图片和对应的天气数据输入训练得到的整体网络，根据预类别与实际类别的差异计算整体网络的分类精度，记分类正确的图像个数为R，分类准确率为accuracy，其中R总为测试集总的样本个数：

accuracy＝R/R总×100％(6)

4c)分类：将一张任意的遥感图像和与其对应的天气数据输入网络中，即可输出该图像对应的遥感场景类别。

本实用新型的优点为：

1.本实用新型提出具有时间标识和定位标识的气象参数融合图像方法和系统，能够更加全面并且准确的呈现场景的实际情况，并且可以让用户根据拍摄的时间、位置以及气象参数对图像进一步处理。

2.本实用新型系统和方法能够在采集场景灰度信息的同时，获得同一场景的温度、湿度、亮度，压强等全方位气象信息的系统，避免了拍摄图像数据会受到这些气象信息的影响，所拍摄图像是一种完整的场景表达方式。

3.本实用新型图像格式为自定义的ZCP格式，包含时间标识、位置标识、图像数据、气象参数数据等，实现车载的气象图像融合采集单元，方便用户快速便捷的获取全面的场景信息。

4.本实用新型构造出根据天气特征自适应进行参数调节的卷积神经网络，同时利用天气特征和图像特征，克服传统方法受限于光照等环境影响的弊端，使得对场景的表达更加细化，使得学习到的特征更具有泛化性，从而提高了场景分类的精度。

5.本实用新型除采集到的场景图像的亮度值，还同时考虑到拍摄图像时的环境信息，通过此种方式能够有效避免场景感知和理解的歧义性问题。

6.本实用新型突破了现有方法中图像信息表达方式的局限，通过多特征融合，得到了图像场景的正确表达方式，克服了遥感图像地物复杂、类间相似性大的难点，可用于地理国情勘察、军事侦察和环境监测等方面。

附图说明

图1为本实用新型系统结构图；

图2为本实用新型生成包含气象参数的图像方法流程图；

图3为本实用新型包含气象参数图像的存储格式ZCP结构图；

图4为本实用新型数据关联方法流程框架图；

图5为本实用新型利用全连接神经网络提取天气特征的示意图；

图6为本实用新型利用天气特征构造自适应的卷积神经网络的示意图；

图7为本实用新型利用自适应卷积神经网络提取图像特征的示意图。

具体实施方式

下面结合说明书附图对本实用新型的技术方案进行清楚、完整地描述。

本实用新型提供一种包含气象参数的图像融合采集系统及图像存储方法，同时记录图像信息和获取图像同一时刻、同一场景的气象信息，如温度、湿度、气压、降雨、风速、风向、能见度、光照度等，以及拍摄场景的灰度/光谱信息。由于图像数据会受到这些气象信息的影响，因此包含环境气象信息的图像才是一种完整的图像表达方式。本实用新型将具有跨学科、高分辨率、快速、无损等特点应用于计算机视觉任务的研究，改变人们对图像的传统认识，将完善图像的表达方式，本实用新型一方面可服务于光谱图像系统的设计，另一方面该设备也可应用精细农业、智能交通等领域，促进计算机视觉技术的发展，本实用新型可以带动光学成像系统、计算机视觉、智能驾驶、机器人等学科的发展，具有重大的学术和经济双重价值。

本实用新型提供一种包含气象参数的图像融合采集系统，该系统可配置为用于任何环境的监控系统，例如道路交通、施工场地、森林公园等户外远程监测系统中，系统将户外场景的气象信息和图像信息进行监测，在服务器单元中对采集数据进行处理，提高监测图像的精确度和完整性。

如图1所示，包含气象参数的图像融合采集系统包括服务器单元和融合采集单元，其中服务器单元包括第一控制器、第一无线通信装置和多个数据库；第一无线通信装置和数据库分别与第一控制器连接，数据库存储包含气象信息特定格式的图像；融合采集单元包括第二控制器、分别与第二控制器连接的第二无线通信装置、存储装置、相机、多个气象传感器、定时装置和定时装置，第二无线通信装置与第一无线通信装置通讯。融合采集单元用于捕获环境场景的图像数据并且获取环境气象数据，根据获取的位置标识和生成的时间标识，对图像数据和气象数据进行关联，并以特定格式发送至服务器单元。融合采集单元可根据定位信息、时间信息对环境气象数据和图像数据进行分类，具体而言，将预定距离范围内且预定时段内的气象数据与图像数据进行关联，并且将关联数据按照特定格式生成包含气象参数的图像格式，并经第二无线通信装置发送至第一无线通信装置，第一控制器根据地理位置或时间关系将接收到的图像存储在相应数据库中。

相机为用于捕获特定范围内图像的摄像头、照相机或云台相机，可连续拍摄图像或以间隔特定时段拍摄图像；气象传感器为探测能见度、光照度、风速、风向、PM2.5、温度、湿度、大气压、紫外线或降雨量的传感器，具体可为能见度仪器、光照度传感器、用于探测PM2.5的传感器或自动气象站；定位装置可具有北斗卫星定位或GPS定位系统功能；第二无线通信装置与第一无线通信装置的连接为有线连接、WiFi网络连接或蜂窝连接。融合采集单元中各个组件之间通过总线或串行通信如RS232、RS485接口进行数据传输。

第二控制器可以解析和处理自动气象站或其他气象采集系统发送的气象格式数据，同时对传感器状态、相机状态、第二无线通信装置、定位装置和定时装置的工作模式进行控制；第二控制器将气象传感器采集的气象参数转换成一组特定格式的气象数据，并且将相机捕获的图像信息处理成需要的格式，例如jpg、bmp等格式，以及将定时装置提供的时间信息转换成时间标识，将定位装置提供的定位信息转换成位置标识，然后根据定时标识和位置标识将气象数据和图像数据转换成特定格式。

第二控制器的处理功能也可在服务器单元上完成，服务器单元可配置为以特定周期从气象采集装置采集气象数据和从智能终端采集定位和图像数据。在服务器单元中，通过累积每个气象采集装置监测范围内的智能终端的图像并且进行关联并存储在数据库中。

如图2所示的一种包含气象参数的图像存储方法，包括以下步骤：

1)数据采集；

对同一环境场景的图像和气象参数进行采集，并且根据气象采集点处的位置标识和时间标识将数据存储于存储装置中；

2)气象数据处理及关联；

第二控制器根据定位装置获取的位置标识和定时装置生成的时间标识，对图像数据和气象数据关联，并生成包含气象参数的图像，生成的图像以所述特定格式发送至服务器单元，存储于服务器单元的数据库中；所述特定格式包括文件头和文件体，文件头包括文件注册码和文件图像参数，文件图像参数包括图像格式、图像大小、图像通道、预留信息位、时间标识位、位置标识；文件体包括气象数据和图像数据；

3)图像处理及分类；

3.1)将气象数据标准化后利用全连接网络得到天气数据特征Fwea；

3.2)利用步骤3.1)得到的天气数据特征Fwea构造自适应卷积神经网络；

3.3)利用步骤3.2)构造的自适应卷积神经网络提取遥感图像特征Frgb，并利用SoftMax分类器对其进行分类；

3.4)训练和测试自适应卷积神经网络，并利用训练好的自适应卷积神经网络对遥感图像进行分类；

4)存储；

在数据库中累积特定格式生成的包含气象参数的图像。

本实用新型数据关联实现的具体步骤如下：

步骤3.1利用全连接网络提取天气数据特征；

如图5所示，本实用新型所采集的天气状况共有34种，如下表：

因此，初始天气特征是一个34维的向量，向量的每个元素为1或0，代表有没有这种天气；因为各种天气之间存在着很强的关联性，因此本实用新型中将初始的天气特征输入一个全连接网络得到最终的天气特征，设初始的天气特征向量为(R代表有理数，是一个34维的有理数向量)全连接网络有L层，则从l层到l+1层的过程如下式所示：

其中，为第l+1层的权重，为随机初始化值；为第l+1层的基向量，为随机初始化值；为第l层的输出；为第l+1层的输出；sigmoid指激活函数；

重复上述过程L次，得到第L+1层的输出记此输出为网络最终的输出Fwea，参数和为随机初始化值；

步骤3.2，利用步骤3.1产生的天气数据特征构造自适应卷积神经网络；

如图6所示，卷积神经网络是一个多层网络结构，每一层由卷积、激活、池化三个操作组成，其中涉及到的参数有卷积核Wconv和偏重bconv，这些参数的初始值是随机生成的，设原始卷积神经网络第l层的卷积核参数为

则可以通过利用步骤1产生的天气特征Fwea来加权卷积核参数来得到新的卷积核参数过程如下：

其中，Wtransfer是个变换矩阵，因为这里Fwea的维数一般与的维数不同，而后续的元素乘操作需要两者的维数相同，所以这里引入变换矩阵和reshape函数，共同作用达到两者维数相同的目的；reshape是变形函数，变换矩阵和变形函数的作用是将天气特征向量Fwea变换为与的维数相符合的矩阵，代表元素乘操作，公式(2)得到的就是原始卷积核参数的自适应版本，相比原始的卷积核，新的卷积核可以有效结合天气信息，提取出图像中更有语义的特征；

步骤3.3，利用步骤3.2种构建的自适应的卷积神经网络提取遥感图像的深度特征；

如图7所示，自适应卷积神经网络是一个多层网络结构，每一层由卷积、激活、池化三个操作组成，从第l层到第l+1层的计算可由下式得到：

其中公式(3)表示卷积操作，公式(4)表示激活操作，公式(5)表示池化操作；在公式(3)中，为第l+1层中卷积操作输出，表示第l+1层中第k个filter，表示第l+1层中第k个filter的偏重，表示第l层的输出；在公式(4)中，代表第l+1层中激活操作输出，max指取最大值操作；在公式(5)中，Z^l+1代表第l+1层的整体输出，pooling指池化操作，因为最终得到的图像特征应该是一个特征向量，因此本实用新型中卷积神经网络最后一层的池化操作采取的是全局平均池化(global average pooling)。

此卷积神经网络的第一层输入为RGB图像Irgb，因此Z¹＝Irgb，自适应层l的卷积核参数为步骤2中得到的经过逐层的前向传播(共L层)，得到最后一层网络的输出Z^L+1，记这个输出为最终本实用新型遥感图像特征Frgb，再利用SoftMax分类器对此特征进行分类，从而达到对遥感图像进行的分类的目的。

步骤3.4，训练和测试自适应卷积神经网络，并利用训练好的网络对遥感图像进行分类；采集到的场景图像每一张都有对应的天气数据和场景类别标注，先将已采集到的数据分为两部分，分别为训练集和测试集；

(3.4a)训练：本网络总共包括两个子网络模块，分别为步骤1中的全连接网络模块，步骤2中的自适应卷积神经网络模块；两个模块的参数需要在本实用新型采集的数据集上进行训练，训练的方法采取的是误差反向传播算法，利用的数据集为训练集；

(3.4b)测试：将测试集中的图片和对应的天气数据输入训练得到的整体网络中，根据预类别与实际类别的差异计算出整体网络的分类精度，记分类正确的图像个数为R，分类准确率则为(其中R总为测试集总的样本个数)，accuracy表示分类准确率：

accuracy＝R/R总×100％(6)

(3.4c)分类：将一张任意的遥感图像和与其对应的天气数据输入网络中，即可输出该图像对应的遥感场景类别。

如图3所示，本实用新型包含气象参数图像的存储ZCP格式结构图，该ZCP存储文件格式包括头文件信息、存储在该图像文件格式中相机拍摄的图像数据，以及记录上述拍摄图像期间环境气象参数的气象数据以及拍摄位置信息和时间信息；具体而言，特定格式包括文件头和文件体，文件头为100位(byte)，分为文件注册码(0-19位)、文件中图像的参数，包括图像格式、图像大小、图像通道(20-31位)、预留信息位(32-51位)、时间标识位(52-59位)、位置标识(60-67)，以及文件体分成气象数据和图像数据，气象数据包括能见度、温度、湿度、风速、风向、光照度、大气压等(68-99位)，图像数据以二进制格式存储(100至文件尾)。

本实用新型程序可以使用任何类型的非暂时性计算机可读介质来存储和提供给计算机，且上述程序可以存储在以下包括电子信号、光信号、无线电信号和计算机可读存储介质中的一种的载体中。非暂时性计算机可读介质包括任何类型的有形存储介质。非暂时性计算机可读介质包括磁存储介质(例如软盘、磁带、硬盘驱动器等)、光磁存储介质(例如，磁光盘)、光盘只读存储器(CD-ROM)、CD-R、CD-R/W以及半导体存储器(例如掩模只读存储器、可编程只读存储器(PROM)、可擦除可编程只读存储器(EPROM)、闪存只读存储器、随机存取存储器(RAM)等)，程序可以使用任何类型的暂时性计算机可读介质来提供给计算机，暂时性计算机可读介质包括电信号、光信号和电磁波，暂时性计算机可读介质可以经由有线通信线路(例如，电线和光纤)或无线通信线路将程序提供给计算机。

在气象数据库中累积场景经计算的气象参数，并将气象参数与拍摄的图像进行关联，然后将图像和气象参数以及时间标识、位置标识一起以特定格式结合并且存储，以便随后的查看或处理。该系统是包括气象采集装置，其包括处理器、具有指令存储的控制器，当该指令被控制器执行时，对多个传感器数据进行实时采集，使得多个气象参数可以被处理成带时间标识的气象数据组；控制器对所采集到信息处理为特定格式的数据；通信装置被配置成近场通信NFC、蓝牙、射频识别RFID和WiFi连接中的任意一种方式，与服务器单元进行通信以传送特定数格式数据和指令。

本实用新型融合采集系统应用到车载和智能终端的一个实施方式，车载采集装置，可以随时监测能见度、温度、湿度和风速和风向等，并且通过智能终端将用户拍摄的图像与气象参数结合，使用户更全面掌握拍摄场景的信息以及进一步对图像进行处理。