本发明涉及物联网和图像处理领域，具体涉及一种适用于物联网的图像采集系统。
背景技术：
：：基于物联网的传感技术在智能化的生产和日常生活中的应用越来越广泛，图像传感技术作为其中的一个重要分支，有着重要的研究价值和提升空间。现有的物联网系统对物联网节点价格比较敏感，当传感器的数目达到成百上千的时候，控制物联网节点的成本显得尤为重要，并且大部分物联网图像传感器的分辨率不是很高，对物联网图像的处理不够高效灵活高效，会直接影响用户体验。技术实现要素：为了解决上述的技术问题，本发明的目的在于提出一种适用于物联网的图像采集系统。为了达到上述目的，本发明提供了一种技术方案：一种适用于物联网的图像采集系统，它包括多个无线图像采集节点以及依次相连接的arm无线控制单元、多模无线基带处理单元、网络服务器、fpga图像处理单元(fpga：field－programmablegatearray，现场可编程门阵列)、nas服务器(nas：networkattachedstorage，网络附属存储)、客户端，多个无线图像采集节点与arm无线控制单元分别相连接，无线图像采集节点包括放置于所需采集图像区域并在接收到arm无线控制单元所发送的控制命令而进行拍摄的摄像头、将所拍摄的图像回传至多模无线基带处理单元的无线图传模块，多模无线基带处理单元将bayer域图像传送至网络服务器，fpga图像处理单元从网络服务器获取bayer域图像并进行处理，fpga图像处理单元包括将bayer域图像处理至rgb域的图像信号处理模块(isp，imagesignalprocessor)和进行超分辨率重构的单幅图像超分辨率重构模块(sisr，singleimagesuperresolution)，fpga图像处理单元将处理后的图像输出并存储在nas服务器上，客户端通过访问nas服务器对图像进行查看。进一步地，摄像头包括3a模块。进一步地，多模无线基带处理单元通过ltecat0或者wifi协议将bayer域图像传送到网络服务器，多模无线基带处理单元根据需要在ltecat0和wifi之间进行实时选择切换。进一步地，图像信号处理模块包括依次相连接的用于对图像的坏点进行修正的原始数据校正模块(rawdatacorrection)、用于对图像的白平衡进行修正的白平衡修正模块(whitebalance)、用于修正镜头畸变的镜头阴影修正模块(lensshading)、用于降低图像空间和时间噪声的噪声降低模块(noisereduciton)、用于提高图像的动态范围的动态范围校正模块(dynamicrangecorrection)、用于将bayer域图像转至rgb域的去马赛克模块(demosaic)、用于修正图像的颜色的3×3颜色矩阵模块(3x3colormatrix)、用于提高图像暗区的亮度的亮度校正模块(gammalut)、提高图像锐度的锐化模块(shapening)。进一步地，单幅图像超分辨率重构模块包括卷积神经网络(cnn，convolutionneuralnetworks)。更进一步地，单幅图像超分辨率重构模块还包括用于将原始图像放大的双三次插值模块(bicubicinterpolation)、与双三次插值模块和卷积神经网络分别相连接并用于将放大的图像由rgb域转到ycbcr域且将y通道输入到卷积神经网络中进行处理的第一转化模块、与第一转化模块和卷积神经网络分别相连接并用于将卷积神经网络处理后输出的y通道和双三次插值模块得到的cb、cr通道转到rgb域的第二转化模块，卷积神经网络将第一转化模块输出的y通道处理所得结果和输入图像叠加得到高分辨率图像的y通道并输出。更进一步地，卷积神经网络的训练方法包括以下步骤：a.将高分辨率的图像进行降采样和插值处理，得到低分辨率的图像；b.将低分辨率的图像作为训练样本，将高分辨率图像和低分辨率图像的差值作为标签进行训练；c.训练的数据来自于bsd500数据集中的200张图片，将图片剪裁(crop)成33*33大小的补片(patch)，进行训练；d.训练方法采用小批量梯度下降法(mini-batchgradientdescent)，动量(momentum)设为0.9，权重衰减(weightdecay)设为0.0001；e.卷积神经网络的网络参数初始化方式采用高斯分布(gaussiandistribution)：均值设为0，标准差设为其中n＝k2c，k为滤波器大小，c为输入通道数；f.训练中使用了调整梯度剪裁(adjustablegradientclipping)将梯度限制在其中θ是预设值，γ是学习率；对卷积神经网络框架(caffe，convolutionalarchitectureforfastfeatureembedding)中的sgd_solver.cpp进行修改；g.训练过程中参数设置为lr_policy:multistep,gamma:0.1，stepvalue:30000,stepvalue:60000,stepvalue:90000,max_iter:240000；h.训练的过程中加入了剪枝(pruning)，剪枝方法包括：对每一个卷积层的权值分别求标准差，每层的标准差乘以一个压缩系数，得到一个阈值，将该层绝对值小于该阈值的权值置为0，并加上mask，在bp过程中不再更新值为0的权值；对卷积神经网络框架中的solver.cpp和solver.hpp进行修改；测试数据集来自b100中的100张图片。进一步地，客户端包括手机客户端和/或电脑客户端。通过采用上述技术方案，本发明所提出的适用于物联网的图像采集系统，采用精简化的无线图像采集节点，传感器(sensor)只含有简单的3a模块和图传模块，不包含完整的isp处理模块，只保留核心的图像采集和图传功能，极大的降低了无线采集节点的成本，适用于需要大量布置图像采集节点的应用场景；多模无线基带处理单元保证了通信协议的灵活切换；fpga图像处理单元可以保证在有新的算法需要实施的时候，可以灵活进行更新；在fpga图像处理单元中加入了单幅图像超分辨率重构模块，有效提高图像分辨率；nas存储器保证了所采集的图像信息的安全存储以及灵活访问。上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，并可依照说明书的内容予以实施，以下以本发明的较佳实施例并配合附图详细说明如后。附图说明图1为根据本发明适用于物联网的图像采集系统的结构示意框图。图2为根据本发明适用于物联网的图像采集系统中图像信号处理模块(isp)的结构示意框图。图3为根据本发明适用于物联网的图像采集系统中单幅图像超分辨率重构(sisr)的算法示意图。图4为根据本发明适用于物联网的图像采集系统中单幅图像超分辨率重构(sisr)经过剪枝(pruning)之后的权值压缩情况；图5为根据本发明适用于物联网的图像采集系统中单幅图像超分辨率重构(sisr)在剪枝(pruning)前后超分变率重构性能性能对比；图6为根据本发明适用于物联网的图像采集系统中单幅图像超分辨率重构(sisr)的硬件结构示意框图。图7至图11为根据本发明实施的sisr中的子模块的硬件框图。。具体实施方式下面结合附图和实施例，对本发明的具体实施方式作进一步详细描述。以下实施例用于说明本发明，但不用来限制本发明的范围。参照附图1至附图11，本实施例中的一种适用于物联网的图像采集系统，它包括多个无线图像采集节点以及依次相连接的arm无线控制单元、多模无线基带处理单元、网络服务器、fpga图像处理单元(fpga：field－programmablegatearray，现场可编程门阵列)、nas服务器(nas：networkattachedstorage，网络附属存储)、客户端，多个无线图像采集节点与arm无线控制单元分别相连接，无线图像采集节点包括放置于所需采集图像区域并在接收到arm无线控制单元所发送的控制命令而进行拍摄的摄像头、将所拍摄的图像回传至多模无线基带处理单元的无线图传模块，多模无线基带处理单元将bayer域图像传送至网络服务器，fpga图像处理单元从网络服务器获取bayer域图像并进行处理，fpga图像处理单元包括将bayer域图像处理至rgb域的图像信号处理模块(isp，imagesignalprocessor)和进行超分辨率重构的单幅图像超分辨率重构模块(sisr，singleimagesuperresolution)，fpga图像处理单元将处理后的图像输出并存储在nas服务器上，客户端通过访问nas服务器对图像进行查看。在一种更为优选的实施方案中，摄像头包括3a模块。arm无线控制单元发送指令控制各个无线图像采集节点进行拍照，无线采集节点收到指令后，3a模块会调整iso、曝光时间、对焦位置等参数然后进行拍照。在一种更为优选的实施方案中，多模无线基带处理单元通过ltecat0或者wifi协议将bayer域图像传送到网络服务器，多模无线基带处理单元根据需要在ltecat0和wifi之间进行实时选择切换。由于物联网领域的图像采集有别于面向消费者的手机和相机，多说情况下对图像质量不会有太高的要求，所以使用的精简的图像信号处理模块(isp)，如附图2所示，它包括依次相连接的用于对图像的坏点进行修正的原始数据校正模块(rawdatacorrection)、用于对图像的白平衡进行修正的白平衡修正模块(whitebalance)、用于修正镜头畸变的镜头阴影修正模块(lensshading)、用于降低图像空间和时间噪声的噪声降低模块(noisereduciton)、用于提高图像的动态范围的动态范围校正模块(dynamicrangecorrection)、用于将bayer域图像转至rgb域的去马赛克模块(demosaic)、用于修正图像的颜色的3×3颜色矩阵模块(3x3colormatrix)、用于提高图像暗区的亮度的亮度校正模块(gammalut)、提高图像锐度的锐化模块(shapening)。单幅图像超分辨率重构模块包括卷积神经网络(cnn，convolutionneuralnetworks)，其主要作用是对图像进行超分辨率重构。卷积神经网络的训练方法包括以下步骤：a.将高分辨率的图像进行降采样和插值处理，得到低分辨率的图像；b.将低分辨率的图像作为训练样本，将高分辨率图像和低分辨率图像的差值作为标签进行训练；c.训练的数据来自于bsd500数据集中的200张图片，将图片剪裁(crop)成33*33大小的补片(patch)，进行训练；d.训练方法采用小批量梯度下降法(mini-batchgradientdescent)，动量(momentum)设为0.9，权重衰减(weightdecay)设为0.0001；e.卷积神经网络的网络参数初始化方式采用高斯分布(gaussiandistribution)：均值设为0，标准差设为其中n＝k2c，k为滤波器大小，c为输入通道数；f.为了加快训练的速度，训练中使用了调整梯度剪裁(adjustablegradientclipping)将梯度限制在其中θ是预设值(本实施例中将其设为0.001)，γ是学习率(本实施例中将其设置为0.1)；由于使用的训练框架是caffe(convolutionalarchitectureforfastfeatureembedding，卷积神经网络框架)，所以需要对caffe的sgd_solver.cpp进行修改；g.训练过程中参数设置为lr_policy:multistep,gamma:0.1，stepvalue:30000,stepvalue:60000,stepvalue:90000,max_iter:240000；h.由于训练过程中发现cnn的权重值中大部分接近0，所以在训练的过程中又加入了剪枝(pruning)，剪枝的具体方法包括：对每一个卷积层的权值分别求标准差，每层的标准差乘以一个压缩系数，得到一个阈值，将该层绝对值小于该阈值的权值置为0，并加上mask，在bp过程中不再更新值为0的权值。需要对caffe中的solver.cpp和solver.hpp进行修改。pruning前后cnn网络权重压缩情况如附图4所示。pruning前后超分重构性能性能对比如附图5所示，测试数据集来自b100中的100张图片。单幅图像超分辨率重构模块中的cnn训练得到的权值固化在硬件结构中。如附图6所示，单幅图像超分辨率重构模块的硬件结构包括上述的卷积神经网络、用于将原始图像放大的双三次插值模块(bicubicinterpolation)、与双三次插值模块和卷积神经网络分别相连接并用于将放大的图像由rgb域转到ycbcr域且将y通道输入到卷积神经网络中进行处理的第一转化模块、与第一转化模块和卷积神经网络分别相连接并用于将卷积神经网络处理后输出的y通道和双三次插值模块得到的cb、cr通道转到rgb域的第二转化模块。单幅图像超分辨率重构(sisr)的算法如附图3所示，原始图像经过双三次插值模块和第一转化模块的处理转化，低分辨率图像输入至卷积神经网络，输出高分辨率图像。图3中标号1至标号4分别表示卷积层1至卷积层4，其中卷积层1的参数设置：卷积核大小(kernelsize)：11×11，特征图(featuremap)：64；卷积核步长(stride)：1，扩充边缘(pad)：5；卷积层2的参数设置：卷积核大小(kernelsize)：3×3，特征图(featuremap)：32；卷积核步长(stride)：1，扩充边缘(pad)：1；卷积层3的参数设置：卷积核大小(kernelsize)：5×5，特征图(featuremap)：32；卷积核步长(stride)：1，扩充边缘(pad)：2；卷积层4的参数设置：卷积核大小(kernelsize)：11×11，输出(output)：1；卷积核步长(stride)：1，扩充边缘(pad)：5。单幅图像超分辨率重构模块(sisr)的硬件设计中选用了长宽各扩大两倍的超分重构场景。硬件设计如附图6所示，其中，卷积神经网络包括卷积层1、卷积层2、卷积层3、卷积层4，卷积层1包括多个pe1模块、多个修正线性单元(relu)、多个ram，卷积层2包括多个pe2-group模块、多个修正线性单元(relu)、多个ram，卷积层3包括多个pe3-group模块、多个修正线性单元(relu)、多个ram，卷积层4包括pe4-group模块、修正线性单元(relu)，各模块的数量以及连接关系如附图6中所示。附图6中的子模块如附图7-11所示。pe2-group模块包括多个pe-5模块、add模块，各模块的数量以及连接关系如附图7中所示；pe3-group模块包括多个pe-5模块、add模块，各模块的数量以及连接关系如附图8中所示；pe4-group模块包括多个pe-11模块、add模块，各模块的数量以及连接关系如附图9中所示；pe-5模块包括多个multi模块、add模块，各模块的数量以及连接关系如附图10中所示；pe-11模块包括多个pe-5模块、add模块，各模块的数量以及连接关系如附图11中所示。本实施例中的nas服务器使用的是synology5bay的ds1515+。fpga处理出的图像通过文件传输协议(ftp，filetransferprotocol)上传至nas服务器，以供客户端查看。客户端包括手机客户端和/或电脑客户端。以上所述仅是本发明的优选实施方式，并不用于限制本发明，应当指出，对于本
技术领域：
：的普通技术人员来说，在不脱离本发明技术原理的前提下，还可以做出若干改进和变型，这些改进和变型也应视为本发明的保护范围。当前第1页12当前第1页12