基于遥感数据深度学习的近海污染物识别与跟踪方法_2

文档序号:9865606阅读:来源:国知局
像的深度学习模型,可利用空间关系 减少需要学习的参数数目W提高一般前向BP算法的训练性能。由于CNN的特征检测层通过 训练数据进行学习,所W在使用C順时,避免了显式的特征抽取,而隐式地从训练数据中进 行学习;并且卷积神经网络W其局部权值共享的特殊结构在图像处理方面有着独特的优越 性,其布局更接近于实际的生物神经网络,权值共享降低了网络的复杂性,特别是多维输入 向量的图像可W直接输入网络运一特点避免了特征提取和分类过程中数据重建的复杂度。
[0031] 最后,由于深度卷积神经网络模型的卷积层计算量大,全连接层参数多,可将一个 完整深度卷积网络的计算拆分到多个GPU上进行合理调度来并行地执行,通过模型并行和 数据并行运两个数据/计算组织层次上来加速训练,同时能快速针对特定污染物目标的识 另IJ、检测、跟踪和行为分析。
[0032] 本发明所采用的关键技术如下:
[0033] -、海量遥感影像数据分布式处理关键技术
[0034] 构建一个TB级甚至PB级的海量遥感影像数据分布式存储与处理系统,需要有自适 应的数据划分方式、良好的负载均衡策略来满足数据、用户规模的不断增长需求。同时,在 保证系统可靠性的同时,需要权衡数据一致性与数据可用性,来满足互联网应用低延时、高 吞吐率的特点。因此本发明主要从数据划分、数据一致性与可用性、负载均衡、容错机制等 四个主要方面来构建一个高可靠、可扩展的海量数据存储系统。
[0035] 在分布式环境下,数据存储需要跨越多个存储单元。如何进行数据的划分是影响 扩展性,负载平衡,W及系统性能的关键问题。为了提供低延时的系统响应,抑制系统性能 的瓶颈,系统必须在用户请求到来时将请求进行合理分发。在数据划分方面,采用一致性哈 希的方式进行划分。主要通过Consistent化shing算法进行。Κ巧经过hash函数哈希得到 值,按照值域首尾相接形成一个ring。运个化sh值形成的ring被划分成不同的范围,分配给 集群系统中的不同节点进行管理。当对数据进行请求(读取/插入)时,通过计算该key/ value中k巧的hash值,定位到相应的节点进行服务请求。整个过程如附图2所示。
[0036] 采用一致性哈希进行数据划分的优势还在于,一致性哈希最大限度地抑制了节点 变化(添加/移除)时数据需要进行迁移重新分布的数量,运有利于系统的扩展性。如附图3 所示,当前系统访问压力过大时,通过增加新的节点可W缓解压力;而此时,新节点的加入 仅仅影响它的邻居节点,避免了大量数据进行迁移的开销。
[0037] 数据可用性是分布式环境下数据存储的基石;而数据一致性模型则保证数据操作 的正确性。在分布式环境下,将采用副本冗余、日志等方式来解决数据的可用性问题;但是 副本冗余存储会带来了数据一致性的问题。在采用副本冗余方式的分布式系统中,数据一 致性与系统性能是一对不可调和的矛盾:需要牺牲系统的性能来保证数据的严格一致性, 或者牺牲一致性来保证系统的性能(响应时间等)。在视频数据的挖掘应用中,可W采用第 二种手段来调和运种矛盾,即允许系统通过弱化一致性模型来保证高效的系统响应,同时 通过异步复制的手段来保证数据的可用性。
[0038] 有效的数据划分方式为系统扩展性提供了一个基础,但是同时也给系统带来了负 载均衡的问题。负载均衡是分布式环境下进行高效数据管理的关键问题。它主要包括数据 的均衡和访问压力的均衡运两个方面。在访问压力均衡方面,采用虚拟节点技术,通过虚拟 化的手段将节点的服务能力单元化,将访问压力较大的虚拟节点映射到服务能力较强的物 理节点,W达到访问压力的均衡目的。访问压力的均衡伴同时伴随着数据的均衡。为了使数 据均衡过程中,数据迁移的开销尽可能小,可采用同样的虚拟化技术,量化节点的存储能 力,将虚拟后的存储节点相对均匀地分散到集群哈希环上,避免数据均衡过程中全环的数 据移动。在非集中式系统中,运些均衡操作可W由任一节点发起,通过gossip通讯机制与集 群中的其他节点协调完成。通过虚拟化节点或者表分裂等方式改变数据分布格局,均衡访 问负载的同时,将尽可能减少存储数据迁移量或者避免数据迁移。
[0039] 容错是分布式系统健壮性的标志。通过制定节点的失效侦测方法W及失效恢复方 法可保证系统的可用性、可靠性。在失效侦测方面,非集中式系统中,各节点之间定期进行 交互W 了解节点的活动状态,从而侦测失效的存在;而在系统侦测到失效节点的存在后,需 要一定的恢复策略来完成对失效节点的恢复,保证系统的可用性和可靠性。在分布式系统 中,节点的失效分为临时失效(如网络分区等)和永久失效(如节点岩机、磁盘损坏等)两种 情况。在副本冗余存储的分布式系统中,失效通常会造成了多副本之间的数据不一致,运时 候需要对失效节点的数据进行同步来完成失效的恢复。同时,永久失效通常会造成失效节 点内存中数据的丢失,日志重做通常是解决运类问题的一种办法。当然,具体的失效恢复策 略在不同的系统中又各有特色。在此,临时失效和永久失效被区别对待。在临时失效发生 时,将会把数据暂时放置在临时节点,待节点从临时失效中恢复过来后,数据将归还给目标 节点。对于永久失效带来的数据不一致,通过对失效节点的数据进行同步来完成失效恢复。
[0040] 二、面向遥感影像的深度学习模型-卷积神经网络CNN
[0041] 卷积神经网络是人工神经网络的一种,它的权值共享网络结构使之更类似于生物 神经网络,降低了网络模型的复杂度,减少了权值的数量。其优点在网络的输入是多维图像 时表现的更为明显,使图像可w直接作为网络的输入,避免了传统识别算法中复杂的特征 提取和数据重建过程。卷积网络是为识别二维形状而特殊设计的一个多层感知器,运种网 络结构对平移、比例缩放、倾斜或者共他形式的变形具有高度不变性。
[0042] 其核屯、思想是将:局部感受野、权值共享(或者权值复制)W及时间或空间亚采样 运Ξ种结构思想结合起来获得了某种程度的位移、尺度、形变不变性。
[0043] 卷积神经网络是一个多层的神经网络,每层由多个二维平面组成,而每个平面由 多个独立神经元组成。
[0044] 如附图4所示,卷积神经网络训练过程:输入图像通过和Ξ个可训练的滤波器和可 加偏置进行卷积,滤波过程如,卷积后在C1层产生Ξ个特征映射图,然后特征映射图中每组 的四个像素再进行求和,加权值,加偏置,通过一个Sigmoid函数得到Ξ个S2层的特征映射 图。运些映射图再进过滤波得到C3层。运个层级结构再和S2-样产生S4。最终,运些像素值 被光栅化,并连接成一个向量输入到传统的神经网络,得到输出。
[0045] 通常,C层为特征提取层,每个神经元的输入与前一层的局部感受野相连,并提取 该局部的特征,一旦该局部特征被提取后,它与其他特征间的位置关系也随之确定下来;S 层是特征映射层,网络的每个计算层由多个特征映射组成,每个特征映射为一个平面,平面 上所有神经元的权值相等。特征映射结构采用影响函数核小的sigmoid函数作为卷积网络 的激活函数,使得特征映射具有位移不变性。
[0046] 此外,由于一个映射面上的神经元共享权值,因而减少了网络自由参数的个数,降 低了网络参数选择的复杂度。卷积神经网络中的每一个特征提取层(C-层)都紧跟着一个用 来求局部平均与二次提取的计算层(S-层),运种特有的两次特征提取结构使网络在识别时 对输入样本有较高的崎变容忍能力。
[0047] 假设如果当前有1000x1000像素的图像,有1百万个隐层神经元,那么全连接的话 (每个隐层神经元都连接图像的每一个像素点),就有1〇〇〇*1〇〇〇*1〇〇〇〇〇〇 = 1〇12个连接,也 就是1〇12个权值参数。然而图像的空间联系是局部的,每一个神经元都不需要对全局图像做 感受,每个神经元只感受局部的图像区域,然后在更高层,将运些感受不同局部的神经元综 合起来就可W
当前第2页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1