独立的直线连接关系即可作为模型的可并行部分。将模型的可并 行部分拆分到多个GPU上，同时利用多个GPU的计算能力各执行子模型的计算，如附图12所 示，可W大大加快模型的单次前向-后向训练时间。
[0078] Deep C順S网络的层次模型实际上是一张有向无环图（DAG图），分配到每个模型并 行Worker上的层集合，是有向无环图的拓扑排序子集，所有子集组成整个网络的1组模型。
[0079] 考虑极端情景：需要训练超大规模Deep CNNs模型，或者使用计算能力相对较强、 显存较小(一般在1GB~3GB)的桌面级G沁orce系列GPU，则利用模型本身的并行性运种基本 的模型划分方法将不再适用。需要将模型再做拆分W保证单个GPU都能存储下对应的子模 型。
[0080] 每个模型并行Worker上W-个模型并行执行引擎负责调度本Worker上子模型的 执行过程。执行引擎控制所有Worker上的子模型完成前向和后向计算，各自对子模型完成 参数更新后，到达主线程同步点，开始下一mini-batch训练。
[0081] 多GPU模型并行和数据并行的Deep CN化模型r邱licas及划分结构如附图13所示， 在使用4GPU的场景下，划分了2组Worker Group用于数据并行；每个Worker Group内划分2 个Worker用于模型并行。
[0082] 本发明的主要贡献在于：
[0083] 本发明满足相关行业"全面、准确、快速"监控海洋污染物的应用需求。
[0084] 为了实现"全面"分析运个目标，本发明提出了研发多源影像资源统一集成的技术 思路：即通过综合多种遥感卫星的影像的数据特征，对不同数据源发现的影像资源进行比 对、数据清洗、整合、标准化和集成，从而形成一个标准化、统一的、全局性的影像资源数据 仓库，为后续的深度学习、分析和挖掘提供全面统一的数据基础，从而能保证各种监控应用 达到"全面性"的要求。
[0085] 为了达到"快速"分析需求，本发明提出了分布式处理与并行计算的技术思路，采 用网络存储系统存储海量遥感数据，通过虚拟化技术全面整合存储容量，按需分配且能够 灵活调整大小。前端通过影像流协议直写网络存储系统。影像通过离散算法均衡切片，W集 群响应方式提供数据并发计算服务。底层采用网络RAID技术，多层次保护用户数据安全。全 系统集群工作模式，保证各设备间业务实时负载均衡，提高设备利用率，加快数据处理速 度，从而达到快速分析的目标。
[0086] 为了达到"准确"的分析要求，则要对海量影像内容进行深入挖掘和分析，因此本 发明将重点研发基于多GPU架构的并行深度学习模型，在深度学习的图像识别应用中，深度 卷积神经网络模型的卷积层计算量大，全连接层参数多。因此，提出划分计算资源方法，通 过模型并行和数据并行运两个数据/计算组织层次上来加速训练，同时能快速针对特定污 染物目标的识别、检测、跟踪和行为分析。
[0087] W上内容是结合具体的优选实施方式对本发明所作的进一步详细说明，不能认定 本发明的具体实施只局限于运些说明。对于本发明所属技术领域的普通技术人员来说，在 不脱离本发明构思的前提下，还可W做出若干简单推演或替换，都应当视为属于本发明的 保护化围。
【主权项】
1. 一种基于遥感数据深度学习的近海污染物识别与跟踪方法，以及基于近海污染物识 别与跟踪系统，所述系统分为用于应用层、内容分析与挖掘层、资源数据集成层、资源获取 层;其特征在于:所述方法包括： 首先，采用海量遥感影像数据分布式处理技术对多源遥感影像资源统一数据集成、分 布式处理，包括数据标准化处理、噪音数据过滤、归一化、数据一致性检查，形成污染物目标 数据库； 然后，通过卷积神经网络CNN建立卫星遥感图像的深度学习模型，利用空间关系减少需 要学习的参数数目以提高一般前向BP算法的训练性能;利用权值共享降低网络的复杂性； 最后，由于深度卷积神经网络模型的卷积层计算量大，全连接层参数多，将一个完整深 度卷积网络的计算拆分到多个GPU上进行合理调度来并行地执行，通过模型并行和数据并 行这两个数据/计算组织层次上来加速训练，快速针对特定污染物目标的识别、检测、跟踪 和行为分析。2. 根据权利要求1所述的近海污染物识别与跟踪方法，其特征在于:所述方法根据多种 遥感卫星的影像的数据特征，对不同数据源发现的影像资源进行比对、数据清洗、整合、标 准化和集成，从而形成一个标准化、统一的、全局性的影像资源数据仓库，为后续的深度学 习、分析和挖掘提供全面统一的数据基础。3. 根据权利要求1所述的近海污染物识别与跟踪方法，其特征在于:所述方法，采用网 络存储系统存储海量遥感数据，通过虚拟化技术全面整合存储容量，按需分配且能够灵活 调整大小;前端通过影像流协议直写网络存储系统;影像通过离散算法均衡切片，以集群响 应方式提供数据并发计算服务;底层采用网络RAID技术，多层次保护用户数据安全。4. 根据权利要求1所述的近海污染物识别与跟踪方法，其特征在于:所述方法采用全系 统集群工作模式，保证各设备间业务实时负载均衡，提高设备利用率，加快数据处理速度， 从而达到快速分析的目标。5. 根据权利要求1所述的近海污染物识别与跟踪方法，其特征在于:所述系统包括污染 物目标识别、决策支持子系统、报警子系统、污染物漂移预报子系统、各种污染品化学成份 及危害数据库、清污救助材料/设备性能及存货数据库、地理信息系统、污染应急反应能力 评估子系统、污染损害评估子系统;结合无线通讯系统技术实现地面应急反应中心与海巡 飞机和海上作业船舶之间的可视化信息通讯，依据海巡飞机的报告，快速生成救助、清除方 案，指挥清污船快速准确地进行多项海上清污技术的集成式清污作业。6. 根据权利要求1所述的近海污染物识别与跟踪方法，其特征在于:所述模型并行是将 一个完整Deep CNNs网络的计算拆分到多个GPU上来执行而采取的并行手段，结合并行资源 对模型各并行部分进行合理调度以达到模型并行加速效果。7. -种基于遥感数据深度学习的近海污染物识别与跟踪系统，所述系统分为用于应用 层、内容分析与挖掘层、资源数据集成层、资源获取层;其特征在于:所述系统包括： 多源资料数据处理装置:采用海量遥感影像数据分布式处理技术对多源遥感影像资源 统一数据集成、分布式处理，包括数据标准化处理、噪音数据过滤、归一化、数据一致性检 查，形成污染物目标数据库； 学习模型建立装置:通过卷积神经网络CNN建立卫星遥感图像的深度学习模型，利用空 间关系减少需要学习的参数数目以提高一般前向BP算法的训练性能;利用权值共享降低网 络的复杂性； 并行计算装置：由于深度卷积神经网络模型的卷积层计算量大，全连接层参数多，将一 个完整深度卷积网络的计算拆分到多个GPU上进行合理调度来并行地执行，通过模型并行 和数据并行这两个数据/计算组织层次上来加速训练，快速针对特定污染物目标的识别、检 测、跟踪和行为分析。
【专利摘要】本发明针对现有近海环境监管技术存在的“发现不全面”、“缺乏对遥感数据的内容挖掘”的问题，基于多年来在卫星应用领域的研发和产业应用基础，提出了一个全面、系统、深入的基于遥感数据深度学习的近海污染物目标识别与跟踪的解决方案，该方案应用卫星遥感图像的深度学习模型、海量遥感数据分布式存储与并行处理技术和基于GPU加速的深度卷积网络并行模型，满足相关行业“全面、准确、快速”监控海洋污染物的应用需求。
【IPC分类】G06K9/62, G06F17/30, G06N3/02, G06N3/08
【公开号】CN105630882
【申请号】CN201510955938
【发明人】王岢, 徐晓飞, 叶允明
【申请人】哈尔滨工业大学深圳研究生院
【公开日】2016年6月1日
【申请日】2015年12月18日