本发明涉及河道水质环境远程监控领域，特别涉及一种河道异物识别方法以及河道异物监控平台系统。
背景技术：
随着城市化的进一步推进，我国河道污染问题日趋严重。针对河道水质水文监测、河道异物识别与定位的需求日趋严重。传统的河道治理中，水质水文数据采集通常是依靠人工采集的方式，这种方式采集的水质水文数据存在不准确的缺陷，同时消耗大量的时间与人力成本；传统河道异物清理更是采用人工巡航的方式，其异物位置不明确，清理过程耗时长、工作量大、成效慢。
技术实现要素：
本发明的目的在于，解决现有的河道治理方法难以判断异物位置以及异物类别的技术问题。
为实现上述目的，本发明提供一种河道异物识别方法，包括以下步骤：节点设置步骤，在河道内均匀设置若干节点；节点数据采集步骤，接收一节点采集到的节点数据；视频数据采集步骤，采集视频数据；数据上传步骤，上传所述视频数据至一服务器；以及识别步骤，将所述视频数据录入一分类器，以识别所述异物的种类。
进一步地，所述识别步骤包括以下步骤：图片录入步骤，录入所述视频数据中的至少一张图片；特征提取步骤，提取所述图片的至少一特征图谱；候选区域生成步骤，将所述特征图谱送入各自的区域建议网络，形成候选区域；特征图谱处理步骤，归一化处理所述特征图谱；传输步骤，将归一化处理后的至少一特征图谱录入一分类器；以及异物识别步骤，根据所述特征图谱识别所述视频数据中的异物类别。
进一步地，在所述节点数据采集步骤中，向所述节点发送激活信号，激活所述节点；采集节点数据；将所述节点数据上传至所述无人机。
进一步地，所述节点数据包括所述河道内水质的温度、酸碱值、浊度、电导率中的至少一种。
进一步地，在所述数据上传步骤中，上传拍摄所述视频数据处的位置数据至所述服务器。
进一步地，所述河道异物识别方法还包括以下步骤：实时显示步骤，实时显示来自无人机的所述节点数据、所述视频数据、所述位置数据以及识别出的异物类别。
为实现上述目的，本发明还提供一种河道异物监控平台系统，包括：节点，用以采集河道水质的节点数据；无人机平台，用以接收并转发所述节点数据，且采集河道的视频数据；以及监控云平台，用以识别并实时显示所述节点数据以及所述视频数据。
进一步地，所述监控云平台包括：河道异物识别模块，用以识别所述无人机平台发出的视频数据；以及数据显示模块，用以实时显示数据。
进一步地，所述数据包括所述节点数据、所述视频数据以及所述无人机上传的视频拍摄处的位置数据。
进一步地，所述节点包括：处理器模块，用以解析及检测河道内水质的数据；lora无线模块，用以传输数据；数据采集模块，用以采集河道内水质的数据；以及太阳能供电模块，用以为所述节点供电。
本发明的技术效果在于，利用基于lora的物联网组网模式，以无人机为移动抄表网关，进行河道水质水文数据采集与传输。在服务器上构建监控云平台使得用户可以实时看到河道视频、河道检测数据、河道异物识别类别以及位置，并在后续结合历次的检测数据进行河道水质水文变化趋势预测，有利于河道异物的定位与清除、水质变化预测与预防，为河道治理提供数据基础，节省人力物力，提高效率。
附图说明
下面结合附图，通过对本申请的具体实施方式详细描述，将使本申请的技术方案及其它有益效果显而易见。
图1为本发明实施例所述河道异物识别方法的流程图；
图2为本发明实施例所述河道异物识别模块的示意图；
图3为本法实施例所述河道异物监控平台系统的示意图；
与4为本发明实施例所述节点的示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”、“顺时针”、“逆时针”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本申请和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本申请的限制。此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个所述特征。在本申请的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
在本申请的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接或可以相互通讯；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
在本申请中，除非另有明确的规定和限定，第一特征在第二特征之“上”或之“下”可以包括第一和第二特征直接接触，也可以包括第一和第二特征不是直接接触而是通过它们之间的另外的特征接触。而且，第一特征在第二特征“之上”、“上方”和“上面”包括第一特征在第二特征正上方和斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”包括第一特征在第二特征正下方和斜下方，或仅仅表示第一特征水平高度小于第二特征。
下文的公开提供了许多不同的实施方式或例子用来实现本申请的不同结构。为了简化本申请的公开，下文中对特定例子的部件和设置进行描述。当然，它们仅仅为示例，并且目的不在于限制本申请。此外，本申请可以在不同例子中重复参考数字和/或参考字母，这种重复是为了简化和清楚的目的，其本身不指示所讨论各种实施方式和/或设置之间的关系。此外，本申请提供了的各种特定的工艺和材料的例子，但是本领域普通技术人员可以意识到其他工艺的应用和/或其他材料的使用。
具体的，请参阅图1，本申请实施例提供一种河道异物识别方法，包括步骤s1～s6。
s1节点设置步骤，在河道内均匀设置若干节点，所述节点包括处理器模块、lora无线模块、数据采集模块、太阳能供电模块、调试模块以及警报模块等。所述节点平时设置为低耗能模式，一旦接收到来自网关的激活指令,激活所述节点，启动所述节点。
所述处理器模块为物联网节点的控制核心，主要用于采集模块数据解析、数据打包、节点状态监测等功能。所述数据采集模块通过adc采集河道内水质的温度、酸碱值以及浊度，通过rs485采集河道内水质的电导率以及溶解氧，形成节点数据。所述无线通讯模块在本实施例中，优选的，采用低功耗的lora模块进行数据传输。所述太阳能供电模块选用太阳能电池板和锂电池的方式为节点供电。所述警报模块以及所述调试模块用以在采集完节点数据后，对河道内水质的参数进行综合判断，判断河道内的水质是否为有异物垃圾。
s2节点数据采集步骤，主要为接收所述节点采集到的节点数据。具体地，无人机在河道上方飞行时，作为水质检测物联网的网关，向河道中的水质检测节点发送激活命令，激活所述节点。当所述节点启动后，所述节点通过所述数据采集模块开始持续采集河道内水质的节点数据，所述节点数据包括所述河道内水质的温度、酸碱值、浊度、电导率中的至少一种。通过所述lora无线模块将所述节点数据上传至所述无人机，所述无人机接收到所述节点发送出的节点数据。
s3视频数据采集步骤，所述无人机开启后，需要搭载吊舱，在河道上方采集视频数据，拍摄河道视频，为巡线飞行和后续的河道异物识别提供基本的视频数据。所述无人机搭载tx2处理器作为机载处理器，进行图像控制处理，通过对所述吊舱拍摄的视频进行初步处理，获得吊舱视野内河道轮廓信息，实现无人机河道巡线飞行等功能。所述无人机使用ros系统进行无人机应用开发，融合图像处理数据与gps定位数据，实现无人机的自主起飞巡检、抄表及着陆。
s4数据上传步骤，所述无人机搭载4g模块，上传所述无人机获得的节点数据、所述视频数据以及采集所述视频数据处的节点位置数据至所述服务器，便于所述服务器对所述节点数据以及所述视频数据进行进一步地检测以及识别处理。
s5识别步骤，识别所述异物的种类。具体地，对所述视频数据进行识别处理，采用的是一种多尺度图像金字塔融合算法，对于一张录入的图片，先建立一个粗略的图像金字塔，通过融合高层的语义信息和低层的位置信息来完成小目标检测。算法对faster-rcnn引入了多尺度检测，即不单单依靠最后一层的特征图谱(featuremap)进行检测，而是对网络中的多个尺度的特征图谱(featuremap)都进行生成候选区域的操作，如图2所示，具体包括图片录入步骤、特征提取步骤、候选区域生成步骤、特征图谱处理步骤、传输步骤以及异物识别步骤。
在所述图片录入步骤中，录入所述视频数据中至少一张图片。
在所述特征提取步骤中，所述图片经过一个卷积神经网络提取特征，不同层提取出所述图片的多个不同尺度的特征图谱。
在所述候选区域生成步骤中，将所述特征图谱送入各自的区域建议网络，形成候选区域(regionproposalnetwork，rpn)。在此过程中，不同尺度对应的rpn是有区别的，因为低层神经元的感受野小，对应的锚框(anchorbox)尺寸也要小，所以越低层的特征得到的候选区域越小，具体anchor设置将在实验环节详细说明.得到生成的候选区域后，求取featuremap映射，再通过关注区域池(roipooling)将所述特征图谱变成统一大小，即为归一化处理所述特征图谱。
在所述传输步骤中，将归一化处理后的特征图谱传输至分类器。这样就可以充分利用低层特征对小目标进行检测.这样的结构适用于不同的特征网络，本实施例分别对利用zf和vggl6这两种特征网络的faster-rcnn方法进行改进.对于zf网络，将convl，conv2，conv5这3层的输出送人候选区域生成网络和roipooling进行多尺度检测；对于vggl6网络，将conv1_2,conv2_2,conv3_3，conv4_3，conv5_3这5层的输出送人候选区域生成网络和roipooling进行多尺度检测。
在所述异物识别步骤中，根据所述特征图谱识别所述视频数据中的异物类别。
s6实时显示步骤，将处理后的视频数据、节点数据、所述位置数据以及最后分类器判断得出的异物类别信息等实时显示在监控屏幕上，方便实时了解相关数据。在所述实时显示步骤中，核心为监控云平台，所述监控云平台包括数据库服务器、监控中心大屏幕等，用以接收来自无人机的视频数据、节点数据、位置数据以及所述分类器判断得出的异物类别信息等，将其处理后显示于所述监控中心大屏幕上。
所述监控云平台采用b-s架构，前端网页以es6为主，采用react+antd框架，所述监控云平台的应用服务层包括登录认证、无人机状态显示、无人机轨迹显示、水质数据实时显示、水质数据分析、河道视频显示、河道异物识别显示以及水质历史数据显示等。实现管理员登录认证，实现无人机飞行轨迹实时显示，监控节点水质参数实时数据以及历史数据展示，无人机拍摄视频以及图像处理过的视频的实时显示以及历史视频查看。实现无人机定位，完成无人机实时视频展示与无人机实际位置匹配交互的功能。
后台以python+flask开发技术为主，选用postgresql搭建监控平台数据库，记录包括但不仅限于解析后的河道水质实时数据以及历史数据，记录无人机所传输的视频流数据以及河道异物识别结果。
在水质分析模块中，不仅设计了基础的均值、方差、最值等传统数据统计模块，还提供了灰度预测模型进行参数未来发展趋势的预测。灰色预测具有要求样本数据少、原理简单、运算方便、短期预测精度高、可检验等优点。
由于不加处理的水质监测原始实测数据无法进行比较，为了消除由于量纲的不同可能带来的一些不合理影响，应先对水质监测的原始数据进行统一标准化。对水质监测原始数据进行标准化方法如下：
其中，xi表示第i批次的数据，u表示该类型所有数据的均值，σ表示该批数据的方差。
所述监控云平台接收无人机传输的节点数据和河道实时视频数据，通过河道垃圾识别模块，对河道视频进行实时处理，同时，所述监控云平台获得河道异物实时标识、异物类型以及所在位置等信息。通过数据分析模块，结合历史数据与本次检测数据，对河道水质水文信息进行分析与预测，有关部门可以根据分析结果进行及时治理。
本实施例所述河道异物识别方法的技术效果在于，利用基于lora的物联网组网模式，以无人机为移动抄表网关，进行河道水质水文数据采集与传输。在服务器上构建监控云平台使得用户可以实时看到河道视频、河道检测数据、河道异物识别结果，并在后续结合历次的检测数据进行河道水质水文变化趋势预测，有利于河道异物的定位与清除、水质变化预测与预防，为河道治理提供数据基础。
本实施例还提供一种河道异物监控平台系统，包括及节点、无人机平台以及监控云平台(参见图3)。
如图4所示，所述节点为水质数据采集单元，包括处理器模块、lora无线模块、数据采集模块、太阳能供电模块、调试模块以及警报模块等。
所述处理器模块为物联网节点的控制核心，主要用于采集模块数据解析、数据打包、节点状态监测等功能。
所述数据采集模块通过adc采集河道内水质的温度、酸碱值以及浊度，通过rs485采集河道内水质的电导率以及溶解氧，形成节点数据。
所述无线通讯模块在本实施例中，优选的，采用低功耗的lora模块进行数据传输。
所述太阳能供电模块选用太阳能电池板和锂电池的方式为节点供电。
所述警报模块以及所述调试模块用以在采集完节点数据后，对河道内水质的参数进行综合判断，判断河道内的水质是否为有异物垃圾。
无人机平台包括无人机实体、lora模块、gprs/4g模块、吊舱模块以及tx2处理器。所述无人机平台主要负责河道节点数据接收、转发、河道监控视频拍摄。
无人机实体搭载lora模块以及gprs/4g模块，实现对所述水质检测节点的激活处理，并从所述水质检测节点处接收其采集的节点数据。
无人机实体搭载lora模块以及gprs/4g模块，实现与监控云平台之间的数据传输以及控制指令的反馈。
无人机实体搭载吊舱模块，实现对河道整体的拍摄功能，获得视频数据。
无人机实体搭载tx2处理器作为机载处理器，进行图像控制处理，通过对所述吊舱拍摄的视频进行初步处理，获得吊舱视野内河道轮廓信息，实现无人机河道巡线飞行等功能。所述无人机使用ros系统进行无人机应用开发，融合图像处理数据与gps定位数据，实现无人机的自主起飞巡检、抄表及着陆。
监控云平台包括数据库服务器、监控中心大屏幕以及河道异物识别模块等，用以接收来自无人机的视频数据、节点数据以及位置数据，将其处理后显示于所述监控中心大屏幕上。
河道异物识别模块采用一种多尺度图像金字塔融合算法，对于一张录入的图片，先建立一个粗略的图像金字塔，通过融合高层的语义信息和低层的位置信息来完成小目标检测。算法对faster-rcnn引入了多尺度检测，即不单单依靠最后一层的特征图谱(featuremap)进行检测，而是对网络中的多个尺度的特征图谱(featuremap)都进行生成候选区域的操作。
所述监控云平台采用b-s架构，前端网页以es6为主，采用react+antd框架，所述监控云平台的应用服务层包括登录认证、无人机状态显示、无人机轨迹显示、水质数据实时显示、水质数据分析、河道视频显示、河道异物识别显示以及水质历史数据显示等。实现管理员登录认证，实现无人机飞行轨迹实时显示，监控节点水质参数实时数据以及历史数据展示，无人机拍摄视频以及图像处理过的视频的实时显示以及历史视频查看。实现无人机定位，完成无人机实时视频展示与无人机实际位置匹配交互的功能。
后台以python+flask开发技术为主，选用postgresql搭建监控平台数据库，记录包括但不仅限于解析后的河道水质实时数据以及历史数据，记录无人机所传输的视频流数据以及河道异物识别结果。
在水质分析模块中，不仅设计了基础的均值、方差、最值等传统数据统计模块，还提供了灰度预测模型进行参数未来发展趋势的预测。灰色预测具有要求样本数据少、原理简单、运算方便、短期预测精度高、可检验等优点。
由于不加处理的水质监测原始实测数据无法进行比较，为了消除由于量纲的不同可能带来的一些不合理影响，应先对水质监测的原始数据进行统一标准化。对水质监测原始数据进行标准化方法如下：
其中，xi表示第i批次的数据，u表示该类型所有数据的均值，σ表示该批数据的方差。
所述监控云平台接收无人机传输的节点数据和河道实时视频数据，通过河道垃圾识别模块，对河道视频进行实时处理，同时，所述监控云平台获得河道异物实时标识、异物类型以及所在位置等信息。通过数据分析模块，结合历史数据与本次检测数据，对河道水质水文信息进行分析与预测，有关部门可以根据分析结果进行及时治理。
本实施例所述河道异物监控平台系统的技术效果在于，利用基于lora的物联网组网模式，以无人机为移动抄表网关，进行河道水质水文数据采集与传输。在服务器上构建监控云平台使得用户可以实时看到河道视频、河道检测数据、河道异物识别结果，并在后续结合历次的检测数据进行河道水质水文变化趋势预测，有利于河道异物的定位与清除、水质变化预测与预防，为河道治理提供数据基础。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
以上对本申请实施例所提供的一种河道异物识别方法以及河道异物监控平台系统进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的技术方案及其核心思想；本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例的技术方案的范围。