一种基于Hadoop的桥梁健康监测系统的制作方法【专利摘要】本发明公开了一种基于Hadoop的桥梁健康监测系统，所述桥梁管理系统包括实时监测装置、人工巡检系统、主站服务器、关系数据服务器、Hadoop平台、管理服务器以及在线监测系统；所述关系数据服务器使用MySQL关系型数据库；所述Hadoop平台包括MapReduce框架、HBase数据库和HDFS文件系统。本发明产生的有益效果是：使用Hadoop平台的HBase数据库和MapReduce框架克服了传感器所采集数据的不断增加而引起的存储效率、计算效率快速下降的问题。【专利说明】一种基于Hadoop的桥梁健康监测系统
技术领域：
[0001]本发明涉及桥梁监测
技术领域：
，尤其涉及一种基于Hadoop的桥梁健康监测系统。【
背景技术：
】[0002]近年来，受自然因素和人为因素的影响，我国桥梁坍塌事故时有发生，这些事故造成了一定数量的人员伤亡和巨大的经济损失，桥梁安全问题受到社会的广泛关注。因此，应该采取良好有效的监控手段，实时监测桥梁自身、环境等方面的信息，让工作人员随时随地了解桥梁实时信息及健康状况，以便及时地为桥梁提供保养、维护，以保证桥梁健康安全，延长桥梁使用年限。[0003]利用先进的传感器检测技术、网络通信技术及计算机技术，搭建的桥梁健康监测系统在国内已经开始使用。但是，现有的监测系统虽可实时监测信息的变化，却并不能做到随时随地了解实时监测的信息，而且其数据存储方式也均采用关系型数据库，伴随着数据量的不断增加，存储、计算效率会明显下降，海量数据的分析处理会更加困难。除此之外，工作人员对桥梁的巡检工作，仍采用传统的笔纸记录，不利于巡检信息的管理和监测。【
发明内容】[0004]本发明要解决的技术问题在于针对现有技术中海量数据的存储效率和计算效率低下的缺陷，提供一种基于Hadoop的桥梁健康监测系统。[0005]本发明解决其技术问题所采用的技术方案是:[0006]提供一种基于Hadoop的桥梁健康监测系统，所述桥梁管理系统包括实时监测装置、人工巡检系统、主站服务器、关系数据服务器、Hadoop平台、管理服务器以及在线监测系统；[0007]所述Hadoop平台包括MapReduce框架、HBase数据库和HDFS文件系统；[0008]所述实时监测装置，连接主站服务器，用于检测并处理桥梁实时数据得到第一数据包，并将该第一数据包发送至主站服务器；[0009]所述人工巡检系统，连接主站服务器，用于录入并处理人工巡检过程中的桥梁健康数据得到第二数据包，并将该第二数据包发送至主站服务器；[0010]所述主站服务器，连接所述Hadoop平台，用于接收并解析第一数据包和第二数据包，将第一解析结果通过HBase客户端写入HBase非关系型数据库，将第二解析结果通过MySQL客户端写入MySQL关系型数据库；[0011]所述在线监测系统，连接管理服务器，用于实时监听管理服务器并根据监听到的报警信息通知给工作人员，将对桥梁健康状况的数据查询请求发送至管理服务器，并将反馈结果展示给工作人员，所述数据查询请求包括数据统计、筛选、分类及查询等请求；[0012]所述管理服务器，连接Hadoop平台，用于实时监听Hadoop平台并将监听到的报警信息发送给在线监测系统，对该数据查询请求进行管理和调度得到各个作业，将各个作业发送至Hadoop平台进行计算得到该反馈结果发送给在线监测系统；[0013]所述关系数据服务器，连接主站服务器，将主站服务器解析的第二数据包结果存储到MySQL关系型数据库中；[OOM]所述Hadoop平台，用于调用MapReduce框架对第一解析结果、第二解析结果和各个作业进行并行计算。[0015]本发明的所述系统中，所述实时监测装置包括:[0016]光纤传感器，用于实时检测桥梁实时数据，所述桥梁实时数据包括桥梁的应变、压力及温度等；[0017]光纤光栅解调仪，用于解析该桥梁实时数据得到第一数据包，并将该第一数据包发送至主站服务器。[0018]本发明的所述系统中，所述主站服务器包括:[0019]第一接口，连接HBase非关系型数据库；[0020]第二接口，连接MySQL关系型数据库；[0021]数据解析模块，用于接收并解析第一数据包和第二数据包，分别得到第一解析结果和第二解析结果；[0022]HBase客户端模块，用于通过第一接口将第一解析结果写入HBase非关系型数据库；[0023]MySQL客户端模块，用于通过第二接口将第二解析结果写入MySQL关系型数据库。[0024]本发明的所述系统中，所述数据解析模块根据UDP协议和特定规约进行解析。[0025]本发明的所述系统中，所述Hadoop平台为服务器集群。[0026]本发明的所述系统中，所述人工巡检系统包括:[0027]上下桥考勤模块，用于通过移动设备的摄像头实地拍照及相关信息录入添加工作人员的上下桥考勤记录；[0028]巡检轨迹模块，用于通过移动设备的GPS模块和百度地图SDK模块绘制工作人员的巡检轨迹；[0029]巡检记录模块，用于根据三种模式记录工作人员对桥梁损坏情况的巡检记录；[0030]记录上传模块，用于通过网络或USB接口将移动设备中的上下桥考勤记录、巡检轨迹及巡检记录上传至主站服务器。[0031]本发明的所述系统中，所述三种模式包括:[0032]日常巡检，工作人员进行每日巡检任务；[0033]经常巡检，工作人员按预设周期对桥梁部件损坏情况进行巡检；[0034]定期巡检，工作人员按预设时间对规定表格内容进行巡检。[0035]本发明的所述系统中，所述实时监测系统包括:[0036]报警模块，用于实时监听管理服务器并通过JPUSH极光推送将监听到的报警信息通知给工作人员；[0037]数据查阅模块，用于发送第一数据查询请求至管理服务器得到第一反馈结果，并使用第一反馈结果更新桥梁实时数据；[0038]图表展示模块，用于发送第二数据查询请求至管理服务器得到第二反馈结果，通过AchartEngine图表引擎将第二反馈结果和历史反馈结果绘制成图表；[0039]数据分析模块，用于发送第三数据查询请求至管理服务器得到第三反馈结果，根据预定对比项分析第三反馈结果并通过图表显示分析结果。[0040]本发明的所述系统中，所述实时监测系统通过TimeTask类实时监听管理服务器。[0041]本发明的所述系统中，所述人工巡检系统和所述实时监测系统均基于安卓平台而形成。[0042]本发明产生的有益效果是:使用Hadoop平台的HBase数据库和MapReduce框架克服了传统桥梁检测系统随着成千上万的传感器所采集数据的不断增加而引起的存储效率、计算效率快速下降的问题，实现了对海量数据的分布式存储和并行计算，移动设备的在线监测软件工作人员可以随时随地了解实时监测到的桥梁所处环境和桥梁自身信息等数据并实现自动报警，人工巡检系统实现了工作人员的无纸化作业，提高了工作效率，使得巡检数据便于管理和监测。【附图说明】[0043]下面将结合附图及实施例对本发明作进一步说明，附图中:[0044]图1是本发明实施例的一种基于Hadoop的桥梁健康监测系统的结构示意图；[0045]图2是本发明实施例的Hadoop平台的体系结构示意图；[0046]图3是本发明实施例的上下桥考勤模块的考勤方法流程示意图；[0047]图4是本发明实施例的巡检轨迹模块的巡检方法流程示意图；[0048]图5是本发明实施例的报警模块的报警方法流程示意图；[0049]图6是本发明实施例的数据查阅模块的查询方法流程示意图。【具体实施方式】[0050]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本发明，并不用于限定本发明。[0051]本发明的实施例中，如图1所示，一种基于Hadoop的桥梁健康监测系统，桥梁管理系统包括实时监测装置、人工巡检系统、主站服务器、关系数据服务器、Hadoop平台、管理服务器以及在线监测系统；[0052]如图2所示，Hadoop平台包括MapReduce框架、HBase数据库和HDFS文件系统；[°°53]Hadoop是一个由Apache基金会所开发的分布式系统基础架构。Hadoop实现了一个分布式文件系统(HadoopDistributedFileSystem，HDFS)JDFS有高容错性，并且可以部署在低廉的硬件上；它提供高吞吐量(highthroughput)来访问应用程序的数据，适合那些有着超大数据集(largedataset)的应用程序。HDFS放宽了POSIX(PortableOperatingSystemInterface，可移植操作系统接口)的要求，可以以流的形式访问(streamingaccess)文件系统中的数据。[0054]Hadoop框架最核心的设计是:HDFS和MapReduce13HDFS为海量数据提供了存储，则MapReduce为海量的数据提供了计算。[0055]Hadoop由许多元素构成，其最底部是HDFS文件系统，HDFS文件系统存储Hadoop集群中所有存储节点上的文件。HDFS的上层是MapReduce引擎，该引擎由JobTrackers和TaskTrackers组成。[0056]实时监测装置，连接主站服务器，用于检测并处理桥梁实时数据得到第一数据包，并将该第一数据包发送至主站服务器;桥梁实时数据包括桥梁的应变、压力及温度等数据；[0057]人工巡检系统，连接主站服务器，用于录入并处理人工巡检过程中的桥梁健康数据得到第二数据包，并将该第二数据包发送至主站服务器;桥梁健康数据包括桥梁整体或各部位的损坏异常状况(如腐蚀、变形等)及桥梁所处的温度、天气等数据；[0058]主站服务器，连接Hadoop平台，用于接收并解析第一数据包和第二数据包，将第一解析结果通过HBase客户端写入HBase非关系型数据库，将第二解析结果通过MySQL客户端写入MySQL关系型数据库；[0059]在线监测系统，连接管理服务器，用于实时监听管理服务器并根据监听到的报警信息通知给工作人员，将对桥梁健康状况的数据查询请求发送至管理服务器，并将反馈结果展示给工作人员，数据查询请求包括数据统计、筛选、分类及查询等请求；[0060]管理服务器，连接Hadoop平台，用于实时监听Hadoop平台并将监听到的报警信息发送给在线监测系统，对该数据查询请求进行管理和调度得到各个作业，将各个作业发送至Hadoop平台进行计算得到该反馈结果发送给在线监测系统；[0061]所述关系数据服务器，连接主站服务器，将主站服务器解析的第二数据包结果存储到MySQL关系型数据库中。[0062]Hadoop平台，用于调用MapReduce框架对第一解析结果、第二解析结果和各个作业进行并行计算。[0063]上述实施例中，MapReduce框架对海量数据并行处理，将HBase数据库中的数据作为数据输入的来源或输出的目标，采用TableInputFormat、TableOutputFormat等接口，把HBase数据库中的Table用作MapReduce作业数据，对数据进行并行计算。MapReduce框架包括Map节点和Reduce节点，其中，若干个Map节点对应一个Reduce节点，首先将需要计算的所有作业分配给所有Map节点进行并行计算，然后再将计算结果集中到各个Reduce节点进行归纳，得到最终计算结果，通过这种方式可以并行处理海量数据，大大提高计算效率。[0064]本发明的实施例中，实时监测装置包括:[0065]光纤传感器，用于实时检测桥梁实时数据，桥梁实时数据包括桥梁的应变、压力及温度；[0066]光纤传感器的基本工作原理:将来自光源的光信号经过光纤送入调制器，使待测参数与进入调制区的光相互作用后，导致光的光学性质(如光的强度、波长、频率、相位、偏振态等)发生变化，成为被调制的信号源，在经过光纤送入光探测器，经解调后，获得被测参数。[0067]光纤光栅解调仪，用于解析该桥梁实时数据得到第一数据包，并将该第一数据包发送至主站服务器。[0068]光纤光栅解调仪具有体积小、精度高、大动态范围光纤光栅传感器测量能力和准确性的光谱的分析能力。主要应用于桥梁、大坝、高层建筑、隧道、高速公路、电力、石油化工、消防、暖通等领域的结构应变和温度的实时监测。[0069]本发明的实施例中，主站服务器包括:[0070]第一接口，连接HBase非关系型数据库；[0071]第二接口，连接MySQL关系型数据库；[0072]数据解析模块，用于接收并解析第一数据包和第二数据包，分别得到第一解析结果和第二解析结果；[0073]HBase客户端模块，用于通过第一接口将第一解析结果写入HBase非关系型数据库；[0074]MySQL客户端模块，通过第二接口将第二解析结果写入MySQL关系型数据库。[0075]上述实施例中，HBase客户端模块通过第一接口连接HBase非关系型数据库，MySQL客户端模块通过第二接口连接MySQL关系型数据库。[0076]本发明的实施例中，数据解析模块根据UDP协议和特定规约进行解析。[0077]上述实施例中，UDP协议全称是用户数据报协议，在网络中它与TCP协议一样用于处理数据包，是一种无连接的协议。该特定规约指光纤光栅解调仪规定的第一数据包的解析格式。[0078]本发明的实施例中，主站服务器通过网络连接Hadoop平台。[0079]上述实施例中，主站服务器可以通过⑶MA、GPRS、⑶PD等无线广域网络，也可以通过局域网、城域网以及个人网来连接Hadoop平台。[0080]本发明的实施例中，Hadoop平台为服务器集群。[0081]上述实施例中，服务器集群是指将很多服务器集中起来一起进行同一种服务，在客户端看来就像是只有一个服务器。集群可以利用多个计算机进行并行计算从而获得很高的计算速度，也可以用多个计算机做备份，从而使得任何一个机器坏了整个系统还是能正常运行。[0082]本发明的实施例中，人工巡检系统包括:[0083]上下桥考勤模块，用于通过移动设备的摄像头实地拍照及相关信息录入添加工作人员的上下桥考勤记录；[0084]如图3所示，首先，启动上下桥考勤模块(包括上桥考勤和下桥考勤)，上桥考勤时，选择当班人员和天气，填写上桥考勤记录，下桥时填写下桥考勤记录，然后拍摄照片，添加考勤记录。[0085]巡检轨迹模块，用于通过移动设备的GPS模块和百度地图SDK模块绘制工作人员的巡检轨迹；[0086]如图4所示，当工作人员上桥开始巡检任务时，开启移动设备的GPS模块实时记录工作人员所处位置的经玮度，下桥结束巡检任务时关闭GPS;工作人员可以通过点击移动设备的巡检地图选项来查看走过的轨迹线。[0087]巡检记录模块，用于根据三种模式记录工作人员对桥梁损坏情况的巡检记录；[0088]记录上传模块，用于通过网络或USB接口将移动设备中的上下桥考勤记录、巡检轨迹及巡检记录上传至主站服务器，将上下桥考勤记录、巡检轨迹及巡检记录打包压缩成ZIP文件上传至主站服务器。[0089]上述实施例中，人工巡检系统包括上下桥考勤模块、巡检轨迹模块、巡检记录模块和记录上传模块。其中，上下桥考勤模块通过移动设备摄像头获取工作人员上下桥考勤记录;巡检轨迹模块通过移动设备GPS功能和百度地图SDK(百度地图可以替换为谷歌地图、搜狗地图、高德地图、腾讯地图等)绘制工作人员巡检轨迹;巡检记录模块根据三种模式(日常巡检、经常巡检和定期巡检)记录工作人员对桥梁信息(包括桥梁环境、桥梁自身部件及其他桥梁信息)的巡检记录;记录上传模块通过网络(包括无线网络)或USB接口将移动设备中的记录上传至主站服务器，通过人工巡检系统实现了工作人员的无纸化作业，提高了工作效率，使得巡检数据便于管理和监测。[0090]本发明的实施例中，三种模式包括:[0091]日常巡检，工作人员进行每日巡检任务，由用户指定每日巡检任务；[0092]经常巡检，工作人员按预设周期对桥梁部件损坏情况进行巡检，预设周期可以是一周、两周或其他周期，由用户指定；[0093]定期巡检，工作人员按预设时间对规定表格内容进行巡检，规定表格内容也由用户指定，可以包括桥梁各部件损坏程度、温度、天气等信息。[0094]本发明的实施例中，实时监测系统包括:[0095]报警模块，用于实时监听管理服务器并通过JPUSH极光推送将监听到的报警信息通知给工作人员，用户不仅可以接收报警通知，还可以查看历史报警信息；[0096]如图5所示，首先，启动管理服务器，启动报警监听器，查询报警信息，管理服务器判断是否有新的报警信息，如果存在新的报警信息，则将报警信息推送至用户的客户端(手机、Pad等移动终端)；[0097]JPUSH极光推送具有多种推送方式:通知(推送文本内容直接展示在用户的通知栏中)、自定义消息(推送自定义的消息内容透传给应用处理)和富媒体(推送预先编辑好的图文并茂的HTML页面内容)。[0098]数据查阅模块，用于发送第一数据查询请求至管理服务器得到第一反馈结果，并使用第一反馈结果更新桥梁实时数据；[0099]如图6所示，数据查阅模块包括前台的UI线程和后台的工作线程，首先用户在移动设备的UI界面上选择数据查询选项，数据查阅模块处理用户点击操作并将查询请求发送给后台服务器(管理服务器)，后台启动工作线程定时获取实时数据，并返回查询结果，然后对查询结果进行处理并发送回前台，UI线程刷新UI界面显示查询结果；[0100]图表展示模块，用于发送第二数据查询请求至管理服务器得到第二反馈结果，通过AchartEngine图表引擎将第二反馈结果和历史反馈结果绘制成图表，实现了图表化展示现场监控数据和以往的历史数据，包括桥梁结构、环境及经过车辆方面的数据；[0101]上述实施例中，通过TimeTask类实时监听管理服务器获取数据查询结果并通过AchartEngine图表引擎将数据查询反馈结果绘制在图表(扇形图、直方图、曲线图等)上，用户通过选择不同的分类、不同的节点以及日期查看不同信息。AChartEngine是一款基于Android(安卓)的图表绘制引擎，它为Android开发者提供了很多实用的图表绘制工具类。[0102]数据分析模块，用于发送第三数据查询请求至管理服务器得到第三反馈结果，根据预定对比项分析第三反馈结果并通过图表显示分析结果。[0103]数据分析模块包括单一指标分析和相关指标分析，用户可以选择不同的日期、桥梁部件或传感器位置等对比项进行对比分析，并将分析结果用图表进行显示。[0104]上述实施例中，第一数据查询请求、第二数据查询请求以及第三数据查询请求是设定好的选项标签或者由用户输入的关键字(日期、桥梁部件、传感器等，桥梁应变、压力、温度等)。[0105]本发明的实施例中，实时监测系统通过TimeTask类实时监听管理服务器。[0106]上述实施例中，Timer类是一种线程设施，可以用来实现某一个时间或某一段时间后安排某一个任务执行一次或定期重复执行。该功能和TimerTask配合使用。TimerTask类用于实现由Timer安排的一次或重复执行的某个任务。每一个Timer对象对应的是一个线程，因此计时器所执行的任务应该迅速完成，否则会延迟后续的任务执行。[0107]本发明的实施例中，通过HBase数据库提供的API接口实现数据查询。[0108]本发明的实施例中，人工巡检系统和实时监测系统均基于安卓平台而形成。[0109]应当理解的是，对本领域普通技术人员来说，可以根据上述说明加以改进或变换，而所有这些改进和变换都应属于本发明所附权利要求的保护范围。【主权项】1.一种基于Hadoop的桥梁健康监测系统，其特征在于，所述桥梁管理系统包括实时监测装置、人工巡检系统、主站服务器、关系数据服务器、Hadoop平台、管理服务器以及在线监测系统；所述Hadoop平台包括MapReduce框架、HBase数据库和HDFS文件系统；所述实时监测装置，连接主站服务器，用于检测并处理桥梁实时数据得到第一数据包，并将该第一数据包发送至主站服务器；所述人工巡检系统，连接主站服务器，用于录入并处理人工巡检过程中的桥梁健康数据得到第二数据包，并将该第二数据包发送至主站服务器；所述主站服务器，连接所述Hadoop平台和所述关系数据服务器，用于接收并解析第一数据包和第二数据包，将第一解析结果写入HBase非关系型数据库，将第二解析结果写入Mysql关系型数据库；所述在线监测系统，连接管理服务器，用于实时监听管理服务器并根据监听到的报警信息通知给工作人员，将对桥梁健康状况的数据查询请求发送至管理服务器，并将反馈结果展示给工作人员，所述数据查询请求包括数据统计、筛选、分类及查询等请求；所述管理服务器，连接Hadoop平台，用于实时监听Hadoop平台并将监听到的报警信息发送给在线监测系统；对该数据查询请求进行管理和调度得到各个作业，将各个作业发送至Hadoop平台进行计算得到该反馈结果发送给在线监测系统；所述关系数据服务器，连接主站服务器，将主站服务器解析的第二数据包结果存储到MySQL关系型数据库中；所述Hadoop平台，用于调用MapReduce框架对第一解析结果、第二解析结果和各个作业进行并行计算。2.如权利要求1所述的桥梁健康监测系统，其特征在于，所述实时监测装置包括:光纤传感器，用于实时检测桥梁实时数据，所述桥梁实时数据包括桥梁的应变、压力及温度等；光纤光栅解调仪，用于解析该桥梁实时数据得到第一数据包，并将该第一数据包发送至主站服务器。3.如权利要求1所述的桥梁健康监测系统，其特征在于，所述主站服务器包括:第一接口，连接HBase非关系型数据库；第二接口，连接MySQL关系型数据库；数据解析模块，用于接收并解析第一数据包和第二数据包，分别得到第一解析结果和第二解析结果；HBase客户端模块，用于通过第一接口将第一解析结果写入HBase非关系型数据库；MySQL客户端模块，用于通过第二接口将第二解析结果写入MySQL关系型数据库。4.如权利要求1所述的桥梁健康监测系统，其特征在于，所述数据解析模块根据UDP协议和特定规约进行解析。5.如权利要求1所述的桥梁健康监测系统，其特征在于，所述Hadoop平台为服务器集群。6.如权利要求1所述的桥梁健康监测系统，其特征在于，所述人工巡检系统包括:上下桥考勤模块，用于通过移动设备的摄像头实地拍照及相关信息录入添加工作人员的上下桥考勤记录；巡检轨迹模块，用于通过移动设备的GPS模块和百度地图SDK模块绘制工作人员的巡检轨迹；巡检记录模块，用于根据三种模式记录工作人员对桥梁损坏情况的巡检记录；记录上传模块，用于通过网络或USB接口将移动设备中的上下桥考勤记录、巡检轨迹及巡检记录上传至主站服务器。7.如权利要求6所述的桥梁健康监测系统，其特征在于，所述三种模式包括:日常巡检，工作人员进行每日巡检任务；经常巡检，工作人员按预设周期对桥梁部件损坏情况进行巡检；定期巡检，工作人员按预设时间对规定表格内容进行巡检。8.如权利要求1所述的桥梁健康监测系统，其特征在于，所述实时监测系统包括:报警模块，用于实时监听管理服务器并通过JPUSH极光推送将监听到的报警信息通知给工作人员；数据查阅模块，用于发送第一数据查询请求至管理服务器得到第一反馈结果，并使用第一反馈结果更新桥梁实时数据；图表展示模块，用于发送第二数据查询请求至管理服务器得到第二反馈结果，通过AchartEngine图表引擎将第二反馈结果和历史反馈结果绘制成图表；数据分析模块，用于发送第三数据查询请求至管理服务器得到第三反馈结果，根据预定对比项分析第三反馈结果并通过图表显示分析结果。9.如权利要求1所述的桥梁健康监测系统，其特征在于，所述实时监测系统通过TimeTask类实时监听管理服务器。10.如权利要求1所述的桥梁健康监测系统，其特征在于，所述人工巡检系统和所述实时监测系统均基于安卓平台而形成。【文档编号】H04L29/08GK106021613SQ201610506979【公开日】2016年10月12日【申请日】2016年6月30日【发明人】刘芳,鲁晓韵,秦王晨,张永佳,杨燕,李盛,岳丽娜【申请人】武汉理工大学