一种基于大数据字段自动拼接算法的监测方法及系统与流程

本发明涉及建筑施工监测领域，具体涉及一种基于大数据字段自动拼接算法的监测方法及系统。

背景技术：

建筑工程安全生产管理必须坚持安全第一、预防为主、综合治理的方针,这就要求将危及安全生产的因素扼杀在摇篮中。随着社会经济、文化飞速发展，建筑行业的发展也日新月异，现代建筑工程较传统的建筑工程也愈加复杂，危险性也逐步增大，对建筑工程进行长期有效的监测已经刻不容缓。传统的监测手段采用多地点分别监测、分别管控的方式，其及时性和真实性存在较大的问题，已经不能满足现代建筑工程的安全要求。随着物联网的发展，监测设备的不断进步，需要创新监测模式，向智能化智慧化发展。通常来讲，开发人员在接到客户提供的监测方法需求，通过需求分析、需求设计、研发、测试、维护，需要大量的工作日和研发成本，所开发出来的监测系统因为后台已经预设好固定的监测方法公式，只能对应固定的监测项目(例如只对应基坑监测，或者只对应危房监测或高支模监测)，不适用于多种项目监测。

技术实现要素：

本发明针对现有技术中存在的技术问题，提供本发明解决上述技术问题的技术方案如下：一种基于大数据字段自动拼接算法的监测方法及系统，利用nosql数据库mongodb无“关系”的特点，将excel或xml中数据字段拼接到mongodb表头中，用户通过模板自定义数据库字段，并导入数据采集仪采集到的各监测点数据；用户可在前台界面填入自定义的监测方法的公式，数据库可依据用户填入的公式，在后台自动生成监测方法的算法。监测系统将计算出的监测结果与预设的警示值进行比对，以短信等方式对相关责任人进行提示；可通过在数据采集装置上连接不同的监测仪器(传感装置)、为系统设定不同监测项目涉及的公式的方式，使此监测系统广泛应用于多种类型的建筑工程项目监测，提高了本监测系统在不同建筑工程项目的适用性，节约了监测成本，提高了监测效率，使监测结果能更快得到处理。

一种基于大数据字段自动拼接算法的监测方法，基于mongodb数据库，所述方法包括：

a、通过key-value的形式建立所述数据库的字典表，建立数据库结构；

b、预设预警范围值、报警范围值，输入自定义的监测方法公式，所述预警范围值、所述报警范围值、每个所述监测方法公式生成不同字段并存入所述数据库；

c、导入各监测点的原始数据，存入所述数据库；

d、解析所述监测方法公式，通过对应的所述监测方法公式字段找出规律，得到计算结果；

e、所述计算结果与所述预警范围值、所述报警范围值进行比对，当所述计算结果位于所述预警范围值内时进行预警提示，当所述计算结果位于所述报警范围值内时进行报警提示。

优选地，所述步骤a包括将需要的表头填入excel或xml模板中，提交所述excel或所述xml模板，选择所述excel或所述xml模板里面的公共字段，通过key-value的形式建立所述数据库的字典表。

优选地，所述数据库包括若干数据集合，所述步骤d包括将所述监测方法公式分解为对应的多个小字段，然后针对每个小字段遍历所述数据集合的数据，将数据集合中的数据与所述小字段进行匹配，从而将所述监测方法公式解析为对应多个所述小字段的数据组合，通过所述字典表将所述数据集合的数据映射到所述监测方法公式上。

优选地，所述步骤d还包括将中缀表达式转为后缀表达式，然后依据算法的优先级处理公式进行计算，得到所述计算结果。

优选地，所述步骤e包括，所述预警提示方式与所述报警提示方式为向相关人员发送短信。

一种基于大数据字段自动拼接算法的监测系统，包括依次通信连接的数据采集装置、通讯装置、服务器；所述数据采集装置与所述通讯装置设置在监控点，所述服务器设置在远程操控点；所述数据采集装置包括数据汇总模块、数据处理模块，所述服务器包括运算模块、警示模块、可视化模块，所述数据汇总模块、所述数据处理模块、所述通讯装置、所述运算模块、所述警示模块依次通信连接，所述可视化模块与所述运算模块通信连接。

优选地，所述通讯装置内设有无线通信模块，所述通讯装置通过无线通信方式与所述服务器进行通信连接。

优选地，所述警示模块包括预警模块与报警模块，所述预警模块与所述报警模块分别与所述运算模块通信连接。

优选地，还设有上位机，所述上位机与所述数据采集装置通信连接，所述上位机上设有显示器与输入装置。

优选地，还包括摄像头，所述摄像头与所述数据采集装置通信连接。

本发明的有益效果是：本发明的一种基于大数据字段自动拼接算法的监测方法及系统，利用nosql数据库mongodb无“关系”的特点，将excel或xml中数据字段拼接到mongodb表头中，用户通过模板自定义数据库字段，并导入数据采集仪采集到的各监测点数据；用户可在前台界面填入自定义的监测方法的公式，数据库可依据用户填入的公式，在后台自动生成监测方法的算法。本发明提高了监测系统在不同监测方法下的适用性，并提高开发人员的工作效率，节约开发成本。通常来讲，开发人员在接到客户提供的监测方法，通过需求分析、需求设计、研发、测试、维护，需要大量的工作日和研发成本。此发明可让用户自行填写所需要监测方法的公式及算法需求，后台自动生成相对性的算法及用户所需求的数据，节约了大量的研发成本，提升研发效率。可通过在数据采集装置上连接不同的监测仪器(传感装置)、为系统设定不同监测项目涉及的公式的方式，使此监测系统广泛应用于多种类型的建筑工程项目监测，提高了本监测系统在不同建筑工程项目的适用性，节约了监测成本；监测系统将计算出的监测结果与预设的警示值进行比对，以短信等方式对相关责任人进行提示，提高了监测效率，使监测结果能更快得到处理。本监测系统的监测数据现场实时传输，保证数据分析过程的透明度和及时性，保证数据安全，为数据和档案管理提供高效的管理工具、实现异地远程协同工作。

附图说明

图1为本发明总体框图；

图2为本发明实施例示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

一种基于大数据字段自动拼接算法的监测方法及系统，适用于多种类型的建筑施工监控场合，本实施例以基坑监测进行举例说明：

一种基于大数据字段自动拼接算法的监测方法，基于mongodb数据库，监测方法包括：

a、通过key-value的形式建立数据库的字典表，建立数据库结构；

b、预设预警范围值、报警范围值，输入自定义的监测方法公式，预警范围值、报警范围值、每个监测方法公式生成不同字段并存入数据库；

c、导入各监测点的原始数据，存入数据库；

d、解析监测方法公式，通过对应的监测方法公式字段找出规律，得到计算结果；

e、计算结果与预警范围值、报警范围值进行比对，当计算结果位于预警范围值内时进行预警提示，当计算结果位于报警范围值内时进行报警提示。

本实施例中，步骤a包括将需要的表头填入excel或xml模板中，提交excel或xml模板，选择excel或xml模板里面的公共字段，通过key-value的形式建立数据库的字典表。字典表是指对数据的数据项、数据结构、数据流、数据存储、处理逻辑、外部实体等进行定义和描述，其目的是对数据流程图中的各个元素做出详细的说明。简而言之，字典表是描述数据库的信息集合，是对系统中使用的所有数据元素的定义的集合。

本实施例中，数据库包括若干数据集合，步骤d包括将所述监测方法公式分解为对应的多个小字段，然后针对每个小字段遍历所述数据集合的数据，将数据集合中的数据与所述小字段进行匹配，从而将所述监测方法公式解析为对应多个所述小字段的数据组合，通过字典表将数据集合的数据映射到监测方法公式上。除公式部分之外，大部分字段和查询的方法可以通用,形成了这套算法生成的公式系统。公式系统分两个大部分，第一步是字典表的建立。每个检测方法会有不同的字段,所以需要一个字典表来做映射，确定方法所需要的字段是什么；第二部分则是公式的解析，即步骤d。

本实施例中，步骤d还包括将中缀表达式转为后缀表达式，然后依据算法的优先级处理公式，得到计算结果。算法的优先级已经提前建立在字典表中。

举例如下：

假设有一个方法【test】

然后初值录入的内容为c＝9；

数据表有两条数据；{no＝1,a＝10,b＝5},{no＝2,a＝20,b＝10}

假设该方法得检测公式为：d＝(a-2)*pow(b,2)-sqrt(c)；e＝d-a；

先解析公式，遍历数据表的数据然后通过字典映射到公式上,以第一条数据举例可得到：

d＝(10-2)*pow(5,2)-sqrt(9)；

e＝d-10

然后优先处理类似pow(),sqrt()之类的方法,例如sum(1..n)可以是先查询再累加；

最后，将中缀表达式转成后缀进行计算：

d＝102-25*3-

e＝d10-

得到结果:d＝197；e＝187；

计算完第一条数据再依次计算第二条数据，直到计算完数据表的全部数据。

通过所提供的公式，后台会生成对应公式的算法，算法生成完毕后，用户只需要通过excel提交原始的数据就能得到最终的计算结果。然后将计算结果与预设值进行比对，达到预设的条件时进行警示。

本实施例中，步骤e包括，预警提示方式与报警提示方式为向相关人员发送短信和/或邮件，或者亮对应的指示灯。

如图1所示一种基于大数据字段自动拼接算法的监测系统，包括依次通信连接的数据采集装置、通讯装置、服务器；数据采集装置上连接有测试仪器，具体的，如图2所示，测试基坑参数的测试仪器主要为三弦锚索计、静力水准仪、振弦式水位计、应变计。测试仪器、数据采集装置与通讯装置设置在监控点，服务器设置在远程操控点；服务器上建有基于本实施例所述的一种基于大数据字段自动拼接算法的监测方法记载的数据库。数据采集装置包括数据汇总模块、数据处理模块，服务器还包括运算模块、警示模块、可视化模块，数据汇总模块、数据处理模块、通讯装置、运算模块、警示模块依次通信连接，可视化模块与运算模块通信连接。此监测系统通过数据采集装置采集监测点的数据，监测数据在数据汇总模块中进行汇总，并由数据处理模块转换成报文的形式，通过通讯装置远程上传到服务器，存入mongodb数据库中，监测系统通过用户提供的公式在运算模块中生成对应算法，得到最终计算结果。可视化模块将监测数据以及计算结果以图文的方式更直观地展现出来。通过公式计算的结果在运算模块中与预设的预警范围值、报警范围值进行比对，将比对结果发送到警示模块。警示模块包括预警模块、报警模块与三色报警灯，预警模块、报警模块与三色报警灯分别与运算模块通信连接。警示模块上还设有人工判断模块，人工判断模块与警示模块通信连接。

在监测数据的计算结果未达到警示的阈值时，三色报警灯亮绿灯；若是计算结果位于预警范围值内则向相关人员发送短信进行预警，短信内容包括监测数据计算结果与预警范围值的关系，同时三色报警灯亮黄灯，收到预警短信的有关人员到现场核实预警数据及现场情况，若是误报则通过人工判断模块解除误报，监测系统继续监测；若不是误报，则相关人员组织专家提出解决办法；若是计算结果位于报警范围值内，则向相关人员发送短信进行报警以及邮箱推送项目相关资料，短信与邮件内容包括监测数据计算结果与报警范围值的关系，同时三色报警灯亮红灯，收到报警短信的相关人员立即组织专家论证提出解决办法。

三弦锚索计是用于长期监测混凝土结构物、岩石边坡、桥梁等预应力的锚固状态，并可同步测量埋设点温度的振弦式传感器。通过线缆传输的实时测量值至采集仪，并利用仪器特性参数可算出锚索所施加的压力。三弦锚索计在测力钢筒上均布着数支振弦式应变计，当荷载使钢筒产生轴向变形时，应变计与钢筒产生同步变形，变形使应变计的振弦产生应力变化，从而改变振弦的振动频率。电磁线圈激振振弦并测量其振动频率，频率信号经电缆传输至读数装置，即可测出引起受力钢筒变形的应变量，代入标定系数可算出三弦锚索计所感受到的荷载值。

静力水准仪用于测试围护墙竖向位移，通过持续或周期性的对基坑支护进行观测，确定沉降观测点沉降量及变化趋势，分析基坑支护沉降变形速率及最终沉降量，及时发现不稳定因素，防止支护结构破坏和环境事故的发生，保证支护结构和相邻管线及建筑物的安全。液压式静力水准仪依据连通管原理的方法，用液压静力水准仪内的压敏传感器测量每个测点相对与端头液位罐相对高差，再设定某个相对稳定的测点为基准点，再通过计算求得各点相对于基点的相对沉降量。

振弦式水位计用于地下水位监测，地下水位监测目的在于检验基坑止水帷幕的实际效果，以避免基坑施工对相邻环境的不利影响。采用振弦式渗压计水位计，预先放入钻孔中。当被测水压荷载作用在渗压计上，将引起弹性膜板的变形，其变形带动振弦转变成振弦应力的便化，从而改变振弦的振动频率。电磁线圈激振振弦并测量其振动频率，频率信号经电缆传输至采集仪读数装置，即可测出水荷载的压力值。经过换算即可得到水位深度。

表贴式应变计为振弦式弹性梁结构，适用于焊接到各种钢结构的场合，如：型钢、坑道的支撑、桩和桥梁等。也可用螺丝安装固定在各种结构的表面，长期监测其表面应力和应变；并可同步测定埋设点的温度。表贴式应变计由两块安装钢支座、微振线圈、电缆组件和应变杆组成。安装时使用一个定位托架，用电弧焊将两端的安装钢支座焊(或安装)在待测结构的表面。被测物体产生应变使得两支座产生相对位移从而使应变计两端圆盘相对移动，这样就改变了张力，用电磁线圈激振钢弦，通过监测钢弦的频率求得被测物的变形。

本实施例中，所述通讯装置内设有无线通信模块，所述通讯装置通过无线通信方式与所述服务器进行通信连接。通讯装置为dtu，里面插入有电话卡。dtu可使用专用的适配器，也可在电源输入端直接连接数据采集装置的12v电压通道。

本实施例中，数据采集装置还设有上位机，上位机与数据采集装置通信连接，上位机上设有显示器与输入装置。本监控系统还设有移动测斜仪，用于测试土体内部位移变化的监测,它是基坑监测时一种必配的测量仪器,它在工程的应用对及时掌握工程的质量以及保证工程的安全性发挥着积极的作用。因为移动测斜仪为移动的终端，并非固定某点进行测试，所以可通过上位机的输入装置手动输入其监测数据，或者通过其自带的蓝牙模块与手机客户端将检测数据即时上传到服务器。

本实施例中，监测系统还设有摄像头，所述摄像头与所述数据采集装置通信连接。

工作流程：

数据采集装置相当于下位机的角色；上位机基于windows系统运行，用户通过上位机的人机交互页面控制数据采集装置运行；数据采集装置采集各个测试仪器的监控数据，在数据汇总模块进行汇总后，由数据处理模块将监控数据转换为报文，dtu将报文通过无线通信的方式发送至服务器，服务器对报文进行解析，将解析的监控数据以字段的形式存入mongodb数据库中；用户在监控系统的软件前端设置监控方法的计算公式，软件后端将公式以字段的形式存入数据库，以便后续调用；然后服务器解析监测方法公式，通过对应的监测方法公式字段找出规律，自动生成对应的算法，再查询监测数据，计算出结果；计算结果与预设的预警范围值和/或报警范围值在运算模块中进行比对，若是计算结果均不在预警范围值和/或报警范围值内，则三色报警灯显示绿色，监测系统继续监测；若计算结果位于预警范围值内则向相关人员发送短信进行预警，短信内容包括监测数据计算结果与预警范围值的关系，同时三色报警灯亮黄灯，收到预警短信的有关人员到现场核实预警数据及现场情况，若是误报则通过人工判断模块解除误报，监测系统继续监测；若不是误报，则相关人员组织专家提出解决办法；若是计算结果位于报警范围值内，则向相关人员发送短信进行报警以及邮箱推送项目相关资料，短信与邮件内容包括监测数据计算结果与报警范围值的关系，同时三色报警灯亮红灯，收到报警短信的相关人员立即组织专家论证提出解决办法。

处理完现场异常后，监测系统解除警报，现场人员在上位机填写异常情况说明以及记录异常处理过程，留待后续追溯。监测系统还设有摄像头，用于监控现场情况，视频文件存于上位机中，dtu传送监测数据时，将照片文件上传至服务器，上位机中的视频文件与服务器中的照片文件也可作为后续对异常情况处理追溯的依据。

本发明的一种基于大数据字段自动拼接算法的监测方法及系统，利用nosql数据库mongodb无“关系”的特点，将excel或xml中数据字段拼接到mongodb表头中，用户通过模板自定义数据库字段，并导入数据采集仪采集到的各监测点数据；用户可在前台界面填入自定义的监测方法的公式，数据库可依据用户填入的公式，在后台自动生成监测方法的算法。本发明提高了监测系统在不同监测方法的适用性，并提高开发人员的工作效率，节约开发成本。通常来讲，开发人员在接到客户提供的监测方法，通过需求分析、需求设计、研发、测试、维护，需要大量的工作日和研发成本。此发明可让用户自行填写所需要监测方法的公式及算法需求，后台自动生成相对性的算法及用户所需求的数据，节约了大量的研发成本，提升研发效率。可通过在数据采集装置上连接不同的监测仪器(传感装置)、为系统设定不同监测项目涉及的公式的方式，使此监测系统广泛应用于多种类型的建筑工程项目监测，提高了本监测系统在不同建筑工程项目的适用性，节约了监测成本；监测系统将计算出的监测结果与预设的警示值进行比对，以短信等方式对相关责任人进行提示，提高了监测效率，使监测结果能更快得到处理。本监测系统的监测数据现场实时传输，保证数据分析过程的透明度和及时性，保证数据安全，通过可视化模块形成图文展示，为数据和档案管理提供高效的管理工具、实现异地远程协同工作。

通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解应当理解，可以以硬件、软件、固件、中间件、代码或其任何恰当组合来实现这里描述的实施例。对于硬件实现，处理器可以在一个或多个下列单元中实现：专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、处理器、控制器、微控制器、微处理器、设计用于实现这里所描述功能的其他电子单元或其组合。对于软件实现，实施例的部分或全部流程可以通过计算机程序来指令相关的硬件来完成。实现时，可以将上述程序存储在计算机可读介质中或作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质，其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是计算机能够存取的任何可用介质。计算机可读介质可以包括但不限于ram、rom、eeprom、cd-rom或其他光盘存储、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。