一种实现雾霾在线监测的大数据处理方法与流程

本发明涉及雾霾监测技术领域，具体为一种实现雾霾在线监测的大数据处理方法。

背景技术：

雾霾，是雾和霾的组合词。雾是由大量悬浮在近地面空气中的微小水滴或冰晶组成的气溶胶系统。多出现于秋冬季节，是近地面层空气中水汽凝结的产物。雾的存在会降低空气透明度，使能见度恶化，如果目标物的水平能见度降低到1000米以内，就将悬浮在近地面空气中的水汽凝结物的天气现象称为雾。霾，也称灰霾，空气中的灰尘、硫酸、硝酸、有机碳氢化合物等粒子也能使大气混浊。将目标物的水平能见度在1000～10000米的这种现象称为轻雾或霭，形成雾时大气湿度应该是饱和的，由于液态水或冰晶组成的雾散射的光与波长关系不大，因而雾看起来呈乳白色或青白色和灰色。雾霾常见于城市。雾霾是特定气候条件与人类活动相互作用的结果。高密度人口的经济及社会活动必然会排放大量细颗粒物（pm2.5），一旦排放超过大气循环能力和承载度，细颗粒物浓度将持续积聚，此时如果受静稳天气等影响，极易出现大范围的雾霾。现有的大型雾霾监测仪监测数据量巨大，每秒都会得到上百个数据，人工进行数据存储和传输到分析设备中工作量十分大，且原始数据十分复杂，原始数据中有许多无效数据，这些无效数据会影响分析设备的分析结果，导致结果产生较大的误差。

技术实现要素：

针对现有技术的不足，本发明提供了一种实现雾霾在线监测的大数据处理方法，具备能够降低误差和提高数据处理速度等优点，解决了现有技术中数据处理结果误差较大和处理速度慢的问题。

为实现上述能够降低误差和提高数据处理速度的目的，本发明提供如下技术方案：

一种实现雾霾在线监测的大数据处理方法，具体方法包括以下步骤：

s1、雾霾监测仪将数据通过数据传输设备将数据转换为电信号传输到数据接收设备，数据接收设备接收数据信息进行数据信息初步汇总；

s2、数据接收设备将数据信息转换为电信号传输到数据收集处理设备，数据收集处理设备对汇总的数据进行初步的分析，根据预先设定的数据筛选条件进行对比筛选；

s3、数据收集处理设备进行筛选后，将无效数据、非法数据和有效数据分离，对无效数据和非法数据进行及时的删除粉碎处理；

s4、数据收集设备将筛选出的有效数据传输到数据库中保存备份；

s5、数据收集设备将有效数据传输到数据分析设备，数据分析设备对数据进行初步分析计算，得到初步分析结果；

s6、数据分析设备自动调用数据库中存储的原有数据，数据分析设备将初步分析结果与数据库中调用的数据进行对比分析，得到最终结果。

优选的，所述数据分析设备对不同时段的最终结果进行对比分析，根据分析结果预测未来几天空气中pm2.5的含量，判断未来几天是否会出现雾霾天气。

优选的，所述数据分析设备将最终结果数据传输到数据库进行储存备份。

优选的，所述数据库将数据分为有效数据和最终结果数据，数据库会定期对存储的数据进行删除，删除顺序根据存储时间进行。

优选的，所述雾霾监测仪周期性的进行数据传输。

优选的，所述数据分析设备调用数据库中的数据时，会根据时间顺序调用最新存储的数据。

优选的，所述数据分析设备通过网络将最终结果数据进行公开共享。

优选的，所述数据接收设备对数据进行时段划分，对不同时段的数据进行整合。

与现有技术相比，本发明提供了一种实现雾霾在线监测的大数据处理方法，具备以下有益效果：

1、该实现雾霾在线监测的大数据处理方法，通过在数据收集处理设备中进行筛选条件预设，将非法数据和无效数据的特征数值输入收集处理设备的筛选模块，筛选时，数据收集处理设备将接收到的数据与预设的条件数值进行逐一对比，当发现接收的数据的特征与预设的条件数据相同时，将此条数据判定为非法数据或无效数据，数据收集处理设备将此条数据取出进行删除粉碎处理，避免非法数据或无效数据对数据分析设备造成干扰，降低了数据分析的误差，降低了数据分析设备的工作难度，提高了数据分析的速度；

2、该实现雾霾在线监测的大数据处理方法，整个处理流程全自动进行，无需人工手动进行数据的转移和存储，通过电信号和网络信号进行数据传输，自动进行数据收集、筛选、删除和分析，较好的提高了数据分析处理的速度。

附图说明

图1为本发明提出的一种实现雾霾在线监测的大数据处理方法的流程图；

图2为本发明提出的一种实现雾霾在线监测的大数据处理方法的数据库的示意图。

具体实施方式

下面将对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1-2，一种实现雾霾在线监测的大数据处理方法，具体方法包括以下步骤：

s1、雾霾监测仪将数据通过数据传输设备将数据转换为电信号传输到数据接收设备，数据接收设备接收数据信息进行数据信息初步汇总，雾霾监测仪通过光线效应对空气中pm2.5的浓度进行检测，pm2.5检测仪检测大气中粒径小于2.5μm细颗粒物质量的检测仪，虽然细颗粒物只是地球大气成分中含量很少的组分，但它对空气质量和能见度等有重要的影响，细颗粒物粒径小，有些细颗粒物富含大量的有毒、有害物质且在大气中的停留时间长、输送距离远，因而对人体健康和大气环境质量的影响更大，由专用的激光模块产生一束特定的激光,当颗粒物经过时,其信号会被超高灵敏的数字电路模块检测到,通过对信号数据进行智能识别分析得到颗粒计数和颗粒大小,根据专业的标定技术得到粒径分布与质量浓度转换公式,最终得到跟官方单位统一的质量浓度，它能同时对两个粒径档进行检测分析，仪器默认测量设置为前，也就是此时用户将仪器拿到进风口处测量单位体积内尘埃粒子个数20秒后自动显示设置为后，用户此时就拿仪器到出风口处测量20秒，测量完后根据当前测量的进出气风口尘埃粒子个数自动计算出净化效率，每秒进行上百次采集检测，提高检测数据的准确性，使检测数据无限接近与真实数据，数据接收设备能够对数据进行初步的汇总，对不同时段的数据进行归类，提高数据的整齐性，避免海量的数据混合在一起，导致数据处理困难，影响分析速度；

s2、数据接收设备将数据信息转换为电信号传输到数据收集处理设备，数据收集处理设备对汇总的数据进行初步的分析，根据预先设定的数据筛选条件进行对比筛选，数据收集处理设备能够对汇总的数据进行简单的分析处理，通过在数据收集处理设备中进行筛选条件预设，将非法数据和无效数据的特征数值输入收集处理设备的筛选模块，筛选时，数据收集处理设备将接收到的数据与预设的条件数值进行逐一对比，当发现接收的数据的特征与预设的条件数据相同时，将此条数据判定为非法数据或无效数据，数据收集处理设备将此条数据取出进行删除粉碎处理；

s3、数据收集设备处理进行筛选后，将无效数据、非法数据和有效数据分离，对无效数据和非法数据进行及时的删除粉碎处理，数据收集处理设备将无效数据和非法数据单独划分到特定的区域进行删除粉碎，避免非法数据和无效数据大量占用收据收集处理设备的存储空间，避免非法数据和无效数据被传输到数据分析设备，导致数据分析设备对非法数据和无效数据进行分析，影响分析结果，导致分析结果误差较大，影响最终结果；

s4、数据收集设备将筛选出的有效数据传输到数据库中保存备份，数据库，简而言之可视为电子化的文件柜——存储电子文件的处所，用户可以对文件中的数据运行新增、截取、更新、删除等操作，云数据库的特性有：实例创建快速、支持只读实例、故障自动切换、数据备份、binlog备份、访问白名单、监控与消息通知，云数据库能够对数据自动进行归类划分。有效数据传输到数据库中进行分类和存储，能够有效的避免数据丢失，且数据分析设备能够调用数据库中的数据进行对比分析，提高了数据分析设备分析结果的准确性，且数据库中的数据能够进行数据共享，提高各个地区的雾霾检测数据库的数据存储量，形成大数据库，提高了基础数据量，有利于雾霾的预测与分析；

s5、数据收集设备将有效数据传输到数据分析设备，数据分析设备对数据进行初步分析计算，得到初步分析结果，数据分析设备对有效数据进行分析处理，判断雾霾监测仪检测到的数据的具体规律，不同时间段空气中pm2.5含量的变化，从而判断雾霾形成的原因，及时的找到雾霾形成的根源，以便于根据实际情况定制相对应的治理措施；

s6、数据分析设备自动调用数据库中存储的原有数据，数据分析设备将初步分析结果与数据库中调用的数据进行对比分析，得到最终结果，数据分析设备对数据库中的存储的数据进行调取，将现有的分析结果与数据苦衷存储的设备进行逐一对比，从而发现其中的规律，然后根据规律形成折线图，判断雾霾的走势图。

数据分析设备对不同时段的最终结果进行对比分析，根据分析结果预测未来几天空气中pm2.5的含量，判断未来几天是否会出现雾霾天气，对未来几天的雾霾情况进行预测，提前进行预防措施，降低雾霾造成的损失，提前预测雾霾的情况，提前发布未来几天的雾霾情况，使大家能够提前知道未来几天的空气质量情况，然后根据具体的空气质量情况做预防措施，对生活活动作出相应的改变，对于驾驶汽车的司机能够根据预测数据提前预防，降低行车速度，避免车祸的产生。

数据分析设备将最终结果数据传输到数据库进行储存备份，能够有效的避免数据丢失，且数据分析设备能够调用数据库中的数据进行对比分析，提高了数据分析设备分析结果的准确性，且数据库中的数据能够进行数据共享，提高各个地区的雾霾检测数据库的数据存储量，形成大数据库，提高了基础数据量，使用时，数据分析设备将初步分析结果与数据库中调用的数据进行对比分析，得到最终结果，数据分析设备对数据库中的存储的数据进行调取，将现有的分析结果与数据苦衷存储的设备进行逐一对比，从而发现其中的规律，然后根据规律形成折线图，根据折线图的走势对未来几天雾霾的大致情况进行判断，判断雾霾的走势图，有利于雾霾的预测与分析。

数据库将数据分为有效数据和最终结果数据，数据库会定期对存储的数据进行删除，删除顺序根据存储时间进行，数据分析设备调用数据库中的数据时，会根据时间顺序调用最新存储的数据，数据库的存储空间是固定的，数据一直存储到数据库中，会占用数据库的存储空间，导致数据库运行速度降低，更严重会导致数据库满存，所以需要定期对数据库中的最早的数据进行删除，删除数据根据时间进行删除，删除最早的数据保留最近存储的数据，不会删除具有较大价值的数据，避免造成数据损失，提高了数据处理的安全性。

雾霾监测仪周期性的进行数据传输，雾霾检测仪对数据进行时段划分，对不同时段的数据进行整合，数据接收设备对不同时段的数据进行归类整合，例如将数据划分为早上、中午和晚上，然后分析早上、中午和晚上雾霾的情况，进行对比，判断哪个时间段雾霾较为严重，从而对雾霾的高峰期进行判断，对雾霾进行集中治理，对雾霾较为严重的时段进行预防，从而提高雾霾治理效果，提高大数据分析的多样性，提高雾霾数据处理的丰富性，从而得到多样的分析结果。

数据分析设备通过网络将最终结果数据进行公开共享，对最终结果数据进行网络共享，能够使大家实时了解雾霾情况，从而对生活安排作出相对应的处理，提高防备措施，避免雾霾影响身体健康。

数据接收设备对数据进行时段划分，对不同时段的数据进行整合，数据接收设备对不同时段的数据进行归类整合，例如将数据划分为早上、中午和晚上，然后分析早上、中午和晚上雾霾的情况，进行对比，判断哪个时间段雾霾较为严重，从而对雾霾的高峰期进行判断，对雾霾进行集中治理，对雾霾较为严重的时段进行预防，从而提高雾霾治理效果，提高大数据分析的多样性，提高雾霾数据处理的丰富性，从而得到多样的分析结果。

本方法还适用于大部分的空气质量检测,空气质量检测，是指对空气质量的好坏进行检测，空气质量的好坏反映了空气中污染物浓度的高低。空气污染是一个复杂的现象，在特定时间和地点空气污染物浓度受到许多因素影响。来自固定和流动污染源的人为污染物排放大小是影响空气质量的最主要因素之一，其中包括车辆、船舶、飞机的尾气、工业企业生产排放、居民生活和取暖、垃圾焚烧等。空气质量检测与雾霾监测基本相同，将雾霾监测仪转换为空气质量检测仪即可完成对空气质量监测数据的大数据处理。

综上所述，该实现雾霾在线监测的大数据处理方法，使用时，通过在数据收集处理设备中进行筛选条件预设，将非法数据和无效数据的特征数值输入收集处理设备的筛选模块，筛选时，数据收集处理设备将接收到的数据与预设的条件数值进行逐一对比，当发现接收的数据的特征与预设的条件数据相同时，将此条数据判定为非法数据或无效数据，数据收集处理设备将此条数据取出进行删除粉碎处理，避免非法数据或无效数据对数据分析设备造成干扰，降低了数据分析的误差，降低了数据分析设备的工作难度，提高了数据分析的速度，数据分析设备能够调用数据库中的数据进行对比分析，提高了数据分析设备分析结果的准确性，且数据库中的数据能够进行数据共享，提高各个地区的雾霾检测数据库的数据存储量，形成大数据库，提高了基础数据量，有利于雾霾的预测与分析，整个处理流程全自动进行，无需人工手动进行数据的转移和存储，通过电信号和网络信号进行数据传输，自动进行数据收集、筛选、删除和分析，较好的提高了数据分析处理的速度，根据分析结果预测未来几天空气中pm2.5的含量，判断未来几天是否会出现雾霾天气，对未来几天的雾霾情况进行预测，提前进行预防措施，降低雾霾造成的损失，提前预测雾霾的情况，提前发布未来几天的雾霾情况，使大家能够提前知道未来几天的空气质量情况，然后根据具体的空气质量情况做预防措施，对生活活动作出相应的改变，对于驾驶汽车的司机能够根据预测数据提前预防，降低行车速度，避免造成危险。

需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。