本发明实施例涉及大数据处理技术领域，尤其涉及一种有害气体浓度预测的方法、装置、设备及可读存储介质。
背景技术
随着人们生活水平的提高，人们追求的不再只是温饱问题，而是健康的生活方式。特别是对空气和对水的品质要求越来越高。
目前人们生活在其中的空气中具有有害气体。在有害气体浓度超标后，对人们身体有害，甚至具有致癌作用。如甲醛，其为无色气体但有特殊的刺激气味，对人眼、鼻等有刺激作用，在甲醛浓度超标后会有致癌作用。
现有技术中通过有害气体检测装置能够检测出某一区域存在的有害气体浓度。但这种有害气体检测装置并没有预测作用，人们只有在知道有害气体浓度超标后才采取有效的措施，严重影响人们的身体健康。所以目前亟需一种有害气体浓度的预测方法和装置，能够对空气中的有害气体浓度进行预测，以便人们能够针对有害气体浓度采取预防措施，保证人们的身体不受有害气体的侵害。
技术实现要素：
本发明实施例提供一种有害气体浓度预测的方法、装置、设备及可读存储介质，该方法解决了现有技术中没有有害气体浓度的预测方法，导致人们只有在知道有害气体浓度超标后才采取有效的措施，严重影响人们的身体健康的技术问题。
本发明实施例提供一种有害气体浓度预测的方法，包括：
获取空气质量监控平台推送的空气质量数据；
对所述空气质量数据进行处理，以获取当前统计周期内某一区域的有害气体浓度时间序列数据；
根据所述当前统计周期内的某一区域的有害气体浓度时间序列数据对预设时间段后的有害气体浓度进行预测。
进一步地，如上所述的方法，所述空气质量数据为增量文件数据；
所述获取空气质量监控平台推送的空气质量数据之后，还包括：
对每个统计周期内的增量文件数据进行合并；
将所述增量文件数据存储到分布式文件系统中；
采用spark计算框架并行读取所述增量文件数据。
进一步地，如上所述的方法，所述对所述空气质量数据进行处理，以获取当前统计周期内某一区域的有害气体浓度时间序列数据，具体包括：
提取增量文件数据中的关键字段；
对同一区域的所述关键字段以时间顺序进行合并；
提取当前统计周期内某一区域的关键字段中的有害气体浓度，以形成害气体浓度时间序列数据。
进一步地，如上所述的方法，所述关键字段至少包括：时间戳，区域标识符，有害气体标识符及浓度数值，设备序列号。
进一步地，如上所述的方法，所述根据所述当前统计周期内的某一区域的有害气体浓度时间序列数据对预设时间段后的有害气体浓度进行预测，具体包括：
将所述当前统计周期内的某一区域的有害气体浓度时间序列数据输入到优化后的arma预测模型中；
通过所述优化后的arma预测模型对预设时间段后的有害气体浓度进行预测；
输出预设时间段后的有害气体浓度。
本发明实施例提供一种有害气体浓度预测的装置，包括：
获取模块，用于获取空气质量监控平台推送的空气质量数据；
处理模块，用于对所述空气质量数据进行处理，以获取当前统计周期内某一区域的有害气体浓度时间序列数据；
预测模块，用于根据所述当前统计周期内的某一区域的有害气体浓度时间序列数据对预设时间段后的有害气体浓度进行预测。
进一步地，如上所述的装置，所述空气质量数据为增量文件数据；
所述装置还包括：
合并模块，用于对每个统计周期内的增量文件数据进行合并；
存储模块，用于将所述增量文件数据存储到分布式文件系统中；
读取模块，用于采用spark计算框架并行读取所述增量文件数据。
进一步地，如上所述的装置，所述处理模块，具体用于：
提取增量文件数据中的关键字段；对同一区域的所述关键字段以时间顺序进行合并；提取当前统计周期内某一区域的关键字段中的有害气体浓度，以形成害气体浓度时间序列数据。
进一步地，如上所述的装置，所述关键字段至少包括：时间戳，区域标识符，有害气体标识符及浓度数值，设备序列号。
进一步地，如上所述的装置，所述预测模块，具体用于：
将所述当前统计周期内的某一区域的有害气体浓度时间序列数据输入到优化后的arma预测模型中；通过所述优化后的arma预测模型对预设时间段后的有害气体浓度进行预测；输出预设时间段后的有害气体浓度。
本发明实施例提供一种终端设备，包括：
存储器，处理器以及计算机程序；
其中，所述计算机程序存储在所述存储器中，并被配置为由所述处理器执行以实现如上述任一项所述的方法。
本发明提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行以实现如上述中任一项所述的方法。
本发明实施例提供一种有害气体浓度预测的方法、装置、设备及可读存储介质，通过获取空气质量监控平台推送的空气质量数据；对空气质量数据进行处理，以获取当前统计周期内某一区域的有害气体浓度时间序列数据；根据当前统计周期内的某一区域的有害气体浓度时间序列数据对预设时间段后的有害气体浓度进行预测。能够根据最近一段时间的有害气体浓度预测预设时间段后的有害气体浓度，使人们能够针对预测出的有害气体浓度采取预防措施，保证人们的身体不受有害气体的侵害。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明有害气体浓度预测的方法的应用场景图；
图2为本发明有害气体浓度预测的方法实施例一的流程图；
图3为本发明有害气体浓度预测的方法实施例二的流程图；
图4为本发明有害气体浓度预测的装置实施例一的结构示意图；
图5为本发明有害气体浓度预测的装置实施例二的结构示意图；
图6为本发明终端设备实施例一的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，本文中使用的术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。
图1为本发明有害气体浓度预测的方法的应用场景图。如图1所示，本实施例的有害气体浓度预测的系统包括：空气质量监控平台1及有害气体浓度预测的装置。该空气质量监控平台可以为jasper平台，该jasper平台中为基于云的物联网平台。该有害气体浓度预测的装置集成在终端设备2中，该终端设备可以为无线终端或有线终端。无线终端可以是指向用户提供语音和/或其他业务数据连通性的设备，具有无线连接功能的手持式设备、或连接到无线调制解调器的其他处理设备。无线终端可以是移动终端，如移动电话(或称为“蜂窝”电话)和具有移动终端的计算机，例如，可以是便携式、袖珍式、手持式、计算机内置的或者车载的移动装置，它们与无线接入网交换语言和/或数据。再例如，无线终端还可以是个人通信业务(personalcommunicationservice，简称pcs)电话、无绳电话、会话发起协议(sessioninitiationprotocol，简称sip)话机、无线本地环路(wirelesslocalloop，简称wll)站、个人数字助理(personaldigitalassistant，简称pda)等设备。无线终端也可以称为远程终端(remoteterminal)、接入终端(accessterminal)、用户终端(userterminal)、用户设备(userdeviceoruserequipment)，在此不作限定。可选的，上述终端设备2还可以是智能手表、平板电脑等设备。
其中，该空气质量监控平台1与有害气体浓度预测的装置的通信方式可以为：适用于全球移动通讯(英文全称为：globalsystemofmobilecommunication，简称gsm)、码分多址(英文全称为：codedivisionmultipleaccess，简称cdma)、宽带码分多址(英文全称为：widebandcodedivisionmultipleaccess，简称wcdma)、时分同步码分多址(英文全称为：timedivision-synchronouscodedivisionmultipleaccess，简称td-scdma)、长期演进(英文全称为：longtermevolution，简称lte)系统及未来的5g等网络制式。
图2为本发明有害气体浓度预测的方法实施例一的流程图，如图1所示，本实施例的执行主体为有害气体浓度预测的装置。则本实施例提供的有害气体浓度预测的方法包括以下几个步骤。
步骤201，获取空气质量监控平台推送的空气质量数据。
具体地，本实施例中，空气质量监控平台可以为jasper平台。jasper平台是基于云的物联网平台，其将不同地区的业务系统与无线技术完整融合，协助处理大数据的平台。该空气质量检测平台通过在全世界范围内的每个区域部署空气质量检测的设备来获取空气质量数据。
其中，该空气质量数据可以以文件的形式存在。文件的命名可以为该文件推送的时间或其他方式命名。该空气质量数据可以包括：数据采集的时间戳，区域标识符，有害气体标示符及浓度数值，采集设备序列号，天气情况，空气质量评价意见，建议措施等。
本实施例中，对一条空气质量数据进行示例性说明为："2"|"2016-12-2310:48:12"|"柒贰零720"|"海淀","cg3001d3"|"晴"|"1482461280000"|null|"25.1"|"11.6"|"45"|"17"|"ch2o:0.0192"|"0.315"|"13"|"19"|"2612"|"-1"|"36"|"28"|"16"|"28"|"36"|"-1"|"室内过于干燥，建议开启加湿器；室内tvoc超标，室外空气优良，建议开窗通风；室内eco超标，室外空气优良，建议开窗通风；"|"fridec2310:48:122016"|"720测试点"|。
其中，"2016-12-2310:48:12"表示时间戳；"海淀","cg3001d3"表示区域标示符；"0.0192"表示有害气体为甲醛，其浓度为0.0192；"柒贰零720"表示设备序列号；"晴"表示天气情况；"室内过于干燥，建议开启加湿器；室内tvoc超标，室外空气优良，建议开窗通风；室内eco超标，室外空气优良，建议开窗通风；"表示空气质量评价意见及建议措施。
步骤202，对空气质量数据进行处理，以获取当前统计周期内某一区域的有害气体浓度时间序列数据。
其中，有害气体可以为甲醛，一氧化碳，硫化氢，一氧化氮等。
具体地，本实施例中，对空气质量数据进行处理具体可以为：对每个统计周期内的增量文件数据进行合并处理；将合并处理后的增量文件数据进行存储。读取增量文件数据，提取出当前统计周期内某一区域的关键字段中的有害气体浓度，以形成害气体浓度时间序列数据。
其中，对每个统计周期内的增量文件数据进行合并处理时，可以通过每个增量文件数据的获取时间进行合并。将合并处理后的增量文件数据进行存储时可采用分布式数据库或分布式文件系统(简称：hdfs)进行存储。读取增量文件数据时可采用并行读取的方法或串行读取的方法，本实施例中对此不做限定。
步骤203，根据当前统计周期内的某一区域的有害气体浓度时间序列数据对预设时间段后的有害气体浓度进行预测。
具体地，本实施例中，根据当前统计周期内的某一区域的有害气体浓度时间序列数据对预设时间段后的有害气体浓度进行预测具体可以为将当前统计周期内的某一区域的有害气体浓度时间序列数据输入到预测模型中，由预测模型根据当前统计周期内的某一区域的有害气体浓度时间序列数据预测出预设时间段后的有害气体浓度。
其中，预测模型可以为arma模型或其他预测模型，本实施例中对此不做限定。
其中，当前统计周期的统计周期为最近一段时间。预设时间段可以为1天，2天或其他适宜的数值。如当前统计周期为最近一周时间，预测的为一周时间后的第二天的有害气体浓度。
本实施例提供的有害气体浓度预测的方法，通过获取空气质量监控平台推送的空气质量数据；对空气质量数据进行处理，以获取当前统计周期内某一区域的有害气体浓度时间序列数据；根据当前统计周期内的某一区域的有害气体浓度时间序列数据对预设时间段后的有害气体浓度进行预测。能够根据最近一段时间的有害气体浓度预测预设时间段后的有害气体浓度，使人们能够针对预测出的有害气体浓度采取预防措施，保证人们的身体不受有害气体的侵害。
图3为本发明有害气体浓度预测的方法实施例二的流程图，如图3所示，本实施例提供的有害气体浓度预测的方法，是在本发明有害气体浓度预测的方法实施例一的基础上，对步骤202-步骤203的进一步细化，并且还包括了空气质量数据的存储和读取的步骤，则本实施例提供的有害气体浓度预测的方法包括以下步骤。
步骤301，获取空气质量监控平台推送的空气质量数据。
其中，空气质量监控平台推送的空气质量数据为增量文件数据，该增量文件的名称为推送的该增量文件的时间。
步骤302，对每个统计周期内的增量文件数据进行合并。
进一步地，本实施例中，将推送时间转换为世界标准时间(简称：utc时间)，并将增量文件中采集的时间转换为utc时间。然后按统计周期将增量文件数据进行合并。
其中，统计周期可以为一周时间，或两周时间，本实施例中对此不做限定。
本实施例中，按统计周期将增量文件数据进行合并形成合并后的增量文件后，将合并后的增量文件的命名为：最前面的增量文件名称和最后面的增量文件名称之和。如对2018年3月3日到2018年3月9日得到的增量文件进行合并形成的合并后的增量文件的命名为20180303-20180309。
步骤303，将增量文件数据存储到分布式文件系统中。
进一步地，本实施例中，增量文件数据存储到分布式文件系统(简称：hdfs)中，由于hdfs有着高容错性的特点，能够部署在低廉的硬件上，所以便于数据的管理和维护。
步骤304，采用spark计算框架并行读取增量文件数据。
进一步地，本实施例中，采用read.textfile接口从hdfs系统中读取增量文件数据。在读取增量文件数据前，由于该增量文件数据中涉及到文本字段，会有一定比例的换行符输入。所以为了保证每次能够读取到完整的一条数据，由ascii码02字符作为结束符。即将每条数据中的末尾换行符替换为ascii码02字符，以通过read.textfile接口每次读取一条完整的数据后，将该条完整的数据转换为数据框格式的数据，以便后续对该数据框格式的数据进行处理。
步骤305，提取增量文件数据中的关键字段。
其中，关键字段至少包括：时间戳，区域标识符，有害气体标识符及浓度数值，设备序列号。
进一步地，本实施例中，首先根据每条数据中的分隔符“|”获取每个关键字段在每条数据中的位置，然后通过位置提取该关键字段。
如在本发明有害气体浓度预测的方法实施例一中对一条空气质量数据的示例性说明中，时间戳，区域标识符，有害气体标识符及浓度数值，设备序列号分别位于该条数据中的第2位，第4位，第13位及第27位。则从第2位，第4位，第13位及第27位分别提取该条数据中的时间戳，区域标识符，有害气体标识符及浓度数值，设备序列号。
其中，本实施例中，该有害气体可以为甲醛。
步骤306，对同一区域的关键字段以时间顺序进行合并。
进一步地，本实施例中，通过区域标识符获取同一区域的关键字段，并通过时间戳将该同一区域的关键字段以时间顺序进行合并。在进行合并时，标注出每个统计周期的关键字段。
步骤307，提取当前统计周期内某一区域的关键字段中的有害气体浓度，以形成害气体浓度时间序列数据。
进一步地，本实施例中，若对某一区域的预设时间段后的有害气体浓度进行预测，则提取出该区域的当前统计周期内的有害气体浓度，形成有害气体浓度时间序列数据。
步骤308，将当前统计周期内的某一区域的有害气体浓度时间序列数据输入到优化后的arma预测模型中。
步骤309，通过优化后的arma预测模型对预设时间段后的有害气体浓度进行预测，输出预设时间段后的有害气体浓度。
进一步地，本实施例中，预测模型为优化后的arma预测模型。该arma预测模型中具有三个调节参数，分别为p，d，q。其中，p代表预测模型中采用的时间序列数据本身的滞后数，d代表时间序列数据需要进行几阶差分化，才是稳定的。q代表预测模型中采用的预测误差的滞后数。在进行arma预测模型的优化时，每个训练样本为每个统计周期的有害气体浓度时间序列数据，通过预测结果和真实结果来调节三个参数，直到预测结果和真实结果的差距在预设范围内为止。
本实施例中，在获得优化后的arma预测模型后，将当前统计周期内的某一区域的有害气体浓度时间序列数据输入到优化后的arma预测模型中，以使优化后的arma预测模型对预设时间段后的有害气体浓度进行预测，并将预测出的结果进行输出。
本实施例提供的有害气体浓度预测的方法，通过获取空气质量监控平台推送的空气质量数据，对每个统计周期内的增量文件数据进行合并，将增量文件数据存储到分布式文件系统中，采用spark计算框架并行读取增量文件数据，提取增量文件数据中的关键字段，对同一区域的关键字段以时间顺序进行合并，提取当前统计周期内某一区域的关键字段中的有害气体浓度，以形成害气体浓度时间序列数据，将当前统计周期内的某一区域的有害气体浓度时间序列数据输入到优化后的arma预测模型中，通过优化后的arma预测模型对预设时间段后的有害气体浓度进行预测，输出预设时间段后的有害气体浓度，不仅能够预测出有害气体浓度，而且通过将增量文件数据存储到分布式文件系统中便于对数据的管理和维护，采用spark计算框架并行读取增量文件数据加速了数据读取速度。通过优化后的arma预测模型预测有害气体的浓度，提高了预测的准确度。
本领域普通技术人员可以理解：实现上述各方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成。前述的程序可以存储于一可读取存储介质中。该程序在执行时，执行包括上述各方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
图4为本发明有害气体浓度预测的装置实施例一的结构示意图，如图4所示，本实施例提供的有害气体浓度预测的装置包括：获取模块41，处理模块42，预测模块43。
其中，获取模块41，用于获取空气质量监控平台推送的空气质量数据。处理模块42，用于对空气质量数据进行处理，以获取当前统计周期内某一区域的有害气体浓度时间序列数据。预测模块43，用于根据当前统计周期内的某一区域的有害气体浓度时间序列数据对预设时间段后的有害气体浓度进行预测。
本实施例提供的有害气体浓度预测的装置可以执行图2所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图5为本发明有害气体浓度预测的装置实施例二的结构示意图，如图5所示，本实施例提供的有害气体浓度预测的装置在本发明有害气体浓度预测的装置实施例一的基础上，进一步地，还包括：合并模块51，存储模块52及读取模块53。
进一步地，空气质量数据为增量文件数据。合并模块51，用于对每个统计周期内的增量文件数据进行合并。存储模块52，用于将增量文件数据存储到分布式文件系统中。读取模块53，用于采用spark计算框架并行读取增量文件数据。
进一步地，本实施例中，处理模块42，具体用于：提取增量文件数据中的关键字段；对同一区域的关键字段以时间顺序进行合并；提取当前统计周期内某一区域的关键字段中的有害气体浓度，以形成害气体浓度时间序列数据。
进一步地，关键字段至少包括：时间戳，区域标识符，有害气体标识符及浓度数值，设备序列号。
进一步地，预测模块43，具体用于：将当前统计周期内的某一区域的有害气体浓度时间序列数据输入到优化后的arma预测模型中；通过优化后的arma预测模型对预设时间段后的有害气体浓度进行预测；输出预设时间段后的有害气体浓度。
本实施例提供的有害气体浓度预测的装置可以执行图3所示方法实施例的技术方案，其实现原理和技术效果类似，此处不再赘述。
图6为本发明终端设备实施例一的结构示意图，包括：存储器61，处理器62以及计算机程序。
其中，计算机程序存储在存储器61中，并被配置为由处理器62执行以实现本发明有害气体浓度预测的方法实施例一或本发明有害气体浓度预测的方法实施例二中的方法。
其中，相关说明可以对应参见图2至图3的步骤所对应的相关描述和效果进行理解，此处不做过多赘述。
其中，本实施例中，存储器61和处理器62通过总线63连接。
本发明实施例还提供一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行以实现本发明有害气体浓度预测的方法实施例一或本发明有害气体浓度预测的方法实施例二中的方法。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。