本发明涉及数据处理技术领域，具体而言，涉及一种数据管理方法及装置。
背景技术：
在水文综合监测领域中，通常需要结合卫星、航空遥感及地面的监测终端，以实现各种气象、水文及生态系统的监测。在监测过程中，因监测的地域面积较广，涉及的传感器种类及数量较多，得到的监测数据的种类繁多，数据量大。在现有技术中，通常由人工对监测数据进行分类处理，以得到相应的图表。然而，人工绘图效率低下，在数据转移过程中，容易出错，不利于处理大量数据，也就是人工作业的方式并不适用于处理大量的监测数据。
技术实现要素：
为了克服上述现有技术中的不足，本发明提供一种数据管理方法及装置，可对大量待处理数据自动处理形成观测报告，有助于提高对数据处理的效率，从而解决上述问题。
为了实现上述目的，本发明较佳实施例所提供的技术方案如下所示：
本发明较佳实施例提供一种数据管理方法，应用于管理终端，所述方法包括：
获得待处理数据，并将所述待处理数据写入消息队列；
从所述消息队列读取所述待处理数据，并将读取的所述待处理数据写入所述管理终端中的系统表单；
每隔第一预设时长，将在第二预设时长内写入到所述系统表单的待处理数据作为目标待处理数据，并将所述目标待处理数据写入临时表，其中，所述第二预设时长小于或等于所述第一预设时长；
将所述临时表中的目标待处理数据中的变量数据在对应预设阈值范围内的变量数据作为待绘图数据，并根据所述待绘图数据及预设图像生成策略生成观测报告，其中，所述观测报告包括与所述待绘图数据对应的统计图。
可选地，上述管理终端与水文观测系统中的至少一个数据采集装置通信连接，每个所述数据采集装置预先设置有身份标识，所述获得待处理数据的步骤，包括：
从至少一个所述数据采集装置中的至少部分数据采集装置中获得所述待处理数据，其中，所述待处理数据与所述数据采集装置的身份标识相关联。
可选地，上述系统表单包括至少一个子表单，所述方法还包括：
每隔第三预设时长创建一个子表单，并将所述子表单作为目标子表单，所述目标子表单用于写入自创建所述目标子表单之后至创建新的子表单期间从所述消息队列读取的所述待处理数据，其中，所述第三预设时长大于等于所述第一预设时长。
可选地，上述将读取的所述待处理数据写入所述管理终端中的系统表单的步骤之前，所述方法还包括：
判断所述管理终端是否存在所述目标子表单，若为否，创建所述目标子表单。
可选地，上述将所述临时表中的目标待处理数据中的变量数据在对应预设阈值范围内的变量数据作为待绘图数据的步骤，包括：
将所述临时表中的目标待处理数据中的变量数据在对应预设阈值范围内的变量数转换为json格式的变量数据，并将json格式的所述变量数据作为所述待绘图数据。
可选地，上述管理终端与预先配置有用户账户的服务器通信连接，所述方法还包括：
将所述观测报告转换为pdf格式的观测报告，并将pdf格式的所述观测报告发送至所述服务器。
可选地，上述根据所述待绘图数据及预设图像生成策略生成观测报告的步骤之后，所述方法还包括：
清除所述临时表中的所述目标待处理数据。
可选地，上述统计图包括：条形统计图、折线统计图、象形统计图及扇形统计图中的至少一种统计图。
本发明较佳实施例还提供一种数据管理装置，应用于管理终端，所述数据管理装置包括：
获取写入单元，用于获得待处理数据，并将所述待处理数据写入消息队列；
第一读取写入单元，用于从所述消息队列读取所述待处理数据，并将读取的所述待处理数据写入所述管理终端中的系统表单；
第二读取写入单元，用于每隔第一预设时长，将在第二预设时长内写入到所述系统表单的待处理数据作为目标待处理数据，并将所述目标待处理数据写入临时表，其中，所述第二预设时长小于或等于所述第一预设时长；
报告生成单元，用于将所述临时表中的目标待处理数据中的变量数据在对应预设阈值范围内的变量数据作为待绘图数据，并根据所述待绘图数据及预设图像生成策略生成观测报告，其中，所述观测报告包括与所述待绘图数据对应的统计图。
可选地，上述管理终端与水文观测系统中的至少一个数据采集装置通信连接，每个所述数据采集装置预先设置有身份标识，所述获取写入单元用于：
从至少一个所述数据采集装置中的至少部分数据采集装置中获得所述待处理数据，其中，所述待处理数据与所述数据采集装置的身份标识相关联。
相对于现有技术而言，本发明提供的数据管理方法及装置至少具有以下有益效果：
数据管理方法包括：获得待处理数据，并将待处理数据写入消息队列；从消息队列读取待处理数据，并将读取的待处理数据写入管理终端中的系统表单；每隔第一预设时长，将在第二预设时长内写入到系统表单的待处理数据作为目标待处理数据，并将目标待处理数据写入临时表，其中，第二预设时长小于或等于所述第一预设时长；将临时表中的目标待处理数据中的变量数据在对应预设阈值范围内的变量数据作为待绘图数据，并根据所述待绘图数据及预设图像生成策略生成观测报告，其中，观测报告包括与待绘图数据对应的统计图。本方案通过将获得的待处理数据写入消息队列，有助于后续数据的接收；通过对临时表中的目标待处理数据进行绘图，有助于提高绘图速度；基于在对应预设阈值范围内的变量数据进行绘图，有助于过滤异常数据，从而提高待绘图数据的准确性及可靠性。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举本发明较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍。应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
图1为本发明较佳实施例提供的管理终端与数据采集装置的交互示意图。
图2为本发明较佳实施例提供的数据管理方法的流程示意图。
图3为本发明较佳实施例提供的管理终端、服务器、用户终端、数据采集装置的交互示意图。
图4为本发明较佳实施例提供的数据管理装置的方框示意图。
图标：10-管理终端；11-处理单元；12-通信单元；13-存储单元；100-数据管理装置；110-获取写入单元；120-第一读取写入单元；130-第二读取写入单元；140-报告生成单元；20-数据采集装置；30-服务器；40-用户终端。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。
因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。此外，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
下面结合附图，对本发明的一些实施方式作详细说明。在不冲突的情况下，下述的实施例及实施例中的特征可以相互组合。
请参照图1，为本发明较佳实施例提供的管理终端10与数据采集装置20的交互示意图。本发明提供的管理终端10可以与至少一个数据采集装置20通过网络建立通信连接，以进行数据交互。该管理终端10可以包括处理单元11、存储单元13、通信单元12及数据管理装置100。所述处理单元11、存储单元13、通信单元12及数据管理装置100各个元件之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。
进一步地，管理终端10可以是，但不限于，智能手机、个人电脑(personalcomputer，pc)、平板电脑、个人数字助理(personaldigitalassistant，pda)、移动上网设备(mobileinternetdevice，mid)等。数据采集装置20为用于采集水文环境数据的设备，该数据采集装置20设置有用于采集相应数据的仪器或传感器。例如，数据采集装置20设置有温度传感器、湿度传感器、水流量监测仪、定位模块、风速风向检测仪中的至少一种，可以用于采集水温数据、土壤温度数据、土壤湿度数据、水流量数据、地理位置数据、风速风向数据等数据。可理解地，一个数据采集装置20可以用于采集一种类型的数据，也可以采集多种不同类型的数据(比如可同时采集土壤温湿度数据、风速风向数据等)，这里不作具体限定。
在本实施例中，上述网络可以是，但不限于，有线网络或无线网络。优选地，该网络为无线网络。
在本实施例中，处理单元11为处理器。该处理器可以是中央处理器(centralprocessingunit，cpu)、图形处理器(graphicsprocessingunit，gpu)、网络处理器(networkprocessor，np)等；还可以是数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本发明实施例中的公开的各方法、步骤及逻辑框图。
在本实施例中，通信单元12用于通过网络建立管理终端10与数据采集装置20的通信连接，并通过所述网络收发数据。优选地，该通信单元12为无线通信模块。
在本实施例中，存储单元13可以是，但不限于，随机存取存储器，只读存储器，可编程只读存储器，可擦除可编程只读存储器，电可擦除可编程只读存储器等。在本实施例中，所述存储单元13可以用于存储待处理数据、观察报告。当然，所述存储单元13还可以用于存储程序，所述处理单元11在接收到执行指令后，执行该程序。
进一步地，数据管理装置100包括至少一个可以软件或固件(firmware)的形式存储于所述存储单元13中或固化在管理终端10操作系统(operatingsystem，os)中的软件功能模块。所述处理单元11用于执行所述存储单元13中存储的可执行模块，例如数据管理装置100所包括的软件功能模块及计算机程序等。
可以理解的是，图1所示的管理终端10结构仅为一种结构示意图，所述管理终端10还可以包括比图1所示更多或更少的组件。图1中所示的各组件可以采用硬件、软件或其组合实现。
请参照图2，为本发明较佳实施例提供的数据管理方法的流程示意图。本发明提供的数据管理方法可以应用于上述的管理终端10，该数据管理方法可以将大量数据进行可视化处理，有助于提高对数据可视化处理的效率，便于用户查看基于待处理数据形成的观测报告。
下面将对本实施例提供的数据管理方法的各步骤进行详细阐述，在本实施例中，数据管理方法可以包括以下步骤。
步骤s210，获得待处理数据，并将所述待处理数据写入消息队列。
在本实施例中，管理终端10与水文观测系统中的至少一个数据采集装置20通信连接，每个所述数据采集装置20预先设置有身份标识，至少一个数据采集装置20组成水文观测系统，用于采集生态环境的相关数据。比如，可以用于采集河流及周边环境的相关数据(比如水温数据、土壤温湿度数据等)，以用于地质环境勘测、气候研究等。管理终端10可以从至少一个采集装置中的至少部分采集装置获取到待处理数据，然后将获取到的待处理数据写入消息队列。将待处理数据写入消息队列的措施，可使数据接收和数据入库不必同时进行，即使入库程序中断，仅仅使数据在队列中堆积，不会影响后续数据的接收。
其中，待处理数据与采集该待处理数据的数据采集终端的身份标识相关联，以使得管理终端10可基于该身份标识从该待处理数据得到该数据采集终端的信息。该信息可以包括数据采集终端的身份信息、地理位置数据、数据采集终端的名称等。该身份标识可以为数字和/或字符串组成的标识码，也就是每个数据采集装置20具有唯一的身份标识。另外，所述待处理数据为上述的水温数据、土壤温度数据、土壤湿度数据等数据。
步骤s220，从所述消息队列读取所述待处理数据，并将读取的所述待处理数据写入所述管理终端10中的系统表单。
在本实施例中，系统表单可理解为数据库，可以包括多个子表单，每个子表单可以存储一定量或一段时间内的待处理数据。比如，一个子表单可以用于存储至少部分采集设备一天所采集的待处理数据，这里对子表单存储方式不作具体限定。步骤s220可理解为，将消息队列中的待处理数据进行入库操作，以通过管理终端10存储记录从消息队列读取的待处理数据。
步骤s230，每隔第一预设时长，将在第二预设时长内写入到所述系统表单的待处理数据作为目标待处理数据，并将所述目标待处理数据写入临时表，其中，所述第二预设时长小于或等于所述第一预设时长。
可理解地，将一天中的数据采集装置20采集的所有数据中的至少部分数据作为目标待处理数据，并将目标待处理数据写入临时表，以便于对临时表中的数据进行绘图。而临时表创建在管理终端10的缓存中，将目标待处理数据写入临时表，有助于提高绘制统计图的绘图速度。其中，第一预设长于第二预设时长可根据具体情况进行设置，这里不作具体限定。
在本实施例中，可以基于数据采集装置20的地理位置，对相应的待处理数据进行分组存储。比如，将预设区域内的数据采集装置20采集的待处理数据存储到同一个子表中，以便于对用户对不同地区所采集到的数据进行观测统计。其中，预设区域可根据实际情况进行设置，这里不作具体限定。
步骤s240，将所述临时表中的目标待处理数据中的变量数据在对应预设阈值范围内的变量数据作为待绘图数据，并根据所述待绘图数据及预设图像生成策略生成观测报告，其中，所述观测报告包括与所述待绘图数据对应的统计图。
在本实施例中，变量数据可理解为采集装置采集的数据可受外界环境的变换而改变的数据。变量数据包括，但不限于温度数据、风速风向数据、土壤温湿度数据等数据，这里不作具体限定。管理终端10可基于待绘图数据及预设图像生成策略生成观测报告。
例如，针对一天中从同一预设区域中的数据采集装置20获得的待处理数据，可根据待处理数据的种类进行分类，并基于每类待处理数据及每类待处理数据的预设阈值范围，生成与每类待处理数据对应的统计图，所有的统计图便可组成当天该预设区域的观测报告。其中，预设阈值范围可根据实际情况进行设置，用于过滤待处理中的异常数据或错误数据。比如，因数据采集装置20出现异常(比如，上述的各类传感器被损坏)，从数据采集装置20获取到的待处理数据的观测值为-99999，而预先设置阈值范围，便可以过滤这类异常数据，进而有助于提高绘图数据的准确性及可靠性，使得观测包括呈现的统计图更接近实际情况。
在本实施例中，统计图可以是，但不限于条形统计图、折线统计图、象形统计图及扇形统计图，这里不作具体限定。
可选地，步骤s240具体可以为：将临时表中的目标待处理数据中的变量数据在对应预设阈值范围内的变量数转换为json格式的变量数据，并将json格式的所述变量数据作为所述待绘图数据。
可理解地，json格式为是一种轻量级的数据交换格式。通过将变量数据转换为json格式的变量数据，有助于易于开发人员阅读和编写，同时也易于机器解析和生成，有助于减小内存资源的消耗，从而提升绘图速率。
在本实施例中，基于待处理数据绘制与待处理数据对应的统计图可理解为对待处理数据进行可视化处理。可视化工具可使用开源的highcharts(统计图表)和highstock(时间序列数据展示)，以得到各类型的统计图。
可选地，步骤s240之后，数据管理方法还可以包括：清除所述临时表中的所述目标待处理数据。
可理解地，在临时表中的目标待处理数据被绘制成统计图后，便可以将临时表中的目标待处理数据删除，以减小内存资源的占用。另外，删除了目标待处理数据后，该临时表还可以用于写入其他子表中的待处理数据，以作为新的目标待处理数据。
可选地，数据管理方法还可以包括：每隔第三预设时长创建一个子表单，并将所述子表单作为目标子表单，所述目标子表单用于写入自创建所述目标子表单之后至创建新的子表单期间从所述消息队列读取的所述待处理数据，其中，所述第三预设时长大于等于所述第一预设时长。
可理解地，在系统表单的子表单中，目标子表单为当前被执行写入操作的表单。而其他子表单通常为已经基于其子表单中的待处理数据生成了观测报告的子表单。考虑到获取的待处理数据的数据量大，可以每隔第三预设时长创建一个新的子表单，新的子表单即作为目标子表单，用于写入自创建该子表单之后至创建下一个新的子表单期间从消息队列读取的待处理数据。也就是将数据量较大的表单划分成多个数据量较小的表单，便于用户管理查看。
在本实施例中，在步骤判断所述管理终端10是否存在所述目标子表单，若为否，创建所述目标子表单。
例如，每天创建一个子表单，以作为目标子表单。在将从消息队列读取待处理数据写入系统表单之前，判断当天是否创建有子表单，若没有创建子表单，则创建一个子表单以作为目标子表单。若创建有子表单，则将读取的待处理数据写入该子表单(该子表单也就是目标子表单)。
请参照图3，为本发明较佳实施例提供的管理终端10、服务器30、用户终端40、数据采集装置20的交互示意图。在本实施例中，管理终端10与预先配置有用户账户的服务器30通信连接。数据管理方法在步骤s240之后，还可以包括：将所述观测报告转换为pdf格式的观测报告，并将pdf格式的所述观测报告发送至所述服务器30。
在本实施例中，管理终端10生成的观测报告的文件格式通常为html格式，html格式的观测报告不便于用户打开查看观测报告文件中的内容。可通过将html格式的观测报告转换为pdf格式的观测报告，以便于用户打开。另外，管理终端10可将pdf格式的观测报告发送至服务器30，以使服务器30存储记录该观测报告。
进一步地，服务器30可以与至少一个用户终端40通信连接，用户可通过用户终端40上相应的应用程序登录用户账户，基于该用户账户，可从服务器30获取并查看pdf格式的观测报告。
具体地，比如，管理终端10可将观测报告发送至用户邮箱对应的服务器30，且该观测报告存储在该用户账户的邮箱中。当用户通过用户终端40登录该用户的邮箱时，便可接收到从服务器30发送的pdf格式的观测报告，方便用户查看观测报告。其中，管理终端10将检测报告发送至服务器30的用户账户为预先关联的用户账户，可根据实际情况进行设置。
值得说明的是，用户终端40可以是，但不限于智能手机、个人计算机、平板电脑等，这里不作具体限定。
请参照图4，为本发明较佳实施例提供的数据管理装置100的方框示意图。本发明提供的数据管理装置100可以应用于上述的管理终端10，用于执行上述的数据管理方法，以提高对待处理数据的处理效率，便于用户查看基于待处理数据得到的观测报告。其中，数据管理装置100可以包括获取写入单元110、第一读取写入单元120、第二读取写入单元130及报告生成单元140。
获取写入单元110，用于获得待处理数据，并将所述待处理数据写入消息队列。具体地，获取写入单元110可以用于执行图2所示的步骤s210，具体执行的详细操作内容可参照对上述步骤s210的详细描述。
可选地，获取写入单元110用于：从至少一个所述数据采集装置20中的至少部分数据采集装置20中获得所述待处理数据，其中，所述待处理数据与所述数据采集装置20的身份标识相关联。
第一读取写入单元120，用于从所述消息队列读取所述待处理数据，并将读取的所述待处理数据写入所述管理终端10中的系统表单。具体地，第一读取写入单元120可以用于执行图2所示的步骤s220，具体执行的详细操作内容可参照对上述步骤s220的详细描述。
第二读取写入单元130，用于每隔第一预设时长，将在第二预设时长内写入到所述系统表单的待处理数据作为目标待处理数据，并将所述目标待处理数据写入临时表，其中，所述第二预设时长小于或等于所述第一预设时长。具体地，第二读取写入单元130可以用于执行图2所示的步骤s230，具体执行的详细操作内容可参照对上述步骤s230的详细描述。
报告生成单元140，用于将所述临时表中的目标待处理数据中的变量数据在对应预设阈值范围内的变量数据作为待绘图数据，并根据所述待绘图数据及预设图像生成策略生成观测报告，其中，所述观测报告包括与所述待绘图数据对应的统计图。具体地，报告生成单元140可以用于执行图2所示的步骤s240，具体执行的详细操作内容可参照对上述步骤s240的详细描述。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到本发明可以通过硬件实现，也可以借助软件加必要的通用硬件平台的方式来实现，基于这样的理解，本发明的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是cd-rom，u盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施场景所述的方法。
综上所述，本发明提供一种数据管理方法及装置。数据管理方法包括：获得待处理数据，并将待处理数据写入消息队列；从消息队列读取待处理数据，并将读取的待处理数据写入管理终端中的系统表单；每隔第一预设时长，将在第二预设时长内写入到系统表单的待处理数据作为目标待处理数据，并将目标待处理数据写入临时表，其中，第二预设时长小于或等于所述第一预设时长；将临时表中的目标待处理数据中的变量数据在对应预设阈值范围内的变量数据作为待绘图数据，并根据所述待绘图数据及预设图像生成策略生成观测报告，其中，观测报告包括与待绘图数据对应的统计图。本方案通过将获得的待处理数据写入消息队列，有助于后续数据的接收；通过对临时表中的目标待处理数据进行绘图，有助于提高绘图速度；基于在对应预设阈值范围内的变量数据进行绘图，有助于过滤异常数据，从而提高待绘图数据的准确性及可靠性。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。