本发明涉及计算机数据处理技术领域，特别涉及一种宠物监测数据处理方法和系统。
背景技术
现代社会中，随着白领们对宠物的钟爱，养宠物的人不断增对，宠物数量急剧增加，宠物已经俨然成为“家庭成员”这一，并且也是家庭经济中的一份私有财产。人们对于宠物的热爱不再只停留在给它们吃喝上，还要求给穿上漂亮的衣服、做美容、做造型、看病等等，由于宠物成为了人们最亲密的伴侣和家人，越来越多的人愿意花大钱来照顾它们，据悉宠物经济的市场潜力至少达到150亿。
而宠物不同于人类，在生病难过时并不会表达，宠物医生在给宠物看病时不能做到像人那样倾诉哪里不舒服，这就增加了确诊的难度；并且有时在主人疏于管理，很晚才发现自己宠物不太舒服，再急急忙忙送往宠物医院时，可能为时已晚病入膏肓，错失了最佳诊疗时间。现有技术中一般在宠物上植入芯片集成了各种数据采集装置，动态监测宠物健康生理指标，但现有的客户端/服务器模式采集数据方式，是由云数据中心发出采集请求，采集数据模块响应，云数据中心通过询问的方式与各采集节点通信，但由于采集节点数量非常大，必然会导致两个问题：1）采集数据量大，从而导致负载过重，限制采集规模；2）数量大的情况下，云数据中心询问时间也增加，难以满足大数据管理的要求。
技术实现要素：
本发明实施例提供了一种宠物监测数据处理方法和系统，能够使得在采集数据时不会导致负载过重，解决了宠物监测数据的处理速度及传送效率较低的问题。
为了解决上述问题，本发明公开了如下技术方案：
第一方面，提供一种宠物监测数据处理方法，包括：
在宠物身上植入健康管理芯片，所述健康管理芯片与移动终端无线连接；
所述移动终端启动健康管理芯片监测功能，所述健康管理芯片将多种宠物监测数据返回给所述移动终端；
云数据中心周期性地向所述移动终端发出宠物监测数据采集请求，采集数据响应启动；
按照宠物监测数据采集任务描述文件中给出的子任务数，把所述宠物监测数据采集任务并行化为多个所述子任务并交付到多个从节点中，各所述从节点接收主节点分配的所述子任务并调度本节点数据采集资源展开具体执行过程，最终交由所述移动终端执行宠物监测数据采集；
获取目标ip地址、目标端口、源ip地址、源端口，向健康管理芯片下发控制、调试命令；
将接收到的采集数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点；对同一类中的数据文件合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件存储到数据库中，同一类的后续合并的大文件也写到数据库中；
读取数据库表中的宠物监测数据进行分析，并按照预设标准确定是否给出预警提示。
第二方面，提供一种宠物监测数据处理系统，包括：
连接模块，在宠物身上植入健康管理芯片，所述健康管理芯片与移动终端无线连接；
移动终端启动模块，所述移动终端启动健康管理芯片监测功能，所述健康管理芯片将多种宠物监测数据返回给所述移动终端；
云数据中心启动模块，云数据中心周期性地向所述移动终端发出宠物监测数据采集请求，采集数据响应启动；
任务控制模块，按照宠物监测数据采集任务描述文件中给出的子任务数，把所述宠物监测数据采集任务并行化为多个所述子任务并交付到多个从节点中，各所述从节点接收主节点分配的所述子任务并调度本节点数据采集资源展开具体执行过程，最终交由所述移动终端执行宠物监测数据采集；
命令下发模块，获取目标ip地址、目标端口、源ip地址、源端口，向健康管理芯片下发控制、调试命令；
合并写模块，将接收到的采集数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点；对同一类中的数据文件合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件存储到数据库中，同一类的后续合并的大文件也写到数据库中；
分析模块，读取数据库表中的宠物监测数据进行分析，并按照预设标准确定是否给出预警提示。
本发明通过构建宠物监测系统的硬件系统和软件系统，可有效实现宠物监控数据的实时采集、传输以及预警，满足了在监测数据吞吐量较大时，由原来统一的网络模式变成多个局部模块，而采用的采集代理能提高运行的效率。多个宠物监测数据采集代理的并发执行以及合并写的方式也极大提高了宠物监测数据的处理速度及传送效率，使宠物监测数据的不再通过传统的轮询方式进行采集获取，也不再受节点数量的限制。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明一个实施例中宠物监测数据处理方法的流程示意图。
图2是本发明另一个实施例中宠物监测数据处理系统的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
参见图1，本发明一个实施例提出了一种宠物监测数据处理方法的流程图，其通过健康管理芯片、移动终端以及云数据中心进行数据传输。首先，在宠物身上植入健康管理芯片，该芯片可与移动终端无线连接，可以是蓝牙模式或者wifi模式；该芯片具有多种传感器终端，其具有身份识别、gps定位以及监控宠物健康数据如呼吸、脉搏、心跳、血压、血糖、行走补数等监测功能。移动终端通过上述无线连接，启动健康管理芯片监测功能，健康管理芯片将多种宠物监测数据返回给移动终端。如有需要时也可由宠物主人自行启动健康管理芯片监测功能。
接着，云数据中心定时周期性地发出宠物监测数据采集请求，移动终端执行宠物监测数据采集。云数据中心发出宠物监测数据采集请求，按照宠物监测数据采集任务描述文件中给出的子任务数，把宠物监测数据采集任务并行化为多个子任务并交付到多个从节点中，各从节点接收主节点分配的子任务并调度本节点数据采集资源展开具体执行过程，最终交由移动终端执行宠物监测数据采集，该采集方法采用高效的资源配置调度策略，对宠物监测数据采集的执行性能产生显著的影响。
宠物监测数据采集系统会对宠物监测数据传感器终端下发控制、调试等命令。如果使用可靠的应用层协议，还需要进行消息响应。为了满足这些要求，宠物监测数据采集系统还需要具有向传感器终端下发消息的能力，需要在转发到后端处理节点的消息中添加一些冗余信息来支持反向的消息转发功能。在计算机网络通信中，目标ip地址、目标端口、源ip地址、源端口唯一的标识了一个连接。对于一个特定的进程来说，一对ip源地址、源端口组成的信息对可以唯一的标识一个连接或者传感器数据流。只要获取了网络数据的源地址及源端口信息即可完成向宠物监测数据传感器终端下发控制、调试等命令。故宠物监测数据采集系统的通信模块需要保存网络数据报的源地址信息用于下发控制、调试等命令。因此，通信上下文信息包括宠物监测数据传感器终端地址相关信息。宠物监测数据采集节点会将通信上下文信息添加在需要转发的消息中去。
再次，在宠物监测数据文件系统底层存储之上增加了一个内存文件系统中主要进行写缓存和写合并服务。其中写缓存为底层的文件系统提供高性能的写缓存服务，从而优化写吞吐速率。将采集到的宠物监测数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点来减少主节点的元数据存储压力。将文件集合划分为多个类，将海量文件合并为大文件，最终将大文件写入到文件系统进行持久化存储。写合并，当内存文件系统中的总文件量达到一定的阈值时，需要将文件持久化存储到文件系统中。在内存文件系统中使用上述写合并操作将访问关联性较强的采集节点数据合并到大文件，写入文件系统。主节点中的合并管理模块根据类调度的节点将同一个类的文件转移到同一个服务节点上，由服务节点的合并写模块对类中所包含的宠物监测数据文件进行合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件写到文件系统中，同一个类的后续合并的大文件写到文件系统中。文件合并之后对内存文件系统中的元数据信息进行清理操作。
云数据中心读取数据库表中的宠物监测数据进行分析，并按照预设标准确定是否给出预警提示。移动终端可自行查阅自家宠物的相关监测数据，并且在就医时可输入宠物病历，方便后续诊断就医。云数据中心可对历史数据进行查询，汇总数据，实时分析监测结果，并且也可以作为分析数据。
通过构建宠物监测系统的硬件系统和软件系统，可有效实现宠物监控数据的实时采集、传输以及预警，满足了在监测数据吞吐量较大时，由原来统一的网络模式变成多个局部模块，而采用的采集代理能提高运行的效率。多个宠物监测数据采集代理的并发执行以及合并写的方式也极大提高了宠物监测数据的处理速度及传送效率，使宠物监测数据的不再通过传统的轮询方式进行采集获取，也不再受节点数量的限制。
图2是本发明另一个实施例中大数据处理系统的结构示意图，提出了一种大数据处理系统，包括：连接模块201、移动终端启动模块202、云数据中心启动模块203、任务控制模块204、命令下发模块205、合并写模块206、分析模块207、查阅模块208、历史查询模块209。其中：
连接模块201，健康管理芯片、移动终端以及云数据中心进行数据传输，在宠物身上植入健康管理芯片，该芯片可与移动终端无线连接，可以是蓝牙模式或者wifi模式。该芯片具有多种传感器终端，其具有身份识别、gps定位以及监控宠物健康数据如呼吸、脉搏、心跳、血压、血糖、行走补数等监测功能。
移动终端启动模块202，移动终端通过上述无线连接，启动健康管理芯片监测功能，健康管理芯片将多种宠物监测数据返回给移动终端。如有需要时也可由宠物主人自行启动健康管理芯片监测功能。
云数据中心启动模块203，云数据中心定时周期性地发出宠物监测数据采集请求，移动终端执行宠物监测数据采集。
任务控制模块204，云数据中心发出宠物监测数据采集请求，按照宠物监测数据采集任务描述文件中给出的子任务数，把宠物监测数据采集任务并行化为多个子任务并交付到多个从节点中，各从节点接收主节点分配的子任务并调度本节点数据采集资源展开具体执行过程，最终交由移动终端执行宠物监测数据采集，该采集方法采用高效的资源配置调度策略，对宠物监测数据采集的执行性能产生显著的影响。
命令下发模块205，宠物监测数据采集系统会对宠物监测数据传感器终端下发控制、调试等命令。如果使用可靠的应用层协议，还需要进行消息响应。为了满足这些要求，宠物监测数据采集系统还需要具有向传感器终端下发消息的能力，需要在转发到后端处理节点的消息中添加一些冗余信息来支持反向的消息转发功能。在计算机网络通信中，目标ip地址、目标端口、源ip地址、源端口唯一的标识了一个连接。对于一个特定的进程来说，一对ip源地址、源端口组成的信息对可以唯一的标识一个连接或者传感器数据流。只要获取了网络数据的源地址及源端口信息即可完成向宠物监测数据传感器终端下发控制、调试等命令。故宠物监测数据采集系统的通信模块需要保存网络数据报的源地址信息用于下发控制、调试等命令。因此，通信上下文信息包括宠物监测数据传感器终端地址相关信息。宠物监测数据采集节点会将通信上下文信息添加在需要转发的消息中去。
合并写模块206，在宠物监测数据文件系统底层存储之上增加了一个内存文件系统中主要进行写缓存和写合并服务。其中写缓存为底层的文件系统提供高性能的写缓存服务，从而优化写吞吐速率。将采集到的宠物监测数据写到磁盘中，使用归档算法将小文件合并为大文件存储，采用二级索引的方式，将大文件索引放置在主节点，小文件的索引放置在存储节点来减少主节点的元数据存储压力。将文件集合划分为多个类，将海量文件合并为大文件，最终将大文件写入到文件系统进行持久化存储。写合并，当内存文件系统中的总文件量达到一定的阈值时，需要将文件持久化存储到文件系统中。在内存文件系统中使用上述写合并操作将访问关联性较强的采集节点数据合并到大文件，写入文件系统。主节点中的合并管理模块根据类调度的节点将同一个类的文件转移到同一个服务节点上，由服务节点的合并写模块对类中所包含的宠物监测数据文件进行合并，同时生成索引文件，当大文件的大小达到一定阈值时，将大文件写到文件系统中，同一个类的后续合并的大文件写到文件系统中。文件合并之后对内存文件系统中的元数据信息进行清理操作。
分析模块207、查阅模块208、历史查询模块209，云数据中心读取数据库表中的宠物监测数据进行分析，并按照预设标准确定是否给出预警提示。移动终端可自行查阅自家宠物的相关监测数据，并且在就医时可输入宠物病历，方便后续诊断就医。云数据中心可对历史数据进行查询，汇总数据，实时分析监测结果，并且也可以作为分析数据。
通过构建宠物监测系统的硬件系统和软件系统，可有效实现宠物监控数据的实时采集、传输以及预警，满足了在监测数据吞吐量较大时，由原来统一的网络模式变成多个局部模块，而采用的采集代理能提高运行的效率。多个宠物监测数据采集代理的并发执行以及合并写的方式也极大提高了宠物监测数据的处理速度及传送效率，使宠物监测数据的不再通过传统的轮询方式进行采集获取，也不再受节点数量的限制。
需要说明的是，在本文中，诸如第一和第二之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个······”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同因素。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储在计算机可读取的存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：rom、ram、磁碟或者光盘等各种可以存储程序代码的介质中。
最后需要说明的是：以上所述仅为本发明的较佳实施例，仅用于说明本发明的技术方案，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所做的任何修改、等同替换、改进等，均包含在本发明的保护范围内。