一种实时数据处理分析系统的制作方法
【技术领域】
[0001]本发明涉及物联网大数据实时处理领域，特别涉及一种油田生产现场的物联网实时数据处理分析系统。
【背景技术】
[0002]在物联网环境中，采集层传感器产生大量实时数据，这些数据通常包含时间、位置、采集信息等内容，具有明显的颗粒性特征，由于油气生产现场部署的传感器的多元化、差异化以及环境的多样化，这些数据呈现出异构性、多样性、非结构化、有噪声、高增长率等特征.物联网技术的应用涉及物联网实时大数据处理，所产生的数据量之密集、实时性之强是前所未有的，需要进行实时、高效的计算分析。物联设备采集的数据种类众多，数据量大，而且需要实时处理，对处理系统性能要求严格。所有这些凸显物联网实时数据抽取模型的重要性。例如，在油田生产现场采集数据的温度传感器、压力变送器、流量计、有毒有害气体传感器、RTU以及其他传感设备采集的大量实时数据，将通过物联网的有线或者无线传输设备，上传至应用层的实时数据库进行汇集，根据现场采集设备的数量和采集频率估算，实时数据库需要处理十万级至百万级数据插入的并发操作，应用系统需要对这些实时数据加以分析利用，来对生产单元当时的生产状态进行判断、统计，帮助系统用户了解实时生产情况。由于实时数据量大、实时性高，普通的应用系统无法及时处理实时数据，或者处理起来很慢，达不到实时监视生产单元状态、统计生产情况的效果，这势必影响正常的生产运行，采用先进的物联网实时数据抽取模型处理分析实时数据，是提高物联网应用效果的一种必然的技术发展方向。
【发明内容】
[0003]本发明的目的是为了解决物联网系统中产生的大量实时数据的抽取分析等问题，为物联网应用提供高性能解决方案，尤其是生产单元实时状态以及生产情况统计的应用，针对这些问题提出一种物联网实时数据抽取模型，并为实现该目的提出一种实时数据处理分析系统。
[0004]本发明所提供的实时数据处理分析系统，具体包含:生产单元、数据采集单元、实时数据库、数据抽取单元和关系数据库；所述数据采集单元与所述生产单元相连，用于采集所述生产单元的实时数据并发送；所述实时数据库与所述数据采集单元相连，用于接收所述数据采集单元发送的实时数据并存储；所述数据抽取单元与所述实时数据库相连，用于读取所述实时数据库中的实时数据并统计，将统计结果转换后发送；所述关系数据库与所述数据抽取单元相连，用于接收所述统计结果，并将统计结果与对应的所述数据采集单元关联保存。
[0005]在上述实时数据处理分析系统中，所述实时数据库与所述数据采集单元通过光纤连接或无线连接。
[0006]在上述实时数据处理分析系统中，所述数据抽取单元包含:客户端与分布式服务端。
[0007]在上述实时数据处理分析系统中，所述客户端用于:获取所述生产单元数量；检测分布式服务端数量；根据分布式服务端数量，创建客户端从线程，所述客户端从线程与对应的服务端通信；计算每个服务端转化的实时数据。
[0008]在上述实时数据处理分析系统中，所述客户端的控制方法包含:所述客户端包含主线程和从线程；主线程根据配置文件，启动物联网实时数据抽取任务周期；主线程统计所有监测生产单元ID ;主线程根据配置文件，测试服务端通信接口，统计可用的分布式服务端地址和数量；主线程根据分布式服务端数量，按照公式计算分配给每个服务端的检测生产单元ID范围；主线程循环等待各个从线程对服务端的任务完成情况的反馈，直到所有检测生产单元的实时数据完成抽取和转化；完成一个客户端任务周期，主线程按照配置，启动下一个物联网实时数据抽取任务。
[0009]在上述实时数据处理分析系统中，所述控制方法还包含:主线程根据可用服务端数量，生成从线程；从线程根据主线程的配置，与对应的服务端通信；从线程把检测生产单元ID范围发送给对应的服务端；从线程循环等待服务端任务结束的反馈信息；从线程将服务端任务完成情况反馈给主线程。
[0010]在上述实时数据处理分析系统中，所述分布式服务端用于:接收客户端从线程的检测生产单元范围信息；根据检测单元范围及配置文件，创建服务端从线程；服务端从线程根据检测单元范围，逐个统计实时数据库中生产单元对应的实时数据，对所述实时数据进行转换，并将转换结果插入关系型数据库。
[0011]在上述实时数据处理分析系统中，所述分布式服务端的控制方法包含:所述分布式服务端包含主线程和从线程；主线程接收客户端的数据抽取转换任务及相关配置文件；主线程根据客户端配置文件，创建从线程；主线程分析获得每个从线程处理的检测生产单元ID范围；主线程启动从线程，并将检测生产单元ID范围传输至从线程，从线程完成实时数据抽取转换的任务；主线程循环等待各从线程完成数据抽取转换任务的反馈信息；主线程统计完成所有生产单元实时数据抽取转换任务后，将完成结果反馈给客户端从线程；完成一个服务周期，服务端主线程循环等待下一次任务分配。
[0012]在上述实时数据处理分析系统中，所述控制方法还包含:从线程根据主线程的配置文件，从关系数据库查询生产检测单元的实时数据库标签；从线程根据实时数据库标签查询实时数据库，读取实时数据；从线程根据设定的数据转换规则静态算法，计算出分析后的值；从线程将获得实时数据与关系数据库中实时数据进行比对，如从线程将获得实时数据与关系数据库中实时数据不同，则将获得实时数据更新至关系数据库中；从线程迭代完成下一个生产单元的实时数据抽取转换任务，直到完成所有检测单元的数据转换任务。
[0013]在上述实时数据处理分析系统中，所述分析系统还包含一物联网应用单元，用于根据关系型数据库的数据，提供所述生产单元的数据统计信息。
[0014]本发明的有益技术效果在于:根据实时数据库数据，借助实时数据抽取模型，在后台对实时数据进行转换，并把转换结果保存在关系型数据库中，物联网应用则访问关系型数据库即可获得检测生产单元的状态以及生产统计信息，避免了物联网应用直接访问实时数据库带来的性能问题，同时，实现了实时数据自动转化成关系数据的任务，提高了物联网应用对于实时数据的利用程度，提高了应用系统的响应速度。
【附图说明】
[0015]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见的，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0016]图1为本发明提出的物联网实时数据处理分析系统示意图；
[0017]图2为本发明提出物联网实时数据处理分析系统中数据抽取单元的客户端、服务端工作原理示意图；
【具体实施方式】
[0018]下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0019]请参考图1所示，图1为本发明所提供的实时数据处理分析系统，具体包含:生产单元、数据采集单元、实时数据库、数据抽取单元和关系数据