一种传感器数据动态伸缩的处理方法及装置的制造方法
【技术领域】
[0001]本发明涉及智能电网领域中传感器数据处理的技术领域，具体地，涉及一种传感器数据动态伸缩的处理方法及装置。
【背景技术】
[0002]随着我国电网的快速发展，在发电、输电、变电、配电、用电、调度等各环节的设备及系统日趋复杂和庞大；各种基础数据的感知、采集和汇聚促进了大量传感设备、测量工具、智能终端等的使用。从现今电力生产运行来看，一方面需要开发各种类型的感知设备实现对现场信息的感知和采集，拓宽信息源的深度和广度；另一方面，日益增多的传感器数量及种类将导致多种传感技术及规范的同时使用，由此引发了各种采集数据的数据表达(标识、语义、数据表达格式等)无法做到统一。由此产生的海量异构传感器数据的处理问题，成为推广应用的瓶颈。
[0003]在实现本发明过程中，发明人发现现有技术中至少存在如下问题:
[0004](I)传感器数据量巨大且传感器网络汇聚造成的数据流冲击，采用固定的内存数据缓存受到计算机硬件资源的限制，采用磁盘缓存无法满足性能要求。
[0005](2)随着传感器应用的深入不可避免的引入新类型传感器，动态处理新数据类型限制了行业应用。
[0006](3)由于外部环境和传感器自身原因，需要多传感器组合计算被测量，多传感器聚合分析提高目标量的指标。由于资源限制目前此类业务多采用事后分析，难以实现即时的预警告警。
【发明内容】
[0007]本发明是为了克服现有技术中智能电网海量传感器数据处理易受资源限制、无法满足性能要求的缺陷，根据本发明的一个方面，提出一种传感器数据动态伸缩的处理方法。
[0008]本发明实施例提供的一种传感器数据动态伸缩的处理方法，包括:接收传感器报文，并根据传感器报文提取传感器ID，传感器报文包括传感器报文头和传感器数据；根据传感器数据头中的传感器ID与传感器结构之间的映射关系确定与传感器ID相应的传感器结构，传感器结构包括传感器生存时间和传感器报文头指针；更新传感器生存时间，并根据传感器报文头指针定位传感器报文头，传感器报文头包括传感器数据数组开始指针和传感器数据数组结束指针；根据传感器报文头包括传感器数据数组开始指针和传感器数据数组结束指针，将传感器数据存入传感器数据链表中。
[0009]在上述技术方案中，当传感器ID与传感器结构之间的映射关系中不存在与传感器ID相应的传感器结构时，为传感器ID分配新的传感器结构，并更新传感器数据头。
[0010]在上述技术方案中，还包括:根据传感器总数和传感器结构指针列表遍历传感器结构，监测传感器生存时间，传感器总数和传感器结构指针列表存储于传感器数据头中；当传感器生存时间小于第一预设阈值时，根据传感器结构中的传感器报文头指针确定并删除相应的传感器报文头和传感器数据；释放传感器结构的资源，并更新传感器数据头。
[0011]本发明是为了克服现有技术中智能电网海量传感器数据处理易受资源限制、无法满足性能要求的缺陷，根据本发明的一个方面，提出一种传感器数据动态伸缩的处理方法。
[0012]本发明实施例提供的一种传感器数据动态伸缩的处理方法，包括:定时遍历传感器数据链表，当确定存在新缓存的传感器数据时，根据传感器数据中的传感器厂家类型、传感器类型和传感器版本在传感器数据处理库中查找相对应的传感器数据处理方法；根据传感器数据处理方法处理新缓存的传感器数据，并更新传感器数据处理方法的处理方法生存时间。
[0013]在上述技术方案中，还包括:定时遍历传感器数据处理库中的传感器数据处理方法，监测处理方法生存时间；当处理方法生存时间小于第二预设阈值时，删除与处理方法生存时间相对应的传感器数据处理方法的资源。
[0014]在上述技术方案中，还包括:遍历配置库中的每个聚合处理配置实例，聚合处理配置实例包括传感器ID列表、聚合处理方法ID ;根据相关传感器ID列表检查相关传感器的相关传感器数据是否更新；在确定传感器数据更新时，根据聚合处理方法ID在数据聚合处理库中查找相应的数据聚合处理方法；根据传感器数据聚合处理方法处理相关传感器数据，并更新传感器数据聚合处理方法的聚合处理方法生存时间。
[0015]在上述技术方案中，还包括:定时遍历传感器数据聚合处理库中的传感器数据聚合处理方法，监测聚合处理方法生存时间；当聚合处理方法生存时间小于第三预设阈值时，删除与聚合处理方法生存时间相对应的传感器数据聚合处理方法的资源。
[0016]本发明是为了克服现有技术中智能电网海量传感器数据处理易受资源限制、无法满足性能要求的缺陷，根据本发明的一个方面，提出一种传感器数据动态伸缩的处理装置。
[0017]本发明实施例提供的一种传感器数据动态伸缩的处理装置，包括:数据缓存引擎、传感器数据头和传感器数据链表；
[0018]数据缓存引擎，用于接收传感器报文，并根据传感器报文提取传感器ID，传感器报文包括传感器报文头和传感器数据；
[0019]根据传感器数据头中的传感器ID与传感器结构之间的映射关系确定与传感器ID相应的传感器结构，传感器结构包括传感器生存时间和传感器报文头指针；
[0020]更新传感器生存时间，并根据传感器报文头指针定位传感器报文头，传感器报文头包括传感器数据数组开始指针和传感器数据数组结束指针；
[0021]根据传感器报文头包括传感器数据数组开始指针和传感器数据数组结束指针，将传感器数据存入传感器数据链表中；
[0022]传感器数据头用于存储传感器ID与传感器结构之间的映射关系；
[0023]传感器数据链表用于存储传感器数据。
[0024]在上述技术方案中，数据缓存引擎还用于，当传感器ID与传感器结构之间的映射关系中不存在与传感器ID相应的传感器结构时，为传感器ID分配新的传感器结构；
[0025]传感器数据头还用于执行更新操作。
[0026]在上述技术方案中，数据缓存引擎还用于，根据传感器总数和传感器结构指针列表遍历传感器结构，监测传感器生存时间；当传感器生存时间小于第一预设阈值时，根据传感器结构中的传感器报文头指针确定并指示删除相应的传感器报文头和传感器数据；
[0027]释放传感器结构的资源，并更新传感器数据头。
[0028]传感器数据头还用于存储传感器总数和传感器结构指针列表，并在传感器生存时间小于第一预设阈值时，释放传感器结构的资源，执行更新操作；
[0029]传感器数据链表还用于，在传感器生存时间小于第一预设阈值时，删除相应的传感器报文头和传感器数据。
[0030]本发明是为了克服现有技术中智能电网海量传感器数据处理易受资源限制、无法满足性能要求的缺陷，根据本发明的一个方面，提出一种传感器数据动态伸缩的处理装置。
[0031]本发明实施例提供的一种传感器数据动态伸缩的处理装置，其特征在于，包括:数据处理引擎、传感器数据链表和传感器数据处理库；
[0032]数据处理引擎用于定时遍历传感器数据链表，当确定存在新缓存的传感器数据时，根据传感器数据中的传感器厂家类型、传感器类型和传感器版本在传感器数据处理库中查找相对应的传感器数据处理方法；根据传感器数据处理方法处理新缓存的传感器数据，并更新传感器数据处理方法的处理方法生存时间；
[0033]传感器数据链表用于存储传感器数据；
[0034]传感器数据处理库用于存储传感器数据处理方法。
[0035]在上述技术方案中，数据处理引擎还用于，定时遍历传感器数据处理库中的传感器数据处理方法，监测处理方法生存时间；当处理方法生存时间小于第二预设阈值时，指示删除与处理方法生存