用于预测设备需求的数据处理方法和装置与流程

本发明涉及数据处理领域，具体而言，涉及一种用于预测设备需求的数据处理方法和装置。

背景技术：

各公司单位都需要对设备进行采购，在进行采购以及采购之后，包括配送、检定等的设备的物流过程都是需要合理分配的，如何合理的分配设备的采购、配送或检定需要大量的数据支撑。

例如，随着国内电力公司用电信息采集建设工程的实行，计量设备在采购、到货、检定和配送的整个生产备货过程都需要合理的安排。但是，目前电力公司内部内各单位的计量设备需求计划实质上仍处在人工提报、简单汇总的粗放统计阶段，缺乏有效的决策功能支撑，难以形成一套有效的需求计划平衡方法，既加大了采购的成本投入，也间接引起了检定、配送计划的不平稳和不均衡情况，产能及运能波动性较为明显，增加了人员及设备投入。

此外，由于部分的电力公司的用电信息采集建设工程已基本接近尾声，后续工程中计量设备的安装需求将大幅度下降，合理预测相关电能计量设备的年度和月度安装需求可以指导电力公司的采购、配送或检定等，使各基层单位了解自己的需求，合理安排计量设备的物流过程。

针对相关技术中无法准确预测所需求的设备的问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明的主要目的在于提供一种用于预测设备需求的数据处理方法和装置，以解决相关技术中无法准确预测所需求的设备的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种用于预测设备需求的数据处理方法。该方法包括：按照预设时间间隔通过设备调度数据平台获取目标调度数据；根据目标调度数据更新调度数据库；在调度数据库中抽取调度数据样本；根据预设算法对调度数据样本进行计算；根据计算结果选择出所需求的设备。

进一步地，按照预设时间间隔通过设备调度数据平台获取目标调度数据包括：按照预设时间间隔连通设备调度数据平台和数据缓存平台之间的数据接口；确定预设时间间隔内设备调度数据平台中更新的数据；通过数据接口将预设时间间隔内设备调度数据平台中更新的数据缓存到数据缓存平台；对数据缓存平台中缓存的更新的数据执行第一处理，得到目标调度数据。

进一步地，根据预设算法对调度数据样本进行计算包括：发送调度数据样本至算法服务器，其中，算法服务器用于根据预设算法对调度数据样本执行计算，得到计算结果；接收算法服务器反馈的计算结果。

进一步地，在调度数据库中抽取调度数据样本包括：抽取多个设备的调度数据样本，根据预设算法对调度数据样本执行计算包括：分别计算每个设备的调度数据样本，得到每个设备的统计数据，根据计算结果选择出所需求的设备包括：按照预设规则根据每个设备的统计数据选择出所需求的设备。

进一步地，在根据计算结果选择出所需求的设备之后，该方法还包括：获取需求反馈数据，其中，需求反馈数据是选择出的设备满足设备需求的程度的反馈数据；根据需求反馈数据调整预设算法的参数。

为了实现上述目的，根据本发明的另一方面，提供了一种用于预测设备需求的数据处理装置。该装置包括：获取单元，用于按照预设时间间隔通过设备调度数据平台获取目标调度数据；更新单元，用于根据目标调度数据更新调度数据库；抽取单元，用于在调度数据库中抽取调度数据样本；计算单元，用于根据预设算法对调度数据样本进行计算；选择单元，用于根据计算结果选择出所需求的设备。

进一步地，获取单元包括：连接模块，用于按照预设时间间隔连通设备调度数据平台和数据缓存平台之间的数据接口；确定模块，用于确定预设时间间隔内设备调度数据平台中更新的数据；缓存模块，用于通过数据接口将预设时间间隔内设备调度数据平台中更新的数据缓存到数据缓存平台；处理模块，用于对数据缓存平台中缓存的更新的数据执行第一处理，得到目标调度数据。

进一步地，计算单元包括：发送模块，用于发送调度数据样本至算法服务器，其中，算法服务器用于根据预设算法对调度数据样本执行计算，得到计算结果；接收模块，用于接收算法服务器反馈的计算结果。

进一步地，抽取单元包括：抽取模块，用于抽取多个设备的调度数据样本，计算单元包括：计算模块，用于分别计算每个设备的调度数据样本，得到每个设备的统计数据，选择单元包括：选择模块，用于按照预设规则根据每个设备的统计数据选择出所需求的设备。

进一步地，获取单元还用于获取需求反馈数据，其中，需求反馈数据是选择出的设备满足设备需求的程度的反馈数据，该装置还包括：调整单元，用于根据需求反馈数据调整预设算法的参数。

本发明通过按照预设时间间隔通过设备调度数据平台获取目标调度数据；根据目标调度数据更新调度数据库；在调度数据库中抽取调度数据样本；根据预设算法对调度数据样本进行计算；根据计算结果选择出所需求的设备，解决了相关技术中无法准确预测所需求的设备的问题，进而达到了准确预测对设备的需求的效果。

附图说明

构成本申请的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的用于预测设备需求的数据处理方法的流程图；

图2是根据本发明实施例的用于预测设备需求的数据处理装置的示意图；

图3是根据本发明实施例的数据处理系统的示意图；

图4是根据本发明实施例的数据处理系统预测设备需求的流程图；

图5是根据本发明实施例的数据处理系统预测设备需求的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

本发明的实施例提供了一种用于预测设备需求的数据处理方法。

图1是根据本发明实施例的用于预测设备需求的数据处理方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，按照预设时间间隔通过设备调度数据平台获取目标调度数据。

按照预设时间间隔，也即，周期性地在设备调度数据平台获取目标调度数据。设备调度数据平台是存储有设备的调度数据的平台。设备的调度数据可以包括采购、配送、检定等调度过程的记录数据，例如，设备采购的时间、型号、采购人员，或者，计量设备检定的时间、检定结果是否合格、检定人员，或者，设备配送到的单位的名称、配送时间等。

目标调度数据是待获取的设备的调度数据，优选地，由于会周期性地在设备调度数据平台中获取调度数据，该实施例中的目标调度数据可以是指在该周期内更新的调度数据，包括修改、添加、删除的数据，可选地，还可以是在设备调度数据平台中选取特殊的某类调度数据以供分析，例如，专门选取某个设备在一个时间段内的调度数据，或者，选取某个时间段内进行配送的所有设备的型号的数据，其中，上述举例中所述的时间段可以大于该步骤所述的预设时间间隔。

步骤S102，根据目标调度数据更新调度数据库。

在获取目标调度数据之后，根据目标调度数据更新调度数据库。调度数据库中存储有设备的调度数据，具体地，该调度数据库可以设置有多种索引方式，根据获取到的目标调度数据更新调度数据库可以包括将获取到的目标调度数据根据调度数据库的索引方式导入调度数据库，以使存储在调度数据库中的数据符合调度数据库的索引格式。

步骤S103，在调度数据库中抽取调度数据样本。

在调度数据库中抽取调度数据样本，调度数据样本是用于作为选择需求的设备的数据样本。可选地，可以根据对设备的需求抽取相关的调度数据样本。例如，如果所需求的设备是某个地区在接下来的一个月内需要进行检定的电力计量设备，则可以抽取该地区内所有使用年限超过五年的电力计量设备的调度数据作为调度数据样本，根据调度数据样本选择出需要检定的电力计量设备。

步骤S104，根据预设算法对调度数据样本进行计算。

在调度数据库中抽取调度数据样本之后，根据预设算法对调度数据样本进行计算。预设算法可以根据对设备需求的不同而不同，具体地，可以预先存储多种需求及各个需求所对应的算法，根据需求选择对应的算法作为预设算法。

步骤S105，根据计算结果选择出所需求的设备。

在根据预设算法对调度数据样本进行计算之后，根据计算结果选择出所需求的设备。根据计算结果选择出所需求的设备可以是根据预设的规则对各个设备的计算结果进行对比，选取计算结果最优的设备作为所需求的设备。

该实施例提供的用于预测设备需求的数据处理方法，通过按照预设时间间隔通过设备调度数据平台获取目标调度数据；根据目标调度数据更新调度数据库；在调度数据库中抽取调度数据样本；根据预设算法对调度数据样本进行计算；根据计算结果选择出所需求的设备，解决了相关技术中无法准确预测所需求的设备的问题，进而达到了准确预测对设备的需求的效果。

优选地，按照预设时间间隔通过设备调度数据平台获取目标调度数据可以包括：按照预设时间间隔连通设备调度数据平台和数据缓存平台之间的数据接口；确定预设时间间隔内设备调度数据平台中更新的数据；通过数据接口将预设时间间隔内设备调度数据平台中更新的数据缓存到数据缓存平台；对数据缓存平台中缓存的更新的数据执行第一处理，得到目标调度数据。

数据缓存平台是用于缓存预设时间间隔内设备调度数据平台中更新的数据的缓存平台。按照预设时间间隔打开设备调度数据平台和数据缓存平台之间的数据接口，将预设时间间隔内设备调度数据平台中更新的数据从设备调度数据平台通过数据接口缓存到数据缓存平台，在数据缓存平台中对缓存的数据执行第一处理得到目标调度数据。第一处理是将更新的数据处理成目标调度数据的数据处理方法。目标调度数据可以具有一定的格式等要求，设备调度数据平台中存储的数据与目标调度数据所需要的格式可能不同，此时就需要对数据执行第一处理以得到目标调度数据的格式，或通过执行第一处理使得数据缓存平台中的数据达到目标调度数据的要求。

优选地，根据预设算法对调度数据样本进行计算可以包括：发送调度数据样本至算法服务器，其中，算法服务器用于根据预设算法对调度数据样本执行计算，得到计算结果；接收算法服务器反馈的计算结果。

算法服务器是独立于设备调度数据平台的服务器，相较于直接在设备调度数据平台中进行计算，通过将独立的算法服务器对调度数据样本执行计算可以减轻设备调度数据平台的工作负荷，有利于提高数据处理方法的稳定性。

优选地，在调度数据库中抽取调度数据样本可以包括：抽取多个设备的调度数据样本，根据预设算法对调度数据样本执行计算包括：分别计算每个设备的调度数据样本，得到每个设备的统计数据，根据计算结果选择出所需求的设备包括：按照预设规则根据每个设备的统计数据选择出所需求的设备。

优选地，在根据计算结果选择出所需求的设备之后，该方法还可以包括：获取需求反馈数据，其中，需求反馈数据是选择出的设备满足设备需求的程度的反馈数据；根据需求反馈数据调整预设算法的参数。预设算法的参数可以根据对预测出的设备需求实际应用之后的反馈结果进行调整，以更适应实际的需求。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本发明的实施例还提供了一种用于预测设备需求的数据处理装置。需要说明的是，本发明实施例的用于预测设备需求的数据处理装置可以用于执行本发明的用于预测设备需求的数据处理方法。

图2是根据本发明实施例的用于预测设备需求的数据处理装置的示意图。如图2所示，该装置包括获取单元10，更新单元20，抽取单元30，计算单元40和选择单元50。

获取单元10用于按照预设时间间隔通过设备调度数据平台获取目标调度数据；更新单元20用于根据目标调度数据更新调度数据库；抽取单元30用于在调度数据库中抽取调度数据样本；计算单元40用于根据预设算法对调度数据样本进行计算；选择单元50用于根据计算结果选择出所需求的设备。

该实施例提供的用于预测设备需求的数据处理装置，通过获取单元10用于按照预设时间间隔通过设备调度数据平台获取目标调度数据；更新单元20用于根据目标调度数据更新调度数据库；抽取单元30用于在调度数据库中抽取调度数据样本；计算单元40用于根据预设算法对调度数据样本进行计算；选择单元50用于根据计算结果选择出所需求的设备，解决了相关技术中无法准确预测所需求的设备的问题，进而达到了准确预测对设备的需求的效果。

优选地，获取单元10可以包括：连接模块，用于按照预设时间间隔连通设备调度数据平台和数据缓存平台之间的数据接口；确定模块，用于确定预设时间间隔内设备调度数据平台中更新的数据；缓存模块，用于通过数据接口将预设时间间隔内设备调度数据平台中更新的数据缓存到数据缓存平台；处理模块，用于对数据缓存平台中缓存的更新的数据执行第一处理，得到目标调度数据。

优选地，计算单元40可以包括：发送模块，用于发送调度数据样本至算法服务器，其中，算法服务器用于根据预设算法对调度数据样本执行计算，得到计算结果；接收模块，用于接收算法服务器反馈的计算结果。

优选地，抽取单元30可以包括：抽取模块，用于抽取多个设备的调度数据样本，计算单元包括：计算模块，用于分别计算每个设备的调度数据样本，得到每个设备的统计数据，选择单元包括：选择模块，用于按照预设规则根据每个设备的统计数据选择出所需求的设备。

优选地，获取单元10还可以用于获取需求反馈数据，其中，需求反馈数据是选择出的设备满足设备需求的程度的反馈数据，该装置还可以包括：调整单元，用于根据需求反馈数据调整预设算法的参数。

本发明的实施例还提供了一种数据处理系统。需要说明的是，本发明实施例的数据处理系统可以包括本发明的用于预测设备需求的数据处理装置。

图3是根据本发明实施例的数据处理系统的示意图。如图3所示，该系统包括算法引擎服务器、工作站和网络应用服务器。

该系统中的算法引擎服务器、工作站和网络应用服务器可以通过信息内网进行通讯。工作站可以用于接收输入的操作，根据输入的操作选择出需要预测的设备需求。例如，工作人员在选择接下来的一个月需要采购的电力计量设备之后，工作站通过信息内网与信息内网的其它设备进行通讯，以得到电力计量设备的采购需求结果反馈到显示器上。

网络应用服务器可以包括设备调度数据平台、数据缓存平台、调度数据库所在的服务器等多个设备。

算法引擎服务器根据工作站发出的设备需求预测的请求确定与待预测的设备需求对应的算法，通过信息内网从调度数据库中抽取对应的调度数据样本，对调度数据样本进行计算以得到对设备需求预测的结果，并通过信息内网反馈至工作站。

图4是根据本发明实施例的数据处理系统预测设备需求的流程图。如图4所示，本发明实施例提供的数据处理系统预测设备需求的流程包括开放远程服务、统一调用方式、远程参数调用、加载算法库、预测结果返回五部分。开放远程服务是指可以通过远程方式调用本发明实施例提供的数据处理系统。数据处理系统中的各个平台、服务器、工作站之间是通过统一调用的方式执行相互通讯。算法服务器在需要调用调度数据库中抽取的数据样本时可以通过远程调用，通过算法脚本加载算法库之后，可以对远程调用的数据样本执行计算，得到预测结果，并可以将预测结果返回至远程的工作站。

下面结合一个具体的应用场景对上述的数据处理系统预测电能计量设备的设备需求的过程进行进一步地说明。

图5是根据本发明实施例的数据处理系统预测设备需求的示意图。如图5所示，数据处理系统执行预测的过程包括数据抽取清洗过程、预测分析比对、预测结果应用三个实施步骤。

1.数据抽取清洗过程

首先，对电能计量设备的原始数据进行抽取及整理，为预测需求的算法提供细致准确的输入数据。以本发明实际应用场景为例，原始数据存储在源系统中，例如，营销业务应用系统、计量生产调度平台等信息化系统，通过数据接口定时同步的方式每月定期将历史安装信息的增量从源系统中同步到预测需求的数据准备区，在数据逻辑校验无误之后，基于预测需求的关注要素对数据执行分解、转换、拼接、组合等数据处理过程，形成整合后的OSD(Operational Data Store)数据存储区，再结合其他辅助业务数据形成最终的数据仓库区，以供预测需求的功能模块读写和调用，物理存储方式可以采用Oracle数据库实现。

具体地，可以对实际的源数据系统进行调研分析，了解不同系统的历史安装工单数据存储模式和字段含义，根据搜集到的相关字段代码，结合源数据的业务处理条件等梳理形成上述的对原始数据进行数据逻辑校验的规则。

数据接口同步的方式可以根据实际源系统的调研分析情况，确定接口开发方案。在初步确定接口开发方案之后，可以针对大量数据同步进行稳定性测试，以确定原始数据交互的可靠性和完整性，本发明实施例采用的是WebService+接口中间库的方式，可选地，还可以根据实际情况选择其它同步方式，例如Oracle OGG方式。

在同步之后可以选择合适的数据库应用程序，基于上述数据转换过程编写数据准备区逻辑校验程序、数据存储区业务数据转化整合程序、数据仓库区数据存储过程程序，并完成接口程序的开发和验证。

通过数据抽取清洗过程，能够实现电能计量设备历史安装数据的定期同步，同步信息至少包括安装具体品规信息、安装业务类型信息、安装管理单位信息等核心要素，并实现对原始数据的逻辑校验，确保原始数据的准确可靠；并且能够形成需求预测所需的数据仓库，具体地，数据仓库区中可以包括各类设备的历史年、季、月安装数量信息，安装业务类型信息、安装管理单位信息，并基于统一规范的数据格式进行存储，以支撑需求预测算法输入数据要求。

2.预测分析比对

为了保证安装需求预测结果能够适应于各种品规类型和业务类型的实际发展趋势，该实施例提供的方案中包括“品规分析”、“趋势分析”、“异动分析”、“对比分析”四个相互联动的功能模块。其中，“比对分析”功能是预测分析过程的核心功能，通过独立于主应用服务器部署的预测算法核心引擎，并基于脚本化的预测模型算法库，实现预测算法的动态调用分析，并支持将预测结果与实际观测值进行误差分析，帮助分析人员择优选择某种设备的最佳预测算法，其它功能模块都从各自的侧重方面为“比对分析”功能提供辅助支撑。

具体地，预测分析对比的实施方式可以是：预测算法引擎设计部署在独立的服务器上，通过信息内网与网络应用服务器互联，预测分析比对过程的前台功能组件均部署在应用服务器上。预测算法的核心过程均在预测引擎服务器中单独运行。

预测算法引擎的具体实现方法可以包括：

1)开放网络远程服务，即通过TCP/IP Socket方式开启后台服务进程，对指定的端口进行网络监听，当有远程访问请求接入时进行握手应答，并建立远程访问链接。

2)统一调用方式，进行远程参数调用。即建立远程访问链接后，请求端程序通过统一的调用格式向预测引擎发起实际服务请求，制定统一的参数格式和返回数据格式，将各类型设备的预测输入数据及选择的算法模式作为参数发送给预测算法服务器，服务器接收相关参数后调用特定的程序来完成预测计算过程；采用何种预测算法作为远程调用过程的参数进行动态变更，应用服务程序不需要根据算法调整进行二次开发，因此可以减少后续运维开发工作量。

3)加载算法库，返回预测结果。预测算法引擎服务器接收远程参数调用请求后，从服务器本地存储介质中自动加载以解释脚本语言方式存在算法库文件，并基于调用参数选择对应的预测算法，执行相应的脚本过程，由算法引擎完成预测运算过程并返回预测结果。

预测算法引擎可采用主流的编程语言进行开发，本发明的应用实例即采用开源的R语言进行预测算法引擎的开发部署，后续采用其它方式开发的引擎均在本发明权利保护范围内。

“品规分析”、“趋势分析”、“异动分析”、“比对分析”等功能的前台组件开发，可以基于主流的B/S架构，本发明实例采用JAVA的SSH框架进行开发，程序部署在网络应用服务器中，客户通过远程工作站的网络浏览器进行功能访问，支持图形化展示、交互操作、弹出信息窗口等，相关功能操作形成的数据均存储在前文提到的数据仓库区。

通过该实施例中的预测分析对比过程中的“品规分析”，可以实现对各类设备的按照具体品规参数、业务安装类型等进行分类，根据历史安装数据统计其相应的安装占比，指导用户选择合适的预测统计周期(年、季、月)。

“趋势分析”可以实现对各类计量设备历史安装数据的图形化展示，可根据安装时间、安装类型、安装周期展示并比对历史观测数据或需求预测数据，客户可通过该功能对相关数据进行直观分析，便于选择合适的预测模型或选定预测历史数据输入时段，从而为指定的计量设备制定多样化的需求预测模型配置参数，以作为预测算法远程调用的参数。

“异动分析”可以实现对历史异动阈值设置，根据设定的阈值诊断历史观测数据，由于某些预测模型对输入数据有特定的量值要求(例如，某算法要求历史月份统计数据不能为零)，所以可通过该功能对数据进行平滑处理，以提升部分算法模型的适用性。

“对比分析”实现了对预测结果的误差分析及展示，可根据设定的预测模型参数展示预测结果，并通过选定的验证时间段，对预测数据进行误差分析，通过不同模型参数的结果误差比对，可择优选择误差较小的结果作为实际应用数据进行发布。

由于预测算法引擎部署在单独的服务器中，因此可以独立进行运维开发调整，并通过脚本方式动态更新算法库，相关过程对应用服务器运行维护均无任何影响。

3.预测结果应用

对各类型计量设备的预测结果可以满足采购、生产、配送的实际业务需要。

例如，可以根据实际采购的物料分类方式对各品规计量设备的预测结果进行分解合并，结合工程类安装梳理分解，形成可供采购模块引用的年度采购物料采购需求汇总结果。或者，还可以指导生产。

对各类品规计量设备预测数据，从相别、参数、安装单位等维度进行梳理归类，可以形成可供检定生产过程参考的月度、季度预测值，实际指导到货、检定计划的制定。

对各类品规计量设备预测数据，从安装单位角度进行梳理归类，可以形成各订单提报单位未来月度、季度配送需求参考值，以指导配送申请及配送计划的制定。

对需求预测数据进行多维度的再加工，结合工程类安装数据，可以形成科学准确的物料采购需求计划参考值，提升采购计划制定的准确率，需求预测结果数据用于到货、检定计划的智能排产，显著提升了生产计划的准确率；计量设备的月度、季度预测结果用于配送业务，一方面用以指导各基层单位了解自己的需求上下限值，另一方面实现对配送计划制定的数据支撑。

显然，本领域的技术人员应该明白，上述的本发明的各模块或各步骤可以用通用的计算装置来实现，它们可以集中在单个的计算装置上，或者分布在多个计算装置所组成的网络上，可选地，它们可以用计算装置可执行的程序代码来实现，从而，可以将它们存储在存储装置中由计算装置来执行，或者将它们分别制作成各个集成电路模块，或者将它们中的多个模块或步骤制作成单个集成电路模块来实现。这样，本发明不限制于任何特定的硬件和软件结合。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。