一种可动态平滑扩展的数据采集系统及方法
【专利摘要】本发明公开了一种可动态平滑扩展的数据采集系统及方法，包括：数据采集中心系统和数据采集终端；数据采集中心系统包括网关路由节点、数据采集管理节点、数据采集节点、安全认证节点、采集数据存储节点、监控节点、时间同步服务节点、安全证书存储节点、日志管理节点、日志存储节点,数据采集中心系统通过通讯网络与数据采集终端通信，所述数据采集终端将被采集设备的数据传输至数据采集节点，以及将数据采集申请表单提交网关路由节点，根据网关路由节点返回的数据采集节点路由信息表单，分别与各数据采集节点发起业务报告块传输请求，进行数据加密传输。本发明解决现有数据采集系统在新应用要求下扩展成本高、扩展能力差、安全风险的问题。
【专利说明】一种可动态平滑扩展的数据采集系统及方法
【技术领域】
[0001]本发明涉及数据采集领域，尤其涉及一种可动态平滑扩展的数据采集系统及方法。
【背景技术】
[0002]随着计算机技术、物联网技术的发展以及数据通讯基础设施的完善，社会由计算机信息时代进入到物联网时代，生产生活中出现越来越多的现场数据采集设备，这些设备既包括传统的应用于智能电网、自动化生产线等工业监控领域的专业化数据采集设备，也包括适用于智能家居、环境监测、个人移动应用领域的具备数据采集功能的便携式智能化设备。传统的计算机信息时代的数据采集系统发展壮大自20世纪80年代，由安装数据采集主站软件的计算机设备、现场总线和数据采集设备构成，该类系统的设计目标是通过工业现场的专业化数据采集设备实现工业监控数据采集。在物联网时代，传统模式的数据采集系统面对数量众多、种类众多的物联网采集设备的数据传输需求，表现出越来越多的局限性，主要体现在:
[0003]I)在传统的数据采集系统中，通过在数据采集主站软件中编写、配置规约的方式来扩展采集设备。仅适用于采集设备类型和设备数量都固定的、进行特定作业的工业自动化领域。
[0004]在传统的数据采集系统中进行新设备扩充接入时，首先在数据采集主站软件中为该类型设备编写采集规约，然后在软件系统中为该类型的每一个设备进行通讯配置，包括路由信息、规约信息、数据点表信息。这个配置过程必须要由对系统非常了解的专业人员来进行，否则这些配置改动可能会影响到原有系统的稳定性。生产现场每次新设备的接入，都需要对这个过程进行重复。幸运的是，工业生产环境中数据采集设备的种类和数量都是经过严格设计的，虽然在系统调试阶段，这种设备扩展的配置工作量会非常大，但当系统完成调试投入稳定运行后，除非扩容或检修，新增设备的需求较少，在这种应用场合中，传统的数据采集系统是满足使用要求的。
[0005]在采集设备的种类和数量会频繁发生变化的应用场景中，比如面向多用户的智能家居公共数据采集服务、广域范围内的环境动态监测、电动汽车移动数据采集等，由于监测对象的多样性和运行工况的不规律性，数据采集设备的类型和数量会频繁变化，如果采用传统的数据采集系统，就需要在已经稳定运行的系统上进行频繁的配置改动，这既给数据采集系统带来巨大的维护工作，又给系统稳定运行留下隐患。
[0006]2)传统数据采集系统中，数据采集主站软件系统维护着中心系统到所有被采集设备的路由信息，在数据采集过程中占据主导地位，负责建立与被采集设备的传输路由，适用于由数据采集中心系统到被采集设备有固定路由信息的数据采集场景。
[0007]在工业自动化生产过程中对生产过程的重点设备进行数据采集时，需要为该被采集设备建立专有的数据采集通道，数据采集主站软件系统为该被采集设备与其专有数据通道在系统内建立路由记录信息，当数据采集中心系统开始运行时，数据采集主站软件系统按照自身存储的路由信息一一建立与所有数据采集设备的路由连接。这种通道专有和由数据采集中心系统负责路由建立的方式满足工业生产中数据传输量大，数据传输的实时性和稳定性要求高的需求。
[0008]在物联网数据采集领域，数量众多的物联网数据设备在地理空间中呈现离散的分布特性和位置的移动性，现实中不具备为每一个设备配备专有、固定的数据通信通道的条件，即无固定路由信息。在没有固定路由的情况下，数据采集中心系统也就无法预先为被采集设备建立路由匹配信息表并发起路由连接，也即需要采取新的路由建立方法；同时传统的数据采集系统中由于通道专属于被采集设备的属性，采集系统需要按照可能接入的被采集设备的最大数量等同配置相同数量的数据路由，在传统数据采集系统中，均为被采集设备数量不多的场景，这种方式是可行的，但在物联网领域，需要面对数以百万计的设备，同时采集设备的在线状况会频繁的发生变化，采集设备会随着采集场所的实际要求或限制频繁进行在线和离线的转换，传统数据采集系统中静态路由资源配置方式无法满足这种频繁多变的需求，需要新的路由管理方法和可用路由动态配置技术。
[0009]3)传统数据采集系统多应用于工业生产环境，其网络环境为私有的工业现场数据采集网络，这种与公共传输信道物理隔离、独立自成网络的工业现场网络减少了数据采集系统受到外界安全攻击的风险，为保证工业应用的实时性，一般采取数据明文进行报文传输。与工业现场专业采集设备处于独立网络环境不同，物联网智能采集设备分布于较大地理范围内，数据传输网络须借助于公共传输网络，系统遭受安全攻击的风险非常大，传统的数据采集系统及方法不适应于这种安全风险较高的场景。
[0010]中国第200410021983.3号发明专利，主要涉及工业现场数据采集系统中数据按设定阈值进行存储的一种设计方法，适用于实现动力环境数据底端存储时有效数据量及数据还原性的有效平衡，未能解决本方案提出的新增数据采集设备配置繁琐、路由动态管理及按需配置、安全性防护等问题。
[0011]中国第200810198817.9号发明专利，提出一种支持不同数据采集业务的管理系统，该系统采用针对不同业务采用不同终端，可以统一地支持、管理不同的数据采集业务，但该系统本质上仍属于传统的数据采集系统，只是通过终端在具体不同业务数据采集系统之间进行隔离，解决规约扩充的问题。若应用在物联网采集场景中，仍存在设备扩充繁琐、路由管理及安全限制，未能解决本方案提出的新增数据采集设备配置繁琐、路由管理及动态配置、安全性防护等问题。
[0012]中国第200910111103.4号发明专利，提出了一种分布式数据采集控制平台系统，该发明基于传统的数据采集系统通过对多种通讯方式的集成，实现了数据的分布式采集，本质上是对本方案中提及的传统采集系统进行规约扩展的范畴，也未能解决本方案提出的新增数据采集设备配置繁琐、路由动态管理及动态配置、安全性防护等问题。
【发明内容】
[0013]针对上述的不足，本发明提供了一种可动态平滑扩展的数据采集系统及方法，实现数据采集中心系统不需人工配置即可实现新增设备的智能化识别、接入和数据分类采集，数据采集路由的自动化按需分配和动态调整，采集设备接入和数据传输的安全认证，解决现有数据采集系统在新应用要求下扩展成本高、扩展能力差、安全性差的问题。[0014]为了实现上述目的，本发明采用如下技术方案:
[0015]一种可动态平滑扩展的数据采集系统，包括:数据采集中心系统和数据采集终端;
[0016]所述数据采集中心系统通过通讯网络与所述数据采集终端通信，
[0017]所述数据采集中心系统是数据采集系统的核心，负责完成数据采集、管理、安全认证、存储及日志服务；
[0018]所述数据采集终端将被采集设备的数据传输至数据采集节点，以及将数据采集申请表单提交网关路由节点，根据网关路由节点返回的数据采集节点路由信息表单，分别与各数据采集节点发起业务报告块传输请求，进行数据加密传输；
[0019]所述通讯网络负责为数据采集终端提供到数据采集中心系统的物理链路，由以太网、GPRS、3G、4G、工业总线中的一种或几种构成；以及，也可以为其他可以提供数据传输的有线或无线物理链路；为保证路由信息定制的通用性，选择TCP/IP协议作为传输层协议。
[0020]所述数据采集中心系统包括:
[0021]网关路由节点，与数据采集终端、若干数据采集管理节点、安全认证节点、监控节点和日志管理节点通信，是数据采集终端通过通讯网络进入数据采集中心系统第一入口，网关路由节点的路由信息固定，一般为一个，对所有数据采集终端公开，负责处理数据采集终端向数据采集中心系统发起的终端数据采集申请表单；以及，将终端数据采集申请表单中的身份认证信息提交安全认证节点进行身份认证，将安全认证节点返回的身份认证结果发送至数据采集终端；以及，在安全认证通过后，将终端数据采集申请表单中业务报告块汇总信息按照业务报告块的业务类型进行重新组织，形成一个或多个分类业务报告块采集申请表单；按业务类型将分类业务报告块采集申请表单提交给处理该业务类型的数据采集管理节点，将每一个数据采集管理节点返回的数据采集节点路由信息表单发送至数据采集终端。
[0022]所述数据采集中心系统还包括:
[0023]安全认证节点，与网关路由节点、监控节点、安全证书存储节点通信，用于进行数据采集终端的安全认证，接收网关路由节点转发的终端数据采集申请表单中的身份认证信息，将身份认证信息与安全证书存储节点中的证书进行比对认证，将认证结果发送至网关路由节点。以及，根据数据采集终端的唯一性身份标识生成身份认证信息，身份认证信息可下装存储到数据采集终端的密钥模块内。
[0024]安全证书存储节点，与安全认证节点通信，用于存储数据采集终端的安全证书；
[0025]监控节点，与网关路由节点、安全认证节点和日志管理节点通信，用于监视并控制网关路由节点、安全认证节点、日志管理节点的运行状态，保证各节点在线工作。
[0026]日志管理节点，与网关路由节点、安全认证节点、数据采集节点、数据采集管理节点、日志存储节点通信，用于系统各节点产生日志信息的记录、维护和管理工作；
[0027]日志存储节点，与日志管理节点通信，负责日志的存储；
[0028]数据采集管理节点，与网关路由节点、日志管理节点、若干数据采集节点通信，接收网关路由节点发送的分类业务报告块采集申请表单，根据路由选择策略为分类业务报告块采集申请表单中的每一个业务报告块条目选取数据采集节点，形成数据采集节点路由信息表单；以及，将数据采集节点路由信息表单发送至网关路由节点，同时按照数据采集节点路由信息表单中的匹配信息将通讯信息表单推送到对应的数据采集节点；
[0029]数据采集节点，与数据采集管理节点、采集数据存储节点、数据采集终端、日志管理节点通信，负责数据采集终端的数据采集，为数据采集终端的传输请求建立通讯连接，负责数据采集解析过程；
[0030]采集数据存储节点，与数据采集节点通信，用于存储各数据采集节点采集的数据，并提供数据访问功能；
[0031]时间同步节点，用于为系统中所有节点提供时间同步服务。
[0032]所述网关路由节点、数据采集管理节点和数据采集节点按照树形进行逻辑关系组织；网关路由节点为该树形结构的根节点，其下连接有一个或多个数据采集管理节点；每个数据采集管理节点下面有一个或多个数据采集节点。
[0033]网关路由节点、数据采集管理节点、数据采集节点、安全认证节点、采集数据存储节点、监控节点、时间同步服务节点、安全证书存储节点、日志管理节点、日志存储节点，所有上述应用节点允许运行在同一台计算机服务器上，也允许多个应用节点运行在同一个计算机服务器上；以及，上述节点允许运行在同一个或多个不同的云计算服务平台上。
[0034]所述终端数据采集申请表单包括身份认证信息、传输密钥信息、业务报告块汇总信息。
[0035]所述数据采集终端包括主控板，所述主控板分别与电源模块、CPU模块、存储模块、通讯模块、显示模块、密钥模块、规约转换模块、开入开出模块、对时模块、键盘模块双向通信。
[0036]所述数据采集终端与若干被采集设备之间允许通过RS232、RS485、CAN总线、以太网、无线方式进行通讯连接。所述被采集设备包括传感器、操作终端、控制器、设备通信模块、PLC等传统工业现场设备或智能家居、智能建筑、智能物流等领域的物联网智能设备，尤其是智能表计及高级量测、智能用电、电动汽车及充电等智能电网中物联网智能设备。
[0037]所述数据采集终端与网关路由节点和数据采集节点之间允许通过光纤以太网、无线方式以TCP/IP协议作为传输层协议进行通讯连接。
[0038]所述数据采集终端接入上述系统前需要完成身份认证、传输密钥、业务报告块汇总信息的配置工作。
[0039]上述数据采集系统所使用的数据采集方法，包括步骤:
[0040]步骤(1):数据采集终端向网关路由节点发送终端数据采集申请表单；
[0041]步骤(2):网关路由节点为终端数据采集申请表单生成处理流程，每一个处理流程都是一个Erlang进程，网关路由节点在该Erlang进程中向安全认证节点发送终端数据采集申请表单中的身份认证信息，等待安全认证节点返回该数据采集终端的安全认证结果；同时网关路由节点等待新的采集申请；
[0042]步骤(3):安全认证节点根据终端数据采集申请表单中的身份认证信息对数据采集终端进行安全认证，将认证结果发送至网关路由节点；
[0043]步骤(4):若认证失败，网关路由节点将认证结果返回给数据采集终端，结束本次处理流程，同时结束负责本次处理的Erlang进程；
[0044]步骤(5):若认证通过，网关路由节点将终端数据采集申请表单中业务报告块汇总信息按照业务报告块的业务类型进行重新组织，形成分类业务报告块的业务申请表单；进一步的，网关路由节点将分类业务报告块的业务申请表单分别提交给处理该业务类型的若干数据采集管理节点；
[0045]步骤(6):若干数据采集管理节点接收到业务申请表单以后，根据优选策略为业务申请表单中的每一个业务报告条目匹配数据采集节点，组织形成数据采集节点路由信息表单，并将路由信息表单返回至网关路由节点；数据采集管理节点同时根据路由信息表单中的数据采集节点与业务报告条目的匹配信息生成通讯信息表单，并将通讯信息表单推送至完成匹配的数据采集节点；
[0046]步骤(7):网关路由节点接收到数据采集管理节点返回的路由信息表单，此时路由信息表单由多个具体的业务报告块条目和与该业务报告块条目匹配的路由信息的组合条目构成，网关路由节点将路由信息表单送至提交该采集申请的数据采集终端；网关路由节点为该采集申请生成的Erlang处理进程一直等待所有向数据采集管理节点提交申请结果的返回，若超时，向数据采集终端发送超时信息；
[0047]步骤(8):数据采集终端若接收到超时信息，或者接收到的路由信息表单中的数据采集节点为空数据采集节点，数据采集终端结束本次申请，并延迟一段时间后，向网关路由节点发起新的采集申请；
[0048]步骤(9):数据采集终端在接收到所有返回的路由信息表单后，向各路由信息表单中指定的数据采集节点发起业务报告块传输请求，数据采集节点为每一个传输请求建立传输通道，每一个传输通道都是一个Erlang进程，根据业务报告块对应的数据传输密钥信息及数据解析方式，完成传输报文的解密、解析、存储及组帧、加密和传输；
[0049]步骤(10):数据采集节点将采集数据按照存储策略将数据存储到采集数据存储节
占.[0050]在所述步骤(I)-步骤(10)在执行过程中日志管理节点实时存储网关路由节点、安全认证节点、数据采集管理节点、数据采集节点产生的工作日志；监控节点实时监控、维护网关路由节点、安全认证节点、数据采集节点的运行状态，当网关路由节点、安全认证节点或数据采集节点出现异常时，监控节点尝试对异常节点进行重启操作，并提醒系统维护人员及时进行故障处理；时间同步节点定时同步网关路由节点、安全认证节点、安全证书存储节点、监控节点、日志管理节点、日志存储节点、数据采集管理节点、数据采集节点、采集数据存储节点的时间。
[0051]所述步骤(I)中的终端数据采集申请表单，包括身份认证信息、传输密钥信息、业务报告块汇总信息。
[0052]所述身份认证信息为该采集终端设备在初始化阶段，由安全证书管理节点根据该数据采集终端的唯一性身份标识生成，并下装存储到数据采集终端的密钥模块，该下装过程不可重复进行，并且不可逆。
[0053]所述传输密钥信息是由数据采集终端密钥模块产生的，每一个新的数据采集申请表单中的传输密钥信息会不同，数据采集节点通过该密钥可以解析数据采集终端在本次传输申请事务周期内发送的经密钥模块加密后的数据，并且允许将发送给数据采集终端的命令以该密钥进行加密，保证该命令可被数据采集终端识别。
[0054]所述业务报告块汇总信息为该采集数据采集终端初始化的可采集的数据条目信息，包括根据业务类型划分的业务报告块集合及其属性、报告块集合包含的报告块条目、报告块条目包含的测点、测点的数据存储策略及其他属性。
[0055]所述步骤(3)中的安全认证，用于保证只有经过合法认证的数据采集终端才能自动接入到系统中。安全认证节点将数据采集终端的身份认证信息与安全证书存储节点中的安全证书进行验证匹配，若验证通过则返回认证通过结果，否则认证失败，返回认证未通过信息。
[0056]所述步骤(5)具体内容为:网关路由节点解析终端数据采集申请表单，按照该终端数据采集申请表单中业务报告块自描述信息中报告块集合的业务类型，形成一个或多个根据业务类型进行分类的业务申请表单，每个业务申请表单包括数据采集终端标识、数据采集终端传输密钥信息、业务采集申请类型、支持的数据采集节点命令及该业务的采集报告块集合，其中采集报告块集合包含一个或多个业务报告块条目，每个条目包含该条目的测点、数据存储策略及其他描述信息。网关路由节点需要根据业务采集申请类型将业务申请表单发送到处理该类业务的数据采集管理节点。
[0057]所述步骤(6)中的优选策略，数据采集管理节点在多个本节点管理下的数据采集节点中进行选择的优选策略包括以下因素:数据采集节点的IO负载、CPU负载、核心原件的物理性能参数、数据采集终端到数据采集节点的Qos。
[0058]IO负载以数据采集节点30分钟内Erlang进程的平均数量进行判断；
[0059]CPU负载以30分钟内CPU的平均占有率进行判断；
[0060]核心原件的物理性能参数包括CPU温度、硬盘温度、CPU风扇转速；
[0061]指定数据采集终端到指定数据采集节点的Qos计算方式为:从所有与指定数据采集节点保持通讯连接的数据采集终端中选择与该数据采集终端位于相同和相近通讯拓扑位置的数据采集终端，以这些数据采集终端到指定数据采集节点的Qos的平均值为该数据采集终端到该指定节点的Qos，若不存在相同或相近网络拓扑位置的数据采集终端，允许不采用该策略因素。
[0062]数据采集节点选优策略中具体的原则是:10负载低、CPU负载低、核心原件的物理性能参数正常、Qos低。
[0063]所述步骤(6)中的路由信息表单，是由数据采集管理节点根据根据优选策略为业务申请表单中的每一个业务报告条目匹配数据采集节点而组织形成，包括数据采集终端标识及业务报告块对应的通讯协议类型、采集节点IP地址、采集节点端口号。所述步骤(6)中的通讯信息表单，是数据采集管理节点根据路由信息表单中的数据采集节点匹配信息生成，包括数据采集终端标识、数据采集终端传输密钥信息、业务采集申请类型、支持的数据采集节点命令及对应的业务报告块条目信息。
[0064]所述步骤(9)的步骤为:数据采集管理节点为每个业务申请表单生成一个路由信息表单，业务申请表单中每一个报告块条目对应该路由信息表单中一条数据采集节点路由信息，路由信息包括通讯协议类型、数据采集节点IP地址及端口号；数据采集终端向每个数据采集节点发起连接请求，数据采集节点以Erlang进程的方式为数据采集终端提供数据采集通道；数据采集终端在与数据采集节点首次建立通讯连接时，数据采集节点向数据采集终端请求测点详细描述信息，数据采集终端上传该数据采集节点对应报告块条目下的测点信息；此后数据采集终端与数据采集节点以数据采集终端提供的密钥进行数据加密传输，数据采集节点根据数据采集终端提供的测点自描述信息中规定的解析方式完成数据解析和数据存盘。
[0065]所述步骤(10)中的数据存储，数据采集节点将数据传输到采集数据存储节点，采集数据存储节点按照预先设定的数据存储策略如缓存偏差、时间间隔完成数据缓存，提供实时数据断面访问功能并将数据持久化到数据库，数据库提供持久化数据访问功能；不同的业务数据报告块的数据存储策略也允许在报告块中进行定制描述。
[0066]本发明的有益效果:
[0067]1、数据采集终端通过在初始化时进行身份认证信息、传输密钥信息、数据点及业务报告块汇总信息配置，使数据采集终端具备自我描述能力，实现了多种现场设备的自描述数据接入。数据采集中心系统通过接受数据采集终端的采集申请表单，查询数据采集终端的自描述信息，按照数据采集终端自描述信息进行解析存储这三个自动化步骤，就可以在无需对数据采集中心系统配置进行更改的情况下实现新增数据采集终端的数据采集。
[0068]2、系统通过网关路由节点将业务采集申请表单发送到数据采集管理节点，由数据采集管理节点根据优选策略动态分配数据采集节点形成路由信息表单，并最终由网关路由节点将路由信息返回采集终端。在网关路由节点的配合下，通过按业务组织的数据采集管理节点、数据采集节点及采用一个Erlang进程对应一个采集通道的技术实现方式，实现了数据采集系统的路由信息的动态自动化配置和接入通道容量的平滑调整。
[0069]3、在本发明中，网关路由节点是进入数据采集系统第一入口，未经安全认证或者加密的业务请求只能进入网关路由节点，由网关路由节点进行业务的转发或者丢弃；到数据采集节点的业务均为经过安全认证和加密的数据。网关路由与安全认证结合的方式，降低了数据采集系统整体在各种网络环境下系统遭受攻击的风险；网关路由节点与数据采集节点分离，屏蔽采集节点的技术方案，提高了数据采集系统整体的安全性和可用性，即使是网关路由节点受到攻击，仅影响新数据采集终端的接入，不影响原有已接入数据采集终端的正常数据采集。
[0070]4、监控节点监视网关路由节点、安全认证节点、日志管理节点的正常运行，保证这些节点的稳定运行；同时监控节点本身以热备方式运行，彼此保证监控节点的正常运行。整体的监控保障了系统运行稳定性。
[0071]5、数据采集管理节点对数据采集节点的优化选取，保证了各数据采集节点的负载均衡。数据采集节点以Erlang进程的方式为数据采集终端提供数据采集通道，实现采集通道平滑扩容；且数据采集终端向采集节点提供数据解析方式和测点信息的免配置方式，避免了人工配置造成繁琐和出错的可能；同时数据采集节点和数据采集终端之间采用密钥加密方式进行数据通讯，增强了通讯的安全性。
[0072]6、本系统在运行过程中，除对新接入系统的数据采集终端进行初始化操作以外，数据中心系统的其他节点均不需进行配置更改的人工参与，即减少了系统使用过程中运维人员的工作量，更保证了系统安全稳定的运行。
【专利附图】
【附图说明】
[0073]图1为本发明的结构示意图；
[0074]图2为本发明的数据采集节点管理层次结构示意图；
[0075]图3为本发明的监控节点工作结构示意图；[0076]图4为本发明的数据采集终端结构示意图；
[0077]图5为本发明数据采集终端与被采集设备连接示意图；
[0078]图6为本发明的数据采集工作交互过程示意图；
[0079]图7为本发明的采集申请过程示意图；
[0080]图8为本发明的数据采集终端初始化配置信息示意图；
[0081]图9为本发明的采集申请表单示意图；
[0082]图10为本发明的业务申请表单示意图；
[0083]图11为本发明的路由信息表单示意图；
[0084]图12为本发明的通讯信息表单示意图；
[0085]其中，1.数据采集终端，2.网关路由节点，3.安全认证节点，4.安全证书存储节点，5.监控节点，6.日志管理节点，7.日志存储节点，8.数据采集管理节点，9.数据采集节点，10.采集数据存储节点，11.时间同步节点；21.电源模块，22.CPU模块，23.存储模块，24.通讯模块，25.显示模块，26.密钥模块，27.规约转换模块，28.开入开出模块，29.对时模块，30.键盘模块，31.被采集设备，40.主控板。
【具体实施方式】
[0086]下面结合附图与实施例对本发明作进一步说明:
[0087]如图1所示，一种可动态平滑扩展的数据采集系统，包括数据采集终端1、网关路由节点2、安全认证节点3、数据采集管理节点8、数据采集节点9、采集数据存储节点10、监控节点5、时间同步节点11、日志管理节点6、安全证书存储节点4、日志存储节点7 ;所述数据采集终端I分别与所述网关路由节点2和数据采集节点9双向通信；所述网关路由节点2分别与日志管理节点6、监控节点5、安全认证节点3、数据采集管理节点8双向通信；所述日志管理节点6分别与日志存储节点7、数据采集节点9、数据采集管理节点8、安全认证节点3和监控节点5双向通信；所述安全认证节点3分别与监控节点5、安全证书存储节点4双向通信；所述数据采集节点9分别与采集数据存储节点10和数据采集管理节点8双向通?目。
[0088]网关路由节点、数据采集管理节点、数据采集节点、安全认证节点、采集数据存储节点、监控节点、时间同步服务节点、安全证书存储节点、日志管理节点、日志存储节点，所有上述应用节点可以每一个节点运行在一台计算机服务器上，也可以多个节点运行在同一个计算机服务器上，各个计算机服务器之间以专有光纤通道或专有无线通道连接，在地理位置上可以固定安装在同一个房间，可以安装在多个不同的城市，也可以处于高速的移动状态。进一步的，上述各节点可以运行在同一个或者多个不同的云服务器上。
[0089]所述网关路由节点2是数据采集终端I进入数据采集系统第一入口，网关路由节点2的路由信息固定并对所有数据采集终端I公开，负责处理数据采集终端I向数据采集系统发起的终端数据采集申请表单，包括身份认证信息、传输密钥信息、业务报告块汇总信肩、O
[0090]进一步的，所述网关路由节点2，将终端数据采集申请表单中的身份认证信息提交安全认证节点3进行身份认证，等待安全认证节点3处理，将安全认证节点3返回的身份认证结果发送至数据采集终端I。[0091]进一步的，所述网关路由节点2，当安全认证通过时，将终端数据采集申请表单中业务报告块汇总信息按照业务报告块的业务类型进行重新组织，形成一个或多个分类业务报告块采集申请表单，按类型将分类业务报告块采集申请表单提交给处理对应业务类型的数据采集管理节点8。等待数据采集管理节点8处理，将每一个数据采集管理节点8返回的数据采集节点9路由信息表单发送至数据采集终端I。
[0092]所述安全认证节点3进行数据采集终端I的安全认证，接收网关路由节点2转发的终端数据采集申请表单中的身份认证信息，将身份认证信息与安全证书存储节点4中的证书进行安全认证，将安全认证结果发送至网关路由节点2。进一步的，所述安全证书存储节点4可以根据数据采集终端I的唯一性身份标识生成身份认证信息，身份认证信息可下装存储到数据采集终端I的密钥模块内。
[0093]所述数据采集管理节点8管理一个或多个处理同类业务数据的数据采集节点9，接收网关路由节点2发送的分类业务报告块采集申请表单，数据采集管理节点8根据路由选择策略为分类业务报告块采集申请表单中的每一个业务报告块选取数据采集节点9，形成数据采集节点9路由信息表单。进一步的，将数据采集节点9路由信息表单发送至网关路由节点2，同时按照数据采集节点9路由信息表单中的匹配信息将通讯信息表单推送到对应的数据采集节点9。
[0094]所述数据采集节点9为数据采集终端I提供数据采集通道，当收到数据采集终端I的业务报告块传输请求时，为每一个传输请求建立传输通道，每一个传输通道都是一个Erlang进程，根据业务报告块对应的数据传输密钥信息及数据解析方式，完成传输报文的解密、解析、存储及组帧、加密和传输。
[0095]所述时间同步服务器节点11，以GPS信号、北斗、B码、CDMA、原子钟标准时钟源中的一个或多个为时钟源，为系统中的数据采集终端1、网关路由节点2、安全认证节点3、数据采集管理节点8、数据采集节点9、采集数据存储节点10、监控节点5、日志管理节点6、安全证书管理节点4、日志存储节点7进行时间同步，时间同步信号的方式可以为:NTP/SNTP信号、脉冲信号、IRIG-B信号、时间报文。
[0096]所述采集数据存储节点10存储各数据采集节点9采集的数据，并提供数据访问功倉泛。
[0097]所述日志管理节点6负责系统各节点产生日志信息的记录、维护和管理工作，日志存储节点7负责日志的存储。
[0098]所述监控节点8监视并控制网关路由节点2、安全认证节点3、日志管理节点6的运行状态，保证各节点在线工作，可采用双节点热备方式运行或者集群方式运行。
[0099]所述数据采集终端I与被采集设备之间可以通过RS232、RS485、CAN总线、以太网、无线方式进行通讯连接。
[0100]进一步的，所述数据采集终端I与网关路由节点2和数据采集节点9之间可以通过光纤以太网、无线方式进行通讯连接。
[0101]进一步的，所述数据采集终端I经完成身份认证、传输密钥、业务报告块汇总信息配置后，将数据采集申请表单提交网关路由节点2，根据网关路由节点2返回的数据采集节点9路由信息表单，分别与各数据采集节点9建立连接，进行数据加密传输。
[0102]如图2所示，系统可包含一个或多个数据采集管理节点8，数据采集管理节点8管理一个或多个处理同类业务数据的数据采集节点9，接收网关路由节点2发送的分类业务报告块采集申请表单，数据采集管理节点8根据路由选择策略为分类业务报告块采集申请表单中的每一个业务报告块选取数据采集节点9，形成数据采集节点9路由信息表单。进一步的，将数据采集节点9路由信息表单发送至网关路由节点2，同时按照数据采集节点9路由信息表单中的匹配信息将通讯信息表单推送到对应的数据采集节点9。
[0103]如图3所示，监控节点5分别与网关路由节点2、安全认证节点3、日志管理节点6双向通信，所述监控节点5与其他的监控节点5之间也是双向通信；监控节点5以节点热备模式或集群方式运行，网关路由节点2、安全认证节点3、日志管理节点6向监控节点5注册，并保持登陆状态，若某节点运行出现异常，监控节点5尝试对故障节点进行重启操作，并提醒系统维护人员及时进行故障处理。
[0104]如图4所示，数据采集终端I包括主控板40，所述主控板分别与电源模块21、CPU模块22、存储模块23、通讯模块24、显示模块25、密钥模块26、规约转换模块27、开入开出模块28、对时模块29、键盘模块30双向通信。
[0105]如图5所示，数据采集终端I允许与若干个被采集设备31以不同的通讯方式进行数据交互，可采用的通讯方式包括RS232、RS485、CAN总线、以太网、无线方式。
[0106]如图6所示，数据采集工作过程示意图:
[0107]S1.数据采集终端向网关路由节点发送终端数据采集申请表单，以获得数据采集节点路由信息；
[0108]S2.数据采集终端安全认证请求:网关路由节点向安全认证节点发送终端数据采集申请表单中的身份认证信息，进行数据采集终端的安全认证；
[0109]S3.安全认证节点进行数据采集终端的安全认证，并将认证结果返回至网关路由节点。若认证失败，则执行S6，并结束本次处理流程，等待新的采集申请；若认证通过，则执行S4 ；
[0110]S4.网关路由节点将终端数据采集申请表单中业务报告块汇总信息按照业务报告块的业务类型进行重新组织，形成分类业务报告块采集申请表单，并将分类业务报告块采集申请表单分别提交给处理该业务类型的数据采集管理节点，以获取数据采集节点路由信息；
[0111]S5.数据采集管理节点根据优选策略为申请表单中的每一个业务报告条目选取数据采集节点，组织形成数据采集节点路由信息表单，将路由信息表单返回至网关路由节点，并按照数据采集节点路由信息表单中的匹配信息将通讯信息表单推送至对应的数据采集节点；
[0112]S6.网关路由节点将接收到数据采集节点路由信息表单送至数据采集终端；
[0113]S7.数据采集终端向各路由信息表单中指定的数据采集节点发起业务报告块传输请求，数据采集节点以Erlang进程方式为每一个传输请求建立传输通道，根据业务报告块对应的数据传输密钥信息及数据解析方式，进行传输报文的解密、解析、存储及组帧、加密和传输；
[0114]S8.数据存储。数据采集节点将采集数据按照存储策略将数据存储到采集数据存储节点。
[0115]如图7所不,米集申请过程不意图:[0116]SO1.数据采集终端配置，形成数据采集终端配置文档。
[0117]S02.数据采集终端向安全路由节点发送采集申请表单。
[0118]S03.网关路由节点向安全认证节点进行数据采集终端身份认证。
[0119]S04.安全认证节点向网关路由节点返回认证结果。若认证失败执行S05，成功执行 S06。
[0120]S05.网关路由节点向数据采集终端返回申请结果:认证失败。
[0121]S06.网关路由节点形成业务申请表单，发送到数据采集管理节点。
[0122]S07.网关路由节点进行申请超时判断，超时则向数据采集终端返回申请结果:申请超时。
[0123]S08.数据采集管理节点向网关路由节点返回数据采集节点路由信息表单，并向数据采集节点推送通讯信息表单。
[0124]S09.网关路由节点向数据采集终端发送数据采集节点路由信息表单。
[0125]S10.数据采集终端接收到所有路由信息表单后，采集申请成功。
[0126]如图8所示，数据采集终端的配置文档，包括文件头、业务报告块信息、测点信息。文件头为数据采集终端的基本信息，包含数据采集终端名称、数据采集终端唯一性标识、数据采集终端型号、生产厂家、创建人及创建时间，安全认证节点根据数据采集终端唯一性标识生成数据采集终端的身份认证信息；业务报告块信息为数据采集管理节点选取数据采集节点提供依据，每个设备可根据业务类型配置多个报告块集合，报告块集合属性包括业务类型、支持的数据采集节点命令及数据解析方式，每个报告块集合可根据测点数量或其他因素配置一个或多个报告块条目，报告块条目下配置数据存储属性如存储间隔、存储偏差以及该条目包含测点的ID ;测点信息配置了每个测点的ID和具体信息，如测点名称、测点类型、测点控制类型及其他所需信息。
[0127]如图9所示，数据采集申请表单，包括身份认证信息、传输密钥信息、业务报告块汇总信息。身份认证信息为在设备配置阶段，由安全证书管理节点根据该数据采集终端的唯一性身份标识生成，并下装存储到数据采集终端的密钥模块；传输密钥信息由数据采集终端密钥模块产生；业务报告块汇总信息为数据采集终端配置文档中业务报告块信息，包括根据业务类型划分的业务报告块集及其属性、报告块集合包含的报告块条目、报告块条目包含的测点、数据存储策略及其他属性。
[0128]如图10所示，业务申请表单，是由网关路由节点按照采集申请表单业务报告块汇总信息中报告块集合的业务类型生成，每个业务申请表单包括数据采集终端标识、数据采集终端传输密钥信息、业务采集申请类型、支持的数据采集节点命令及业务采集报告集，其中业务采集报告集包含一个或多个业务报告块条目，每个条目包含该条目的测点、数据存储策略及其他描述信息。
[0129]如图11所示，路由信息表单，数据采集管理节点为每个业务申请表单生成一个路由信息表单，业务申请表单中每一个报告块条目对应该路由信息表单中一条数据采集节点路由信息，路由信息包括通讯协议类型、数据采集节点IP地址及端口号。
[0130]如图12所示，通讯信息表单，数据采集管理节点根据路由信息表单中的数据采集节点匹配信息生成，包括数据采集终端标识、数据采集终端传输密钥信息、业务采集申请类型、支持的数据采集节点命令及对应的业务报告块条目信息。[0131]上述虽然结合附图对本发明的【具体实施方式】进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。
【权利要求】
1.一种可动态平滑扩展的数据采集系统，其特征是，包括:数据采集中心系统和数据米集终端； 所述数据采集中心系统通过通讯网络与所述数据采集终端通信， 所述数据采集中心系统是数据采集系统的核心，负责完成数据采集、管理、安全认证、存储及日志服务； 所述数据采集终端将被采集设备的数据传输至数据采集节点，以及将数据采集申请表单提交网关路由节点，根据网关路由节点返回的数据采集节点路由信息表单，分别与各数据采集节点发起业务报告块传输请求，进行数据加密传输； 所述通讯网络负责为数据采集终端提供到数据采集中心系统的物理链路； 所述数据采集中心系统包括: 网关路由节点，与数据采集终端、若干数据采集管理节点、安全认证节点、监控节点和日志管理节点通信，是数据采集终端通过通讯网络进入数据采集中心系统第一入口，网关路由节点的路由信息固定，对所有数据采集终端公开，负责处理数据采集终端向数据采集中心系统发起的终端数据采集申请表单；以及，将终端数据采集申请表单中的身份认证信息提交安全认证节点进行身份认证，将安全认证节点返回的身份认证结果发送至数据采集终端；以及，在安全认证通过后，将终端数据采集申请表单中业务报告块汇总信息按照业务报告块的业务类型进行重新组织，形成一个或多个分类业务报告块采集申请表单；按业务类型将分类业务报告块采集申请表单提交给处理该业务类型的数据采集管理节点，将每一个数据采集管理节点返回的数据采集节点路由信息表单发送至数据采集终端。
2.如权利要求1所述的一种可动态平滑扩展的数据采集系统，其特征是， 所述数据采集中心系统还包括: 安全认证节点，与网关路由节点、监控节点、安全证书存储节点通信，用于进行数据采集终端的安全认证，接收网关路由节点转发的终端数据采集申请表单中的身份认证信息，将身份认证信息与安全证书存储节点中的证书进行比对认证，将认证结果发送至网关路由节点；以及，根据数据采集终端的唯一性身份标识生成身份认证信息，身份认证信息允许下装存储到数据采集终端的密钥模块内； 安全证书存储节点，与安全认证节点通信，用于存储数据采集终端的安全证书； 监控节点，与网关路由节点、安全认证节点和日志管理节点通信，用于监视并控制网关路由节点、安全认证节点、日志管理节点的运行状态，保证各节点在线工作； 日志管理节点，与网关路由节点、安全认证节点、数据采集节点、数据采集管理节点、日志存储节点通信，用于系统各节点产生日志信息的记录、维护和管理工作； 日志存储节点，与日志管理节点通信，负责日志的存储； 数据采集管理节点，与网关路由节点、日志管理节点、若干数据采集节点通信，接收网关路由节点发送的分类业务报告块采集申请表单，根据路由选择策略为分类业务报告块采集申请表单中的每一个业务报告块条目选取数据采集节点，形成数据采集节点路由信息表单；以及，将数据采集节点路由信息表单发送至网关路由节点，同时按照数据采集节点路由信息表单中的匹配信息将通讯信息表单推送到对应的数据采集节点； 数据采集节点，与数据采集管理节点、采集数据存储节点、数据采集终端、日志管理节点通信，负责数据采集终端的数据采集，为数据采集终端的传输请求建立通讯连接，负责数据采集解析过程； 采集数据存储节点，与数据采集节点通信，用于存储各数据采集节点采集的数据，并提供数据访问功能； 时间同步节点，用于为系统中所有节点提供时间同步服务。
3.如上述任一权利要求所述的一种可动态平滑扩展的数据采集系统所使用的数据采集方法，其特征是，包括步骤: 步骤(1):数据采集终端向网关路由节点发送终端数据采集申请表单； 步骤(2):网关路由节点为终端数据采集申请表单生成处理流程，每一个处理流程都是一个Erlang进程，网关路由节点在该Erlang进程中向安全认证节点发送终端数据采集申请表单中的身份认证信息，等待安全认证节点返回该数据采集终端的安全认证结果；同时网关路由节点等待新的采集申请； 步骤(3):安全认证节点根据终端数据采集申请表单中的身份认证信息对数据采集终端进行安全认证，将认证结果发送至网关路由节点； 步骤(4):若认证失败，网关路由节点将认证结果返回给数据采集终端，结束本次处理流程，同时结束负责本次处理的Erlang进程； 步骤(5):若认证通过，网关路由节点将终端数据采集申请表单中业务报告块汇总信息按照业务报告块的业务类型进行重新组织，形成分类业务报告块的业务申请表单；进一步的，网关路由节点将分类业务报告块的业务申请表单分别提交给处理该业务类型的若干数据采集管理节点； 步骤(6):若干数据采集管理节点接收到业务申请表单以后，根据优选策略为业务申请表单中的每一个业务报告条目匹配数据采集节点，组织形成数据采集节点路由信息表单，并将路由信息表单返回至网关路由节点；数据采集管理节点同时根据路由信息表单中的数据采集节点与业务报告条目的匹配信息生成通讯信息表单，并将通讯信息表单推送至完成匹配的数据采集节点； 步骤(7):网关路由节点接收到数据采集管理节点返回的路由信息表单，此时路由信息表单由多个具体的业务报告块条目和与该业务报告块条目匹配的路由信息的组合条目构成，网关路由节点将路由信息表单送至提交该采集申请的数据采集终端；网关路由节点为该采集申请生成的Erlang处理进程一直等待所有向数据采集管理节点提交申请结果的返回，若超时，向数据采集终端发送超时信息； 步骤(8):数据采集终端若接收到超时信息，或者接收到的路由信息表单中的数据采集节点为空数据采集节点，数据采集终端结束本次申请，并延迟一段时间后，向网关路由节点发起新的采集申请； 步骤(9):数据采集终端在接收到所有返回的路由信息表单后，向各路由信息表单中指定的数据采集节点发起业务报告块传输请求，数据采集节点为每一个传输请求建立传输通道，每一个传输通道都是一个Erlang进程，根据业务报告块对应的数据传输密钥信息及数据解析方式，完成传输报文的解密、解析、存储及组帧、加密和传输； 步骤(10):数据采集节点将采集数据按照存储策略将数据存储到采集数据存储节点；在所述步骤(1)-步骤(10)执行过程中日志管理节点实时存储网关路由节点、安全认证节点、数据采集管理节点、数据采集节点产生的工作日志；监控节点实时监控、维护网关路由节点、安全认证节点、数据采集节点的运行状态，当网关路由节点、安全认证节点或数据采集节点出现异常时，监控节点尝试对异常节点进行重启操作，并提醒系统维护人员及时进行故障处理；时间同步节点定时同步网关路由节点、安全认证节点、安全证书存储节点、监控节点、日志管理节点、日志存储节点、数据采集管理节点、数据采集节点、采集数据存储节点的时间。
4.如权利要求3所述的方法，其特征是，所述步骤(1)中的终端数据采集申请表单，包括身份认证信息、传输密钥信息、业务报告块汇总信息； 所述身份认证信息为该采集终端设备在初始化阶段，由安全证书管理节点根据该数据采集终端的唯一性身份标识生成，并下装存储到数据采集终端的密钥模块，该下装过程不允许重复进行，并且不可逆； 所述传输密钥信息是由数据采集终端密钥模块产生的，每一个新的数据采集申请表单中的传输密钥信息会不同，数据采集节点通过该密钥能够解析数据采集终端在本次传输申请事务周期内发送的经密钥模块加密后的数据，并且允许将发送给数据采集终端的命令以该密钥进行加密，保证该命令能够被数据采集终端识别； 所述业务报告块汇总信息为该采集数据采集终端初始化的允许采集的数据条目信息，包括根据业务类型划分的业务报告块集合及其属性、报告块集合包含的报告块条目、报告块条目包含的测点、测点的数据存储策略及其他属性。
5.如权利要求3所述的方法，其特征是，所述步骤(3)中的安全认证，用于保证只有经过合法认证的数据采集终端才能自动接入到系统中；安全认证节点将数据采集终端的身份认证信息与安全证书存储节点中的安全证书进行验证匹配，若验证通过则返回认证通过结果，否则认证失败，返回认证未通过信息。
6.如权利要求3所述的 方法，其特征是，所述步骤(5)具体内容为:网关路由节点解析终端数据采集申请表单，按照该终端数据采集申请表单中业务报告块自描述信息中报告块集合的业务类型，形成一个或多个根据业务类型进行分类的业务申请表单，每个业务申请表单包括数据采集终端标识、数据采集终端传输密钥信息、业务采集申请类型、支持的数据采集节点命令及该业务的采集报告块集合，其中采集报告块集合包含一个或多个业务报告块条目，每个条目包含该条目的测点、数据存储策略及其他描述信息；网关路由节点需要根据业务采集申请类型将业务申请表单发送到处理该类业务的数据采集管理节点。
7.如权利要求3所述的方法，其特征是，所述步骤(6)中的优选策略，数据采集管理节点在多个本节点管理下的数据采集节点中进行选择的优选策略包括以下因素:数据采集节点的IO负载、CPU负载、核心原件的物理性能参数、数据采集终端到数据采集节点的Qos ； IO负载以数据采集节点30分钟内Erlang进程的平均数量进行判断； CPU负载以30分钟内CPU的平均占有率进行判断； 核心原件的物理性能参数包括CPU温度、硬盘温度、CPU风扇转速； 指定数据采集终端到指定数据采集节点的Q0S计算方式为:从所有与指定数据采集节点保持通讯连接的数据采集终端中选择与该数据采集终端位于相同和相近通讯拓扑位置的数据采集终端，以这些数据采集终端到指定数据采集节点的Qos的平均值为该数据采集数据采集终端到该指定节点的Qos，若不存在相同或相近网络拓扑位置的数据采集终端，允许不采用该策略因素；数据采集节点选优策略中具体的原则是:10负载低、CPU负载低、核心原件的物理性能参数正常、Qos低。
8.如权利要求3所述的方法，其特征是，所述步骤(6)中的路由信息表单，是由数据采集管理节点根据根据优选策略为业务申请表单中的每一个业务报告条目匹配数据采集节点而组织形成，包括数据采集终端标识及业务报告块对应的通讯协议类型、采集节点IP地址、采集节点端口号； 所述步骤(6)中的通讯信息表单，是数据采集管理节点根据路由信息表单中的数据采集节点匹配信息生成，包括数据采集终端标识、数据采集终端传输密钥信息、业务采集申请类型、支持的数据采集节点命令及对应的业务报告块条目信息。
9.如权利要求3所述的方法，其特征是，所述步骤(9)的步骤为:数据采集管理节点为每个业务申请表单生成一个路由信息表单，业务申请表单中每一个报告块条目对应该路由信息表单中一条数据采集节点路由信息，路由信息包括通讯协议类型、数据采集节点IP地址及端口号；数据采集终端向每个数据采集节点发起连接请求，数据采集节点以Erlang进程的方式为数据采集终端提供数据采集通道；数据采集终端在与数据采集节点首次建立通讯连接时，数据采集节点向数据采集终端请求测点详细描述信息，数据采集终端上传该数据采集节点对应报告块条目下的测点信息；此后数据采集终端与数据采集节点以数据采集终端提供的密钥进行数据加密传输，数据采集节点根据数据采集终端提供的测点自描述信息中规定的解析方式完成数据解析和数据存盘。
10.如权利要求3所述的方法，其特征是，所述步骤(10)中的数据存储，数据采集节点将数据传输到采集数据存储节点，采集数据存储节点按照预先设定的数据存储策略如缓存偏差、时间间隔完成数据缓存，提供实时数据断面访问功能并将数据持久化到数据库，数据库提供持久化数据访问功能 ；不同的业务数据报告块的数据存储策略也允许在报告块中进行定制描述。
【文档编号】H04L9/32GK103532975SQ201310516800
【公开日】2014年1月22日 申请日期:2013年10月28日 优先权日:2013年10月28日
【发明者】李建祥, 刘海波, 韩元凯, 袁弘, 张秉良, 魏巍 申请人:国家电网公司, 国网山东省电力公司电力科学研究院, 山东鲁能智能技术有限公司