一种传感器接收系统及其接收方法与流程

本发明涉及一种传感器接收系统及其接收方法，属于物理信息系统技术领域。

背景技术：

cps是一个综合计算、网络和物理环境的多维复杂系统，通过“3c”（computation,communicationandcontrol，通信、计算与控制）技术的有机融合与深度协作，实现大型工程系统的实时感知、动态控制和信息服务。21世纪初，国际学术界基于嵌入式理论提出了cps概念。cps实现计算、通信与物理系统的一体化设计，计算设备可精准获取外界信息并作出实时性、智能化反应，提供更加及时、精确、安全与可靠的服务，使系统更加可靠、高效、实时协同，从而具有更加广泛的应用前景。

cps基本组件包括传感器、执行器和决策控制单元。其中传感器种类和数量越来越多，传感器所用的协议和数据格式也多种多样，在接入cps时常常不能匹配。执行器需要处理多源异构的感知数据，而目前针对cps数据管理的研究仅限于传感网络中的数据通讯与存储，通过以太网连接的并行计算服务器，存储感知节点获得的数据；当某类传感数据突然增大时，接收系统无法及时处理，从而有数据丢失的风险。并且当计算资源紧张时，重要数据无法快速处理，不利于数据的反馈。

技术实现要素：

本发明是提供一种传感器接收系统及其接收方法，在某类传感数据突然增大时，可保障数据的安全行，防止数据丢失。

为达到上述目的，本发明所采用的技术方案是：一种传感器接收方法，包括以下步骤：从数据库中提取预先设置的各传感器的接入参数，所述接入参数包括连接协议、传感器的基本参数、数据的优先级和解析协议；根据所述连接协议，接收传感数据，并对接收到的传感数据按照解析协议进行预处理；实时获取等待处理的传感器数据的数据量以及计算集群使用情况；根据等待处理的传感器数据的数据量，判断是否进行缓存处理；若所述数据量超过预设值时，则对超出预设值的传感数据进行缓存；根据计算集群使用情况以及数据的优先级对传感数据进行分配。

进一步地，所述连接协议为tcp或udp。

进一步地，所述对传感数据进行缓存根据数据到达的时间顺序进行缓存。

进一步地，所述传感器的基本参数包括传感器的唯一命名、传输方式、数据类别、数据优先级。

进一步地，所述计算集群使用情况包括cpu、内存和io的使用情况。

进一步地，所述根据计算集群使用情况以及数据的优先级对传感数据进行分配具体包括以下步骤:根据所述数据的优先级对应资源权重，在计算资源不够时，为高优先级任务优先获取剩余计算资源；若高优先级任务数量超过剩余计算资源时，暂停低优先级任务，然后重新根据资源权重对数据处理任务进行分配。

一种传感器接收系统，包括交互接口、连接模块、解析模块和传感数据分配模块，所述交互接口用于设置各传感器的接入参数，接入参数包括连接协议、传感器的基本参数和解析协议；所述连接模块用于按照预设的连接协议与传感器建立连接，并接收传感数据；所述解析模块用于将连接模块接收到的传感数据转化为内部数据格式；所述传感数据分配模块用于将解析过的传感数据分配至集群的各计算机；所述传感数据分配模块包括数据处理任务监听模块、缓存模块和资源匹配模块；所述数据处理任务监听模块用于实时获取等待处理的传感数据的数据量以及计算集群使用情况；缓存模块用于对超过预设值的传感数据进行存储；所述资源匹配模块用于根据计算集群使用情况以及数据的优先级对传感数据进行分配。

优选地，所述缓存模块为内存暂存区。

优选地，所述交互接口包括交互界面，api或web服务接口。

优选地，所述传感器接收系统还包括转发模块、控制指令模块和协议仓库；所述转发模块用于根据数据类别，将连接模块接收到的数据转发至其他模块；所述控制指令模块用于接收cps系统的操作指令并将所述操作指令转发至传感器；所述协议仓库用于存储交互接口设置的传感器的接入参数。

本发明通过实时获取等待处理的传感器数据的数据量，数据量超过预设值时，则对超出预设值的传感数据进行缓存，从而在传感数据突然增大时，保证数据不堆积不丢失。本发明的系统根据预先设置的参数将传感器接入，并根据流数据处理任务的重要性进行优先级调度，在需要时还可暂时回收资源以利于重要任务的处理，以保证重要数据优先处理，从而对绝大部分传感器，均能够实现快速接收、传输、处理，满足现代企业cps系统大规模数据流处理需求。

附图说明

图1为本发明实施例提供的一种传感器接收方法的流程示意图；

图2为本发明实施例提供的一种传感器接收系统中数据缓存模块的示意图；

图3为本发明实施例提供的一种传感器接收系统中传感数据分配模块的示意图。

具体实施方式

为了更好的理解本发明的实质，下面结合具体实施例和附图对本发明作进一步的阐述。

本发明公开了一种传感器接收系统，尤其适用于cps传感器的接入，具体实施例如图2至图3所示，包括交互接口、连接模块、解析模块和传感数据分配模块，所述交互接口用于设置各传感器的接入参数，接入参数包括连接协议、传感器的基本参数和解析协议。所述连接模块用于按照预设的连接协议与传感器建立连接，并接收传感数据。所述解析模块用于将连接模块接收到的传感数据转化为内部数据格式。所述传感数据分配模块用于将解析过的传感数据分配至集群的各计算机。所述传感数据分配模块包括数据处理任务监听模块、缓存模块和资源匹配模块。所述数据处理任务监听模块用于实时获取等待处理的传感数据的数据量以及计算集群使用情况。缓存模块用于对超过预设值的传感数据进行存储。缓存模块为内存暂存区。所述资源匹配模块用于根据计算集群使用情况以及数据的优先级为传感数据分配计算资源。

所述交互接口既可以是交互界面，也可以是api或web服务接口。

所述数据处理任务监听模块中的任务调度组件提供相应接口，通过调用这些接口，即可获取当前运行的所有任务、该任务所在资源（以host:port形式提供）、计算集群使用情况（如cpu、内存、io等）等信息，通过这些信息，分析后可得知各类计算资源（集群中的各计算机）的占用比率。

所述传感器接收系统还包括转发模块、控制指令模块和协议仓库。所述转发模块根据数据类别，将连接模块接收到的数据转发至其他模块；所述控制指令模块用于接收cps系统的操作指令并将所述操作指令转发至传感器。所述协议仓库用于存储交互接口设置的传感器的接入参数。

本发明公开了一种传感器接收方法，如图1所示，具体包括以下步骤：

步骤一、设置各传感器的接入参数并存入数据库。接入参数包括连接协议、传感器的基本参数和解析协议。

１、用户可以设置传感器的基本参数，包括：传感器的唯一命名、传输方式、数据类别、数据优先级。

2、连接协议可选择通用连接协议如tcp、udp等。

步骤二、根据预设的连接协议，接收传感器数据，并对接收到的传感器数据按照解析协议进行预处理。

从数据库中动态加载并调用与该传感器对应的解析方法，将根据预设的连接协议所得的数据转换为内部数据格式。

步骤三、实时获取数据处理任务运行情况以及计算机集群使用情况。

所述数据处理任务运行情况包括该数据处理任务所在资源、等待处理的传感器数据的数据量以及计算集群使用情况。数据处理任务所在资源以host:port形式提供；计算集群使用情况包括cpu、内存、io等信息。通过数据处理任务运行情况可得知集群中的各计算机的占用比率。

步骤四、根据步骤三中获取的等待处理的传感器数据的数据量，判断是否进行缓存处理。

由于cps中传感器生成的流式数据具有较高的实时性特点，某些时刻数据流量会产生波动，当数据量迅速增大时，传统的方法无法及时处理，可能造成数据缺失。而不同类别数据的重要程度是不一样的，某些数据的缺失可能对系统运行、后续处理过程、处理结果等产生较大影响，另一些数据则可以暂时不处理乃至完全放弃。因此本发明加入了数据缓存的步骤，将传感数据根据时间顺序进行缓存。

若等待处理的传感器数据的数据量达到计算集群自身存储上限时，即启动缓存操作。启动缓存操作后，根据数据到达的时间顺序进行缓存，避免传感数据的丢失；数据处理任务需要数据时，从暂存区中取出队列头部数据，进行数据处理。当在一个设定的时间间隔内，暂存区内总数据量均少于暂存区存储量的50%时，结束对数据的缓存，如图2所示。

步骤五、根据步骤三中获取的计算集群使用情况以及数据的优先级对传感数据进行分配。

预先为每一数据的优先级设置对应的资源权重。由于传感数据均与某一优先级相对应，因此只需根据计算集群的使用情况，按资源权重对该数据处理任务进行分配。从而在计算资源不够时，可确保高优先级任务优先获取剩余资源。

当高优先级的传感数据持续涌入，当前剩余资源达到预设资源短缺的标准时，暂停低优先级任务的执行，然后重新根据资源权重对数据处理任务进行分配，从而保证高优先级数据的处理任务尽早执行。以cpu为例，一段时间cpu使用率在80%以上，视为短缺；一段时间内cpu等待进程3个以上，视为短缺；cpu的系统进程用时间较长，超过1/3，用户进程使用时间较短，视为短缺等。

应当指出，虽然通过上述实施方式对本发明进行了描述，然而本发明还可有其它多种实施方式。在不脱离本发明精神和范围的前提下，熟悉本领域的技术人员显然可以对本发明做出各种相应的改变和变形，但这些改变和变形都应当属于本发明所附权利要求及其等效物所保护的范围内。