一种适用于高通数据量下实时信号接收与分析的程序架构的制作方法

本发明涉及传感器信号分析程序设计，具体是指一种适用于高通数据量下实时信号接收与分析的程序架构。

背景技术：

1、管道设施(例如陆地油气管道、燃气管道、输水管道、海洋油气管道等)、海洋设施(例如海上风电、水下油气生产系统等设施)都属长线型基础设施。针对长线型基础设施的安全监测是当前保证其平稳运行的关键，通常会采用多类型传感器进行交叉监测，例如点式光学/电学微声传感器、点式光学/电学微振传感器、分布式光学拾音器、分布式光纤温度传感器、点式电学压力传感器、点式电学流量传感器等。

2、当前主流传感器采样的物理量是振动或声音，其主要特点是采样频率高达数十万赫兹，即一秒内一支传感器可产生数十万个点数据。当长距离空间内布置成百上千支传感器采样信号，在监测时间内将产生海量的传感数据。例如采样频率为200khz，500支传感器，1小时可产生1440gb数据。

3、同时传感器类型多样，厂家各不相同，数据结构差异较大，由此需要花费大量人力物力针对每一种传感器各自开发一套专用的数据接收和分析程序。

4、多种传感器数据结构类型、海量传感数据的接包与存储是该类声振传感器应用的面临的最大困难；在高通量数据的冲击下，测试程序、修改程序代码缺陷也是一项十分耗时耗力的工作。同时程序的全天候持续运行又是针对开发者的一项重要考验

5、所以，一种适用于高通数据量下实时信号接收与分析的程序架构成为人们亟待解决的问题。

技术实现思路

1、为解决上述技术问题，本发明提供的技术方案为：一种适用于高通数据量下实时信号接收与分析的程序架构，所述程序架构包括五大独立组块，分别为数据源层、转发器层、后台总体控制层、中台数据分析层和前端展示层；

2、所述数据源层为各类传感器接收并感知外界物理环境信息，并转化为可网络传输的数字化信号，用于产生高通量传感数据；

3、所述转发器层通过检测计算机网卡，抓取数据源推送的数据流，对数据流信号进行字节截取、删除数据段的操作；

4、所述后台总体控制层通过监测计算机网卡，接收转发器的数据包，存入内存缓冲队列中；

5、所述中台数据分析层接收后台所发数据包，调用相关算法模块进行信号分析，并将结果发送给后台总体控制层；

6、所述前端展示层从后台总体控制层内存数据库中拉取数据，分发给前端选定的不同渲染器进行折线图、柱状图、颜色图块的展示表达。

7、进一步的，所述转发器层在瞬时大数据到来时开启本地缓冲池接收，将数据流存入自设内存数组中；待达到一定条件后，从内存数组中提取约定大小的数据包，按批次发送给后台总体控制层。

8、进一步的，所述后台总体控制层待满足约定条件后，从缓冲队列中提取数据包，存入指定磁盘位置，同时开启独立线程进行丢包检测、数据剪辑、单位转化、信道删减，再重新组合新数据包，然后将新数据包转发给中台数据分析层；待中台数据分析层反馈分析结果后，增加相关附加信息后，存入内存数据库中，然后将结果数据存储到本地。

9、进一步的，所述中台数据分析层所接收的数据包进行的算法分析包括但不限于时间域分析、频率域分析、空间域分析、时频域分析、时空域分析。

10、进一步的，所述前端展示层具有提供人机交互界面的功能，将程序参数分发给相关模块单元。

11、进一步的，所述程序架构的特点包括多模、低耦合组块化、高通量和参数化；

12、所述多模是指通过通用型数据包结构解析框架来适配多种模式多种类型的传感器，将数据包分解为网络层、包头段、数据段、包尾段，满足各种模式各类型传感器的数据结构；将数据段分为m个采样包，以对应于m个时间采样点，可满足单次传输数据包中包含多个时间采样包的情景；将采样包分为n个物理通道数，可满足单个采样包含多个传感信道数量；设立包头和包尾段，并指定包号段，可满足包号位置多样的实际情况；

13、所述低耦合组块化是指通过高内聚、低耦合的组块化设计，将数据分析流程分成五大独立组块，各模块可独立运行于不同的电脑主机上，通过约定的ip地址、端口、路径名进行通讯；

14、所述高通量是根据各组块分析特点，在程序中设置缓冲池、数据批次串联脉动式运行、数据流分流点、多线程运行设置，在瞬时海量数据的冲击下，程序不宕机，整个业务流程运行流畅、稳定；

15、所述参数化是指针对五大独立组块，程序设立八类组件，分别为软件配置组件、项目组件、参数曲线组件、数据分析组件、判别组件、处置组件、后台调控组件和终端展示组件。

16、进一步的，所述程序架构的特点包括多模、低耦合组块化、高通量和参数化；

17、所述多模是指通过通用型数据包结构解析框架来适配多种模式多种类型的传感器，将数据包分解为网络层、包头段、数据段、包尾段，满足各种模式各类型传感器的数据结构；将数据段分为m个采样包，以对应于m个时间采样点，可满足单次传输数据包中包含多个时间采样包的情景；将采样包分为n个物理通道数，可满足单个采样包含多个传感信道数量；设立包头和包尾段，并指定包号段，可满足包号位置多样的实际情况；

18、所述低耦合组块化是指通过高内聚、低耦合的组块化设计，将数据分析流程分成五大独立组块，各模块可独立运行于不同的电脑主机上，通过约定的ip地址、端口、路径名进行通讯；

19、所述高通量是根据各组块分析特点，在程序中设置缓冲池、数据批次串联脉动式运行、数据流分流点、多线程运行设置，在瞬时海量数据的冲击下，程序不宕机，整个业务流程运行流畅、稳定；

20、所述参数化是指针对五大独立组块，程序设立八类组件，分别为软件配置组件、项目组件、参数曲线组件、数据分析组件、判别组件、处置组件、后台调控组件和终端展示组件。

21、进一步的，所述高通量设置的缓冲池的操作方法如下所示：

22、转发器层设立内存数组，后台总体控制层设立内存缓冲数组、分析结果数据库redis a、分析结果数据库redis b，设立缓冲池下放数据包触发条件，将后续进程结果作为下方触发条件，例如后台控制层中将放入redis队列b作为内存缓冲队列下放数据包的必要条件，也就是上一数据批次没有计算完毕，下一数据批次不进行提取；

23、数据批次串联脉动式运动方法如下所示：

24、程序整体运行为串联流程，中间设立4个缓冲池用以消纳串联过程中的“堵塞”流现象，同时也将总串联流程隔断为4段独立的串联小流程，以增加软件的广泛适用性；串联小流程为：①转发器抓包-删除字节-存入缓冲池，②转发器取包-转发器发包-后台接包-存入缓冲池，③后台提取-数据初筛-中台分析-中台结果返回-后台接包-后台存入内存数据库，④前端拉取-前端渲染；串联小流程③中，当后台发送数据给中台后，后台一致等待中台返回数据，若中台无数据返回，后台不再提取下一数据批，即实现当前一数据批完成后再启动一下数据批的开始；

25、数据流分流点的操作方法如下所示：

26、在后台控制层中去除不参与分析的通道、去除每个数据包的包头包尾、重新组包发给中台数据分析层，这样大大降低后台向中台传输的数据量和中台数据分析量；

27、多线程运行的方法如下所示：

28、若后台控制层中分设4个独立线程，接包存入内存缓冲队列为线程1，其后的数据提取到存入redis队列b作为线程2，原始数据储存为线程3，redis队列b储存csv为线程4。

29、本发明与现有技术相比的优点在于：本发明一套可行高效的底层程序架构，它可以兼容不同模式的传感器，承受全天候海量数据流冲击，满足不同场景下的数据分析方法选用，适用不同客户的前端展示需求，兼顾方便开发者的参数化操作调试、组块化模块化快速搭建软件的要求，从而实现数据采集高效不丢包、分析快捷不宕机，有效进行设施监测预警，保障设施安稳运行；

30、多模使程序适用多种模式类型的传感器数据结果；

31、低耦合组块话解决了如下技术问题：

32、从硬件布置角度，可根据不同场景条件，进行集中化布置、分布式布置，实现一机多用，或者专机专用；

33、从程序扩展开发角度，各组块可以自行扩展开发新程序包而不影响其他组块运行，例如转发器层可以不断补充完善各种数据协议模式，例如udp、http、rs485、socket等；中台数据分析层可以优化或补充新的算法程序块，形成算法中心库，例如相关性分析模块、时间域rms分析、时空域瀑布分析、自适应滤波模块等；前端展示层可按需选取渲染器进行组合展示，以建立多种图形展示方式满足客户需求，例如柱形图、三维云图、三位点式图等；

34、从开发团队任务分工角度，各人员可以专职某一功能领域深入式挖掘开发，大大提高开发效率；

35、高通量使得在如此海量数据瞬时冲击下，程序满足数据传输质量高、不丢包、原始数据高质量本地储存、中台享有充足时间进行数据分析、前端享有充足时间进行数据渲染的要求；

36、本发明设计合理，值得大力推广。