一种基于云平台的可扩展信号数据集系统及其工作方法与流程

本发明涉及一种基于云平台的可扩展信号数据集系统及其工作方法，属于大数据与人工智能领域。

背景技术：

近些年，深度人工神经网络的研究取得突破性进展，在图像和自然语言处理等领域取得极好的效果。随着各种神经网络结构的提出，一些研究者尝试将神经网络引入信号分析领域，对不同的类型信号进行分类。为了得到效果显著的神经网络模型，需要大量的信号样本对模型进行训练及验证。现存的信号数据集有弗吉尼亚理工大学发布的radioml数据集，包括各种调制类型的信号。但是该数据集存在以下几种缺点：(1)标签种类太少。只有调制方式这一种标签，当我们需要区分同一种调制方式不同中心频率或者同一种调制方式不同带宽的信号时，该数据集训练的模型便无能为力了。(2)数据集太小，对于一些高精度模型，往往需要大量样本来训练，虽然可以用该数据集提供的配套软件生成新的数据，但是费时费力，对使用者不友好。(3)数据集里的样本是用软件生成的信号，并不是在空间中采到的真实信号，所以该数据集仅具有理论研究意义，并不适合在真实场景中使用。基于上述原因，采用基于云平台的信号数据集对于理论研究和生产、生活中的实际运用，就显得十分重要。

技术实现要素：

针对现有信号数据集的不足，本发明提供了一种基于云平台的可扩展数据集系统，从而实现高效的数据集建立、存储及使用方法，为从事相关研究的研究人员提供用户友好的数据集获取途径。

本发明采用虚拟仪器相关技术、s2sh框架，结合分布式存储，实现多用户采集、可扩展的信号数据集生成方案，以及可定制的信号数据获取方法。

本发明还提供了上述基于云平台的可扩展数据集系统的工作方法。

术语解释：

ftp(filetransferprotocol，文件传输协议)是tcp/ip协议组中的协议之一。ftp协议包括两个组成部分，其一为ftp服务器，其二为ftp客户端。其中ftp服务器用来存储文件，用户可以使用ftp客户端通过ftp协议访问位于ftp服务器上的资源。在开发网站的时候，通常利用ftp协议把网页或程序传到web服务器上。此外，由于ftp传输效率非常高，在网络上传输大的文件时，一般也采用该协议。

本发明的技术方案为：

一种基于云平台的可扩展信号数据集系统，包括：信号采集模块、上位机、后台管理模块、数据集获取模块、云平台；所述上位机、信号采集模块、云平台依次连接，所述后台管理模块连接所述云平台，所述数据集获取模块连接所述云平台；

所述信号采集模块用于采集信号；所述上位机用于控制所述信号采集模块采集不同频率范围的信号，接收采集到的不同频率范围的信号，并将采集到的不同频率范围的信号格式化后上传至云平台；所述后台管理模块用于对云平台状态进行监控，并管理云平台的信号数据集；所述数据集获取模块用于检索和下载信号数据。

根据本发明优选的，所述信号采集模块包括若干个信号采集单元，每个信号采集单元包括频谱分析仪和射频天线，所述频谱分析仪通过n型接口连接所述射频天线，通过更换不同的所述射频天线，所述频谱分析仪采集到不同频率范围的信号。

进一步优选的，所述频谱分析仪的型号为av4051，所述频谱分析仪的阻抗为50ω。

根据本发明优选的，所述云平台包括分布式系统和该系统管理下的若干台服务器，信号数据集存储在分布式服务器里的数据库中，该数据库中对每一种信号类型单独建立数据表，如广播信号、对讲机信号、无人机信号等，并对每种类别定义单独的类别标签(如数字1表示广播信号，数字2表示对讲机信号，数字3表示无人机信号)，数据集管理人员根据需要通过后台管理模块增加信号类型，即在数据库中增加对应的数据表。

根据本发明优选的，所述后台管理模块对云平台进行监控，并管理云平台的数据集，实时监控服务器集群中每台服务器的状态，发现异常后，显示提示信息，提醒管理人员及时修复异常；所述后台管理模块通过比较每个类别的类别标签和该类别的数据表中每条信号的类别标签，例如：已定义广播信号的类别标签为1，比较广播信号数据表中每条信号的类别标签是否为1，若不是，则为分类异常的信号；找出分类异常的信号，并将这些分类异常的信号从数据集中删除，另外，通过所述后台管理模块查看每个类别的信号条数，以及每个信号采集单元分别上传的信号条数。

根据本发明优选的，所述数据集获取模块包括用户端和服务器端，用户端根据用户输入的检索条件生成sql语句，并发送至服务器端，服务器端通过tcp/ip协议与用户端通信，并通过sql语句访问云平台的数据集，并将访问结果以压缩包的形式返回到用户端，使用户获得所需要的数据集。

上述基于云平台的可扩展信号数据集系统的工作方法，包括步骤如下：

(1)用户在上位机上设置好各种参数，包括中心频率、带宽、信号长度、每频率信号个数、信号类型、调制类型、信号采样率、信号采样间隔时间、起始频率、终止频率；

(2)上位机控制所述信号采集模块采集不同频率范围的信号，接收采集到的不同频率范围的信号，并将采集到的不同频率范围的信号格式化后上传至服务器端；

(3)所述后台管理模块实时监控服务器集群中每台服务器的状态，发现异常后，显示提示信息，提醒管理人员及时修复异常；所述后台管理模块还通过比较每个类别的类别标签和该类别的数据表中每条信号的类别标签，找出分类异常的信号，并将这些分类异常的信号从数据集中删除，另外，通过所述后台管理模块查看每个类别的信号条数，以及每个信号采集单元分别上传的信号条数；

(4)用户输入的检索条件，用户端生成sql语句，并发送至服务器端，服务器端通过tcp/ip协议与用户端通信，并通过sql语句访问云平台的数据集，并将访问结果以压缩包的形式返回到用户端，使用户获得所需要的数据。

根据本发明优选的，所述步骤(2)，包括步骤如下：

a、设置采集信号的中心频率、带宽、信号长度，则进入步骤b；当需要跳频采集，则设置起始频率、终止频率、频率步进和每频率信号个数，则进入步骤c；

b、上位机控制频谱分析仪在该中心频率点下，以设置好的带宽和信号长度采样，并将信号文件保存在频谱分析仪中，进入步骤d；

c、上位机控制所述信号采集模块循环采集每个频率点的信号若干个，假设起始频率为f1，终止频率为f2，频率步进为δf，则采集信号的频率点fi如式(ⅰ)所示：

fi＝f1+δf×i(ⅰ)

式(ⅰ)中，并将采集的信号文件保存在频谱分析仪中，进入步骤d；

d、信号采集完毕之后，通过ftp协议将采集的信号文件传送到上位机中；

e、上位机提取信号文件中的特征，建立数据表，存入云平台，数据表中包含每条信号的特征，每条信号的特征包括int型整数、中心频率、带宽、信号长度、采样率、日期、类别标签，采用int型整数标注该信号的唯一性；信号的iq两路信号分量分别存储，对于每一路信号分量，用逗号分隔信号数据，并保存成text格式。例如：若信号的i路数据为12345，则将该数据表示成1,2,3,4,5的形式并保存成text格式。

本发明的有益效果为：

1.本发明中，科研人员可以将自己实验中采集的信号随时上传至云端备用，随着时间推移，该数据集在不断扩展，而分布式数据库平台保证了该数据集不会因为某一台服务器损坏而丢失数据，也不会因为存储空间不够而是数据集失去扩展性。

2.本发明中，科研人员获取数据集的方式更加灵活，可以根据自己的需要获得特定类型的数据，而且海量的信号数据保证了该数据集的有效性。

附图说明

图1为基于云平台的可扩展数据集系统的结构示意图；

图2为上位机工作流程示意图；

图3为数据集获取模块工作流程示意图。

具体实施方式

下面结合说明书附图和实施例对本发明作进一步限定，但不限于此。

实施例1

一种基于云平台的可扩展信号数据集系统，如图1所示，包括：信号采集模块、上位机、后台管理模块、数据集获取模块、云平台；上位机、信号采集模块、云平台依次连接，后台管理模块连接云平台，数据集获取模块连接云平台；

信号采集模块用于采集信号；上位机用于控制信号采集模块采集不同频率范围的信号，接收采集到的不同频率范围的信号，并将采集到的不同频率范围的信号格式化后上传至云平台；后台管理模块用于对云平台状态进行监控，并管理云平台的信号数据集；数据集获取模块用于检索和下载信号数据。

信号采集模块包括若干个信号采集单元，每个信号采集单元包括频谱分析仪和射频天线，频谱分析仪通过n型接口连接射频天线，通过更换不同的射频天线，频谱分析仪采集到不同频率范围的信号。

频谱分析仪的型号为av4051，频谱分析仪的阻抗为50ω。

云平台包括分布式系统和该系统管理下的若干台服务器，信号数据集存储在分布式服务器里的数据库中，该数据库中对每一种信号类型单独建立数据表，如广播信号、对讲机信号、无人机信号等，并对每种类别定义单独的类别标签(如数字1表示广播信号，数字2表示对讲机信号，数字3表示无人机信号)，数据集管理人员根据需要通过后台管理模块增加信号类型，即在数据库中增加对应的数据表。

后台管理模块对云平台进行监控，并管理云平台的数据集，实时监控服务器集群中每台服务器的状态，发现异常后，显示提示信息，提醒管理人员及时修复异常；后台管理模块通过比较每个类别的类别标签和该类别的数据表中每条信号的类别标签，例如：已定义广播信号的类别标签为1，比较广播信号数据表中每条信号的类别标签是否为1，若不是，则为分类异常的信号；找出分类异常的信号，并将这些分类异常的信号从数据集中删除，另外，通过后台管理模块查看每个类别的信号条数，以及每个信号采集单元分别上传的信号条数。

数据集获取模块包括用户端和服务器端，用户端根据用户输入的检索条件生成sql语句，并发送至服务器端，服务器端通过tcp/ip协议与用户端通信，并通过sql语句访问云平台的数据集，并将访问结果以压缩包的形式返回到用户端，使用户获得所需要的数据集。

实施例2

实施例1所述基于云平台的可扩展信号数据集系统的工作方法，包括步骤如下：

(1)用户在上位机上设置好各种参数，包括中心频率、带宽、信号长度、每频率信号个数、信号类型、调制类型、信号采样率、信号采样间隔时间、起始频率、终止频率；

(2)上位机控制信号采集模块采集不同频率范围的信号，接收采集到的不同频率范围的信号，并将采集到的不同频率范围的信号格式化后上传至服务器端；如图2、图3所示，包括步骤如下：

a、设置采集信号的中心频率、带宽、信号长度，则进入步骤b；当需要跳频采集，则设置起始频率、终止频率、频率步进和每频率信号个数，则进入步骤c；

b、上位机控制频谱分析仪在该中心频率点下，以设置好的带宽和信号长度采样，并将信号文件保存在频谱分析仪中，进入步骤d；

c、上位机控制信号采集模块循环采集每个频率点的信号若干个，假设起始频率为f1，终止频率为f2，频率步进为δf，则采集信号的频率点fi如式(ⅰ)所示：

fi＝f1+δf×i(ⅰ)

式(ⅰ)中，并将采集的信号文件保存在频谱分析仪中，进入步骤d；

d、信号采集完毕之后，通过ftp协议将采集的信号文件传送到上位机中；

e、上位机提取信号文件中的特征，建立数据表，存入云平台，数据表中包含每条信号的特征，每条信号的特征包括int型整数、中心频率、带宽、信号长度、采样率、日期、类别标签，采用int型整数标注该信号的唯一性；信号的iq两路信号分量分别存储，对于每一路信号分量，用逗号分隔信号数据，并保存成text格式。例如：若信号的i路数据为12345，则将该数据表示成1,2,3,4,5的形式并保存成text格式。

(3)后台管理模块实时监控服务器集群中每台服务器的状态，发现异常后，显示提示信息，提醒管理人员及时修复异常；后台管理模块还通过比较每个类别的类别标签和该类别的数据表中每条信号的类别标签，找出分类异常的信号，并将这些分类异常的信号从数据集中删除，另外，通过后台管理模块查看每个类别的信号条数，以及每个信号采集单元分别上传的信号条数；

(4)用户输入的检索条件，用户端生成sql语句，并发送至服务器端，服务器端通过tcp/ip协议与用户端通信，并通过sql语句访问云平台的数据集，并将访问结果以压缩包的形式返回到用户端，使用户获得所需要的数据。