一种运用大数据分析的短波通信资源配置智能预测方法与流程
本发明涉及通信与机器学习技术领域，尤其涉及一种运用大数据分析的短波通信资源配置智能预测方法。
背景技术：
目前，传统短波选频方法在全球范围活动通信需求下面临挑战，主要有以下方面：传统计算预报法难以从“理论模型”层面完整模拟全球短波通信更复杂的通信要素影响，因此难以实时准确预测通信效果。传统探测选频法难以实现有效的全球覆盖，对装备和平台依赖性较强，无法实现大规模采购和安装。在全球范围活动的短波通信实践中，我们积累了近十年积累的短波通信数据，特别是大量的时空数据(时间、通信位置、通信情况)，没有做有效利用。总结起来，当前缺乏对短波通信的全要素、全流程、全系统的数据分析，因此无法进行短波通信资源配置预测，以提供辅助决策支撑。
技术实现要素：
为解决背景技术中存在的缺点，提供了一种运用大数据分析的短波通信资源配置智能预测方法，包括短波存量数据、数据清洗、数据除噪(特征值提取)、基于机器学习的算法训练、短波通信资源配置预测算法引擎，短波通信数据库、外部数据、累计年数新增数据准备与算法测试验证，通过输入现有的所述短波存量数据经数据导入至数据清洗，所述数据清洗解决数据质量问题，大部分通过人工进行的数据整理、修复工作，从而输出高质量的短波通信数据集，所述数据降噪(特征值提取)是一种将数据从高维空间到低维空间的变换，从而达到降维的目的，所述基于机器学习的算法训练是基于三、中回归和分类两种机器学习算法进行短波通信资源配置的预测分析，所述基于机器学习的算法训练输出是短波通信资源配置预测算法引擎，所述短波通信资源配置算法引擎是开发的交付成果，可实现针对短波通信任务需求，自动生成通信资源配置方案，以提供辅助决策服务，所述算法测试验证检测和评估预测算法的效果，能获得经新积累的实战数据检验的达到预期效果的短波通信资源配置预测算法，所述累计年数新增数据准备随着短波通信任务数据的不断积累，新增数据集的规模和维度都有可能增加，可以向系统发起算法迭代指令，算法迭代指令会触发将新累积的数据和外部数据做整合准备，进入下阶段数据清洗、特征值提取、基于机器学习生成新的迭代算法，所述累计年数新增数据准备的输出是算法迭代新积累的高质量数据，并进入新一轮处理流程；
所述数据清洗后依次数据除噪、基于机器学习的算法训练与短波通信资源配置预测算法引擎后输出通信资源配置预测方案，所述短波存量数据经数据清洗后依次流向短波通信数据库与累计年数新增数据准备，所述短波通信数据库可通过收集新的短波通信任务数据输入。
对本发明的进一步描述，所述数据清洗包括但不限于数据的完整性，对于非核心维度数据需要补充，核心维度数据缺失视为无效数据条目，予以删除；数据的唯一性清洗，按规则去重，编写一系列的规则，对重复情况复杂的数据进行去重，例如不同渠道来的关联数据，可以通过相同的关键信息进行匹配，合并去重；数据的权威性，用最权威的那个渠道的数据，对不同渠道设定权威级别；数据的合法性，设定强制合法规则，凡是不在此规则范围内的，强制设为最大值，或者判为无效，剔除；数据的一致性，建立统一的数据体系；据格式转换，将非结构化数据结构化。
对本发明的进一步描述，所述短波通信资源配置预测算法引擎的逻辑流程通过输入短波通信任务需求，判断是否为短波通信活动历史密集区，是则进行分类算法引擎进行预测后输出通信资源配置预测方案，否则进行回归算法引擎进行预测后输出通信资源配置预测方案，整个过程结束。
对本发明的进一步描述，短波通信资源配置的核心要素之一短波频率进行预测，前提就是找到一种存在相关性的，并且能够反映频率使用状态的信息，将这些历史数据可分为三类：基础时空频率数据，包括时间、活动平台通信位置(经纬度)、短波通信频率、及信号强度(通信质量)；通信设备参数数据，包括台站、岸台、岸台发信机型号、岸台发信功率、天线型号、天线通信方位角，收信天线型号等，天气数据，包括岸台天气、活动平台所在位置天气。
采用上述技术方案，具有如下有益效果：
本发明采用机器学习这种大数据分析方法进行短波通信资源配置预测具有以下特点：数据做驱动，不依赖短波通信理论逻辑；机器算法生成算法，即计算机按照规定的算法构造短波通信智能配置算法；可持续扩展和迭代，本发明利用大数据技术进行短波通信资源智能配置的优势，可拟合全球活动区域更复杂、高维的短波通信规律，实现更准确的短波通信资源配置预测。比如除了时空、通信装备参数，还可以加入电离层、太阳活动、地磁活动、水文气象等数据参数。不是局部通信资源配置方案，而是基于全要素分析输出的一套全局资源配置方案。真正实现短波通信资源智能配置，比如预测最优台站、台站天线及角度等，智能配置算法由数据驱动，可随新数据积累不断迭代，智能配置的准确度可不断提高。短波通信各要素数据，利用机器学习技术进行全流程、全要素大数据分析，为全球范围活动下的短波通信提供更智能的通信资源配置预测方案，短波通信大数据分析的目的是能由计算机自动提供短波通信资源配置方案，如针对某项短波通信任务，通过大数据分析生成的预测算法，预测最佳的短波通信台站、短波通信频率、短波通信天线的组合配置。
附图说明
图1为本发明模块结构示意图；
图2为本发明的短波通信资源配置预测算法引擎的逻辑流程示意图；
图3为本发明的总体方案流程示意图；
图4为本发明的短波通信频率与历史通信任务记录的维度数据相关性的示意图；
图5为本发明的可以建立通信的划分表；
图6为本发明的将预测频率值当做实数值进行预测与将预测频率当做离散的值进行预测的对比图；
图7为本发明的分类求解路径方法示意图。
具体实施方式
下面结合附图对本发明做进一步说明。
实施例1：如图1至7所示的一种运用大数据分析的短波通信资源配置智能预测方法，包括短波存量数据、数据清洗、数据除噪(特征值提取)、基于机器学习的算法训练、短波通信资源配置预测算法引擎，短波通信数据库、外部数据、累计年数新增数据准备与算法测试验证，通过输入现有的所述短波存量数据经数据导入至数据清洗，所述数据清洗解决数据质量问题，大部分通过人工进行的数据整理、修复工作，从而输出高质量的短波通信数据集，所述数据降噪(特征值提取)是一种将数据从高维空间到低维空间的变换，从而达到降维的目的，所述基于机器学习的算法训练是基于三、中回归和分类两种机器学习算法进行短波通信资源配置的预测分析，所述基于机器学习的算法训练输出是短波通信资源配置预测算法引擎，所述短波通信资源配置算法引擎是开发的交付成果，可实现针对短波通信任务需求，自动生成通信资源配置方案，以提供辅助决策服务，所述算法测试验证检测和评估预测算法的效果，能获得经新积累的实战数据检验的达到预期效果的短波通信资源配置预测算法，所述累计年数新增数据准备随着短波通信任务数据的不断积累，新增数据集的规模和维度都有可能增加，可以向系统发起算法迭代指令，算法迭代指令会触发将新累积的数据和外部数据做整合准备，进入下阶段数据清洗、特征值提取、基于机器学习生成新的迭代算法，所述累计年数新增数据准备的输出是算法迭代新积累的高质量数据，并进入新一轮处理流程；
所述数据清洗后依次数据除噪、基于机器学习的算法训练与短波通信资源配置预测算法引擎后输出通信资源配置预测方案，所述短波存量数据经数据清洗后依次流向短波通信数据库与累计年数新增数据准备，所述短波通信数据库可通过收集新的短波通信任务数据输入。
对本发明的进一步描述，所述数据清洗包括但不限于数据的完整性，对于非核心维度数据需要补充，核心维度数据缺失视为无效数据条目，予以删除；数据的唯一性清洗，按规则去重，编写一系列的规则，对重复情况复杂的数据进行去重，例如不同渠道来的关联数据，可以通过相同的关键信息进行匹配，合并去重；数据的权威性，用最权威的那个渠道的数据，对不同渠道设定权威级别；数据的合法性，设定强制合法规则，凡是不在此规则范围内的，强制设为最大值，或者判为无效，剔除；数据的一致性，建立统一的数据体系；据格式转换，将非结构化数据结构化。
对本发明的进一步描述，所述短波通信资源配置预测算法引擎的逻辑流程通过输入短波通信任务需求，判断是否为短波通信活动历史密集区，是则进行分类算法引擎进行预测后输出通信资源配置预测方案，否则进行回归算法引擎进行预测后输出通信资源配置预测方案，整个过程结束。
对本发明的进一步描述，短波通信资源配置的核心要素之一短波频率进行预测，前提就是找到一种存在相关性的，并且能够反映频率使用状态的信息，将这些历史数据可分为三类：基础时空频率数据，包括时间、活动平台通信位置(经纬度)、短波通信频率、及信号强度(通信质量)；通信设备参数数据，包括台站、岸台、岸台发信机型号、岸台发信功率、天线型号、天线通信方位角，收信天线型号等，天气数据，包括岸台天气、活动平台所在位置天气。
如图4，假设在某个时间点t，和某个经纬位置<x，y>的活动平台通信，采用某个短波频率f的使用状态s：
无法建立通信握手或者占用时用数字“0”表示，成为“忙”状态，s＝0；
能建立通信，但有图5所示的划分；
如此，会构成一个时空、频率及其状态序列：<f，x，y，t，s>。进一步加入积累的其它通信设备参数(d1，d2，…，dn)、天气气候参数(c1，c2，…，cm)等，会构成一个高维的时空频率状态序列：
<f，x，y，t，s，d1，d2，…，dn，c1，c2，…，cm>
所有的历史数据由此构成了一个短波通信数据集，这个数据集里蕴含了一个关于频率及其状态与时空、通信设备参数、天气气候等相关的信息规律。假设这个信息可表达为一个函数或算法f，如下：
<f，s＞0>＝f(x，y，t，s，d1，d2，…，dn，c1，c2，…，cm)
要实现短波通信预测，就是要找到这个“函数”，其实这个所谓的函数应称为计算机(机器)算法。因为在大数据时代，从海量的、高维的时空频率状态序列集里发现频率预测规律，很难通过通信专家人工计算发现的方式，而是通过大数据技术，通常是计算机(机器)来发现数据规律。基本原理过程可用以下流程图示意。本质上选择合适的针对短波通信的已有的机器学习算法，并加以改进，让机器在海量高维的短波数据的学习中发现频率预测规律，构建预测算法。可形象地描述为：利用数据做“燃料”，机器按照规定的算法构造了新的机器算法。
本发明中的数据类型分为时序和空间相关、非连续，离散与可标注可量化。
本发明的问题类型一：将预测频率值当做实数值进行预测
回归是用于估计变量之间关系的统计、过程。当用于分析因变量和一个多个自变量之间的关系时，该算法能提供很多建模和分析多个变量的技巧。具体一点说，回归分析可以帮助我们理解当任意一个自变量变化，另一个自变量不变时，因变量变化的典型值。最常见的是，回归分析能在给定自变量的条件下估计出因变量的条件期望。
f：rn→r
本发明的问题类型二：将预测频率当做离散的值进行预测
分类的概念是在已有数据的基础上学会一个分类函数或构造出一个分类模型(即我们通常所说的分类器(classifier))。该函数或模型能够把数据库中的数据纪录映射到给定类别中的某一个，从而可以应用于数据预测。总之，分类器是数据挖掘中对样本进行分类的方法的统称，包含决策树、逻辑回归、朴素贝叶斯、神经网络等算法。寻找函数f，达到如下目的
f：rn→c
其中c包含候选的频率集合。
将上述两种方法进行对比，得到图6。
回归预测输出是频率f(实数值)及其误差σ，即可由某个短波通信要素向量值x总可以给出一个频率段{f-σ，f+σ}；回归算法的性能在于预测命中率，真实通信所用的联通频率在算法预测给出的频段内即为命中；回归算法的精度在于误差σ值，越小越好。
图7为分类求解路径方法示意图，图中f为历史通信任务中采用过的通信频率集合，作为分类预测的候选频率集合，f中有k个可选的频率。分类算法可根据短波通信要素向量输入值x，从候选频率集合f中智能筛选出c个可用的频率，即从f中分类预测得出一个频率子集合
本发明采用机器学习这种大数据分析方法进行短波通信资源配置预测具有以下特点：数据做驱动，不依赖短波通信理论逻辑；机器算法生成算法，即计算机按照规定的算法构造短波通信智能配置算法；可持续扩展和迭代，本发明利用大数据技术进行短波通信资源智能配置的优势，可拟合全球活动区域更复杂、高维的短波通信规律，实现更准确的短波通信资源配置预测。比如除了时空、通信装备参数，还可以加入电离层、太阳活动、地磁活动、水文气象等数据参数。不是局部通信资源配置方案，而是基于全要素分析输出的一套全局资源配置方案。真正实现短波通信资源智能配置，比如预测最优台站、台站天线及角度等，智能配置算法由数据驱动，可随新数据积累不断迭代，智能配置的准确度可不断提高。短波通信各要素数据，利用机器学习技术进行全流程、全要素大数据分析，为全球范围活动下的短波通信提供更智能的通信资源配置预测方案，短波通信大数据分析的目的是能由计算机自动提供短波通信资源配置方案，如针对某项短波通信任务，通过大数据分析生成的预测算法，预测最佳的短波通信台站、短波通信频率、短波通信天线的组合配置。
以上描述了本发明的基本原理和主要特征，本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内，发明要求保护范围由所附的权利要求书及其等效物界定。
- 还没有人留言评论。精彩留言会获得点赞！