本发明属于交通流量数据噪声处理技术领域，具体涉及一种基于平均偏移量平移的交通数据噪声点检测方法。
背景技术：
随着计算机硬件和软件的成熟化，人工智能技术逐渐引起社会关注。人工智能在交通领域的应用，即智能交通，对人们生活有着至关重要的影响。交通智能化解决了人们出行的许多难题，如交通流量的预测能有效的规避交通拥堵的现象。通过深度学习的方法对历史的交通流量变化规律进行学习，利用所学的权重值对未来某一时刻的交通流量情况进行预测，便于提前决策来避免交通拥堵的情况。
深度学习对于基于时间序列预测的交通流量数据预测问题有着良好的性能。但是可能因为收集的数据存在较多的噪声从而降低模型的预测性能。在交通流量数据中，噪声数据指在实现交通智能的过程中难以被机器正确理解和翻译的数据。少量的噪声数据对模型的性能几乎没有影响，而噪声数据量达到一定的程度的时候，对模型的影响就比较大。引起噪声数据的原因有交通流量数据本身具有高突变型、外部条件突发改变等。
当前对噪音数据判断的常用的方法有聚类、低阶多项式滑动拟合、人工检测于计算机的结合等。聚类：适用于数据差异不大，但是交通流量数据差异较大，聚类分析效果较差。低阶多项式滑动拟合法：该方法应用统计方法判断异常值，但交通流具有高突变性，对于突变的噪声此方法并不能很好的检测。然而这些解决噪声的方法针对交通流量数据中的噪声不能有良好的性能，从而影响机器学习算法对交通流量的预测性能。
针对交通流量数据的分析，发现交通流量数据易受外部环境影响，交通管制、恶劣天气、节假日等均很容易造成交通流量数据突变。而且很多研究表明，交通流量具有周期性，时间周期为星期，如星期一某时刻的车流量数据与上周星期一对应时刻的车流量数据相差不大。并且交通数据中相邻数据有较大的关联，在不发生突变的情况下，相邻数据数值差异并不会很大。
技术实现要素：
本发明针对传统的噪声判断方法无法处理高突变性、周期性、时序性的交通流量数据，提出了一种创新型的基于平均偏移量平移的数据噪声点检测方法。
本发明检测噪声主要结合历史数据与邻近数据进行噪声判断以便后续进行相应处理。历史数据指在某一时刻，前几个周期该时刻车流量数据的平均值，邻近数据指待被判定点周围的车流量数据。结合历史数据与邻近数据解算出偏移量，再用周期内的数据与偏移量去拟合历史数据，最后根据拟合的数据与历史数据的偏差来判断数据是否为噪声数据。
本发明的有益效果：本发明能够解决高突变性、周期性、时序性数据的噪检测问题。结合了交通车流量的某时刻的历史平均值与该时刻邻近数据，更加准确的定位交通车流量数据中存在的噪声，促进智能交通更精准处理。
附图说明
图1.噪声检测示意图。
具体实施方式
以下结合附图对本发明作进一步说明
如图1所示，本发明包括以下步骤：
步骤一：假设车流量的真实数据为t，周期为n，ti表示某周期内第i个时刻对应的交通流量数据。假设共有m个周期,则此时刻的车流量的历史值为h＝{ti1,ti2,…,tij},j＝1,…m。tij表示第j个周期第i条车流量数据。先计算出周期内某时刻平均值，再计算出该时刻的偏移量di如下，i＝1,…n。
步骤二：将偏移量d进行排序记为d′，单周期车流量数据共有n条。过滤掉较小和较大的1/5数据，将剩下3/5的数据进行取平均值。这样可以过滤掉偏移量过大或者过小的数据，防止过大或者过小的数据拉高或者拉低平均值。再设置一个阈值a，通过调整阈值a的大小来决定拟合过后的数据是否有效。高于(低于)阈值说明该时刻的车流量数据的值异常偏高(偏低)。而这些无效的车流量数据对智能交通中车流量预测有很大的影响，降低了智能交通车流量数据的预测的准确度，这些点就被定义为噪声点。噪声点的判断如公式(2)所示：
步骤三：由于阈值a可以自定义，因此可以结合数据质量来调节a的大小，将噪声点记录下来.一般来说，噪声数据不会超过数据量的5％，最后再用一定的方法将噪声平滑。