一种交通数据分布有效性判别方法及装置与流程

1.本技术涉及智能交通技术领域，特别涉及一种交通数据分布有效性判别方法及装置。


背景技术：

2.随着城市交通系统信息化、智能化进程的不断推进，城市范围内布设了大量的交通流检测设备用于支撑交通管理、控制及规划数据可等多样化的应用。但是受运维不及时、场景复杂、算法缺陷等因素的影响，交通流检测设备采集数据的可能存在异常，导致数据可用性和可靠性不足，进而给交通管理、控制及规划等带来影响，因而需要对交通数据分布的有效性进行判别。


技术实现要素：

3.本技术示例性的实施方式中提供一种交通数据分布有效性判别方法及装置，用以实现对交通数据分布的有效性进行判别。
4.第一方面，提供一种交通数据分布有效性判别方法，包括：
5.获取待识别数据分布有效性的交通流检测设备采集的单日交通流数据，所述单日交通流数据包括针对至少一个车道采集的至少一种交通流参数；
6.对所述单日交通流数据进行预处理；
7.对预处理后的单日交通流数据进行参数分布特征提取，得到所述单日交通流数据的分布特征；
8.基于训练后的神经网络分类器，根据所述单日交通流数据的分布特征，得到所述单日交通流数据属于各类别的概率；
9.根据所述单日交通流数据属于各类别的概率确定所述单日交通流数据的分布特征是否有效，以及对于被判定为有效的单日交通流数据确定所属的类别。
10.可选的，所述对所述单日交通流数据进行预处理，包括：对所述单日交通流数据进行归一化处理，归一化处理后的任意一种交通流参数满足以下公式：
[0011][0012]
其中，x
″
表示归一化处理后的交通流参数，x
′
表示归一化处理前的交通琉璃参数，x
′
max
表示所述单日交通流数据中所述交通流参数的最大值，x
′
min
表示所述单日交通流数据中所述交通流参数的最小值。
[0013]
可选的，对所述单日交通流数据进行归一化处理之前，所述方法还包括：根据设定的聚合周期，将所述单日交通流数据聚合为所述聚合周期的单日交通流数据。
[0014]
可选的，若所述单日交通流数据包括流量、速度、占有率中的至少一项，则：
[0015]
聚合后的流量满足以下公式：
[0016]
聚合后的速度满足以下公式：
[0017]
聚合后的占有率满足以下公式：
[0018]
其中，q
′k表示第k个聚合周期的流量，qi表示第i个采集周期的流量；v
′k表示第k个聚合周期的速度，vi表示第i个采集周期的速度；o
′k表示第k个聚合周期的占有率，oi表示第i个采集周期的占有率；t0表示聚合周期，t表示采集周期。
[0019]
可选的，对所述单日交通流数据进行归一化处理之前，所述方法还包括：采用箱型图方法，剔除所述单日交通流数据中的异常值。
[0020]
可选的，所述单日交通流数据包括单一交通流参数；所述对预处理后的单日交通流数据进行参数分布特征提取，包括：将所述单日交通流参数的取值区间均匀划分为设定数量的子区间；统计所述单日交通流参数落入各子区间的频率。
[0021]
可选的，所述单日交通流数据包括第一交通流参数和第二交通流参数，所述第一交通流参数和所述第二交通流参数为不同类型的交通流参数；所述对预处理后的单日交通流数据进行参数分布特征提取，包括：根据设定的网格尺寸以及所述第一交通流参数的取值区间和所述第二交通流参数的取值区间，进行网格划分，划分得到的每个网格的水平维度为所述第一交通流参数、垂直维度为所述第二交通流参数；统计所述单日交通流参数落入各网格的频率。
[0022]
可选的，所述神经网络分类器的训练过程包括：获取已识别出数据分布有效性的交通流检测设备采集的单日交通流数据作为训练用的样本，所述单日交通流数据包括针对至少一个车道采集的至少一种交通流参数；对所述样本进行预处理；对预处理后的样本进行参数分布特征提取，得到所述预处理后的样本的分布特征；基于相对熵函数确定所述预处理后的样本中各样本的分布特征之间的距离，并采用基于密度的聚类算法，根据所述预处理后的样本中各样本的分布特征之间的距离对所述预处理后的样本进行聚类，得到所述预处理后的样本中各样本所属的类别；使用标记有类别的样本训练所述神经网络分类器。
[0023]
第二方面，提供一种交通数据分布有效性判别装置，包括：
[0024]
获取模块可，被配置为获取待识别数据分布有效性的交通流检测设备采集的单日交通流数据，所述单日交通流数据包括针对至少一个车道采集的至少一种交通流参数；
[0025]
预处理模块，被配置为对所述单日交通流数据进行预处理；
[0026]
特征提取模块，被配置为对预处理后的单日交通流数据进行参数分布特征提取，得到所述单日交通流数据的分布特征；
[0027]
分类模块，被配置为基于训练后的神经网络分类器，根据所述单日交通流数据的分布特征，得到所述单日交通流数据属于各类别的概率；
[0028]
有效性判别模块，被配置为根据所述单日交通流数据属于各类别的概率确定所述单日交通流数据的分布特征是否有效，以及对于被判定为有效的单日交通流数据确定所属的类别。
[0029]
第三方面，提供一种通信装置，包括存储器和处理器；所述存储器，存储计算机指令；所述处理器，用于读取所述计算机指令，执行如上述第一方面中任一项所述的方法。
[0030]
第四方面，提供一种计算机可读存储介质。计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行如上述第一方面中任一项所述的方法。
[0031]
第五方面，提供一种计算机程序产品，所述计算机程序产品在被计算机调用时，使得所述计算机如上述第一方面中任一项所述的方法。
[0032]
本技术的上述实施例中，对单日交通流数据进行参数分布特征提取，得到单日交通流数据的分布特征后，基于训练后的神经网络分类器，根据所述单日交通流数据的分布特征，得到所述单日交通流数据属于各类别的概率，根据所述单日交通流数据属于各类别的概率确定所述单日交通流数据的分布特征是否有效，以及对于被判定为有效的单日交通流数据确定所属的类别，从而实现了对交通数据分布的有效性进行判别。
[0033]
在符合本领域常识的基础上，上述各优选条件，可任意组合，即得本技术各较佳实施例。
附图说明
[0034]
为了更清楚地说明本技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0035]
图1示例性示出了本技术实施例提供的一种交通数据分布有效性判别方法的流程示意图；
[0036]
图2示例性示出了本技术实施例中的箱型图算法的原理示意图；
[0037]
图3a、图3b分别示例性示出了本技术实施例中的速度分布直方图；
[0038]
图4a示例性示出了本技术实施例中的流量-占有率关系散点图；
[0039]
图4b示例性示出了本技术实施例中流量-占有率关系散点图网格化示意图；
[0040]
图5示例性示出了本技术实施例提供的一种神经网络分类器的训练流程示意图；
[0041]
图6示例性示出了本技术实施例提供的一种交通数据分布有效性判别装置的结构示意图；
[0042]
图7示例性示出了本技术实施例提供的一种通信装置的结构示意图。
具体实施方式
[0043]
下面将结合附图对本技术实施例中的技术方案进行清楚、详尽地描述。其中，在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；文本中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况，另外，在本技术实施例的描述中，“多个”是指两个或多于两个。
[0044]
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本技术实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0045]
本技术实施例基于交通大数据，对各交通流检测设备采集的交通流数据，进行特
征提取(比如提炼典型的交通流单参数分布或双参数联合分布的特征)，根据提取的特征，采用神经网络分类器对交通流数据的分布进行分类，根据分类结果可以判别该交通流数据的分布是否有效，从而避免了预先对交通设施、交通状态划分所带来的技术可行性挑战。进一步地，本技术实施例能够自动地对交通状态相似的位置进行划分，可为后续的交通管理等具体决策过程提供支持。
[0046]
参见图1，为本技术实施例提供的一种交通数据分布有效性判别方法的流程示意图。该流程可由交通数据分布有效性判别装置执行，该装置可由软件方式实现，也可由硬件方式实现，还可以采用软硬件结合的方式实现。
[0047]
如图所示，该流程可包括以下步骤：
[0048]
s101：获取待识别数据分布有效性的交通流检测设备采集的单日交通流数据，所述单日交通流数据包括针对至少一个车道采集的至少一种交通流参数。
[0049]
本技术实施例中的交通流检测设备，可包括：流量地磁检测器、交通流检测仪等设备，本技术实施例对此不作限制。
[0050]
本技术实施例中，获取到的交通流数据可包括单一种类的交通流参数，比如流量，也可以包括多种交通流参数，比如包括流量、速度、占有率等。
[0051]
在一些实施例中，可从数据库中获取各交通流检测设备采集的交通流数据，得到车道层面的单日交通流参数(流量q、速度v、占有率o)。比如，针对某车道，交通流检测设备的采集周期为t(单位为分钟)，该车道对应的交通流数据可表示为参数x(x＝q，v，o)，其中，q表示流量、v表示速度、o表示占有率。单日第k个采集周期的参数x表示为xk，则单日该车道的交通流数据可表示为{xk}，k＝1，2，...，1440/t。
[0052]
s102：对单日交通流数据进行预处理。
[0053]
在一些实施例中，对单日交通流数据进行预处理过程可包括归一化处理；在另一些实施例中，在上述归一化处理之前还可包括数据聚合处理，比如，该预处理过程可包括数据聚合处理以及归一化处理；在另一些实施例中，在归一化处理之前还可包括异常值剔除处理，比如，该预处理过程可包括数据聚合处理、剔除异常值以及归一化处理。下面分别对数据聚合、异常值剔除以及归一化处理进行详细描述。
[0054]
(1)数据聚合处理。
[0055]
由于不同交通流检测设备的交通流数据采集周期可能存在不一致的情况，为了保证在同一时间粒度下进行分布有效性判别，本技术实施例中，可根据设定的聚合周期，将单日交通流数据x聚合为同一周期(这里称为聚合周期)的单日交通流数据x
′
。
[0056]
以单日交通流数据的采集周期为t、聚合周期为t0作为例子，则聚合后第k个聚合周期的单日交通流数据可表示为：
[0057]
聚合后的流量满足以下公式：
[0058][0059]
其中，q
′k表示第k个聚合周期的流量，qi表示第i个采集周期的流量。
[0060]
聚合后的速度满足以下公式：
[0061]
[0062]
其中，v
′k表示第k个聚合周期的速度，vi表示第i个采集周期的速度。
[0063]
聚合后的占有率满足以下公式：
[0064][0065]
其中，o
′k表示第k个聚合周期的占有率，oi表示第i个采集周期的占有率。
[0066]
举例来说，对于流量这一交通流参数，原始采集周期为1分钟，则当日共采集到1440组流量数据{q1，q2，...，q
1440
}。若聚合周期为5分钟，则聚合后，第1个聚合周期的聚合流量第2个聚合周期的聚合流量以此类推，聚合后的流量表示为{q
′1，q
′2，...，q
′
288
}。
[0067]
(2)异常值剔除。
[0068]
可选的，可采用箱型图(也称盒须图)方法，剔除单日交通流数据中的异常值。当然，也可以采用其他方法剔除单日交通流数据中的异常值，本技术实施例对此不做限制。
[0069]
以采用箱型图方法为例，为排除异常值对数据归一化带来的影响，本技术实施例采用箱型图方法对单日交通流数据中的异常值进行剔除。图2示例性示出了箱型图的原理，以箱型图中的最小值为例，从上四分位点加上1.5倍的内距(iqr)，该变量在这个范围内的最大取值被称为最大值，超过1.5倍的内距的取值被称为离群值(异常值)。下面结合图2对采用箱型图，剔除单日交通流数据中的异常值进行说明，该流程可包括如下步骤：按照聚合周期从前到后的顺序对单日各聚合周期的交通流数据进行排序；计算这些数据中的时间值的下四分位点q1和上四分位点q3计算这些数据中的时间值的内距iqr：iqr＝q3-q1；计算这些数据中的时间值的下边缘lb：lb＝q1-1.5*iqr；计算这些数据中的时间值的上边缘ub：ub＝q3+1.5*iqr；从这些数据中的时间值中，筛选出上边缘ub和下边缘lb之间的时间值，将该范围之外的数据剔除。
[0070]
(3)归一化处理。
[0071]
为了聚焦于参数在合理范围内的分布趋势，降低不同道路类型等因素导致的取值差异影响，本技术实施例可对单日交通流数据进行归一化处理。
[0072]
可选的，对于任意一种交通流参数，归一化处理后的交通流参数满足以下公式：
[0073][0074]
其中，x
″
表示归一化处理后的交通流参数，x
′
表示归一化处理前的交通琉璃参数，x
′
max
表示该交通流参数的最大值，x
′
min
表示该交通流参数的最小值。
[0075]
比如，以道路限速为80公里/小时的车道作为例子，按照上述方式进行归一化处理后，该车道的车速分布如图3a所示的速度分布直方图；再以道路限速为60公里/小时的车道作为例子，按照上述方式进行归一化处理后，该车道的车速分布如图3b所示的速度分布直方图。
[0076]
由上述速度分布直方图可知，尽管在道路限速不同的条件下，两车道速度的取值区间不同，但是二者分布总体趋势一致，包含两个峰值，一个峰位于低速区域，一个峰接近限速。因而通过归一化处理，可以在同一尺度下进行参数分布的比较。
[0077]
s103：对预处理后的单日交通流数据进行参数分布特征提取，得到单日交通流数据的分布特征。
[0078]
本技术实施例可针对单参数和双参数进行特征提取。下面分别针对单参数和双参数的特征提取进行详细说明。
[0079]
(1)单参数分布特征的提取。
[0080]
可选的，若单日交通流数据包括单一交通流参数，则可采用以下方法进行特征提取：将单日交通流参数的取值区间均匀划分为设定数量的子区间，统计单日交通流参数落入各子区间的频率。
[0081]
采用上述方法可以得到单日交通流数据的直方图。直方图是数值数据分布的图形表示，则对于标准化(即归一化)后的参数x
″
，可利用直方图刻画其分布特征。例如，上述图3a中，以0.05(即5公里/小时)为组距，将车速从0～100公里/小时的范围划分为20个区间，计算车速落入每个区间的频率p＝{p(1)，p(2)，...，p(20)}。
[0082]
(2)双参数联合分布特征的提取。
[0083]
可选的，若单日交通流数据包括第一交通流参数和第二交通流参数，则可采用以下方法进行特征提取：按照设定的网格尺寸以及第一交通流参数的取值区间和第二交通流参数的取值区间，进行网格划分，划分得到的每个网格的水平维度为第一交通流参数、垂直维度为第二交通流参数；统计单日交通流参数落入各网格的频率。
[0084]
在交通流理论研究中，一般以散点图的形式刻画交通流参数的关系，如图4a所示的流量-占有率关系散点图。本技术实施例中，为了提取双参数联合分布的特征，对于归一化后的参数x
″
和参数y
″
，将y
″‑
x
″
关系散点图网格化，网格大小预先设置，比如网格大小为0.05
×
0.05，如图4b所示的归一化后的流量-占有率关系散点图的网格化示意图。由此可以计算散点落入每个网格内的频率。
[0085]
可选的，可利用频率分布表刻画双参数分布情况，如表1所示。
[0086]
表1：双参数频率分布表
[0087][0088][0089]
可选的，可将上述表1中20
×
20的矩阵转化为一维向量：
[0090]
p＝{p
1，1
，p
1，2
，...，p
1，20
，p
2，1
，p
2，2
，...，p
20，20
}＝{p(1)，p(2)，...，p(400)}。
[0091]
在交通流参数分布特征的标准化表达方面，传统交通流理论中，对于单参数和多参数分布，主要采用建立数学模型的方法进行刻画，更多地依赖于交通流动力学理论模型。针对单一交通流参数分布，业界针对自由流、阻塞状态等不同交通状态，通过混合高斯分布、伽马分布、对数正态分布、负指数分布等数学模型刻画流量、占有率、速度等交通流参数的分布情况。但是由于交通状态处于动态变化之中，模型选择存在困难。对于交通流双参数
之间的关系，经典交通模型包括greenshields model，greenberg model，two-regime model，three-regime model等。但是上述模型引入了大量参数，需要较为复杂的标定过程，在工程应用中可操作性不足。另外，在传统交通流理论中，双参数理论模型主要基于密度，建立流量-密度或速度-密度的数学模型，而实际采集得到的交通流参数为占有率，二者需要通过有效车长进行转换，因而在进行模型标定过程中会进一步引入误差，导致有效性判别效果不佳。如何克服交通流分布模型选择困难、参数标定复杂的应用瓶颈，在不依赖于对交通流的强假设条件下，采用统一的标准化的方法实现对单参数推广到多参数的交通数据分布形态的刻画，是目前需要解决的一大技术难点。
[0092]
本技术实施例中，针对流量、速度、占有率等单参数分布以及双参数分布网格化的表征方法，实现对交通数据单参数推广到多参数分布特征的统一刻画。由于采用离散网格化的思想实现了对单参数分布和多参数分布特征的统一标准表达和刻画，克服了线形、交通和环境等因素的影响。
[0093]
s104：基于训练后的神经网络分类器，根据单日交通流数据的分布特征，得到单日交通流数据属于各类别的概率。
[0094]
该步骤中，可使用经过训练的神经网络分类器实现分类。该神经网络分类器的输入为单日交通流数据的分布特征，输出为单日交通流数据属于各类别的概率。
[0095]
s105：根据单日交通流数据属于各类别的概率，确定该单日交通流数据的分布特征是否有效。进一步的，对于被判定为有效的单日交通流数据，还可以确定该单日交通流数据所属的类别。
[0096]
可选的，若单日交通流量数据属于各类别的概率均低于设定阈值，则该单日交通流数据的分布特征被判定为无效，否则被判定为有效。进一步的，对于被判定为有效的单日交通流数据，还可以根据该数据属于各类别的概率，从中选取最高的概率，将该最高概率对应的类别作为该数据所属的类别。
[0097]
可选的，本技术实施例还可以基于传统的交通数据分布有效性判别方法，比如阈值判别法、三参数零值一致性判别法或者有效车长判别法来判断单日交通流数据的分布特征是否有效。其中，阈值判别法通过设置各参数合理的取值范围，判定超出阈值的参数取值无效；三参数零值一致性判别需满足流量、速度、占有率在有车辆经过时三参数取值均不为0或无车辆经过状态下三参数取值均为0；有效车长判别基于流量、速度、占有率估算出检测路段的有效车长，根据有效车长的阈值剔除异常数据。
[0098]
基于上述神经网络分类器进行分类，一方面能够根据单日交通流数据属于各类别的概率判别该单日交通流数据的有效性，另一方面，能够识别有效数据所属的类别，从而有助于基于相似的交通流检测设备为后续数据修复等操作或具体管理决策提供参考。
[0099]
本技术的上述实施例中，对单日交通流数据进行参数分布特征提取，得到单日交通流数据的分布特征后，基于训练后的神经网络分类器，根据所述单日交通流数据的分布特征，得到所述单日交通流数据属于各类别的概率，根据所述单日交通流数据属于各类别的概率确定所述单日交通流数据的分布特征是否有效，以及对于被判定为有效的单日交通流数据确定所属的类别，从而实现了对交通数据分布的有效性进行判别。采用本技术实施例，挖掘交通数据内在基本逻辑，采用机器学习的方法进行建模，识别异常分布数据，可以高效识别交通流检测设备的系统性分布异常，能够更精准的识别出异常的交通流检测设
备，为提高管理效率和运营维护提供支持，对现有的交通流数据有效性判别方法进行有效补充。
[0100]
在传统的交通流数据质量管理中，通过阈值判别法、三参数零值一致性判别法或者有效车长判别法来判别交通流数据的分布特征是否有效被应用广泛，但是这些方法主要针对的是某一时刻采集到的交通流数据取值异常的情况。虽然不同城市采用的交通流检测设备厂商不同，但却同时出现了由于系统运行不稳定或设备故障导致的参数分布异常，具体表现为：单一参数取值范围正常，但是存在参数整体采集值偏低，或者速度-占有率或流量-占有率等参数取值组合的分布不符合交通流三参数之间的内在逻辑规律，其宏观基本图表现出了异常的分布形态。本技术实施例由于引入了分布有效性判别的步骤，能够首先定位异常参数，从而能够避免由异常参数所导致的后续联合判别中对其它参数有效性的误判；在确认参数分布有效的基础上，可以进一步利用阈值判别、零值一致性或者有效车长判别方法进行交通流数据有效性判别，从而可以更全面地识别异常交通流数据。
[0101]
参见图5，为本技术实施例提供的神经网络分类器的训练流程，如图所示，该流程可包括以下步骤：
[0102]
s501：获取已识别出数据分布有效性的交通流检测设备采集的单日交通流数据作为用于训练神经网络分类器的样本。
[0103]
该步骤的具体实现方式基本与图1中的s101类似。
[0104]
s502：对样本进行预处理。
[0105]
该步骤的具体实现方式基本与图1中的s102类似。
[0106]
s503：对预处理后的样本进行参数分布特征提取，得到预处理后的样本的分布特征。
[0107]
该步骤的具体实现方式基本与图1中的s103类似。
[0108]
s504：基于相对熵函数确定预处理后的样本中各样本的分布特征之间的距离，并采用基于密度的聚类算法，根据预处理后的样本中各样本的分布特征之间的距离对各样本进行聚类，得到预处理后的样本中各样本所属的类别。
[0109]
该步骤中，对于已知正常运行的交通流检测设备，提取样本(即单日交通流数据)的分布特征(比如单参数分布或双参数联合分布特征)后，利用基于密度的聚类算法(比如dbscan算法)对这些样本进行聚类分析，从而获取类别标签，并作为分类器的训练数据。
[0110]
可选的，可首先计算各样本之间的距离。可选的，以样本a和样本b为例，可基于相对熵(relative entropy)函数计算样本a的分布pa与样本b的分布pb之间的距离d(a，b)，计算公式如下：
[0111][0112]
其中，kl()表示相对熵函数运算；pa(i)表示样本a中第i个参数的概率，pb(i)表示样本b中第i个参数的概率。当进行单参数分布距离计算时，n＝20；当进行双参数联合分布距离计算时，n＝400。
[0113]
计算得到各样本间的距离后，可根据各样本间的距离，利用聚类算法(比如dbscan算法)对这些样本进行聚类。dbscan是一种基于密度的聚类算法通过设定给定的半径eps，以及该半径邻域内点的个数的阈值minpts，确定样本点所属类簇。聚类算法的优势在于其
能够仅根据数据将相似的交通流检测设备进行聚类，而不依赖于交通流检测设备布设位置、交通流检测设备周边交通环境的详细信息，从而能够提高方法的可操作性，且具有一定的普适性。
[0114]
s505：使用标记有类别的样本训练神经网络分类器。
[0115]
通过上述聚类，可将正常的交通流检测设备进行分组，并对每个分组内的样本进行打标(即对每个样本标记其所属的类别的标号，不同的类别可标识不同的交通流检测设备)，使用打标后的样本可训练神经网络分类器。输入聚类后得到的带有类标号分布特征数据训练神经网络分类器，它能够根据输出的样本数据属于各个类别的概率来确定所属的类别，并通过与样本中标记的类别进行比较，来调整该分类器的权重或阈值从而学习特征间的内在逻辑关系，以达到训练该神经网络分类器的目的。
[0116]
本技术实施例中，以聚类结果作为类标号，而非设备正常/异常的二分类，一方面能够根据样本数据属于各类的概率判别数据的有效性，另一方面，能够识别有效数据所属类别，有助于基于相似交通流检测设备为后续数据修复等操作或具体管理决策提供参考。
[0117]
在交通异常数据判别算法设计方面，由于道路条件、环境设施等因素，正常的交通数据分布特点具有相似性，但又存在差异。如何兼容正常数据分布之间的差异性，设计合适的相似性度量方法，基于提取到的分布特征有效识别异常数据分布是需要考虑的问题。本技术实施例提供的神经网络分类器训练过程中，在聚类和分类算法中调整权重或阈值来学习特征间的内在逻辑，识别相似数据分布，可为后续数据修复等操作或具体管理决策提供参考。
[0118]
基于相同的技术构思，本技术实施例还提供了一种交通数据分布有效性判别装置。该装置可实现前述实施例提供的交通数据分布有效性判别方法。
[0119]
参见图6，为本技术实施例提供的交通数据分布有效性判别装置的结构示意图，如图所示，该装置可包括：获取模块601、预处理模块602、特征提取模块603、分类模块604、有效性判别模块605。
[0120]
获取模块601，被配置为获取待识别数据分布有效性的交通流检测设备采集的单日交通流数据，所述单日交通流数据包括针对至少一个车道采集的至少一种交通流参数；
[0121]
预处理模块602，被配置为对所述单日交通流数据进行预处理；
[0122]
特征提取模块603，被配置为对预处理后的单日交通流数据进行参数分布特征提取，得到所述单日交通流数据的分布特征；
[0123]
分类模块604，被配置为基于训练后的神经网络分类器，根据所述单日交通流数据的分布特征，得到所述单日交通流数据属于各类别的概率；
[0124]
有效性判别模块605，被配置为根据所述单日交通流数据属于各类别的概率确定所述单日交通流数据的分布特征是否有效，以及对于被判定为有效的单日交通流数据确定所属的类别。
[0125]
可选的，预处理模块602可执行以下操作：对所述单日交通流数据进行归一化处理，归一化处理后的任意一种交通流参数满足上述公式(4)。
[0126]
可选的，预处理模块602还可以在对所述单日交通流数据进行归一化处理之前，执行以下操作：根据设定的聚合周期，将所述单日交通流数据聚合为所述聚合周期的单日交通流数据。可选的，若所述单日交通流数据包括流量、速度、占有率中的至少一项，则聚合后
的流量满足上述公式(1)，聚合后的速度满足上述公式(2)，聚合后的占有率满足上述公式(3)。
[0127]
可选的，预处理模块602还可以在对所述单日交通流数据进行归一化处理之前，执行以下操作：采用箱型图方法，剔除所述单日交通流数据中的异常值。
[0128]
可选的，所述单日交通流数据包括单一交通流参数。特征提取模块603可执行以下操作：将所述单日交通流参数的取值区间均匀划分为设定数量的子区间；统计所述单日交通流参数落入各子区间的频率。
[0129]
可选的，所述单日交通流数据包括第一交通流参数和第二交通流参数，所述第一交通流参数和所述第二交通流参数为不同类型的交通流参数。特征提取模块603可执行以下操作：根据设定的网格尺寸以及所述第一交通流参数的取值区间和所述第二交通流参数的取值区间，进行网格划分，划分得到的每个网格的水平维度为所述第一交通流参数、垂直维度为所述第二交通流参数；统计所述单日交通流参数落入各网格的频率。
[0130]
在此需要说明的是，本技术实施例提供的上述商圈饱和度确定装置，能够实现上述方法实施例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
[0131]
基于相同的技术构思，本技术实施例还提供了一种通信装置，该通信装置可实现本技术上述实施例提供的方法流程。
[0132]
图7示例性出了本技术实施例提供的通信装置的结构示意图。如图所示，该装置可包括：处理器701、存储器702以及总线接口703。
[0133]
处理器701负责管理总线架构和通常的处理，存储器702可以存储处理器701在执行操作时所使用的数据。
[0134]
总线架构可以包括任意数量的互联的总线和桥，具体由处理器701代表的一个或多个处理器和存储器702代表的存储器的各种电路链接在一起。总线架构还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路链接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口提供接口。处理器701负责管理总线架构和通常的处理，存储器702可以存储处理器701在执行操作时所使用的数据。
[0135]
本技术实施例揭示的流程，可以应用于处理器701中，或者由处理器701实现。在实现过程中，信号处理流程的各步骤可以通过处理器701中的硬件的集成逻辑电路或者软件形式的指令完成。处理器701可以是通用处理器、数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件，可以实现或者执行本技术实施例中的申请的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本技术实施例所申请的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器702，处理器701读取存储器702中的信息，结合其硬件完成信息处理流程的步骤。
[0136]
具体地，处理器701，用于读取存储器702中的计算机指令并执行本技术实施例中的交通流数据分布有效性判别方法。
[0137]
在此需要说明的是，本技术实施例提供的上述通信装置，能够实现上述方法实施
例所实现的所有方法步骤，且能够达到相同的技术效果，在此不再对本实施例中与方法实施例相同的部分及有益效果进行具体赘述。
[0138]
基于相同的技术构思，本技术实施例还提供了一种计算机可读存储介质。计算机可读存储介质存储有计算机可执行指令，计算机可执行指令用于使计算机执行图1、图5中任一附图所示的流程。
[0139]
基于相同的技术构思，本技术实施例还提供了一种计算机程序产品，所述计算机程序产品在被计算机调用时，使得所述计算机执行图1、图5中任一附图所示的流程。
[0140]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0141]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0142]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0143]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0144]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本技术的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。