专利名称：用于检测传感器采样流中的变化的方法和系统的制作方法
技术领域：
本发明总体上涉及利用传感器对设备和环境进行监测，更具体地说， 涉及检测传感器采样中的变化。
背景技术：
传感器数据
迄今为止，利用传感器对设备和/或环境进行实时详细监测仅对于大 型的、昂贵的、对安全和任务要求严格的装置是经济可行的。然而，计 算机技术的快速发展，更具体而言，低成本传感器网络、廉价无线通信 以及强大的嵌入式处理器的出现，使得能够为诸如电动机、涡轮机、电
力开关设备、HVAC设备之类的更廉价设备，以及为诸如炼油、食品处 理、产品制造和大规模环境的范围不断扩展的工业处理来实现设备状态 监测(ECM)技术。
从传感器网络不断地流动而导致的传感器数据量的增长会很快地使 对这些数据执行监测任务的任何人类管理员难以承受。对快速并准确地 处理传感器数据这一问题的唯一可行的解决方法是发展自动变化检测 (ACD)方法。虽然这些自动方法并不太可能达到受过良好训练的人类 管理员的能力和通用性，但是当自动方法被设计为用于寻找传感器数据 流中的特定事件时，这些自动方法仍是十分有效和准确的。
这些事件中最重要的一个是传感器数据中的突变。因为即使当产生 数据的处理中没有发生变化时，除了最简单的数据流以外所有的数据流 都会发生变化，因此对这种突变的检测不是微不足道的问题。这可能由 例如当数据来自于动态系统时处理的自然变化性引起，或者由因测量错 误、隐藏的变量等导致的噪声而引起。在这些情况下，进行统计学意义 上的突变检测，即，该问题简化为检测变化前后的概率分布(从其对数据进行采样)之间的差。在制造业的应用中，该任务通常被称为统计过
程控制(SPC)。在SPC中，目标是检测从数据的受控分布到某些其它失
控分布的偏离。
CUSUM
当受控分布和失控分布具有已知的参数形式且相应的参数已知时， 己经证明累积和(CUSUM)过程是最优的，参见Page的"Continuous Inspection Schemes", Biometrika 41 ， pp.l00-114， 1954禾口 Basseville等人 的"Detection of Abrupt Changes: Theory and Application," Englewood Cliffs， NJ: Prentice Hall，1993。
然而，对受控分别和所有可能的失控分布的显式建模通常地是费力 和代价高的处理，甚至可能是难以处理的。因此，希望提供一种仅通过 检查传感器数据流并推断它们的概率分布就能够检测任何变化的方法。
突变检测
在当前时刻"来自传感器采样流的d维数据向量是x,。突变检测的 问题是确定这种变化是发生在当前时刻f处还是当前时刻^之前。该问题 的一个重要假设是假设该变化是永久的，即，在该变化发生之后，所有 的后续读数来自于新的分布。这是当变化是破坏性的(即设备故障)时 工业设备的典型情况。
假设变化之前的所有传感器釆样是从分布pO(x)采样的独立同分布 (i丄d)的随机变量。类似地，假设变化之后的所有采样是从分布pl(x) 采样的i丄d变量。
对于已知分布Z7o(x)和A(x)时的情况，Page描述了对这两个分布累积 当前采样的对数似然度的CUSUM过程，并基于辅助变量&=&,做出 确定，其中
且
对于预定的阈值A，如果^>/2则宣称已经发生了变化。对于给定的 误报率(false-positive rate)，可以证明该确定对使得检测概率最大化是最优的。
然而，CUSUM方法具有显著的缺点分布A)(X)和A(X)都必须预先 已知。即使对于设计该设备的工程师而言，对工业设备的正常操作或环 境中的正常条件指定准确的概率分布po(x)也通常是困难的和费力的。对 失控情况指定所有可能的分布A(X)则是完全不可能的。而且，可能无法 得到这些分布的正确的参数形式。
CUSUM的这些限制刺激了对更多由数据驱动而不依赖于预定分布 的用于ACD的另选方法的大力研究。研究的一个重要方向是使用例如秩 统计量的非参数统计，参见Brodsky等人的"Nonparametric Methods in Change-Point Problems ， ，，Kl而er， 1991 。
机器学习
研究的另一条路线集中在基于机器学习的ACD方法上。对于机器学 习，基本思想是根据假设的变化点前后的采样'学习'(拟合)两个概率分 布，并随后通常使用诸如Kullback-Leibler散度和Rinyi散度的信息论距 离测度来检验这两个分布之间的差，参见Guha等人的"Streaming and sublinear approximation of entropy and information distances,"Proceedings of SODA，06,pp.733.742,ACMPress,2006。然而，这些方法存在很多问题。
第一个问题是根据采样来学习这两个分布。当已知这两个分布是高 斯分布时，能够确定两个子窗的釆样均值和方差，并能够使用Student's t 统计来比较这两个分布，参见Gosset的"The probable error of the mean," Biometrika,1908。
重要得多的一种情况是当所述分布的两个概率密度函数(pdf)不是 高斯分布时的情况。例如，当所述分布是由于系统在多个不同的模式之 间切换而引起的多模态(multi-modal)的情况。作为另外一种对多模态 分布建模的极好选择的高斯混合模型是对于该特定问题的相当差的解决 方法，这是因为它们是参数的，并且它们的拟合需要对各参数进行多次 迭代调整，参见Hastie等人的"The Elements of Statistical Learning",Springer， 2001。当考虑很多可能的变化点时这是极为耗时的。 因而，这些方法并不适用于对时间要求严格的应用。
6一种更好的另选方法是使用基于记忆的方法，例如Parzen核密度估 计(Parzen，s kernel density estimate)，参见Parzen的"On estimation of a probability density function and mode，,， Ann. Math. Stat.33, pp.1065-1076， 1962，其也被称为概率密度函数的Nadaraya-Watson估计，参见Hastie等 人的文献。在该方法中，概率密度p(x)由核值(kernel values)的归一化 禾口表示。
p(XH丄t丰Xi), (l) 其中w是适当选择的核函数，且A， /=1，"是从待建模的分布中抽取的
采样。对核的流行选择是高斯和tri-cubic分布。
第二个问题是在已经根据采样拟合两个分布之后对它们进行比较。 某些流行的方法采用信息论距离测度，例如公知的Kullback-Leibler(KL)
散度
"红"ih)i…L^。(x"。gf^血。
使用KL散度时的主要难点是需要在采样x的整个域Q上积分。即 使在一维域中，这也可能是耗时的，并且在多变量的情况下几乎是不可 能的。使用其他流行的信息论距离测度，诸如R&yi散度，Jensen-Shanmon 距离、Bregman散度以及Hellinger-Matsushita-Bhattacharya距离，会导致 类似的与积分相关的困难。
因此，很多研究集中在对这些距离的近似计算上。例如，Guha等人 描述了多个多项式时间近似方案(PTAS)，这些方案能够以多项式时间计 算对大多数上述距离的近似。尽管从理论的观点来看是有价值的，但类 似的PTAS方法不大可能得到能够用于在实际应用中进行监测的实际方 法。
基于机器学习的另一种方法使用缓冲器的两个子窗，该缓冲器存储 有估计出了这两个pdf的采样。如果使窗大小很大，则对抽样出数据的真 实pdf的渐进拟合很好。然而，如果窗的大小很大，则新的釆样开始很缓 慢地影响变化后的分布，导致在分布发生实际变化时检测时间的增加， 使得难以检测突变。200810092655. 0
说明书第5/ll页
发明内容
本发明的实施方式提供了一种用于检测传感器采样流中的任何变化 的方法，以应对这一矛盾。本发明在可能的变化点前后均使用大小变化 的子窗。对于大小较小的变化后子窗(例如，仅一个采样)，这使得能够 对剧变或突变都做出快速反应，并使得能够使用根据较大窗学习的分布 实现对于更微小变化的敏感。该思想的直接实现导致计算复杂度增加到 O(AO。然而，本发明的实施方式提供了使得该复杂度的增加减小的有效 实现方法。
本发明的实施方式提供了用于检测多元传感器采样流中的任何变化 的方法。这是能够检测实时突变以及在更长时间段上逐渐演变的变化的 方法。当没有变化前后的数据分布的显式模型可用时，可以应用本发明。
本方法对存储在存储缓冲器中的采样的滑动窗进行操作。该缓冲器 存储了最近的iV个采样。每个新的采样导致最旧的采样从缓冲器中移除。 本方法考虑了将缓冲器划分成可能的变化发生时刻前后的采样的两个相 邻子窗的所有可能划分。确定采样的每对相邻子窗之间的差，并将最大
差指定为品质分数(merit score)。随后，如果该品质分数大于预定阈值， 则能够发信号通知采样流中的变化。
本发明的一个实施方式测量采样的成对子窗之间的平均欧氏 (Euclidean)距离作为决策变量。本发明的另一实施方式基于常规 CUSUM方法。然而，相反地，对于该常规方法，概率密度函数是未知的， 并且本发明使用Parzen核密度估计来估计所述分布，来代替使用已知分 布的对数似然度估计。
图1A是根据本发明的一个实施方式用于检测多元传感器数据釆样 流中的变化的方法的流程图1B是根据本发明的一个实施方式的存储有传感器采样的缓冲器 的框图；图2A是图IB的缓冲器被划分成不相等的子窗的框图2B是根据本发明的一个实施方式的采样值的不同分布的框图3是根据本发明的一个实施方式用于确定采样的差的三角数据结 构的框图4A是根据本发明的一个实施方式的核函数；
图4B是根据本发明的一个实施方式的三角数据结构的框图5是根据本发明的一个实施方式用于检测传感器数据中的突变的
基于记忆的图论(MB-GT)方法的伪代码的框图6是根据本发明的一个实施方式用于检测传感器数据中的突变的
基于记忆的累积和(MB-CUSUM)方法使用的变量的框图；以及 图7是基于记忆的累积和方法使用的伪代码的框图。
具体实施例方式
图1A示出了用于检测由传感器102从设备和/或环境103在时间上 连续地获取的多元传感器数据采样流101中的任何变化的方法100。采样 101被存储(110)在缓冲器170中，其中当缓冲器充满时将最旧的釆样 丢弃并存储最新的采样，使得缓冲器170形成在时间上前向滑动的采样 窗。
然后，对于每个新的采样，将缓冲器划分(120)成在可能的变化发 生的时刻171前后的采样的所有可能的成对相邻子窗111，使得最新的采 样被存储在该对的第二子窗中。确定(130)采样的每一对所有可能的相 邻子窗111之间的差131。最大差被指定为作为阈值140的品质分数(merit score),并且如果该品质分数大于预定阈值，则发信号通知(150)变化 151。
本发明的所有实施方式都对大小变化的成对相邻的采样窗进行操 作。即，本方法考虑大小为N个釆样的缓冲器170的所有可能的划分。 这两种方法共享了共同的计算结构，考虑存储缓冲器的所有可能划分， 该计算结构能够被用于显著减小计算成本。这两种方法都对缓冲器"进 行操作，该缓冲器包含最近的传感器采样，为方便起见，总是将这些传感器采样从A至XN重新编号，使得XN是最新的采样，并且^是最旧的 采样；即，该缓冲器是在时间上前向滑动的采样窗。
差处理a确定(130)量化的品质分数Y7，它与变化发生在缓冲器内 采样的跨度内的概率成比例。具体而言，品质分数Yf可以但不限于是缓 冲器170的两个子窗之间的距离测度。典型地是，常规方法仅将缓冲器 划分成两个相等的采样子窗并检验这两个相等部分之间的差。相反地， 我们将缓冲器划分成所有可能的成对子窗，包括存储有单个采样的子窗。
如图1B所示，以向量x形式的按时间顺序的釆样窗101被连续地存 储在缓冲器170中。下面描述的方法考虑了传感器釆样x的窗的子窗的 所有可能的成对下标(V)，从而K^/SN，使得将存储有采样x 152的缓 冲器r' 170划分成两个相邻的子窗，
这里时间f从左到右增加，并且
图2A示出了具有采样1至iV的缓冲器170。具有下标/的采样定义 了该对的第一子窗的开始，具有下标/的采样定义了第二子窗的第一采 样，并且，分别地，假设的变化点与划分(partitioning) 171相关联。位 于第一子窗末尾的采样具有下标,l，确保了该对子窗的邻接性，而第二 子窗的末尾总是最新的采样xw。
存储在这两个子窗中的采样的两个子集可以具有数量不相等的采 样。 一个子窗甚至可以由单个采样组成。因此，采样的一个子窗可以包 括一个或更多个釆样，即，子窗中的釆样的数量可以在[l,l]的范围内。
如果针对受到所列出约束的可能的每对子窗确定了差或品质分数 K(W)，则总的品质分数是所有划分上的最大值 Yf =maxls,s;swY，(Z,/)。
随后，建模的挑战在于确定要使用哪个品质分数。计算的挑战在于 以针对每个新采样X,在计算方面有效的方式完成这种确定。 基于记忆(memory-based)的图论处理(MB-GT) 如图2B所示，对确定采样的两个子窗221-222的两个分布211—212之间的差200 (距离)的问题的一个解决方法是确定这些釆样自身之间的
平均距离(差)。因为每个采样都是多维欧氏空间的一个数据点，因此采
样X&和X,的子窗之间自然的距离测度是其欧氏距离 《乂 —Ix广x, H。
对于由上述指定下标对(/力定义的特定划分，我们可以将采样的这两
个子窗之间的平均距离确定为
n"《， "广(/-斬"'+i)。
该基于记忆的图论方法具有品质分数
因为确定了每个C,,具有0(iV2)的复杂度，且存在0(iV2)个需要考虑的 这种项，因此总复杂度是0(iV4)。对于实际应用而言，该复杂度是不可接受的。
然而，独立c,力.项的确定具有某些冗余和重复结构，可以利用这些冗
余和重复结构来将计算复杂度降低到0(iV2)。
如果我们定义
A:=/ /力 /=乂
则以下递归关系成立-Ad d ， 中
且
中
c;,o对所有i^iv。
如图3所示，这些递归提出了下面的有效计算处理。值A,和c;.,被存
储在概念上与矩阵类似的数据结构301-302中。该矩阵由于约束i<j因而 是上三角的。计算可以开始于该矩阵的最下面一行310，最下面一行310 具有单个元素C^，它被定义为零。对于在原先的一行之上的每一行
其A,并，c,其12sn，按照从底到顶进行的顺序，执行两个步骤
1) 使用下面的递归自右向左进行，从所有值/ ,,,的紧邻右侧的采样 递归地计算所有的值/ ,,:
2) 使用递归c,:,d，根据各值A，,和紧接着当前行下面一行中 的值C,计算所有的值c,:,。
可以在计算各项c;，,的同时递归地完成对品质分数y"的确定，因为这 仅涉及归一化和最大化。出于这一原因，不必在缓冲器中存储所有的c,:和 。为的当前行/保存大小为n个采样的缓冲器并且为c,:,和《+1,/呆存
相同大小的两个缓冲器就足够了。因此，该过程的存储器需求仅为O(a0，
且计算复杂度仅为0(iV2)。
基于记忆的CUSUM过程(MB-CUSUM)
如图4A所示，本发明的第二实施方式是以概率为基础，这使得该方 法在特定建模条件下能够实现最优的变化检测。因为采样的分布未知， 我们首先例如使用高斯或tricubic概率分布函数通过Parzen核密度估计来 获得该分布，在图4A中，纵轴是概率分布，横轴是时间。
同时，尽管第二方法的理论基础非常不同，但第二方法具有与第一 实施方式类似的计算结构。我们描述这种结构如何能够被用于实现对计 算复杂度的同样显著的改进。
CUSUM的推导之后，我们考虑关于存储在缓冲器170中的N个采 样中的可能变化的以下假设
这里，我们考虑在获取了最近的iV-/+l个采样时没有发生变化的零 假设Hi,。，与之相对的是发生了这种变化的多重假设H,》。通过引入起始 下标"我们使要被检验的假设的集合扩展为不必使用窗中的所有N个采 样的那些假设。
根据Neyman-Pearson引理,参见Hoel等人的"Testing Hypotheses," Ch.3 in Introduction to Statistical Theory, New York: Houghton Mifflin,pp.56-67， 1971，通过引用将其合并于此，当检验每个特定的假设H,.,.相对 H,力时，我们能够进行的最佳检验，即，具有拒绝错误零假设的最高概率 的检验将是似然比
A 一n:::A)(x》.n二A(x,)
为方便起见，通常使用对数似然比&=1昭( )。在我们的方法中，我
们将真实pdfp。和pi用它们的核密度估计来代替，如公式(1)所述，得
出
1 yw
《u'+i丄"," .,、 "、
S,y:"Og~~f-^-， w',w(x,-、) ° (5)
Z广1
这里，W"是采样对(X/，X;0的核权重，并且其还满足WU=W"/￡)。通 过使用最大似然准则，该过程的品质分数为
如上所述，品质分数的计算具有0(iV4)的复杂度。然而，该品质分数
与同样能够被用来减小计算复杂度的实施方法的品质分数具有类似的结 构。
如图4B所示，同样，我们将窗S^的值和V^概念性地组织在三角
数据结构中，并定义下面的辅助变量
《一IXfc 。 (6)
尽管看上去要计算0(W)个《.项，公式5的改写形式的递归公式
-S^ + log" -logv乙+log(7-/) —1og(iV — /十l) 。 (7) 告诉我们并不需要所有的项。通过进一步定义& = ^以及、=< ， 我们可以使用下面的公式作为进行有效处理的基础
a=i># v,:>= v,:+u+w" 。 (8)
注意只有用于 的项是递归的；用于^的项是直接计算的。这些公
式表明了下面的处理
Sl:对于/=1,每次使用公式(8)直接计算a。该计算的复杂度为
0(JV2)，但是结果可以存储在O(iV)空间中。S2:对于矩阵《，,的每一行/=见1，从最下面一行410开始，/=7V 并向上移动到第一行Z'二1，执行以下两个步骤
S2.1:对于汁l到iV之间的每个值_/，每次使用公式(8)根据下面的行 中相应的v,^以及^.计箕 。
S2.2:对于iV和z'+l之间的每个值》对所有的/二l，iV，从S,，-O开
始，从紧邻右侧的值， 使用公式 & , = + log a. - log+ log(y - /) - log(W - / +1)计算。严格地从右向左(/
=7V， 进行该步骤中的计算。
图5更加详细地示出了确定y"爿的第一种基于记忆的图论
(MB-GT)方法的伪代码。图3示出了确定yu-，，的第二种基于记忆
的累积和(MB-CUSUM)方法的变量，且图4更为详细地示出了伪代码。
尽管已经通过优选实施方式的实施例描述了本发明，但应当理解可
以在本发明的精神和范围内做出各种其他的调整和修改。因此，所附权
利要求的目的是涵盖落在本发明的真实精神和范围内的所有的这种变型
和修改。
权利要求
1.一种用于检测由传感器获取的采样流中的变化的方法，该方法包括以下步骤在缓冲器中连续地存储由传感器随时间获取的采样流，其中，当所述缓冲器充满时，将最旧的采样丢弃并存储最新的采样，使得所述缓冲器形成在时间上前向滑动的采样窗；对于每个新的采样，将所述缓冲器划分成采样的包括第一子窗和第二子窗的所有可能的成对相邻子窗，使得最新的采样被存储在所述对的所述第二子窗中；确定采样的每对所述相邻子窗的所述第一子窗和所述第二子窗之间的差；将最大差指定为品质分数；以及如果所述品质分数大于预定阈值，则发信号通知所述采样流中的变化。
2. 根据权利要求1所述的方法，其中所述变化在时间上是突变的。
3. 根据权利要求1所述的方法，其中所述变化随时间相对缓慢地演变。
4. 根据权利要求1所述的方法，其中所述采样的分布是未知的。
5. 根据权利要求1所述的方法，其中所述差是所述第一子窗和所述 第二子窗二者中的所述采样的值之间的欧氏距离。
6. 根据权利要求1所述的方法，其中所述第一子窗和所述第二子窗 具有数量不相等的采样。
7. 根据权利要求1所述的方法，其中所述缓冲器中的采样数为N， 并且所述子窗中的采样数可以在[1，N-l]的范围内。
8. 根据权利要求1所述的方法，其中所述差确定的复杂度是0(W2), 其中N是存储在所述缓冲器中的采样的数量。
9. 根据权利要求1所述的方法，其中所述第一子窗和所述第二子窗 二者中的所述采样的值被存储在各自的三角矩阵中，并且根据直接相邻的采样递归地确定所述差。
10. 根据权利要求1所述的方法，该方法还包括以下步骤使用Parzen核估计来估计所述分布。
11. 根据权利要求10所述的方法，其中所述差是使用所述核估计的 对数似然度的累积和过程来确定的。
全文摘要
本发明涉及用于检测传感器采样流中的变化的方法和系统。一种检测由传感器获取的采样流中的变化的方法。在缓冲器中连续地存储由传感器随时间获取的采样流，其中，当所述缓冲器充满时，将最旧的采样丢弃并存储最新的采样，使得所述缓冲器形成在时间上前向滑动的采样窗。对于每个新的采样，将所述缓冲器划分成采样的包括第一子窗和第二子窗的所有可能的成对相邻子窗，使得最新的采样被存储在所述对的所述第二子窗中。确定采样的每对所述相邻子窗的所述第一子窗和所述第二子窗之间的差，并将最大差指定为品质分数。如果所述品质分数大于预定阈值，则发信号通知所述采样流中的变化。所述变化可以是突变的或渐变的。
文档编号G05B19/418GK101295177SQ20081009265
公开日2008年10月29日 申请日期2008年4月22日 优先权日2007年4月23日
发明者丹尼尔·N·尼科夫斯基, 安库尔·贾殷 申请人:三菱电机株式会社