专利名称：模式匹配装置以及方法
技术领域：
本发明涉及在判定声音、文字、图形等的输入模式是否是预先设 想的标准模式中的某一个的模式识别领域中利用的模式匹配装置以及 方法。
背景技术：
在现有的模式识别领域中，广泛应用动态规划法(Dynamic programming: DP)作为模式匹配方式。以声音的模式识别领域为例， 说明动态规划法的原理。声音模式A如以下(1)式那样表现。A-a!、 a2、 …、aj、…、a！ …(1)在(1)式中，i U-l、 2.....1}表示时间，a是指声音模式A在时间i的特征要素。因此，针对各种单词中的每一种，预先准备与声音模式A相同的、用特征要素的时间序列表现的标准模式B。该标准图像B如以下(2)式那样表现。B-lh、 b2..... bj..... bj …(2)在(2)式中，j {j = l、 2.....J}表示时间，b是指声音模式B在时间j的特征要素。模式匹配装置把所输入的声音模式A与各种单词的标准模式B分别进行比较，求出模式之间的距离。然后，把最小距离的标准模式作为识别结果输出。在实际的声音模式中，由于发音速度的变动，产生时间轴畸变。 动态规划法作为矫正该时间轴畸变的方法是极其有效的。在动态规划法中，反复运算以下(3)式表示的递推公式。
<formula>formula see original document page 7</formula>(3)在(3)式中，d (i， j)是声音模式A的特征要素aj与标准模式 B的特征要素bj的要素间距离。g(i， j)是声音模式A与标准模式B 的要素间累积距离。模式匹配装置反复计算上述递推公式(3)。然后，如图9所示， 在A、 B平面上求出使ai与bj最佳对应的路径(DP-pass)。上述递推公式(3)的最上面的式子针对图IO所示的A、 B平面 上的任意点(i， j)，规定了与下方邻接点(i， j-l)的关系。该递 推公式(3)的中间的式子针对点(i， j)，规定了与左下方邻接点(i -1， j-1)的关系。该递推公式(3)的最下面的式子针对点(i， j), 规定了与左侧邻接点(i-1， j)的关系。另外，有时也通过从该递推公式(3)省略最上面的式子来加入 倾斜限制。这种情况下，对于任意的点(i， j)规定图ll所示的关系。但是， 一般准备多个在模式匹配中所必需的标准模式。因此，考 虑通过压缩标准模式，来谋求存储标准模式的区域的效率化。作为压 缩标准模式的方法包括以下的方法。即，对于构成标准模式的各特征 要素，取其与分别邻接的特征要素的平均。然后，在存在近似的要素 的情况下，把它们合并成一个特征要素。这样来压缩标准模式。然而，在用上述的方法压缩了标准模式的情况下，在模式识别中 有益的时间信息消失。即，由于把邻接的特征要素合并成一个，因此 各要素分别具有的时间信息消失。时间信息从标准模式中消失后，一 般易于发生匹配错误(matching error )。特别是，在由于噪声(noise) 的混入而使被识别为部分近似的特征模式的数量多的情况下，匹配错 误显著出现。发明内容本发明的目的在于，即使在压缩了标准模式的情况下也降低匹配
错误的发生率。本发明实施方式的模式匹配装置针对构成标准模式的各特征要素，通过将与邻接的特征要素近似的特征要素合并为一个特征要素， 来压缩标准模式。另外，生成压缩后的压缩标准模式的每个特征要素 的压缩比的序列作为压缩信息。然后，将压缩后的压缩标准模式与针 对该压缩标准模式生成的压缩信息相关联地存储。另外，根据与该压 缩标准模式相关联存储的压缩信息，把所存储的压缩标准模式伸长， 复原成标准模式。然后，利用动态规划法计算复原后的标准模式与输 入模式的模式间距离。
图l是表示本发明实施方式的模式匹配装置的结构的框图。图2是用于说明在该模式匹配装置中进行的标准模式压缩处理的图。图3是表示在该模式匹配装置的存储单元中存储的数据结构的模式图。图4是表示第1实施方式中的模式匹配处理单元的主要部分结构 的框图。图5是表示第2实施方式中的模式匹配处理单元中的主要部分结 构的框图。图6是用于说明由第2实施方式的模式匹配处理单元计算的第1 递推公式的图。图7是用于说明由第2实施方式的模式匹配处理单元计算的第2 递推公式的图。图8是用于说明由第2实施方式的模式匹配处理单元计算的第3 递推公式的图。图9是用于说明现有的动态规划法的图。图IO是用于说明用现有的动态规划法计算的递推公式的图。图11是用于说明用现有的动态规划法计算的递推公式的其它例子的图。
具体实施方式
以下，使用
把本发明适用于声音模式识别领域的实施方式。首先，使用图1~图4说明第1实施方式。图1是表示本实施方式的模式匹配装置10的主要部分结构的框 图。模式匹配装置IO具备声音分析单元11、模式压缩单元12、压缩 信息生成单元13、存储单元14以及模式匹配处理单元15。向声音分析单元11输入声音信号M。声音信号M是从通过麦克 风(microphone)输入的声音进行变换后得到的电信号。声音分析单 元11分析所输入的声音信号M。然后，按照时间序列抽取出输入声 音的特征要素a，生成用上述(1)式表示的声音模式A。声音模式A 输出到模式匹配处理单元15。在模式压缩单元12中，输入多个标准模式(pattern) Bl、 B2、 B3、...。针对各种单词中的每一种预先准备各标准模式B1、B2、B3、...。 这些标准模式B1、 B2、 B3、…没有被压缩。模式压缩单元12沿着时 间方向分别压缩所输入的各标准模式B1、 B2、 B3、...。关于其压缩方法，使用图2进行说明。在该图中，bp b2、 b3、...、 1>9表示任意的标准模式Bx的各特征要素。标准模式Bx是各特征要素 bp b2、 b3..... b9按其顺序排列成时间序列后得到的。模式压缩单元12针对构成标准模式Bx的各特征要素bp b2、b3..... b9,分别求出与邻接的特征要素的距离。然后，在距离小于等于预先设定的阈值的情况下，把这些邻接的多个特征要素置换成一 个平均特征要素b'k(k-l、 2、 3、…)。通过该处理，局部地把多个 特征要素压缩为平均特征要素。通过对标准模式Bx的整体实施该处 理，生成压缩标准模式B'x。在图2的例子的情况下，邻接的特征要素132与b3的距离小于等 于阈值，把这些特征要素b2、 b3置换成平均特征要素b'2 {b'2- (b2 + b3) /2}。另外，邻接的特征要素b4、 bs以及b6的距离小于等于阈值，把这些特征要素b4、 bs以及b6置换成平均特征要素b'3 (b'3 - (b 4+b5+b6) /3}。另外，邻接的特征要素b7与b s的距离小 于等于阈值，把这些特征要素b7、 bs置换成平均特征要素b'4 {b'4 =(b7 + b8) /2}。这样，标准模式Bx(-lh、 b2、 b3..... 1)9)被压缩成压缩标准模式B'x (bV b'2、 b'3、 b'4、 b's)。压缩信息生成单元13把由上述模式压缩单元12压缩后的压缩标 准模式B'x的每个特征要素b、、 b'2、 b'3、 b'4、 b's的压缩比nl、 n2、 n3、 n4、 n5的序列生成为压缩信息Nx。在本实施方式中，如图2所 示，把表示压缩标准模式B'x的各特征要素b、、 b'2、 b'3、 b'4、 b's分 别代表原来的标准模式Bx的几个特征要素的值定义为压缩比n,、 n2、 n3、 114、 n5。即，压缩标准模式B'x的特征要素b、仅代表标准模式的特征要 素b,，因此压缩比nl是"1"。同样，特征要素b'2代表特征要素b2和 b3,因此压缩比n2是"2"。特征要素b、代表特征要素b4、 bs和b6， 因此压缩比n3是"3"。特征要素b'4代表特征要素1>7和b8，因此压缩 比n4是"2"。特征要素b's仅代表特征要素b9,因此压缩比n5是"1"。这样，针对压缩标准模式B'x的压缩信息Nx为"l， 2， 3, 1， 2"。存储单元14如图3所示，使由模式压缩单元12压缩后的压缩标 准模式B'x与压缩信息生成单元13针对该压缩标准模式生成的压缩信 息Nx相关联地存储。模式匹配处理单元15如图4所示，具备复原单元21、平滑化处 理单元22和距离计算单元23。复原单元21根据与该压缩标准模式B'x相关联地存储的压缩信 息Nx，把存储单元14中存储的压缩标准模式B'x伸长，将其复原成 标准模式Bu。例如，在图2的例子的情况下，与压缩标准模式B'x(b、、 b'2、 bV b'4、 b's)相关联的压缩信息Nx (nl、 n2、 n3、 n4、 n5)是 "1， 2, 3, 1， 2"。从而，特征要素b、保持不变。特征要素b'2变成邻接的2个特征 要素bV b'2。特征要素b、变成邻接的3个特征要素b'3、 b'3、 b'3。
特征要素b、变成邻接的2个特征要素b'4、 b'4。特征要素b's保持不 变。这样，压缩标准模式B'X复原成标准模式Bu (bV b'2、 b'2、 b'3、bV b、、 bV bV b's)。平滑化处理单元22针对由复原单元21复原后的标准模式Bxl， 由低通滤波器(low pass filter)进行平滑化处理。复原后的标准模式 Bu中产生由压缩引起的噪声。通过实施平滑化处理，能够除去这种噪 声。距离计算单元23利用众所周知的动态规划法计算经由声音分析 单元11输入的声音模式A与由平滑化处理单元22进行了平滑化处理 后的标准模式Bu的模式间距离Gx。例如，通过上述(3)式所示的 递推公式的反复运算来计算模式间距离Gx。模式匹配处理单元15针对所有的压缩标准模式B'x，反复执行上 述复原单元21、平滑化处理单元22以及距离计算单元23的处理，然 后，求出计算出的模式间距离Gx为最小的标准模式Bu，作为声音模 式A的识别结果G输出。这样，在本实施方式的模式匹配装置10中，在通过压缩标准模 式Bx生成压缩标准才莫式B'x时，生成该压缩标准模式B'x的每个特征 要素的压缩比序列作为压缩信息Nx。然后，使压缩标准模式B'x与针 对该压缩标准模式B'x生成的压缩信息Nx相关联地存储在存储单元 14中。在输入声音信号M后，由声音分析单元11按照时间序列抽取出 输入声音的特征要素a，生成声音模式A。声音模式A输出到模式匹 配处理单元15。模式匹配处理单元15针对存储单元14中存储的所有 压缩标准模式B'x，执行以下的模式匹配处理。首先，从存储单元14读出任意的压缩标准模式B'x和与其相关 联的压缩信息Nx。然后，根据压缩信息Nx把压缩标准模式B'x伸长， 复原成标准模式Bxl。接着，对复原后的标准模式Bu进行平滑化处理。 然后，利用动态规划法计算所输入的声音模式A与实施了平滑化处理 后的标准模式Bu的模式间距离Gx。
这样，模式匹配处理单元15针对每个压缩标准模式B'x,计算与 声音模式A的模式间距离Gx。然后，将模式间距离Gx为最小的标准 模式Bu作为声音模式A的识别结果G输出。这样，不是将压缩后的标准模式B'x直接用于计算与声音模式A 的模式间距离，而是在利用压缩信息Nx复原成标准模式Bxl以后使用。 从而，由于加入了由于标准模式Bx的压缩而丢失的时间信息，因此 降低了匹配错误的发生率。接着，说明第2实施方式。第2实施方式中，仅模式匹配处理单 元15与第1实施方式不同。图5的结构图示出第2实施方式中的模式 匹配处理单元15的主要部分结构。模式匹配处理单元15具备递推公式设定单元31和距离计算单元 32。距离计算单元32通过在递推公式设定单元31中设定的递推公式 的反复运算，计算声音模式A与压缩标准模式B'x的模式间距离Gx。 此时，使用与压缩标准模式B'x相关联地存储的压缩信息Nx，进行递 推公式的计算。在递推公式设定单元31中，设定以下(4)式所示的递推公式。<formula>formula see original document page 12</formula>...(4)在(4)式中，d (i， j)是声音模式A的特征要素aj与压缩标准 模式B'x的特征要素b'j的要素间距离。g(i， j)是声音模式A与压 缩标准模式B'x要素间累积距离。i^是压缩信息Nx的要素(压缩比)。上述递推公式(4)的最上面的式子针对图6所示的A、 B平面 上的任意点(i， j)，规定了与左侧邻接点(i-1， j)的关系。该递推公式(4)的最下面的式子是压缩信息要素Hj-i为"l"的情 况。这种情况下，针对点(i， j),规定了与左斜下方邻接点(i-l, j-l)的关系。该递推公式(4 )的中间的式子是压缩信息要素nn比"l"大的情 况。这种情况下，针对点(i, j),规定了与从左斜下方邻接点(i-l,
开始、按照与特征要素b'n相对应的压缩信息要素Hj—t伸长了 限制路径长度后的点(i-Hj-i， j-l)的关系。通过反复进行这种递推公式(4)的运算，压缩标准模式B'x的 特征要素b'j —!被分派了与输入模式A的nj- i个要素ai的对应。从而， 由于加入了由于标准模式Bxl的压缩而丟失的时间信息，因此降低了 匹配错误的发生率。可以得到同样效果的递推公式并不限于上述(4)式。例如，也 可以如图7所示，在递推公式设定单元31中设定针对特征要素b、进 行限制路径长度的伸长的下述(5)式的递推公式。<formula>formula see original document page 13</formula>或者，也可以如图8所示，在递推公式设定单元31中设定针对 特征要素b'j和b'j。两方进行限制路径长度的伸长的下述(6)式的递 推公式。<formula>formula see original document page 13</formula>在上述各实施方式中，在压缩标准模式Bx时，取近似的多个特征要素的平均，但也可以选择近似的特征要素中的一个作为代表。另外，还可以使用基于代码本(codebook)的聚类(clustering)方法。 另外，在上述实施方式中，直接使用压缩信息Nx的要素(压缩比)，但也可以使用预定的倍率、例如0.8倍的值来计算模式间距离。 另外，在上述实施方式示出了适用于声音的模式识别领域的情况，但本发明也同样能够适用于文字、图形等的模式识别领域中。此外，在不脱离本发明宗旨的范围内当然可以进行各种变形实施。
权利要求
1.一种模式匹配装置，求出分别用特征要素的时间序列表示的标准模式与输入模式的模式间距离，并将该模式间距离作为识别结果输出，其特征在于，具备模式压缩单元(12)，针对构成上述标准模式的各特征要素，通过将与邻接的特征要素近似的特征要素合并成一个特征要素，来压缩上述标准模式；压缩信息生成单元(13)，生成由上述模式压缩单元压缩后的压缩标准模式的每个特征要素的压缩比的序列作为压缩信息；存储单元(14)，将由上述模式压缩单元压缩后的上述压缩标准模式与由上述压缩信息生成单元针对该压缩标准模式生成的上述压缩信息相关联地存储；模式复原单元(21)，根据与上述压缩标准模式相关联地存储的上述压缩信息，把由上述存储单元存储的该压缩标准模式伸长，复原成上述标准模式；以及距离计算单元(23)，利用动态规划法计算由上述模式复原单元复原后的上述标准模式和与上述输入模式的模式间距离。
2. 根据权利要求1所述的模式匹配装置，其特征在于，还具备 平滑化处理单元(22)，使由上述模式复原单元复原后的标准模式平滑化，上述距离计算单元利用动态规划法计算由上述平滑化处理单元 平滑后的标准模式与上述输入模式的模式间距离。
3. —种模式匹配装置，求出分别用特征要素的时间序列表示的标 准模式与输入模式的模式间距离，并将该模式间距离作为识别结果输 出，其特征在于，具备模式压缩单元(12)，针对构成上述标准模式的各特征要素，通 过将与邻接的特征要素近似的特征要素合并成一个特征要素，来压缩上述标准模式；压缩信息生成单元(13)，生成由上述模式压缩单元压缩后的压缩标准模式的每个特征要素的压缩比的序列作为压缩信息；存储羊元(14)，将由上迷模式压缩羊元压缩后的上迷压缩标准模式与由上述压缩信息生成单元针对该压缩标准模式生成的上述压缩信息相关联地存储；距离计算单元(32)，利用动态规划法的递推公式，计算由上述存储单元存储的上述压缩标准模式与上述输入模式的模式间距离，其 中，上述递推公式具有由上述压缩信息生成单元针对该压缩标准模式 生成的上述压缩信息作为变量。
4. 根据权利要求3所述的模式匹配装置，其特征在于， 设上述输入模式的特征要素ai与上述压缩标准模式的特征要素bj的要素间距离为d (i, j)、上述输入模式与上述压缩标准模式的要 素间累积距离为g (i， j)、作为上述压缩比n的序列的压缩信息为 up则在上述距离计算单元中使用的递推公式表示如下<formula>see original document page 3</formula>。
5. 根据权利要求3所述的模式匹配装置，其特征在于， 设上述输入模式的特征要素ai与上述压缩标准模式的特征要素bj的要素间距离为d(i, j)、上述输入模式与上述压缩标准模式的要 素间累积距离为g (i， j)、作为上述压缩比n的序列的压缩信息为 nj,则在上述距离计算单元中使用的递推公式表示如下<formula>see original document page 3</formula>。
6.根据权利要求3所述的模式匹配装置，其特征在于， 设上述输入模式的特征要素ai与上述压缩标准模式的特征要素 bj的要素间距离为d(i， j)、上述输入模式与上述压缩标准模式的要素间累积多巨离为g (i, j)、作为上述压缩比n的序列的压缩信息为 nj，则在上述距离计算单元中使用的递推公式表示如下
7. —种模式匹配装置中的模式匹配方法，该模式匹配装置求出分 别以特征要素的时间序列表示的标准模式与输入模式的模式间距离， 并将该模式间距离作为识别结果输出，其特征在于，上述模式匹配方 法包括压缩步骤，针对构成上述标准模式的各构成要素，通过将与邻接 的特征要素近似的特征要素合并成一个特征要素，来压缩上述标准模 式；生成步骤，生成在上述压缩步骤中压缩后的压缩标准模式的每个 特征要素的压缩比的序列作为压缩信息；复原步骤，根据由上迷生成步骤针对上述压缩标准模式生成的上 迷压缩信息，把在上述压缩步骤中压缩后的该压缩标准模式伸长，复 原成上述标准模式；以及计算步骤，利用动态规划法计算通过上述复原步骤复原后的上述 标准模式与上述输入模式的模式间距离。
8. 根据权利要求7所述的模式匹配方法，其特征在于，还包括平滑化步骤，使由上述复原步骤复原后的标准模式平滑化，上述计算步骤利用动态规划法计算由上述平滑化步骤平滑后的 标准模式与上述输入模式的模式间距离。
9. 一种模式匹配装置中的模式匹配方法，该模式匹配装置求出分 别以特征要素的时间序列表示的标准模式与输入模式的模式间距离， 并将该模式间距离作为识别结果输出，其特征在于，上述模式匹配方 法包括压缩步骤，针对构成上述标准模式的各构成要素，通过将与邻接的特征要素近似的特征要素合并成一个特征要素，来压缩上述标准模式；生成步骤，生成在上述压缩步骤中压缩后的压缩标准模式的每个 特征要素的压缩比的序列作为压缩信息；以及计算步骤，利用动态规划法的递推公式，计算在上述压缩步骤中 压缩后的上述压缩标准模式与上述输入模式的模式间距离，其中，上 述递推公式具有由上述生成步骤针对上述压缩标准模式生成的上述压 缩信息作为变量。
全文摘要
本发明提供一种模式匹配装置以及方法，其中模式匹配装置针对构成标准模式的各特征要素，通过将与邻接的特征要素近似的特征要素合并成一个特征要素，来压缩标准模式。另外，生成压缩后的压缩标准模式B′x的每个特征要素的压缩比的序列作为压缩信息Nx。然后，将压缩后的压缩标准模式B′x与针对该压缩标准模式B′x生成的压缩信息Nx相关联地存储，模式匹配处理单元(15)在输入了输入模式A后，由复原单元(21)根据与该压缩标准模式B′x相关联的压缩信息Nx，把压缩标准模式B ′x伸长，将其复原成标准模式。然后，距离计算单元(23)利用动态规划法计算复原后的标准模式与输入模式A的模式间距离。
文档编号G06F15/18GK101165679SQ200610135658
公开日2008年4月23日 申请日期2006年10月20日 优先权日2006年10月20日
发明者柿野友成, 剑 栾, 杰 郝 申请人:东芝泰格有限公司;株式会社东芝