专利名称：模式的特征选择方法、分类方法、判定方法、程序及单元的制作方法
技术领域：
本发明涉及到一种用于图像识别的模式的特征选择方法、分类方法、判定方法、程序及单元。
背景技术：
作为从学习用的模式的集合中，决定用于模式识别的特征的方法，基于判别分析法的方法、基于主成分分析法的方法等被熟知，并已经被广泛利用(例如，参照特开平9-288492，特开平4-256087，特开平1-32159)。然而，由于上述各方法决定的特征只限定于线性特征，其性能是有限的。
另一方面，作为处理非线性特征的方法，使用神经网络的方法，特别是误差逆传播学习法和神经网络相配合的方法是公知的，(比如，参照，中野馨监修，“ニユ一ロコンピユ一タ”，技术评论社1989，或者，D.E Rumelhart，“Parallel Distributed Processing”，MIT Press，1986年)。根据这些方法，可以使中间层的神经元学习适合模式识别的非线性的特征。然而，这些方法中存在以下问题点，尤其在大规模的问题上学习花费巨大的时间，中间层的神经元的数量很大的影响神经网络的性能，没有用于事先决定此中间层的最适合的神经元数目的一般的方法等。
另外，作为使用决策树进行模式(分类)识别的方法，在相互信息量最大化的基准上，决定决策树的各节点的分类规则的ID3、C4.5等方法已被公知(参照特开2000-122690、特开昭61-75486、J.R.Quinlan，“C4.5Programs for Machine Learning”，1993年)。这些方法，和上述适用神经网络的方法比较，具有学习早些完了的优点。在另一方面，这些方法，对学习模式以外的模式的识别性能(通用性能)不够等，一般被认为比上述使用神经网络的方法在性能方面差。
发明内容
因此，本发明的目的在于，提供用于不需要大量学习就能实现高性能的模式识别的模式判定方法和作为上述模式判定方法的前提的特征选择方法及模式分类方法。
根据本发明的第1观点，提供了一种系统的特征选择方法，该系统具有存储保持带有等级信息的学习模式的学习模式存储单元；生成多个候选特征的候选特征生成单元；和从根据所述候选特征生成单元生成的候选特征中，决定适合模式识别的特征的组的特征决定单元，该特征选择方法的特征在于，所述特征决定单元，计算对应所述各候选特征的各学习模式的特征值，将其和所述学习模式集合的等级信息的相互信息量为最大的候选特征作为特征的组的最初的特征而决定，在决定的特征为已知的条件下，将对应各候选特征的各学习模式的特征值和所述各学习模式的等级信息的相互信息量为最大的候选特征，作为特征的组的下一特征，顺次决定。
根据本发明的第1观点的变形，提供了一种系统的特征选择方法，该系统具有存储保持带有等级信息的学习模式的学习模式存储单元；生成多个候选特征的候选特征生成单元；从根据所述候选特征生成单元生成的候选特征中，决定适合模式识别的特征的组的特征决定单元，该特征选择方法的特征在于，所述特征决定单元，为使所述学习模式对应特征的值进行迁移，准备预定个数的集合，计算对应所述各候选特征的各学习模式的特征值，将其和所述学习模式集合的等级信息的相互信息量为最大的候选特征作为特征的组的最初的特征而决定，在附加对应决定了的特征的权重，分配所述各学习模式的同时，使其顺次迁移至对应决定了的特征的集合，在包含所述各学习模式的集合中的信息和决定了的特征为已知的条件下，将对应各候选特征的各学习模式的特征值和所述各学习模式的等级信息的相互信息量为最大的候选特征作为特征的组的下一特征，顺次决定。
根据本发明的第2观点，提供一种系统的学习模式的分类方法，所述系统具有存储保持用于学习的学习模式的学习模式存储单元；生成多个候选特征的候选特征生成单元；从通过所述候选特征生成单元生成的候选特征中，决定适于模式识别的特征的组的特征决定单元；存储保持通过所述特征决定单元决定的特征的组的特征存储单元；和制作分类表的分类表制作单元，该学习模式的分类方法的特征在于，所述分类表制作单元，使用如上述的特征选择方法而决定的特征的组，计算所述各学习模式的各特征值，通过配置所述各学习模式的各特征值和等级信息而成的分类表，对学习模式进行分类。
根据本发明的第3观点，提供了一种系统的模式判定方法，该系统具有输入模式的模式输入单元；从所述模式中抽取特征的特征抽取单元；基于所述特征判定模式的模式判定单元；和存储保持决定了的特征的组的特征存储单元，该模式判定方法的特征在于，所述特征抽取单元，使用如上述的特征选择方法决定的特征的组，算出输入的模式的各特征值，基于所述算出结果，进行模式判定。
根据本发明第3观点的变形，提供了一种系统的模式判定方法，所述系统具有输入模式的模式输入单元；从所述模式中抽取特征的特征抽取单元；基于所述特征判定模式的模式判定单元；和存储保持被决定的特征的组的特征存储单元，该模式判定方法的特征在于，所述特征抽取单元，使用如上述各特征选择方法决定的特征的组，算出表示该顺序的特征为预定值的概率的、输入的模式的各特征概率，所述模式判定单元，根据所述输入的模式的各特征概率，和逐次记录在根据上述的特征选择方法决定各特征时，学习模式所属的集合而成的迁移表，进行输入模式的迁移，根据所述迁移的路径，算出所述输入的模式具有预定的等级信息的概率，进行模式判定。
根据本发明的第4观点，提供一种使构成系统的计算机执行处理的程序，所述系统具有存储保持附有等级信息的学习模式的学习模式存储单元；生成多个候选特征的候选特征生成单元；和从由所述候选特征生成单元生成的候选特征中，决定适合模式识别的特征的组的特征决定单元，该程序的特征在于使计算机执行以下处理，计算对应所述各候选特征的各学习模式的特征值，将其和所述学习模式集合的等级信息的相互信息量为最大的候选特征作为特征的组的最初的特征而决定的处理，和在决定的特征为已知的条件下，将对应各候选特征的各学习模式的特征值和所述各学习模式的等级信息的相互信息量为最大的候选特征，作为特征的组的下一特征，顺次决定的处理，并进行特征的选择。
根据本发明的第4观点的变形，提供一种使构成系统的计算机执行处理的程序，所述系统具有存储保持附有等级信息的学习模式的学习模式存储单元；生成多个候选特征的候选特征生成单元；和从由所述候选特征生成单元生成的候选特征中，决定适合模式识别的特征的组的特征决定单元，该程序的特征在于使计算机执行以下处理，为使所述学习模式对应特征的值进行迁移，准备预定个数的集合的处理，计算对应所述个候选特征的各学习模式的特征值，将其和所述学习模式集合的等级信息的相互信息量为最大的候选特征作为特征的组的最初的特征而决定的处理，在附加对应决定了的特征的权重，分配所述各学习模式的同时，使其顺次迁移至对应决定了的特征的集合的处理，和在包含所述各学习模式的集合中的信息和决定了的特征为已知的条件下，将对应各候选特征的各学习模式的特征值和所述各学习模式的等级信息的相互信息量为最大的候选特征作为特征的组的下一特征，顺次决定的处理，并进行特征的选择。
根据本发明的第4观点的其他变形，提供一种使构成系统的计算机执行处理的程序，所述系统具有存储保持用于学习的学习模式的学习模式存储单元；生成多个候选特征的候选特征生成单元；从通过所述候选特征生成单元生成的候选特征中，决定适于模式识别的特征的组的特征决定单元；存储保持通过所述特征决定单元决定的特征的组的特征存储单元；和制作分类表的分类表制作单元，该程序的特征在于使计算机执行以下处理，使用通过上述程序的实行而决定的特征的组，计算所述各学习模式的各特征的处理，和通过配置所述各学习模式的各特征值和等级信息而成的分类表，对学习模式进行分类的处理，并进行学习模式的分类。
根据本发明的第4观点此外的其他变形，提供一种使构成系统的计算机执行处理的程序，所述系统具有输入模式的模式输入单元；从所述模式中抽取特征的特征抽取单元；基于所述特征判定模式的模式判定单元；和存储保持决定了的特征的组的特征存储单元，该程序的特征在于使计算机执行以下处理，至少使用通过如上述程序的实行而决定的特征的组，算出输入的模式的各特征值的处理，并基于该执行结果进行模式的判定。
根据本发明的第4观点此外的其他变形，提供一种使构成系统的计算机执行处理的程序，所述系统具有输入模式的模式输入单元；从所述模式中抽取特征的特征抽取单元；基于所述特征判定模式的模式判定单元；和存储保持决定了的特征的组的特征存储单元，该程序的特征在于使计算机执行以下处理，使用通过如上述程序的实行而决定的特征的组，算出输入的模式的各特征值的处理，和基于所述输入模式的各特征值和逐次记录利用如第4观点所述程序的实行而决定各特征时学习模式所属的集合而成的迁移表，进行输入模式的迁移的处理，并基于所述输入的模式所属的集合进行输入的模式的判定。
根据本发明的第4观点此外的其他变形，提供一种使构成系统的计算机执行处理的程序，所述系统具有输入模式的模式输入单元；从所述模式中抽取特征的特征抽取单元；基于所述特征判定模式的模式判定单元；和存储保持决定了的特征的组的特征存储单元，该程序的特征在于使计算机执行以下处理，使用通过如上述程序的实行而决定的特征的组，算出表示该顺序的特征为预定值的概率的、输入的模式的各特征值的处理，基于所述输入的模式的各特征概率和逐次记录在通过第4观点变形所述的程序的实行决定各特征时学习模式所属的集合而成的迁移表，进行输入模式的迁移的处理，和根据所述迁移的路径，算出所述输入的模式具有预定等级信息的概率的处理，并根据所述计算结果，进行输入模式的判定。
根据本发明的第5观点，提供一种模式学习系统，保持上述各程序为可以实行，进行学习模式的特征的选择。
根据本发明的第6观点，提供一种模式分类系统，保持上述各程序为可以实行，进行学习模式的分类。
根据本发明的第7观点，提供一种模式判定系统，保持上述各程序为可以实行，进行输入的模式的判定。
图1是表示进行本发明第1实施例的特征选择方法的系统构成的框图。
图2是用于说明本发明第1实施例的特征选择方法的流程图。
图3是表示根据本发明的分类表的制作处理的一例的流程图。
图4是根据本发明作的分类表的一例。
图5是表示进行本发明第1实施例的模式判定方法的系统构成的框图。
图6是表示根据本发明的分类表的制作处理的另一例的流程图。
图7是表示进行本发明第3实施例的特征选择方法的系统构成的流程图。
图8是用于说明本发明第3实施例的特征选择方法的流程图。
图9是用于说明本发明第3实施例的特征选择方法的流程图。
图10是用于说明本发明第3实施例的特征选择方法的流程图。
图11是根据本发明作的迁移表的一例。
图12是根据本发明作的迁移表的另一例。
图13是简要表示在本发明第3实施例中进行的集合间的迁移的图。
图14表示进行本发明第3实施例的模式判定方法的系统的构成的框图。
具体实施例方式
参照附图对本发明的实施例进行说明。
图1是表示根据本发明的特征选择方法的第1实施例的系统构成的框图。参照图1，表示了学习模式存储单元101、候选特征生成单元102、特征决定单元103、特征存储单元104、分类表制作单元105、和分类表106。
学习模式存储单元101，是用于存储保持在期望个数的学习中使用的学习模式的单元。候选特征生成单元102是从预定个数的特征参数组中顺次生成候选特征的单元。特征决定单元103从由候选特征生成单元生成的候选特征中决定最适合模式识别的特征的组。
特征存储单元104，是存储保持由特征决定单元103决定的特征的组的单元。分类表制作单元105，是用于制作分类表106的单元，该分类表106是用于使用由特征决定单元103决定的特征的组来进行模式判定。
接着，参照附图对本发明的特征选择方法的顺序进行说明。图2，是用于说明本发明的特征选择方法的处理流程的流程图。
参照图1和图2，首先，候选特征生成单元102生成候选特征(步骤S001)。具体的，候选特征生成单元102，从预先设定的大量的(设N个)特征参数组中，将第s(s＝1～N，从s＝1开始)的特征参数组(k_s，r0_s，б_s，th_s)代入(k，r0，б，th)中，生成在以参数k，r0，б规定的下式中例示的复变加博函数(複素ガボ一ル関数)Gab，以及高斯函数G。
Gab(r;k,r0,σ)=exp(ik(r-r0)-|r-r0|2/(2σ2))G(r;r0,σ)=exp(-|r-r0|2/(2σ2)/(2πσ2))----(1)]]>在这里，r＝(x，y)表示位置矢量，i2＝-1。而且，候选特征生成单元102，将(1)式的复变加博函数Gab、高斯函数G、阈值参数th，以及候选特征的识别号码s一起送给特征决定单元103(步骤S002)。
学习模式存储单元101，将预定的M的学习模式(图像)ft(r)(t＝1～m)和各学习模式所属的等级qt(t＝1～M)的组送给特征决定单元103(步骤S003)。对于本实施例，为使说明简单，等级以2等级(q＝0或1)进行说明。当然，本发明的方法也适用于3等级以上的情况。
特征决定单元103，对从学习模式存储单元101顺次接受的学习模式，使用候选特征((1)式中所示的复变加博函数以及高斯函数及其他参数)，按照下式计算特征c(步骤S004)。在这里，设第t的学习模式为ft(r)，对所有的学习模式(M个)重复上述的计算。
(2)式上段的式子的分母是用于抑制根据模式大小(图像的亮度)的a的值的变动的规格化(标准化)因子。该分母式也可以置换成别的形式的规格化因子。此外，根据所处理的模式，也可以省略这样的规格化因子。
像以上那样，如果使用第s个候选特征(特征参数组)，对各学习模式计算特征c，接下来特征决定单元103按照下式算出从第s的候选特征中得到的相互信息量MI，将其和候选特征的识别号码s一起存储。
MI[Q；C]＝H[Q]-<H[Q|c]>c但是H[Q|c]=-ΣqP(q)logP(q)]]>,P(q)=M(q)/M----(3)]]>H[Q|c]=-ΣqP(q|c)logP(q|c)]]>,P(q|c)=M(q,c)/M(c)]]>在这里，Q是等级的集合{q＝0，q＝1}，M是学习模式的总数。另外，M(q)是属于等级q的学习模式的总数，M(c)是特征为c的学习模式的总数，M(q，c)是特征为c，并属于等级q的学习模式的总数。
此外，(3)式中的<>c是涉及c的平均化操作，即<H[Q|c]>c=-ΣcP(c)H[Q|c]]]>,P(c)=M(c)M]]>通过以上的操作，从候选特征生成单元送出后面的第(s+1)个候选特征，重复同样的操作(步骤S002～S005)，这样，对应所有的(N个)的候选特征的相互信息量的计算结束的时候，特征决定单元103比较从各候选特征得到的相互信息量，将得到最大的相互信息量MaxMI[Q；C]的候选特征作为应决定的特征组的第1个特征而决定(步骤S006)。
如果这样决定了第1个特征，特征决定单元103决定第2个特征。和上述完全一样，特征决定单元103从候选特征生成单元102顺次接受候选特征(步骤S002)，对各学习模式算出特征c(步骤S003、S004)，此外，根据可以使用的存储容量，存储保持决定上述第1特征时的步骤S004的特征c的计算结果，特征决定单元103也可以代替读出该存储保持内容的操作。使用第s的特征参数组，对各学习模式计算特征c的时候，特征决定单元，在已经决定的第1个特征c1已知的条件下，按照下式算出从第s的候选特征得到的信息量MI2，将其和候选特征的识别号码s一起存储(步骤S005)。
MI2[Q；C|C1]＝<H[Q|c1]>c1-<H[Q|(c，c1)]>C1，C(4)但是H[Q|c1]=-ΣqP(q|c1)logP(q|c1)]]>,P(q|c1)=M(q,c1)/M(c1)]]>H[Q|c,c1]=-ΣqP(q|c,c1)logP(q|c,c1)]]>,P(q|c,c1)=M(q,c,c1)/M(c,c1)]]>而且，在这里，M(c1)是第1个特征为c1的学习模式的总数，M(q，c1)是第1个特征为c1并且属于等级q的学习模式的总数，另外，M(c，c1)是特征为c，并且第1个特征为c1的学习模式的总数。M(q，c，c1)是特征为c，第1个特征为c1，并且属于等级q的学习模式的总数。
通过以上的操作，从候选特征生成单元送出下面的第(s+1)的候选特征，重复同样的操作(步骤S002～S005)。这样，对应所有的(N个)候选特征的相互信息量的计算结束的时候，特征决定单元103比较从各候选特征得到的附加条件的信息量MI2，将可得到最大的相互信息量的候选特征作为应决定的特征的组的第2个特征而决定(步骤S006)。
以下同样的，如果决定到第m特征，第(m+1)个特征c，采用使下式的评价函数MIm+1为最大的候选特征。
MIm+1[Q；C|C1，C2，...Cm]＝<H[Q|c1，c2，...cm]>(c1，c2，...cm)-<H[Q|(c，c1，c2，...cm]>(c1，c2，...cm)(5)上述的MIm+1表示在至第m的特征(c1，c2，……cm)已知的条件下从特征c得到的信息量。以上的过程一直持续到即使选择了新的特征，得到的信息量(追加的信息量)也变得比预先设定的阈值MI-th小。例如，上述的阈值被设定成0的情况下，直到得到的信息量(追加的信息量)变成0，即，直到满足结束条件，为决定下一特征，重复上述的程序。
另一方面，在满足此结束条件时结束特征决定程序。而且，被决定的特征的组的各参数被记录在特征存储单元104中(步骤S007)。
此外，作为上述的特征选择方法的一个变形，考虑设法减少候选特征生成单元生成的候选特征的数目的如下构成。例如，对各复变加博函数，分别对q＝0的等级、q＝1的等级，预先调查(2)式算出的a的值的等级内平均值，将阈值(th_s)的值固定为该2个等级内平均值的中间值的构成。此外，例如，决定第一特征的时候，在(3)式中对各复变加博函数计算相互信息量MI，但是此时，记录对各候选特征给予各自最大的MI的阈值(th_s)，决定第2个以后的特征时，原样固定上述阈值(th_s)的值的构成。
此外，在上述的实施例中，使用复变加博函数作为构成候选特征的特征抽取函数，但是即使加上其它的特征抽取函数，根据情况也可以只由其他的特征抽取函数构成候选特征。
此外，例如，也优选构成各等级部分空间，向候选特征加入表示距该部分空间的距离的指标的变形。此外，考虑把，将使用高斯函数计算的某点附近的加权平均亮度，或者使用高斯函数计算的某点附近的加权平均亮度，通过利用更广的大的高斯函数计算的平均亮度而规格化的值(即，表示某点附近比其周边更亮或暗的指标)，加入候选特征中。其他，也可以将用于模式判定的标准的特征加入候选特征中。
特征的决定程序结束，决定的特征的组被记录到特征存储单元104中的时候，可以制作用于模式识别的分类表106(参照图4)。以下，说明通过期望的单元起动的分类表制作单元105，制作分类表106的程序。
首先，分类表制作单元105，从学习模式存储单元101接受各学习模式，从特征存储单元104接受在上述步骤S007记录的特征的组的各参数(以下，设定为全部n个的特征被决定)，按照上述(2)式对各学习模式分别算出各特征的值(c1，c2，…cn)。在此基础上，学习模式如果属于q＝1的等级，就附加1的标识，如果属于q＝0的等级，就附加0的标识，和对应该学习模式的特征向量(c1，c2，…cn)一起，记录在分类表中。
根据上述的程序，可以制作将各学习模式单一分类的分类表，更优选的是，优选使用冗长项(不必在意的项，don’t care项)。例如，在只由从头开始到第i个特征的值(c1，c2，…ci)，就可以完成某学习模式的分类时，第i+1以后的特征向量的值就置换成表示don’t care的记号而记录。
参照附图，说明使用上述的冗长项(don’t care项)，制作分类表的步骤。图3是表示本实施例的分类表的制作处理的一个例子的流程图。
参照图3，首先，分类表制作单元105对输入的学习模式，使用决定的特征的组的各参数，计算特征向量(c1，c2，……cn)的值(步骤S101，S102)。
核对在分类表中是否存在具有与上述特征向量一致的特征向量(步骤S103)。但是，在分类表中记有表示don’t care的记号的情况下，与此对应的特征的值不论是任何值，都看作一致的值进行判定。
前述核对的结果，在分类表中存在具有和计算的特征向量一致的特征向量的学习模式的情况下，不记录该学习模式，返回步骤S101，进行下面的学习模式的输入。
另一方面，当没有一致的模式时，设定增量变量i＝1(步骤S104)，进行以下的处理。首先，调查从第1个开始至第i个特征(c1，c2，……ci)的全部与该学习模式一致的学习模式，是否存在于属于此学习模式所属等级(例如q＝0)以外的等级(例如q＝1)的学习模式中(步骤S105)。
其结果，在没有一致的学习模式时，将从第1个开始至第i个的特征的值(c1，c2，…ci)和此学习模式所属的等级的标识(例如q＝0)一起，记录在分类表中，第i+1以后的特征向量的值，记录表示don’t care的记号(步骤S106)。然后，回到步骤S101进行下面的学习模式的输入。
相反的，和此学习模式一致的学习模式即使只有一个时，增量变量I增加1，回到步骤S105，即，直到输入的特征模式的至第i个的特征的值可以识别自己和其他为止，继续增加i的处理。
重复以上的处理，直至输入所有的学习模式。
然而，出现只利用以上的过程不能将学习模式的全部进行分类的情况。例如，出现属于不同等级的学习模式具有相同特征向量的情况。在这种情况下，应该数清属于各等级的学习模式的数目，决定很多的等级为此特征向量表示的等级等。
当然，随着i的增加，将特征c1～ci一致的模式分组(细分)，当一个组中只存在一个模式时，采用将此模式的i+1以后的特征设成don’tcare项的方法。
图4是根据本发明制作的分类表的例子。参照图4，表示容纳各学习模式的等级的识别标志(q)和特征向量(c1，c2，……cn)的表。此外，图4的记号“*”是表示don’t care的记号。
下面参照附图对使用上述模式判定表进行的模式判定方法进行说明。
图5是表示本发明的模式判定方法的处理的流程的框图。参照图5，表示了模式输入单元201和特征抽取单元202和模式判定单元203。此外，表示了用于特征抽取单元202的特征抽取的、存储保持已决定了的特征的组的特征存储单元104，和模式判定单元203模式判定用的、已制作的分类表106。
模式输出单元201，是用于输入来自预定的媒体的模式的单元。例如，输入模式为文字、图形、声音等，不是特别限定的，例如，输入人的脸、指纹、视网膜的图像、声音等，可以使之成为用于识别人的信息。
特征抽取单元202，是使用被决定的组，从来自模式输入单元201送入的输入模式中抽取其特征的单元。
模式判定单元203，基于从特征抽取单元202中得到的特征，对输入模式表示的信息进行判定。
其作用，首先，模式输入单元201从期望的媒体取入输入模式，送给特征抽取单元202。
接着，特征抽取单元202对此输入模式，使用存储在特征存储单元104中的特征的组(根据上述的特征决定方法决定的)，按照(2)式算出特征向量(c1，c2，…cn)，然后，将上述计算结果送入模式判定单元203。
模式判定单元203，一边参照分类表106，一边检索和此特征向量一致的特征向量，读出在那里记录的等级的标记，将其作为判定结果输出。这时，在分类表上记录有表示don’t care的记号的情况下，模式判定单元203，不论对应其的特征的值是什么，对此部分，都作为一致的特征向量进行判定。
在这里，为了使根据上述各步骤进行模式的特征的决定及模式的判定的本发明的优点更加明确，对本发明和应用决策树的现有方法(ID3、C4.5等)的不同点进行说明。
ID3等，在根据信息量最大化的基准，决定决策树的各节点的分类规则这一点上，和本发明是相同的。然而，在ID3、C4.5中，将分类规则(如果换成本发明的说法为“特征”)决定于每节点，例如，考虑决定第1个特征c1后决定第2个特征的情况，在第1个特征的c1为1的情况、为0的情况下，分别决定各自的情况下不同的分类规则。对此，在本发明，当节点的深度相同时，即，对任意的第n个特征，决定相同的特征。此点是两者很大的不同点。
当然，不论采用任何方法，都能将学习模式完全的分类。然而，在通用功能，即，在对没有学习的模式的识别功能上，表现很大的不同。为了简单，考虑两者的树的深度相同的情况(设为n)，与ID3或C4.5中决定2n个特征相对，在本发明中只决定n个特征。因此，本发明有更简单的结构。该决定的特征的个数的差，伴随问题变得更困难，需要更深的树，成指数函数关系扩大。
然而，在对学习模式的性能相同的情况下，更简单结构的分类器的通用性能优越是公知的(奥卡姆剃刀，Occam’s razor)。这一点是根据本发明的特征选择方法及使用其的模式判定方法与现有方法相比，大幅提高性能、尤其是通用性能的理由。
接着，对向学习模式中加入有效的噪声的本发明的第2实施例进行说明。
第2实施例的系统的构成和上述第1实施例的构成(参照图1)大略相同，其处理的流程也和上述第1实施例(参照图2～图5)大略相同。以下，仅对第2实施例和上述第1实施例的不同点，进行说明。
在本实施例中，在(k_s，r0_ s，σ_s，th_s)作为候选特征生成单元102使用的、大量的(设为N个)特征参数组的基础上，噪声参数σn_s被预先设定(s＝1～N)。另外，和第1实施例的步骤S001同样，候选特征生成单元102将第s(从s＝1开始)个特征参数组(k_s，r0_s，σ_s，th_s，σn_s)代入(k，r0，σ，th，σn)中，按照上述(1)式，生成复变加博函数、高斯函数。此外，候选特征生成单元102，将这些复变加博函数、高斯函数、阈值参数th、噪声参数σn以及候选特征的识别号码s送到特征决定单元103(图2的步骤S002)。
特征决定单元103，从学习模式存储单元101顺次接收学习模式(图2的步骤S003)。使用上述的复变加博函数以及高斯函数，按照下式，对各学习模式计算特征b(图2的特征S004)。在这里，设第t的学习模式为ft(r)(t＝1～M)。
α=|Σrft(r)Gab(r;k,r0,σ)|2/Σrft(r)2G(r;r0,σ)b=Erf((a-th)/σn)----(6)]]>(6)式的Erf(x)是误差函数，并且，这是取0以上1以下的值的别的非线性函数，比如，可以置换为S型函数(シグモイド関数)。
如上使用第s个特征参数组，对各学习模式计算特征b，接着特征决定单元103将从第s个候选特征中得来的相互信息量MI，以上述(3)式为基准，基于以下的要点算出(图2的步骤S005)。
首先，对某学习模式，通过上述(6)式计算的特征的值如果是b(0≤b≤1)，对此学习模式，特征c定为，概率为b，取1，概率为(1-b)，取0。另外，分别将(3)式中的M(c)置换成特征为c的学习模式的总数的期待值，同样将M(q，c)置换成特征为c并且属于等级q的学习模式的总数的期待值，算出相互信息量MI。
在对所有的候选特征，相互信息量的计算结束的时刻，与第1实施例完全相同，特征决定单元103比较从个候选特征得到的相互信息量，将可得到最大的信息量的候选特征作为应决定特征的组的第1个特征，而决定。(图2的步骤S006)。
以下同样的，如果决定到第m个特征，第m+1个特征的cm+1，在至第m个特征(c1，c2，……cm)已知的条件下，决定以使得从特征c得到的信息量MIm+1为最大。但是，和上述的第1个特征的决定时同样，计算相互信息量时，学习模式的各种总数全部置换成对应的学习模式的各种总数的期待值，进行计算。例如，计算MI2时，在(4)式中，M(c，c1)置换成“特征为c并且第1个特征的为c1的学习模式的总数的期待值”，M(q，c，c1)置换成“特征为c且第一个特征为c1，并且属于等级q的学习模式的总数的期待值”，而计算。
和第一实施例相同，以上的步骤，即使是选择新的特征，也要继续直到得到的信息量(追加的信息量)比预先设定的阈值还小。并且，如果满足了上述的结束条件，被决定的特征的组的各参数，被记录在特征存储单元104(图2的步骤S007)。
接着，对本实施例的别的分类表的制作的步骤，参照附图进行说明。图6是表示本实施例的分类表的制作处理的一例的流程图。此外，根据特征决定单元决定n个特征，分类表被初始化(clear)。
参照图6，首先，分类表制作单元105对各学习模式，使用被决定的特征的组的各参数，按照(6)式计算各特征bs(b1，b2，…bn)(步骤S201，S202)。如果关于全部学习模式的各特征bs的计算结束，分类表制作单元105将第s个的特征cs为1的概率定为bs，为0的概率定为(1-bs)，并且，初始化j＝1，开始应记录在分类表106中的模式的选定处理(步骤S203)。
首先，分类表制作单元105生成从第1个至第j个的特征(c1，c2，…cj)的所有的组合(步骤S204)。接着，将上述从第1个至第j个的特征的全部组合和分类表106中已经登记的特征向量顺次对照(步骤S205)，在上述从第1个至第j个特征的全部组合中，消去与分类表106中已经记录的特征向量一致的组合(步骤S205-1)。在这种情况下，在分类表106中被记录有表示don’t care的标记的特征，不论为何值，都作为一致而处理。
此外，关于剩下的特征模式(c1，c2，…cj)，在步骤S202，使用对每个学习模式计算出的特征bs，进行期待值的计算，进行符合应记录在分类表106中的条件的特征模式的检索(步骤S206)。更具体地，从剩下的特征模式中，顺次选择适当的特征模式(c1，c2，……cj)，在(1)是上述特征模式，属于某等级q的学习模式的总数的期待值在预定阈值以上，(2)是上述特征模式，属于其以外的等级的学习模式的总数的期待值都在预定的其他的阈值以下的情况下，使该特征模式成为表示等级q的模式，和标志q一起记录在分类表106中。这时，在从第j+1个至第n个特征的栏中记录表示“don’t care”的记号(步骤S207)。
上述检索的结果，当得不到符合条件的特征模式时，使j＝j+1，返回步骤S204，重新生成从第1个至第j个特征(c1，c2，…cj)的所有的组合。另一方面，直到至第n个的特征的全部组合检索结束时(j＝n)，终止。
接着，关于本实施例的其他的模式判定的步骤，再参照图5进行说明。
首先，对从模式输入单元201输入的输入模式，特征抽取单元202，使用存储在特征存储单元104中的特征的组，按照(6)式，算出特征向量(b1，b2，…bn)，将其送入模式判定单元203。这时，将第s个特征cs(s＝1～n)为1的概率定为bs，为0的概率定为(1-bs)。
模式判定单元203，一边参照分类表106，一边算出输入模式属于各等级的概率。更加具体地，通过以下的步骤进行。
例如，如果说明计算输入模式属于等级q＝0的概率的情况，首先，模式判定单元203从分类表106中，全部读出标记有q＝0的特征模式(c1，c2，…cn)。在这里，考虑其中最初的特征模式，例如是(c1，c2，…cn)＝(1，0，*，*，…，*)的情况(记号“*”表示don’t care)。对输入模式，由于特征c1、c2成为c1＝1，c2＝0的概率为b1·(1-b2)，输入模式的特征向量与此特征模式一致的概率也被算出为b1·(1-b2)。此外，由于此特征模式的第3个以后的特征成为don’t care，第3个以后的特征的值对作为全体的概率不给予影响。
通过以上的要点，模式判定单元203使用从输入模式计算的概率bs、(1-bs)，算出输入模式的特征向量与对应q＝0的各特征模式一致的概率，求其总计。上述各概率的总计，表示输入模式属于等级q＝0的概率。模式判定单元203将这样算出的、比较输入模式属于各等级的概率，将给予最大概率的等级作为判定结果输出。
根据情况，此外，当然也可能是下面的构成，即，和预定的阈值比较，根据和该阈值的比较输出放弃判定(不可判定)。
并且，此外，为了缩短处理时间，通过在本实施例说明的方法只制作分类表，模式判定处理也可以通过在第1实施例说明的方法进行。这时，应该按照(2)式算出对输入模式的特征向量。
根据以上说明的本发明的第2实施例，由于具有实效地向学习模式加以噪声的效果，能够选择裕量更大的特征的组。因此，比第1实施例的情况，具有更加极高了通用性能(对学习模式以外的模式的识别性能)的优点。
接着，关于本发明的第3实施例，参照附图进行说明。本实施例和上述第1、第2实施例相同，容易向3等级以上的状态扩张，为了说明方便，对2等级的情况(q＝0或者1)进行说明。
图7是表示根据本发明的特征选择方法的第3实施例的系统构成的流程图。参照图7，表示了学习模式存储单元301、候选特征生成单元302、特征决定单元303、特征存储单元304和迁移表305。以下，与上述各实施例同样的部分，省略其说明。
特征决定单元303是从由候选特征生成单元生成的候选特征中决定最适于模式识别的特征的组的单元。此外，本实施例的特征决定单元303制作记录本实施例的特征决定步骤的过程中得到的参数而形成的迁移表305。
迁移表305是记录用于下述的模式判定处理的参数而形成的表。
接着，在步骤的说明之前，对各参数等进行说明。
学习模式，设为准备M个。此外，准备L个的集合群Di(i＝1～L)和与此相对的集合群Di’(i＝1～L)。在这里，L是预定的自然数，在本实施例中，采用L＝64进行说明。
接着，参照附图，对根据本实施例的特征选择方法的步骤进行说明，本实施例的直至决定第1个特征的步骤，和上述第2实施例的情况完全相同。
图8、图9、图10是用于说明本发明的特征选择方法的处理流程的流程图。参照图8，如果决定了第一个特征(步骤S301)，特征决定单元303将集合Di及Di’(各i＝1～L)分别初始化(步骤S302)。在这里，由于使L＝64，所以对D1～D64及D1’～D64’的集合进行初始化(清空成为空集合)的处理。
特征顺序参数m，设m＝2。这是为了从第2个特征开始本过程。
接着，特征决定单元303使用已经决定的第1个特征的参数，按照(6)式对各学习模式算出特征b(步骤S303～S305)。
接着，特征决定单元303将各学习模式，通过权重b分配给集合E1，通过权重(1-b)分配给集合E0(步骤S306)。
接着，特征决定单元303，按照下式计算P(q＝1|E1)及P(q＝1|E0)。
P(q=1|E1)=M(q=1,E1)/M(E1)P(q-1|E0)=M(q=1,E0)/M(E0)----(7)]]>并且，M(E0)、M(E1)是分别属于集合E0、E1的学习模式的权重的总计。M(q＝1|E0)、M(q＝1|E1)属于等级q＝1，并且是分别属于集合E0、E1的学习模式的权重的总计。
接着，特征决定单元303将按上述进行分配的集合E0、E1的内容，分别复制到从上述预先准备的集合群(Di)通过下式决定的集合Dj、Dj’(步骤S307)。
d_(j-1)<P(q=1|E0)≤d_jd_(j′-1)<P(q=1|E1)≤d_j′----(8)]]>然而，在这里，d_j是按照下式预定的常数(j＝1～L-1)。根据下式，常数d_j取0以上1以下之间的值，对应j的值，成大致S状增加。例如，如果P(q＝1|E0)＝0.15，由于d_29＝0.111……，d_30＝0.2，则决定满足(8)式上段的式的j＝30，复制E0至D30。同样，如果P(q＝1|E1)＝0.7，由于d_33＝0.666……，d_34＝0.8，则决定满足(8)式下段的式j’＝34，复制E1至D34。
0＝d_0＜d_1＜d_2＜...d_L＝1d_j＝2j-32/(1+2j-32)当然，上式对应集合Di及Di’的个数，并且在本实施例中是定为容易处理的，不是特别限定的。
在这里，特征决定单元303，将(1，j，j’)记录于迁移表305(步骤S307)。例如，如果j＝30，j＝34，记录(1，30，34)于迁移表(参照图11)。这是以后的模式判定处理时使用的，意味着如果第1个特征c1＝1，则应该向集合Dj，如果第1个特征c1＝0，则应该向集合Dj’分别迁移。
接着，参照图9，首先，特征决定单元303使用第s个(s＝1～N，从s＝1开始)候选特征，对各学习模式，按照(6)式计算特征b(步骤S309～S312)。这时，和上述第2实施例的情况相同，对各学习模式特征c定为，概率为b取1，概率为(1-b)取0。
接着，特征决定单元303按照下式计算从第s个候选特征得来的信息量MI’(步骤S313)。
MI′＝H1-<H2>c(9)但是H1=-Σq,iP(q|Di)logP(q|Di)]]>,P(q|Di)=M(q,Di)/M(Di)]]>H2=-Σq,iP(q|c,Di)logP(q|c,Di)]]>,P(q|c,Di)=M(q,c,Di)/M(c,Di)]]>此外，在这里，M(Dj)是进入集合Dj的学习模式的权重的总计，M(q，Di)是进入集合Di并且属于等级q的学习模式的权重的总计。但是，关于I的和，只在M(Di)不为0的情况时取值。另外，M(c，Di)是特征为c，并且进入集合Di的学习模式的权重的总计的期待值，M(q，c，Di)是特征为c，进入集合Di，并且属于等级q的学习模式的权重的总计的期待值。
这样，直到取s＝N，对各学习模式进行特征b的计算处理，对所有的候选特征，结束信息量MI’的计算的时候，特征决定单元303计较这些，将可得到最大的信息量的候选特征作为应决定特征的组的第m个特征而决定(步骤S314)。
如上述，可得到最大的信息量的第m个特征决定后，特征决定单元303对所有的集合Di(D1～D64)进行以下的操作。
参照图10，特征决定单元303使用上述决定的第m个特征参数，对各学习模式按照(6)式算出特征b，将属于Di的个学习模式，按照权重b∶(1-b)的比率，分配给集合E1以及集合E0(步骤S315～S318，参照图13)。
接着，特征决定单元303按照(7)式计算P(q＝1|E1)及P(q＝1|E0)。
接着，特征决定单元303将按上述分配的集合E0、E1的内容，分别加入从上述预先准备的集合群(Di’)通过(8)式决定的Dj、Dj’中(步骤S319)。例如，如图13所示，如果P(q＝1|E0)＝0.05，决定满足(8)式上段的式的j＝28，向D28’加入E0。同样的，如果P(q＝1|E1)＝0.3，决定满足(8)式下段的式的j’＝31，向D31’加入E1(参照图13)。
在这里，特征决定单元303将(m，i，j，j’)记录于迁移表(步骤S320)。例如，假如m＝2，i＝30，j＝28，j’＝31，如图11的迁移表所示那样，将(j＝28，j’＝31)记录于对应的位置(m＝2，i＝30)。上述记录内容，意味着第m个特征如果是cm＝1，就应该向集合Dj，如果是cm＝0，就应该向集合Dj’分别迁移，在下述的模式判定时使用。
对所有的集合Di(i＝1～L)结束以上的操作时，特征决定单元303将集合Di’(i＝1～L)复制到集合Di(i＝1～L)，初始化应该决定后续的第m+1个特征的集合Di’(i＝1～L)(步骤S321，参照图13)。
以上的步骤，即使选择新的特征，也要继续进行，直到在步骤S314得到的信息量(追加信息量)比预定的阈值MI_th还小。因此，只有不满足上述终止条件，特征决定单元303才作为应该决定第m+1个特征的m＝m+1，返回步骤S309的程序(步骤S322)。
另一方面，如果满足上述终止条件，决定的特征的组的各参数被记录在特征存储单元304(步骤S322)。
在这里，上述本发明的第3实施例中，对可用于生成的判定处理的迁移表进行说明。图11是这样做的迁移表的一例。参照图11，是由表示对第1特征的迁移地址的集合的第1部分，和通过特征顺序参数m、集合号码参数i、和各特征的值cm，表示对第2个特征以后的各特征的迁移地址的集合的第2部分构成。
此外，参照图11的迁移表的第1部分，在对应c1＝1的栏记录“30”，在对应c1＝0的栏记录“34”。这表示“第1个特征如果是c1＝1，就应该向集合D30，如果是c1＝0，就应该向集合D34分别迁移”。并且，参照图11的迁移表的第2部分的m＝2、i＝30的栏，在对应c1＝1的栏中记录“28”，在对应c1＝0的栏中记录“31”。这表示“属于集合D30的模式，如果第2个特征是c2＝1，就向集合D28，如果是c2＝0，就向集合D31分别迁移”。
并且，图11的第2部分的各栏中的标记“-”表示是空栏。例如，在记有基于第2个特征c2的值的迁移地址的行(m＝2)中，对应集合D30及D34的列(i＝30，34)以外的栏成为空栏“-”。这是对应和上述第1个特征相对应的迁移地址的集合为“30”或者“34”的情况的。即，如果根据图11的迁移表，输入模式根据上述第1个特征，一定被迁移至D30或D34的集合中，因为没有参照其他栏的必要。
并且，根据图11的迁移表，分开记录对第1个特征和第2个特征以后的特征的迁移地址的集合的部分，如果是通过特征顺序参数m、集合号码参数i、各特征的值Cm，表示得到迁移地址的集合的，当然不是特别限定的。例如，如图12所示，也可以是合并图11的第1部分和第2部分的。
接着，关于本实施例的模式判定的程序步骤，参照附图进行说明。图14，是表示使用这样决定的特征的组进行模式判定的模式判定方法的框图。参照图14，表示了模式输入单元401、特征抽取单元402、模式判定单元403被表示。此外，特征抽取单元402表示了用于为了特征抽取而使用的特征存储单元304，模式判定单元403表示为了用于模式判定的迁移表305。
其作用，首先，模式输入单元401从期望的媒体取出输入模式，对送给特征抽取单元402。
接着，特征抽取单元402对该输入模式，使用存储在特征存储单元304中的特征的组(通过上述的特征决定方法决定的)，按照(6)式算出特征向量(b1，b2，……bn)，此外，将上述计算结果送至模式判定单元403。
这时，设定特征cs(s＝1～n)为1的概率是bs，为0的概率是(1-bs)。模式判定单元403参照顺序迁移表305，算出输入模式属于各等级的概率。此过程如下进行。
首先，模式判定单元403读出基于第1个特征的迁移规则(1，j，j’)，使状态j以概率b1，状态j’以概率(1-b1)迁移。接着，模式判定单元403设第2个特征c2为1的概率是b2，为0的概率是(1-b2)，读出基于第2个特征的迁移规则，再迁移状态。例如，如果将(2，j，k，k’)、(2，j’，k”，k)记入基于第2个特征的迁移规则，则分别从状态j以概率b2迁移至状态k，以概率(1-b2)迁移至状态k’，从状态j’以概率b2迁移至状态k”，以概率(1-b2)迁移至状态k。因此，在这种情况下，处于状态k中的概率，处于状态k’中的概率，处在状态k”中的概率，处在状态k中的概率，而分别被给以b1·b2，b1·(1-b2)，(1-b1)·b2，(1-b1)·(1-b2)。以下同样的，模式判定单元403使用直至第n个的特征，一边参照迁移表，一边使状态迁移。
这样，使使用直至第n个特征的状态迁移的结果，使处于各状态j中的概率为算出的P(j)(j＝1～L)。这时，可以根据下式求出输入模式属于等级q＝1的概率p(q＝1)。
P=(q=1)=Σj=1,LP(j)P(q=1|j)----(10)]]>但是P(q＝1|j)＝(d_j+d_(j-1))/2 (11)模式判定单元403，如果此概率p(q＝1)比预定的阈值还大，则判定其为“输入属于等级q＝1”，并输出其结果。另外，此概率P(q＝1)如果比上述阈值还小，废弃并判定为无法判定，并输出其结果。当然，作为上述阈值，设置采用阈值和废弃阈值两个，处于临界领域的情况，可能有无法判定等种种的变形实施。
此外，在本实施例，根据(11)式决定P(q＝1|j)的值，但是也可以使用学习模式如下决定。即，在使各学习模式fi(r)(i＝1～M)根据迁移表迁移的同时，基于各学习模式的特征向量(b1，b2，……bn)，分别算出最终的处于状态j中的概率P(i，j)。接着，设只对属于等级q＝1的学习模式，总计此P(i，j)的值为P1(j)，设对所有的学习模式，总计P(i，j)的值为Ptotal(j)，根据P(q＝1|j)＝P1(j)/Ptotal(j)，决定P(q＝1|j)的值。
作为为了用于缩短本实施例的模式判定用的处理时间的变形，以本实施例的方法只制作迁移表305，对于面向输入模式的特征向量，可以采用通过(2)式算出的方法。在这种情况下，在判定处理上中不进行概率性的操作，按照在(2)式得到的特征向量，实现使状态确定的迁移，进行模式的判定的构成。而且，这时，按照迁移表，使状态迁移的时候，由于在各阶段能使状态确定地迁移，如果使用直至第n个特征使状态迁移，最终状态确定于1～L中的某一个特定的状态j。而且，调查对应此状态的(11)式的P(q＝1|j)的值，如果其比预定的阈值还大则判定为“输入属于等级q＝1”，输出此结果。
由于以上说明的本发明的第3实施例和第2实施例相同，在学习模式中具有有效地加入噪声的效果，显现可以选择裕量更大的特征的组的优点。
此外，本发明的第3实施例中，显现特征选择用的计算和上述第2实施例的情况相比较可以大幅削减的优点。其理由在于被选择的特征的数目n即使变大，特征选择必要的计算，可以根据对应特征分割高L个集合时得到的信息量的计算((9)式)实现。
而且，此外，在本发明的第3实施例中，因为暂时被分类的学习模式在集合D1一边被适时合并，一边进行信息量的计算，避免了属于各级和Di的学习模式的数目变得非常少。其结果，显现了依存学习模式而选择特征的现象减少，可以更为提高通用性能的优点。
如以上的说明，根据本发明，可以不需要庞大的学习而实现高性能的模式识别。其理由在于，提供了不依存已经决定的特征的值的本身，而唯一选择后续特征的方法。
另外，根据本发明，实现了识别性能(通用性能)的大幅的提高，其理由在于，提供了大幅的使作为分类器的构造简单化的构成。
本发明，适用于进行用于图像识别等的模式的特征选择、分类、判定。
权利要求
1.一种系统的特征选择方法，该系统具有存储保持带有等级信息的学习模式的学习模式存储单元；生成多个候选特征的候选特征生成单元；和从根据所述候选特征生成单元生成的候选特征中，决定适合模式识别的特征的组的特征决定单元，该特征选择方法的特征在于，所述特征决定单元，计算对应所述各候选特征的各学习模式的特征值，将其和所述学习模式集合的等级信息的相互信息量为最大的候选特征作为特征的组的最初的特征而决定，在决定的特征为已知的条件下，将对应各候选特征的各学习模式的特征值和所述各学习模式的等级信息的相互信息量为最大的候选特征，作为特征的组的下一特征，顺次决定。
2.一种系统的特征选择方法，该系统具有存储保持带有等级信息的学习模式的学习模式存储单元；生成多个候选特征的候选特征生成单元；从根据所述候选特征生成单元生成的候选特征中，决定适合模式识别的特征的组的特征决定单元，该特征选择方法的特征在于，所述特征决定单元，为使所述学习模式对应特征的值进行迁移，准备预定个数的集合，计算对应所述各候选特征的各学习模式的特征值，将其和所述学习模式集合的等级信息的相互信息量为最大的候选特征作为特征的组的最初的特征而决定，在附加对应决定了的特征的权重，分配所述各学习模式的同时，使其顺次迁移至对应决定了的特征的集合，在包含所述各学习模式的集合中的信息和决定了的特征为已知的条件下，将对应各候选特征的各学习模式的特征值和所述各学习模式的等级信息的相互信息量为最大的候选特征作为特征的组的下一特征，顺次决定。
3.如权利要求1或2的所述的特征选择方法，其特征在于，在所述候选特征生成单元生成的候选特征中，包含将复变加博函数作为特征抽取函数的候选特征。
4.如权利要求1或2所述的特征选择方法，其特征在于，在所述的候选特征生成单元生成的候选特征中，包含从由规格化了复变加博函数的特征抽取函数得到的候选特征。
5.如权利要求1至4中任一项所述的特征选择方法，其特征在于，所述特征决定单元，对所述各学习模式，对每个所述候选特征加以基于预定的噪声参数的操作。
6.如权利要求1至5中任一项所述的特征选择方法，其特征在于，所述特征决定单元计算作为对应所属各候选特征的所述各学习模式的特征值，所述各学习模式的特征取预定值的概率。
7.一种系统的学习模式的分类方法，所述系统具有存储保持用于学习的学习模式的学习模式存储单元；生成多个候选特征的候选特征生成单元；从通过所述候选特征生成单元生成的候选特征中，决定适于模式识别的特征的组的特征决定单元；存储保持通过所述特征决定单元决定的特征的组的特征存储单元；和制作分类表的分类表制作单元，该学习模式的分类方法的特征在于，所述分类表制作单元，使用如权利要求1至6中任一项所述的特征选择方法而决定的特征的组，计算所述各学习模式的各特征值，通过配置所述各学习模式的各特征值和等级信息而成的分类表，对学习模式进行分类。
8.如权利要求7所述的模式分类方法，其特征在于，当与所述特征的值无关，可以对学习模式分类时，所述分类表制作单元在所述分类表的对应位置上，代替所述特征值，置以冗长项。
9.一种系统的模式判定方法，该系统具有输入模式的模式输入单元；从所述模式中抽取特征的特征抽取单元；基于所述特征判定模式的模式判定单元；和存储保持决定了的特征的组的特征存储单元，该模式判定方法的特征在于，所述特征抽取单元，使用如权利要求1至6的任一项所述的特征选择方法决定的特征的组，算出输入的模式的各特征值，基于所述算出结果，进行模式判定。
10.如权利要求9所述的模式判定方法，其特征在于，所述模式判定单元，使用如权利要求7或8所述的模式分类方法得到的分类表，进行模式判定。
11.如权利要求10所述的模式判定方法，其特征在于，所述输入模式的各特征值，是该顺序的特征为预定值的概率的值，所述模式判定单元，使用所述各特征值，计算所述分类表中包含的各特征模式为预定的等级信息的值的概率，进行判定。
12.一种系统的学习模式的判定方法，所述系统具有输入模式的模式输入单元；从所述模式中抽取特征的特征抽取单元；基于所述特征判定模式的模式判定单元；和存储保持决定了的特征的组的特征存储单元，该模式判定方法的特征在于，所述特征抽取单元，使用根据权利要求1至6中任一项所述的特征选择方法决定的特征的组，算出输入的模式的各特征值，所述模式判定单元，根据所述输入的模式的各特征值，和逐次记录在利用如权利要求2所述的特征选择方法决定特征的组的各特征时，学习模式所属的集合而成的迁移表，进行输入模式的迁移，所述迁移的结果基于所述输入的模式所述的集合，进行模式判定。
13.一种系统的模式判定方法，所述系统具有输入模式的模式输入单元；从所述模式中抽取特征的特征抽取单元；基于所述特征判定模式的模式判定单元；和存储保持被决定的特征的组的特征存储单元，该模式判定方法的特征在于，所述特征抽取单元，使用根据权利要求1至6中任一项所述的特征选择方法决定的特征的组，算出表示该顺序的特征为预定值的概率的、输入的模式的各特征概率，所述模式判定单元，根据所述输入的模式的各特征概率，和逐次记录在根据权利要求2所述的特征选择方法决定各特征时，学习模式所属的集合而成的迁移表，进行输入模式的迁移，根据所述迁移的路径，算出所述输入的模式具有预定的等级信息的概率，进行模式判定。
14.一种使构成系统的计算机执行处理的程序，所述系统具有存储保持附有等级信息的学习模式的学习模式存储单元；生成多个候选特征的候选特征生成单元；和从由所述候选特征生成单元生成的候选特征中，决定适合模式识别的特征的组的特征决定单元，该程序的特征在于使计算机执行以下处理，计算对应所述各候选特征的各学习模式的特征值，将其和所述学习模式集合的等级信息的相互信息量为最大的候选特征作为特征的组的最初的特征而决定的处理，和在决定的特征为已知的条件下，将对应各候选特征的各学习模式的特征值和所述各学习模式的等级信息的相互信息量为最大的候选特征，作为特征的组的下一特征，顺次决定的处理，并进行特征的选择。
15.一种使构成系统的计算机执行处理的程序，所述系统具有存储保持附有等级信息的学习模式的学习模式存储单元；生成多个候选特征的候选特征生成单元；和从由所述候选特征生成单元生成的候选特征中，决定适合模式识别的特征的组的特征决定单元，该程序的特征在于使计算机执行以下处理，为使所述学习模式对应特征的值进行迁移，准备预定个数的集合的处理，计算对应所述个候选特征的各学习模式的特征值，将其和所述学习模式集合的等级信息的相互信息量为最大的候选特征作为特征的组的最初的特征而决定的处理，在附加对应决定了的特征的权重，分配所述各学习模式的同时，使其顺次迁移至对应决定了的特征的集合的处理，和在包含所述各学习模式的集合中的信息和决定了的特征为已知的条件下，将对应各候选特征的各学习模式的特征值和所述各学习模式的等级信息的相互信息量为最大的候选特征作为特征的组的下一特征，顺次决定的处理，并进行特征的选择。
16.如权利要求14或15所述的程序，其特征在于，在所述候选特征中，包含将复变加博函数作为特征抽取函数的候选特征。
17.如权利要求14或15所述的程序，其特征在于，在所述候选特征生成单元生成的候选特征中，包含从规格化了复变加博函数的特征抽取函数得到的候选特征。
18.如权利要求14至17中任一项所述的程序，使所述计算机进一步执行以下处理，对于所述的各学习模式，向各所述候选特征加以基于预定的噪声参数的操作的处理。
19.如权利要求14至18中任一项所述的程序，其特征在于，所述电脑计算作为对应所述各候选特征的所述各学习模式的特征值，所述各学习模式的特征取预定值的概率。
20.一种使构成系统的计算机执行处理的程序，所述系统具有存储保持用于学习的学习模式的学习模式存储单元；生成多个候选特征的候选特征生成单元；从通过所述候选特征生成单元生成的候选特征中，决定适于模式识别的特征的组的特征决定单元；存储保持通过所述特征决定单元决定的特征的组的特征存储单元；和制作分类表的分类表制作单元，该程序的特征在于使计算机执行以下处理，使用通过如权利要求14至19中任一项所述的程序的实行而决定的特征的组，计算所述各学习模式的各特征的处理，和通过配置所述各学习模式的各特征值和等级信息而成的分类表，对学习模式进行分类的处理，并进行学习模式的分类。
21.如权利要求20所述的程序，其特征在于，当与所述特征的值无关，可以对学习模式分类时，在所述分类表的对应位置上，代替所述特征值，置以冗长项。
22.一种使构成系统的计算机执行处理的程序，所述系统具有输入模式的模式输入单元；从所述模式中抽取特征的特征抽取单元；基于所述特征判定模式的模式判定单元；和存储保持决定了的特征的组的特征存储单元，该程序的特征在于使计算机执行以下处理，至少使用通过如权利要求14至19中任一项所述的程序的实行而决定的特征的组，算出输入的模式的各特征值的处理，并基于该执行结果进行模式的判定。
23.如权利要求22所述的程序，其特征在于，所述计算机使用通过如权利要求20或21所述的程序的实行而得到的分类表，进行模式判定。
24.如权利要求23所述的程序，其特征在于，所述计算机算出的所述输入模式的各特征值是该顺序的特征为预定值的概率的值，所述计算机使用所述各特征值，计算包含在所述分类表中的各特征模式为预定等级信息的值的概率，进行判定。
25.一种使构成系统的计算机执行处理的程序，所述系统具有输入模式的模式输入单元；从所述模式中抽取特征的特征抽取单元；基于所述特征判定模式的模式判定单元；和存储保持决定了的特征的组的特征存储单元，该程序的特征在于使计算机执行以下处理，使用通过如权利要求14至19中任一项所述的程序的实行而决定的特征的组，算出输入的模式的各特征值的处理，和基于所述输入模式的各特征值和逐次记录利用如权利要求15所述程序的实行而决定各特征时学习模式所属的集合而成的迁移表，进行输入模式的迁移的处理，并基于所述输入的模式所属的集合进行输入的模式的判定。
26.一种使构成系统的计算机执行处理的程序，所述系统具有输入模式的模式输入单元；从所述模式中抽取特征的特征抽取单元；基于所述特征判定模式的模式判定单元；和存储保持决定了的特征的组的特征存储单元，该程序的特征在于使计算机执行以下处理，使用通过如权利要求14至19中任一项所述的程序的实行而决定的特征的组，算出表示该顺序的特征为预定值的概率的、输入的模式的各特征值的处理，基于所述输入的模式的各特征概率和逐次记录在通过权利要求15所述的程序的实行决定各特征时学习模式所属的集合而成的迁移表，进行输入模式的迁移的处理，和根据所述迁移的路径，算出所述输入的模式具有预定等级信息的概率的处理，并根据所述计算结果，进行输入模式的判定。
27.一种模式学习系统，保持如权利要求14至19中任一项所述的程序为可以实行，并进行学习模式的特征的选择。
28.一种模式学习系统，保持如权利要求20或21所述的程序为可以实行，并进行学习模式的分类。
29.一种模式判定系统，保持如权利要求22至26所述的程序为可以实行，并进行输入的模式的判定。
全文摘要
特征决定单元(303)使用学习模式存储单元(301)中存储的各学习模式，从特征生成单元(302)生成的大量的候选特征中，决定适合模式识别的特征的组。这时，特征决定单元(303)，一边向学习模式中加入有效的噪声，一边在已决定的特征为已知的条件下，按照信息量最大化的基准，决定顺次特征，一边将学习模式在N个集合中适时结合，一边近似地，高速地进行信息量的计算。其结果，可以不需要庞大的学习，而自动生成适合高性能的模式识别的特征组。另外，通过记录集合间的迁移的迁移表(305)，高效地进行模式的判定。
文档编号G06T7/00GK1653486SQ03804780
公开日2005年8月10日 申请日期2003年2月27日 优先权日2002年2月27日
发明者冈岛健治, 今冈仁, 宫下真信 申请人:日本电气株式会社