专利名称：基于多分类器的手写体字符识别拒识方法
技术领域：
本发明提出了几种基于多分类器的手写体字符识别拒识方法，能够有效提高识别拒识字 符的可靠性和识别其余字符的准确性。
技术背景在模式识别领域中，脱机手写体字符识别依然是一个具有挑战性的难题，在某些应用领 域中要达到较低的错误率往往会带来很大的系统风险。因此在手写体字符识别的实际应用中， 为了提高系统的稳定性和可靠性，将拒识算法应用到系统中，从而提高系统的整体性能。此 外，还可以检测出未正确识别的字符，将其提交给一个辅助的识别系统中，或提交给人工处 理。目前普遍采用的一种方法是计算每个字符的置信度。利用简单的阈值操作便可以实现拒 识。置信度的计算方法主要有两种， 一种方法是置信度由一个简单的函数组成，在识别处理 中产生合适的参数，或者被看成是一种学习任务，通过训练数据得到新的分类器输出。另一 种方法是在识别处理后计算置信度。这种方法计算的置信度可以用识别评分，似然比，后验 概率估计，指数概率，和负熵来表示。为了克服单分类器的局限性，釆用多分类器的思想可以进一步提高系统的性能。分类器 集成的方法可分为抽象级(类标签)，排序级(排序)，和测量级(类置信度)。本发明在抽 象级，提出了0R， AND和VOTING的拒识方法；在测量级，提出了均值和权值线性结合的拒识 方法。具有不同特征、结构、学习算法和训练数据的分类器会表现出不同的分类特性，将这些特性进行融合会优于最好的单分类器。 发明内容为了提高手写体字符识别系统的可靠性，更好的解决识别率和拒识率的矛盾，本发明提 出了一种基于单分类器的拒识方法和一种基于多分类器的拒识方法。本发明以单分类器拒识方法为基础，研究了抽象级和测量级的多分类器拒识方法。在抽 象级，提出了0R， AND和VOTING三种投票组合拒识方法；在测量级，提出了求和(均值)和 加权两种线性组合拒识方法。本发明提出的拒识方法能够有效的提高识别拒识字符的可靠性 和识别其余字符的准确性。本发明的技术方案是首先，给出单分类器拒识方法，然后，以单分类器拒识方法为基 础，给出多分类器拒识方法。1.单分类器拒识方法单分类器拒识方法分为三个步骤(l)初始归一化，(2)置信度计算和(3)拒识。分类器输出 经过初始归一化变换到一个适当的范围，使得不同分类器的输出值具有可比性。用激活函数将经过初始归一化的输出值变换成置信度。相应的激活函数有三种log-likelihood, likelihood, 和sigmoid。归一化函数包括全局归一化， 一维高斯密度模型，和多维高斯密度。1.1. 初始归一化选取归一化函数的一个基本原则是，分类器的输出经归一化函数的变换将分布在0附近。 经过归一化函数变换的置信度的理想值应能表示输入模式属于一个具体类别的概率。确定分类器输出范围的一个简单的方法是将输出变换到均值为O ，标准差为l，艮卩 <formula>formula see original document page 7</formula>这里^表示分类器的输出，A。和《《分别代表分类器输出的均值和方差。这个归一化函数为全 局归一化函数。假设对于每个类别，分类器的输出满足多维高斯分布，方差为C72。分类器输出经过排序，目标类别的输出值排位高其他类别的输出值排位低，假设输出值有两种目标类为^ ,其他 即对于必,类， =^和 =<，JW。如果负样本均值为//,则归一化函数为<formula>formula see original document page 7</formula>假设每类的输出满足一维高斯分布，则归一化函数为<formula>formula see original document page 7</formula>其中<formula>formula see original document page 7</formula> P(巧)和i^y,)分别表示负<T 2样本和正样本的先验概率。1.2. 置信度计算在神经网络中普遍使用的sigmoid函数，能够很好的将网络输出逼近概率分布。将其作为 置信度变换的激活函数-<formula>formula see original document page 7</formula>许多参数分类器(如LDF禾nQDF)的类别判定方法是贝叶斯估计的对数或反对数，其输出值为《0):你)=log[p(w,Xp(x I其中《(x)表示输入样本;c对应的分类器输出，这样可以计算后验概率为exp[《0)]经过指数运算可以得到一种置信度洲=， (5) 第三种类型的置信度是似然对数。当用指数逼近贝叶斯估计，对数似然就是一种简单的线性归一化函数&(力=,(") (6)为了使类别后验概率满足概率公理，上述指数和sigmoid值将进行"概率"形式归一化-1.3.拒识经过初始归一化(公式(1)， (3)和(4))和置信度计算(公式(4), (5)和(6))，最 后是拒识。最简单的拒识方法是阈值操作。假设输入样本为x，类别数为M，经过降序排列的识别系统的输出为(g,、00,g,2O),…，g^O"。对这个输出直接进行阈值操作<formula>formula see original document page 8</formula> (7)得到0^W^。还可以通过计算输出前两位的相关比率<formula>formula see original document page 8</formula>此外，也可以用上面公式的变换形式<formula>formula see original document page 8</formula>(8)类似的，得到0^2(;c)^1如果置信度值很大，公式(7)更适合。相反，如果类别区分明显，则公式(8)更合理。 一种 混合的方法是用两个权值将上面两种方法进行线性结合，=吼,W + ——~ < m3(9)这里《 + / = 1， a和/ 的值可以通过实验或学习来获得(例如，GA算法)。类似的，得到2.多分类器的拒识方法将单分类器中使用的拒识方法用于多分类器中。假设给定K个分类器讽，/^,...,/^，每个分类器采用公式(9)的拒识方法。 即，0) — &2 0)<7仏(10)1也就是说，如果AW气)d，则拒绝，否则接受。2丄多分类器投票组合本发明提出了三种基于多分类器手写体字符识别的拒识方法(l)OR, (2)AND,和 (3)VOTING。假设多分类器输出的类标签是相同的。也就是在公式(10)中，对样本x，有，如果对样本x输出的类标签不同，则拒绝。(l)OR 尸/0 I = IlL7^" I必,')如果巧WO-i，则拒绝，否则接受。(2) AND F〃(xl必,.)如果^^| ,) = 1,则拒绝，否则接受。(3) VOTING F肌OI") 如果F肌(xi必,)〈A^^，则拒绝,W^ra>W/2，这就是多数投票表决。否则接受。可以预定义。通常，2丄多分类器线性组合这种方式的拒识方法有两种均值组合和加权组合。 (1)均值组合对于M个类别，K个分类器，分类器输出经归一化变换得到置信度^w, it = i,...,K,附-l,...,M。则总的置信度为1 K这相当于类别的平均置信度。拒识方法和单分类器相同(公式(10))，艮口 这里(^00,附=1"."M}经降序排列成LOc),g (x)，…,g (x)〉。p)加权组合这种方式中每个分类器的所有类别共享一个权值。因此，置信度为分类器权值W:"(v^，W2,…,Wj^,可以通过有效数据集经CE,MSE或MCE优化得到。本发明提出的手写体字符识别拒识方法，能够有效的提高识别系统的可靠性，并且针对 单个特征拒识方法存在的局限性，采用多分类器系统的思想为每一种特征设计单独的分类器， 进而对各分类器的拒识结果进行集成，可以发挥各种特征的优势，进一步提高拒识的可靠性， 从而提高识别系统的识别率。
图l是拒识方法流程图。图2是单分类器拒识方法流程图。图3是抽象级的多分类器拒识方法流程图。图4是测量级的多分类器拒识方法流程图。
具体实施方式
以手写体数字识别为例，用三种分类器三层BP神经网络，改进二次判别函数(MQDF)，和支持向量机(SVMs)。特征用加权方向直方图。在单分类器试验中，用公式(l)/^0 = ^^"所述的初始归一化函数，用公式(4)g,(力-T7I^^所述的置信度计算方法，用公式(9) 3 ' 所述的 丄十e =agi(X)+yff~^-^——<n/3拒识方法。其中"=/ = 0.5， TH3 = 0.6。试验结果表明，公式(9)所述的拒识方法表现出了最好的性能。 在多分类器试验中，对于每个单分类器，用公式(1) /(") = ^"^"所述的初始归一化函数，公式(4) = t + j^w)所述的置信度计算方法和公式(10)&(刈w,,)1 &= + ' g <7^3所述的拒识方法。抽象级分类器组0 wfew/犯合分别用用AND， 0R和VOTING三种拒识方法进行了试验；测量级分类器组合分别用均值组合 和加权组合的拒识方法进行了试验。试验结果表明，AND拒识方法表现出了最好的性能，OR 拒识方法强调 拒识，VOTING拒识方法的表现不如其它两种方法。在多分类器线性组合中， 加权组合方法的表现略优于求和方法。
权利要求
1、基于多分类器的手写体字符识别拒识方法，其特征在于所述方法由两个或两个以上的单分类器拒识结果为基础的多分类器拒识方法；其中单分类器拒识方法分为三个步骤初始归一化、置信度计算和拒识；将两个或两个以上的单分类器拒识方法所得到的结果，通过投票组合方式或线性组合方法，最终得到拒识结果；1)初始归一化选取归一化函数的一个基本原则是分类器的输出经归一化函数的变换将分布在0附近，经过归一化函数变换的置信度的理想值能表示输入模式属于一个具体类别的概率；确定分类器输出范围的一个简单的方法是将输出变换到均值为0，标准差为1，即<maths id="math0001" num="0001" ><math><![CDATA[ <mrow><msub> <mi>f</mi> <mi>i</mi></msub><mrow> <mo>(</mo> <mi>d</mi> <mo>)</mo></mrow><mo>=</mo><mfrac> <mrow><mi>d</mi><mo>-</mo><msub> <mi>μ</mi> <mn>0</mn></msub> </mrow> <msub><mi>σ</mi><mn>0</mn> </msub></mfrac> </mrow>]]></math></maths>其中d代表分类器的输出，μ0和σ02分别代表分类器输出的均值和方差，这个归一化函数为全局归一化函数；2)置信度计算在神经网络中普遍使用的sigmoid函数，能够很好的将网络输出逼近概率分布；将其作为置信度变换的激活函数<maths id="math0002" num="0002" ><math><![CDATA[ <mrow><msub> <mi>g</mi> <mi>i</mi></msub><mrow> <mo>(</mo> <mi>d</mi> <mo>)</mo></mrow><mo>=</mo><mfrac> <mn>1</mn> <mrow><mn>1</mn><mo>+</mo><msup> <mi>e</mi> <mrow><mo>-</mo><msub> <mi>f</mi> <mi>i</mi></msub><mrow> <mo>(</mo> <mi>d</mi> <mo>)</mo></mrow> </mrow></msup> </mrow></mfrac><mo>;</mo> </mrow>]]></math></maths>3)拒识输入样本为x，类别数为M，经过降序排列的识别系统的输出为 id="icf0003" file="A2009100891470002C3.tif" wi="48" he="5" top= "179" left = "141" img-content="drawing" img-format="tif" orientation="portrait" inline="yes"/>对这个输出直接进行阈值操作<maths id="math0003" num="0003" ><math><![CDATA[ <mrow><msub> <mi>r</mi> <mn>1</mn></msub><mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo></mrow><mo>=</mo><msub> <mi>g</mi> <msub><mi>i</mi><mn>1</mn> </msub></msub><mrow> <mo>(</mo> <mi>x</mi> <mo>)</mo></mrow><mo><</mo><msub> <mi>TH</mi> <mn>1</mn></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo></mrow> </mrow>]]></math></maths>得到0≤r1(x)≤1。
2、如权利要求1所述的拒识方法，其特征在于所述的归一化函数，当分类器的输出满足多维高斯分布，方差为y，分类器输出d经过排序，目标类别的输出值排位高其他类别的输出值排位低，输出值为目标类为〃+ ，其他类为/T，对于叫类，附,7 = ^和 =<，当负样 本均值为//，则归一化函数为<formula>formula see original document page 2</formula>当每类的输出满足一维高斯分布，则归一化函数为爛=丰-(〃 + 一)];其中"=^^， A = ^^l， 7 = 111(户(^)/尸(^))， P(巧)和户^)分别表示负样本和正样本的先验概率。
3、如权利要求1所述的拒识方法，其特征在于所述的置信度变换函数，在当参数分类器的类别判定方法是贝叶斯估计的对数或反对数《(x) = log[/ ( (x|^)]其中《0c)表示输入样本;c对应的分类器输出，计算后验概率为exp[《(x)]〃=i经过指数运算得到一种置信度或者当置信度是似然对数，当用指数逼近贝叶斯估计，对数似然就是一种简单的线性归一化函数-为了使类别后验概率满足概率公理，指数和sigmoid值将进行"概率"形式归一化
4、如权利要求1所述的拒识方法，其特征在于所述的拒识步骤中，通过计算输出前两位的相关比率用比率公式的变换形式(8)当置信度值很大，公式(7)更适合；相反，当类别区分明显，则公式(8)更合理；一种混合的方法是用两个权值将上面两种方法进行线性结合，<formula>formula see original document page 4</formula>这里《 + ^ = 1，"和P的值通过实验或学习来获得，通过此公式得到0^^)S1。
5、如权利要求1所述的拒识方法，其特征在于:所述多分类器投票组方式采用OR或AND或VOTING方式，当K个单分类器通过公式<formula>formula see original document page 4</formula>得到的结果为{^32"",/^};釆用OR方式，则有尸<formula>formula see original document page 4</formula>,贝雌绝，否则接受；采用AND方式，则有<formula>formula see original document page 4</formula>,则拒绝，否则接受；采用VOTING方式，贝陏<formula>formula see original document page 4</formula>贝雌绝，否则接受，M^>W/2。
6、如权利要求1所述的拒识方法，其特征在于所述的多分类器线性组合方式采用均值组合或加权组合方式，采用均值组合方式对于M个类别，K个分类器，分类器输出经归一化变换得到置信度^O), A = 1,...,AT， w = 1,...,M，则总的置信度为-<formula>formula see original document page 4</formula>这相当于类别的平均置信度；拒识方法，艮口<formula>formula see original document page 4</formula>其中(g附0)，附=i，""M}经降序排列成00,gM2 0)"."g^ 00};采用加权组合方式每个分类器的所有类别共享一个权值，置信度为<formula>formula see original document page 5</formula>分类器权值^ = {^,^2,...," ^}，通过有效数据集经CE, MSE或MCE优化得到分类器权值。
全文摘要
基于多分类器的手写体字符识别拒识方法，属于手写字符识别领域。将拒识方法引入手写体字符识别系统，可以有效提高识别系统的可靠性，从而提高识别系统的识别率。该发明提出了一种基于单分类器的拒识方法和一种基于多分类器的拒识方法。针对单个特征拒识方法存在的局限性，采用多分类器系统的思想为每一种特征设计单独的分类器，进而对各分类器的拒识结果进行集成，可以发挥各种特征的优势，进一步提高拒识的可靠性。该发明以单分类器拒识方法为基础，给出多分类器拒识方法。该方法可以更好的解决手写体识别系统的识别率和拒识率之间的矛盾，提高识别系统的可靠性。
文档编号G06K9/62GK101630367SQ20091008914
公开日2010年1月20日 申请日期2009年7月31日 优先权日2009年7月31日
发明者唐云峰, 殷绪成, 郝红卫 申请人:北京科技大学