一种手写体数字识别方法及系统的制作方法
【专利摘要】本申请提供一种手写体数字识别方法及系统，该方法通过接收用户输入的待测手写体数字样本；通过训练得到的第一分类器、第二分类器、第三分类器分别对待测手写体数字样本进行预测，并输出第一分类器、第二分类器、第三分类器对待测手写体数字样本的预测结果；比较第一分类器、第二分类器、第三分类器对待测手写体数字样本的预测结果，若至少2个分类器得出的是相同的预测结果，则判定待测手写体数字样本属于该预测结果的类别，否则，判定待测手写体数字样本属于第二分类器输出的预测结果的类别。该方法通过使用3个分类器对待测样本进行预测，在保证预测速度的基础上，很大程度上提高了手写体数字识别的识别率。
【专利说明】一种手写体数字识别方法及系统
【技术领域】
[0001]本申请涉及模式识别【技术领域】，特别是涉及一种手写体数字识别方法及系统。
【背景技术】
[0002]近年来随着计算机技术和数字图像处理技术的飞速发展，手写体数字识别技术在大规模数据统计，邮件分拣，财务，税务和金融等领域中都有着较为深远的应用需求，所以它一直都是模式识别领域的研究热点。手写体数字识别技术作为模式识别领域的一个重要问题，也有着重要的理论价值，由于数字在各个领域中往往代表精确的数值，微小的错误很可能带来不可预知的后果，因此对手写体数字识别技术的正确率有着极高的要求。
[0003]现有技术中，有很多用于实现手写体数字识别的方法，如基于笔画特征的算法、基于K近邻的算法和基于支持向量机的算法。但是，由于手写数字因人而异且变化很多，导致各类算法的识别效果仍然不够理想，手写体数字识别的识别率较低。
[0004]基于上述现有技术存在的缺点，如何提供一种手写体数字识别方法及系统，能够提高手写体数字识别的识别率，是本领域人员急需解决的问题。
【发明内容】
[0005]有鉴于此，本申请提供一种手写体数字识别方法及系统，以解决现有技术在进行手写体数字识别的过程 中，由于手写数字因人而异且变化很多，导致各类算法的识别效果仍然不够理想，手写体数字识别的识别率较低的问题。
[0006]为了实现上述目的，本申请实施例提供的技术方案如下:
[0007]—种手写体数字识别方法，包括:
[0008]接收用户输入的待测手写体数字样本；
[0009]通过训练得到的第一分类器、第二分类器、第三分类器分别对所述待测手写体数字样本进行预测，并输出第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果；
[0010]比较所述第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果，若至少2个分类器得出的是相同的预测结果，则判定所述待测手写体数字样本属于该预测结果的类别，否则，判定所述待测手写体数字样本属于第二分类器输出的预测结果的类别。
[0011]优选地，所述第一分类器、第二分类器、第三分类器的训练，包括:
[0012]对神经网络的两个隐藏层进行逐层预训练，分别得到原始输入层和第一隐藏层之
间的权重参数臀/和偏置参数b|、第一隐藏层与第二隐藏层之间的权重参数'V.::和偏置参数
bj；
[0013]根据所述W11和b丨得到第一隐藏层的输出特征表示，根据所述和b,2以及第一隐藏层的输出特征表示得到第二隐藏层的输出特征表示；[0014]利用优化算法分别对所述第一隐藏层的输出特征表示、第二隐藏层的输出特征表示进行优化得到第一隐藏层与分类器层之间的权重参数寫和偏置参数*4、第二隐藏层与分类器层之间的权重参数w#和偏置参数M;
[0015]分别将(W/，bj), (W】，b*)作为所述神经网络原始输入层和第一隐藏层之
间、第一隐藏层和分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第一分类器；
[0016]分别将(W11，b})、(W12, bP、( W^, b》)作为所述神经网络原始输入层
与第一隐藏层、第一隐藏层与第二隐藏层、第二隐藏层与分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第二分类器；
[0017]将所述第一隐藏层的输出特征表示与所述第二隐藏层的输出特征表示按列链接在一起得到融合特征，根据所述融合特征训练出第三分类器。
[0018]优选地，所述对神经网络的两个隐藏层进行逐层预训练包括:
[0019]将无标签的训练样本集Mt作为输入，得到第一代价函数:
[0020]
【权利要求】
1.一种手写体数字识别方法，其特征在于，包括: 接收用户输入的待测手写体数字样本； 通过训练得到的第一分类器、第二分类器、第三分类器分别对所述待测手写体数字样本进行预测，并输出第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果； 比较所述第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果，若至少2个分类器得出的是相同的预测结果，则判定所述待测手写体数字样本属于该预测结果的类别，否则，判定所述待测手写体数字样本属于第二分类器输出的预测结果的类别。
2.根据权利要求1所述的方法，其特征在于，所述第一分类器、第二分类器和第三分类器的训练，包括: 对神经网络的两个隐藏层进行逐层预训练，分别得到原始输入层和第一隐藏层之间的权重参数1W,1和偏置参数bl、第一隐藏层与第二隐藏层之间的权重参数W12和偏置参数bf ； 根据所述1^1和Ii11得到第一隐藏层的输出特征表示，根据所述W12和b,以及第一隐藏层的输出特征表示得到第二隐藏层的输出特征表示； 利用优化算法分别对所述第一隐藏层的输出特征表示、第二隐藏层的输出特征表示进行优化得到第一隐藏层与分类器层之间的权重参数^和偏置参数第二隐藏层与分类器层之间的权重参数Wf和偏置参数； 分别将(w/，b;)、(w】，14)作为所述神经网络原始输入层和第一隐藏层之间、第一隐藏层和分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第一分类器； 分别将(W11， b;)、(W12,讀X ( W；, b；)作为所述神经网络原始输入层与第一隐藏层、第一隐藏层与第二隐藏层、第二隐藏层与分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第二分类器； 将所述第一隐藏层的输出特征表不与所述第二隐藏层的输出特征表不按列链接在一起得到融合特征，根据所述融合特征训练出第三分类器。
3.根据权利要求2所述的方法，其特征在于，所述对神经网络的两个隐藏层进行逐层预训练包括: 将无标签的训练样本集ixH,作为输入，得到第一代价函数:
4.根据权利要求3所述的方法，其特征在于，所述权重衰减系数λ具体为3e-3，所述控制稀疏性惩罚因子的权重β具体为3，所述稀疏性参数P具体为0.1。
5.根据权利要求2所述的方法，其特征在于，所述第一隐藏层的输出特征表示具体为:
6.根据权利要求1或2所述的方法，其特征在于，所述分类器为Softmax分类器。
7.根据权利要求2或3所述的方法，其特征在于，所述优化算法为L-BFGS算法。
8.一种手写体数字识别系统，其特征在于，包括:待测样本接收单元、分类器训练单元、待测样本预测单元以及样本识别单元，其中: 所述待测样本接收单元，用于接收用户输入的待测手写体数字样本； 分别与所述待测样本接收单元、分类器训练单元连接的待测样本预测单元，用于通过所述分类器训练单元训练得到的第一分类器、第二分类器、第三分类器分别对所述待测手写体数字样本进行预测，并输出第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果； 所述样本识别单元与所述待测样本预测单元相连，用于比较所述待测样本预测单元输出的第一分类器、第二分类器、第三分类器对所述待测手写体数字样本的预测结果，若至少2个分类器得出的是相同的预测结果，则判定所述待测手写体数字样本属于该预测结果的类别，否则，判定所述待测手写体数字样本属于第二分类器输出的预测结果的类别。
9.根据权利要求8所述的系统，其特征在于，所述分类器训练单元具体包括:预训练单元、输出特征表示单元、输出特征表示优化单元以及分类器单元，其中: 所述预训练单元，用于对神经网络的两个隐藏层进行逐层预训练，分别得到原始输入层和第一隐藏层之间的权重参数1Wf和偏置参数h1、第一隐藏层与第二隐藏层之间的权重参数賣f和偏置参数丨.:与所述预训练单元相连的输出特征表示单元，用于根据所述预训练单元得到的W和b,1得到第一隐藏层的输出特征表示，根据所述Wf和以及第一隐藏层的输出特征表示得到第二隐藏层的输出特征表示；与所述输出特征表示单元相连的输出特征表示优化单元，用于利用优化算法分别将所述第一隐藏层的输出特征表不、第二隐藏层的输出特征表不进行优化得到第一隐藏层与分类器层之间的权重参数^和偏置参数14、第二隐藏层与分类器层之间的权重参数^和偏置参数丨^;分别与所述预训练单元、输出特征表示单元以及输出特征表示优化单元相连的分类器单元，用于分别将所述(Wi1, b;)、(.W12, 14)作为所述神经网络原始输入层和第一隐藏层之间、第一隐藏层和分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第一分类器；分别将(w；,b；),( W12, b12), (W；? bl)作为所述神经网络原始输入层与第一隐藏层、第一隐藏层与第二隐藏层、第二隐藏层与分类器层之间的初始化参数，然后使用反向传播算法结合优化算法得到第二分类器；将所述第一隐藏层的输出特征表示与所述第二隐藏层的输出特征表示按列链接在一起得到融合特征，根据所述融合特征训练出第三分类器。
10.根据权利要求9所述的系统，其特征在于，所述预训练单元具体包括:第一代价函数计算单元、第一代价函数优化单元、第二代价函数计算单元和第二代价函数优化单元，其中: 所述第一代价函数计算单元，用于将无标签的训练样本集{x（i）}mi=1作为输入，得到第一代价函数:
【文档编号】G06K9/62GK103927550SQ201410161915
【公开日】2014年7月16日 申请日期:2014年4月22日 优先权日:2014年4月22日
【发明者】张莉, 鲁亚平, 曹晋, 王邦军, 何书萍, 李凡长, 杨季文 申请人:苏州大学