用本发明所涉及的识别方法和其真值进 行比较，得到识别正确率（即：识别正确率=所有节点正确识别的手写数字的数量/ (20*3500))，从而可以评价和衡量出本发明所涉及的方法的有效性和准确性。为了比较本 发明提出的基于tMFA的分布式手写数字识别方法（简称分布式tMFA)和其他方法的性能， 这里和基于tMFA的集中式手写数字识别方法（简称集中式tMFA)，基于tMFA的各节点间无 协作的手写数字识别方法（简称无协作tMFA)进行比较。需要说明的是，在集中式tMFA中， 所有节点需要将原始数据传输给某个中心节点，由中心节点采用传统的MFA来完成训练和 识别，而后再把结果回传给各节点，这种方式在实际中用的很少，一是传输原始数据通信开 销很大，一旦出现丢包或数据包损坏，对最后的识别性能影响很大，二是不利于数据中的隐 私保护，网络安全堪忧。这里的目的是为了比较本发明提出的分布式tMFA的识别方法是否 可以达到集中式tMFA同样的性能。识别结果分别用定性和定量两种方式来表示。在结果 的定性表示中，采用混淆矩阵的hinton图，如图3所示。在该图中，各列表示数字0~9的 识别结果而各行表示数字0~9的真值。主对角线上的小方块表示正确识别的情况，小方 块的尺寸越大表明正确该识别的数字越多，而其他位置上出现小方块表明存在错误识别的 情况。由该图可以看出，集中式tMFA和本发明的分布式tMFA(由于篇幅限制，只给出其中 的节点3,其他节点结果相同）性能较好，而无协作tMFA性能较差。在结果的定量表示中， 采用识别率的均值和方差两个指标，如图4所示。在该图中，本发明设计的分布式tMFA的 识别正确率和集中式tMFA的识别正确率的均值基本相同，而无协作tMFA的较差，此外分布 式tMFA的识别正确率的方差也远小于无协作tMFA。因此，采用本发明的方法克服了传统的 集中式tMFA的手写数字识别的缺点，实现了分布式识别并且具有很好的性能。
[0118] 本发明请求保护的范围并不仅仅局限于本【具体实施方式】的描述。
【主权项】
1. 一种基于t混合因子分析的分布式手写数字识别方法，其特征在于，所述方法包括 如下步骤： 步骤1 :数据的采集与特征提取：设有M台计算机，S卩：节点，组成一个网络，网络的拓 扑事先确定好，其只要满足任意两个节点之间存在直接或多跳转发而互通的路径即可，节 点m的邻居节点集合表示为Rm;第m个节点（m= 1，...，M)通过与之相连的手写板采集 到手写数字0~9,共10个类的原始数据，手写板自动记录各个字符书写轨迹上各个点 的二维坐标位置，在轨迹上等间隔地取8个点的坐标(_r,,,乃,)^作为每个原始数据所对应 的特征数据s，共16维；设节点m处采集并经过特征提取得到的数字d的训练数据集为?其中O表示节点m处，用于训练的手写数字d的第n个特 征数据，维度为P= 16, 为数字d的训练数据个数； 用一个公共的t混合因子分析（tMFA)来描述所有节点中与数字d相关的特征数据集 = 的分布；tMFA的参数集合为{>pAi,ypDi,v山=1，，其中I为混合成 分数，Jri为第i个混合成分的权重，Ai为第i个混合成分的（pXq)的因子载荷矩阵，q为 低维因子的维度，取q=p/5~p/3之间的任意整数，yi为第i个混合成分的p维均值矢 量，Di为第i个混合成分的误差的（pXp)的协方差矩阵；v,为第i个混合成分的自由度； 步骤2 :分布式训练，将S:(m= 1，….Mu/= 0,…，9)川于分布式训练，得到每类数字d所 对应的tMFA参数集合步骤3 :分布式识别，当网络中的任意一个节点采集到新的用于识别的手写数字时，首 先由上述步骤1得到其对应特征，表示为s'，而后计算s'关于? (d)(d= 0, 1，...，9)的对 数似然l〇gp(s' |0(d))(d= 〇，l，...，9):将最大对数似然值对应的序号作为s'的识别结果d' ：2. 根据权利要求1所述的一种基于t混合因子分析的分布式手写数字识别方法，其特 征在于，所述步骤2包括如下步骤： 步骤2-1 :初始化；设定tMFA中的混合成分数I，根据I，p和q来设定MFA中各参数的 初始值{?，￥，?};=1, ,其中，各节点处的〇 = ...,1/J); {/^...，/^...，/^从该节点采集到的数据中随机选取；#；1,..^； 1,..^〗}*^；1,…,^,…#} 中的每个元素都从标准正态分布N(0, 1)中生成； < 该组参数取1~5之 间的任意整数；此外，每个节点1 (1 = 1，. . .，M)将其采集到的数据个数况广广播给其邻居 节点；当某个节点m收到它的所有邻居节点广播来的数据个数之后，该节点计算权重clm:初始化完成后，迭代计数器iter= 1，开始迭代过程； 步骤2-2 :计算局部统计量并广播；在每个节点1处，基于其采集到的数据，首先计其中{<ld,Afd,乂1d,Dfd,vf 为上一次迭代完成之后得到的参数值，即：首次迭代 时为参数的初始值g，表示节点1处第n个数据#>属于第i个 类，即：混合成分的概率，<<>,>为tMFA中的隐变量的期望值； 有了上述中间变量的计算结果，节点计算出局部统计量，即LS，最后，每个节点1将计算好的局部统计量L&广播扩散给其邻居节点； 步骤2-3 :计算联合统计量；当节点m(m= 1，. . .，M)收到来 自其所有邻居节点1 (1eRJ的1^后，节点m计算出联合统计量步骤2-4 :估计模型中的各参数；节点m(m= 1，...，M)根据上一步计算出的CSm，估计 出0 ={3^^，1^，〇1，丫1 = 1，...，1，其中，{311，111= 1，...，1的估计过程包括：对于{^口山^^^制姑七过程包括：此外，对于{vJ, = ...，z，通过解下面的方程来得到，包括：其中it( ?)为标准的diga_a函数，具体求解时采用牛顿法； 步骤2-5 :判断是否收敛；节点m(m= 1，. . .，M)计算当前迭代下的对数似然值：如果項1」算法收敛，停止迭代；否则执行步骤2-2,开 始下一次迭代（iter=iter+1 ;);其中0表示当前迭代估计出的参数值，0°ld表示上一次 迭代中估计的参数值；即，相邻两次迭代的对数似然值小于阈值e，算法收敛；e取1(T5~ 1〇_6中的任意值；由于网络中各节点是并行处理数据，因此所有不可能在一次迭代中同时 收敛；当节点1已经收敛而节点m尚未收敛时，则节点1不再发送LSi，也不再接收邻居节点 传输的信息；节点m则用最后一次收到的节点1发来的LSi更新其CSm;未收敛的节点继续 迭代，直至网络中所有节点都收敛； 经过上述步骤2-1~步骤2-5之后，由手写数字d的训练数据得到的对应模型tMFA， 即：用训练收敛时的参数?表示；重复上述步骤10次，从而得到10个数字各自对应的tMFA 模型，为了表示方便，并加以区分，用表示 数字d对应的tMFA模型，至此，分布式训练完成。
【专利摘要】本发明公开了一种t混合因子分析的分布式手写数字识别方法，该方法首先在每个节点处对采集到的手写数字进行特征提取，而后对用于训练的每个数字所对应的特征数据进行初始化，接着各节点基于自身的训练数据计算局部统计量并广播给其邻居节点，同时，各节点根据收到的来自所有邻居节点的局部统计量，计算联合统计量，并基于该联合统计量估计出t混合因子分析中的各个参数，完成分布式训练过程。在分布式识别阶段，测试用的数据可以输入任一节点，计算其关于训练好的每一个数字对应的tMFA的对数似然值，将最大对数似然值对应的数字作为识别结果。采用tMFA对数据中的离群点具有较高鲁棒性，采用分布式训练和识别方式，避免了由中心节点带来的网络崩溃。
【IPC分类】G06K9/62
【公开号】CN104992188
【申请号】CN201510415750
【发明人】魏昕, 周亮, 周全, 陈建新, 王磊, 赵力
【申请人】南京邮电大学
【公开日】2015年10月21日
【申请日】2015年7月15日