一种高精度盲文识别方法及系统与流程

文档序号：14474701阅读：737来源：国知局

本发明涉及盲文标注领域，特别涉及一种高精度盲文识别方法及系统。

背景技术：

视力残疾人士由于视觉障碍，无法像明眼人一样获取明文信息，主要通过触摸盲文点字符号来阅读盲文获取信息。目前流通的盲文图书数量还较少，无法满足盲人朋友的阅读需求。另一方面，盲文图书馆典藏了很多早期有价值的盲文图书和文献，这些图书由于缺乏盲文的数字化信息，导致再版的人工成本昂贵。而且，在特殊教育领域，盲生试卷的编制和阅卷，还是采用盲文老师手工翻译的方式，耗时费力，缺乏客观性。因此，针对纸质盲文图像的盲文点字自动检测和识别技术具有重要意义。

盲文俗称“点字”或“凸字”，由法国人路易·布莱尔于1824年发明，是一种依靠触觉感知的文字。盲文图书的一页大概有1000到2000个盲文凸点。盲文的基本组成单位是盲方或者盲符，每个盲方有6个点位，分布在三行两列的矩阵上，根据相应的点位上是否有凸点来代表不同的盲方。盲方根据“国家盲文标准”，按照一定的方距和行距进行排列，组成盲文。

为了节约纸张，盲文图书一般采用双面打印方式，即我们得到的盲文图像即含有当前页的凸点区域，又包含凹点区域。凸点和凹点区域会有一定的错位现象，但是在双面盲文的点字密集区域，凸点和凹点往往交错在一起，导致盲文点字的图像表观呈现多样性特点，凹凸点的外观形态也会发生极大的变化，这给双面盲文的盲文识别带来极大的困难和挑战，目前还缺乏快速鲁棒的盲文识别方法。

技术实现要素：

为了解决上述纸版盲文点检测技术不够鲁棒，速度较慢，无法适应多样的盲文打印形式和采集形式的问题，本发明提出了一种盲文点检测方法及系统。

具体地说，本发明公开了一种高精度盲文识别方法，其中包括：

步骤1、利用采集设备获取纸版盲文的数字化图像；

步骤2、对该数字化图像的盲文进行盲文点标注，并将标注完成的数字化图像作为训练样本，其中该盲文点为凸点或凹点；

步骤3、根据该训练样本训练多个分类器，并用训练完成的分类器对待检测盲文图像内的盲文点进行识别，将检测到的各盲文点的位置和类型信息保存并输出；

其中该步骤3包括：

步骤31、根据该训练样本中盲文点的标注信息，将该数字化图像划分为包含盲文点的正样本和包含背景点的负样本；

步骤32、提取该正样本和该负样本的多种特征，分别训练多个分类器；

步骤33、对该待检测盲文图像的盲文方进行定位，将以各盲文方对应的6个盲文点为中心的区域作为待检测区域，将该待检测区域的多种特征分别输入至相应分类器；

步骤34、通过融合各分类器的识别结果，确定该待检测盲文图像内盲文点的位置和类型信息。

该高精度盲文识别方法，其中该步骤32具体包括：根据该正样本和该负样本的灰度特征、梯度直方图特征、局部二值特征，分别训练多个支持向量机分类器或随机森林分类器。

该高精度盲文识别方法，其中该步骤34还包括：将该待检测盲文图像内盲文点的位置信息转化为盲文方信息。

该高精度盲文识别方法，其中该步骤34还包括：将该盲文方信息转化为汉字和句子，根据句子排查检测错误的盲文方信息。

该高精度盲文识别方法，其中步骤1中该采集设备包括扫描仪、摄像机或盲文图像采集仪器；该纸版盲文包括凸点和/或凹点形式的盲文点。

本发明还公开了一种高精度盲文识别系统，其中包括：

采集模块，用于通过采集设备获取纸版盲文的数字化图像；

标注模块，用于对该数字化图像的盲文进行盲文点标注，并将标注完成的数字化图像作为训练样本，其中该盲文点为凸点或凹点；

训练模块，用于根据该训练样本训练多个分类器，并用训练完成的分类器对待检测盲文图像内的盲文点进行识别，将检测到的各盲文点的位置和类型信息保存并输出；

其中该训练模块包括：

提取模块，用于根据该训练样本中盲文点的标注信息，将该数字化图像划分为包含盲文点的正样本和包含背景点的负样本，提取该正样本和该负样本的多种特征，分别训练多个分类器；

识别模块，用于对该待检测盲文图像的盲文方进行定位，将以各盲文方对应的6个盲文点为中心的区域作为待检测区域，将该待检测区域的多种特征分别输入至相应分类器，并通过融合各分类器的识别结果，确定该待检测盲文图像内盲文点的位置和类型信息。

该高精度盲文识别方系统，其中该提取模块包括：根据该正样本和该负样本的灰度特征、梯度直方图特征、局部二值特征，分别训练多个支持向量机分类器或随机森林分类器。

该高精度盲文识别系统，其中该识别模块还包括：将该待检测盲文图像内盲文点的位置信息转化为盲文方信息。

该高精度盲文识别系统，其中该识别模块还包括：将该盲文方信息转化为汉字和句子，根据句子排查检测错误的盲文方信息。

该高精度盲文识别系统，其中该采集设备包括扫描仪、摄像机或盲文图像采集仪器；该纸版盲文包括凸点和/或凹点形式的盲文点。

由此通过融合多分类器的检测结果，实现对盲文的高精度识别。

附图说明

图1为双面盲文图像截图；

图2为以点的形式在屏幕上显示盲文方对应盲文点位置的示意图；

图3为以“日”字的交叉点形式在屏幕上显示盲文方对应盲文点位置的示意图；

图4为已标注完成的盲文方示意图；

图5为选择盲文方进行删除的示意图；

图6为凸点和凹点的标注结果展示图；

图7为基于级联分类器的凸点检测结果展示图；

图8为盲文方定位结果示意图；

图9为初始的计算机盲文点检测结果图；

图10为本发明主要步骤框图。

具体实施方式

为让本发明的上述特征和效果能阐述的更明确易懂，下文特举实施例对上述各步骤进行展开描述，并配合说明书附图作详细说明如下。

请参考图10，本发明包括，步骤1，盲文图像采集：

利用采集设备获取纸版盲文的数字化图像。采集方式可以包括扫描仪扫描，摄像机拍照，或者特殊的盲文图像采集仪器等方式。该纸版盲文包括凸点和/或凹点形式的盲文点，纸版盲文可以包括盲文图书或者盲文试卷等，可以是单面印刷或者双面印刷的盲文。单面印刷的盲文每页只包含凸点或者凹点一种形式的盲文点，双面印刷的盲文每页包含凸点和凹点两种形式的盲文点。例如，图1显示了采用扫描仪扫描得到的双面盲文图像的截图，既有凸点又有凹点，在文字密集区，凸点和凹点交互在一起。

步骤2，对该数字化图像的盲文进行盲文方标注，并将标注完成的数字化图像作为训练样本。

步骤3，高精度盲文点和盲文方识别：

通过以上步骤1到步骤2，得到盲文方的定位结果，可以利用盲文方位置信息，去除adaboost级联分类器带来的部分误报，因为凸点基本上会出现在盲文方的六个盲文点位置，从而可以提升基于adaboost分类器的识别效果。

更重要的是在盲文方定位基础上，可以仅针对每个盲文方对应的6个盲文点区域，利用更复杂的分类器来提升凸点识别的准确性。

本方面提出了一种基于盲文方定位和组合分类器的高精度盲文识别方法，具体步骤如下：

步骤31，获取凸点或凹点标注信息，根据该训练样本中盲文点的标注信息，将该数字化图像划分为包含盲文点的正样本和包含背景点的负样本。需要注意的是，此处盲文点根据用户需要可为凸点或凹点，如指定凸点为盲文点，则认为该数字化图像中除凸点外的区域均为背景，例如截取以凸点为中心点的24*24图像作为正例样本，以凹点和背景的中心点的24*24图像作为反例样本。

步骤32，提取样本的多种特征，分别训练多个分类器。优选的，可以提取灰度特征，可以提取hog梯度直方图特征，可以提取lbp局部二值特征，或者将hog和lbp进一步串联的特征，并采用支持向量机svm或者随机森林或者其他的分类器，训练凸点的分类器，同时得到多个分类器。

步骤33，基于步骤5得到盲文方定位信息，截取以每个盲文方对应的6个盲文点为中心的小图，将这些小图分别提取多种特征，利用训练好的分类器分别进行凸点的分类判别。优选的，可以提取hog，lbp，串联的hog_lbp特征，然后使用三个对应的svm分类器进行识别，包括hog-svm，lbp-svm，hog_lbp+svm。

步骤34，将多个svm分类器分类结果，与级联分类器进行结果融合。最终的融合结果为不同分类器的结果与其对应的权值的乘积。如果最终的融合结果超过某阈值，说明大多数分类器的输出是凸点，则认为其存在凸点。凹点的检测方法同凸点。

可以进一步将该待检测盲文图像内盲文点的位置信息转化为盲文方信息，例如将盲文方内的凸点信息转化为盲文方信息，从而完成基于盲文方的检测和识别。

可以融合正反面的盲文点的识别结果，来提高盲文点和盲文方的识别性能。

还可以将该盲文方信息转化为汉字和句子，根据句子排查检测错误的盲文方信息，从而提高盲文编辑人员的工作效率。

基于以上步骤，基于组合分类器的方法，对盲文图像的凸点平均识别性能，达到了准确率99.75％，召回率99.58％。对盲文方的平均识别性能，达到了准确率98.27％，召回率98.84％。本发明针对扫描仪得到的200dpi的盲文图像，利用以上步骤1至步骤7得到盲文点和盲文方检测结果，检测一张图像平均在1.8秒以内。

本发明特举以下实施例，进一步详细对上述各步骤进行展开描述。

该步骤2还包括：

步骤21，将该数字化图像作为待标注的盲文图像显示在屏幕上。例如，图1显示了一个盲文图像的截图。

步骤22，通过交互式设备的在该数字化图像上选取某一个盲文的盲文方位置，例如通过交互式设备鼠标点击盲文方的左上角来确定该盲文方位置。

步骤23，将属于该盲文方位置的盲文方标识显示在屏幕上。其中盲文方标识可为盲文方对应的6个盲文点，或者盲文方对应的“日”字形方格，例如将所选择的盲文方对应的6个盲文点位置显示在屏幕上，可以直接采用6个点来显示盲文方(如图2所示，其中盲文方对应的盲文点位置以浅灰色点标识)，也可以采用“日”字形方格来表示盲文方标识(如图3所示，其中盲文方对应的盲文点位置以浅灰色矩形框标识)，每个交叉点代表一个盲文点位置。盲文方标识对应的盲文点间距信息，可以参考中国盲文书写规范以及扫描图像的分辨率大小，通过统计的方法提前得到盲文点间距、盲文方间距和行距信息。并且在以上在点选盲文方时，可通过鼠标快捷键来区分是标注凸点盲文方还是凹点盲文方，例如点击鼠标左键代表标注凸点盲文方，点击鼠标右键代表标注凹点盲文方；可通过键盘快捷键进行盲文方位置，大小的微调，从而更精确的匹配盲文图像上的某一个盲文方，例如通过“i”、“k”、“j”、“l”四个键进行盲文方位置上下左右的微调，每次移动一个像素或者多个像素，具体移动的像素数课根据图像采集的分辨率决定。

步骤24，通过交互设备为该盲文方标识内的盲文点进行标注(填充)，并在屏幕上实时显示已填充好的盲文点。以标注凸点为例，用交互设备例如是键盘快捷键进行盲文方内盲文点的快速填充，并在屏幕上实时显示已填充好的凸点。凹点盲文方的标注方法类似。例如，根据中国盲文要求，“日”字左边三个点代表1、2、3，右边三个点代表4、5、6。在实际标注时，可采用小键盘的数字键，仅选择某个位置上有凸点的数字。例如，如果该盲文方中仅有1、2、5三个位置有凸点，则仅利用数字键选择1、2、5三个键即可完成该盲文方凸点的填充。同时在屏幕上显示已经填充好的凸点，例如采用黑色点进行标识。图4显示了一个标注好的盲文方，例如左侧盲文方的黑点信息，右侧6个灰色点为移动到的下一个盲文方位置。

步骤25，该盲文方标注完之后，可以采用快捷键进行盲文方位置的移动，移动到下一个盲文方位置。由于中国盲文的排列遵循了国家标准，盲文方行间距和列间距有固定的范围，可以结合盲文图像采集的分辨率，提前统计该盲文图像中对应的盲文方行间距和列间距，方便在交互式操作时直接进行行列的移动。例如，利用键盘上的“上下左右”方向键进行盲文方位置的单步移动，每次移动距离可以提前根据盲文图像进行统计和确定。也可以采用步骤22，直接点选的方式，选取下一个需要标注的盲文方。这里也可以进一步用快捷键微调盲文方的位置，方法同上步骤23，并在屏幕上显示盲文方。

本发明除上述步骤外还包括：

步骤4盲文点快速检测、步骤5盲文图像自动倾斜校正、步骤6盲文方自适应定位、步骤7盲文点计算机辅助标注。

步骤3盲文点快速检测，提出了基于级联分类器的盲文点快速检测方法，包括：

步骤s1、基于以上步骤1和步骤2，得到了盲文图像的标注信息，包含凸点的位置信息。本发明下面将以凸点检测为例，凹点的检测方法类似。

步骤s2、利用标注信息，截取图像得到正负样本。比如以标注的凸点为中心的周围的区域图像作为正例样本，同样大小的背景和凹点区域作为反例样本。

步骤s3、提取样本的特征向量，训练分类器。优选的可以提取样本的haar小波特征，训练adaboost级联分类器。在待检测的盲文图像上，采用滑动窗口方式，提取窗口内图像的相应特征，比如haar特征，利用训练好的adaboost分类器进行是否是凸点的分类判别。

步骤s4、经过步骤s1和步骤s2可以得到初步检测的凸点位置信息，保存整个盲文图像的凸点信息。比如保存文件名，以及对应的凸点坐标信息。本发明针对扫描仪得到的200dpi的盲文图像，利用优选的haar+adaboost的方法，检测一张图像在0.5秒以内。同时凸点的平均识别准确率达到99.74％，召回率94.01％。图7展示了一个利用级联分类器检测的凸点识别结果。

其他可选的方案，可以提取样本的灰度特征，或者hog方向直方图特征，或者lbp二值纹理特征等特征向量，训练svm或者随机森林等分类器，同样采用滑动窗口方式进行凸点检测。

其他可选的方式，可以通过图像分割方法，将盲文点进行前景和背景的分割，从而得到盲文点位置。如果是单面图像就可以直接到的凸点或者凹点信息。如果是双面图像，需要进一步利用特征进行区分凸点还是凹点，从而得到盲文图像上的凸点位置信息。

步骤4盲文图像倾斜校正。盲文点字倾斜可能有两种情况，一种是由于采集过程造成的，比如盲文纸张放置倾斜，一种是盲文在初期打印时本身就是倾斜的，导致盲文对应的盲文方行和列不是水平和垂直的，为后期盲文方定位和标注带来很大的误差。因此首先需要进行盲文图像倾斜校正。具体步骤如下：

步骤s5、基于步骤1、2、3，得到了盲文图像中的凸点位置信息。

步骤s6、较优的，首先利用前面得到的凸点位置信息将凸点和背景二值化。比如，在凸点位置使用一个黑色小正方形代替，背景等则设为全白。或者使用黑色的小圆点表示凸点，背景设为全白。

步骤s7、将该二值化图像以1°为间隔，进行多次旋转，统计每次旋转后水平投影行像素值和为0的行数和竖直投影列像素和为0的列数总和。空白行列数越多则意味着该旋转角度越接近真实倾斜角度，将空白行列数总和最大对应的旋转角度记为α°。比如，从-5°到5°进行多次旋转。

步骤s8、为了得到更新的角度，再次旋转步骤s7所得的二值化图像，以0.1°为间隔，从(α-0.5)°到(α+0.5)°进行多次旋转。同步骤s7的方法，将投影空白行列数总和最大对应的旋转角度记为β°。

步骤s9、角度β°即为所求得的盲文图像倾斜角度，反方向旋转原盲文图像可得到校正后的盲文图像。

通过以上由粗到细的旋转图像，可以快速的获取图像的倾斜角度，误差精细到0.1°。

其他可选的倾斜校正方法包括，在盲文图像上放置或粘贴一个黑色矩形框，假设该方框的水平线和竖直线与盲文方的行和列平行，通过校正该矩形框进行盲文图像的倾斜校正。

其他可选的倾斜校正方法包括，则提取上盲文图像边缘上的凸点，使用最小二乘法拟合直线来进行倾斜校正。可选的还有，人工交互式的标注出某盲文方行的第一行凸点所在位置，或者其他同一行的凸点位置，利用直线拟合的方式，求出直线的倾斜角度，从而进行盲文图像倾斜校正。

其他可选的倾斜校正方法包括，检测盲文图像的纸张边缘直线，利用直线的倾斜来校正盲文图像。

步骤5、盲文方自适应定位。盲文方定位是盲文识别的关键步骤。现有的盲文方定位算法大多利用规则方法，认为盲文方行列线的排列十分规范，采用标准的盲文方网格即可实现盲文方定位。但在实际处理盲文图像时我们发现，由于生产工艺、扫描设备等原因盲文图像中盲文方行列线排列存在着微小误差，其盲文方行距、方距也并不完全一致。具体步骤如下：

步骤s10、优选的，利用步骤1、2、3、4得到凸点的初步检测结果以及倾斜校正后的盲文图像。或者利用传统的图像分割方法，得到凸点的检测结果，和倾斜校正后的盲文图像。

步骤s11、针对倾斜校正后的图像，利用盲文方三行两列的特点，对凸点位置信息进行纵坐标的聚类，将凸点纵坐标接近的盲文点划分为一组，求其纵坐标均值得到多条预选盲文方水平行线的位置。

步骤s12、从上往下找出符合标准的三条水平行线，即相邻两条水平线之间距离符合统计信息中盲文方点距的范围，如果找不到则生成一个默认的盲文方网格，算法结束。

步骤s13、如果找到了，则从这三条水平线位置开始，根据统计得到的盲文方点距、行距等信息分别向上、向下拓展，且拓展的过程中生成以最新拓展的一组三条水平线为基准，同时剔除位置错误的水平线直到达到盲文图像两端，即可得到多组三条水平线一组的盲文方水平线。

步骤s14、同上述方法可得到多组两条竖直线一组的盲文方竖直线。

步骤s15、每组中三条水平线和两条竖直线的交叉点即为盲文点可能存在的位置，六个交叉点组成一个盲文方，最终生成整个盲文方网格。

根据上述算法得到的盲文方定位效果如图8所示，可见在凸点检测基础上进行盲文方定位，消除了凹点带来的影响，算法速度快鲁棒性高。

步骤6、盲文点计算机辅助标注。当需要标注新的盲文书籍，或者盲文试卷的时候。如果我们已经有了一个盲文点检测的分类器，该分类器可以辅助我们进行新盲文图像的快速标注，即由机器先进行标注，人工再进行修正，从而提升标注效率，减少人工标注劳动量。具体步骤如下。

步骤s16、基于以上步骤1、2、3、4、5，得到具有盲文方定位的凸点检测结果。如图9所示，将该图显示在屏幕上。

步骤s17、利用鼠标点选需要修改的盲文方位置，获取该盲文方的信息。

步骤s18、按快捷键删除该盲文方的标注信息。比如del进行盲文方标注的删除。

步骤s19、用键盘快捷键进行盲文方内盲文点的快速填充，并在屏幕上实时显示已填充好的凸点。在实际标注时，可采用小键盘的数字键，仅选择某个位置上有凸点的数字。比如，如果该盲文方中仅有1、2、5三个位置有凸点，则仅利用数字键选择1、2、5三个键即可完成该盲文方凸点的填充。同时在屏幕上显示已经填充好的凸点。

步骤s20、也可通过键盘快捷键进行盲文方位置微调，从而更精确的匹配盲文图像上的某一个盲文方。

步骤s21、该盲文方标注完之后，可以采用快捷键进行盲文方位置的移动，移动到下一个盲文方位置。由于中国盲文的排列遵循了国家标准，盲文方行间距和列间距有固定的范围，可以结合盲文图像采集的分辨率，提前统计该盲文图像中对应的盲文方行间距和列间距，方便在交互式操作时直接进行行列的移动。比如，利用键盘上的“上下左右”方向键进行盲文方位置的单步移动，每次移动距离可以提前根据盲文图像进行统计和确定。也可以采用步骤s17，直接点选的方式，选取下一个需要标注的盲文方。这里也可以进一步用快捷键微调盲文方的位置，方法同上步骤s20。

步骤s22、重复步骤s17到步骤s21，完成对整张盲文图像盲文点的交互式辅助修改。

步骤s23、标注结束之后，按快捷键保存该盲文图像的标注信息。比如，点击“s“键进行标注信息的保存，以盲文方的形式，保存盲文方位置信息，以及填充的盲文点的位置信息等。

步骤7、高精度盲文点和盲文方识别。通过以上步骤1到步骤5，得到盲文方的定位结果，可以利用盲文方位置信息，去除adaboost级联分类器带来的部分误报，因为凸点基本上会出现在盲文方的六个盲文点位置，从而可以提升基于adaboost分类器的识别效果。更重要的是在盲文方定位基础上，可以仅针对每个盲文方对应的6个盲文点区域，利用更复杂的分类器来提升凸点识别的准确性。具体步骤如下：

步骤s24、优选的，基于步骤1、2得到凸点标注信息，或者利用步骤1、2、3、4、5、6得到凸点标注信息。

步骤s25、截取以凸点为中心点的图像作为正例样本，以凹点和背景的中心点的图像作为反例样本。比如采用24*24的样本大小。

步骤s26、提取样本的多种特征，分别训练多个分类器。优选的，可以提取灰度特征，可以提取hog梯度直方图特征，可以提取lbp局部二值特征，或者将hog和lbp进一步串联的特征，并采用支持向量机svm或者随机森林或者其他的分类器，训练凸点的分类器，同时得到多个分类器。

步骤s27、基于步骤5得到盲文方定位信息。

步骤s28、截取以每个盲文方对应的6个盲文点为中心的小图，将这些小图分别提取多种特征，利用训练好的分类器分别进行凸点的分类判别。优选的，可以提取hog，lbp，串联的hog_lbp特征，然后使用三个对应的svm分类器进行识别，包括hog-svm，lbp-svm，hog_lbp+svm。

步骤s29、将多个svm分类器分类结果，与级联分类器进行结果融合。最终的融合结果为不同分类器的结果与其对应的权值的乘积。如果最终的融合结果超过某阈值，说明大多数分类器的输出是凸点，则认为其存在凸点。凹点的检测方法同凸点。

步骤s30、可以进一步将盲文方内的凸点信息转化为盲文方信息，从而完成基于盲文方的检测和识别。

步骤s31、可以融合正反面的盲文点的识别结果，来提高盲文点和盲文方的识别性能。

步骤s32、还可以将盲文方的信息翻译为汉语文字和句子，根据句子分析来排查检测错误的盲方，从而提高盲文编辑人员的工作效率。

以下为与上述方法实施例对应的系统实施例，本实施系统可与上述实施方式互相配合实施。上述施方式中提到的相关技术细节在本实施系统中依然有效，为了减少重复，这里不再赘述。相应地，本实施系统中提到的相关技术细节也可应用在上述实施方式中。