明 中识别的对象为图像表格，图像表格中包含丰富的汉字，数字，字母和符号，可以说包含的 文字集的种类和数量都比较丰富，本发明神经网络可以选择与待识别图像表格文字集相一 致的样本文字集，比如说待识别的表格图片中包含的汉字集在2000个左右，数字集0-9,符 号集包括标点符号，数学公式符号，比如说分号、百分号，各种计量单位符号，则在进行神经 网络训练时选用的样本集也应该相应的包含这些汉字、数字和符号，这样才能保证文字块 识别的输出结果正确。神经网络具有自适应的误差调整能力，能够根据误差反向传播等调 节方式，不断缩小学习结果和标注结果之间的差异，最后逐步趋近于稳定正确的识别方向， 当神经网络训练完成之后将一定数量的测试样本(开发样本)输入到神经网络中，测试神经 网络的输入结果的正确率，当正确率达到设定的阈值时，可认为神经网络的训练已经完成， 当神经网络训练好以后，将切分好的文字块图片输入到神经网络中，完成图片的识别过程。
【主权项】
1. 一种表格图像检测识别方法，其特征在于： 将待处理图片进行二值化处理，检测出所述图片中的单元格； 依次将各单元格中的内容切分出来，形成对应的子图片. 使用投影法找出子图片中文字信息的备用切分点； 通过贝叶斯分类器对所述备用切分点之间的文字信息进行判断，找出切分点，并通过 切分点将图片中的文字块切分出来； 将切分出的文字块图片输入训练好的神经网络中识别出对应的文字内容。2. 如权利要求1所述的方法，其特征在于:包含W下实现步骤： (1) 使用openCV图像处理工具中的f indcontours函数检测出图像表格单元格轮廓;并 将检测出的单元格的轮廓点集提取出来放入对应的类中； (2) 对所述步骤（1)提取出的单元格轮廓点集对应的类，调用HiinAreaRect函数，构建出 包含单元格轮廓点集的面积最小的旋转矩形区域;并提取出该旋转矩形区域的四角顶点坐 标点；根据所述四角顶点坐标值将对应单元格中的文字信息作为整体切分出来，形成对应 的子图片； (3) 采用投影法找出所述子图片中文字信息的备用切分点； (4) 通过贝叶斯分类器对所述备用切分点进行判断，找出优化切分点，并将图片中的文 字切分出来； (5) 将切分好的文字块输入经过训练的神经网络中，识别出对应的文字内容。3. 如权利要求2所述的方法，其特征在于:所述步骤（1)中将各个单元格的轮廓点集组 成的类，放入一个大类：contours中；所述步骤（2 )中遍历con tours中的元素，调用 minAreaRect函数;所述步骤(2)中将minAreaRect函数构建的旋转矩形区域放置在对应的 RotatedRect 类中； 遍历RotatedRect类中的元素，提取每个元素对应旋转矩形区域的四角顶点坐标。4. 如权利要求3所述的方法，其特征在于:所述步骤(3)中，通过横向投影和纵向投影找 出子图片中的文字信息的坐标位置;根据坐标位置依次把单个文字切分出来，其中侧向投 影包括W下实现过程： 所述步骤(3)中，中对切分出来的子图片进行侧向投影，通过公式：计算 出一行的非0像素的个数，并将该值放到pr〇jection_y类中，其中i是行数，j是列数，pix(i， j)是对应像素值，n+1是总列数； 对 口咖6〇1:;[〇]1_7类中的元素进行遍历；女曰果 projection_y[k] =0，projection_y[k+l] >0, project ion_y[k+2]>0,则判断k为某一行的起始切分点，并将其放到类vectoKint〉 top 中； 如果pro jection_y[k] = 0 ,pro jection_y[k-l ] >0 ,pro jection_y[k-2] >0，则判断k 为某一行的终点切分点，并将其放到类vecto;r<int〉bottom中； 基于类top和bottom中的元素值将单元格中的文字行向切分出来。5. 如权利要求4所述的方法，其特征在于:垂直投影的实现过程为： 对于切分出来的每一行的文字图像进行垂直投影，采用公式：计算出一 列的非O像素的个数，并将该值放到projection_x类中，其中j是列数，i是行数，pix(i，j)是 对应像素值，m+1是总行数； 对 projection_x 类中的元素进行遍历；女曰果 projection_x[k] =0，projection_x[k+l] >0,projection_x[k+2]>0,则判断k为某一文字块的起始切分点，并将其放到类vectoK int〉left 中； 如果pro jection_x[k] = 0 ,pro jection_x[k-l ] >0 ,pro jection_x[k-2] >0，则判断k 为某一文字块的终点切分点，并将其放到类vectoKinOright中； 类left和ri曲t中的元素值为单文字的备用切分位置。6. 如权利要求5所述的方法，其特征在于:所述方法采用的贝叶斯分类器包括=类，其 中，第一类为文字部件，第二类为数字、字母，第=类为标点符号;在进行单个文字切分时， 采用贝叶斯分类器来对文字部件、数字、字母和，或标点进行分类。7. 如权利要求6所述的方法，其特征在于:所述贝叶斯分类器所采取的特征值包括:高 宽比，覆盖率，垂直中屯、线穿越笔画数，垂直中屯、线穿越笔画数上下两端最大距离与高度的 比值，水平中屯、线穿越笔画数，水平中屯、线穿越笔画数左右两端最大距离与宽度的比值。8. 如权利要求7所述的方法，其特征在于:步骤(4)包含W下实现过程： 在给定的第一备用左侧切分点坐标后，使用所述贝叶斯分类器来判断所述第一备用左 侧切分点与第一备用右侧切分点之间的内容是否是文字部件，如果不是文字部件，则认为 该内容是数字、字母或标点，直接将其切分出来； 如果是文字部件，则继续判断第二备用左侧切分点与第二备用右侧切分点之间的内容 是否是文字部件，如果是文字部件，则将第一备用个左侧切分点和第二备用个右侧切分点 之间的内容切分出来。9. 如权利要求8所述的方法，其特征在于:所述贝叶斯分类器对待识别类容进行分类包 括W下实现步骤： 对待识别内容提取特征值； 将特征值输入所述贝叶斯分类器中，计算该特征值属于各类别的概率； 将待识别内容各特征值属于该类的概率相乘，得到该内容属于该类的概率； 选择概最大的概率值对应的类别，作为该内容的类别。10. 如权利要求1至9之一所述的方法，其特征在于：对神经网络进行训练的样本集包 括:汉字集、数字集、字母集和标点符号集;所述训练样本经过人工标注后训练神经网络。
【专利摘要】本发明涉及图像识别领域，特别涉及一种表格图像检测识别方法；本方法首先检测出待识别图像表格中的单元格，将每个单元格中的信息内容整体切分出来，对每个单元格中的文字信息利用投影法找出文字的备用切分点，利用贝叶斯分类器对备用切分点进行判断，找出文字信息的准确切分点，并对切分出来的文字子图片进行分类，为文字信息的准确识别创造了有利条件；保证切分出单个文字的完整和准确性；在此基础上将切分出的文字输入到经过训练的神经网络中，通过神经网络快速自动的将文字块内容识别出来。本发明方法对图像表格文字的识检测别准确率极高，在图像文字识别，信息挖掘，信息分析领域具有巨大的应用前景。
【IPC分类】G06K9/00
【公开号】CN105512611
【申请号】CN201510831415
【发明人】陈炳章, 何宏靖, 刘世林, 吴雨浓
【申请人】成都数联铭品科技有限公司
【公开日】2016年4月20日
【申请日】2015年11月25日