P7上进行，该移动设备的主要参数为：操作系统；Amlroid0S4. 4,CPU频率 1. 8GHz，后置摄像头1300万像素；
[0083] 在复杂背景下识别一张问卷的时间在5秒W内，正确率为100% ;
[0084] 整个系统的识别流程及结果见图4 ;
[0085]与现有技术相比，发明对设备的要求简单，同时操作方便快捷，对于不同性质的干 扰进行处理，在速度和识别率上都有很大的提高。整个系统具有较强的鲁椿性，能够分割并 识别出复杂背景和不同光照情况下的问卷；同时还具有快速高效性，对于一张问卷和表格 的识别一般只花费几秒钟的时间，准确几乎达到百分之百。
[0086] W上对本发明的具体实施例进行了描述。需要理解的是，本发明并不局限于上述 特定实施方式，本领域技术人员可W在权利要求的范围内做出各种变形或修改，该并不影 响本发明的实质内容。
【主权项】
1. 一种基于移动设备的问卷和表格数字化识别方法，其特征在于：包括如下步骤： 步骤一，问卷或表格的分割：根据纸质问卷或者表格图片的角点特征，使用 VuforiaSDK训练样本图片，在复杂多变的背景中快速高效的分割出问卷或表格； 步骤二，问卷或表格的校准：根据OpenGL系统中的坐标变换，将分割出问卷或表格的 物体坐标转换为屏幕坐标，并通过仿射变换来校准各种位置的问卷或表格； 步骤三，问卷或表格的识别：对校准的问卷或表格进行图像处理，按照顺序将表中的选 项数字化，根据选择框中黑色区域占整个区域的比例来判读该选项是否被选，输出被选中 的选项的数字标号；根据数字标号和本地建立的问卷或者表格选项内容的SQL库，输出被 选中的选项及内容。2. 根据权利要求1所述的基于移动设备的问卷和表格数字化识别方法，其特征在于： 所述步骤一，具体为：从复杂背景中分割出问卷，求出问卷或表格的四个顶点坐标，首先根 据问卷或表格的角点特征训练出相应的库，然后在移动设备中启动Vuforia SDK使用训练 的库对问卷或表格进行识别，识别过程中采用OpenGL渲染移动设备的界面，计算出问卷或 表格的四个顶点在以问卷或表格为中心建立的坐标系下的三维坐标。3. 根据权利要求1所述的基于移动设备的问卷和表格数字化识别方法，其特征在于： 所述步骤二，具体为：将问卷或表格的三维顶点坐标通过矩阵变换转换成移动设备的屏幕 坐标，即利用OpenGL中坐标系的转换，建立模视矩阵和投影矩阵，并通过视口变换将物体 坐标系下的三维坐标转换为屏幕坐标，然后根据仿射变换将不同位置的问卷或表格校准。4. 根据权利要求1所述的基于移动设备的问卷和表格数字化识别方法，其特征在于： 所述步骤二，包括如下操作步骤： 第一步：首先得到问卷的顶点坐标，即在模型坐标系的坐标（χ__，y# Ztjbj, Wtjbj),照相 机坐标系的坐标（X@，y@，z^，是由模型坐标乘以模视矩阵得：第二步：照相机坐标系下的坐标（X^，y@，z^，通过乘以投影矩阵得到裁剪坐标 系下顶点的坐标（Xc^ydip, Zclip，WcIip) ·第三步：将裁减坐标系下的坐标除以Wcdip，即得到归一化的设备坐标（xndc;，y ndc;，Znd。)， 该坐标经过平移和缩放就得到屏幕坐标，通过视口变换将该坐标转换成屏幕坐标 (Xw，y^，Zw):其中（x，y，w，h)是屏幕窗口的起点和大小，（x，y)是屏幕窗口起点的坐标，w是屏幕的 宽度，h是屏幕的高度，（n，f)是屏幕的深度范围，线性情况下η - -1，f - 1 ; 第四步：通过仿射变换在移动设备屏幕上将在不同位置的问卷或者表格校准，其中使 用的仿射变换的矩阵为： 平移变换：将屏幕上点（x，y)平移到点（X+dx，y+dy)，dX是横坐标平移的距离，dy是纵 坐标平移的距离，变换矩阵为：旋转变换：将屏幕上点（x，y)围绕远点逆时针旋转θ，变换矩阵为：缩放变换：将屏幕上点（x，y)的横坐标放大或缩小到原来的sx倍，纵坐标放大或缩小 到原来的sy倍，变换矩阵为：5. 根据权利要求1-4任一项所述的基于移动设备的问卷和表格数字化识别方法，其特 征在于：所述步骤三，具体为：首先将整个问卷和表格的内容数字化，即按照从上到下及从 左往右的顺序建立问卷内容的数据库，以数字来代表问卷的选项，然后标定出每个选项的 选择框的位置，将数据保存在本地文件中，最后通过自适应阈值处理标定后的图片，通过阈 值处理、腐蚀、膨胀、腐蚀操作将图片二值化，然后计算每个选项区域中涂黑部分占整个区 域的比例，若比例大于某一阈值则判定该选项被选择，输出代表该选项的数字，然后在数据 库中匹配出该数字代表的选项及其内容，并输出结果。6. -种用于实现上述权利要求1-5任一项所述方法的基于移动设备的问卷和表格数 字化识别系统，其特征在于：包括：问卷或表格的分割部分、校准部分和识别部分，其中： 所述问卷或表格的分割部分：根据纸质问卷或者表格图片的角点特征，使用 VuforiaSDK训练样本图片，在复杂多变的背景中快速高效的分割出问卷或表格； 所述问卷或表格的校准部分：根据OpenGL系统中的坐标变换，将分割出问卷或表格的 物体坐标转换为屏幕坐标，并通过仿射变换来校准各种位置的问卷或表格； 所述问卷或表格的识别部分：对校准的问卷或表格进行图像处理，按照顺序将表中的 选项数字化，根据选择框中黑色区域占整个区域的比例来判读该选项是否被选，输出被选 中的选项的数字标号；根据数字标号和本地建立的问卷或者表格选项内容的SQL库，输出 被选中的选项及内容。7. 根据权利要求6所述的基于移动设备的问卷和表格数字化识别系统，其特征在于： 所述问卷或表格的分割部分：从复杂背景中分割出问卷，求出问卷或表格的四个顶点坐标， 首先根据问卷或表格的角点特征训练出相应的库，然后在移动设备中启动Vuforia SDK使 用训练的库对问卷或表格进行识别，识别过程中采用OpenGL渲染移动设备的界面，计算出 识别出问卷或表格的四个顶点在以问卷或表格为中心建立的坐标系下的三维坐标。8. 根据权利要求6所述的基于移动设备的问卷和表格数字化识别系统，其特征在于： 所述问卷或表格的校准部分：将问卷或表格的三维顶点坐标通过矩阵变换转换成移动设备 的屏幕坐标，即利用OpenGL中坐标系的转换，立模视矩阵和投影矩阵，并通过视口变换将 物体坐标系下的三维坐标转换为屏幕坐标，然后根据仿射变换将不同位置的问卷或表格校 准。9. 根据权利要求6所述的基于移动设备的问卷和表格数字化识别系统，其特征在于： 所述问卷或表格的识别部分：首先将整个问卷和表格的内容数字化，即按照从上到下及从 左往右的顺序建立问卷内容的数据库，以数字来代表问卷的选项，然后标定出每个选项的 选择框的位置，将数据保存在本地文件中，最后通过自适应阈值处理标定后的图片，通过阈 值处理、腐蚀、膨胀、腐蚀等形态学操作将图片二值化，然后计算每个选项区域中涂黑部分 占整个区域的比例，若比例大于某一阈值则判定该选项被选择，输出代表该选项的数字，然 后在数据库中匹配出该数字代表的选项及其内容，并输出结果。
【专利摘要】本发明提供一种基于移动设备的问卷和表格数字化识别方法及系统，首先根据纸质问卷或者表格图片的角点特征，训练样本图片，在背景中分割出问卷或表格，然后根据OpenGL系统中的坐标变换，将物体坐标转换为屏幕坐标并通过仿射变换来校准各种位置的问卷或表格，接着进行图像处理，按照顺序将表中的选项数字化，根据选择框中黑色区域占整个区域的比例来判读该选项是否被选，输出被选中的选项的数字标号。最后，根据数字标号和本地建立的问卷或者表格选项内容的SQL库，输出被选中的选项及内容。本发明能识别不同背景和光照下的问卷和表格，鲁棒性强，识别一张问卷大致花费几秒钟，准确率几乎达到百分之百，快速而高效。
【IPC分类】G06K9/42, G06K9/34, G06K9/00, G06K9/20
【公开号】CN104881641
【申请号】CN201510253647
【发明人】翟广涛, 林伟, 胡春嘉, 高忠派
【申请人】上海交通大学
【公开日】2015年9月2日
【申请日】2015年5月18日