基于机器视觉的矩阵计算器及矩阵识别方法
【技术领域】
[0001] 本发明属于基于模式识别和图像处理技术的智能计算器领域，特别是一种基于机 器视觉的矩阵计算器及实现方法。
【背景技术】
[0002] 计算器是工程技术人员、科研人员和理工科学生们进行工程实践、从事科学研宄 工作等所必需的利器。矩阵分析与计算在科学计算中有着重要的地位。
[0003] 然而，通过分析现有市场不难发现，具有矩阵计算能力的计算器和计算型软件并 不多见，更重要的是，它们缺乏灵活性与易用性。它们一般需要先将计算器/计算软件设置 为矩阵计算模式，然后从仅有的几种预定义尺寸的矩阵中选择一个，之后便需要将矩阵元 素一个个小心翼翼地输入进去，这种方式效率低下，尤其是当矩阵的阶数为三阶及其以上 时，用户在矩阵输入上浪费了大量的宝贵时间。
[0004] 中国实用新型专利CN 202916831 U公开了一种多功能矩阵计算器，通过输入矩 阵实现矩阵运算，该矩阵运算器需要手动输入矩阵元素，不仅效率低下，还容易出现输入错 误，影响使用效果。
【发明内容】
[0005] 针对当前具有矩阵计算能力的计算器和计算型软件并不多见，且仅有的这些计算 器和计算软件灵活性与易用性较差这一现象，为了变繁为简，提高矩阵计算器的易用性，大 幅度改善用户体验，本发明给出的基于机器视觉的矩阵计算器同传统计算器相比，特色鲜 明地解决了这些问题。矩阵图像识别技术让矩阵的输入便捷高效，而传统键盘输入可以在 矩阵识别有误时进行局部修改。本发明旨在实现一种"即拍即算"的全新设计，让计算器使 用起来更加方便。
[0006] 实现本发明目的的技术方案为：一种基于机器视觉的矩阵计算器，包括摄像头、图 像处理模块、用户界面、显示器、键盘和运算模块；
[0007] 所述摄像头与图像处理模块相连，将采集的矩阵图像传输给图像处理模块，图像 处理模块识别矩阵的行数、列数和矩阵元素；所述图像处理模块与运算模块相连，运算模块 加载并执行矩阵运算算法，对接受到的矩阵元素进行运算，所述运算模块与用户界面相连， 用户界面将矩阵的行数、列数和矩阵元素绘制出来，所述用户界面与显示器相连，显示器显 示用户界面上绘制的内容；所述键盘与用户界面相连，用于输入数据和选择功能。
[0008] 一种基于机器视觉的矩阵计算器的矩阵识别方法，包括以下步骤：
[0009] 步骤1、输入矩阵图像，将矩阵图像转换为灰度图像A ;
[0010] 步骤2、使用自适应二值化方法对灰度图像A进行二值化处理，得到二值图像B ;
[0011] 步骤3、对二值图像B进行连通域提取和面积滤波；
[0012] 步骤4、使用投影法对矩阵元素进行聚类；所述矩阵元素为矩阵中的数据项；
[0013] 步骤5、使用卷积神经网络识别矩阵元素；
[0014] 步骤6、输出矩阵的行数、列数和所有矩阵元素值。
[0015] 与现有技术相比，本发明的优点为：（1)本发明通过数字图像分析和模式识别技 术，可以直接从数字图像中获得手写体矩阵元素或者印刷体矩阵元素，这同传统计算器的 数据输入方式相比，大大提高了矩阵数据的输入效率；（2)本发明从理念上改变了计算器 的数据输入方式，旨在实现一种"即拍即算"的全新设计，让计算器使用起来更加简单与高 效；（3)本发明不仅可以通过摄像头采集矩阵图像信息，还可以通过键盘手动输入，提高了 数据输入的准确性。
[0016] 下面结合附图对本发明作进一步详细描述。
【附图说明】
[0017] 图1是本发明实施例1的结构示意图。
[0018] 图2是本发明实施例2的结构示意图。
[0019] 图3是本发明实施例的矩阵识别算法流程和中间结果图。
【具体实施方式】
[0020] 结合图1、图2,本发明的一种基于机器视觉的矩阵计算器，包括摄像头、图像处理 模块、用户界面、显示器、键盘和运算模块；
[0021] 所述摄像头与图像处理模块相连，将采集的矩阵图像传输给图像处理模块，图像 处理模块识别矩阵的行数、列数和各个矩阵元素；所述图像处理模块与运算模块相连，运 算模块加载并执行矩阵运算算法，对接受到的矩阵元素进行运算，所述运算模块与用户界 面相连，用户界面将矩阵的行数、列数和各个矩阵元素绘制出来，所述用户界面与显示器相 连，显示器显示用户界面上绘制的内容；所述键盘与用户界面相连，用于输入数据和选择功 能。
[0022] 所述图像处理模块包括矩阵图像预处理模块、数字字符提取模块，矩阵元素聚类 模块和数字字符识别模块。
[0023] 所述功能函数模块中的算法包括对矩阵的加法、减法、乘法、乘方、行列式、秩、逆 矩阵、特征值和特征向量。
[0024] 所述摄像头为微型的、可自动快速聚焦的摄像头，分辨率不低于640x480像素；所 述显示器为LCD液晶显示器或者触摸屏；所述键盘为实体键盘或应用于触摸屏的电子虚拟 键盘。
[0025] 结合图3, 一种基于机器视觉的矩阵计算器的矩阵识别方法，包括以下步骤：
[0026] 步骤1、输入矩阵图像，将矩阵图像转换为灰度图像A ;
[0027] 步骤2、使用自适应二值化方法对灰度图像A进行二值化处理，得到二值图像B ;具 体为：
[0028] 步骤2-1、计算图像中的每一个像素值的阈值：
[0029]
【主权项】
1. 一种基于机器视觉的矩阵计算器，其特征在于，包括摄像头、图像处理模块、用户界 面、显示器、键盘和运算模块； 所述摄像头与图像处理模块相连，将采集的矩阵图像传输给图像处理模块，图像处理 模块识别矩阵的行数、列数和矩阵元素；所述图像处理模块与运算模块相连，运算模块加载 并执行矩阵运算算法，对接受到的矩阵元素进行运算，所述运算模块与用户界面相连，用户 界面将矩阵的行数、列数和矩阵元素绘制出来，所述用户界面与显示器相连，显示器显示用 户界面上绘制的内容；所述键盘与用户界面相连，用于输入数据和选择功能。
2. 根据权利要求1所述的基于机器视觉的矩阵计算器，其特征在于，所述摄像头为微 型的、可自动快速聚焦的摄像头，分辨率不低于640x480像素；所述显示器为LCD液晶显示 器或者触摸屏。
3. 根据权利要求1所述的基于机器视觉的矩阵计算器，其特征在于，所述键盘为实体 键盘或应用于触摸屏的电子虚拟键盘。
4. 一种基于权利要求1所述的基于机器视觉的矩阵计算器的矩阵识别方法，其特征在 于，包括以下步骤： 步骤1、输入矩阵图像，将矩阵图像转换为灰度图像A ; 步骤2、使用自适应二值化方法对灰度图像A进行二值化处理，得到二值图像B ; 步骤3、对二值图像B进行连通域提取和面积滤波； 步骤4、使用投影法对矩阵元素进行聚类，所述矩阵元素为矩阵中的数据项； 步骤5、使用卷积神经网络识别矩阵元素； 步骤6、输出矩阵的行数、列数和所有矩阵元素值。
5. 根据权利要求4所述的基于机器视觉的矩阵计算器的矩阵识别方法，其特征在于， 步骤2所述的使用自适应二值化方法对灰度图像A进行二值化操作，得到二值图像B，具体 为： 击3娶笪图俛由的铒一个俛麦值的阈值：
Txy= V- xy_C 其中，Sxy表示灰度图像A中位于坐标（x，y)处的点的灰度值，Txy表示（x，y)点处的阈 值，dxy表示二值图像B中（x，y)处的像素值，μ xy表示（x，y)坐标邻域内的均值，C为设定 的参数，〇 < C < 255 ;如果当前像素的灰度值大于Txy，则将其标记为前景1，否则标记为背 景〇 ; 步骤2-2、对灰度图像A二值化，得到二值图像B。
6. 根据权利要求4所述的基于机器视觉的矩阵计算器的矩阵识别方法，其特征在于， 步骤3所述的在二值图像B中进行连通域提取和面积滤波，具体为： 步骤3-1、根据基于轮廓的连通域标记算法在二值图像B中提取连通域，得到各个连通 域的中心坐标、宽度和高度； 步骤3-2、根据各个连通域相对于整体图像的面积对连通域进行筛选，只保留符合要求 的连通域，面积太小的可以视为噪声； 筛选的规则为：设整幅图像的宽度为Width，高度为Height，共有N个连通域；其中，第 i个连通域的宽度为Wi,高度为比（I < i < N)，则第i个连通域面积占整幅图像面积的比 例h为：
当!^时，第i个连通域为噪声；而当t i> Ttl时，第i个连通域有效，保留该连通 域；参数Ttl根据实验结果设定。
7. 根据权利要求4所述的基于机器视觉的矩阵计算器的矩阵识别方法，其特征在于， 步骤4所述使用投影法对矩阵元素进行聚类具体为： 步骤4-1、根据中心点的y坐标对所有连通域由小到大进行排序； 步骤4-2、使用阈值Ty，根据每相邻两个连通域y坐标之间的绝对差值对连通域进行聚 类，得到矩阵的行数和每一个连通域的行号；聚类的方法为：
上式中，yi表示升序排序后第i个连通域的y坐标，C i表示升序排序后第i个连通域 的类别标签，并且初始条件下C1= 1 ;当相邻两个连通域的y坐标之间的绝对差值小于阈值 1；时，这两个连通域属于同类，否则属于不同的类。阈值Ty由下式给出：
其中，N表示连通域的总个数Ai表示第i个连通域的高度，参数α为可调的经验参数， 0· 8 彡 α 彡 2. 5 ; 步骤4-3、在上一步的基础上，根据中心点X坐标对所有连通域再次进行由小到大排 序； 步骤4-4、在同一行上，使用阈值Tx，根据每相邻两个连通域X坐标之间的绝对差值 对连通域进行聚类，得到矩阵的列数和每一个连通域的列号；ΤΧ表达式为：
其中，Wi表示第i个连通域的宽度，参数β为可调的经验参数，1. 2彡β彡2. 5 ; 步骤4-5、将行号和列号相同的连通域组合在一起，构成一个完整的矩阵元素。
8. 根据权利要求4所述的基于机器视觉的矩阵计算器的矩阵识别方法，其特征在于， 步骤5所述使用卷积神经网络识别矩阵元素具体为： 步骤5-1、对一个完整的矩阵元素进行分割，得到字符图像； 步骤5-2、将每一个字符图像缩放到32x32像素； 步骤5-3、使用卷积神经网络对各个字幅图像进行识别； 步骤5-4、根据字符的左右顺序，将识别结果组织成字符串后转换成浮点数。
【专利摘要】本发明公开了一种基于机器视觉的矩阵计算器及实现方法，矩阵计算器包括摄像头、图像处理模块、用户界面、显示器、键盘和能够执行矩阵运算的运算模块；本发明从手写/印刷矩阵图像中直接分离并识别出矩阵中的元素，然后使用内置的函数根据用户选择进行矩阵运算；通过数字图像分析和模式识别技术，改变了传统计算器的数据输入方式，实现即拍即算，让计算器的使用更加简单与高效。
【IPC分类】G06F15-02, G06K9-00
【公开号】CN104636309
【申请号】CN201510065308
【发明人】邹城, 茅耀斌, 郭唐仪, 刘康, 张夏清, 许晋河, 穆志洋, 吴中山, 王建博, 徐茜, 徐杰, 刘思源, 姚怡超, 邢成欢, 程聪, 陈国丰
【申请人】南京理工大学
【公开日】2015年5月20日
【申请日】2015年2月6日