一种基于卷积神经网络的数学公式识别系统

本发明涉及卷积神经网络，尤其涉及一种基于卷积神经网络的数学公式识别系统。

背景技术：

1、卷积神经网络(简称cnn)是一种具有局部连接、权值共享等特点的深层前馈神经网络，是深度学习的代表算法之一，擅长处理图像特别是图像识别等相关机器学习问题，比如图像分类、目标检测、图像分割等各种视觉任务中都有显著的提升效果，是目前应用最广泛的模型之一。

2、在数学领域，卷积神经网络可以用于识别数学公式，将包含手写数学公式的图像做预处理，再利用卷积神经网络模型识别出数学公式，以便于机器能够快速读取数学公式信息。但现有的识别技术侧重于单个数学公式的识别和读取，在数学公式分类方面缺乏一定的智能性和成长性。

3、针对上述的技术缺陷，现提出一种解决方案。

技术实现思路

1、本发明的目的在于：通过构建卷积神经网络模型提取预设数学公式数据集的特征数据；通过调用卷积神经网络模型提取待识别图像的特征数据，再使用遍历算法将待识别图像的特征数据与预设数学公式数据集中的特征数据进行逐一比对，通过计算比对差值衡量数据相似度，若比对差值达到预设范围，则输出端直接输出识别结果；若比对差值未达到预设范围，结果处理单元接收比对结果并作出相应处理；同时结果处理单元临时储存识别结果，当储存数据量达到预设值时，将图像数据分类上传至预设数学公式数据集，以实现实现实时更新和扩大预设数学公式数据集，使数学公式识别系统的成长性大大增加。

2、为了实现上述目的，本发明采用了如下技术方案：

3、一种基于卷积神经网络的数学公式识别系统，包括模型构建单元、模型储存单元、输入端、特征提取单元、相似度对比单元、输出端和结果处理单元；

4、模型构建单元用于建立初始数据集进行预处理并生成处理数据，通过若干处理数据对卷积神经网络进行训练并测试，通过测试结果调整并确定卷积神经网络模型，当生成卷积神经网络模型时发送到模型储存单元；模型储存单元用于储存构建的卷积神经网络模型和预设数学公式数据集；

5、输入端用于输入待识别公式的图像并将其发送至特征提取单元，特征提取单元通过调用模型储存单元的卷积神经网络模型提取待识别公式图像的特征数据，并将其发送至相似度对比单元；相似度对比单元通过将待识别公式图像的特征数据和预设数学公式数据集中的图像特征数据进行对比，产生相应信号并发送至输出端输出；结果处理单元接收来自输出端的不同信号后分别作出对应处理。

6、进一步的，建立初始数据集并进行预处理的过程如下：

7、收集预设数量的数学公式图像，将图像分为训练图像、验证图像、测试图像并对应储存在训练集、验证集和测试集中，并对图像数据做预处理；其中预处理的过程如下：按照预设值通过缩放或裁剪的方法调整图像大小使得所有图像的大小统一，再对训练集的图像执行数据增强操作，再将经过数据增强的训练集图像和未做数据增强操作的验证集图像以及测试图像做归一化处理；其中数据增强的方式为对训练图像进行随机的变换，包括旋转、翻转、平移、缩放、剪切、亮度和对比度，以增加数据的多样性。

8、进一步的，归一化的处理过程如下：

9、通过计算机视觉库提取输入图像的像素值作为原始数据，通过对原始数据进行线性变换把数据映射到区间[0,1]之间，变换函数为：

10、

11、其中，output表示输出图像像素值，input表示输入图像像素值，max(input)、min(input)分别表示输入像素的最大值和最小值。

12、进一步的，构建卷积神经网络模型的过程如下：

13、定义卷积神经网络的架构，主要包括卷积层、池化层和全连接层，按照预设值输入相应参数，包括卷积核的权重和偏置、池化类型、池化核的大小和步长、全连接层的权重矩阵和偏置向量；定义交叉熵损失函数，用于衡量预测值与真实值之间的差异，其中交叉熵损失函数的函数表达式为：

14、

15、其中，ce为交叉熵，n是样本总数，c是类别总数，yij是第i个样本属于第j个类别的真实概率(通常为0或1)，yij是第i个样本属于第j个类别的预测概率，其中预测概率通过soft max函数得到。

16、进一步的，训练卷积神经网络的过程如下：

17、对卷积神经网络进行权值的初始化，具体为在训练之前给每个权重参数通过正态分布初始化方法赋予一个初始值；输入训练集图像经过卷积层、池化层、全连接层的向前传播得到输出值；通过交叉熵损失函数求出网络的输出值与目标值之间的误差；当误差大于预设值时，将误差传回网络中，依次求得全连接层，池化层，卷积层的误差，再根据求得误差进行权值更新，重新输入训练集图像计算误差；当误差等于或小于预设值时，结束训练；其中，训练过程中，每完成预设次数的循环计算，使用验证集图像对卷积神经网络进行验证，用于调整卷积神经网络的超参数。

18、进一步的，测试卷积神经网络的过程如下：

19、随机选取预设数量的测试集图像并将其输入至卷积神经网络中，计算分析卷积神经网络的识别正确率，当正确率大于或等于预设值时，测试通过，将该卷积神经网络标定为卷积神经网络模型；反之，重新选取训练集图像对卷积神经网络进行训练，直到测试通过；其中，识别正确率的计算过程公式为其中，p为识别正确率，m为测试过程中输入的测试集图像数量，n为正确识别结果的数量。

20、进一步的，预设数学公式数据集的构建过程如下：

21、收集预设数量的数学公式图像并按照其所表示的数学概念进行分类，将分类好的数学公式按照训练集图像的预处理方式进行预处理分析，将经过预处理的预设数学公式图像输入至卷积神经网络模型中，通过模型中的卷积计算提取出图像特征数据，再将提取的预设数学公式图像特征数据储存至模型储存单元。

22、进一步的，特征提取单元的工作过程如下：

23、输入端连接有特征提取单元，特征提取单元接收到输入端发送的待识别公式图像数据后，按照训练集图像预处理方式对输入图像做预处理分析，再调用模型储存单元的卷积神经网络模型对输入图像做进一步分析，具体为经过卷积层、池化层和全连接层提取出待识别公式图像的特征数据。

24、进一步的，相似度对比单元的工作过程如下：

25、相似度对比单元接收特征提取单元发送的待识别公式图像的特征数据，使用遍历算法将其与预设数学公式数据集中的图像特征数据进行逐一比对，计算其与预设数学公式数据集中的图像特征数据之间的比对差值并产生相应信号，比对差值越小，则相似度越高；其中，比对差值的计算公式为δ＝max{|aij-bij|}，其中aij、bij分别为待识别公式图像的特征数据与预设数学公式数据集中的图像特征数据中第i行第j列的数值，|x|为取绝对值函数；

26、其中，信号的产生过程具体为：将比对差值的最小值记为δmin，将其分别与预设的临界值δ0、δ1进行比较，若δmin≤δ0，则产生第一信号，此时输出端直接输出识别结果；若δ0＜δmin≤δ1则产生第二信号发送至输出端；若δmin＞δ1，则产生第三信号发送至输出端；

27、其中，识别结果包含待识别公式图像包含的数学公式，以及该数学公式对应的类别。

28、进一步的，结果处理单元的的工作过程如下：

29、结果处理单元连接有输出端，当输出端接受到第二信号或第三信号时，将第二信号或第三信号发送至结果处理单元；

30、当结果处理单元接收到第二信号时，调取与待识别公式图像特征数据比对差值最小的n(n为奇数)个预设数学公式数据集中的比对结果，并将其与待识别公式图像特征数据共同发送至特征提取单元进行特征数据再提取，将再提取的比对结果的图像特征数据与待识别公式图像特征数据进行再次比对，输出比对差值最小的n-2个比对结果；对n-2个比对结果再次执行上述操作，直至最终只能输出唯一一个比对差值最小的比对结果，将其发送至输出端生成识别结果；

31、当结果处理单元接收到第三信号时，将提取的待识别公式图像特征数据临时储存，当储存数据数量达到预设值时，按照公式所表示的数学概念分类上传至预设数学公式数据集，以实现实时更新和扩大预设数学公式数据集。

32、综上所述，由于采用了上述技术方案，本发明的有益效果是：

33、通过构建卷积神经网络模型提取预设数学公式数据集的特征数据；通过调用卷积神经网络模型提取待识别图像的特征数据，再使用遍历算法将待识别图像的特征数据与预设数学公式数据集中的特征数据进行逐一比对，通过计算比对差值衡量数据相似度，若比对差值达到预设范围，则输出端直接输出识别结果；若比对差值未达到预设范围，结果处理单元接收比对结果并作出相应处理；同时结果处理单元临时储存识别结果，当储存数据量达到预设值时，将图像数据分类上传至预设数学公式数据集，以实现实现实时更新和扩大预设数学公式数据集，使数学公式识别系统的成长性大大增加。