一种书法作品智能评分方法和装置与流程

1.本技术涉及到图像处理领域，具体而言，涉及一种书法作品智能评分方法和装置。


背景技术：

2.伴随着经济的快速发展和科技的进步，中国传统文化受到越来越多人的关注，而书法是中国传统文化的重要表达形式和传播载体，它按照文字特点及其涵义，以相应笔法、结构和章法写字，使之成为富有美感的艺术作品，对传承和弘扬中国传统文化有着不可替代的重要作用。
3.在书法教学中，需要对书法学习效果进行测评，目前进行测评均是依靠书法教学老师来进行的，这一方面会增加书法教学老师的负担，另一方面，这种测评方法也会存在一定的主观因素。因此，传统书法评测已无法完全满足书法评测的要求，市场上还没有针对毛笔书法评测的应用研究。


技术实现要素：

4.本技术实施例提供了一种书法作品智能评分方法和装置，以至少解决现有技术中书法测评主要依靠人工来进行测评所导致的问题。
5.根据本技术的一个方面，提供了一种书法作品智能评分方法，包括：获取书法作品的第一图像，其中，所述第一图像是对所述书法作品进行拍摄得到的；将所述图像拆分成至少一张第二图像，其中，每张所述第二图像中均包括一个书写的汉字；将每个所述第二图像中的汉字进行提取得到每个所述第二图像对应第一汉字；确定每个所述第一汉字对应的字体；根据每个所述第一汉字与标准字库中的第二汉字进行比较，并确定所述第一汉字的得分，其中，所述第二汉字与所述第一汉字为同一汉字，所述第二汉字与所述第一汉字的字体相同。
6.进一步地，确定所述每个第一汉字对应的字体包括：将所述第一汉字与所述标准字库中的该汉字对应的不同字体进行比较；将相似度最高的字体作为所述第一汉字所属的字体。
7.进一步地，根据每个所述第一汉字与是是标准字库中的所述第二汉字进行比较并确定所述第一汉字的得分包括：将所述第一汉字输入第一机器学习模型中，其中，所述第一机器学习模型是通过多组训练数据进行训练得到的，每组训练数据均包括输入数据和输出数据，所述输入数据为两个相同的汉字，所述两个相同的汉字中一个是书写得到的汉字，另一个是标准字库中的汉字，所述相同的两个汉字是同一字体的；所述输出数据是对所述书写得到的汉字的评分，所述评分用于指示所述书写得到的汉字与所述标准字库中的汉字的差异；将所述第一机器学习模型中的输出作为所述第一汉字的得分。
8.进一步地，在使用所述多组训练数据对所述第一机器学习模型进行训练后；使用验证数据对所述第一机器学习模型进行验证，其中，所述验证数据与所述训练数据组成相同；在对所述第一机器学习模型验证通过后，将所述第一汉字输入到所述第一机器学习模
型中。
9.进一步地，还包括：在所述第一学习模型验证通过后，获取增加的至少一组训练数据；使用所述增加的至少一组训练数据对所述第一机器学习模型进行增量训练；使用增量训练后的第一机器学习模型进行汉字的评分。
10.根据本技术的另一个方面，还提供了一种书法作品智能评分装置，包括：第一获取模块，用于获取书法作品的第一图像，其中，所述第一图像是对所述书法作品进行拍摄得到的；拆分模块，用于将所述图像拆分成至少一张第二图像，其中，每张所述第二图像中均包括一个书写的汉字；提取模块，用于将每个所述第二图像中的汉字进行提取得到每个所述第二图像对应第一汉字；第一确定模块，用于确定每个所述第一汉字对应的字体；第二确定模块，用于根据每个所述第一汉字与标准字库中的第二汉字进行比较，并确定所述第一汉字的得分，其中，所述第二汉字与所述第一汉字为同一汉字，所述第二汉字与所述第一汉字的字体相同。
11.进一步地，所述第一确定模块用于：将所述第一汉字与所述标准字库中的该汉字对应的不同字体进行比较；将相似度最高的字体作为所述第一汉字所属的字体。
12.进一步地，所述第二确定模块用于：将所述第一汉字输入第一机器学习模型中，其中，所述第一机器学习模型是通过多组训练数据进行训练得到的，每组训练数据均包括输入数据和输出数据，所述输入数据为两个相同的汉字，所述两个相同的汉字中一个是书写得到的汉字，另一个是标准字库中的汉字，所述相同的两个汉字是同一字体的；所述输出数据是对所述书写得到的汉字的评分，所述评分用于指示所述书写得到的汉字与所述标准字库中的汉字的差异；将所述第一机器学习模型中的输出作为所述第一汉字的得分。
13.进一步地，还包括：验证模块，用于在使用所述多组训练数据对所述第一机器学习模型进行训练后；使用验证数据对所述第一机器学习模型进行验证，其中，所述验证数据与所述训练数据组成相同；所述第二确定模块用于在对所述第一机器学习模型验证通过后，将所述第一汉字输入到所述第一机器学习模型中。
14.进一步地，还包括：第二获取模块，用于在所述第一学习模型验证通过后，获取增加的至少一组训练数据；增量训练模块，用于使用所述增加的至少一组训练数据对所述第一机器学习模型进行增量训练；其中，所述增量训练后的第一机器学习模型用于进行汉字的评分。
15.在本技术实施例中，采用了获取书法作品的第一图像，其中，所述第一图像是对所述书法作品进行拍摄得到的；将所述图像拆分成至少一张第二图像，其中，每张所述第二图像中均包括一个书写的汉字；将每个所述第二图像中的汉字进行提取得到每个所述第二图像对应第一汉字；确定每个所述第一汉字对应的字体；根据每个所述第一汉字与标准字库中的第二汉字进行比较，并确定所述第一汉字的得分，其中，所述第二汉字与所述第一汉字为同一汉字，所述第二汉字与所述第一汉字的字体相同。通过本技术解决了现有技术中书法测评主要依靠人工来进行测评所导致的问题，从而提高了书法测评的便利性和效率，节约了人工成本。
附图说明
16.构成本技术的一部分的附图用来提供对本技术的进一步理解，本技术的示意性实
施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
17.图1是根据本技术实施例的获取得到的原始的书法图像的示意图；
18.图2是根据本技术实施例的裁剪后的单字图像的示意图；
19.图3是根据本技术实施例的部分书法作品单字识别结果的示意图；
20.图4是根据本技术实施例的单字图像识别的示意图；
21.图5是根据本技术实施例的书法单字数据集初次训练过程acc趋势图；
22.图6是根据本技术实施例的书法单字数据集初次训练过程loss趋势图；
23.图7a是根据本技术实施例的首次训练模型结构和输出维度的示意图；
24.图7b是根据本技术实施的增量学习模型增量学习结构和输出维度示意图；
25.图8是根据本技术实施例的垃圾分类数据集增量学习前后loss趋势图；
26.图9是根据本技术实施例的垃圾分类数据集增量学习前后acc趋势图；以及，
27.图10是根据本技术实施例的书法作品智能评分方法的流程图。
具体实施方式
28.需要说明的是，在不冲突的情况下，本技术中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本技术。
29.需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
30.在本实施例中，提供了一种书法作品智能评分方法，图10是根据本技术实施例的书法作品智能评分方法的流程图，如图10所示，该流程包括如下步骤：
31.步骤s102，获取书法作品的第一图像，其中，所述第一图像是对所述书法作品进行拍摄得到的；
32.步骤s104，将所述图像拆分成至少一张第二图像，其中，每张所述第二图像中均包括一个书写的汉字；
33.步骤s106，将每个所述第二图像中的汉字进行提取得到每个所述第二图像对应第一汉字；
34.该第一汉字为书写的汉字。提取的方式可以使用图像处理的方式，将该第二图像转成二值化图像，然后提取该二值化后的图像中的汉字。
35.或者，可以训练一个机器学习模型，该机器学习模型称为第二机器学习模型，该第二机器学习模型是使用多组训练数据训练得到的，所述多组训练数据中的每一组训练数据均包括输入数据和输出数据，其中，所述输入数据为一张带有一个汉字的图片，所述输出数据是将所述汉字从所述图片中扣取出来后形成的矢量文字。经过训练之后，将所述第二图像输入到所述第二机器学习模型中得到所述第二图像对应的第一汉字。
36.步骤s108，确定每个所述第一汉字对应的字体；
37.在该步骤中，确定第一汉字对应的字体有很多方式，例如，将所述第一汉字与所述标准字库中的该汉字对应的不同字体进行比较；将相似度最高的字体作为所述第一汉字所属的字体。
38.或者，作为另一个可选的实施方式，可以训练另一个机器学习模型，该机器学习模
型可以称为是第三机器学习模型，该第三机器学习模型是使用多组训练数据训练得到的，所述多组训练数据中的每一组训练数据均包括输入数据和输出数据，其中，所述输入数据为一个书写的汉字，所述输出数据是该汉字对应的字体。经过训练之后，将所述所述第一汉字输入到所述第三机器学习模型中得到所述第一汉字对应的字体。
39.步骤s110，根据每个所述第一汉字与标准字库中的第二汉字进行比较，并确定所述第一汉字的得分，其中，所述第二汉字与所述第一汉字为同一汉字，所述第二汉字与所述第一汉字的字体相同。
40.在本实施例中，也可以使用机器学习的方式来进行实施。可以将所述第一汉字输入第一机器学习模型中，其中，所述第一机器学习模型是通过多组训练数据进行训练得到的，每组训练数据均包括输入数据和输出数据，所述输入数据为两个相同的汉字，所述两个相同的汉字中一个是书写得到的汉字，另一个是标准字库中的汉字，所述相同的两个汉字是同一字体的；所述输出数据是对所述书写得到的汉字的评分，所述评分用于指示所述书写得到的汉字与所述标准字库中的汉字的差异；将所述第一机器学习模型中的输出作为所述第一汉字的得分。
41.在使用所述多组训练数据对所述第一机器学习模型进行训练后；使用验证数据对所述第一机器学习模型进行验证，其中，所述验证数据与所述训练数据组成相同；在对所述第一机器学习模型验证通过后，将所述第一汉字输入到所述第一机器学习模型中。
42.该机器学习模型可以是支持增量训练的模型，即，在所述第一学习模型验证通过后，获取增加的至少一组训练数据；使用所述增加的至少一组训练数据对所述第一机器学习模型进行增量训练；使用增量训练后的第一机器学习模型进行汉字的评分。
43.在上述步骤之后，还可以根据对每个字的评分，获取该书法作品的整体得分，例如可以将每个字评分的平均值作为所述书法作品的评分。
44.作为另一个可选的实施方式，上述方法可以在服务器中实施，还可以提供一个客户端，该客户端可以是网页也可以是一个应用或者软件，以下为了描述方便，使用应用代表客户端。用户可以在应用中进行登录，然后上传自己的写的书法作品，在所述书法作品中的第一汉字被识别出来之后，获取所述用户历史上上传过并进行过评分的与该第一汉字相同的汉字，将该第一汉字以及对应的得分，以及与该第一汉字相同的汉字对应得分均显示给所述用户，并且将历史得分以及该第一汉字得分显示为曲线，这样有利于用户看到自己的进步或退步。
45.通过上述步骤解决了现有技术中书法测评主要依靠人工来进行测评所导致的问题，从而提高了书法测评的便利性和效率，节约了人工成本。
46.下面结合一个可选的实施例进行说明。本可选实施例适用于书法教学和书法学习效果测评，提升书法学习的氛围和减轻书法教学及评测的工作负担，运用信息化的手段，结合图像采集，图像裁剪，大数据分析实现毛笔书法的人工智能评测，支持从儿童到成人全年龄覆盖的习字评测，同时支持单字评测，多字评测。实现对笔画、结构、章法等维度进行分析打分并给出相对应的学习改进意见。
47.在本实施例中，需要首先进行图像采集，例如，可以利用无线高清视频录直播系统进行图像采集，采集标准:分辨率1920
×
1080，帧率25。摄像机权限分配：为教室内的每一个摄像机，分配权限，教师可以管控所有摄像机，学生只能操控本座位号所对应的摄像机。在
使用摄像机进行采集之后，从采集到的视频中获取书法作品的图像或者图片。
48.在采集后，将采集到的图像传输到文件服务器，例如，可以将图片生成码流用网页服务(webservice)传输至文件服务器。
49.在文件服务器可以对作品图像裁剪和提取，裁剪和提取的方式有很多，例如可以根据书法作品图像的背景和前景特征，对拍摄的书法作品图像进行颜色范围过滤，定位到纸张所在区域，并进行二值化得到二值图像，对二值图像进行垂直和水平投影，得到垂直和水平投影直方图，根据直方图的数值特征可以较为准确地辨别出每个字之间的边界，有效书写区域的直方图数值较大，而边界部分直方图数值趋近于0。根据直方图的数值变化，可以动态地计算出书法作品的行数和列数，实现二维空间的行列划分，具体计算公式如下：
50.row＝count(rows)/2
51.col＝count(cols)/2
52.公式中rows和cols分别存储了每一行和每一列的起始坐标和终止坐标，row和col则表示书法作品中实际行列数，count()用于标识计数。
53.本实施例的测试数据为摄像头拍摄的如图1所示的一幅完整书法作品图像，格式为3行4列米字格，米字格规格为9cm*9cm，需要对书法作品图像进行裁剪，进而得到符合识别模型输入要求的单字图像，剪裁后的单字图像如图2所示。
54.在另一个可选的实施方式中，可以通过机器学习的方式对图片进行裁剪。使用多组训练数据训练得到一个机器学习模型，该多组训练数据中的每一组数据均包括输入数据和输出数据，输入数据是书写有多个汉字的书法作品，输出数据是将所述多个汉字进行剪裁得到的多张图片，其中，每张图片均包括所述书法作品中的一个汉字。
55.在进行裁剪之后，对于裁剪得到的每个图像进行汉字识别。汉字识别的方式有很多种，例如，可以建立包含多个(在本实施例中为3757个)常用字的单字数据集，其中，每个字包括简体和繁体在内的多种(在本实施例中为约100种)字体风格。将这些数据做训练数据(在本实施例中称为是汉字训练数据)，使用一种基于机器学习训练书法作品单字识别模型的增量学习方法，进行训练。训练得到的模型可以进行汉字识别了。该增量学习方法便于在实际训练过程中进行模型扩充，提高前序训练权重的利用率，在模型扩充过程中耗费更短的时间达到与前序训练相同甚至更优的训练效果；详细描述了基于标准米字格的汉字书法作品从裁剪到识别的一系列流程，提出了兼容性和准确率较高的书法作品裁剪和手写汉字识别算法(例如，在图4中，使用分类器识别出禅字)，为书法作品图像处理提供了更加优化的思路。
56.为了保证输入数据灰度范围的一致性和图像二值化输出的视觉效果，进而提升书法作品单字识别算法的鲁棒性，在测试前对所有测试图片进行灰度归一化处理，将图片的灰度值统一缩放至0～255这一区间。
57.书法作品单字识别模型的准确性，在本实施例中构建了包含1840张不同风格书法单字图片的测试集进行测试，由于汉字的颜色信息在识别过程中不是主要依据，为简化计算过程，所有图片均调整为单通道并进行二值化处理，由于书法作品数据集采集较为困难，可能有部分汉字未包含在测试集中，识别准确率为97.02％，部分测试结果如图3所示。
58.在一个可选的实施方式中，为了更好的进行数据分析，可以将数据(例如，上述的汉字训练数据)划分为训练集、验证集两部分，除此之外还可以采集测试数据来进行测试。
上述的汉字训练数据主要来源于预定操作系统中的字体库生成ttf格式的文件，针对3755个常用汉字生成包含若干种字体的共计约260000张格式为rgb三通道的jpg文件，可以近似认为与书法作品字体一致。验证集与训练集保持一致，每个epoch训练结束后从训练集中随机选取80个样本验证模型的准确率。测试数据来源于现场采集的书法作品练习样本，共计包含约1800余张图片，为了充分验证模型的泛化能力，测试数据中所有样本均不参与训练，考虑到本实施例中涉及的问题与图像色彩没有直接关系，测试数据全部转换为分辨率为256*256的单通道jpg格式图片。
59.将图片输入尺寸设为200*200，格式为rgb三通道的jpg，batch_size设置为64，每个epoch的训练步长设为100，初始学习率设置为0.01，并将学习率设置为动态衰减模式，根据训练过程中loss的变化情况动态调整学习率，以便获得更加优化的训练结果，激活函数选择了在多分类问题中应用广泛的softmax，损失函数设置为categorical_crossentropy。为了避免训练过程中过拟合，还可以采用图像缩放、平移等方式进行数据增强。
60.初次训练的实验过程主要包括加载预训练模型和加载训练数据两部分，按照前述的参数设置进行迭代训练，训练过程中的验证准确率和损失函数值变化如图5和图6所示，可以看出随着迭代次数增加，验证准确率不断提升，损失函数值不断减小，证明分类模型训练有效。图7a是根据本技术实施例的首次训练模型结构和输出维度的示意图；图7b是根据本技术实施的增量学习模型增量学习结构和输出维度示意图，通过图7a和图7b就可以看到前后模型结构及输出维度对比。
61.为了进一步验证增量学习模型的有效性，本实施例中还可以在对书法作品数据集进行验证的基础上对垃圾分类数据集进行进一步测试，实验结果如图8、图9以及表1所示：
62.表1增量学习实验结果对比表
[0063][0064][0065]
由上表可以看出，针对两种数据集进行增量学习后训练时长可以缩短至前序训练的30％左右，且验证准确率也由于数据丰富度的提升而提升，说明基于resnet
‑
50的增量学习方式能够明显地提高模型类别扩充的效率，便于在实际应用中快速迭代生成适应新场景的分类模型。
[0066]
通过上述训练得到的模型，基于输入的学生书法作品与标准字体风格的相似程度为该书法作品进行打分，最终通过机器学习的方式实现了自动为学生作品打分的目的。
[0067]
针对图像特定字符的定位和分割问题，可以通过字符的宽度以及字符间的间隔宽度，对传统垂直投影分割算法的分割过程进行限制，可有效解决对左右结构汉字的错误分割，提高字符分割的准确率。
[0068]
针对手写字符的识别问题，可以基于循环神经网络的汉字识别模型，将汉字识别
问题转换为多分类问题，进而利用rnn网络对已分类的汉字数据集进行训练，达到汉字识别的目的。基于卷积神经网络和am
‑
softmax特征提取的增量学习模型，并在mnist、emnist和cifar
‑
100等公开数据集上进行测试得到较好的结果。
[0069]
本实施例结合汉字识别模型持续扩充的现实场景，建立了一套包含3757个常用汉字的手写单字数据集，每个字包括简体和繁体在内的约100种字体风格；提出一种基于resnet
‑
50分类模型的增量学习方法，能够更加高效地实现模型的类别扩充，提高前序训练权重的利用率，在增加新类的情况下耗费更短的时间达到同样的训练效果，并结合以上方法，在书法作品数据集和垃圾分类数据集上进行验证，证明了基于resnet
‑
50的增量学习方法在书法作品单字识别和垃圾分类的实际应用场景中能够显著提升模型扩充的效率和精度。
[0070]
综上所述，本实施例通过不断的数据评测能够使算法模型更强大，为书法教学积累丰富的教学经验，减轻老师的工作负担，同样通过大数据和人工智能技术促进学生的自我学习、满足不断变化的学习需求。促进传统文化和高科技技术的融合，促进传统文化的现代化发展需求，最终促进整个社会的进步。
[0071]
在本实施例中，提供一种电子装置，包括存储器和处理器，存储器中存储有计算机程序，处理器被设置为运行计算机程序以执行以上实施例中的方法。
[0072]
上述程序可以运行在处理器中，或者也可以存储在存储器中(或称为计算机可读介质)，计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd
‑
rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0073]
这些计算机程序也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤，对应与不同的步骤可以通过不同的模块来实现。
[0074]
在本实施例中就提供了一种书法作品智能评分装置，该装置包括：第一获取模块，用于获取书法作品的第一图像，其中，所述第一图像是对所述书法作品进行拍摄得到的；拆分模块，用于将所述图像拆分成至少一张第二图像，其中，每张所述第二图像中均包括一个书写的汉字；提取模块，用于将每个所述第二图像中的汉字进行提取得到每个所述第二图像对应第一汉字；第一确定模块，用于确定每个所述第一汉字对应的字体；第二确定模块，用于根据每个所述第一汉字与标准字库中的第二汉字进行比较，并确定所述第一汉字的得分，其中，所述第二汉字与所述第一汉字为同一汉字，所述第二汉字与所述第一汉字的字体相同。
[0075]
该装置用于实现上述方法的功能，该装置中的每个模块用于实现上述方法中的一个步骤，该模块与上述方法步骤一一对应，已经进行过说明的，在此不赘述。
[0076]
例如，所述第一确定模块用于：将所述第一汉字与所述标准字库中的该汉字对应的不同字体进行比较；将相似度最高的字体作为所述第一汉字所属的字体。所述第二确定模块用于：将所述第一汉字输入第一机器学习模型中，其中，所述第一机器学习模型是通过多组训练数据进行训练得到的，每组训练数据均包括输入数据和输出数据，所述输入数据为两个相同的汉字，所述两个相同的汉字中一个是书写得到的汉字，另一个是标准字库中的汉字，所述相同的两个汉字是同一字体的；所述输出数据是对所述书写得到的汉字的评分，所述评分用于指示所述书写得到的汉字与所述标准字库中的汉字的差异；将所述第一机器学习模型中的输出作为所述第一汉字的得分。
[0077]
又例如，所述装置还可以包括：验证模块，用于在使用所述多组训练数据对所述第一机器学习模型进行训练后；使用验证数据对所述第一机器学习模型进行验证，其中，所述验证数据与所述训练数据组成相同；所述第二确定模块用于在对所述第一机器学习模型验证通过后，将所述第一汉字输入到所述第一机器学习模型中。或者还可以包括：第二获取模块，用于在所述第一学习模型验证通过后，获取增加的至少一组训练数据；增量训练模块，用于使用所述增加的至少一组训练数据对所述第一机器学习模型进行增量训练；其中，所述增量训练后的第一机器学习模型用于进行汉字的评分。
[0078]
通过本实施例解决了现有技术中书法测评主要依靠人工来进行测评所导致的问题，从而提高了书法测评的便利性和效率，节约了人工成本。
[0079]
以上仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。