拓片甲骨文字符图像增广方法、系统、计算机设备及介质与流程

本发明涉及一种拓片甲骨文字符图像增广方法、系统、计算机设备及存储介质，属于图像处理与人工智能领域。

背景技术：

甲骨文是我国现存最早的文字系统，也是世界上现存最早的象形文字之一，在商代被广泛用于各种事件的占卜，包括战争、农耕和医疗等活动，是当代人研究古代历史与文化的宝贵资料。自甲骨文被发掘以来，史学家对于甲骨文的研究已经取得一定的成果，包括甲骨残片缀合和甲骨文字考释等。但这些工作都严重依赖史学家的专业知识，并且在海量的史料面前，专家需要花费大量时间进行人工检索与理解，这会耗费大量的精力与时间，降低研究效率。随机计算机技术的发展，如何利用自动化技术加速甲骨文研究，以便更好地传承文化与发展这块文化瑰宝，具有十分重大的现实意义。

甲骨文研究自动化的第一阶段是通过拍照/扫描的手段将甲骨文史料转化成数字图像，第二阶段是将图像中的甲骨文识别成计算机可以存储并检索的文字编码数据库，第三阶段是利用数据库服务下游任务，包括甲骨残片自动缀合，甲骨史料检索等。目前关于甲骨文研究自动化的工作还处在第二阶段，虽然已有工作能在人工临摹的样本上达到比较好的识别效果，但在真实的拓片图片上的识别效果还非常差，这其中最大的障碍就是缺少拓片甲骨文字符训练数据。缺少数据的问题反映在两个层面：(1)样本总量受限于已出土文物的数量，因为拓片甲骨文字符取自真实甲骨片，这在客观层面上限制了拓片甲骨文字符的数量；(2)数据存在类别不平衡，与现代汉语类似，甲骨文中也存在低频/高频使用的字符，这导致相应类别的字符出土率低/高，以本发明所采用的数据库为例，样本量最少的类别仅包含1个样本，最高的类别包含上万个样本。因为这些问题的存在，使得识别模型难以从现有真实样本中学到有效的识别特征，尤其是对于缺少训练样本的类别，现有方法几乎不能识别，并且拓片中存在大量文字残缺、破损等噪声干扰，使得模型需要更多的数据驱动才能学到有效的识别特征。

技术实现要素：

有鉴于此，本发明提供了一种拓片甲骨文字符图像增广方法、系统、计算机设备及存储介质，其能将已有的临摹甲骨文字符图像转换形态各异、效果逼真的拓片甲骨文字符图像，用生成的拓片甲骨字符图像扩充已有数据集，可得到总数充足且类别平衡的增广数据集，以解决拓片甲骨文字符识别任务中的缺少训练数据的问题，利用增广数据集进行训练能够提升拓片甲骨文字符识别网络的精度。

本发明的第一个目的在于提供一种拓片甲骨文字符图像增广方法。

本发明的第二个目的在于提供一种拓片甲骨文字符图像增广系统。

本发明的第三个目的在于提供一种计算机设备。

本发明的第四个目的在于提供一种存储介质。

本发明的第一个目的可以通过采取如下技术方案达到：

一种拓片甲骨文字符图像增广方法，所述方法包括：

将临摹甲骨文字符图像集合输入字形增广模块进行随机形态处理，得到增广临摹甲骨文字符图像集合；

构建风格迁移网络，以学习增广临摹甲骨文字符图像集合的分布到拓片甲骨文字符图像集合的分布之间的映射函数；

将增广临摹甲骨文字符图像集合输入风格迁移网络进行处理，得到拓片甲骨文图像增广数据集；

将拓片甲骨文字符图像集合与拓片甲骨文图像增广数据集混合，对拓片甲骨文字符识别网络进行训练。

进一步的，所述将临摹甲骨文字符图像集合输入字形增广模块进行随机形态处理，得到增广临摹甲骨文字符图像集合，具体包括：

将甲骨文字符形态上的端点、拐点、交点和分叉点定义为字符关键点，利用目标检测算法检测临摹甲骨文字符图像集合中的关键点，对于一张特定的临摹甲骨文字符图像，关键点表示如下：

其中，表示第i个关键点在图像中的位置坐标，n表示该图像中的字符关键点总数；

在临摹甲骨文字符图像的关键点p上施加随机抖动，得到字形增广临摹图像的关键点，如下：

其中，和采样自均匀分布；

运用三角剖分算法将关键点p和p′分解为若干个三角形区域，对每个三角形区域进行仿射变换和图像插值，进而将临摹甲骨文字符图像变换为姿态增广临摹图像；

对姿态增广临摹图像进行随机的形态学腐蚀/膨胀，给字符添加笔画细化/加粗效果，得到字形增广临摹图像，从而得到增广临摹甲骨文字符图像集合。

进一步的，所述仿射变换的操作如下：

其中，(x,y)和(x′,y′)分别为变换前后的像素坐标，变换参数ai,j由p和p′中的三角形顶点坐标联立方程解得。

进一步的，所述腐蚀/膨胀的操作如下：

其中，i和i′分别为输入图像和输出图像，w是尺寸为k×k的矩形窗，对任意0≤h≤k,0≤w≤k，w(w,h)＝1，参数k用于控制腐蚀/膨胀的程度。

进一步的，所述风格迁移网络为基于循环对抗生成网络的风格迁移网络，所述循环对抗生成网络包括图像生成器和图像判别器。

进一步的，所述图像生成器中的残差卷积模块层数设置为四层。

进一步的，所述图像生成器采用加权循环损失函数进行训练，所述加权循环损失函数的计算如下：

lcyc(g)＝w*‖f(g(x))-x‖1

其中，x为输入图像，g为图像生成器，f为图像判别器，w为权值矩阵，如下：

其中，sfg,sbg分别为笔画区域的面积和背景区域的面积。

本发明的第二个目的可以通过采取如下技术方案达到：

一种拓片甲骨文字符图像增广系统，所述系统包括：

第一处理单元，用于将临摹甲骨文字符图像集合输入字形增广模块进行随机形态处理，得到增广临摹甲骨文字符图像集合；

构建学习单元，用于构建风格迁移网络，以学习增广临摹甲骨文字符图像集合的分布到拓片甲骨文字符图像集合的分布之间的映射函数；

第二处理单元，用于将增广临摹甲骨文字符图像集合输入风格迁移网络进行处理，得到拓片甲骨文图像增广数据集；

训练单元，用于将拓片甲骨文字符图像集合与拓片甲骨文图像增广数据集混合，对拓片甲骨文字符识别网络进行训练。

本发明的第三个目的可以通过采取如下技术方案达到：

一种计算机设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述的拓片甲骨文字符图像增广方法。

本发明的第四个目的可以通过采取如下技术方案达到：

一种存储介质，存储有程序，所述程序被处理器执行时，实现上述的拓片甲骨文字符图像增广方法。

本发明相对于现有技术具有如下的有益效果：

1、本发明提出字形增广模块对甲骨字符的字形进行增广，能从形态单一的临摹甲骨字符图像中产生更多形态各异的增广临摹甲骨文字符图像，以增加甲骨字符的字形丰富度，可以模拟真实拓片甲骨文字符中形态各异的效果，增加增广临摹甲骨文字符图像的多样性，利用风格迁移网络将增广临摹甲骨文字符图像转换成增广拓片甲骨文字符图像，能够实现逼真的拓片字符效果。

2、本发明风格迁移网络为基于循环对抗生成网络的风格迁移网络，其中循环对抗生成网络的图像生成器采用加权循环损失函数，能在训练阶段更好地权衡字符与背景的语义重要性，使得生成图像能较好地保留甲骨文字符结构。

3、本发明能充分利用现有临摹甲骨文字符图像，可在不增加额外人工成本的情况下，扩充拓片甲骨文数据集的数量和类别，并提升拓片甲骨文字符识别网络的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。

图1为本发明实施例1的拓片甲骨文字符图像增广方法的流程图。

图2为本发明实施例1的拓片甲骨文字符图像增广方法的原理图。

图3为本发明实施例1的字符姿态增广子模块的示意图。

图4为本发明实施例1的生成得到的增广拓片甲骨文字符图像与真实的拓片甲骨文字符图像的对比示意图。

图5为本发明实施例1的拓片甲骨文字符图像增广效果示意图。

图6为本发明实施例2的拓片甲骨文字符图像增广系统的结构框图。

图7为本发明实施例3的计算机设备的结构框图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明的一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1：

如图1和图2所示，本实施例提供了一种拓片甲骨文字符图像增广方法，该方法可以采用python编程语言和pytorch深度学习框架实现，其包括以下步骤：

s101、将临摹甲骨文字符图像集合s输入字形增广模块进行随机形态处理，得到增广临摹甲骨文字符图像集合s′。

临摹甲骨文字符图像集合s为已有的临摹甲骨文字符图像集合，字形增广模块采用字形增广算法实现，其包括字符姿态增广子模块和笔画粗细增广子模块，其中字符姿态增广子模块由关键点检测算法和图像变换算法实现，笔画粗细增广子模块通过形态学腐蚀膨胀操作实现，字形增广模块的输入是尺寸为(h，w)的灰度图像矩阵。

1)本实施例将甲骨文字符形态上的端点、拐点、交点和分叉点定义为字符关键点，字符姿态增广子模块如图3所示，将目标检测算法faster-rcnn作为关键点检测算法，通过faster-rcnn检测临摹甲骨文字符图像集合s中的关键点，返回关键点坐标，对于一张特定的临摹甲骨文字符图像，关键点表示如下：

其中，表示第i个关键点在图像中的位置坐标，n表示该图像中的字符关键点总数。

2)字符姿态增广子模块，在临摹甲骨文字符图像的关键点p上施加随机抖动，得到字形增广临摹图像的关键点，如下：

其中，和采样自均匀分布r，本实施例中，r～uniform(-10,10)，表示服从均匀分布的随机变量。

3)字符姿态增广子模块，使用科学计算库scipy内置的三角剖分算法将关键点p和p′分解为若干个三角形区域，对每个三角形区域进行仿射变换和图像插值，进而将临摹甲骨文字符图像变换为姿态增广临摹图像。

进一步地，仿射变换的操作如下：

其中，(x,y)和(x′,y′)分别为变换前后的像素坐标，变换参数ai,j由p和p′中的三角形顶点坐标联立方程解得。

4)笔画粗细增广子模块，对姿态增广临摹图像进行随机的形态学腐蚀/膨胀，给字符添加笔画细化/加粗效果，得到字形增广临摹图像，从而得到字形更加丰富的增广临摹甲骨文字符图像集合s′。

进一步地，腐蚀/膨胀的操作如下：

其中，i和i′分别为输入图像和输出图像，w是尺寸为k×k的矩形窗，对任意0≤h≤k,0≤w≤k，w(w,h)＝1，参数k用于控制腐蚀/膨胀的程度。

本实施例在图像增广过程中，使用膨胀操作的概率为90％，使用腐蚀操的概率为10％，并且参数k也通过随机方式产生，从而得到随机笔画细化/加粗的效果，具体数值按如下经验式得到：

其中，表示腐蚀参数膨胀和腐蚀操作的参数k分别从随机变量kd和kc中采样得到，n为字符关键点数量。

s102、构建风格迁移网络，以学习增广临摹甲骨文字符图像集合s′的分布到拓片甲骨文字符图像集合t的分布之间的映射函数f。

风格迁移网络为基于循环对抗生成网络(cycle-gan)的风格迁移网络，由加州大学伯克利分校人工智能实验室发明的循环对抗生成网络已经被广泛用于图像风格迁移领域，循环对抗生成网络由两组对称的图像生成器和图像判别器构成，本实施例参照循环对抗生成网络的结构构建风格迁移网络，优选地，本实施例的图像生成器中的残差卷积模块层数设置为四层，这个层数能较好地提取图像的高维语义信息，同时还能保留甲骨文字符的结构信息。

循环损失函数在cycle-gan中用于引导网络关注输入图像中的语意信息，但拓片甲骨文图像中噪声较多，如果不加区别地对待文字和噪声的话，生成得到的字符可能无法辨认，本实施例采用加权循环损失函数训练图像生成器，使得风格迁移后的图像仍然能保持较清晰的文字结构，该加权循环损失函数的计算如下：

lcyc(g)＝w*‖f(g(x))-x‖1

其中，x为输入图像，g为图像生成器，f为图像判别器，w为权值矩阵，如下：

其中，sfg,sbg分别为笔画区域的面积和背景区域的面积。

s103、将增广临摹甲骨文字符图像集合s′输入风格迁移网络进行处理，得到拓片甲骨文图像增广数据集t′。

将步骤s101的字形增广模块和步骤s102的风格迁移网络串联，将原始拓片甲骨文字符图像集合t中少于1000张样本的类别视为需要进行图像增广的类别，从需要进行图像增广的类别中的临摹字符图像库中采样得到临摹甲骨文字符图像集合s，在输入字形增广模块处理得到增广临摹甲骨文字符图像集合s′后，将得到的增广临摹甲骨文字符图像集合s′输入风格迁移网络进行处理，得到数量充足并且字形丰富的拓片甲骨文图像增广数据集t′，生成得到的增广拓片甲骨文字符图像与真实的拓片甲骨文字符图像的对比如图4所示。

s104、将拓片甲骨文字符图像集合t与拓片甲骨文图像增广数据集t′混合，对拓片甲骨文字符识别网络进行训练。

拓片甲骨文字符识别网络即为拓片甲骨文字符图像分类网络，将拓片甲骨文字符图像集合t与拓片甲骨文图像增广数据集t′混合，对拓片甲骨文字符识别网络进行训练，实现提升拓片甲骨文字符识别网络精度的目的。

如图5所示，“未加入增广数据”表示拓片甲骨文字符识别网络仅使用真实的拓片甲骨文字符拓片数据集进行训练取得的精度，“加入增广数据”表示加入本实施例生成的增广拓片甲骨文字符图像后对拓片甲骨文字符识别网络进行训练取得的精度，可以看到加入增广拓片甲骨文字符图像后，拓片甲骨文字符识别网络的识别准确率有明显提升。

应当注意，尽管在附图中以特定顺序描述了上述实施例的方法操作，但是这并非要求或者暗示必须按照该特定顺序来执行这些操作，或是必须执行全部所示的操作才能实现期望的结果。相反，描绘的步骤可以改变执行顺序。附加地或备选地，可以省略某些步骤，将多个步骤合并为一个步骤执行，和/或将一个步骤分解为多个步骤执行。

实施例2：

如图6所示，本实施例提供了一种拓片甲骨文字符图像增广系统，该系统包括第一处理单元601、构建学习单元602、第二处理单元603，各个模块的具体功能如下：

第一处理单元601，用于将临摹甲骨文字符图像集合输入字形增广模块进行随机形态处理，得到增广临摹甲骨文字符图像集合。

构建学习单元602，用于构建风格迁移网络，以学习增广临摹甲骨文字符图像集合的分布到拓片甲骨文字符图像集合的分布之间的映射函数。

第二处理单元603，用于将增广临摹甲骨文字符图像集合输入风格迁移网络进行处理，得到拓片甲骨文图像增广数据集。

训练单元604，用于将拓片甲骨文字符图像集合与拓片甲骨文图像增广数据集混合，对拓片甲骨文字符识别网络进行训练。

本实施例中各个模块的具体实现可以参见上述实施例1，在此不再一一赘述；需要说明的是，本实施例提供的系统仅以上述各功能模块的划分进行举例说明，在实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

实施例3：

本实施例提供了一种计算机设备，该计算机设备可以是计算机，如图7所示，其包括通过系统总线701连接的处理器702、存储器、输入装置703、显示器704和网络接口705，该处理器用于提供计算和控制能力，该存储器包括非易失性存储介质706和内存储器707，该非易失性存储介质706存储有操作系统、计算机程序和数据库，该内存储器707为非易失性存储介质中的操作系统和计算机程序的运行提供环境，处理器702执行存储器存储的计算机程序时，实现上述实施例1的拓片甲骨文字符图像增广方法，如下：

将临摹甲骨文字符图像集合输入字形增广模块进行随机形态处理，得到增广临摹甲骨文字符图像集合；

构建风格迁移网络，以学习增广临摹甲骨文字符图像集合的分布到拓片甲骨文字符图像集合的分布之间的映射函数；

将增广临摹甲骨文字符图像集合输入风格迁移网络进行处理，得到拓片甲骨文图像增广数据集；

将拓片甲骨文字符图像集合与拓片甲骨文图像增广数据集混合，对拓片甲骨文字符识别网络进行训练。

实施例4：

本实施例提供了一种存储介质，该存储介质为计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时，实现上述实施例1的拓片甲骨文字符图像增广方法，如下：

将临摹甲骨文字符图像集合输入字形增广模块进行随机形态处理，得到增广临摹甲骨文字符图像集合；

构建风格迁移网络，以学习增广临摹甲骨文字符图像集合的分布到拓片甲骨文字符图像集合的分布之间的映射函数；

将增广临摹甲骨文字符图像集合输入风格迁移网络进行处理，得到拓片甲骨文图像增广数据集；

将拓片甲骨文字符图像集合与拓片甲骨文图像增广数据集混合，对拓片甲骨文字符识别网络进行训练。

本实施例中所述的存储介质可以是磁盘、光盘、计算机存储器、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、u盘、移动硬盘等介质。

综上所述，本发明能将已有的临摹甲骨文字符图像转换形态各异、效果逼真的拓片甲骨文字符图像，用生成的拓片甲骨字符图像扩充已有数据集，可得到总数充足且类别平衡的增广数据集，以解决拓片甲骨文字符识别任务中的缺少训练数据的问题，利用增广数据集进行训练能够提升拓片甲骨文字符识别网络的精度。

以上所述，仅为本发明专利较佳的实施例，但本发明专利的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明专利所公开的范围内，根据本发明专利的技术方案及其发明构思加以等同替换或改变，都属于本发明专利的保护范围。