一种基于孪生网络的商标侵权行为识别方法

1.本发明涉及目标检测与度量学习领域，具体是一种基于孪生网络的商标侵权行为识别方法。


背景技术：

2.随着国家对知识产权越来越重视，商标申请数量也在逐年爆炸式地增长，导致商标数据的超载，如何从海量的商标数据中获取与待申请商标相同或近似的商标，从而辅助商标从业人员根据检索结果对商标进行调整，以此提高商标注册成功率，成了商标研究领域中面临的巨大挑战。商标申请人从海量的商标信息中检测到与待申请商标相同或近似的商标并不是一件容易的事情，不仅非常耗时，并且效果往往也不理想，其工作中的遗漏很可能导致商标因与其他企业的商标相似而被商标局驳回，甚至构成侵权，而执法人员在侵权行为认定时也需要与大量商标进行比对，十分耗时耗力。
3.为了解决这些问题，商标申请以及侵权行为人工检测前的预检测工作变得尤为重要，急需一种高效信息过滤手段来辅助商标申请人和执法人员从海量商标数据中找到与待检测商标相似或易造成侵权行为的商标。商标检索系统则是当前解决信息过载问题的有效手段，而在实际检索过程中，大多数商标检索软件中商标的近似检测在字形、拼音及含义方面的检测效果并不明显，并且现有软件大多忽略了叠字词因素，导致商标近似检测效果并不理想。
4.且由于现在的商标不仅仅是简单的短文本，而是不同图案、字母或者文字的变形与组合，仅依靠短文本相似度计算无法判定一个商标是否真正构成侵权，所以对于多样的商标图片的相似度检测成为一个值的研究的问题。
5.基于字符串的相似度方法也称为“字面相似度方法”，主要根据两个字符串之间转换所需要的最小操作次数来度量字符串间的相似度。比较常用的方法有编辑距离(levenshtein distance)、damerau-levenshtein、汉明距离、欧式距离、余弦相似度、jaro-winkler、jaccard等。编辑距离是比较经典的字符串相似度计算方法，字符之间有删除、插入、替换三个基本操作，每种操作的编辑距离都为1，编辑距离也可称为“代价”，最终计算出字符串之间转变所需的代价即可得出相似度值。damerau-levenshtein以frederick j.damerau和vladimir i.levenshtein两位科学家的名字命名，与levenshtein不同的是，除了删除、插入和替换操作之外，还包括相邻字符的逆序转换操作。
6.国内常用的商标检索软件有cnipa，iptop等。cnipa作为我国商标局官方软件，同时支持近似查询、综合查询、商品/服务项目查询等功能。其中，商标近似查询主要采用基于类目和文本的检索方法。对于直接输入商标图片进行相似度查询及与商标库中商标进行比对的方式还并没有得到更多的拓展。


技术实现要素：

7.本发明的目的在于针对现有商标比对技术的缺点和不便利性，提供一种基于孪生
网络的商标侵权行为识别方法，能够更好地对现有的商标图片的相似度进行比对，便于商标申请者查询自己的商标是有构成侵权的可能，在相似度识别的成功率和效果上也有了很大的提升。具体技术方案如下：
8.一种基于孪生网络的商标侵权行为识别方法，包括训练阶段和识别阶段，其特征在于：
9.所述的训练阶段包括如下步骤：
10.步骤一：构建商标数据集：对商标图片进行预处理，将同一商标的不同角度拍摄的图片存放同一文件夹中，作为训练的样本。
11.步骤二：训练数据构建：在训练时会随机从相同文件加中选取一组商标图片作为训练正样本，从不同文件夹中选取一组商标图片作为训练负样本，选取的两张图片分别经过相同的卷积网络进行特征提取，提取图片的全局和局部特征。
12.步骤三：对比损失计算：将提取到的商标特征进行对比损失计算，让相似商标的特征距离更近，不相似商标的特征距离更远，该损失函数主要用在降维中，即本来相似的样本，在经过特征提取后的特征空间中依旧相似，原本不相似的样本，在经过特征提取后，其特征空间中的两个样本仍旧不相似。
13.(1)训练阶段首先将选取的图片对经过两个相同结构的卷积神经网络进行特征提取，将商标特征映射到特征空间中，对特征提取网络的选择如下：
14.(a)孪生网络中使用的alexnet网络主干，并对其进行修改：
15.图2为以alexnet作为主干网络的孪生网络结构，alexnet共有8层结构，前5层为卷积层，后三层为全连接层。其中提出了lrn层，对局部神经元的活动创建竞争机制，使得其中响应较大的值变得相对更大，并抑制其他较小的神经元，从而增强了模型的泛化能力。其中的dropout虽然可以避免模型过拟合，但由于商标样本数量少，dropout对于特征提取和模型训练起到了一定的抑制作用，其对商标特征的提取也有所限制。于是本文将全连接层及其中间的dropout删掉，在经过两次相同的共享权重的卷积之后将得到的特征展开并对其做差取绝对值，得到两个图片的特征距离，再将其结果进行两次全连接，以此训练相似度检测模型。
16.(b)将主干网络换为vgg模型，并做相应修改：
17.图3为vgg的原模型结构，在将其作为孪生网络的主干时，将网络结构中的全连接层去掉，并删掉全连接层前的全局平局池化，分别取孪生网络中每个网络结果最后一层卷积层得到的特征层，以此得到两个输入训练图片的特征，并将其分别展开，将两个特征层的特征空间中的映射作差取绝对值后，再将其进行两次全连接，以得到最终的评估结果。
18.(c)将主干网络换为rensenet模型，并做相应修改：
19.图4为resnet的网络结构，resnet网络结构由一个初始卷积块和四个layer层组成，其中初始卷积块中包含一个7
×
7的卷积，一个bn层一个relu激活和一个最大池化，每个layer层又分别包含几个bottleneck块，其中每个layer层的第一个bottleneck中包含一个下采样作为残差计算，在每个layer层的开始获取特征与后边的卷积层同时计算，并在layer层最后将得到的残差与layer层结果进行相加作为该layer层的输出。以resnet50为例，四个layer层分别包括3,4,6,3个bottleneck块。最后是一个全局平均池化和一个全连接转为对应的分类个数。本文保留每个layer层的结构，同时最后去掉了全局平均池化，得
到两个图片的特征求出其特征空间的距离进行模型训练。
20.(d)将主干网络换为densenet模型，并做相应修改：
21.densenet作为卷积神经网络具有更深的网络结构，对于特征提取的效果也有更加明显的效果，其网络结构如图5所示。其中主要包括稠密快和过渡块两部分，由于每个denseblock之间的输出维度很大，会导致最终输出的feature map的维度也特别大，不便于进行计算，于是加入过渡层，在经过transition layer时做了1
×
1的卷积对feature map进行降维，从而减少了运算参数。同时由于其每一层都可以直接从损失函数和原始输入信号中获取梯度，从而实现隐含的深度监控，可以更好地学习图片的特征。
22.(2)然后将特征空间中的特征输入contrastive loss中进行欧氏距离的计算，其计算方式如下：
[0023][0024]
其中，d＝||a
n-bn||2,代表两个样本特征的欧氏距离，y为两个样本是否匹配的标签，y＝1代表两个样本相似或者匹配，y＝0则代表不匹配，margin为设定的阈值。
[0025]
对比损失函数(contrastive loss)不仅能很好地表达成对样本的匹配程度，也能够很好地用于提取的特征，当y＝1(即样本相似)，损失函数只剩下∑yd2，即原本相似的样本，如果在特征空间的欧式距离较大，则说明当前的模型不好，因此增大损失。当y＝0(即样本不相似)，损失函数为∑(1-y)max(margin-d,0)2，即当样本不相似时，而特征空间的欧式距离反而小的话，损失值则会增大，此损失函数刚好符合我们对相似度判断模型训练的要求。
[0026]
所述的识别阶段包括如下步骤：
[0027]
步骤一至步骤三与所述的训练阶段相同；
[0028]
步骤四：采用最近邻法进行疑似侵权商标识别判断，具体如下：
[0029]
(1)用训练好的模型对输入的待识别商标及标准商标库中的标准商标分别进行特征提取，得到对应的特征空间；
[0030]
(2)计算待识别的样本到所有标准商标库中商标的欧式距离，计算出与各个图片的相似度，并对其进行排序；
[0031]
(3)选出标准商标库中与待识别商标相似度在某个范围内的k个商标，k是由最终决策过程中所有样本个数的比例决定的，k＝1～n，n为标准商标库中商标的总数量，k可以根据经验取值，由此得到疑似侵权商标；
[0032]
(4)执法人员从选出的k个疑似侵权商标中根据商标法的其他规则人工进行侵权行为判定。
附图说明
[0033]
图1是本方法的实施流程；
[0034]
图2是将alexnet作为主干修改后的salexnet网络结构；
[0035]
图3是将vgg作为主干修改后的svgg网络结构；
[0036]
图4是resnet50的网络结构；
[0037]
图5是将densenet作为主干修改后得到的sdensenet网络结构。
具体实施方式
[0038]
下面结合附图对本发明进行详细的描述。
[0039]
一种基于孪生网络的商标侵权行为识别方法，包括训练阶段和识别阶段，其特征在于：
[0040]
所述的训练阶段包括如下步骤：
[0041]
步骤一：构建商标数据集：对商标图片进行预处理，将同一商标的不同角度拍摄的图片存放同一文件夹中，作为训练的样本。
[0042]
步骤二：训练数据构建：在训练时会随机从相同文件加中选取一组商标图片作为训练正样本，从不同文件夹中选取一组商标图片作为训练负样本，选取的两张图片分别经过相同的卷积网络进行特征提取，提取图片的全局和局部特征。
[0043]
步骤三：对比损失计算：将提取到的商标特征进行对比损失计算，让相似商标的特征距离更近，不相似商标的特征距离更远，该损失函数主要用在降维中，即本来相似的样本，在经过特征提取后的特征空间中依旧相似，原本不相似的样本，在经过特征提取后，其特征空间中的两个样本仍旧不相似。
[0044]
(1)训练阶段首先将选取的图片对经过两个相同结构的卷积神经网络进行特征提取，将商标特征映射到特征空间中，对特征提取网络的选择如下：
[0045]
(a)孪生网络中使用的alexnet网络主干，并对其进行修改：
[0046]
图2为以alexnet作为主干网络的孪生网络结构，alexnet共有8层结构，前5层为卷积层，后三层为全连接层。其中提出了lrn层，对局部神经元的活动创建竞争机制，使得其中响应较大的值变得相对更大，并抑制其他较小的神经元，从而增强了模型的泛化能力。其中的dropout虽然可以避免模型过拟合，但由于商标样本数量少，dropout对于特征提取和模型训练起到了一定的抑制作用，其对商标特征的提取也有所限制。于是本文将全连接层及其中间的dropout删掉，在经过两次相同的共享权重的卷积之后将得到的特征展开并对其做差取绝对值，得到两个图片的特征距离，再将其结果进行两次全连接，以此训练相似度检测模型。
[0047]
(b)将主干网络换为vgg模型，并做相应修改：
[0048]
图3为vgg的原模型结构，在将其作为孪生网络的主干时，将网络结构中的全连接层去掉，并删掉全连接层前的全局平局池化，分别取孪生网络中每个网络结果最后一层卷积层得到的特征层，以此得到两个输入训练图片的特征，并将其分别展开，将两个特征层的特征空间中的映射作差取绝对值后，再将其进行两次全连接，以得到最终的评估结果。
[0049]
(c)将主干网络换为rensenet模型，并做相应修改：
[0050]
图4为resnet的网络结构，resnet网络结构由一个初始卷积块和四个layer层组成，其中初始卷积块中包含一个7
×
7的卷积，一个bn层一个relu激活和一个最大池化，每个layer层又分别包含几个bottleneck块，其中每个layer层的第一个bottleneck中包含一个下采样作为残差计算，在每个layer层的开始获取特征与后边的卷积层同时计算，并在layer层最后将得到的残差与layer层结果进行相加作为该layer层的输出。以resnet50为例，四个layer层分别包括3,4,6,3个bottleneck块。最后是一个全局平均池化和一个全连
接转为对应的分类个数。本文保留每个layer层的结构，同时最后去掉了全局平均池化，得到两个图片的特征求出其特征空间的距离进行模型训练。
[0051]
(d)将主干网络换为densenet模型，并做相应修改：
[0052]
densenet作为卷积神经网络具有更深的网络结构，对于特征提取的效果也有更加明显的效果，其网络结构如图5所示。其中主要包括稠密快和过渡块两部分，由于每个denseblock之间的输出维度很大，会导致最终输出的feature map的维度也特别大，不便于进行计算，于是加入过渡层，在经过transition layer时做了1
×
1的卷积对feature map进行降维，从而减少了运算参数。同时由于其每一层都可以直接从损失函数和原始输入信号中获取梯度，从而实现隐含的深度监控，可以更好地学习图片的特征。
[0053]
(2)然后将特征空间中的特征输入contrastive loss中进行欧氏距离的计算，其计算方式如下：
[0054][0055]
其中，d＝||a
n-bn||2,代表两个样本特征的欧氏距离，y为两个样本是否匹配的标签，y＝1代表两个样本相似或者匹配，y＝0则代表不匹配，margin为设定的阈值。
[0056]
对比损失函数(contrastive loss)不仅能很好地表达成对样本的匹配程度，也能够很好地用于提取的特征，当y＝1(即样本相似)，损失函数只剩下∑yd2，即原本相似的样本，如果在特征空间的欧式距离较大，则说明当前的模型不好，因此增大损失。当y＝0(即样本不相似)，损失函数为∑(1-y)max(margin-d,0)2，即当样本不相似时，而特征空间的欧式距离反而小的话，损失值则会增大，此损失函数刚好符合我们对相似度判断模型训练的要求。
[0057]
所述的识别阶段包括如下步骤：
[0058]
步骤一至步骤三与所述的训练阶段相同；
[0059]
步骤四：采用最近邻法进行疑似侵权商标识别判断，具体如下：
[0060]
(1)用训练好的模型对输入的待识别商标及标准商标库中的标准商标分别进行特征提取，得到对应的特征空间；
[0061]
(2)计算待识别的样本到所有标准商标库中商标的欧式距离，计算出与各个图片的相似度，并对其进行排序；
[0062]
(3)选出标准商标库中与待识别商标相似度在某个范围内的k个商标，k是由最终决策过程中所有样本个数的比例决定的，k＝1～n，n为标准商标库中商标的总数量，k可以根据经验取值，由此得到疑似侵权商标；
[0063]
(4)执法人员从选出的k个疑似侵权商标中根据商标法的其他规则人工进行侵权行为判定。
[0064]
(4)统计出k个训练样本出现最多的类型，即判定待识别步态样本归属此类型。
[0065]
表1本发明方法用到的不同修改后的网络主干的实验结果比较
[0066] alexnetvggresnetdensenetaccuracy0.8910.9330.9480.96