一种外观设计专利多视图特征表示、检索的方法及装置与流程

本发明涉及人工智能技术中的知识产权数据检索领域，具体涉及一种外观设计专利多视图特征表示、检索的方法及装置。

背景技术：

当前，我国已把创新摆在国家发展全局的核心位置；知识产权创造、运用、保护和管理的能力是创新的源头和重要保障。近年来，国家创新驱动发展战略扎实、有序地推进，给国内知识产权服务业迎来了历史性的机遇，同时也带来挑战：经统计2018年国内专利申请量为414.68万件，授权量为233.54万件，其中外观设计专利的申请量为68.91万件，授权量为51.77万件，占专利申请、授权的比例分别为16.6％和22.2％，按照每个外观设计专利有7个视图计算，2018年新增482.37万张外观专利图，依此速度增长，将会给专利的管理、检索等带来巨大的困难。电商的快速发展深刻地提升了生产和生活方式，但也给知识产权保护带来了问题：就产品而言，人们首先关注产品的外观，判断某产品是否有侵权的嫌疑，通常会将电商产品的外观图像与外观设计专利图像库进行关联检索。因此，解决上述问题的核心是优化外观设计专利的特征表示和检索技术，是一个非常有实际意义同时也是非常有挑战性的工作。

目前实际应用的外观设计专利图像检索系统主要有两种检索方案。第一类方案主要是基于文本的图像检索技术(tbir,textbasedimageretrieval)，如通过输入专利号、专利发明人、专利名称等关键字检索。由于我国《专利审查指南》规定“外观设计专利权保护范围以表示在图片或者照片中的该外观设计专利产品为准”，因此，外观设计专利的主要信息载体为各个视图的图像，利益相关方往往更关注的是图像内容。基于文本的图像检索技术的缺陷在于无法使用合适的文本来描述相应的图像，往往满足不了检索精准的需求，从而导致检索结果偏差较大。

第二类方案主要是基于内容的图像检索技术(cbir,contentbasedimageretrieval)，传统外观设计专利图像特征描述中，主要有通过外观专利图像的特点人为设计底层特征表示，或者通过边界方向直方图算法、garbor滤波算法等特征提取算子获取图像的形状特征、纹理特征，同时将多种特征的距离加权融合来表示图像之间的相似度，而这些方法将外观设计专利各个视图当作独立的图像进行特征表示，导致检索效果不佳。近年来，针对外观设计专利具有图像和文本描述的特点，提出结合语义特征的外观专利图像多模态检索，但此方法并未考虑外观设计专利多视图关联的内部结构特征，检索效率也将大打折扣；同时，针对外观设计专利通常有主视图、后视图、左视图、右视图、俯视图、仰视图、立体图等7个视图描述外观设计专利的视觉内容，并且这7个视图之间具有强关联结构信息的特点，提出使用深度学习的多视图检索方法，但该方法只是将多个视图的特征进行简单的融合，并未考虑外观设计专利多视图之间的结构关联关系，而且网络架构非常复杂，存在大量的待训练参数，计算量巨大。

技术实现要素：

针对上述技术中存在的问题，本发明的目的在于提供一种外观设计专利多视图特征表示、检索的方法及装置，以解决现有外观设计专利检索方案存在未能将各视图的视觉特征与各视图之间的结构关联关系进行有机融合的特征表示、检索计算量大等问题，从而提高外观设计专利检索的准确度和检索效率。

为解决上述技术问题，本发明通过以下技术方案实现：

本发明所述一种外观设计专利多视图特征表示的方法，包括如下步骤：

(1)预训练卷积神经网络构建与初始化：选择在imagenet数据集上已经训练好的卷积神经网络作为预训练网络，并将该数据集上训练得到的网络参数作为预训练网络的初始化参数；

(2)外观设计专利图像预处理：外观设计专利由主视图、后视图、左视图、右视图、俯视图、仰视图和立体图组成，根据选取的卷积神经网络对输入图像的要求，将所有视图对应的图像进行归一化处理，包括图像尺度归一化，维度归一化，同时对每个外观设计专利作类别标记，从而构建外观设计专利图像数据集，分为训练数据集和测试数据集两部分；

(3)使用外观设计专利图像对深度卷积神经网络微调：将预处理后的外观设计专利训练数据集输入预训练卷积神经网络进行训练，对网络参数权重进行更新，直至网络的损失函数趋于收敛状态；

(4)使用微调后的新网络提取外观设计专利各个视图的深度特征：将所有预处理后的外观设计专利图像输入微调后的卷积神经网络，计算得到外观设计专利各个视图的深度特征表示，并对深度特征作归一化处理；

(5)根据外观设计专利各个视图之间的关系，使用欧式距离定义各关联视图之间的相似度，获取对应的关联矩阵，并使用高斯核函数对关联矩阵进行归一化，最终获取图结构graph特征。

一种外观设计专利多视图特征表示的装置，所述外观设计专利多视图特征表示装置可实现所述外观设计专利多视图特征表示方法，包括：外观设计专利图像深度特征生成模块、外观设计专利的图结构graph特征生成模块，其中：

所述外观设计专利图像深度特征生成模块，用于外观设计专利图像预处理和使用外观设计专利图像对预训练卷积神经网络进行训练，并通过微调后的新网络提取外观设计专利各个视图的深度特征。

所述外观设计专利的图结构graph特征生成模块，用于将外观设计专利各个视图的深度特征，并结合外观设计专利各个视图之间的关联关系，使用欧式距离定义各视图之间的相似度，获取相应的关联矩阵，同时使用高斯核函数对关联矩阵进行归一化，最终获得外观设计专利的图结构graph特征。

一种外观设计专利多视图检索的方法，所述外观设计专利多视图检索的方法是基于所述外观设计专利多视图特征表示方法来实现，包括如下步骤：

(1)构建图神经网络，将网络参数进行随机初始化，其中初始化参数服从正态分布；

(2)构建图神经网络训练所需的数据集，将外观设计专利各视图的深度特征、图结构graph特征和类别标签进行整合，从而构建外观设计专利数据集，分为训练数据集和测试数据集两部分；

(3)使用外观设计专利数据集对图神经网络进行训练，更新网络参数，直至网络的损失函数趋于收敛状态；

(4)将外观设计专利各视图的深度特征、图结构graph特征输入已训练好的图神经网络，并将聚合后，图的表征向量hg作为外观设计专利的表征向量，用于计算外观设计专利之间的相似度，并建立相应的特征库；

(5)将待检索的外观设计专利各视图的深度特征、图结构graph特征输入已训练好的图神经网络，获得外观设计专利的图表征向量hg和该专利所属的类别；

(6)将待检索外观设计专利的图表征向量hg与其在外观设计专利库相应的类别内的图表征向量hg，使用欧式距离计算与之匹配的外观设计专利的相似度；

(7)检索结果按照相似度的数值由大到小进行重排，并将对应的外观专利信息输出。

一种外观设计专利多视图检索的装置，所述外观设计专利多视图检索装置可实现所述外观设计专利多视图检索方法，包括：外观设计专利的图的表征向量hg生成模块、外观设计专利相似度计算模块和外观设计专利相似度重排、输出模块，其中：

所述外观设计专利的图的表征向量hg生成模块，用于外观设计专利图像的深度特征与图结构graph特征进行聚合，生成外观设计专利的图的表征向量hg；

所述外观设计专利相似度计算模块，用于将待检索外观设计专利的图的表征向量hg与特征库内相同类别的外观设计专利进行相似度计算；

所述外观设计专利相似度重排、输出模块，用于将计算所得的相似度数值按照由大到小进行重排，并输出对应的外观设计专利信息。

本发明与现有技术相比，其显著优点：(1)将外观设计专利多视图的深度视觉特征和具有各视图关联信息的图结构graph特征进行有机融合，从而生成外观设计专利的图的表征向量hg，使得外观设计专利特征表示更加准确，能提高检索的准确度。(2)将待检索的外观设计专利的深度特征和图结构graph特征输入到已训练好的图神经网络，获取该外观设计专利所属类别，并在外观设计专利库相应的类别内使用欧式距离计算与之匹配的外观设计专利的相似度，大大提高了检索的效率。(3)外观设计专利检索的准确度和效率均有效提高后，可以更好地满足实际应用的需要。

附图说明

图1为本发明的一种外观设计专利多视图特征表示及检索方法流程图；

图2为本发明实施例一中外观设计专利各视图关联关系示意图；

图3为本发明实施例二中外观设计专利多视图特征表示的装置架构图；

图4为本发明实施例三中获取外观设计专利表征向量hg的图神经网络结构图；

图5为本发明实施例三中外观设计专利多视图检索方法流程图；

图6为本发明实施例四中外观设计专利多视图检索的装置架构图。

具体实施方式

本发明具体实施例为了解决现有外观设计专利检索方案存在未能将各视图的视觉特征与各视图之间的结构关联关系进行有机融合的特征表示、检索计算量大等问题，提供了一种外观设计专利多视图特征表示、检索的方法及装置。

参考图1所示，所述外观设计专利多视图特征表示、检索方法包括：首先选取在imagenet数据集上训练好的卷积神经网络，并迁移到外观专利数据库进行微调，微调后的新网络用于提取各视图的深度特征；其次根据外观专利各视图之间的关系，构造具有关联信息的图结构graph特征；然后将深度特征和图结构graph特征输入图神经网络进行训练，获得外观专利分类器；最后将待匹配外观专利深度特征和graph特征输入图神经网络分类器，在类内根据图的表征向量hg的相似度返回匹配外观专利。

以上是本发明的核心思想，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明的范围。

实施例一：

参考图2所示，为本实施例提供了一种外观设计专利多视图特征表示方法，包括以下步骤：

步骤1，预训练卷积神经网络构建与初始化：选择在imagenet数据集上已经训练好的卷积神经网络作为预训练网络，并将该数据集上训练得到的网络参数作为预训练网络的初始化参数；

优选地，选择vgg-16模型作为预训练卷积神经网络，包括5个卷积层和3个全连接层，最后一层为softmax层主要用来对图片进行分类。

步骤2，外观设计专利图像预处理：外观设计专利由主视图、后视图、左视图、右视图、俯视图、仰视图和立体图组成，根据选取的卷积神经网络对输入图像的要求，将所有视图对应的图像进行归一化处理，包括图像尺度归一化，维度归一化，同时对每个外观设计专利作类别标记，从而构建外观设计专利图像数据集，分为训练数据集和测试数据集两部分；

所述图像尺度归一化是将外观设计专利图像调整为相同的尺度，优选地，尺度大小为224*224；

所述图像维度归一化是将外观设计专利图像统一调整为rgb格式的三维图像，优选地，由二维的灰度图像调整变为三维的rgb图像时，将图像新增加的r、g、b通道对应的像素值与灰度图像对应像素值相同；

所述对每个外观设计专利作类别标记将根据《国际外观设计分类表》中的分类规则进行标记，优选地，外观设计专利著录信息中的主分类号作为类别标记。

步骤3，使用外观设计专利图像对深度卷积神经网络微调：将预处理后的外观设计专利训练数据集输入预训练卷积神经网络进行训练，对网络参数权重进行更新，直至网络的损失函数趋于收敛状态；

所述使用外观设计专利图像对深度卷积神经网络微调是将步骤2中预处理后的外观设计专利训练数据集用来训练步骤1所选取的卷积神经网络，直至网络的损失函数趋于收敛状态。

步骤4，使用微调后的新网络提取外观设计专利各个视图的深度特征：将所有预处理后的外观设计专利图像输入微调后的卷积神经网络，计算得到外观设计专利各个视图的深度特征表示，并对深度特征作归一化处理；

所述计算得到外观设计专利各个视图的深度特征表示，并对深度特征作归一化处理的过程如下：

(1)外观设计专利所有视图输入微调后的卷积神经网络，并将卷积神经网络中第二个全连接层的输出作为外观设计专利各视图的深度特征，记为i∈[0,6]；j∈[0,n]；k∈[0,4095]，为4096维的特征向量，i为外观设计专利的视图编号，j为外观设计专利的编号，k为特征向量的元素编号；并对特征向量xi^j作归一化处理；

优选地，使用特征向量xi^j的l²范数进行归一化，有

(2)一个外观设计专利由主视图、后视图、左视图、右视图、俯视图、仰视图、立体图共7个视图组成，则对应有7个深度特征所组成的外观设计专利特征矩阵记为x^j，x^j∈r^7×4096，其中分别对应为主视图、后视图、左视图、右视图、俯视图、仰视图、立体图，当外观设计专利出现视图缺失的情况，采用主视图或立体图代替缺失的视图；因此外观设计专利数据集记为(x,y)，(x,y)＝{(x¹,y¹)；(x²,y²)；(x³,y³)；…；(xⁿ,yⁿ)}，其中x为外观设计专利特征集，y为外观设计专利的类别，n为外观设计专利的个数；；

优选地，如果立体图未缺失，则用立体图代替缺失的视图；如果立体图也缺失，则用主视图代替缺失的视图。

步骤5，根据外观设计专利各个视图之间的关系，使用欧式距离定义各关联视图之间的相似度，获取对应的关联矩阵，并使用高斯核函数对关联矩阵进行归一化，最终获取图结构graph特征。

所述使用欧式距离定义各关联视图之间的相似度，获取对应的关联矩阵，并使用高斯核函数对关联矩阵进行归一化，最终获取图结构graph特征处理过程如下：

(1)外观设计专利各视图之间的关联关系如图2所示，有连接的任意两个视图相似度不为0，无连接的任意两个视图相似度为0，如果外观设计专利的某些视图出现缺失的情况，采用上述步骤4中的视图替代方案；

优选地，任意两个连接视图的相似度采用欧式距离进行计算，则任意两个视图的相似度有j∈[0，n]；i，h∈[0，6]；k∈[0，4095]，其中j为外观设计专利的编号，i和h表示外观设计专利的视图编号，k为特征向量的元素编号，和分别表示第j个外观设计专利中i视图和h视图深度特征的第k个元素，表示第j个外观设计专利中i视图与h视图之间的相似度；

(2)根据图2定义各视图之间的关联关系和上述任意两个视图相似度计算，得到一个外观设计专利的关联矩阵s^j，有

(3)通过高斯核函数对关联矩阵s^j进行归一化；

优选地，假设高斯核的均值为0，标准差为1，则有

归一化的关联矩阵s^j，即为外观设计专利的图结构graph特征，有：

实施例二：

参考图3所示，本实施例提供了一种外观设计专利多视图特征表示的装置，所述外观设计专利多视图特征表示的装置可实现实施例一所述外观设计专利多视图特征表示方法，包括：外观设计专利图像深度特征生成模块、外观设计专利的图结构graph特征生成模块，其中：

外观设计专利图像深度特征生成模块，用于外观设计专利图像预处理和使用外观设计专利图像对预训练卷积神经网络进行训练，并通过微调后的新网络提取外观设计专利各个视图的深度特征。

外观设计专利的图结构graph特征生成模块，用于将外观设计专利各个视图的深度特征，并结合外观设计专利各个视图之间的关联关系，使用欧式距离定义各视图之间的相似度，获取相应的关联矩阵，同时使用高斯核函数对关联矩阵进行归一化，最终获得外观设计专利的图结构graph特征。

本实施例中，所述外观设计专利图像深度特征生成模块，具体可以通过实施例一中的步骤1、步骤2、步骤3和步骤4所提供的技术方案实现，在此不再赘述。

本实施例中，所述外观设计专利的图结构graph特征生成模块，具体可以通过实施例一中的步骤5所提供的技术方案实现，在此不再赘述。

实施例三：

下面将图4和图5的内容结合在一起，本实施例提供了一种外观设计专利多视图检索的方法，所述外观设计专利多视图检索的方法是基于实施例一所述外观设计专利多视图特征表示方法来实现的，包括以下步骤：

步骤1，构建图神经网络，将网络参数进行随机初始化，其中初始化参数服从正态分布；

优选地，如图4所示图神经网络结构，包括聚合aggregation和预测prediction两个模块；其中聚合aggregation模块由2个矩阵乘法单元、激活函数relu、读出readout层组成；prediction模块由2个全连接层和1个softmax层组成，softmax层主要用来对外观设计专利进行分类。

优选地，使用均值为0，标准差为1的正态分布初始化网络参数。

步骤2，构建图神经网络训练所需的数据集，将上面所述一种外观设计专利多视图特征表示的方法中，获得外观设计专利各视图的深度特征x^j、图结构graph特征s^j和类别标签y^j，整合后可构建外观设计专利数据集，分为训练数据集和测试数据集两部分；

所述获得外观设计专利各视图的深度特征x^j、图结构graph特征s^j和类别标签y^j进行整合后构建外观设计专利数据集，通过实施例一的方法，则外观设计专利数据集表示如下：d＝((s^j，x^j)，y^j)；j∈[1，n]，其中j为外观设计专利的编号，s^j为第j个外观设计专利的图结构graph特征，x^j为第j个外观设计专利的深度特征，y^j为第j个外观设计专利的标签信息。

步骤3，使用外观设计专利数据集对图神经网络进行训练，更新网络参数，直至网络的损失函数趋于收敛状态；

所述使用外观设计专利数据集对图神经网络进行训练，其训练设置如下：

(1)整理步骤2中获得的外观设计专利训练数据集

d＝{{s^j，x^j)，y^j)；j∈[1，n]，用来训练步骤1所构造的图神经网络；

(2)根据图5和上述步骤1、步骤2所述，在图神经网络的聚合aggregation模块中，将外观设计专利的图结构graph特征s^j和深度特征x^j进行矩阵相乘，其结果通过激活函数后，记为x^jt＝relu[(s^j×x^j(t-1))×w^0(t-1)]，其中w⁰∈r^4096×4096为聚合模块中第二个矩阵乘法单元的网络权重参数，j为外观设计专利的编号，t为聚合循环执行的次数；

优选地，循环执行次数t＝2；

(3)在图神经网络的预测prediction模块中，获得该外观设计专利的类别估计值，构造相应的损失函数，使用梯度下降法更新网络参数，直至网络的损失函数趋于收敛状态。

步骤4，将外观设计专利各视图的深度特征、图结构graph特征输入已训练好的图神经网络，并将聚合后，图的表征向量hg作为外观设计专利的表征向量，用于计算外观设计专利之间的相似度，并建立相应的特征库；

所述将聚合后图的表征向量hg作为外观设计专利的表征向量，其中图的表征向量hg是图神经网络结构中读出readout层的输出，则外观设计专利的图的表征向量hg可表示为k∈[0，4095]；其中向量

所述建立特征库，是指将所有外观设计专利的图的表征向量hg归一化，然后将归一化后的图的表征向量hg和所属类别标签存储在数据库中，以便计算外观设计专利之间的相似度；

优选地，使用图的表征向量的l²范数进行归一化，有

步骤5，将待检索的外观设计专利各视图的深度特征、图结构graph特征输入已训练好的图神经网络，获得外观设计专利的图表征向量hg和该专利所属的类别；

所述待检索的外观设计专利，在检索过程中，将外观设计专利的多个视图上传检索，其中至少上传一个主视图或者立体图；

所述待检索外观设计专利的图表征向量hg在实施例三中的步骤4有详细阐述；

所述待检索外观设计的所属类别，是指外观设计专利深度特征、图结构graph特征输入训练好的图神经网络，然后由图神经网络自动判别后输出相应的类别

步骤6，将待检索外观设计专利的图表征向量hg与其在外观设计专利库相应的类别内的图表征向量hg，使用欧式距离计算与之匹配的外观设计专利的相似度；

所述相应的类别内的图表征向量hg相似度计算，其处理过程如下：

(1)将待检索外观设计专利的图表征向量hg进行归一化，其归一化步骤在实施例三中的步骤4有详细阐述；

(2)根据实施例三中的步骤5的输出类别将待检索外观设计专利的匹配范围索引到与特征库相同类别的外观设计专利；

(3)根据归一化后的待检索外观设计专利的图表征向量hg，在特征库内与相同类别的外观设计专利进行相似度计算，则任意两个外观设计专利的相似度为i，j∈[0，n]；k∈[0，4095]，其中i,j表示外观设计专利的编号，k表示图表征向量hg的某个元素编号，x^it,x^jt分别表示第i,j个外观设计专利的图表征向量。

步骤7，检索结果按照相似度的数值由大到小进行重排，并将对应的外观专利信息输出；

所述检索结果按照相似度的数值由大到小进行重排，是指待检索外观设计专利的图的表征向量hg与特征库中的外观设计专利的图的表征向量进行欧式距离计算时，按照计算得到的距离，从小到大输出指定的外观设计专利。

实施例四：

参考图6所示，为本实施例提供了一种外观设计专利多视图检索的装置，所述外观设计专利多视图检索装置可实现实施例三所述外观设计专利多视图检索方法，包括：外观设计专利的图的表征向量hg生成模块、外观设计专利相似度计算模块和外观设计专利相似度重排、输出模块，其中：

外观设计专利的图的表征向量hg生成模块，用于外观设计专利图像的深度特征与图结构graph特征进行聚合，生成外观设计专利的图的表征向量hg；

外观设计专利相似度计算模块，用于将待检索外观设计专利的图的表征向量hg与特征库内相同类别的外观设计专利进行相似度计算；

外观设计专利相似度重排、输出模块，用于将计算所得的相似度数值按照由大到小进行重排，并输出对应的外观设计专利信息。

本实施例中，外观设计专利的图的表征向量hg生成模块，具体可以通过实施例三中的步骤1、步骤2、步骤3和步骤4所提供的技术方案实现，在此不再赘述。

本实施例中，所述外观设计专利相似度计算模块，具体可以通过实施例三中的步骤5和步骤6所提供的技术方案实现，在此不再赘述。

本实施例中，所述外观设计专利相似度重排、输出模块，具体可以通过实施例三中的步骤7所提供的技术方案实现，在此不再赘述。

本发明与现有技术相比，其显著优点：(1)将外观设计专利多视图的深度视觉特征和具有各视图关联信息的图结构graph特征进行有机融合，从而生成外观设计专利的图的表征向量hg，使得外观设计专利特征表示更加准确，能提高检索的准确度。(2)将待检索的外观设计专利的深度特征和图结构graph特征输入到已训练好的图神经网络，获取该外观设计专利所属类别，并在外观设计专利库相应的类别内使用欧式距离计算与之匹配的外观设计专利的相似度，大大提高了检索的效率。(3)外观设计专利检索的准确度和效率均有效提高后，可以更好地满足实际应用的需要。

最后应说明的是：以上所述，仅为本发明较佳的具体实施方案，但本发明的保护范围并不局限于此；对于本领域的技术人员来说，本申请可以有各种更改和替换，而这些修改或者替换，均应包含在本申请的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。