用于鉴别的模型的训练、鉴别方法、系统、设备及介质与流程

文档序号:24642132发布日期:2021-04-13 13:35阅读:110来源:国知局
用于鉴别的模型的训练、鉴别方法、系统、设备及介质与流程

1.本申请涉及图像识别领域,特别是涉及一种用于鉴别的模型的训练及鉴别方法、系统、设备及介质。


背景技术:

2.如今,居民购买力提升、购入奢侈品增多,然而奢侈品真伪混合销售的情况层出不穷,奢侈品鉴别已成为消费者多渠道购入奢侈品的核心需求。目前国内外奢侈品鉴别的主要方式是人工鉴别,还没有通过深度学习方法鉴别奢侈品的论文或专利。
3.人工方式鉴别奢侈品尽管已经取得一些发展,但仍存在诸多问题。第一,国内目前没有奢侈品鉴别行业的职业资格证书,缺乏对于从业者所必备的学识、技术和能力的基本要求,且没有正规的培养方式,从业人员的职业素质很难保证。第二,培养奢侈品鉴别师的代价大,符合要求的鉴别师少,难以满足日益增大的市场需求。且奢侈品鉴别时效性强,所需知识储备量大,而人对于物品真假的理解是非常主观的,不同人依照自身的知识、经验、情绪等情况可能做出不同的判断,难以保证鉴别结果的准确率。第三,奢侈品行业利润空间大,人工鉴别方式往往难以保证其公正性,难以取得消费者的信任。
4.因此,如何实现对物品(如奢侈品等)进行准确、高效的真伪鉴别,已成为本领域业者亟待解决的技术问题。


技术实现要素:

5.鉴于以上所述现有技术的缺点,本申请的目的在于提供一种用于鉴别的模型的训练及鉴别方法、系统、设备及介质,用于解决现有技术中存在的问题。
6.为实现上述目的及其他相关目的,本申请的第一方面提供一种机器学习模型的训练方法,包括:获取包含对应待鉴别物品的至少一个鉴别点的图像区域的训练样本图像;利用目标检测模型对所述训练样本图像进行处理,获取目标检测结果;利用所述目标检测结果训练分类模型,以输出所述鉴别点对应的待鉴别物品的部位的分类结果以及真伪鉴别结果。
7.在本申请的第一方面的某些实施方式中,所述目标检测模型为语义分割模型。
8.在本申请的第一方面的某些实施方式中,所述语义分割模型中的至少部分卷积计算使用空洞卷积。
9.在本申请的第一方面的某些实施方式中,所述语义分割模型中的至少部分卷积计算使用可变形卷积。
10.在本申请的第一方面的某些实施方式中,所述语义分割模型包括deeplab v1、deeplab v2、deeplab v3、或deeplab v3+。
11.在本申请的第一方面的某些实施方式中,所述真伪鉴别结果是利用分类模型获取的;所述分类模型包含多任务模型,所述多任务模型通过不同任务获取所述鉴别点对应的物品部位的分类结果以及真伪鉴别结果。
12.在本申请的第一方面的某些实施方式中,所述分类模型用于在获取真伪鉴别结果的计算过程中对所述目标检测结果进行不同层次的特征提取,以得到不同层次的特征图;其中,层次越低的特征图与所述目标检测结果越接近。
13.在本申请的第一方面的某些实施方式中,所述分类结果是根据高于预设层次的特征图得到的;和/或,所述真伪鉴别结果是根据至少一第一特征图和至少一第二特征图连接形成的至少一第三特征图得到的;其中,所述第一特征图的层次低于所述第二特征图。
14.在本申请的第一方面的某些实施方式中,所述第一特征图和第二特征图是根据提取自所述分类模型的不同层次的特征图得到的。
15.在本申请的第一方面的某些实施方式中,所述第一特征图及第二特征图是在相同尺寸的情况下进行连接的。
16.在本申请的第一方面的某些实施方式中,所述目标检测结果训练分类模型以输出所述待鉴别物品的真伪鉴别结果的步骤还包括:令所述第一特征图缩小至与第二特征图尺寸相同的步骤;或者,令第二特征图放大至与第二特征图尺寸相同的步骤。
17.在本申请的第一方面的某些实施方式中,所述缩小和/或放大的方法包括:双线性插值法、双三次插值法、或近邻插值法。
18.在本申请的第一方面的某些实施方式中,还包括如下步骤:对所述机器学习模型训练以在其一或多个损失函数的约束下更新所述分类模型的模型参数;其中,所述一或多个损失函数用于约束所述真伪鉴别结果与参照数据的差异、所述分类结果与参照数据的差异、或所述所述真伪鉴别结果和分类结果与参照数据的差异。
19.在本申请的第一方面的某些实施方式中,所述分类模型包括xception、resnet、se-net、或dpn-net。
20.在本申请的第一方面的某些实施方式中,所述待鉴别物品包括奢侈品包、鞋、或具有背透的手表。
21.本申请的第二方面还提供一种鉴别方法,包括:获取包含对应待鉴别物品的至少一个鉴别点的图像区域的图像;利用分类模型对经语义分割处理所述图像得到的目标检测结果进行鉴别;根据至少一个鉴定点的真伪鉴别结果输出所述待鉴别物品的真伪鉴别结果。
22.在本申请的第二方面的某些实施方式中,还包括输出所述鉴别点对应的待鉴别物品的部位的分类结果的步骤。
23.在本申请的第二方面的某些实施方式中,所述真伪鉴别结果由真伪属性和/或评估分数来表征。
24.在本申请的第二方面的某些实施方式中,所述语义分割处理中的至少部分卷积计算使用空洞卷积。
25.在本申请的第二方面的某些实施方式中,执行所述语义分割处理的语义分割模型包括deeplab v1、deeplab v2、deeplab v3、或deeplab v3+。
26.在本申请的第二方面的某些实施方式中,所述语义分割处理中的至少部分卷积计算使用可变形卷积
27.在本申请的第二方面的某些实施方式中,所述真伪鉴别结果是利用分类模型获取的;所述分类模型包含多任务模型,所述多任务模型通过不同任务获取所述真伪鉴别结果、
以及获取鉴别点对应的物品部位的分类结果。
28.在本申请的第二方面的某些实施方式中,所述分类模型用于在获取真伪鉴别结果的计算过程中对所述目标检测结果进行不同层次的特征提取,以得到不同层次的特征图;其中,层次越低的特征图与所述目标检测结果越接近。
29.在本申请的第二方面的某些实施方式中,所述分类结果是根据高于预设层次的特征图得到的;和/或,所述真伪鉴别结果是根据至少一第一特征图和至少一第二特征图连接形成的至少一第三特征图得到的;其中,所述第一特征图的层次低于所述第二特征图。
30.在本申请的第二方面的某些实施方式中,所述第一特征图和第二特征图是根据提取自所述分类模型的不同层次的特征图得到的。
31.在本申请的第二方面的某些实施方式中,所述第一特征图及第二特征图是在相同尺寸的情况下进行连接的。
32.在本申请的第二方面的某些实施方式中,包括:令所述第一特征图缩小至与第二特征图尺寸相同;或者,令第二特征图升放大至与第二特征图尺寸相同。
33.在本申请的第二方面的某些实施方式中,所述缩小和/或放大的方法包括:双线性插值法、双三次插值法、或近邻插值法。
34.在本申请的第二方面的某些实施方式中,所述分类模型包括xception、resnet、se-net、或dpn-net。
35.在本申请的第二方面的某些实施方式中,所述待鉴别物品包括奢侈品包、鞋、或具有背透的手表。
36.本申请的第三方面还提供一种鉴别方法,包括:获取包含对应待鉴别物品的至少一个鉴别点的图像区域的图像;利用一分类模型对所述图像的特征进行鉴别,以输出所述待鉴别物品的真伪鉴别结果;其中,所述分类模型包括多任务模型,所述多任务模型通过不同任务获取所述真伪鉴别结果、以及所述鉴别点对应的待鉴别物品的部位的分类结果。
37.本申请的第四方面还提供一种机器学习模型的训练系统,包括:获取模块,用于获取包含对应待鉴别物品的至少一个鉴别点的图像区域的训练样本图像;处理模块,用于利用目标检测模型对所述训练样本图像进行处理,获取目标检测结果;训练模块,用于利用所述目标检测结果训练分类模型,以输出所述鉴别点对应的待鉴别物品的部位的分类结果以及真伪鉴别结果。
38.本申请的第五方面还提供一种鉴别系统,包括:获取模块,用于获取包含对应待鉴别物品的至少一个鉴别点的图像区域的图像;输出模块,用于利用一分类模型对所述图像的特征进行鉴别,以输出所述待鉴别物品的真伪鉴别结果;其中,所述分类模型包括多任务模型,所述多任务模型通过不同任务获取所述真伪鉴别结果、以及所述鉴别点对应的待鉴别物品的部位的分类结果。
39.本申请的第六方面还提供一种鉴别系统,包括:获取模块,用于获取包含对应待鉴别物品的至少一个鉴别点的图像区域的图像;鉴别模块,用于利用分类模型对经语义分割处理所述图像得到的目标检测结果进行鉴别;输出模块,用于根据所述分类模型对目标检测结果的真伪鉴别结果输出所述待鉴别物品的真伪鉴别结果。
40.本申请的第七方面还提供一种电子设备,包括:获取装置,用于获取包含对应待鉴别物品的至少一个鉴别点的图像区域的图像;存储装置,用于存储程序代码;一个或多个处
理装置,用于调用所述存储装置中存储的程序代码来执行如第一方面所述的用于鉴别的模型的训练方法。
41.本申请的第八方面还提供一种电子设备,包括:拍摄装置,用于获取拍摄的包含对应待鉴别物品的至少一个鉴别点的图像区域的图像;存储装置,用于存储程序代码;一个或多个处理装置,用于调用所述存储装置中存储的程序代码来执行如第二方面所述的鉴别方法。
42.本申请的第九方面还提供一种客户端,装载于一电子设备中,包括:输入模块,用于接收到用户输入的鉴别指令时,调用所述电子设备预先存储的或调用所述电子设备拍摄的包含对应待鉴别物品的至少一个鉴别点的图像区域的图像;处理模块,调用所述电子设备中存储的程序代码来执行如第二方面所述的鉴别方法;显示模块,显示输出所述待鉴别物品的真伪鉴别结果和/或所述鉴别点对应的待鉴别物品的部位的分类结果。
43.在本申请的第九方面的某些实施方式中,所述显示模块还用于显示所述真伪鉴别结果的真伪属性和/或评估分数。
44.在本申请的第九方面的某些实施方式中,所述显示模块还用于显示依据用户的输入获得的鉴定报告。
45.本申请的第十方面还提供一种服务器,包括:接收装置,用于接收包含对应待鉴别物品的至少一个鉴别点的图像区域的图像;存储装置,用于存储程序代码;一个或多个处理装置,用于调用所述存储装置中存储的程序代码来执行如第二方面所述的鉴别方法,以获得所述待鉴别物品的真伪鉴别结果和/或所述鉴别点对应的待鉴别物品的部位的分类结果;发送装置,用于将所述真伪鉴别结果和/或分类结果发送给至少一个电子设备或装载于一电子设备中的客户端,以令其显示对应所述真伪鉴别结果的真伪属性和/或对应所述分类结果的评估分数。
46.本申请的第十一方面还提供了一种计算机可读存储介质,存储有至少一程序,所述至少一程序在被调用时执行并实现如第一方面所述的用于鉴别的模型的训练方法。
47.本申请的第十二方面还提供了一种计算机可读存储介质,存储有至少一程序,所述至少一程序在被调用时执行并实现如第二方面所述的鉴别方法。
48.如上所述,本申请的用于鉴别的模型的训练及鉴别方法、系统、设备及介质,具有以下有益效果:通过机器学习模型实现高准确度的目标检测及后续真伪分类过程;在一些示例中,通过在训练和鉴别过程中设置使用多任务模型作为所述分类模型,通过多任务模型可以联合学习其通过不同任务获取的真伪鉴别结果和鉴别点对应的物品部位的分类结果以联合训练机器学习模型,能有效从而减少模型的数量,提高鉴别结果的准确率。
附图说明
49.图1显示为本申请用于鉴别的模型的训练方法在一实施例中的流程示意图。
50.图2显示为本申请用于鉴别的机器学习模型在一实施例中进行训练的原理示意图。
51.图3显示为本申请用于鉴别的模型的训练方法在又一实施例中的流程示意图。
52.图4显示为本申请鉴别方法在一实施例中的流程示意图。
53.图5显示为本申请另一鉴别方法在一实施例中的流程示意图。
54.图6显示为本申请机器学习模型的训练系统在一实施例中的结构示意图。
55.图7显示为本申请鉴别系统在一实施例中的结构示意图。
56.图8显示为本申请另一鉴别系统在一实施例中的结构示意图。
57.图9显示为本申请电子设备在一实施例中的结构示意图。
58.图10显示为本申请另一电子设备在一实施例中的结构示意图。
59.图11显示为本申请客户端在一实施例中的结构示意图。
60.图12显示为本申请客户端在一实施例中在一智能手机显示界面上的示意图。
61.图13显示为本申请客户端在一实施例中在一智能手机显示界面上的示意图。
62.图14显示为本申请服务器在一实施例中的结构示意图。
具体实施方式
63.以下由特定的具体实施例说明本申请的实施方式,熟悉此技术的人士可由本说明书所揭露的内容轻易地了解本申请的其他优点及功效。
64.虽然在一些实例中术语第一、第二等在本文中用来描述各种元件,但是这些元件不应当被这些术语限制。这些术语仅用来将一个元件与另一个元件进行区分。例如,第一特征图可以被称作第二特征图,并且类似地,第二特征图可以被称作第一特征图,而不脱离各种所描述的实施例的范围。第一特征图和第二特征图均是在描述一个特征图,但是除非上下文以其他方式明确指出,否则它们不是同一个特征图。类似地还有第一倍数和第二倍数。
65.再者,如同在本文中所使用的,单数形式“一”、“一个”和“该”旨在也包括复数形式,除非上下文中有相反的指示。应当进一步理解,术语“包含”、“包括”表明存在所述的特征、步骤、操作、元件、组件、项目、种类、和/或组,但不排除一个或多个其他特征、步骤、操作、元件、组件、项目、种类、和/或组的存在、出现或添加。此处使用的术语“或”和“和/或”被解释为包括性的,或意味着任一个或任何组合。因此,“a、b或c”或者“a、b和/或c”意味着“以下任一个:a;b;c;a和b;a和c;b和c;a、b和c”。仅当元件、功能、步骤或操作的组合在某些方式下内在地互相排斥时,才会出现该定义的例外。
66.如今,居民购买力提升、购入奢侈品增多,然而奢侈品真伪混合销售的情况层出不穷,奢侈品鉴别已成为消费者多渠道购入奢侈品的核心需求。电子交易平台的日益发展不仅丰富了物品的销售渠道,还为伪造或仿制物品提供了便捷的销售平台,用户不得不担心所购买物品的真伪性。然而,物品鉴别能力并非普通消费者易于具备的,同样地,作为物品销售平台,物品的真伪也并非电子交易平台易于审核的。作为一些时尚的奢侈品,如包、表等奢侈品等,物品鉴别人需要储备大量相关物品知识,以及熟悉物品所使用材质、做工流程、主题特点等,因此,采用人工鉴别的方式已无法满足购买高端物品的用户对物品鉴别准确性、时效性等需求。
67.有鉴于此,本申请可以提供鉴别物品真伪的方法,其中,该鉴别方法可以是基于机器学习模型来实现的。机器学习是一种通过利用已有的数据训练模型,然后利用该模型进行预测的方法。所述机器学习模型可用于处理图像,通过训练数据对其加以训练即令该模型进行学习,最终得到用于通过图像处理获得物品的鉴别结果的已训练模型。
68.在本申请实施例中,需要解决的问题是待鉴定物品的真伪问题。
69.请参阅图1,显示为本申请用于鉴别的模型的训练方法在一实施例中的流程示意
图。
70.如图所示,该方法包括:
71.步骤s11,获取包含对应待鉴别物品的至少一个鉴别点的图像区域的训练样本图像。
72.在此,可以通过获取的一幅或多幅训练样本图像作为训练数据,以对机器学习模型进行训练。所述训练样本图像包含至少一个图像区域,该图像区域包含其对应的待鉴别物品的至少一个鉴别点。
73.在一些实施例中,所述待鉴别物品包括奢侈品包、鞋、或具有背透的手表。例如,鉴别某品牌的双肩包、单肩包、手提包、斜挎包、旅行包等具有皮签的包袋;例如,鉴别某品牌的具有鞋标、鞋撑、或其外包装的鞋盒上具有侧标的运动鞋、休闲鞋;例如,鉴别某品牌的具有背透的机械手表、石英手表、怀表等。当然并不局限于此,在一些实施例中,待鉴别物品也可以是具有书写笔迹、印记、刻痕的物品,例如手镯、戒指、合同等。其中,在一些实施例中,所述的奢侈品包例如为爱马仕(herm
è
s)包、路易
·
威登(louis vuitton)包、阿玛尼(giorgio armani)、宝格丽(bvlgari)、芬迪(fendi)、巴黎世家(balenciaga)、香奈儿(chanel)包、普拉达(prada)包、古驰(gucci)包、寇驰(coach)包、以及迪奥(dior)包等。所述的鞋例如为耐克(nike)鞋、乔丹(air jordan)鞋、阿迪达斯(adidas)鞋等。所述的手表例如为百达翡丽(patek philippe)表、江诗丹顿(vacheron constantin)表、爱彼(audemars piguet)表、宝玑(breguet)表、罗杰杜彼(roger dubuis)表、劳力士(rolex)表、欧米茄(omega)表等。
74.在实际的应用场景中,待鉴别物品的真品和赝品的整体外观通常十分相似,从整体外观上进行鉴别难度较高,因此例如奢侈品包的皮签、手表的背透、鞋的鞋标等鉴定点是鉴别真伪的关键。
75.故可以理解的是,由于待鉴别物品的种类不同,其鉴定点的位置也会不同。例如,对于奢侈品包而言,其鉴定点的位置一般在于外观、logo、皮签、五金搭扣、五金拉链头、五金锁扣头、五金铆钉、刻字纽扣、拉链、数字编码、数字皮签、防伪标签、及小白标等中的一种或多种;再比如对于手表而言,其鉴定点的位置通常在于外观、表带扣、及表盘的背透等中的一种或多种;再比如对于鞋类产品而言,其鉴定点的位置一般在于鞋标、钢印、鞋撑、背胶、鞋盒侧标、走线、或者其鞋盒上的侧标等中的一种或多种;再比如对于合同等印刷品或手镯等首饰而言,其鉴定点的位置通常在于书写笔迹、印章、刻印痕迹等中的一种或多种。
76.在一些实施例中,每幅训练样本图像可以包括初始标签,所述初始标签用于标注已知的该幅图像对应的待鉴别物品的真伪,以作为监督学习方式的预期数据(ground truth)。
77.可以理解的是,所述初始标签的表示方式只要能区别不同分类即可,而不对其形式加以限定,可以是各种字符(如数值、文字等)对应的机器代码。
78.举例来说,所述初始标签可以通过不同赋值的方式来区别表示真、伪,例如初始标签“1”表示所述训练样本图像为对应的待鉴别物品已知为真品或正品的图像,以初始标签“0”表示所述训练样本图像为对应的待鉴别物品被事先鉴定为赝品或仿品的图像。又例如,在一些实施例中,所述初始标签也可以由“真”或“假”对训练样本图像进行标注,也可以由“r”或“f”对训练样本图像进行标注,此处不作限制。
79.在一些实施例中,可以通过预先鉴定的方式来获得训练样本图像的标签,例如通过人工鉴定的方式。
80.所述训练样本图像可以是由电子设备的摄像设备进行拍摄从而直接获取的,也可以是通过数据传输而获取的。所述数据传输包括无线网络传输(例如tdma、cdma、gsm、phs、bluetooth等)、有线网络传输(例如专用网络、adsl网络、电缆调制解调器网络等)、或接口传输(例如通过接口从闪存、u盘、移动硬盘、光盘、软盘等存储介质获取)等。在一些实施例中,获取训练样本图像的方式包括但不限于:通过使用手机、平板电脑、笔记本电脑等电子设备的摄像装置对待鉴别物品进行拍摄,将拍摄的图像直接作为训练样本图像;在一些实施例中,通过下载网页上或服务器上已经鉴别出真伪的物品图像作为训练样本图像;在一些实施例中,通过有线通信或无线通信等方式接收的图像作为训练样本图像。所述图像的格式为计算机存储图像的格式,例如为bmp,jpg,png,tiff,gif,pcx,tga,exif,fpx,svg,psd,cdr,pcd,dxf,ufo,eps,ai,raw,wmf等存储的格式。
81.在实际应用中,一方面,图像可能会随着拍摄条件的不同而不同。例如,在阳光下拍摄的图像与在室内灯光下拍摄的图像是不同的,再者,灯光的颜色也会对图像有所影响。另一方面,根据待鉴定物品的使用时间的长短或使用程度的不同,拍摄的图像也有所不同。例如,长期频繁使用的物品可能比刚购置的物品的磨损程度重,或者经历了风化作用使得颜色加深,或者在使用的过程中沾上污渍等。
82.因此,在一些实施例中,对获取的图像使用数据增强方法来扩充图像的数量,以增加训练的鲁棒性。所述数据增强包括例如镜像对称、随机裁剪、旋转、拉伸、缩小、扭曲变形、局部弯曲、彩色转换、随机色块覆盖、及添加噪声等等中的一种或多种。例如,分别给一幅图像中的若干个通道上加上不同的失真值,以获得彩色转换后的图像,并将原始图像和彩色转换后的图像皆作为训练样本图像。所述通道指的是图像中的rgb通道或cmyk通道。例如,对于一幅rgb的64
×
64的图像,可以用一个64
×
64
×
3的向量来表示;其中,“3”用于表示通道,分别为红色(red)、绿色(green)、蓝色(blue)三个通道。又如,按照不同的噪声类型,分别将噪声随机数加至多幅图像上,并将原始图像和添加噪声后的多幅图像皆作为训练样本图像。
83.在实际应用中,存在获取的少数图像的尺寸和分辨率非常大或者非常小的情况,如果不对其进行筛选或者预处理而直接输入至机器学习模型中进行训练,可能会影响机器学习模型的准确性。因此,在一些实施例中,还包括对获取的图像进行筛选的步骤,剔除与机器学习模型的输入图像不适配的图像,以确保训练样本图像的质量,增加机器学习模型训练的稳定性。
84.由于每幅获取的图像在清晰度、图像大小、分辨率等参数上不一定相同,在一些实施方例中,为了便于后续步骤对所获取的所有图像或者经筛选后保留的图像进行识别,所述用于鉴别的模型的训练方法还包括对所述训练样本图像进行预处理的步骤。其中,所述预处理步骤用于将所获取的图像与机器学习模型的输入图像进行适配,以获得训练样本图像。所述预处理的步骤包括对所述图像进行尺寸修改、按比例缩放、加噪、反转、旋转、平移、缩放变换、剪切、对比度变换、随机通道偏移、及滤波中的一种或多种处理。例如,所述预处理包括剔除图像尺寸小于预设尺寸阈值的图像。又如,所述预处理包括对所获取的图像进行清晰度分析并选择清晰度满足预设清晰度条件的图像作为训练样本图像。又如,所述预
处理包括将所接收的550
×
300像素的图像旋转成300
×
550。又如,所述预处理包括将所接收的1000
×
800像素的图像缩小或剪切后,再旋转至300
×
550。又如,所述预处理包括对所获取的被美颜的图像进行锐化、加噪等处理以还原真实图像。再如,所述预处理包括对所获取的各图像进行灰度翻转,以便于后续抑制背景或对突出物品特征。
85.在一些实施例中,所述机器学习模型可以是单个的模型或多个连接的模型形成,例如串联的目标检测模型和分类模型;其中,目标检测模型用于对训练样本图像进行目标检测,分类模型用于输出所述训练样本图像的分类结果以及真伪鉴别结果;当然,在其他实施例中,所述机器学习模型也可以由单个模型实现,该单个模型中可以将目标检测模型和分类模型的功能集成为一体;或者,如果已有目标检测结果而不需要目标检测模型,也可以通过单个的分类模型来实现该机器学习模型。
86.本申请用于鉴别的模型的训练方法提供步骤s12,在步骤s12中,利用目标检测模型对所述训练样本图像进行处理,获取目标检测结果。
87.容易理解,待鉴别物品的图像中往往包含了大量的背景信息。现有的机器学习模型中通常利用例如faster r-cnn等目标检测方法,通过可能包含对应的鉴定点的图像区域内生成一个或若干个矩形框以初步检测其对应的鉴定点在整幅图像中的位置。然而这些目标检测方法在待鉴别物品在图像中存在不同角度的旋转、或者存在空洞情况下,所述矩形框内会包含大量的无关信息,从而影响检测结果的准确性。同时,当待鉴别物品在图像中存在被遮挡、大姿态等情况下,常常会出现漏检的情况。因此,将原始或经过预处理的训练样本图像输入至目标检测模型中进行图像处理,以去除与鉴定点无关的信息,从而获得更加准确的目标检测结果。
88.通常的目标检测方法利用深度卷积神经网络对物品进行检测或识别。承前所述,一方面,对于同一待鉴别物品,对其拍摄的角度可以变化;且训练样本图像也存在待鉴别物品的可视大小变化、形变、遮挡、光照条件变化、类内差异等情况;另一方面,深度卷积神经网络会受到背景、环境等信息的影响,即待鉴别物体可能与背景混淆,使其难以被辨认。因此,在一些实施例中,所述目标检测模型可以包含语义分割模型,相比于常见的如边界框(boundingbox)的方式,通过语义分割来得到的目标检测结果,去除无关背景信息而确定更精确的鉴定点的部位的轮廓,有助于提升后续根据目标检测结果进行分类的准确性;并且,能通过利用训练样本图像中待鉴别物品的背景或环境信息,增加对困难样本的训练的鲁棒性。
89.所述语义分割模型通过对训练样本图像的每个像素进行分类,从而为每幅训练样本图像中对应不同的像素类别的图像区域提供不同的标签。例如对于一幅待鉴别物品为奢侈品包的图像而言,所述语义分割模型将图像中的背景信息归为一类,将图像中的对应不同鉴定点的多个图像区域归为不同的另一类。
90.深度卷积神经网络一般通过池化(pooling)缩小图像的尺寸,再通过升采样(up-sample)放大到原尺寸,但在缩小或放大的过程中损失了图像的部分信息或特征。因此,在一些实施例中,所述语义分割模型中的至少部分卷积计算使用空洞卷积(dilated convolution)。所述语义分割模型可以在部分卷积层中采用空洞卷积,也可以在全部卷积层中分别采用不同空洞率(dilation rate)的卷积核进行空洞卷积。例如,在一个包含7层卷积层的语义分割模型中,第一层、第二层利用空洞率为1的3
×
3卷积核进行卷积,即普通
卷积;第三层利用空洞率为2的3
×
3卷积核进行空洞卷积,第四层利用空洞率为4的3
×
3卷积核进行空洞卷积,第五层利用空洞率为8的3
×
3卷积核进行空洞卷积,第六层利用空洞率为16的3
×
3卷积核进行空洞卷积,以及第七层采用空洞率为1的3
×
3卷积核进行普通卷积。
91.通过利用空洞卷积(dilated convolution)进行卷积计算,能够在特征图上进行不连续采样,扩大感受野,从而在不损失图像信息或特征的情况下,让每个卷积核的输出都包含了较大范围的图像信息或特征,相较于传统的普通卷积显著提高了提取图像特征信息的能力。
92.相应的,在一些实施例中,所述语义分割模型包括deeplab v1、deeplab v2、deeplab v3、或deeplab v3+。例如,以deeplab v3+作为语义分割模型进行处理,通过图像上使用四种不同空洞率的空洞卷积核进行空间金字塔池化(spatial pyramid pooling,spp),从而得到更加细致的待鉴别物品的轮廓,同时解决输入图像尺寸大小不一的情况。
93.在一些实施例中,卷积核为矩形或非固定形状。在一些实施例中,所述语义分割模型中的至少部分卷积计算使用可变形卷积,所述可变形卷积指的是卷积核在每一个像素上额外增加一个方向参数(位置偏移量),使得卷积核能够在训练过程中扩展到感兴趣的范围。通过利用可变形卷积,当图像存在各种情况时,能够以较小的计算量识别更多的特征,有效地提高了语义分割的效果,增强了模型的鲁棒性。
94.在一些实施例中,为了增强鲁棒性,也可以在深度卷积神经网络中对经旋转、平移、缩放、剪裁等处理的训练样本图像进行学习,以应对在可能出现的不同拍摄环境(如不同拍摄角度、距离、光线、背景、遮挡等)下图像的处理。
95.步骤s13,利用所述目标检测结果训练分类模型,以输出所述鉴别点对应的待鉴别物品的部位的分类结果以及真伪鉴别结果。
96.在此,将所述目标检测结果输入至分类模型中进行训练,分类模型通过提取图像的特性信息分别输出所述鉴别点对应的待鉴别物品的部位的分类结果、以及所述鉴别点对应的待鉴别物品的部位的真伪鉴别结果。
97.在一些实施例中,所述分类模型可以是基于卷积神经网络(cnn)实现的,包括例如xception、resnet、se-net、或dpn-net等。
98.在卷积神经网络(convolutional neural network,cnn)中,一般至少包括输入层、若干个卷积层、一个或多个池化层以及一个或多个输出层(全连接层)。在若干个卷积层中,层次越高(越深)的特征图包含了更多的抽象特征,用于确定其包含的鉴定点对应的待鉴别物品的部位的分类结果;层次越低(越浅)的特征图包含了更多的细节特征,用于确定待鉴别物品的真伪鉴别结果;其中,层次越低的特征图与输入图像越接近;在本实施例中,所述输入图像即为所述目标检测结果;而层次越高的特征图相较于输入图像差别越大,越抽象。
99.在一些实施例中,所述分类结果是根据高于预设层次的特征图得到的。所述分类模型对所述目标检测结果进行多层(例如卷积层、池化层)的特征提取,以获得高于预设层次的特征图;最后,所述分类模型可将特征图输入至全连接层,从而获得分类结果。例如,对于一共有十个特征提取层的分类模型而言,提取高于第五层的特征图以获得分类结果,则所述预设层次即为第五层;又如,所述分类模型直接提取最后一层的特征图以获得分类结果,则所述预设层次可以为倒数第二层。
100.可以理解的是,用于得到所述分类结果的特征图可以是直接取自分类模型的某层输出的特征图,也可以是对该层输出的特征图进行处理后得到的,所述处理可以包括例如卷积和/或池化处理等。
101.可以理解的是,由于低层次特征图包含更多细节,高层次特征图进行了良好的数据压缩,可以由分类模型根据低层次特征图和高层次特征图拼接后的结果进行分析,从而得到更为准确的真伪鉴别结果。
102.在一些实施例中,所述分类模型可以包含多任务模型,所述多任务模型通过不同任务来获取所述鉴别点对应的物品部位的分类结果以及真伪鉴别结果。
103.请参阅图2,显示为本申请用于鉴别的机器学习模型在一实施例中进行训练的原理示意图,如图所示,所述目标检测模型21将目标检测结果发送至所述分类模型22,由该分类模型22据以进行进一步的真伪鉴别。
104.需特别说明的是,在本实施例中,所述分类模型22包括多任务模型221,所述多任务模型221通过不同任务获取所述鉴别点对应的物品部位的分类结果23以及所述真伪鉴别结果24。
105.例如,对于一奢侈品包而言,其鉴定点可以位于例如logo、皮签、拉链、锁扣等部位。所述目标检测模型21对包含例如皮签的鉴定点的图像区域的训练样本图像进行语义分割处理,获得与训练样本图像尺寸相同的目标检测结果。所述目标检测模型21将所述目标检测结果发送给所述分类模型22中的多任务模型221,所述多任务模型221提取所述目标检测结果中的相对较低层的特征图和相对较高层的第二特征图,并输出分类结果23为皮签部位,以及输出包含的皮签部位的真伪鉴别结果24。
106.本申请实施例通过使用多任务模型作为所述分类模型,多任务模型可以联合学习其通过不同任务获取的真伪鉴别结果和鉴别点对应的物品部位的分类结果,能有效减少模型的数量,提高鉴别结果的准确率。
107.请参阅图3,显示为本申请用于鉴别的模型的训练方法在又一实施例中的流程示意图,如图所示,所述真伪鉴别结果33是根据至少一第一特征图321和至少一第二特征图322连接形成的至少一第三特征图323得到的。其中,所述第一特征图和第二特征图是根据提取自所述分类模型31的不同层次的特征图得到的。所述第一特征图的层次低于所述第二特征图。在一些实施例中,所述连接指的是特征图间在深度方向上的拼接或叠加。
108.所述分类模型通过提取目标检测结果的第一特征图和第二特征图,将所述第一特征图和第二特征图进行拼接,从而获得第三特征图。容易理解,当第一特征图和第二特征图为多幅时,将多幅第一特征图与对应的第二特征图分别进行拼接,获得多幅第三特征图。所述分类模型将所述第三特征图进行卷积,并通过一分类器进行分类,从而获得真伪鉴别结果。其中,所述分类器可以包括全连接层(fully connected layers,fc);当然,在一些实施例中也可以通过例如全局平均池化(global average pooling,gap)层来替代全连接层,以与如softmax函数等结合实现相近的分类功能。
109.在一些实施例中,所述第一特征图及第二特征图是在相同尺寸的情况下进行连接的。目标检测结果的尺寸大小和原始输入的训练样本图像的大小是相同的。分类模型输出的特征图的大小与目标检测结果的大小不一致,会无法使用损失函数进而影响模型收敛。当然,要使第一特征图和第二特征图的尺寸相同,可以令所述第一特征图缩小至与第二特
征图尺寸相同;或者,令第二特征图放大至与第二特征图尺寸相同。
110.然而,若直接对第一特征图或第二特征图进行缩小或放大的处理,会使得图像损失大量细节特征,造成图像的严重失真。因此,在一些实施例中,可以利用如双线性插值法、双三次插值法、区域关系重采样法、近邻插值法、或lanczos插值法等图像几何变换方法将所述分类模型输出的特征图缩小或放大至目标检测结果的尺寸大小。
111.例如,为了使特征图包含更多的细节信息,将所述分类模型的最后一层的缩小了第二倍数的特征图放大第一倍数,然后提取所述分类模型中某一层缩小了所述第一倍数的特征图,再将相同尺寸的二者进行连接。经过卷积后得到新的特征图,再利用双线性插值法将所述新的特征图以第一倍数放大至与目标检测结果的尺寸相同。其中,第一倍数与第二倍数成比例关系。例如,将所述分类模型的最后一层的缩小了16倍的特征图放大4倍,然后提取所述分类模型中某一层缩小了4倍的特征图,再将相同尺寸的二者进行连接。经过卷积后得到新的特征图,再利用双线性插值法将所述新的特征图放大4倍至与目标检测结果的尺寸相同。
112.容易理解,所述分类模型具有一或多个损失函数,用于约束所述真伪鉴别结果与预期数据的差异、所述分类结果与预期数据、或所述真伪鉴别结果和分类结果与预期数据的差异,以在此约束下更新所述分类模型的模型参数。所述约束指的是令差异最小或维持在预设范围中。
113.在一些实施例中,所述模型参数可以通过训练由模型自行学习以更新,所述模型参数包括样本权重、正则化参数、激活函数以及核函数等。在一些实施例中,所述模型参数也可以通过人工设置或手动设置的方式以更新,所述模型参数包括学习率、批次大小、优化器、迭代次数以及激活函数等。
114.在此,通过设置一个或多个损失函数以对模型的训练过程进行约束,使训练收敛更加稳定,同时避免模型的训练陷入局部最优,进一步增强所述机器学习模型的鉴别能力和准确性。所述损失函数用于估量模型的预测值与真实值(ground thuth,也可以称为预期数据)的不一致程度(或称偏离程度),损失函数的值越小,模型的鲁棒性越好。所述损失函数值包括交叉熵损失函数、范数损失函数、对数损失函数、平方损失函数、指数损失函数、绝对值损失函数等。
115.在一些实施例中,所述一或多个损失函数可以用于约束所述真伪鉴别结果与预期数据的差异,再将该约束产生的对模型的要求通过正向或反向传播方式传递至模型各层,以更新各模型参数值。
116.例如,所述预期数据为对应真物品的图像输出1,对应假物品的图像输出0,即“0”表示对应的待鉴别物品为赝品或仿制品,“1”表示对应的待鉴别物品为真品或正品。所述真伪鉴别结果为[0,1]范围内的一个实数。所述损失函数用于在对各模型参数值进行更新后使得所述真伪鉴别结果与预期数据的差异趋近于0。例如,若输入对应的待鉴别物品标记为真的一幅训练样本图像,输出真伪鉴别结果为0.9,则对分类模型的模型参数的更新应使模型之后再对相同或相近的真物品的训练样本图像所输出的真伪鉴定结果更趋近“1”;原理相似的是,对分类模型的训练可以对于假物品的图像的真伪鉴别结果更趋近于“0”,例如,对假物品的图像的真伪鉴别结果从0.1降低到0.05等,实现鉴别准确性的提升。
[0117]
在一些实施例中,所述一或多个损失函数用于约束所述分类结果与预期数据的差
异,所述预期数据为预先设置的包含至少一个概率值的特征向量,例如[x1,x2,x3,

,x
n
],其中n为正整数。对应的,所述分类结果也输出一一对应的包含至少一个概率值的特征向量,例如[y1,y2,y3,

,y
n
],其中n为正整数。通过分别比较分类结果[y1,y2,y3,

,y
n
]与预期数据[x1,x2,x3,

,x
n
]对应的值,即比较分类结果的特征向量中各个概率值与期望值(理想值)的差异,从而约束各模型对模型参数进行更新,以使得所述分类结果的特征向量中各个概率值趋于所述期望值。
[0118]
以奢侈品包为例,其鉴定点例如包括皮签、锁扣、拉链、logo、铆钉、以及刻字纽扣六个部位。对应的,每一幅训练样本图像的分类结果为一个包含6个概率值的特征向量[y1,y2,y3,y4,y5,y6]。所述特征向量中各个概率值分别与各个鉴定点一一对应,例如y1代表其鉴定点为皮签的概率值,y2代表其鉴定点为锁扣的概率值,y3代表其鉴定点为拉链的概率值,y4代表其鉴定点为logo的概率值,y5代表其鉴定点为铆钉的概率值,以及y6代表其鉴定点为刻字纽扣的概率值。对于包含鉴定点为拉链的物品部位的目标检测结果而言,对应的分类结果的预期数据例如为[0,0,1,0,0,0],则对分类模型的模型参数的更新应使得其对的分类结果更趋近于[0,0,1,0,0,0]。
[0119]
本申请实施例通过约束所述分类结果与预期数据的差异,能够使得模型的训练趋于收敛,增强鲁棒性。
[0120]
在使用模型进行鉴别时,能进一步剔除分类错误的训练样本图像的分类结果,增加模型的准确率。
[0121]
在一些实施例中,还可以利用模型评估指标用以判断所述机器学习模型的训练是否完成。所述模型评估指标包括正确率,所述正确率为所述真伪鉴别结果正确的训练样本图像的数量与总体训练样本图像的数量的比值。
[0122]
承前所述,每幅训练样本图像包括初始标签,用于表示该幅图像对应的待鉴别物品的真伪。将每张训练样本图像输出的真伪鉴别结果与该图像的初始标签进行比较,当机器学习模型输出的真伪鉴别结果与所述图像的初始标签一致时,则判定所述真伪鉴别结果为“正确”;反之则判定所述真伪鉴别结果为“错误”。例如,将1000张训练样本图像输入至机器学习模型进行训练,其中800张训练样本图像的鉴别结果是“正确”的,200张为“错误”的,则正确率为80%。
[0123]
在一些实施例中,通过判断所述正确率是否大于一个预设值或者趋于稳定在一个预设的范围内,从而判断所述机器学习模型的训练是否完成。例如,预设值为90%,那么当所述机器学习模型的正确率大于90%即可判断训练完成;或者,在若干次训练的正确率相同的情况下,选择损失函数值最小的某次训练得到的机器学习模型作为训练完成的用于鉴别的机器学习模型。
[0124]
本申请提供的用于鉴别的模型的训练方法,通过在训练和鉴别过程中设置使用多任务模型作为所述分类模型,通过多任务模型可以联合学习其通过不同任务获取的真伪鉴别结果和鉴别点对应的物品部位的分类结果以联合训练机器学习模型,能有效从而减少模型的数量,提高鉴别结果的准确率。
[0125]
本申请还提供一种鉴别方法,藉由通过上述用于鉴别的模型的训练方法训练得到的机器学习模型来对待鉴别物品的图像进行鉴别。请参阅图4,显示为本申请鉴别方法在一实施例中的流程示意图,如图所示,所述鉴别方法包括:
[0126]
步骤s41,获取包含对应待鉴别物品的至少一个鉴别点的图像区域的图像。
[0127]
在此,可以获取一幅或多幅包含对应待鉴别物品的至少一个鉴别点的图像区域的图像,并利用机器学习模型进行鉴别以获得所述待鉴别物品的真伪鉴别结果;其中,所述机器学习模型是通过上述用于鉴别的模型的训练方法训练得到的,所述训练方法即:获取包含对应待鉴别物品的至少一个鉴别点的图像区域的训练样本图像;利用目标检测模型对所述训练样本图像进行处理,获取目标检测结果;利用所述目标检测结果训练分类模型,以输出所述鉴别点对应的待鉴别物品的部位的分类结果以及真伪鉴别结果。
[0128]
在一些实施例中,所述待鉴别物品包括奢侈品包、鞋、或具有背透的手表。例如,鉴别某品牌的双肩包、单肩包、手提包、斜挎包、旅行包等具有皮签的包袋;例如,鉴别某品牌的具有鞋标、鞋撑、或其外包装的鞋盒上具有侧标的运动鞋、休闲鞋;例如,鉴别某品牌的具有背透的机械手表、石英手表、怀表等。当然并不局限于此,在一些实施例中,待鉴别物品也可以是具有书写笔迹、印记、刻痕的物品,例如手镯、戒指、合同等。其中,在一些实施例中,所述的奢侈品包例如为爱马仕(herm
è
s)包、路易
·
威登(louis vuitton)包、阿玛尼(giorgio armani)、宝格丽(bvlgari)、芬迪(fendi)、巴黎世家(balenciaga)、香奈儿(chanel)包、普拉达(prada)包、古驰(gucci)包、寇驰(coach)包、以及迪奥(dior)包等。所述的鞋例如为耐克(nike)鞋、乔丹(air jordan)鞋、阿迪达斯(adidas)鞋等。所述的手表例如为百达翡丽(patek philippe)表、江诗丹顿(vacheron constantin)表、爱彼(audemars piguet)表、宝玑(breguet)表、罗杰杜彼(roger dubuis)表、劳力士(rolex)表、欧米茄(omega)表等。
[0129]
在实际的应用场景中,待鉴别物品的真品和赝品的整体外观通常十分相似,从整体外观上进行鉴别难度较高,因此例如奢侈品包的皮签、手表的背透、鞋的鞋标等鉴定点是鉴别真伪的关键。
[0130]
故可以理解的是,由于待鉴别物品的种类不同,其鉴定点的位置也会不同。例如,对于奢侈品包而言,其鉴定点的位置一般在于外观、logo、皮签、五金搭扣、五金拉链头、五金锁扣头、五金铆钉、刻字纽扣、拉链、数字编码、数字皮签、防伪标签、及小白标等中的一种或多种;再比如对于手表而言,其鉴定点的位置通常在于外观、表带扣、及表盘的背透等中的一种或多种;再比如对于鞋类产品而言,其鉴定点的位置一般在于鞋标、钢印、鞋撑、背胶、鞋盒侧标、走线、或者其鞋盒上的侧标等中的一种或多种;再比如对于合同等印刷品或手镯等首饰而言,其鉴定点的位置通常在于书写笔迹、印章、刻印痕迹等中的一种或多种。
[0131]
所述图像可以是由电子设备的摄像设备进行拍摄从而直接获取的,也可以是通过数据传输而获取的。所述数据传输包括无线网络传输(例如tdma、cdma、gsm、phs、bluetooth等)、有线网络传输(例如专用网络、adsl网络、电缆调制解调器网络等)、或接口传输(例如通过接口从闪存、u盘、移动硬盘、光盘、软盘等存储介质获取的)等。在一些实施例中,获取图像的方式包括但不限于:通过使用手机、平板电脑、笔记本电脑等电子设备的摄像装置对待鉴别物品进行拍摄,将拍摄的图像直接作为待鉴别的图像;在一些实施例中,通过下载网页上或服务器上的物品图像作为待鉴别的图像;在一些实施例中,通过有线通信或无线通信等方式接收的图像作为待鉴别的图像。所述图像的格式为计算机存储图像的格式,例如为bmp,jpg,png,tiff,gif,pcx,tga,exif,fpx,svg,psd,cdr,pcd,dxf,ufo,eps,ai,raw,wmf等存储的格式。
[0132]
在实际应用中,一方面,图像可能会随着拍摄条件的不同而不同。例如,在阳光下拍摄的图像与在室内灯光下拍摄的图像是不同的,再者,灯光的颜色也会对图像有所影响。另一方面,根据待鉴定物品的使用时间的长短或使用程度的不同,拍摄的图像也有所不同。例如,长期频繁使用的物品可能比刚购置的物品的磨损程度重,或者经历了风化作用使得颜色加深,或者在使用的过程中沾上污渍等。并且,存在获取的少数图像的尺寸和分辨率非常大或者非常小的情况,如果不对其进行筛选或者预处理而直接输入至机器学习模型中进行鉴别,可能会影响真伪鉴别结果的准确性。因此,在一些实施例中,还包括对获取的图像进行筛选的步骤,剔除与机器学习模型的输入图像不适配的图像,以确保真伪鉴别结果的准确性和稳定性。
[0133]
由于每幅获取的图像在清晰度、图像大小、分辨率等参数上不一定相同,在一些实施方例中,为了便于后续步骤对所获取的所有图像或者经筛选后保留的图像进行识别,所述用于鉴别的模型的训练方法还包括对图像进行预处理的步骤。其中,所述预处理步骤用于将所获取的图像与机器学习模型的输入图像进行适配,以获得输入图像。所述预处理的步骤包括对所述图像进行尺寸修改、按比例缩放、加噪、反转、旋转、平移、缩放变换、剪切、对比度变换、随机通道偏移、滤波中的一种或多种处理。例如,所述预处理包括剔除图像尺寸小于预设尺寸阈值的图像。又如,所述预处理包括对所获取的图像进行清晰度分析并选择清晰度满足预设清晰度条件的图像作为待鉴别的图像。又如,所述预处理包括将所接收的550
×
300像素的图像旋转成300
×
550。又如,所述预处理包括将所接收的1000
×
800像素的图像缩小或剪切后,再旋转至300
×
550。又如,所述预处理包括对所获取的被美颜的图像进行锐化、加噪等处理以还原真实图像。再如,所述预处理包括对所获取的各图像进行灰度翻转,以便于后续抑制背景或对突出物品特征。
[0134]
在一些实施例中,所述机器学习模型可以是单个的模型或多个连接的模型形成,例如串联的语义分割模型和分类模型;其中,语义分割模型用于对训练样本图像进行目标检测,分类模型用于输出所述训练样本图像的分类结果以及真伪鉴别结果;当然,在其他实施例中,所述机器学习模型也可以由单个模型实现,该单个模型中可以将语义分割模型和分类模型的功能集成为一体;或者,如果已有目标检测结果而不需要语义分割模型,也可以通过单个的分类模型来实现该机器学习模型。
[0135]
因此,本申请鉴别方法提供步骤s42,在步骤s42中,利用分类模型对经语义分割处理所述图像得到的目标检测结果进行鉴别。
[0136]
在此,可以通过一语义分割模型对所述图像进行语义分割处理,从而获得目标检测结果;将所述目标检测结果输入至所述分类模型并利用所述分类模型对其进行鉴别。
[0137]
容易理解,待鉴别物品的图像中往往包含了大量的背景信息。现有的机器学习模型中通常利用例如faster r-cnn等目标检测方法,通过可能包含对应的鉴定点的图像区域内生成一个或若干个矩形框以初步检测其对应的鉴定点在整幅图像中的位置。然而这些目标检测方法在待鉴别物品在图像中存在不同角度的旋转、或者存在空洞情况下,所述矩形框内会包含大量的无关信息,从而影响检测结果的准确性。同时,当待鉴别物品在图像中存在被遮挡、大姿态等情况下,常常会出现漏检的情况。
[0138]
因此,对原始或经过预处理的待鉴别物品的图像进行语义分割处理,以去除与鉴定点无关的信息,从而获得目标检测结果。所述语义分割处理是通过对图像的每个像素进
行分类,从而为每幅图像中对应不同的像素类别的图像区域提供不同的标签。例如对于一幅待鉴别物品为奢侈品包的图像而言,通过语义分割处理将图像中的背景信息归为一类,将图像中的对应不同鉴定点的多个图像区域归为不同的类别。通过对待鉴别物品的图像进行语义分割处理,避免由待鉴别物品的可视大小变化、形变、遮挡、光照条件变化、类内差异等情况造成的误差,同时能够有效地利用图像中的背景或环境信息,针对待鉴别物体与背景混淆从而难以被辨认的情况也能做出准确的鉴别。
[0139]
深度卷积神经网络一般通过池化(pooling)缩小图像的尺寸,再通过升采样(up-sample)放大到原尺寸,但在缩小-放大的过程中损失了图像的部分信息或特征。因此,在一些实施例中,所述语义分割处理中的至少部分卷积计算使用空洞卷积(dilated convolution)。所述语义分割处理可以在部分卷积层中采用空洞卷积,也可以在全部卷积层中分别采用不同空洞率(dilation rate)的卷积核进行空洞卷积。例如,对于7层的卷积层,可以对第一层、第二层利用空洞率为1的3
×
3卷积核进行卷积,即普通卷积;对第三层利用空洞率为2的3
×
3卷积核进行空洞卷积,对第四层利用空洞率为4的3
×
3卷积核进行空洞卷积,对第五层利用空洞率为8的3
×
3卷积核进行空洞卷积,对第六层利用空洞率为16的3
×
3卷积核进行空洞卷积,以及对第七层采用空洞率为1的3
×
3卷积核进行普通卷积。通过利用空洞卷积(dilated convolution)进行卷积计算,能够在特征图上进行不连续采样,扩大感受野,从而在不损失图像信息或特征的情况下,让每个卷积核的输出都包含了较大范围的图像信息或特征,相较于传统的普通卷积显著提高了提取图像特征信息的能力。
[0140]
相应的,在一些实施例中,执行所述语义分割处理的语义分割模型包括deeplab v1、deeplab v2、deeplab v3、或deeplab v3+。例如,以deeplab v3+作为语义分割模型进行处理,通过图像上使用四种不同空洞率的空洞卷积核进行空间金字塔池化(spatial pyramid pooling,spp),从而得到更加细致的待鉴别物品的轮廓,同时解决输入图像尺寸大小不一的情况。
[0141]
在一些实施例中,卷积核为矩形或非固定形状。通常会在深度卷积神经网络中会对图像的旋转、平移、缩放、剪裁等处理进行训练学习,以应对图像可能出现的各种情况。在一些实施例中,所述语义分割处理中的至少部分卷积计算使用可变形卷积,所述可变形卷积指的是卷积核在每一个像素上额外增加一个方向参数(位置偏移量),使得卷积核能够在图像上扩展到感兴趣的范围。通过利用可变形卷积,当图像存在各种情况时,能够以较小的计算量识别更多的特征,有效地提高了语义分割的效果,增强了鉴别的准确性。
[0142]
步骤s43,根据所述分类模型对目标检测结果的真伪鉴别结果输出所述待鉴别物品的真伪鉴别结果。
[0143]
在此,将所述目标检测结果输入至所述分类模型,所述分类模型对所述目标检测结果进行鉴别,输出所述目标检测结果的真伪鉴别结果。所述目标检测结果的真伪鉴别结果即所述鉴别点对应的待鉴别物品的部位的真伪鉴别结果。根据所述目标检测结果的真伪鉴别结果,所述分类模型输出所述待鉴别物品的真伪鉴别结果。
[0144]
在一些实施例中,所述分类模型可以是基于卷积神经网络(cnn)实现的,包括例如xception、resnet、se-net、或dpn-net等。
[0145]
在卷积神经网络(convolutional neural network,cnn)中,一般至少包括输入层、若干个卷积层、一个或多个池化层以及一个或多个输出层(全连接层)。在若干个卷积层
中,层次越高(越深)的特征图包含了更多的抽象特征,用于确定其包含的鉴定点对应的待鉴别物品的部位的分类结果;层次越低(越浅)的特征图包含了更多的细节特征,用于确定待鉴别物品的真伪鉴别结果;其中,层次越低的特征图与输入图像越接近;在本实施例中,所述输入图像即为所述目标检测结果;而层次越高的特征图相较于输入图像差别越大,越抽象。
[0146]
可以理解的是,由于低层次特征图包含更多细节,高层次特征图进行了良好的数据压缩,可以由分类模型根据低层次特征图和高层次特征图拼接后的结果进行分析,从而得到更为准确的真伪鉴别结果。
[0147]
所述图像经语义分割处理后,被输入至所述分类模型,由该分类模型据以进行进一步的真伪鉴别。在一些实施例中,所述分类模型包括多任务模型,所述多任务模型通过不同任务获取所述鉴别点对应的物品部位的真伪鉴别结果。
[0148]
例如,对于一奢侈品包而言,其鉴定点可以位于例如logo、皮签、拉链、锁扣等部位。对包含例如皮签的鉴定点的图像区域的图像进行语义分割处理,获得与该图像尺寸相同的目标检测结果。将所述目标检测结果发送给所述分类模型中的多任务模型,所述多任务模型提取所述目标检测结果中的相对较低层的特征图和相对较高层的第二特征图,并输出包含的皮签部位的真伪鉴别结果。
[0149]
本申请实施例通过使用多任务模型作为所述分类模型,多任务模型可以联合学习其通过不同任务获取的真伪鉴别结果和鉴别点对应的物品部位的分类结果,能有效减少模型的数量,提高鉴别结果的准确率。
[0150]
在一些实施例中,所述鉴别点对应的物品部位的真伪鉴别结果是根据至少一第一特征图和至少一第二特征图连接形成的至少一第三特征图得到的。其中,所述第一特征图和第二特征图是根据提取自所述分类模型的不同层次的特征图得到的。所述第一特征图的层次低于所述第二特征图。在一些实施例中,所述连接指的是特征图间在深度方向上的拼接或叠加。
[0151]
所述分类模型通过提取目标检测结果的第一特征图和第二特征图,将所述第一特征图和第二特征图进行拼接,从而获得第三特征图。容易理解,当第一特征图和第二特征图为多幅时,将多幅第一特征图与对应的第二特征图分别进行拼接,获得多幅第三特征图。所述分类模型将所述第三特征图进行卷积,并通过一分类器进行分类,从而获得所述鉴别点对应的物品部位的真伪鉴别结果。其中,所述分类器可以包括全连接层(fully connected layers,fc);当然,在一些实施例中也可以通过例如全局平均池化(global average pooling,gap)层来替代全连接层,以与如softmax函数等结合实现相近的分类功能。
[0152]
在一些实施例中,所述第一特征图及第二特征图是在相同尺寸的情况下进行连接的。目标检测结果的尺寸大小和原始输入的待鉴别物品的图像的大小是相同的。分类模型输出的特征图的大小与目标检测结果的大小不一致会影响鉴别结果的准确性。当然,要使第一特征图和第二特征图的尺寸相同,可以令所述第一特征图缩小至与第二特征图尺寸相同;或者,令第二特征图放大至与第二特征图尺寸相同。若直接对第一特征图或第二特征图进行缩小或放大的处理,会使得图像损失大量细节特征,造成图像的严重失真。因此,在一些实施例中,可以利用如双线性插值法、双三次插值法、区域关系重采样法、近邻插值法、或lanczos插值法等图像几何变换方法将所述分类模型输出的特征图缩小或放大至目标检测
结果的尺寸大小。
[0153]
例如,为了使特征图包含更多的细节信息,将所述分类模型的最后一层的缩小了第二倍数的特征图放大第一倍数,然后提取所述分类模型中某一层缩小了所述第一倍数的特征图,再将相同尺寸的二者进行连接。经过卷积后得到新的特征图,再利用双线性插值法将所述新的特征图以第一倍数放大至与目标检测结果的尺寸相同。其中,第一倍数与第二倍数成比例关系。例如,将所述分类模型的最后一层的缩小了16倍的特征图放大4倍,然后提取所述分类模型中某一层缩小了4倍的特征图,再将相同尺寸的二者进行连接。经过卷积后得到新的特征图,再利用双线性插值法将所述新的特征图放大4倍至与目标检测结果的尺寸相同。
[0154]
在一些实施例中,所述鉴别点对应的物品部位的真伪鉴别结果可以由真伪属性来表征。所述真伪属性用以表示所述鉴别点的真伪鉴别结果为真或为假。
[0155]
例如,对于一奢侈品包而言,其鉴定点可以位于例如logo、皮签、拉链、锁扣等部位。通过分类模型对多幅待鉴别物品的图像进行鉴别,获得所述鉴别点对应的物品部位的真伪鉴别结果分别为:logo的真伪属性为真,皮签的真伪属性为假,拉链的真伪属性为真,锁扣的真伪属性为假。
[0156]
在一些实施例中,所述鉴别点对应的物品部位的真伪鉴别结果可以由评估分数来表征。所述评估分数用于表示所述鉴别点对应的物品部位的真伪鉴别结果为真或为假的概率值(可能性)。
[0157]
例如,通过分类模型对多幅待鉴别物品的图像进行鉴别,获得所述鉴别点对应的物品部位的真伪鉴别结果分别为:logo的评估分数为90%、0.9或90分(或其它形式的量值表征方式),则表示所述logo部位有90%的概率为真(假),或所述logo部位大概率为真;皮签的评估分数为5%、0.05或5分,则表示所述皮签部位有5%的概率为真(假),或所述皮签部位大概率为假。
[0158]
进一步的,可以通过引入与评估分数参考值的比较来确定鉴定点的真伪,例如,评估分数大于一个真参考值,则鉴定点为真;若评估分数小于一假参考值,则鉴定点为假。
[0159]
举例来说,评估分数大于80%为真,小于40%为假等;当然,此仅为例举,并非以此为限。
[0160]
在一些实施例中,所述待鉴别物品的真伪鉴别结果也可以由真伪属性来表征、或由评估分数来表征、或真伪属性和评估分数共同来表征。
[0161]
举例来说,所述待鉴别物品的真伪鉴别结果的真伪属性由一个或多个所述鉴别点对应的物品部位的真伪鉴别结果的真伪属性的联合结果表征。例如,可以根据统计所述鉴别点对应的物品部位的真伪鉴别结果中为真或为假的数量,从而综合判断所述待鉴别物品的真伪鉴别结果为真或为假。又如,预先为各个鉴定点对应的物品部位的真伪鉴别结果分配不同的权重,通过权重计算综合判断所述待鉴别物品的真伪鉴别结果为真或为假;又如,只要存在一个鉴定点的真伪鉴别结果为假,即判定所述待鉴别物品的真伪鉴别结果为假。
[0162]
所述待鉴别物品的真伪鉴别结果的评估分数由一个或多个所述鉴别点对应的物品部位的真伪鉴别结果的评估分数共同表征。在一些实施例中,预先为各个鉴定点对应的物品部位的真伪鉴别结果的评估分数分配不同的权重,通过权重计算综合判断所述待鉴别物品的真伪鉴别结果的评估分数。例如,logo的评估分数为90%,皮签的评估分数为5%,拉
链的评估分数为15%,锁扣的评估分数为10%;通过权重计算获得所述待鉴别物品的真伪鉴别结果的评估分数为20%,表示所述待鉴别物品大概率为假。
[0163]
在一些实施例中,在将所述目标检测结果输入至分类模型后,所述分类模型还可以输出所述鉴别点对应的待鉴别物品的部位的分类结果。
[0164]
在一些实施例中,所述分类结果是根据高于预设层次的特征图得到的。所述分类模型对所述目标检测结果进行多层(例如卷积层、池化层)的特征提取,以获得高于预设层次的特征图;最后,所述分类模型可将特征图输入至全连接层,从而获得分类结果。例如,对于一共有十个特征提取层的分类模型而言,提取高于第五层的特征图以获得分类结果,则所述预设层次即为第五层;又如,所述分类模型直接提取最后一层的特征图以获得分类结果,则所述预设层次可以为倒数第二层。
[0165]
可以理解的是,用于得到所述分类结果的特征图可以是直接取自分类模型的某层输出的特征图,也可以是对该层输出的特征图进行处理后得到的,所述处理可以包括例如卷积和/或池化处理等。
[0166]
通常,由于不同物品需要鉴定的部位组合不同,如不同品牌的奢侈品包,有的需要鉴定外观、皮签、和刻字纽扣,有的需要鉴定外观、皮签、和数字编码,则可以对应不同的物品来设置不同的鉴别模板供用户选择,每个鉴别模板关联于不同的鉴定点组合的图像采集及鉴定。
[0167]
在一些示例中,所述鉴别模板对应于“品牌约束下的物品类型所约束的鉴定点组合”来产生,例如鉴别模板1对应dior品牌下的奢侈品包的鉴定点组合包括:外观、皮签和数字编码;当然,根据实际情况的不同,鉴别模板可以发生变化。如在一些示例中,也可以对应于“物品类型约束下的鉴定点组合”来形成鉴别模板,举例来说,鉴别模板2对应奢侈品表的鉴定点组合包括:外观和背透等,而非以上述为限。
[0168]
在一个具体的实施例中,可以提供鉴别提示,通过提示用户选择鉴别模板,以确定本次鉴别的鉴定点组合。在此,可以预存多个物品类型的鉴别模板,例如对应奢侈品包的鉴别模板、对应手表的鉴别模板、以及对应鞋的鉴别模板等。例如,在用户选择鉴别模板为“奢侈品包”后,显示该鉴别模板包括的鉴定点组合包括:皮签、锁扣、五金铆钉、logo等,并提示用户按照顺序一一提供对应的图像;又如,在用户选择鉴别模板为“鞋”后,显示该鉴别模板包括的鉴定点组合包括有:鞋撑、鞋舌、鞋标、走线等,并提示用户按照顺序一一提供对应的图像。所述提示可以为例如提示“请拍摄皮签的图像”,并将用户拍摄或调用的图像作为对应鉴定点为皮签的待鉴别物品的图像。
[0169]
当然并不局限于此,可以提示用户选择对应物品类型的鉴别模板后再选择对应品牌的鉴别模板,从而确定鉴定点组合;或者提示用户选择对应品牌的鉴别模板后再选择对应物品类型的鉴别模板,从而确定鉴定点组合。
[0170]
本申请提供的鉴别方法利用通过用于鉴别的模型的训练方法训练得到的机器学习模型对待鉴别物品的图像进行鉴别,一方面对待鉴别物品的图像进行语义分割处理,相较于一般的目标检测方法准确率更高,并且能够适应图像不同光线、背景等各种情况,鉴别的稳定性强;另一方面利用多任务模型作为分类模型进行鉴别,根据分类模型输出的鉴定点对应的待鉴别物品的部位的真伪鉴别结果,输出所述待鉴别物品的真伪鉴别结果,鉴别的准确率高。
[0171]
本申请还提供鉴别方法的其它实施例。
[0172]
请参阅图5,显示为本申请鉴别方法在一实施例中的流程示意图。
[0173]
如图所示,本实施例中,所述鉴别方法包括:
[0174]
步骤s51,获取包含对应待鉴别物品的至少一个鉴别点的图像区域的图像。
[0175]
在此,可以获取一幅或多幅包含对应待鉴别物品的至少一个鉴别点的图像区域的图像,并利用机器学习模型进行鉴别以获得所述待鉴别物品的真伪鉴别结果;其中,所述机器学习模型是通过上述用于鉴别的模型的训练方法训练得到的,所述训练方法即:获取包含对应待鉴别物品的至少一个鉴别点的图像区域的训练样本图像;利用目标检测模型对所述训练样本图像进行处理,获取目标检测结果;利用所述目标检测结果训练分类模型,以输出所述鉴别点对应的待鉴别物品的部位的分类结果以及真伪鉴别结果。
[0176]
在一些实施例中,所述待鉴别物品包括奢侈品包、鞋、或具有背透的手表。例如,鉴别某品牌的双肩包、单肩包、手提包、斜挎包、旅行包等具有皮签的包袋;例如,鉴别某品牌的具有鞋标、鞋撑、或其外包装的鞋盒上具有侧标的运动鞋、休闲鞋;例如,鉴别某品牌的具有背透的机械手表、石英手表、怀表等。当然并不局限于此,在一些实施例中,待鉴别物品也可以是具有书写笔迹、印记、刻痕的物品,例如手镯、戒指、合同等。
[0177]
在实际的应用场景中,待鉴别物品的真品和赝品的整体外观通常十分相似,从整体外观上进行鉴别难度较高,因此例如奢侈品包的皮签、手表的背透、鞋的鞋标等鉴定点是鉴别真伪的关键。
[0178]
故可以理解的是,由于待鉴别物品的种类不同,其鉴定点的位置也会不同。例如,对于奢侈品包而言,其鉴定点的位置一般在于外观、logo、皮签、五金搭扣、五金拉链头、五金锁扣头、五金铆钉、刻字纽扣、拉链、数字编码、数字皮签、防伪标签、及小白标等中的一种或多种;再比如对于手表而言,其鉴定点的位置通常在于外观、表带扣、及表盘的背透等中的一种或多种;再比如对于鞋类产品而言,其鉴定点的位置一般在于鞋标、钢印、鞋撑、背胶、鞋盒侧标、走线、或者其鞋盒上的侧标等中的一种或多种;再比如对于合同等印刷品或手镯等首饰而言,其鉴定点的位置通常在于书写笔迹、印章、刻印痕迹等中的一种或多种。
[0179]
所述图像可以是由电子设备的摄像设备进行拍摄从而直接获取的,也可以是通过数据传输而获取的。所述数据传输包括无线网络传输(例如tdma、cdma、gsm、phs、bluetooth等)、有线网络传输(例如专用网络、adsl网络、电缆调制解调器网络等)、或接口传输(例如通过接口从闪存、u盘、移动硬盘、光盘、软盘等存储介质获取的)等。在一些实施例中,获取图像的方式包括但不限于:通过使用手机、平板电脑、笔记本电脑等电子设备的摄像装置对待鉴别物品进行拍摄,将拍摄的图像直接作为待鉴别的图像;在一些实施例中,通过下载网页上或服务器上的物品图像作为待鉴别的图像;在一些实施例中,通过有线通信或无线通信等方式接收的图像作为待鉴别的图像。所述图像的格式为计算机存储图像的格式,例如为bmp,jpg,png,tiff,gif,pcx,tga,exif,fpx,svg,psd,cdr,pcd,dxf,ufo,eps,ai,raw,wmf等存储的格式。
[0180]
在实际应用中,一方面,图像可能会随着拍摄条件的不同而不同。例如,在阳光下拍摄的图像与在室内灯光下拍摄的图像是不同的,再者,灯光的颜色也会对图像有所影响。另一方面,根据待鉴定物品的使用时间的长短或使用程度的不同,拍摄的图像也有所不同。例如,长期频繁使用的物品可能比刚购置的物品的磨损程度重,或者经历了风化作用使得
颜色加深,或者在使用的过程中沾上污渍等。并且,存在获取的少数图像的尺寸和分辨率非常大或者非常小的情况,如果不对其进行筛选或者预处理而直接输入至机器学习模型中进行鉴别,可能会影响真伪鉴别结果的准确性。因此,在一些实施例中,还包括对获取的图像进行筛选的步骤,剔除与机器学习模型的输入图像不适配的图像,以确保真伪鉴别结果的准确性和稳定性。
[0181]
由于每幅获取的图像在清晰度、图像大小、分辨率等参数上不一定相同,在一些实施方例中,为了便于后续步骤对所获取的所有图像或者经筛选后保留的图像进行识别,所述用于鉴别的模型的训练方法还包括对图像进行预处理的步骤。其中,所述预处理步骤用于将所获取的图像与机器学习模型的输入图像进行适配,以获得输入图像。所述预处理的步骤包括对所述图像进行尺寸修改、按比例缩放、加噪、反转、旋转、平移、缩放变换、剪切、对比度变换、随机通道偏移、滤波中的一种或多种处理。例如,所述预处理包括剔除图像尺寸小于预设尺寸阈值的图像。又如,所述预处理包括对所获取的图像进行清晰度分析并选择清晰度满足预设清晰度条件的图像作为待鉴别的图像。又如,所述预处理包括将所接收的550
×
300像素的图像旋转成300
×
550。又如,所述预处理包括将所接收的1000
×
800像素的图像缩小或剪切后,再旋转至300
×
550。又如,所述预处理包括对所获取的被美颜的图像进行锐化、加噪等处理以还原真实图像。再如,所述预处理包括对所获取的各图像进行灰度翻转,以便于后续抑制背景或对突出物品特征。
[0182]
在一些实施例中,所述机器学习模型可以是单个的模型或多个连接的模型形成,例如串联的语义分割模型和分类模型;其中,语义分割模型用于对训练样本图像进行目标检测,分类模型用于输出所述训练样本图像的分类结果以及真伪鉴别结果;当然,在其他实施例中,所述机器学习模型也可以由单个模型实现,该单个模型中可以将语义分割模型和分类模型的功能集成为一体;或者,如果已有目标检测结果而不需要语义分割模型,也可以通过单个的分类模型来实现该机器学习模型。
[0183]
因此,本申请鉴别方法提供步骤s52,在步骤s52中,利用一分类模型对所述图像的特征进行鉴别,以输出所述待鉴别物品的真伪鉴别结果;其中,所述分类模型包括多任务模型,所述多任务模型通过不同任务获取所述真伪鉴别结果、以及所述鉴别点对应的待鉴别物品的部位的分类结果。
[0184]
在此,可以通过一语义分割模型对所述图像进行语义分割处理,从而获得目标检测结果;将所述目标检测结果输入至所述分类模型并利用所述分类模型对其进行鉴别。
[0185]
容易理解,待鉴别物品的图像中往往包含了大量的背景信息。现有的机器学习模型中通常利用例如faster r-cnn等目标检测方法,通过可能包含对应的鉴定点的图像区域内生成一个或若干个矩形框以初步检测其对应的鉴定点在整幅图像中的位置。然而这些目标检测方法在待鉴别物品在图像中存在不同角度的旋转、或者存在空洞情况下,所述矩形框内会包含大量的无关信息,从而影响检测结果的准确性。同时,当待鉴别物品在图像中存在被遮挡、大姿态等情况下,常常会出现漏检的情况。
[0186]
因此,对原始或经过预处理的待鉴别物品的图像进行语义分割处理,以去除与鉴定点无关的信息,从而获得目标检测结果。所述语义分割处理是通过对图像的每个像素进行分类,从而为每幅图像中对应不同的像素类别的图像区域提供不同的标签。例如对于一幅待鉴别物品为奢侈品包的图像而言,通过语义分割处理将图像中的背景信息归为一类,
将图像中的对应不同鉴定点的多个图像区域归为不同的类别。通过对待鉴别物品的图像进行语义分割处理,避免由待鉴别物品的可视大小变化、形变、遮挡、光照条件变化、类内差异等情况造成的误差,同时能够有效地利用图像中的背景或环境信息,针对待鉴别物体与背景混淆从而难以被辨认的情况也能做出准确的鉴别。
[0187]
深度卷积神经网络一般通过池化(pooling)缩小图像的尺寸,再通过升采样(up-sample)放大到原尺寸,但在缩小-放大的过程中损失了图像的部分信息或特征。因此,在一些实施例中,所述语义分割处理中的至少部分卷积计算使用空洞卷积(dilated convolution)。所述语义分割处理可以在部分卷积层中采用空洞卷积,也可以在全部卷积层中分别采用不同空洞率(dilation rate)的卷积核进行空洞卷积。例如,对于7层的卷积层,可以对第一层、第二层利用空洞率为1的3
×
3卷积核进行卷积,即普通卷积;对第三层利用空洞率为2的3
×
3卷积核进行空洞卷积,对第四层利用空洞率为4的3
×
3卷积核进行空洞卷积,对第五层利用空洞率为8的3
×
3卷积核进行空洞卷积,对第六层利用空洞率为16的3
×
3卷积核进行空洞卷积,以及对第七层采用空洞率为1的3
×
3卷积核进行普通卷积。通过利用空洞卷积(dilated convolution)进行卷积计算,能够在特征图上进行不连续采样,扩大感受野,从而在不损失图像信息或特征的情况下,让每个卷积核的输出都包含了较大范围的图像信息或特征,相较于传统的普通卷积显著提高了提取图像特征信息的能力。
[0188]
相应的,在一些实施例中,执行所述语义分割处理的语义分割模型包括deeplab v1、deeplab v2、deeplab v3、或deeplab v3+。例如,以deeplab v3+作为语义分割模型进行处理,通过图像上使用四种不同空洞率的空洞卷积核进行空间金字塔池化(spatial pyramid pooling,spp),从而得到更加细致的待鉴别物品的轮廓,同时解决输入图像尺寸大小不一的情况。
[0189]
在一些实施例中,卷积核为矩形或非固定形状。通常会在深度卷积神经网络中会对图像的旋转、平移、缩放、剪裁等处理进行训练学习,以应对图像可能出现的各种情况。在一些实施例中,所述语义分割处理中的至少部分卷积计算使用可变形卷积,所述可变形卷积指的是卷积核在每一个像素上额外增加一个方向参数(位置偏移量),使得卷积核能够在图像上扩展到感兴趣的范围。通过利用可变形卷积,当图像存在各种情况时,能够以较小的计算量识别更多的特征,有效地提高了语义分割的效果,增强了鉴别的准确性。
[0190]
然后,根据所述分类模型对目标检测结果的真伪鉴别结果输出所述待鉴别物品的真伪鉴别结果。
[0191]
在此,将所述目标检测结果输入至所述分类模型,所述分类模型对所述目标检测结果进行鉴别,输出所述目标检测结果的真伪鉴别结果。所述目标检测结果的真伪鉴别结果即所述鉴别点对应的待鉴别物品的部位的真伪鉴别结果。根据所述目标检测结果的鉴别结果,所述分类模型输出所述待鉴别物品的真伪鉴别结果。
[0192]
在一些实施例中,所述分类模型可以是基于卷积神经网络(cnn)实现的,包括例如xception、resnet、se-net、或dpn-net等。
[0193]
在卷积神经网络(convolutional neural network,cnn)中,一般至少包括输入层、若干个卷积层、一个或多个池化层以及一个或多个输出层(全连接层)。在若干个卷积层中,层次越高(越深)的特征图包含了更多的抽象特征,用于确定其包含的鉴定点对应的待鉴别物品的部位的分类结果;层次越低(越浅)的特征图包含了更多的细节特征,用于确定
待鉴别物品的真伪鉴别结果;其中,层次越低的特征图与输入图像越接近;在本实施例中,所述输入图像即为所述目标检测结果;而层次越高的特征图相较于输入图像差别越大,越抽象。
[0194]
可以理解的是,由于低层次特征图包含更多细节,高层次特征图进行了良好的数据压缩,可以由分类模型根据低层次特征图和高层次特征图拼接后的结果进行分析,从而得到更为准确的真伪鉴别结果。
[0195]
所述图像经语义分割处理后,被输入至所述分类模型,由该分类模型据以进行进一步的真伪鉴别。在一些实施例中,所述分类模型包括多任务模型,所述多任务模型通过不同任务获取所述鉴别点对应的物品部位的真伪鉴别结果。
[0196]
例如,对于一奢侈品包而言,其鉴定点可以位于例如logo、皮签、拉链、锁扣等部位。对包含例如皮签的鉴定点的图像区域的图像进行语义分割处理,获得与该图像尺寸相同的目标检测结果。将所述目标检测结果发送给所述分类模型中的多任务模型,所述多任务模型提取所述目标检测结果中的相对较低层的特征图和相对较高层的第二特征图,并输出包含的皮签部位的真伪鉴别结果。
[0197]
本申请实施例通过使用多任务模型作为所述分类模型,多任务模型可以联合学习其通过不同任务获取的真伪鉴别结果和鉴别点对应的物品部位的分类结果,能有效减少模型的数量,提高鉴别结果的准确率。
[0198]
在一些实施例中,所述鉴别点对应的物品部位的真伪鉴别结果是根据至少一第一特征图和至少一第二特征图连接形成的至少一第三特征图得到的。其中,所述第一特征图和第二特征图是根据提取自所述分类模型的不同层次的特征图得到的。所述第一特征图的层次低于所述第二特征图。在一些实施例中,所述连接指的是特征图间在深度方向上的拼接或叠加。
[0199]
所述分类模型通过提取目标检测结果的第一特征图和第二特征图,将所述第一特征图和第二特征图进行拼接,从而获得第三特征图。容易理解,当第一特征图和第二特征图为多幅时,将多幅第一特征图与对应的第二特征图分别进行拼接,获得多幅第三特征图。所述分类模型将所述第三特征图进行卷积,并通过一分类器进行分类,从而获得所述鉴别点对应的物品部位的真伪鉴别结果。其中,所述分类器可以包括全连接层(fully connected layers,fc);当然,在一些实施例中也可以通过例如全局平均池化(global average pooling,gap)层来替代全连接层,以与如softmax函数等结合实现相近的分类功能。
[0200]
在一些实施例中,所述第一特征图及第二特征图是在相同尺寸的情况下进行连接的。目标检测结果的尺寸大小和原始输入的待鉴别物品的图像的大小是相同的。分类模型输出的特征图的大小与目标检测结果的大小不一致会影响鉴别结果的准确性。当然,要使第一特征图和第二特征图的尺寸相同,可以令所述第一特征图缩小至与第二特征图尺寸相同;或者,令第二特征图放大至与第二特征图尺寸相同。若直接对第一特征图或第二特征图进行缩小或放大的处理,会使得图像损失大量细节特征,造成图像的严重失真。因此,在一些实施例中,可以利用如双线性插值法、双三次插值法、区域关系重采样法、近邻插值法、或lanczos插值法等图像几何变换方法将所述分类模型输出的特征图缩小或放大至目标检测结果的尺寸大小。
[0201]
例如,为了使特征图包含更多的细节信息,将所述分类模型的最后一层的缩小了
第二倍数的特征图放大第一倍数,然后提取所述分类模型中某一层缩小了所述第一倍数的特征图,再将相同尺寸的二者进行连接。经过卷积后得到新的特征图,再利用双线性插值法将所述新的特征图以第一倍数放大至与目标检测结果的尺寸相同。其中,第一倍数与第二倍数成比例关系。例如,将所述分类模型的最后一层的缩小了16倍的特征图放大4倍,然后提取所述分类模型中某一层缩小了4倍的特征图,再将相同尺寸的二者进行连接。经过卷积后得到新的特征图,再利用双线性插值法将所述新的特征图放大4倍至与目标检测结果的尺寸相同。
[0202]
在一些实施例中,所述鉴别点对应的物品部位的真伪鉴别结果可以由真伪属性来表征。所述真伪属性用以表示所述真伪鉴别结果为真或为假。
[0203]
例如,对于一奢侈品包而言,其鉴定点可以位于例如logo、皮签、拉链、锁扣等部位。通过分类模型对多幅待鉴别物品的图像进行鉴别,获得所述鉴别点对应的物品部位的真伪鉴别结果分别为:logo的真伪属性为真,皮签的真伪属性为假,拉链的真伪属性为真,锁扣的真伪属性为假。
[0204]
在一些实施例中,所述鉴别点对应的物品部位的真伪鉴别结果可以由评估分数来表征。所述评估分数用于表示所述鉴别点对应的物品部位的真伪鉴别结果为真或为假的概率值(可能性)。
[0205]
例如,通过分类模型对多幅待鉴别物品的图像进行鉴别,获得所述鉴别点对应的物品部位的真伪鉴别结果分别为:logo的评估分数为90%,则表示所述logo部位有90%的概率为真(假),或所述logo部位大概率为真;皮签的评估分数为5%,则表示所述皮签部位有5%的概率为真(假),或所述皮签部位大概率为假。
[0206]
在一些实施例中,所述待鉴别物品的真伪鉴别结果也可以由真伪属性来表征、或由评估分数来表征、或真伪属性和评估分数共同来表征。
[0207]
所述待鉴别物品的真伪鉴别结果的真伪属性由一个或多个所述鉴别点对应的物品部位的真伪鉴别结果的真伪属性共同表征。例如,可以根据统计所述鉴别点对应的物品部位的真伪鉴别结果中为真或为假的数量,从而综合判断所述待鉴别物品的真伪鉴别结果为真或为假。又如,预先为各个鉴定点对应的物品部位的真伪鉴别结果分配不同的权重,通过权重计算综合判断所述待鉴别物品的真伪鉴别结果为真或为假。
[0208]
所述待鉴别物品的真伪鉴别结果的评估分数由一个或多个所述鉴别点对应的物品部位的真伪鉴别结果的评估分数共同表征。在一些实施例中,预先为各个鉴定点对应的物品部位的真伪鉴别结果的评估分数分配不同的权重,通过权重计算综合判断所述待鉴别物品的真伪鉴别结果的评估分数。例如,logo的评估分数为90%,皮签的评估分数为5%,拉链的评估分数为15%,锁扣的评估分数为10%;通过权重计算获得所述待鉴别物品的真伪鉴别结果的评估分数为20%,表示所述待鉴别物品大概率为假。
[0209]
在一些实施例中,在将所述目标检测结果输入至分类模型后,所述分类模型还可以输出所述鉴别点对应的待鉴别物品的部位的分类结果。
[0210]
在一些实施例中,所述分类结果是根据高于预设层次的特征图得到的。所述分类模型对所述目标检测结果进行多层(例如卷积层、池化层)的特征提取,以获得高于预设层次的特征图;最后,所述分类模型可将特征图输入至全连接层,从而获得分类结果。例如,对于一共有十个特征提取层的分类模型而言,提取高于第五层的特征图以获得分类结果,则
所述预设层次即为第五层;又如,所述分类模型直接提取最后一层的特征图以获得分类结果,则所述预设层次可以为倒数第二层。
[0211]
可以理解的是,用于得到所述分类结果的特征图可以是直接取自分类模型的某层输出的特征图,也可以是对该层输出的特征图进行处理后得到的,所述处理可以包括例如卷积和/或池化处理等。
[0212]
通常,由于不同物品需要鉴定的部位组合不同,如不同品牌的奢侈品包,有的需要鉴定外观、皮签、和刻字纽扣,有的需要鉴定外观、皮签、和数字编码,则可以对应不同的物品来设置不同的鉴别模板供用户选择,每个鉴别模板关联于不同的鉴定点组合的图像采集及鉴定。
[0213]
在一些示例中,所述鉴别模板对应于“品牌约束下的物品类型所约束的鉴定点组合”来产生,例如鉴别模板1对应dior品牌下的奢侈品包的鉴定点组合包括:外观、皮签和数字编码;当然,根据实际情况的不同,鉴别模板可以发生变化。如在一些示例中,也可以对应于“物品类型约束下的鉴定点组合”来形成鉴别模板,举例来说,鉴别模板2对应奢侈品表的鉴定点组合包括:外观和背透等,而非以上述为限。
[0214]
在一个具体的实施例中,可以提供鉴别提示通过提示用户选择鉴别模板,以确定本次鉴别的鉴定点组合。在此,可以预存多个物品类型的鉴别模板,例如对应奢侈品包的鉴别模板、对应手表的鉴别模板、以及对应鞋的鉴别模板等。例如,在用户选择鉴别模板为“奢侈品包”后,显示该鉴别模板包括的鉴定点组合包括:皮签、锁扣、五金铆钉、logo等,并提示用户按照顺序一一提供对应的图像;又如,在用户选择鉴别模板为“鞋”后,显示该鉴别模板包括的鉴定点组合包括有:鞋撑、鞋舌、鞋标、走线等,并提示用户按照顺序一一提供对应的图像。所述提示可以为例如提示“请拍摄皮签的图像”,并将用户拍摄或调用的图像作为对应鉴定点为皮签的待鉴别物品的图像。
[0215]
当然并不局限于此,可以提示用户选择对应物品类型的鉴别模板后再选择对应品牌的鉴别模板,从而确定鉴定点组合;或者提示用户选择对应品牌的鉴别模板后再选择对应物品类型的鉴别模板,从而确定鉴定点组合。
[0216]
本申请提供的鉴别方法利用通过用于鉴别的模型的训练方法训练得到的机器学习模型对待鉴别物品的图像进行鉴别,一方面对待鉴别物品的图像进行语义分割处理,相较于一般的目标检测方法准确率更高,并且能够适应图像不同光线、背景等各种情况,鉴别的稳定性强;另一方面利用多任务模型作为分类模型进行鉴别,根据分类模型输出的鉴定点对应的待鉴别物品的部位的真伪鉴别结果,输出所述待鉴别物品的真伪鉴别结果,鉴别的准确率高。
[0217]
本申请还提供一种机器学习模型的训练系统,请参阅图6,显示为本申请机器学习模型的训练系统在一实施例中的结构示意图,如图所示,所述训练系统6包括获取模块61、处理模块62和训练模块63,其中:
[0218]
所述获取模块61用于获取包含对应待鉴别物品的至少一个鉴别点的图像区域的训练样本图像。在此,可以通过获取的一幅或多幅训练样本图像作为训练数据,以对机器学习模型进行训练。所述训练样本图像包含至少一个图像区域,该图像区域包含其对应的待鉴别物品的至少一个鉴别点。在一些实施例中,所述待鉴别物品包括奢侈品包、鞋、或具有背透的手表。例如,鉴别某品牌的双肩包、单肩包、手提包、斜挎包、旅行包等具有皮签的包
袋;例如,鉴别某品牌的具有鞋标、鞋撑、或其外包装的鞋盒上具有侧标的运动鞋、休闲鞋;例如,鉴别某品牌的具有背透的机械手表、石英手表、怀表等。当然并不局限于此,在一些实施例中,待鉴别物品也可以是具有书写笔迹、印记、刻痕的物品,例如手镯、戒指、合同等。
[0219]
在实际的应用场景中,待鉴别物品的真品和赝品的整体外观通常十分相似,从整体外观上进行鉴别难度较高,因此例如奢侈品包的皮签、手表的背透、鞋的鞋标等鉴定点是鉴别真伪的关键。
[0220]
故可以理解的是,由于待鉴别物品的种类不同,其鉴定点的位置也会不同。例如,对于奢侈品包而言,其鉴定点的位置一般在于外观、logo、皮签、五金搭扣、五金拉链头、五金锁扣头、五金铆钉、刻字纽扣、拉链、数字编码、数字皮签、防伪标签、及小白标等中的一种或多种;再比如对于手表而言,其鉴定点的位置通常在于外观、表带扣、及表盘的背透等中的一种或多种;再比如对于鞋类产品而言,其鉴定点的位置一般在于鞋标、钢印、鞋撑、背胶、鞋盒侧标、走线、或者其鞋盒上的侧标等中的一种或多种;再比如对于合同等印刷品或手镯等首饰而言,其鉴定点的位置通常在于书写笔迹、印章、刻印痕迹等中的一种或多种。
[0221]
在一些实施例中,每幅训练样本图像可以包括初始标签,所述初始标签用于标注已知的该幅图像对应的待鉴别物品的真伪,以作为监督学习方式的预期数据(ground truth)。
[0222]
可以理解的是,所述初始标签的表示方式只要能区别不同分类即可,而不对其形式加以限定,可以是各种字符(如数值、文字等)对应的机器代码。
[0223]
举例来说,所述初始标签可以通过不同赋值的方式来区别表示真、伪,例如初始标签“1”表示所述训练样本图像为对应的待鉴别物品已知为真品或正品的图像,以初始标签“0”表示所述训练样本图像为对应的待鉴别物品被事先鉴定为赝品或仿品的图像。又例如,在一些实施例中,所述初始标签也可以由“真”或“假”对训练样本图像进行标注,也可以由“r”或“f”对训练样本图像进行标注,此处不作限制。
[0224]
在一些实施例中,可以通过预先鉴定的方式来获得训练样本图像的标签,例如通过人工鉴定的方式。
[0225]
所述训练样本图像可以是由电子设备的摄像设备进行拍摄从而直接获取的,也可以是通过数据传输而获取的。所述数据传输包括无线网络传输(例如tdma、cdma、gsm、phs、bluetooth等)、有线网络传输(例如专用网络、adsl网络、电缆调制解调器网络等)、或接口传输(例如通过接口从闪存、u盘、移动硬盘、光盘、软盘等存储介质获取的)等。在一些实施例中,获取训练样本图像的方式包括但不限于:通过使用手机、平板电脑、笔记本电脑等电子设备的摄像装置对待鉴别物品进行拍摄,将拍摄的图像直接作为训练样本图像;在一些实施例中,通过下载网页上或服务器上已经鉴别出真伪的物品图像作为训练样本图像;在一些实施例中,通过有线通信或无线通信等方式接收的图像作为训练样本图像。所述图像的格式为计算机存储图像的格式,例如为bmp,jpg,png,tiff,gif,pcx,tga,exif,fpx,svg,psd,cdr,pcd,dxf,ufo,eps,ai,raw,wmf等存储的格式。
[0226]
在实际应用中,一方面,图像可能会随着拍摄条件的不同而不同。例如,在阳光下拍摄的图像与在室内灯光下拍摄的图像是不同的,再者,灯光的颜色也会对图像有所影响。另一方面,根据待鉴定物品的使用时间的长短或使用程度的不同,拍摄的图像也有所不同。例如,长期频繁使用的物品可能比刚购置的物品的磨损程度重,或者经历了风化作用使得
颜色加深,或者在使用的过程中沾上污渍等。
[0227]
因此,在一些实施例中,对获取的图像使用数据增强方法来扩充图像的数量,以增加训练的鲁棒性。所述数据增强包括例如镜像对称、随机裁剪、旋转、拉伸、缩小、扭曲变形、局部弯曲、彩色转换、随机色块覆盖、及添加噪声等等中的一种或多种。例如,分别给一幅图像中的若干个通道上加上不同的失真值,以获得彩色转换后的图像,并将原始图像和彩色转换后的图像皆作为训练样本图像。所述通道指的是图像中的rgb通道或cmyk通道。例如,对于一幅rgb的64
×
64的图像,可以用一个64
×
64
×
3的向量来表示;其中,“3”用于表示通道,分别为红色(red)、绿色(green)、蓝色(blue)三个通道。又如,按照不同的噪声类型,分别将噪声随机数加至多幅图像上,并将原始图像和添加噪声后的多幅图像皆作为训练样本图像。
[0228]
在实际应用中,存在获取的少数图像的尺寸和分辨率非常大或者非常小的情况,如果不对其进行筛选或者预处理而直接输入至机器学习模型中进行训练,可能会影响机器学习模型的准确性。因此,在一些实施例中,还包括对获取的图像进行筛选的步骤,剔除与机器学习模型的输入图像不适配的图像,以确保训练样本图像的质量,增加机器学习模型训练的稳定性。
[0229]
由于每幅获取的图像在清晰度、图像大小、分辨率等参数上不一定相同,在一些实施方例中,为了便于后续步骤对所获取的所有图像或者经筛选后保留的图像进行识别,所述用于鉴别的模型的训练方法还包括对所述训练样本图像进行预处理的步骤。其中,所述预处理步骤用于将所获取的图像与机器学习模型的输入图像进行适配,以获得训练样本图像。所述预处理的步骤包括对所述图像进行尺寸修改、按比例缩放、加噪、反转、旋转、平移、缩放变换、剪切、对比度变换、随机通道偏移、及滤波中的一种或多种处理。例如,所述预处理包括剔除图像尺寸小于预设尺寸阈值的图像。又如,所述预处理包括对所获取的图像进行清晰度分析并选择清晰度满足预设清晰度条件的图像作为训练样本图像。又如,所述预处理包括将所接收的550
×
300像素的图像旋转成300
×
550。又如,所述预处理包括将所接收的1000
×
800像素的图像缩小或剪切后,再旋转至300
×
550。又如,所述预处理包括对所获取的被美颜的图像进行锐化、加噪等处理以还原真实图像。再如,所述预处理包括对所获取的各图像进行灰度翻转,以便于后续抑制背景或对突出物品特征。
[0230]
在一些实施例中,所述机器学习模型可以是单个的模型或多个连接的模型形成,例如串联的目标检测模型和分类模型;其中,目标检测模型用于对训练样本图像进行目标检测,分类模型用于输出所述训练样本图像的分类结果以及真伪鉴别结果;当然,在其他实施例中,所述机器学习模型也可以由单个模型实现,该单个模型中可以将目标检测模型和分类模型的功能集成为一体;或者,如果已有目标检测结果而不需要目标检测模型,也可以通过单个的分类模型来实现该机器学习模型。
[0231]
所述处理模块62用于利用目标检测模型对所述训练样本图像进行处理,获取目标检测结果。容易理解,待鉴别物品的图像中往往包含了大量的背景信息。现有的机器学习模型中通常利用例如faster r-cnn等目标检测方法,通过可能包含对应的鉴定点的图像区域内生成一个或若干个矩形框以初步检测其对应的鉴定点在整幅图像中的位置。然而这些目标检测方法在待鉴别物品在图像中存在不同角度的旋转、或者存在空洞情况下,所述矩形框内会包含大量的无关信息,从而影响检测结果的准确性。同时,当待鉴别物品在图像中存
在被遮挡、大姿态等情况下,常常会出现漏检的情况。因此,将原始或经过预处理的训练样本图像输入至目标检测模型中进行图像处理,以去除与鉴定点无关的信息,从而获得更加准确的目标检测结果。
[0232]
通常的目标检测方法利用深度卷积神经网络对物品进行检测或识别。承前所述,一方面,对于同一待鉴别物品,对其拍摄的角度可以变化;且训练样本图像也存在待鉴别物品的可视大小变化、形变、遮挡、光照条件变化、类内差异等情况;另一方面,深度卷积神经网络会受到背景、环境等信息的影响,即待鉴别物体可能与背景混淆,使其难以被辨认。因此,在一些实施例中,所述目标检测模型可以包括语义分割模型,相比于常见的如边界框(bounding box)的方式,通过语义分割来得到的目标检测结果,去除无关背景信息而确定更精确的鉴定点的部位的轮廓,有助于提升后续根据目标检测结果进行分类的准确性;并且,能通过利用训练样本图像中待鉴别物品的背景或环境信息,增加对困难样本的训练的鲁棒性。
[0233]
所述语义分割模型通过对训练样本图像的每个像素进行分类,从而为每幅训练样本图像中对应不同的像素类别的图像区域提供不同的标签。例如对于一幅待鉴别物品为奢侈品包的图像而言,所述语义分割模型将图像中的背景信息归为一类,将图像中的对应不同鉴定点的多个图像区域归为不同的另一类。
[0234]
深度卷积神经网络一般通过池化(pooling)缩小图像的尺寸,再通过升采样(up-sample)放大到原尺寸,但在缩小或放大的过程中损失了图像的部分信息或特征。因此,在一些实施例中,所述语义分割模型中的至少部分卷积计算使用空洞卷积(dilated convolution)。所述语义分割模型可以在部分卷积层中采用空洞卷积,也可以在全部卷积层中分别采用不同空洞率(dilation rate)的卷积核进行空洞卷积。例如,在一个包含7层卷积层的语义分割模型中,第一层、第二层利用空洞率为1的3
×
3卷积核进行卷积,即普通卷积;第三层利用空洞率为2的3
×
3卷积核进行空洞卷积,第四层利用空洞率为4的3
×
3卷积核进行空洞卷积,第五层利用空洞率为8的3
×
3卷积核进行空洞卷积,第六层利用空洞率为16的3
×
3卷积核进行空洞卷积,以及第七层采用空洞率为1的3
×
3卷积核进行普通卷积。通过利用空洞卷积(dilated convolution)进行卷积计算,能够在特征图上进行不连续采样,扩大感受野,从而在不损失图像信息或特征的情况下,让每个卷积核的输出都包含了较大范围的图像信息或特征,相较于传统的普通卷积显著提高了提取图像特征信息的能力。
[0235]
相应的,在一些实施例中,所述语义分割模型包括deeplab v1、deeplab v2、deeplab v3、或deeplab v3+。例如,以deeplab v3+作为语义分割模型进行处理,通过图像上使用四种不同空洞率的空洞卷积核进行空间金字塔池化(spatial pyramid pooling,spp),从而得到更加细致的待鉴别物品的轮廓,同时解决输入图像尺寸大小不一的情况。
[0236]
在一些实施例中,卷积核为矩形或非固定形状。为了增强鲁棒性,通常会在深度卷积神经网络中会对图像的旋转、平移、缩放、剪裁等处理进行训练学习,以应对图像可能出现的各种情况。在一些实施例中,所述语义分割模型中的至少部分卷积计算使用可变形卷积,所述可变形卷积指的是卷积核在每一个像素上额外增加一个方向参数(位置偏移量),使得卷积核能够在训练过程中扩展到感兴趣的范围。通过利用可变形卷积,当图像存在各种情况时,能够以较小的计算量识别更多的特征,有效地提高了语义分割的效果,增强了模型的鲁棒性。
[0237]
在一些实施例中,为了增强鲁棒性,也可以在深度卷积神经网络中对经旋转、平移、缩放、剪裁等处理的训练样本图像进行学习,以应对在可能出现的不同拍摄环境(如不同拍摄角度、距离、光线、背景、遮挡等)下图像的处理。
[0238]
所述训练模块63用于利用所述目标检测结果训练分类模型,以输出所述鉴别点对应的待鉴别物品的部位的分类结果以及真伪鉴别结果。
[0239]
在此,将所述目标检测结果输入至分类模型中进行训练,分类模型通过提取图像的特性信息分别输出所述鉴别点对应的待鉴别物品的部位的分类结果、以及所述鉴别点对应的待鉴别物品的部位的真伪鉴别结果。
[0240]
在一些实施例中,所述分类模型可以是基于卷积神经网络(cnn)实现的,包括例如xception、resnet、se-net、或dpn-net等。
[0241]
在卷积神经网络(convolutional neural network,cnn)中,一般至少包括输入层、若干个卷积层、一个或多个池化层以及一个或多个输出层(全连接层)。在若干个卷积层中,层次越高(越深)的特征图包含了更多的抽象特征,用于确定其包含的鉴定点对应的待鉴别物品的部位的分类结果;层次越低(越浅)的特征图包含了更多的细节特征,用于确定待鉴别物品的真伪鉴别结果;其中,层次越低的特征图与输入图像越接近;在本实施例中,所述输入图像即为所述目标检测结果;而层次越高的特征图相较于输入图像差别越大,越抽象。
[0242]
在一些实施例中,所述分类结果是根据高于预设层次的特征图得到的。所述分类模型对所述目标检测结果进行多层(例如卷积层、池化层)的特征提取,以获得高于预设层次的特征图;最后,所述分类模型可将特征图输入至全连接层,从而获得分类结果。例如,对于一共有十个特征提取层的分类模型而言,提取高于第五层的特征图以获得分类结果,则所述预设层次即为第五层;又如,所述分类模型直接提取最后一层的特征图以获得分类结果,则所述预设层次可以为倒数第二层。
[0243]
可以理解的是,用于得到所述分类结果的特征图可以是直接取自分类模型的某层输出的特征图,也可以是对该层输出的特征图进行处理后得到的,所述处理可以包括例如卷积和/或池化处理等。
[0244]
可以理解的是,由于低层次特征图包含更多细节,高层次特征图进行了良好的数据压缩,可以由分类模型根据低层次特征图和高层次特征图拼接后的结果进行分析,从而得到更为准确的真伪鉴别结果。
[0245]
在一些实施例中,所述分类模型可以包含多任务模型,所述多任务模型通过不同任务来获取所述鉴别点对应的物品部位的分类结果以及真伪鉴别结果。例如,对于一奢侈品包而言,其鉴定点可以位于例如logo、皮签、拉链、锁扣等部位。所述目标检测模型对包含例如皮签的鉴定点的图像区域的训练样本图像进行语义分割处理,获得与训练样本图像尺寸相同的目标检测结果。所述目标检测模型将所述目标检测结果发送给所述分类模型中的多任务模型,所述多任务模型提取所述目标检测结果中的相对较低层的特征图和相对较高层的第二特征图,并输出分类结果为皮签部位,以及输出包含的皮签部位的真伪鉴别结果。
[0246]
本申请实施例通过使用多任务模型作为所述分类模型,多任务模型可以联合学习其通过不同任务获取的真伪鉴别结果和鉴别点对应的物品部位的分类结果,能有效减少模型的数量,提高鉴别结果的准确率。
[0247]
在一些实施例中,所述真伪鉴别结果是根据至少一第一特征图和至少一第二特征图连接形成的至少一第三特征图得到的。其中,所述第一特征图和第二特征图是根据提取自所述分类模型的不同层次的特征图得到的。所述第一特征图的层次低于所述第二特征图。在一些实施例中,所述连接指的是特征图间在深度方向上的拼接或叠加。
[0248]
所述分类模型通过提取目标检测结果的第一特征图和第二特征图,将所述第一特征图和第二特征图进行拼接,从而获得第三特征图。容易理解,当第一特征图和第二特征图为多幅时,将多幅第一特征图与对应的第二特征图分别进行拼接,获得多幅第三特征图。所述分类模型将所述第三特征图进行卷积,并通过一分类器进行分类,从而获得真伪鉴别结果。其中,所述分类器可以包括全连接层(fully connected layers,fc);当然,在一些实施例中也可以通过例如全局平均池化(global average pooling,gap)层来替代全连接层,以与如softmax函数等结合实现相近的分类功能。
[0249]
在一些实施例中,所述第一特征图及第二特征图是在相同尺寸的情况下进行连接的。目标检测结果的尺寸大小和原始输入的训练样本图像的大小是相同的。分类模型输出的特征图的大小与目标检测结果的大小不一致,会无法使用损失函数进而影响模型收敛。当然,要使第一特征图和第二特征图的尺寸相同,可以令所述第一特征图缩小至与第二特征图尺寸相同;或者,令第二特征图放大至与第二特征图尺寸相同。然而,若直接对第一特征图或第二特征图进行缩小或放大的处理,会使得图像损失大量细节特征,造成图像的严重失真。因此,在一些实施例中,可以利用如双线性插值法、双三次插值法、区域关系重采样法、近邻插值法、或lanczos插值法等图像几何变换方法将所述分类模型输出的特征图缩小或放大至目标检测结果的尺寸大小。
[0250]
例如,为了使特征图包含更多的细节信息,将所述分类模型的最后一层的缩小了第二倍数的特征图放大第一倍数,然后提取所述分类模型中某一层缩小了所述第一倍数的特征图,再将相同尺寸的二者进行连接。经过卷积后得到新的特征图,再利用双线性插值法将所述新的特征图以第一倍数放大至与目标检测结果的尺寸相同。其中,第一倍数与第二倍数成比例关系。例如,将所述分类模型的最后一层的缩小了16倍的特征图放大4倍,然后提取所述分类模型中某一层缩小了4倍的特征图,再将相同尺寸的二者进行连接。经过卷积后得到新的特征图,再利用双线性插值法将所述新的特征图放大4倍至与目标检测结果的尺寸相同。
[0251]
容易理解,所述分类模型具有一或多个损失函数,用于约束所述真伪鉴别结果与预期数据的差异、所述分类结果与预期数据、或所述真伪鉴别结果和分类结果与预期数据的差异,以在此约束下更新所述分类模型的模型参数。所述约束指的是令差异最小或维持在预设范围中。
[0252]
在一些实施例中,所述模型参数可以通过训练由模型自行学习以更新,所述模型参数包括样本权重、正则化参数、激活函数以及核函数等。在一些实施例中,所述模型参数也可以通过人工设置或手动设置的方式以更新,所述模型参数包括学习率、批次大小、优化器、迭代次数以及激活函数等。
[0253]
在此,通过设置一个或多个损失函数以对模型的训练过程进行约束,使训练收敛更加稳定,同时避免模型的训练陷入局部最优,进一步增强所述机器学习模型的鉴别能力和准确性。所述损失函数用于估量模型的预测值与真实值(ground thuth,也可以称为预期
数据)的不一致程度(或称偏离程度),损失函数的值越小,模型的鲁棒性越好。所述损失函数值包括交叉熵损失函数、范数损失函数、对数损失函数、平方损失函数、指数损失函数、绝对值损失函数等。
[0254]
在一些实施例中,所述一或多个损失函数可以用于约束所述真伪鉴别结果与预期数据的差异,再将该约束产生的对模型的要求通过正向或反向传播方式传递至模型各层,以更新各模型参数值。
[0255]
例如,所述预期数据为对应真物品的图像输出1,对应假物品的图像输出0,即“0”表示对应的待鉴别物品为赝品或仿制品,“1”表示对应的待鉴别物品为真品或正品。所述真伪鉴别结果也为[0,1]范围内的一个实数。所述损失函数用于在对各模型参数值进行更新后使得所述真伪鉴别结果与预期数据的差异趋近于0。例如,若输入对应的待鉴别物品标记为真的一幅训练样本图像,输出真伪鉴别结果为0.9,则对分类模型的模型参数的更新应使模型之后再对相同或相近的真物品的训练样本图像所输出的真伪鉴定结果更趋近“1”;原理相似的是,对分类模型的训练可以对于假物品的图像的真伪鉴别结果更趋近于0,例如,对假物品的图像的真伪鉴别结果从0.1降低到0.05等,实现鉴别准确性的提升。
[0256]
在一些实施例中,所述一或多个损失函数用于约束所述分类结果与预期数据的差异,所述预期数据为预先设置的包含至少一个概率值的特征向量,例如[x1,x2,x3,

,x
n
],其中n为正整数。对应的,所述分类结果也输出一一对应的包含至少一个概率值的特征向量,例如[y1,y2,y3,

,y
n
],其中n为正整数。通过分别比较分类结果[y1,y2,y3,

,y
n
]与预期数据[x1,x2,x3,

,x
n
]对应的值,即比较分类结果的特征向量中各个概率值与期望值(理想值)的差异,从而约束各模型对模型参数进行更新,以使得所述分类结果的特征向量中各个概率值趋于所述期望值。
[0257]
以奢侈品包为例,其鉴定点例如包括皮签、锁扣、拉链、logo、铆钉、以及刻字纽扣六个部位。对应的,每一幅训练样本图像的分类结果为一个包含6个概率值的特征向量[y1,y2,y3,y4,y5,y6]。所述特征向量中各个概率值分别与各个鉴定点一一对应,例如y1代表其鉴定点为皮签的概率值,y2代表其鉴定点为锁扣的概率值,y3代表其鉴定点为拉链的概率值,y4代表其鉴定点为logo的概率值,y5代表其鉴定点为铆钉的概率值,以及y6代表其鉴定点为刻字纽扣的概率值。对于包含鉴定点为拉链的物品部位的目标检测结果而言,其对应的分类结果的预期数据[0,0,1,0,0,0],则对分类模型的模型参数的更新应使得其对的分类结果更趋近于[0,0,1,0,0,0]。
[0258]
本申请实施例通过约束所述分类结果与预期数据的差异,能够使得模型的训练趋于收敛,增强鲁棒性;同时在使用模型进行鉴别时,能进一步剔除分类错误的训练样本图像的分类结果,增加模型的准确率。
[0259]
在一些实施例中,还可以利用模型评估指标用以判断所述机器学习模型的训练是否完成。所述模型评估指标包括正确率,所述正确率为所述真伪鉴别结果正确的训练样本图像的数量与总体训练样本图像的数量的比值。
[0260]
承前所述,每幅训练样本图像包括初始标签,用于表示该幅图像对应的待鉴别物品的真伪。将每张训练样本图像输出的真伪鉴别结果与该图像的初始标签进行比较,当机器学习模型输出的真伪鉴别结果与所述图像的初始标签一致时,则判定所述真伪鉴别结果为“正确”;反之则判定所述真伪鉴别结果为“错误”。例如,将1000张训练样本图像输入至机
器学习模型进行训练,其中800张训练样本图像的鉴别结果是“正确”的,200张为“错误”的,则正确率为80%。
[0261]
在一些实施例中,通过判断所述正确率是否大于一个预设值或者趋于稳定在一个预设的范围内,从而判断所述机器学习模型的训练是否完成。例如,预设值为90%,那么当所述机器学习模型的正确率大于90%即可判断训练完成;或者,在若干次训练的正确率相同的情况下,选择损失函数值最小的某次训练得到的机器学习模型作为训练完成的用于鉴别的机器学习模型。
[0262]
本申请提供的用于鉴别的机器学习模型的训练系统,通过在训练和鉴别过程中设置使用多任务模型作为所述分类模型,通过多任务模型可以联合学习其通过不同任务获取的真伪鉴别结果和鉴别点对应的物品部位的分类结果以联合训练机器学习模型,能有效从而减少模型的数量,提高鉴别结果的准确率。
[0263]
本申请还提供一种鉴别系统,请参阅图7,显示为本申请鉴别系统在一实施例中的结构示意图,如图所示,所述鉴别系统7包括获取模块71和输出模块72,其中:
[0264]
所述获取模块71用于获取包含对应待鉴别物品的至少一个鉴别点的图像区域的图像;
[0265]
在此,可以获取一幅或多幅包含对应待鉴别物品的至少一个鉴别点的图像区域的图像,并利用机器学习模型进行鉴别以获得所述待鉴别物品的真伪鉴别结果;其中,所述机器学习模型是通过上述用于鉴别的模型的训练方法训练得到的,所述训练方法即:获取包含对应待鉴别物品的至少一个鉴别点的图像区域的训练样本图像;利用目标检测模型对所述训练样本图像进行处理,获取目标检测结果;利用所述目标检测结果训练分类模型,以输出所述鉴别点对应的待鉴别物品的部位的分类结果以及真伪鉴别结果。
[0266]
在一些实施例中,所述待鉴别物品包括奢侈品包、鞋、或具有背透的手表。例如,鉴别某品牌的双肩包、单肩包、手提包、斜挎包、旅行包等具有皮签的包袋;例如,鉴别某品牌的具有鞋标、鞋撑、或其外包装的鞋盒上具有侧标的运动鞋、休闲鞋;例如,鉴别某品牌的具有背透的机械手表、石英手表、怀表等。当然并不局限于此,在一些实施例中,待鉴别物品也可以是具有书写笔迹、印记、刻痕的物品,例如手镯、戒指、合同等。
[0267]
在实际的应用场景中,待鉴别物品的真品和赝品的整体外观通常十分相似,从整体外观上进行鉴别难度较高,因此例如奢侈品包的皮签、手表的背透、鞋的鞋标等鉴定点是鉴别真伪的关键。
[0268]
故可以理解的是,由于待鉴别物品的种类不同,其鉴定点的位置也会不同。例如,对于奢侈品包而言,其鉴定点的位置一般在于外观、logo、皮签、五金搭扣、五金拉链头、五金锁扣头、五金铆钉、刻字纽扣、拉链、数字编码、数字皮签、防伪标签、及小白标等中的一种或多种;再比如对于手表而言,其鉴定点的位置通常在于外观、表带扣、及表盘的背透等中的一种或多种;再比如对于鞋类产品而言,其鉴定点的位置一般在于鞋标、钢印、鞋撑、背胶、鞋盒侧标、走线、或者其鞋盒上的侧标等中的一种或多种;再比如对于合同等印刷品或手镯等首饰而言,其鉴定点的位置通常在于书写笔迹、印章、刻印痕迹等中的一种或多种。
[0269]
所述图像可以是由电子设备的摄像设备进行拍摄从而直接获取的,也可以是通过数据传输而获取的。所述数据传输包括无线网络传输(例如tdma、cdma、gsm、phs、bluetooth等)、有线网络传输(例如专用网络、adsl网络、电缆调制解调器网络等)、或接口传输(例如
通过接口从闪存、u盘、移动硬盘、光盘、软盘等存储介质获取的)等。在一些实施例中,获取图像的方式包括但不限于:通过使用手机、平板电脑、笔记本电脑等电子设备的摄像装置对待鉴别物品进行拍摄,将拍摄的图像直接作为待鉴别的图像;在一些实施例中,通过下载网页上或服务器上的物品图像作为待鉴别的图像;在一些实施例中,通过有线通信或无线通信等方式接收的图像作为待鉴别的图像。所述图像的格式为计算机存储图像的格式,例如为bmp,jpg,png,tiff,gif,pcx,tga,exif,fpx,svg,psd,cdr,pcd,dxf,ufo,eps,ai,raw,wmf等存储的格式。
[0270]
在实际应用中,一方面,图像可能会随着拍摄条件的不同而不同。例如,在阳光下拍摄的图像与在室内灯光下拍摄的图像是不同的,再者,灯光的颜色也会对图像有所影响。另一方面,根据待鉴定物品的使用时间的长短或使用程度的不同,拍摄的图像也有所不同。例如,长期频繁使用的物品可能比刚购置的物品的磨损程度重,或者经历了风化作用使得颜色加深,或者在使用的过程中沾上污渍等。并且,存在获取的少数图像的尺寸和分辨率非常大或者非常小的情况,如果不对其进行筛选或者预处理而直接输入至机器学习模型中进行鉴别,可能会影响真伪鉴别结果的准确性。因此,在一些实施例中,还包括对获取的图像进行筛选的步骤,剔除与机器学习模型的输入图像不适配的图像,以确保真伪鉴别结果的准确性和稳定性。
[0271]
由于每幅获取的图像在清晰度、图像大小、分辨率等参数上不一定相同,在一些实施方例中,为了便于后续步骤对所获取的所有图像或者经筛选后保留的图像进行识别,所述用于鉴别的模型的训练方法还包括对图像进行预处理的步骤。其中,所述预处理步骤用于将所获取的图像与机器学习模型的输入图像进行适配,以获得输入图像。所述预处理的步骤包括对所述图像进行尺寸修改、按比例缩放、加噪、反转、旋转、平移、缩放变换、剪切、对比度变换、随机通道偏移、滤波中的一种或多种处理。例如,所述预处理包括剔除图像尺寸小于预设尺寸阈值的图像。又如,所述预处理包括对所获取的图像进行清晰度分析并选择清晰度满足预设清晰度条件的图像作为待鉴别的图像。又如,所述预处理包括将所接收的550
×
300像素的图像旋转成300
×
550。又如,所述预处理包括将所接收的1000
×
800像素的图像缩小或剪切后,再旋转至300
×
550。又如,所述预处理包括对所获取的被美颜的图像进行锐化、加噪等处理以还原真实图像。再如,所述预处理包括对所获取的各图像进行灰度翻转,以便于后续抑制背景或对突出物品特征。
[0272]
在一些实施例中,所述机器学习模型可以是单个的模型或多个连接的模型形成,例如串联的语义分割模型和分类模型;其中,语义分割模型用于对训练样本图像进行目标检测,分类模型用于输出所述训练样本图像的分类结果以及真伪鉴别结果;当然,在其他实施例中,所述机器学习模型也可以由单个模型实现,该单个模型中可以将语义分割模型和分类模型的功能集成为一体;或者,如果已有目标检测结果而不需要语义分割模型,也可以通过单个的分类模型来实现该机器学习模型。
[0273]
所述输出模块72用于利用一分类模型对所述图像的特征进行鉴别,以输出所述待鉴别物品的真伪鉴别结果;其中,所述分类模型包括多任务模型,所述多任务模型通过不同任务获取所述真伪鉴别结果、以及所述鉴别点对应的待鉴别物品的部位的分类结果。
[0274]
在此,可以通过一语义分割模型对所述图像进行语义分割处理,从而获得目标检测结果;将所述目标检测结果输入至所述分类模型并利用所述分类模型对其进行鉴别。
[0275]
容易理解,待鉴别物品的图像中往往包含了大量的背景信息。现有的机器学习模型中通常利用例如faster r-cnn等目标检测方法,通过可能包含对应的鉴定点的图像区域内生成一个或若干个矩形框以初步检测其对应的鉴定点在整幅图像中的位置。然而这些目标检测方法在待鉴别物品在图像中存在不同角度的旋转、或者存在空洞情况下,所述矩形框内会包含大量的无关信息,从而影响检测结果的准确性。同时,当待鉴别物品在图像中存在被遮挡、大姿态等情况下,常常会出现漏检的情况。
[0276]
因此,对原始或经过预处理的待鉴别物品的图像进行语义分割处理,以去除与鉴定点无关的信息,从而获得目标检测结果。所述语义分割处理是通过对图像的每个像素进行分类,从而为每幅图像中对应不同的像素类别的图像区域提供不同的标签。例如对于一幅待鉴别物品为奢侈品包的图像而言,通过语义分割处理将图像中的背景信息归为一类,将图像中的对应不同鉴定点的多个图像区域归为不同的类别。通过对待鉴别物品的图像进行语义分割处理,避免由待鉴别物品的可视大小变化、形变、遮挡、光照条件变化、类内差异等情况造成的误差,同时能够有效地利用图像中的背景或环境信息,针对待鉴别物体与背景混淆从而难以被辨认的情况也能做出准确的鉴别。
[0277]
深度卷积神经网络一般通过池化(pooling)缩小图像的尺寸,再通过升采样(up-sample)放大到原尺寸,但在缩小或放大的过程中损失了图像的部分信息或特征。因此,在一些实施例中,所述语义分割处理中的至少部分卷积计算使用空洞卷积(dilated convolution)。所述语义分割处理可以在部分卷积层中采用空洞卷积,也可以在全部卷积层中分别采用不同空洞率(dilation rate)的卷积核进行空洞卷积。例如,对于7层的卷积层,可以对第一层、第二层利用空洞率为1的3
×
3卷积核进行卷积,即普通卷积;对第三层利用空洞率为2的3
×
3卷积核进行空洞卷积,对第四层利用空洞率为4的3
×
3卷积核进行空洞卷积,对第五层利用空洞率为8的3
×
3卷积核进行空洞卷积,对第六层利用空洞率为16的3
×
3卷积核进行空洞卷积,以及对第七层采用空洞率为1的3
×
3卷积核进行普通卷积。通过利用空洞卷积(dilated convolution)进行卷积计算,能够在特征图上进行不连续采样,扩大感受野,从而在不损失图像信息或特征的情况下,让每个卷积核的输出都包含了较大范围的图像信息或特征,相较于传统的普通卷积显著提高了提取图像特征信息的能力。
[0278]
相应的,在一些实施例中,执行所述语义分割处理的语义分割模型包括deeplab v1、deeplab v2、deeplab v3、或deeplab v3+。例如,以deeplab v3+作为语义分割模型进行处理,通过图像上使用四种不同空洞率的空洞卷积核进行空间金字塔池化(spatial pyramid pooling,spp),从而得到更加细致的待鉴别物品的轮廓,同时解决输入图像尺寸大小不一的情况。
[0279]
在一些实施例中,卷积核为矩形或非固定形状。通常会在深度卷积神经网络中会对图像的旋转、平移、缩放、剪裁等处理进行训练学习,以应对图像可能出现的各种情况。在一些实施例中,所述语义分割处理中的至少部分卷积计算使用可变形卷积,所述可变形卷积指的是卷积核在每一个像素上额外增加一个方向参数(位置偏移量),使得卷积核能够在图像上扩展到感兴趣的范围。通过利用可变形卷积,当图像存在各种情况时,能够以较小的计算量识别更多的特征,有效地提高了语义分割的效果,增强了鉴别的准确性。
[0280]
然后,根据所述分类模型对目标检测结果的真伪鉴别结果输出所述待鉴别物品的真伪鉴别结果。
[0281]
在此,将所述目标检测结果输入至所述分类模型,所述分类模型对所述目标检测结果进行鉴别,输出所述目标检测结果的真伪鉴别结果。所述目标检测结果的真伪鉴别结果即所述鉴别点对应的待鉴别物品的部位的真伪鉴别结果。根据所述目标检测结果的真伪鉴别结果,所述分类模型输出所述待鉴别物品的真伪鉴别结果。
[0282]
在一些实施例中,所述分类模型可以是基于卷积神经网络(cnn)实现的,包括例如xception、resnet、se-net、或dpn-net等。
[0283]
在卷积神经网络(convolutional neural network,cnn)中,一般至少包括输入层、若干个卷积层、一个或多个池化层以及一个或多个输出层(全连接层)。在若干个卷积层中,层次越高(越深)的特征图包含了更多的抽象特征,用于确定其包含的鉴定点对应的待鉴别物品的部位的分类结果;层次越低(越浅)的特征图包含了更多的细节特征,用于确定待鉴别物品的真伪鉴别结果;其中,层次越低的特征图与输入图像越接近;在本实施例中,所述输入图像即为所述目标检测结果;而层次越高的特征图相较于输入图像差别越大,越抽象。
[0284]
可以理解的是,由于低层次特征图包含更多细节,高层次特征图进行了良好的数据压缩,可以由分类模型根据低层次特征图和高层次特征图拼接后的结果进行分析,从而得到更为准确的真伪鉴别结果。
[0285]
所述图像经语义分割处理后,被输入至所述分类模型,由该分类模型据以进行进一步的真伪鉴别。在一些实施例中,所述分类模型包括多任务模型,所述多任务模型通过不同任务获取所述鉴别点对应的物品部位的真伪鉴别结果。
[0286]
例如,对于一奢侈品包而言,其鉴定点可以位于例如logo、皮签、拉链、锁扣等部位。对包含例如皮签的鉴定点的图像区域的图像进行语义分割处理,获得与该图像尺寸相同的目标检测结果。将所述目标检测结果发送给所述分类模型中的多任务模型,所述多任务模型提取所述目标检测结果中的相对较低层的特征图和相对较高层的第二特征图,并输出包含的皮签部位的真伪鉴别结果。
[0287]
本申请实施例通过使用多任务模型作为所述分类模型,多任务模型可以联合学习其通过不同任务获取的真伪鉴别结果和鉴别点对应的物品部位的分类结果,能有效减少模型的数量,提高鉴别结果的准确率。
[0288]
在一些实施例中,所述鉴别点对应的物品部位的真伪鉴别结果是根据至少一第一特征图和至少一第二特征图连接形成的至少一第三特征图得到的。其中,所述第一特征图和第二特征图是根据提取自所述分类模型的不同层次的特征图得到的。所述第一特征图的层次低于所述第二特征图。在一些实施例中,所述连接指的是特征图间在深度方向上的拼接或叠加。
[0289]
所述分类模型通过提取目标检测结果的第一特征图和第二特征图,将所述第一特征图和第二特征图进行拼接,从而获得第三特征图。容易理解,当第一特征图和第二特征图为多幅时,将多幅第一特征图与对应的第二特征图分别进行拼接,获得多幅第三特征图。所述分类模型将所述第三特征图进行卷积,并通过一分类器进行分类,从而获得所述鉴别点对应的物品部位的真伪鉴别结果。其中,所述分类器可以包括全连接层(fully connected layers,fc);当然,在一些实施例中也可以通过例如全局平均池化(global average pooling,gap)层来替代全连接层,以与如softmax函数等结合实现相近的分类功能。
[0290]
在一些实施例中,所述第一特征图及第二特征图是在相同尺寸的情况下进行连接的。目标检测结果的尺寸大小和原始输入的待鉴别物品的图像的大小是相同的。分类模型输出的特征图的大小与目标检测结果的大小不一致会影响鉴别结果的准确性。当然,要使第一特征图和第二特征图的尺寸相同,可以令所述第一特征图缩小至与第二特征图尺寸相同;或者,令第二特征图放大至与第二特征图尺寸相同。若直接对第一特征图或第二特征图进行缩小或放大的处理,会使得图像损失大量细节特征,造成图像的严重失真。因此,在一些实施例中,可以利用如双线性插值法、双三次插值法、区域关系重采样法、近邻插值法、或lanczos插值法等图像几何变换方法将所述分类模型输出的特征图缩小或放大至目标检测结果的尺寸大小。
[0291]
例如,为了使特征图包含更多的细节信息,将所述分类模型的最后一层的缩小了第二倍数的特征图放大第一倍数,然后提取所述分类模型中某一层缩小了所述第一倍数的特征图,再将相同尺寸的二者进行连接。经过卷积后得到新的特征图,再利用双线性插值法将所述新的特征图以第一倍数放大至与目标检测结果的尺寸相同。其中,第一倍数与第二倍数成比例关系。例如,将所述分类模型的最后一层的缩小了16倍的特征图放大4倍,然后提取所述分类模型中某一层缩小了4倍的特征图,再将相同尺寸的二者进行连接。经过卷积后得到新的特征图,再利用双线性插值法将所述新的特征图放大4倍至与目标检测结果的尺寸相同。
[0292]
在一些实施例中,所述鉴别点对应的物品部位的真伪鉴别结果可以由真伪属性来表征。所述真伪属性用以表示所述鉴定点的真伪鉴别结果为真或为假。
[0293]
例如,对于一奢侈品包而言,其鉴定点可以位于例如logo、皮签、拉链、锁扣等部位。通过分类模型对多幅待鉴别物品的图像进行鉴别,获得所述鉴别点对应的物品部位的真伪鉴别结果分别为:logo的真伪属性为真,皮签的真伪属性为假,拉链的真伪属性为真,锁扣的真伪属性为假。
[0294]
在一些实施例中,所述鉴别点对应的物品部位的真伪鉴别结果可以由评估分数来表征。所述评估分数用于表示所述鉴别点对应的物品部位的真伪鉴别结果为真或为假的概率值(可能性)。
[0295]
例如,通过分类模型对多幅待鉴别物品的图像进行鉴别,获得所述鉴别点对应的物品部位的真伪鉴别结果分别为:logo的评估分数为90%、0.9或90分(或其它形式的量值表征方式),则表示所述logo部位有90%的概率为真(假),或所述logo部位大概率为真;皮签的评估分数为5%、0.05或5分,则表示所述皮签部位有5%的概率为真(假),或所述皮签部位大概率为假。
[0296]
进一步的,可以通过引入与评估分数参考值的比较来确定鉴定点的真伪,例如,评估分数大于一个真参考值,则鉴定点为真;若评估分数小于一假参考值,则鉴定点为假。
[0297]
举例来说,评估分数大于80%为真,小于40%为假等;当然,此仅为例举,并非以此为限。
[0298]
在一些实施例中,所述待鉴别物品的真伪鉴别结果也可以由真伪属性来表征、或由评估分数来表征、或真伪属性和评估分数共同来表征。
[0299]
举例来说,所述待鉴别物品的真伪鉴别结果的真伪属性由一个或多个所述鉴别点对应的物品部位的真伪鉴别结果的真伪属性的联合结果表征。例如,可以根据统计所述鉴
别点对应的物品部位的真伪鉴别结果中为真或为假的数量,从而综合判断所述待鉴别物品的真伪鉴别结果为真或为假。又如,预先为各个鉴定点对应的物品部位的真伪鉴别结果分配不同的权重,通过权重计算综合判断所述待鉴别物品的真伪鉴别结果为真或为假;又如,只要存在一个鉴定点的真伪鉴定结果为假,则判定所述待鉴别物品的真伪鉴别结果为假。
[0300]
所述待鉴别物品的真伪鉴别结果的评估分数由一个或多个所述鉴别点对应的物品部位的真伪鉴别结果的评估分数共同表征。在一些实施例中,预先为各个鉴定点对应的物品部位的真伪鉴别结果的评估分数分配不同的权重,通过权重计算综合判断所述待鉴别物品的真伪鉴别结果的评估分数。例如,logo的评估分数为90%,皮签的评估分数为5%,拉链的评估分数为15%,锁扣的评估分数为10%;通过权重计算获得所述待鉴别物品的真伪鉴别结果的评估分数为20%,表示所述待鉴别物品大概率为假。
[0301]
在一些实施例中,在将所述目标检测结果输入至分类模型后,所述分类模型还可以输出所述鉴别点对应的待鉴别物品的部位的分类结果。
[0302]
在一些实施例中,所述分类结果是根据高于预设层次的特征图得到的。所述分类模型对所述目标检测结果进行多层(例如卷积层、池化层)的特征提取,以获得高于预设层次的特征图;最后,所述分类模型可将特征图输入至全连接层,从而获得分类结果。例如,对于一共有十个特征提取层的分类模型而言,提取高于第五层的特征图以获得分类结果,则所述预设层次即为第五层;又如,所述分类模型直接提取最后一层的特征图以获得分类结果,则所述预设层次可以为倒数第二层。
[0303]
可以理解的是,用于得到所述分类结果的特征图可以是直接取自分类模型的某层输出的特征图,也可以是对该层输出的特征图进行处理后得到的,所述处理可以包括例如卷积和/或池化处理等。
[0304]
容易理解,所述鉴别系统可以通过包含计算机设备中的软件和硬件来实现。所述计算机设备可以是任何具有数学和逻辑运算、数据处理能力的计算设备,其包括但不限于:个人计算机设备、单台服务器、服务器集群、分布式服务端、所述云服务端等。其中,所述云服务端包括公共云(public cloud)服务端与私有云(private cloud)服务端,其中,所述公共或私有云服务端包括software-as-a-service(软件即服务,简称saas)、platform-as-a-service(平台即服务,简称paas)及infrastructure-as-a-service(基础设施即服务,简称iaas)等。所述私有云服务端例如阿里云计算服务平台、亚马逊(amazon)云计算服务平台、百度云计算平台、腾讯云计算平台等等。
[0305]
其中,所述云服务端提供至少一种远程图像上传服务。所述远程图像上传服务包括但不限于以下至少一种:物品上架服务、物品鉴别的服务和物品投诉的服务等。其中,所述物品上架的服务例如商家上传待售物品图像和相关文字描述等,所述物品鉴别的服务例如购买者上传物品图像以鉴别真伪等,所述物品投诉的服务例如为购买者无法与商家达成一致时上传物品图像以供第三方(如电子交易平台)介入调解的服务等。
[0306]
所述计算机设备至少包括:存储器、一个或多个处理器、i/o接口、网络接口和输入结构等。其中所述存储器用于存储待鉴别物品的多幅图像以及至少一个程序。所述存储器可包括高速随机存取存储器,并且还可包括非易失性存储器,例如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储设备。
[0307]
存储器用于存储程序代码。存储器可以包括易失性存储器(volatile memory),例
如随机存取存储器(random access memory,ram);存储器也可以包括非易失性存储器(non-volatile memory),例如只读存储器(read-only memory,rom)、快闪存储器(flash memory)、硬盘(hard disk drive,hdd)或固态硬盘(solid-state drive,ssd);存储器还可以包括上述种类的存储器的组合。存储器可用于存储一组程序代码,以便于处理器调用存储器中存储的程序代码以实现本申请实施例中涉及的所述获取模块和输出模块等功能模块中的任一项或多项的功能。
[0308]
处理器可以由一个或者多个通用处理器构成,例如中央处理器(central processing unit,cpu)。处理器可用于运行相关的程序代码中以下任一项或多项功能模块的程序:获取模块和输出模块等。也就是说,处理器执行程序代码可以实现以下任一项或多项功能模块的功能:获取模块和输出模块等等。其中,关于所述获取模块和输出模块具体可参见前述实施例中的相关阐述。
[0309]
在某些实施例中,存储器还可以包括远离一个或多个处理器的存储器,例如经由rf电路或外部端口以及通信网络访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(lan)、广域网(wlan)、存储局域网(san)等,或其适当组合。存储器控制器可控制设备的诸如cpu和外设接口之类的其他组件对存储器的访问。存储器可选地包括高速随机存取存储器,并且可选地还包括非易失性存储器,诸如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储器设备。由设备的其他组件诸如cpu和外围接口,对存储器的访问可选地通过存储器控制器来控制。
[0310]
所述一个或多个处理器可操作地与网络接口耦接,以将计算设备以通信方式耦接至网络。例如,网络接口可将计算设备连接到局域网(如lan)、和/或广域网(如wan)。处理器还与i/o端口和输入结构可操作地耦接,该i/o端口可使得计算设备能够与各种其他电子设备进行交互,该输入结构可使得用户能够与计算设备进行交互。因此,输入结构可包括按钮、键盘、鼠标、触控板等。此外,电子显示器可包括触摸部件,该触摸部件通过检测对象触摸其屏幕的发生和/或位置来促进用户输入。
[0311]
具体应用场景中,所述获取模块和输出模块都可以是软件模块,这些软件模块可部署在服务器、或服务器上的虚拟机,或服务器上的容器上。此外,这些软件模块可根据实际需求部署在同一服务器上,或者不同服务器上,本申请不做限定。
[0312]
在另一种情况下,所述鉴别系统还可以由一种装载于智能终端上的应用程序(app)来实现,所述智能终端通过拍摄获取待鉴定物品的多幅图像,并经由无线网络上传至云端服务器,藉由云端进行鉴别后反馈识别结果。
[0313]
所述智能终端例如为包括但不限于智能手机、平板电脑、智能手表、智能眼镜、个人数字助理(pda)等等便携式或者穿戴式的电子设备,应当理解,本申请于实施方式中描述的便携式电子设备只是一个应用实例,该设备的组件可以比图示具有更多或更少的组件,或具有不同的组件配置。所绘制图示的各种组件可以用硬件、软件或软硬件的组合来实现,包括一个或多个信号处理和/或专用集成电路。
[0314]
所述智能终端包括存储器、存储器控制器、一个或多个处理器(cpu)、外设接口、rf电路、音频电路、扬声器、麦克风、输入/输出(i/o)子系统、触摸屏、其他输出或控制设备,以及外部端口。这些组件通过一条或多条通信总线或信号线进行通信。
[0315]
所述智能终端支持各种应用程序,诸如以下各项中的一种或多种:绘图应用程序、
呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数码相机应用程序、数码视频摄像机应用程序、网页浏览应用程序、数码音乐播放器应用程序和/或数码视频播放器应用程序。
[0316]
本申请提供的鉴别系统利用通过用于鉴别的模型的训练方法训练得到的机器学习模型对待鉴别物品的图像进行鉴别,一方面对待鉴别物品的图像进行语义分割处理,相较于一般的目标检测方法准确率更高,并且能够适应图像不同光线、背景等各种情况,鉴别的稳定性强;另一方面利用多任务模型作为分类模型进行鉴别,根据分类模型输出的鉴定点对应的待鉴别物品的部位的真伪鉴别结果,输出所述待鉴别物品的真伪鉴别结果,鉴别的准确率高。
[0317]
本申请还提供另一鉴别系统,请参阅图8,显示为本申请鉴别系统在一实施例中的结构示意图,如图所示,所述鉴别系统8包括获取模块81、鉴别模块82和输出模块83,其中:
[0318]
所述获取模块81用于获取包含对应待鉴别物品的至少一个鉴别点的图像区域的图像。
[0319]
在此,可以获取一幅或多幅包含对应待鉴别物品的至少一个鉴别点的图像区域的图像,并利用机器学习模型进行鉴别以获得所述待鉴别物品的真伪鉴别结果;其中,所述机器学习模型是通过上述用于鉴别的模型的训练方法训练得到的,所述训练方法即:获取包含对应待鉴别物品的至少一个鉴别点的图像区域的训练样本图像;利用目标检测模型对所述训练样本图像进行处理,获取目标检测结果;利用所述目标检测结果训练分类模型,以输出所述鉴别点对应的待鉴别物品的部位的分类结果以及真伪鉴别结果。
[0320]
在一些实施例中,所述待鉴别物品包括奢侈品包、鞋、或具有背透的手表。例如,鉴别某品牌的双肩包、单肩包、手提包、斜挎包、旅行包等具有皮签的包袋;例如,鉴别某品牌的具有鞋标、鞋撑、或其外包装的鞋盒上具有侧标的运动鞋、休闲鞋;例如,鉴别某品牌的具有背透的机械手表、石英手表、怀表等。当然并不局限于此,在一些实施例中,待鉴别物品也可以是具有书写笔迹、印记、刻痕的物品,例如手镯、戒指、合同等。
[0321]
在实际的应用场景中,待鉴别物品的真品和赝品的整体外观通常十分相似,从整体外观上进行鉴别难度较高,因此例如奢侈品包的皮签、手表的背透、鞋的鞋标等鉴定点是鉴别真伪的关键。
[0322]
故可以理解的是,由于待鉴别物品的种类不同,其鉴定点的位置也会不同。例如,对于奢侈品包而言,其鉴定点的位置一般在于外观、logo、皮签、五金搭扣、五金拉链头、五金锁扣头、五金铆钉、刻字纽扣、拉链、数字编码、数字皮签、防伪标签、及小白标等中的一种或多种;再比如对于手表而言,其鉴定点的位置通常在于外观、表带扣、及表盘的背透等中的一种或多种;再比如对于鞋类产品而言,其鉴定点的位置一般在于鞋标、钢印、鞋撑、背胶、鞋盒侧标、走线、或者其鞋盒上的侧标等中的一种或多种;再比如对于合同等印刷品或手镯等首饰而言,其鉴定点的位置通常在于书写笔迹、印章、刻印痕迹等中的一种或多种。
[0323]
所述图像可以是由电子设备的摄像设备进行拍摄从而直接获取的,也可以是通过数据传输而获取的。所述数据传输包括无线网络传输(例如tdma、cdma、gsm、phs、bluetooth等)、有线网络传输(例如专用网络、adsl网络、电缆调制解调器网络等)、或接口传输(例如通过接口从闪存、u盘、移动硬盘、光盘、软盘等存储介质获取)等。在一些实施例中,获取图
像的方式包括但不限于:通过使用手机、平板电脑、笔记本电脑等电子设备的摄像装置对待鉴别物品进行拍摄,将拍摄的图像直接作为待鉴别的图像;在一些实施例中,通过下载网页上或服务器上的物品图像作为待鉴别的图像;在一些实施例中,通过有线通信或无线通信等方式接收的图像作为待鉴别的图像。所述图像的格式为计算机存储图像的格式,例如为bmp,jpg,png,tiff,gif,pcx,tga,exif,fpx,svg,psd,cdr,pcd,dxf,ufo,eps,ai,raw,wmf等存储的格式。
[0324]
在实际应用中,一方面,图像可能会随着拍摄条件的不同而不同。例如,在阳光下拍摄的图像与在室内灯光下拍摄的图像是不同的,再者,灯光的颜色也会对图像有所影响。另一方面,根据待鉴定物品的使用时间的长短或使用程度的不同,拍摄的图像也有所不同。例如,长期频繁使用的物品可能比刚购置的物品的磨损程度重,或者经历了风化作用使得颜色加深,或者在使用的过程中沾上污渍等。并且,存在获取的少数图像的尺寸和分辨率非常大或者非常小的情况,如果不对其进行筛选或者预处理而直接输入至机器学习模型中进行鉴别,可能会影响真伪鉴别结果的准确性。因此,在一些实施例中,还包括对获取的图像进行筛选的步骤,剔除与机器学习模型的输入图像不适配的图像,以确保真伪鉴别结果的准确性和稳定性。
[0325]
由于每幅获取的图像在清晰度、图像大小、分辨率等参数上不一定相同,在一些实施方例中,为了便于后续步骤对所获取的所有图像或者经筛选后保留的图像进行识别,所述用于鉴别的模型的训练方法还包括对图像进行预处理的步骤。其中,所述预处理步骤用于将所获取的图像与机器学习模型的输入图像进行适配,以获得输入图像。所述预处理的步骤包括对所述图像进行尺寸修改、按比例缩放、加噪、反转、旋转、平移、缩放变换、剪切、对比度变换、随机通道偏移、及滤波中的一种或多种处理。例如,所述预处理包括剔除图像尺寸小于预设尺寸阈值的图像。又如,所述预处理包括对所获取的图像进行清晰度分析并选择清晰度满足预设清晰度条件的图像作为待鉴别的图像。又如,所述预处理包括将所接收的550
×
300像素的图像旋转成300
×
550。又如,所述预处理包括将所接收的1000
×
800像素的图像缩小或剪切后,再旋转至300
×
550。又如,所述预处理包括对所获取的被美颜的图像进行锐化、加噪等处理以还原真实图像。再如,所述预处理包括对所获取的各图像进行灰度翻转,以便于后续抑制背景或对突出物品特征。
[0326]
在一些实施例中,所述机器学习模型可以是单个的模型或多个连接的模型形成,例如串联的语义分割模型和分类模型;其中,语义分割模型用于对训练样本图像进行目标检测,分类模型用于输出所述训练样本图像的分类结果以及真伪鉴别结果;当然,在其他实施例中,所述机器学习模型也可以由单个模型实现,该单个模型中可以将语义分割模型和分类模型的功能集成为一体;或者,如果已有目标检测结果而不需要语义分割模型,也可以通过单个的分类模型来实现该机器学习模型。
[0327]
所述鉴别模块82用于利用分类模型对经语义分割处理所述图像得到的目标检测结果进行鉴别。
[0328]
在此,可以通过一语义分割模型对所述图像进行语义分割处理,从而获得目标检测结果;将所述目标检测结果输入至所述分类模型并利用所述分类模型对其进行鉴别。
[0329]
容易理解,待鉴别物品的图像中往往包含了大量的背景信息。现有的机器学习模型中通常利用例如faster r-cnn等目标检测方法,通过可能包含对应的鉴定点的图像区域
内生成一个或若干个矩形框以初步检测其对应的鉴定点在整幅图像中的位置。然而这些目标检测方法在待鉴别物品在图像中存在不同角度的旋转、或者存在空洞情况下,所述矩形框内会包含大量的无关信息,从而影响检测结果的准确性。同时,当待鉴别物品在图像中存在被遮挡、大姿态等情况下,常常会出现漏检的情况。
[0330]
因此,对原始或经过预处理的待鉴别物品的图像进行语义分割处理,以去除与鉴定点无关的信息,从而获得更加准确的目标检测结果。所述语义分割处理是通过对图像的每个像素进行分类,从而为每幅图像中对应不同的像素类别的图像区域提供不同的标签。例如对于一幅待鉴别物品为奢侈品包的图像而言,通过语义分割处理将图像中的背景信息归为一类,将图像中的对应不同鉴定点的多个图像区域归为不同的类别。通过对待鉴别物品的图像进行语义分割处理,避免由待鉴别物品的可视大小变化、形变、遮挡、光照条件变化、类内差异等情况造成的误差,同时能够有效地利用图像中的背景或环境信息,针对待鉴别物体与背景混淆从而难以被辨认的情况也能做出准确的鉴别。
[0331]
深度卷积神经网络一般通过池化(pooling)缩小图像的尺寸,再通过升采样(up-sample)放大到原尺寸,但在缩小或放大的过程中损失了图像的部分信息或特征。因此,在一些实施例中,所述语义分割处理中的至少部分卷积计算使用空洞卷积(dilated convolution)。所述语义分割处理可以在部分卷积层中采用空洞卷积,也可以在全部卷积层中分别采用不同空洞率(dilation rate)的卷积核进行空洞卷积。例如,对于7层的卷积层,可以对第一层、第二层利用空洞率为1的3
×
3卷积核进行卷积,即普通卷积;对第三层利用空洞率为2的3
×
3卷积核进行空洞卷积,对第四层利用空洞率为4的3
×
3卷积核进行空洞卷积,对第五层利用空洞率为8的3
×
3卷积核进行空洞卷积,对第六层利用空洞率为16的3
×
3卷积核进行空洞卷积,以及对第七层采用空洞率为1的3
×
3卷积核进行普通卷积。通过利用空洞卷积(dilated convolution)进行卷积计算,能够在特征图上进行不连续采样,扩大感受野,从而在不损失图像信息或特征的情况下,让每个卷积核的输出都包含了较大范围的图像信息或特征,相较于传统的普通卷积显著提高了提取图像特征信息的能力。
[0332]
相应的,在一些实施例中,执行所述语义分割处理的语义分割模型包括deeplab v1、deeplab v2、deeplab v3、或deeplab v3+。例如,以deeplab v3+作为语义分割模型进行处理,通过图像上使用四种不同空洞率的空洞卷积核进行空间金字塔池化(spatial pyramid pooling,spp),从而得到更加细致的待鉴别物品的轮廓,同时解决输入图像尺寸大小不一的情况。
[0333]
在一些实施例中,卷积核为矩形或非固定形状。通常会在深度卷积神经网络中会对图像的旋转、平移、缩放、剪裁等处理进行训练学习,以应对图像可能出现的各种情况。在一些实施例中,所述语义分割处理中的至少部分卷积计算使用可变形卷积,所述可变形卷积指的是卷积核在每一个像素上额外增加一个方向参数(位置偏移量),使得卷积核能够在图像上扩展到感兴趣的范围。通过利用可变形卷积,当图像存在各种情况时,能够以较小的计算量识别更多的特征,有效地提高了语义分割的效果,增强了鉴别的准确性。
[0334]
输出模块83用于根据所述分类模型对目标检测结果的真伪鉴别结果输出所述待鉴别物品的真伪鉴别结果。
[0335]
在此,将所述目标检测结果输入至所述分类模型,所述分类模型对所述目标检测结果进行鉴别,输出所述目标检测结果的真伪鉴别结果。所述目标检测结果的真伪鉴别结
果即所述鉴别点对应的待鉴别物品的部位的真伪鉴别结果。根据所述目标检测结果的真伪鉴别结果,所述分类模型输出所述待鉴别物品的真伪鉴别结果。
[0336]
在一些实施例中,所述分类模型可以是基于卷积神经网络(cnn)实现的,包括例如xception、resnet、se-net、或dpn-net等。
[0337]
在卷积神经网络(convolutional neural network,cnn)中,一般至少包括输入层、若干个卷积层、一个或多个池化层以及一个或多个输出层(全连接层)。在若干个卷积层中,层次越高(越深)的特征图包含了更多的抽象特征,用于确定其包含的鉴定点对应的待鉴别物品的部位的分类结果;层次越低(越浅)的特征图包含了更多的细节特征,用于确定待鉴别物品的真伪鉴别结果;其中,层次越低的特征图与输入图像越接近;在本实施例中,所述输入图像即为所述目标检测结果;而层次越高的特征图相较于输入图像差别越大,越抽象。
[0338]
可以理解的是,由于低层次特征图包含更多细节,高层次特征图进行了良好的数据压缩,可以由分类模型根据低层次特征图和高层次特征图拼接后的结果进行分析,从而得到更为准确的真伪鉴别结果。
[0339]
所述图像经语义分割处理后,被输入至所述分类模型,由该分类模型据以进行进一步的真伪鉴别。在一些实施例中,所述分类模型包括多任务模型,所述多任务模型通过不同任务获取所述鉴别点对应的物品部位的真伪鉴别结果。
[0340]
例如,对于一奢侈品包而言,其鉴定点可以位于例如logo、皮签、拉链、锁扣等部位。对包含例如皮签的鉴定点的图像区域的图像进行语义分割处理,获得与该图像尺寸相同的目标检测结果。将所述目标检测结果发送给所述分类模型中的多任务模型,所述多任务模型提取所述目标检测结果中的相对较低层的特征图和相对较高层的第二特征图,并输出包含的皮签部位的真伪鉴别结果。
[0341]
本申请实施例通过使用多任务模型作为所述分类模型,多任务模型可以联合学习其通过不同任务获取的真伪鉴别结果和鉴别点对应的物品部位的分类结果,能有效减少模型的数量,提高鉴别结果的准确率。
[0342]
在一些实施例中,所述鉴别点对应的物品部位的真伪鉴别结果是根据至少一第一特征图和至少一第二特征图连接形成的至少一第三特征图得到的。其中,所述第一特征图和第二特征图是根据提取自所述分类模型的不同层次的特征图得到的。所述第一特征图的层次低于所述第二特征图。在一些实施例中,所述连接指的是特征图间在深度方向上的拼接或叠加。
[0343]
所述分类模型通过提取目标检测结果的第一特征图和第二特征图,将所述第一特征图和第二特征图进行拼接,从而获得第三特征图。容易理解,当第一特征图和第二特征图为多幅时,将多幅第一特征图与对应的第二特征图分别进行拼接,获得多幅第三特征图。所述分类模型将所述第三特征图进行卷积,并通过一分类器进行分类,从而获得所述鉴别点对应的物品部位的真伪鉴别结果。其中,所述分类器可以包括全连接层(fully connected layers,fc);当然,在一些实施例中也可以通过例如全局平均池化(global average pooling,gap)层来替代全连接层,以与如softmax函数等结合实现相近的分类功能。
[0344]
在一些实施例中,所述第一特征图及第二特征图是在相同尺寸的情况下进行连接的。目标检测结果的尺寸大小和原始输入的待鉴别物品的图像的大小是相同的。分类模型
输出的特征图的大小与目标检测结果的大小不一致会影响鉴别结果的准确性。当然,要使第一特征图和第二特征图的尺寸相同,可以令所述第一特征图缩小至与第二特征图尺寸相同;或者,令第二特征图放大至与第二特征图尺寸相同。然而,若直接对第一特征图或第二特征图进行缩小或放大的处理,会使得图像损失大量细节特征,造成图像的严重失真。因此,在一些实施例中,可以利用如双线性插值法、双三次插值法、区域关系重采样法、近邻插值法、或lanczos插值法等图像几何变换方法将所述分类模型输出的特征图缩小或放大至目标检测结果的尺寸大小。
[0345]
例如,为了使特征图包含更多的细节信息,将所述分类模型的最后一层的缩小了第二倍数的特征图放大第一倍数,然后提取所述分类模型中某一层缩小了所述第一倍数的特征图,再将相同尺寸的二者进行连接。经过卷积后得到新的特征图,再利用双线性插值法将所述新的特征图以第一倍数放大至与目标检测结果的尺寸相同。其中,第一倍数与第二倍数成比例关系。例如,将所述分类模型的最后一层的缩小了16倍的特征图放大4倍,然后提取所述分类模型中某一层缩小了4倍的特征图,再将相同尺寸的二者进行连接。经过卷积后得到新的特征图,再利用双线性插值法将所述新的特征图放大4倍至与目标检测结果的尺寸相同。
[0346]
在一些实施例中,所述鉴别点对应的物品部位的真伪鉴别结果可以由真伪属性来表征。所述真伪属性用以表示所述鉴定点的真伪鉴别结果为真或为假。
[0347]
例如,对于一奢侈品包而言,其鉴定点可以位于例如logo、皮签、拉链、锁扣等部位。通过分类模型对多幅待鉴别物品的图像进行鉴别,获得所述鉴别点对应的物品部位的真伪鉴别结果分别为:logo的真伪属性为真,皮签的真伪属性为假,拉链的真伪属性为真,锁扣的真伪属性为假。
[0348]
在一些实施例中,所述鉴别点对应的物品部位的真伪鉴别结果可以由评估分数来表征。所述评估分数用于表示所述鉴别点对应的物品部位的真伪鉴别结果为真或为假的概率值(可能性)。
[0349]
例如,通过分类模型对多幅待鉴别物品的图像进行鉴别,获得所述鉴别点对应的物品部位的真伪鉴别结果分别为:logo的评估分数为90%、0.9或90分(或其它形式的量值表征方式),则表示所述logo部位有90%的概率为真(假),或所述logo部位大概率为真;皮签的评估分数为5%、0.05或5分,则表示所述皮签部位有5%的概率为真(假),或所述皮签部位大概率为假。
[0350]
进一步的,可以通过引入与评估分数参考值的比较来确定鉴定点的真伪,例如,评估分数大于一个真参考值,则鉴定点为真;若评估分数小于一假参考值,则鉴定点为假。
[0351]
举例来说,评估分数大于80%为真,小于40%为假等;当然,此仅为例举,并非以此为限。
[0352]
在一些实施例中,所述待鉴别物品的真伪鉴别结果也可以由真伪属性来表征、或由评估分数来表征、或真伪属性和评估分数共同来表征。
[0353]
举例来说,所述待鉴别物品的真伪鉴别结果的真伪属性由一个或多个所述鉴别点对应的物品部位的真伪鉴别结果的真伪属性的联合结果表征。例如,可以根据统计所述鉴别点对应的物品部位的真伪鉴别结果中为真或为假的数量,从而综合判断所述待鉴别物品的真伪鉴别结果为真或为假。又如,预先为各个鉴定点对应的物品部位的真伪鉴别结果分
memory)、硬盘(hard disk drive,hdd)或固态硬盘(solid-state drive,ssd);存储器还可以包括上述种类的存储器的组合。存储器可用于存储一组程序代码,以便于处理器调用存储器中存储的程序代码以实现本申请实施例中涉及的所述获取模块、鉴别模块以及输出模块等功能模块中的任一项或多项的功能。
[0362]
处理器可以由一个或者多个通用处理器构成,例如中央处理器(central processing unit,cpu)。处理器可用于运行相关的程序代码中以下任一项或多项功能模块的程序:获取模块、鉴别模块以及输出模块等。也就是说,处理器执行程序代码可以实现以下任一项或多项功能模块的功能:获取模块、鉴别模块以及输出模块等等。其中,关于所述获取模块、鉴别模块以及输出模块具体可参见前述实施例中的相关阐述。
[0363]
在某些实施例中,存储器还可以包括远离一个或多个处理器的存储器,例如经由rf电路或外部端口以及通信网络访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(lan)、广域网(wlan)、存储局域网(san)等,或其适当组合。存储器控制器可控制设备的诸如cpu和外设接口之类的其他组件对存储器的访问。存储器可选地包括高速随机存取存储器,并且可选地还包括非易失性存储器,诸如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储器设备。由设备的其他组件诸如cpu和外围接口,对存储器的访问可选地通过存储器控制器来控制。
[0364]
所述一个或多个处理器可操作地与网络接口耦接,以将计算设备以通信方式耦接至网络。例如,网络接口可将计算设备连接到局域网(如lan)、和/或广域网(如wan)。处理器还与i/o端口和输入结构可操作地耦接,该i/o端口可使得计算设备能够与各种其他电子设备进行交互,该输入结构可使得用户能够与计算设备进行交互。因此,输入结构可包括按钮、键盘、鼠标、触控板等。此外,电子显示器可包括触摸部件,该触摸部件通过检测对象触摸其屏幕的发生和/或位置来促进用户输入。
[0365]
具体应用场景中,所述获取模块、鉴别模块以及输出模块都可以是软件模块,这些软件模块可部署在服务器、或服务器上的虚拟机,或服务器上的容器上。此外,这些软件模块可根据实际需求部署在同一服务器上,或者不同服务器上,本申请不做限定。
[0366]
在另一种情况下,所述鉴别系统还可以由一种装载于智能终端上的应用程序(app)来实现,所述智能终端通过拍摄获取待鉴定物品的多幅图像,并经由无线网络上传至云端服务器,藉由云端进行鉴别后反馈识别结果。
[0367]
所述智能终端例如为包括但不限于智能手机、平板电脑、智能手表、智能眼镜、个人数字助理(pda)等等便携式或者穿戴式的电子设备,应当理解,本申请于实施方式中描述的便携式电子设备只是一个应用实例,该设备的组件可以比图示具有更多或更少的组件,或具有不同的组件配置。所绘制图示的各种组件可以用硬件、软件或软硬件的组合来实现,包括一个或多个信号处理和/或专用集成电路。
[0368]
所述智能终端包括存储器、存储器控制器、一个或多个处理器(cpu)、外设接口、rf电路、音频电路、扬声器、麦克风、输入/输出(i/o)子系统、触摸屏、其他输出或控制设备,以及外部端口。这些组件通过一条或多条通信总线或信号线进行通信。
[0369]
所述智能终端支持各种应用程序,诸如以下各项中的一种或多种:绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程
序、健身支持应用程序、照片管理应用程序、数码相机应用程序、数码视频摄像机应用程序、网页浏览应用程序、数码音乐播放器应用程序和/或数码视频播放器应用程序。
[0370]
本申请提供的鉴别系统利用通过用于鉴别的模型的训练方法训练得到的机器学习模型对待鉴别物品的图像进行鉴别,一方面对待鉴别物品的图像进行语义分割处理,相较于一般的目标检测方法准确率更高,并且能够适应图像不同光线、背景等各种情况,鉴别的稳定性强;另一方面利用多任务模型作为分类模型进行鉴别,根据分类模型输出的鉴定点对应的待鉴别物品的部位的真伪鉴别结果,输出所述待鉴别物品的真伪鉴别结果,鉴别的准确率高。
[0371]
本申请还提供一种电子设备,请参阅图9,显示为本申请电子设备在一实施例中的结构示意图,如图所示,所述电子设备包括获取装置91、存储装置92以及一个或多个处理装置93,其中:
[0372]
所述获取装置91用于获取包含对应待鉴别物品的至少一个鉴别点的图像区域的图像;
[0373]
所述存储装置92用于存储程序代码。所述存储装置可以包括易失性存储器(volatile memory),例如随机存取存储器(random access memory,ram);所述存储装置也可以包括非易失性存储器(non-volatile memory),例如只读存储器(read-only memory,rom)、快闪存储器(flash memory)、硬盘(hard disk drive,hdd)或固态硬盘(solid-state drive,ssd);所述存储装置还可以包括上述种类的存储器的组合。所述存储装置可用于存储一组程序代码,以便于处理装置调用所述存储装置中存储的程序代码以实现本申请实施例中涉及的所述获取模块、处理模块以及训练模块等功能模块中的任一项或多项的功能。
[0374]
所述一个或多个处理装置93用于调用所述存储装置中存储的程序代码来执行如上述各实施例所述的用于鉴别的模型的训练方法。
[0375]
所述处理装置可以由一个或者多个通用处理器构成,例如中央处理器(central processing unit,cpu)。处理器可用于运行相关的程序代码中以下任一项或多项功能模块的程序:获取模块、处理模块以及训练模块等。也就是说,处理器执行程序代码可以实现以下任一项或多项功能模块的功能:获取模块、处理模块以及训练模块等等。其中,关于所述获取模块、处理模块以及训练模块具体可参见前述实施例中的相关阐述。
[0376]
在某些实施例中,存储器还可以包括远离一个或多个处理器的存储器,例如经由rf电路或外部端口以及通信网络访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(lan)、广域网(wlan)、存储局域网(san)等,或其适当组合。存储器控制器可控制设备的诸如cpu和外设接口之类的其他组件对存储器的访问。存储器可选地包括高速随机存取存储器,并且可选地还包括非易失性存储器,诸如一个或多个磁盘存储设备、闪存设备或其他非易失性固态存储器设备。由设备的其他组件诸如cpu和外围接口,对存储器的访问可选地通过存储器控制器来控制。
[0377]
所述一个或多个处理器可操作地与网络接口耦接,以将计算设备以通信方式耦接至网络。例如,网络接口可将计算设备连接到局域网(如lan)、和/或广域网(如wan)。处理器还与i/o端口和输入结构可操作地耦接,该i/o端口可使得计算设备能够与各种其他电子设备进行交互,该输入结构可使得用户能够与计算设备进行交互。因此,输入结构可包括按钮、键盘、鼠标、触控板等。此外,电子显示器可包括触摸部件,该触摸部件通过检测对象触
摸其屏幕的发生和/或位置来促进用户输入。
[0378]
所述电子设备例如为包括但不限于智能手机、平板电脑、智能手表、智能眼镜、个人数字助理(pda)等等便携式或者穿戴式的电子设备,应当理解,本申请于实施方式中描述的电子设备只是一个应用实例,该设备的组件可以比图示具有更多或更少的组件,或具有不同的组件配置。所绘制图示的各种组件可以用硬件、软件或软硬件的组合来实现,包括一个或多个信号处理和/或专用集成电路。
[0379]
所述电子设备还可以包括存储器、存储器控制器、一个或多个处理器(cpu)、外设接口、rf电路、音频电路、扬声器、麦克风、输入/输出(i/o)子系统、触摸屏、其他输出或控制设备,以及外部端口。这些组件通过一条或多条通信总线或信号线进行通信。
[0380]
所述电子设备支持各种应用程序,诸如以下各项中的一种或多种:绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数码相机应用程序、数码视频摄像机应用程序、网页浏览应用程序、数码音乐播放器应用程序和/或数码视频播放器应用程序。
[0381]
在本实施例中,对机器学习模型进行训练的原理与上述实施方式中所述的用于鉴别物品的机器学习模型的训练方法的步骤对应或类似,其原理和流程请参照上述关于用于鉴别物品的机器学习模型的训练方法的实施例,此处不再赘述。
[0382]
需要说明的,图9仅仅是本申请实施例的一种可能的实现方式,实际应用中,所述电子设备还可以包括更多或更少的部件,这里不作限制。关于本申请实施例中未示出或未描述的内容,可参见前述实施例中的相关阐述,这里不再赘述。
[0383]
本申请提供的电子设备通过在训练和鉴别过程中设置使用多任务模型作为所述分类模型,通过多任务模型可以联合学习其通过不同任务获取的真伪鉴别结果和鉴别点对应的物品部位的分类结果以联合训练机器学习模型,能有效从而减少模型的数量,提高鉴别结果的准确率。
[0384]
本申请还提供了另一电子设备,请参阅图10,显示为本申请电子设备在一实施例中的结构示意图,如图所示,所述电子设备包括拍摄装置101、存储装置102以及一个或多个处理装置103,所述拍摄装置101、存储装置102以及一个或多个处理装置103可通过总线或者其它方式连接,本申请实施例以通过总线连接为例。
[0385]
所述拍摄装置101用于获取拍摄的包含对应待鉴别物品的至少一个鉴别点的图像区域的图像。
[0386]
所述拍摄装置101包括智能终端和其他带摄像头的装置或设备,用于获取拍摄的待鉴定物品的图像,所述图像包含对应待鉴别物品的至少一个鉴别点的图像区域。所述智能终端例如为包括但不限于智能手机、平板电脑、智能手表、智能眼镜、个人数字助理(pda)等等便携式或者穿戴式的电子设备。
[0387]
应当理解,本申请于实施方式中描述的电子设备只是一个应用实例,该设备的组件可以比图示具有更多或更少的组件,或具有不同的组件配置。所绘制图示的各种组件可以用硬件、软件或软硬件的组合来实现,包括一个或多个信号处理和/或专用集成电路。
[0388]
所述存储装置102用于存储程序代码。所述存储装置例如为存储器,包括随机存取存储器(random access memory,ram)、只读存储器(read only memory,rom)、可编程只读
存储器(programmable read-only memory,prom)、可擦可编程序只读存储器(erasable programmable read-only memory,eprom)、电可擦编程只读存储器electric erasable programmable read-only memory,eeprom)等。存储装置用于存储程序,处理装置在接收到执行指令后,执行该程序。
[0389]
所述处理装置具有信号处理能力,例如处理器,包括集成电路芯片以及通用处理器,例如,可以是数字信号处理器(dsp)、专用集成电路(asic)、分立门或晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。所述通用处理器可以是微处理器或者任何常规处理器等,例如中央处理器(central processing unit,cpu)。
[0390]
所述一个或多个处理装置103用于调用所述存储装置中存储的程序代码来执行如前所述的鉴别方法,即:获取包含对应待鉴别物品的至少一个鉴别点的图像区域的图像;利用分类模型对经语义分割处理所述图像得到的目标检测结果进行鉴别;根据所述分类模型对目标检测结果的真伪鉴别结果输出所述待鉴别物品的真伪鉴别结果。
[0391]
在本实施例中,对待鉴别物品进行鉴别的原理与上述实施方式中所述的鉴别方法的步骤对应或类似,其原理和流程请参照上述关于鉴别方法的实施例,此处不再赘述。
[0392]
通常,由于不同物品需要鉴定的部位组合不同,如不同品牌的奢侈品包,有的需要鉴定外观、皮签、和刻字纽扣,有的需要鉴定外观、皮签、和数字编码,则可以对应不同的物品来设置不同的鉴别模板供用户选择,每个鉴别模板关联于不同的鉴定点组合的图像采集及鉴定。
[0393]
在一些示例中,所述鉴别模板对应于“品牌约束下的物品类型所约束的鉴定点组合”来产生,例如鉴别模板1对应dior品牌下的奢侈品包的鉴定点组合包括:外观、皮签和数字编码;当然,根据实际情况的不同,鉴别模板可以发生变化。如在一些示例中,也可以对应于“物品类型约束下的鉴定点组合”来形成鉴别模板,举例来说,鉴别模板2对应奢侈品表的鉴定点组合包括:外观和背透等,而非以上述为限。
[0394]
在一个具体的实施例中,所述电子设备可以提供鉴别提示,所述鉴别提示通过提示用户选择鉴别模板,以确定本次鉴别的鉴定点组合。在此,所述电子设备可以预存多个物品类型的鉴别模板,例如对应奢侈品包的鉴别模板、对应手表的鉴别模板、以及对应鞋的鉴别模板等。例如,在用户选择鉴别模板为“奢侈品包”后,所述电子设备显示该鉴别模板包括的鉴定点组合包括:皮签、锁扣、五金铆钉、logo等,并提示用户按照顺序一一提供对应的图像;又如,在用户选择鉴别模板为“鞋”后,所述电子设备显示该鉴别模板包括的鉴定点组合包括有:鞋撑、鞋舌、鞋标、走线等,并提示用户按照顺序一一提供对应的图像。所述提示可以为例如在电子设备提示“请拍摄皮签的图像”,并将用户拍摄或调用的图像作为对应鉴定点为皮签的待鉴别物品的图像。
[0395]
当然并不局限于此,所述电子设备可以提示用户选择对应物品类型的鉴别模板后再选择对应品牌的鉴别模板,从而确定鉴定点组合;或者提示用户选择对应品牌的鉴别模板后再选择对应物品类型的鉴别模板,从而确定鉴定点组合。
[0396]
需要说明的,图10仅仅是本申请实施例的一种可能的实现方式,实际应用中,所述电子设备还可以包括更多或更少的部件,这里不作限制。关于本申请实施例中未示出或未描述的内容,可参见前述实施例中的相关阐述,这里不再赘述。
[0397]
本申请提供的电子设备利用通过用于鉴别的模型的训练方法训练得到的机器学习模型对待鉴别物品的图像进行鉴别,一方面对待鉴别物品的图像进行语义分割处理,相较于一般的目标检测方法准确率更高,并且能够适应图像不同光线、背景等各种情况,鉴别的稳定性强;另一方面利用多任务模型作为分类模型进行鉴别,根据分类模型输出的鉴定点对应的待鉴别物品的部位的真伪鉴别结果,输出所述待鉴别物品的真伪鉴别结果,鉴别的准确率高。
[0398]
本申请还提供一种客户端,所述客户端装载于一电子设备中,用于与用户进行交互并向用户提供对物品进行鉴别的功能。所述电子设备能够通过数据传输接收待鉴别物品的图像;或,所述电子设备设置有至少一拍摄装置,用于对待鉴别物品进行拍摄。所述电子设备包括但不限于智能手机、平板电脑、智能手表、智能眼镜、个人数字助理(pda)等等便携式或者穿戴式的电子设备。
[0399]
所述数据传输包括无线网络传输(例如tdma、cdma、gsm、phs、bluetooth等)、有线网络传输(例如专用网络、adsl网络、电缆调制解调器网络等)、或接口传输(例如通过接口从闪存、u盘、移动硬盘、光盘、软盘等存储介质获取的)等。所述图像的格式为计算机存储图像的格式,例如为bmp,jpg,png,tiff,gif,pcx,tga,exif,fpx,svg,psd,cdr,pcd,dxf,ufo,eps,ai,raw,wmf等存储的格式。
[0400]
请参阅图11,显示为本申请客户端在一实施例中的结构示意图,如图所示,所述客户端11包括输入模块111、处理模块112和显示模块113,其中:
[0401]
所述输入模块111用于接收到用户输入的鉴别指令时,调用所述电子设备预先存储的或调用所述电子设备拍摄的包含对应待鉴别物品的至少一个鉴别点的图像区域的图像。
[0402]
在此,所述输入模块111通过接收用户点击或触碰电子设备的显示界面生成的鉴别指令,根据鉴别指令调用待鉴别物品的图像,所述图像包含对应待鉴别物品的至少一个鉴别点的图像区域。所述鉴别指令用于指示所述输入模块111和处理模块112对所述图像进行鉴别。
[0403]
所述处理模块112用于调用所述电子设备中存储的程序代码来执行上述实施例中所述的鉴别方法。
[0404]
在本实施例中,对待鉴别物品进行鉴别的原理与上述实施方式中所述的鉴别方法的步骤对应或类似,其原理和流程请参照上述关于鉴别方法的实施例,此处不再赘述。
[0405]
所述显示模块113用于显示输出所述待鉴别物品的真伪鉴别结果和/或所述鉴别点对应的待鉴别物品的部位的分类结果。在一些实施例中,所述显示模块113显示输出所述待鉴别物品的真伪鉴别结果。在一些实施例中,所述显示模块113显示输出所述鉴别点对应的待鉴别物品的部位的分类结果。在一些实施例中,所述显示模块113同时显示输出所述待鉴别物品的真伪鉴别结果和所述鉴别点对应的待鉴别物品的部位的分类结果。
[0406]
通常,由于不同物品需要鉴定的部位组合不同,如不同品牌的奢侈品包,有的需要鉴定外观、皮签、和刻字纽扣,有的需要鉴定外观、皮签、和数字编码,则可以对应不同的物品来设置不同的鉴别模板供用户选择,每个鉴别模板关联于不同的鉴定点组合的图像采集及鉴定。
[0407]
在一些示例中,所述鉴别模板对应于“品牌约束下的物品类型所约束的鉴定点组
合”来产生,例如鉴别模板1对应dior品牌下的奢侈品包的鉴定点组合包括:外观、皮签和数字编码;当然,根据实际情况的不同,鉴别模板可以发生变化。如在一些示例中,也可以对应于“物品类型约束下的鉴定点组合”来形成鉴别模板,举例来说,鉴别模板2对应奢侈品表的鉴定点组合包括:外观和背透等,而非以上述为限。
[0408]
在一个具体的实施例中,所述客户端可以提供鉴别提示,所述鉴别提示通过提示用户选择鉴别模板,以确定本次鉴别的鉴定点组合。在此,所述客户端可以预存多个物品类型的鉴别模板,例如对应奢侈品包的鉴别模板、对应手表的鉴别模板、以及对应鞋的鉴别模板等。例如,在用户选择鉴别模板为“奢侈品包”后,所述客户端显示该鉴别模板包括的鉴定点组合包括:皮签、锁扣、五金铆钉、logo等,并提示用户按照顺序一一提供对应的图像;又如,在用户选择鉴别模板为“鞋”后,所述客户端显示该鉴别模板包括的鉴定点组合包括有:鞋撑、鞋舌、鞋标、走线等,并提示用户按照顺序一一提供对应的图像。所述提示可以为例如在客户端提示“请拍摄皮签的图像”,并将用户拍摄或调用的图像作为对应鉴定点为皮签的待鉴别物品的图像。
[0409]
当然并不局限于此,所述客户端可以提示用户选择对应物品类型的鉴别模板后再选择对应品牌的鉴别模板,从而确定鉴定点组合;或者提示用户选择对应品牌的鉴别模板后再选择对应物品类型的鉴别模板,从而确定鉴定点组合。
[0410]
请参阅图12和图13,图12显示为本申请客户端在一实施例中在一智能手机显示界面上的示意图,图13显示为本申请客户端在另一实施例中在一智能手机显示界面上的示意图。
[0411]
如图12所示,所述显示模块113能够将调用的待鉴别物品的图像进行(即图12中的奢侈品包),同时显示所述待鉴别物品的真伪鉴别结果121。在实际情况中,通常还会显示一些其他信息122,用于对待鉴别物品的基本信息进行说明和展示。所述其他信息122包括例如待鉴别物品的品牌名称、商品型号或序号、鉴定号、检定日期等。此外,所述显示模块113还可以显示分类结果和对应的真伪鉴别结果,以奢侈品包为例,例如皮签的真伪鉴别结果和分类结果123,五金的真伪鉴别结果和分类结果124,以及锁扣的真伪鉴别结果和分类结果125。
[0412]
在一些实施例中,所述显示模块113还用于显示所述真伪鉴别结果的真伪属性、评估分数、或同时显示所述真伪鉴别结果的真伪属性和评估分数。例如,在皮签的真伪鉴别结果和分类结果123中,所述显示模块113可以显示“部位为:皮签”、“鉴别为:真”以及“鉴别得分:80分”,用于表示该皮签的分类结果对应的真伪鉴别结果大概率为真。
[0413]
在一些实施例中,分类结果121、124、125可以是先后得到的,例如根据与用户逐步的交互过程来先后得到的,例如用户逐个拍摄鉴定点来得到输入图像,并逐一得到各个分类结果;当然,并非以此为限,各鉴定点的图像也可以是一并输入而并行鉴别得到。
[0414]
除此之外,在一些实施例中,所述显示模块113还用于显示依据用户的输入获得的鉴定报告。如图12所示,在界面上所述显示模块113通过提供一个虚拟按钮“生成鉴别报告”126,用于在用户点击或触碰后生成并展示所述待鉴别物品的鉴别报告。
[0415]
如图13所示,在界面上方显示鉴别报告131用以提示用户该界面的主要内容,通常还会在界面上显示所述待鉴别物品的图像。在所述鉴别报告131中,所述显示模块113显示所述待鉴别物品的真伪鉴别结果132以及其他信息133。通过向用户显示分类结果和真伪鉴
别结果等,能够直观清晰地展示鉴别的结果,同时让用户感受到更加人性化的交互体验。
[0416]
需要说明的,图11、图12以及图13仅仅是本申请实施例的一种可能的实现方式,实际应用中,所述客户端还可以包括更多或更少的部件,这里不作限制。关于本申请实施例中未示出或未描述的内容,可参见前述实施例中的相关阐述,这里不再赘述。
[0417]
本申请提供的客户端,通过接收用户输入的鉴别指令,调用待鉴别物品的图像并对所述图像进行鉴别,有效解决了伪造商品无法快速鉴别的问题,大大简化了电子交易或其他远程购物方式所产生的物品真伪争议。同时,通过评估机制以及通过对识别结果的评价确定物品真伪,直观清晰易于被用户接受,提高用户体验。
[0418]
本申请还提供一种服务器,请参阅图12,显示为本申请服务器在一实施例中的结构示意图。所述服务器可以是任何具有数学和逻辑运算、数据处理能力的计算设备,其包括但不限于:个人计算机设备、单台服务器、服务器集群、分布式服务端、云服务端等。其中,所述云服务端包括公共云(public cloud)服务端与私有云(private cloud)服务端,其中,所述公共或私有云服务端包括software-as-a-service(软件即服务,简称saas)、platform-as-a-service(平台即服务,简称paas)及infrastructure-as-a-service(基础设施即服务,简称iaas)等。所述私有云服务端例如阿里云计算服务平台、亚马逊(amazon)云计算服务平台、百度云计算平台、腾讯云计算平台等等。
[0419]
其中,所述云服务端提供至少一种远程图像上传服务。所述远程图像上传服务包括但不限于以下至少一种:物品上架服务、物品鉴别的服务和物品投诉的服务等。其中,所述物品上架的服务例如商家上传待售物品图像和相关文字描述等,所述物品鉴别的服务例如购买者上传物品图像以鉴别真伪等,所述物品投诉的服务例如为购买者无法与商家达成一致时上传物品图像以供第三方(如电子交易平台)介入调解的服务等。
[0420]
如图12所示,所述服务器14包括接收装置141、存储装置142、一个或多个处理装置143以及发送装置144。其中:
[0421]
所述接收装置141用于接收包含对应待鉴别物品的至少一个鉴别点的图像区域的图像。
[0422]
所述接收装置141通过数据传输获得待鉴别物品的图像,所述图像包含对应待鉴别物品的至少一个鉴别点的图像区域。所述数据传输包括无线网络传输(例如tdma、cdma、gsm、phs、bluetooth等)、有线网络传输(例如专用网络、adsl网络、电缆调制解调器网络等)、或接口传输(例如通过接口从闪存、u盘、移动硬盘、光盘、软盘等存储介质获取的)等。
[0423]
所述存储装置142用于存储程序代码。所述存储装置可以包括易失性存储器(volatile memory),例如随机存取存储器(random access memory,ram);所述存储装置也可以包括非易失性存储器(non-volatile memory),例如只读存储器(read-only memory,rom)、快闪存储器(flash memory)、硬盘(hard disk drive,hdd)或固态硬盘(solid-state drive,ssd);所述存储装置还可以包括上述种类的存储器的组合。所述存储装置可用于存储一组程序代码,以便于处理装置调用所述存储装置中存储的程序代码以实现本申请实施例中涉及的鉴别方法的任一项或多项的功能。在某些实施例中,存储装置还可以包括远离一个或多个处理器的存储装置,例如经由rf电路或外部端口以及通信网络访问的网络附加存储器,其中所述通信网络可以是因特网、一个或多个内部网、局域网(lan)、广域网(wlan)、存储局域网(san)等,或其适当组合。存储装置控制器可控制设备的诸如cpu和外设
接口之类的其他组件对存储装置的访问。
[0424]
所述一个或多个处理装置143用于调用所述存储装置中存储的程序代码来执行上述实施例中所述的鉴别方法,以获得所述待鉴别物品的真伪鉴别结果和/或所述鉴别点对应的待鉴别物品的部位的分类结果。所述一个或多个处理装置可以由一个或者多个通用处理器构成,例如中央处理器(central processing unit,cpu)。所述一个或多个处理装置可操作地与网络接口耦接,以将计算设备以通信方式耦接至网络。例如,网络接口可将计算设备连接到局域网(如lan)、和/或广域网(如wan)。处理装置还与i/o端口和输入结构可操作地耦接,该i/o端口可使得计算设备能够与各种其他电子设备进行交互,该输入结构可使得用户能够与计算设备进行交互。因此,输入结构可包括按钮、键盘、鼠标、触控板等。此外,电子显示器可包括触摸部件,该触摸部件通过检测对象触摸其屏幕的发生和/或位置来促进用户输入。
[0425]
所述发送装置144用于将所述真伪鉴别结果和/或分类结果发送给至少一个电子设备或装载于一电子设备中的客户端,以令其显示对应所述真伪鉴别结果的真伪属性和/或对应所述分类结果的评估分数。所述电子设备例如为包括但不限于智能手机、平板电脑、智能手表、智能眼镜、个人数字助理(pda)等等便携式或者穿戴式的电子设备,应当理解,本申请于实施方式中描述的电子设备只是一个应用实例,该设备的组件可以比图示具有更多或更少的组件,或具有不同的组件配置。所绘制图示的各种组件可以用硬件、软件或软硬件的组合来实现,包括一个或多个信号处理和/或专用集成电路。
[0426]
所述电子设备或客户端支持各种应用程序,诸如以下各项中的一种或多种:绘图应用程序、呈现应用程序、文字处理应用程序、网站创建应用程序、盘编辑应用程序、电子表格应用程序、游戏应用程序、电话应用程序、视频会议应用程序、电子邮件应用程序、即时消息应用程序、健身支持应用程序、照片管理应用程序、数码相机应用程序、数码视频摄像机应用程序、网页浏览应用程序、数码音乐播放器应用程序和/或数码视频播放器应用程序。
[0427]
在本实施例中,对待鉴别物品进行鉴别的原理与上述实施方式中所述的鉴别方法的步骤对应或类似,其原理和流程请参照上述关于鉴别方法的实施例,此处不再赘述。
[0428]
需要说明的,图14仅仅是本申请实施例的一种可能的实现方式,实际应用中,所述服务器还可以包括更多或更少的部件,这里不作限制。关于本申请实施例中未示出或未描述的内容,可参见前述实施例中的相关阐述,这里不再赘述。
[0429]
本申请提供的服务器,通过接收包含对应待鉴别物品的至少一个鉴别点的图像区域的图像,并调用存储装置中存储的程序代码来执行上述实施例中所述的鉴别方法,能够快速地对物品进行鉴别,从而有效解决了伪造商品无法快速鉴别的问题,大大简化了电子交易或其他远程购物方式所产生的物品真伪争议。
[0430]
本申请还提供一种计算机可读写存储介质,存储有用于鉴别的模型的训练方法的计算机程序,所述用于鉴别的模型的训练方法的计算机程序被执行时实现上述实施例关于图1至图3中所述的用于鉴别的模型的训练方法。
[0431]
本申请还提供一种计算机可读写存储介质,存储有鉴别方法的计算机程序,所述鉴别方法的计算机程序被执行时实现上述实施例关于图4中所述的鉴别方法。
[0432]
本申请还提供一种计算机可读写存储介质,存储有鉴别方法的计算机程序,所述鉴别方法的计算机程序被执行时实现上述实施例关于图5中所述的鉴别方法。
[0433]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。
[0434]
于本申请提供的实施例中,所述计算机可读写存储介质可以包括只读存储器、随机存取存储器、eeprom、cd-rom或其它光盘存储装置、磁盘存储装置或其它磁存储设备、闪存、u盘、移动硬盘、或者能够用于存储具有指令或数据结构形式的期望的程序代码并能够由计算机进行存取的任何其它介质。另外,任何连接都可以适当地称为计算机可读介质。例如,如果指令是使用同轴电缆、光纤光缆、双绞线、数字订户线(dsl)或者诸如红外线、无线电和微波之类的无线技术,从网站、服务器或其它远程源发送的,则所述同轴电缆、光纤光缆、双绞线、dsl或者诸如红外线、无线电和微波之类的无线技术包括在所述介质的定义中。然而,应当理解的是,计算机可读写存储介质和数据存储介质不包括连接、载波、信号或者其它暂时性介质,而是旨在针对于非暂时性、有形的存储介质。如申请中所使用的磁盘和光盘包括压缩光盘(cd)、激光光盘、光盘、数字多功能光盘(dvd)、软盘和蓝光光盘,其中,磁盘通常磁性地复制数据,而光盘则用激光来光学地复制数据。
[0435]
在一个或多个示例性方面,本申请所述用于鉴别的模型的训练方法和鉴别方法的计算机程序所描述的功能可以用硬件、软件、固件或者其任意组合的方式来实现。当用软件实现时,可以将这些功能作为一个或多个指令或代码存储或传送到计算机可读介质上。本申请所公开的方法或算法的步骤可以用处理器可执行软件模块来体现,其中处理器可执行软件模块可以位于有形、非临时性计算机可读写存储介质上。有形、非临时性计算机可读写存储介质可以是计算机能够存取的任何可用介质。
[0436]
本申请上述的附图中的流程图和框图,图示了按照本申请各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这根据所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以通过执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以通过专用硬件与计算机指令的组合来实现。
[0437]
本申请通过机器学习模型实现高准确度的目标检测及后续真伪分类过程;在一些示例中,通过在训练和鉴别过程中设置使用多任务模型作为所述分类模型,通过多任务模型可以联合学习其通过不同任务获取的真伪鉴别结果和鉴别点对应的物品部位的分类结果以联合训练机器学习模型,能有效从而减少模型的数量,提高鉴别结果的准确率。
[0438]
上述实施例仅例示性说明本申请的原理及其功效,而非用于限制本申请。任何熟悉此技术的人士皆可在不违背本申请的精神及范畴下,对上述实施例进行修饰或改变。因此,举凡所属技术领域中具有通常知识者在未脱离本申请所揭示的精神与技术思想下所完成的一切等效修饰或改变,仍应由本申请的权利要求所涵盖。
当前第1页1 2 3 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1