基于图像处理的物品识别方法和装置与流程

文档序号:17186997发布日期:2019-03-22 21:26阅读:472来源:国知局
基于图像处理的物品识别方法和装置与流程

本发明实施例涉及图像识别技术领域,尤其涉及一种基于图像处理的物品识别方法和装置。



背景技术:

在现有的图像识别技术里,图像识别过程中对输入图像进行分析,通常只涉及到特征提取和特征对比,例如从输入图像中提取图像特征,然后将图像特征与已知物体的特征比对进行识别。

文字识别、人脸识别、物体识别都是图像识别技术的典型并得到广泛应用。以物体识别技术为例,可以通过提取待识别物体的特征值,和数据库中的特征值进行比对,从而识别待识别物体。例如,通过物品的图片查找网络平台中的类似物品。

但现有技术中常常造成误判,不能得到准确的结果。例如,发明人发现,导致误判的一个主要原因是:拍摄待识别物品所采用的焦距和/或拍摄距离存在不固定性,会导致同一物品在不同焦距或/和不同拍摄距离下得到不同尺寸的图像。由此,会带来两方面的问题:一方面,对于相同物品,由于拍摄焦距或距离不同,会造成因图像尺寸不同而误判成不同的物品;另一方面,对于存在表面特征近似而实际尺寸相差较大的两件或以上物品,在不同的焦距或拍摄距离下可能显示的尺寸几乎是近似的,从而被误判成相同或类似物品。

现有的物品识别技术使得识别准确度较低。



技术实现要素:

本发明实施例的目的在于提供一种基于图像处理的物品识别方法和装置,能够提高物品识别的准确度。

本发明实施例采用的技术方案如下:

本发明一实施例提供一种基于图像处理的物品识别方法,包括:

获取待识别物品与比对物品的图像,其中,待识别物品图像和待识别物品实物的缩放比例与比对物品图像和比对物品实物的缩放比例相同,比对物品的尺寸能被获知;从图像中检测出比对物品和待识别物品,并提取比对物品的第一特征值,以及提取待识别物品的第二特征值;将第一特征值校正为第一标准特征值,第一标准特征值为能够获得,确定将第一特征值校正为第一标准特征值的第一校正函数;根据第一校正函数对待识别物品的第二特征值进行校正,得到第三特征值;将第三特征值与数据库中各物品图像的第四特征值进行比对,根据比对结果识别待识别物品,第四特征值经预先校正得到。

本发明另一实施例提供一种基于图像处理的物品识别方法,其中,获取第一标准特征值包括:

获取比对物品的图像;使比对物品图像与比对物品实物以第一预设缩放比例进行缩放;获取校正后图像特征值作为比对物品的第一标准特征值。

本发明另一实施例提供一种基于图像处理的物品识别方法,其中,经预先校正得到数据库中物品图像的第四特征值包括:

从数据库的图像中检测物品和比对物品,并提取比对物品的第五特征值,提取物品的第六特征值;对第五特征值进行校正,至校正后比对物品图像与比对物品实物为第二预设缩放比例,确定将第五特征值对应的图像校正至第二预设缩放比例的第二校正函数;根据第二校正函数对第六特征值进行校正得到第四特征值。

本发明另一实施例提供一种基于图像处理的物品识别方法,其中,从图像中检测出比对物品和待识别物品,包括:

对图像进行区域划分,利用卷积神经网络提取的待识别物品特征和比对物品特征分别对各个区域进行分类并评分;根据各个区域的分类和评分分别得到待识别物品和比对物品的得分、位置信息和尺寸。

本发明另一实施例提供一种基于图像处理的物品识别方法,将第三特征值与数据库中存储的各物品图像的第四特征值进行比对,根据比对结果识别待识别物品,包括:

根据第三特征值和第四特征值比对结果确定待识别物品和数据库中存储的各物品图像的相似度;

对数据库中物品按照与待识别物品的相似度进行降序排序。

本实施例中,通过比较第三特征值和第三特征值得出待识别物品和数据库中存储的物品的相似度,并将数据库中的物品按照与待识别物品的相似度进行降序排列,可以将与待识别物品将相似度最的物品图片列在最前面,使用者能够一目了然获取数据库中和待识别物品相似度最高的物品。同时也能够获取其他相似度较高的物品的图片,便于使用者进一步进行筛选和判断。

本发明另一实施例提供一种基于图像处理的物品识别装置,包括:

图像获取模块,用于获取待识别物品与比对物品的图像,其中,图像获取模块,用于获取待识别物品与比对物品的图像,其中,待识别物品图像和待识别物品实物的缩放比例与比对物品图像和比对物品实物的缩放比例相同,比对物品的尺寸能够被获知;检测模块,用于从图像中检测出比对物品和待识别物品;特征提取模块,用于提取比对物品的第一特征值,以及提取待识别物品的第二特征值;校正模块,用于将第一特征值校正为第一标准特征值;以及,将第二特征值校正为第三特征值;比对识别模块,用于将第三特征值与数据库中各物品图像的第四特征值进行比对,根据比对结果识别待识别物品,数据库中物品图像的第四特征值是经校正模块预先校正得到的。

本发明另一实施例提供一种基于图像处理的物品识别装置,其中,校正模块,还用于对图像获取模块获取的比对物品图像以第一预设比例进行缩放;特征提取模块,还用于获取校正模块以第一预设比例进行缩放的比对物品图像的特征值,作为比对物品的第一标准特征值。

本发明另一实施例提供一种基于图像处理的物品识别装置,其中,检测模块,还用于从数据库的各图像中检测物品和比对物品;特征提取模块,还用于提取比对物品的第五特征值,提取物品的第六特征值;校正模块,还用于对第五特征值进行校正,至校正后所述比对物品图像与所述比对物品实物为第二预设缩放比例;以及,通过第二校正函数对第六特征值进行校正得到第四特征值。

本发明另一实施例提供一种基于图像处理的物品识别装置,其中,比对识别模块,包括:

相似度确定单元,用于根据第三特征值和第四特征值比对结果确定待识别物品和数据库中存储的各物品图像的相似度;

排序单元,用于对数据库中物品按照与待识别物品的相似度进行降序排序。

本发明实施例的技术方案具有以下优点:

在本申请实施例中,通过将比对物品图像校正至标准特征值、再用相同的校正方法校正待识别物品,将校正后的待识别物品特征值和数据库中物品特征值进行比较,由于待识别物品和比对物品图像有相同的缩放比例,而且比对物品的尺寸是能够被获知的,因此通过本发明实施例能够确定待识别物品的尺寸,与数据库中各物品的特征值进行对比时不仅能匹配物品形状还能准确的匹配物品的尺寸,从而极大提高识别物品的精度。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍,显而易见地,下面描述中的附图是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明基于图像处理的物品识别方法一实施例流程示意图;

图2为本发明基于图像处理的物品识别方法另一实施例流程示意图;

图3为本发明基于图像处理的物品识别方法另一实施例流程示意图;

图4为本发明基于图像处理的物品识别装置一实施例结构示意图;

图5为本发明基于图像处理的物品识别装置另一实施例结构示意图;

图6为本申请基于图像处理物品识别方法一具体示例流程图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

本申请发明人在研究开发过程中发现,现有的通过拍摄或视频进行物品识别往往造成误判,其原因在于:同一物品在不同焦距或拍摄距离下在图像或视频中显示的尺寸是不同的。现有技术只能检测物品,但是无法测量物体的实际尺寸,从而造成误判。

为解决上述问题本申请发明人采用了多种方法,例如,通过卷积神经网络模型检测待识别物品,将检测出的对象按照多种倍数放大或缩小,生成若干尺寸不同的对象集,将尺寸不同的对象集代入计算机深度学习模型,将其转化为特征码,在通过比较特征码,计算出不同对象的相似程度。

但这些对象集在代入计算机深度学习模型时会产生大量的计算,浪费巨大的计算量;同时,若存在实际尺寸相差较大但表面特征相似的物品,通过上述计算结果仍然会认为物品相似度较高,降低了判断的准确性。

图1为本发明基于图像处理的物品识别方法一实施例流程示意图。根据图1所示,本发明基于图像处理的物品识别方法,包括:

步骤110,获取待识别物品与比对物品的图像,其中,待识别物品图像和待识别物品实物的缩放比例与比对物品图像和比对物品实物的缩放比例相同,比对物品的尺寸能被获知;

在本步骤中,获取待识别物品与比对物品的图像,其中,待识别物品图像和待识别物品实物的缩放比例与比对物品图像和比对物品实物的缩放比例相同。

可以理解的是,在本申请中,图像和实物之间的缩放比例是指图像尺寸和实物实际尺寸之间的比例关系。无论是放大,还是缩小,该图像在长度和宽度上放大或缩小的比例是一致的,即,只改变图像尺寸,在图像长宽比例上,保持原图的比例。其中,图像尺寸即为图像的大小,根据现有技术,图像尺寸的长度与宽度可以是以像素为单位的,也可以是以长度单位,例如厘米为单位。当图像尺寸以像素为单位时,需要结合分辨率确定图像尺寸,此处分辨率与象素点与点之间的距离相关。

值得说明的是,拥有相同的缩放比例并不是必要的,只要两者的缩放比例是可以获知的即可,当两者的缩放比例不一致,通过缩放将比例调整到相同,方便比较。在本申请实施例中,为说明方便,以缩放比例相同为例。

可以理解的是,对于同一个物体,拍摄物距、焦距不同都会导致成像缩放比例不同。例如,对于同一个物体,在焦距相同的情况下,物品图像的尺寸随着拍摄距离的远近变化会产生变化。拍摄距离越远则物品图像越小,拍摄距离越近物品图像越大。在物距相同的情况下,不同拍摄焦距也影响物品图像的尺寸,焦距越小则物品图像越小,而焦距越大则物品图像越大。

要得到缩放比例相同的待识别物品和比对物品的图像,可以通过现有技术的各种方式,本发明实施例不做具体限制。例如,可以是分别在相同的物距和焦距下拍摄成像;也可以物距和焦距分别不同,但是能够形成相同的缩放比例;也可以是同一次拍摄成像;或者是相同的拍摄条件下两次拍摄成像,具体的拍摄条件可以由现有技术限定,可以包括但不限于:拍摄距离和拍摄焦距,此外拍摄条件还可以进一步的包括拍摄角度、光线的反光和阴影等。其中,拍摄距离和拍摄焦距可以影响成像缩放比例,而拍摄角度、光线的反光和阴影并不影响成像的缩放比例,不同的拍摄角度会引起不同的梯形扭曲,反光会引起明暗不均等。此处的相同拍摄条件可以包括完全相同,或者是在允许的误差范围内。

本步骤中,获取待识别物品与比对物品的图像可以是从不同图像上分别获取的,也可以是同一个图像上获取的,本申请不对此进行限制。

步骤120,从图像中检测出比对物品和待识别物品,并提取比对物品的第一特征值,以及提取待识别物品的第二特征值;

在本步骤中,在步骤110中获取的图像中检测出比对物品和待识别物品,该检测可以采用现有的方法进行,例如,通过卷积神经网络,或者卷积神经网络结合全连接神经网络检测图像中的比对物品和待识别物品。即,用现有技术检测出两个物品,并分别提取两个物品图像的特征值,提取比对物品的第一特征值,以及提取待识别物品的第二特征值。可以理解的是,此处的特征值具体可以为特征码。例如,将图片输进卷积神经网络,得到特征图继而得到特征码。具体提取物品特征值的方法也可采用现有技术,本申请不做限定。

步骤130,将第一特征值校正为第一标准特征值,第一标准特征值能够获取,确定将第一特征值校正为第一标准特征值的第一校正函数;

将步骤120中提取的比对物品第一特征值进行校正,将其校正为预设的第一标准特征值,该预设的第一标准特征值是预设的已知量。由于比对物品第一特征值是在步骤120中提取得到的,预设的第一标准特征值是已知量,通过已知的第一特征值和预设的已知的第一标准特征值可以确定第一校正函数。

本发明实施例中,第一标准特征值是预先设置的,对应预设缩放比例的比对物品图像。具体而言,第一标准特征值可以是比对物品在特定拍摄距离和焦距下拍摄的图像的特征值;或者,该第一标准特征值也可以是对该比对物品在非特定拍摄距离和焦距下拍摄之后对图像进行缩放,使得缩放之后图像和物品实际尺寸之间达到预设缩放比例,本发明对此不进行限定。

在本申请实施例中,预设的缩放比例可以为1:1,即,图像中比对物品的尺寸和实际比对物品尺寸相同。也可以是成其他的一定的比例,例如,2:1,图像中比对物品的尺寸是实际比对物品尺寸的两倍等。在本申请实施例中,只要求缩放比例是能够获知的即可,并不具体限定缩放比例,例如是预先设定的。可以理解的是,该第一标准特征值可以是预先存储的,也可以是在需要时获取的。

在本步骤中,通过第一校正函数将步骤120中比对物品的第一特征值进行校正得到预先设定的第一标准特征值,其中,由于比对物品的第一特征值和该比对物品的第一标准特征值都是能够获知的,第一校正函数可以通过比较上述的第一标准特征值和第一特征值得出。

步骤140,根据第一校正函数对待识别物品的第二特征值进行校正,得到第三特征值;

在本步骤中,采用与校正比对物品图像相同的校正函数校正待识别物品图像,对待识别物品图像进行相同比例的缩放的处理,使待识别物品图像具有与比对物品图像有相同的缩放比例。具体而言,利用第一校正函数对待识别物品的第二特征值进行校正得到第三特征值。该第三特征值相对第二特征值而言,其对应的图像的缩放比例与第一标准特征值和第一特征值对图像的缩放比例是一致的。

例如,当第一校正函数将比对物品的第一特征值校正到第一标准特征值,使得校正之后图像尺寸和比对物品实物尺寸相同,那么该第一校正函数对待识别物品第二特征值进行校正之后,得到的第三特征值对应的待识别物品图像的尺寸也与该待识别物品实际尺寸一致。

步骤150,将第三特征值与数据库中各物品图像的第四特征值进行比对,根据比对结果识别待识别物品,第四特征值经预先校正得到。

在本步骤中将步骤140中经过校正待识别物品的第三特征值和数据库中各物品图像的第四特征值进行比较。可以理解的是,数据库中包含有至少一个物品的图像,本步骤进行比对时,可以是将第三特征值分别与数据库中各个物品图像的第四特征值进行比较,直到在数据库的物品中识别出待识别物品,或者比较完数据库中所有物品。为方便说明,在本发明实施例中,仅以待识别物品的第三特征值和数据库中某一个物品图像的第四特征值比较进行说明。

在本发明实施例中,第三特征值对应的待识别物品图像和待识别物品实物之间有已知的缩放关系,而数据库中物品图像也是经过预先校正的,该校正后的图像与实际物品之间也具备已知的缩放关系。通过上述两个经过校正与实际物品之间有已知缩放关系的图像的特征值的比较,不需要经过缩放或其他调整,就能判断待识别物品和数据库中物品两者形状、图形是否一致,以及准确的判断两者尺寸是否一致,从而能结合形状、图案和尺寸在数据库中准确的找出待识别物品。

例如,当经过校正的第三特征值对应的图像中待识别物品尺寸与实际待识别物品相同,而数据库中物品图像的第四特征值对应的图像的尺寸也与该物品实际尺寸相同,由于两个特征值对应的图像尺寸都是和各自实物等大,因此减少了因为图像和实物之间缩放比例不同而引起的误判。

而且,也不需要为了将待识别物品和数据库中的物品进行相对各自实物相同比例的缩放而对特征值进行数据处理。例如,可能需要对待识别物品的第一特征值进行多种倍数的放大和缩小,再和数据库中物品的第四特征值进行比较;或者,分别对待识别物品的第一特征值进行多种倍数的放大和缩小,以及,第数据库中物品的第四特征值进行缩放处理,再将两者进行比较。这些方式都增加了计算量和计算的复杂程度,并且降低了判断的准确性。

当然,在本申请实施例中,第三特征值和第四特征值都不限于使得校正后图像中物品和实物尺寸相同,也可以是其他预设的比例。例如,第三特征值对待识别物品的缩放比例与第四特征值对数据库中物品的缩放比例一致,但该缩放比例不是1:1,这种情况下,由于两个特征值缩放比例一致,在比较图像时也可以准确的判断待识别物品的尺寸尺寸。

进一步的,第三特征值对待识别物品的缩放比例与第四特征值对数据库中物品的缩放比例也可以不一致。由于在本申请中两者的缩放比例是可以获知的,因此,当两者缩放比例不一致时,在实际应用中可以对图像进行缩放,至使第三特征值对应的待识别物品图像尺寸和实际待识别物品尺寸的缩放比例,与第四特征值对应的数据库中物品图像尺寸与实际物品尺寸的缩放比例一致;或者,在比对之前在特征值中根据预先设置的不同比例进行校正,致使两者缩放比例一致再进行比较。具体取值有多种方式,都可以达到同样的效果,对此,不申请也不做限定。

在本实施例中,通过引入比对物品,校正比对物品图像特征值至第一标准特征值使得校正之后比对物品的图像和比对物品实际尺寸之间的有确定的缩放关系,利用相同的校正函数对待识别物品图像进行校正,使得待识别物品图像和实际物品之间也有相同的缩放关系,将校正后的特征值与数据库中物品的第四特征值进行比较,由于该第四特征值也是经过校正的,与物品之间也具有确定的缩放比例关系,因此,通过比较第三特征值和第四特征值,不仅能识别待识别物品的图案形状,还能够得出识别物品的尺寸,结合比较待识别物品和数据库图片中物品尺寸,能更准确的识别待识别物品。

进一步的,在本发明实施例中,比对物品为形状、图案和尺寸有标准的物品。

在本申请实施例中,可以采用标准物作为待识别物品的对比物,由于缩放比例相同,只要预先能够获知该标准物的尺寸,就可以通过比对确定待识别物品的尺寸。当标准物为具有标准尺寸的物品时,则可以更便捷的获知标准物的尺寸、甚至形状图案等特性。例如,标准物可以是硬币,由于特定面值的硬币尺寸形状和图案总是固定的,因此在实际应用中可以准确的获知该标准物的信息。标准物还可以是瓶盖、信用卡、身份证、各种型号的手机等。例如,银行卡或者信用卡,其尺寸是统一的,再例如,对于某种型号的手机,其尺寸和形状也是统一并且可以获得的。在选择标准物时,可以选择具有单一规则形状的对比物,例如标准的圆形、正方形,长方形、三角形等;也可以选择由单一规则形状组合形成的对比物;或者也可以是不规则形状的对比物。

值得说明的是,比对物品为形状、图案和尺寸有固定标准只是本申请的一种选实施例,在实际应用中,标准物可以是任意确定物品,只要能够获知和确定其尺寸和形状即可,标准物只是为了确保能获知第三特征值和待识别物品真实尺寸之间的缩放比例的。

在本申请实施例中,待识别物品可以各种物品,例如可以是平面物品,也可以立体物体。当待识别物品为平面物品时,且仅需要识别其中的一面时,则识别此面,当平面物品的两面都需要识别时,则可以分别对两面分别进行识别。当待识别物品为立体物体时,可以对该立体物体的每个面分别进行识别,例如,可以对物体的六个面分别识别,也可以根据需要,仅对需要的面进行识别。对任何待识别物品都可以采用本申请识别方法进行识别。具体的识别方式可以参见本申请实施例中识别方式。

由于待识别物品可能来自各个数据平台或者来自各个不同的用户,在本实施例中,物品形状、图案和尺寸有固定标准的标准物比较容易获取,可以使得本申请方法实现起来更便捷。

图2为本发明基于图像处理的物品识别方法另一实施例流程示意图。根据图2所示,本发明基于图像处理的物品识别方法,包括:

步骤210,获取比对物品图像;

在本步骤中,可以通过现有方式获取比对物品的图像。

步骤220,对图像进行校正,使比对物品图像与比对物品实物以第一预设缩放比例进行缩放;

在本步骤中,对步骤210中获取的比对物品的图像进行缩放,使比对物品图像与比对物品实物以第一预设缩放比例进行缩放。其中,第一预设缩放比例可以任意设定,例如:1:1,或者2:1,或者1:2等,或者其他非整数的比例,对本申请实施例并不进行限定,都可以实现发明目的。在之后的实施例中,为说明简洁,将采用1:1的缩放比例作为例子进行说明,至于其他缩放比例,则对图像特征值进行相应的操作即可,在此不做赘述。

具体而言,采用1:1的缩放比例时,缩放之后得到的比对物品图像尺寸与比对物品实物尺寸大小相同。以比对物品是边长为0.5cm的正方形标准物品为例,假设在步骤210中获取的比对物品图像为100个像素,每个像素代表0.1cm,则图像的大小为1*1cm2,为将图像缩小到和实物等大,即为0.5*0.5cm2大小,可以采用两种方式:方式一,通过减少像素数缩小图像的尺寸,例如,将比对物品图像缩小到25个像素点,每个像素点代表0.1cm,缩小之后得到的比对物品图像为0.5*0.5cm2大小;方式二,保持图像的像素数不变、仍为100个像素,每个像素点代表0.05cm,图像大小缩小到0.5*0.5cm2。两种缩小方式都可以得到与实物尺寸相同的图像尺寸,采用不同缩放方式的图像的分辨率会不同。具体采用何种方式进行缩小或放大,可以根据实际的需求确定,本申请不做赘述。

步骤230,获取校正后图像特征值作为比对物品的第一标准特征值。

提取步骤220中校正后图像的特征值,具体提取特征值的方法可以采用现有技术进行,本申请不对此进行限定。步骤220中,对图像进行缩放至图像与实物尺寸比例为1:1,第一标准特征值对应比对物品图像的尺寸即为该比对物品的实际尺寸。

步骤240,获取待识别物品与比对物品的图像,其中,待识别物品图像和待识别物品实物的缩放比例与比对物品图像和比对物品实物的缩放比例相同,比对物品的尺寸能被获知;

该步骤中获取待识别物品与比对物品的图像的具体步骤可以参见图1对应的实施例的步骤110。

步骤250,从图像中检测出比对物品和待识别物品,并提取比对物品的第一特征值,以及提取待识别物品的第二特征值;

该步骤中从图像中检测出比对物品和待识别物品,并提取比对物品的第一特征值,以及提取待识别物品的第二特征值的具体步骤可以参见图1对应的实施例的步骤120。

步骤260,将第一特征值校正为第一标准特征值,第一标准特征值能够获知,确定将第一特征值校正为第一标准特征值的第一校正函数;

该步骤中通过第一校正函数将提取的比对物品第一特征值校正为能够获知的第一标准特征值的具体步骤可以参见图1对应的实施例的步骤130。可以理解的是,在本实施例中该第一标准特征值对应比对物品图像的尺寸即为该比对物品的实际尺寸。

步骤270,根据第一校正函数对待识别物品的第二特征值进行校正,得到第三特征值;

该步骤中通过第一校正函数对待识别物品的第二特征值进行校正得到第三特征值的具体步骤可以参见图1对应的实施例的步骤140。由于步骤260中经过校正得到的比对物品图像为与实际比对物品尺寸相同的图像,因此,由步骤240中获取的与比对物品具有相同缩放比例的待识别物品的图像经过第一校正函数校正之后,得到的特征值对应的图像也是与待识别物品实际尺寸相同的图像。

步骤280,将第三特征值与数据库中各物品图像的第四特征值进行比对,根据比对结果识别待识别物品,第四特征值经预先校正得到。

该步骤中将第三特征值与数据库中物品图像的第四特征值进行比对,根据比对结果识别待识别物品,数据库中物品图像的第四特征值是经预先校正得到的。具体步骤可以参见图1对应的实施例的步骤150。以第三特征值为对应的图像是与待识别物品实际尺寸相同,即缩放比例为1:1为例,由于此处第四特征值也是经过预先校正得到的,假设第四特征值对应的数据库中物品图像尺寸与数据库中该物品实际尺寸相同,也为1:1的缩放比例,此时通过比较第三特征值和第四特征值,则可以精确的判断两者是否为同一物品。

作为其他的实现方式,第四特征值对应的图像对物品的缩放比例也可以不是1:1,此时则可以对图像再次进行缩放校正到1:1,也可以将待识别物品的图像进行缩放,将缩放比例调整到和数据库中物品图像缩放比例一致,本申请对此不进行限定。对图片的缩放校正可以参照现有方式实现,本申请实施例为说明简要,以1:1的缩放比例进行说明。

在本申请实施例中,通过预先设置比对物品的第一标准特征值,确定该特征值对应的图像对物品的缩放比例,更容易确定待识别物品的尺寸。并且,预先设置第一标准特征,可以使得有图像需要识别时能立刻进行比对,提高了装置运行的效率。

图3为本发明基于图像处理的物品识别方法另一实施例流程示意图。根据图3所示,本发明基于图像处理的物品识别方法,包括:

步骤310,从数据库的图像中检测物品和比对物品,并提取比对物品的第五特征值,提取物品的第六特征值;

本步骤中,从数据库的图像中检测物品和比对物品,具体的实现可以采用现有的检测方式。同时也可以采用现有方式提取比对物品的第五特征值以及提取物品的第六特征值。

在本实施例中,存储在数据库中的同一原始图像的包含数据库中某一物品图像和比对物品图像,或者,数据库中某一物品和比对物品也可以是分别成像,只要图像和实物之间拥有相同的缩放比例即可。值得说明的是,拥有相同的缩放比例并不是必要的,只要两者的缩放比例是可以获知的即可,当两者的缩放比例不一致,通过缩放将比例调整到相同,方便比较。在本申请实施例中,为说明方便,以缩放比例相同为例。

步骤320,对第五特征值进行校正,至校正后比对物品图像与比对物品实物尺寸为第二预设缩放比例,确定将第五特征值对应的图像校正至第二预设缩放比例的第二校正函数;

在本步骤中,对第五特征值进行校正,至校正后比对物品图像与比对物品实物为第二预设缩放比例。在本步骤中,具体的缩放校正可以参照图2对应的步骤220进行。在本实施例中,由于第二预设缩放比例已知,因此,第二校正函数是可以确定的。

步骤330,根据第二校正函数对第六特征值进行校正得到第四特征值。

通过上述第二校正函数对第六特征值进行校正得到第四特征值,使得对数据库图片中的物品图像校正到与数据库图片中比对物品相同的缩放比例。

在此实施例中的步骤310至步骤330可以类似于图1对应的实施例中的步骤110至步骤140,类似的是,此处也采用标准物做比对,并采用类似的方式,不同的是,此处是对数据库中的物品的特征值进行校正。

以步骤320对数据库图像中比对物品进行校正的缩放比例1:1例,步骤330中对数据库图像中物品进行校正的缩放比例1:1。这种情况下,第四特征值对应的数据库中物品图像的尺寸即为实际的该物品的尺寸。在后续将校正得到的待识别物品第三特征值和该第四特征值比较时,以第三特征值是将待识别物品图像缩放到和待识别物品实际尺寸一致为例,此时的第三特征值和第四特征值是理论上相同或在允许的误差范围内的,因此可以精确的识别待识别物品。

步骤340,获取比对物品图像;

该步骤中获取比对物品图像的具体步骤可参见图2对应的实施例的步骤210。

步骤350,对图像进行校正,使比对物品图像与比对物品实物以第一预设缩放比例进行缩放;

该步骤中对图像进行缩放,使比对物品图像与比对物品实物以第一预设缩放比例进行缩放,具体步骤可参见图2对应的实施例的步骤220。

步骤360,获取校正后图像特征值作为比对物品的第一标准特征值。

该步骤中获取校正后图像特征值作为比对物品的第一标准特征值的具体步骤可参见图2对应的实施例的步骤230。

步骤370,获取待识别物品与比对物品的图像,其中,待识别物品图像和待识别物品实物的缩放比例与比对物品图像和比对物品实物的缩放比例相同,比对物品的尺寸能被获知;

该步骤中获取待识别物品与比对物品的图像的具体步骤可以参见图1对应的实施例的步骤110。

步骤380,从图像中检测出比对物品和待识别物品,并提取比对物品的第一特征值,以及提取待识别物品的第二特征值;

该步骤中从图像中检测出比对物品和待识别物品,并提取比对物品的第一特征值,以及提取待识别物品的第二特征值的具体步骤可以参见图1对应的实施例的步骤120。

步骤390,将第一特征值校正为第一标准特征值,第一标准特征值为已知,确定将第一特征值校正为第一标准特征值的第一校正函数;

该步骤中通过第一校正函数将提取的比对物品第一特征值校正为预设的第一标准特征值的具体步骤可以参见图1对应的实施例的步骤130。

步骤400,根据第一校正函数对待识别物品的第二特征值进行校正,得到第三特征值;

该步骤中通过第一校正函数对待识别物品的第二特征值进行校正得到第三特征值的具体步骤可以参见图1对应的实施例的步骤140。

步骤410,将第三特征值与数据库中各物品图像的第四特征值进行比对,根据比对结果识别待识别物品,第四特征值经预先校正得到的。

该步骤中将第三特征值与数据库中物品图像的第四特征值进行比对,根据比对结果识别待识别物品,数据库中物品图像的第四特征值是经预先校正得到的的具体步骤可以参见图1对应的实施例的步骤150。

在本实施例中,将数据库中物品图像也通过与比对物品图像进行相同的缩放比例的校正以达到预设尺寸,与待识别物品采用相同的比对物品进行比较,由于待识别物品和数据库中物品都与相同的比对物品进行比较,而且比对物品有特定的尺寸、形状和图案,减少了由于采集不同的对比物品特征值引起的误差,进一步提高了识别精度。

进一步的,在本实施例中第二预设缩放比例与第一预设缩放比例相同。

当第二预设缩放比例与第一预设缩放比例相同时,两次对比对物品进行校正后得到的图像中的比对物品尺寸是相同的,由于待识别物品和数据库中的物品图像分别经过和比对物品相同缩放比例的校正,因此,待识别物品和数据库中物品图像经过同样比例的缩放。这样可以减少因不同的缩放比例导致带识别物品和数据库物品中对待识别物品的图像的误差,提高识别的准确度。

进一步的,在本实施例中对图像进行校正,使比对物品缩放至第一预设缩放比例,具体为对比对物品进行复原性校正。

通过第二校正函数对第五特征值进行校正,至比对物品图像至第二预设缩放比例,具体包括对比对物品进行复原性校正。

可以理解的是,本申请实施例中复原性校正可以是对图像尺寸进行缩放至图像中物品尺寸和拍摄物品实际尺寸相同,消除图像的梯形扭曲,消除反光和阴影等。

在本发明实施例中,进行相同比例的缩放处理之外,也可以额外的进行其他校正,例如,消除图像的梯形扭曲、光线明暗及反光等。

可以理解的是,除了缩放比例之外,梯形扭曲和明暗反光等拍摄因素也会影响成像从而影响图像特征值。在本申请中,对图像进行校正时缩放比例是必要的校正参数,梯形扭曲校正和光线明暗及反光可以作为进一步的校正参数。也减少了不同图像因存在不同的梯形扭曲和光线条件不同引起的误差。具体的复原性校正可以采用现有技术进行,本发明实施例对此不进行限定。

将图像进行复原性校,消除或减少因拍摄角度不同而引起的梯形扭曲,和/或,消除或减少因光线问题引起的图像明暗不均的问题,可以使校正后的图像最大限度的接近真实物品,提高图像比较的准确率,进一步提高识别的速度和准确程度。

进一步的,在本实施例中从图像中检测出比对物品和待识别物品,包括:

对图像进行区域划分,利用卷积神经网络提取的待识别物品特征和比对物品特征分别对各个区域进行分类并评分;

例如,对输入的图像进行区域划分,生成多个备选区域,利用卷积神经网络提取的特征值,去对比该多个备选区域,对每个备选区域进行分类并评分,数据固定长度的特征向量。

根据各个区域的分类和评分分别得到待识别物品和比对物品的得分、位置信息和尺寸。可以理解的是,此处的得分是指在卷积神经网络中通用的用得分函数计算最后得出的各个类别的得分,由现有技术定义,在本申请中不进行限定。

具体的,可以对得分高的区域进行类别判断和位置尺寸计算,找到比对物品和比对物品的位置。

从图像中检测出物品可以依据现有技术进行,本发明并不对此进行限定,例如,可以包括以下步骤:

在图像中确定多个候选框;对整张图片输进卷积神经网络,得到特征图(featuremap);找到每个候选框在特征图上的映射权值(patch),该映射权值为训练得到,随机初始化,在训练过程中调节,将此映射权值作为每个候选框的卷积特征输入到空间金字塔池层(spplayer,全称spatialpyramidpoolinglayer)和之后的层;对候选框中提取出的特征,使用分类器判别是否属于一个特定类;对于属于某一特征的候选框,用回归器进一步调整其位置。

在本实施例中,对输入图像进行区域划分,具体确定比对物品的位置,能够对各个区域并行计算,提高计算效率。

进一步的,在本实施例中待识别物品图像和待识别物品实物的缩放比例与比对物品图像和比对物品实物的缩放比例相同,具体的可以是:

两个缩放比例都是1:1,或者2:1,或者1:2,或者其他比例,只要保持两个缩放比例相同就可以。

在本申请实施例中当缩放比例相同时,不需要再进行额外的校正,即可直接比较图形和尺寸。

进一步的,在本申请实施例中,将第三特征值与数据库中存储的各物品图像的第四特征值进行比对,根据比对结果识别待识别物品,包括

根据第三特征值和第四特征值比对结果确定待识别物品和存储在数据库中各物品图像的相似度;

其中,通过比较第三特征值和第四特征值来确定待识别物品和存储在数据库中各物品图像的相似度可以通过任一种现有技术实现。

对数据库物品和待识别物品图像的相似度从高到底进行排序。

本实施例中,相似度确定单元比较第三特征值和第四特征值得出待识别物品和数据库中存储的物品的相似度,排序单元将数据库中的物品按照与待识别物品的相似度进行降序排列。本实施例可以将与待识别物品将相似度最的物品图片列在最前面,使用者能够一目了然获取数据库中和待识别物品相似度最高的物品。同时也能够获取其他相似度较高的物品的图片,便于使用者进一步进行筛选和判断。

图4为本发明基于图像处理的物品识别装置一实施例结构示意图。根据图4所示,本发明基于图像处理的物品识别装置,包括:图像获取模块510、检测模块520、特征提取模块530、校正模块540、比对识别模块550,其中,

图像获取模块510,用于获取待识别物品与比对物品的图像,其中,待识别物品图像和待识别物品实物的缩放比例与比对物品图像和比对物品实物的缩放比例相同,比对物品的尺寸能够被获知;

图像获取模块510所进行的操作可以参见图1对应的方法实施例的步骤110,该获取模块510可以为现有技术中的图像获取模块。值得说明的是,所获取的待识别物品图像和实物的缩放比例与比对物品图像和实物的缩放比例相同也可以不同。当两者比例不同时可以通过校正模块540将缩放比例调整至相同,再继续处理。本申请实施例为说明方便,以两者缩放比例相同为例进行说明,并不是作为限制。

检测模块520,用于从图像中检测出比对物品和待识别物品;

检测模块520从图像获取模块510获取的图像中分别检测出对比物品和待识别物品,该检测所采用的器件或者模块,可以以现有技术实施。

特征提取模块530,用于提取比对物品的第一特征值,以及提取待识别物品的第二特征值;

检测模块520可以用现有技术分别检测出图像中两个物品,特征提取模块530则分别提取两个物品图像的特征值,提取比对物品的第一特征值,以及提取待识别物品的第二特征值。可以理解的是,此处的特征值具体可以为特征码。具体提取物品特征值也可采用现有技术,本申请不做限定。

校正模块540,用于将第一特征值校正为第一标准特征值;以及,将第二特征值校正为第三特征值;

校正模块540将特征提取模块530提取的比对物品第一特征值进行校正,将其校正为预设的第一标准特征值,该预设的第一标准特征值是可以获取的,例如,为预设的已知量。可以理解的是,由于预设的第一标准特征值是可以获取的,例如已知量,通过已知的第一特征值和预设的已知的第一标准特征值可以确定第一校正函数。

此外,校正模块540将特征提取模块530提取的第二特征值校正为第三特征值,具体而言,校正模块540用第一校正函数将待识别物品的第二特征值校正为第三特征值。

比对识别模块550,用于将第三特征值与数据库中各物品图像的第四特征值进行比对,根据比对结果识别待识别物品,数据库中物品图像的第四特征值是经校正模块预先校正得到的。

比对识别模块550将校正模块540校正得出的第三特征值与数据库中各物品图像的第四特征值进行比较,根据比较的结果判断第三特征值对应的待识别物品与第四特征值对应的数据库中的物品是否是同一个物品。

可以理解的是,数据库中包含有至少一个物品的图像,比对识别模块550进行比对识别时,可以是将第三特征值分别与数据库中各个物品图像的第四特征值进行比较,直到在数据库的物品中识别出待识别物品,或者比较完数据库中所有物品。为方便说明,在本发明实施例中,仅以待识别物品的第三特征值和数据库中某一个物品图像的第四特征值比较进行说明。

在本实施例中,通过引入比对物品,校正标准物图像特征值至第一标准特征值使得比对物品校正之后的图像和比对物品实际尺寸之间的有确定的缩放关系,利用相同的校正函数对待识别物品图像进行校正,使得待识别物品图像和实际物品之间也有相同的缩放关系,将校正后的特征值与数据库中物品的特征值进行比较,由于该第四特征值也是经过校正,校正后的数据库物品图像与物品之间也具有确定的缩放关系,因此,通过比较第三特征值和第四特征值,不仅能识别待识别物品的图案形状,还能够得出识别物品的尺寸,结合比较待识别物品和数据库图片中物品尺寸,能更准确的识别待识别物品。

在本发明基于图像处理的物品识别装置另一实施例中,本发明基于图像处理的物品识别装置包括:图像获取模块510、检测模块520、特征提取模块530、校正模块540、比对识别模块550,其中,除了和图4对应的实施例中相应的模块执行相应的操作之外,校正模块540和特征提取模块430还执行以下操作:

校正模块540,还用于对图像获取模块510获取的比对物品图形图像以第一预设比例进行缩放;

校正模块540对图像获取模块510获取的比对物品的图像进行缩放,使比对物品图像与比对物品实物以第一预设缩放比例进行缩放。其中,第一预设缩放比例可以任意设定,例如:1:1,或者2:1,或者1:2等,或者其他非整数的比例,对本申请实施例并不进行限定,都可以实现发明目的。在之后的实施例中,为说明简洁,将采用1:1的缩放比例作为例子进行说明,至于其他缩放比例,则对图像特征值进行相应的操作即可,在此不做赘述。

特征提取模块530,还用于获取校正模块540以第一预设比例进行缩放的比对物品图像的特征值,作为比对物品的第一标准特征值。

特征提取模块530提取校正模块540校正后图像的特征值,具体提取特征值的方法可以采用现有技术进行,本申请不对此进行限定。以对图像进行缩放至图像与实物尺寸比例为1:1为例,第一标准特征值对应图像的比对物品尺寸即为该比对物品的实际尺寸。

在本申请实施例中,通过预先设置比对物品的第一标准特征值,确定该特征值对应的图像对物品的缩放比例,更容易确定待识别物品的尺寸。并且,预先设置第一标准特征,可以使得有图像需要识别时能立刻进行比对,提高了装置运行的效率。

进一步的,在本发明基于图像处理的物品识别装置另一实施例中,本发明基于图像处理的物品识别装置包括:图像获取模块510、检测模块520、特征提取模块530、校正模块540、比对识别模块550,其中,除了和图4对应的实施例中相应的模块执行相同的操作之外,特征提取模块530和校正模块540还执行以下操作:

特征提取模块530,还用于提取比对物品的第五特征值,以及,提取物品的第六特征值;

校正模块540,还用于还用于对第五特征值进行校正,至校正后所述比对物品图像尺寸与所述比对物品实物尺寸呈第二预设缩放比例;以及,通过第二校正函数对第六特征值进行校正得到第四特征值。

在本实施例中,将数据库中物品图像也通过与比对物品图像进行相同的校正以达到预设尺寸和形态,与待识别物品采用相同的比对物品进行比较,由于比对物品有特定的尺寸、形状和图案,减少了由于采集不同的对比物品特征值引起的误差,进一步提高了识别精度。

可以理解的是,在上述装置实施例中,第二预设缩放比例与第一预设缩放比例可以相同,也可以不相同。

此外,在本发明实施例中,进行相同比例的缩放处理之外,也可以额外的进行其他校正,例如,消除图像的梯形扭曲,光线明暗及反光等。

例如,校正模块540可以将图像进行复原性校,消除或减少因拍摄角度不同而引起的梯形扭曲,和/或,消除或减少因光线问题引起的图像明暗不均的问题,使校正后的图像最大限度的接近真实物品,提高图像比较的准确率,进一步提高识别的速度和准确程度。

进一步的,在本发明基于图像处理的物品识别装置另一实施例中,本发明基于图像处理的物品识别装置包括:图像获取模块510、检测模块520、特征提取模块530、校正模块540、比对识别模块550,其中,比对识别模块550,包括:

相似度确定单元551,用于根据第三特征值和第四特征值比对结果确定待识别物品和数据库中存储的各物品图像的相似度;

排序单元552,用于对数据库中物品按照与待识别物品的相似度进行降序排序。

本实施例中,相似度确定单元比较第三特征值和第四特征值得出待识别物品和数据库中存储的物品的相似度,排序单元将数据库中的物品按照与待识别物品的相似度进行降序排列。本实施例可以将与待识别物品将相似度最的物品图片列在最前面,使用者能够一目了然获取数据库中和待识别物品相似度最高的物品。同时也能够获取其他相似度较高的物品的图片,便于使用者进一步进行筛选和判断。

图6为本申请基于图像处理物品识别方法一具体示例流程图,在此具体示例中,根据图6所示,基于图像处理物品识别方法包括以下步骤:

610,从数据库中存储的图像中检测物品和比对物品,其中数据库中物品图像和对比物品图像与对应的实物之间的缩放比例相同,提取比对物品的第五特征值,提取物品的第六特征值;

620,对第五特征值进行校正,至校正后比对物品图像与比对物品实物等大,确定将第五特征值对应的图像校正至等大的第二校正函数;

630,根据第二校正函数对第六特征值进行校正得到第四特征值;

由于数据库中存储的物品和比对物品具有相同的缩放比例,因此将比对物品校正为与实物等大的前提下,用相同的校正函数将数据库中存储的物品的图像也校正为与物品实物等大。该第四特征值对应与数据库中存储的实物的等大图像的特征值。

步骤610-630通过缩放校正,数据库中存储的实物的图像校正为和实物等大的图像,得到对应的特征值。

640,获取比对物品图像,对图像进行校正,使比对物品图像与比对物品实物等大;

由于比对物品的尺寸是能够获知,因此可以将比对物品图像校正至图像和实物缩放比例为1:1.

650,获取校正后图像特征值作为比对物品的第一标准特征值;

由于校正后比对物品图像与实物的缩放比例是1:1,因此第一标准特征值对应对比物品缩放比例为1:1时的图像的特征值,即与物品等大的图像的特征值。

660,获取待识别物品与比对物品的图像,其中,待识别物品图像和待识别物品实物的缩放比例与比对物品图像和比对物品实物的缩放比例相同;

此处图像可以是同一次拍摄形成的,可以得到缩放比例的相同的两个物品的图像,也可以是分别拍摄形成的,只要缩放比例相同即可。

670,从图像中检测出比对物品和待识别物品,并提取比对物品的第一特征值,以及提取待识别物品的第二特征值;

680,将第一特征值校正为第一标准特征值,第一标准特征值为已知,确定将第一特征值校正为第一标准特征值的第一校正函数;

将或者的比对物品的第一特征值校正为第一标准特征值,对应于将图像校正为与实物的缩放比例为1:1,并由此得到该第一校正函数。

690,根据第一校正函数对待识别物品的第二特征值进行校正,得到第三特征值;

第一校正函数将比对物品从与待识别物品具有相同缩放比例校正至与实物等大,通过第一校正函数对待识别物品的第二特征值进行校正,得到的第三特征值对应与待识别物品等大的图像的特征值。

700,将第三特征值与数据库中各物品图像的第四特征值进行比对,根据第三特征值和第四特征值比对结果确定待识别物品和数据库中存储的各物品图像的相似度;

710,对数据库中物品按照与待识别物品的相似度进行降序排序。

可以理解的是,排序之后可以仅显示相似度排名靠前的n个数据库中的物品。

具体的通过特征值进行识别和判断的方法可以由现有技术实现。在进行比对时,由于数据库中有多个物品图像,因此将待识别物品与其分别比对,如果判断结果为两者为同一物品,则可以停止比对,如果判断待识别物品与数据库中某个物品为不相同的物品,则继续将待识别物品和数据库中其他物品图像进行比对,直到在数据库中找到与待识别物品,输出结果。或者,也可能遍历整个数据库没有找到与待识别物品特征值匹配的物品特征值,也可以输出该结果。

由上述可知,第三特征值对应的图像与待识别物品实物的缩放比例为1:1,第四特征值对应的图像与物品实物缩放比例也为1:1,因此,当通过比对图像特征值来判断待识别物品和数据库中图像对应的物品是否相同时,可以同时比对形状、图案和尺寸,从而减少了因为缩放比例不同而造成的误判,提高了识别的效率和正确率。

以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下,即可以理解并实施。

通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件。基于这样的理解,上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如rom/ram、磁碟、光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是:以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1