图像处理、检索方法、装置、设备和存储介质与流程

1.本技术涉及通信技术领域，特别是涉及一种图像处理方法和装置、一种图像检索方法和装置、一种商品对象的搜索方法，一种道路搜索方法、一种电子设备和一种存储介质。


背景技术：

2.基于内容的图像检索(content-based image retrieval，cbir)是一种基于图像的内容进行图像查找的方案。
3.一种示例中，用户可以输入一张图像，基于cbir技术可以查找具有相同或相似内容的其他图像。目前的cbir技术中，通常是确定两张图像中的特征点，然后基于特征点来估算变换矩阵，再基于变换矩阵匹配特征点的变化，从确定特征点的集合，然后再次变换矩阵，重复上述过程，直到收敛或误差要求，确定出满足要求的相似图像。
4.但是，上述这种方式需要经过多次的迭代计算才能得到相似图像，计算过程耗时较长，且会消耗较多的资源。


技术实现要素：

5.本技术实施例提供了一种图像处理方法，以提高图像检索的效率。
6.相应的，本技术实施例还提供了一种图像处理装置、一种图像检索方法和装置、一种商品对象的搜索方法，一种道路搜索方法、一种电子设备以及一种存储介质，用以保证上述方法的实现及应用。
7.为了解决上述问题，本技术实施例公开了一种图像处理方法，所述方法包括：采用源图像和所述源图像的相似图像集合中相似图像，构成至少一个图像对，所述相似图像集合包括至少一个相似图像；将所述图像对中源图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合；基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度；依据所述相似度，确定所述相似图像集合中的相似图像筛选结果。
8.本技术实施例还公开了一种图像检索方法，所述方法包括：接收检索请求，所述检索请求包括源图像；基于所述源图像的内容在图数据库中进行检索，确定所述源图像的相似图像集合，所述相似图像集合包括至少一个相似图像；采用所述源图像和相似图像集合中相似图像，构成至少一个图像对；将所述图像对中源图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合；基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度；依据所述相似度，对所述相似图像集合中的相似图像进行筛选；依据筛选得到的相似图像确定检索结果，发送所述检索结果。
9.本技术实施例还公开了一种商品对象的搜索方法，所述方法包括：接收商品对象搜索请求，所述商品对象搜索请求包括商品对象的图像；基于所述商品对象的图像进行检索，确定所述商品对象的图像的相似图像集合，所述相似图像集合包括至少一个相似商品
对象的相似图像；采用所述商品对象的图像和相似图像集合中相似图像，构成至少一个图像对；将所述图像对中商品对象的图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合；基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度；依据所述相似度，对所述相似图像集合中的相似图像进行筛选；依据筛选得到的相似图像，确定对应相似商品对象的商品对象信息；发送所述相似商品对象的商品对象信息。
10.本技术实施例还公开了一种道路搜索方法，所述方法包括：接收道路搜索请求，所述道路搜索请求包括道路图像；基于所述道路图像进行检索，确定所述道路图像的相似图像集合，所述相似图像集合包括至少一个相似商品对象的相似图像；采用所述道路图像和相似图像集合中相似图像，构成至少一个图像对；将所述图像对中道路图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合；基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度；依据所述相似度，对所述相似图像集合中的相似图像进行筛选；确定筛选得到的相似图像对应的道路信息；发送所述道路信息。
11.本技术实施例还公开了一种图像处理装置，包括：图像对确定模块，用于采用源图像和所述源图像的相似图像集合中相似图像，构成至少一个图像对，所述相似图像集合包括至少一个相似图像；特征匹配模块，用于将所述图像对中源图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合；相似确定模块，用于基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度；排序模块，用于依据所述相似度，确定所述相似图像集合中的相似图像筛选结果。
12.本技术实施例还公开了一种图像检索装置，包括：请求接收模块，用于接收检索请求，所述检索请求包括源图像；粗排模块，用于基于所述源图像的内容在图数据库中进行检索，确定所述源图像的相似图像集合，所述相似图像集合包括至少一个相似图像；精排模块，用于采用所述源图像和相似图像集合中相似图像，构成至少一个图像对；将所述图像对中源图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合；基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度；依据所述相似度，对所述相似图像集合中的相似图像进行筛选；结果返回模块，用于依据筛选得到的相似图像确定检索结果，发送所述检索结果。
13.本技术实施例还公开了一种电子设备，包括：处理器；和存储器，其上存储有可执行代码，当所述可执行代码被执行时，使得所述处理器执行如本技术实施例中一个或多个所述的方法。
14.本技术实施例还公开了一个或多个机器可读介质，其上存储有可执行代码，当所述可执行代码被执行时，使得处理器执行如本技术实施例中一个或多个所述的方法。
15.与现有技术相比，本技术实施例包括以下优点：
16.在本技术实施例中，采用源图像和所述源图像的相似图像集合中相似图像，构成至少一个图像对，将所述图像对中源图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合，基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度，基于拓扑结构的相似性来进行相似图像的校验，计算量较低，资源消耗少，从而能够在依据所述相似度确定所述相似图像集合中的相似图像筛选结果时，提高
相似图像的检索效率。
附图说明
17.图1是本技术实施例的一种图像处理示例的示意图；
18.图2是本技术的一种图像处理方法实施例的步骤流程图；
19.图3是本技术的一种图像检索方法实施例的步骤流程图；
20.图4是本技术的一种商品对象的搜索方法实施例的步骤流程图；
21.图5是本技术的一种道路搜索方法实施例的步骤流程图；
22.图6是本技术的一种图像处理装置实施例的结构框图；
23.图7是本技术的一种图像检索装置可选实施例的结构框图；
24.图8是本技术一实施例提供的装置的结构示意图。
具体实施方式
25.为使本技术的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本技术作进一步详细的说明。
26.本技术实施例可应用计算机视觉、图数据库等各种图像内容检索的领域中。例如基于道路图像检索，从而快速定位位置，基于商品图像检索从而快速检索商品对象等。
27.参照图1所示的一种图像处理示例的示意图中。
28.步骤102，采用源图像和所述源图像的相似图像集合中相似图像，构成至少一个图像对，所述相似图像集合包括至少一个相似图像。
29.基于内容的图像检索可以分为两个阶段，一个阶段为粗排阶段，另一个阶段为精排阶段。其中，在粗排阶段可快速从数据库等大规模数据集中找到疑似相似的图像，构成相似图像集合。在精排阶段可对粗排阶段检索到的相似图像集合中的相似图像和源图像进一步匹配，筛选出真正相似的图像，剔除粗排误召回的图像。
30.因此在一个可选实施例中，获取源图像；基于所述源图像的内容进行检索，确定所述源图像的相似图像集合。可通过检索请求等获取要检索的源图像，然后在粗排阶段从相应的数据库中检索出该源图像的至少一个相似图像构成相似图像集合。然后基于该相似图像集合进行精排阶段的处理。
31.其中，可以将源图像和相似图像集合中的每个相似图像分别构成一对图像对，例如相似图像集合中包括n个相似图像，则可构成n个图像对。其中，如果将源图像记为q，将相似图像记为d，则对源图像进行粗排得到的粗排结果列表可以为：[q,(d1,d2,
……
,dn)]，其中，(d1,d2,
……
,dn)为相似图像集合。相应可以提取相似图像和源图像构成图像对：[(q,d1),(q,d2),
…
,(q,dn)]。
[0032]
如图1的示例中，从相似图像集合中依次提取每个相似图像，然后将该相似图像和源图像构成一个图像对，从而具有n个相似图像的相似图像集合，可以构成n对图像对，图1的示例中n》5。
[0033]
步骤104，将所述图像对中源图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合。
[0034]
针对每对图像对(q,di)，其中，1≤i≤n，可以基于两个图像的拓扑结构的相似性
来进行几何校验，完成精排。
[0035]
其中，将图像对中的源图像和相似图像进行特征比对，该特征比对通过提取特征点并基于特征点的拓扑结构来计算相似性。其中，可通过特征提取来分别确定各图像对应的特征点集合，然后基于两个特征点集合中的特征点进行匹配，将确定匹配的特征点确定相应的特征子集合。
[0036]
一个可选实施例中，所述将所述图像对中源图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合，包括：针对所述图像对中的源图像和相似图像进行特征提取，确定对应的第一特征集合和第二特征集合；依据所述第一特征集合和第二特征集合进行特征点匹配，确定第一特征子集合和第二特征子集合。
[0037]
可以分别对源图像和相似图像进行特征提取，一个示例中，可基于加速稳健特征(speeded-up robust features，surf)技术进行局部特征提取，可得到相应的特征点，以及特征点的特征信息，该特征信息包括：描述子、坐标等信息，其中，描述子用于描述特征点。在另外一些示例中，也可基于尺度不变特征变换(scale-invariant feature transform，sift)算法进行局部特征提取，或者基于深度局部特征算法进行处理等，具体可依据需求确定，本技术实施例对此不作限制。
[0038]
其中，可针对源图像进行局部特征提取，得到对应的多个特征点以及特征点的特征信息，可以采用提取到的特征点构成第一特征集合，记为sq。对相似图像进行局部特征提取，得到多个特征点以及特征点的特征信息，可以采用提取到的特征点构成第二特征集合，记为sd。则针对每一个图像对，都可通过特征提取得到源图像的第一特征集合，以及相似图像的第二特征集合。
[0039]
然后采用第一特征集合中的特征点(可称为第一特征点)和第二特征集合的特征点(可称为第二特征点)进行匹配，其中，特征点的匹配可基于对应特征点的描述子执行。对于第一特征集合中的某个第一特征点p
qi
和第二特征集合中的某个第二特征点p
dj
，可依据第一特征点p
qi
的描述子和第二特征集合中的某个特征点p
dj
的描述子进行特征点匹配，特征点是否匹配可基于相应的匹配规则确定。例如可基于特征点在图像中的位置确定两个特征点的距离，进而确定是否符合匹配规则。在一个示例中，两个特征点的匹配的规则为互为最近邻；在另外一个示例中，两个特征点的匹配规则为互为最近邻，且，最近邻距离/次近邻距离《距离阈值，如距离阈值为0.7等，距离阈值可基于经验等设置。若满足匹配规则，则两个特征点匹配，可以将这两个特征点分别放入到各自图像对应的特征子集合中。其中，第一特征子集合为第一特征集合的子集，第二特征子集合为第二特征集合的子集。如某一第一特征点和某一第二特征点符合匹配规则，可将该第一特征点放入到第一特征子集合s
q’中，将第二特征点放入到第二特征子集合s
d’，其中，s
q’为sq的子集，s
d’为sd的子集。
[0040]
如图1中点划线框定的圆形区域内的特征点分别构成图像对i的图像对应的特征子集合，分别包括源图像对应的第一特征子集合和相似图像对应的第二特征子集合。
[0041]
步骤106，基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度。
[0042]
在确定出源图像和其相似图像所匹配的特征点的特征子集合(第一特征子集合和第二特征子集合)之后，可以基于特征点的拓扑结构的相似性来进行几何校验，因此可确定第一特征子集合对应特征点的拓扑结构信息，以及第二特征子集合对应特征点的拓扑结构
信息，进而确定第一特征子集合和第二特征子集合的相似度。
[0043]
一个可选实施例中，所述基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度，包括：确定所述第一特征子集合中特征点的拓扑结构信息，得到对应的第一向量；确定所述第二特征子集合中特征点的拓扑结构信息，得到对应的第二向量；确定所述第一向量和第二向量的相似度。可基于特征子集合中各特征点的坐标来确定该特征子集合中特征点所构成的拓扑结构，进而将两个特征子集合中拓扑结构进行比较，确定相似性。其中，可基于向量来表征特征点所构成拓扑结构的拓扑结构，从而将向量作为拓扑结构信息，基于向量计算相似性。
[0044]
其中，确定所述特征子集合中特征点的拓扑结构信息得到对应的向量的步骤，包括：确定特征子集合中的特征点之间的欧式距离，并依据所述欧式距离确定对应的距离向量；对所述距离向量进行归一化处理，得到对应的向量，所述向量用于表征所述特征子集合的拓扑结构。所述特征子集合包括第一特征子集合和第二特征子集合；所述特征点包括第一特征点和第二特征点。对于每个特征子集合，可计算基于坐标其两两特征点之间的欧式距离，然后将该欧式距离作为向量中对应维度的维度值，从而得到相应的距离向量，再通过归一化处理，排除图像尺度对向量的影响，得到相应的向量，该向量用于表征所述特征子集合的拓扑结构。
[0045]
进一步的可选实施例中，所述确定特征子集合中的特征点之间的欧式距离，并依据所述欧式距离确定对应的距离向量，包括：对特征子集合中的特征点按照设定顺序排序；确定两两特征点之间的欧氏距离；将所述欧式距离按照设定顺序排序，得到对应的距离向量。
[0046]
可以对特征子集合中的特征点按照设定顺序进行排序，从而不同特征子集合中对对应匹配的特征点的排序顺序是相同的，然后对特征子集合中的特征点，两两特征点之间计算欧式距离，再按照特征点的排序顺序，将所述欧式距离作为向量在该维度上的维度值，假设特征子集合中有m个特征点，则向量的维度为(m-1)*m/2。
[0047]
在上述实施例的基础上，确定所述第一特征子集合中特征点的拓扑结构信息，得到对应的第一向量，包括：确定第一特征子集合中的特征点之间的第一欧式距离，并依据所述第一欧式距离确定对应的第一距离向量；对所述第一距离向量进行归一化处理，得到对应的第一向量，所述第一向量用于表征所述第一特征子集合的拓扑结构。所述确定第一特征子集合中的特征点之间的第一欧式距离，并依据所述第一欧式距离确定对应的第一距离向量，包括：对第一特征子集合中的特征点按照设定顺序排序；确定两两特征点之间的第一欧氏距离；将所述第一欧式距离按照设定顺序排序，得到对应的第一距离向量。
[0048]
确定所述第二特征子集合中特征点的拓扑结构信息，得到对应的第二向量，包括：确定第二特征子集合中的特征点之间的第二欧式距离，并依据所述第二欧式距离确定对应的第二距离向量；对所述第二距离向量进行归一化处理，得到对应的第二向量，所述第二向量用于表征所述第二特征子集合的拓扑结构。所述确定第二特征子集合中的特征点之间的第二欧式距离，并依据所述第二欧式距离确定对应的第二距离向量，包括：对第二特征子集合中的特征点按照设定顺序排序；确定两两特征点之间的第二欧氏距离；将所述第二欧式距离按照设定顺序排序，得到对应的第二距离向量。
[0049]
如上例，对第一特征子集合s
q’中所有特征点(假设共有m个)，可以先确定一个设
定顺序(s
d’计算时特征点的设定顺序与该顺序相同，使得相匹配的特征点的排序顺序相同)，然后计算两两特征点坐标之间的第一欧氏距离r
ij
，可以理解为第i个特征点与第j个特征点之间的距离，再按序排列得到第一距离向量v1，比如，v的前m-1维为r
12
,r
13
,
…
,r
1m
，接着m-2维为r
23
,r
24
,
…
,r
2m
，以此类推，第一距离向量v1的维度为(m-1)*m/2。将第一距离向量v1进行归一化，得到表征s
q’的拓扑结构的第一向量vq。针对第二特征子集合s
d’对应第二向量vd的计算与上述类似。
[0050]
在确定出第一向量和第二向量后，可计算第一向量和第二向量的相似度。一个可选实施例中，所述确定所述第一向量和第二向量的相似度，包括：确定所述第一向量和第二向量的余弦相似度。可通过确定第一向量和第二向量的夹角余弦值，来确定第一向量和第二向量的相似度。
[0051]
本技术实施例中以欧式距离和余弦相似度举例来说明两个特征子集合的相似度，实际处理中还可通过其他相似度的方式，例如曼哈顿距离、相关距离等，本技术实施例对此不做限制。
[0052]
步骤108，依据所述相似度，确定所述相似图像集合中的相似图像筛选结果。
[0053]
针对每个图像对可计算出所包括的源图像和相似图像的相似度，因此可将源图像的相似图像按照该相似度进行排序，得到相应的相似图像筛选结果。进而可依据该相似图像筛选结果对相似图像进行筛选，例如筛选前x个图像作为目标图像，反馈相应的检索结果，x《n。
[0054]
一个可选实施例中，所述依据所述相似度，确定所述相似图像集合中的相似图像筛选结果，包括：依据所述相似度确定所述源图像和相似图像的相似得分；将所述相似图像集合中的相似图像按照对应的相似得分进行排序，得到相似图像筛选结果。在精排阶段，可以将图像对的相似度作为对应相似图像的相似得分，该相似得分用于确定两个图像的相似程度，也可作为精排阶段的得分，用于确定精排结果。在另外一些示例中，相似图像也可对应有标签等描述信息，从而基于描述信息确定权重，基于权重和相似度确定相似得分。从而相似图像集合中的每个相似图像对应一个相似得分，然后可按照相似得分的大小对相似图像集合中的相似图像进行排序，如相似度得分越大，相似性越高，则相似图像的排序靠前，得到该源图像在精排阶段的相似图像筛选结果。一些可选实施例中，还可以依据所述相似得分对所述相似图像进行筛选，例如筛选相似得分大于相似阈值的相似图像到相似图像筛选结果中，并反馈筛选得到的相似图像。
[0055]
例如在图像检索场景中，可以筛选出相似得分排在前x个的相似图像作为目标图像，生成对应的检索结果，反馈该检索结果，检索结果可携带目标图像及其描述信息，如名称、标题等，也可携带目标图像的链接地址等，具体依据需求设置。另外一些示例中，可以筛选相似得分大于筛选阈值的相似图像，该筛选阈值大于等于相似阈值。
[0056]
综上，采用源图像和所述源图像的相似图像集合中相似图像，构成至少一个图像对，将所述图像对中源图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合，基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度，基于拓扑结构的相似性来进行相似图像的校验，计算量较低，资源消耗少，从而能够依据所述相似度，确定所述相似图像集合中的相似图像筛选结果，提高相似图像的检索效率。
[0057]
在上述实施例的基础上，本技术实施例还提供了一种图像处理方法，在粗排阶段筛选出相似图像构成的相似图像集合，在精排阶段能够基于图像中的特征点计算拓扑结构，从而通过拓扑结构的相似性来进行几何校验完成精排。
[0058]
参照图2，示出了本技术的一种图像处理方法实施例的步骤流程图。
[0059]
步骤202，获取源图像。
[0060]
步骤204，基于所述源图像的内容进行检索，确定所述源图像的相似图像集合，所述相似图像集合包括至少一个相似图像。
[0061]
步骤206，采用源图像和所述源图像的相似图像集合中相似图像，构成至少一个图像对。
[0062]
针对每个图像对可执行如下步骤208-步骤216：
[0063]
步骤208，对源图像进行特征提取确定对应的第一特征集合，并对相似图像进行特征提取确定对应的第二特征集合。
[0064]
步骤210，依据所述第一特征集合和第二特征集合进行特征点匹配，确定匹配的特征点对。
[0065]
步骤212，提取特征点对中第一特征集合中的特征点构成第一特征子集合，并提取特征点对中第二特征集合中的特征点构成第二特征子集合。
[0066]
步骤214，确定所述第一特征子集合中特征点的拓扑结构信息，得到对应的第一向量；并确定所述第二特征子集合中特征点的拓扑结构信息，得到对应的第二向量。
[0067]
其中，确定所述第一特征子集合中特征点的拓扑结构信息，得到对应的第一向量，包括：确定第一特征子集合中的特征点之间的第一欧式距离，并依据所述第一欧式距离确定对应的第一距离向量；对所述第一距离向量进行归一化处理，得到对应的第一向量，所述第一向量用于表征所述第一特征子集合的拓扑结构。所述确定第一特征子集合中的特征点之间的第一欧式距离，并依据所述第一欧式距离确定对应的第一距离向量，包括：对第一特征子集合中的特征点按照设定顺序排序；确定两两特征点之间的第一欧氏距离；将所述第一欧式距离按照设定顺序排序，得到对应的第一距离向量。
[0068]
确定所述第二特征子集合中特征点的拓扑结构信息，得到对应的第二向量，包括：确定第二特征子集合中的特征点之间的第二欧式距离，并依据所述第二欧式距离确定对应的第二距离向量；对所述第二距离向量进行归一化处理，得到对应的第二向量，所述第二向量用于表征所述第二特征子集合的拓扑结构。所述确定第二特征子集合中的特征点之间的第二欧式距离，并依据所述第二欧式距离确定对应的第二距离向量，包括：对第二特征子集合中的特征点按照设定顺序排序；确定两两特征点之间的第二欧氏距离；将所述第二欧式距离按照设定顺序排序，得到对应的第二距离向量。
[0069]
步骤216，确定所述第一向量和第二向量的相似度。从而针对每个图像对可确定出源图像和相似图像的相似度。
[0070]
步骤218，依据所述相似度确定所述源图像和相似图像的相似得分；
[0071]
步骤220，将所述相似图像集合中的相似图像按照对应的相似得分进行排序，得到相似图像筛选结果。
[0072]
步骤222，依据所述相似得分对所述相似图像进行筛选，并反馈筛选得到的相似图像。
[0073]
背景技术通过对特征点估算变化矩阵然后筛选构成点对集合s，再迭代执行该过程，其需要计算在当前变换矩阵下a中所有点的变换点，计算量较大。相比于背景技术的方式，本技术实施例基于第一特征子集合和第二特征子集合，只需要计算两两特征点之间的距离，就可以得到拓扑结构表征向量，计算量大大降低。并且，背景技术的方式由于需要采样，这将会导致结果可能不稳定，多次计算可能会有差别，而本技术实施例利用向量计算的相似度，多次计算不会有差别，准确性更高。
[0074]
并且，背景技术这种方式的时间复杂度o(tk+tn)，其中，t为迭代次数，k为平均每次迭代参与变换矩阵计算的点数，n为输入的特征点对数。对于图像匹配而言，通常般t》》n，并且由于涉及矩阵求逆运算，时间复杂度常数项也很大。而本技术实施例的方式的时间复杂度仅为o(n 2)，效率更高。
[0075]
本技术上述各实施例可应用于各种执行主体中，如在客户端中进行相似图像的筛选，又如在服务器、云端设备、边缘计算设备等服务端设备执行相似图像的筛选等，具体可依据应用场景、需求等确定。例如在一些场景中可以在客户端或服务端设备中任一设备执行，在另外一些场景中，可以在客户端进行粗排，而后将粗排得到图像集合对应的图像标识传输给服务端设备，再通过服务端设备对粗排结果进行精排，得到相似图像筛选结果。
[0076]
在上述实施例的基础上，本技术实施例还提供了一种图像检索方法，可提供基于内容的图像检索。
[0077]
参照图3，示出了本技术的一种图像检索方法实施例的步骤流程图。
[0078]
步骤302，接收检索请求，所述检索请求包括源图像。
[0079]
步骤304，基于所述源图像的内容在图数据库中进行检索，确定所述源图像的相似图像集合，所述相似图像集合包括至少一个相似图像。
[0080]
步骤306，采用所述源图像和相似图像集合中相似图像，构成至少一个图像对。
[0081]
步骤308，将所述图像对中源图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合。
[0082]
步骤310，基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度。
[0083]
步骤312，依据所述相似度，对所述相似图像集合中的相似图像进行筛选。
[0084]
步骤314，依据筛选得到的相似图像确定检索结果，发送所述检索结果。
[0085]
本实施例各步骤与上述实施例类似，具体可参照上述实施例的描述。
[0086]
从而在基于内容的图像检索中，可基于通过拓扑结构的相似性来进行几何校验完成精排，提高图像检索的处理效率和准确性。
[0087]
在上述实施例的基础上，本技术实施例还提供了一种商品对象的搜索方法，可在电子商务网站、app等提供基于图像的商品对象的搜索功能。
[0088]
参照图4，示出了本技术的一种商品对象的搜索方法实施例的步骤流程图。
[0089]
步骤402，接收商品对象搜索请求，所述商品对象搜索请求包括商品对象的图像。
[0090]
步骤404，基于所述商品对象的图像进行检索，确定所述商品对象的图像的相似图像集合，所述相似图像集合包括至少一个相似商品对象的相似图像。
[0091]
步骤406，采用所述商品对象的图像和相似图像集合中相似图像，构成至少一个图像对。
[0092]
步骤408，将所述图像对中商品对象的图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合。
[0093]
步骤410，基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度。
[0094]
步骤412，依据所述相似度，对所述相似图像集合中的相似图像进行筛选。
[0095]
步骤414，依据筛选得到的相似图像，确定对应相似商品对象的商品对象信息。
[0096]
步骤416，发送所述相似商品对象的商品对象信息。
[0097]
本实施例各步骤与上述实施例类似，具体可参照上述实施例的描述。
[0098]
在电子商务网站、app等场景中，用户对于想要购买的相似、同款商品，可拍摄商品对象的图像，通过图像搜索快速查找到相应的商品对象，基于电子商务网站中商品对象的数据库中商品对象的图像，可快速检索到相似、同款商品，并反馈，提高用户的搜索效率，满足用户需求。
[0099]
在上述实施例的基础上，本技术实施例还提供了一种道路搜索方法，可基于道路图像进行道路的搜索，如基于道路监控的监控图像等进行道路搜索，从而快速检索事故发生位置、人员走失位置等。
[0100]
参照图5，示出了本技术的一种道路搜索方法实施例的步骤流程图。
[0101]
步骤502，接收道路搜索请求，所述道路搜索请求包括道路图像。
[0102]
步骤504，基于所述道路图像进行检索，确定所述道路图像的相似图像集合，所述相似图像集合包括至少一个相似商品对象的相似图像。
[0103]
步骤506，采用所述道路图像和相似图像集合中相似图像，构成至少一个图像对。
[0104]
步骤508，将所述图像对中道路图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合。
[0105]
步骤510，基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度。
[0106]
步骤512，依据所述相似度，对所述相似图像集合中的相似图像进行筛选。
[0107]
步骤514，确定筛选得到的相似图像对应的道路信息。
[0108]
步骤516，发送所述道路信息。如道路名称、道路对应的经纬度坐标等位置信息。
[0109]
本实施例各步骤与上述实施例类似，具体可参照上述实施例的描述。
[0110]
在一些事故发生，或者社交网站、论坛网站、报警消息中接收到求助图像的情况下，可基于道路监控等道路图像提供基于图像内容的检索，快速定位对应图像中的道路，便于快速解决相关事件，提高安全性。
[0111]
需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本技术实施例并不受所描述的动作顺序的限制，因为依据本技术实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本技术实施例所必须的。
[0112]
在上述实施例的基础上，本实施例还提供了一种图像处理装置，应用于终端设备、服务器等电子设备中。
[0113]
参照图6，示出了本技术的一种图像处理装置实施例的结构框图，具体可以包括如
下模块：
[0114]
图像对确定模块602，用于采用源图像和所述源图像的相似图像集合中相似图像，构成至少一个图像对，所述相似图像集合包括至少一个相似图像。
[0115]
特征匹配模块604，用于将所述图像对中源图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合。
[0116]
相似确定模块606，用于基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度。
[0117]
排序模块608，用于依据所述相似度，确定所述相似图像集合中的相似图像筛选结果。
[0118]
其中，所述特征匹配模块604，用于针对所述图像对中的源图像和相似图像进行特征提取，确定对应的第一特征集合和第二特征集合；依据所述第一特征集合和第二特征集合进行特征点匹配，确定第一特征子集合和第二特征子集合。
[0119]
所述相似确定模块606包括：向量确定子模块和确定子模块，其中：
[0120]
所述向量确定子模块，用于确定所述第一特征子集合中特征点的拓扑结构信息，得到对应的第一向量；以及，确定所述第二特征子集合中特征点的拓扑结构信息，得到对应的第二向量；
[0121]
所述确定子模块，用于确定所述第一向量和第二向量的相似度。
[0122]
所述向量确定子模块，用于确定特征子集合中的特征点之间的欧式距离，并依据所述欧式距离确定对应的距离向量；对所述距离向量进行归一化处理，得到对应的向量，所述向量用于表征所述特征子集合的拓扑结构。所述特征子集合包括第一特征子集合和第二特征子集合；所述欧式距离包括第一欧式距离和第二欧式距离；所述距离向量包括第一距离向量和第二距离向量，所述向量包括第一向量和第二向量。
[0123]
所述向量确定子模块，用于对特征子集合中的特征点按照设定顺序排序；确定两两特征点之间的欧氏距离；将所述欧式距离按照设定顺序排序，得到对应的距离向量。
[0124]
所述确定子模块，用于确定所述第一向量和第二向量的余弦相似度。
[0125]
所述排序模块608，用于依据所述相似度确定所述源图像和相似图像的相似得分；将所述相似图像集合中的相似图像按照对应的相似得分进行排序，得到相似图像筛选结果。
[0126]
该装置还包括：相似图像确定模块，用于获取源图像；基于所述源图像的内容进行检索，确定所述源图像的相似图像集合。
[0127]
反馈模块，用于依据所述相似得分对所述相似图像进行筛选，并反馈筛选得到的相似图像。
[0128]
综上，采用源图像和所述源图像的相似图像集合中相似图像，构成至少一个图像对，将所述图像对中源图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合，基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度，基于拓扑结构的相似性来进行相似图像的校验，计算量较低，资源消耗少，从而能够依据所述相似度，确定所述相似图像集合中的相似图像筛选结果，提高相似图像的检索效率。
[0129]
在上述实施例的基础上，本实施例还提供了一种图像搜索装置，应用于终端设备、
服务器等电子设备中。
[0130]
参照图7，示出了本技术的一种图像搜索装置实施例的结构框图，具体可以包括如下模块：
[0131]
请求接收模块702，用于接收检索请求，所述检索请求包括源图像。
[0132]
粗排模块704，用于基于所述源图像的内容在图数据库中进行检索，确定所述源图像的相似图像集合，所述相似图像集合包括至少一个相似图像。
[0133]
精排模块706，用于采用所述源图像和相似图像集合中相似图像，构成至少一个图像对；将所述图像对中源图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合；基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度；依据所述相似度，对所述相似图像集合中的相似图像进行筛选。
[0134]
结果返回模块708，用于依据筛选得到的相似图像确定检索结果，发送所述检索结果。
[0135]
其中，在商品对象的搜索场景中，所述源图像为商品对象的图像；所述相似图像包括在电子商务服务端的数据库中存储的各种商品对象的图像。
[0136]
请求接收模块702，用于接收商品对象搜索请求，所述商品对象搜索请求包括商品对象的图像；
[0137]
粗排模块704，用于基于所述商品对象的图像进行检索，确定所述商品对象的图像的相似图像集合，所述相似图像集合包括至少一个相似商品对象的相似图像；
[0138]
精排模块706，用于采用所述商品对象的图像和相似图像集合中相似图像，构成至少一个图像对；将所述图像对中商品对象的图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合；基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度；依据所述相似度，对所述相似图像集合中的相似图像进行筛选；
[0139]
结果返回模块708，用于依据筛选得到的相似图像，确定对应相似商品对象的商品对象信息；发送所述相似商品对象的商品对象信息。
[0140]
其中，在道路搜索场景中，所述源图像为道路图像；所述相似图像包括各种道路监控图像以及其他在道路采集的图像等。
[0141]
请求接收模块702，用于接收道路搜索请求，所述道路搜索请求包括道路图像；
[0142]
粗排模块704，用于基于所述道路图像进行检索，确定所述道路图像的相似图像集合，所述相似图像集合包括至少一个相似商品对象的相似图像；
[0143]
精排模块706，用于采用所述道路图像和相似图像集合中相似图像，构成至少一个图像对；将所述图像对中道路图像和相似图像进行特征匹配，确定对应的第一特征子集合和第二特征子集合；基于特征点的拓扑结构信息，确定所述第一特征子集合和第二特征子集合的相似度；依据所述相似度，对所述相似图像集合中的相似图像进行筛选；
[0144]
结果返回模块708，用于确定筛选得到的相似图像对应的道路信息；发送所述道路信息。
[0145]
背景技术通过对特征点估算变化矩阵然后筛选构成点对集合s，再迭代执行该过程，其需要计算在当前变换矩阵下a中所有点的变换点，计算量较大。相比于背景技术的方式，本技术实施例基于第一特征子集合和第二特征子集合，只需要计算两两特征点之间的
距离，就可以得到拓扑结构表征向量，计算量大大降低。并且，背景技术的方式由于需要采样，这将会导致结果可能不稳定，多次计算可能会有差别，而本技术实施例利用向量计算的相似度，多次计算不会有差别，准确性更高。
[0146]
并且，背景技术这种方式的时间复杂度o(tk+tn)，其中，t为迭代次数，k为平均每次迭代参与变换矩阵计算的点数，n为输入的特征点对数。对于图像匹配而言，通常般t》》n，并且由于涉及矩阵求逆运算，时间复杂度常数项也很大。而本技术实施例的方式的时间复杂度仅为o(n 2)，效率更高。
[0147]
本技术实施例还提供了一种非易失性可读存储介质，该存储介质中存储有一个或多个模块(programs)，该一个或多个模块被应用在设备时，可以使得该设备执行本技术实施例中各方法步骤的指令(instructions)。
[0148]
本技术实施例提供了一个或多个机器可读介质，其上存储有指令，当由一个或多个处理器执行时，使得电子设备执行如上述实施例中一个或多个所述的方法。本技术实施例中，所述电子设备包括终端设备、服务器(集群)、云端设备、边缘计算设备等各类型的设备。
[0149]
本公开的实施例可被实现为使用任意适当的硬件，固件，软件，或及其任意组合进行想要的配置的装置，该装置可包括终端设备、服务器(集群)、云端设备、边缘计算设备等电子设备。图8示意性地示出了可被用于实现本技术中所述的各个实施例的示例性装置800。
[0150]
对于一个实施例，图8示出了示例性装置800，该装置具有一个或多个处理器802、被耦合到(一个或多个)处理器802中的至少一个的控制模块(芯片组)804、被耦合到控制模块804的存储器806、被耦合到控制模块804的非易失性存储器(nvm)/存储设备808、被耦合到控制模块804的一个或多个输入/输出设备810，以及被耦合到控制模块804的网络接口812。
[0151]
处理器802可包括一个或多个单核或多核处理器，处理器802可包括通用处理器或专用处理器(例如图形处理器、应用处理器、基频处理器等)的任意组合。在一些实施例中，装置800能够作为本技术实施例中所述终端设备、服务器(集群)、云端设备、边缘计算设备等设备。
[0152]
在一些实施例中，装置800可包括具有指令814的一个或多个计算机可读介质(例如，存储器806或nvm/存储设备808)以及与该一个或多个计算机可读介质相合并被配置为执行指令814以实现模块从而执行本公开中所述的动作的一个或多个处理器802。
[0153]
对于一个实施例，控制模块804可包括任意适当的接口控制器，以向(一个或多个)处理器802中的至少一个和/或与控制模块804通信的任意适当的设备或组件提供任意适当的接口。
[0154]
控制模块804可包括存储器控制器模块，以向存储器806提供接口。存储器控制器模块可以是硬件模块、软件模块和/或固件模块。
[0155]
存储器806可被用于例如为装置800加载和存储数据和/或指令814。对于一个实施例，存储器806可包括任意适当的易失性存储器，例如，适当的dram。在一些实施例中，存储器806可包括双倍数据速率类型四同步动态随机存取存储器(ddr4sdram)。
[0156]
对于一个实施例，控制模块804可包括一个或多个输入/输出控制器，以向nvm/存
储设备808及(一个或多个)输入/输出设备810提供接口。
[0157]
例如，nvm/存储设备808可被用于存储数据和/或指令814。nvm/存储设备808可包括任意适当的非易失性存储器(例如，闪存)和/或可包括任意适当的(一个或多个)非易失性存储设备(例如，一个或多个硬盘驱动器(hdd)、一个或多个光盘(cd)驱动器和/或一个或多个数字通用光盘(dvd)驱动器)。
[0158]
nvm/存储设备808可包括在物理上作为装置800被安装在其上的设备的一部分的存储资源，或者其可被该设备访问可不必作为该设备的一部分。例如，nvm/存储设备808可通过网络经由(一个或多个)输入/输出设备810进行访问。
[0159]
(一个或多个)输入/输出设备810可为装置800提供接口以与任意其他适当的设备通信，输入/输出设备810可以包括通信组件、音频组件、传感器组件等。网络接口812可为装置800提供接口以通过一个或多个网络通信，装置800可根据一个或多个无线网络标准和/或协议中的任意标准和/或协议来与无线网络的一个或多个组件进行无线通信，例如接入基于通信标准的无线网络，如wifi、2g、3g、4g、5g等，或它们的组合进行无线通信。
[0160]
对于一个实施例，(一个或多个)处理器802中的至少一个可与控制模块804的一个或多个控制器(例如，存储器控制器模块)的逻辑封装在一起。对于一个实施例，(一个或多个)处理器802中的至少一个可与控制模块804的一个或多个控制器的逻辑封装在一起以形成系统级封装(sip)。对于一个实施例，(一个或多个)处理器802中的至少一个可与控制模块804的一个或多个控制器的逻辑集成在同一模具上。对于一个实施例，(一个或多个)处理器802中的至少一个可与控制模块804的一个或多个控制器的逻辑集成在同一模具上以形成片上系统(soc)。
[0161]
在各个实施例中，装置800可以但不限于是：服务器、台式计算设备或移动计算设备(例如，膝上型计算设备、手持计算设备、平板电脑、上网本等)等终端设备。在各个实施例中，装置800可具有更多或更少的组件和/或不同的架构。例如，在一些实施例中，装置800包括一个或多个摄像机、键盘、液晶显示器(lcd)屏幕(包括触屏显示器)、非易失性存储器端口、多个天线、图形芯片、专用集成电路(asic)和扬声器。
[0162]
其中，检测装置中可采用主控芯片作为处理器或控制模块，传感器数据、位置信息等存储到存储器或nvm/存储设备中，传感器组可作为输入/输出设备，通信接口可包括网络接口。
[0163]
对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0164]
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
[0165]
本技术实施例是参照根据本技术实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0166]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0167]
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0168]
尽管已描述了本技术实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术实施例范围的所有变更和修改。
[0169]
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
[0170]
以上对本技术所提供的一种图像处理方法和装置、一种图像检索方法和装置、一种商品对象的搜索方法，一种道路搜索方法、一种电子设备和一种存储介质，进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的一般技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。