搜索方法及装置、电子设备及计算机可读存储介质与流程

本技术涉及人工智能，尤其涉及一种搜索方法及装置、电子设备及计算机可读存储介质。

背景技术：

1、随着图像技术的发展，图像处理的应用越来越广，其中就包括识别图像中所包括的对象。目前的方法是通过对图像进行目标检测，确定图像中的对象，但该种方法的检测准确度低。

技术实现思路

1、本技术提供一种搜索方法及装置、电子设备及计算机可读存储介质。

2、第一方面，提供了一种搜索方法，所述方法包括：

3、获取第一图像；所述第一图像包括第一对象的第一图像区域和用于描述对象的第一文本；

4、从数据库中确定与所述第一图像区域匹配的第二对象；

5、从所述数据库中确定与所述第一文本匹配的第三对象；

6、根据所述第二对象和所述第三对象，确定所述第一图像所包括的第四对象。

7、在该方面中，搜索装置在第一图像包括第一对象的第一图像区域和用于描述对象的第一文本的情况下，分别以第一图像区域和第一文本为依据，从数据库中确定第二对象和第三对象。根据第二对象和第三对象，确定第一图像所包括的第四对象，相当于既利用了第一图像中的对象图像(即第一图像区域)的信息，又利用了对象文本(即第一文本)的信息，由此可提高第四对象的准确度，即可提高对第一图像中的对象的检测准确度。

8、结合本技术任一实施方式，所述根据所述第二对象和所述第三对象，确定所述第一图像所包括的第四对象，包括：

9、确定所述第二对象和所述第三对象中置信度大于或等于第一阈值的对象为所述第四对象。

10、在该种实施例中，对象的置信度大于或等于第一阈值，说明对象与第一图像的匹配度高，即对象为第四对象的几率大，因此搜索装置通过该种实施方式确定第四对象，可提高第四对象的准确度。

11、结合本技术任一实施方式，所述数据库包括所述第二对象的第二图像；

12、在所述确定所述第二对象和所述第三对象中置信度大于或等于第一阈值的对象为所述第四对象之前，所述方法还包括：

13、在所述第一文本所描述的对象为所述第一对象的情况下，根据所述第一文本和第一匹配度，得到所述第二对象与所述第一图像的第二匹配度；所述第一匹配度为所述第二图像与所述第一图像区域的匹配度；

14、根据所述第二匹配度，得到所述第二对象的第一置信度；所述第一置信度与所述第二匹配度呈正相关。

15、在该种实施方式中，搜索装置在第一文本所描述的对象为第一对象的情况下，根据第一文本和第一匹配度，得到第二对象与第一图像的第二匹配度，可提高第二匹配度的准确度。这样再根据第二匹配度得到第二对象的第一置信度，可提高第二对象的第一置信度的准确度。

16、结合本技术任一实施方式，所述数据库还包括所述第二对象的第一属性；

17、所述根据所述第一文本和第一匹配度，得到所述第二对象与所述第一图像的第二匹配度，包括：

18、确定所述第一文本与所述第一属性的第三匹配度；

19、根据所述第一匹配度和所述第三匹配度，得到所述第二匹配度；所述第三匹配度与所述第二匹配度呈正相关，且在所述第三匹配度小于或等于第二阈值的情况下，所述第二匹配度小于或等于所述第一匹配度，在所述第三匹配度大于所述第二阈值的情况下，所述第二匹配度大于所述第一匹配度。

20、在该种实施方式中，搜索装置在确定第三匹配度的情况下，利用第三匹配度修正第一匹配度，得到第二匹配度，可提高第二匹配度的准确度。

21、结合本技术任一实施方式，所述确定所述第一文本与所述第一属性的第三匹配度，包括：

22、从所述第一文本中提取第二属性；

23、确定所述第一属性与所述第二属性的匹配度，作为所述第三匹配度。

24、在该种实施方式中，由于第一文本可能包括与对象无关的文字，搜索装置通过从第一文本中提取第二属性，并确定第一属性与第二属性的匹配度，作为第三匹配度，可提高第三匹配度的准确度。

25、结合本技术任一实施方式，所述根据所述第二匹配度，得到所述第二对象的第一置信度，包括：

26、在所述第二对象与所述第三对象相同的情况下，对所述第二匹配度和第四匹配度进行加权求和，得到所述第一置信度；所述第四匹配度为所述第三对象与所述第一文本的匹配度；

27、在所述第二对象与所述第三对象不同的情况下，将所述第二匹配度作为所述第一置信度。

28、在该种实施方式中，搜索装置在第二对象与第三对象相同的情况下，通过对第二匹配度和第四匹配度进行加权求和得到第一置信度，在第二对象与第三对象不同的情况下，将第二匹配度作为的第一置信度，可提高第一置信度的准确度。

29、结合本技术任一实施方式，所述第一图像区域为所述第一对象的第一检测框所包围的区域；

30、所述在所述第一文本所描述的对象为所述第一对象的情况下，根据所述第一文本和第一匹配度，得到所述第二对象与所述第一图像的第二匹配度之前，所述方法还包括：

31、获取所述第一文本的第二检测框；

32、在所述第一检测框与所述第二检测框存在交集的情况下，确定所述第一文本所描述的对象为所述第一对象。

33、在该种实施方式中，搜索装置在第一检测框与第二检测框存在交集的情况下，判断第一文本的对象为第一对象，可提高判断准确度。

34、结合本技术任一实施方式，所述方法还包括：

35、在所述第一检测框与所述第二检测框不存在交集的情况下，确定所述第一图像区域与所述第一文本的第一距离；

36、根据所述第一距离，确定所述第一文本所描述的对象为所述第一对象。

37、在该种实施方式中，搜索装置在第一检测框与第二检测框不存在交集的情况下，确定第一图像区域与第一文本的第一距离，进而可根据第一距离确定第一文本所描述的对象为第一对象。

38、结合本技术任一实施方式，所述第一图像还包括用于描述对象的至少一个第三文本，所述至少一个第三文本均与所述第一文本不同，且至少一个第三文本的至少一个第四检测框均与所述第一检测框不存在交集；

39、所述根据所述第一距离，确定所述第一文本所描述的对象为所述第一对象，包括：

40、确定所述至少一个第三文本与所述第一图像区域的距离，得到至少一个第二距离；所述第二距离与所述第三文本一一对应；

41、在所述第一距离小于所述至少一个第二距离中的任意一个的情况下，确定所述第一文本所描述的对象为所述第一对象。

42、在该种实施方式中，由于所有描述对象的文本的检测框与第一检测框均不存在交集，搜索装置需要通过确定各个描述对象的文本与第一图像区域的距离，进而根据各个描述对象的文本与第一图像区域的距离，确定文本所描述的对象是否为第一对象。

43、搜索装置确定至少一个第三文本与第一图像区域的距离，得到至少一个第二距离，其中，第二距离与第三文本一一对应，即搜索装置确定一个第三文本与第一图像区域的距离，得到一个第二距离。搜索装置在第一距离小于至少一个第二距离中的任意一个的情况下，确定第一文本所描述的对象为第一对象，第一距离小于至少一个第二距离中的任意一个，说明第一文本为第一图像中距离第一对象最近的描述对象的文本，即第一文本为描述第一对象的文本的几率最大。于是，搜索装置判断第一文本所描述的对象为第一对象，可提高判断准确度。

44、结合本技术任一实施方式，所述方法还包括：

45、在所述第一文本所描述的对象与所述第一对象不同的情况下，根据所述第一匹配度，得到所述第二对象的所述第一置信度；所述第一置信度与所述第一匹配度呈正相关。

46、在该种实施方式中，搜索装置在第一文本所描述的对象与第一对象不同的情况下，根据第一文本和第一匹配度，得到第二对象的第一置信度，可提高第二对象的第一置信度的准确度。

47、结合本技术任一实施方式，所述从数据库中确定与所述第一图像区域匹配的第二对象，包括：

48、从数据库中确定具有第三图像的对象作为所述第二对象；所述第三图像与所述第一图像区域的第五匹配度大于或等于第三阈值。

49、结合本技术任一实施方式，所述从所述数据库中确定与所述第一文本匹配的第三对象，包括：

50、从数据库中确定具有第二属性的对象作为所述第三对象；所述第二属性与所述第一文本的第六匹配度大于或等于第四阈值。

51、结合本技术任一实施方式，所述对象为商品。

52、第二方面，提供了一种搜索装置，所述装置包括：

53、获取单元，用于获取第一图像；所述第一图像包括第一对象的第一图像区域和用于描述对象的第一文本；

54、第一处理单元，用于从数据库中确定与所述第一图像区域匹配的第二对象；

55、所述第一处理单元，还用于从所述数据库中确定与所述第一文本匹配的第三对象；

56、第二处理单元，用于根据所述第二对象和所述第三对象，确定所述第一图像所包括的第四对象。

57、结合本技术任一实施方式，所述第二处理单元，用于确定所述第二对象和所述第三对象中置信度大于或等于第一阈值的对象为所述第四对象。

58、结合本技术任一实施方式，所述数据库包括所述第二对象的第二图像；所述第二处理单元，还用于：

59、在所述第一文本所描述的对象为所述第一对象的情况下，根据所述第一文本和第一匹配度，得到所述第二对象与所述第一图像的第二匹配度；所述第一匹配度为所述第二图像与所述第一图像区域的匹配度；

60、根据所述第二匹配度，得到所述第二对象的第一置信度；所述第一置信度与所述第二匹配度呈正相关。

61、结合本技术任一实施方式，所述数据库还包括所述第二对象的第一属性；

62、所述第二处理单元，用于：

63、确定所述第一文本与所述第一属性的第三匹配度；

64、根据所述第一匹配度和所述第三匹配度，得到所述第二匹配度；所述第三匹配度与所述第二匹配度呈正相关，且在所述第三匹配度小于或等于第二阈值的情况下，所述第二匹配度小于或等于所述第一匹配度，在所述第三匹配度大于所述第二阈值的情况下，所述第二匹配度大于所述第一匹配度。

65、结合本技术任一实施方式，所述第二处理单元，用于：

66、从所述第一文本中提取第二属性；

67、确定所述第一属性与所述第二属性的匹配度，作为所述第三匹配度。

68、结合本技术任一实施方式，所述第二处理单元，用于：

69、在所述第二对象与所述第三对象相同的情况下，对所述第二匹配度和第四匹配度进行加权求和，得到所述第一置信度；所述第四匹配度为所述第三对象与所述第一文本的匹配度；

70、在所述第二对象与所述第三对象不同的情况下，将所述第二匹配度作为所述第一置信度。

71、结合本技术任一实施方式，所述第一图像区域为所述第一对象的第一检测框所包围的区域；

72、所述获取单元，还用于获取所述第一文本的第二检测框；

73、所述第二处理单元，还用于在所述第一检测框与所述第二检测框存在交集的情况下，确定所述第一文本所描述的对象为所述第一对象。

74、结合本技术任一实施方式，所述第二处理单元，还用于：

75、在所述第一检测框与所述第二检测框不存在交集的情况下，确定所述第一图像区域与所述第一文本的第一距离；

76、根据所述第一距离，确定所述第一文本所描述的对象为所述第一对象。

77、结合本技术任一实施方式，所述第一图像还包括用于描述对象的至少一个第三文本，所述至少一个第三文本均与所述第一文本不同，且至少一个第三文本的至少一个第四检测框均与所述第一检测框不存在交集；

78、所述第二处理单元，用于：

79、确定所述至少一个第三文本与所述第一图像区域的距离，得到至少一个第二距离；所述第二距离与所述第三文本一一对应；

80、在所述第一距离小于所述至少一个第二距离中的任意一个的情况下，确定所述第一文本所描述的对象为所述第一对象。

81、结合本技术任一实施方式，所述第二处理单元，还用于在所述第一文本所描述的对象与所述第一对象不同的情况下，根据所述第一匹配度，得到所述第二对象的所述第一置信度；所述第一置信度与所述第一匹配度呈正相关。

82、结合本技术任一实施方式，所述第一处理单元，用于从数据库中确定具有第三图像的对象作为所述第二对象；所述第三图像与所述第一图像区域的第五匹配度大于或等于第三阈值。

83、结合本技术任一实施方式，所述第一处理单元，用于从数据库中确定具有第二属性的对象作为所述第三对象；所述第二属性与所述第一文本的第六匹配度大于或等于第四阈值。

84、结合本技术任一实施方式，所述对象为商品。

85、第三方面，提供了一种电子设备，其特征在于，包括：处理器和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。

86、第四方面，提供了另一种电子设备，包括：处理器、发送装置、输入装置、输出装置和存储器，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，在所述处理器执行所述计算机指令的情况下，所述电子设备执行如上述第一方面及其任意一种可能实现的方式的方法。

87、第五方面，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机程序，所述计算机程序包括程序指令，在所述程序指令被处理器执行的情况下，使所述处理器执行如上述第一方面及其任意一种可能实现的方式的方法。

88、第六方面，提供了一种计算机程序产品，所述计算机程序产品包括计算机程序或指令，在所述计算机程序或指令在计算机上运行的情况下，使得所述计算机执行上述第一方面及其任一种可能的实现方式的方法。

89、应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，而非限制本技术。