搜索图像的方法及装置与流程

文档序号:11177332阅读:411来源:国知局
搜索图像的方法及装置与流程

本公开涉及终端技术领域,尤其涉及一种搜索图像的方法及装置。



背景技术:

随着终端技术的发展,终端所能够支持的功能越来越强大。例如,终端具有摄像头,从而能够支持拍照功能等。在很多场景下,用户可以使用终端的拍摄功能拍摄照片。例如,当用户去旅游或者与朋友聚会时,用户可以使用终端拍照照片,以记录当时的情景。终端将拍摄的图像存储到相册中。当用户想要回忆美好时光时,用户可以从相册中查看图像。

在相关技术中,终端根据拍摄时间或者拍摄地点,将拍摄的图像依次存储到相册中。当用户查看图像时,用户打开相册,手动查找用户想查看的图像。



技术实现要素:

为克服相关技术中存在的问题,本公开提供一种搜索图像的方法及装置,所述技术方案如下:

根据本公开实施例的第一方面,提供一种搜索图像的方法,所述方法包括:

当检测到搜索指令时,确定搜索表达式,所述搜索表达式包括至少一个表情符号;

获取目标图像集合中的每个图像的图像描述信息;

基于所述搜索表达式和所述每个图像的图像描述信息,从所述目标图像集合中获取与所述搜索表达式匹配的目标图像;

显示所述目标图像。

在本公开实施例中,当检测到搜索指令时,确定搜索表达式,该搜索表达式包括至少一个表情符号;获取目标图像集合中的每个图像的图像描述信息;基于该搜索表达式和每个图像的图像描述信息,从目标图像集合中获取与该搜索表达式匹配的目标图像;显示目标图像。从而实现自动从目标图像集合中搜索图像,提高了搜索效率。并且,由于该搜索表达式包括至少一个表情符号,从而实现了可以基于表情符号搜索图像的功能。

在一种可能实现方式中,所述当检测到搜索指令时,确定搜索表达式,包括:

显示搜索输入框;

当检测到搜索指令时,获取所述搜索输入框中被输入的搜索关键词,所述搜索关键词包括至少一个表情符号;

根据所述被输入的搜索关键词,生成所述搜索表达式。

在本公开实施例中,该搜索关键词包括至少一个表情符号;该搜索关键词还可以包括至少一个关键词,从而可以实现基于表情符号搜索图像或者基于表情符号和关键词搜索图像。

在一种可能实现方式中,所述根据所述被输入的搜索关键词,生成所述搜索表达式,包括:

当所述被输入的搜索关键词包括至少一个表情符号,则将所述至少一个表情符号组成所述搜索表达式;或者,

当所述被输入的搜索关键词包括至少一个表情符号和至少一个关键词,则将所述至少一个表情符号和所述至少一个关键词组成所述搜索表达式。

在本公开实施例中,当被输入的搜索关键词包括至少一个表情符号,将至少一个表情符号组成搜索表达式;当被输入的搜索关键词包括至少一个表情符号和至少一个关键词,将至少一个表情符号和至少一个关键词组成搜索表达式,从而提高了两种生成搜索表达式的方法,进而可以实现基于表情符号搜索图像或者基于表情符号和关键词搜索图像,增加了搜索图像的应用场景。

在一种可能实现方式中,所述获取目标图像集合中的每个图像的图像描述信息,包括:

通过深度卷积神经网络cnn提取所述每个图像的图像特征;

基于所述每个图像的图像特征,通过长短时记忆网络lstm确定所述每个图像的图像描述信息。

在本公开实施例中,基于每个图像的图像特征,通过lstm确定每个图像的图像描述信息。由于lstm具有强大的关联能力,这种强大的关联能力能够使得lstm在表情符号搜索中具有强大的建模能力,并且能够为解决表情识别、物品识别和心情识别提供统一的算法框架,极大地方便了算法的部署,并提高了确定出每个图像的图像描述信息的准确性。

在一种可能实现方式中,所述基于所述搜索表达式和所述每个图像的图像描述信息,从所述目标图像集合中获取与所述搜索表达式匹配的目标图像,包括:

根据所述搜索表达式,确定所述搜索表达式对应的搜索关键词集合,所述搜索关键词集合包括至少一个表情符号对应的搜索关键词;

根据所述搜索关键词集合和所述每个图像的图像描述信息,确定所述每个图像与所述搜索关键词集合之间的匹配度;

根据所述每个图像与所述搜索关键词集合之间的匹配度,从所述目标图像集合中获取匹配度满足预设条件的目标图像。

在本公开实施例中,根据搜索表达式,确定搜索关键词集合,基于搜索关键词集合和每个图像的图像描述信息,确定每个图像与搜索关键词集合之间的匹配度,根据每个图像与搜索关键词集合之间的匹配度,从目标图像集合中获取匹配度满足预设条件的目标图像,从而提高了获取目标图像的准确性。

在一种可能实现方式中,所述根据所述搜索表达式,确定所述搜索表达式对应的搜索关键词集合,包括:

当所述搜索表达式包括至少一个表情符号,将每个表情符号转换为搜索关键词,将每个表情符号对应的搜索关键词组成所述搜索关键词集合;或者,

当所述搜索表达式包括至少一个表情符号和至少一个关键词,将每个表情符号转换为搜索关键词,将每个表情符号对应的搜索关键词和所述搜索表达式中的每个关键词组成所述搜索关键词集合。

在本公开实施例中,在确定搜索关键词集合时,将每个表情符号转换为搜索关键词,从而实现基于表情符号进行搜索图像的功能。

在一种可能实现方式中,所述获取目标图像集合中的每个图像的图像描述信息之前,所述方法还包括:

将本地相册中的图像组成所述目标图像集合;或者,

获取目标用户的用户标识;根据所述用户标识,获取所述目标用户在社交应用平台中历史发表的图像,将所述目标用户在社交应用平台中历史发表的图像组成所述目标图像集合。

在本公开实施例中,在本地相册中搜索图像时,将本地相册中的图像组成目标图像集合。在目标用户在社交应用平台中历史发表的图像中搜索图像时,将目标用户在社交应用平台中历史发表的图像组成目标图像集合,从而提供了两种搜索图像的应用场景,丰富了适用场景。

根据本公开实施例的第二方面,提供一种搜索图像的装置,所述装置包括:

确定模块,用于当检测到搜索指令时,确定搜索表达式,所述搜索表达式包括至少一个表情符号;

第一获取模块,用于获取目标图像集合中的每个图像的图像描述信息;

第二获取模块,用于基于所述搜索表达式和所述每个图像的图像描述信息,从所述目标图像集合中获取与所述搜索表达式匹配的目标图像;

显示模块,用于显示所述目标图像。

在一种可能实现方式中,所述确定模块,还用于显示搜索输入框;当检测到搜索指令时,获取所述搜索输入框中被输入的搜索关键词,所述搜索关键词包括至少一个表情符号;根据所述被输入的搜索关键词,生成所述搜索表达式。

在一种可能实现方式中,所述确定模块,还用于当所述被输入的搜索关键词包括至少一个表情符号,则将所述至少一个表情符号组成所述搜索表达式;或者,

所述确定模块,还用于当所述被输入的搜索关键词包括至少一个表情符号和至少一个关键词,则将所述至少一个表情符号和所述至少一个关键词组成所述搜索表达式。

在一种可能实现方式中,所述第一获取模块,还用于通过深度卷积神经网络cnn提取所述每个图像的图像特征;基于所述每个图像的图像特征,通过长短时记忆网络lstm确定所述每个图像的图像描述信息。

在一种可能实现方式中,所述第二获取模块,还用于根据所述搜索表达式,确定所述搜索表达式对应的搜索关键词集合,所述搜索关键词集合包括至少一个表情符号对应的搜索关键词;根据所述搜索关键词集合和所述每个图像的图像描述信息,确定所述每个图像与所述搜索关键词集合之间的匹配度;根据所述每个图像与所述搜索关键词集合之间的匹配度,从所述目标图像集合中获取匹配度满足预设条件的目标图像。

在一种可能实现方式中,所述第二获取模块,还用于当所述搜索表达式包括至少一个表情符号,将每个表情符号转换为搜索关键词,将每个表情符号对应的搜索关键词组成所述搜索关键词集合;或者,

所述第二获取模块,还用于当所述搜索表达式包括至少一个表情符号和至少一个关键词,将每个表情符号转换为搜索关键词,将每个表情符号对应的搜索关键词和所述搜索表达式中的每个关键词组成所述搜索关键词集合。

在一种可能实现方式中,所述装置还包括:

组成模块,用于将本地相册中的图像组成所述目标图像集合;或者,

组成模块,还用于获取目标用户的用户标识;根据所述用户标识,获取所述目标用户在社交应用平台中历史发表的图像,将所述目标用户在社交应用平台中历史发表的图像组成所述目标图像集合。

根据本公开实施例的第三方面,提供一种搜索图像的装置,所述装置包括:处理器;

用于存储处理器可执行指令的存储器;

其中,所述处理器被配置为:

当检测到搜索指令时,确定搜索表达式,所述搜索表达式包括至少一个表情符号;

获取目标图像集合中的每个图像的图像描述信息;

基于所述搜索表达式和所述每个图像的图像描述信息,从所述目标图像集合中获取与所述搜索表达式匹配的目标图像;

显示所述目标图像。

根据本公开实施例的第四方面,提供一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机程序,所述程序被处理器执行时实现以下步骤:

当检测到搜索指令时,确定搜索表达式,所述搜索表达式包括至少一个表情符号;

获取目标图像集合中的每个图像的图像描述信息;

基于所述搜索表达式和所述每个图像的图像描述信息,从所述目标图像集合中获取与所述搜索表达式匹配的目标图像;

显示所述目标图像。

在本公开实施例中,当检测到搜索指令时,确定搜索表达式,该搜索表达式包括至少一个表情符号;获取目标图像集合中的每个图像的图像描述信息;基于该搜索表达式和每个图像的图像描述信息,从目标图像集合中获取与该搜索表达式匹配的目标图像;显示目标图像。从而实现自动从目标图像集合中搜索图像,提高了搜索效率。并且,由于该搜索表达式包括至少一个表情符号,从而实现了可以基于表情符号搜索图像的功能。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。

图1是根据一示例性实施例示出的一种搜索图像的方法的流程图;

图2-1是根据一示例性实施例示出的一种搜索图像的方法的流程图;

图2-2是根据一示例性实施例示出的一种获取图像描述信息的示意图;

图3-1是根据一示例性实施例示出的一种搜索图像的装置的框图;

图3-2是根据一示例性实施例示出的一种搜索图像的装置的框图;

图4是根据一示例性实施例示出的一种搜索图像的装置的框图。

具体实施方式

为使本公开的目的、技术方案和优点更加清楚,下面将结合附图对本公开实施方式作进一步地详细描述。

这里将详细地对示例性实施例进行说明,其示例表示在附图中。下面的描述涉及附图时,除非另有表示,不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

图1是根据一示例性实施例示出的一种搜索图像的方法的流程图,如图1所示,包括以下步骤。

在步骤s101中,当检测到搜索指令时,确定搜索表达式,搜索表达式包括至少一个表情符号。

在步骤s102中,获取目标图像集合中的每个图像的图像描述信息。

在步骤s103中,基于搜索表达式和每个图像的图像描述信息,从目标图像集合中获取与搜索表达式匹配的目标图像。

在步骤s104中,显示目标图像。

在本公开实施例中,当检测到搜索指令时,确定搜索表达式,该搜索表达式包括至少一个表情符号;获取目标图像集合中的每个图像的图像描述信息;基于该搜索表达式和每个图像的图像描述信息,从目标图像集合中获取与该搜索表达式匹配的目标图像;显示目标图像。从而实现自动从目标图像集合中搜索图像,提高了搜索效率。并且,由于该搜索表达式包括至少一个表情符号,从而实现了可以基于表情符号搜索图像的功能。

在一种可能实现方式中,当检测到搜索指令时,确定搜索表达式,包括:

显示搜索输入框;

当检测到搜索指令时,获取搜索输入框中被输入的搜索关键词,搜索关键词包括至少一个表情符号;

根据被输入的搜索关键词,生成搜索表达式。

在一种可能实现方式中,根据被输入的搜索关键词,生成搜索表达式,包括:

当被输入的搜索关键词包括至少一个表情符号,则将至少一个表情符号组成搜索表达式;或者,

当被输入的搜索关键词包括至少一个表情符号和至少一个关键词,则将至少一个表情符号和至少一个关键词组成搜索表达式。

在一种可能实现方式中,获取目标图像集合中的每个图像的图像描述信息,包括:

通过深度卷积神经网络cnn提取每个图像的图像特征;

基于每个图像的图像特征,通过长短时记忆网络lstm确定每个图像的图像描述信息。

在一种可能实现方式中,基于搜索表达式和每个图像的图像描述信息,从目标图像集合中获取与搜索表达式匹配的目标图像,包括:

根据搜索表达式,确定搜索表达式对应的搜索关键词集合,搜索关键词集合包括至少一个表情符号对应的搜索关键词;

根据搜索关键词集合和每个图像的图像描述信息,确定每个图像与搜索关键词集合之间的匹配度;

根据每个图像与搜索关键词集合之间的匹配度,从目标图像集合中获取匹配度满足预设条件的目标图像。

在一种可能实现方式中,根据搜索表达式,确定搜索表达式对应的搜索关键词集合,包括:

当搜索表达式包括至少一个表情符号,将每个表情符号转换为搜索关键词,将每个表情符号对应的搜索关键词组成搜索关键词集合;或者,

当搜索表达式包括至少一个表情符号和至少一个关键词,将每个表情符号转换为搜索关键词,将每个表情符号对应的搜索关键词和搜索表达式中的每个关键词组成搜索关键词集合。

在一种可能实现方式中,获取目标图像集合中的每个图像的图像描述信息之前,方法还包括:

将本地相册中的图像组成目标图像集合;或者,

获取目标用户的用户标识;根据用户标识,获取目标用户在社交应用平台中历史发表的图像,将目标用户在社交应用平台中历史发表的图像组成目标图像集合。

上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。

图2-1是根据一示例性实施例示出的一种搜索图像的方法的流程图,该方法应用在终端中。如图2-1所示,包括以下步骤。

在步骤s201中,终端确定目标图像集合。

在搜索图像之前,终端需要确定一个目标图像集合,从而后续从该目标图像集合中搜索图像,目标图像集合中包括至少一个图像。在本公开实施例中,当前用户可以从本地相册中搜索图像,相应的本步骤可以通过以下第一种方式实现。当前用户也可以从目标用户在社交应用平台中历史发表的图像中搜索图像,相应的本步骤可以通过以下第二种方式实现。

当前用户为当前使用终端的当前用户。目标用户可以为当前用户或者当前用户的好友用户。如果当前用户从自己在社交应用平台中历史发表的图像中搜索图像时,则当前用户和目标用户为同一用户。如果当前用户从好友在社交应用平台中历史发表的图像中搜索图像时,则当前用户和目标用户为不同当前用户,且当前用户和目标用户为好友关系。

对于第一种实现方式,当前用户可以从本地相册中搜索图像;相应的,本步骤可以为:

终端将本地相册中的图像组成目标图像集合。

由于当前用户从本地相册中搜索图像时,当前用户需要打开本地相册,在本地相册的主界面中搜索图像。因此,终端将本地相册中的图像组成目标图像集合之前,终端实时检测终端屏幕,当检测到终端屏幕中的本地相册的图标被点击时,终端才将本地相册中的图像组成目标图像集合。

当本地相册中图像较多时,当前用户可以将本地相册划分为多个子相册,每个子相册包括至少一个图像。当前用户还可以从本地相册中的某个子相册中搜索图像,相应的,本步骤可以为:

当终端检测到本地相册的图标被点击时,终端显示多个子相册的相册标识,此时当前用户可以根据每个子相册的相册标识,从多个子相册中选择子相册,并点击子相册的相册标识;终端将被选择的子相册中的图像组成目标图像集合。

其中,相册的相册标识可以为相册名称、相册中的图像的拍摄地点,相册中的图像的拍摄时间和/或相册中图像的当前用户标识;相册中图像的当前用户标识可以为当前用户名称和/或当前用户头像等。

当本地相册中图像较多时,当前用户还可以从本地相册中选择几张图像组成目标图像集合。相应的,本步骤可以为:

当终端检测到本地相册的图标被点击时,显示图像列表,图像列表中包括本地相册中每个图像的图像索引。图像列表中的每个图像索引中包括选择框;当前用户可以通过选中图像索引中的选择框,以选择该图像。终端获取选择框被选中的图像,将获取的图像组成目标图像集合。

对于第二种实现方式,当前用户可以从目标用户在社交应用平台中历史发表的图像。相应的,本步骤可以为:

终端获取目标用户的用户标识;根据该用户标识,获取目标用户在社交应用平台中历史发表的图像,将目标用户在社交应用平台中历史发表的图像组成所述目标图像集合。

由于当前用户从目标用户在社交应用平台中历史发表的图像中搜索图像时,当前用户需要打开社交应用平台中目标用户账户的主界面,在该主界面中搜索图像。因此,终端获取目标用户的用户标识之前,终端检测当前界面,当终端检测到当前界面为目标用户账户的主界面时,终端将目标用户在社交应用平台中历史发表的图像组成目标图像集合。

由于终端中可能不存储目标用户在社交应用平台中历史发表的图像;因此,终端需要从社交应用服务器中获取目标用户在社交应用平台中历史发表的图像。相应的,终端根据该用户标识,获取目标用户在社交应用平台中历史发表的图像的步骤可以为:

终端向社交应用服务器发送获取请求,该获取请求携带该用户标识。社交应用服务器接收终端发送的该获取请求,根据该用户标识,从目标用户的用户账户中获取目标用户在社交应用平台中历史发表的图像;向终端返回目标用户在社交应用平台中历史发表的图像。终端接收社交应用服务器返回的目标用户在社交应用平台中历史发表的图像。

由于目标用户在社交应用平台中历史发表的图像可能数量较多,当前用户可能希望搜索发表时间离当前时间较近的图像;相应的,终端将目标用户在社交应用平台中历史发表的图像组成所述目标图像集合的步骤可以为:

终端获取当前时间之前的预设时长内目标用户在社交应用平台中历史发表的图像,将获取的图像组成目标图像集合。

终端向社交应用服务器发送获取请求,该获取请求携带该用户标识和预设时长。社交应用服务器接收终端发送的获取请求,根据该用户标识,从目标用户的用户账户中获取当前时间之前的预设时长内目标用户在社交应用平台中历史发表的图像;向终端返回获取到的图像。终端接收社交应用服务器返回的获取到的图像。

预设时长可以根据需要进行设置并更改,在本公开实施例中,对预设时长不作具体限定;例如,预设时长可以为半年或者3个月等。

在本步骤中,当前用户也可以自定义选择目标时间区间,当前用户从发表时间在目标时间区间的图像中搜索图像;相应的,终端将目标用户在社交应用平台中历史发表的图像组成所述目标图像集合的步骤可以为:

终端确定目标时间区间,将目标用户在社交应用平台中历史发表,且发表时间在目标时间区间内的图像组成目标图像集合。

终端向社交应用服务器发送获取请求,该获取请求携带该用户标识和目标时间区间。社交应用服务器接收终端发送的获取请求,根据该用户标识,从目标用户的用户账户中获取发表时间在目标时间区间内的图像;向终端返回获取到的图像。终端接收社交应用服务器返回的获取到的图像。

在本步骤中,终端可以在当前界面中设置时间选择按钮;用户可以通过该时间选择按钮选择目标时间区间;相应的,终端确定目标时间区间的步骤可以为:

终端显示时间选择按钮;当前用户可以通过该时间选择按钮选择目标时间区间。终端检测到该时间选择按钮被点击时,终端显示第一时间输入框和第二时间输入框。第一时间输入框用于输入开始时间,第二时间输入框用于输入结束时间。终端检测到第一时间输入框被选择时,获取第一时间输入框被输入或者选择的第一时间。终端检测到第二时间输入框被选择时,获取第二时间输入框被输入或者选择的第二时间。终端将第一时间和第二时间之间的时间区间确定为目标时间区间。

在步骤s202中,当检测到搜索指令时,终端确定搜索表达式,该搜索表达式包括至少一个表情符号。

在本公开实施例中,用户可以通过表情符号或者表情符号+关键词,从目标图像集合中搜索图像。因此,终端在当前显示界面中设置搜索栏,该搜索栏包括搜索输入框和搜索按钮。该搜索输入框用于输入搜索关键词和/或者表情符号;搜索按钮用于触发搜索指令。当前显示界面可以为本地相册主界面或者社交应用平台中的目标用户的主界面。

当前用户在搜索输入框中输入搜索关键词时,当前用户可以点击该搜索输入栏;终端检测到该搜索输入框被选择时,显示输入键盘和状态栏,该状态栏中包括至少一个表情符号选择按钮;一个表情符号选择按钮对应一个表情符号库。用户可以通过输入键盘向输入框中输入关键词,用户也可以通过表情符号选择按钮触发终端显示该表情选择按钮对应的表情符号库,以从表情符号库中选择表情符号。相应的,本步骤可以为:

终端显示搜索输入框。当终端检测到表情符号选择按钮被触发时,终端显示该表情符号选择按钮对应的表情符号库,该表情符号库中包括至少一个表情符号。用户可以从表情符号库中选择表情符号。终端获取用户从该表情符号库中选择的至少一个表情符号。当用户输入完关键词以及选择完表情符号时,用户可以点击搜索按钮以触发终端生成搜索指令。终端检测搜索按钮,当检测到搜索按钮被触发时,终端生成搜索指令,根据该搜索指令获取搜索输入框中被输入的搜索关键词,该被输入的搜索关键词包括至少一个表情符号;该被输入的搜索关键词还可以包括至少一个关键词。终端根据该被输入的搜索关键词,生成搜索表达式。

当该搜索关键词包括至少一个表情符号;相应的,终端根据该被输入的搜索关键词,生成搜索表达式的步骤可以为:

将至少一个表情符号组成该搜索表达式。

当该被输入的搜索关键词包括至少一个表情符号和至少一个关键词;相应的,终端根据该被输入的搜索关键词,生成搜索表达式的步骤可以为:

终端将至少一个表情符号和至少一个关键词组成搜索表达式。

需要说明的是,该表情符号可以为emoji表情符号。

在步骤s203中,终端获取目标图像集合中的每个图像的图像描述信息。

在本步骤中,终端可以事先提取目标图像集合中的每个图像的描述信息,并绑定图像标识和描述信息的对应关系。例如,终端每拍摄一张图像,就提取该图像的图像描述信息。再如,目标用户每发表一张图像,终端就提取该图像的图像描述信息。相应的,本步骤可以通过以下第一种方式实现。终端也可以当前提取目标图像集合中的每个图像的图像描述信息,相应的,本步骤可以通过以下第二种方式实现。

对于第一种实现方式,本步骤可以为:

终端根据目标图像中的每个图像的图像标识,从图像标识和图像描述信息的对应关系中获取每个图像的图像描述信息。其中,图像标识可以为图像索引、编号、拍摄时间等。

对于第二种实现方式,本步骤可以为:

终端通过cnn(convolutionalneuralnetwork,深度卷积神经网络)提取目标图像集合中的每个图像的图像特征,基于每个图像的图像特征,通过lstm(longshort-termmemory,长短时记忆网络)确定每个图像的图像描述信息,参见图2-2。

需要说明的是,通过cnn提取图像的图像特征,以及基于图像特征通过lstm确定图像描述信息均为相关技术,在此不再赘述。图像描述信息包括至少一个搜索关键词。每个搜索关键词为表情符号对应的关键词。

例如,目标图像集合中的某个图像是“一个小孩坐在大海边”的图像,则终端通过lstm获取该图像的图像描述信息是“惬意”。再如,目标图像集合中的某个图像是“一群人举杯”的图像,则终端通过lstm获取该图像的图像描述信息是“大笑”。

在本公开实施例中,基于每个图像的图像特征,通过lstm确定每个图像的图像描述信息。由于lstm具有强大的关联能力,这种强大的关联能力能够使得lstm在表情符号搜索中具有强大的建模能力,并且能够为解决表情识别、物品识别和心情识别提供统一的算法框架,极大地方便了算法的部署,并提高了确定出每个图像的图像描述信息的准确性。

在一种可能的实现方式中,对于目标图像集合中的人物图像,终端通过cnn提取人物图像中的人物的表情。人物图像是指包括人物的图像。

在步骤s204中,终端基于该搜索表达式和每个图像的图像描述信息,从目标图像集合中获取与该搜索表达式匹配的目标图像。

本步骤可以通过以下步骤2041至2043实现,包括:

2041:终端根据该搜索表达式,确定搜索表达式对应的搜索关键词集合,该搜索关键词集合包括至少一个表情符号对应的搜索关键词。

当该搜索表达式包括至少一个表情符号,终端将至少一个表情符号中的每个表情符号转换为搜索关键词,将每个表情符号对应的搜索关键词组成搜索关键词集合。

在一种可能的实现方式中,当该搜索表达式除了包括至少一个表情符号,该包括至少一个关键词时,终端将该搜索表达式中的至少一个关键字也添加到搜索关键词集合中。

终端中事先存储表情符号库中的每个表情符号对应的搜索关键词;相应的,终端将至少一个表情符号中的每个表情符号转换为搜索关键词的步骤可以为:

终端根据每个表情符号,从表情符号和搜索关键词的对应关系中获取每个表情符号对应的搜索关键词。

需要说明的是,当该搜索表达式仅包括至少一个关键词时,终端将该搜索表达式包括的每个关键词组成搜索关键词集合。

2042:终端根据搜索关键词集合和每个图像的图像描述信息,确定每个图像与搜索关键词集合之间的匹配度。

对于每个图像,终端确定该图像的图像描述信息包括该搜索关键词集合中的搜索关键词的数量,将该数量确定为该图像与该搜索关键词集合之间的匹配度。

2043:终端根据每个图像与搜索关键词集合之间的匹配度,从目标图像集合中获取匹配度满足预设条件的目标图像。

预设条件可以为选择匹配度最高的预设数目个图像或者选择匹配度高于预设匹配度的图像。当预设条件为选择匹配度最高的预设数目个图像,则本步骤可以为:

终端根据每个图像与搜索关键词集合之间的匹配度,从目标图像集合中选择匹配度最高的预设数目个图像作为目标图像。

预设数目可以根据需要进行设置并更改,在本公开实施例中,对预设数目不作具体限定。例如,预设数目可以为10或者20等。

当预设条件为选择匹配度高于预设匹配度的图像,则本步骤可以为:

终端根据每个图像与搜索关键词集合之间的匹配度,从该目标图像集合中选择匹配度高于预设匹配度的图像作为目标图像。

预设匹配度可以根据需要进行设置并更改,在本公开实施例中,对预设匹配度不作具体限定。例如,预设匹配度可以为1或者2等。

在一种可能的实现方式中,如果在步骤203中,对于目标图像集合中的人物图像,终端通过cnn提取人物图像中的人物的表情。人物图像是指包括人物的图像。在本步骤中,终端可以从目标图像集合中获取与搜索表达式中的表情符号相同的目标图像。

例如,搜索表达式中的表情符号为大笑的表情符号;则终端从目标图像集合中获取表情符号为大笑的目标图像。

在步骤s205中,终端显示该目标图像。

在本公开实施例中,当检测到搜索指令时,确定搜索表达式,该搜索表达式包括至少一个表情符号;获取目标图像集合中的每个图像的图像描述信息;基于该搜索表达式和每个图像的图像描述信息,从目标图像集合中获取与该搜索表达式匹配的目标图像;显示目标图像。从而实现自动从目标图像集合中搜索图像,提高了搜索效率。并且,由于该搜索表达式包括至少一个表情符号,从而实现了可以基于表情符号搜索图像的功能。

图3-1是根据一示例性实施例示出的一种搜索图像的装置框图。参照图3-1,该装置包括确定模块301,第一获取模块302、第二获取模块303和显示模块304。

确定模块301,被配置为当检测到搜索指令时,确定搜索表达式,搜索表达式包括至少一个表情符号;

第一获取模块302,被配置为获取目标图像集合中的每个图像的图像描述信息;

第二获取模块303,被配置为基于搜索表达式和每个图像的图像描述信息,从目标图像集合中获取与搜索表达式匹配的目标图像;

显示模块304,被配置为显示目标图像。

在一种可能实现方式中,确定模块301,还被配置为显示搜索输入框;当检测到搜索指令时,获取搜索输入框中被输入的搜索关键词,搜索关键词包括至少一个表情符号;根据被输入的搜索关键词,生成搜索表达式。

在一种可能实现方式中,确定模块301,还被配置为当被输入的搜索关键词包括至少一个表情符号,则将至少一个表情符号组成搜索表达式;或者,

确定模块301,还被配置为当被输入的搜索关键词包括至少一个表情符号和至少一个关键词,则将至少一个表情符号和至少一个关键词组成搜索表达式。

在一种可能实现方式中,第一获取模块302,还被配置为通过深度卷积神经网络cnn提取每个图像的图像特征;基于每个图像的图像特征,通过长短时记忆网络lstm确定每个图像的图像描述信息。

在一种可能实现方式中,第二获取模块303,还被配置为根据搜索表达式,确定搜索表达式对应的搜索关键词集合,搜索关键词集合包括至少一个表情符号对应的搜索关键词;根据搜索关键词集合和每个图像的图像描述信息,确定每个图像与搜索关键词集合之间的匹配度;根据每个图像与搜索关键词集合之间的匹配度,从目标图像集合中获取匹配度满足预设条件的目标图像。

在一种可能实现方式中,第二获取模块303,还被配置为当搜索表达式包括至少一个表情符号,将每个表情符号转换为搜索关键词,将每个表情符号对应的搜索关键词组成搜索关键词集合;或者,

第二获取模块303,还被配置为当搜索表达式包括至少一个表情符号和至少一个关键词,将每个表情符号转换为搜索关键词,将每个表情符号对应的搜索关键词和搜索表达式中的每个关键词组成搜索关键词集合。

参见图3-2,装置还包括:

组成模块305,被配置为将本地相册中的图像组成目标图像集合;或者,

组成模块305,还被配置为获取目标用户的用户标识;根据用户标识,获取目标用户在社交应用平台中历史发表的图像,将目标用户在社交应用平台中历史发表的图像组成目标图像集合。

在本公开实施例中,当检测到搜索指令时,确定搜索表达式,该搜索表达式包括至少一个表情符号;获取目标图像集合中的每个图像的图像描述信息;基于该搜索表达式和每个图像的图像描述信息,从目标图像集合中获取与该搜索表达式匹配的目标图像;显示目标图像。从而实现自动从目标图像集合中搜索图像,提高了搜索效率。并且,由于该搜索表达式包括至少一个表情符号,从而实现了可以基于表情符号搜索图像的功能。

上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。

需要说明的是:上述实施例提供的搜索图像的装置在搜索图像时,仅以上述各功能模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能模块完成,即将装置的内部结构划分成不同的功能模块,以完成以上描述的全部或者部分功能。另外,上述实施例提供的搜索图像的装置与搜索图像的方法实施例属于同一构思,其具体实现过程详见方法实施例,这里不再赘述。

图4是根据一示例性实施例示出的一种搜索图像装置400的框图。例如,装置400可以是移动电话,计算机,数字广播终端,消息收发设备,游戏控制台,平板设备,医疗设备,健身设备,个人数字助理等。

参照图4,装置400可以包括以下一个或多个组件:处理组件402,存储器404,电源组件406,多媒体组件408,音频组件410,输入/输出(i/o)的接口412,传感器组件414,以及通信组件416。

处理组件402通常控制装置400的整体操作,诸如与显示,电话呼叫,数据通信,相机操作和记录操作相关联的操作。处理组件402可以包括一个或多个处理器420来执行指令,以完成上述的方法的全部或部分步骤。此外,处理组件402可以包括一个或多个模块,便于处理组件402和其他组件之间的交互。例如,处理组件402可以包括多媒体模块,以方便多媒体组件408和处理组件402之间的交互。

存储器404被配置为存储各种类型的数据以支持在装置400的操作。这些数据的示例包括用于在装置400上操作的任何应用程序或方法的指令,联系人数据,电话簿数据,消息,图片,视频等。存储器404可以由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。

电源组件406为装置400的各种组件提供电力。电源组件406可以包括电源管理系统,一个或多个电源,及其他与为装置400生成、管理和分配电力相关联的组件。

多媒体组件408包括在所述装置400和用户之间的提供一个输出接口的屏幕。在一些实施例中,屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板,屏幕可以被实现为触摸屏,以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界,而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中,多媒体组件408包括一个前置摄像头和/或后置摄像头。当装置400处于操作模式,如拍摄模式或视频模式时,前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。

音频组件410被配置为输出和/或输入音频信号。例如,音频组件410包括一个麦克风(mic),当装置400处于操作模式,如呼叫模式、记录模式和语音识别模式时,麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器404或经由通信组件416发送。在一些实施例中,音频组件410还包括一个扬声器,用于输出音频信号。

i/o接口412为处理组件402和外围接口模块之间提供接口,上述外围接口模块可以是键盘,点击轮,按钮等。这些按钮可包括但不限于:主页按钮、音量按钮、启动按钮和锁定按钮。

传感器组件414包括一个或多个传感器,用于为装置400提供各个方面的状态评估。例如,传感器组件414可以检测到装置400的打开/关闭状态,组件的相对定位,例如所述组件为装置400的显示器和小键盘,传感器组件414还可以检测装置400或装置400一个组件的位置改变,用户与装置400接触的存在或不存在,装置400方位或加速/减速和装置400的温度变化。传感器组件414可以包括接近传感器,被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件414还可以包括光传感器,如cmos或ccd图像传感器,用于在成像应用中使用。在一些实施例中,该传感器组件414还可以包括加速度传感器,陀螺仪传感器,磁传感器,压力传感器或温度传感器。

通信组件416被配置为便于装置400和其他设备之间有线或无线方式的通信。装置400可以接入基于通信标准的无线网络,如wifi,2g或3g,或它们的组合。在一个示例性实施例中,通信组件416经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中,所述通信组件416还包括近场通信(nfc)模块,以促进短程通信。例如,在nfc模块可基于射频识别(rfid)技术,红外数据协会(irda)技术,超宽带(uwb)技术,蓝牙(bt)技术和其他技术来实现。

在示例性实施例中,装置400可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现,用于执行上述搜索图像的方法。

在示例性实施例中,还提供了一种包括指令的非临时性计算机可读存储介质,例如包括指令的存储器404,上述指令可由装置400的处理器420执行以完成上述方法。例如,所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。

应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1