一种图像处理及搜索方法、装置和系统与流程

本发明涉及图像搜索技术领域，尤其涉及一种图像处理及搜索方法、装置和系统。

背景技术：

随着移动互联网的发展，即时通信类应用所能发送的消息内容从最初的文本逐渐扩展至语音、图像、视频等富媒体形式。在即时消息类应用中，包含图像的消息(以下称之为图像消息)所占的比重也越来越大。

实际应用中，用户存在针对消息内容的搜索需求。但是，目前对于即时消息的搜索仅适应用于文本消息、语音消息等的搜索，如果用户希望搜索收发的图像消息，用户只能逐条翻查历史消息记录，人工判断已收发的每张图像是否为自己所需要，操作繁琐，由此可见，如何实现针对图像消息的自动搜索成为现有技术中亟待解决的技术问题之一。

技术实现要素：

本发明实施例提供一种图像处理及搜索方法、装置和系统，用以实现针对图像的自动搜索。

本发明实施例提供一种服务器侧实施的图像处理方法，包括：

识别第一终端上传的第一图像文件，在所述第一图像文件上利用文字标签信息标注识别结果得到第二图像文件；

向所述第一终端返回所述第二图像文件。

本发明实施例提供一种终端侧实施的图像处理方法，包括：

向服务器上传第一图像文件；

接收所述服务器返回的第二图像文件，所述第二图像文件为所述服务器识别所述第一图像文件后，在所述第一图像文件上利用文字标签信息标注识别结果得到的。

本发明实施例提供一种基于上述终端侧实施的图像处理方法的图像搜索方法，包括：

接收图像搜索请求，所述图像搜索请求中携带有搜索关键字信息；

在各图像文件的文字标签信息中，查找与所述搜索关键字信息匹配的文字标签信息；

针对所述图像搜索请求返回文字标签信息与所述搜索关键字信息匹配的图像文件。

本发明实施例提供一种服务器侧实施的图像处理装置，包括：

识别单元，用于识别第一终端上传的第一图像文件，在所述第一图像文件上利用文字标签信息标注识别结果得到第二图像文件；

返回单元，用于向所述第一终端返回所述第二图像文件。

本发明实施例提供一种终端侧实施的图像处理装置，包括：

上传单元，用于向服务器上传第一图像文件；

第一接收单元，用于接收所述服务器返回的第二图像文件，所述第二图像文件为所述服务器识别所述第一图像文件后，在所述第一图像文件上利用文字标签信息标注识别结果得到的。

本发明实施例提供一种图像搜索装置，包括：

第二接收单元，用于接收图像搜索请求，所述图像搜索请求中携带有搜索关键字信息；

查找单元，用于在各图像文件的文字标签信息中，查找与所述搜索关键字信息匹配的文字标签信息；

返回单元，用于针对所述图像搜索请求返回文字标签信息与所述搜索关键字信息匹配的图像文件。

本发明实施例提供一种图像处理系统，包括终端和服务器，其中，所述服务器中设置有上述服务器侧实施的图像处理装置，所述终端中设备有上述的终端侧实施的图像处理装置和/或上述的图像搜索装置。

本发明实施例提供的图像处理及搜索方法、装置和系统，由服务器对终端上传的图像文件进行识别，并将利用文字标签信息标注识别结果后得到的图像文件反馈给终端，这种，在进行图像搜索时，可以通过搜索关键字与图像文件中的文字标签信息进行匹配，并返回匹配的图像文件，由此，基于标注的文字标签信息实现了图像的自动搜索。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1为本发明实施例中，服务器实施图像处理方法的实施流程示意图；

图2为本发明实施例中，终端实施图像处理方法的实施流程示意图；

图3为本发明实施例中，图像搜索方法的实施流程示意图；

图4a为本发明实施例中，用户A向用户B传输图像文件的场景示意图；

图4b为本发明实施例中，图像处理及搜索方法应用于即时消息中时的实施例示意图；

图5为本发明实施例中，第一种图像处理装置的结构示意图；

图6为本发明实施例中，第二种图像处理装置的结构示意图；

图7为本发明实施例中，图像搜索装置的结果示意图；

图8为本发明实施例中，图像处理系统的结构示意图。

具体实施方式

为了实现图像的自动搜索，本发明实施例中提供了一种图像处理及搜索方法、装置和系统。

以下结合说明书附图对本发明的优选实施例进行说明，应当理解，此处所描述的优选实施例仅用于说明和解释本发明，并不用于限定本发明，并且在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。

如图1所示，为服务器侧实施图像处理方法的实施流程示意图，可以包括以下步骤：

S11、识别第一终端上传的第一图像文件，在第一图像文件上利用文字标签信息标注识别结果得到第二图像文件。

其中第一图像文件可以为服务器按照以下任一方式获得的：

方式一、

用户可以将已拍摄的图像文件利用第一终端上传给服务器进行图像识别，例如，用户在拍摄完成图像文件后，即利用第一终端上传给服务器进行图像识别。

方式二、

用户将第一终端本地存储的图像文件上传给服务器进行识别。

方式三、

用户在与好友利用即时通信客户端聊天时，通过服务器向好友传输的图像文件。

服务器在获得了第一图像文件后，利用图像识别技术对第一图像文件进行图像内容识别，例如识别图像中包含的物品、场景、人物等等。根据识别结果生成对应的文字标签信息，利用生成的文字标签信息标注图像中对应的识别结果。

S12、向第一终端返回第二图像文件。

较佳的，第二图像文件中的文字标签信息为可编辑的标签信息。即允许用户对第二图像文件中的文字标签信息进行修改。

基于此，服务器侧实施的图像处理方法还可以包括以下步骤：接收第一终端上传的第三图像文件，其中，第三图像文件为修改第二图像文件中的文字标签信息后得到的；修正存储的识别库中、对应识别结果的文字标签信息为第三图像文件中携带的文字标签信息。

具体实施时，第一终端接收到第二图像文件后，可以在本地显示第二图像文件，用户根据第二图像文件中标注的文字标签信息确认识别结果是否准确，如果不准确，可以对文字标签信息进行修改得到第三图像文件，并通过第一终端将第三图像文件上传至服务器，服务器比对第三图像文件与第二图像文件后，修改对应识别结果的文字标签信息。例如，服务器识别出第一图像文件中的玫瑰花，并在第一图像文件中的玫瑰花对应位置上标注文字标签信息“玫瑰花”后得到第二图像文件，将第二图像文件发送给第一终端后，用户将标注的文字标签信息“玫瑰花”修改为“绿色玫瑰花”得到第三图像文件，用户通过第一终端将第三图像文件发送给服务器，服务器比对第二图像文件和第三图像文件，根据比对结果，修正其存储的识别库中，对应识别结果的文字标签信息为“绿色玫瑰花”。

通过上述步骤，可以不断修正服务器存储的识别库，提升服务器端图像识别的准确率。

需要说明的是，具体实施时，如果服务器获得第一图像文件的方式为上述方式三时，服务器还需要向该用户的好友转发第二图像文件或者第三图像文件，具体的，服务器可以通过第二终端向该用户的好友转发第二图像文件或者第三图像文件。第一终端和第二终端在接收到第二图像文件或者第三图像文件后，显示第二图像文件或者第三图像文件，并在本地存储接收到的第二图像文件或者第三图像文件。

具体实施时，也可以在终端本地进行图像识别并利用文字标签信息对识别 结果进行标注并存储即可。

相应的，本发明实施例还提供了一种终端侧实施的图像处理方法，如图2所示，可以包括以下步骤：

S21、向服务器上传第一图像文件。

同样，终端可以通过以下任一方式向服务器上传第一图像文件：

方式一、

用户可以将已拍摄的图像文件利用第一终端上传给服务器进行图像识别，例如，用户在拍摄完成图像文件后，即利用第一终端上传给服务器进行图像识别。

方式二、

用户将第一终端本地存储的图像文件上传给服务器进行识别。

方式三、

用户在与好友利用即时通信客户端聊天时，通过服务器向好友传输的图像文件。

S22、接收该服务器返回的第二图像文件。

其中，第二图像文件为服务器对终端上传的第一图像文件进行图像内容识别后，在第一图像文件上利用文字标签信息标注识别结果得到的。

具体的，服务器在获得了第一图像文件后，利用图像识别技术对第一图像文件进行图像内容识别，例如识别图像中包含的物品、场景、人物等等。根据识别结果生成对应的文字标签信息，利用生成的文字标签信息标注图像中对应的识别结果得到第二图像文件。

较佳的，服务器标注的文字标签信息为可编辑的标签信息。终端在接收到第二图像文件后，向用户显示第二图像文件，如果用户认为第二图像文件中的文字标签信息不准确，可以进行修改得到第三图像文件，终端将第三图像文件上传给服务器，以供服务器修正其存储的识别库，提高图像内容识别的准确率。

基于此，终端侧实施的图像处理方法，还可以包括以下步骤：向服务器上 传修改第二图像文件中的文字标签信息得到的第三图像文件。

终端在本地存储第二图像文件和第三图像文件。

基于终端本地存储的第二图像文件或者第三图像文件，如果用户有搜索需求时，可以采用搜索关键字搜索进行搜索。以下以结合用户利用终端进行图像搜索的实施流程对本发明实施例提供的图像搜索方法进行说明。

如图3所示，为本发明实施例提供的图像搜索方法的实施流程示意图，可以包括以下步骤：

S31、接收图像搜索请求。

其中，在图像搜索请求中携带有搜索关键字信息。具体实施时，用户在进行图像搜索时，在终端显示的搜索框中输入搜索关键字。

S32、在各图像文件的文字标签信息中，查找与搜索关键字信息匹配的文字标签信息。

具体实施时，在接收到图像搜索请求后，根据其中携带的搜索关键字在本地存储的文字标签信息中搜索与搜索关键字匹配的文字标签信息。具体的匹配方式与现有的针对文字搜索的匹配过程相同，这里不再赘述。

S33、针对接收到的图像搜索请求返回文字标签信息与该搜索关键字信息匹配的图像文件。

具体的，返回匹配到的文字标签信息所在的图像文件。

为了更好的理解本发明，以下以用户A使用终端A在与用户B利用即时通信软件聊天过程中，用户A向用户B发送图像文件为例对本发明实施例的具体实施过程进行说明，其中用户B使用终端B与用户A进行通信。如图4a所示，为用户A向用户B传输图像文件的场景示意图，如图4b所示，可以包括以下步骤：

S41、用户A使用终端A通过服务器向终端B发送第一图像文件。

S42、服务器接收到用户A向用户发送的第一图像文件。

S43、服务器对第一图像文件进行图像内容识别。

例如，服务器对第一图像文件进行图像内容识别后，识别出其中的物品、场景等内容。

S44、服务器根据识别结果生成文字标签信息并在第一图像文件上标注得到第二图像文件。

S45、服务器将第二图像文件分别发送给终端A和终端B。

S46、终端A和终端B分别存储接收到的第二图像文件。

S47、用户A向终端A提交图像搜索请求，其中携带有搜索关键字。

具体的，用户A在需要进行图像搜索时，其可以向终端A提交搜索请求，并在终端A显示的搜索框中输入搜索关键字。

S48、终端A根据搜索关键字在存储的图像文件中查找文字标签信息与搜索关键字匹配的图像文件。

S49、终端A返回搜索到的图像文件。

具体实施时，用户B在需要进行图像搜索时，其可以向终端B提交搜索请求，并在终端B显示的搜索框中输入搜索关键字，终端B根据搜索关键字在存储的图像文件中查找文字标签信息与搜索关键字匹配的图像文件，并返回搜索到的图像文件。

具体实施时，终端还可以将用户输入的搜索关键字发送给服务器，协助服务器更新识别库和识别算法，提升服务器端图像内容识别的准确性。

需要说明的是，终端B可以接收多个终端，例如终端A1，A2，……An发送的第一图像文件，该第一图像文件由服务器标注文字标签信息后得的第二图像文件转发给终端B，终端B在本地存储接收到的标注了文字标签信息的图像文件。

本发明实施例提供的图像处理及搜索方法中，服务器在获得了终端上传的第一图像文件后，对获得的图像文件进行图像内容识别，根据识别结果生成对应的文字标签信息，并在图像中利用生成的文字标签信息标注对应的识别结果得到第二图像文件，将第二图像文件发送给终端后，如果用户修改其中的文字 标签信息，则由终端将用户修改文字标签信息后得到的第三图像文件发送给服务器，服务器根据第三图像文件，修正存储的识别库中对应的文字标签信息。

基于同一发明构思，本发明实施例中还分别提供了图像处理及搜索装置和图像处理系统，由于上述装置及系统解决问题的原理与上述方法相似，因此上述装置及系统的实施可以参见方法的实施，重复之处不再赘述。

如图5所示，为本发明实施例提供的第一种图像处理装置的结构示意图，可以包括：

识别单元51，用于识别第一终端上传的第一图像文件，在所述第一图像文件上利用文字标签信息标注识别结果得到第二图像文件。

较佳的，该文字标签信息为可编辑的标签信息。

返回单元52，用于向所述第一终端返回所述第二图像文件。

本发明实施例提供的第一种图像处理装置，还可以包括：

接收单元，用于接收所述第一终端上传的第三图像文件，所述第三图像文件为修改所述第二图像文件中的文字标签信息后得到的；

修正单元，用于修正存储的识别库中、所述识别结果对应的文字标签信息为所述第三图像文件中携带的文字标签信息。

其中，第一图像文件为第一终端向第二终端发送的；以及本发明实施例提供的第一种图像处理装置，还可以包括：

发送单元，用于向第二终端发送第二图像文件。

为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。上述第一种图像处理装置可以设置于服务器中，该服务器可以为即时消息服务器，也可以为专门的用户图像处理的图像处理服务器。当然，上述第一种图像处理装置也可以设置于终端中，由终端进行图像内容识别及标注识别结果的操作。

如图6所示，为本发明实施例提供的第二种图像处理装置的结构示意图， 可以包括：

上传单元61，用于向服务器上传第一图像文件；

第一接收单元62，用于接收所述服务器返回的第二图像文件，所述第二图像文件为所述服务器识别所述第一图像文件后，在所述第一图像文件上利用文字标签信息标注识别结果得到的。

较佳的，文字标签信息为可编辑的标签信息；以及

上传单元61，还可以用于向所述服务器上传修改所述第二图像文件中的文字标签信息得到的第三图像文件。

为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。上述第二种图像处理装置可以设置于终端中。

如图7所示，为本发明实施例提供的基于上述第二图像处理装置的图像搜索装置的结构示意图，可以包括：

第二接收单元71，用于接收图像搜索请求，所述图像搜索请求中携带有搜索关键字信息；

查找单元72，用于在各图像文件的文字标签信息中，查找与所述搜索关键字信息匹配的文字标签信息；

返回单元73，用于针对所述图像搜索请求返回文字标签信息与所述搜索关键字信息匹配的图像文件。

为了描述的方便，以上各部分按照功能划分为各模块(或单元)分别描述。当然，在实施本发明时可以把各模块(或单元)的功能在同一个或多个软件或硬件中实现。上述图像搜索装置可以设置于终端中。

如图8所示，为本发明实施例提供的图像处理系统的结果示意图，可以包括终端81和服务器82，其中，终端81中设置有上述第二种图像处理装置和/或上述的图像搜索装置，服务器82中设置有上述第一种图像处理装置。

本发明实施例提供的图像处理及搜索方法、装置和系统，由服务器对终端 上传的图像文件进行识别，并将利用文字标签信息标注识别结果后得到的图像文件反馈给终端，这种，在进行图像搜索时，可以通过搜索关键字与图像文件中的文字标签信息进行匹配，并返回匹配的图像文件，由此，基于标注的文字标签信息实现了图像的自动搜索。

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要 求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。