一种基于图片信息的识图方法、系统、设备及装置制造方法
【专利摘要】本发明提供一种基于图片信息的识图方法、系统、设备及装置，实现通过图片信息进行图片识别的方案。该方法提取到图片识别框中的用户输入的待辨识图片信息，将携带该待辨识图片信息的请求发送给图片引擎服务器，接收并显示图片引擎服务器返回的与该待辨识图片信息匹配的其他图片资源相关信息。由于在本发明实施例中根据获取的待辨识的图片信息向图片引擎服务器发送请求，图片索引服务器根据该待辨识的图片信息查找与其匹配的其他图片资源的相关信息，从而实现基于图片信息的识图方式，扩大了图片识别的适用范围，方便了用户的使用。
【专利说明】一种基于图片信息的识图方法、系统、设备及装置
【技术领域】
[0001]本发明涉及图片识别【技术领域】，尤其涉及一种基于图片信息的识图方法、系统、设备及装置。
【背景技术】
[0002]图片搜索是是通过搜索程序，向用户提供互联网上相关的图片资料的服务。图片搜索的目的是使用户查找出自己所需要的特定图片。
[0003]现有技术中，用户在进行图片搜索时，在搜索框中输入图片的描述文本，使服务器根据该图片的描述文本进行图片的搜索。
[0004]图1为现有技术提供的搜索框示意图，用户进行图片搜索时，打开浏览器后，点击搜索框上方类型“图片”，在搜索框中输入图片的描述文本，例如“刘德华”，点击右侧的搜索按钮后，将相应的请求发送到服务器，服务器根据接收到的请求向用户返回搜索到的图片信息。
[0005]现有技术的图片搜索方法，只适用于针对图片的描述文本的搜索。如果用户已知某一图片，需要识别该图片的相关信息，例如该图片的原始图片的属性信息等，现有技术并未提供相应的方案。因此，如何根据已知图片获取该图片的相关信息成为亟待解决的问题。
【发明内容】
[0006]鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的一种基于图片信息的识图方法、系统、设备及装置。
[0007]本发明实施例提供了一种基于图片信息的识图方法，该方法包括:
[0008]提取图片识别框中用户输入的待辨识图片信息；
[0009]发送携带所述待辨识图片信息的请求给图片引擎服务器；
[0010]接收所述图片引擎服务器查找到与所述待辨识图片信息匹配的其他图片资源相关信息，
[0011]显示根据所述其他图片资源相关信息构建的所述待识别图片的图片识别结果。
[0012]较佳地，为了准确的获取待辨识图片信息，保证后续识图的准确性，所述提取图片识别框中用户输入的待辨识图片信息包括:
[0013]识别用户在搜索框中触发的粘贴事件；
[0014]根据所述粘贴事件，访问用户本地设备的剪贴板；
[0015]获取剪贴板中的截图信息，将该截图信息作为提取的搜索框中用户输入的待辨识图片信息。
[0016]较佳地，为了准确的获取待辨识图片信息，保证后续识图的准确性，所述提取图片识别框中用户输入的待辨识图片信息之前还包括:
[0017]识别到用户在设定区域的拖拽开始事件时，向用户提供接收拖拽信息的拖拽放置输入框。[0018]较佳地，为了准确的获取待辨识图片信息，保证后续识图的准确性，所述发送携带所述待辨识图片信息的请求给图片引擎服务器包括:
[0019]识别用户在所述拖拽放置输入框中触发的拖拽结束事件；
[0020]发送携带所述拖拽放置输入框中输入的待辨识图片信息的请求给图片引擎服务器。
[0021]较佳地，为了准确的获取待辨识图片信息，保证后续识图的准确性，所述提取图片识别框中用户输入的待辨识图片信息包括:
[0022]识别所述用户拖拽操作对应待辨识图片信息的类型；
[0023]当判断所述待辨识图片信息为本地文件时，向用户本地设备提供上传图片的地址信息，当用户本地设备在所述地址上传图片后，访问所述地址，获取所述拖拽操作相应的图片信息，将其作为提取的拖拽放置输入框中用户输入的待辨识图片信息。
[0024]较佳地，所述提取图片识别框中用户输入的待辨识图片信息包括:
[0025]当判断所述待辨识图片信息为网络资源时，获取该图片信息对应的资源链接地址，确定该资源链接地址对应的数据信息为图片信息时，将该资源链接地址作为提取的用户在拖拽放置输入框中输入的待辨识图片链接地址信息。
[0026]本发明实施例提供了一种基于图片信息的识图装置，该装置包括:
[0027]提取模块，用于提取图片识别狂中用户输入的待辨识图片信息；
[0028]发送模块，用于发送携带所述待辨识图片信息的请求给图片引擎服务器；
[0029]接收显示模块，用于接收所述图片引擎服务器查找到的与所述待辨识图片信息匹配的其他图片资源相关信息，显示根据所述其他图片资源相关信息构建的待识别图片的图片识别结果。
[0030]较佳地，为了准确的获取待辨识图片信息，保证后续识图的准确性，所述提取模块，具体用于识别用户在搜索框中触发的粘贴事件；根据所述粘贴事件，访问用户本地设备的剪贴板；获取剪贴板中的截图信息，将该截图信息作为提取的搜索框中用户输入的待辨识图片息。
[0031]较佳地，为了准确的获取待辨识图片信息，保证后续识图的准确性，所述装置还包括:
[0032]搜索框提供模块，用于识别到用户在设定区域的拖拽开始事件时，向用户提供接收拖拽信息的拖拽放置输入框。
[0033]较佳地，为了准确的获取待辨识图片信息，保证后续识图的准确性，所述发送模块，具体用于识别用户在所述拖拽放置输入框中触发的拖拽结束事件；发送携带所述拖拽放置输入框中输入的待辨识图片信息的请求给图片引擎服务器。
[0034]较佳地，为了准确的获取待辨识图片信息，保证后续识图的准确性，所述提取模块，具体用于识别所述用户拖拽操作对应待辨识图片信息的类型；当判断所述待辨识图片信息为本地文件时，向用户本地设备提供上传图片的地址信息，当用户本地设备在所述地址上传图片后，访问所述地址，获取所述拖拽操作相应的图片信息，将其作为提取的拖拽放置输入框中用户输入的待辨识图片信息。
[0035]较佳地，所述提取模块，具体用于识别所述用户拖拽操作对应待辨识图片信息的类型；当判断所述待辨识图片信息为网络资源时，获取该图片信息对应的资源链接地址，确定该资源链接地址对应的数据信息为图片信息时，将该资源链接地址作为提取的用户在拖拽放置输入框中输入的待辨识图片链接地址信息。
[0036]本发明实施例提供了一种终端设备，该终端设备包括上述装置。
[0037]较佳地，为了准确的获取待辨识图片信息，保证后续识图的准确性，所述终端设备还包括:
[0038]剪贴板，用于存储复制事件对应的截图信息；
[0039]所述装置，用于识别用户在搜索框中触发的粘贴事件；根据所述粘贴事件，访问用户本地设备的剪贴板；获取剪贴板中的截图信息，将该截图信息作为提取的搜索框中用户输入的待辨识图片信息。
[0040]较佳地，为了准确的获取待辨识图片信息，保证后续识图的准确性，所述终端设备还包括:
[0041]用户输入模块，用于记录鼠标被操作的信息，及该操作发生的位置；
[0042]所述装置，具体用于监控到鼠标左键被按下并移动的操作发生的位置位于所述设定区域内时，将所述操作作为用户在该设定区域的拖拽开始事件。
[0043]较佳地，所述装置，还用于监控到鼠标左键被松开的操作的位置位于所述拖拽放置输入框中时，将所述操作作为用户在所述拖拽放置输入框中触发的拖拽结束事件。
[0044]本发明实施例提供了一种基于图片信息的识图系统，该系统包括上述装置，及接收携带所述待辨识图片信息的请求，查找并提供与所述待辨识图片信息匹配的其他图片资源相关信息的图片引擎服务器。
[0045]本发明实施例提供了一种基于图片信息的识图方法、系统、设备及装置，该方法提取到图片识别框中的用户输入的待辨识图片信息，将携带该待辨识图片信息的请求发送给图片引擎服务器，接收并显示图片引擎服务器返回的与该待辨识图片信息匹配的其他图片资源相关信息。由于在本发明实施例中根据获取的待辨识的图片信息向图片引擎服务器发送请求，图片索引服务器根据该待辨识的图片信息查找与其匹配的其他图片资源的相关信息，从而实现基于图片信息的识图方式，扩大了图片识别的适用范围，方便了用户的使用。
[0046]上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的【具体实施方式】。
【专利附图】
【附图说明】
[0047]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中:
[0048]图1为现有技术提供的搜索框示意图；
[0049]图2为本发明实施例提供的一种基于图片信息的识图过程；
[0050]图3为本发明实施例提供的基于图片的描述信息进行图片识别时的界面呈现示意图；
[0051]图4为本发明实施例提供的根据图3所示的待辨识图片信息识别出的图片相关信息示意图；[0052]图5为本发明实施例中复制图片链接地址信息的示意图；
[0053]图6A为本发明实施例提供的在搜索框中呈现图片链接地址信息的示意图；
[0054]图6B为本发明实施例提供的基于截图信息的图片识别时的界面呈现示意图；
[0055]图6C为本发明实施例中图片识别框中触发菜单后并选择粘贴操作的界面呈现示意图；
[0056]图6D为本发明实施例提供的显示“正在上传文件”的提示信息示意图；
[0057]图6E为本发明实施例提供的获取的截图信息并根据该截图信息获取的识别结果;
[0058]图7A为本发明实施例提供的拖拽放置输入框的信息呈现格式；
[0059]图7B为本发明实施例提供的拖拽网络资源识图的示意图；
[0060]图8为本发明实施例提供的一种基于图片信息的识图装置结构示意图；
[0061]图9为本发明实施例提供的一种终端设备结构示意图；
[0062]图10为本发明实施例提供的一种基于图片信息的识图系统结构示意图。
【具体实施方式】
[0063]为了实现通过图片信息进行图片识别的方案，扩大图片识别的适用范围，方便用户的使用。本发明实施例提供了一种基于图片信息的识图方法、系统、设备及装置。
[0064]下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
[0065]图2为本发明实施例提供的一种基于图片信息的识图过程，该过程包括以下步骤:
[0066]S201:提取图片识别框中用户输入的待辨识图片信息。
[0067]该待辨识图片信息包括:图片的描述信息，图片信息或图片链接地址信息等。图片的描述信息包括对图片特征进行描述的文本，例如“刘德华”、“风景”或“美女”等。
[0068]本发明实施例提供的该基于图片的识别方法，在进行图片识别时，不仅针对图片信息或图片链接地址等待辨识的图片信息可以识别，根据图片的描述信息也能识别出相应的相关图片。另外，无论用户输入的是图片的描述信息、图片信息，还是图片链接地址信息，只要在该同一图片识别框中输入即可。
[0069]S202:发送携带所述待辨识图片信息的请求给图片引擎服务器。
[0070]接收到用户发送的携带待辨识图片信息的请求后，将该请求发送给图片引擎服务器，通过图片引擎服务器向用户提供与该待辨识图片信息匹配的其他图片资源相关信息。
[0071]S203:接收所述图片引擎服务器查找到与所述待辨识图片信息匹配的其他图片资源相关信息，显示根据所述其他图片资源相关信息构建的所述待识别图片的图片识别结果。
[0072]由于在本发明实施例中根据获取的待辨识的图片信息向图片引擎服务器发送请求，图片索引服务器根据该待辨识的图片信息查找与其匹配的其他图片资源的相关信息，从而实现基于图片信息的识图方式，扩大了图片识别的适用范围，方便了用户的使用。[0073]本发明实施例中位于用户本地设备中的基于图片的识别装置为客户端，用户打开该客户端时，在客户端上呈现图片识别框，客户端提供与用户本地设备中用户输入模块进行交互的接口，获取用户输入的待辨识图片信息。图片识别框用于接收用户输入的待辨识图片信息，客户端提取图片识别框中用户输入的待辨识图片信息，其中，该待辨识图片信息包括图片的描述信息、图片信息或图片链接地址信息等。
[0074]在本发明实施例中该图片识别框包括搜索框和拖拽放置输入框，针对不同的输入情况，客户端向用户提供不同的图片识别框。打开客户端时，客户端提供的为搜索框。当客户端识别到用户在设定区域的拖拽开始事件时，向用户提供拖拽放置输入框。
[0075]实施例一:
[0076]图3为本发明实施例提供的基于图片的描述信息进行图片识别时的界面呈现示意图，客户端提供的搜索框接收用户输入的图片的描述信息“风景速写”，客户端提取搜索框中用户输入的图片的描述信息“风景速写”，并在用户点击“搜索一下”时，客户端接收携带该图片的描述信息的请求。客户端识别该请求中携带的为字符串，确定获取的为图片的描述信息。客户端根据与图片引擎服务器之间预先约定的数据传输格式，按照该格式封装该请求并发送给图片引擎服务器。
[0077]图片引擎服务器根据客户端提供的该携带图片的描述信息的请求，查找与该图片的描述信息匹配的图片相关信息，并将该图片相关信息提供给客户端。客户端接收图片引擎服务器提供的图片相关信息，并显示给用户，如图4所示的根据图3所示的待辨识图片信息识别出的图片相关信息示意图。
[0078]实施例二:
[0079]基于图3所示，客户端提供的搜索框接收用户输入的图片链接地址信息，该图片链接地址信息可以是用户通过键盘输入的，或者，也可以是复制的某一图片的链接地址信息。如图5所示复制图片链接地址信息的示意图，客户端识别用户在搜索框中触发的粘贴事件，例如在搜索框中进行“Ctrl+V”的操作，或者，在搜索框中点击“复制”操作。通过接口访问用户本地设备的剪贴板，获取剪贴板中图片链接地址信息并呈现在搜索框中，图6A为本发明实施例提供的在搜索框中呈现图片链接地址信息的示意图。
[0080]客户端提取搜索框中用户输入的信息，判断该信息中是否携带链接地址标识字段，当该信息中携带链接地址标识字段时，确定该信息为图片链接地址信息，其中链接地址标识字段可以是“http”标识字段。接收用户发送的携带该图片链接地址信息的请求，并将该请求按照与图片引擎服务器预先约定的数据格式进行封装，并将封装后的请求发送给图片引擎服务器。图片引擎服务器接收到该请求后，根据该请求中携带的图片链接地址信息，查找与该图片链接地址信息匹配的图片资源相关信息并提供给客户端进行显示。
[0081]实施例三:
[0082]用户在搜索框中输入的待辨识图片信息可以是截图信息，具体的所述提取图片识别框中用户输入的待辨识图片信息包括:
[0083]识别用户在搜索框中触发的粘贴事件；
[0084]根据所述粘贴事件，访问用户本地设备的剪贴板；
[0085]获取剪贴板中的截图信息，将该截图信息作为提取的搜索框中用户输入的待辨识图片信息。[0086]识别搜索框中用户触发的粘贴事件，具体的包括识别在搜索框中触发的“Ctrl+V”的操作，或者，识别搜索框中触发的“复制”操作等。
[0087]图6B为本发明实施例提供的基于截图信息的图片识别时的界面呈现示意图，在本发明实施例中当客户端被打开时，该客户端向用户提供如图6B所示的进行截图信息输入的搜索框。
[0088]为了识别出用户在搜索框中的操作，本发明实施例中客户端中绑定有一个监听事件，该监听事件监听鼠标和键盘被操作的信息，及该操作发生的位置。具体的鼠标的每个按钮是否被按下，键盘的什么按键被按下，什么时候被按下，在什么位置被按下等信息，在用户本地设备的操作系统的用户输入模块中都会有记录。鼠标左键被按下、右键被按下都会有相应的二进制数值，监听事件通过监听用户本地设备操作系统的用户输入模块中相应的二进制数值，确定当前鼠标右键是否被按下，当鼠标右键被按下的操作发生的位置位于搜索框中时，向用户提供可供选择的菜单，识别到用户选择粘贴操作时，确定识别到该用户在搜索框触发粘贴事件，如图6C所示的在搜索框中触发菜单后并选择粘贴操作的界面呈现示意图。
[0089]另外，用户本地设备操作系统中的用户输入模块中记录键盘中每个按键被按下的操作，及该操作发生的位置，当监听事件监听到键盘上的Ctrl键和V键同时被按下的操作，并且该操作的发生位置位于搜索框中时，确定识别到该用户在搜索框中触发粘贴事件。
[0090]用户在搜索框中触发粘贴事件之前，针对本地保存的图片或互联网上的图片进行了截图操作，截图操作对应的截图信息保存到用户本地设备的剪贴板中。当识别出用户在搜索框中触发粘贴事件时，访问用户本地设备的剪贴板，获取剪贴板中该粘贴事件对应的数据信息。
[0091]客户端获取剪贴板中该粘贴事件对应的数据信息后，判断该数据信息是否为图片信息，具体在进行判断时，判断该粘贴事件对应的数据信息的格式，是否满足图片信息的格式，例如判断该数据信息是否为.Jpg格式或者.Png格式等图片格式，当该数据信息的格式为图片格式时，确定该数据信息为待辨识图片信息。
[0092]从用户本地设备获取截图信息的过程，类似于截图信息的上传过程，基于客户端与用户本地设备之间的网络连接状况，为了便于用户及时了解截图信息的上传进程，显示“正在上传文件”的提示信息，提示信息所在的提示框替换或覆盖搜索框，如图6D所示。
[0093]客户端识别该请求中携带的该信息的格式为图片格式时，将该截图信息转换为base64格式，并将转换后的截图信息携带在请求中发送给图片引擎服务器。
[0094]图片引擎服务器接收该请求，根据该请求中携带的截图信息，根据建立的索引信息，获取与该截图信息匹配的其他图片资源相关信息。具体的，图片索引服务器根据浏览过的图片，建立特征索引库，图片索引服务器接收到该截图信息后，抽取图像的颜色、形状、纹理等特征，与特征索引库中的各图片按照一定的规则进行匹配，将匹配成功的图片作为识别结果提供给客户端。
[0095]图6E为本发明实施例提供的获取的截图信息并根据该截图信息获取的识别结果，该客户端在接收到搜索框中的触发的粘贴事件时，访问用户本地设备的剪贴板，获取该剪贴板中的截图信息，并将获取的该截图信息呈现在搜索框中，如图6E所示的苹果图片。客户端从用户本地设备的剪贴板并呈现该截图信息后，将携带该截图信息的请求发送给图片引擎服务器。图片引擎服务器根据该请求中携带的截图信息，获取与该截图信息匹配的其他图片资源相关信息提供给客户端显示。如图6E所示的客户端根据该截图信息构建的识图结果，在该识图结果的搜索框中不仅呈现了苹果的图片，还将与图片相匹配的文字“苹果”二字呈现处理，在搜索框下方呈现有与该截图信息-苹果图形及苹果二字相匹配的其他图片资源相关信息，例如图6E所示的对该截图信息的最佳猜测、苹果的相关图片，当然为了向用户提供全面的信息，该识图结果中还可以包括包含有该截图信息的网页等等。
[0096]实施例四:
[0097]具体的，本发明实施例中，基于拖拽图片的识图客户端被打开时，该客户端所占用的桌面区域，为设定区域。当其占用整个桌面时，该设定区域为整个桌面区域，当其占用桌面的部分区域时，该设定区域为该客户端占用的桌面的部分区域，该设定区域的大小随着客户端被打开时，占用区域的大小而变化。
[0098]另外，该拖拽操作为拖拽图片的操作，该图片可以是用户本地设备中存储的图片，也可以是互联网的网页上显示的图片等。
[0099]为了告知用户拖拽操作对应的数据信息的放置位置，该拖拽放置输入框中可以提供“将图片拖拽至此处”的提示信息，如图7A所示的拖拽放置输入框的信息呈现格式。
[0100]拖拽操作的图片可能来自于用户的本地设备，也可能来自于互联网，拖拽操作的图片的来源不同，对应的数据信息的类型也是不同的。因此在本发明实施例中可以通过识别用户拖拽操作对应数据信息的类型，判断数据信息的来源，从而采用相应的方式，提取拖拽放置输入框中用户输入的数据信息。
[0101]图6B为本发明实施例提供的基于拖拽图片的图片识别时的界面呈现示意图，在本发明实施例中当客户端被打开时，该客户端向用户提供的如图4所示的进行图片信息输入的搜索框，客户端识别到用户在设定区域的拖拽操作时，采用所述拖拽放置输入框替换所述搜索框，将所述拖拽放置输入框提供给用户，如图7A所示采用拖拽放置输入框替换搜索框后的界面呈现示意图。为了方便用户的拖拽，客户端可以在该拖拽放置输入框中显示“请将图片拖至此处”的提示信息，提示用户拖拽操作的数据信息的放置位置。
[0102]在本发明实施例中所述识别用户在设定区域的拖拽开始事件包括:
[0103]监控到在设定区域的鼠标左键被按下并移动的操作时，将所述操作作为用户在该设定区域的拖拽开始事件。
[0104]为了识别出用户在设定区域的拖拽操作，本发明实施例中客户端中绑定有一个监听事件，该监听事件监听鼠标被操作的信息，及该操作发生的位置。具体的鼠标的每个按钮是否被按下，什么时候被按下，在什么位置被按下，是否被移动，什么时候被移动，移动到什么位置，在用户本地设备的操作系统的用户输入模块中都会有记录。鼠标左键被按下、右键被按下都会有相应的二进制数值，监听事件通过监听用户本地设备操作系统的用户输入模块中相应的二进制数值，确定当前鼠标左键是否被按下，根据鼠标左键被按下的同时是否在进行移动。确定用户当前进行的操作是否为拖动操作。
[0105]监听事件根据该拖动操作的拖动位置，以及预先设置的设定区域，可以确定该拖动操作是否进入了该设定区域，当该拖动操作进入设定区域时，客户端向用户提供拖拽放置输入框。即当识别到用户在设定区域的拖拽开始事件时，向用户提供接收该拖拽信息的拖拽放置输入框。[0106]该拖拽开始事件是针对该设定区域的拖拽开始事件，其对应的拖拽操作可能已经开始了一段时间，例如用户在将本地文件向客户端提供的搜索框拖拽时，拖拽操作已经开始进行，只是该拖拽操作刚开始是在该设定区域之外，只有当该拖拽操作进入到该设定区域内，才将其作为在该设定区域的拖拽开始事件。客户端识别到用户在设定区域的拖拽开始事件时，向用户提供接收该拖拽信息的拖拽放置输入框。
[0107]在本发明实施例中拖拽操作可以针对本地文件，也可以针对网络资源，拖拽操作的数据信息来源不同，对应的数据信息的类型也不同，因此提取所述拖拽放置输入框中用户输入的数据信息包括:
[0108]识别所述用户拖拽操作对应数据信息的类型；
[0109]当判断所述数据信息的类型为本地文件时，向用户本地设备提供上传图片的地址信息，访问所述地址，获取所述拖拽操作相应的图片信息，将其作为提取的所述拖拽放置输入框中用户输入的数据信息。
[0110]用户本地设备上保存有一些图片，这些图片可以是从网上下载下来的，也可以是用户自身拍摄获得的，本发明实施例中可以针对用户本地设备保存的图片进行识别。具体的，用户可以将本地设备保存的图片，拖拽到客户端提供的拖拽放置输入框中。客户端识别到在设定区域的拖拽开始事件时，根据该拖拽操作对应的数据信息的类型，向用户本地设备提供上传图片的地址信息，以便用户将该图片上传到该地址。当用户本地设备在所述地址上传图片后，客户端访问该地址，获取该拖拽操作相应的图片信息。图片上传的过程中，为了便于用户及时了解上传的进程，在该拖拽放置输入框中，可以显示“正在上传文件”的提示信息，如图6D所示。
[0111]在本发明实施例中在发送携带所述数据信息的请求给图片引擎服务器时，包括:
[0112]识别用户在所述拖拽放置输入框中触发的拖拽结束事件；
[0113]发送携带所述数据信息的请求给图片引擎服务器。
[0114]具体的，识别用户在所述拖拽放置输入框中触发的拖拽结束事件包括:
[0115]监控到所述拖拽放置输入框中鼠标左键被松开的操作时，将所述操作作为用户在所述拖拽放置输入框中触发的拖拽结束事件。
[0116]根据上述描述，在本发明实施例中也是通过监听事件，监控用户在拖拽放置输入框中触发的拖拽结束事件。具体的，通过监控用户本地设备中的用户输入模块来获知，由于此时客户端的位置已知，因此拖拽放置输入框的位置也是已知的，通过监控用户在该拖拽放置输入框中是否触发了松开鼠标左键的操作，确定是否识别到该拖拽结束事件。
[0117]当识别到所述拖拽放置输入框中鼠标左键被松开的操作时，确定识别到用户在该拖拽放置输入框中触发的拖拽结束事件。将该提取的拖拽放置输入框中的数据信息携带在请求中，发送给图片引擎服务器。
[0118]上述实施例是识别从用户本地设备拖拽图片并识图的过程，当根据拖拽操作对应的数据信息的类型，确定数据信息的类型为网络资源时，提取所述拖拽放置输入框中用户输入的数据信息包括:识别所述用户拖拽操作对应数据信息的类型；当判断所述数据信息的类型为网络资源时，获取该图片信息对应的资源链接地址，确定该资源链接地址对应的数据信息为图片信息时，将该资源链接地址作为提取的所述拖拽放置输入框中用户输入的数据信息。[0119]当从互联网中拖拽图片时，该拖拽操作对应的数据信息为链接地址，因此可以根据数据信息的类型，确定该拖拽操作对应的数据信息的来源。当确定数据信息的类型为网络资源时，判断该资源链接地址对应的数据信息是否为图片信息，当该资源链接地址对应的数据信息为图片信息时，将该资源链接地址作为提取的该拖拽放置输入框中用户输入的数据信息。
[0120]判断该资源链接地址对应的数据信息是否为图片信息时，可以直接访问该资源链接地址对应的数据信息，判断该数据信息的格式是否为图片信息的格式，从而判断该数据信息是否为图片信息；或者，也可以直接判断该资源链接地址的后缀是否为图片格式后缀，例如判断该资源链接地址的后缀是否为.jpg或.png等格式，当该资源链接地址的后缀为图片格式后缀时，确定该资源链接地址对应的数据信息为图片信息。
[0121]图7B为本发明实施例提供的拖拽网络资源识图的示意图，在拖拽网络资源时，例如拖拽图片的链接地址为 http://i2.3conline.com/images/piclib/201112/07/batch/l/119940/1323247381299ul0eyma616.jpg，客户端在设定区域识别到该拖拽开始事件，采用拖拽放置输入框替换搜索框，并在拖拽放置输入框中显示“请将图片拖至此处”的提示信息。在该拖拽放置输入框中拖入数据信息后，客户端确定该拖拽操作的数据信息的类型为资源链接地址时，确定该数据信息来源于网络资源，获取该图片信息对应的资源链接地址，判断该资源链接地址的后缀为.jpg，确定该资源链接地址对应的数据信息为图片信息，将该资源链接地址作为提取的该拖拽放置输入框中用户输入的数据信息。
[0122]在该拖拽放置输入框中识别到拖拽结束事件时，将携带该资源链接地址的请求发送给图片引擎服务器，图片引擎服务器查找到与所述数据信息匹配的图片资源相关信息并发送给客户端，客户端显示根据其他图片资源相关信息构建的所述待识别图片的图片识别结果。具体的如图7B所示，在该图片识别结果中，搜索框中显示的为该链接地址http://i2.3conline.com/images/piclib/201112/07/batch/l/119940/1323247381299ul0eyma616.jpg对应的图片，并且在该搜索框中还显示有与该图片匹配的描述文本“植物大战僵尸”，在该搜索框下方显示有与该图片信息相匹配的其他图片资源相关信息，如搜索框下方的显示有与该搜索框中的数据信息相匹配的其他图片资源相关信息，例如图7B所示的对该数据信息的最佳猜测、该数据信息的相关图片，当然为了向用户提供全面的信息，该识图结果中还可以包括包含有该数据信息的网页等等。
[0123]图8为本发明实施例提供的一种基于图片信息的识图装置结构示意图，所述装置包括:
[0124]提取模块81，用于提取图片识别狂中用户输入的待辨识图片信息；
[0125]发送模块82，用于发送携带所述待辨识图片信息的请求给图片引擎服务器；
[0126]接收显示模块83，用于接收所述图片引擎服务器查找到的与所述待辨识图片信息匹配的其他图片资源相关信息，显示根据所述其他图片资源相关信息构建的待识别图片的图片识别结果。
[0127]所述提取模块81，具体用于识别用户在搜索框中触发的粘贴事件；根据所述粘贴事件，访问用户本地设备的剪贴板；获取剪贴板中的截图信息，将该截图信息作为提取的搜索框中用户输入的待辨识图片信息。
[0128]所述装置还包括:[0129]搜索框提供模块84，用于识别到用户在设定区域的拖拽开始事件时，向用户提供接收拖拽信息的拖拽放置输入框。
[0130]所述搜索框提供模块84，具体用于监控到在设定区域鼠标左键被按下并移动的操作时，将所述操作作为用户在设定区域的拖拽开始事件。
[0131]所述发送模块82，具体用于识别用户在所述拖拽放置输入框中触发的拖拽结束事件；发送携带所述拖拽放置输入框中输入的待辨识图片信息的请求给图片引擎服务器。
[0132]所述搜索框提供模块84，具体用于监控到在所述拖拽放置输入框中鼠标左键被松开的操作时，将所述操作作为用户在所述拖拽放置输入框中触发的拖拽结束事件。
[0133]所述提取模块81，具体用于识别所述用户拖拽操作对应待辨识图片信息的类型；当判断所述待辨识图片信息为本地文件时，向用户本地设备提供上传图片的地址信息，当用户本地设备在所述地址上传图片后，访问所述地址，获取所述拖拽操作相应的图片信息，将其作为提取的拖拽放置输入框中用户输入的待辨识图片信息。
[0134]所述提取模块81，具体用于识别所述用户拖拽操作对应待辨识图片信息的类型；当判断所述待辨识图片信息为网络资源时，获取该图片信息对应的资源链接地址，确定该资源链接地址对应的数据信息为图片信息时，将该资源链接地址作为提取的用户在拖拽放置输入框中输入的待辨识图片链接地址信息。
[0135]所述发送模块82，具体用于当所述请求中携带图片信息时，将所述图片信息转换为base64格式，并转换后的图片信息携带在请求中发送给图片引擎服务器。
[0136]图9为本发明实施例提供的一种终端设备结构示意图，所述终端设备包括图8所示的装置。
[0137]所述终端设备还包括:
[0138]剪贴板91，用于存储复制事件对应的截图信息；
[0139]所述装置92，用于识别用户在搜索框中触发的粘贴事件；根据所述粘贴事件，访问用户本地设备的剪贴板；获取剪贴板中的截图信息，将该截图信息作为提取的搜索框中用户输入的待辨识图片信息。
[0140]所述终端设备还包括:
[0141]用户输入模块93，用于记录鼠标被操作的信息，及该操作发生的位置；
[0142]所述装置92，具体用于监控到鼠标左键被按下并移动的操作发生的位置位于所述设定区域内时，将所述操作作为用户在该设定区域的拖拽开始事件。
[0143]所述装置92，还用于监控到鼠标左键被松开的操作的位置位于所述拖拽放置输入框中时，将所述操作作为用户在所述拖拽放置输入框中触发的拖拽结束事件。
[0144]图10为本发明实施例提供的一种基于图片信息的识图系统结构示意图，所述系统包括图8所述的装置92，及接收携带所述待辨识图片信息的请求，查找并提供与所述待辨识图片信息匹配的其他图片资源相关信息的图片引擎服务器1001。
[0145]本发明实施例提供了一种基于图片信息的识图方法、系统、设备及装置，该方法提取到图片识别框中的用户输入的待辨识图片信息，将携带该待辨识图片信息的请求发送给图片引擎服务器，接收并显示图片引擎服务器返回的与该待辨识图片信息匹配的其他图片资源相关信息。由于在本发明实施例中根据获取的待辨识的图片信息向图片引擎服务器发送请求，图片索引服务器根据该待辨识的图片信息查找与其匹配的其他图片资源的相关信息，从而实现基于图片信息的识图方式，扩大了图片识别的适用范围，方便了用户的使用。
[0146]在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
[0147]在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0148]类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循【具体实施方式】的权利要求书由此明确地并入该【具体实施方式】，其中每个权利要求本身都作为本发明的单独实施例。
[0149]本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0150]此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0151 ] 本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的基于图片的识别装置、设备及系统中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0152]应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0153]显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。
【权利要求】
1.一种基于图片信息的识图方法，其特征在于，该方法包括: 提取图片识别框中用户输入的待辨识图片信息； 发送携带所述待辨识图片信息的请求给图片引擎服务器； 接收所述图片引擎服务器查找到与所述待辨识图片信息匹配的其他图片资源相关信息， 显示根据所述其他图片资源相关信息构建的所述待识别图片的图片识别结果。
2.如权利要求1所述的方法，其特征在于，所述提取图片识别框中用户输入的待辨识图片信息包括: 识别用户在搜索框中触发的粘贴事件； 根据所述粘贴事件，访问用户本地设备的剪贴板； 获取剪贴板中的截图信息，将该截图信息作为提取的搜索框中用户输入的待辨识图片信息。
3.如权利要求1或2所述的方法，其特征在于，所述提取图片识别框中用户输入的待辨识图片信息之前还包括: 识别到用户在设定区域的拖拽开始事件时，向用户提供接收拖拽信息的拖拽放置输入框。
4.如权利要求1-3任一项所述的方法，其特征在于，所述识别用户在设定区域的拖拽开始事件包括: 监控到在设定区域鼠标左键被按下并移动的操作时，将所述操作作为用户在设定区域的拖拽开始事件。
5.如权利要求1-4任一项所述的方法，其特征在于，所述发送携带所述待辨识图片信息的请求给图片引擎服务器包括: 识别用户在所述拖拽放置输入框中触发的拖拽结束事件； 发送携带所述拖拽放置输入框中输入的待辨识图片信息的请求给图片引擎服务器。
6.一种基于图片信息的识图装置，其特征在于，所述装置包括: 提取模块，用于提取图片识别框中用户输入的待辨识图片信息； 发送模块，用于发送携带所述待辨识图片信息的请求给图片引擎服务器； 接收显示模块，用于接收所述图片引擎服务器查找到的与所述待辨识图片信息匹配的其他图片资源相关信息，显示根据所述其他图片资源相关信息构建的待识别图片的图片识别结果。
7.—种终端设备，其特征在于，所述终端设备包括如权利要求6任一所述的装置。
8.如权利要求7所述的终端设备，其特征在于，所述终端设备还包括: 剪贴板，用于存储复制事件对应的截图信息； 所述装置，用于识别用户在搜索框中触发的粘贴事件；根据所述粘贴事件，访问用户本地设备的剪贴板；获取剪贴板中的截图信息，将该截图信息作为提取的搜索框中用户输入的待辨识图片信息。
9.如权利要求7或8所述的终端设备，其特征在于，所述终端设备还包括: 用户输入模块，用于记录鼠标被操作的信息，及该操作发生的位置； 所述装置，具体用于监控到鼠标左键被按下并移动的操作发生的位置位于所述设定区域内时，将所述操作作为用户在该设定区域的拖拽开始事件。
10.一种基于图片信息的识图系统，其特征在于，所述系统包括如权利要求6任一所述的装置，及接收携带所述待辨识图片信息的请求，查找并提供与所述待辨识图片信息匹配的其他图片资源相关信息的图`片引擎服务器。
【文档编号】G06F9/44GK103678704SQ201310745246
【公开日】2014年3月26日 申请日期:2013年12月30日 优先权日:2013年12月30日
【发明者】赵瑾, 陈益国, 胡金辉, 韩玉刚 申请人:北京奇虎科技有限公司, 奇智软件（北京）有限公司