一种基于图片的相关物品信息处理方法及装置的制造方法

一种基于图片的相关物品信息处理方法及装置的制造方法
【专利摘要】本发明实施例提供一种基于图片的相关物品信息处理方法及装置，所述方法包括：获取页面中图片的链接地址；向服务器侧发送针对所述图片的物品识别请求；接收服务器侧返回的识别出来的物品属性信息；基于物品的区域尺寸信息计算出该物品在所述页面图片中的目标位置坐标；根据所述目标位置坐标，在所述页面图片之上设置相关物品信息提示标记。通过上述方法，用户通过页面图片上提示标记的位置即可直接确定出页面图片中对应的物品或物体，避免了提示标记的位置与物品或物体的出现偏差，造成信息不对应。
【专利说明】
一种基于图片的相关物品信息处理方法及装置
技术领域
[0001] 本发明实施例涉及互联网技术领域，尤其涉及一种基于图片的相关物品信息处理 方法及装置。
【背景技术】
[0002] 随着互联网技术的发展，人们已经习惯于通过诸如个人电脑、智能手机等智能终 端连接至互联网浏览各种网页来获取信息。
[0003] 目前，现有技术中，当用户在浏览网页时，可能会在网页图片中看到自己感兴趣的 物品或商品，例如，在关于某个明星的新闻网页中出现了该明星穿的某件裙子，用户若想进 一步了解该裙子的信息需要自己另行在搜索引擎输入关键词获取相关物品信息。
[0004] 然而，当用户按照上述现有技术获取物品相关信息时，需要自己重新检索，不但搜 索结果难以保证与物品相关，而且搜索过程非常繁琐、不便。

【发明内容】

[0005] 本发明实施例提供一种基于图片的相关物品信息处理方法及装置，用以解决现有 技术中用户通过搜索引擎获取网页图片中物品或物体的相关信息时导致的使用过程繁琐 不便的问题。
[0006] 本发明实施例提供一种基于图片的相关物品信息处理方法，包括：
[0007] 获取页面中图片的链接地址；
[0008] 向服务器侧发送针对所述图片的物品识别请求;所述物品识别请求包括:所述图 片链接地址；
[0009] 接收服务器侧返回的识别出来的物品属性信息;所述物品属性信息包括:物品的 区域尺寸信息；
[0010] 基于物品的区域尺寸信息计算出该物品在所述页面图片中的目标位置坐标；
[0011] 根据所述目标位置坐标，在所述页面图片之上设置相关物品信息提示标记。
[0012] 依据本发明的另一方面，提供了一种基于图片的相关物品信息处理装置，包括：
[0013] 图片地址获取模块，用于获取页面中图片的链接地址；
[0014] 识别请求发送模块，用于发送针对所述图片的物品识别请求;所述物品识别请求 包括:所述图片链接地址；
[0015] 接收模块，用于接收返回的识别出来的物品属性信息;所述物品属性信息包括:物 品的区域尺寸信息；
[0016] 目标位置确定模块，用于基于物品的区域尺寸信息计算出该物品在所述页面图片 中的目标位置坐标；
[0017] 提示标记设置模块，用于根据所述目标位置坐标，在所述页面图片之上设置相关 物品信息提示标记。
[0018] 本发明实施例至少包括以下优点：
[0019] 本发明实施例通过向服务器侧发送携带有图片链接地址的物品识别请求，然后， 基于从服务器侧接收的识别出来的物品尺寸信息计算出该物品在页面图片中的目标位置 坐标，并根据该目标位置坐标在页面图片之上设置相关物品信息的提示标记。这样一来，用 户可直接通过该提示标记查看该图片的相关物品信息，避免了用户另行打开搜索引擎查询 导致的使用繁琐不便的问题。
[0020] 进一步的，所述用于设置提示标记的目标位置是根据识别出的物品尺寸信息计算 得出，用户通过该提示标记的位置即可直接确定出页面图片中对应的物品或物体，避免了 提示标记的位置与物品或物体的出现偏差，造成信息不对应的问题。
【附图说明】
[0021] 为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现 有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发 明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根 据这些附图获得其他的附图。
[0022] 图1为本发明的一种基于图片的相关物品信息处理方法实施例一的流程图；
[0023] 图2为本发明的一种基于图片的相关物品信息处理方法实施例二的流程图；
[0024]图3为根据发明发一实施例设置物品信息提示标记和物品类别提示标签的显示效 果示意图；
[0025]图4为根据本发明一实施例在窗体中显示相关物品信息的效果示意图；
[0026] 图5为本发明的一种基于图片的相关物品信息处理方法应用实施例的流程图；
[0027] 图6为本发明的一种基于图片的相关物品信息处理装置实施例一的结构框图； [0028]图7为本发明一实施例中对目标图处理得到的图像候选区域效果示意图。
【具体实施方式】
[0029]为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例 中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是 本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员 在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0030] 本发明实施例可适用于通过客户端浏览网页。其中，所述客户端可以为智能电视、 智能手机、平板电脑、电视盒子、个人计算机等各种形式的终端设备。例如，用户可以通过智 能手机或电视上的浏览器(IE、Chorme、火狐）、APP(Application，应用程序)浏览网页。可以 理解，本发明实施例对于客户端的具体形式不加以限制。为便于描述，本发明方法实施例以 智能终端为例进行说明，其它应用场景相互参照即可。
[0031] 方法实施例一
[0032] 参照图1，示出了本发明的一种基于图片的相关信息处理方法实施例一的步骤流 程图，具体可以包括以下步骤：
[0033]步骤101、获取页面中图片的链接地址；
[0034]其中，所述页面既可以是浏览器中加载的网页，也可以其它任意应用程序从服务 器侧请求获取后所加载的页面，例如，新闻App中的新闻页面、微信朋友圈中的页面等。
[0035] 具体的，所述图片的链接地址(Uniform Resoure Locator，URL)存储在网页源文 件中，当加载页面时，浏览器根据该图片的URL获取对应的源图片进行显示。
[0036] 步骤102、向服务器侧发送针对所述图片的物品识别请求;所述物品识别请求包 括:所述图片链接地址；
[0037] 具体的，本发明实施例页面图片中所包含的物品可以是任意一种物品或商品，例 如:服装、电器、生活用品等，本发明对物品的内容或类型不作具体限制。
[0038] 步骤103、接收服务器侧返回的识别出来的物品属性信息；所述物品属性信息包 括:物品的区域尺寸信息；
[0039] 优选的，所述物品属性信息由服务器通过以下步骤得到：
[0040] 子步骤sll、根据物品识别请求中的图片链接地址获取对应的源图片；
[0041] 子步骤sl2、使用预先设置的物品探测模型采用卷积神经网络系统对所述源图片 进行识别，得到有效物品区域，以及对应的物品区域尺寸信息。
[0042] 具体的，卷积神经网络系统（Convolutional Neural Networks,CNN)是一个可以 根据收集的图片提取图像特征信息并通过利用大量不同类型的图像进行训练而实现深度 学习的识别系统，所谓深度学习为人工智能领域的前沿技术，其可以完成需要高度抽象特 征的人工智能任务，如语音识别、图像识别和检索、自然语言理解等。深度学习采用了深层 神经网络模型（Deep Neural Networks，DNN)，深层模型是包含多个隐藏层的人工神经网 络，多层非线性结构使其具备强大的特征表达能力和对复杂任务建模能力。从深层神经网 络模型发展而成的卷积神经网络系统，利用图像局部的统计特征信息与其他局部的特征信 息一致的固有特性进行图像分析和识别，尤其适用于像素点较多的大尺寸图像。本发明实 施例利用卷积神经网络系统对源图片进行识别处理，可以更准确地识别出图片中物品的区 域，以及该区域的尺寸信息。
[0043] 在本发明的一个优选实施例中，所述物品的区域尺寸信息通过以下步骤确定：
[0044] 子步骤s21、设置所述源图片左上角坐标为(0,0)，右下角坐标为（1，1);
[0045] 子步骤s22、将图片中包含物品的最小矩形确定为物品的区域尺寸信息。
[0046] 例如，通过上述步骤确定的物品区域尺寸信息（0.3，0.15)，（0.7，0.7);其中， (0.3,0.15)为矩形左上角坐标，（0.7,0.7)为矩形右下角坐标。
[0047]应当理解，以上给出的仅是确定物品区域尺寸信息优选的实现方式，本领域技术 人员在具体实现时也可以选择其他方式确定物品区域尺寸信息，例如，以左下角为原点建 立二维坐标系，然后在所述二维坐标系中选择包含物品的最小矩形各个顶点的坐标确定物 品区域尺寸信息。
[0048] 步骤104、基于物品的区域尺寸信息计算出该物品在所述页面图片中的目标位置 坐标；
[0049] 优选地，将所述物品区域的中心点确定为该物品在所述页面图片中的目标位置。 例如，假设源图片的尺寸为800px*600p X，识别出的物品区域尺寸信息（0.3,0.15)，（0.7， 0.7 )，其中心点为(0.4，0.5 )，然后，根据该中心点坐标得到对应的像素点坐标分别为800* 0 · 4 = 320ρχ，600*0 · 5 = 300px。
[0050] 在具体实现时，选择所属物品区域中的任意一点作为目标位置坐标也是可以的， 本发明实施例对此不作限制。
[0051] 步骤105、根据所述目标位置坐标，在所述页面图片之上设置相关物品信息提示标 记。
[0052] 在具体实现时，可根据不同的应用环境选择设置提示标记的方式。例如，对于浏览 器而言，可预先在网页中添加 js代码或浏览器插件，当需要设置提示标记时，通过所述js代 码或浏览器插件在所述目标位置以<div>元素生成提示标记;对于智能手机中的App程序， 可同过内置的图像控件在目标位置生成Tag对象设置提示标记。
[0053] 综上所述，本发明实施例通过向服务器侧发送携带有图片链接地址的物品识别请 求，然后，基于从服务器侧接收的识别出来的物品尺寸信息计算出该物品在页面图片中的 目标位置坐标，并根据该目标位置坐标在页面图片之上设置相关物品信息的提示标记。这 样一来，用户可直接通过该提示标记查看该图片的相关物品信息，避免了用户另行打开搜 索引擎查询导致的使用繁琐不便的问题。
[0054] 进一步的，所述用于设置提示标记的目标位置是根据识别出的物品尺寸信息计算 得出，用户通过该提示标记的位置即可直接确定出页面图片中对应的物品或物体，避免了 提示标记的位置与物品或物体的出现偏差，造成信息不对应的问题。
[0055]方法实施例二
[0056]参照图2,示出了本发明的一种基于图片的相关信息处理方法实施例二的步骤流 程图，具体可以包括以下步骤：
[0057]步骤201、获取页面中图片的链接地址；
[0058]步骤202、向服务器侧发送针对所述图片的物品识别请求；所述物品识别请求包 括:所述图片链接地址；
[0059]步骤203、接收服务器侧返回的识别出来的物品属性信息；所述物品属性信息包 括:图片链接地址、物品的区域尺寸信息、物品的类别信息；
[0060] 具体实现时，当页面中的多个图片均包含物品时，服务器侧可针对每个图片识别 出对应的物品属性信息，客户端根据服务器侧返回的物品属性信息中的图片链接地址，即 可确定出该物品属性信息具体对应页面中哪个图片。
[0061] 具体的，所述服务器识别出物品属性信息进一步还可以包括以下子步骤：
[0062] 子步骤sl3、根据卷积神经网络系统使用预先设置的物品分类模型确定所述有效 物品区域的物品分类特征向量；
[0063]子步骤sl4、从所述物品分类特征向量中选择向量值最大的分类确定为物品的类 别信息。
[0064] 例如，假设物品类别包含7个类别{外套、上装、裤子、裙装、鞋、包、配饰}，通过卷积 神经网络系统处理得到的有效物品区域的物品分类特征向量用（P(外套），P(上装），P(裤 子），P(裙装），P(鞋），P(包），P(配饰））表示，其中，P(x)代表该区域是X类物品的概率。若其 分类特征向量中P(鞋)的向量值最大，则该有效物品区域的物品类别为鞋。
[0065] 下面以图片中包含两个物品为例，给出一个服务器侧识别后返回的物品属性信息 示例：
[0068]步骤204、基于物品的区域尺寸信息计算出该物品在所述页面图片中的目标位置 坐标；
[0069]步骤205、根据所述目标位置坐标，在所述页面图片之上设置相关物品信息提示标 记；
[0070]在本发明的一个可选实施例中，所述步骤205之后，还包括：
[0071 ]在所述物品信息提示标记的一侧显示物品类别提示标签。
[0072]参见图3,示出了根据发明发实施例设置相关物品信息提示标记和物品类别提示 标签的显示效果示意图。在图3中，被识别出的物品包括:外套、长裤和包，在这3件物品上分 别设置有物品信息提示标记（以灰色小方框示出），在所述外套的一侧显示有物品类别提示 标签(相关外套）。
[0073]步骤206、当用户点击图片上的物品信息提示标记时，向服务器侧发送物品信息获 取请求;所述物品信息获取请求包括:图片链接地址、物品区域尺寸信息、物品类别信息； [0074]步骤207、基于图片链接地址和物品区域尺寸信息，在页面中显示从服务器侧接收 到的相关物品信息。
[0075] 具体的，所述相关物品信息由服务器通过以下步骤得到：
[0076] 子步骤s31、根据图片链接地址获取对应的源图片；
[0077] 子步骤s32、根据物品区域尺寸信息从所述源图片中抽取出对应的物品区域图像；
[0078] 子步骤s32、根据所述物品区域图像计算得到对应的分类特征值；
[0079] 子步骤s34、从预设的物品信息库中查找与所述分类特征值相似度满足预设阈值 的物品信息。
[0080] 其中，图像的分类特征值可根据其特征向量通过一定的函数转化而成，且函数可 根据不同的需求有不同的形式。例如对于一个七维分类特征向量(r 1，r2，r3，r4，r5，r6， r7)，其分类特征值R可以通过以下公式(1)计算得到：
[0081] R=rl+r2*10'2+r3*10'4+r4*10'6+r5*10'8+r6*10'10+r7*10'12 (1)
[0082] 当然，在具体实现时，也可以采用其它算法计算物品区域图像的分类特征值，本发 明实施例对此不作限制。
[0083]所述物品信息库可通过预先从各个电商网站中收集数据生成，其内容示例如表1 所示：
[0085] 表 1
[0086] 上述表1中包含的物品属性信息仅用于示例，具体实现时，可根据实际需要设置其 它物品属性信息，例如，物品颜色、物品所属性别等。
[0087] 具体的，可通过计算所述物品区域图像的分类特征值与所述商品信息库中每个商 品的图像分类特征值之间的欧式距离确定其相似度，若欧式距离越小，则两张图的相似度 越高;将相似度满足预设阈值的商品信息作为页面图片中物品的相关物品信息。例如，将相 似度最高的前10个物品的信息作为相关物品信息。
[0088] 进一步的，在本发明的另一可选实施例中，所述子步骤s34之后，还包括：
[0089] 子步骤s35、使用物品信息获取请求中的物品类别信息对得到的相关物品信息进 行匹配，将匹配的物品信息作为返回用户客户端的相关物品信息。
[0090] 通过物品类别信息对从商品信息库中查找得到的商品信息进行匹配筛选，不但减 少了在用户侧显示的相关物品信息的数量，减少了服务器需要返回的数据量，而且提高了 服务器侧返回的相关物品信息与当前物品的关联程度，方便用户快速选择定位
[0091] 需要说明的是，上述步骤202中从服务侧返回的识别出的物品属性信息中所携带 的物品类别信息，以及步骤206中向服务器侧发送的物品信息获取请求中所携带的物品类 别信息均为可选信息，其目的是为了服务器侧能够对从物品信息库中查找得出的物品信息 使用该物品类别信息做进一步筛选匹配，容易理解，即使上述步骤中不携带该物品类别信 息也是可以的，本发明实施例对此不作具体限制。
[0092] 进一步的，具体实现时，所述在页面中显示服务器侧返回的相关物品信息时可采 用不同的展现形式。例如，在当前页面中创建一个可关闭的窗体，然后以物品信息列表的形 式在所述窗体中显不相关物品彳目息。具体的，该相关物品彳目息列表中显不有物品缩略图、物 品价格、物品来源（电商平台），当用户点击物品缩略图后可根据该缩略图对应的物品链接 跳转至对应电商网站物品页面。参见图4,示出了一个在窗体中显示相关物品信息的效果示 意图。
[0093]进一步的，在本发明的一个可选实施例中，所述步骤205之后还包括：
[0094]步骤208、当用户使用鼠标或手指移动到所述物品信息提示标记的显示响应区时， 显不该图片上的相关物品?目息提不标记；
[0095]步骤209、当鼠标或手指移出所述显示响应区时，将所述相关物品信息提示标记设 置为隐藏状态。
[0096]具体的，可根据物品的区域尺寸信息设置显示响应区的范围。例如，在图3所示的 场景中，当鼠标移动至其中任意一个物品（外套、裤子、包)所在的区域时，显示该物品对应 的相关物品?目息提不标记。
[0097]综上所述，本发明实施例根据服务器侧返回的识别出的物品区域尺寸信息确定页 面图片中目标位置，并设置相关物品信息提示标记，之后，当用户点击图片上的相关物品信 息提示标记时，从服务器侧获取对应的相关物品信息进行显示，这样一来，当用户浏览网页 中看到任何自己感兴趣的物品或商品时，可直接点击物品信息提示标记来查看相关物品信 息，由于该相关物品信息是服务器侧根据物品区域图像计算分类特征，并按照该分类特征 从商品信息库中查找得到的满足相似度阈值的物品信息，因此，可有效保证用户点击提示 标记后看到的相关物品信息与当前物品之间在物品类别上具有非常高的关联度，提高了相 关物品信息的准确性。
[0098]方法实施例三
[0099]本实施例结合具体应用环境对上述实施例中对图片进行识别得到物品属性信息 的过程做进一步详细描述，该方法应用于服务器侧，具体包括：
[0100]步骤501、接收用户终端侧发送的物品识别请求;所述识别请求包括：图片链接地 址；
[0101] 步骤502、根据物品识别请求中的图片链接地址获取对应的源图片作为目标图；
[0102] 步骤503、按预设条件对所述源图片进行匹配，若匹配，则执行步骤504;
[0103] 本步骤为可选步骤。具体的，所述预设条件可以为图片大小、图片类型，例如:若源 图片小于400x300,或者图片类型为gif，则认为该源图片不匹配，提示用户或结束本次处 理。
[0104] 步骤504、将所述目标图输入预先设置的物体探测模型；
[0105] 其中，所述物体探测模型具体可通过预先收集图像，然后通过卷积神经网络系统 不断学习训练后得到。
[0106] 步骤505、对目标图使用训练完毕的物品分类CNN网络(物品分类模型)交替进行多 次子抽样与局部平均计算以及卷积过程，并获取其最后卷积层的处理结果；
[0107] 例如：对于一张分辨率为600*1000的目标图，最后一层卷积可得到的卷积特征图 大小约为40*60。
[0108] 步骤506、对上述步骤中最后卷积层的结果使用滑动窗口法进行处理，将得到若干 个图像候选区域；
[0109] 具体的，所述图像候选区域即可能包含有一个完整物品的最小区域。
[0110] 参见图7,示出了对一个目标图处理得到的若干个图像候选区域的效果示意图。如 图7所示，总共得到6个图像候选区域，分别表示为候选区域01、02、03、04、05、06。
[0111]步骤507、将上述图像候选区域提交给物品分类支持向量机（Support Vector Machine，SVM)进行处理，获取每个图像候选区域的分类特征向量；
[0112]例如:假设预先定义的物品类别表包含{外套、上装、裤子、裙装、鞋、包、配饰}时， 分类特征向量可用(P(外套），P(上装），P(裤子），P(裙装），P(鞋），P(包），P(配饰））表示，P (X)代表该区域是X类物品的概率。上述6个图像候选区域通过SVM处理后得到的分类特征向 量如下(仅作为示例，其中数值并非真实情况下的值）：
[0113] 候选区域01(0.4,0.1,0.2,0.05,0.3,0.02,0.1);
[0114] 候选区域02(0.2,0.05,0.05,0.02,0.02,0.01,0.01);
[0115] 候选区域03(0.05,0.01,0.02,0.02,0.05,0.1,0.4);
[0116] 候选区域04(0.02,0.02,0.1,0.2,0.1,0.3,0.2);
[0117] 候选区域 05(0 ·4,0 ·4,0 ·3，0·9,0.1,0.05,0.2);
[0118] 候选区域06(0.1,0.2,0.2,0.3,0.75,0.7,0.4);
[0119] 步骤508、对于其中的每一个图像候选区域，若其分类特征向量中有任一分量大于 预设阈值X，则可确定该图像候选区域包含的物品类别属于预先所定义的物品类别表，确定 该图像候选区域为有效物品区域；
[0120] 步骤509、根据确定的有效物品区域选出其分类特征向量中取值最大的分量所对 应的物品类别作为此区域的物品类别;选取该有效物品区域的顶点坐标确定出物品区域尺 寸信息。
[0121]例如，若设置阈值为0.7，则仅有候选区域05与06可被认定为有效物品区域，其物 品类别分别为裙装(0.9)与鞋(0.75);然后，根据该有效物品区域的左上角、右下角相对坐 标位置确定对应的物品区域尺寸信息。
[0122] 装置实施例：
[0123] 参照图6,示出了本发明的一种基于图片的相关物品信息处理装置实施例一的结 构框图，所述装置具体可以包括：图片地址获取模块610、识别请求发送模块620、接收模块 630、目标位置确定模块640、提示标记设置模块650;
[0124] 其中，
[0125] 图片地址获取模块610,用于获取页面中图片的链接地址；
[0126] 识别请求发送模块620,用于发送针对所述图片的物品识别请求;所述物品识别请 求包括:所述图片链接地址；
[0127] 接收模块630,用于接收返回的识别出来的物品属性信息；所述物品属性信息包 括:物品的区域尺寸信息；
[0128] 目标位置确定模块640,用于基于物品的区域尺寸信息计算出该物品在所述页面 图片中的目标位置坐标；
[0129] 提示标记设置模块650，用于根据所述目标位置坐标，在所述页面图片之上设置相 关物品?目息提不标记。
[0130] 综上所述，本发明上述实施例中识别请求发送模块620通过向服务器侧发送携带 有图片链接地址的物品识别请求，然后，目标位置确定模块640基于接收模块630从服务器 侧接收的识别出来的物品尺寸信息计算出该物品在页面图片中的目标位置坐标，提示标记 设置模块650根据该目标位置坐标在页面图片之上设置相关物品信息的提示标记。这样一 来，用户可直接通过该提示标记查看该图片的相关物品信息，避免了用户另行打开搜索引 擎查询导致的使用繁琐不便的问题。
[0131] 在本发明的另一可选实施例中，所述装置还包括：
[0132] 物品识别模块，所述物品识别模块用于根据接收的物品识别请求对图片进行识别 得到物品属性信息，所述物品属性信息包括:物品的区域尺寸信息；
[0133] 所述物品识别模块，具体包括：
[0134] 源图片第一获取子模块，用于根据物品识别请求中的图片链接地址获取对应的源 图片；
[0135] 第一识别子模块，用于使用预先设置的物品探测模型采用卷积神经网络系统对所 述源图片进行识别，得到有效物品区域，以及对应的物品区域尺寸信息。
[0136]进一步的，所述物品识别模块所识别出的物品属性信息还包括:物品的类别信息；
[0137] 所述物品识别模块，还包括；
[0138] 第二识别子模块，用于根据卷积神经网络系统使用预先设置的物品分类模型确定 所述有效物品区域的物品分类特征向量;从所述物品分类特征向量中选择向量值最大的分 类确定为物品的类别信息。
[0139] 在本发明的另一可选实施例中，所述装置还包括：
[0140]物品信息请求模块，用于当用户点击图片上的物品信息提示标记时，发送物品信 息获取请求;所述物品信息获取请求包括:图片链接地址、物品区域尺寸信息；
[0141]物品信息显示模块，用于基于图片链接地址和物品区域尺寸信息，在页面中显示 接收到的相关物品信息。
[0142] 进一步的，所述装置还包括：
[0143] 物品信息获取模块，用于根据接收到的物品信息获取请求获取对应的相关物品信 息;所述物品信息获取请求包括:图片链接地址、物品区域尺寸信息；
[0144] 所述物品信息获取模块，具体包括：
[0145] 源图片第二获取子模块，用于根据图片链接地址获取对应的源图片；
[0146] 区域图像抽取子模块，用于根据物品区域尺寸信息从所述源图片中抽取出对应的 物品区域图像；
[0147] 分类特征确定子模块，用于根据所述物品区域图像计算得到对应的分类特征值；
[0148] 物品信息查询子模块，用于从预设的物品信息库中查找与所述分类特征值相似度 满足预设阈值的物品信息。
[0149] 需要说明的是，对于上述装置实施例而言，所述包含物品识别模块和/或物品信息 获取模块的装置可应用于客户端，也可应用于服务器。当应用于客户端时，该客户端可直接 对图片链接地址对应的源图片进行识别。
[0150] 本发明实施例还提供了一种基于图片的相关物品信息处理系统，所述系统包括客 户端和服务器；
[0151]其中，所述客户端包括:图片地址获取模块，用于获取页面中图片的链接地址；
[0152] 识别请求发送模块，用于向服务器发送针对所述图片的物品识别请求;所述物品 识别请求包括:所述图片链接地址；
[0153] 接收模块，用于接收服务器返回的识别出来的物品属性信息;所述物品属性信息 包括:物品的区域尺寸信息；
[0154]目标位置确定模块，用于基于物品的区域尺寸信息计算出该物品在所述页面图片 中的目标位置坐标；
[0155] 提示标记设置模块，用于根据所述目标位置坐标，在所述页面图片之上设置相关 物品?目息提不标记；
[0156] 所述服务器包括：
[0157] 物品识别模块，所述物品识别模块用于根据接收的物品识别请求对图片进行识别 得到物品属性信息，并将所述物品属性信息返回至所述客户端;所述物品属性信息包括:物 品的区域尺寸信息；
[0158] 所述物品识别模块，具体包括：
[0159] 源图片第一获取子模块，用于根据物品识别请求中的图片链接地址获取对应的源 图片；
[0160] 第一识别子模块，用于使用预先设置的物品探测模型采用卷积神经网络系统对所 述源图片进行识别，得到有效物品区域，以及对应的物品区域尺寸信息。
[0161] 其中，所述物品识别模块，还包括；
[0162] 第二识别子模块，用于根据卷积神经网络系统使用预先设置的物品分类模型确定 所述有效物品区域的物品分类特征向量;从所述物品分类特征向量中选择向量值最大的分 类确定为物品的类别信息。
[0163] 进一步的，所述客户端还包括：
[0164] 物品信息请求模块，用于当用户点击图片上的物品信息提示标记时，发送物品信 息获取请求;所述物品信息获取请求包括:图片链接地址、物品区域尺寸信息；
[0165] 物品信息显示模块，用于基于图片链接地址和物品区域尺寸信息，在页面中显示 接收到的相关物品信息。
[0166] 进一步的，所述服务器还包括：
[0167] 物品信息获取模块，用于根据接收到的物品信息获取请求获取对应的相关物品信 息，并将所述相关物品信息返回至所述客户端;所述物品信息获取请求包括：图片链接地 址、物品区域尺寸信息；
[0168] 所述物品信息获取模块，具体包括：
[0169] 源图片第二获取子模块，用于根据图片链接地址获取对应的源图片；
[0170] 区域图像抽取子模块，用于根据物品区域尺寸信息从所述源图片中抽取出对应的 物品区域图像；
[0171] 分类特征确定子模块，用于根据所述物品区域图像计算得到对应的分类特征值；
[0172] 物品信息查询子模块，用于从预设的物品信息库中查找与所述分类特征值相似度 满足预设阈值的物品信息。
[0173] 本发明实施例的一种基于图片的相关物品信息处理装置、系统用于实现前述方法 实施例中相应的基于图片的相关物品信息处理方法，并具有与方法实施例相应的有益效 果。
[0174] 对于装置、系统实施例而言，由于其与方法实施例基本相似，所以描述的比较简 单，相关之处参见方法实施例的部分说明即可。
[0175] 本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与 其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统实施例 而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部 分说明即可。
[0176]以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可 以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单 元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其 中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性 的劳动的情况下，即可以理解并实施。
[0177]通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可 借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上 述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该 计算机软件产品可以存储在计算机可读存储介质中，如R0M/RAM、磁碟、光盘等，包括若干指 令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施 例或者实施例的某些部分所述的方法。
[0178]最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制;尽管 参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解:其依然可 以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换； 而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和 范围。
【主权项】
1. 一种基于图片的相关物品信息处理方法，其特征在于，所述方法包括： 获取页面中图片的链接地址； 向服务器侧发送针对所述图片的物品识别请求;所述物品识别请求包括:所述图片链 接地址； 接收服务器侧返回的识别出来的物品属性信息；所述物品属性信息包括:物品的区域 尺寸信息； 基于物品的区域尺寸信息计算出该物品在所述页面图片中的目标位置坐标； 根据所述目标位置坐标，在所述页面图片之上设置相关物品信息提示标记。2. 根据权利要求1所述的方法，其特征在于，所述物品属性信息通过以下步骤得到： 根据物品识别请求中的图片链接地址获取对应的源图片； 使用预先设置的物品探测模型采用卷积神经网络系统对所述源图片进行识别，得到有 效物品区域，以及对应的物品区域尺寸信息。3. 根据权利要求2所述的方法，其特征在于，所述从服务器侧返回的物品属性信息还包 括:物品的类别信息； 所述使用预先设置的物品探测模型采用卷积神经网络算法对所述源图片进行识别，得 到有效物品区域，以及对应的物品区域尺寸信息的步骤之后，还包括； 根据卷积神经网络系统使用预先设置的物品分类模型确定所述有效物品区域的物品 分类特征向量； 从所述物品分类特征向量中选择向量值最大的分类确定为物品的类别信息。4. 根据权利要求1所述的方法，其特征在于，所述方法还包括： 当用户点击图片上的物品信息提示标记时，向服务器侧发送物品信息获取请求;所述 物品信息获取请求包括:图片链接地址、物品区域尺寸信息； 基于图片链接地址和物品区域尺寸信息，在页面中显示从服务器侧接收到的相关物品 信息。5. 根据权利要求4所述的方法，其特征在于，所述相关物品信息通过以下步骤得到： 根据图片链接地址获取对应的源图片； 根据物品区域尺寸信息从所述源图片中抽取出对应的物品区域图像； 根据所述物品区域图像计算得到对应的分类特征值； 从预设的物品信息库中查找与所述分类特征值相似度满足预设阈值的物品信息。6. -种基于图片的相关物品信息处理装置，其特征在于，所述装置包括： 图片地址获取模块，用于获取页面中图片的链接地址； 识别请求发送模块，用于发送针对所述图片的物品识别请求;所述物品识别请求包括： 所述图片链接地址； 接收模块，用于接收返回的识别出来的物品属性信息;所述物品属性信息包括:物品的 区域尺寸信息； 目标位置确定模块，用于基于物品的区域尺寸信息计算出该物品在所述页面图片中的 目标位置坐标； 提示标记设置模块，用于根据所述目标位置坐标，在所述页面图片之上设置相关物品 信息提示标记。7. 根据权利要求6所述的装置，其特征在于，所述装置还包括： 物品识别模块，所述物品识别模块用于根据接收的物品识别请求对图片进行识别得到 物品属性信息，所述物品属性信息包括:物品的区域尺寸信息； 所述物品识别模块，具体包括： 源图片第一获取子模块，用于根据物品识别请求中的图片链接地址获取对应的源图 片； 第一识别子模块，用于使用预先设置的物品探测模型采用卷积神经网络系统对所述源 图片进行识别，得到有效物品区域，以及对应的物品区域尺寸信息。8. 根据权利要求7所述的装置，其特征在于，所述物品识别模块所识别出的物品属性信 息还包括:物品的类别信息； 所述物品识别模块，还包括； 第二识别子模块，用于根据卷积神经网络系统使用预先设置的物品分类模型确定所述 有效物品区域的物品分类特征向量;从所述物品分类特征向量中选择向量值最大的分类确 定为物品的类别信息。9. 根据权利要求6所述的装置，其特征在于，所述装置还包括： 物品信息请求模块，用于当用户点击图片上的物品信息提示标记时，发送物品信息获 取请求;所述物品信息获取请求包括:图片链接地址、物品区域尺寸信息； 物品信息显示模块，用于基于图片链接地址和物品区域尺寸信息，在页面中显示接收 到的相关物品信息。10. 根据权利要求9所述的装置，其特征在于，所述装置还包括： 物品信息获取模块，用于根据接收到的物品信息获取请求获取对应的相关物品信息； 所述物品信息获取请求包括:图片链接地址、物品区域尺寸信息； 所述物品信息获取模块，具体包括： 源图片第二获取子模块，用于根据图片链接地址获取对应的源图片； 区域图像抽取子模块，用于根据物品区域尺寸信息从所述源图片中抽取出对应的物品 区域图像； 分类特征确定子模块，用于根据所述物品区域图像计算得到对应的分类特征值； 物品信息查询子模块，用于从预设的物品信息库中查找与所述分类特征值相似度满足 预设阈值的物品信息。
【文档编号】G06F17/30GK106095884SQ201610396744
【公开日】2016年11月9日
【申请日】2016年6月3日 公开号201610396744.9, CN 106095884 A, CN 106095884A, CN 201610396744, CN-A-106095884, CN106095884 A, CN106095884A, CN201610396744, CN201610396744.9
【发明人】黄鼎隆, 傅恺, 王海涵, 王文娟, 马修·罗伯特·斯科特
【申请人】深圳码隆科技有限公司