标签位置获取方法及装置与流程

本发明涉及图像
技术领域：
，特别涉及一种标签位置获取方法及装置。
背景技术：
随着互联网的发展，以图像的形式来展示商品越来越普遍。在广告图像上添加商品信息的标签，如价格标签、材质标签或产地标签等，可以准确的向人们传递商品信息，促进商品销售。由于广告图像上不仅包含商品还可能包含模特或背景等，所以如何获取图像的标签位置尤为重要。广告图像的标签位置很多情况下是人为确定的，但随着广告图像数量日益增多，通过人为确定标签位置的方法需消耗大量人力。为了节省人力，出现了一种基于规则的方式来获取标签位置的方法，比如将广告图像的中心位置确定为标签位置等，这种单纯的基于规则的方式来获取标签位置的方法，没有对图像进行理解，当商品没有位于广告图像的中心时，获取到的标签位置可能处于广告图像中心处的其他物体上，造成标签位置获取的不准确，从而无法达到通过标签进行提示的目的。为了提升标签位置获取的准确性，还有一种对图像进行显著性检测来获取标签位置的方法，对广告图像的颜色、强度或空间信息等特征进行分析，获取图像中更吸引人注意的区域，并将该区域的任一位置确定为标签位置。在实现本发明的过程中，发明人发现现有技术至少存在以下问题：即使通过显著性检测获取到了图像中更吸引人注意的区域，但是无法确定该区域就是商品所在的区域，所以对图像进行显著性检测并不能准确的找到图像中商品所在的区域，获取到的标签位置的准确性低，不能适应实际的展示需求。技术实现要素：为了解决现有技术的问题，本发明实施例提供了一种标签位置获取方法及装置。所述技术方案如下：一方面，提供了一种标签位置获取方法，所述方法包括：根据目标物的信息对图像进行目标检测，得到第一位置点，所述第一位置点指示所述目标物所在的矩形区域的位置；获取所述图像的第一图像区域，所述第一图像区域用于指示所述图像中所述目标物所处主体的轮廓；获取所述第一图像区域中的第二图像区域，所述第二图像区域用于指示所述目标物的轮廓；当所述第一位置点位于所述第二图像区域内时，将所述第一位置点作为所述图像的标签位置。一方面，提供了一种标签位置获取装置，所述装置包括：检测模块，用于根据目标物的信息对图像进行目标检测，得到第一位置点，所述第一位置点指示所述目标物所在的矩形区域的位置；第一获取模块，用于获取所述图像的第一图像区域，所述第一图像区域用于指示所述图像中所述目标物所处主体的轮廓；第二获取模块，用于获取所述第一图像区域中的第二图像区域，所述第二图像区域用于指示所述目标物的轮廓；确定模块，用于当所述第一位置点位于所述第二图像区域内时，将所述第一位置点作为所述图像的标签位置。一方面，提供了一种计算机设备，所述计算机设备包括处理器和存储器，所述存储器中存储有至少一条指令，所述指令由所述处理器加载并执行以实现如上述标签位置获取方法所执行的操作。一方面，提供了一种计算机可读存储介质，所述存储介质中存储有至少一条指令，所述指令由处理器加载并执行以实现如上述标签位置获取方法所执行的操作。本发明实施例提供的技术方案带来的有益效果是：通过结合目标检测技术以及多层次的识别过程，能够从图像中将目标物的轮廓准确的确定出来，这种识别过程能够全面的理解图像的语义信息，给标签位置的获取提供了良好的依据，提高了标签位置获取的准确性。附图说明为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1是本发明实施例提供的一种实施环境图；图2是本发明实施例提供的一种标签位置获取方法的流程图；图3是本发明实施例提供的对图像进行目标检测后的示例图；图4是本发明实施例提供的对图像进行分割后的示例图；图5是本发明实施例提供的对图像进行分割后的示例图；图6a是本发明实施例提供的一个处理流程图；图6b是本发明实施例提供的一个目标检测的效果示意图；图6c是本发明实施例提供的一个目标分割的效果示意图；图6d是本发明实施例提供的一个服饰分割的效果示意图；图7是本发明实施例提供的一种标签位置获取装置的结构框图；图8是本发明实施例提供的一种计算机设备的示意图。具体实施方式为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。图1是本发明实施例提供的一种实施环境图。该实施环境包括多个终端101、用于为该多个终端提供服务的服务器102。多个终端101通过无线或者有线网络和服务器102连接，该多个终端101可以为能够访问服务器102的电子设备，该电子设备可以为电脑、智能手机、平板电脑或者其他电子设备。服务器102可以为一个或者多个网站服务器，该服务器102可以作为信息的载体，来提供关于目标物的服务。例如，该服务器102可以提供目标物的展示信息页面，进一步地，该服务器还可以基于目标物的展示信息页面提供购买或推荐服务等，本发明实施例对此不做具体限定。对于服务器102来说，该服务器102还可以具有至少一种数据库，用以存储目标物信息、用户信息以及用户相关行为数据等等。另外，上述服务器102在获取到图像时，还可以根据业务需求为图像添加标签，该标签可以为价格标签、品牌标签、购买链接标签等等，该标签等也可以存储于上述数据库中。图2是本发明实施例提供的一种标签位置获取方法的流程图。在上述图1所示的实施环境中，服务器102也即是一种计算机设备，因此，在本发明实施例中仅以计算机设备为执行主体进行说明，参见图2，所述方法包括：201、计算机设备接收图像以及图像的文字信息。对于计算机设备来说，可以根据图像的文字信息中可以包括目标物的信息，该图像的文字信息可以是为该图像配置的一段广告信息，也可以是该图像上所包含的文字信息。如果图像的文字信息是该图像上所包含的文字信息，则计算机设备可以在接收到图像后，通过图像识别从图像中识别出该文字信息。当然，在从图像中识别文字信息时，可以基于整个图像进行识别，也可以基于图像中的预设位置进行识别，该预设位置是指图像中预先设置好的、用于添加文字信息的位置，这种有规律的识别可以大大提高识别速度，提高识别效率。需要说明的是，该图像的文字信息还可以是通过参考图像得到，也即是，计算机设备获取一张用于指示目标物的参考图像，并从参考图像已标注的目标物上提取其标签作为该文字信息，或是提取该目标物的描述信息作为文字信息。202、该计算机设备从该文字信息中提取目标物的信息。该提取过程可以是采取关键字提取的方式，也即是，计算机设备可以从文字信息中提取预设关键字或提取具有预设标记的关键字，从而得到目标物的信息，该预设关键字可以是基于数据库预设的关键字集合进行提取，而预设标记可以是用于标识任一个目标物。其中，该目标物的信息可以包括目标物的描述信息，该描述信息可以是目标物的类别、目标物的颜色等。203、该计算机设备根据该目标物的信息，对该图像进行目标检测，得到该第一位置点。上述目标检测过程可以采用目标检测模型进行，该目标检测模型可以采用分类或回归算法，以回归算法为例，事先基于多个训练图像、物体的文字信息以及训练图像中所标识的物体位置来建立回归模型，以找到因变量和自变量之间的关系，使得当计算机设备获取到新的图像时，根据回归模型，确定图像中目标物所在的矩形区域，并确定该矩形区域的至少一个代表性的位置点为第一位置点，如，确定该矩形区域的中心点的位置为第一位置点。例如，参见图3，该图3所示的矩形区域的中心点，即为通过目标检测所确定的第一位置点。具体的，在建立任一模型时，所采用的训练图像的物体位置可以如下表1所示。其中i1、i2…in用于指示多张图像，物体1、物体2…物体n用于指示每张图像中的多个物体，将图像在平面直角坐标系中表示，(xmin,ymin,xmax,ymax)用于指示每个物体所处的区域信息，xmin为横坐标的最小值，ymin为纵坐标的最小值，xmax为横坐标的最大值，ymax为纵坐标的最大值，(xmin,ymin)对应于物体所在矩形区域的左上角的坐标，(xmax,ymax)对应于物体所在矩形区域的右下角的坐标。表1i1物体1(xmin,ymin,xmax,ymax)物体2(xmin,ymin,xmax,ymax)…物体n(xmin,ymin,xmax,ymax)i2物体1(xmin,ymin,xmax,ymax)物体2(xmin,ymin,xmax,ymax)…物体n(xmin,ymin,xmax,ymax)……………in物体1(xmin,ymin,xmax,ymax)物体2(xmin,ymin,xmax,ymax)…物体n(xmin,ymin,xmax,ymax)可选地，计算机设备还可以基于分类算法进行目标检测，虽然获取的算法模型不同，但过程与基于回归算法进行目标检测的步骤相同，在此不再赘述。上述步骤201至203是计算机设备根据目标物的信息对图像进行目标检测，得到第一位置点的过程。为了更准确的表达图像的语义信息，则可以在步骤201接收到图像以及图像配置的广告信息后，再对图像进行识别以得到文字信息，并基于广告信息和识别出的文字信息进行上述步骤202的提取，并基于分别提取到的目标物的信息进行比较，当基于二者所提取到的目标物的信息相同时，则直接进行步骤203的目标检测过程，而当二者所提取到的目标物的信息不同时，可以提示发布人员进行检查，以避免获取位置发生错误。204、计算机设备根据多个已知主体类别，对该图像进行目标分割，得到该图像中的至少一个子区域，每个该子区域对应于一类已知主体类别。在本发明实施例中，多个已知主体类别包括人物、建筑物、植物、动物、地表环境等任一种自然物或人造物的类别。通过上述步骤203的目标检测过程所获取到的位置点，实际指示了目标物所在的矩形区域。当目标物为不规则的形状时，该矩形区域中可能不只包含目标物还包含周围背景，而仅通过目标检测不能确定获取到的第一位置点是在目标物上还是在周围背景上。例如，目标物为裤子时，当图像上裤子的两条裤腿之间存在缝隙时，可能会导致包含裤子的矩形框的中心点不在裤子上，而是在中间的缝隙中，此时若在矩形框的中心点的位置上添加标签，就会造成标签位置错误，所以为了提升标签位置获取的准确性，计算机设备还会对获取到的图像进行目标分割，从而确定目标物的轮廓区域。本发明实施例中，计算机设备利用目标分割技术对图像进行目标分割，该目标分割技术是指根据图像中的像素点及预先设置的已知主体类别的实例(instance)，从图像中确定哪些像素点属于哪一类已知主体类别的技术，该预先设置的已知主体类别主要用于指示哪些像素点或是像素点的组合属于哪一类主体类别。通过上述目标分割技术，能够很好地的描述主体的轮廓，该技术不但可以分割出图像中不同类型的主体，还可以分割出图像中同一主体类型的不同个体，如，当图像中包含多个人时，目标分割技术会将多个人，按照人物1、人物2…人物n的形式分割出来。例如，参见图4，该图4所示的为经过目标分割所得到的多个主体。具体的，该目标分割过程可以采用分割模型进行，计算机设备在进行目标分割之前，可以先训练分割模型，利用多个训练图像以及多个训练图像中已经标注的主体来训练得到分割模型。该分割模型即可以确定图像中各个像素点所属的主体。当然，该分割模型可以与上述在进行目标检测所采用的模型合成为一个模型，也即是，可以在训练目标检测模型时，训练数据中不仅包括多个训练图像、训练图像中所标识的物体位置，还包括各个训练图像中所标注的主体，并在初始训练模型上增加一层训练，以得到一个能够输出目标检测结果以及目标分割结果的模型。当计算机设备对新获取到图像进行目标分割时，可以在执行步骤203时，也执行步骤204，以便确定图像中的各个像素点所属的主体，以至少一个主体的轮廓区域。205、计算机设备在该至少一个子区域中，确定至少一个目标子区域，每个目标子区域与指定主体类别对应，该指定主体类别与该目标物的类别匹配。在进行目标分割时，分割可以得到多个类别的主体，为了避免其他主体对位置确定的干扰，可以根据目标物的类别对上述至少一个子区域进行筛选，以减少后续的数据处理量。对于该至少一个子区域来说，其每个子区域会对应于一个主体类别，因此，可以确定目标物的类别，再根据目标物的类别，确定该目标物的类别匹配的指定主体类别，再确定至少一个目标子区域。该目标物类别与主体类别之间的匹配关系可以事先配置，例如，如果目标物的类别为服饰，匹配的主体类别为人，如果目标物的类别为广告牌，则匹配的主体类别为建筑物，该匹配关系可以基于真实世界或虚拟世界的一般布置规则确定，本发明实施例对此不做具体限定。206、当该图像中包含1个目标子区域时，计算机设备将该1个目标子区域作为该第一图像区域。207、当该图像中包含2个或2个以上的目标子区域时，计算机设备从该2个或2个以上的目标子区域中识别出包含该目标物的目标子区域，将该包含该目标物的目标子区域作为该第一图像区域。当然，对于一张图像来说，可以包括属于指定主体类别的至少一个主体，因此，为了降低后续的数据处理量以及提高准确性，还需要基于主体数量的不同进行不同处理，例如步骤206中，在只有1个指定主体的情况下，则可以直接将该指定主体的子区域作为第一图像区域，继续进行下一步处理，而步骤207中，在包括了2个以上指定主体的情况下，则需要再次识别哪个指定主体上包括了该目标物，该识别可以是基于目标物的信息的识别，例如，目标物的信息为灰色小西服，则计算机设备可以从多个目标子区域中识别包括灰色的子区域，当然，计算机设备还可以从多个目标子区域中识别出包括西服的子区域，本发明实施例对此不做具体限定。208、计算机设备根据多个已知目标物类别，对所述第一图像区域进行目标分割，得到所述第一图像区域的多个子区域，每个子区域对应于一种目标物类别；将与所述目标物类别对应的子区域作为第二图像区域。其中，多个已知目标物类别包括多种服饰类别，例如上衣、下衣、鞋子、钱包或项链等。由于第一图像区域实际上所标注的主体的轮廓区域，该主体上还可以是由多个不同类别的物品组成，如，当确定第一图像区域为人时，该人的身上可以包括头发、皮肤、上衣、裤子以及鞋子等，因此，为了更明确的确定目标物在图像中的位置，计算机设备还需要对第一图像区域进行更细化的目标分割，得到该第一图像区域的多个子区域，以得到对应于不同目标物类别的子区域，并从该第一图像区域的多个子区域中确定与目标物类别对应的子区域。例如，参见图5，通过上述的目标分割，可以得到一个人身上的各个服饰部分。对于分割得到的第一图像区域的多个子区域来说，每个子区域具有相应的目标物类别，因此，可以基于该目标物的类别对子区域进行筛选，以得到该目标物对应的第二图像区域。需要说明的是，上述步骤203至步骤208均可以采用同一个模型实现，也即是，对于整个过程来说，可以通过将图像和文字信息输入模型，以确定第二图像区域，再基于后续209、210步骤来确定图像的标签位置。209、当计算机设备确定第一位置点位于第二图像区域内时，将该第一位置点作为图像的标签位置。210、当计算机设备确定第一位置点不位于第二图像区域内时，从第二图像区域中确定第二位置点，将该第二位置点作为图像的标签位置，第二位置点为第二图像区域中与第一位置点距离最小的点。为了提高标签位置获取的准确性，确保标签能添加在图像中的目标物位置上，计算机设备需要结合第一位置点和第二图像区域，来判断上述获取到的第一位置点是否为图像上需要添加标签的位置。计算机设备可以判断该第一位置点是否位于该第二图像区域内，以便根据判断结果来确定到底选择哪个点来作为图像的标签位置。本发明实施例提供的方法，通过结合目标检测技术以及多层次的识别过程，能够从图像中将目标物的轮廓准确的确定出来，这种识别过程能够全面的理解图像的语义信息，给标签位置的获取提供了良好的依据，提高了标签位置获取的准确性。下面以目标物的信息为“黑色小西服”为例，参见图6a所示的流程，来介绍上述实施例提供的方法流程。首先，从广告信息中提取“黑色小西服”作为目标物的信息。其次，将该“黑色小西服”和待确定标签位置的图像输入到目标检测模型中，此时，通过模型所输出的位置点可以从图像中标识出黑色小西服所在的矩形区域的中心点c，参见图6b。其次，对该图像进行初步的目标分割，计算机设备从图像中确定背景区域和如图6c中所示的人对应的区域a。再次，对该图像进行进一步的服饰分割，对图像中的人的各个服饰区域进行分割后，可以将该主体区分为如图6d中所示的上衣区域a1、裤子区域a2、鞋子区域a3、包区域a4以及头发区域a5等。当然，具体区分为几个区域本发明不做限定。最后，判断一下之前输出的矩形区域的中心点c(x1，y1)是否位于上衣区域a1的位置，如果是，则直接将矩形区域的中心点c作为后续添加标签的位置，而如果不是，则从该上衣区域a1中确定一个和矩形区域中心点距离最小的点z，作为后续添加标签的位置，并为该图像在该位置上添加对应标签。图7是本发明实施例提供的一种标签位置获取装置的结构示意图。参见图7，所述装置包括：检测模块701，用于根据目标物的信息对图像进行目标检测，得到第一位置点，所述第一位置点指示所述目标物所在的矩形区域的位置；第一获取模块702，用于获取所述图像的第一图像区域，所述第一图像区域用于指示所述图像中所述目标物所处主体的轮廓；第二获取模块703，用于获取所述第一图像区域中的第二图像区域，所述第二图像区域用于指示所述目标物的轮廓；确定模块704，用于当所述第一位置点位于所述第二图像区域内时，将所述第一位置点作为所述图像的标签位置。在一种可能实施方式中，所述第一获取模块包括：第一分割子模块，用于根据多个已知主体类别，对所述图像进行目标分割，得到所述图像中的至少一个子区域，每个所述子区域对应于一类已知主体类别；确定子模块，用于将所述至少一个子区域中包含所述目标物的子区域作为所述第一图像区域。在一种可能实施方式中，所述确定子模块用于：在所述至少一个子区域中，确定至少一个目标子区域，每个目标子区域与指定主体类别对应，所述指定主体类别与所述目标物的类别匹配；当所述图像中包含1个目标子区域时，将所述1个目标子区域作为所述第一图像区域；当所述图像中包含2个或2个以上的目标子区域时，从所述2个或2个以上的目标子区域中识别出包含所述目标物的目标子区域，将所述包含所述目标物的目标子区域作为所述第一图像区域。在一种可能实施方式中，所述第二获取模块用于：根据多个已知目标物类别，对所述第一图像区域进行目标分割，得到所述第一图像区域的多个子区域，每个子区域对应于一种目标物类别；将与所述目标物类别对应的子区域作为第二图像区域。在一种可能实施方式中，所述确定模块用于当所述第一位置点不位于所述第二图像区域内时，从所述第二图像区域中确定第二位置点，将所述第二位置点作为所述图像的标签位置；其中，所述第二位置点为所述第二图像区域中与所述第一位置点距离最小的点。在一种可能实施方式中，所述检测模块用于：接收图像以及图像的文字信息；从所述文字信息中提取目标物的信息；根据所述目标物的信息，对所述图像进行目标检测，得到所述第一位置点。在一种可能实施方式中，所述检测模块还用于：获取参考图像，所述参考图像中包括已标注的所述目标物；从所述参考图像中提取所述目标物以及所述目标物的文字信息；将所述目标物的文字信息作为所述图像的文字信息输入。其中，所述多个已知主体类别包括人物、建筑物、植物、动物、地表环境的任一种自然物或人造物的类别。其中，所述多个已知目标物类别包括多种服饰类别。图8是本发明实施例提供的一种计算机设备的示意图，该服务器800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(centralprocessingunits，cpu)801和一个或一个以上的存储器802，其中，所述存储器802中存储有至少一条指令，所述至少一条指令由所述处理器801加载并执行以实现上述各个方法实施例提供的标签位置获取方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入输出接口等部件，以便进行输入输出，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。在示例性实施例中，还提供了一种计算机可读存储介质，例如包括指令的存储器，上述指令可由终端中的处理器执行以完成下述实施例中的标签位置获取方法。例如，所述计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。当前第1页12