图像处理方法、装置和电子设备与流程

本发明实施例涉及人工智能技术领域，尤其涉及一种图像处理方法、装置和电子设备。

背景技术：

随着互联网技术的发展，人们越来越多地使用互联网进行诸如观看视频和浏览图像等等活动，由此，互联网视频和图像为许多新的业务提供了商机。因为互联网视频和图像可以成为重要的业务流量入口，因而被认为是植入相应业务如宣传活动或广告的优质资源。

现有业务植入多通过在图像外围设置相应信息如活动信息或广告信息，或者，在视频播放的某个时间插入固定时长的广告等方式实现。

但是，这种业务植入方式不能与图像或视频资源很好地结合，也无法达到与用户交互，以提高业务交互性和趣味性的效果。

技术实现要素：

本发明实施例提供了一种图像处理的技术方案，以解决目前的业务植入方式不能与图像或视频资源很好地结合，无法达到与用户交互以提高业务交互性和趣味性的问题。

根据本发明实施例的一个方面，提供了一种图像处理方法，包括：确定浏览器网页当前展示的图像中的目标对象的信息，其中，所述目标对象的信息包括所述目标对象的位置信息；确定待展示的业务对象，并根据所述目标对象的位置信息确定所述业务对象的展示位置；在所述网页中，基于所述图像在确定的所述展示位置展示所述业务对象。

根据本发明实施例的另一个方面，还提供了一种图像处理装置，包括：第一确定模块，用于确定浏览器网页当前展示的图像中的目标对象的信息，其中，所述目标对象的信息包括所述目标对象的位置信息；第二确定模块，用于确定待展示的业务对象，并根据所述目标对象的位置信息确定所述业务对象的展示位置；展示模块，用于在所述网页中，基于所述图像在确定的所述展示位置展示所述业务对象。

根据本发明实施例的又一个方面，还提供了一种电子设备，包括：处理器、存储器、通信接口和通信总线，所述处理器、所述存储器和所述通信接口通过所述通信总线完成相互间的通信；所述存储器用于存放至少一可执行指令，所述可执行指令使所述处理器执行如上所述的图像处理方法对应的操作。

根据本发明实施例提供的技术方案，基于当前网页中展示的图像中相应的目标对象的信息，确定待展示的业务对象及其展示位置，进而在当前网页中与图像一起展示业务对象。其中，业务对象可以是用于标识目标对象的标志，也可以是贴纸(如广告贴纸)等等。采用本发明实施例提供的技术方案，业务对象可以与图像中的目标对象紧密结合，既不影响观众的正常观看，也可以实现图像与用户的有效交互，提升了植入的业务对象与用户的交互性，也提升了用户浏览网页图像的趣味性。

附图说明

图1是根据本发明实施例一的一种图像处理方法的步骤流程图；

图2是根据本发明实施例二的一种图像处理方法的步骤流程图；

图3是图2所示实施例中的一种网页窗口逻辑分层的示意图；

图4是图2所示实施例中的一种业务对象展示效果图；

图5是根据本发明实施例三的一种图像处理装置的结构框图；

图6是根据本发明实施例四的一种图像处理装置的结构框图；

图7是根据本发明实施例五的一种电子设备的结构框图。

具体实施方式

下面结合附图(若干附图中相同的标号表示相同的元素)和实施例，对本发明实施例的具体实施方式作进一步详细说明。以下实施例用于说明本发明，但不用来限制本发明的范围。

本领域技术人员可以理解，本发明实施例中的“第一”、“第二”等术语仅用于区别不同步骤、设备或模块等，既不代表任何特定技术含义，也不表示它们之间的必然逻辑顺序。

实施例一

参照图1，示出了根据本发明实施例一的一种图像处理方法的步骤流程图。

本实施例的图像处理方法包括以下步骤：

步骤s102：确定浏览器网页当前展示的图像中的目标对象的信息。

其中，目标对象的信息包括目标对象的位置信息。

目标对象是存在于图像中的、易被观众查看的对象。本实施例中，对目标对象的检测和识别，以及对目标对象的信息的获取均可以由本领域技术人员采用任意适当的方式实现，包括但不限于使用神经网络模型(如卷积神经网络模型)或者特征提取算法或者其它适当方式，本实施例对此不作限制。

目标对象可以是任意适当的待处理对象，如，人整体、人体部位、动物、物品、商品标识、标志等等。目标对象的信息包括但不限于目标对象的位置信息，目标对象的位置信息可以指示目标对象在图像中的相对位置，

步骤s104：确定待展示的业务对象，并根据目标对象的位置信息确定业务对象的展示位置。

本发明实施例中，业务对象意指用于指示或者传递信息的设置，包括但不限于图标、贴纸、文字等等。

本步骤中，待展示的业务对象可以由本领域技术人员根据实际情况采用任意适当的方式确定，如，设置的默认业务对象，或者，根据图像的类型确定待展示的业务对象(如风景类型的图像可以对应卡通笑脸贴纸、卡通阳光、云朵贴纸等业务对象)，或者，根据图像中目标对象的类型确定待展示的业务对象(如对于美食类型的目标对象可以对应流口水的卡通笑脸图标等)。本实施例对具体的业务对象的确定方式不作限制。

在待展示的业务对象确定后，可以根据目标对象的位置信息确定业务对象的展示位置。例如，在业务对象的周边展示，或者，展示为业务对象的前景，或者，展示为业务对象的背景等等。

步骤s106：在浏览器当前网页中，基于当前展示的图像，在确定的业务对象的展示位置展示业务对象。

其中，对业务对象的展示包括但不限于使用计算机绘制、浏览器渲染等实现展示的方式。

通过本实施例的图像处理方法，基于当前网页中展示的图像中相应的目标对象的信息，确定待展示的业务对象及其展示位置，进而在当前网页中与图像一起展示业务对象。采用本实施例的图像处理方法，业务对象可以与图像中的目标对象紧密结合，既不影响观众的正常观看，也可以实现图像与用户的有效交互，提升了植入的业务对象与用户的交互性，也提升了用户浏览网页图像的趣味性。

本实施例的图像处理方法可以由任意适当的具有图像或数据处理能力的设备执行，包括但不限于：各种终端设备(包括pc机、平板电脑、移动终端等)和服务器等。

实施例二

参照图2，示出了根据本发明实施例二的一种图像处理方法的步骤流程图。

本实施例的图像处理方法包括以下步骤：

步骤s202：获取浏览器当前网页中当前展示的图像。

其中，当前展示的图像可以仅有一张，也可以有多张(本发明实施例中，“多张”、“多个”等有“多”有关的数量意指两个及两个以上)。若当前展示的图像有多张，可以针对每一张图像都进行如本发明实施例中所述的图像处理，也可以只对其中的部分图像进行如本发明实施例中所述的图像处理。

步骤s204：对获取的图像进行检测，获取图像中的目标对象的信息。

若待处理的图像包括多张，则对每张待处理的图像都进行检测，分别获取各图像中的目标对象的信息。

在一种可行方式中，可以通过经过训练的、具有图像检测功能的卷积神经网络进行图像检测，以获取图像中的目标对象的信息。卷积神经网络(convolutionalneuralnetwork，cnn)是一种深度学习网络架构，其受生物自然视觉认知机制启发而来。经过训练的cnn能够有效识别图像视觉规律，可广泛应用于诸如图像分类、物体检测、物体追踪、姿态估计等领域。本实施例可采用训练完成的、具有图像检测功能的卷积神经网络，通过该卷积神经网络可以获得图像的多种信息，包括但不限于图像中的目标对象的信息，如目标对象的位置信息、形状信息、尺寸信息、特征信息、标识信息等等。当然，目标对象的标识信息也可以采用其它方式得到，如人工或机器标注等等。其中，位置信息用于指示目标对象在图像中的位置；形状信息用于指示目标对象的形状；尺寸信息用于指示目标对象的大小尺寸；特征信息用于指示目标对象的特征，通过目标对象的特征可以有效地对图像中的对象是否为目标对象进行识别；标识信息用于标识目标对象，如将图像中的多个对象分别标识为logo-1、logo-2、obj-1、obj-2等，每一个标识都对应有一个对象的信息，如，logo-1为某个品牌标识、logo-2为另一个品牌标识、obj-1为一个杯子、obj-2为一个汽水瓶等等，通过这些标识及其与对象的对应关系，可以确定所被标识的对象是否为目标对象。

本实施例中，获取的目标对象的信息至少包括目标对象的位置信息，可选地，还可以包括目标对象的形状信息、尺寸信息、特征信息、标识信息中的至少一个。

在每一个图像中，都包括一个或多个目标对象。当目标对象包括多个时，该多个目标对象可以相同也可以不同，如包括多个杯子上相同的logo，或者，包括多个形状不同的杯子等等。不论目标对象是否相同，需要分别获取各个目标对象的信息。

步骤s206：确定待展示的业务对象，并根据目标对象的位置信息确定业务对象的展示位置。

本实施例中，业务对象为用于标识待处理的图像中的目标对象的设定标志；或者，为包含有语义信息的特效。可选地，所述特效可以包括二维贴纸特效或者三维特效。

其中，设定标志可以由本领域技术人员根据实际情况适当设置，能够实现对目标对象进行标志即可，如标示目标对象位置的线框、红心、星星等等。特效可以是三维形式的特效，如三维形式的广告特效(使用3d特效形式展示的广告)，也可以是二维形式的贴纸，如二维形式的广告贴纸特效(使用贴纸形式展示的广告)。但不限于此，其它形式的业务对象也同样适用本发明实施例提供的图像处理方案，如app或其它应用的文字说明或介绍，或者一定形式的与视频观众交互的对象(如电子宠物)等。

基于目标对象的信息，在确定待展示的业务对象时，可以根据目标对象的形状信息、尺寸信息、特征信息、标识信息中的至少一个，确定待展示的业务对象。例如，当目标对象的特征信息指示目标对象为一本书时，可以将目标对象确定为一个粗线方框，在展示时可以调整该方框大小以指明该书在图像中的位置，或者，也可以将目标对象确定为一个博士帽形状的卡通图片，在展示时将其展示于该书某个边角等等。

在根据目标对象的位置信息确定业务对象的展示位置时，可以按照设定规则进行确定。例如，在目标对象顶部之上设定范围内的位置展示业务对象，或者，在目标对象的周边位置展示业务对象，或者，在图像的边角或边界处展示业务对象，或者，如果业务对象不影响目标对象的显示，则可以在目标对象的位置范围内展示业务对象等等。

步骤s208：在浏览器当前网页中，基于当前展示的图像，在确定的业务对象的展示位置展示业务对象。

例如，可以采用任意适当的绘制或渲染方式，将业务对象绘制或渲染在相应的展示位置。

可选地，可以先确定与目标对象对应的网页设置；基于目标对象所在的图像，在网页中确定的展示位置展示业务对象，以及，在网页中展示网页设置。其中，网页设置包括以下至少之一：目标对象对应的提示信息(如，提示与目标对象有关的优惠信息或活动信息等)、目标对象对应的交互信息(如，交互按键，通过该交互按键可以与网页或后端服务器进行交互)、目标对象对应的链接信息(如，目标对象的购买链接信息或活动链接信息等等)。

在具体展示时，一种可选方式中，可以首先将图像绘制于浏览器的网页窗口的第一层；再基于绘制的图像和确定的展示位置，将业务对象绘制于网页窗口的第二层；接着将当前网页中除所述图像之外的其余网页内容绘制于网页窗口的第三层；然后，合并第一层、第二层和第三层，使第二层位于第一层之上，第三层位于第二层之上。

其中，可以采用计算机绘图方式进行上述绘制。计算机绘图方式可以通过任意适当的计算机图形图像绘制或渲染等方式实现，包括但不限于：基于opengl图形绘制引擎进行绘制等。opengl定义了一个跨编程语言、跨平台的编程接口规格的专业的图形程序接口，其与硬件无关，可以方便地进行2d或3d图形图像的绘制。通过opengl，不仅可以实现2d效果如2d贴纸的绘制，还可以实现3d特效的绘制等等。但不限于opengl，其它方式，如unity或opencl等也同样适用。

以下，以一个实例为例，对本实施例的上述采用三层绘制的方式进行说明。

如图3所示，其示出了一种网页窗口逻辑分层的示意图。其中，左侧的为第一层，其上绘制有当前展示的图像，该图像中，左侧杯子上的logo图标为目标对象；中间的为第二层，其上在业务对象的展示位置绘制有业务对象，本实例中为与目标对象相对应的圆形；右侧的为第三层，其上绘制有除图像之外的其它网页内容，本实例中主要为目标对象的活动提示(即图像中的“更多活动”选项)及相关网址。将第二层置于第一层之上，第三层置于第二层之上，进行图层合并，合并后的图层的展示效果如图4所示。从图4中可见，圆形的业务对象正好标识出logo图标的位置，当用户点击“更多活动”时，浏览器将会跳转到相应的活动说明网页。

可选地，还可以进一步对业务对象进行设置，使用户点击业务对象时也可以与浏览器进行交互，跳转至相应的页面，如活动说明网页等。

通过上述过程，实现了对浏览器当前页面中展示的图像的ar(augmentedreality，增强现实)处理，使得图像更有趣味也更具交互性。

需要说明的是，本实施例中仅以静态图像为例，对本发明的图像处理进行说明，但不限于此，本发明实施例的方案同样适用于视频帧序列中的视频帧图像，其具体实现与静态图像类似，在此不再赘述。

通过本实施例的图像处理方法，基于当前网页中展示的图像中相应的目标对象的信息，确定待展示的业务对象及其展示位置，进而在当前网页中与图像一起展示业务对象。采用本实施例的图像处理方法，业务对象可以与图像中的目标对象紧密结合，既不影响观众的正常观看，也可以实现图像与用户的有效交互，提升了植入的业务对象与用户的交互性，也提升了用户浏览网页图像的趣味性。

本实施例的图像处理方法可以由任意适当的具有图像或数据处理能力的设备执行，包括但不限于：各种终端设备(包括pc机、平板电脑、移动终端等)和服务器等。

实施例三

参照图5，示出了根据本发明实施例三的一种图像处理装置的结构框图。

本实施例的图像处理装置包括：第一确定模块302，用于确定浏览器网页当前展示的图像中的目标对象的信息，其中，目标对象的信息包括目标对象的位置信息；第二确定模块304，用于确定待展示的业务对象，并根据目标对象的位置信息确定业务对象的展示位置；展示模块306，用于在所述网页中，基于所述图像在确定的展示位置展示业务对象。

通过本实施例的图像处理装置，基于当前网页中展示的图像中相应的目标对象的信息，确定待展示的业务对象及其展示位置，进而在当前网页中与图像一起展示业务对象。采用本实施例的图像处理装置，业务对象可以与图像中的目标对象紧密结合，既不影响观众的正常观看，也可以实现图像与用户的有效交互，提升了植入的业务对象与用户的交互性，也提升了用户浏览网页图像的趣味性。

实施例四

参照图6，示出了根据本发明实施例四的一种图像处理装置的结构框图。

本实施例的图像处理装置包括：第一确定模块402，用于确定浏览器网页当前展示的图像中的目标对象的信息，其中，目标对象的信息包括所述目标对象的位置信息；第二确定模块404，用于确定待展示的业务对象，并根据目标对象的位置信息确定业务对象的展示位置；展示模块406，用于在所述网页中，基于所述图像在确定的展示位置展示业务对象。

可选地，目标对象的信息还包括以下至少之一：目标对象的形状信息、尺寸信息、特征信息、标识信息；第二确定模块404，用于根据目标对象的形状信息、尺寸信息、特征信息、标识信息中的至少一个，确定待展示的业务对象；并根据目标对象的位置信息确定业务对象的展示位置。

可选地，展示模块406用于确定与目标对象对应的网页设置；基于所述图像，在所述网页中确定的展示位置展示业务对象，以及，展示所述网页设置。

可选地，所述网页设置包括以下至少之一：目标对象对应的提示信息、目标对象对应的交互信息、目标对象对应的链接信息。

可选地，本实施例的图像处理装置还包括：获取模块408，用于在第一确定模块402确定浏览器网页当前展示的图像中的目标对象的信息之前，通过卷积神经网络对所述图像进行检测，获取目标对象的信息。

可选地，展示模块406包括：绘制模块4062，用于将所述图像绘制于浏览器的网页窗口的第一层；基于绘制的图像和确定的展示位置，将业务对象绘制于网页窗口的第二层；将所述网页中除所述图像之外的其余网页内容绘制于网页窗口的第三层；合并模块4064，用于合并第一层、第二层和第三层，其中，第二层位于第一层之上，第三层位于第二层之上。

可选地，所述图像包括静态图像或者视频帧图像。

可选地，业务对象为用于标识所述图像中的目标对象的设定标志；或者，为包含有语义信息的特效。

可选地，所述特效包括二维贴纸特效或者三维特效。

可选地，所述图像包括至少一个图像；每个图像中包括至少一个目标对象。

本实施例的图像处理装置用于实现前述多个方法实施例中相应的图像处理方法，并具有相应的方法实施例的有益效果，在此不再赘述。

实施例五

参照图7，示出了根据本发明实施例五的一种电子设备的结构示意图，本发明具体实施例并不对电子设备的具体实现做限定。

如图7所示，该电子设备可以包括：处理器(processor)502、通信接口(communicationsinterface)504、存储器(memory)506、以及通信总线508。

其中：

处理器502、通信接口504、以及存储器506通过通信总线508完成相互间的通信。

通信接口504，用于与其它设备比如客户端或其它服务器等的网元通信。

处理器502，用于执行程序510，具体可以执行上述图像处理方法实施例中的相关步骤。

具体地，程序510可以包括程序代码，该程序代码包括计算机操作指令。

处理器502可能是中央处理器cpu，或者是特定集成电路asic(applicationspecificintegratedcircuit)，或者是被配置成实施本发明实施例的一个或多个集成电路。服务器包括的一个或多个处理器，可以是同一类型的处理器，如一个或多个cpu；也可以是不同类型的处理器，如一个或多个cpu以及一个或多个asic。

存储器506，用于存放程序510。存储器506可能包含高速ram存储器，也可能还包括非易失性存储器(non-volatilememory)，例如至少一个磁盘存储器。

程序510具体可以用于使得处理器502执行以下操作：确定浏览器网页当前展示的图像中的目标对象的信息，其中，目标对象的信息包括目标对象的位置信息；确定待展示的业务对象，并根据目标对象的位置信息确定业务对象的展示位置；在所述网页中，基于所述图像在确定的展示位置展示业务对象。

在一种可选的实施方式中，目标对象的信息还包括以下至少之一：目标对象的形状信息、尺寸信息、特征信息、标识信息；程序510还用于使得处理器502在确定待展示的业务对象时，根据目标对象的形状信息、尺寸信息、特征信息、标识信息中的至少一个，确定待展示的业务对象。

在一种可选的实施方式中，程序510还用于使得处理器502在所述网页中，基于所述图像在确定的所述展示位置展示所述业务对象时，确定与所述目标对象对应的网页设置；基于所述图像，在所述网页中确定的所述展示位置展示所述业务对象，以及，展示所述网页设置。

在一种可选的实施方式中，所述网页设置包括以下至少之一：所述目标对象对应的提示信息、所述目标对象对应的交互信息、所述目标对象对应的链接信息。

在一种可选的实施方式中，程序510还用于使得处理器502在确定浏览器网页当前展示的图像中的目标对象的信息之前，通过卷积神经网络对所述图像进行检测，获取目标对象的信息。

在一种可选的实施方式中，程序510还用于使得处理器502在网页中，基于所述图像在确定的展示位置展示业务对象时，将所述图像绘制于浏览器的网页窗口的第一层；基于绘制的所述图像和确定的展示位置，将业务对象绘制于网页窗口的第二层；将所述网页中除所述图像之外的其余网页内容绘制于网页窗口的第三层；合并第一层、第二层和第三层，其中，第二层位于第一层之上，所第三层位于第二层之上。

在一种可选的实施方式中，所述图像包括静态图像或者视频帧图像。

在一种可选的实施方式中，业务对象为用于标识所述图像中的目标对象的设定标志；或者，为包含有语义信息的特效。

在一种可选的实施方式中，所述特效包括二维贴纸特效或者三维特效。

在一种可选的实施方式中，所述图像包括至少一个图像；每个图像中包括至少一个目标对象。

程序510中各步骤的具体实现可以参见上述图像处理方法实施例中的相应步骤和单元中对应的描述，在此不赘述。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的设备和模块的具体工作过程，可以参考前述方法实施例中的对应过程描述，在此不再赘述。

通过本实施例的电子设备，基于当前网页中展示的图像中相应的目标对象的信息，确定待展示的业务对象及其展示位置，进而在当前网页中与图像一起展示业务对象。采用本实施例的电子设备，业务对象可以与图像中的目标对象紧密结合，既不影响观众的正常观看，也可以实现图像与用户的有效交互，提升了植入的业务对象与用户的交互性，也提升了用户浏览网页图像的趣味性。

需要指出，根据实施的需要，可将本发明实施例中描述的各个部件/步骤拆分为更多部件/步骤，也可将两个或多个部件/步骤或者部件/步骤的部分操作组合成新的部件/步骤，以实现本发明实施例的目的。

上述根据本发明实施例的方法可在硬件、固件中实现，或者被实现为可存储在记录介质(诸如cdrom、ram、软盘、硬盘或磁光盘)中的软件或计算机代码，或者被实现通过网络下载的原始存储在远程记录介质或非暂时机器可读介质中并将被存储在本地记录介质中的计算机代码，从而在此描述的方法可被存储在使用通用计算机、专用处理器或者可编程或专用硬件(诸如asic或fpga)的记录介质上的这样的软件处理。可以理解，计算机、处理器、微处理器控制器或可编程硬件包括可存储或接收软件或计算机代码的存储组件(例如，ram、rom、闪存等)，当所述软件或计算机代码被计算机、处理器或硬件访问且执行时，实现在此描述的图像处理方法。此外，当通用计算机访问用于实现在此示出的图像处理方法的代码时，代码的执行将通用计算机转换为用于执行在此示出的图像处理方法的专用计算机。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及方法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明实施例的范围。

以上实施方式仅用于说明本发明实施例，而并非对本发明实施例的限制，有关技术领域的普通技术人员，在不脱离本发明实施例的精神和范围的情况下，还可以做出各种变化和变型，因此所有等同的技术方案也属于本发明实施例的范畴，本发明实施例的专利保护范围应由权利要求限定。