一种在视频中融合推荐内容的方法和装置与流程

本发明涉及计算机技术领域，具体涉及一种在视频中融合推荐内容的方法、装置、电子设备和计算机可读存储介质。

背景技术：

随着各种视频应用程序的增多，在视频中插入推荐的内容(如广告)的方式已经成为各商家进行推销的途径之一。在现有技术中，通常是在视频开始/结束播放时插入一些推荐的内容或者在视频播放的过程中插入推荐的内容，以便向用户进行推送，进而起到宣传的作用。但是，这样的推荐方式会影响用户浏览视频的流畅性，造成用户的反感情绪，降低用户的使用体验。

技术实现要素：

鉴于上述问题，提出了本发明以便提供一种克服上述问题或者至少部分地解决上述问题的在视频中融合推荐内容的方法和装置、电子设备、计算机可读存储介质。

根据本发明的一个方面，提供了一种在视频中融合推荐内容的方法，其中，该方法包括：

对视频的各帧图像进行检测，判断图像中是否存在可加载推荐内容的区域；

如果图像中存在可加载推荐内容的区域，获取推荐内容；

将所获取的推荐内容融合到所述视频中的存在可添加推荐内容区域的各帧图像中。

可选地，所述判断图像中是否存在可加载推荐内容的区域包括：

通过检测判断图像中是否存在如下对象中的一种或多种：墙面、桌面、电视屏幕和指定的一个或多个商品。

可选地，所述获取推荐内容包括：

确定可加载推荐内容的区域的特征信息，获取与所述特征信息匹配的推荐内容。

可选地，所述可加载推荐内容的区域的特征信息包括如下中的一种或多种：

可加载推荐内容的区域的分类信息；

可加载推荐内容的区域的尺寸信息。

可选地，所述获取推荐内容包括：

确定收看所述视频的用户的画像信息；

获取与所述画像信息匹配的推荐内容。

可选地，所述确定收看所述视频的用户的画像信息包括：

收集所述用户的网络行为信息；

根据所述网络行为信息分析出所述用户的画像信息。

可选地，所述网络行为信息包括如下中的一种或多种：

搜索行为信息；

网购行为信息；

网页浏览行为信息；

网络应用使用行为信息。

可选地，所述视频为短视频应用中的短视频；

和/或，

所述视频为直播应用中的直播视频。

可选地，所述将所获取的推荐内容融合到视频中的存在可添加推荐内容区域的各帧图像中包括：

对于存在可添加推荐内容区域的一帧图像，从该图像的原图中分割出人物图像；

按照从前到后依次为分割出的人物图像、推荐内容以及该图像的原图的次序，叠加渲染成一帧图像；其中，推荐内容渲染在原图的可添加推荐内容区域。

根据本发明的另一方面，提供了一种在视频中融合推荐内容的装置，其中，该装置包括：

检测单元，适于对视频的各帧图像进行检测，判断图像中是否存在可加载推荐内容的区域；

推荐内容获取单元，适于当检测单元判断出图像中存在可加载推荐内容的区域时，获取推荐内容；

融合单元，适于将所获取的推荐内容融合到所述视频中的存在可添加推荐内容区域的各帧图像中。

可选地，

所述检测单元，适于通过检测判断图像中是否存在如下对象中的一种或多种：墙面、桌面、电视屏幕和指定的一个或多个商品。

可选地，

所述推荐内容获取单元，适于确定可加载推荐内容的区域的特征信息，获取与所述特征信息匹配的推荐内容。

可选地，所述可加载推荐内容的区域的特征信息包括如下中的一种或多种：

可加载推荐内容的区域的分类信息；

可加载推荐内容的区域的尺寸信息。

可选地，

所述推荐内容获取单元，适于确定收看所述视频的用户的画像信息，获取与所述画像信息匹配的推荐内容。

可选地，所述推荐内容获取单元，适于收集所述用户的网络行为信息，根据所述网络行为信息分析出所述用户的画像信息。

可选地，所述网络行为信息包括如下中的一种或多种：

搜索行为信息；

网购行为信息；

网页浏览行为信息；

网络应用使用行为信息。

可选地，

所述视频为短视频应用中的短视频；

和/或，

所述视频为直播应用中的直播视频。

可选地，融合单元，适于对存在可添加推荐内容区域的一帧图像，从该图像的原图中分割出人物图像，照从前到后依次为分割出的人物图像、推荐内容以及该图像的原图的次序，叠加渲染成一帧图像；其中，推荐内容渲染在原图的可添加推荐内容区域。

根据本发明的又一方面，提供了一种电子设备，其中，该电子设备包括：

处理器；以及

存储计算机可执行指令的存储器；所述可执行指令在被执行时使所述处理器执行根据前述的方法。

根据本发明的再一方面，提供了一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现前述的方法。

根据本发明的技术方案，对视频的各帧图像进行检测，判断图像中是否存在可加载推荐内容的区域；如果图像中存在可加载推荐内容的区域，获取推荐内容；将所获取的推荐内容融合到视频中的存在可添加推荐内容区域的各帧图像中。这样，将推荐内容融合在视频的各帧图像中，自然地向用户推荐相应内容，可以既不影响用户浏览视频的流畅性，又能达到向用户进行推荐的目的，增强用户的使用体验。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了根据本发明一个实施例的在视频中融合推荐内容的方法流程示意图；

图2示出了根据本发明一个实施例的推荐内容融合到视频中的存在可添加推荐内容区域的各帧图像的效果示意图；

图3示出了根据本发明一个实施例的在视频中融合推荐内容的装置的结构示意图；

图4示出了根据本发明一个实施例的电子设备的结构示意图；

图5示出了根据本发明一个实施例的计算机可读存储介质的结构示意图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

图1示出了根据本发明一个实施例的在视频中融合推荐内容的方法流程示意图。如图1所示，该方法包括：

步骤s110，对视频的各帧图像进行检测，判断图像中是否存在可加载推荐内容的区域。

在本实施例中，判断视频的各帧图像中是否存在可加载推荐内容的区域，是为了保证推荐的内容可以自然地插入到视频中，只有存在可加载推荐内容的区域才能融合相应的推荐内容。

另外，在判断图像中是否存在可加载推荐内容的区域时，可以使用图像识别的方法，判断图像中是否存在一定连续的区域的亮度或颜色等梯度变化不大的区域，例如，白色的墙面，一定的连续区域内均是白色，其亮度和颜色均不会变化太大。

步骤s120，如果图像中存在可加载推荐内容的区域，获取推荐内容。

这里的推荐内容可以是根据需求向用户展示的内容，例如，广告。

步骤s130，将所获取的推荐内容融合到视频中的存在可添加推荐内容区域的各帧图像中。

这样，通过本实施例的方案，用户看到的视频即是已经在相应的推荐内容区域添加推荐内容的视频。将推荐内容融合在视频的各帧图像中，自然地向用户推荐相应内容，可以既不影响用户浏览视频的流畅性，又能达到向用户进行推荐的目的，增强用户的使用体验。

在一个例子中，检测到视频的图像中包括一墙面，满足可加载推荐内容的区域，那么获取相应的推荐内容，例如，某歌星即将举办的演唱会的海报。将该海报融合到视频中的存在墙面的图像中，用户在浏览视频时就可以浏览到该海报，但是不影响用于对视频其他内容的浏览，也不影响用户浏览视频的流程性。

需要说明的是，上述实施例以及下述的各实施例可以应用在客户端侧(如视频播放器)，也可以应用在服务器侧。那么，如果上述实施例是应用在客户端侧，则上述的步骤s120中获取推荐内容可以是向服务器获取，或者向客户端的推荐内容数据库中进行获取。如果上述实施例是应用在服务器侧，则上述的步骤s120中获取推荐内容是直接向推荐内容数据库中获取。

在上述实施例应用中，只要是在视频中融合推荐内容时，不影响用户浏览视频的区域均可以作为可加载推荐内容的区域。

在本发明的一个优选的实施例中，判断图像中是否存在可加载推荐内容的区域包括：通过检测判断图像中是否存在如下对象中的一种或多种：墙面、桌面、电视屏幕和指定的一个或多个商品。

在本实施例中，将墙面、桌面、电视屏幕、指定的一个或多个商品(如杯子、化妆品、笔等)作为可加载推荐内容的区域，是因为在这些区域中加载推荐内容时，可以最大限度的保证用户的浏览视频的效果，进一步增强用户的使用体验。

当加载推荐内容时，可以根据可加载推荐内容的区域确定加载的方式。例如，判断视频的图像中的可加载推荐内容的区域是墙面，那么就可以在墙面上叠加一张图片；判断视频的图像中的可加载推荐内容的区域是桌面，那么就可以利用ar技术在桌面上添加一个物件以展示推荐内容；判断视频的图像中的可加载推荐内容的区域是屏幕，那么就可以在屏幕上添加一个广告视频，以向用户播放。

例如，判断视频的图像中的可加载推荐内容的区域是桌面，那么，就可以在桌面上通过ar技术添加以“农夫山泉”的瓶子，以向用户展示农夫山泉的广告。再如，判断视频的图像中的可加载推荐内容的区域是一个护肤品的瓶子，那么，就可以在护肤品的瓶子上添加以某一品牌的瓶子贴纸，以向用户展示该品牌相应的护肤品。

在本发明的一个实施例中，步骤s120中的获取推荐内容包括：确定可加载推荐内容的区域的特征信息，获取与特征信息匹配的推荐内容。

在上述步骤s120中获取推荐内容时，并非是随意获取的，需要根据确定的可加载推荐内容的区域的特征信息，根据该特征信息获取相应的推荐内容。

在上述例子中，如果判断视频的图像中的可加载推荐内容的区域是墙面，那么在获取推荐内容时，就不能获取一个具体的物件，只能获取类似图片的推荐内容，保证获取的推荐内容可以加载到相应的可加载推荐内容的区域中。

具体地，上述的可加载推荐内容的区域的特征信息包括如下中的一种或多种：可加载推荐内容的区域的分类信息；可加载推荐内容的区域的尺寸信息。

本实施例中，可加载推荐内容的区域的分类，可以是垂直面、水平面、屏幕、商品等。例如，墙面就是垂直面，可以加载海报；桌面是水平面，可以添加具体商品；杯子就是商品，可以在商品周围添加广告标签。

在本实施例中，特征信息还包括尺寸信息，只是要保证推荐内容与可加载推荐内容的区域更好的融合，进一步提高用户的使用体验。

例如，如果判断视频的图像中的可加载推荐内容的区域是墙面，尺寸是160*160(像素大小)的，那么在获取推荐内容时，需要获取类似图片的推荐内容，类似图片的推荐内容有图片a和图片b，但是图片a的尺寸是640*640(像素大小)的，图片b的尺寸是160*160(像素大小)，这样根据区域的尺寸就可以将图片b确定为推荐内容。或者，图片a和图片b的尺寸都是160*160的，那么就可以按照一定顺序和频率，将图片a和图片b交替加载到墙面上。又例如，如果没有尺寸相匹配的推荐内容，可以在保证推荐内容清晰的情况下，对推荐内容进行一定的缩放。

再例如，如果判断视频的图像中的可加载推荐内容的区域是电脑屏幕，则可以获取视频类的推荐内容，推荐内容可以随着视频的播放而播放。电脑屏幕出现在视频的第10帧，持续到第25帧，那么就将推荐内容的第1帧加载到视频的第10帧，推荐内容的第2帧加载到视频的第11帧，一次类推，将推荐内容随着视频的播放而播放，用户的浏览效果即是视频中的屏幕上播放推荐内容。

在本发明的一个实施例中，步骤s120中的获取推荐内容包括：确定收看视频的用户的画像信息；获取与画像信息匹配的推荐内容。

这里的收看视频的用户的画像信息可以是根据登录该视频播放器的账号的画像信息。保证推荐内容是根据用户的喜好进行推荐的，可以提高推荐的有效性，也可以增强用户的使用体验，不会让用户觉得推荐内容对其本人无用处。

进一步地，上述的确定收看视频的用户的画像信息包括：收集用户的网络行为信息；根据网络行为信息分析出用户的画像信息。

具体地，网络行为信息包括如下中的一种或多种：搜索行为信息；网购行为信息；网页浏览行为信息；网络应用使用行为信息。

例如，用户a，通过其基本信息，确定其为女生，经常搜索与化妆品有关的网页和电商，经常在网上买一些化妆品，则确定该用户a画像信息时，可以将女生、化妆品等标签作为用户a的画像信息，在推荐内容的获取时，根据用户a的画像信息，获取一些关于化妆品和女生用品的推荐内容(如广告)；用户b，通过其基本信息，确定其为男生，经常搜索与电子设备(如电脑、手机)和游戏有关的网页和电商，经常在网上买一些电子产品，则确定该用户b画像信息时，可以将男生、游戏、电子产品等标签作为用户b的画像信息，在推荐内容的获取时，根据用户b的画像信息，获取一些关于化电子产品、游戏的推荐内容。

在一个具体的例子中，当主播进行视频直播时，判断出视频图像中的可加载推荐内容的区域是桌面和墙面，根据当前观看该直播的用户a的画像信息(女生、化妆品)来说，在桌面上可以使用ar技术添加某一品牌的指定护肤品；根据当前观看该直播的用户b的画像信息(男生、电子产品、游戏)来说，在桌面上可以使用ar技术添加某一品牌的手机，以及在主播背后的墙面上融合一张某游戏的海报。这样就可以根据用户自身的需求向用户推荐相应的内容。

在本发明的一个实施例中，图1所示的方法中的视频为短视频应用中的短视频，例如，奶糖短视频应用；和/或，视频为直播应用中的直播视频，例如，花椒直播。

在本发明的一个实施例中，图1所示的步骤s130中的将所获取的推荐内容融合到视频中的存在可添加推荐内容区域的各帧图像中包括：对于存在可添加推荐内容区域的一帧图像，从该图像的原图中分割出人物图像；按照从前到后依次为分割出的人物图像、推荐内容以及该图像的原图的次序，叠加渲染成一帧图像；其中，推荐内容渲染在原图的可添加推荐内容区域。

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。本实施例中，从图像中将人物图像分割出来。且本实施例为了保证用户浏览视频的效果，在将推荐内容加载到图像中时，不能遮挡住视频中的人物图像。那么在本实施例中，首先会对存在可添加推荐内容区域的图像，从该图像的原图中分割出人物图像。将任务图像分割出来后，按照从前到后依次为分割出的人物图像、推荐内容以及该图像的原图的次序，叠加渲染成一帧图像。这里的分割出的人物图像是基于一个视频图像，人物图像的部分是有灰度的，而非人物图像的部分是透明的，例如可采用alpha通道来生成分割出的人物图像；推荐内容渲染在视频图像的可加载推荐内容的区域，此区域是有灰度的，其他区域则是透明的；图像的原图是整张图像均是有灰度的。

因为在渲染的时候，是按像素点进行渲染的，例如，当某个渲染像素点1时，该像素点1在视频图像的非人物图像和非可加载推荐内容的区域，则此处图像的原图是有灰度的，推荐内容和分割出的人物图像在此处是透明的，则只需要获取原图相应像素点信息进行渲染；当渲染像素点2时，该像素点2是可加载推荐内容的区域，图像的原图和推荐内容在此处是有灰度的，而分割出的人物图像在此处是透明的，根据原图在后，推荐内容在前的顺序，则只需要获取推荐内容相应像素点信息进行渲染；当渲染像素点3时，该像素点3是可加载推荐内容的区域中的人物图像的部分，图像的原图、推荐内容和分割出的人物图像在此处是有灰度的，根据分割出的人物图像在最前、推荐内容其次以及最后是该图像的原图的次序，则需要获取分割出的人物图像的相应像素点信息进行渲染；当渲染像素点4时，该像素点4是人物图像的部分且未在可加载推荐内容的区域的部分，图像的原图和分割出的人物图像在此处是有灰度的，推荐内容在此处是透明的，根据分割出的人物图像在最前、该图像的原图在后的次序，则需要获取分割出的人物图像的相应像素点信息进行渲染。直至完成整个图像的渲染。那么，渲染后的图像展示给用户时，就是人物图像始终在前(特别是在可加载推荐内容的区域保持最前)，即人物图像会遮挡住推荐内容的相应部分，以保证用户浏览视频的效果。

图2示出了根据本发明一个实施例的推荐内容融合到视频中的存在可添加推荐内容区域的各帧图像的效果示意图。如图2所示，区域210是原图，区域220是可加载推荐内容的区域，区域230是人物图像区域。在渲染时，按照从前到后依次为分割出的人物图像、推荐内容以及该图像的原图的次序进行渲染，当渲染区域210中的像素点1时，获取原图相应像素点信息进行渲染；当渲染区域220中的像素点2时，获取推荐内容相应像素点信息进行渲染；当渲染区域230中的像素点3时，获取分割出的人物图像的相应像素点信息进行渲染；当渲染区域230中的像素点4时，获取分割出的任务图像的相应像素点信息进行渲染。如图2所示的渲染后的效果，人物图像会遮挡住一部分推荐内容，保证用户浏览视频的效果。

在上述说明中以及指出，上述的各实施例可以应用在客户端侧，也可以应用在服务器侧。如果应用在客户端侧，就可以根据用户画像信息，进行不同推荐内容的展示；如果应用在服务器侧，服务器所实现的效果是向不同的用户推荐相同的内容，这样可以节省服务器的处理资源；当然也可以根据用户画像信息实时向用户提供融合有不同推荐内容的视频。

图3示出了根据本发明一个实施例的在视频中融合推荐内容的装置的结构示意图。如图3所示，该在视频中融合推荐内容的装置300包括：

检测单元310，适于对视频的各帧图像进行检测，判断图像中是否存在可加载推荐内容的区域。

在本实施例中，判断视频的各帧图像中是否存在可加载推荐内容的区域，是为了保证推荐的内容可以自然地插入到视频中，只有存在可加载推荐内容的区域才能融合相应的推荐内容。

另外，在判断图像中是否存在可加载推荐内容的区域时，可以使用图像识别的方法，判断图像中是否存在一定连续的区域的亮度或颜色等梯度变化不大的区域，例如，白色的墙面，一定的连续区域内均是白色，其亮度和颜色均不会变化太大。

推荐内容获取单元320，适于当检测单元判断出图像中存在可加载推荐内容的区域时，获取推荐内容。

这里的推荐内容可以是根据需求向用户展示的内容，例如，广告。

融合单元330，适于将所获取的推荐内容融合到视频中的存在可添加推荐内容区域的各帧图像中。

这样，通过本实施例的方案，用户看到的视频即是已经在相应的推荐内容区域添加推荐内容的视频。将推荐内容融合在视频的各帧图像中，自然地向用户推荐相应内容，可以既不影响用户浏览视频的流畅性，又能达到向用户进行推荐的目的，增强用户的使用体验。

在一个例子中，检测到视频的图像中包括一墙面，满足可加载推荐内容的区域，那么获取相应的推荐内容，例如，某歌星即将举办的演唱会的海报。将该海报融合到视频中的存在墙面的图像中，用户在浏览视频时就可以浏览到该海报，但是不影响用于对视频其他内容的浏览，也不影响用户浏览视频的流程性。

需要说明的是，上述实施例以及下述的各实施例可以应用在客户端侧(如视频播放器)，也可以应用在服务器侧。那么，如果上述实施例是应用在客户端侧，则上述的步骤s120中获取推荐内容可以是向服务器获取，或者向客户端的推荐内容数据库中进行获取。如果上述实施例是应用在服务器侧，则上述的步骤s120中获取推荐内容是直接向推荐内容数据库中获取。

在上述实施例应用中，只要是在视频中融合推荐内容时，不影响用户浏览视频的区域均可以作为可加载推荐内容的区域。

在本发明的一个优选的实施例中，检测单元310，适于通过检测判断图像中是否存在如下对象中的一种或多种：墙面、桌面、电视屏幕和指定的一个或多个商品。

在本实施例中，将墙面、桌面、电视屏幕、指定的一个或多个商品(如杯子、化妆品、笔等)作为可加载推荐内容的区域，是因为在这些区域中加载推荐内容时，可以最大限度的保证用户的浏览视频的效果，进一步增强用户的使用体验。

当加载推荐内容时，可以根据可加载推荐内容的区域确定加载的方式。例如，判断视频的图像中的可加载推荐内容的区域是墙面，那么就可以在墙面上叠加一张图片；判断视频的图像中的可加载推荐内容的区域是桌面，那么就可以利用ar技术在桌面上添加一个物件以展示推荐内容；判断视频的图像中的可加载推荐内容的区域是屏幕，那么就可以在屏幕上添加一个广告视频，以向用户播放。

例如，判断视频的图像中的可加载推荐内容的区域是桌面，那么，就可以在桌面上通过ar技术添加以“农夫山泉”的瓶子，以向用户展示农夫山泉的广告。再如，判断视频的图像中的可加载推荐内容的区域是一个护肤品的瓶子，那么，就可以在护肤品的瓶子上添加以某一品牌的瓶子贴纸，以向用户展示该品牌相应的护肤品。

在本发明的一个实施例中，推荐内容获取单元320，适于确定可加载推荐内容的区域的特征信息，获取与特征信息匹配的推荐内容。

在上述步的推荐内容获取单元320获取推荐内容时，并非是随意获取的，需要根据确定的可加载推荐内容的区域的特征信息，根据该特征信息获取相应的推荐内容。

在上述例子中，如果判断视频的图像中的可加载推荐内容的区域是墙面，那么在获取推荐内容时，就不能获取一个具体的物件，只能获取类似图片的推荐内容，保证获取的推荐内容可以加载到相应的可加载推荐内容的区域中。

具体地，上述的可加载推荐内容的区域的特征信息包括如下中的一种或多种：可加载推荐内容的区域的分类信息；可加载推荐内容的区域的尺寸信息。

本实施例中，可加载推荐内容的区域的分类，可以是垂直面、水平面、屏幕、商品等。例如，墙面就是垂直面，可以加载海报；桌面是水平面，可以添加具体商品；杯子就是商品，可以在商品周围添加广告标签。

在本实施例中，特征信息还包括尺寸信息，只是要保证推荐内容与可加载推荐内容的区域更好的融合，进一步提高用户的使用体验。

例如，如果判断视频的图像中的可加载推荐内容的区域是墙面，尺寸是160*160的，那么在获取推荐内容时，需要获取类似图片的推荐内容，类似图片的推荐内容有图片a和图片b，但是图片a的尺寸是640*640的，图片b的尺寸是160*160，这样根据区域的尺寸就可以将图片b确定为推荐内容。或者，图片a和图片b的尺寸都是160*160的，那么就可以按照一定顺序和频率，将图片a和图片b交替加载到墙面上。又例如，如果没有尺寸相匹配的推荐内容，可以在保证推荐内容清晰的情况下，对推荐内容进行一定的缩放。

再例如，如果判断视频的图像中的可加载推荐内容的区域是电脑屏幕，则可以获取视频类的推荐内容，推荐内容可以随着视频的播放而播放。电脑屏幕出现在视频的第10帧，持续到第25帧，那么就将推荐内容的第1帧加载到视频的第10帧，推荐内容的第2帧加载到视频的第11帧，一次类推，将推荐内容随着视频的播放而播放，用户的浏览效果即是视频中的屏幕上播放推荐内容。

在本发明的一个实施例中，推荐内容获取单元320，适于确定收看视频的用户的画像信息，获取与画像信息匹配的推荐内容。

这里的收看视频的用户的画像信息可以是根据登录该视频播放器的账号的画像信息。保证推荐内容是根据用户的喜好进行推荐的，可以提高推荐的有效性，也可以增强用户的使用体验，不会让用户觉得推荐内容对其本人无用处。

进一步地，推荐内容获取单元320，适于收集用户的网络行为信息，根据网络行为信息分析出用户的画像信息。

具体地，网络行为信息包括如下中的一种或多种：搜索行为信息；网购行为信息；网页浏览行为信息；网络应用使用行为信息。

例如，用户a，通过其基本信息，确定其为女生，经常搜索与化妆品有关的网页和电商，经常在网上买一些化妆品，则确定该用户a画像信息时，可以将女生、化妆品等标签作为用户a的画像信息，在推荐内容的获取时，根据用户a的画像信息，获取一些关于化妆品和女生用品的推荐内容(如广告)；用户b，通过其基本信息，确定其为男生，经常搜索与电子设备(如电脑、手机)和游戏有关的网页和电商，经常在网上买一些电子产品，则确定该用户b画像信息时，可以将男生、游戏、电子产品等标签作为用户b的画像信息，在推荐内容的获取时，根据用户b的画像信息，获取一些关于化电子产品、游戏的推荐内容。

在一个具体的例子中，当主播进行视频直播时，判断出视频图像中的可加载推荐内容的区域是桌面和墙面，根据当前观看该直播的用户a的画像信息(女生、化妆品)来说，在桌面上可以使用ar技术添加某一品牌的指定护肤品；根据当前观看该直播的用户b的画像信息(男生、电子产品、游戏)来说，在桌面上可以使用ar技术添加某一品牌的手机，以及在主播背后的墙面上融合一张某游戏的海报。

在本发明的一个实施例中，视频为短视频应用中的短视频，例如，奶糖短视频应用；和/或，视频为直播应用中的直播视频，例如，花椒直播。

在本发明的一个实施例中，融合单元330，适于对存在可添加推荐内容区域的一帧图像，从该图像的原图中分割出人物图像，照从前到后依次为分割出的人物图像、推荐内容以及该图像的原图的次序，叠加渲染成一帧图像；其中，推荐内容渲染在原图的可添加推荐内容区域。

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。本实施例中，从图像中将人物图像分割出来。且本实施例为了保证用户浏览视频的效果，在将推荐内容加载到图像中时，不能遮挡住视频中的人物图像。那么在本实施例中，首先会对存在可添加推荐内容区域的图像，从该图像的原图中分割出人物图像。将任务图像分割出来后，按照从前到后依次为分割出的人物图像、推荐内容以及该图像的原图的次序，叠加渲染成一帧图像。这里的分割出的人物图像是基于一个视频图像，人物图像的部分是有灰度的，而非人物图像的部分是透明的，例如可采用alpha通道来生成分割出的人物图像；推荐内容渲染在视频图像的可加载推荐内容的区域，此区域是有灰度的，其他区域则是透明的；图像的原图是整张图像均是有灰度的。

因为在渲染的时候，是按像素点进行渲染的。那么，在本实施例中，当某个渲染像素点1时，该像素点1在视频图像的非人物图像和非可加载推荐内容的区域，则此处图像的原图是有灰度的，推荐内容和分割出的人物图像在此处是透明的，则只需要获取原图相应像素点信息进行渲染；当渲染像素点2时，该像素点2是可加载推荐内容的区域，图像的原图和推荐内容在此处是有灰度的，而分割出的人物图像在此处是透明的，根据原图在后，推荐内容在前的顺序，则只需要获取推荐内容相应像素点信息进行渲染；当渲染像素点3时，该像素点3是可加载推荐内容的区域中的人物图像的部分，图像的原图、推荐内容和分割出的人物图像在此处是有灰度的，根据分割出的人物图像在最前、推荐内容其次以及该图像的原图最后的次序，则需要获取分割出的人物图像的相应像素点信息进行渲染；当渲染像素点4时，该像素点4是人物图像的部分且未在可加载推荐内容的区域的部分，图像的原图和分割出的人物图像在此处是有灰度的，推荐内容在此处是透明的，根据分割出的人物图像在最前、该图像的原图在后的次序，则需要获取分割出的人物图像的相应像素点信息进行渲染。直至完成整个图像的渲染。那么，渲染后的图像展示给用户时，就是人物图像始终在前(特别是在可加载推荐内容的区域保持最前)，即人物图像会遮挡住推荐内容的相应部分，以保证用户浏览视频的效果。

图2示出了根据本发明一个实施例的推荐内容融合到视频中的存在可添加推荐内容区域的各帧图像的效果示意图。如图2所示，区域210是原图，区域220是可加载推荐内容的区域，区域230是人物图像区域。在渲染时，按照从前到后依次为分割出的人物图像、推荐内容以及该图像的原图的次序进行渲染，当渲染区域210中的像素点1时，获取原图相应像素点信息进行渲染；当渲染区域220中的像素点2时，获取推荐内容相应像素点信息进行渲染；当渲染区域230中的像素点3时，获取分割出的人物图像的相应像素点信息进行渲染；当渲染区域230中的像素点4时，获取分割出的任务图像的相应像素点信息进行渲染。如图2所示的渲染后的效果，人物图像会遮挡住一部分推荐内容，保证用户浏览视频的效果。

本发明还提供了一种电子设备，其中，该电子设备包括：

处理器；以及

被安排成存储计算机可执行指令的存储器，可执行指令在被执行时使处理器执行根据图1所示的及其各实施例中的在视频中融合推荐内容的方法。

图4示出了根据本发明一个实施例的电子设备的功能结构示意图。如图4所示，该电子设备400包括：

处理器410；以及

被安排成存储计算机可执行指令(程序代码)的存储器420，在存储器420中，有存储程序代码的存储空间430，用于执行根据本发明的方法步骤的程序代码440存储在存储空间430中，该程序代码在被执行时使处理器410执行根据图1所示的及其各实施例中的在视频中融合推荐内容的方法。

图5示出了根据本发明一个实施例的一种计算机可读存储介质的结构示意图。如图5所示，该计算机可读存储介质500存储一个或多个程序(程序代码)510，一个或多个程序(程序代码)510当被处理器执行时，实现图1所示的及其各实施例中的在视频中融合推荐内容的方法。

需要说明的是，图4所示的电子设备和图5所示的计算机可读存储介质的各实施例与图1所示的方法的各实施例对应相同，上文已有详细说明，在此不再赘述。

综上所述，根据本发明的技术方案，对视频的各帧图像进行检测，判断图像中是否存在可加载推荐内容的区域；如果图像中存在可加载推荐内容的区域，获取推荐内容；将所获取的推荐内容融合到视频中的存在可添加推荐内容区域的各帧图像中。这样，将推荐内容融合在视频的各帧图像中，自然地向用户推荐相应内容，可以既不影响用户浏览视频的流畅性，又能达到向用户进行推荐的目的，增强用户的使用体验。

需要说明的是：

在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(dsp)来实现根据本发明实施例的在视频中融合推荐内容装置、电子设备和计算机可读存储介质中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。

例如，图4示出了根据本发明一个实施例的电子设备的结构示意图。该电子设备400传统上包括处理器410和被安排成存储计算机可执行指令(程序代码)的存储器420。存储器420可以是诸如闪存、eeprom(电可擦除可编程只读存储器)、eprom、硬盘或者rom之类的电子存储器。存储器420具有存储用于执行图1所示的以及各实施例中的任何方法步骤的程序代码440的存储空间430。例如，用于程序代码的存储空间430可以包括分别用于实现上面的方法中的各种步骤的各个程序代码440。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(cd)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图5所述的计算机可读存储介质500。该计算机可读存储介质500可以具有与图4的电子设备中的存储器420类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元存储有用于执行根据本发明的方法步骤的程序代码510，即可以由诸如410之类的处理器读取的程序代码，当这些程序代码由电子设备运行时，导致该电子设备执行上面所描述的方法中的各个步骤。

应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。

本发明公开了a1、一种在视频中融合推荐内容的方法，其中，该方法包括：

对视频的各帧图像进行检测，判断图像中是否存在可加载推荐内容的区域；

如果图像中存在可加载推荐内容的区域，获取推荐内容；

将所获取的推荐内容融合到所述视频中的存在可添加推荐内容区域的各帧图像中。

a2、如a1所述的方法，其中，所述判断图像中是否存在可加载推荐内容的区域包括：

通过检测判断图像中是否存在如下对象中的一种或多种：墙面、桌面、电视屏幕和指定的一个或多个商品。

a3、如a1所述的方法，其中，所述获取推荐内容包括：

确定可加载推荐内容的区域的特征信息，获取与所述特征信息匹配的推荐内容。

a4、如a3所述的方法，其中，所述可加载推荐内容的区域的特征信息包括如下中的一种或多种：

可加载推荐内容的区域的分类信息；

可加载推荐内容的区域的尺寸信息。

a5、如a1所述的方法，其中，所述获取推荐内容包括：

确定收看所述视频的用户的画像信息；

获取与所述画像信息匹配的推荐内容。

a6、如a5所述的方法，其中，所述确定收看所述视频的用户的画像信息包括：

收集所述用户的网络行为信息；

根据所述网络行为信息分析出所述用户的画像信息。

a7、如a6所述的方法，其中，所述网络行为信息包括如下中的一种或多种：

搜索行为信息；

网购行为信息；

网页浏览行为信息；

网络应用使用行为信息。

a8、如a1所述的方法，其中，

所述视频为短视频应用中的短视频；

和/或，

所述视频为直播应用中的直播视频。

a9、如a1-a8中任一项所述的方法，其中，所述将所获取的推荐内容融合到视频中的存在可添加推荐内容区域的各帧图像中包括：

对于存在可添加推荐内容区域的一帧图像，从该图像的原图中分割出人物图像；

按照从前到后依次为分割出的人物图像、推荐内容以及该图像的原图的次序，叠加渲染成一帧图像；其中，推荐内容渲染在原图的可添加推荐内容区域。

本发明还公开了b10、一种在视频中融合推荐内容的装置，其中，该装置包括：

检测单元，适于对视频的各帧图像进行检测，判断图像中是否存在可加载推荐内容的区域；

推荐内容获取单元，适于当检测单元判断出图像中存在可加载推荐内容的区域时，获取推荐内容；

融合单元，适于将所获取的推荐内容融合到所述视频中的存在可添加推荐内容区域的各帧图像中。

b11、如b10所述的装置，其中，

所述检测单元，适于通过检测判断图像中是否存在如下对象中的一种或多种：墙面、桌面、电视屏幕和指定的一个或多个商品。

b12、如b10所述的装置，其中，

所述推荐内容获取单元，适于确定可加载推荐内容的区域的特征信息，获取与所述特征信息匹配的推荐内容。

b13、如b14所述的装置，其中，所述可加载推荐内容的区域的特征信息包括如下中的一种或多种：

可加载推荐内容的区域的分类信息；

可加载推荐内容的区域的尺寸信息。

b14、如b10所述的装置，其中，

所述推荐内容获取单元，适于确定收看所述视频的用户的画像信息，获取与所述画像信息匹配的推荐内容。

b15、如b14所述的装置，其中，

所述推荐内容获取单元，适于收集所述用户的网络行为信息，根据所述网络行为信息分析出所述用户的画像信息。

b16、如b15所述的装置，其中，所述网络行为信息包括如下中的一种或多种：

搜索行为信息；

网购行为信息；

网页浏览行为信息；

网络应用使用行为信息。

b17、如b10所述的装置，其中，

所述视频为短视频应用中的短视频；

和/或，

所述视频为直播应用中的直播视频。

b18、如b10-b17中任一项所述的装置，其中，融合单元，适于对存在可添加推荐内容区域的一帧图像，从该图像的原图中分割出人物图像，照从前到后依次为分割出的人物图像、推荐内容以及该图像的原图的次序，叠加渲染成一帧图像；其中，推荐内容渲染在原图的可添加推荐内容区域。

本发明还公开了c19、一种电子设备，其中，该电子设备包括：

处理器；以及

存储计算机可执行指令的存储器；所述可执行指令在被执行时使所述处理器执行根据a1～a9中任一项所述的方法。

本发明还公开了d20、一种计算机可读存储介质，其中，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被处理器执行时，实现a1～a9中任一项所述的方法。