视频中植入多媒体信息的方法、装置、计算机设备及存储介质与流程

[0001]
本发明涉及多媒体信息植入技术领域，尤其涉及视频中植入多媒体信息的方法、装置、计算机设备及存储介质。


背景技术：

[0002]
随着视频播放场景的日益丰富，除了播放视频自身的内容外，还存在同时展示多媒体信息的需求，多媒体信息的展示方式之一为将所要展示的多媒体信息植入视频，以实现在视频播放过程中展示多媒体信息。
[0003]
相关技术中，对于多媒体信息在视频中的植入，只能依赖于人工压流手段，并对植入的多媒体信息进行手动调节，这种植入方式的植入效率低、人力成本高。


技术实现要素：

[0004]
有鉴于此，本发明实施例提供的视频中植入多媒体信息的方法、装置、计算机设备及存储介质，能够对待植入视频进行分片化处理，实现将与视频相匹配的多媒体信息在视频中的植入，以及将所植入的多媒体信息与视频内容进行一体化处理。
[0005]
本发明实施例的技术方案是这样实现的：
[0006]
本发明实施例提供了一种视频中植入多媒体信息的方法，包括：
[0007]
对待植入视频进行切分处理，得到多个视频分片；
[0008]
分别对所述多个视频分片进行实体识别，确定各所述视频分片的图像帧中所述实体对应的实体区域；
[0009]
获取对应所述实体区域的待植入多媒体信息；
[0010]
以所述图像帧的实体区域为背景、以对应的所述待植入多媒体信息为前景，在所述图像帧的实体区域植入所述待植入多媒体信息，得到目标图像帧；
[0011]
调整所述目标图像帧中所述前景的图像参数，使得所述前景的图像参数和所述背景的图像参数相匹配；
[0012]
基于调整后的目标图像帧进行视频合成，得到目标视频。
[0013]
本发明实施例还提供了一种视频中植入多媒体信息的装置，其特征在于，所述装置包括：
[0014]
视频处理模块，用于对待植入视频进行切分处理，得到多个视频分片；
[0015]
所述视频处理模块，用于分别对所述多个视频分片进行实体识别，确定各所述视频分片的图像帧中所述实体对应的实体区域；
[0016]
所述视频处理模块，用于获取对应所述实体区域的待植入多媒体信息；
[0017]
所述视频处理模块，用于以所述图像帧的实体区域为背景、以对应的所述待植入多媒体信息为前景，在所述图像帧的实体区域植入所述待植入多媒体信息，得到目标图像帧；
[0018]
所述视频处理模块，用于调整所述目标图像帧中所述前景的图像参数，使得所述
前景的图像参数和所述背景的图像参数相匹配；
[0019]
所述视频处理模块，用于基于调整后的目标图像帧进行视频合成，得到目标视频。
[0020]
上述方案中，
[0021]
所述视频处理模块，用于对所述目标图像帧进行图像截取，得到包含所述前景的截取图像，其中，所述截取图像的面积为所述前景的面积的常数倍。
[0022]
上述方案中，
[0023]
所述视频处理模块，用于响应于所述图像参数包括亮度，获取所述截取图像的前景与背景的亮度差；
[0024]
所述视频处理模块，用于将所述截取图像的前景转化为为色调-饱和度-明度hsv图像；
[0025]
所述视频处理模块，用于基于所述亮度差，对所述hsv图像中v图层的像素点进行亮度调整。
[0026]
上述方案中，
[0027]
所述视频处理模块，用于响应于所述图像帧为所述待植入视频的关键图像帧，通过目标追踪的方式定位所述待植入视频的非关键图像帧的实体区域；
[0028]
所述视频处理模块，用于通过仿射变换的方式，在所述非关键图像帧的实体区域中，植入所述调整后的目标图像帧中的前景，得到目标非关键图像帧；
[0029]
所述视频处理模块，用于对所述调整后的目标图像帧及所述目标非关键图像帧进行视频编码，得到所述目标视频。
[0030]
上述方案中，
[0031]
所述视频处理模块，还用于监听所述目标视频的曝光参数；
[0032]
所述视频处理模块，还用于根据所述目标视频的曝光参数确定所植入的多媒体信息对应的曼荣视觉效果指数；
[0033]
所述视频处理模块，还用于根据所述所植入的多媒体信息对应的曼荣视觉效果指数，对所述目标视频的播放进行调整。
[0034]
上述方案中，所述装置还包括：
[0035]
信息传输模块，用于将所述目标视频播放时的曝光参数向监测服务器发送，以实现所述监测服务器对所述目标视频的曝光进行监听。
[0036]
本发明实施例还提供了一种计算机设备，包括：
[0037]
存储器，用于存储可执行指令；
[0038]
处理器，用于运行所述存储器存储的可执行指令时，实现前序的视频中植入多媒体信息的方法。
[0039]
本发明实施例还提供了一种计算机可读存储介质，存储有可执行指令，所述可执行指令被处理器执行时实现前序的视频中植入多媒体信息的方法。
[0040]
本发明实施例具有以下有益效果：
[0041]
1)、以待植入视频的图像帧的实体区域为背景、以对应的待植入图像为前景，在图像帧的实体区域中植入相应的多媒体信息，得到目标图像帧，实现了多媒体信息在待植入视频的自动植入，提高了信息的植入效率；
[0042]
2)、通过调整目标图像帧中前景的图像参数，使得前景的图像参数和背景的图像
参数相匹配，实现了植入相应的多媒体信息后，视频图像帧中前景与背景自动的一体化处理，实现了目标视频中所植入的多媒体信息与视频内容的一体化，提高了用户在观看视频时对所植入的多媒体信息的接受程度。
附图说明
[0043]
图1为本发明实施例提供的视频中植入多媒体信息的方法的使用场景示意图；
[0044]
图2为本发明实施例提供的计算机设备的组成结构示意图；
[0045]
图3为本发明实施例提供的视频中植入多媒体信息的方法一个可选的流程示意图；
[0046]
图4a为本发明实施例提供的视频的一个可选的数据结构示意图；
[0047]
图4b为本发明实施例提供的视频的一个可选的数据结构示意图；
[0048]
图5为本发明实施例提供的植入待植入多媒体信息前的视频的帧图像示意图；
[0049]
图6为本发明实施例提供的植入待植入多媒体信息后的视频的帧图像示意图；
[0050]
图7为本发明实施例提供的植入待植入多媒体信息后的视频的帧图像示意图；
[0051]
图8为本发明实施例提供的视频中植入多媒体信息的方法一个可选的流程示意图；
[0052]
图9为本发明实施例中在视频中植入广告的一个可选的流程示意图；
[0053]
图10a为本发明实施例中在视频中植入广告的一个可选的流程示意图；
[0054]
图10b为本发明实施例中在视频中植入广告的一个可选的流程示意图；
[0055]
图11为不同广告主所要植入的广告的聚合显示示意图；
[0056]
图12为本发明视频客户端显示一个可选的检测过程示意图；
[0057]
图13为本发明视频客户端显示一个可选的审核过程的示意图；
[0058]
图14为本发明实施例提供的在相框区域植入待植入广告的示意图；
[0059]
图15为本发明实施例提供的在电视机屏幕区域植入待植入广告的示意图。
具体实施方式
[0060]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，所描述的实施例不应视为对本发明的限制，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
[0061]
除非另有定义，本发明所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中所使用的术语只是为了描述本发明实施例的目的，不是旨在限制本发明。
[0062]
需要说明，在以下的描述中，涉及到“一些实施例”，其描述了所有可能实施例的子集，但是可以理解，“一些实施例”可以是所有可能实施例的相同子集或不同子集，并且可以在不冲突的情况下相互结合。
[0063]
对本发明实施例进行进一步详细说明之前，对本发明实施例中涉及的名词和术语进行说明，本发明实施例中涉及的名词和术语适用于如下的解释。
[0064]
1)实体，在本文中指待植入视频中用于承载待植入多媒体信息的主体或实物，如桌面、墙面、相框、电子设备的屏幕等。
[0065]
2)图像帧，指视频的最小单位，是一幅静态的图像；比如，在播放视频信息时，定格在任意时刻的画面，即为一个图像帧。
[0066]
3)镜头，视频数据的基本单位，在视频拍摄过程中，摄像头连续不间断拍摄的一段视频称为镜头。
[0067]
4)关键帧图像，可以用来代表镜头内容的图像，在切分出镜头结构以后,关键帧图像被用来表示各个镜头的底层特征，从而进行进一步的视频结构化；在一个视频镜头中，关键帧的数目要远远小于镜头所包含的帧图像的数目。
[0068]
5)响应于，用于表示所执行的操作所依赖的条件或者状态，当满足所依赖的条件或状态时，所执行的一个或多个操作可以是实时的，也可以具有设定的延迟；在没有特别说明的情况下，所执行的多个操作不存在执行先后顺序的限制。
[0069]
6)“植入广告”，将产品或品牌信息以一个实物或者一张图片或者一段视频的形式，植入视频内容中，给观众留下品牌印象，以达到营销目的。其中，“广告“的表现形式为多媒体信息，所述多媒体信息的类型包括但不限于：图片、文字、视频、音频。“植入广告”隐藏于载体并和载体融为一体，同时将广告信息用非广告表现方法精心编码，使受众在无意识的状态下，感受到商品和品牌信息，从而接受了广告信息的刺激，由于受众在非对抗状态下接受广告，所以这种广告效果是普通广告所不能达到的。
[0070]
7)曼荣视觉效果指数，具体包括：1、最小曝光，即画面曝光时长必须长于1秒。2、多媒体信息的可视性即所植入的多媒体信息在屏幕上显示的比例必须高于预设的临界值。该临界值由首次曝光和其余曝光的临界值组成。3、清晰度，即清晰度必须高于一个预设的临界值(清晰度阈值)，不同的尺寸大小会有不同的预设值。具体的，可以根据以下参数来计算相应多媒体信息的视觉效果指数(vis)：
[0071]
曝光尺寸占屏幕的比列参数、显著性参数(嵌入品牌在场景和环境的可见程度)、邻近效果参数(在场景中与主要活动任务/物体的接近程度)。
[0072]
8)曝光：满足有效条件时，向用户推送相应的多媒体信息，或者由用户选择观看，例如：在满足视频的推送条件时，向用户推送不同的视频，以供用户观看。
[0073]
图1为本发明实施例提供的视频中植入多媒体信息的方法的使用场景示意图，参见图1，终端(包括终端10-1和终端10-2)上设置有能够播放植入多媒体信息的视频的相应客户端，终端通过网络300连接计算机设备200，网络300可以是广域网或者局域网，又或者是二者的组合，使用无线链路实现数据传输，其中，多媒体信息包括但不限于视频、图片、flash动画和广告信息。
[0074]
终端(终端10-1和/或终端10-2)在通过网络300向计算机设备200获取并曝光相应的带有植入多媒体信息的目标视频的过程中，用户可以通过终端(终端10-1和/或终端10-2)对所曝光的多媒体信息进行不同的操作，产生不同的用户行为，例如，当所述多媒体信息为视频时，用户在观看信息的过程中可以分享和/或点赞所曝光的目标视频。当多媒体信息为广告时，在广告的通过终端(终端10-1和/或终端10-2)的曝光过程中，用户可以对广告进行转发和/或评论。
[0075]
作为一个示例，计算机设备200用于对待植入视频进行切分处理，得到多个视频分片；分别对所述多个视频分片进行实体识别，确定各所述视频分片的图像帧中所述实体对应的实体区域；获取对应所述实体区域的待植入多媒体信息；以所述图像帧的实体区域为
背景、以对应的所述待植入多媒体信息为前景，在所述图像帧的实体区域植入所述待植入多媒体信息，得到目标图像帧；调整所述目标图像帧中所述前景的图像参数，使得所述前景的图像参数和所述背景的图像参数相匹配；基于调整后的目标图像帧进行视频合成，得到并曝光目标视频。
[0076]
下面对本发明实施例的计算机设备的结构做详细说明，计算机设备可以各种形式来实施，如带有多媒体信息处理功能的专用终端，也可以为带有多媒体信息处理功能的计算机设备，例如前述图1中的计算机设备200。图2为本发明实施例提供的计算机设备的组成结构示意图，可以理解，图2仅仅示出了计算机设备的示例性结构而非全部结构，根据需要可以实施图2示出的部分结构或全部结构。
[0077]
本发明实施例提供的计算机设备包括：至少一个处理器201、存储器202、用户接口203和至少一个网络接口204。计算机设备200中的各个组件通过总线系统205耦合在一起。可以理解，总线系统205用于实现这些组件之间的连接通信。总线系统205除包括数据总线之外，还包括电源总线、控制总线和状态信号总线。但是为了清楚说明起见，在图2中将各种总线都标为总线系统205。
[0078]
其中，用户接口203可以包括显示器、键盘、鼠标、轨迹球、点击轮、按键、按钮、触感板或者触摸屏等。
[0079]
可以理解，存储器202可以是易失性存储器或非易失性存储器，也可包括易失性和非易失性存储器两者。本发明实施例中的存储器202能够存储数据以支持终端(如10-1)的操作。这些数据的示例包括：用于在终端(如10-1)上操作的任何计算机程序，如操作系统和应用程序。其中，操作系统包含各种系统程序，例如框架层、核心库层、驱动层等，用于实现各种基础业务以及处理基于硬件的任务。应用程序可以包含各种应用程序。
[0080]
在一些实施例中，本发明实施例提供的视频中植入多媒体信息的装置可以采用软硬件结合的方式实现，作为示例，本发明实施例提供的视频中植入多媒体信息的装置可以是采用硬件译码处理器形式的处理器，其被编程以执行本发明实施例提供的视频中植入多媒体信息的方法。例如，硬件译码处理器形式的处理器可以采用一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、现场可编程门阵列(fpga，field-programmable gate array)或其他电子元件。
[0081]
作为本发明实施例提供的视频中植入多媒体信息的装置采用软硬件结合实施的示例，本发明实施例所提供的视频中植入多媒体信息的装置可以直接体现为由处理器201执行的软件模块组合，软件模块可以位于存储介质中，存储介质位于存储器202，处理器201读取存储器202中软件模块包括的可执行指令，结合必要的硬件(例如，包括处理器201以及连接到总线205的其他组件)完成本发明实施例提供的视频中植入多媒体信息的方法。
[0082]
作为示例，处理器201可以是一种集成电路芯片，具有信号的处理能力，例如通用处理器、数字信号处理器(dsp，digital signal processor)，或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等，其中，通用处理器可以是微处理器或者任何常规的处理器等。
[0083]
作为本发明实施例提供的视频中植入多媒体信息的装置采用硬件实施的示例，本发明实施例所提供的装置可以直接采用硬件译码处理器形式的处理器201来执行完成，例
如，被一个或多个应用专用集成电路(asic，application specific integrated circuit)、dsp、可编程逻辑器件(pld，programmable logic device)、复杂可编程逻辑器件(cpld，complex programmable logic device)、现场可编程门阵列(fpga，field-programmable gate array)或其他电子元件执行实现本发明实施例提供的视频中植入多媒体信息的方法。
[0084]
本发明实施例中的存储器202用于存储各种类型的数据以支持计算机设备200的操作。这些数据的示例包括：用于在计算机设备200上操作的任何可执行指令，如可执行指令，实现本发明实施例的从视频中植入多媒体信息的方法的程序可以包含在可执行指令中。
[0085]
在另一些实施例中，本发明实施例提供的视频中植入多媒体信息的装置可以采用软件方式实现，图2示出了存储在存储器202中的视频中植入多媒体信息的装置2020，其可以是程序和插件等形式的软件，并包括一系列的模块，作为存储器202中存储的程序的示例，可以包括视频中植入多媒体信息的装置2020，视频中植入多媒体信息的装置2020中包括以下的软件模块：视频处理模块2081，视频播放模块2082。当视频中植入多媒体信息的装置2020中的软件模块被处理器201读取到ram中并执行时，将实现本发明实施例提供的视频中植入多媒体信息的方法，下面对视频中植入多媒体信息的装置2020中各个软件模块的功能进行介绍：
[0086]
视频处理模块2081，用于对待植入视频进行切分处理，得到多个视频分片；所述视频处理模块2081，用于分别对所述多个视频分片进行实体识别，确定各所述视频分片的图像帧中所述实体对应的实体区域；所述视频处理模块2081，用于获取对应所述实体区域的待植入多媒体信息；所述视频处理模块2081，用于以所述图像帧的实体区域为背景、以对应的所述待植入多媒体信息为前景，在所述图像帧的实体区域植入所述待植入多媒体信息，得到目标图像帧；所述视频处理模块2081，用于调整所述目标图像帧中所述前景的图像参数，使得所述前景的图像参数和所述背景的图像参数相匹配；所述视频处理模块2081，用于基于调整后的目标图像帧进行视频合成，得到目标视频；视频播放模块2082，用于对所述目标视频进行曝光。
[0087]
结合本发明实施例提供的终端的示例性应用和实施，说明本发明实施例提供的视频中植入多媒体信息的方法，根据上文可以理解，本发明实施例提供的视频中植入多媒体信息的方法可以由各种类型的带有多媒体信息处理功能的设备，例如视频计算机设备或者视频处理专用设备等。
[0088]
结合图2示出的计算机设备200说明本发明实施例提供的视频中植入多媒体信息的方法，参见图3，图3为本发明实施例提供的视频中植入多媒体信息的方法一个可选的流程示意图，可以理解地，图3所示的步骤可以由运行视频中植入多媒体信息的装置的各种计算机设备执行，例如可以是如带有多媒体信息处理功能的专用终端、计算机设备或者计算机设备集群。下面针对图3示出的步骤进行说明。
[0089]
步骤301：确定视频客户端所要播放的待植入视频。
[0090]
步骤302：对待植入视频进行切分处理，得到多个视频分片。
[0091]
在本发明的一些实施例中，对所述待植入视频进行切分处理，得到多个视频分片，可以通过以下方式实现：
[0092]
对待植入视频的视频帧进行镜头切换检测，得到所述待植入视频对应的多个镜头；基于所述多个镜头对所述待植入视频进行切分，得到各所述镜头对应的视频分片；确定所述各所述镜头对应的视频分片中的实体区域起始位置坐标和结束位置的坐标。
[0093]
其中，待植入视频既可以为一个完整的视频，如一个完整的视频文件，或者为一个视频片段，如一个视频的片段节选。
[0094]
步骤303：分别对所述多个视频分片进行实体识别，确定各所述视频分片的图像帧中所述实体对应的实体区域。
[0095]
其中，实体为待植入视频中用于承载待植入多媒体信息的主体或事物，如桌面、墙面、相框、电子设备的屏幕(如电视机屏幕)；在实际实施时，可通过单次多边框检测器(ssd，single shot multi-box detector)识别帧图像中的实体，亦可采用实例分割算法mask rcnn识别帧图像中的实体，本发明实施例不作限定。在实际应用中，可预先设定需要识别的实体，如仅识别帧图像中的桌面，或者识别帧图像中的墙面及相框。
[0096]
在实际应用中，对于不同的视频分片可以进行不同的实体识别，如视频被切分为10个视频分片，对第1至3个视频分片进行桌面识别，对第4至6个进行相框识别，对第7至10个进行墙面识别；当然对于不同的视频分片亦可进行相同的实体识别，仍以视频被切分为10个视频分片为例，对10个视频分片均进行桌面及相框的实体识别。
[0097]
图4a为本发明实施例提供的视频的一个可选的数据结构示意图，其中，如图4a所示，视频数据从结构上可以分为视频、场景、镜头及帧四个层次，视觉上连续的视频是由一幅幅静止图像不断放映到屏幕或显示器上形成的，这一幅幅静止的图像即为视频帧；在视频拍摄过程中，摄像头连续不间断拍摄的一段视频称为镜头，镜头是视频数据的基本单位，若干个内容相近的镜头组成一个场景，它们从不同的角度描述同一个事件，而一段完整的视频则由许多场景组成，其中，视频中不同多媒体信息单元曝光的可选时长为10秒，图4b为本发明实施例提供的视频的一个可选的数据结构示意图；其中单一多媒体信息单元的曝光可以为如图4b所示的连续曝光，或者，如图4b所示的间隔曝光，其中，间隔曝光的过程中对视频的分片数量不作具体限制。
[0098]
基于上述的视频的数据结构，对待植入视频进行切分，得到多个视频分片可以通过以下方式实现：对待植入视频的视频帧进行镜头切换检测，得到待植入视频对应的多个镜头；基于多个镜头对待植入视频进行切分，得到各所述镜头对应的视频分片。
[0099]
其中，镜头切换检测可利用镜头发生切换时表现出的特性找到发生切换的位置，从而把整个视频分割成一个个独立的镜头。例如，可通过如下方式实现对待检测视频的镜头切换检测：采用帧间像素点匹配法，计算待检测视频的相邻视频帧中相同位置的像素点的差异度，确定相邻的两个视频帧中差异度超过第一差异阈值的像素点的数量，达到预设的数量阈值时，确定两帧视频帧之间发生镜头切换。
[0100]
基于视频的数据结构，在实际实施时，还可通过如下方式对待植入视频进行切分，得到多个视频分片：对待植入视频的视频帧进行场景切换检测，得到待植入视频对应的多个场景；基于多个场景对待植入视频进行切分，得到各所述场景对应的视频分片。
[0101]
这里，在实际应用中，可通过如下方式实现对待检测视频的场景切换检测：计算待检测视频的相邻视频帧的直方图差异度，确定直方图差异度达到第二差异阈值的两帧视频帧之间发生场景切换。
[0102]
步骤304：获取对应所述实体区域的待植入多媒体信息。
[0103]
在本发明的一些实施例中，获取对应所述实体区域的待植入多媒体信息，包括：
[0104]
确定所述实体区域的显示参数；根据所述实体区域的显示参数，确定与所述实体区域的显示参数相匹配的待植入多媒体信息，其中，所述实体区域的显示参数包括：实体区域的场景参数、实体区域的类型参数和实体区域的显示单元参数。
[0105]
在本发明的一些实施例中，待植入的多媒体信息可以归属于不同的用户，可以将不同的用户可以提前将所要植入的多媒体信息进行聚合，并根据待植入多媒体信息的参数进行分类，例如：a用户所要植入的多媒体信息为奶茶饮料的图片，b用户所要植入的多媒体信息为纯牛奶(饮料)的图片，由于a用户和b用户所要植入的多媒体信息的类型参数相同，因此可以归属于同一类的多媒体信息。
[0106]
在本发明的一些实施例中，视频计算机设备通过所确定的实体区域的显示参数可以向保存有多媒体信息的计算机设备请求相应的待植入多媒体信息，例如：当确定实体区域的场景参数为“饭店”的应用场景时，可以向多媒体信息计算机设备请求与该场景相对应的多媒体信息作为待植入多媒体信息；或者，实体区域的类型参数为电子设备的屏幕时，可以向多媒体信息计算机设备请求与实体区域的类型参数相应的多媒体信息(视频片段)，作为待植入多媒体信息。
[0107]
在本发明的一些实施例中，当实体区域的显示单元参数表征具体的实体区域的显示单元的数量时，可以根据显示单元所对应的视频帧的帧序号选择不同的(包括同一用户的不同多媒体信息或者不同的用户的同一类型的多媒体信息)多媒体信息作为的单一显示单元中的待植入多媒体信息。
[0108]
在实际应用中，待植入多媒体信息可以为广告，具体地，可以为植入广告，又称为video-in，是一种软广告形式，指在视频帧中的实体区域，如桌面、墙面、相框、吧台和广告牌等植入待植入多媒体信息。图5为本发明实施例提供的植入待植入多媒体信息前的视频的帧图像示意图，图6为本发明实施例提供的植入待植入多媒体信息后的视频的帧图像示意图，结合图5及图6可知，在视频帧中的桌面区域植入了作为待植入多媒体信息的“果汁”。图7为本发明实施例提供的植入待植入多媒体信息后的视频的帧图像示意图，结合图5、图6及图7可知，在视频帧中的桌面区域的同一位置植入了作为待植入多媒体信息的“纯牛奶”。
[0109]
在一些实施例中，待植入多媒体信息可以包括以下至少之一：推送实体、推送文字；其中，推送实体为以有形的物质形态的方式进行广告展现的实体，如具备特定形状的咖啡杯；推送文字为采用文本的形式进行特定内容的广告展现的文字，如采用文字描述某特定电子设备的功能。
[0110]
在实际实施时，不同的实体区域可以对应不同的待植入多媒体信息，或者不同的实体区域对应相同的待植入多媒体信息。例如，对于实体区域为桌面及相框的情况，桌面上可以承载包括三维模型及海报形式的待植入多媒体信息，相框中可以承载包括海报形式的待植入多媒体信息；这里，海报为视觉传达的表现形式之一，利用图片、文字、色彩、空间等要素进行完整的结合，以特定的形式展示宣传信息。
[0111]
以识别的实体为桌面，相应的实体区域为桌面区域为例进行说明。在一些实施例中，桌面区域对应的待植入多媒体信息包括推送实体，而对于同一推送实体来说，可以有不同呈现角度的待植入图像，针对桌面的不同呈现角度，可选取与桌面的呈现角度相匹配的
待植入图像。
[0112]
在一些实施例中，计算机设备可通过如下方式获取对应实体区域的携带待植入多媒体信息的待植入图像：获取待植入视频对应的视频标识，基于获取的视频标识确定对应待植入视频的桌面区域的推送实体，获取推送实体在待植入图像中的第一呈现角度；获取实体区域所呈现实体的第二呈现角度；确定第一呈现角度与第二呈现角度相匹配的待植入图像，为对应实体区域的待植入图像。
[0113]
步骤305：以所述图像帧的实体区域为背景、以对应的所述待植入多媒体信息为前景，在所述图像帧的实体区域植入所述待植入多媒体信息，得到目标图像帧。
[0114]
步骤306：调整所述目标图像帧中所述前景的图像参数，使得所述前景的图像参数和所述背景的图像参数相匹配。
[0115]
在本发明的一些实施例中，所述方法还包括：
[0116]
对所述目标图像帧进行图像截取，得到包含所述前景的截取图像，其中，所述截取图像的面积为所述前景的面积的常数倍。
[0117]
在一些实施例中，计算机设备可直接基于目标帧图像中的背景，对目标帧图像中前景的图像参数进行调整，使得前景的图像参数和背景的图像参数相匹配；在一些实施例中，计算机设备可对目标帧图像进行图像截取，得到包含前景的截取图像，然后基于截取图像的背景(目标帧图像的局部背景)，对截取图像中前景的图像参数进行调整，使得前景的图像参数和背景的图像参数相匹配；其中，截取图像的面积为前景的面积的常数倍，例如，以前景为中心，前景面积的两倍为截取图像的大小，对目标帧图像进行截取。
[0118]
在本发明的一些实施例中，调整所述目标图像帧中所述前景的图像参数，使得所述前景的图像参数和所述背景的图像参数相匹配，可以通过以下方式实现：
[0119]
响应于所述图像参数包括亮度，获取所述截取图像的前景与背景的亮度差；
[0120]
将所述截取图像的前景转化为为色调-饱和度-明度hsv图像；基于所述亮度差，对所述hsv图像中v图层的像素点进行亮度调整。其中，可以分别计算截取图像的前景与背景的平均饱和度，计算前景的平均饱和度与背景的平均饱和度的亮度差diff
s
，将将截取图像的前景转化为为hsv图像，然后对hsv图像中s图层的每个像素点进行补全diff
s
*0.8的操作，完成前景及后景的饱和度和谐化，使得所述前景的图像参数和所述背景的图像参数相匹配。
[0121]
步骤307：基于调整后的目标图像帧进行视频合成，得到并曝光目标视频。
[0122]
在本发明的一些实施例中，基于调整后的目标图像帧进行视频合成，得到并曝光目标视频，可以通过以下方式实现：
[0123]
分别基于各视频分片中调整后的目标图像帧进行视频编码，得到对应各所述视频分片的目标视频分片；将对应各所述视频分片的目标视频分片进行融合，得到所述目标视频；响应于相应的播放指令对所述目标视频进行播放或推流，以实现曝光所述目标视频。
[0124]
在本发明的一些实施例中，基于调整后的目标图像帧进行视频合成，得到目标视频，可以通过以下方式实现：
[0125]
响应于所述图像帧为所述待植入视频的关键图像帧，通过目标追踪的方式定位所述待植入视频的非关键图像帧的实体区域；通过仿射变换的方式，在所述非关键图像帧的实体区域中，植入所述调整后的目标图像帧中的前景，得到目标非关键图像帧；对所述调整
后的目标图像帧及所述目标非关键图像帧进行视频编码，得到所述目标视频。
[0126]
在本发明的一些实施例中，所述方法还包括：
[0127]
监听所述目标视频的曝光参数；根据所述目标视频的曝光参数确定所植入的多媒体信息对应的曼荣视觉效果指数；根据所述所植入的多媒体信息对应的曼荣视觉效果指数，对所述目标视频的播放进行调整。其中，在植入多媒体信息完成之后，所植入的多媒体信息会随着目标视频的曝光进行曝光，这一过程中需要对所植入的多媒体信息的曝光进行监测，其中，当所植入的多媒体信息对应的曼荣视觉效果指数中的任一参数未到达对应的参数阈值时，可以对所述目标视频的播放进行调整，例如更换待植入的视频。例如：当所植入的多媒体信息在屏幕上显示的比例低于预设的比例阈值0.1(多媒体信息与显示屏的面值的比值)，重新更换待植入视频，实现相应多媒体信息的再次植入，以保证多媒体信息所归属的用户能够及时的将自己的多媒体信息向观众推送。
[0128]
在本发明的一些实施例中，所述方法还包括：
[0129]
将所述目标视频播放时的曝光参数向监测计算机设备发送，以实现所述监测计算机设备对所述目标视频的曝光进行监听。由此实现由第三方计算机设备对目标视频的曝光进行监测。
[0130]
图8为本发明实施例提供的视频中植入多媒体信息的方法一个可选的流程示意图，可以理解地，图8所示的步骤可以由运行视频中植入多媒体信息的装置的各种计算机设备执行，例如可以是如带有多媒体信息处理功能的专用终端、计算机设备或者计算机设备集群。下面针对图8示出的步骤进行说明。其中步骤301至步骤307如前所述，不再赘述。
[0131]
步骤308：对所形成的目标视频进行审核，判断是否通过，如果是，执行步骤309，否则，执行步骤310。
[0132]
在本发明的一些实施例中，在对所述目标视频进行曝光之前，还需要对所形成的目标视频进行审核，以避免所植入的多媒体信息对目标视频的观众形成误导。
[0133]
步骤309：对目标视频进行曝光。
[0134]
步骤310：重新植入相应的多媒体信息。
[0135]
步骤311：监听所述目标视频的曝光参数；
[0136]
步骤312：将所述目标视频播放时的曝光参数向监测服务器发送。
[0137]
下面以所植入的多媒体信息为广告，说明本申请中视频中植入多媒体信息的处理过程，其中，客户端中能够进行视频播放，图9为本发明实施例中在视频中植入广告的一个可选的流程示意图，其中，计算机设备表现为相应的服务器，如图9所示，具体包括以下步骤：
[0138]
第一阶段
[0139]
步骤901：客户端请求视频播放的源地址；
[0140]
步骤902：视频服务器请求广告植入片段；
[0141]
步骤903：视频服务器的同步串行端口控制器向广告服务器请求所要植入的广告片段；
[0142]
步骤904：广告服务器根据vv的唯一id号获得所要植入的广告片段；
[0143]
步骤905：广告服务器将所获取的所要植入的广告片段向同步串行端口控制器发送。
[0144]
步骤906：同步串行端口控制器将所要植入的广告片段向视频服务器发送。
[0145]
步骤907：视频客户端得到完整的视频播放地址。
[0146]
第二阶段
[0147]
步骤1001：广告的sdk请求合并接口，并携带vv的唯一标识id。
[0148]
步骤1002：同步串行端口控制器请求植入广告的上报信息。
[0149]
步骤1003：广告服务器根据vv的唯一标识id获得所指植入的广告信息。
[0150]
步骤1004：返回植入广告的上报信息。
[0151]
步骤1005：同步串行端口控制器返回植入广告的上报信息。
[0152]
步骤1006：sdk执行上报逻辑。
[0153]
图9所示的处理过程中，图10a和10b为本发明实施例中在视频中植入广告的一个可选的流程示意图；广告信息在视频中的植入过程如图10a所示，包括以下步骤：
[0154]
步骤1101：库存分析与挑选。
[0155]
其中，该处理过程中底层与图像识别服务对接，分析每个视频介质的广告机会，包括广告单元数、每个广告单元适合的广告主行业、场景特点。其中，图11为不同广告主所要植入的广告的聚合显示示意图，对应的视频客户端显示界面可以如图11所示，服务器可以根据广告单元数、每个广告单元适合的广告主行业、场景特点自动选择相应的广告。
[0156]
步骤1102：广告资源预定。
[0157]
其中，可以预定广告排期及相应的资源，同时关联内容包，内容包内关联信息包括：cid+vid列表、品牌类别、场景类别、物料类别、广告id及每个广告的id的广告单元数和备注信息。
[0158]
以实体区域为相框区域及电视机屏幕为例，参见图14，图14为本发明实施例提供的在相框区域植入待植入广告的示意图，在图14中，编号91为待植入广告植入前的相框区域，编号92为待植入广告植入后的相框区域。参见图15，图15为本发明实施例提供的在电视机屏幕区域植入待植入广告的示意图，在图15中，编号11为待植入广告植入前的相框区域，编号12为待植入广告植入后的相框区域。通过步骤1102，用户a的编号11为待植入广告和编号12为待植入广告可以预定该场景类别中的
·
所有广告单元。
[0159]
步骤1103：广告订单投放与审核。
[0160]
其中，广告服务器可以按标准的素材规范提交广告素材及监测链接，支持接口(api)方式+固定“首帧上报”添加监测链接，并可以添加多条相应的监测链接，也可以选用分平台及sdk监测方式。其中，其中图12为本发明视频客户端显示一个可选的检测过程示意图，图13为本发明视频客户端显示一个可选审核过程的示意图。其中广告植入完成后进入相应的审核阶段，目的是保障广告素材的合法合规性。审核通过后，订单不会如常规订单一样线上生效，而是发起广告植入，广告植入服务会根据素材、内容包的信息，将广告素材植入到指定的分片内。
[0161]
步骤1104：植入结果审核。
[0162]
在本发明的一些实施例中，广告植入结果出来后，进入植入广告审核阶段，植入广告审核共2步审核。具体包括以下内容：
[0163]
1)展示内容：id、专辑名称(cid)_第x集、vid、场景类别、物料类别、审核状态、预览、操作(通过/不通过)，一行为同一个订单+同一个vid的所有片段集合。
[0164]
2)审核状态：内容编辑待审核、商务编辑待审核、内容编辑审核不通过、商务编辑审核不通过、终审通过待上线、已上线
[0165]
3)预览内容：植入片段视频。
[0166]
4)审核结果：审核通过/不通过。其中，还包括不通过原因说明。
[0167]
其中，在一个可选的实施例中审核流程为先内容编辑审核，后商务编辑审核，当流程走到内容编辑审核时，需邮件及微信通知对应的内容编辑(例如触发相应的编辑组件实现在即时通信软件或者邮件编辑中进行编辑)，仅这部分的人有权审核；当流程走到商务编辑审核时，需邮件及微信通知对应的商务编辑编辑，仅这部分的人有权审核。
[0168]
5)通知内容：有动态植入广告(专辑名称(cid)_第x集)待内容(或商务)编辑审核，请尽快处理。若是邮件，邮件标题：【请审核】新增动态植入广告待审核；审核不通过需邮件通知对应的发起植入的人(即打包的人)，邮件标题：【审核不通过】动态植入广告审核不通过专辑名称(cid)_第x集动态植入广告(ad id＝xxx)审核不通过，不通过原因：xxxx。审核人：(即时通信软件)。
[0169]
步骤1105：广告对应的视频服务器选单。
[0170]
其中，广告对应的视频服务器支持常规的广告定向能力，且支持百分比包断的选单模式。其中，与sdk和视频播放客户端对接，对于视频客户端的每次请求，将选中的所有广告单元id、每个广告单元的开始/结束时间、每个广告单元的监测链接，同时返回给广告sdk与视频客户端，广告sdk到到指定时刻进行第三方监测和数据上报，视频客户端到点请求相应的服务器(云服务器)获取对应的广告植入片段后进行播放。
[0171]
步骤1106：客户端展示与数据上报监测。其中，视频客户端展示根据视频服务器返回的订单及分片，到点展示对应的视频分片。
[0172]
由此实现了在广告植入视频过程中的，从广告库存分析
→
投放
→
植入
→
审核
→
展示与上报的处理流程。
[0173]
本发明实施例具有以下有益效果：
[0174]
1)、以待植入视频的图像帧的实体区域为背景、以对应的待植入图像为前景，在图像帧的实体区域中植入相应的多媒体信息，得到目标图像帧，实现了多媒体信息在待植入视频的自动植入，提高了信息的植入效率；
[0175]
2)、通过调整目标图像帧中前景的图像参数，使得前景的图像参数和背景的图像参数相匹配，实现了植入相应的多媒体信息后，视频图像帧中前景与背景自动的一体化处理，实现了目标视频中所植入的多媒体信息与视频内容的一体化，提高了用户在观看视频时对所植入的多媒体信息的接受程度，。
[0176]
3)克服了相关技术中，视频上线后如果需要修改或增加多媒体信息，只能依赖于人工压流手段。进一步地还能够克服相关技术中无论是前置植入还是压流方式，都无法实现第三方对所植入的多媒体信息的曝光进行监测的缺陷。