视频流处理方法、装置和系统与流程

本发明涉及网络技术，特别涉及视频流处理方法、装置和系统。

背景技术：

在视频直播、鉴黄、视频监控等应用场景中，通常需要由服务器来对视频流进行智能识别。

具体地，服务器获取采集端采集、压缩和上传的视频流，并进行解封装、解码等处理，其中，针对每帧原始图像，分别对其解码结果进行智能分析，以确定是否需要在该原始图像对应的画面上叠加处理效果，如果是，则将相应的处理效果叠加到该原始图像对应的画面上后，再经过编码等处理后发送给播放端。

比如，通过智能分析，确定出某一画面中的某一位置出现了黄色暴力的内容，那么则可认为需要在该画面上叠加处理效果，如可以采用马赛克来遮挡所述黄色暴力的内容。

但是，上述方式在实际应用中会存在一定的问题，如：由于需要进行二次编码，因此大大地降低了图像质量，而且，增加了服务器的负担。

技术实现要素：

本发明提供了视频流处理方法、装置和系统，能够提升图像质量并减轻服务器的负担。

具体技术方案如下：

一种视频流处理方法，包括：

服务器获取视频流，针对其中的每帧原始图像，若确定需要在所述原始图像对应的画面上叠加处理效果，则将所述原始图像以及所述原始图像的处理方式信息分别发送给播放端，以便所述播放端在播放所述原始图像对应的画面之前，按照所述处理方式信息在所述画面上叠加处理效果，并将进行叠加之后的画面进行播放。

一种视频流处理方法，包括：

播放端获取视频流，在播放其中的每帧原始图像对应的画面之前，若确定已经获取到所述原始图像对应的处理方式信息，则按照所述处理方式信息在所述原始图像对应的画面上叠加处理效果，并将进行叠加之后的画面进行播放。

一种视频流处理装置，包括：分析单元以及发送单元；

所述分析单元，用于获取视频流，针对其中的每帧原始图像，若确定需要在所述原始图像对应的画面上叠加处理效果，则将所述原始图像以及所述原始图像的处理方式信息分别发送给所述发送单元；

所述发送单元，用于将所述原始图像以及所述原始图像的处理方式信息分别发送给播放端，以便所述播放端在播放所述原始图像对应的画面之前，按照所述处理方式信息在所述画面上叠加处理效果，并将进行叠加之后的画面进行播放。

一种视频流处理装置，包括：处理单元和播放单元；

所述处理单元，用于获取视频流，在播放其中的每帧原始图像对应的画面之前，若确定已经获取到所述原始图像对应的处理方式信息，则按照所述处理方式信息在所述原始图像对应的画面上叠加处理效果，并将进行叠加之后的画面通过所述播放单元进行播放。

一种视频流处理系统，包括：如以上所述的两种视频流处理装置。

基于上述介绍可以看出，采用本发明所述方案，服务器无需进行二次编码，从而大大地提升了图像质量，而且，也相应地减轻了服务器的负担。

【附图说明】

图1为本发明所述视频流处理方法实施例的流程图。

图2为本发明所述服务器端的处理方法实施例的流程图。

图3为本发明所述播放端的处理方法实施例的流程图。

图4为本发明所述视频流处理装置第一实施例的组成结构示意图。

图5为本发明所述视频流处理装置第二实施例的组成结构示意图。

【具体实施方式】

为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案作进一步地详细说明。

实施例一

图1为本发明所述视频流处理方法实施例的流程图，如图1所示，包括以下具体实现方式。

在11中，服务器获取视频流，针对其中的每帧原始图像，若确定需要在该原始图像对应的画面上叠加处理效果，则将该原始图像以及该原始图像的处理方式信息分别发送给播放端。

在12中，播放端在播放该原始图像对应的画面之前，按照所述处理方式信息在画面上叠加处理效果，并将进行叠加之后的画面进行播放。

服务器可接收采集端采集、压缩和上传的视频流，并可针对其中的每帧原始图像，分别进行以下处理：

1)对该原始图像进行拷贝，得到拷贝图像；

比如，将该原始图像拷贝到一个缓冲区(buffer)中；

2)对该拷贝图像的解码结果进行智能分析；

比如，可以采用现有的OpenCV深度学习方式或级联分类器对解码结果进行智能分析；

3)根据智能分析结果确定出是否需要在该原始图像对应的画面上叠加处理效果；

比如，当需要进行黄色暴力内容查找时，若根据智能分析结果确定出该原始图像对应的画面中不存在黄色暴力内容，则可认为不需要在该原始图像对应的画面上叠加处理效果，否则，则可认为需要在该原始图像对应的画面上叠加处理效果，叠加处理效果可以是指用马赛克来遮挡所述黄色暴力内容等。

对于每帧原始图像来说，如果不需要在该原始图像对应的画面上叠加处理效果，那么服务器仅需要将该原始图像发送给播放端，如果需要在该原始图像对应的画面上叠加处理效果，那么服务器则需要将该原始图像以及该原始图像对应的处理方式信息分别发送给播放端。

服务器将处理方式信息以何种格式发送给播放端不作限制，可根据实际需要而定。

对于播放端来说，其获取来自服务器的视频流，并在播放其中的每帧原始图像对应的画面之前，首先确定是否已经从服务器获取到该原始图像对应的处理方式信息，如果是，则按照所述处理方式信息在该原始图像对应的画面上叠加处理效果，并将进行叠加之后的画面进行播放，否则，对该原始图像对应的画面进行播放。

采用上述处理方式，服务器无需进行二次编码，从而大大地提升了图像质量，而且，也相应地减轻了服务器的负担。

另外，服务器发送给播放端的处理方式信息中可包括：叠加方式，以及，叠加位置，叠加位置即指在画面中的哪个位置/区域叠加处理效果。

对于一帧原始图像来说，可以只在其对应的画面中的一个叠加位置处叠加处理效果，也可以同时在多个叠加位置处叠加处理效果，因此，该原始图像对应的处理方式信息中可包括一个或多个叠加位置，每个叠加位置可分别对应一种叠加方式，或者，也可以至少有一个叠加位置对应M种叠加方式，M为大于一的正整数，播放端可以从这M种叠加方式中选出一种进行叠加，如何进行选择不作限制，比如可以随机地进行选择或者依据预先设定的规则进行选择。

处理方式信息中包括的叠加方式具体为何种方式同样不作限制，可根据实际场景需求等而定。

由于采用何种叠加方式可以由播放端来进行选择，而不是由服务器写死，因此对于同一画面中的同一叠加位置，不同的播放端可以展示出不同的处理效果，从而提升了播放端对用户个性化需求的响应能力。

比如，画面中某一位置出现了黄色暴力的内容，需要进行遮挡，服务器下发的处理方式信息中提供了两种不同的遮挡方式可供选择，那么对于两个不同的播放端来说，其展示给用户的画面中就可以采用不同的遮挡方式。

实施例二

基于上述介绍，图2为本发明所述服务器端的处理方法实施例的流程图，如图2所示，包括以下具体实现方式。

在21中，当每获取到一帧原始图像时，对该原始图像进行拷贝，得到拷贝图像。

在22中，对拷贝图像进行解码等处理，并对解码结果进行智能分析。

在23中，根据智能分析结果确定是否需要在该原始图像对应的画面上叠加处理效果，如果是，则执行24，否则，执行25。

在24中，将该原始图像和该原始图像对应的处理方式信息分别发送给播放端，结束流程。

在25中，仅将该原始图像发送给播放端，结束流程。

需要说明是，图2所示流程仅为举例说明，并不用于限制本发明的技术方案，比如，将该原始图像发送给播放端的操作也可以不在24或25中执行，而是在拷贝完成之后即执行。

实施例三

图3为本发明所述播放端的处理方法实施例的流程图，如图3所示，包括以下具体实现方式。

在31中，当需要播放每帧原始图像对应的画面时，确定是否已经获取到该原始图像对应的处理方式信息，如果是，则执行32，否则，执行34。

在32中，按照该原始图像对应的处理方式信息在该原始图像对应的画面上叠加处理效果。

在33中，将进行叠加之后的画面进行播放，结束流程。

在34中，将该原始图像对应的画面进行播放，结束流程。

以上是关于方法实施例的介绍，以下通过装置和系统实施例，对本发明所述方案进行进一步说明。

实施例四

图4为本发明所述视频流处理装置第一实施例的组成结构示意图，如图4所示，包括：分析单元41以及发送单元42。

分析单元41，用于获取视频流，针对其中的每帧原始图像，若确定需要在该原始图像对应的画面上叠加处理效果，则将该原始图像以及该原始图像的处理方式信息分别发送给发送单元42。

发送单元42，用于将该原始图像以及该原始图像的处理方式信息分别发送给播放端，以便播放端在播放该原始图像对应的画面之前，按照所述处理方式信息在画面上叠加处理效果，并将进行叠加之后的画面进行播放。

具体地，对于每帧原始图像，分析单元41可对该原始图像进行拷贝，得到拷贝图像，并对拷贝图像的解码结果进行智能分析，根据智能分析结果确定出是否需要在该原始图像对应的画面上叠加处理效果。

比如，可以采用现有的OpenCV深度学习方式或级联分类器对解码结果进行智能分析。

若根据智能分析结果确定出需要在该原始图像对应的画面上叠加处理效果，那么分析单元41可将该原始图像以及该原始图像的处理方式信息分别通过发送单元42发送给播放端，如果根据智能分析结果确定出不需要在该原始图像对应的画面上叠加处理效果，那么分析单元41可仅将该原始图像通过发送单元42发送给播放端。

其中，所述处理方式信息中可包括：叠加方式，以及，叠加位置；

每个叠加位置分别对应一种叠加方式；

或者，至少一个叠加位置对应M种叠加方式，M为大于一的正整数，以便播放端从M种叠加方式中选出一种进行叠加。

实施例五

图5为本发明所述视频流处理装置第二实施例的组成结构示意图，如图5所示，包括：处理单元51和播放单元52。

处理单元51，用于获取视频流，在播放其中的每帧原始图像对应的画面之前，若确定已经获取到该原始图像对应的处理方式信息，则按照所述处理方式信息在该原始图像对应的画面上叠加处理效果，并将进行叠加之后的画面通过播放单元52进行播放。

其中，所述处理方式信息中可包括：叠加方式，以及，叠加位置；

每个叠加位置分别对应一种叠加方式；

或者，至少一个叠加位置对应M种叠加方式，M为大于一的正整数；

当一个叠加位置对应M种叠加方式时，处理单元51可从M种叠加方式中选出一种进行叠加。

实施例六

本实施例中公开了一种视频流处理系统，包括：

如实施例四中所述的视频流处理装置，以及，如实施例五中所述的视频流处理装置。

在实际应用中，实施例四中所述的视频流处理装置可为服务器，实施例五中所述的视频流处理装置可为播放端如播放器等。

实施例四、实施例五和实施例六中所述的装置和系统实施例的具体工作流程请参照前述方法实施例中的相应说明，不再赘述。

在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。

上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。