一种对视频源添加二维码的系统及二维码添加方法与流程

本发明实施例涉及视频转码技术领域，尤其涉及一种对视频源添加二维码的系统及二维码添加方法。

背景技术：

在视频中添加水印是视频版权保护的最直接有效的办法.目前市场上基于现有的硬件编解码芯片，转码板可以容易的为一路h264mpeg4视频格式的视频中添加水印，但是目前还没有一款转码板可以为h265视频直接添加水印。能够并发的统一的为多路各种格式的视频添加水印的视频网关目前在市场上是没有的。

技术实现要素：

本发明实施例提供一种对视频源添加二维码的系统及二维码添加方法，用以实现为h265视频添加二维码信息。

本发明实施例提供的一种对视频源添加二维码的系统，包括：网关服务模块和转码平台；

所述转码平台包括由多块转码卡组成的转码板集群、信令交互模块、视频处理模块、水印管理模块和视频发送模块；

所述信令交互模块，用于与所述网关服务模块进行二维码参数的协商，以及从所述转码板集群中选择空闲状态的转码卡，将协商结果发送给所述视频处理模块和所述视频转发模块；将所述空闲状态的转码卡的标识发送给所述水印管理模块；所述协商结果包括视频流的ip地址和端口号；

所述视频处理模块，用于根据所述信令交互模块发送的协商结果接收所述网关服务模块发送的视频流，并对所述视频流进行解封装，得到源视频；

所述水印管理模块，用于控制信令交互模块选择的转码卡对所述源视频进行二维码添加，并将添加二维码后的视频发送给视频发送模块；

所述视频发送模块，用于对所述添加二维码后的视频进行封装，并根据所述视频流的ip地址和端口号将封装后的携带有二维码的视频发送给所述网关服务模块。

上述技术方案中，通过上述系统进行二维码添加时，可以减小时延的同时提高并发性，能够有效的为不同格式的视频添加二维码信息。

可选的，所述网关服务模块包括网关sip(sessioninitiationprotocol，会话初始协议)模块和网关rtp(real-timetransportprotocol，实时传输协议)模块；

所述网关sip模块用于与所述信令交互模块进行二维码参数的协商；

所述网关rtp模块用于向所述视频处理模块发送视频流，以及接收所述视频发送模块发送的封装后的携带有二维码的视频。

可选的，所述视频处理模块包括转码调度子模块和视频解析子模块；

所述转码调度子模块用于根据所述信令交互模块发送的协商结果，创建接收视频任务；确定转码的视频格式；以及检测转码卡的空闲状态，将处于空闲空调的转码卡的标识通知给信令交互模块；

所述视频解析子模块用于对所述网关服务模块发送的视频流进行解封装，得到源视频。

可选的，所述协商结果还包括二维码信息；

所述水印管理模块根据所述二维码信息生成二维码，控制所述空闲状态的转码卡将所述二维码转换为yuv格式的第一数据以及将所述源视频进行解码并转换为所述yuv格式的第二数据；将所述第一数据和所述第二数据合并后进行转码。

可选的，所述视频转发模块根据所述视频流的ip地址和端口号创建端口，在对所述添加二维码后的视频进行封装后，将封装后的视频通过所述端口发送给所述网关服务模块。

相应的，本发明实施例还提供了一种基于上述系统的二维码添加方法，包括：

获取网关服务模块发送的协商结果，所述协商结果包括二维码信息、视频流的ip地址和端口号；

根据所述视频流的ip地址和端口号接收所述网关服务模块发送的视频流，并对所述视频流进行解封装，得到源视频；

根据所述二维码信息以及所述源视频，对所述源视频进行二维码添加以及转码；

将添加二维码后的视频根据所述视频流的ip地址和端口号发送给所述网关服务模块。

可选的，所述根据所述二维码信息以及所述源视频，对所述源视频进行二维码添加以及转码，包括：

根据所述二维码信息生成二维码；

将所述二维码转换为yuv格式的第一数据；

将所述源视频进行解码并转换为所述yuv格式的第二数据；

将所述第一数据和所述第二数据合并后进行转码。

可选的，所述将添加二维码后的视频根据所述视频流的ip地址和端口号发送给所述网关服务模，包括：

根据所述视频流的ip地址和端口号创建端口；

在对所述添加二维码后的视频进行封装后，将封装后的视频通过所述端口发送给所述网关服务模块。

相应的，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述信号灯故障检测方法。

相应的，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述信号灯故障检测方法。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种对视频源添加二维码的系统的结构示意图；

图2为本发明实施例提供的一种视频处理模块的示意图；

图3为本发明实施例提供的一种视频处理的流程示意图；

图4为本发明实施例提供的一种二维码添加方法的流程示意图；

图5为本发明实施例提供的一种二维码添加方法的流程示意图。

具体实施方式

为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作进一步地详细描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

图1示例性的示出了本发明实施例提供的一种对视频源添加二维码的系统，如图1所示，该系统可以包括：网关服务模块100和转码平台200。

其中，转码平台200可以包括由多块转码卡组成的转码板集群、信令交互模块、视频处理模块、水印管理模块和视频发送模块。

本发明实施例中，系统通过集成8块转码卡，形成转码板硬件集群。从而实现对16路1080p视频并发添加它们各自的二维码。此方法的实现可以对mpeg4、h264、h265等视频源设备进行接入并输出带有独自信息的二维码。

具体的，信令交互模块，可以用于与所述网关服务模块进行二维码参数的协商，以及从转码板集群中选择空闲状态的转码卡，将协商结果发送给视频处理模块和视频转发模块。将空闲状态的转码卡的标识发送给水印管理模块。协商结果包括视频流的ip地址和端口号。也就是负责与网关内sip服务模块进行二维码参数的协商；同时负责选择空闲的转码卡进行osd管理。

视频处理模块，可以用于根据所述信令交互模块发送的协商结果接收所述网关服务模块发送的视频流，并对所述视频流进行解封装，得到源视频。也就是接收网关视频转发服务传入的视频流，并进行ps解包。

水印管理模块，用于控制信令交互模块选择的转码卡对所述源视频进行二维码添加，并将添加二维码后的视频发送给视频发送模块。也就是负责对视频进行二维码的添加处理。

视频发送模块，用于对添加二维码后的视频进行封装，并根据视频流的ip地址和端口号将封装后的携带有二维码的视频发送给网关服务模块。也即是负责对重新封装的视频码流进行转发，发送至网关服务模块。

如图1所示，上述网关服务模块可以包括网关sip模块和网关rtp模块。

其中，网关sip模块用于与所述信令交互模块进行二维码参数的协商。而网关rtp模块用于向所述视频处理模块发送视频流，以及接收所述视频发送模块发送的封装后的携带有二维码的视频。

如图2所示，上述视频处理模块可以包括转码调度子模块和视频解析子模块。

转码调度子模块用于根据信令交互模块发送的协商结果，创建接收视频任务，确定转码的视频格式。以及检测转码卡的空闲状态，将处于空闲空调的转码卡的标识通知给信令交互模块。视频解析子模块用于对所述网关服务模块发送的视频流进行解封装，得到源视频。

在本发明实施例中，协商结果还可以包括二维码信息。水印管理模块可以根据所述二维码信息生成二维码，控制所述空闲状态的转码卡将所述二维码转换为yuv格式的第一数据以及将所述源视频进行解码并转换为所述yuv格式的第二数据；将所述第一数据和所述第二数据合并后进行转码。

当水印管理模块进行视频转码后，视频转发模块根据所述视频流的ip地址和端口号创建端口，在对添加二维码后的视频进行封装后，将封装后的视频通过所述端口发送给上述网关服务模块。

具体的，上述信令交互模块负责与网关sip模块进行信令交互。信令交互模块主要负责接收网关sip模块发来的二维码参数，并对其做出应答。信令交互模块与网关sip模块以http协议为载体，按照符合rest规则的json数据格式进行通信。双方通信指令分为请求添加二维码命令、请求添加二维码命令响应、停止视频处理命令、停止视频处理命令响应，指令包含的内容见表1。

表1

视频处理模块，主要包括转码调度子模块和视频解析子模块。

转码调度子模块主要有以下功能：

(1)根据信令交互模块得到的地址信息，创建接收视频任务；

(2)读取数据库中配置的转码信息，确定转码的视频格式；

(3)转码管理服务检测转码板的空闲状态，确定视频流向的转码板。

视频解析子模块主要有以下功能：

(1)接收网关rtp模块转发过来的rtp视频；

(2)对(1)中接收到的视频数据进行rtp解封装以获取ps流；

(3)对(2)中ps流进行解封装以获取es流；

(4)将(3)生成的es流使用转码板转码接口进行转码。

该视频处理模块的执行流程可以如图3所示，具体可以包括：

步骤301，根据信令交互模块得到的接收视频所需的地址信息创建任务。

根据信令交互模块传输的协商结果中的视频流的ip地址和端口号创建任务，可以是创建socket。

步骤302，利用socket接收视频流数据。

利用步骤301创建的socket接收视频流数据。

步骤303，rtp解封装。

步骤304，ps解封装。

步骤305，调用转码卡转码接口进行转码。

通过调用转码卡转码接口将解封装后的视频流发送给转码卡，以使水印管理模块控制转码卡进行转码。最终将添加了二维码以及转码后的视频发送给视频发送模块。

水印管理模块主要功能如下：

(1)按照信令交互模块接收的二维码信息生成二维码。

(2)将生成的二维码点阵图转为yuv420数据。

(3)对源视频图像帧解码并转为yuv420数据。

(4)合并步骤(2)和步骤(3)生成的数据作为新的图像帧数据。

视频发送模块主要功能如下：

(1)根据“信令交互模块”发送的网关rtp模块的ip和port创建socket。

(2)缓存转码板转码后的视频流。

(3)对(2)中已添加osd的视频流进行ps封装。

(4)对(3)封装的ps流进行rtp封装。

(5)利用(1)创建的socket，向(1)中指定的socket发送已封装的视频流。

基于上述对视频源添加二维码的系统，本发明实施例还提供了一种二维码添加的流程，该流程可以如图4所示，具体包括：

步骤401，获取网关服务模块发送的协商结果。

步骤402，根据所述视频流的ip地址和端口号接收所述网关服务模块发送的视频流，并对所述视频流进行解封装，得到源视频。

步骤403，根据所述二维码信息以及所述源视频，对所述源视频进行二维码添加以及转码。

具体的，可以根据二维码信息生成二维码，将二维码转换为yuv格式的第一数据，以及将源视频进行解码并转换为yuv格式的第二数据，最后将第一数据和第二数据合并后进行转码。

步骤404，将添加二维码后的视频根据所述视频流的ip地址和端口号发送给所述网关服务模块。

具体的，首先根据视频流的ip地址和端口号创建端口，然后在对添加二维码后的视频进行封装后，将封装后的视频通过端口发送给网关服务模块。

上述流程步骤已在上述系统中进行了具体的描述，此处不再赘述。

为了更好的解释本发明实施例提供的二维码添加的流程，下面将在具体实施场景下进行描述，见图5所示，具体包括：

步骤501，网关sip模块向信令交互模块发送信令协商请求。

步骤502，信令交互模块向网关sip模块发送信令协商结果。

步骤503，信令交互模块向视频处理模块发送开启视频接收处理线程。

步骤504，信令交互模块向osd管理模块发送二维码参数设置。

步骤505，信令交互模块向视频发送模块发送视频目的地址信息。

步骤506，视频处理模块接收网关rtp模块发送的原始视频。

步骤507，视频处理模块解rtp包。

步骤508，视频处理模块解ps包。

步骤509，视频处理模块向osd管理模块发送源视频流。

步骤510，osd管理模块进行二维码添加。

osd管理模块在控制转码卡对源视频流添加二维码之后，还需要进行转码。

步骤511，osd管理模块向视频发送模块添加二维码之后的视频流。

步骤512，视频发送模块进行ps+rtp封装。

视频发送模块先进行ps封装，然后再进行rtp封装。

步骤513，视频发送模块向网关rtp模块含二维码视频流。

上述流程步骤已在上述系统中进行了具体的描述，此处不再赘述。

本发明实施例提供的对视频源添加二维码的系统，可以包括网关服务模块和转码平台。转码平台包括由多块转码卡组成的转码板集群、信令交互模块、视频处理模块、水印管理模块和视频发送模块。信令交互模块，用于与网关服务模块进行二维码参数的协商，以及从转码板集群中选择空闲状态的转码卡，将协商结果发送给视频处理模块和视频转发模块；将空闲状态的转码卡的标识发送给水印管理模块。视频处理模块，用于根据信令交互模块发送的协商结果接收网关服务模块发送的视频流，并对视频流进行解封装，得到源视频。水印管理模块，用于控制信令交互模块选择的转码卡对源视频进行二维码添加，并将添加二维码后的视频发送给视频发送模块。视频发送模块，用于对添加二维码后的视频进行封装，并根据视频流的ip地址和端口号将封装后的携带有二维码的视频发送给网关服务模块。通过上述系统进行二维码添加时，可以减小时延的同时提高并发性，能够有效的为不同格式的视频添加二维码信息。

基于相同的技术构思，本发明实施例还提供了一种计算设备，包括：

存储器，用于存储程序指令；

处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述二维码添加的方法。

基于相同的技术构思，本发明实施例还提供了一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述二维码添加的方法。

需要说明的是，本发明实施例使得在添加osd业务时，减小时延的同时提高了并发性。在网关内部嵌入转码板硬件集群系统的方案属于业内首次使用。在转码板中使用私有软件生成二维码图像数据并将其合并到视频中，并在二维码信息内容中携带视频流的流经途径，这在安防相关产品上属首次使用。本专利首次提出基于视频网关的硬件集成部署及软件架构的整体解决方案，该方案能够有效的为不同格式的视频添加二维码。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明范围的所有变更和修改。

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。