一种实时视频处理方法及装置与流程

本发明涉及数据处理技术领域，具体而言，涉及一种实时视频处理方法及装置。

背景技术：

目前，在监控系统及即时通讯等各个应用领域中都需要进行实时视频的传输，发送端在传输实时视频的同时还需要传输控制信令，以使接收端根据控制信令处理实时视频。

当前，相关技术中传输实时视频时，视频流与控制信令是在不同通道分别进行传输的。通过不同通道传输很难确保视频流与其对应的控制信令同时到达接收端。为了实现视频流与控制信令的同步，相关技术中添加了缓冲区，并进行时间戳同步，但在实时视频交互场景下，会造成更高的时间延迟。而且基于UDP(User Datagram Protocol，用户数据报协议)传输视频流及控制信令时，必然存在丢包现象，为了保证视频流与其对应的控制信令均能到达接收端，也会相应的增加程序设计以及实现的复杂度。

技术实现要素：

有鉴于此，本发明实施例的目的在于提供一种实时视频处理方法及装置，以解决现有技术中视频流与控制信令在不同通道分别传输，导致视频流与控制信令不同步的问题。

第一方面，本发明实施例提供了一种实时视频处理方法，所述方法包括：

采集当前视频帧；

检测当前是否存在触发控制事件；

若检测到触发控制事件，则获取所述触发控制事件对应的控制信令，将所述控制信令插入所述当前视频帧中，传输插入操作后的所述当前视频帧给接收端；

若未检测到触发控制事件，则直接传输所述当前视频帧给接收端。

结合第一方面，本发明实施例提供了上述第一方面的第一种可能的实现方式，其中，所述将所述控制信令插入所述当前视频帧中，包括：

解析所述当前视频帧，从所述当前视频帧中定位出补充增强信息单元SEI；

将所述控制信令插入所述SEI中。

结合第一方面，本发明实施例提供了上述第一方面的第二种可能的实现方式，其中，所述触发控制事件为预设用户行为；所述检测当前是否存在触发控制事件，包括：

识别所述当前视频帧包含的用户图像；

提取所述用户图像的图像特征；

根据所述图像特征，确定所述用户图像中是否存在预设用户行为；

如果是，则确定当前存在触发控制事件；如果否，则确定当前不存在触发控制事件。

结合第一方面，本发明实施例提供了上述第一方面的第三种可能的实现方式，其中，所述触发控制事件为存在响度大于预设分贝阈值的声音；所述检测当前是否存在触发控制事件，包括：

采集所述当前视频帧的同时，录制所述当前视频帧对应的音频文件；

判断所述音频文件包含的声音的响度是否大于所述预设分贝阈值；

如果是，则确定当前存在触发控制事件；如果否，则确定当前不存在触发控制事件。

第二方面，本发明实施例提供了一种实时视频处理方法，所述方法包括：

接收发送端传输的当前视频帧；

确定所述当前视频帧是否包含控制信令；

如果是，则根据所述控制信令播放所述当前视频帧；

如果否，则直接播放所述当前视频帧。

结合第二方面，本发明实施例提供了上述第二方面的第一种可能的实现方式，其中，所述确定所述当前视频帧是否包含控制信令，包括：

解析所述当前视频帧，从所述当前视频帧中定位出SEI；

查看所述SEI中是否包含控制信令。

结合第二方面，本发明实施例提供了上述第二方面的第二种可能的实现方式，其中，所述根据所述控制信令播放所述当前视频帧，包括：

确定所述控制信令对应的操作指令；

在播放所述当前视频帧的同时执行所述操作指令。

第三方面，本发明实施例提供了一种实时视频处理装置，所述装置包括：

采集模块，用于采集当前视频帧；

检测模块，用于检测当前是否存在触发控制事件；

插入模块，用于当所述检测模块检测到触发控制事件时，获取所述触发控制事件对应的控制信令，将所述控制信令插入所述当前视频帧中；

传输模块，用于传输插入操作后的所述当前视频帧给接收端；所述传输模块还用于当所述检测模块未检测到触发控制事件时，直接传输所述当前视频帧给接收端。

结合第三方面，本发明实施例提供了上述第三方面的第一种可能的实现方式，其中，所述插入模块包括：

定位单元，用于解析所述当前视频帧，从所述当前视频帧中定位出补充增强信息单元SEI；

插入单元，用于将所述控制信令插入所述SEI中。

第四方面，本发明实施例提供了一种实时视频处理装置，所述装置包括：

接收模块，用于接收发送端传输的当前视频帧；

确定模块，用于确定所述当前视频帧是否包含控制信令；

播放模块，用于当所述确定模块确定所述当前视频帧包含控制信令时，根据所述控制信令播放所述当前视频帧；以及，用于当所述确定模块确定所述当前视频帧不包含控制信令时，直接播放所述当前视频帧。

在本发明实施例中，发送端采集当前视频帧；检测当前是否存在触发控制事件；若存在，获取触发控制事件对应的控制信令，将控制信令插入当前视频帧，传输插入后的当前视频帧给接收端；若不存在，直接传输当前视频帧给接收端。接收端接收发送端传输的当前视频帧；确定当前视频帧是否包含控制信令；如果是，根据控制信令播放当前视频帧；如果否，直接播放当前视频帧。本发明中发送端将控制信令插入视频帧中，使控制信令同视频帧同时到达接收端。在接收端实现视频渲染与控制信令同步。控制信令由用户主动触发的触发控制事件触发，增加发送端与接收端双方用户的交互手段，提高了实时视频中用户的参与度及体验度。

为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本发明实施例1所提供的一种实时视频处理方法的流程图；

图2示出了本发明实施例1所提供的一种实时视频处理方法的另一种流程图；

图3示出了本发明实施例1所提供的一种实时视频传输示意图；

图4示出了本发明实施例2所提供的一种实时视频处理方法的流程图；

图5示出了本发明实施例2所提供的一种实时视频处理方法的另一种流程图；

图6示出了本发明实施例3所提供的一种实时视频处理装置的结构示意图；

图7示出了本发明实施例4所提供的一种实时视频处理装置的结构示意图；

图8示出了本发明实施例6所提供的一种实时视频处理装置的结构示意图；

图9示出了本发明实施例8所提供的一种实时视频处理装置的结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

考虑到相关技术中传输实时视频时，视频流与控制信令是在不同通道分别进行传输的，导致视频流与其对应的控制信令很容易出现不同步的问题。而且现有技术中为了解决该不同步问题，添加了缓冲区，并进行时间戳同步，如此会造成很高的时间延迟。基于此，本发明实施例提供了一种实时视频处理方法及装置，下面通过实施例进行描述。

实施例1

参见图1，本发明实施例提供了一种实时视频处理方法，该方法具体包括以下步骤：

步骤101：采集当前视频帧。

本发明实施例的执行主体为实时视频的发送端。该发送端可以为发送端，也可以为服务器。在视频直播、视频监控或视频聊天等应用场景中，发送端对用户或拍摄区域的图像进行实时拍摄，采集用户或拍摄区域的当前视频帧。

步骤102：检测当前是否存在触发控制事件，如果是，则执行步骤103，如果否，则执行步骤104。

触发控制事件可以为预设用户行为、存在响度大于预设分贝阈值的声音或预设时刻等。

当触发控制事件为预设用户行为时，采集到当前视频帧后，对当前视频帧进行图像处理，识别当前视频帧包含的用户图像；提取用户图像的图像特征；根据图像特征，确定用户图像中是否存在预设用户行为；如果是，则确定当前存在触发控制事件，后续执行步骤103的操作；如果否，则确定当前不存在触发控制事件，后续执行步骤104的操作。

本发明实施例中，还可以通过如下方式来检测当前视频帧中是否存在预设用户行为，具体包括：确定该特定用户行为对应的肢体部位。采集到当前视频帧后，对当前视频帧进行图像处理，从当前视频帧中提取出用户轮廓，从该用户轮廓中截取上述肢体部位对应的轮廓图像，计算该轮廓图像与特定用户行为之间的相似系数。若该相似系数大于预设系数阈值，则确定当前存在触发控制事件。若该相似系数小于或等于预设系数阈值，则确定当前不存在触发控制事件。

发送端在采集当前视频帧的同时，还录制当前视频帧对应的音频文件。当触发控制事件为存在响度大于预设分贝阈值的声音时，判断音频文件包含的声音的响度是否大于预设分贝阈值；如果是，则确定当前存在触发控制事件，后续执行步骤103的操作；如果否，则确定当前不存在触发控制事件，后续执行步骤104的操作。

当触发控制事件为预设时刻时，采集当前视频帧的同时，获取系统时间，判断该系统时间是否为上述预设时间，如果是，则确定当前存在触发控制事件，后续执行步骤103的操作。如果否，则确定当前不存在触发控制事件，后续执行步骤104的操作。

除上述预设用户行为、响度大于预设分贝阈值的声音或预设时刻外，触发控制事件也可以为其他事先规定的触发条件，如触发控制事件还可以为存在特定分贝的声音。此时检测当前视频帧中是否存在触发控制事件时，确定当前视频帧对应的音频文件的分贝分布信息，该分贝分布信息可以为分贝分布散点图。确定该分贝分布信息中是否包含上述特定分贝，若包含，则确定当前存在触发控制事件。若不包含，则确定当前不存在触发控制事件。本发明实施例并不具体限定触发控制事件，实际应用中可根据需求来规定触发控制事件的具体触发条件。

步骤103:生成触发控制事件对应的控制信令，将控制信令插入当前视频帧中，传输插入操作后的当前视频帧给接收端。

在本发明实施例中，发送端中事先配置了触发控制事件与控制信令的对应关系。

确定当前视频帧中存在触发控制事件后，从触发控制事件与控制信令的对应关系中获取对应的控制信令。将获取的控制信令插入当前视频帧中。

本发明实施例通过如下操作将控制信令插入当前视频帧中，具体包括：

解析当前视频帧，从当前视频帧中定位出SEI(Supplemental Enhancement Information，补充增强信息单元)；将控制信令插入当前视频帧的SEI中。

在当前视频帧中插入控制信令后，将当前视频帧传输给接收端。接收端接收到该视频帧后从当前视频帧中解析出该控制信令，并在播放当前视频帧时执行该控制信令对应的操作指令。

在本发明实施例中，控制信令可以为事先规定的信令标识符，如0或1等。例如，发送端中事先配置触发控制事件“挥动右手”与控制信令“1”的对应关系，当检测出当前视频帧中用户的图像挥动右手时，在当前视频帧的SEI中插入控制信令“1”，然后将该当前视频帧传输给接收端。接收端中事先配置了控制信令与操作指令的对应关系，假设接收端中配置了控制信令“1”与操作指令“窗口震动”的对应关系，则接收端识别出当前视频帧中包含控制信令“1”时，震动播放当前视频帧的窗口。

上述将插入控制信令的当前视频帧传输给接收端时，为了减少传输过程中因丢包导致控制信令丢失的情况，本发明实施例在视频传输过程中添加了丢包重传策略。对插入控制信令的当前视频帧启用基于可靠UDP(User Datagram Protocol，用户数据报传输协议)的传输，例如通过KCP(快速可靠协议)来传输插入控制信令的当前视频帧。

在通过KCP协议来传输插入控制信令的当前视频帧时，发送端将控制信令插入当前视频帧后，缓存该当前视频帧，并为该当前视频帧分配唯一标识，然后通过KCP协议将该当前视频帧及其唯一标识传输给接收端。接收端接收到该当前视频帧和唯一标识后，将该唯一标识返回给发送端。发送端接收到该唯一标识时确认该当前视频帧发送成功，继续进行后续视频帧的处理。若发送端向接收端发送该当前视频帧及其唯一标识后一段时间内没有接收到接收端返回的唯一标识，则确认该当前视频帧丢包了，发送端获取缓存的该当前视频帧，通过KCP协议重新将该当前视频帧及其唯一标识发送给接收端。发送端直到确认该当前视频帧成功发送给接收端为止，删除缓存的该当前视频帧，再继续进行后续视频帧的处理。

步骤104：直接传输当前视频帧给接收端。

当步骤102检测出当前不存在触发控制事件时，直接将当前视频帧传输给接收端。接收端接收到该当前视频帧后，通过解析发现当前视频帧中不包含控制信令，则直接播放该当前视频帧。

在当前视频帧中不包含控制信令时，发送端可以直接通过不可靠UDP协议将当前视频帧传输给接收端，以提高视频帧的传输速度。当然发送端也可以通过可靠UDP协议来传输未插入控制信令的当前视频帧。

为了便于理解本发明实施例提供的实时视频处理方案，下面结合附图进行具体说明。如图2所示，S1：采集当前视频帧。S2：编码当前视频帧。S3：将控制信令写入当前视频帧的SEI中。S4：判断当前视频帧中是否包含控制信令，如果是，执行步骤S5，如果否，则执行步骤S6。S5：启用丢包重传机制，采用KCP协议等可靠UDP协议来传输当前视频帧。S6：采用不可靠UDP协议来传输当前视频帧。

对于实时视频的每一帧都与当前视频帧相同，发送端均按照步骤101-104的操作对实时视频的每一帧进行处理，并传输给接收端。如图3所示为实时视频的传输示意图，实时视频中有的视频帧中携带控制信令，有的视频帧中不含有控制信令。携带控制信令的视频帧中，控制信令位于视频帧的SEI中。本发明实施例将控制信令插入到视频帧中，使得控制信令能够与视频帧同时到达接收端，实现了视频渲染与控制信令的同步。另外，触发控制事件可以由用户主动触发，提高了用户在实时视频时的参与度，改善了用户体验。

在本发明实施例中，发送端采集当前视频帧；检测当前是否存在触发控制事件；若存在，获取触发控制事件对应的控制信令，将控制信令插入当前视频帧，传输插入后的当前视频帧给接收端；若不存在，直接传输当前视频帧给接收端。本发明中发送端将控制信令插入视频帧中，使控制信令同视频帧同时到达接收端。在接收端实现视频渲染与控制信令同步。控制信令由用户主动触发的触发控制事件触发，增加发送端与接收端双方用户的交互手段，提高了实时视频中用户的参与度及体验度。

实施例2

参见图4，本发明实施例提供了一种实时视频处理方法，该方法具体包括以下步骤：

步骤201：接收发送端传输的当前视频帧。

本发明实施例的执行主体为实时视频的接收端。接收端接收发送端传输的当前视频帧。

步骤202：确定当前视频帧是否包含控制信令，如果是，则执行步骤203，如果否，则执行步骤204。

接收端接收到当前视频帧后，解析当前视频帧，从当前视频帧中定位出SEI。查看该当前视频帧的SEI中是否包含控制信令。若包含，后续执行步骤203，若不包含后续执行步骤204。

步骤203：根据控制信令播放当前视频帧。

当步骤202确定出当前视频帧中包含控制信令时，确定控制信令对应的操作指令；在播放当前视频帧的同时执行操作指令。

在本发明实施例中，接收端中预先配置了控制信令与操作指令的对应关系。当确定出当前视频帧中包含控制信令时，从控制信令与操作指令的对应关系中获取对应的操作指令，在播放当前视频帧时执行该操作指令。

例如，假设接收端中预先配置了控制信令“1”与操作指令“窗口震动”的对应关系，则确定当前视频帧中包含控制信令“1”时，在通过播放窗口播放当前视频帧的同时，震动该播放窗口。

在上述实施例1中发送端在发送插入控制信令的当前视频帧时，为了减少传输过程中因丢包导致控制信令丢失的情况，发送端启用丢包重传策略，即对插入控制信令的当前视频帧启用基于可靠UDP协议的传输，例如通过KCP协议来传输插入控制信令的当前视频帧。当发送端通过KCP协议传输当前视频帧给接收端时，还将当前视频帧的唯一标识传输给接收端。接收端接收到该当前视频帧和唯一标识后，将该唯一标识返回给发送端，以使发送端接收到该唯一标识时确认该当前视频帧发送成功，从而继续进行后续视频帧的处理。若当前视频帧的传输发生了丢包情况，则接收端接收不到当前视频帧及其唯一标识，如此发送端在一定时间后未收到接收端返回的唯一标识，则确认该当前视频帧丢包了，发送端将会重新传输该当前视频帧，直到确认该当前视频帧成功发送给接收端为止。

步骤204：直接播放当前视频帧。

接收端接收到该当前视频帧后，通过解析发现当前视频帧中不包含控制信令，则直接播放该当前视频帧。

为了便于理解本发明实施例提供的实时视频的处理方法，下面结合附图进行说明。如图5所示，A1：分析发送端传输的当前视频帧。A2：判断当前视频帧中是否包含SEI，如果是，则执行步骤A3，如果否，则执行步骤A6。A3：判断当前视频帧的SEI中是否包含控制信令，如果是，则执行步骤A4，如果否，则执行步骤A5。A4：返回控制信令至业务层处理，在业务层执行控制信令对应的操作指令。A5：显示当前视频帧。

对于实时视频的每一帧都与当前视频帧相同，接收端均按照步骤201-204的操作对实时视频的每一帧进行处理并显示。发送端将控制信令插入到视频帧中，使得控制信令能够与视频帧同时到达接收端，在接收端实现了视频渲染与控制信令的同步。另外，触发控制事件可以由用户主动触发，提高了用户在实时视频时的参与度，改善了用户体验。

在本发明实施例中，接收端接收发送端传输的当前视频帧；确定当前视频帧是否包含控制信令；如果是，根据控制信令播放当前视频帧；如果否，直接播放当前视频帧。本发明中发送端将控制信令插入视频帧中，使控制信令同视频帧同时到达接收端。在接收端实现视频渲染与控制信令同步。控制信令由用户主动触发的触发控制事件触发，增加发送端与接收端双方用户的交互手段，提高了实时视频中用户的参与度及体验度。

实施例3

参见图6，本发明实施例提供了一种实时视频处理装置，该装置用于执行上述实施例1所提供的实时视频处理方法，该装置包括：

采集模块30，用于采集当前视频帧；

检测模块31，用于检测当前是否存在触发控制事件；

插入模块32，用于当检测模块检测到触发控制事件时，获取触发控制事件对应的控制信令，将控制信令插入当前视频帧中；

传输模块33，用于传输插入操作后的当前视频帧给接收端；传输模块33还用于当检测模块31未检测到触发控制事件时，直接传输当前视频帧给接收端。

上述插入模块32包括：

定位单元，用于解析当前视频帧，从当前视频帧中定位出补充增强信息单元SEI；

插入单元，用于将控制信令插入SEI中。

在本发明实施例中，触发控制事件为预设用户行为；此时检测模块31，用于识别当前视频帧包含的用户图像；提取用户图像的图像特征；根据图像特征，确定用户图像中是否存在预设用户行为；如果是，则确定当前存在触发控制事件；如果否，则确定当前不存在触发控制事件。

在本发明实施例中，触发控制事件还可以为存在响度大于预设分贝阈值的声音；此时检测模块31，用于采集当前视频帧的同时，录制当前视频帧对应的音频文件；判断音频文件包含的声音的响度是否大于预设分贝阈值；如果是，则确定当前存在触发控制事件；如果否，则确定当前不存在触发控制事件。

在本发明实施例中，发送端采集当前视频帧；检测当前是否存在触发控制事件；若存在，获取触发控制事件对应的控制信令，将控制信令插入当前视频帧，传输插入后的当前视频帧给接收端；若不存在，直接传输当前视频帧给接收端。本发明中发送端将控制信令插入视频帧中，使控制信令同视频帧同时到达接收端。在接收端实现视频渲染与控制信令同步。控制信令由用户主动触发的触发控制事件触发，增加发送端与接收端双方用户的交互手段，提高了实时视频中用户的参与度及体验度。

实施例4

参见图7，本发明实施例提供了一种实时视频处理装置，该装置用于执行上述实施例2所提供的实时视频处理方法，该装置包括：

接收模块40，用于接收发送端传输的当前视频帧；

确定模块41，用于确定当前视频帧是否包含控制信令；

播放模块42，用于当确定模块41确定当前视频帧包含控制信令时，根据控制信令播放当前视频帧；以及，用于当确定模块41确定当前视频帧不包含控制信令时，直接播放当前视频帧。

上述确定模块41，用于解析当前视频帧，从当前视频帧中定位出SEI；查看SEI中是否包含控制信令。

在当前视频帧中包含控制信令时，上述播放模块42，用于确定控制信令对应的操作指令；在播放当前视频帧的同时执行操作指令。确定当前视频帧不包含控制信令时，直接播放当前视频帧。

在本发明实施例中，接收端接收发送端传输的当前视频帧；确定当前视频帧是否包含控制信令；如果是，根据控制信令播放当前视频帧；如果否，直接播放当前视频帧。本发明中发送端将控制信令插入视频帧中，使控制信令同视频帧同时到达接收端。在接收端实现视频渲染与控制信令同步。控制信令由用户主动触发的触发控制事件触发，增加发送端与接收端双方用户的交互手段，提高了实时视频中用户的参与度及体验度。

实施例5

本发明实施例提供了一种非易失性计算机存储介质，该计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述实施例1中的实时视频处理方法，具体执行以下方法：采集当前视频帧；检测当前是否存在触发控制事件；若检测到触发控制事件，则获取触发控制事件对应的控制信令，将控制信令插入当前视频帧中，传输插入操作后的当前视频帧给接收端；若未检测到触发控制事件，则直接传输当前视频帧给接收端。

该计算机存储介质存储的计算机可执行指令执行后确定当前视频帧中存在触发控制事件时，将触发控制事件对应的控制信令插入当前视频帧中，使得控制信令与当前视频帧同时到达接收端，实现视频渲染与控制信令的同步。另外，触发控制事件可以由用户主动触发，提高了用户在实时视频时的参与度，改善了用户体验。

实施例6

如图8所示，本发明实施例提供了一种实时视频处理装置，该实时视频处理装置60包括：处理器61、存储器62和总线63，存储器62存储有执行指令，当该装置运行时，处理器61与存储器62之间通过总线63通信，处理器61执行存储器62中存储的如下执行指令：采集当前视频帧；检测当前是否存在触发控制事件；若检测到触发控制事件，则获取触发控制事件对应的控制信令，将控制信令插入当前视频帧中，传输插入操作后的当前视频帧给接收端；若未检测到触发控制事件，则直接传输当前视频帧给接收端。

该实时视频处理装置通过处理器61执行上述指令，确定当前视频帧中存在触发控制事件时，将触发控制事件对应的控制信令插入当前视频帧中，使得控制信令与当前视频帧同时到达接收端，实现视频渲染与控制信令的同步。另外，触发控制事件可以由用户主动触发，提高了用户在实时视频时的参与度，改善了用户体验。

实施例7

本发明实施例提供了一种非易失性计算机存储介质，该计算机存储介质存储有计算机可执行指令，该计算机可执行指令可执行上述实施例2中的实时视频处理方法，具体执行以下方法：接收发送端传输的当前视频帧；确定当前视频帧是否包含控制信令；如果是，则根据控制信令播放当前视频帧；如果否，则直接播放当前视频帧。

该计算机存储介质存储的计算机可执行指令执行后，发送端确定当前视频帧中存在触发控制事件时，将触发控制事件对应的控制信令插入当前视频帧中，并将插入控制信令的当前视频帧传输给接收端。控制信令与当前视频帧同时到达接收端，在接收端实现了视频渲染与控制信令的同步。另外，触发控制事件可以由用户主动触发，提高了用户在实时视频时的参与度，改善了用户体验。

实施例8

如图9所示，本发明实施例提供了一种实时视频处理装置，该实时视频处理装置80包括：处理器81、存储器82和总线83，存储器82存储有执行指令，当该装置运行时，处理器81与存储器82之间通过总线83通信，处理器81执行存储器82中存储的如下执行指令：接收发送端传输的当前视频帧；确定当前视频帧是否包含控制信令；如果是，则根据控制信令播放当前视频帧；如果否，则直接播放当前视频帧。

该实时视频处理装置通过处理器81执行上述指令，发送端确定当前视频帧中存在触发控制事件时，将触发控制事件对应的控制信令插入当前视频帧中，并将插入控制信令的当前视频帧传输给接收端。控制信令与当前视频帧同时到达接收端，在接收端实现了视频渲染与控制信令的同步。另外，触发控制事件可以由用户主动触发，提高了用户在实时视频时的参与度，改善了用户体验。

本发明实施例所提供的实时视频处理装置可以为设备上的特定硬件或者安装于设备上的软件或固件等。本发明实施例所提供的装置，其实现原理及产生的技术效果和前述方法实施例相同，为简要描述，装置实施例部分未提及之处，可参考前述方法实施例中相应内容。所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，前述描述的系统、装置和单元的具体工作过程，均可以参考上述方法实施例中的对应过程，在此不再赘述。

在本发明所提供的实施例中，应该理解到，所揭露装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明提供的实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释，此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围。都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以所述权利要求的保护范围为准。