对终端多个视频源的处理方法及装置与流程

本发明涉及通信领域，具体而言，涉及一种对终端多个视频源的处理方法及装置。

背景技术：

当前的会议电视中，一般是1个终端对应1个视频源，对视频源的切换是以终端为单位的。在现实的应用场景中，一个终端可能接多个摄像头，1个终端就会有多个视频源。在会议电视中，需要对单个终端的多个视频源进行选择和控制。

例如在会议过程中，针对多视频的终端，可能会需要从一个视频源切换到另一个视频源，然而相关技术中没有针对一个终端对应多个视频源的控制与切换方法。

针对相关技术中上述问题，目前尚未提出有效的解决方案。

技术实现要素：

本发明的主要目的在于提供一种对终端多个视频源的处理方法及装置，以至少解决相关技术中没有针对一个终端对应多个视频源的控制与切换方法的问题。

根据本发明的一个方面，提供了一种对终端多个视频源的处理方法，包括；微控制单元MCU向第一终端发送选择指令，其中，所述选择指令用于指示所述微控制单元MCU选择所述第一终端指定视频，所述第一终端与至少一个摄像头连接，每一个摄像头用于获取一路视频源；所述MCU接收所述第一终端响应于所述选择指令发送的第一视频源，其中，所述第一视频源由所述第一终端依据所述指定视频源编成，该指定视频源包括一路或多路视频源；所述MCU依据所述第一视频源切换当前在WEB页面上呈现视频的视频源，或与所述当前在WEB页面上呈现视频的视频源混合。

进一步地，在微控制单元MCU向第一终端发送选择指令之前，所述方法包括：所述MCU向所述第一终端发送检测指令，其中，所述检测指令用于指示所述MCU检测所述第一终端当前正在使用的摄像头。

进一步地，在依据所述第一视频源切换当前在WEB页面上呈现视频的视频 源，或与所述当前在WEB页面上呈现视频的视频源混合之后，所述方法包括：所述MCU向所述第一终端发送控制指令，其中，所述控制指令用于控制为当前WEB页面视频提供视频源的摄像头的转动。

进一步地，在依据所述第一视频源切换当前在WEB页面上呈现视频的视频源，或与所述当前在WEB页面上呈现视频的视频源混合之后，所述方法包括：所述MCU将当前WEB页面呈现视频的视频源转发给第二终端。

根据本发明的另一个方面，提供了一种对终端多个视频源的处理方法，包括；第一终端接收微控制单元MCU发送的用于选择所述第一终端指定视频源的选择指令，其中，所述第一终端与至少一个摄像头连接，每一个摄像头用于获取一路视频源，所述指定视频源包括一路或多路视频源；所述第一终端响应于所述选择指令将选择的所述指定视频源编成第一视频源，并向所述MCU发送所述第一视频源。

进一步地，所述方法包括：所述第一终端接收所述MCU发送的控制指令，其中，所述控制指令用于控制为当前WEB页面视频提供视频源的摄像头的转动。

根据本发明的再一个方面，提供了一种对终端多个视频源的处理装置，位于微控制单元MCU侧，包括：第一发送模块，用于向第一终端发送选择指令，其中，所述选择指令用于指示所述微控制单元MCU选择所述第一终端指定视频，所述第一终端与至少一个摄像头连接，每一个摄像头用于获取一路视频源；第一接收模块，用于接收所述第一终端响应于所述选择指令发送的第一视频源，其中，所述第一视频源由所述第一终端依据所述指定视频源编成，该指定视频源包括一路或多路视频源；处理模块，用于依据所述第一视频源切换当前在WEB页面上呈现视频的视频源，或与所述当前在WEB页面上呈现视频的视频源混合。

进一步地，在微控制单元MCU向第一终端发送选择指令之前，所述装置包括：第二发送模块，用于所述MCU向所述第一终端发送检测指令，其中，所述检测指令用于指示所述MCU检测所述第一终端当前正在使用的摄像头。

进一步地，在依据所述第一视频源切换当前在WEB页面上呈现视频的视频源，或与所述当前在WEB页面上呈现视频的视频源混合之后，所述装置包括：第三发送模块，用于向所述第一终端发送控制指令，其中，所述控制指令用于控制为当前WEB页面视频提供视频源的摄像头的转动。

进一步地，在依据所述第一视频源切换当前在WEB页面上呈现视频的视频源，或与所述当前在WEB页面上呈现视频的视频源混合之后，所述装置包括：第四发送模块，用于所述MCU将当前WEB页面呈现视频的视频源发送给第二终 端。

根据本发明的再一个方面，提供了一种对终端多个视频源的处理装置，位于终端侧，包括；第二接收模块，用于接收微控制单元MCU发送的用于选择所第一终端指定视频源的选择指令，其中，所述第一终端与至少一个摄像头连接，每一个摄像头用于获取一路视频源，所述指定视频源包括一路或多路视频源；编成模块，用于响应于所述选择指令将选择的所述指定视频源编成第一视频源，并向所述MCU发送所述第一视频源。

进一步地，所述装置包括：第三接收模块，用于接收所述MCU发送的控制指令，其中，所述控制指令用于控制为当前WEB页面视频提供视频源的摄像头的转动。

通过本发明，采用MCU下发选择指令到终端，该选择指令选择终端当前正在使用的摄像头的视频源中的一个或多个，在选择为多个时，终端将该多个视频源编成一路视频源，并将该一路视频源传输到MCU，MCU将该多个视频源编成一路视频源，并将之后，MCU可以将该一路视频源与当前WEB显示的视频源混合后呈现，或者切换掉当前显示的视频源并，显示混合后该编成的视频源。通过本实施例，解决了相关技术中没有针对一个终端对应多个视频源的控制与切换方法的问题，提高了用户的体验效果。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明实施例的对终端多个视频源的处理方法的流程图一；

图2是根据本发明可选实施例的对终端多个视频源的处理方法的流程图二；

图3是根据本发明实施例的对终端多个视频源的处理装置的结构框图一；

图4是根据本发明实施例的对终端多个视频源的处理装置的结构框图二；

图5是根据本发明可选实施例的对单个终端的多个视频源进行选择和控制的系统结构框图；

图6是根据本发明可选实施例的媒体和信令的交互数据流示意图；

图7是根据本发明可选实施例的终端和MCU通信交互的时序图；

图8是根据本发明可选实施例的具有3个摄像头的终端在WEB页面呈现的示意图；

图9是根据本发明可选实施例的WEB页面的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本发明。

本发明实施例提供了一种对终端多个视频源的处理方法，图1是根据本发明实施例的对终端多个视频源的处理方法的流程图一，如图1所示，该方法的步骤包括：

步骤S102：微控制单元MCU向第一终端发送选择指令，其中，选择指令用于指示微控制单元MCU选择第一终端指定视频，第一终端与至少一个摄像头连接，每一个摄像头用于获取一路视频源；

步骤S104：MCU接收第一终端响应于选择指令发送的第一视频源，其中，该第一视频源由第一终端依据指定视频源编成，该指定视频源包括一路或多路视频源；

步骤S106：MCU依据该第一视频源切换当前在WEB页面上呈现视频的视频源，或与当前在WEB页面上呈现视频的视频源混合。

通过上述步骤S102至步骤S106，采用MCU下发选择指令到终端，该选择指令选择终端当前正在使用的摄像头的视频源中的一个或多个，在选择为多个时，终端将该多个视频源编成一路视频源，并将该一路视频源传输到MCU，之后，MCU可以将该一路视频源与当前WEB显示的视频源混合后呈现，或者切换掉当前显示的视频源并显示混合后的视频源。通过本实施例，解决了相关技术中没有针对一个终端对应多个视频源的控制与切换方法的问题，提高了用户的体验效果。

而在本实施例的步骤S102之前，也就是在微控制单元MCU向第一终端发送选择指令之前，本实施例的方法还可以包括：MCU向第一终端发送检测指令，该检测指令用于指示MCU检测第一终端当前正在使用的摄像头。通过该方式MCU可以读取终端当前使用的摄像头的信息后，MCU就把这个信息记录到终端的终端属性中。

而在本实施例的另一个可选实施例中，在依据第一视频源切换当前在WEB页面上呈现视频的视频源，或与当前在WEB页面上呈现视频的视频源混合之后，本实施例的方法包括：MCU向第一终端发送控制指令，其中，控制指令用于控制为当前WEB页面视频提供视频源的摄像头的转动。通过该方式，用户可以通过WEN页面向MCU发送控制指令，从而可以控制终端摄像头的转动，扩大视频源呈现画面的范围。

在本实施例的另一个可选实施例中，在依据第一视频源切换当前在WEB页面上呈现视频的视频源，或与当前在WEB页面上呈现视频的视频源混合之后，为了能够实现多个终端视频源的共享，本实施例的方法还可以包括：MCU将当前WEB页面呈现视频的视频源转发给第二终端。

图2是根据本发明可选实施例的对终端多个视频源的处理方法的流程图二，如图2所示，该方法的步骤包括；

步骤S202：第一终端接收微控制单元MCU发送的用于选择第一终端指定视频源的选择指令，其中，第一终端与至少一个摄像头连接，每一个摄像头用于获取一路视频源，该指定视频源包括一路或多路视频源；

步骤S204：第一终端响应于选择指令将选择的指定视频源编成第一视频源，并向MCU发送该第一视频源。

步骤S206：第一终端接收MCU发送的控制指令，其中，控制指令用于控制为当前WEB页面视频提供视频源的摄像头的转动。

由上述步骤S202至步骤S206可知，终端在与多个摄像头连接时，可以在接收到MCU的选择指令之后，将当前正在使用的该选择指令指示的摄像头的视频源传送给MCU，此外还可以接收用户触发MCU发送的控制指令，对当前使用的摄像头的进行转动控制。

在本实施例中还提供了一种对终端多个视频源的处理装置，该装置用于实现上述实施例及可选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。

图3是根据本发明实施例的对终端多个视频源的处理装置的结构框图一，如图3所示，该装置位于微控制单元MCU侧，该装置包括：第一发送模块32，用于向第一终端发送选择指令，其中，选择指令用于指示微控制单元MCU选择第一终端指定视频，第一终端与至少一个摄像头连接，每一个摄像头用于获取一路视频源；第一接收模块34，与第一发送模块32耦合连接，用于接收第一终端响应于选择指令发送的第一视频源，其中，第一视频源由第一终端依据指定视频源编成，该指定视频源包括一路或多路视频源；处理模块36，与第一接收模块34耦合连接，用于依据第一视频源切换当前在WEB页面上呈现视频的视频源，或与当前在WEB页面上呈现视频的视频源混合。

可选地，在微控制单元MCU向第一终端发送选择指令之前，装置包括：第二发送模块，用于MCU向第一终端发送检测指令，其中，检测指令用于指示MCU 检测第一终端当前正在使用的摄像头。

可选地，在依据第一视频源切换当前在WEB页面上呈现视频的视频源，或与当前在WEB页面上呈现视频的视频源混合之后，装置包括：第三发送模块，用于向第一终端发送控制指令，其中，控制指令用于控制为当前WEB页面视频提供视频源的摄像头的转动。

可选地，在依依据第一视频源切换当前在WEB页面上呈现视频的视频源，或与当前在WEB页面上呈现视频的视频源混合之后，装置包括：第四发送模块，用于MCU将当前WEB页面呈现视频的视频源发送给第二终端。

图4是根据本发明实施例的对终端多个视频源的处理装置的结构框图二，该装置位于终端侧，该装置包括；第二接收模块42，用于接收微控制单元MCU发送的用于选择所第一终端指定视频源的选择指令，其中，第一终端与至少一个摄像头连接，每一个摄像头用于获取一路视频源，指定视频源包括一路或多路视频源；编成模块44，与第二接收模块42耦合连接，用于响应于选择指令将选择的指定视频源编成第一视频源，并向MCU发送该第一视频源；第三接收模块46，与编成模块44耦合连接，用于接收MCU发送的控制指令，其中，控制指令用于控制当前WEB页面呈现视频源的摄像头的转动。

下面通过本发明的可选实施例对本发明进行详细介绍；

本发明可选实施例提供了一种在会议电视中对单个终端的多个视频源进行选择和控制的方法，以解决相关技术中不能对单个终端的多个视频源在会议电视中选择和控制的问题。

图5是根据本发明可选实施例的对单个终端的多个视频源进行选择和控制的系统结构框图，如图5所示，该可选实施例涉及3个模块包括：

1、终端：1个或多个摄像头连接到1个终端；

2、MCU：会议控制的核心控制模块；

3、WEB页面：通过PC机访问MCU的WEB服务器，以WEB页面的形式展现会议和终端的属性。

终端用于接收摄像头的视频数据，然后发送给MCU，其中，终端可以接多个摄像头，每个摄像头就是终端的一路视频源。

终端发送给MCU的只有1路视频源，这路视频源可以是多个摄像头中1个摄像头的视频数据，也可以将多个摄像头视频数据编成一副多画面数据发给MCU。

终端的视频数据有下面几种情形：(1)只有摄像头1的视频数据发送给MCU(非混合视频源)；(2)摄像头1和摄像头2编成一个2画面的视频数据发送 给MCU(混合视频源)。(3)摄像头1、摄像头2和摄像头3编成一个3画面的视频数据发送给MCU(混合视频源)。

该终端必须向MCU上报终端有几个摄像头，以及终端正在使用的是哪个视频源，即当前发送给MCU的是哪个摄像头的视频源，这些是以信令的形式与MCU进行通讯和交互的。

MCU是媒体和信令处理单元，用于接收终端视频媒体数据，还处理终端信令数据，其中，MCU接收终端发送过来的媒体数据，发送给WEB页面显示，或者发送给其他终端显示；MCU接收终端发送过来的信令数据以及下发信令给终端。

对于MCU涉及的信令数据在本可选实施例中可以包括：

(1)终端视频源个数指示(TER-->MUC)：指示终端有多个摄像头；

(2)终端正在使用视频源指示(TER-->MUC)：指示当前终端正在使用的视频源；

(3)终端视频源选择命令(MCU-->TER)：MCU下发的选择哪个视频源的命令；

(4)终端摄像头控制命令MCU-->TER)：MCU下发的控制哪个摄像头动作的命令。

对于本可选实施例涉及到的WEB页面可以展示MCU接收到的终端的信息，包括媒体信息和信令信息，并且提供了一个可以人机交互的接口。此外，WEB还具有监控功能，可以将终端的视频数据的实际图像显示在WEB页面的一个框中，用户可以观察实际的图像，展示的可以是单画面也可以是多画面视频数据。另外，WEB的显示视频源信息，用于将MCU获取的终端的视频源信息展示出来，有终端几个摄像头，正在使用的视频源。WEB控制视频源，用于提供几个WEB控件，操作员通过WEB控件远程控制摄像头的移动。

对于本可选实施例的其中一应用场景可以是：会议的主持人，通过操作WEB页面的WEB控件的操作，可以控制和选择拥有多个摄像头终端的视频源，并将这些视频媒体信息发送给MCU，然后MCU发送视频数据给WEB页面，由WEB来监控和显示这个终端的视频信息。会议的主持人通过WEB监控来观察终端各个摄像头的情况，并且根据实际的会议控制需求，来选择一个合适的视频源，然后将这个终端的视频数据广播给其他终端显示，那么其他终端前面的观众就能看到主持人选择的视频图像。

结合上述应用场景以及附图对本可选实施例进行举例说明；

图6是根据本发明可选实施例的媒体和信令的交互数据流示意图，如图6所示，终端1检测到当前可以使用3个摄像头(摄像头1、摄像头2和摄像头3) 可以作为视频源的视频数据来源。

图7是根据本发明可选实施例的终端和MCU通信交互的时序图，如图7所示，该时序图的步骤包括：

步骤S702：终端上报拥有的所有视频源信息给MCU；

例如，终端1将自己拥有3个摄像头的信息，通过网络通信协议上报给MCU；

其中，MCU读取终端1发送过来的3个视频摄像头的信息后；MCU就把这个信息记录到终端1的终端属性中。

也就是说：会议主持人操作PC机的浏览器，访问MCU的WEB服务进程，WEB服务进程可以读取到MCU存储的终端的信息，这样终端的信息就读取到PC的浏览器中，并且以WEB页面的形式呈现出来。WEB呈现的形式如图3所示：有视频源的图像显示框，以及指示有几个视频源。当前显示终端1有3个摄像头。

步骤S704：终端1将自己当前使用的摄像头的信息，通过网络通信协议上报给MCU。这时终端1当前正在使用摄像头1。

其中，MCU读取终端1当前使用的摄像头的信息后。MCU就把这个信息记录到终端1的终端属性中。

图8是根据本发明可选实施例的具有3个摄像头的终端在WEB页面呈现的示意图，如图8所示，WEB页面显示终端1当前正在使用的视频源为摄像头1。

同时，终端1将摄像头1的媒体信息数据发送到MCU，MCU经过处理后，将媒体信息数据转发给WEB页面展示出来；WEB页面就如图8中的形式1的监控框监控了终端1的摄像头1。媒体信息流的过程可以见图7的媒体流向。

如图8中的形式1，WEB页面显示了终端1拥有的视频源信息为摄像头1。会议的主持人，为了观察其他摄像头的情况，在WEB页面选择其他摄像头，进行视频源的选择，例如选择摄像头2，即在图8形式1中勾选摄像头2，WEB页面将终端1新的视频源信息(摄像头2)发给MCU；

如图7中的步骤S706：MCU将选择的新的视频源信息发给终端1。

其中，终端1接收到MCU发来的新的视频源信息(摄像头2)后，把输入给终端的视频源信息从摄像头1切换到摄像头2。

如图7中的步骤S708：终端1把新的摄像头2的视频信息发送给MCU。

其中，MCU将摄像头2的视频信息发送给WEB监控页面，WEB页面就显示出终端1摄像头2的图像。

图9是根据本发明可选实施例的WEB页面的示意图，如图9所示，WEB页面有6个控件包括：‘+’和'-'控制摄像头的镜头远和近；4个方向键控制摄像头的前、后、左、右4个方位的运动。

会议主持人，通过这6个控件，通过WEB页面发送相应的控制指令到MCU。

如图7中的步骤S710：MCU接收到WEB页面的控制指令，转换为相应的控制信令，发送给终端1。

终端1接收到MCU的控制信令，控制摄像头2(这个时候视频源为摄像头2)运动，以达到调整画面的目的。满足会议控制的实际要求。

如图8中的形式2，可以勾选2个视频摄像头(1和2)作为视频源，这样就在图8的形式1中勾选摄像头1和摄像头2，WEB页面将终端1的新的视频源信息(摄像头1+摄像头2)发给MCU，如图7中的步骤S706：MCU将选择的新的视频源信息发给终端1。

终端1接收到MCU发来的新的视频源信息(摄像头1+摄像头2)后，知道这是一个混合视频源，把摄像头1和摄像2的数据都输入到终端1，如图7中的步骤S708：终端1编出1个2画面的图像。终端1把这个2画面的视频信息发送给MCU；MCU将视频信息发送给WEB监控页面，WEB页面如图8中的形式2就显示出终端1摄像头1和摄像头2的2画面图像。

如果终端2前面的观众想看终端1的图像，主持人在会议控制页面广播终端1，终端1的视频数据经过MCU，然后由MCU转发给终端2，如图6所示。

通过本可选实施例，增加会议电视视频源的选择范围，单个终端也可以有多个视频源，并且能够方便在MCU的会控页面选择；能够使得用户对终端的多个视频源进行控制与选择，提高了用户的体验效果。

上述仅为本发明的可选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。