视频会议中的监控处理方法、装置、电子设备及存储介质与流程

本发明涉及数据处理技术领域，特别是涉及一种视频会议中的监控处理方法、装置、电子设备及存储介质。

背景技术：

视联网是网络发展的重要里程碑，是一个实时网络，能够实现高清视频实时传输，将众多互联网应用推向高清视频化，高清面对面。视联网采用实时高清视频交换技术，可以在一个网络平台上将所需的服务，如高清视频会议、视频监控、智能化监控分析、应急指挥、数字广播电视、延时电视、网络教学、现场直播等数十种视频、语音、图片、文字、通讯、数据等服务全部整合在一个系统平台，通过电视或电脑实现高清品质视频播放。

现有技术中，通常是在视频会议开始之前将参加视频会议的视联网终端加入视频会议中，并设置参会的视联网终端的角色。但是在视频会议中，常常会出现需要查看某个监控设备的监控视频的需求，该种情况下需要将监控设备加入视频会议中，而现有技术无法实现将监控设备加入视频会议中。

技术实现要素：

鉴于上述问题，提出了本发明实施例以便提供一种克服上述问题或者至少部分地解决上述问题的一种视频会议中的监控处理方法、装置、电子设备及存储介质。

第一方面，本发明实施例公开了一种视频会议中的监控处理方法，所述方法包括：接收客户端发送的绑定指令，解析得到所述绑定指令中携带的视频会议标识、监控协转服务器标识和监控设备标识；基于视联网透传协议生成携带所述监控协转服务器标识和所述监控设备标识的绑定请求，将所述绑定请求经由视联网服务器透传至所述监控协转服务器标识对应的监控协转服务器；接收所述监控协转服务器返回的，经由所述视联网服务器透传的绑定响应，所述绑定响应携带所述监控协转服务器为所述监控设备标识对应的监控设备绑定的虚拟终端号码和绑定指示信息；在所述绑定指示信息指示绑定成功时，将所述虚拟终端号码添加至所述视频会议标识对应的视频会议中，所述监控设备成功加入所述视频会议。

可选地，所述基于视联网透传协议生成携带所述监控协转服务器标识和所述监控设备标识的绑定请求，包括：将所述监控协转服务器标识作为第一个字段，将表示会议透传信息的操作码作为第二个字段，将表示绑定监控设备的操作码和所述监控设备标识作为后续字段，生成所述绑定请求；以使所述视联网服务器在对所述第一个字段和所述第二个字段进行解析后，将所述绑定请求透传至所述监控协转服务器。

可选地，所述绑定请求中还携带码流类型，所述码流类型包括主码流和子码流；所述基于视联网透传协议生成携带所述监控协转服务器标识和所述监控设备标识的绑定请求，包括：基于视联网透传协议生成携带所述监控协转服务器标识、所述监控设备标识和所述码流类型的绑定请求；所述虚拟终端号码是所述监控协转服务器为所述监控设备绑定的，所述码流类型对应的虚拟终端号码。

可选地，在所述将所述虚拟终端号码添加至所述视频会议标识对应的视频会议中，所述监控设备成功加入所述视频会议之后，还包括：接收所述客户端发送的解绑指令，解析得到所述解绑指令中携带的所述视频会议标识、所述监控协转服务器标识、所述监控设备标识和所述虚拟终端号码；在确定所述监控设备处于空闲状态时，基于视联网透传协议生成携带所述监控协转服务器标识、所述监控设备标识和所述虚拟终端号码的解绑请求，将所述解绑请求经由所述视联网服务器透传至所述监控协转服务器；接收所述监控协转服务器返回的，经由所述视联网服务器透传的解绑响应，所述解绑响应携带所述虚拟终端号码和解绑指示信息；在所述解绑指示信息指示解绑成功时，将所述虚拟终端号码从所述视频会议中删除，所述监控设备成功退出所述视频会议。

可选地，在所述接收客户端发送的绑定指令之前，还包括：接收所述客户端在未保存所述监控设备标识的情况下发送的查询指令，解析得到所述查询指令携带的所述监控协转服务器标识和第一组号码；从所述监控协转服务器中获取所述第一组号码对应的监控分组信息；所述监控分组信息包括多个第二组号码，所述第二组号码对应分组为所述第一组号码对应分组的子分组；从所述监控协转服务器中依次获取各第二组号码对应分组下的监控设备信息，直至所述监控设备信息中包含所述监控设备标识为止。

第二方面，本发明实施例公开了一种视频会议中的监控处理装置，所述装置包括：第一解析模块，用于接收客户端发送的绑定指令，解析得到所述绑定指令中携带的视频会议标识、监控协转服务器标识和监控设备标识；第一生成模块，用于基于视联网透传协议生成携带所述监控协转服务器标识和所述监控设备标识的绑定请求；第一发送模块，用于将所述绑定请求经由视联网服务器透传至所述监控协转服务器标识对应的监控协转服务器；第一接收模块，用于接收所述监控协转服务器返回的，经由所述视联网服务器透传的绑定响应，所述绑定响应携带所述监控协转服务器为所述监控设备标识对应的监控设备绑定的虚拟终端号码和绑定指示信息；添加模块，用于在所述绑定指示信息指示绑定成功时，将所述虚拟终端号码添加至所述视频会议标识对应的视频会议中，所述监控设备成功加入所述视频会议。

可选地，所述第一生成模块包括：请求生成单元，用于将所述监控协转服务器标识作为第一个字段，将表示会议透传信息的操作码作为第二个字段，将表示绑定监控设备的操作码和所述监控设备标识作为后续字段，生成所述绑定请求；以使所述视联网服务器在对所述第一个字段和所述第二个字段进行解析后，将所述绑定请求透传至所述监控协转服务器。

可选地，所述绑定请求中还携带码流类型，所述码流类型包括主码流和子码流；所述第一生成模块，具体用于基于视联网透传协议生成携带所述监控协转服务器标识、所述监控设备标识和所述码流类型的绑定请求；所述虚拟终端号码是所述监控协转服务器为所述监控设备绑定的，所述码流类型对应的虚拟终端号码。

可选地，所述装置还包括：第二解析模块，用于接收所述客户端发送的解绑指令，解析得到所述解绑指令中携带的所述视频会议标识、所述监控协转服务器标识、所述监控设备标识和所述虚拟终端号码；第二生成模块，用于在确定所述监控设备处于空闲状态时，基于视联网透传协议生成携带所述监控协转服务器标识、所述监控设备标识和所述虚拟终端号码的解绑请求；第二发送模块，用于将所述解绑请求经由所述视联网服务器透传至所述监控协转服务器；第二接收模块，用于接收所述监控协转服务器返回的，经由所述视联网服务器透传的解绑响应，所述解绑响应携带所述虚拟终端号码和解绑指示信息；删除模块，用于在所述解绑指示信息指示解绑成功时，将所述虚拟终端号码从所述视频会议中删除，监控设备成功退出所述视频会议。

可选地，所述装置还包括：第三解析模块，用于接收所述客户端在未保存所述监控设备标识的情况下发送的查询指令，解析得到所述查询指令携带的所述监控协转服务器标识和第一组号码；第一获取模块，用于从所述监控协转服务器中获取所述第一组号码对应的监控分组信息；所述监控分组信息包括多个第二组号码，所述第二组号码对应分组为所述第一组号码对应分组的子分组；第二获取模块，用于从所述监控协转服务器中依次获取各第二组号码对应分组下的监控设备信息，直至所述监控设备信息中包含所述监控设备标识为止。

第三方面，本发明实施例公开了一种电子设备，包括：一个或多个处理器；和其上存储有指令的一个或多个机器可读介质；当所述指令由所述一个或多个处理器执行时，使得所述处理器执行如上任一项所述的视频会议中的监控处理方法。

第四方面，本发明实施例公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上任一项所述的视频会议中的监控处理方法。

本发明实施例中，接收客户端发送的绑定指令，解析得到所述绑定指令中携带的视频会议标识、监控协转服务器标识和监控设备标识；基于视联网透传协议生成携带所述监控协转服务器标识和所述监控设备标识的绑定请求，将所述绑定请求经由视联网服务器透传至所述监控协转服务器标识对应的监控协转服务器；接收所述监控协转服务器返回的，经由所述视联网服务器透传的绑定响应，所述绑定响应携带所述监控协转服务器为所述监控设备标识对应的监控设备绑定的虚拟终端号码和绑定指示信息；在所述绑定指示信息指示绑定成功时，将所述虚拟终端号码添加至所述视频会议标识对应的视频会议中，所述监控设备成功加入所述视频会议。

由此可知，本发明实施例中用户通过客户端设置视频会议标识、监控协转服务器标识和监控设备标识，会议管理服务器即可根据这些信息自动生成绑定请求发送给监控协转服务器，监控协转服务器为用户设置的监控设备绑定虚拟终端号码，会议管理服务器获得该虚拟终端号码后，将该虚拟终端号码添加至对应的视频会议中，即可实现将监控设备加入视频会议，处理过程简便，并且可以在视频会议开始之前加入监控设备，也可以在视频会议过程中加入监控设备，灵活性更强。

附图说明

图1是本发明实施例的一种设备交互示意图。

图2是本发明实施例一的一种视频会议中的监控处理方法的步骤流程图。

图3是本发明实施例二的一种查询流程的示意图。

图4是本发明实施例二的一种绑定流程的示意图。

图5是本发明实施例二的一种解绑流程的示意图。

图6是本发明实施例三的一种视频会议中的监控处理装置的结构框图。

具体实施方式

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

参照图1，示出了本发明实施例的一种设备交互示意图。如图1所示，视频会议中的监控处理方法涉及到的设备可以包括客户端、会议管理服务器、视联网服务器、监控协转服务器和监控设备。其中，客户端与会议管理服务器进行双向交互，会议管理服务器与视联网服务器进行双向交互，视联网服务器与监控协转服务器进行双向交互，监控协转服务器与监控设备进行双向交互。

本发明实施例的视频会议中的监控处理方法可以应用于会议管理服务器中。会议管理服务器可以实现客户端与视联网服务器之间通信的功能，实现视频会议功能。客户端可以为会议控制类软件，比如pc(personalcomputer，个人计算机)端的pamir(帕米尔)、移动终端的app(应用程序)、web端(网页端)，等等。监控协转服务器是管理视联网内监控设备的服务器，会议管理服务器通过视联网服务器与监控协转服务器进行交互，实现对监控设备的相关操作。本发明实施例中的视频会议可以为64位视频会议。

实施例一

参照图2，示出了本发明实施例一的一种视频会议中的监控处理方法的步骤流程图。视频会议中的监控处理方法可以包括以下步骤：

步骤201，接收客户端发送的绑定指令，解析得到所述绑定指令中携带的视频会议标识、监控协转服务器标识和监控设备标识。

当需要将某个监控设备加入视频会议中时，用户可以在客户端上设置相关参数。比如，客户端可以提供输入框，用户可以在输入框中输入视频会议标识、监控协转服务器标识和监控设备标识等相关参数，或者客户端可以提供选择列表，用户可以在列表中选择视频会议标识、监控协转服务器标识和监控设备标识等相关参数。

其中，监控设备标识为要加入视频会议的目标监控设备的标识，监控协转服务器标识为目标监控设备接入的监控协转服务器的标识，视频会议标识为目标监控设备要加入的视频会议的标识。

用户设置好相关参数后，触发客户端生成绑定指令，该绑定指令携带视频会议标识、监控协转服务器标识和监控设备标识等用户设置的相关参数，客户端将绑定指令发送给会议管理服务器。会议管理服务器对绑定指令进行解析，得到其中携带的视频会议标识、监控协转服务器标识和监控设备标识等用户设置的相关参数。

步骤202，基于视联网透传协议生成携带所述监控协转服务器标识和所述监控设备标识的绑定请求，将所述绑定请求经由视联网服务器透传至所述监控协转服务器标识对应的监控协转服务器。

会议管理服务器基于视联网透传协议将监控协转服务器标识和监控设备标识生成绑定请求，将绑定请求发送给视联网服务器。视联网服务器根据监控协转服务器标识，将绑定请求透传至监控协转服务器标识对应的监控协转服务器。

步骤203，接收所述监控协转服务器返回的，经由所述视联网服务器透传的绑定响应，所述绑定响应携带所述监控协转服务器为所述监控设备标识对应的监控设备绑定的虚拟终端号码和绑定指示信息。

监控协转服务器接收到绑定请求后，对绑定请求进行解析，得到其中携带的监控协转服务器标识和监控设备标识。监控协转服务器从预先设置的虚拟终端号码中选取一个空闲的虚拟终端号码。如果存在空闲的虚拟终端号码，则监控协转服务器为所述监控设备标识对应的监控设备绑定该选取的虚拟终端号码，生成指示绑定成功的绑定指示信息。如果不存在空闲的虚拟终端号码，则监控协转服务器无法为所述监控设备标识对应的监控设备绑定虚拟终端号码，该种情况下为监控设备绑定的虚拟终端号码为空，生成指示绑定失败的绑定指示信息。

监控协转服务器基于视联网透传协议将会议管理服务器标识、为所述监控设备标识对应的监控设备绑定的虚拟终端号码和绑定指示信息生成绑定响应，将绑定响应发送给视联网服务器。视联网服务器根据会议管理服务器标识，将绑定响应透传至会议管理服务器。

步骤204，在所述绑定指示信息指示绑定成功时，将所述虚拟终端号码添加至所述视频会议标识对应的视频会议中，所述监控设备成功加入所述视频会议。

会议管理服务器在接收到绑定响应后，对绑定响应进行解析，得到为所述监控设备绑定的虚拟终端号码和绑定指示信息等信息。在绑定指示信息指示绑定成功时，会议管理服务器将所述虚拟终端号码添加至所述视频会议标识对应的视频会议中，所述监控设备即成功加入所述视频会议。

本发明实施例中用户通过客户端设置视频会议标识、监控协转服务器标识和监控设备标识，会议管理服务器即可根据这些信息自动生成绑定请求发送给监控协转服务器，监控协转服务器为用户设置的监控设备绑定虚拟终端号码，会议管理服务器获得该虚拟终端号码后，将该虚拟终端号码添加至对应的视频会议中，即可实现将监控设备加入视频会议，处理过程简便，并且可以在视频会议开始之前加入监控设备，也可以在视频会议过程中加入监控设备，灵活性更强。

实施例二

本发明实施例中，视频会议中的监控处理方法可以包括查询、绑定和解绑三个过程，以下将分别对这3个过程进行介绍。

图3是本发明实施例二的一种查询流程的示意图。如图3所示，查询流程可以包括：

a1、会议管理服务器接收客户端发送的查询指令。

当用户想要将某个监控设备加入视联网会议时，如果客户端中未保存想要加入的监控设备标识，则用户可以通过在客户端上执行相应操作，以便查询想要加入的监控设备标识。用户在客户端上设置想要查询的监控设备所连接的监控协转服务器标识和所在分组的组号码(称为第一组号码)，当然还可以设置视频会议标识。视频会议标识可以包括会议标识和全局会议标识，会议标识和全局会议标识用于唯一确定一个视频会议。用户设置好相关参数后，触发客户端生成查询指令，该查询指令携带监控协转服务器标识和第一组号码，还可以携带视频会议标识等用户设置的相关参数。

客户端和会议管理服务器之间基于tcp(transmissioncontrolprotocol，传输控制协议)进行交互。客户端基于tcp协议将用户设置的参数封装成查询指令，通过tcp连接将查询指令发送给会议管理服务器。会议管理服务器接收客户端在未保存监控设备标识的情况下发送的查询指令，解析得到查询指令携带的监控协转服务器标识、第一组号码、视频会议标识等。

a2、会议管理服务器校验数据格式是否合法。

会议管理服务器对查询指令中携带的参数进行校验，校验参数的数据格式是否合法。比如，校验监控协转服务器标识、第一组号码、视频会议标识等的数据格式是否合法。

比如，预先设置各个参数对应的合法数据格式，将解析得到的参数的数据格式与该参数对应的合法数据格式进行比较，如果比较结果为一致，则可以确定该参数的数据格式合法。

在校验得到各参数的数据格式均合法时，执行过程a3。在校验得到至少一个参数的数据格式不合法时，结束处理过程，还可以通过tcp连接向客户端返回数据格式不合法的响应。

a3、会议管理服务器获取监控分组信息。

在一种可选实施方式中，会议管理服务器在获取监控分组信息之前，还可以从监控协转服务器中获取第一组号码对应的子分组数量和监控设备数量。会议管理服务器基于视联网透传协议生成携带监控协转服务器标识和第一组号码的资源查询请求，将资源查询请求经由视联网服务器透传至监控协转服务器；接收监控协转服务器返回的，经由视联网服务器透传的资源查询响应，资源查询响应携带第一组号码对应分组下的子分组数量和监控设备数量。

在实现中，会议管理服务器将监控协转服务器标识作为第一个字段，将表示会议透传信息的操作码作为第二个字段，将表示资源查询的操作码和第一组号码作为后续字段，当然后续字段还可以包括会议标识和全局会议标识，生成资源查询请求。

比如，视联网透传协议可以为0x2102协议，资源查询请求对应的协议格式如表一所示：

资源查询请求(会议管理服务器→视联网服务器→监控协转服务器)

表一

其中，0x8405为表示会议透传信息的操作码，表示会议透传信息的操作码是一种会议管理服务器与视联网服务器间信令的类别标识，当视联网服务器收到此类信令时，不解析信令内容，只是负责转发。0x3011为表示资源查询的操作码。

会议管理服务器将资源查询请求发送给视联网服务器。视联网服务器在接收到资源查询请求后，从资源查询请求的第一个字段开始进行解析。在对第一个字段和第二个字段进行解析后，得到监控协转服务器标识和表示会议透传信息的操作码。根据表示会议透传信息的操作码得知该资源查询请求需要透传，根据监控协转服务器标识可以找到视联网中对应的监控协转服务器(监控协转服务器登录视联网服务器成功后，视联网服务器会保存一个对应登录信息的server_id，视联网服务器通过server_id能找到指定的监控协转服务器)。因此，视联网服务器在对第一个字段和第二个字段进行解析后，不再继续对后续字段进行解析，可以将资源查询请求透传至监控协转服务器标识对应的监控协转服务器。

监控协转服务器中保存有自身连接的全部监控设备对应的监控分组信息和监控设备信息。监控协转服务器接收到资源查询请求后，解析得到第一组号码，获取第一组号码对应分组下的子分组数量和监控设备数量，生成携带第一组号码对应分组下的子分组数量和监控设备数量的资源查询响应。

在实现中，监控协转服务器将会议管理服务器标识作为第一个字段，将表示会议透传信息的操作码作为第二个字段，将表示资源查询的操作码和第一组号码对应分组下的子分组数量和监控设备数量作为后续字段，当然后续字段还可以包括会议标识、全局会议标识和第一组号码，生成资源查询响应。

比如，视联网透传协议可以为0x2102协议，资源查询响应对应的协议格式如表二所示：

资源查询响应(监控协转服务器→视联网服务器→会议管理服务器)

表二

监控协转服务器将资源查询响应发送给视联网服务器。视联网服务器在接收到资源查询响应后，从资源查询响应的第一个字段开始进行解析。在对第一个字段和第二个字段进行解析后，得到会议管理服务器标识和表示会议透传信息的操作码。根据表示会议透传信息的操作码得知该资源查询响应需要透传，根据会议管理服务器标识可以找到视联网中对应的会议管理服务器(会议管理服务器登录视联网服务器成功后，视联网服务器会保存一个对应登录信息的user_id，视联网服务器通过user_id能找到指定的会议管理服务器)。因此，视联网服务器在对第一个字段和第二个字段进行解析后，不再继续对后续字段进行解析，可以将资源查询响应透传至会议管理服务器。

会议管理服务器接收到资源查询响应后，对其进行解析，得到第一组号码对应分组下的子分组数量和监控设备数量，对数量进行保存。

会议管理服务器从监控协转服务器中获取第一组号码对应的监控分组信息。如图3所示，在获取监控分组信息时，会议管理服务器基于视联网透传协议生成携带监控协转服务器标识和第一组号码的监控分组信息查询请求，将监控分组信息查询请求经由视联网服务器透传至监控协转服务器；接收监控协转服务器返回的，经由视联网服务器透传的监控分组信息查询响应，监控分组信息查询响应携带第一组号码对应的监控分组信息，监控分组信息包括多个第二组号码，第二组号码对应分组为第一组号码对应分组的子分组。

在实现中，会议管理服务器将监控协转服务器标识作为第一个字段，将表示会议透传信息的操作码作为第二个字段，将表示监控分组信息查询的操作码和第一组号码作为后续字段，当然后续字段还可以包括会议标识和全局会议标识，生成监控分组信息查询请求。

比如，视联网透传协议可以为0x2102协议，监控分组信息查询请求对应的协议格式如表三所示：

监控分组信息查询请求(会议管理服务器→视联网服务器→监控协转服务器)

表三

其中，0x3021为表示监控分组信息查询的操作码。

会议管理服务器将监控分组信息查询请求发送给视联网服务器。视联网服务器在接收到监控分组信息查询请求后，从监控分组信息查询请求的第一个字段开始进行解析。在对第一个字段和第二个字段进行解析后，得到监控协转服务器标识和表示会议透传信息的操作码。根据表示会议透传信息的操作码得知该监控分组信息查询请求需要透传，根据监控协转服务器标识可以找到视联网中对应的监控协转服务器。因此，视联网服务器在对第一个字段和第二个字段进行解析后，不再继续对后续字段进行解析，可以将监控分组信息查询请求透传至监控协转服务器标识对应的监控协转服务器。

监控协转服务器接收到监控分组信息查询请求后，解析得到第一组号码，获取第一组号码对应的监控分组信息，生成携带第一组号码对应的监控分组信息的监控分组信息查询响应。

在实现中，监控协转服务器将会议管理服务器标识作为第一个字段，将表示会议透传信息的操作码作为第二个字段，将表示监控分组信息查询的操作码和第一组号码对应的监控分组信息作为后续字段，当然后续字段还可以包括会议标识、全局会议标识和第一组号码，生成监控分组信息查询响应。

比如，视联网透传协议可以为0x2102协议，监控分组信息查询响应对应的协议格式如表四所示：

监控分组信息查询响应(监控协转服务器→视联网服务器→会议管理服务器)

表四

其中，分组1、分组2等字段信息即为监控分组信息。sequence_count、sequence_no表示当回复数据过大时，拆分数据包标识字段。sequence_count表示整个回复信令拆分的包的数量，sequence_no表示当前包的序号，会议管理服务器会根据sequence_count判断这个回复指令包含多少个数据包，然后按照sequence_no排序，组成完整的数据包。datacount表示当前分组下有多少个子分组(这个数量决定了分组的数量，如果当前分组下有2个分组a和b，那么下面的分组号码和分组名称是累加的，即datacount后面的报文内容为：a组号码+a组名称+b组号码+b组名称)，以此类推。

a4、会议管理服务器获取监控设备信息。

会议管理服务器从监控协转服务器中依次获取各第二组号码对应分组下的监控设备信息，直至获取的监控设备信息中包含想要加入视频会议的监控设备标识为止。如图3所示，在获取监控设备信息时，会议管理服务器基于视联网透传协议生成携带监控协转服务器标识和第二组号码的监控设备信息查询请求，将监控设备信息查询请求经由视联网服务器透传至监控协转服务器；接收监控协转服务器返回的，经由视联网服务器透传的监控设备信息查询响应，监控设备信息查询响应携带第二组号码对应分组下的监控设备信息。

在实现中，会议管理服务器将监控协转服务器标识作为第一个字段，将表示会议透传信息的操作码作为第二个字段，将表示监控设备信息查询的操作码和第二组号码作为后续字段，当然后续字段还可以包括会议标识和全局会议标识，生成监控设备信息查询请求。

比如，视联网透传协议可以为0x2102协议，监控设备信息查询请求对应的协议格式如表五所示：

监控设备信息查询请求(会议管理服务器→视联网服务器→监控协转服务器)

表五

其中，0x3022为表示监控设备信息查询的操作码。

会议管理服务器将监控设备信息查询请求发送给视联网服务器。视联网服务器在接收到监控设备信息查询请求后，从监控设备信息查询请求的第一个字段开始进行解析。在对第一个字段和第二个字段进行解析后，得到监控协转服务器标识和表示会议透传信息的操作码。根据表示会议透传信息的操作码得知该监控设备信息查询请求需要透传，根据监控协转服务器标识可以找到视联网中对应的监控协转服务器。因此，视联网服务器在对第一个字段和第二个字段进行解析后，不再继续对后续字段进行解析，可以将监控设备信息查询请求透传至监控协转服务器标识对应的监控协转服务器。

监控协转服务器接收到监控设备信息查询请求后，解析得到第二组号码，获取第二组号码对应分组下的监控设备信息，生成携带第二组号码对应分组下的监控设备信息的监控设备信息查询响应。

在实现中，监控协转服务器将会议管理服务器标识作为第一个字段，将表示会议透传信息的操作码作为第二个字段，将表示监控设备信息查询的操作码和第二组号码对应分组下的监控设备信息作为后续字段，后续字段还可以包括会议标识、全局会议标识和第二组号码，生成监控分组信息查询响应。

比如，视联网透传协议可以为0x2102协议，监控设备信息查询响应对应的协议格式如表六所示：

监控设备信息查询响应(监控协转服务器→视联网服务器→会议管理服务器)

表六

其中，dev1、dev2等字段信息即为监控设备信息。

会议管理服务器根据hild_group_count和dev_count数量，判断第一组号码对应分组下还是否有监控分组信息和监控设备信息，直到查询到需要的监控设备信息为止。在查询到需要加入视频会议的监控设备信息后，执行绑定流程。

图4是本发明实施例二的一种绑定流程的示意图。如图4所示，绑定流程可以包括：

b1、会议管理服务器接收客户端发送的绑定指令。

用户想要将查询到的监控设备加入视联网会议时，在客户端上设置想要查询的监控设备所连接的监控协转服务器标识、监控设备标识和想要加入的视频会议标识。用户设置好相关参数后，触发客户端生成绑定指令，该绑定指令携带视频会议标识、监控协转服务器标识和监控设备标识。客户端基于tcp协议将用户设置的参数封装成绑定指令，通过tcp连接将绑定指令发送给会议管理服务器。会议管理服务器接收客户端发送的绑定指令，解析得到绑定指令中携带的视频会议标识、监控协转服务器标识和监控设备标识。

b2、会议管理服务器校验数据格式是否合法。

会议管理服务器对绑定指令中携带的视频会议标识、监控协转服务器标识和监控设备标识进行校验，校验数据格式是否合法。校验过程参照上述过程a2即可。在校验得到各参数的数据格式均合法时，执行过程b3。在校验得到至少一个参数的数据格式不合法时，结束处理过程，还可以通过tcp连接向客户端返回数据格式不合法的响应。

b3、会议管理服务器触发绑定监控设备。

会议管理服务器基于视联网透传协议生成携带监控协转服务器标识和监控设备标识的绑定请求，将绑定请求经由视联网服务器透传至监控协转服务器标识对应的监控协转服务器；接收监控协转服务器返回的，经由视联网服务器透传的绑定响应，绑定响应携带监控协转服务器为监控设备标识对应的监控设备绑定的虚拟终端号码和绑定指示信息。

在实现中，会议管理服务器将监控协转服务器标识作为第一个字段，将表示会议透传信息的操作码作为第二个字段，将表示绑定监控设备的操作码和监控设备标识作为后续字段，当然后续字段中还可以包括会议标识和全局会议标识，生成绑定请求。可选地，会议管理服务器还可以从要绑定的监控设备对应的监控设备信息中获取码流类型，码流类型包括主码流和子码流，绑定请求中还可以携带该码流类型。

比如，视联网透传协议可以为0x2102协议，绑定请求对应的协议格式如表七所示：

绑定请求(会议管理服务器→视联网服务器→监控协转服务器)

表七

其中，0x3031为表示绑定监控设备的操作码。is_sub表示码流类型，true表示主码流，false表示子码流。

会议管理服务器将绑定请求发送给视联网服务器。视联网服务器在接收到绑定请求后，从绑定请求的第一个字段开始进行解析。在对第一个字段和第二个字段进行解析后，得到监控协转服务器标识和表示会议透传信息的操作码。根据表示会议透传信息的操作码得知该绑定请求需要透传，根据监控协转服务器标识可以找到视联网中对应的监控协转服务器。因此，视联网服务器在对第一个字段和第二个字段进行解析后，不再继续对后续字段进行解析，可以将绑定请求透传至监控协转服务器标识对应的监控协转服务器。

监控协转服务器中保存多个虚拟终端号码，虚拟终端号码与码流类型具有对应关系。监控协转服务器接收到绑定请求后，解析得到监控设备标识和码流类型，监控协转服务器选取一个与码流类型对应的空闲虚拟终端号码。如果存在空闲的虚拟终端号码，则监控协转服务器为监控设备标识对应的监控设备绑定该选取的虚拟终端号码，生成指示绑定成功的绑定指示信息。如果不存在空闲的虚拟终端号码，则监控协转服务器无法为监控设备绑定的虚拟终端号码为空，生成指示绑定失败的绑定指示信息。监控协转服务器生成携带为监控设备绑定的虚拟终端号码和绑定指示信息的绑定响应。

在实现中，监控协转服务器将会议管理服务器标识作为第一个字段，将表示会议透传信息的操作码作为第二个字段，将表示绑定监控设备的操作码、为监控设备绑定的虚拟终端号码和绑定指示信息作为后续字段，当然后续字段还可以包括会议标识、全局会议标识和监控设备标识，生成绑定响应。

比如，视联网透传协议可以为0x2102协议，绑定响应对应的协议格式如表八所示：

绑定响应(监控协转服务器→视联网服务器→会议管理服务器)

表八

监控协转服务器将绑定响应发送给视联网服务器。视联网服务器在接收到绑定响应后，从绑定响应的第一个字段开始进行解析。在对第一个字段和第二个字段进行解析后，得到会议管理服务器标识和表示会议透传信息的操作码。根据表示会议透传信息的操作码得知该绑定响应需要透传，根据会议管理服务器标识可以找到视联网中对应的会议管理服务器。因此，视联网服务器在对第一个字段和第二个字段进行解析后，不再继续对后续字段进行解析，可以将绑定响应透传至会议管理服务器。

b4、会议管理服务器判断绑定是否成功。

会议管理服务器接收到绑定响应后，解析得到为监控设备绑定的虚拟终端号码和绑定指示信息。根据绑定指示信息判断绑定是否成功，如果成功，则执行过程b5，如果不成功，则结束。

b5、会议管理服务器将虚拟终端号码添加至视频会议。

会议管理服务器基于视联网协议生成携带虚拟终端号码和视频会议标识的入会请求，将入会请求发送至视联网服务器。视联网服务器接收到入会请求后，将虚拟终端号码添加至视频会议标识对应的视频会议中。如果添加成功，则设置入会指示信息为成功，如果添加失败，则设置入会指示信息为失败，视联网服务器向会议管理服务器回复携带入会指示信息的入会响应。

b6、会议管理服务器判断是否入会成功。

会议管理服务器接收到入会响应，解析得到入会指示信息。如果入会指示信息为成功，则确定入会成功，将虚拟终端号码成功添加至视频会议中后，监控设备成功加入视频会议，结束绑定流程。如果入会指示信息为失败，则确定入会失败，结束绑定流程，还可以向客户端返回入会失败的响应。

为监控设备绑定的虚拟终端号码是指监控设备在视联网内对应的设备号(视联网号码)，绑定成功后在视联网内对虚拟终端号码的操作相当于对监控设备的操作。基于虚拟终端号码，即可对此虚拟终端号码对应的监控设备进行操作(比如，切换发言人等)，此虚拟终端号码收到的音视频流就是对应监控设备的音视频流。

如果视频会议中不再需要该监控设备，则可以执行解绑流程。

图5是本发明实施例二的一种解绑流程的示意图。如图5所示，解绑流程可以包括：

c1、会议管理服务器接收客户端发送的解绑指令。

当用户想要将绑定的监控设备加入视联网会议时，在客户端上设置监控协转服务器标识、监控设备标识、视频会议标识和监控设备绑定的虚拟终端号码。用户设置好相关参数后，触发客户端生成解绑指令，该解绑指令携带视频会议标识、监控协转服务器标识、监控设备标识和虚拟终端号码。客户端基于tcp协议将参数封装成解绑指令，通过tcp连接将解绑指令发送给会议管理服务器。会议管理服务器接收客户端发送的解绑指令，解析得到携带的视频会议标识、监控协转服务器标识、监控设备标识和虚拟终端号码。

c2、会议管理服务器校验数据格式是否合法。

会议管理服务器对解绑指令中携带的视频会议标识、监控协转服务器标识、监控设备标识和虚拟终端号码进行校验，校验数据格式是否合法。校验过程参照上述过程a2即可。在校验得到各参数的数据格式均合法时，执行过程c3。在校验得到至少一个参数的数据格式不合法时，结束处理过程，还可以通过tcp连接向客户端返回数据格式不合法的响应。

c3、会议管理服务器触发解绑监控设备。

会议管理服务器确定监控设备标识对应的监控设备是否处于空闲状态。在会议管理服务器中可以实时记录各监控设备的状态，当客户端在针对监控设备执行切换发言人、设置监播等操作时，会通过会议管理服务器进行设置，因此会议管理服务器可以得知监控设备的状态。如果监控设备在进行业务，则状态为正在使用，如果监控设备没有进行业务，则状态为空闲。

会议管理服务器在确定监控设备处于正在使用状态时，暂时不继续执行解绑流程，并可以向客户端返回无法解绑响应。会议管理服务器在确定监控设备处于空闲状态时，基于视联网透传协议生成携带监控协转服务器标识、监控设备标识和虚拟终端号码的解绑请求，将解绑请求经由视联网服务器透传至监控协转服务器；接收监控协转服务器返回的，经由视联网服务器透传的解绑响应，解绑响应携带监控协转服务器为虚拟终端号码和解绑指示信息。

在实现中，会议管理服务器将监控协转服务器标识作为第一个字段，将表示会议透传信息的操作码作为第二个字段，将表示解绑监控设备的操作码、监控设备标识和虚拟终端号码作为后续字段，当然后续字段中还可以包括会议标识和全局会议标识，生成解绑请求。

比如，视联网透传协议可以为0x2102协议，解绑请求对应的协议格式如表九所示：

解绑请求(会议管理服务器→视联网服务器→监控协转服务器)

表九

其中，0x3032为表示解绑监控设备的操作码。

会议管理服务器将解绑请求发送给视联网服务器。视联网服务器在接收到解绑请求后，从解绑请求的第一个字段开始进行解析。在对第一个字段和第二个字段进行解析后，得到监控协转服务器标识和表示会议透传信息的操作码。根据表示会议透传信息的操作码得知该解绑请求需要透传，根据监控协转服务器标识可以找到视联网中对应的监控协转服务器。因此，视联网服务器在对第一个字段和第二个字段进行解析后，不再继续对后续字段进行解析，可以将解绑请求透传至监控协转服务器标识对应的监控协转服务器。

监控协转服务器接收到解绑请求后，解析得到监控设备标识和虚拟终端号码，监控协转服务器将监控设备标识对应的监控设备与虚拟终端号码解绑。如果解绑成功，生成指示解绑成功的绑定指示信息。如果解绑失败，生成指示解绑失败的绑定指示信息。监控协转服务器生成携带虚拟终端号码和解绑指示信息的解绑响应。

在实现中，监控协转服务器将会议管理服务器标识作为第一个字段，将表示会议透传信息的操作码作为第二个字段，将表示解绑监控设备的操作码、虚拟终端号码和解绑指示信息作为后续字段，当然后续字段还可以包括会议标识、全局会议标识和监控设备标识，生成解绑响应。

比如，视联网透传协议可以为0x2102协议，绑定响应对应的协议格式如表十所示：

解绑响应(监控协转服务器→视联网服务器→会议管理服务器)

表十

监控协转服务器将解绑响应发送给视联网服务器。视联网服务器在接收到解绑响应后，从解绑响应的第一个字段开始进行解析。在对第一个字段和第二个字段进行解析后，得到会议管理服务器标识和表示会议透传信息的操作码。根据表示会议透传信息的操作码得知该解绑响应需要透传，根据会议管理服务器标识可以找到视联网中对应的会议管理服务器。因此，视联网服务器在对第一个字段和第二个字段进行解析后，不再继续对后续字段进行解析，可以将解绑响应透传至会议管理服务器。

c4、会议管理服务器判断解绑是否成功。

会议管理服务器接收到解绑响应后，解析得到虚拟终端号码和解绑指示信息。根据解绑指示信息判断解绑是否成功，如果成功，则执行过程c5，如果不成功，则结束。

c5、会议管理服务器将虚拟终端号码从视频会议中删除。

会议管理服务器基于视联网协议生成携带虚拟终端号码和视频会议标识的退会请求，将退会请求发送至视联网服务器。视联网服务器接收到退会请求后，将虚拟终端号码从至视频会议标识对应的视频会议中删除。如果删除成功，设置退会指示信息为成功，如果删除失败，设置退会指示信息为失败，视联网服务器向会议管理服务器回复携带退会指示信息的退会响应。

b6、会议管理服务器判断是否退会成功。

会议管理服务器接收到退会响应，解析得到退会指示信息。如果退会指示信息为成功，则确定退会成功，将虚拟终端号码成功从视频会议中删除后，监控设备成功退出视频会议，结束解绑流程。如果退会指示信息为失败，则确定退会失败，结束解绑流程，还可以向客户端返回退会失败的响应。

本发明实施例实现了在视频会议中对监控设备的查询、绑定和解绑，处理过程更加简便，更加灵活。

实施例三

参照图6，示出了本发明实施例三的一种视频会议中的监控处理装置的结构框图。

本发明实施例的视频会议中的监控处理装置可以包括以下模块：第一解析模块601，用于接收客户端发送的绑定指令，解析得到所述绑定指令中携带的视频会议标识、监控协转服务器标识和监控设备标识；第一生成模块602，用于基于视联网透传协议生成携带所述监控协转服务器标识和所述监控设备标识的绑定请求；第一发送模块603，用于将所述绑定请求经由视联网服务器透传至所述监控协转服务器标识对应的监控协转服务器；第一接收模块604，用于接收所述监控协转服务器返回的，经由所述视联网服务器透传的绑定响应，所述绑定响应携带所述监控协转服务器为所述监控设备标识对应的监控设备绑定的虚拟终端号码和绑定指示信息；添加模块605，用于在所述绑定指示信息指示绑定成功时，将所述虚拟终端号码添加至所述视频会议标识对应的视频会议中，所述监控设备成功加入所述视频会议。

可选地，所述第一生成模块包括：请求生成单元，用于将所述监控协转服务器标识作为第一个字段，将表示会议透传信息的操作码作为第二个字段，将表示绑定监控设备的操作码和所述监控设备标识作为后续字段，生成所述绑定请求；以使所述视联网服务器在对所述第一个字段和所述第二个字段进行解析后，将所述绑定请求透传至所述监控协转服务器。

可选地，所述绑定请求中还携带码流类型，所述码流类型包括主码流和子码流；所述第一生成模块，具体用于基于视联网透传协议生成携带所述监控协转服务器标识、所述监控设备标识和所述码流类型的绑定请求；所述虚拟终端号码是所述监控协转服务器为所述监控设备绑定的，所述码流类型对应的虚拟终端号码。

可选地，所述装置还包括：第二解析模块，用于接收所述客户端发送的解绑指令，解析得到所述解绑指令中携带的所述视频会议标识、所述监控协转服务器标识、所述监控设备标识和所述虚拟终端号码；第二生成模块，用于在确定所述监控设备处于空闲状态时，基于视联网透传协议生成携带所述监控协转服务器标识、所述监控设备标识和所述虚拟终端号码的解绑请求；第二发送模块，用于将所述解绑请求经由所述视联网服务器透传至所述监控协转服务器；第二接收模块，用于接收所述监控协转服务器返回的，经由所述视联网服务器透传的解绑响应，所述解绑响应携带所述虚拟终端号码和解绑指示信息；删除模块，用于在所述解绑指示信息指示解绑成功时，将所述虚拟终端号码从所述视频会议中删除，监控设备成功退出所述视频会议。

可选地，所述装置还包括：第三解析模块，用于接收所述客户端在未保存所述监控设备标识的情况下发送的查询指令，解析得到所述查询指令携带的所述监控协转服务器标识和第一组号码；第一获取模块，用于从所述监控协转服务器中获取所述第一组号码对应的监控分组信息；所述监控分组信息包括多个第二组号码，所述第二组号码对应分组为所述第一组号码对应分组的子分组；第二获取模块，用于从所述监控协转服务器中依次获取各第二组号码对应分组下的监控设备信息，直至所述监控设备信息中包含所述监控设备标识为止。

本发明实施例中用户通过客户端设置视频会议标识、监控协转服务器标识和监控设备标识，会议管理服务器即可根据这些信息自动生成绑定请求发送给监控协转服务器，监控协转服务器为用户设置的监控设备绑定虚拟终端号码，会议管理服务器获得该虚拟终端号码后，将该虚拟终端号码添加至对应的视频会议中，即可实现将监控设备加入视频会议，处理过程简便，并且可以在视频会议开始之前加入监控设备，也可以在视频会议过程中加入监控设备，灵活性更强。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本发明的实施例中，还提供了一种电子设备。该电子设备可以包括一个或多个处理器，以及其上存储有指令的一个或多个机器可读介质，指令例如应用程序。当所述指令由所述一个或多个处理器执行时，使得所述处理器执行上述的视频会议中的监控处理方法。

在本发明的实施例中，还提供了一种非临时性计算机可读存储介质，其上存储有计算机程序，该程序可由电子设备的处理器执行，以完成上述的视频会议中的监控处理方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明实施例的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种视频会议中的监控处理方法、装置、电子设备及存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。