一种音视频会议录制内容的处理方法及装置制造方法
【专利摘要】本发明实施例公开了一种音视频会议录制内容的处理方法及装置。该方法包括：流媒体引擎MSE接收多点控制单元MCU发送的各与会终端的音频数据和/或视频数据，以及第一终端配置的观看者权限，其中，所述各与会终端包含所述第一终端；所述MSE查看申请观看音视频会议的第二终端的权限是否高于所述第一终端配置的观看者权限；若否，所述MSE对除所述第一终端之外的各与会终端的音频数据和/或视频数据进行处理；所述MSE输出处理后的音频数据和/或视频数据。本发明实施例使得与会终端可以根据自身的与会信息安全决定是否允许其他终端观看相关音视频会议，从而灵活有效的保障了与会者的与会信息安全。
【专利说明】一种音视频会议录制内容的处理方法及装置
【技术领域】
[0001]本发明涉及通信【技术领域】，特别是涉及一种音视频会议录制内容的处理方法及装置。
【背景技术】
[0002]随着视频会议技术的飞速发展，会议录播技术也越来越多地应用在诸如司法、教育、医疗、重要论坛等等场景。
[0003]如图1所示，展示了一个典型的多点视频会议录制的场景。业务管理中心(会议操作管理平台)(Service Management Center, SMC)完成会议的调度后,视频会议终端10a、10b、10c，通过麦克风和摄像头获取音视频信息，经过一些处理后打包成音视频码流发送给多点控制单元(Micro Controller Unit，MCU)11 JCUlI将终端发送过来的音视频码流进行解码，然后根据特定策略进行混音和合成多画面处理，然后将处理过的音视频数据编码成码流，通过网络发送到流媒体引擎(Message Stream Encryption,MSE) 12中，最后由MSE12将收到的音视频码流进行存储，供用户下载/点播或者直接进行直播等业务操作。
[0004]然而，根据应用场景的不同，各与会方对与会时自身信息安全的要求不完全相同。现有技术中，完全通过网络侧MCU及MSE来笼统地完成全会议的录制及播放，与会方无法控制自己的终端是否被录制或是否允许被查看，显然以上所述的录制方法无法满足各个与会方对自身信息安全的不同需求。
【发明内容】
[0005]本发明实施例中提供了 一种音视频会议录制内容的处理方法及装置，能够满足各个与会方对自身信息安全的不同需求。
[0006]为了解决上述技术问题，本发明实施例公开了如下技术方案:
[0007]第一方面，提供一种音视频会议录制内容的处理方法，包括:
[0008]流媒体引擎MSE接收多点控制单元MCU发送的各与会终端的音频数据和/或视频数据，以及第一终端配置的观看者权限，其中，所述各与会终端包含所述第一终端；
[0009]所述MSE查看申请观看音视频会议的第二终端的权限是否高于所述第一终端配置的观看者权限；
[0010]若否，所述MSE对除所述第一终端之外的各与会终端的音频数据和/或视频数据进行处理；
[0011]所述MSE输出处理后的音频数据和/或视频数据。
[0012]结合上述第一方面，在第一种可能的实现方式中，还包括:
[0013]当所述第二终端的权限高于所述第一终端配置的观看者权限时，所述MSE对所述各与会终端的音频数据和/或视频数据进行处理。
[0014]结合上述第一方面，和/或第一种可能的实现方式，在第二种可能的实现方式中，在所述MSE接收MCU发送的各与会终端的音频数据和/或视频数据，以及第一终端配置的观看者权限之前，还包括:
[0015]所述MCU向所述第一终端发送是否接受录制或者是否取消录制的信息；
[0016]当所述MCU接收到所述第一终端发送的不允许对所述第一终端录制的信息或停止对所述第一终端录制的信息后，向所述第一终端发送是否配置权限的信息；
[0017]所述MCU接收所述第一终端发送的观看者权限。
[0018]结合上述第一方面，和/或第一种可能的实现方式，和/或第二种可能的实现方式，在第三种可能的实现方式中，所述MSE接收各与会终端的音频数据和/或视频数据，以及第一终端配置的观看者权限，包括:
[0019]所述MSE接收所述MCU发送的所述各与会终端音频数据中的最大四方的音频数据以及所述音频数据的控制信息，和/或所述各与会终端的视频数据以及视频数据的控制信息；其中，所述音频数据的控制信息包含所述第一终端的音频标识信息及其对应的观看者权限，所述视频数据的控制信息包含所述第一终端的视频标识信息及其对应的观看者权限。
[0020]结合上述第一方面，和/或第一种可能的实现方式，和/或第二种可能的实现方式，和/或第三种可能的实现方式，在第四种可能的实现方式中，所述第一终端的音频标识信息包括所述第一终端的会场号以及停录的标志信息；所述第一终端的视频标识信息包括所述第一终端的会场号、视频画面模式、所述第一终端的会场在视频画面中的位置，以及停录的标志信息。
[0021]结合上述第一方面，和/或第一种可能的实现方式，和/或第二种可能的实现方式，和/或第三种可能的实现方式，和/或第四种可能的实现方式，在第五种可能的实现方式中，所述MSE对除所述第一终端之外的各与会终端发送的音频数据和/或视频数据进行处理，包括:
[0022]所述MSE根据所述第一终端的会场号以及停录的标志信息，对所述MCU发送的各与会终端音频数据中的最大四方的音频数据进行选择性混音，其中，进行混音的音频数据中不包含所述第一终端的音频数据；和/或，
[0023]所述MSE根据所述第一终端的会场号、视频画面模式、所述第一终端的会场在视频画面中的位置，以及停录的标志信息，将所述第一终端的视频数据替换为指定视频数据，并将所述指定视频数据与除所述第一终端之外的各与会终端发送的视频数据进行处理。
[0024]第二方面，提供一种音视频会议录制内容的处理方法，包括:
[0025]多点控制单元MCU接收第一终端发送的录制决策信息，所述录制决策信息包括不允许对所述第一终端录制的信息或停止对所述第一终端录制的信息；
[0026]所述MCU对除所述第一终端之外的各与会终端发送的音频数据和/或视频数据进行处理；
[0027]所述MCU将处理后的音频数据和/或视频数据发送至流媒体引擎MSE进行会议录制。
[0028]结合上述第二方面，在第一种可能的实现方式中，在所述MCU接收第一终端发送的录制决策信息之前，还包括:
[0029]所述MCU接收业务管理中心SMC发送的允许所述第一终端决策录制过程的配置信
肩、O[0030]结合上述第二方面，和/或第一种可能的实现方式，在第二种可能的实现方式中，在所述MCU接收SMC发送的允许所述第一终端决策录制过程的配置信息之后，在所述MCU接收第一终端发送的录制决策信息之前，还包括:
[0031]所述MCU向所述第一终端发送是否允许录制的信息。
[0032]第三方面，提供一种音视频会议录制内容的处理装置，包括:
[0033]数据接收单元，用于接收多点控制单元MCU发送的各与会终端的音频数据和/或视频数据，以及第一终端配置的观看者权限，其中，所述各与会终端包含所述第一终端；
[0034]权限判断单元，用于查看申请观看音视频会议的第二终端的权限是否高于所述第一终端配置的观看者权限；
[0035]音视频处理单元，用于当所述权限判断单元的判断结果为所述第二终端的权限不高于所述第一终端配置的观看者权限时，对除所述第一终端之外的各与会终端的音频数据和/或视频数据进行处理；
[0036]数据输出单元，用于输出所述音视频处理单元处理后的音频数据和/或视频数据。
[0037]结合上述第三方面，在第一种可能的实现方式中，所述音视频处理单元，还用于当权限判断单元的判断结果为所述第二终端的权限高于所述第一终端配置的观看者权限时，对所述各与会终端的音频数据和/或视频数据进行处理。
[0038]结合上述第三方面，和/或第一种可能的实现方式，在第二种可能的实现方式中，所述数据接收单元，具体用于接收所述MCU发送的所述各与会终端音频数据中的最大四方的音频数据以及所述音频数据的控制信息，和/或所述各与会终端的视频数据以及视频数据的控制信息；其中，所述音频数据的控制信息包含所述第一终端的音频标识信息及其对应的观看者权限，所述视频数据的控制信息包含所述第一终端的视频标识信息及其对应的观看者权限。
[0039]结合上述第三方面，和/或第一种可能的实现方式，和/或第二种可能的实现方式，在第三种可能的实现方式中，所述第一终端的音频标识信息包括所述第一终端的会场号以及停录的标志信息；所述第一终端的视频标识信息包括所述第一终端的会场号、视频画面模式、所述第一终端的会场在视频画面中的位置，以及停录的标志信息。
[0040]结合上述第三方面，和/或第一种可能的实现方式，和/或第二种可能的实现方式，和/或第三种可能的实现方式，在第四种可能的实现方式中，所述音视频处理单元，具体用于根据所述第一终端的会场号以及停录的标志信息，对所述MCU发送的各与会终端音频数据中的最大四方的音频数据进行选择性混音，其中，进行混音的音频数据中不包含所述第一终端的音频数据；和/或，根据所述第一终端的会场号、视频画面模式、所述第一终端的会场在视频画面中的位置，以及停录的标志信息，将所述第一终端的视频数据替换为指定视频数据，并将所述指定视频数据与除所述第一终端之外的各与会终端发送的视频数据进行处理。
[0041]第四方面，提供一种音视频会议录制内容的处理装置，包括:
[0042]信息接收单元，用于接收第一终端发送的录制决策信息，所述录制决策信息包括不允许对所述第一终端录制的信息或停止对所述第一终端录制的信息；
[0043]音视频处理单元，用于对除所述第一终端之外的各与会终端发送的音频数据和/或视频数据进行处理；
[0044]数据发送单元，用于将处理后的音频数据和/或视频数据发送至流媒体引擎MSE进行会议录制。
[0045]结合上述第四方面，在第一种可能的实现方式中，还包括:
[0046]配置接收单元，用于在所述信息接收单元接收第一终端发送的录制决策信息之前，接收业务管理中心SMC发送的允许所述第一终端决策录制过程的配置信息。
[0047]结合上述第四方面，和/或第一种可能的实现方式，在第二种可能的实现方式中，还包括:
[0048]问询单元，用于在配置接收单元接收所述SMC发送的允许所述第一终端决策录制过程的配置信息之后，在所述信息单元接收第一终端发送的录制决策信息之前，向所述第一终端发送是否允许录制的信息。
[0049]本发明实施例中MSE根据与会终端发送的观看者权限信息以及申请观看音视频会议的终端的权限来进行音视频数据的处理，使得与会终端可以根据自身的与会信息安全决定是否允许其他终端观看相关音视频会议，从而灵活有效的保障了与会者的与会信息安全。
【专利附图】
【附图说明】
[0050]为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0051]图1为现有技术中多点视频会议录制的场景不意图；
[0052]图2为本发明实施例一种音视频会议录制内容的处理方法流程图；
[0053]图3为图2所示实施例中MCU发送码流的模式示意图；
[0054]图4为本发明实施例另一种音视频会议录制内容的处理方法流程图；
[0055]图5为本发明实施例另一种音视频会议录制内容的处理方法流程图；
[0056]图6a为本发明实施例中MCU对音视频数据进行处理的示意图；
[0057]图6b为图6a所示实施例中MCU对视频数据处理后的效果图；
[0058]图7为本发明实施例另一种音视频会议录制内容的处理方法流程图；
[0059]图8为本发明实施例一种音视频会议录制内容的处理装置结构示意图；
[0060]图9为本发明实施例另一种音视频会议录制内容的处理装置结构示意图。
【具体实施方式】
[0061]为了使本【技术领域】的人员更好地理解本发明实施例中的技术方案，并使本发明实施例的上述目的、特征和优点能够更加明显易懂，下面结合附图对本发明实施例中技术方案作进一步详细的说明。
[0062]参见图2，为本发明实施例一种音视频会议录制内容的处理方法流程图。
[0063]该方法可以包括:
[0064]步骤201，MSE接收MCU发送的各与会终端的音频数据和/或视频数据，以及第一终端配置的观看者权限，其中，所述各与会终端包含所述第一终端。[0065]本发明实施例中，第一终端为了保护自身与会信息(音视频)的安全，可以设定观看第一终端与会信息的观看者权限，例如高于第一权限级别的观看者才可以观看该第一终端的与会信息。
[0066]其中，该第一终端可以首先将设定的观看者权限发送至MCU，MCU将该第一终端设置的观看者权限，以及接收到的各与会终端(包括第一终端)的音视频数据发送至MSE。
[0067]具体的，该MCU可以按照如图3所示的码流发送模式，将各与会终端音频数据中的最大四方的音频数据以及音频数据的控制信息，和/或各与会终端的视频数据以及视频数据的控制信息发送至MSE。
[0068]其中，音频部分创建4条通道，分别发送各与会终端的最大四方的音频码流并且每一个实时传输协议(Real-time Transport Protocol,RTP)包都会附加一个附加域字段，该附加域字段用于承载音频数据的控制信息，具体可以包含第一终端的音频标识信息及其对应的观看者权限，该第一终端的音频标识信息例如第一终端所在的会场号等能够标识该第一终端的音频数据，以便于MSE获知第一终端的音频数据的信息；视频部分由于带宽过高，只创建I条通道，跟音频一样，也需要每个RTP包附加一个附加域字段，该附加域字段用于承载视频数据的控制信息，具体可以包含第一终端的视频标识信息及其对应的观看者权限，该第一终端的视频标识信息例如视频画面模式，该第一终端所在的会场号，第一终端视频在多视频画面中的位置等能够标识该第一终端的视频数据，以便于MSE获知第一终端的视频数据的信息。
[0069]音视频数据的控制信息中应该包含音视频数据的相关标识信息以及观看者权限的对应关系，以便于当存在多个设置观看者权限的与会终端时，MSE可以根据音视频数据的控制信息找到各终端的音视频数据及其对应的观看者权限。
[0070]当然，MCU也可以按照其他方式发送上述信息至MSE，不局限于上述方式。
[0071]步骤202，MSE查看申请观看音视频会议的第二终端的权限是否高于第一终端配置的观看者权限。
[0072]MCU可以直接接收第二终端发送的自身权限级别，也可以向SMC等查询该提出申请的第二终端的权限级别。若该第二终端的权限级别高于第一终端设置的观看者权限，则MSE可以按照正常的音视频处理方法，将各与会终端(包含第一终端)的音视频数据进行处理并输出，以供第二终端观看。如果第二终端的权限级别低于第一终端设置的观看者权限，则执行步骤203。
[0073]步骤203，MSE对除第一终端之外的各与会终端的音频数据和/或视频数据进行处理。
[0074]该MSE根据音频数据的控制信息以及视频数据的控制信息可以获知哪些数据是第一终端的音视频数据，进而可以从接收到的音视频数据中排除第一终端的音视频数据。
[0075]其中，MSE对除第一终端之外的各与会终端发送的音频数据进行处理的方法有多种，例如，MSE直接对除第一终端之外的各与会终端发送的音频数据进行混音处理，然后进行饱和叠加等，若MSE接收到的音视频数据为各与会终端音频数据中的最大四方的音频数据，则MSE可以不用再选取音视频数据的最大四方，而直接根据对除第一终端之外的最大四方的音频数据进行选择性混音，然后进行饱和叠加。对于具体的音频数据处理方法，此处不做限定。[0076]MSE对除第一终端之外的各与会终端发送的视频数据进行处理的方法也有多种，例如，MSE可以根据所述第一终端的会场号、视频画面模式、所述第一终端的会场在视频画面中的位置等信息，直接将第一终端的视频数据屏蔽掉，也可以将第一终端的视频数据替换为其他指定的视频数据，然后再对替换后的视频数据与其他与会终端发送的视频数据进行处理等。对于具体的视频数据处理方法，此处不做限定。
[0077]步骤204，MSE输出处理后的音频数据和/或视频数据。
[0078]MSE输出处理后的音频数据和/或视频数据，以供第二终端观看。
[0079]本发明实施例中，MSE可以根据观看者的权限以及与会终端设置的观看权限对音视频数据进行处理，使得与会终端可以通过简单的配置来管理自己的与会信息，可以更加灵活地控制与会者的信息安全，提升了用户体验。
[0080]参见图4，为本发明实施例另一种音视频会议录制内容的处理方法流程图。
[0081]该方法可以包括:
[0082]步骤401，MCU向第一终端发送是否接受录制或者是否取消录制的信息。
[0083]SMC可以对是否允许终端决策录制过程，以及是否允许终端配置权限进行约定，然后由SMC将约定的信息通过传输控制协议(Transmission Control Protocol,TCP)信令包传输给MCU。
[0084]MCU接收到允许第一终端决策录制过程以及配置权限的信息后，可以首先向第一终端发送是否接受录制的信息，或者在已经开始对第一终端的录制后向第一终端发送是否取消录制的信息。
[0085]步骤402，当所述MCU接收到所述第一终端发送的不允许对所述第一终端录制的信息或停止对所述第一终端录制的信息后，向所述第一终端发送是否配置权限的信息。
[0086]在第一终端界面弹出提示“接收录制？ ”提示之后，如果第一终端选择了 “CANCEL”；或者在第一终端界面弹出提示“取消录制？ ”提示之后，如果第一终端选择了 “OK”。MCU会紧接着再弹出一个同样的提示框“是否配置权限”，且下面会出现MSE系统上报的权限列表复选框供第一终端选择。
[0087]步骤403，MCU接收所述第一终端发送的观看者权限。
[0088]第一终端选择某种观看者权限后，MCU即可获知该第一终端配置的观看者权限。
[0089]步骤404，MSE接收多点控制单元MCU发送的各与会终端的音频数据和/或视频数据，以及第一终端配置的观看者权限，其中，所述各与会终端包含所述第一终端。
[0090]该步骤与前述步骤201类似。
[0091]MSE接收所述MCU发送的所述各与会终端音频数据中的最大四方的音频数据以及所述音频数据的控制信息，和/或所述各与会终端的视频数据以及视频数据的控制信息；其中，所述音频数据的控制信息包含所述第一终端的音频标识信息及其对应的观看者权限，所述视频数据的控制信息包含所述第一终端的视频标识信息及其对应的观看者权限。
[0092]所述第一终端的音频标识信息包括所述第一终端的会场号以及停录的标志信息；所述第一终端的视频标识信息包括所述第一终端的会场号、视频画面模式、所述第一终端的会场在视频画面中的位置，以及停录的标志信息。
[0093]步骤405，MSE查看申请观看音视频会议的第二终端的权限是否高于所述第一终端配置的观看者权限。[0094]该步骤与前述步骤202类似，此处不再赘述。如果第二终端的权限高于第一终端配置的观看者权限，则MSE将各与会终端(包含第一终端)的音视频数据进行处理并输出，以供第二终端观看。如果第二终端的权限级别低于第一终端设置的观看者权限，则执行步骤406。
[0095]步骤406，所述MSE对除所述第一终端之外的各与会终端的音频数据和/或视频数据进行处理。
[0096]所述MSE根据所述第一终端的会场号以及停录的标志信息，对所述MCU发送的各与会终端音频数据中的最大四方的音频数据进行选择性混音，其中，进行混音的音频数据中不包含所述第一终端的音频数据；和/或，
[0097]所述MSE根据所述第一终端的会场号、视频画面模式、所述第一终端的会场在视频画面中的位置，以及停录的标志信息，将所述第一终端的视频数据替换为指定视频数据，并将所述指定视频数据与除所述第一终端之外的各与会终端发送的视频数据进行处理。
[0098]步骤407，所述MSE输出处理后的音频数据和/或视频数据。
[0099]本发明实施例中，MSE可以根据观看者的权限以及与会终端设置的观看权限对音视频数据进行处理，使得与会终端可以通过简单的配置来管理自己的与会信息，可以更加灵活地控制与会者的信息安全，提升了用户体验。
[0100]参见图5，为本发明实施例另一种音视频会议录制内容的处理方法流程图。
[0101]该方法可以包括:
[0102]步骤501，MCU接收第一终端发送的录制决策信息，该录制决策信息包括不允许对所述第一终端录制的信息或停止对所述第一终端录制的信息。
[0103]本发明实施例中，各与会终端可以决策是否允许录制和/或何时中止录制本终端自身的与会信息。
[0104]本步骤首先由MCU接收第一终端的录制决策信息，该第一终端的录制决策信息可以是由第一终端直接发送至MCU的，也可以是由其他装置转发至MCU的。该决策信息可以是不允许对第一终端录制的信息；也可以是停止对第一终端录制的信息，也即由录制状态转变为停止录制状态。当然，如果第一终端允许对其进行录制，可以向MCU发送允许录制第一终端的信息，也可以不向MCU发送任何信息。
[0105]步骤502，MCU对除所述第一终端之外的各与会终端发送的音频数据和/或视频数据进行处理。
[0106]MCU在接收到第一终端发送的上述不允许录制或停止录制的决策信息后，对除第一终端之外的各与会终端发送的音频数据和/或视频数据进行处理。
[0107]其中，MCU对除第一终端之外的各与会终端发送的音频数据进行处理的方法有多种，例如，MCU直接对除第一终端之外的各与会终端发送的音频数据进行混音处理，或者，MCU对除第一终端之外的各与会终端发送的音频数据选取最大四方，然后进行饱和叠加等，此处不做限定。
[0108]MCU对除第一终端之外的各与会终端发送的视频数据进行处理的方法也有多种，例如，MCU可以直接将第一终端的视频数据屏蔽掉，也可以将第一终端的视频数据替换为其他视频数据，然后再对替换后的视频数据与其他与会终端发送的视频数据进行处理等，此处不做限定。[0109]以T1-T4四个终端通过MCU召开多点会议为例，各终端分别发送音频数据及视频数据至MCU，MCU若接收到Tl终端发送的不允许录制或停止录制Tl终端的决策信息，如图6a所示，对于音频数据，MCU对T2-T4终端发送的音频码流解码后进行混音处理，而不允许Tl参加录制混音。在另一实施例中，若参加混音的终端大于四个，则MCU在对音频码流解码后，可以先选取音频数据中的最大四方，然后针对选取出的最大四方进行饱和叠加，完成混音，当然，该最大四方中不包含发送不允许录制或停止录制决策信息的终端。对于视频数据，MCU首先对T2-T4的视频码流进行解码，接下来MCU将分两种情况进行处理:第一，如果Tl所在的会场刚好是MCU待录制的单画面会场，也即Tl的视频数据用于形成待录制的单画面视频，则替换Tl的视频数据，具体可以使用当前会议主席的视频数据进行替换，形成会议主席的单画面，或者使用禁止录制的指定视频数据进行替换，形成禁止录制画面，再或者，使用其他多个终端的视频数据进行替换，形成多画面视频，如图6b所示。第二，如果当前视频录制策略是录制某组多画面，而且Tl的画面也在该策略要求的多画面中，也即Tl的视频数据为用于形成多画面视频的视频数据之一，那么可以将该Tl的视频数据替换为禁止录制的指定视频数据，则在最终形成的多画面中Tl的视频画面将直接显示禁止录制的画面，如图6b所示。
[0110]步骤503，MCU将处理后的音频数据和/或视频数据发送至流媒体引擎MSE进行会议录制。
[0111]MCU处理完音频数据和/或视频数据后，即可将处理后的音频数据和/或视频数据发送至MSE进行存储供用户进行下载/点播或者直接进行直播等业务操作。
[0112]本发明实施例中MCU根据与会终端发送的录制决策信息来进行音视频数据的处理，使得与会终端可以根据自身的与会信息安全决定是否接受MCU的录制，即使已经开始了录制，也可以根据当前会议内容的安全性停止或者开始被MCU录制。每一个与会终端都可以通过录制决策信息控制网络侧完成终止或者开始录制本终端的与会信息(音视频)，从而灵活有效的保障了与会者的与会信息安全。
[0113]在本发明的另一实施例中，若MCU接收到第一终端发送的录制决策信息为允许对第一终端录制的信息，或者，MCU自始至终没有接收到第一终端发送的停止对第一终端录制的信息，则MCU对接收到的包括第一终端在内的各与会终端发送的音视频数据按照现有方式处理，然后发送至MSE。
[0114]在本发明的另一实施例中，在MCU接收第一终端的录制决策信息之前，可以首先约定是否允许终端进行录制决策，如图7所示，该方法可以包括:
[0115]步骤701，MCU接收SMC发送的允许第一终端决策录制过程的配置信息。
[0116]SMC可以将是否允许第一终端决策录制过程的配置信息通过传输控制协议(Transmission Control Protocol, TCP)信令包传输给 MCU。
[0117]以SMC允许第一终端可以决策录制过程的配置信息为例，若MCU接收到配置信息时，第一终端还未开启录制，则可以执行步骤702?705。
[0118]若MCU接收到配置信息时，第一终端已经进行了录制，但是会议中途可能遇到了一些私密性较强的会议内容，第一终端希望单方面的停止MCU对本方会场的录制。此时，第一终端用户可以按私有协议的形式将停止对第一终端录制的信息进行打包发送给MCU，MCU即可执行步骤706?708。[0119]步骤702，MCU向第一终端发送是否允许录制的信息。
[0120]在第一终端开启录制之前，MCU可以通过私有协议推送一条含有是否允许录制的消息给第一终端。具体的，该第一终端可以在其管理控制界面和TV界面同时弹出“接受录制？”的提示，供用户选择。
[0121]第一终端用户可以根据自身的安全性要求，选择接受或者取消本次录制请求。在用户选择了 OK或者CANCEL (取消)之后，第一终端将该是否允许录制的信息通过私有协议发送给MCU。
[0122]若第一终端向MCU发送不允许对第一终端进行录制的信息，MCU即可执行前述703 ?705。
[0123]步骤703，MCU接收不允许对第一终端录制的信息。
[0124]步骤704，MCU对除第一终端之外的各与会终端发送的音频数据和/或视频数据进行处理。
[0125]该处理过程与前述实施例中MSE对除第一终端之外的各与会终端发送的音频数据和/或视频数据进行处理的过程类似，此处不再赘述。
[0126]步骤705，MCU将处理后的音频数据和/或视频数据发送至流媒体引擎MSE进行会议录制。
[0127]步骤706，MCU接收停止对第一终端录制的信息。
[0128]步骤707，MCU对除第一终端之外的各与会终端发送的音频数据和/或视频数据进行处理。
[0129]根据步骤701MCU接收到的配置信息可知，第一终端可以决策其录制过程，因此在步骤706中接收到第一终端发送的停止录制的信息后，MCU即可执行本步骤707对除第一终端之外的各与会终端发送的音频数据和/或视频数据进行处理。
[0130]MCU完成处理之后可以向第一终端反馈处理完成的消息，终端收到消息并解析后可以停止在本地观看视频中叠加正在录制的标志，并弹出提示“取消录制成功！ ”。
[0131]步骤708，MCU将处理后的音频数据和/或视频数据发送至流媒体引擎MSE进行会议录制。
[0132]上述步骤704?705，以及步骤707?708与前述实施例中的步骤502?503类似，此处不再赘述。
[0133]在另一实施例中，在步骤701后，MCU也可以不执行步骤702，也即不主动询问第一终端是否允许录制，而是直接执行步骤403接收与会终端发送录制决策信息，若该与会终端为SMC配置的允许决策录制过程的终端，如第一终端，则MCU即可按照该第一终端发送的录制决策信息，执行后续步骤。
[0134]上述方法实施例可以应用于多点视频会议系统。其中的“第一终端”仅为示例，并非特指或限定。在上述方法中，第一终端可以有一个或多个，均可以按照上述方法对与会终端的音视频数据进行处理。
[0135]以上是对本发明方法实施例的描述，下面对实现上述方法的装置进行介绍。
[0136]参见图8，为本发明实施例一种音视频会议录制内容的处理装置结构示意图。
[0137]该装置具体可以是MSE，该装置可以包括:
[0138]数据接收单元801，用于接收多点控制单元MCU发送的各与会终端的音频数据和/或视频数据，以及第一终端配置的观看者权限，其中，所述各与会终端包含所述第一终端；
[0139]权限判断单元802，用于查看申请观看音视频会议的第二终端的权限是否高于所述第一终端配置的观看者权限；
[0140]音视频处理单元803，用于当所述权限判断单元802的判断结果为所述第二终端的权限不高于所述第一终端配置的观看者权限时，对除所述第一终端之外的各与会终端的音频数据和/或视频数据进行处理；
[0141]数据输出单元804，用于输出所述音视频处理单元803处理后的音频数据和/或视频数据。
[0142]该装置通过上述单元可以根据观看者的权限以及与会终端设置的观看权限对音视频数据进行处理，使得与会终端可以通过简单的配置来管理自己的与会信息，可以更加灵活地控制与会者的信息安全，提升了用户体验。该装置具体可以是MSE。
[0143]在本发明的另一实施例中，该音视频处理单元803，还可以用于当权限判断单元802的判断结果为所述第二终端的权限高于所述第一终端配置的观看者权限时，对所述各与会终端的音频数据和/或视频数据进行处理。
[0144]在另一实施例中，该数据接收单元801，具体用于接收所述MCU发送的各与会终端音频数据中的最大四方的音频数据以及所述音频数据的控制信息，和/或所述各与会终端的视频数据以及视频数据的控制信息；其中，所述音频数据的控制信息包含所述第一终端的音频标识信息及其对应的观看者权限，所述视频数据的控制信息包含所述第一终端的视频标识信息及其对应的观看者权限。
[0145]其中，所述第一终端的音频标识信息包括所述第一终端的会场号以及停录的标志信息；所述第一终端的视频标识信息包括所述第一终端的会场号、视频画面模式、所述第一终端的会场在视频画面中的位置，以及停录的标志信息。
[0146]所述音视频处理单元803，具体用于根据所述第一终端的会场号以及停录的标志信息，对所述MCU发送的各与会终端音频数据中的最大四方的音频数据进行选择性混音，其中，进行混音的音频数据中不包含所述第一终端的音频数据；和/或，根据所述第一终端的会场号、视频画面模式、所述第一终端的会场在视频画面中的位置，以及停录的标志信息，将所述第一终端的视频数据替换为指定视频数据，并将所述指定视频数据与除所述第一终端之外的各与会终端发送的视频数据进行处理。
[0147]参见图9，为本发明实施例另一种音视频会议录制内容的处理装置结构示意图。
[0148]该装置具体可以是MCU，该装置可以包括:
[0149]信息接收单元901，用于接收第一终端发送的录制决策信息，所述录制决策信息包括不允许对所述第一终端录制的信息或停止对所述第一终端录制的信息；
[0150]音视频处理单元902，用于对除所述第一终端之外的各与会终端发送的音频数据和/或视频数据进行处理；
[0151]数据发送单元903，用于将处理后的音频数据和/或视频数据发送至流媒体引擎MSE进行会议录制。
[0152]该装置通过上述单元根据与会终端发送的录制决策信息来进行音视频数据的处理，使得与会终端可以根据自身的与会信息安全决定是否接受MCU的录制，即使已经开始了录制，也可以根据当前会议内容的安全性停止或者开始被MCU录制。每一个与会终端都可以通过录制决策信息控制网络侧完成终止或者开始录制本终端的与会信息(音视频)，从而灵活有效的保障了与会者的与会信息安全。该装置具体可以是MCU。
[0153]在本发明的另一实施例中，该装置除了可以包括信息接收单元901、音视频处理单元902和数据发送单元903之外，还可以包括:
[0154]配置接收单元，用于在所述信息接收单元901接收第一终端发送的录制决策信息之前，接收业务管理中心SMC发送的允许所述第一终端决策录制过程的配置信息。
[0155]问询单元，用于在配置接收单元接收所述SMC发送的允许所述第一终端决策录制过程的配置信息之后，在所述信息单元接收第一终端发送的录制决策信息之前，向所述第一终端发送是否允许录制的信息。
[0156]本发明实施例还提供了另一种视频会议录制内容的处理装置，该装置可以包括收发器、存储器和处理器。
[0157]处理器、存储器、收发器通过总线相互连接；总线可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。
[0158]其中，收发器用于接收MCU发送的各与会终端的音频数据和/或视频数据，以及第一终端配置的观看者权限，其中，所述各与会终端包含所述第一终端；输出处理后的音频数据和/或视频数据。
[0159]所述存储器中存储有一段程序，具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-volatile memory),例如至少一个磁盘存储器。
[0160]所述处理器用于读取存储器中的程序代码，执行以下步骤:
[0161]查看申请观看音视频会议的第二终端的权限是否高于所述第一终端配置的观看者权限；
[0162]若否，对除所述第一终端之外的各与会终端的音频数据和/或视频数据进行处理。
[0163]本发明实施例还提供了 一种音视频会议录制内容的处理装置，该装置可以包括收发器、存储器和处理器。
[0164]处理器、存储器、收发器通过总线相互连接；总线可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。
[0165]其中，收发器用于接收第一终端发送的录制决策信息，所述录制决策信息包括不允许对所述第一终端录制的信息或停止对所述第一终端录制的信息；将处理后的音频数据和/或视频数据发送至流媒体引擎MSE进行会议录制。
[0166]所述存储器中存储有一段程序，具体地，程序可以包括程序代码，所述程序代码包括计算机操作指令。存储器可能包含高速RAM存储器，也可能还包括非易失性存储器(non-vo latile memory ),例如至少一个磁盘存储器。
[0167]所述处理器用于读取存储器中的程序代码，执行以下步骤:
[0168]MCU对除所述第一终端之外的各与会终端发送的音频数据和/或视频数据进行处理。
[0169]本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0170]所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
[0171]在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0172]所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0173]另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
[0174]所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:U盘、移动硬盘、只读存储器(R0M，Read-Only Memory)、随机存取存储器(RAM, Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0175]以上所述，仅为本发明的【具体实施方式】，但本发明的保护范围并不局限于此，任何熟悉本【技术领域】的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
【权利要求】
1.一种音视频会议录制内容的处理方法，其特征在于，包括: 流媒体引擎MSE接收多点控制单元MCU发送的各与会终端的音频数据和/或视频数据，以及第一终端配置的观看者权限，其中，所述各与会终端包含所述第一终端； 所述MSE查看申请观看音视频会议的第二终端的权限是否高于所述第一终端配置的观看者权限； 若否，所述MSE对除所述第一终端之外的各与会终端的音频数据和/或视频数据进行处理； 所述MSE输出处理后的音频数据和/或视频数据。
2.根据权利要求1所述的方法，其特征在于，还包括: 当所述第二终端的权限高于所述第一终端配置的观看者权限时，所述MSE对所述各与会终端的音频数据和/或视频数据进行处理。
3.根据权利要求1或2所述的方法，其特征在于，在所述MSE接收MCU发送的各与会终端的音频数据和/或视频数据，以及第一终端配置的观看者权限之前，还包括: 所述MCU向所述第一终端发送是否接受录制或者是否取消录制的信息； 当所述MCU接收到所述第一终端发送的不允许对所述第一终端录制的信息或停止对所述第一终端录制的信息后，向所述第一终端发送是否配置权限的信息； 所述MCU接收所述第一终端发送的观看者权限。
4.根据权利要求1至3中任意一项所述的方法，其特征在于，所述MSE接收各与会终端的音频数据和/或视频数据，以及第一终端配置的观看者权限，包括: 所述MSE接收所述MCU发送的所述各与会终端音频数据中的最大四方的音频数据以及所述音频数据的控制信息，和/或所述各与会终端的视频数据以及视频数据的控制信息；其中，所述音频数据的控制信息包含所述第一终端的音频标识信息及其对应的观看者权限，所述视频数据的控制信息包含所述第一终端的视频标识信息及其对应的观看者权限。
5.根据权利要求4所述的方法，其特征在于，所述第一终端的音频标识信息包括所述第一终端的会场号以及停录的标志信息；所述第一终端的视频标识信息包括所述第一终端的会场号、视频画面模式、所述第一终端的会场在视频画面中的位置，以及停录的标志信肩、O
6.根据权利要求5所述的方法，其特征在于，所述MSE对除所述第一终端之外的各与会终端发送的音频数据和/或视频数据进行处理，包括: 所述MSE根据所述第一终端的会场号以及停录的标志信息，对所述MCU发送的各与会终端音频数据中的最大四方的音频数据进行选择性混音，其中，进行混音的音频数据中不包含所述第一终端的音频数据；和/或， 所述MSE根据所述第一终端的会场号、视频画面模式、所述第一终端的会场在视频画面中的位置，以及停录的标志信息，将所述第一终端的视频数据替换为指定视频数据，并将所述指定视频数据与除所述第一终端之外的各与会终端发送的视频数据进行处理。
7.一种音视频会议录制内容的处理方法，其特征在于，包括: 多点控制单元MCU接收第一终端发送的录制决策信息，所述录制决策信息包括不允许对所述第一终端录制的信息或停止对所述第一终端录制的信息； 所述MCU对除所述第一终端之外的各与会终端发送的音频数据和/或视频数据进行处理； 所述MCU将处理后的音频数据和/或视频数据发送至流媒体引擎MSE进行会议录制。
8.根据权利要求7所述的方法，其特征在于，在所述MCU接收第一终端发送的录制决策信息之前，还包括: 所述MCU接收业务管理中心SMC发送的允许所述第一终端决策录制过程的配置信息。
9.根据权利要求8所述的方法，其特征在于，在所述MCU接收SMC发送的允许所述第一终端决策录制过程的配置信息之后，在所述MCU接收第一终端发送的录制决策信息之前，还包括: 所述MCU向所述第一终端发送是否允许录制的信息。
10.一种音视频会议录制内容的处理装置，其特征在于，包括: 数据接收单元，用于接收多点控制单元MCU发送的各与会终端的音频数据和/或视频数据，以及第一终端配置的观看者权限，其中，所述各与会终端包含所述第一终端； 权限判断单元，用于查看申请观看音视频会议的第二终端的权限是否高于所述第一终端配置的观看者权限； 音视频处理单元，用于当所述权限判断单元的判断结果为所述第二终端的权限不高于所述第一终端配置的观看者权限时，对除所述第一终端之外的各与会终端的音频数据和/或视频数据进行处理； 数据输出单元，用于输出所述音视频处理单元处理后的音频数据和/或视频数据。.
11.根据权利要求10所述的装置，其特征在于， 所述音视频处理单元，还用于当权限判断单元的判断结果为所述第二终端的权限高于所述第一终端配置的观看者权限时，对所述各与会终端的音频数据和/或视频数据进行处理。
12.根据权利要求10或11所述的装置，其特征在于， 所述数据接收单元，具体用于接收所述MCU发送的所述各与会终端音频数据中的最大四方的音频数据以及所述音频数据的控制信息，和/或所述各与会终端的视频数据以及视频数据的控制信息；其中，所述音频数据的控制信息包含所述第一终端的音频标识信息及其对应的观看者权限，所述视频数据的控制信息包含所述第一终端的视频标识信息及其对应的观看者权限。
13.根据权利要求12所述的装置，其特征在于，所述第一终端的音频标识信息包括所述第一终端的会场号以及停录的标志信息；所述第一终端的视频标识信息包括所述第一终端的会场号、视频画面模式、所述第一终端的会场在视频画面中的位置，以及停录的标志信肩、O
14.根据权利要求13所述的装置，其特征在于， 所述音视频处理单元，具体用于根据所述第一终端的会场号以及停录的标志信息，对所述MCU发送的各与会终端音频数据中的最大四方的音频数据进行选择性混音，其中，进行混音的音频数据中不包含所述第一终端的音频数据；和/或，根据所述第一终端的会场号、视频画面模式、所述第一终端的会场在视频画面中的位置，以及停录的标志信息，将所述第一终端的视频数据替换为指定视频数据，并将所述指定视频数据与除所述第一终端之外的各与会终端发送的视频数据进行处理。
15.一种音视频会议录制内容的处理装置，其特征在于，包括: 信息接收单元，用于接收第一终端发送的录制决策信息，所述录制决策信息包括不允许对所述第一终端录制的信息或停止对所述第一终端录制的信息； 音视频处理单元，用于对除所述第一终端之外的各与会终端发送的音频数据和/或视频数据进行处理； 数据发送单元，用于将处理后的音频数据和/或视频数据发送至流媒体引擎MSE进行会议录制。
16.根据权利要求15所述的装置，其特征在于，还包括: 配置接收单元，用于在所述信息接收单元接收第一终端发送的录制决策信息之前，接收业务管理中心SMC发送的允许所述第一终端决策录制过程的配置信息。
17.根据权利要求16所述的装置，其特征在于，还包括: 问询单元，用于在配置接收单元接收所述SMC发送的允许所述第一终端决策录制过程的配置信息之后，在所述信息单元接收第一终端发送的录制决策信息之前，向所述第一终端发送是否允许录制 的信息。
【文档编号】H04N5/76GK103475835SQ201310429340
【公开日】2013年12月25日 申请日期:2013年9月18日 优先权日:2013年9月18日
【发明者】阮冠春, 张冉冉 申请人:华为技术有限公司