实现编排模型的视频会议系统的制作方法
【技术领域】
[0001] 本发明设及用于具体地在多参与方视频会议系统中从多个人的多个源生成沉浸 式视频的方法。
【背景技术】
[0002] 随着通信系统中的带宽能力的增加，视频通信系统已经在商业和住宅应用中越来 越流行。实际上，在地理上分布的团队协作的情况下，该些系统避免了团队协作者的旅行并 且增加灵活性。
[0003] 视频通信系统使用音频和视频通信W使不同地点的人集合在一起。该可W如在 私人办公室中的人之间的对话那么简单，或者设及在多个位置处的大房间中的若干多点地 点。该系统能够管理点对点和多点通信。
[0004] 在已知系统中，用户用遥控器来选择要观看的源（视频流或摄像机）。一些系统 改善该静态行为，并且在活动扬声器上自动地切换。该动态行为基于每个参与者的音频信 息。通过Inview解决方案，Inter化11引入了新的能力，用于向用户提供从最适合其需要的 很多格式中的一个选择模板。其模板是静态的，并且不提供使得能够在视频会议期间提高 用户的沉浸感/注意的编制中的任何动态性。没有用于W下用户或智能机制的视频编制的 可编程性，该用户或智能机制使得能够自动地选择哪个模板良好地适合用户需要。在思科 (Cisco)解决方案（Webex和TelepresenceTX9000)中，在主窗口中显示活动的用户。固 定数目的模板可用于视频编制。用户选择其中之一。视频切换行为通过音频事件检测来管 理。如研究提出的，70%左右的有用信息会从音频事件中丢失。
[0005] 为了促进沉浸式通信，新技术包括基于规则引擎和规则模板的编排器。在第一步 骤中，规则模板集合由专家创建，并且无法被单个用户修改或加强。
【发明内容】
[0006] 在实施例中，本发明提供了一种用于在视频会议中生成输出视频流的方法，该方 法包括：
[0007]-接收视频会议的多个输入视频流
[000引-接收系列观测事件，该观测事件属于与视频会议的参与方做出的动作相对应的 多个可观测的动作，
[0009]-提供多个编排模型，每个模型包括：
[0010] °显示状态的集合，每一个与预定义的屏幕模板相关联，每个屏幕模板包括该输 入视频流的选择的子集，
[0011] °显示状态之间的转移概率，
[0012] °观测概率，其将可观测动作的条件概率表示为显示状态的函数，
[0013] -针对该编排模型中的每一个确定所接收的系列观测事件的概率，
[0014] -选择与最高概率相对应的编排模型
[0015]-使用所选择的编排模型来执行下述步骤：
[0016] °对于编排模型中的每个显示状态，选择该显示状态作为候选显示状态，
[0017] °将包括过去显示状态和当前显示状态的显示状态序列纳入考虑来确定针对所 接收的系列观测事件的候选显示状态的条件概率，
[0018] °将提供最高条件概率的候选显示状态确定为更新的显示状态，
[0019] °生成视频流，该视频流接连地包括表示与当前显示状态相关联的屏幕模板的第 一图像序列W及表示与更新的显示状态相关联的屏幕模板的第二图像序列。
[0020] 根据实施例，该样的方法可W包括W下特征中的一个或多个。
[0021] 在该方法实施例中，在包括下述各项的动作类别的组中选择可观测的动作；手势、 头部运动、面部表情、音频动作、关键字的阐释、与演示幻灯片相关的动作。
[0022] 在该方法实施例中，在包括W下各项的组中选择可观测的动作：
[0023]-举起手指，举起手，
[0024] -进行头部上下运动，进行头部左右运动，
[0025]-做出对应于说话或睡觉的面部表情，
[0026]-制造噪音，使沉默，由导师发言，由参与者发言，
[0027]-阐释字幕或旁听者的名称，
[002引-切换幻灯片，移动指示器，
[0029]-开始问题，结束问题。
[0030] 在该方法实施例中，在包括下述各项的组中选择输入视频流；各个参与方的视图、 发言人的视图、会议室的视图和演示幻灯片的视图。
[0031] 在该方法实施例中，屏幕模板包括属于相应子集的输入视频流的预定义的布置。
[0032] 在该方法实施例中，转移概率被布置为转移矩阵。
[0033] 在该方法实施例中，观测概率被布置为发出（emission)矩阵。
[0034] 在一个实施例中，本发明还提供了一种用于在视频会议中生成输出视频流的视频 会议控制设备，该设备包括：
[0035]-用于接收视频会议的多个输入视频流的装置，
[0036]-用于接收系列观测事件的装置，观测事件属于与视频会议的参
[0037] 与方做出的动作相对应的多个可观测的动作，
[003引-存储多个编排模型的数据存储库，每个模型包括；
[0039] °显示状态的集合，每一个显示状态与预定的屏幕模板相关联，每个屏幕模板包 括输入视频流的被选择的子集，
[0040] °显示状态之间的转移概率，
[0041] °观测概率，该观测概率将可观测的动作的条件概率表示为显示状态的函数，
[0042]-用于针对编排模型中的每一个确定所接收的系列观测事件的概率的装置，
[0043] -用于选择与最高概率相对应的编排模型的装置，
[0044]-用于使用所选择的编排模型来执行下述步骤的装置：
[0045] °对于编排模型中的每个显示状态，选择该显示状态作为候选显示状态，
[0046] °将包括过去显示状态和当前显示状态的显示状态序列纳入考虑来确定针对所 接收的系列观测事件的候选显示状态的条件概率，
[0047] °将提供最高条件概率的候选显示状态确定为更新的显示状态，
[0048] °生成视频流，该视频流接连地包括表示与当前显示状态相关联的屏幕模板的第 一图像序列W及表示与更新的显示状态相关联的屏幕模板的第二图像序列。
[0049] 根据实施例，该样的视频会议控制设备可W包括W下特征中的一个或多个。
[0化0] 在视频会议控制设备的实施例中，在包括下述各项的动作类别的组中选择可观测 的动作：手势、头部运动、面部表情、音频动作、关键字的阐释、与演示幻灯片相关的动作。 [0化1] 在视频会议控制设备的实施例中，在包括W下各项的组中选择可观测的动作：
[0052]-举起手指，举起手，
[0化3]-进行头部上下运动，进行头部左右运动，
[0054]-做出对应于说话或睡觉的面部表情，
[005引-制造噪音，使静音，由导师发言，由参与者发言，
[0化6]-阐释字幕或旁听者的名称，
[0057]-切换幻灯片，移动指示器，
[005引-开始问题，结束问题。
[0059] 在视频会议控制设备的实施例中，在包括下述各项的组中选择输入视频流：各个 参与方的视图、发言人的视图、会议室的视图和演示幻灯片的视图。
[0060] 在视频会议控制设备的实施例中，屏幕模板包括属于相应子集的输入视频流的预 定义的布置。
[0061] 在视频会议控制设备的实施例中，转移概率被布置为转移矩阵。
[0062] 在视频会议控制设备的实施例中，观测概率被布置为发出矩阵。
[0063] 在实施例中，本发明还提供一种视频会议系统，其包括视频会议控制设备，该视频 会议控制设备被通过通信网络连接到多个终端，其中每个终端包括用于生成输入视频流的 装置，并且其中该通信网络被适配为将视频流从终端传送到该控制设备，并且将由该控制 设备生成的输出视频流传送到终端。
[0064] 在一个实施例中，本发明还提供了一种用于在包括多个输入视频流和系列输入观 测事件的视频会议中生成视频流的编排模型的方法，所述观测事件属于多个可观测的动 作，该编排模型包括：
[00化]°显示状态的集合，每一个显示状态与预定的屏幕模板相关联，每个屏幕模板包 括输入视频流的选择的子集，
[0066] °显示状态之间的转移概率，
[0067] °观测概率，该观测概率将可观测动作的条件概率表示为显示状