专利名称：一种视频会议系统及其中使用的处理方法
技术领域：
本发明涉及一种视频会议系统以及在视频会议中使用的处理方法，特别地，本发明涉及一种视频会议系统以及处理视频会议系统中的感兴趣区域的处理方法。
背景技术：
由于网络视频会议能够大幅度降低会议组织的时间以及成本，因此，近些年来，随着技术的发展，利用网络的视频会议变得越来越普遍(尤其是在商务领域中)。因此，已经针对视频会议提出了各种各样的改进，以改善视频会议的话音、画质等。例如，专利文档1(美国专利No. 20080259154)提出了一种技术方案，用于对捕获的图像或视频进行处理来模拟短景深的效果。在该方法中，将图像的背景分离出来，并进行模糊处理以突出焦点(如，说话人)。可以在空域中利用卷积滤波器(如中值滤波，均值滤波，或高斯滤波)来进行背景模糊；也可以在频域中利用频率滤波器(例如低通滤波)来进行模糊。专利文档2(美国专利NO.W02007007257)描述了另外一种技术方案。在该方案中，提供带有视频时间上变换的方法和装置，其中对感兴趣区域，该方法应用比非感兴趣区域更高的帧率，对扩展感兴趣区域应用模糊滤波。此外，在专利文档3 (美国专利No. 20060215753)还提供一种能够关注视频电话应用中的感兴趣区域处理技术。其中，本地终端装置的接收装置将感兴趣区域的信息传递给远程终端装置的发送装置。利用本地终端装置的接收装置传递过来的感兴趣区域信息，远程终端装置的发送装置对视频场景中的感兴趣区域应用高优先级的编码。因此本地终端装置的接收装置可以远程地控制远程终端装置的发送装置的视频中的感兴趣区域的编码。然而，上述技术方案仍然存在各种问题。例如专利文档1意欲通过模糊处理而在摄像手机上实现隐私保护，而不是针对视频会议场景。因此，并未针对视频会议场景特点进行合适的处理。例如，该技术方案不考虑视频会议的参加者、在任意时刻上视频会议的参加者的共同的感兴趣焦点或网络带宽的优化分配利用等等。此外，例如，专利文档2中的技术方案仅仅考虑将其方法用于视频会议系统的一端，并且未考虑对视频会议的两端的情况以及可用网络带宽优化分配利用并且，对于感兴趣区域的定义也仅适用一种规则，即将视频中的人作为感兴趣区域。另外，在专利文档3的技术方案中，未针对视频会议设置感兴趣区域，并且在划分感兴趣区域及非感兴趣区域时也只是考虑了一端的视频，而未考虑视频会议两端的情况。专利文档1 美国专利No. 20080259154专利文档2 美国专利No. W02007007257专利文档3 美国专利No. 2006021575
发明内容
在现有技术中的上述技术方案仅独立考虑视频会议系统一端的视频，并未综合考虑视频会议系统两端视频的特征以及网络带宽的优化分配，并且在感兴趣区域的定义规则上也仅仅考虑了单一的规则(通常将场景中的人作为感兴趣区域)。因此，为了克服现有技术中的技术问题，本发明提供一种视频会议系统中的感兴趣区域的处理方法，其中视频会议系统包括本地终端装置以及至少一个远程终端装置，该处理方法包括当通过视频会议系统进行视频会议时，在视频会议系统中的本地终端装置及远程终端装置上分别进行特征检测；基于本地终端装置以及远程终端装置的特征检测结果，针对视频会议系统的当前会议场景设置会议模式；基于会议模式，在视频会议系统中的本地终端装置及远程终端装置上进行视频帧分割，并对分割后的区域进行前处理以进行视频编码。此外，根据本发明的另一方面，提供一种视频会议系统，包括本地终端装置；和至少一个远程终端装置，其中在视频会议期间，所述本地终端装置及所述远程终端装置分别进行特征检测；在所述本地终端装置及所述远程终端装置之间交换与特征检测有关的信息，并且基于所述本地终端装置以及所述远程终端装置的特征检测结果，针对所述视频会议系统的当前会议场景设置会议模式；基于所述当前会议模式，在所述本地终端装置及所述远程终端装置上进行视频帧分割，并对分割后的区域进行前处理以进行视频编码。此外，根据本发明的又一方面.提供一种视频会议系统，包括本地终端装置；至少一个远程终端装置；和视频会议控制装置，其中在视频会议期间，所述本地终端装置及所述远程终端装置分别进行特征检测；所述本地终端装置及所述远程终端装置将与特征检测有关的信息发送到所述视频会议控制装置，所述视频会议控制装置基于所述本地终端装置以及所述远程终端装置的特征检测结果，针对所述视频会议系统的当前会议场景设置会议模式；所述视频会议控制装置向所述本地终端装置及所述远程终端装置发送关于所设置的会议模式的信息，并且所述本地终端装置及所述远程终端装置基于所述当前会议模式进行视频帧分割，并对分割后的区域进行前处理以进行视频编码。在本发明中，将视频会议系统的两端(本地终端装置和远程终端装置)作为一个整体来考虑，根据视频会议系统两端的视频的特征检测结果进行诸如视频分割以及分割后的视频的前处理之类的处理。此外，在两个级别(其中之一是帧级别，而另一个级别是会议系统的参加者(本地终端装置以及远程终端装置级别)上进行比特的重新分配以优化系统资源。此外，由于在整个视频会议的生命周期中，不同的会议场景具有不同的特点(如， 演讲、讨论等)，因此根据在本地终端装置与远程终端装置的特征检测结果，将视频会议划分为多种不同的会议模式。然后基于会议模式，在系统两端进行感兴趣区域的分割。在本发明中，将感兴趣区域的定义及选择与会议模式紧密关联，因此与现有技术中的单一规则感兴趣区域定义相比，根据本发明的技术方案能够在会议的不同场景中始终保持呈现给视频会议的参加者更清楚的正确的焦点。通过上述方式，不仅可以通过视频会议系统两端的特征检测设置合适的会议模式来提高视频会议的质量，而且可以通过基于特征检测和会议模式进行比特的重新优化分配以提高视频会议系统的性能。另外，本发明还将用户交互引入到整个系统中，S卩，通过调整参数，可以调节观看的视频质量。
图1是图解根据本发明实施例的视频会议系统的方框图；图2是简要图解根据本发明实施例的、视频会议系统的处理方法的流程图；图3是图解视频会议系统的特征检测的流程图；图4是图解终端装置上的视频帧分割的一个示例的图示；图5是图解对图4的视频帧进行模糊处理的一个示例的图示；图6A至6C为图解空域滤波以及时域滤波的示例的图示；和图7是根据本发明另一实施例的视频会议系统的方框图。
具体实施例方式下面，描述根据本发明的各个实施例，其中在附图中，利用相同的附图标记表示相同或类似的元件或组成部分，并且省略了它们的重复描述。图1是图解根据本发明实施例的视频会议系统的方框图。在图1中，根据本发明实施例的视频会议系统包括多个终端装置100以及与多个终端装置100连接的视频会议控制装置101。如图1所述，基于用户的位置，可以将终端装置100划分为本地终端装置100A以及远程终端装置100B。在下文中，如果不需要进行区分， 还将本地终端装置100A以及远程终端装置100B统称为终端装置100。终端装置100可由能够支持视频会议的任意终端组成，所述终端的示例包括个人计算机(PC)、移动终端(如， 手机等)和个人数字助理(PDA)等等。此外，例如，视频会议控制装置101可以由服务器、 通用目的个人计算机等组成。此外，虽然在图1中显示了一个本地终端装置100A以及两个远程终端装置100B，但是，显然，上述本地终端装置100A以及远程终端装置100B的数量不限于图1所示的终端装置的数量。此外，终端装置100还可以包括内置或外置的视频捕获装置(如，摄像头)以允许终端装置100能够执行建立或加入视频会议的操作。下面参照图2简要描述根据本发明实施例的视频会议系统中的处理过程。首先通过视频会议控制装置101，在本地终端装置100A以及远程终端装置100B之间建立视频会议。由于在本地终端装置100A以及远程终端装置100B之间建立视频会议的过程对于本领域技术人员来说是熟知的，因此这里省略了关于在本地终端装置100A以及远程终端装置 100B之间如何建立视频会议的过程的详细描述。需要注意的是，视频会议系统中的终端装置100之间的连接为包括有线连接与无线连接的任意连接方式。在本地终端装置100A以及远程终端装置100B之间建立了视频会议之后，在步骤 S101，在视频会议系统中的本地终端装置100A及远程终端装置100B上分别进行视频帧的特征检测。然后，在步骤S102，本地终端装置100A以及远程终端装置100B分别将关于特征检测结果的信息发送到视频会议控制装置101，并且视频会议控制装置101整体地基于本地终端装置100A以及远程终端装置100B的特征检测结果(也就是，将本地终端装置100A以及远程终端装置100B的特征检测结果作为一个整体考虑)，针对视频会议系统中的各个终端装置100的当前会议场景设置会议模式。在这里，应当注意的是，术语本地终端装置以及远程终端装置是基于用户与终端装置的位置关系而定。例如，对于在图1所示的一个远程终端装置100B上的用户来说，该远程终端装置100B相当于本地终端装置，而本地终端100A 以及其它远程终端100B相当于远程终端装置。然后，在步骤S103，视频会议系统中的各个终端装置100基于所设置的会议模式， 在视频会议系统中的各个终端装置100上(也就是，本地终端装置100A以及远程终端装置 100B上)进行视频帧分割。在各个终端装置100上进行视频帧分割之后，在步骤S104，终端装置100对分割后的区域进行前处理，并且对处理后的区域进行视频编码以向其它终端装置100进行传输。下面详细描述描述根据本发明实施例的视频会议系统中的处理方法中的各个步骤。首先，详细说明视频会议系统中的终端装置100上的特征检测过程。图3为特征检测过程的详细说明，其中在视频会议系统的每一个终端装置100上进行的特征检测包括如下步骤例如，在建立了视频会议之后，在步骤S1011，终端设备100利用内置或外置的视频捕获装置(如，摄像头)或其他类似设备捕获视频。然后，在步骤1012，终端装置100首先在当前产生的视频帧中检测是否存在白板， 并且基于是否存在白板的检测结果来计算白板占整个视频帧大小的比率。如果终端装置 100在当前的视频帧中检测到至少一个白板，并且至少一个白板占整个视频帧大小的比率值超过预先设置的阈值，则处理前进到步骤S1013，而如果终端装置100在当前的视频帧中未检测到白板或者检测到的所有白板占整个视频帧大小的比率值都未超过预先设置的阈值，则处理前进到步骤S1014。在步骤S1013，终端装置100将该白板识别为在当前帧检测到的特征，S卩，设置“白板”特征为“真”，其表示视频会议的参加者正在利用白板进行演示或说明。如果终端装置100在当前帧中未检测到任何白板，或没有任何一个白板占据整个视频帧大小的比率能够达到预先设置的阈值，则在步骤S1014，继续在当前视频帧中检测其他特征。在本实施例中，此时检测视频帧是否存在说话人。如果终端装置100检测到存在说话人，则处理前进到步骤S1015。否则，处理前进到步骤S1016。如果终端装置100在当前帧中检测到说话人，则在步骤S1015，终端装置100设置当前视频帧中的“说话人”特征为“真”，其表示在终端装置100上检测到说话人。如果终端装置100在当前帧中未检测到说话人，则在步骤S1016，终端装置100设置当前视频帧中的“未检测到特征”为“真”，其表示在终端装置100上未检测到特征。应该注意的是，在会议系统的各个终端设备100上分别进行如上所述的特征检测，然后基于在各个终端设备100上的检测到的特征来设置会议模式。下面详细描述如何基于各个终端设备100上检测到的特征在设置会议模式的操作。在视频会议系统的各个终端装置100对特征进行了检测之后，终端装置100基于用于传输数据的任意协议(如，TCP/IP、UDP协议等)向视频会议控制装置101发送关于其视频帧的特征的信息。视频会议控制装置101在接收来自各个终端装置100的、关于其视频帧的特征的信息之后，将关于各个终端装置100的视频帧的特征的信息进行结合，并且基于结合后的结果，为终端装置100的当前视频会议场景设置会议模式。例如，如果在本地终端装置100A上，“白板”特征被设置为“真”，而在远程终端装置100B上，“未检测到特征”被设置为“真”，则视频会议控制装置101基于上述信息将当前视频会议场景被设置为“白板模式”。此外，如果在预先设置的时间范围(可以基于具体情况改变该预设的时间范围)内，在本地终端装置100A持续检测到说话人，而在远程终端装置100B上未检测到任何特征，则视频会议控制装置101基于上述信息将当前会议场景被设置为“演讲模式”。此外，如果在预先设置的时间范围内，在视频会议系统的两侧(如，本地终端装置100A和远程终端装置100B)同时或交替地检测到“说话人”特征，则视频会议控制装置101基于上述信息当前会议场景被设置为“讨论模式”。上述结合各个终端装置100 (本地终端装置100A和远程终端装置100B)中的视频帧的特征来设置各个终端装置的会议模式的情况不限于上述情况。例如，可以基于更具体的情况灵活地设置更多的会议模式。此外，用户或视频的参加者还可以根据具体情况通过视频会议控制装置101上提供的输入/输出接口(未示出)任意地限定视频会议的模式。 例如，如果在本地终端装置100A上，“白板”特征被设置为“真”，而在预先设置的时间范围内，在远程终端装置100B上持续检测到说话人，则视频会议控制装置101可以基于用户设置，将当前视频会议场景被设置为“白板模式”或“演讲模式”；而如果在本地终端装置100A 上，“白板”特征被设置为“真”，而在预先设置的时间范围内，在多个远程终端装置100B上持续检测到说话人，则视频会议控制装置101可以将当前视频会议场景被设置为“讨论模式”寸寸。然后，在视频会议控制装置101结合终端装置100(本地终端装置100A和远程终端装置100B)的视频帧的特征设置了相应的会议模式之后，视频会议控制装置101将关于所设置的会议模式的信息发送到各个终端装置100上，从而允许各个终端装置100基于所设置的会议模式对其视频帧进行分割。这里，需要注意的是，在不同的会议模式下，由于对于视频会议的参加者(用户) 来说焦点各不相同，因此视频帧的分割与会议模式相关联，其中视频会议的参加者的焦点包括“白板”、“说话人”等等特征。下面详细说明在各个会议模式下，视频帧的分割的细节。例如，在“演讲模式”下，如果说话人在本地终端装置100A上，则对视频会议两端 (本地终端装置100A和远程终端装置100B)上的参加者来说，该说话人为视频会议两端的参加者的共同焦点。在这种情况下，例如，对于本地终端装置上的视频帧来说，可以基于“演讲模式”将视频帧分割为三个部分将说话人或者说话人的面部分割为“感兴趣区域” (R0I， region ofinterest)；从“感兴趣区域”的边界出发向外扩展预先设置的距离，将视频帧中的该区域分割为“扩展感兴趣区域”(extended R0I，也称作χ-ROI)；而将视频帧中的剩余区域分割为“非感兴趣区域”(non-ROI)。例如，在图4中例示了视频帧的分割结果的一种情况。而对于远程终端装置100B上的视频帧来说，在上述情况下，当在另一端(S卩，本地终端装置100A)中存在说话人，同时在该远程终端装置100B上未检测到特征时，这表示该远程终端装置100B上的视频帧中的所有内容的重要性都要低于视频会议的当前会议场景的焦点，即另一端(本地终端装置100A)中的说话人。因此在此时，基于“演讲模式”，远程终端装置100B将其整个视频帧都分割为“非感兴趣区域”。类似地，例如，当在远程终端装置100B上存在说话人，而在本地终端装置100A上未检测到特征时，远程终端装置100B基于该“演讲模式”对该远程终端装置100B上的视频帧进行分割(即，感兴趣区域、扩展感兴趣区域和非感兴趣区域的分割)。在这种情况下，本地终端装置100A上的整个视频帧被分割为“非感兴趣区域”。此外，在“白板模式”下，如果本地终端装置100A上的参加者正在白板上进行书写，则对视频会议的所有参加者来说，白板上正在被书写的内容为他们的共同焦点。因此在该模式下，对本地终端装置100A上的视频帧来说，该视频帧被分割为三个部分白板上当前正在写的内容为“感兴趣区域”；从“感兴趣区域”的边界出发向外扩展预先设置的距离， 将该区域分割为“扩展感兴趣区域”；将视频中的剩余区域分割为“非感兴趣区域”。在这种情况下，对于远程终端装置100B的视频帧来说，当另一端(本地终端装置100A)上有人在白板上进行书写时，白板上的内容为参加者的关注所在，因此该远程终端装置100B上的视频帧中的所有内容的重要性都要低于视频会议的当前会议场景的焦点(即，白板)，因而在此时，远程终端装置100B基于该“白板模式”将其整个视频帧分割为“非感兴趣区域”。类似地，例如，当在在远程终端装置100B上的参加者正在白板上进行书写时，该远程终端装置100B基于“白板模式”，对远程终端装置100B上的视频帧进行分割(S卩，感兴趣区域、扩展感兴趣区域和非感兴趣区域的分割)。在这种情况下，本地终端装置100A上的整个视频帧被分割为“非感兴趣区域”。此外，在“讨论模式”下，如果在视频会议系统的相应终端装置上存在多名参加者 (说话人)参与讨论，则对视频会议的参加者来说，参与讨论的多人为所有参加者的焦点。 因此，例如，该模式下，在本地终端装置100A上存在说话人的情况下，对于本地终端装置 100A上的视频帧，将该视频帧分割为三个部分参与讨论的人为“感兴趣区域”，从“感兴趣区域”的边界出发向外扩展预先设置的距离，将该区域分割为“扩展感兴趣区域”；将视频中的剩余区域分割为“非感兴趣区域”。如果远程终端装置100B上也存在参与讨论的人，则在远程终端装置100B上的视频帧进行类似的分割操作(即，感兴趣区域、扩展感兴趣区域和非感兴趣区域的分割)。如果某个远程终端装置100B上不存在参与讨论的人，则该远程终端装置100B将其整个视频帧被分割为“非感兴趣区域”。至此，基于在视频会议系统两端(本地终端装置100A和远程终端装置100B)检测到的特征以及会议模式，视频会议系统的各个终端装置100上的视频帧被分割为“感兴趣区域”，“扩展感兴趣区域”以及“非感兴趣区域”三种类型。“感兴趣区域”，“扩展感兴趣区域”以及“非感兴趣区域”中的每一类均包含来自于至少一个终端装置100中的视频帧中的被分割的区域。在此处，按三种类型分割视频帧的目的为减少不同部分之间的边缘效应，并且在应用下述的滤波之后，使得帧的不同部分之间的视频质量能够平滑过渡。下面，详细描述在进行了终端装置100上的视频帧的分割之后，终端装置100在进行视频编码之前执行的前处理操作。在进行了视频帧分割的操作之后，视频会议系统中的各个终端装置100对其视频帧的分割区域进行排序。由于感兴趣区域通常包含了视频会议的参加者共同关心的焦点内容，因此该部分区域被赋予最高优先级。由于扩展感兴趣区域是上述感兴趣区域的一个外延扩展，因此其优先级低于上述感兴趣区域。此外，由于非感兴趣区域通常包含的内容其重要性最低，因此被赋予最低的优先级。然后，基于优先级排序，对所述视频会议系统中的各个终端装置100的网络带宽进行重新分配。例如，可以通过在视频会议系统中的各个终端装置100之间交换关于优先级排序的信息来进行网络带宽的重新分配工作。具体地，基于优先级排序，具有最高优先级的视频帧的终端装置100可以占有较宽的带宽，而具有较低优先级的视频帧的终端装置 100可以占有较窄的带宽。此外，视频会议控制装置101可以收集关于各个终端装置100的优先级排序的信息来分配各个终端装置100所占的带宽。应该注意的是，本发明不限于此， 可以基于优先级，利用任意的动态网络带宽设置技术来进行终端装置100的带宽重新分配工作。此外，在终端装置100进行优先级排序之后，终端装置100对于扩展感兴趣区域和非感兴趣区域在空域上应用模糊滤波，以减少这两个区域中包含的高频信息的容量。然后， 对于扩展感兴趣区域和非感兴趣区域在时域上进行滤波，以减少相邻两个视频帧之间的变化。通过对上述区域进行在空域上应用模糊滤波，在接下来的编码阶段中，在(例如) 离散余弦变换(DCT)之后，这上述区域中需要进行编码的图像信息量会相对减少。同样地， 通过对上述区域在时域上进行滤波，在接下来的编码阶段，在运动估计之后，这上述两个区域中需要进行编码的运动向量会相对减少。具体地，例如，可以应用加权均值滤波对扩展感兴趣区域和非感兴趣区域进行空域上的模糊滤波。下面的公式(1)为加权均值滤波的一个示例。
n ηg(x,y) = Σ Σw(z.，j、f、x+i^y+J)…(1)
=-ηj=~n其中g(x，y)为的窗口的中心像素，w (i，j)为加权值，而f(x+i， y+j)为该的窗口内的像素的像素值。通过上述方式，利用窗口内的On+1) X (2n+l)个像素的加权平均值来取代中心像素的原始值以进行加权均值滤波(模糊滤波)。另外，应用于扩展感兴趣区域以及非感兴趣区域的加权均值滤波器可以为不同的类型，并且具有不同的参数。例如，如图6A中所示的加权均值模糊滤波器可应用于扩展感兴趣区域，而如图6B所示的加权均值模糊滤波器可用于非感兴趣区域，其中图6A与图6B 所示的矩阵为加权值w(i，j)的矩阵形式。通过利用加权均值滤波进行空域上的模糊滤波之后，假设原始视频帧如图4所示，其滤波结果则如图5所示。除了上述的加权均值滤波，还可以使用中值滤波以及高斯滤波来模糊扩展感兴趣区域及非感兴趣区域。此外，对时域滤波来说，扩展感兴趣区域的滤波可通过计算相邻两个视频帧的对应扩展感兴趣区域的线性插值来获得；而非感兴趣区域滤波可通过复制上一帧中对应区域的内容而获得，也就是说，每两帧或多帧即跳过其中一帧或多帧的非感兴趣区域。上述时域滤波方法如图6C所示。通过对视频帧的分割区域(扩展感兴趣区域及非感兴趣区域)进行空域以及时域滤波，可以明显减少各个终端装置100上的视频帧的信息量，由此减少在建立视频会议的网络中传输的数据量。因此，通过上述空域和时域滤波，可以进一步节约网络带宽。因此，即使在具有较低传输速度的网络中，根据本发明示例性实施例的视频会议系统以及处理方法也能建立稳定且流畅的视频会议。在下面，将描述对视频帧的分割区域进行前处理(如，排序、滤波等)之后的处理的细节。视频会议系统中的终端装置100对经过前处理的视频进行编码。由于排序、滤波等操作是在前处理阶段完成，因此本发明可以适用于任何编码器及CODEC(编码解码器)， 并且不需要对现有的编码器进行任何修改。因此，省略了编码器及CODEC的结构以及其操作的详细描述。下面描述根据本发明另一实施例的视频会议系统。图7是图解根据本发明另一实施例的视频会议系统的方框图。在根据图7所示的视频会议系统中，不包括视频会议控制装置101。在本实施例中，通过各个终端装置100之间的信息交互(无需通过视频会议控制装置)来基于各个终端装置100的特征检测来设置会议模式，并进行相应的前处理。由于，除了各个终端装置 100之间的信息交互设置会议模式的步骤之外，各个终端装置100执行的处理与针对上述实施例描述的处理基本上相同，因此，在这里省略了不必要的重复描述。根据本实施例，在视频会议系统的各个终端装置100对特征进行了检测之后，终端装置100 (作为本地终端装置100A)基于用于传输数据的任意协议(如，TCP/IP、UDP协议等)向其它终端装置100(作为远程终端装置100B)发送用于获得其它终端装置100上的视频帧的特征的请求，并且接收来自其它终端装置100的应答消息(即，关于其它终端装置100上的视频帧的特征的信息)。然后，视频会议系统中的每一个终端装置100(作为本地终端装置100A)将关于本地的视频帧的特征的信息与来自其它终端装置100(作为远程终端装置100B)的关于视频帧的特征的信息结合，并且基于结合后的结果，为当前的视频会议场景设置会议模式，并且基于所设置的会议模式执行对应的前处理。此外，根据本发明的又一实施例，用户还可以通过终端装置100上提供的输入/输出接口(未示出)与终端装置100进行交互来调整当前视频的质量。例如，如果用户希望调整视频质量，则他/她可以调节在空域和时域滤波中使用的滤波器的参数，然后终端装置100基于被调节的参数执行滤波操作。例如，对于一个具有 nXn矩阵(η2为矩阵的元素数)的加权均值模糊滤波器来说(如图3(2)所示，η的值为5， 分母为n2 = 25), η的值越大，模糊效果越明显。图3(1)所示的加权均值滤波器也有类似的属性。因此，通过增大滤波器参数η的值，可以进一步降低非感兴趣区域及扩展感兴趣区域的质量，由此可以减少编码后的数据量并节约带宽。相应地，感兴趣区域的质量可以得到提升，用户将可以观察到更清晰的焦点内容。在上面详细描述了根据本发明的各种示例性实施例。通过利用根据本发明实施例的视频会议系统以及视频会议系统中的感兴趣区域的处理方法，基于视频会议系统两端的特征检测结果为终端装置的当前会议场景设置会议模式。在整个会议生命周期中，由于随着会议场景的变换，当前焦点也随之变换，因此对每一种会议模式，当前的焦点被分割出来并被赋予最高优先级。通过上述操作可以确保自动且灵活地为会议参加者提供清晰的高质量的焦点内容。
此外，由于基于视频帧的分割在两个级别上进行比特的重新分配，也就是，首先在视频会议系统的本地终端装置与远程终端装置上进行带宽的重新分配；其次在帧级别上进行比特再分配，因此通过上述操作可以确保当前可用的网络带宽得以充分利用，从而为会议参加者提供高质量的清晰视频。需要注意的是，本发明的实施例可以采用整体硬件实施、整体软件实施或包含硬件和软件组成部分的实施的方式。在一些实施例中，可以利用软件实现本发明的实施例，其包含(但不限于)固件、内置软件、微码等。此外，本发明采用可以由计算机或任何命令执行系统使用来执行根据本发明实施例的处理方法的计算机程序产品的形式，所述计算机程序产品存储在计算机可读介质中。计算机可读介质的实例包括半导体或固态存储器、磁带、 可卸载计算机磁盘、随机存取存储器(RAM)、只读存储器(ROM)、硬盘和光盘等。如上所述，已经在上面具体地描述了本发明的各个实施例，但是本发明不限于此。 本领域的技术人员应该理解，可以根据设计要求或其它因素进行各种修改、组合、子组合或者替换，而它们在所附权利要求及其等效物的范围内。
权利要求
1.一种视频会议系统的处理方法，其中所述视频会议系统包括本地终端装置以及至少一个远程终端装置，所述处理方法包括当通过所述视频会议系统进行视频会议时，在所述视频会议系统中的所述本地终端装置及所述远程终端装置上分别进行特征检测；基于所述本地终端装置以及所述远程终端装置的特征检测结果，针对所述视频会议系统的当前会议场景设置会议模式；基于所述当前会议模式，在所述视频会议系统中的所述本地终端装置及所述远程终端装置上进行视频帧分割，并对分割后的区域进行前处理以进行视频编码。
2.如权利要求1所述的处理方法，其特征在于在视频会议系统中的所述本地终端装置及所述远程终端装置上检测到的特征包括焦点，所述焦点包括白板、说话人。
3.如权利要求2所述的处理方法，进一步包括在对所述视频帧进行分割之后，对分割后的所述视频帧的区域进行优先级排序。
4.如权利要求3所述的处理方法，其特征在于如果在所述视频帧中包含焦点，则将其分割为“感兴趣区域”，“扩展感兴趣区域”及“非感兴趣区域”，和如果在所述视频帧中不包含焦点，则将整个所述视频帧标记为“非感兴趣区域”。
5.如权利要求4所述的处理方法，其特征在于所述优先级排序包括将感兴趣区域赋予最高优先级，将扩展感兴趣区域赋予次高优先级，而将非感兴趣区域赋予最低优先级。
6.如权利要求3到5中的任意一个所述的处理方法，进一步包括基于优先级排序，对所述视频会议系统的网络带宽进行重新分配。
7.如权利要求6的所述的处理方法，其特征在于对所述视频会议系统的网络带宽的重新分配包括所述视频会议系统的本地终端装置以及远程终端装置之间的带宽分配和视频帧的比特重新分配。
8.如权利要求7所述的处理方法，其特征在于对于所述扩展感兴趣区域以及所述非感兴趣区域在空域上应用模糊滤波，以进行视频帧内的比特重新分配。
9.如权利要求8所述的处理方法，其特征在于在空域上的模糊滤波包括均值滤波、中值滤波和高斯滤波中的至少一个。
10.如权利要求7所述的处理方法，其特征在于对于所述扩展感兴趣区域以及所述非感兴趣区域应用时域滤波，以进行视频帧间的比特再分配。
11.如权利要求10所述的处理方法，其特征在于所述时域滤波为至少相邻两个视频帧的对应区域进行具有加权值的线性插值。
12.一种视频会议系统，包括本地终端装置；和至少一个远程终端装置，所述视频会议系统其特征在于在视频会议期间，所述本地终端装置及所述远程终端装置分别进行特征检测；在所述本地终端装置及所述远程终端装置之间交换与特征检测有关的信息，并且基于所述本地终端装置以及所述远程终端装置的特征检测结果，针对所述视频会议系统的当前会议场景设置会议模式；基于所述当前会议模式，在所述本地终端装置及所述远程终端装置上进行视频帧分割，并对分割后的区域进行前处理以进行视频编码。
13. —种视频会议系统，包括 本地终端装置； 至少一个远程终端装置；和视频会议控制装置所述视频会议系统其特征在于在视频会议期间，所述本地终端装置及所述远程终端装置分别进行特征检测； 所述本地终端装置及所述远程终端装置将与特征检测有关的信息发送到所述视频会议控制装置，所述视频会议控制装置基于所述本地终端装置以及所述远程终端装置的特征检测结果，针对所述视频会议系统的当前会议场景设置会议模式；所述视频会议控制装置向所述本地终端装置及所述远程终端装置发送关于所设置的会议模式的信息，并且所述本地终端装置及所述远程终端装置基于所述当前会议模式进行视频帧分割，并对分割后的区域进行前处理以进行视频编码。
全文摘要
视频会议系统的处理方法，其中视频会议系统包括本地终端装置以及至少一个远程终端装置，该处理方法包括当通过视频会议系统进行视频会议时，在视频会议系统中的本地终端装置及远程终端装置上分别进行特征检测；基于本地终端装置以及远程终端装置的特征检测结果，针对视频会议系统的当前会议场景设置会议模式；基于当前会议模式，在视频会议系统中的本地终端装置及远程终端装置上进行视频帧分割，并对分割后的区域进行前处理以进行视频编码。
文档编号H04N7/14GK102170552SQ20101011644
公开日2011年8月31日 申请日期2010年2月25日 优先权日2010年2月25日
发明者刘丽艳, 王晓萌 申请人:株式会社理光