专利名称：用于拥塞控制的稳定视频速率适配的制作方法
技术领域：
本发明通常涉及可视会议，尤其是，通常涉及经尽力服务的网络动态地调整用于增强可视会议体验的视频编码和输入参数。
背景技术：
视频会议是一组交互的远程通信技术，其允许两个或更多个位置去经由双向并行视频和音频传输交互作用。在视频会议系统中使用的核心技术是音频和视频数据流的实时数字压缩。视频会议系统的其它的部件包括视频输入，即，摄像机或者网络摄像机；视频输出，即，计算机监视器、电视接收机或者投影仪；音频输入，即，麦克风；音频输出，即，通常与显示设备或者电话有关的扬声器；和数据传输，即，模拟或者数字电话网、LAN或者因特网。通常，可视会议市场大概划分为二个组愿意承担很大支出的那些用户，和不愿意承担支出的那些用户。愿意承担很大支出的一些用户的例子包括大的和/或全球公司和公用事业，其能够在避免与行程有关的成本和耽误时间的基础上证明支出是对的。承担的支出来自于所有权成本或者租用专用网的成本。上述的专用网被管理，传送服务质量(QoS) 通常形成为服务级协定(SLA)的一部分。市场的平衡包括那些无需访问专用网的用户，其典型地使用因特网用于数据传输。这个组不仅包括那些不访问专用网的用户，而且包括那些其专用网不提供QoS保证或者没有连接到所有端点(用户可能希望连接到其)的用户。该因特网是尽力服务网络的例子。上述的网络不同于管理的网络，其中由于网络拥塞的结果，尽力服务网络的传输参数常遭受比较大的和可变的传输损害，包括抖动、延迟、丢失分组等等。此外，这些损害典型地常遭受在从秒到分钟或者小时的范围周期上求平均值的值方面突然和显著的变化。该传输损害与尽力服务网络，诸如因特网有关，其导致用户典型地不舒适的体验， 由于视频成分是劣质的“不连贯的”，和/或没有与通信的音频成分精确同步。而不是增强通信，该视频成分可以事实上提供虚假的视觉提示，并且甚至使通信的各方迷惑或者厌恶。 由于这个缘故，尽管与之相关的许多的优点，商店和个人已经慢慢去采用基于IP的可视会议。当然，当视频成分被足够地改善以提供更加自然运动和通信方更加逼真表示的时候，很可能出现更宽的采用。因此，在视频数据的编码和/或传输方面的每次增长的改善是朝着实现可视会议技术分布广泛的采用的方向的重要步骤。令人遗憾地，当前的端点技术和传输协议产生典型地差的交互式的体验。由于丢失分组的重复传输的结果，使用处理拥塞的现有的协议，诸如，传输控制协议(TCP)，视频传输经历潜在地非常大的延迟，并且由于对于拥塞TCP的添加提高倍增减小(AIMD)策略的结果，在传输速率方面明显减小。因此，TCP被认为是用于现行实时视频数据流的传输不足够的协议。做为选择，当使用没有拥塞控制的现有的协议，诸如用户数据报协议(UDP)的时候，用户在拥塞事件中经历严重的分组损失，因为压缩的视频分组损失导致在解码的图像中很大的视觉人为现象，其显著地降低视频会议体验的质量。由于在网络上视频分组排队 (其经历拥塞)延迟的结果，连续的拥塞也显著地增加延迟。因此，UDP数据流在有网络拥塞的情况下被认为是不充分地执行。最后，当使用数据报拥塞控制协议(DCCP)(其对于实时应用，诸如音频和视频提供拥塞控制)的时候，视频传输在发射机侧上常遭受潜在地大的缓冲延迟，以便附着在 DCCP的速率控制机构上。令人遗憾地，延迟是在现行的可视会议应用中的关键参数，因为在接收来自远程参与者的响应时长的延迟减弱面对面交谈的错觉。关于DCCP的另一个问题是标记为DCCP的分组不必然地由核心因特网路由器路由，因为DCCP没有被广泛地采用。 此外，DCCP没有阐明视频编码参数如何改变，以便附着于给定的传输速率上。在经由尽力服务网络流出音频视频内容期间，将反馈信号从接收者提供给发送者也是已知的。这些信号包含与在特定的传输间隔期间的带宽通过量有关的信息。尤其是， 正在流动的视频被编码为多个品质片段或者细流。因此，当带宽通过量不匹配正在网络上发送的细流的位速率的时候，发送者停止发送一些细流。在流出音频视频内容之前，若干质量的步骤，诸如低、中等、中等高和高被预先确定，并且在不同的步骤之间移动导致在视频内容的质量方面显著的差别。这种方法适用于视频点播类型应用，其容许缓冲延迟，并且需要可靠的分组传送，但是，考虑不适用于实时可视会议应用。其对于提供克服现有技术的上述局限性的至少一些的方法和系统将是有益的。
发明内容
按照本发明的一个方面，提供了一种在第一端点和第二端点之间经由网络交换视频会议数据的方法，包括在第一端点上接收统计数据，该统计数据是以预先地从第一端点经由网络传送到第二端点的第一视频会议数据为基础，统计数据被在第二端点上确定， 并且与在传送第一视频会议数据的已知的时间间隔期间的网络性能特征有关；基于统计数据，确定用于网络性能特征的近似地优化的数据传输速率；在比捕捉第一视频会议数据更迟的时间上捕捉与其视频会议有关的第二视频会议数据；调整与第一端点有关的视频编码器的输出位速率，以便支持视频会议数据以近似地优化的数据传输速率经由网络的传输； 和使用与第一端点有关的视频编码器，编码第二视频会议数据以调整的输出位速率提供输出数据，用于以近似地优化的数据传输速率经由网络传送。按照本发明的一个方面，提供了一种在第一端点和第二端点之间经由网络交换视频会议数据的方法，包括经由网络将第一视频会议数据从第一端点传送到第二端点；在第一端点上接收从第二端点传送的统计数据，并且与在传送第一视频会议数据的已知的时间间隔期间的网络性能特征有关；基于统计数据，确定与第一端点有关的视频编码器的目标编码器位速率，与第一端点有关的照相机的照相机帧速率，和与第一端点有关的照相机的照相机帧分辨率的至少一个，用于对于网络性能特征提供视频会议数据近似地优化的传输速率；等待直到视频会议数据的I帧被编码供经由网络传输为止；和在开始编码I帧之前，调整视频编码器位速率、照相机帧速率和用于设置视频编码器输出位速率的照相机帧大小的确定的至少一个，使得在另一个已知的时间间隔期间传送的视频会议数据以对于网络性能特征近似地优化的传输速率经由网络传送。按照本发明的一个方面，提供了一种在第一端点和第二端点之间经由网络交换视频会议数据的方法，包括经由网络在第一端点和第二端点之间传送视频会议数据；在传送视频会议数据的至少已知的时间间隔期间，在第一端点和第二端点之间交换与网络性能特征有关的统计数据；基于统计数据，确定用于网络性能特征的多个近似地优化的数据传输速率，包括对于在第一端点和第二端点之间的每个传输方向近似地优化的数据传输速率；和对于第一端点和第二端点的每个，改变视频编码器位速率、照相机帧捕捉速率和照相机帧分辨率的至少一个，使得在下一个已知的时间间隔期间，视频会议数据被使用多个近似地优化的数据传输速率的至少一个，在第一端点和第二端点之间的每个方向传送。
现在将与以下的附图一起描述本发明示范的实施例，其中图1是示出按照本发明的一个实施例的点对点视频会议系统的简化方框图；图2是举例说明在视频参数调节器模块内沿用的逻辑步骤的简化逻辑流程图；图3是举例说明用于提高dropFPS或者dropSize沿用的逻辑步骤的简化逻辑流程图；图4是举例说明用于降低dropFPS或者dropSize沿用的逻辑步骤的简化逻辑流程图；和图5是示出用于对I帧编码的编码器参数变化同步的处理步骤的简化逻辑流程图。
具体实施例方式以下的描述被给出以允许所属技术领域的专业人员制作和使用本发明，并且在特定的应用及其需求的背景下提供。对于公开的实施例的各种各样的修改对那些本领域技术人员来说是容易地显而易见的，并且不脱离本发明的范围，在此处限定的常规原则可以适用于其他的实施例和应用。因此，本发明不意欲被限制在公开的实施例，而是要给予按照在此处公开的原理和特点最宽的范围。参考图1，所示出的是按照本发明一个实施例的点对点视频会议系统的简化方框图。二个端点2和4经由IP网络6，例如因特网相互连接。为了清楚，方框图仅仅示出与单向视频传输有关的功能。如将清晰可见的，在相反的方向中的视频传输、音频传输和呼叫控制子系统已经被省略。选择性地，在图1中示出的系统适用于多方视频会议，包括P个端点，P大于二个。模块8至14表示在视频会议系统中公知的功能。在模块8上表示的摄像机输出原始视频信号M，其被馈送给在模块10上表示的照相机接口。该照相机接口包括至少颜色转换，并且选择性地一个或多个其它的视频功能。照相机控制信号42例如控制帧速率和分辨率。在这个例子中，仅仅示出一个摄像机，但是，选择性地多个摄像机和/或视频信源在模块10上被合并在该照相机接口功能中以产生单个未压缩的视频信号26。未压缩的图像帧被以给定的速率(每秒帧数，fps)和给定的分辨率(帧大小，以宽度X高度像素的分辨率)馈送给在模块12上表示的视频编码器。该视频编码器使用预定的方法，诸如例如 H.沈4(也称为MPEG-4部分10或者MPEG-4 AVC)压缩视频信号，如在呼叫建立期间协商的。 压缩的视频28流出给在模块14上表示的发射机，包含下层RTP/UDP/IP堆栈，然后经由IP网络到在远程端点4中在模块16上表示的接收机。信号30被认为是虚拟IP连接。为了清楚，接收端点4的所有剩余的接收机功能对了解本实施例的操作说来不是重要的，其被在模块18上共同地表示。另外，虽然摄像机、照相机接口和视频编码器在图1 中分别地作为离散的模块8、10和12表示，选择性地，它们被以不影响本实施例操作的许多的方法的任何一个集成。在图1中示出的点对点视频会议系统按照由信号32表示的标准化的反馈方法 (RTCP (如在RFC 3550中定义的RTF控制协议))操作，以馈送与接收信号30有关的统计数值返回给发送端点2。尤其是，统计数值包括计算往返行程延迟、抖动和分组损失需要的 RTCP接收机报告消息。RTCP接收机报告消息被扩展去发送“用户消息”，其包含一系列对于数据流的损失间隔统计数值，因为标准RTCP接收机报告不包括损失间隔。需要损失间隔阵列、往返行程延迟和抖动值，以便允许目标带宽计算器(其在模块20上表示)去计算推荐的传输速率(以千比特/s或者Iibps的RecRate)。在当前和非限制例子中，该目标带宽计算器模块20被从IETF (Internet工程任务组)RFC 3448，“TCP支持的速率控制(TFRC)协议规范”修改。TFRC意欲供在UDP (用户数据报协议)连接的传输点上使用。在这个特定的TFRC示例和由IETF RFC 3448推荐的那个之间的主要差别是交换流传输参数(往返行程延迟、抖动和损失间隔)的频率。代替如由IETF RFC 3448推荐的至少每个往返时间(通常数量级为毫秒)，从接收端点4传送这些统计数值，它们代之以被数量级为秒传送，通常每个N秒，这里N大于或等于一。当然，每N 秒传送统计数值降低TCP支持和这个示例对拥塞的响应，但是，其还导致使反馈环路稳定， 该反馈环路基于由TFRC算法计算的RecRate调整视频编码器的输出速率。这是因为与在单个帧或者几个帧上相反，典型的视频编码器管理在视频的几秒上的其平均位速率。因此， 推荐的传输速率(RecRate)的计算频率被安排例如每个N = 1秒，以便不经常对编码器平均位速率进行改变。相对于作为由IETF RFC 3448推荐的TFRC的另一个偏离是代替使用即时的往返行程延迟，这个特定的示例使用在上在一个间隔上接收的往返行程延迟的指数加权移动平均数(EWMA)，例如，以上提及的例子N = 1秒间隔，以到达对于在TFRC中使用的往返时间 (RTT)更加稳定的平均值。仍然参考图1，在模块20上的该目标带宽计算器使用接收的损失间隔阵列、往返行程延迟和抖动值去确定推荐的传输速率，其被最好地优化为IP网络的现状。与DCCP不同，其也采用TFRC，但是仅仅使用发送缓存器去调整该发送速率，该目标带宽计算器提供信号34给在模块22上表示的视频参数调节器。尤其是，该信号34表示推荐的发送速率。该视频参数调节器随后处理信号34以确定对编码器位速率、照相机帧速率和照相机捕捉分辨率的一个或多个的调整。该视频参数调节器模块22的输出信号是提供给模块12的编码器位速率信号36，和提供给模块10的照相机帧速率和捕捉分辨率信号38和40。另外，模块10还基于该信号38和40将用于例如控制帧速率和分辨率的照相机控制信号42提供给模块8。以这种方法，基于各自的控制信号，模块8至12提供视频传输信号30，其被优化为 IP网络的现状。现在参考图2，所示出的是举例说明在视频参数调节器模块22内执行的处理步骤的简化流程图。在步骤200上，从目标带宽计算器模块20提供的该信号34被在视频参数调节器模块22上接收。在决定步骤202，其确定是否由TFRC推荐的发送速率(RecRate) 大于视频编码器的最大位速率(maxRate)。如果其确定RecRate > maxRate，那么，在204 上，视频编码器的速率(EncRate)被设置为maxRate，dropFPS的值(即，帧数正在被丢弃)被设置为N0_FPS_DR0P(即，设置为零)，并且dropSize (即，用于缩放分辨率比例的比例因子)被设置为N0_SIZE_DR0P(即，设置为单位)。因此，在步骤216上，frameRate = maxFPS-dropFPS,也就是说，frameRate 被设置为 maxFPS 的值。同样地，在 216 上，frameSize =maxSizedropSize,也就是说，frameSize被设置为maxSize。该处理然后在步骤206上终止。如果代之以在决定步骤202上，其确定RecRate不大于maxRate，那么，在决定步骤 208上，其进一步确定是否RecRate大于视频编码器的最小位速率(minRate)。如果在决定步骤208上其确定RecRate不大于minRate，那么，在决定步骤210上其确定是否dropFPS =maxFPS-minFPS(即，是当前的frameRate等于最小可接受的照相机帧速率？)。如果在决定步骤210上其确定frameRate不等于minRate，那么，在212上，dropFPS的值被提高， 如在下面参考图3更详细描述的。接下来，在步骤214上，EncRate被设置为minRate，编码器的最小可接受的位速率(用于maxSize)。该处理移动到步骤216，并且frameRate被设置为值 maxFPS-dropFPS,并且 frameSize = maxSize/dropSize。因此，当该处理在 206 上终止的时候，照相机输出的帧速率与其当前值相比被减小，并且照相机视频分辨率(宽度X 高度像素)与其当前值相比不变。如果代之以在决定步骤210上其确定frameRate等于minRate，那么，在218 上，dropSize的值被提高，如在下面参考图3更详细描述的。接下来，在步骤220上， EncRate被设置为minfeite/dropSize。该处理移动到步骤216，这里framefeite被设置为值 maxFPS-dropFPS,并且frameSize被设置为值maxSize/dropSize。因此，当该处理在206上终止的时候，照相机输出的帧速率与其当前值相比不变，并且照相机视频分辨率(宽度X 高度像素)与其当前值相比被减小。现在返回到决定步骤208，如果其确定RecRate大于minRate，那么，在步骤222 上，EncRate被设置为RecRate。接下来，在决定步骤2 上其确定是否dropFPS大于N0_ DR0P_FPS (即，是 dropFPS > 0 ？)。如果其确定 dropFPS 不大于 N0_DR0P_FPS，那么，在 216 上，frameRate 被设置为 maxFPS-dropFPS,并且 frameSize 被设置为 maxSize/dropSize。该处理在206上终止。如果代之以在决定步骤2M上其确定dropFPS大于N0_DR0P_FPS( S卩，某些帧当前正在被丢弃)，那么，在226上，其确定是否dropSize大于N0_SIZE_DR0P( S卩，是正在由因子缩放的分辨率大于单位？)。如果在决定步骤2 上其确定dropSize不大于N0_ SIZE_DR0P(即，全分辨率)，那么，dropFPS被减小，如在下面参考图4更详细描述的。接下来，在 216 上，frameRate 被设置为 maxFPS-dropFPS，并且 frameSize 被设置为 maxSize/ dropSize。因此，当该处理在206上终止的时候，照相机输出的帧速率与其当前值相比被提高，并且照相机视频分辨率(宽度X高度像素)与其当前值相比不变。如果代之以在决定步骤2 上其确定dropSize大于N0_SIZE_DR0P( S卩，正在由因子缩放的分辨率大于单位)，那么，dropSize的值被减小，如在下面参考图4更详细描述的。接下来，在216上，frameRate被设置为maxFPS-dropFPS，并且frameSize被设置为maxSize/dropSize。因此，当该处理在206上终止的时候，照相机输出的帧速率与其当前值相比不变，并且照相机视频分辨率(宽度X高度像素)与其当前值相比被提高。在步骤200上开始的如上所述的整个处理被每隔N秒，例如，每隔1秒无限地重
Μ. ο仍然参考图2，该视频参数调节器模块的推荐的编码器位速率(EncRate)保持在最小和最大编码器位速率的预定的范围之内。这个约束被施用，因为在编码给定分辨率期间，存在实际的位速率范围，走到或者由编码器(例如，用于高分辨率1920X1080视频 64kbps的位速率)(导致很大的视频“堵塞”和质量损失)忽略的外面是不必要的(例如， 用于176 X 144视频20Mbps的位速率)，或者在正在使用的网络上是不合理的。类似地，该视频参数调节器模块的推荐的帧速率和帧分辨率也保持在预定的范围之内。此外，如果推荐的速率达到低于由编码器容许的最小位速率，该视频参数调节器模块代之以改变视频信源以其馈给该编码器的速率。假定编码器已经被以最大帧速率初始化，因而，降低编码器以其接收帧的速率有助于降低产生的位速率。例如，如果帧被代之以以15fps馈送给其，对于640X480视频以2Mbps工作的编码器实际上以30fps产生1Mbps。做为选择，如果推荐的速率低于由编码器容许的最小位速率，并且当前的帧速率已经处于最小，那么，输入视频分辨率被降低。如在图2中示出的，对网络拥塞的响应涉及首先降低编码器位速率，然后降低帧速率，然后最终帧分辨率。提高速率是反向的，帧分辨率首先被提高，继之以提高帧速率，并且最终编码器位速率。此外，当推荐的位速率提高的时候，帧速率下降被恢复。在“步骤”中进行帧速率和帧大小的增加和减小，以便使在帧速率方面的变化频率适中。如果帧速率或者帧大小被通过给定的“步骤”减小，只有在由推荐的速率要求的位速率的方面减小的百分比大于在位速率的方面减小的百分比的时候，进行帧速率和帧大小的减小。当推荐的速率正好低于最小编码器位速率的时候，这种机制避免帧速率和帧大小的经常改变。现在参考图3，所示出的是举例说明逻辑步骤的简化流程图，该逻辑步骤继图2的步骤212之后，用于提高dropFPS，或者继图2的步骤218之后，用于提高dropSize，这里 VAR表示FPS或者SUE的适宜的一个。在300上，值％_drop被作为(minRate-RecRate) / minRate计算，并且值curr_drop被作为通过当前的drop[VAR]降低的max[VAR]的％计算 (即，总数，通过其照相机帧速率或者照相机帧大小分别地小于最大照相机帧速率或者最大照相机帧大小，表示为各自的max[VAR]的一小部分)。如果在决定步骤302上其确定％ _ drop不大于curr_drop，那么，该处理继续进行到步骤304，并且终止。如果代之以在决定步骤302上其确定％ _drop大于curr_drop，那么，该处理继续进行到决定步骤306。在决定步骤306上，其确定是否(％ _drop-curr_drop大于DR0P_STEP_[VAR])。如果是否，那么，该处理移动到304，并且终止。如果是，那么，在308上，drop[VAR]被提高DR0P_STEP_[VAR]。 在310上，其确定是否drop [VAR]大于max [VAR]-min [VAR]。如果是否，那么，drop [VAR]的值是可接受的，并且在304上该处理终止。如果是，那么，drop [VAR]的值导致在用于VAR允许的范围外面的值，并且因此，在步骤312上，drop[VAR]被设置为值max [VAR]-min [VAR]， 并且在304上该处理终止。现在参考图4，所示出的是举例说明逻辑步骤的简化流程图，该逻辑步骤继用于降低dropFPS或者dropSize之后，这里VAR表示FPS或者SUE的适宜的一个。在400上， drop[VAR]的值被降低总计[VAR]_STEP，这里VAR或者是FPS或者SUE。在402上，其确定是否drop[VAR]小于N0_[VAR]_DR0P。如果是否，那么，在404上，该处理终止。如果是，那么，drop[VAR]被设置为N0_[VAR]_DR0P，并且在404上该处理然后终止。在图5中示出的逻辑步骤用于决定何时去基于推荐的编码器位速率实际上改变编码器平均位速率。尤其是，其所希望的是去以不导致额外的I帧传输的方式调用变化。现在参考图5，作为按照图2确定的EncRate值被在500上接收。在502上，其确定是否编码器将要编码I帧。例如，在由编码器编码I帧之前，或者通过外部输入给编码器，决定去编码I帧。如果在502上确定是“否”，那么，该处理移动到504，并且无需设置编码器输出位速率而终止。如果在502上确定是“是”，那么，在506上其进一步确定是否EncRate > currRate (以IAps为单位的编码器当前的平均位速率)。如果在506上确定是“是”，那么， 在508上，其确定是否在EncRate (目标编码器位速率)和currRate (编码器当前的平均位速率)之间的差值大于Enclnc^和当前的速率的乘积，这里Enclnc^是增长的阈值(0至 1的范围)。如果答案是“是”，那么，在EncRate和currRate之间的差值是足够地大，以在 510上证明从currRate到EncRate改变编码器输出位速率是对的。如果在508上答案是 “否”，那么，该处理直接移动到504，并且终止。如果在506上确定是“否”，那么，在512上，其确定是否在currRate和EncRate 之间的差值大于EncDecW和当前的速率的乘积，这里EncDecW是减小的阈值(0至1的范围)。如果答案是“是”，那么，在EncRate和currRate之间的差值是足够地大，以在510上证明从currRate到EncRate改变编码器输出位速率是对的。该处理在504上终止。如果在512上答案是“否”，那么，该处理直接移动到504，并且终止。按照图5，在编码器开始编码I帧时刻之前，该编码器的平均编码位速率 (currRate)被改变。通过仅仅在I帧出现时在currRate方面进行改变，当从一个位速率改变到另一个的时候，避免引入额外的I帧。此外，只有在变化量超过给定的阈值(取决于是否该变化是增长或者减小，Enclnc^或者EncDecW)的时候，该编码器位速率被改变。以这种方法，在推荐的位速率(RecRate)方面小的波动不会引起在编码器参数方面的变化， 因此，提高稳定性。另外，代替对于变化使用绝对阈值，使用当前值的百分比。这进一步提高稳定性，因为当当前值是很小的时候，在推荐的速率(RecRate)方面小的变化引起在编码器位速率方面的变化，但是当当前值是很大的时候，仅仅在推荐的速率(RecRate)方面大的变化引起在编码器位速率方面的变化。用于提高编码器位速率(Enclnc^ )的百分比阈值小于用于减小编码器位速率 (EncDec% )的百分比阈值。因此，与提高编码器位速率的百分比变化相比，该算法对降低编码器位速率需要更小的百分比变化。这种改变编码器平均位速率的保守方法有助于保持整个产生的位速率低于由TFRC算法估算的最大值。应该理解，虽然本发明意欲在尽力服务的网络中改善性能，如果在其它的网络，例如，没有QoS保证的管理的专用网中使用，也将获得改善。此外，已经仅仅相对于双向可视会议体验的一个方向描述了本发明的实施例。很显然，为了优化在端点2和4之间的双向视频会议的性能，每个端点2和4必须执行大体上相同的步骤，使得每个端点2和4近似地将与之相关的传输速率优化为IP网络的现状。除仅仅IP网络的现状以外的因素也可以影响由每个端点2和4确定的优化的传输速率。例如，如果端点2反馈与削弱处理能力有关的信息，诸如例如如果端点2同时地处理一个或多个额外的视听流，那么，端点4调整其传输速率以在端点2上近似地优化可视会议体验。因此，概括地陈述，近似地优化的传输速率是随多个参数而变，包括但是不限于IP网络的当前的条件，在一个或者两个端点上的当前的处理需求和风险容许因素。该风险容许因素例如基于IP网络的历史上的条件指定阈值传输速率。因此，通过设置风险容限为低电平，甚至在拥塞的条件之下，传输速率被限制在由IP网络容纳的值。做为选择，该风险容限被设置为较高的电平，以允许更快的传输速率，但是，由于风险，如果网络拥塞提高太多，在流出的视频会议数据中将有延迟。选择性地，端点的数目大于二个。例如，多方视频会议包括P 个端点，这里P大于二个。此外，由于某些端点退出，或者新的端点加入视频会议，在视频会议期间端点P的数目变化。选择性地，一些端点P仅仅观察视频会议，但是不传送视听数据回到其它的端点的任何一个，诸如例如当二个活跃的端点忙于争论的时候，其余的无源端点仅仅是旁观者。二个活跃的端点如上所述将反馈从一个提供给另一个，用于优化传输速率给IP网络的当前条件。但是，其余的无源端点仅仅反馈统计数据给二个活跃的端点，用于允许二个活跃的端点去近似地优化传输速率给其余的无源端点。做为选择，其它的端点反馈统计数据给二个活跃的端点，以确保传输同步，并且可视和优化被消除。
不脱离本发明的范围可以设想许多其它的实施例。
权利要求
1.一种在第一端点和第二端点之间经由网络交换视频会议数据的方法，包括在第一端点上接收统计数据，该统计数据是以预先地从第一端点经由网络传送到第二端点的第一视频会议数据为基础，统计数据被在第二端点上确定，并且与在传送第一视频会议数据的已知的时间间隔期间的网络性能特征有关；基于统计数据，确定用于网络性能特征的近似地优化的数据传输速率；在比捕捉第一视频会议数据更迟的时间上捕捉与其视频会议有关的第二视频会议数据；调整与第一端点有关的视频编码器的输出位速率，以便支持视频会议数据以近似地优化的数据传输速率经由网络的传输；和使用与第一端点有关的视频编码器，编码第二视频会议数据以调整的输出位速率提供输出数据，用于以近似地优化的数据传输速率经由网络传送。
2.根据权利要求1的方法，其中，调整视频编码器的输出位速率包括改变与第一端点有关的照相机的帧速率，改变与第一端点有关的照相机的帧分辨率，和改变与第一端点有关的编码器参数的至少一个，该参数对于相同的输入数据导致不同的输出位数。
3.根据权利要求2的方法，其中，帧速率、帧分辨率和参数每个的变化是在允许值的各自的预定范围内执行的。
4.根据权利要求1的方法，其中，在第一端点和第二端点之间的视频会议数据的交换是双向的，并且包括在第二端点上接收统计数据，该统计数据是以预先地从第二端点经由网络传送到第一端点的第三视频会议数据为基础，统计数据被在第一端点上确定，并且与在传送第三视频会议数据的已知的时间间隔期间的网络性能特征有关；基于统计数据，确定用于网络性能特征的近似地优化的数据传输速率；在比捕捉第三视频会议数据更迟的时间上捕捉与其视频会议有关的第四视频会议数据；调整与第二端点有关的视频编码器的输出位速率，以便支持视频会议数据以近似地优化的数据传输速率经由网络的传输；和使用与第二端点有关的视频编码器，编码第四视频会议数据以调整的输出位速率提供输出数据，用于以近似地优化的数据传输速率经由网络传送。
5.根据权利要求4的方法，其中，调整视频编码器的输出位速率包括改变与第二端点有关的照相机的帧速率，改变与第二端点有关的照相机的帧分辨率，和改变与第二端点有关的编码器参数的至少一个，该参数对于相同的输入数据导致不同的输出位数。
6.根据权利要求1至5的任何一个的方法，其中，网络是尽力服务网络。
7.根据权利要求1至5的任何一个的方法，其中，网络是因特网。
8.根据权利要求1至7的任何一个的方法，其中，已知的时间间隔的幅值数量级为秒。
9.根据权利要求1至8的任何一个的方法，其中，统计数据包括至少往返行程延迟值、 抖动值和一系列损失间隔统计数值。
10.根据权利要求8的方法，其中，往返行程延迟值是在已知的时间间隔上往返行程延迟的指数加权移动平均数。
11.根据权利要求1的方法，其中，调整与第一端点有关的视频编码器的输出位速率是仅仅在开始编码视频会议数据的I帧时执行的。
12.—种在第一端点和第二端点之间经由网络交换视频会议数据的方法，包括 经由网络将第一视频会议数据从第一端点传送到第二端点；在第一端点上接收从第二端点传送的统计数据，并且与在传送第一视频会议数据的已知的时间间隔期间的网络性能特征有关；基于统计数据，确定与第一端点有关的视频编码器的目标编码器位速率，与第一端点有关的照相机的照相机帧速率，和与第一端点有关的照相机的照相机帧分辨率的至少一个，用于对于网络性能特征提供视频会议数据近似地优化的传输速率； 等待直到视频会议数据的I帧被编码供经由网络传输为止；和在开始编码I帧之前，调整视频编码器位速率、照相机帧速率和用于设置视频编码器输出位速率的照相机帧大小的确定的至少一个，使得在另一个已知的时间间隔期间传送的视频会议数据以对于网络性能特征近似地优化的传输速率经由网络传送。
13.根据权利要求12的方法，其中，等待直到视频会议数据的I帧被编码供经由网络传输为止，包括在第一端点上接收从第二端点传送的统计数据之后，并且在开始从I帧开始的另一个已知的时间间隔之前，不存在调整视频编码器位速率、照相机帧速率和用于设置视频编码器输出位速率的照相机帧大小的确定的至少一个，捕捉和编码视频会议数据。
14.根据权利要求12或者13的方法，其中，网络是尽力服务网络。
15.根据权利要求12或者13的方法，其中，网络是因特网。
16.根据权利要求12至15的任何一个的方法，其中，已知的时间间隔的幅值数量级为秒。
17.根据权利要求12至16的任何一个的方法，其中，统计数据包括至少往返行程延迟值、抖动值和一系列损失间隔统计数值。
18.根据权利要求17的方法，其中，往返行程延迟值是在已知的时间间隔上往返行程延迟的指数加权移动平均数。
19.一种在第一端点和第二端点之间经由网络交换视频会议数据的方法，包括 经由网络在第一端点和第二端点之间传送视频会议数据；在传送视频会议数据的至少已知的时间间隔期间，在第一端点和第二端点之间交换与网络性能特征有关的统计数据；基于统计数据，确定用于网络性能特征的多个近似地优化的数据传输速率，包括对于在第一端点和第二端点之间的每个传输方向近似地优化的数据传输速率；和对于第一端点和第二端点的每个，改变视频编码器位速率、照相机帧捕捉速率和照相机帧分辨率的至少一个，使得在下一个已知的时间间隔期间，视频会议数据被使用多个近似地优化的数据传输速率的至少一个，在第一端点和第二端点之间的每个方向传送。
20.按照权利要求19的方法，其中，网络是尽力服务网络。
21.按照权利要求19的方法，其中，网络是因特网。
22.根据权利要求19至21的任何一个的方法，其中，至少已知的时间间隔的幅值数量级为秒。
23.根据权利要求19至22的任何一个的方法，其中，与网络性能特征有关的统计数据包括一系列损失间隔统计数值、往返行程延迟值和抖动值。
24.根据权利要求19至23的任何一个的方法，其中，往返行程延迟值是在至少已知的时间间隔上往返行程延迟的指数加权移动平均数。
25.根据权利要求19至M的任何一个的方法，其中，改变视频编码器位速率、照相机帧捕捉速率和照相机帧大小的至少一个是在视频会议数据的I帧正在各自的端点上编码的时间上，在第一端点和第二端点的每个上执行的。
全文摘要
本发明涉及在第一端点和第二端点之间经由网络交换视频会议数据的方法，包括在第一端点上接收与第一视频会议数据的传输有关的统计数据。尤其是，第一视频会议数据是经由网络预先地从第一端点传送到第二端点的数据，并且该统计数据与在第一视频会议数据的传输期间的网络性能特征有关。用于该网络性能特征的近似地优化的数据传输速率是基于该统计数据确定的。与第一端点有关的视频编码器的输出位速率被调整，使得与其视频会议有关的第二视频会议数据在比第一视频会议数据更迟的时间上被编码，以调整的输出位速率提供输出数据，用于以近似地优化的数据传输速率经由网络传送。
文档编号H04N7/15GK102239690SQ200980144432
公开日2011年11月9日 申请日期2009年9月18日 优先权日2008年11月7日
发明者帕特里克·怀特, 莫塔巴·胡赛尼 申请人:玛格通讯有限公司