专利名称：除去闪烁的方法
技术领域：
本发明公开了一种适用于在被环境光照和屏幕光照射的对象的视频图像中除去闪烁的方法和视频会议终端或视频录制单元。
背景技术：
为了召开涉及不在同一地点的与会者的会议，可以使用很多技术系统。这些系统可包括视频会议、网络会议和音频会议。真实会议最逼真的替代物是高端的视频会议系统。常规的视频会议系统包括在WAN(广域网)、LAN(局域网)和/或电路交换网上传送实时视频、音频和/或数据流的若干端点。这些端点包括一个或多个显示器、相机、麦克风和/或数据获取装置，以及分别对
传出流和传入流进行编码和解码的编解码器。在商业界普遍使用视频会议系统来进行个体之间点对点的视听通信。视频会议的用户可以坐在工作场所的环境下，如个人办公室、或立方形、小型或大型会议室、或董事会议室等中。安装在多功能计算机上的视频会议应用程序使个人视频会议的使用更加广泛。图I显示的是一个通常的情况，即一个人作为相机所捕捉的对象坐在靠近显示器的位置，显示器显示远端。随着屏幕变得更大更亮，屏幕会照射对象，这可以造成对象上的伪影，如颜色和强度的变化。这些伪影可以以闪烁或颜色变化的可见形式显现，闪烁或颜色变化受屏幕上可见的任何内容调节。造成闪烁的原因是，相机录制一个视频图像的每个单独帧的曝光时间，也称为积分时间，以及环境光照的频率和照射相机所捕捉对象的屏幕的刷新速率/频率。一个屏幕包含成千上万个排成阵列的照明像素。通过针对从屏幕的顶部向下的每一行从左向右对像素行中的每个像素依次施加电压来显示视觉内容。因此，一个屏幕的刷新率是从左上端至右下端照射整个屏幕内的像素的频率。取决于所讨论的屏幕刷新率，即使为正常的周围环境优化相机，也可能造成屏幕本身闪烁。此外，随着更大和高强度发光显示器的出现，这种发射器引起的间接照明可能造成相机所见的整个或部分影像有闪烁。人们通常希望积分时间越长越好，也就是说，最大限度地响应于帧速率(I/帧速率)使产生的画面的信噪比(S/N)达到最大。但是，由于线路频率(line frequency)是50Hz (在美国是60Hz，飞机上是400Hz)，在交流电源下工作的电灯以两倍的线路频率呈现强度变化。为了避免闪烁(即幻影强度随时间的变化，看上去就像是在闪烁或成行滚动)，通常的方法是为环境选择一个合适的积分时间，从而达到解决捕捉期间的问题的目的。确保相机不遇上全局循环刺激因素f的一般关系式为积分时间=n/(2f),η = I, 2, 3,...按照这个方程调整积分时间的结果是，相机将捕捉到整数个半光波长，从而避免捕捉帧之间的光强变化。如上文提到的，不只是环境光能造成闪烁。特别地，在上文所讨论的情况下，当捕捉的对象位于较大的屏幕附近时，来自屏幕的照明贡献可能是相当大的，如果积分时间仅适应环境光，就可能因为屏幕的刷新率出现闪烁。图2示出在IOms的积分时间针对50Hz环境优化的场景的效果，其具有各种常见屏幕刷新速率/频率当100%被单个正弦强度源照明时的强度变化。。X轴是完整的10毫秒的积分窗口。可以看出，随着刷新率偏离50HZ，强度变化增大。这被观看相机所捕捉的视频图像的人们体验为闪烁。因此，人们需要一种消除来自环境光照和屏幕光的闪烁照明贡献的方法。发明目的简要说明本发明提供了一种用于通过执行以下步骤从被屏幕和环境光照照射的对象的视频中除去闪烁的方法以及相应调整的视频会议或视频录制单元，其中，所述屏幕以第一值 集内的刷新率(fs。)进行操作，该第一值集包括与屏幕兼容的刷新率值，所述环境光照以一定线路频率(f\)进行操作，所述视频由相机以第二值集内的一定曝光时间(tj捕捉，该第二值集包括与相机兼容的曝光时间值I.确定是否存在使= n/2^的非零整数η ；I. a.如果不存在所述非零整数n，则将的当前值从第二值集中除去，将指派给第二值集中满足= n/2^的值，并重复步骤I ;I. b.如果存在所述非零整数n，则确定是否存在使kfs。，= If1的用于k和I的非零整数；I.b. I.如果存在所述用于k和I的非零整数，则将te作为相机的曝光时间并将fs。作为屏幕的刷新率；I. b. 2.如果不存在用于k和I的非零整数,则计算包括满足kfsra = If1的fsra的值的第三值集，其中k和I是非零整数，并确定是否第三值集中的一个或多个值等于第一值集中的一个或多个值；I.b. 2. I.如果上述第三值集中的一个或多个值不等于第一值集中的一个或多个值，则执行步骤I. a;I. b. 2. 2.如果所述第三值集中的一个或多个值等于第一值集中的一个或多个值，则将fsra指派给第三值集中与第一值集中的一个或多个值相等的一个或多个值之一，并且I. a. I. I. I.将作为相机的曝光时间并将fs。作为屏幕的刷新率。
参照如以下附图所示的优选实施例，将对本发明进行详细说明，其中图I显示的是相机捕捉的对象同时被屏幕和环境光照照射的情况。图2是图示出由各种常见的屏幕刷新率引起的相机捕捉到的光的强度变化的示图。图3是图示出根据本发明的一个方法示例的流程图。
具体实施例方式在下文中，将通过描述优选实施例并参照附图来讨论本发明。但是，本领域的技术人员将认识到在如所附独立权利要求限定的本发明的范围内的其他的应用和修改。
根据本发明，通过一种主要调节屏幕刷新率其次调节相机曝光时间的创造性方法，除去视频会议和视频录制中由行频、屏幕刷新率和相机曝光时间之间的差异引起的干扰性照明闪烁，以实现相机所捕捉视频的无闪烁体验。因此，假定通过屏幕和相机的驱动装置，可分别至少在一定程度上用数据例程调整屏幕刷新率和相机曝光时间两者。这通常是通用计算机之间的视频会议的情况，所述通用计算机安装有软件视频会议客户端，且具有被插入USB端口或被集成在计算机的屏幕中的相机。类似地，这也可以是当录制对象位于屏幕附近时视频录制单元的情况。一些网络相机具有使得能够与其他软件进行交互的API (应用程序设计接口)，其方式与方便人和计算机进行交互的用户接口非常相同。这也适用于外部屏幕和内部屏幕两者。例如，通过进入微软Windows操作系统的控制面板，通常可以在固定的兼容值之间手动选择屏幕的刷新率或相机的曝光时间。同样地，通过与屏幕或相机相关联的API，则软件例程可以通过指引API可解释的某些请求或指令来做出相同的选择。环境光照的线路频率是预先确定的，但是根据本发明对屏幕刷新率和相机曝光时 间的选择有很大的影响。然而，其可以在国家、地区和设置之间发生变化，因此其在实际选择发生之前应该由例如相机来测量。对环境光照的线路频率的光学测量已变为本技术领域公知的不重要的任务，如例如Gaboury等人的美国专利5394217-" Method and apparatusfor determining line frequency and detecting variable frequency light sources"所述。或者，可以直接根据视频会议装置的电源线输入来测量频率，或简单地预先确定频率。图3是图示出达到无闪烁视频体验的过程示例的流程图，其中，在显示器以一定的屏幕刷新率被逐行刷新的情况下，相机捕捉至少部分地被来自屏幕的光照射的对象。该示例以一些准备步骤开始。屏幕刷新率通常被设为默认速率，同样地，相机曝光时间通常被设为默认时间。这些默认值在步骤I和2中被捕捉并分别被分配给fs。和te，这样如果这些默认值和线路频率相结合在不做任何修改的情况下提供相机捕捉的无闪烁的视频，则这些默认值立刻变成了选择值。线路频率本身不一定是已知的，并且在将其指派给
之前应当例如由相机以光学方式测量。如已经指出的，屏幕通常与有限数量的允许刷新率相兼容，这些刷新率在准备步骤4中被从屏幕的驱动单元捕捉并被放入可能刷新率值的集合ω。在决策步骤5中,确定使用te的当前值,不闪烁方程te = IV^f1是否有解,其中η是一个非零整数。如果没有解，则该过程进行到步骤6，将换成在该过程中之前未经测试的替代值。选择的值优选应尽可能大，但是如果挑选的可能曝光时间在该过程中之前未被测试，也可以根据其他考虑进行选择。然后，该过程循环回到决策步骤5。如果在决定步骤中，te = IV^f1看上去有解,则在决策步骤7中确定使用当前的fsra，方程kfsra = If1 (其中k和I是非零整数)是否有一个或多个解。该测试简单地表明i/fscr和i/f\的最小公倍数是否存在，如果存在，则很容易推断一般无闪烁方程积分时间=n/2fη = 1,2,3, ...对和均有解，并且通过利用相应的曝光时间(积分时间)，来自屏幕或环境光的闪烁贡献将不存在。
如果决策步骤7是肯定的，则过程终止，选择当前的fs。和分别作为屏幕刷新率和相机曝光时间。如果这些值与默认值不相等，必须在相关联的驱动单元中对其进行修改，例如通过向相关联的API发送更改为一个或多个选择值的请求。如果决策步骤7是否定的，则过程进行到步骤8，确定满足方程kf_ = lf\(其中，k和I为非零整数)的fs。的可能值集合(φ)。然后，过程进行到决策步骤9，调查是否φ中有一个或多个值与已经在准备步骤4中取回的兼容的屏幕刷新率(ω)的一个或多个值相对应。如果没有，过程返回到步骤6以选择一个替代曝光时间(te)。然而，如果φ和ω看起来具有共同值，则过程进行到步骤10，将集合φ和ω中的最大共同值分配为fsra。在这个例子中，假定优选最高的可能屏幕刷新率而选择最大值。或者，还可以基于其他考虑进行选择，但基础是达到在两个值集中都存在的值。然后，过程最终终止，选择当前的fs。和分别作为屏幕刷新率和相机曝光时间。然后，例如通过向相关联的API发送更改为选择值的请求，在相关联的驱动单元中对其进 行修改。
权利要求
1.. 一种用于从对被屏幕和环境光照照射的对象的视频录制中除去闪烁的方法，其中，所述屏幕以第一值集内的刷新率(fs。)进行操作，所述第一值集包括与屏幕兼容的刷新率值，所述环境光照以一定线路频率(f\)进行操作，所述视频录像是由相机以第二值集内的一定曝光时间(tj捕捉的，所述第二值集包括与相机兼容的曝光时间值，其特征在于 I.确定是否存在使= n/2^的非零整数η ； I. a.如果不存在所述非零整数n，则将的当前值从所述第二值集中除去，将指派给所述第二值集中满足= n/2^的的值，并重复步骤I ; I. b.如果存在所述非零整数n，则确定是否存在使kfsra = If1的用于k和I的非零整数； I.b. I.如果存在所述用于k和I的非零整数，则将作为所述相机的曝光时间并将fs。 作为所述屏幕的刷新率； I. b. 2.如果不存在所述用于k和I的非零整数，则计算包括满足= If1的的值的第三值集，其中k和I是非零整数，并确定是否所述第三值集中的一个或多个值等于所述第一值集中的一个或多个值； I.b. 2. I.如果所述第三值集中的一个或多个值不等于所述第一值集中的一个或多个值，则执行步骤I. a; I. b. 2. 2.如果所述第三值集中的一个或多个值等于所述第一值集中的一个或多个值，则将fstt指派给所述第三值集中与所述第一值集中的一个或多个值相等的一个或多个值之一，并且 1.b. 2. 3.将作为所述相机的曝光时间并将fs。作为所述屏幕的刷新率。
2.根据权利要求I所述的方法，其特征在于，在步骤I之前，执行以下准备步骤 根据相机捕捉的光照光学测量所述线路频率，并将测量到的线路频率指派给
3.根据权利要求I或2所述的方法，其特征在于，在步骤I之前，执行以下准备步骤 从屏幕驱动装置取回默认屏幕刷新率值，并将所述默认屏幕刷新率值指派给fs。。
4.根据权利要求I或2所述的方法，其特征在于，在步骤I之前，执行以下准备步骤 从相机驱动装置取回默认曝光时间值，并将所述默认曝光时间值指派给te。
5.根据权利要求I或2所述的方法，其特征在于，步骤I.b. I和I. b. 2. 3进一步包括以下步骤 指示与所述相机驱动装置相关联的API将相机曝光时间设为te，以及 指示与所述屏幕驱动装置相关联的API将相机屏幕刷新率设为fs。。
6.根据权利要求I或2所述的方法，其特征在于，在步骤I.a.中，所述第二值集中满足te = n/2^的值是所述第二值集中的最高值。
7.根据权利要求I或2的方法，其特征在于，在步骤I.b. 2. 2中，将指派给所述第三值集中与所述第一值集中的一个或多个值相等的一个或多个值中的最高值。
8.一种视频会议终端或视频录制单元，其中包括相机和屏幕或与之相连，所述屏幕适合于以第一值集内的刷新率(fs。)进行操作，该第一值集包括与屏幕兼容的刷新率值，所述相机适合于以第二值集内的一定曝光时间(te)捕捉被所述屏幕和环境光照照射的对象的视频图像，所述曝光时间(tj在第二值集内，该集包括所述相机适合的曝光时间值，所述环境光照以一定的线路频率(f\)进行操作，其特征在于，所述视频会议单元或视频录制单元适合于 I.确定是否存在使= n/2^的非零整数η ； I. a.如果不存在所述非零整数n，则将的当前值从所述第二值集中除去，将指派给所述第二值集中满足= n/2^的值，并重复步骤I ; I. b.如果存在所述非零整数n，则确定是否存在使kfsra = If1的用于k和I的非零整数，； I.b. I.如果存在所述用于k和I的非零整数，则将作为所述相机的曝光时间并将fs。作为所述屏幕的刷新率； I. b. 2.如果不存在所述用于k和I的非零整数，则计算包括满足= If1的的值的第三值集，其中k和I是非零整数，并确定是否所述第三值集中的一个或多个值等于所述第一值集中的一个或多个值； I.b. 2. I.如果所述第三值集中的一个或多个值不等于所述第一值集中的一个或多个值，则执行步骤I. a; I. b. 2. 2.如果所述第三值集中的一个或多个值等于所述第一值集中的一个或多个值，则将fstt指派给所述第三值集中与所述第一值集中的一个或多个值相等的一个或多个值之一，并且 I.b. 2. 3.将作为所述相机的曝光时间并将fs。作为所述屏幕的刷新率。
全文摘要
本发明公开了一种方法，该方法通过主要调节屏幕刷新率其次调节相机曝光时间来提供对视频会议和视频录制中由线路频率、屏幕刷新率和相机曝光时间之间的差异引起的干扰性照明闪烁的除去，以实现相机所捕捉视频的无闪烁体验。
文档编号H04N5/235GK102812700SQ201080059414
公开日2012年12月5日 申请日期2010年12月7日 优先权日2009年12月23日
发明者彼得·斯沙特维特 申请人:思科系统国际公司