专利名称：通过图案位移产生抑制信号的制作方法
背景技术：
投影到投影屏前演播员的那部分图像会失真，且会使观众和演播员分心。美国专利号6,361,173公开了一种方法，即，产生遮光(α)信号，选择性地抑制演播员占据的屏幕区域中所投影的图像。这样演播员可以在屏幕前走动并看着他的观众，不会被投影仪搞得眼花缭乱。
屏幕和演播员均用红外光照射，并用红外摄像机观察。在未遮光的屏幕区域中，存储的红外屏幕图像的像素电平在从有演播员存在的屏幕的摄像机图像中减去时是零。所有其它像素都应在演播员的轮廓区域内。描述了用于设置演播员位置的若干种其他方法。
由于开门或调节室内照明而增加的红外照明导致不能产生可用的遮光信号，而且与屏幕的红外反射相匹配的演播员或其服装的一部分，也会破坏部分遮光信号。
发明目的开发一种能精确识别包含演播员轮廓的像素的可靠的二进制选择性抑制信号；其中所述信号不受物体红外反射度的影响，也不受对投影屏和演播员随机发生的非均匀红外泛光的影响。
发明概述将图案用红外投影仪投影到屏幕上。离开所述投影仪数英寸远的红外摄像机观察所述投影图案，将图案信号存储，以便创建参考帧。把来自包含演播员的当前帧的红外信号与从参考帧获得的信号加以比较，确定它们之差。在未遮光的屏幕区域中，图案的图像相匹配。由于位移的摄像机，关于演播员的红外图案被移动，不再与参考帧匹配，从而识别了演播员的轮廓区域。
附图简要说明
图1示出相对于观众区域而言，投影仪屏幕、演播员、红外摄像机和投影仪以及视频投影仪的布置。
图2是从演播员的位置看到的显示红外投影仪和摄像机相对于视频投影仪的布置的视图。
图3是说明可以用来产生稳定的遮光信号的所选的信号处理步骤的方框图。
图4、5、6和7图解说明用于产生和施加遮光信号以便选择性地抑制投影图像的四种物理配置。
发明的详细说明有四个关键要素可以形成稳定的抑制信号。它们是1)使用利用非可见红外光的在屏幕和演播员身上的投影图案，2)横向移动红外摄像机，对于不在屏幕平面上的任何物体所述摄像机的图案图像将被移动，3)独特的图案，例如随机噪声图案，其位移后的图像不再与原来的图像匹配，从而使演播员的红外反射无关紧要，以及4)比较微分图案信号，从而提供对投影屏上红外溢出的抗扰度。
图1示出礼堂或会议室的侧视图。图中示出演播员2站在屏幕前。机壳4中的红外摄像机和投影仪位于视频投影仪3的下面，通常置于观众5的上方。观众5看见屏幕上的而不是演播员身上的投影数据图像。数据图像是附有说明的、由视频投影仪投影的那些图像。
图2是从舞台朝视频图像投影仪3和机壳4看的视图，机壳4容纳红外投影仪6和红外摄像机7，包括它们的关联的电子设备。虽然图中所示的摄像机7横向偏移到投影仪6的左侧，但是它可以向任何方向偏移，除了轴向之外。图中示出的红外摄像机7和投影仪6位于视频投影仪3的正下方，不过其它位置也可以接受。
投影仪6利用红外光将图案投影到投影屏上。离开投影仪6数英寸的摄像机7观察所述红外图案并将其图像存储在图3的存储器10中作为参考帧。所有随后的图像帧，通常包括演播员，都被发送到存储器15并被识别为当前帧。每个随后的当前帧以视频速率取代存储器15中的前一个当前帧。
存储器15中的当前帧，如果没有物体，就会和存储的参考帧的存储器10中的图案相匹配。在包括演播员的当前帧中，屏幕上演播员轮廓区域外的像素将继续匹配。
不处于屏幕平面上的演播员(而且由于位移的摄像机的缘故)将使图案偏离其原来的位置，所述偏移的图案使演播员轮廓区域中的大量像素不能和参考帧图案中的相应像素匹配，它们的差显著大于系统噪声。
在相应的像素处把参考帧图案信号和当前帧图案信号进行比较就可确定它们差值的量度。一种这种量度就是它们的绝对算术差(即它们彼此的偏离)，第二种量度是它们微分的绝对差。当演播室的环境可以控制时算术差可用于产生遮光信号。当演播室的环境不能控制时，微分差是主要的。
比较参考帧和当前帧信号的微分，而不是比较原来的信号，就可不受随机发生在投影屏上的红外溢出的影响，特别是当溢出是从开着的门投射到屏幕上的光条时。无论所述差异是发生在低度或高度溢出光时，两个邻近像素之间的信号电平差(微分)总是相同的。
对存储器10中参考帧信号的微分可以在微分器11中对每个像素进行，即，从随后一个像素的信号电平中减去第一像素的信号电平。用它们的差来代替第一像素的信号电平。第二和第三像素的信号电平之间的差建立第二像素值。将邻近像素相减的这个过程持续进行到每个扫描线结束，并应用于参考帧中的所有像素。除了上述水平方向的微分之外，或者代替上述水平方向的微分，还可以计算垂直方向或其它方向的微商。把这些参考帧的微分存储在存储器12中。由于参考帧的微分不受溢出光影响，在显示期间不会改变，所以计算只需进行一次。
通过同样的过程，在微分器14中对马恩每一个当前帧的像素信号进行微分并将其存储在存储器13中。当从存储器13中当前帧的信号的微分信号中减去存储器12中的参考帧像素的微分信号且它们的绝对差大于噪声电平时，所述像素就是在演播员轮廓区域内。
任何不在屏幕平面上的物体由于摄像机的位移而会使投影图案的摄像机视图移动，且位移的图案信号和参考帧的图案信号不再匹配，它们的微分也不再匹配。
把信号之间，或者最好是通过减法和存储16计算的它们的微商之间的差值的所选量度，例如绝对算术差，与阈值(21)进行比较，阈值设定接近于零，但高于摄像机和系统噪声，对在减法和存储16中信号电平等于或低于该所选阈值的所有像素赋予二进制遮光信号电平1.0。对信号电平高于所述阈值的所有像素赋予遮光信号0.0。这些0.0和1.0是二进制信号，表现为黑斑散射。
然后利用模糊函数22使所述斑点二进制散射模糊，实际上是提供在每个像素附近斑点密度的估算。将所述模糊图像转换为二进制图像，方法是把每个像素和第二阈值进行比较，对模糊函数22之后其遮光信号电平高于该阈值的所有像素赋予二进制遮光信号电平1.0，对所有其它像素赋予二进制遮光电平0.0。就是在这个阶段二进制图像才代表物体的有效轮廓或掩模。
在形成所述最初的有效掩模之后，就可以对它作进一步调节，包括但不限于以下各项可以设定尺寸，包括缩小(17)。缩小的一个方法是使之模糊和设定阈值(勿与以前的模糊和设定阈值相混淆)。
可以用模糊函数18再次模糊以使边缘柔和。
图像存储9将存储的数据图像之一提供给抑制器功能20，在此它乘以通过模糊函数18产生的二进制遮光信号来抑制(减少到零)演播员轮廓区域中的数据图像信号。再将抑制后的数据图像传送到视频投影仪3上。
上述方法不限于图案的红外照射，可以使用能清晰聚焦的任何非可见光波长频段。
波长范围在700到1000毫微米的红外频段特别有用，因为在这个波长范围内工作的部件已广泛使用。
通过对当前和参考帧信号进行微分然后比较它们微商，本发明提供二进制遮光信号对因开门或重新调节室内照明引起的杂散红外室内照明的变化的抗扰度。
通过使用移位的红外图案(而不是它们的红外电平)来实现屏幕和演播员对红外反射匹配的抗扰度。
选项可以使用另一种方法来校正室内光线变化对屏幕的影响，即，利用参考帧信号电平和当前图像帧的未遮光区域中当前帧信号电平之间的平均差值(使用线性标度或对数标度均可)进行偏置校正。这种更新可以每二或三帧进行一次。但这种方法在处理红外溢出到屏幕方面比使用微分更为复杂，而且更新会导致二进制遮光信号的暂时丢失。
实施方案配置本发明中所述的用于产生二进制遮光信号的方法可以以至少四种配置来实现，所有四种配置都选择性地抑制视频数据图像。
图4是一种配置，其中计算机21存储数据图像并进行图3中以虚线框所示的全部计算。机壳4仅包含投影图案的IR投影仪6和IR摄像机7，IR摄像机7将投影图案的图像提供给位于计算机21中的处理功能8。抑制功能20的输出是抑制后的当前图像，所述输出被传送到图像投影仪3。这种配置的优点是简单以及使用台式计算机进行所有计算。
配置4的缺点是在进行必要计算时的计算机延迟。延迟的遮光信号导致抑制功能和应屏蔽物体的分离，演播员手臂的快速运动就是一个实例。过大的延迟会使演播员的手臂瞬间从掩模底下出来而进入投影图像。
图5示出从计算机21移到IR机壳4的遮光产生功能8。在此配置中，专用的硬接线电路实现遮光的产生，显著降低了延迟。然后将遮光信号传送到位于计算机9中的抑制功能20，抑制功能20抑制所选的用于投影的当前图像。抑制后的图像被传送到图像投影仪3。
图6中的图像抑制功能20已从计算机21移到IR机壳4，其中的硬接线电路进一步降低了抑制信号追随演播员动作的延迟。图像存储9仅用来存储演播员的数据图像。在计算机21中存储的数据图像缓慢转换到机壳4中的抑制功能20时，没有抑制的不良后果。
配置6使用硬接线电路，在演播员的运动和覆盖他的掩模运动之间提供最小的时延。
在图7中，图3框8中的全部功能都包括在投影仪机壳3中，构成集成产品。计算机21可位于操作员方便的位置，它还是存储演播员的数据图像，如图7所示。
本发明的实现方案图像存储(10，15，12，13)、信号微分(11，14)、信号相减(16)、模糊和定尺寸(17，18，22)、大于和小于比较(21，23)以及乘法等功能，都是已知的计算机功能。红外投影仪6可以是胶卷幻灯片投影仪，配备有白炽灯泡并包括二向色或其它玻璃滤光片以便反射或吸收可见光。红外摄像机可以是任何小型视频摄像机，配备有二向色或明胶滤光片以便反射或吸收可见光。视频投影仪3可以是任何能接收视频信号的视频投影仪。独特的图案可以是有限带宽的随机噪声图案，或模拟有限带宽随机噪声的图案。
上述所需的计算功能，如果不是在计算机21中执行，则由可编程装置执行，例如现场可编程逻辑装置、或者可以从各种来源获得的数字信号处理器，这些装置的编程是本领域中众所周知的。
权利要求
1.一种产生二进制遮光信号的方法，所述二进制遮光信号选择性地抑制投影屏前演播员的轮廓区域内像素的数据图像信号电平，所述方法包括a)在所述演播员不在场的情况下，利用非可见光波长的照射将图案投影到所述投影屏上，b)将由对所述非可见光波长敏感的摄像机观察的所述投影图案的信号电平存储在参考帧存储器中，c)在所述演播员在场的情况下，利用非可见光波长的照射将所述图案投影到所述投影屏上，d)将所述摄像机观察的在所述步骤c)投影的图案的信号电平存储在当前帧存储器中，e)把所述参考帧信号电平与对应的像素地址上的所述当前帧信号电平进行比较，并将它们的差值的量度存储在存储器中，f)将其相邻像素中至少包含预定数量的像素其当前帧和参考帧之间的信号电平差的量度高于预定阈值的那些像素识别为所述演播员轮廓区域，g)将遮光信号第一电平赋予识别的演播员轮廓区域中的像素，而将遮光信号第二电平赋予所有其它像素，所述第一电平不同于所述第二电平，从而产生二进制遮光信号。
2.如权利要求1所述的方法，其中所述参考帧信号和对应的像素地址上所述当前帧信号之间的所述存储的差值量度是它们的微分差值的绝对值。
3.如权利要求2所述的方法，其中所述参考帧信号和它们的微分在存在之前仅仅获取一次。
4.如权利要求2所述的方法，其中所述当前帧信号的微分是相对于每个随后的当前帧确定的。
5.如权利要求1所述的方法，其中对所述二进制遮光信号进行模糊处理。
6.如权利要求5所述的方法，其中将所述模糊的二进制遮光信号应用于第二阈值，把第三电平赋予高于所述第二阈值的所有信号，把第四电平赋予低于所述第二阈值的所有信号，所述第三电平不同于所述第四电平，形成第二二进制遮光信号。
7.如权利要求6所述的方法，其中确定所述第二二进制遮光信号的大小，使其与所述演播员的大小和形状基本上一致。
8.如权利要求7所述的方法，其中对所述第二二进制遮光信号进行模糊处理，以便使遮光信号的边缘柔和。
9.如权利要求1所述的方法，其中所述图案是这样的图案，使得所述图案的位移具有匹配所述图案的低的概率。
10.如权利要求1所述的方法，其中所述图案包括有限带宽的模拟随机噪声。
11.如权利要求1所述的方法，其中所述投影利用700到1000毫微米范围内的红外带宽。
12.如权利要求1所述的方法，其中用于所述图案的投影和成像中的照射限于红外波长。
13.一种用于产生二进制遮光信号的装置，所述二进制遮光信号选择性地抑制投影屏前演播员的轮廓区域内像素的数据图像信号电平，所述装置包括a)投影仪装置，用于在所述演播员不在场的情况下利用非可见光波长的照射将图案投影到所述投影屏上，b)参考帧存储器装置，用于将由对所述非可见光波长敏感的摄像机观察的所述投影图案的信号电平存储在参考帧存储器中，c)所述投影仪装置在所述演播员在场的情况下利用非可见光波长的照射将所述图案投影到所述投影屏上，d)当前帧存储器装置，用于将所述摄像机观察的所述投影图案的信号电平存储在当前帧存储器中，e)比较装置，用于把所述参考帧信号电平与对应的像素地址上的所述当前帧信号电平比较，并将它们的差值的量度存储在存储器中，其中，所述演播员轮廓区定义为这样一些像素其相邻像素至少包括预定数量的像素其当前帧和参考帧之间的信号电平的所述差值量度高于预定阈值，以及将遮光信号第一电平赋予演播员轮廓区域中的像素，而将遮光信号第二电平赋予所有其它像素，所述第一电平不同于所述第二电平。
14.如权利要求13所述的装置，其中还包括连接到所述投影装置和所述比较装置的抑制器。
15.如权利要求1所述的方法，其中所述参考帧信号与对应的像素地址上所述当前帧信号之间的所述存储的差值量度是它们的算数差值的绝对值。
16.如权利要求1所述的方法，其中按照选定的时间间隔，利用偏移校正法，以具有所述参考帧信号电平的像素和具有所述第二信号电平的像素之间的平均差值量来更新所述存储的参考帧信号电平，以便补偿在所述屏幕和演播员上逸出光的均匀改变。
全文摘要
使用非可见光波长照射将图案由投影仪投影到屏幕上。离开所述投影仪数英寸远的摄像机观察所投影的图案，然后将图案信号存储，创建参考帧。然后在存在演播员的情况下将图案再次投影到屏幕上。摄像机观察所投影的图案，将图案信号存储，创建包括演播员的当前帧，把该信号与从参考帧获得的信号进行比较，确定它们之差。在未遮光的屏幕区域中，各图案的图像相匹配。由于摄像机的位移，关于演播员的图案被位移，不再与参考图案匹配，从而识别了演播员的轮廓区域。
文档编号G03B21/00GK1764870SQ200380110260
公开日2006年4月26日 申请日期2003年12月31日 优先权日2003年2月18日
发明者J·帕克, P·维拉霍斯, A·达杜里安, A·伯曼 申请人:伊马特公司