一种在显示区域内检测物体的方法和设备的制作方法

专利名称：一种在显示区域内检测物体的方法和设备的制作方法
技术领域：
本发明总体地涉及视频分析领域，更具体地说，本发明涉及一种在显示区域内检测物体的方法和设备。
背景技术：
在演讲或会议中，诸如投影仪或大屏幕显示设备的装置常常用来展示相关的材料内容。以投影系统为例，随着投影设备在办公环境中的普及，与投影内容的智能交互成为迫切的需求。通常，人们采用与投影设备相连的计算机实现此交互。为了实现交互，人们需要在计算机与投影设备之间往返以控制投影内容，诸如翻页等。尽管可以采用USB设备来实现遥控翻页，但是其功能比较单一，所以无法满足复杂的交互需求。目前，计算机视觉的最新进展使得采用视频分析模拟触摸屏成为可能。一旦演讲者将例如手指、教鞭等的物体放置(插入)到投影屏幕的显示区域内，则通过视频分析就能够计算出物体的位置，该位置信息被连续地反馈给计算机，从而能够利用物体的位置信息来触发预先定义的事件。由于插入物体可能受到不断变化、难以预测的投影内容的影响，因此该技术的难点在于准确、实时的物体定位。在美国专利申请第2009/0103780A1号中，Nishihara等人采用红外光源对人手进行照射。该系统采用两个摄像头对投影区域进行拍摄并且通过摄像机定标来恢复出人手相对于背景的三维位置信息。该方法的硬件配置相对复杂，因而无法应用于普通的演讲环境。此外，在美国专利申请第2009/0115721A1号中，Aull等人提出一种手势识别系统。该系统采用能够发射可见光及红外光的投影仪，且交替进行可见光和红外光的照射。 当采用红外线进行照射时，系统对投影平面上的手势进行识别，并由此触发相应的事件。然而，购买专用的投影设备会对消费者带来更多的费用。另夕卜，在 Majumder 的博士 论文"A Practical Framework to Achieve Perceptually Seamless Multi-Projector Displays”(2003)中提出了一种实现对人眼感知而言无缝的多显示系统。她发现，不同投影仪的色度的差异相对于亮度的差异而言是非常小的。而且，投影仪本身在投影平面上的亮度有所变化。根据这些观察，Majumder提出用一种特殊类型的函数(emineoptic函数)来描述人眼感知到的亮度和色度。然而，在亮度较低的区域，该方法会在预测图像中引入噪声。因此，存在对于一种能够方便、简单、准确、实时，而又相对便宜的，可以用来检测诸如投影仪的显示区域中的插入物体的方法和设备。

发明内容
为了解决现有技术中的上述缺点和问题而提出本发明。本发明提出一种在显示区域内检测物体的方法和设备，其通过将原始视觉内容与拍摄到的内容进行比较来检测插入物体。因为其只用到了可见光谱的信息，所以无需额外的硬件。同时，该方法对于摄像部件与显示部件之间的相对位置没有很强的限制，因而比较容易配置。此外，本发明还提出一种新的色彩变换方法，其通过原始图像来模拟摄像头拍摄的图像。该方法考虑了显示成像系统的若干重要特性，如投影屏幕内的不均勻、投影模块与成像模块的黑色偏移等，因而能够更好地对摄像头拍摄到的彩色图像进行模拟。根据摄像头/投影仪得到的模拟图像与实际拍摄到的图像的差分能够有效地增强插入到显示区域的物体。而对差分图像进行二值化，能够得到前景及背景的掩模图像。根据本发明的一个方面，提供了一种在显示区域内检测物体的方法，包括下述步骤产生要进行显示的图像；将所产生的图像显示在屏幕上；对屏幕区域进行拍摄；以及将所产生的图像与所拍摄的图像进行比较，以检测显示区域内的物体。根据本发明的另一个方面，将所产生的图像与所拍摄的图像进行比较可以包括通过下述参数中的至少一个对所产生的图像进行色彩校正黑色偏移，表示当所产生的图像为全黑时，所拍摄到的非全黑图像；屏幕内不均勻度，表示当所产生的图像为均勻时，所拍摄到的图像的不均勻程度；以及通道亮度响应，表示所产生的图像中的亮度值与所拍摄的图像中的亮度值之间的对应关系。其中，产生全零图像以计算黑色偏移；产生通道最大亮度图像以计算屏幕内不均勻度；以及产生通道灰度图像以计算通道亮度响应。其中，通过将所产生的图像乘以屏幕内不均勻度来模拟所拍摄的图像的不均勻程度。其中，以连续或离散的方式来表示所述通道亮度响应。其中，屏幕内不均勻度和通道亮度响应与单个通道相关或与三个通道均相关。根据本发明的另一方面，当同时应用黑色偏移、屏幕内不均勻度和通道亮度响应时，按照以下步骤来对所产生的图像进行色彩校正1)对所产生的图像施加通道亮度响应；2)将1)中得到的图像乘以屏幕内不均勻度；以及3)在2)中得到的图像中叠加黑色偏移。根据本发明的另一方面，将所产生的图像与所拍摄的图像进行比较包括在各个通道进行二值化，并通过逻辑或操作组合各个通道二值化的结果。其中，根据所检测到的物体的特征，触发预先定义的事件。根据本发明的再一方面，提供了一种在显示区域内检测物体的设备，包括图像产生部分，产生要进行显示的图像；显示部分，将所产生的图像显示在屏幕上；拍摄部分，对屏幕区域进行拍摄；以及计算部分，将所产生的图像与所拍摄的图像进行比较，以检测显示区域内的物体。本发明无需复杂的配置，不需额外的设备，并且能够实现实时、准确的物体检测， 从而使得能够在使用期间进行各种用户交互，给用户带来了便利。


通过下面结合附图进行的描述，本发明一些示范性实施例的上述和其他方面、特征和优点对于本领域技术人员来说将变得显而易见，其中图1是示出应用本发明的示范性投影系统的示意图2是示出根据本发明一个示范性实施例的用于检测显示区域内的物体的设备的框图；图3是示出根据本发明一个示范性实施例的用于检测显示区域内的物体的方法的流程图；图4是示出根据本发明另一示范性实施例的通过色彩校正来检测显示区域内的物体的方法的流程图；图5是示出根据本发明一个示范性实施例的用于估计各个通道的屏幕内不均勻度的方法的流程图；图6是示出根据本发明一个示范性实施例的用于估计各个通道的通道亮度响应的方法的流程图；图7是示出根据本发明一个示范性实施例的用于利用色彩校正模型来用原始图像模拟拍摄到的图像的方法的流程图；图8 (a)至图8(e)示出根据本发明一个示范性实施例的、由实验所得的黑色偏移、 屏幕内不均勻度Q_R、Q_G和Q_B以及通道响应LUT_R、LUT_G和LUT_B的例子；图9(a)至图9(c)示出根据本发明一个示范性实施例的原始图像、模拟图像以及成像模块拍摄到的图像例子；图10示出将基于亮度的二值化以及基于各个通道的二值化方法应用于物体检测的比较结果；以及图11是示出根据本发明一个实施例的可以实践本发明的示例性计算机系统的框图。
具体实施例方式提供参考附图的下面描述以帮助全面理解由权利要求及其等价物限定的本发明的示范性实施例。其包括各种细节以助于理解，而应当将它们认为仅仅是示范性的。因此， 本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本发明的范围和精神。同样，为了清楚和简明，省略了对公知功能和结构的描述。虽然将以投影系统为例来具体阐述本发明，但是这不应当被认为是对本发明的限制。相反，本发明可以被应用于各种其他合适的领域，诸如平板显示系统等，而不会背离本发明的范围。下面将参考附图详细描述本发明。图1是示出应用本发明的示范性投影系统的示意图。其中，视觉内容可以被投影在投影屏幕上，也可以被显示在平板显示装置上。该系统包含一个视频摄像头10、一个计算机12、投影仪13和投影屏幕或平板显示装置10。计算机产生要进行显示的原始视觉内容， 并通过与其连接的投影仪而显示在投影屏幕或者平板显示装置10上。摄像头11对投影在屏幕上的图像进行拍摄，并反馈给计算机12。当物体14——可以是真实物体(如人手、手指、笔以及教鞭等)或者虚拟物体(如上述真实物体所产生的阴影)——被放置在显示区域内时，根据本发明所提出的方法/设备，计算机12通过比较原始图像和拍摄图像来检测该物体14的特性，诸如位置、大小、形状等的信息，以确定之后要触发的事件。进一步参考图2，根据本发明的用于在显示区域内检测物体的设备包括图像产生模块对，产生要进行显示的原始图像；显示模块22，将图像产生模块M产生的原始图像显示在诸如投影屏幕或平板显示装置10的屏幕上；成像模块23，对屏幕的显示区域进行拍摄，并将拍摄图像传送给计算模块21，其中拍摄到的图像中可以含有或不含有插入的物体 14 ；以及计算模块21，分别从图像产生模块M和成像模块23接收原始图像和拍摄图像，并将原始图像和拍摄图像进行比较，以检测是否存在插入物体14以及插入物体14的特性，插入物体的特性进而能够激发计算模块21执行预先定义的指令并与图像产生模块M实现交互。例如，当检测出物体位于诸如幻灯片内的按钮上的特定区域时，执行与该按钮相对应的功能，例如翻页、跳转、链接、返回等。优选地，当检测出物体位于该按钮上一段时间后，触发相应的功能。下面，将参考图3来描述根据本发明的一个示范性实施例的检测方法。图3是示出根据本发明一个示范性实施例的用于检测显示区域内的物体的方法的流程图。如图3中所示，在步骤S310中，产生要进行显示的图像。该图像可以是要进行讲解用的幻灯片。在步骤S320中，将所产生的图像显示在屏幕上。该图像可以被显示在投影屏幕上或平板显示装置的屏幕中，在投影系统的情况下，其甚至于可以被直接显示在诸如墙面、地板等的介质上。但是，本发明不限于此，本领域技术人员可以使用其它合适的介质来进行显示。在步骤S330中，对显示了图像的屏幕区域进行拍摄，以获取拍摄图像。可以在将所产生的原始图像显示在屏幕区域的同时对屏幕区域进行拍摄。优选地是，按照规定的时间间隔(例如每100ms)来拍摄屏幕区域，以获得实时图像。在步骤S340中，将所产生的图像与所拍摄的图像进行比较。这里的比较可以是将所产生的原始图像与拍摄图像进行差分，从而检测到插入物体。通过上述比较，能够有效地增强插入到投影区域的物体，从而使得能够进行有效而准确的检测。但是，由于诸如投影仪的显示模块22与诸如摄像头的成像模块23的共同作用，原始视觉内容与成像系统所得到的图像之间可能会有色彩以及几何上的差异。当显示模块22 与成像模块23不能共享光学系统时，即例如显示模块通过一个光学系统(一组镜头)将图像投射出去，而成像模块通过另一个光学系统接收图像时，原始图像与拍摄图像之间就会产生相对的几何变化，例如形状畸变等。另外，拍摄图像中的显示图像的区域与真正的原始图像的大小也会不同，利用诸如插值等的方法来校正这种不同。色彩变化大体上由两部分组成第一部分是原始图像被显示到显示屏幕时产生的图像差异，这种差异由原始视觉内容与显示模块22的硬件特性共同决定；并且第二部分是成像模块23对显示区域进行拍摄时产生的图像差异，这种差异由成像模块的硬件特性决定。此外，成像模块22有可能具有白平衡、增益调节以及优化人眼感知等特点，这些都会影响最终得到的图像。因此，由于上述示范性实施例没有对图像进行几何和彩色校正，所以存在不能精确地检测到的插入物体的缺点。为此，在本发明的另一示范性实施例中，在对原始视觉内容和采集图像进行比较之前，首先对图像进行几何及色彩校正。几何校正可以通过各种已有技术来实现，例如投影变换方法等。由于该几何校正是本领域技术人员所共知的，所以在这里省略了对其的具体描述。
下面，将参考图4来说明根据本发明另一示范性实施例的、采用了色彩校正的物体检测方法。图4是示出根据本发明另一示范性实施例的通过色彩校正来检测显示区域内的物体的方法的流程图。在该示范性方法中，利用色彩校正模型413来对原始视觉内容(所产生的原始图像)410进行图像色彩校正412，以使得经校正后的原始图像在色彩上接近所拍摄的图像。 利用几何校正414来对拍摄到的图像411进行变换，以使得显示区域中的内容在大小和形状上与原始视觉内容趋于相同。然后，将经过色彩校正的原始视觉内容和经过几何校正的拍摄图像进行比较。这里，所述比较可以是将二者进行差分。差分图像中保留的通常是二者之间的不同像素。此后，对差分图像进行二值化416，以区分背景和感兴趣区域(手指、教鞭等)。其中，0通常用来表示图像背景，而1用来表示图像中的感兴趣区域。物体检测417 进一步对二值化图像进行处理并从中检测中感兴趣目标的物体特性418，进而触发预先定义的事件419。此后，将详细描述根据本实施例的对原始视觉内容(所产生的原始图像)进行色彩校正的过程。原始图像与拍摄图像之间的色彩校正是一个复杂的多维非线性随机函数，其涉及、但不限于显示模块22中所采用的伽马变换、工作原理、显示介质、成像模块23的特点与配置以及环境光，并且与显示模块22和成像模块23的色域均有关。幸运的是，仅仅为了达到物体检测的目的，无需完全恢复上述复杂函数，而只需一个可计算的近似模型即可。本示范性实施例的色彩校正模型包含三部分黑色偏移、屏幕内不均勻度Q_(R/G/B)以及通道亮度响应LUT_(R/G/B)。但是，本发明不限于此，还可以有其他额外的参数。1.黑色偏移(Black Offset)由于成像模块23以及显示模块22的硬件配置，成像模块23对于全零(即全黑) 的原始图像的响应往往是非零的。这些非零响应可能是由成像模块23引起的。比如，当成像模块23被设置为特定的白平衡模式时，拍摄到的全零输入有可能偏红或者偏蓝。非零响应也有可能来源于环境光或者显示介质自身的纹理。非零响应还有可能来源于投影仪的光泄漏。这些因素可能以不同的组合产生出不同的对全零原始输入的非零响应。这些非零响应被称为黑色偏移。尽管黑色偏移的产生比较复杂，但是其估计相对简单，可以通过控制图像产生模块M产生全零图像来通过成像模块23获得(拍摄)的非全零图像即可，所述非全零图像中的每个像素的值即为该像素的黑色偏移。优选地时，对非全零图像中的值进行多次计算求其平均值或取中间值，以此得到更鲁棒的估计。2.屏幕内不均勻度在理想的显示设备中，各个通道(R、G、B)的亮度互相独立、互不影响。而在实际中，由于黑色偏移的存在，通道的独立性假设往往不成立。在有些情况下，减除黑色偏移后的各个通道亮度可以近似独立；而有些情况下上述近似会导致很大的模拟误差。因此，本示范性实施例假设显示屏幕内的通道不均勻度以及通道亮度响应可以是与单个通道有关的或者与三个通道均有关(对应于通道不独立的情况)。当投影仪作为显示模块22时，会使均勻的原始图像产生出不均勻的颜色/亮度。这一现象根源于投影仪内灯泡的工作原理。下面，将参照图5详细描述根据本示范性实施例的估计屏幕内不均勻度的过程。图5是示出根据本发明一个示范性实施例的用于估计各个通道的屏幕不均勻度的方法的流程图。在步骤510中，图像产生模块M生成预定数目的通道最大亮度图像，这些图像在感兴趣通道(R通道、G通道和B通道)内的亮度为通道最大值，而其他通道的亮度为零。例如，以红色通道为例，最大亮度图像为每像素点的红色通道亮度值最大(例如25 而其他通道值为0的图像。在步骤511中，将黑色偏移从通道最大亮度图像中减除。接着，在步骤 512中，各个通道的数据被分离。如果各个通道彼此近似独立，则可以分别处理红色R、绿色 G、蓝色B三个通道；否则应当计算三个通道的平均亮度值。最后，在步骤513中，通过将上述选择出的通道数据进行归一化得到显示区域内的不均勻度Q_(R/G/B)。该归一化为线性归一化，即将通道数据除以其最大值即可。以红色R通道为例，令顶代表红色通道最大亮度图像减去黑色偏移的结果，令Mk代表对应的拍摄图像。由于亮度的不均勻化，在Mk中任意两点(χ，y)和(χ’，y’ )的亮度值并不相同。则在(χ，y)点的不均勻度Q_R(x，y) = Me(χ, y)/IR(x，y)。优选地是，在实际应用中，为了取得更为可靠的结果，可以对某个通道多次计算其屏幕内不均勻度然后求平均值或取中间值来获得更为鲁棒的结果。为了解释的简单，以3X3的图像为例，并且假设通道相互独立。假设所产生的一个通道最大亮度图像(例如Ik)是
权利要求
1.一种在显示区域内检测物体的方法，包括下述步骤 产生要进行显示的图像；将所产生的图像显示在屏幕上； 对屏幕区域进行拍摄；以及将所产生的图像与所拍摄的图像进行比较，以检测显示区域内的物体。
2.根据权利要求1所述的方法，其中，将所产生的图像与所拍摄的图像进行比较包括通过下述参数中的至少一个对所产生的图像进行色彩校正黑色偏移，表示当所产生的图像为全黑时，所拍摄到的非全黑图像； 屏幕内不均勻度，表示当所产生的图像为均勻时，所拍摄到的图像的不均勻程度；以及通道亮度响应，表示所产生的图像中的亮度值与所拍摄的图像中的亮度值之间的对应关系。
3.根据权利要求2所述的方法，其中 产生全零图像以计算黑色偏移；产生通道最大亮度图像以计算屏幕内不均勻度；以及产生通道灰度图像以计算通道亮度响应。
4.根据权利要求2所述的方法，其中，通过将所产生的图像乘以屏幕内不均勻度来模拟所拍摄的图像的不均勻程度。
5.根据权利要求2所述的方法，其中，以连续或离散的方式来表示所述通道亮度响应。
6.根据权利要求2所述的方法，其中，屏幕内不均勻度和通道亮度响应与单个通道相关或与三个通道均相关。
7.根据权利要求2所述的方法，其中，当同时应用黑色偏移、屏幕内不均勻度和通道亮度响应时，按照以下步骤来对所产生的图像进行色彩校正1)对所产生的图像施加通道亮度响应；2)将1)中得到的图像乘以屏幕内不均勻度；以及3)在2)中得到的图像中叠加黑色偏移。
8.根据权利要求1所述的方法，其中，将所产生的图像与所拍摄的图像进行比较包括在各个通道进行二值化，并通过逻辑或操作组合各个通道二值化的结果。
9.根据权利要求1所述的方法，其中，根据所检测到的物体的特征，触发预先定义的事件。
10.一种在显示区域内检测物体的设备，包括 图像产生部分，产生要进行显示的图像； 显示部分，将所产生的图像显示在屏幕上； 拍摄部分，对屏幕区域进行拍摄；以及计算部分，将所产生的图像与所拍摄的图像进行比较，以检测显示区域内的物体。
全文摘要
本发明提供了一种在显示区域内检测物体的方法和设备，所述方法包括下述步骤产生要进行显示的图像；将所产生的图像显示在屏幕上；对屏幕区域进行拍摄；以及将所产生的图像与所拍摄的图像进行比较，以检测显示区域内的物体。本发明的方法和设备无需复杂的配置，不需额外的设备，并且能够实现实时、准确的物体检测，从而使得能够在使用期间进行各种用户交互，给用户带来了便利。
文档编号G03B29/00GK102314259SQ201010218150
公开日2012年1月11日 申请日期2010年7月6日 优先权日2010年7月6日
发明者李滔, 郝瑛 申请人:株式会社理光