专利名称：投影图像区域检测装置的制作方法
技术领域：
本发明涉及投影图像区域检测装置，以及更特别地，涉及用拍摄装置拍摄已由投影装置投影在投影对象上的图像以及基于拍摄图像而检测投影图像所投影的区域的投影图像区域检测装置。
背景技术：
传统地，有向投影图像添加指定投影图像的四个角(corner)的标记图像的技术。 投影装置投影这样的投影图像到诸如白板的投影对象上。拍摄装置拍摄投影图像。检测装置在拍摄图像中检测标记图像投影的区域。因此，在用远距离显示装置显示图像之前，能够校正拍摄图像中的投影变形。此外，能够将投影对象上指出的坐标转换为实际图像的坐标， 以及能够记录转换的坐标。图18说明在记录转换的坐标之前将投影对象上指出的坐标转换成实际图像的坐标的示例。除在投影图像的四个角的标记图像90A至90D之外，投影装置还投影辅助标记图像90E。因此，防止标记图像90A至90D的错误检测，以及改进转换坐标的精度(见例如专利文件1)。专利文件1 日本公开的专利申请No. 2008-225553然而，上述传统的技术具有以下问题。假定已经定位了投影装置、投影对象、以及拍摄装置，以及已经基于拍摄图像而检测到投影图像投影的投影图像区域。然而，如果由于诸如振动的一些原因改变了投影装置、投影对象、以及拍摄装置的相对位置，则检测的投影图像区域变成不相干的。因此，除非通过用户操作再次检测投影图像区域(在振动之后)， 否则识别到不正确的投影图像区域。
发明内容
鉴于上述问题提出本发明，以及本发明的至少一个实施例的目的是提供能够根据投影装置、投影对象、以及拍摄装置的相对位置的改变从拍摄图像中检测投影图像投影的投影图像区域的投影图像区域检测装置。根据本发明的一个方面，一种投影图像区域检测装置，包括投影图像区域检测单元，配置为检测在通过拍摄包括投影图像的投影图像区域获得的拍摄图像中的标记图像区域，标记图像区域包括用于识别投影图像区域的四个角的标记图像，其中投影图像区域检测单元通过识别标记图像区域中包括的随时间经过持续改变的颜色来检测标记图像区域。根据本发明的一个方面，一种投影图像区域检测系统，包括投影装置，配置为将投影图像投影到投影对象上；拍摄装置，配置为通过拍摄包括投影到投影对象上的投影图像的投影图像区域获得拍摄图像；以及投影图像区域检测装置，包括投影图像区域检测单元，配置为检测在由拍摄装置获得的拍摄图像中的标记图像区域，以检测包括拍摄图像中的投影图像的投影图像区域，标记图像区域包括用于识别投影图像区域的四个角的标记图像；标记图像生成单元，配置为生成包括颜色随时间经过改变的特定区域的标记图像；标记图像添加单元，配置为将由标记图像生成单元生成的标记图像添加到投影图像；以及图像供应单元，配置为向投影装置供应添加了标记图像的投影图像，其中投影图像区域检测单元通过藉由识别标记图像区域中包括的随时间经过持续改变的颜色来检测拍摄图像中的标记图像区域，以检测拍摄图像中的投影图像区域。根据本发明的一个方面，一种投影图像区域检测方法，包括检测通过拍摄包括投影图像的投影图像区域获得的拍摄图像中的标记图像区域，标记图像区域包括用于识别投影图像区域的四个角的标记图像，其中检测标记图像区域包括识别标记图像区域中包括的随时间经过继续改变的颜色。根据本发明的一个实施例，提供一种投影图像区域检测装置，其能够根据投影装置、投影对象、以及拍摄装置的相对位置的改变从拍摄图像中检测投影图像投影的投影图像区域。
图1说明根据本发明第一实施例的投影图像区域检测系统；图2说明根据本发明第一实施例的投影图像区域检测系统中包括的投影图像区域检测装置的硬件配置；图3是根据本发明第一实施例的投影图像区域检测系统中包括的投影图像区域检测装置的功能方块图；图4是由根据本发明第一实施例的投影图像区域检测装置的标记图像生成单元生成的标记图像的示例的概念图；图5是由根据本发明第一实施例的投影图像区域检测装置的标记图像生成单元生成的标记图像的其他示例的概念图；图6是由根据本发明第一实施例的投影图像区域检测装置的标记图像添加单元添加了标记图像的投影图像的示例的概念图；图7A以及7B是由根据本发明第一实施例的投影图像区域检测装置的标记图像生成单元生成的标记图像的其他示例的概念图，其中图7A说明三角形标记图像，而图7B说明具有变形的三角形形状的标记图像；图8说明指示当根据本发明第一实施例的投影图像区域检测装置的投影图像区域检测单元生成差分图像时参考的函数示例的图形；图9是由根据本发明第一实施例的投影图像区域检测装置的投影图像区域检测单元检测拍摄图像中的标记图像区域的示例的概念图；图10是用于由根据本发明第一实施例的投影图像区域检测装置的投影图像区域检测单元执行的模板匹配的模板图像的示例的概念图；图11是用于描述由根据本发明第一实施例的投影图像区域检测装置的投影图像区域检测单元执行的模板匹配的概念图；图12是用于描述由根据本发明第一实施例的投影图像区域检测装置执行的投影图像供应操作的流程图；图13是用于描述由根据本发明第一实施例的投影图像区域检测装置执行的初始检测模式下的校正系数计算操作的流程图14是用于描述由根据本发明第一实施例的投影图像区域检测装置执行的动态检测模式下的校正系数计算操作的流程图；图15说明根据本发明第二实施例的投影图像区域检测系统；图16说明根据本发明第二实施例的投影图像区域检测系统中包括的投影图像区域检测装置的硬件配置；图17是根据本发明第二实施例的投影图像区域检测系统中包括的投影图像区域检测装置的功能方块图；以及图18说明由传统的投影仪系统投影的图像的示例。
具体实施例方式以下参考伴随附图描述本发明的实施例。图1说明根据本发明第一实施例的投影图像区域检测系统1。如图1所示，投影图像区域检测系统1包括用于将图像投影到充当投影对象的白板2上的投影装置3、用于拍摄包括投影到白板2上的图像的区域的拍摄装置4、以及用于从拍摄图像中检测投影图像投影的投影图像区域的投影图像区域检测装置5。在本实施例中，将白板用作投影对象。然而，本发明并不局限于此，屏或者纸也可以用作投影对象。投影装置3可以是通用的投影仪。投影装置3投影由投影图像区域检测装置5传输的图像。如此定位投影装置3以便投影范围包括在白板2的绘图区域中。拍摄装置4可以是通用的照相机。拍摄装置4以预先设置的诸如每0. 5秒一次或者每秒15次的时间间隔拍摄显示在白板2上的图像。拍摄装置4将拍摄图像发送给投影图像区域检测装置5。定位拍摄装置4，以便它能够拍摄投影装置3的投影区域。图2说明根据本发明第一实施例的投影图像区域检测系统1中包括的投影图像区域检测装置5的硬件配置。如图2所示，投影图像区域检测装置5是包括CPU(中央处理单元)10、RAM(随机存取存储器)11、ROM(只读存储器)12、硬盘装置13、包括键盘以及定点装置的输入装置14、包括液晶显示器的显示单元15、用于与诸如投影装置3以及拍摄装置 4的外部装置通信的装置通信模块16、以及用于与经由网络连接的外部装置通信的网络通信模块17的通用计算机。ROM 12以及硬盘装置13存储用于使计算机用作投影图像区域检测装置5的程序。 也就是说，当CPU 10通过使用作为工作区域的RAM 11运行存储在ROM 12以及硬盘装置13 中的程序时，计算机用作投影图像区域检测装置5。图3是根据本发明第一实施例的投影图像区域检测系统1中包括的投影图像区域检测装置5的功能方块图。如图3所示，投影图像区域检测装置5包括标记图像生成单元20，用于生成指定由投影装置3投影的投影图像的四个角的标记图像；标记图像添加单元21，用于将由标记图像生成单元20生成的标记图像添加到投影图像；图像供应单元22， 用于向投影装置3供应添加了标记图像的投影图像；投影图像区域检测单元23，用于从拍摄装置4拍摄的拍摄图像中检测投影图像投影的投影图像区域；图像校正单元24，用于基于投影图像区域检测单元23检测的投影图像区域而校正拍摄图像中的投影变形；以及投影图像切出单元25，用于从图像校正单元24校正的拍摄图像中切出投影图像投影的投影图像区域。标记图像添加单元21、投影图像区域检测单元23、图像校正单元24、以及投影图像切出单元25由CPU 10实施。图像供应单元22由装置通信模块16实施。在本实施例中，投影图像与显示单元15的显示屏页相对应。然而，投影图像可以是由诸如用作投影图像区域检测装置5的计算机运行的演示软件的应用创建的图像。投影图像可以是经由网络通信模块17从诸如在远距离场所的另一投影图像区域检测装置5的外部装置接收的图像。图4是由根据本发明第一实施例的投影图像区域检测装置5的标记图像生成单元 20生成的标记图像的概念图。标记图像生成单元20将其颜色组合随时间经过改变的标记生成为标记图像30。在图4所示的示例中，在标记图像生成单元20生成的标记图像30的预定特定区域31中，颜色组合改变。具体地，R(红色分量)、G(绿色分量)、以及B(蓝色分量)的颜色分量随时间经过改变为(255,0,0), (235，20，0)、(215，40，0)、以及(195，60， 0)。用这样的方式，在每个时间框架(frame)内，红色分量减少20以及绿色分量增加20。当在特定区域31中任意颜色分量变成零或者大于255时，标记图像生成单元20 改变特定区域31的颜色组合为初始组合(255，0，0)。标记图像生成单元20生成具有简单图案、以及不具有周期性图案的标记图像，因此能够在拍摄图像中识别它。例如，图5所示的标记图像40以及41是由标记图像生成单元20生成的优选的标记图像。其间，图5所示的标记图像42以及43具有周期性图案，因此不是要由标记图像生成单元20生成的优选标记图像。这是因为，如果图案的周期与拍摄图像中投影的标记图像的变化量(shift amount) 一致，则投影图像区域检测装置5可能错误地检测标记图像没有变化。回头参考图3，标记图像添加单元21将标记图像5IA至5ID添加到投影图像50的四个角，如图6所示。在图6中，标记图像5IA至5ID具有如图4所示的矩形形状；但是，除了矩形之外，根据本发明的标记图像还可以具有除了矩形之外的其它形状。例如，标记图像可以是如图7A所示的三角形。此外，只要标记图像具有与投影图像的四个角的每一个相对应的顶点，标记图像就可能具有如图7B所示的变形形状。然而， 为了使得易于识别投影图像的四个角，标记图像优选地是具有与投影图像的四个角的每一个相对应的顶点的诸如三角形或者正方形或者扇形的多边形。如图6所示，与四个角之一的内部相接触地定位每个标记图像51A至51D。然而， 标记图像添加单元21可以向投影图像50内部的任意位置添加标记图像51A至51D，只要能够识别投影图像50的四个角即可。此外，图6所示的标记图像51A至51D全部相同；然而，标记图像生成单元20可以将不同的图像生成为标记图像5IA至5ID。回头参考图3，图像供应单元22向投影装置3供应图像，以便投影装置3投影添加了标记图像的投影图像。投影图像区域检测单元23从由拍摄装置4拍摄的拍摄图像中检测标记图像投影的标记图像区域。因此，投影图像区域检测单元23从拍摄图像中检测投影图像投影的投影图像区域。
当检测标记图像区域时，投影图像区域检测单元23使用两种模式，即，初始检测模式以及动态检测模式。投影图像区域检测单元23首先使用初始检测模式，然后变换到动态检测模式。在初始检测模式，投影图像区域检测单元23扫描在不同时间拍摄的两个拍摄图像(例如，在两个时间框架内连续拍摄的拍摄图像)，然后生成扫描的拍摄图像之间的差分图像。以下，拍摄图像拍摄的时间表示为t，像素的坐标表示为(x，y)。因此，在时间t拍摄的拍摄图像中的像素的颜色分量的值表示为R(t，X，y)、G(t，χ, y)、以及B(t，χ, y)。此外，在时间tl以及t2拍摄的两个拍摄图像之间的像素的颜色分量的差值表示为 |R(tl，X，y)_R(t2，X，y) |、G(tl, χ, y)-G(t2, χ, y) |、以及 |B(tl，x，y)—B(t2，x，y) |。假定拍摄图像之间的像素的颜色分量的差值是|R(tl，x，y)-R(t2，x，y) |、|G(tl， x，y)-G(t2, χ, y)、以及|B(tl, χ, y)_B(t2，χ, y)，则投影图像区域检测单元23生成差分图像，其中具有满足预定条件的差值的像素是有效颜色(例如，黑色)、而具有不满足预定条件的差值的像素是无效颜色(例如，白色)。例如，对于特定颜色分量(任意一个R、G、或者B，或者R、G、以及B的组合；以下，
“特定颜色分量”)获得差值。投影图像区域检测单元23生成其中具有超过预定阈值TH的差值的像素是有效颜色、而其他像素是无效颜色的差分图像。在这种情况下，标记图像生成单元20生成具有以下特征的标记图像。即，在每个时间框架内特定区域中的特定颜色分量改变超过阈值TH的量，而在每个时间框架内除了特定区域之外的其它区域中的特定颜色分量改变不超过阈值TH的量。投影图像区域检测单元23可以生成具有以下特征的差分图像。即，有效颜色由具有超过预定第一阈值THl的特定颜色分量相对应的差值的像素以及具有比预定第二阈值 TH2低的除了特定颜色分量之外的其它颜色(以下，“非特定颜色分量”)相对应的差值的像素组成。此外，无效颜色由除了以上之外的其它像素组成。在这种情况下，标记图像生成单元20生成具有以下特征的标记图像。即，在特定区域中，在每个时间框架内特定颜色分量改变超过第一阈值THl的量，而在每个时间框架内非特定颜色分量改变不超过第二阈值TH2的量。此外，在除了特定区域之外的其它区域中，在每个时间框架内特定颜色分量改变不超过第一阈值THl的量，或者在每个时间框架内非特定颜色分量改变超过第二阈值TH2的量。投影图像区域检测单元23可以生成具有以下特征的差分图像。即，第一有效颜色 (例如，红色)由具有超过预定第三阈值TH3的第一特定颜色分量相对应的差值的像素组成。第二有效颜色(例如，蓝色)由具有超过预定第三阈值TH3的第二特定颜色分量相对应的差值的像素组成。此外，无效颜色(例如，白色)由除了以上之外的其它像素组成。在这种情况下，标记图像生成单元20生成具有以下特征的标记图像。即，在第一特定区域中，在每个时间框架内第一特定颜色分量改变超过第三阈值TH3的量，在第二特定区域中，在每个时间框架内第二特定颜色分量改变超过第三阈值TH3的量。在除了第一以及第二特定区域之外的其它区域中，在每个时间框架内第一特定颜色分量或者第二特定颜色分量改变不超过第三阈值TH3的量。投影图像区域检测单元23可以用除了将特定颜色分量的差值与阈值进行简单比较之外的其它方法生成差分图像。即，投影图像区域检测单元23可以基于通过其中阈值附近的倾斜比较平滑的函数获得的值而生成差分图像，如图8所示。在本实施例中，投影图像区域检测单元23生成其中具有超过阈值TH的R分量相对应的差值的像素是有效颜色(黑色)、而其他像素是无效颜色(白色)的差分图像。当生成差分图像时，投影图像区域检测单元23提取由黑色像素组成的区域的外接矩形。在提取的外接矩形之中，从差分图像中移除面积超过预定上限值的外接矩形以及面积小于预定下限值的外接矩形。根据基于标记图像与投影图像的面积比率以及拍摄图像的面积而计算的标记图像区域的实质(substantial)面积，来预先确定上限值以及下限值。当移除了对应的外接矩形时，投影图像区域检测单元23通过检测标记图像的角 (angle)以及线(line)来检测投影图像区域。例如，如图9所示，通过将差分图像的每个角的平分线52用作次扫描方向来对角扫描差分图像，以便检测每个标记图像53投影的标记图像区域。基于检测的标记图像区域，检测投影图像区域。在初始检测模式，投影图像区域检测单元23可以使用Harris算子执行角检测以及使用边缘执行多边形检测。因此，投影图像区域检测单元23能够检测其中标记图像53 投影的标记图像区域的角(corner)，以及基于检测的标记图像区域的角而检测投影图像区域。回头参考图3，在动态检测模式，投影图像区域检测单元23扫描在两个不同的时间点拍摄的两个拍摄图像。然后，图像校正单元24校正所扫描的拍摄图像中的投影变形。 类似于初始检测模式，投影图像区域检测单元23生成两个校正图像之间的差分图像。在本实施例中，同样在动态检测模式，投影图像区域检测单元23生成其中具有超过阈值TH的R分量相对应的差值的像素是有效颜色(黑色)、而其他像素是无效颜色(白色)的差分图像。当生成差分图像时，投影图像区域检测单元23使用预定模板图像对差分图像执行模板匹配。例如，如图10所示，在用于每个标记图像的模板图像中，特定区域54具有有效颜色(例如，黑色)，而除了特定区域54之外的区域55具有无效颜色(例如，白色)。在执行模板匹配之前，投影图像区域检测单元23调节模板图像的尺寸为与初始检测模式下检测的标记图像区域的相同。例如，如图11所示，投影图像区域检测单元23通过从位置56逐渐移动模板图像而对标记图像区域执行模板匹配。位置56是在初始检测模式下检测到的标记图像区域或者在动态检测模式下先前检测到的标记图像区域(以下，“检测的标记图像区域”)。在模板图像移动了预定量之后，即，在搜索预定区域之后，投影图像区域检测单元23确定具有最大相关值的模板图像的区域为标记图像区域。回头参考图3，为了将投影图像区域转变成矩形，图像校正单元24计算用于校正投影图像区域检测单元23检测的投影图像区域的投影变形的系数。图像校正单元24使用计算的系数来校正拍摄图像的投影变形。从而，也校正标记图像的投影变形，因此还改进了由投影图像区域检测单元23执行的模板匹配的精度。投影图像切出单元25从图像校正单元24校正了的拍摄图像中切出投影图像区域。在本实施例中，投影图像区域检测装置5经由网络通信模块17将投影图像切出单元25切出的图像发送给在远距离场所的显示装置6 (见图1)，以及使显示装置6显示图像。投影图像区域检测装置5可以经由网络通信模块17将投影图像切出单元25切出的图像发送给在远距离场所的诸如另一投影图像区域检测装置5的外部装置。投影图像区域检测装置5可以经由网络通信模块17将投影图像切出单元25切出的图像发送给外部记录装置，以及使记录装置显示图像。投影图像区域检测装置5可以将投影图像切出单元25切出的图像记录到硬盘装置13中。参考图12至14描述上述投影图像区域检测装置5的操作。图12是用于描述由投影图像区域检测装置5执行的投影图像供应操作的流程图。 如下所述的投影图像供应操作按照输入装置14的输入操作运行。首先，标记图像生成单元20生成表示其中在每个时间框架图案颜色发生改变的标记的标记图像(步骤Si)。接下来，标记图像添加单元21将由标记图像生成单元20生成的标记图像添加到代表显示单元15的显示屏页的投影图像的四个角(步骤S2)。图像供应单元22向投影装置3供应添加了标记图像的投影图像(步骤S3)。当输入装置14的输入操作给出结束投影图像供应操作的指令时，投影图像供应操作结束。当没有给出结束投影图像供应操作的指令时，投影图像供应操作返回到步骤 Sl (步骤 S4)。图13以及14是用于描述由投影图像区域检测装置5执行的校正系数计算操作的流程图。图13是用于描述在初始检测模式下由投影图像区域检测装置5执行的校正系数计算操作的流程图。首先，在标记图像生成单元20生成的标记图像的颜色改变的一个循环期间，投影图像区域检测单元23扫描由拍摄装置4拍摄的两个拍摄图像(步骤Sll)。接下来，投影图像区域检测单元23生成扫描的两个拍摄图像之间的差分图像(步骤S12)。投影图像区域检测单元23从差分图像中提取由作为有效颜色的黑色像素组成的区域的外接矩形(步骤S13)。接下来，投影图像区域检测单元23从差分图像中移除提取的外接矩形之中面积超过预定上限值的外接矩形以及面积小于预定下限值的外接矩形(步骤S14)。接下来，通过将差分图像的每个角的平分线用作次扫描方向来对角扫描差分图像，投影图像区域检测单元23检测每个标记图像投影的标记图像区域(步骤S15)。投影图像区域检测单元23确定是否检测到了与投影图像区域的四个角相对应的所有标记图像区域(步骤S16)。当还没有检测到与投影图像区域的四个角相对应的所有标记图像区域时，校正系数计算操作返回到步骤Si。同时，当已经检测到与投影图像区域的四个角相对应的所有标记图像区域时，投影图像区域检测单元23基于检测的标记图像区域而检测投影图像区域(步骤S17)。图像校正单元24计算用于校正检测的投影图像区域的投影变形的系数(步骤S18)。图14是用于描述在动态检测模式下由投影图像区域检测装置5执行的校正系数计算操作的流程图。以下描述的校正系数计算操作可以以预定时间间隔运行或者连续地运行。首先，在由标记图像生成单元20生成的标记图像的颜色改变的一个循环期间，投影图像区域检测单元23扫描由拍摄装置4拍摄的两个拍摄图像(步骤S21)。
接下来，图像校正单元24使用计算的系数校正所扫描的拍摄图像的投影变形(步骤S22)。投影图像区域检测单元23生成在作为校正投影变形的结果获得的两个校正图像之间的差分图像(步骤S23)。接下来，投影图像区域检测单元23从已经在差分图像中检测到标记图像区域的位置开始执行模板匹配以检测标记图像区域(步骤S24)。投影图像区域检测单元23确定是否检测到与投影图像区域的四个角相对应的所有标记图像区域(步骤S25)。当还没有检测到与投影图像区域的四个角相对应的所有标记图像区域时，校正系数计算操作返回到步骤S21。当已经检测到与投影图像区域的四个角相对应的所有标记图像区域时，投影图像区域检测单元23基于检测的标记图像区域而检测投影图像区域(步骤S26)。图像校正单元24对差分图像执行相对于步骤S22执行的投影变形校正的逆变换 (步骤S27)。然后，图像校正单元24计算用于校正经历了逆变换的差分图像中的投影图像区域的投影变形的系数(步骤S28)。如上所述，在投影图像区域检测装置5运行的校正系数计算操作中，图像校正单元24基于在初始检测模式或者动态检测模式下计算的系数而对拍摄装置4拍摄的拍摄图像执行投影变形校正。然后，投影图像切出单元25从校正的拍摄图像中切出投影区域。然后，经由网络通信模块17将切出的图像发送给在远距离场所的显示装置6。如上所述，根据本发明第一实施例的投影图像区域检测系统1使投影装置3投影其中图案颜色随时间经过改变的标记图像。从而，在拍摄图像中检测图案颜色随时间经过继续改变的区域作为标记图像区域。这样，即使投影装置3、白板2、以及拍摄装置4的相对位置发生改变，也能够根据相对位置的改变从拍摄图像中检测到投影图像区域。在本实施例中，标记图像生成单元20生成如图4所示的标记图像30。然而，标记图像生成单元20可以配置为生成具有比针对初始检测模式生成的标记图像的尺寸更小的针对动态检测模式的标记图像。用这样的配置，动态检测模式下的标记图像比初始检测模式下的标记图像更不显目艮，因此能够改进投影图像的可见度。为了改进投影图像的可见度，标记图像生成单元20可以将动态检测模式下的标记图像生成为具有比初始检测模式下的标记图像更低的对比度。为了改进投影图像的可见度，标记图像生成单元20可以将动态检测模式下的标记图像生成为具有比初始检测模式下的标记图像改变更少的颜色。图15说明根据本发明第二实施例的投影图像区域检测系统。如图15所示，在根据第二实施例的投影图像区域检测装置60中，第一实施例的投影装置3、拍摄装置4、以及投影图像区域检测装置5合并成单个单元。在第二实施例中，与第一实施例相对应的那些元件用相同的附图标记表示，不另外进行描述。图16说明根据本发明第二实施例的投影图像区域检测系统中包括的投影图像区域检测装置60的硬件配置。如图16所示，投影图像区域检测装置60包括CPU 10,RAM 11、 ROM 12、硬盘装置13、输入装置14、网络通信模块17、投影仪70、以及照相机71。ROM 12以及硬盘装置13存储用于使装置用作投影图像区域检测装置60的程序。 也就是说，当CPU 10通过使用作为工作区域的RAM 11运行存储在ROM 12以及硬盘装置13
13中的程序时，装置用作投影图像区域检测装置60。图17是根据本发明第二实施例的投影图像区域检测系统中包括的投影图像区域检测装置60的功能方块图。如图17所示，投影图像区域检测装置60包括标记图像生成单元20 ；标记图像添加单元21 ；用于投影添加了标记图像的投影图像的投影单元80 ；用于拍摄包括所投影到白板2上的图像的区域的拍摄单元81 ；用于从由拍摄单元81拍摄的拍摄图像中检测投影图像投影的投影图像区域的投影图像区域检测单元23 ；图像校正单元24 ； 以及投影图像切出单元25。标记图像生成单元20、标记图像添加单元21、投影图像区域检测单元23、图像校正单元24、以及投影图像切出单元25由CPU 10实施。投影单元80由投影仪70实施。拍摄单元81由照相机71实施。在本实施例中，将投影图像供应给连接到投影图像区域检测装置60的图像供应装置61。图像供应装置61是例如通用计算机。投影图像可以与用作图像供应装置61的计算机的显示屏页、或者由诸如计算机运行的演示软件的应用创建的图像、或者从外部装置接收的图像相对应。基于由根据本发明第一实施例的投影图像区域检测装置5执行的操作的描述，可以容易地想到图像供应装置61的操作。如上所述，根据本发明第二实施例的投影图像区域检测装置60使投影单元80投影其中图案颜色随时间经过改变的标记图像。相应地，检测图案颜色随时间经过持续改变的区域作为拍摄图像中的标记图像区域。因此，即使投影图像区域检测装置60与白板2的相对位置发生改变，也能够根据相对位置的改变从拍摄图像中检测到投影图像区域。根据本发明的方面，投影图像区域检测装置通过识别标记图像区域中包括的随时间经过持续改变的颜色来检测拍摄图像中的标记图像区域。因此，即使投影装置、投影对象、以及拍摄装置的相对位置发生改变，也能够根据相对位置的改变从拍摄图像中检测到投影图像区域。根据本发明的方面，标记图像具有不是周期性图案的简单图案。因此，防止当图案的周期与拍摄图像中投影的标记图像的变化量一致时，投影图像区域检测装置错误地检测标记图像没有变化。根据本发明的方面，投影图像区域检测装置随时间经过改变标记图像中的特定区域中的预定颜色分量。因此，颜色以不会使用户烦恼的方式改变。根据本发明的方面，投影图像区域检测装置使用由拍摄单元拍摄的多个拍摄图像之间的差分图像。因此，投影图像区域检测装置能够检测具有随时间经过改变的图案颜色的标记图像。根据本发明的方面，投影图像区域检测装置能够获得校正了投影变形的拍摄图像。根据本发明的方面，投影图像区域检测装置使用预定模板图像对多个拍摄图像之间的差分图像执行模板匹配。因此，能够高精度地检测标记图像区域。根据本发明的方面，在动态检测模式下，投影图像区域检测单元通过对先前检测的标记图像区域内以及周围的区域执行模板匹配检测标记图像区域。因此，能够减少投影图像区域检测装置执行模板匹配的运行时间。
根据本发明的方面，投影图像区域检测单元基于初始检测模式下检测的标记图像区域而规定预定模板图像的尺寸。因此，投影图像区域检测装置能够使用具有最佳尺寸的模板图像在动态检测模式下执行模板匹配。根据本发明的方面，标记图像生成单元生成比初始检测模式下的标记图像更不明显的在动态检测模式下的标记图像。因此，能够改进投影图像的可见度。本发明并不局限于在此描述的特定实施例，在不背离本发明的范围下可以进行更改以及修改。本申请基于2009年9月10日以及2010年7月26日在日本专利局提交的日本申请No. 2009-209460以及No. 2010-166943的优先权，在此其全部内容通过引用并入。
权利要求
1.一种投影图像区域检测装置，包括投影图像区域检测单元，配置为检测在通过拍摄包括投影图像的投影图像区域获得的拍摄图像中的标记图像区域，该标记图像区域包括用于识别该投影图像区域的四个角的标记图像，其中该投影图像区域检测单元通过识别该标记图像区域中包括的随时间经过持续改变的颜色来检测该标记图像区域。
2.根据权利要求1所述的投影图像区域检测装置，还包括标记图像生成单元，配置为生成包括其中颜色随时间经过改变的特定区域的标记图像；标记图像添加单元，配置为将由该标记图像生成单元生成的标记图像添加到该投影图像；以及图像供应单元，配置为向投影装置供应添加了该标记图像的该投影图像，该投影装置将该投影图像投影到投影对象上。
3.根据权利要求1的投影图像区域检测装置，还包括标记图像生成单元，配置为生成包括其中颜色随时间经过改变的特定区域的标记图像，其中该标记图像生成单元生成具有不是周期性图案的简单图案的标记图像，从而该标记图像能够在该拍摄图像中识别出来。
4.根据权利要求1的投影图像区域检测装置，还包括标记图像生成单元，配置为生成包括其中预定颜色分量随时间经过改变的特定区域的标记图像，其中该投影图像区域检测单元通过识别随时间经过持续改变的该预定颜色分量来检测该拍摄图像中的该标记图像区域。
5.根据权利要求1所述的投影图像区域检测装置，其中该投影图像区域检测单元在多个拍摄图像之间的差分图像中检测该标记图像区域。
6.根据权利要求1所述的投影图像区域检测装置，还包括图像校正单元，配置为基于该投影图像区域检测单元检测的该标记图像区域而检测该拍摄图像中的该投影图像的该投影图像区域，以及校正该检测的投影图像区域中的投影变形。
7.根据权利要求1所述的投影图像区域检测装置，还包括图像校正单元，配置为基于该投影图像区域检测单元检测的该标记图像区域而检测该拍摄图像中的该投影图像的该投影图像区域，以及校正该检测的投影图像区域中的投影变形，其中该投影图像区域检测单元在初始检测模式以及动态检测模式下操作，其中在该初始检测模式，该投影图像区域检测单元通过识别该标记图像区域的最外面的角来检测该标记图像区域，以及在该动态检测模式，该投影图像区域检测单元通过使用预定模板图像在包括由该图像校正单元校正了的该投影图像区域的多个拍摄图像之间的差分图像上执行模板匹配，来检测该标记图像区域。
8.根据权利要求1所述的投影图像区域检测装置，还包括图像校正单元，配置为基于该投影图像区域检测单元检测的该标记图像区域而检测该拍摄图像中的该投影图像的该投影图像区域，以及校正该检测的投影图像区域中的投影变形，其中该投影图像区域检测单元在初始检测模式以及动态检测模式下操作，其中在该初始检测模式，该投影图像区域检测单元通过识别该标记图像区域的最外面的角来检测该标记图像区域，该标记图像区域通过将该拍摄图像的每个角的平分线用作次扫描方向对角地扫描该拍摄图像来识别，以及在该动态检测模式，该投影图像区域检测单元通过使用预定模板图像在包括由该图像校正单元校正了的投影图像区域的多个拍摄图像之间的差分图像上执行模板匹配，来检测该标记图像区域。
9.根据权利要求1所述的投影图像区域检测装置，还包括图像校正单元，配置为基于该投影图像区域检测单元检测的该标记图像区域而检测该拍摄图像中的该投影图像的该投影图像区域，以及校正该检测的投影图像区域中的投影变形，其中该投影图像区域检测单元在初始检测模式以及动态检测模式下操作，其中在该初始检测模式，该投影图像区域检测单元通过识别该标记图像区域的最外面的角来检测该标记图像区域，以及在该动态检测模式，该投影图像区域检测单元通过使用预定模板图像在先前检测的标记图像区域中以及先前检测的标记图像区域周围的区域上执行模板匹配来检测该标记图像区域，其中该先前检测的标记图像区域是先前在包括由该图像校正单元校正了的投影图像区域的多个拍摄图像之间的差分图像中检测到的。
10.根据权利要求1所述的投影图像区域检测装置，还包括图像校正单元，配置为基于该投影图像区域检测单元检测的标记图像区域而检测该拍摄图像中的该投影图像的该投影图像区域，以及校正该检测的投影图像区域中的投影变形，其中该投影图像区域检测单元在初始检测模式以及动态检测模式下操作，其中在该初始检测模式，该投影图像区域检测单元通过识别该标记图像区域的最外面的角来检测该标记图像区域，以及在该动态检测模式，该投影图像区域检测单元通过使用预定模板图像在包括由该图像校正单元校正了的投影图像区域的多个拍摄图像之间的差分图像上执行模板匹配来，检测该标记图像区域，其中该投影图像区域检测单元基于该初始检测模式下检测的标记图像区域而规定该预定模板图像的尺寸。
11.根据权利要求1所述的投影图像区域检测装置，还包括图像校正单元，配置为基于该投影图像区域检测单元检测的该标记图像区域而检测该拍摄图像中的该投影图像的该投影图像区域，以及校正该检测的投影图像区域中的投影变形；以及标记图像生成单元，配置为生成包括其中预定颜色分量随时间经过改变的特定区域的该标记图像，其中该投影图像区域检测单元在初始检测模式以及动态检测模式下操作，其中在该初始检测模式，该投影图像区域检测单元通过识别该标记图像区域的最外面的角来检测该标记图像区域，以及在该动态检测模式，该投影图像区域检测单元通过使用预定模板图像在包括由该图像校正单元校正了的投影图像区域的多个拍摄图像之间的差分图像上执行模板匹配，来检测该标记图像区域，以及该标记图像生成单元生成比该初始检测模式的标记图像的尺寸小的该动态检测模式的标记图像。
12.根据权利要求1所述的投影图像区域检测装置，还包括图像校正单元，配置为基于该投影图像区域检测单元检测的该标记图像区域而检测该拍摄图像中的该投影图像的该投影图像区域，以及校正该检测的投影图像区域中的投影变形；以及标记图像生成单元，配置为生成包括其中预定颜色分量随时间经过改变的特定区域的该标记图像，其中该投影图像区域检测单元在初始检测模式以及动态检测模式下操作，其中在该初始检测模式，该投影图像区域检测单元通过识别该标记图像区域的最外面的角来检测该标记图像区域，以及在该动态检测模式，该投影图像区域检测单元通过使用预定模板图像在包括由该图像校正单元校正了的投影图像区域的多个拍摄图像之间的差分图像上执行模板匹配来检测该标记图像区域，以及该标记图像生成单元生成比该初始检测模式的标记图像的对比度低的该动态检测模式的标记图像。
13.根据权利要求1所述的投影图像区域检测装置，还包括图像校正单元，配置为基于该投影图像区域检测单元检测的该标记图像区域而检测该拍摄图像中的该投影图像的该投影图像区域，以及校正该检测的投影图像区域中的投影变形；以及标记图像生成单元，配置为生成包括其中预定颜色分量随时间经过改变的特定区域的该标记图像，其中该投影图像区域检测单元在初始检测模式以及动态检测模式下操作，其中在该初始检测模式，该投影图像区域检测单元通过识别该标记图像区域的最外面的角来检测该标记图像区域，以及在该动态检测模式，该投影图像区域检测单元通过使用预定模板图像在包括由该图像校正单元校正了的投影图像区域的多个拍摄图像之间的差分图像上执行模板匹配来检测该标记图像区域，以及该标记图像生成单元生成比该初始检测模式的标记图像的颜色改变量少的该动态检测模式的标记图像。
14.一种投影图像区域检测系统，包括 投影装置，配置为将投影图像投影到投影对象上；拍摄装置，配置为通过拍摄包括投影到该投影对象上的投影图像的投影图像区域，获得拍摄图像；以及投影图像区域检测装置，包括投影图像区域检测单元，配置为检测在由该拍摄装置获得的拍摄图像中的标记图像区域，以检测包括该拍摄图像中的投影图像的投影图像区域，该标记图像区域包括用于识别该投影图像区域的四个角的标记图像，标记图像生成单元，配置为生成包括其中颜色随时间经过改变的特定区域的标记图像，标记图像添加单元，配置为将由该标记图像生成单元生成的标记图像添加到该投影图像，以及图像供应单元，配置为向该投影装置供应添加了该标记图像的投影图像，其中该投影图像区域检测单元通过藉由识别该标记图像区域中包括的随时间经过持续改变的颜色来检测该拍摄图像中的该标记图像区域，而检测该拍摄图像中的该投影图像区域。
15. 一种投影图像区域检测方法，包括检测通过拍摄包括投影图像的投影图像区域获得的拍摄图像中的标记图像区域，该标记图像区域包括用于识别该投影图像区域的四个角的标记图像，其中该检测标记图像区域包括识别该标记图像区域中包括的随时间经过持续改变的颜色。
全文摘要
一种投影图像区域检测装置，包括投影图像区域检测单元，配置为检测通过拍摄包括投影图像的投影图像区域获得的拍摄图像中的标记图像区域。标记图像区域包括用于识别投影图像区域的四个角的标记图像。投影图像区域检测单元通过识别随时间经过继续改变的标记图像区域中包括的颜色检测标记图像区域。
文档编号H04N5/74GK102484724SQ201080039728
公开日2012年5月30日 申请日期2010年9月6日 优先权日2009年9月10日
发明者大村庆二, 糟谷勇儿, 荒木祯史 申请人:株式会社理光