专利名称：投影仪装置和操作检测方法
技术领域：
本发明涉及投影仪装置和操作检测方法。
背景技术：
通常，用于将投影图像投影到屏幕上的投影仪装置是公知的。因为投影仪装置即使装置本身是小的，仍然可以显示大屏幕的图像，所以投影仪装置广泛地用作例如为许多观众显示文档以使得在会议和讲座中容易观看文档的工具。在近些年，需要投影仪装置具有允许在投影图像中写入图片、字符等的功能以及允许容易地操作投影图像的放大/缩小和前进页面的功能。由此，正在进行用于实现这样的功能的技术发展。 例如，日本专利No. 3950837公开了一种技术，允许在投影仪装置的投影图像中写入图片和字符。通过日本专利No. 3950837中描述的技术，在白板上投影的投影图像被摄像机捕获；具有红外光接收单元和超声波接收单元的信号处理器计算具有红外光发射单元和超声波生成单元的电子笔在白板上的位置；并且电子笔在白板上的位置由从摄像机捕获的图像计算的投影图像在白板上的位置标准化，由此能够精确地获得电子笔在投影图像上的位置。然而，通过日本专利No. 3950837中公开的技术，具有红外光发射单元和超声波生成单元的电子笔必须被用于在投影仪装置的投影图像中写入图片和字符。此外，具有红外光接收单元和超声波接收单元的信号处理器必须被预先安装在其上投影了投影图像的投影表面上。如上所述，使用日本专利No. 3950837中描述的技术，仅当在预先准备的环境下使用专门的输入装置时才实现允许在投影仪装置的投影图像中写入图片和字符的功能。由此，该技术具有缺乏多样性和高装置成本的缺点。由此，需要一种投影仪装置和操作检测方法，其能够通过检测投影图像的操作实现各种功能，而无需使用专门的输入装置。
发明内容
本发明的目的在于至少部分地解决现有技术中的问题。根据一个实施例，提供了一种投影仪装置，包括投影单元，用于将投影图像投影到投影表面上；图像捕获单元，用于通过多个成像元件捕获包括投影表面的成像区域的图像；距离获取单元，基于所述多个成像元件输出的多个图像，获取指示图像捕获单元和成像区域中存在的对象之间距离的距离信息；输入单元检测单元，基于距离信息，当对象存在于距投影表面预定距离的区域中时，将对象检测为执行关于投影图像的输入操作的输入单元；以及分析单元，基于输入单元在投影图像上的位置和移动中的至少一个来分析关于投影图像的输入操作。根据另一个实施例，提供了一种操作检测方法，在投影仪装置中执行，所述投影仪装置包括用于将投影图像投影到投影表面上的投影单元和用于通过多个成像元件捕获包括投影表面的成像区域的图像的图像捕获单元。所述方法包括基于所述多个成像元件输出的多个图像，获取指示图像捕获单元和成像区域中存在的对象之间距离的距离信息；基于距离信息，当对象存在于距投影表面预定距离的区域中时，将对象检测为执行关于投影图像的输入操作的输入单元；以及基于输入单元在投影图像上的位置和移动中的至少一个来分析关于投影图像的输入操作。
当结合附图考虑时，通过读取下面本发明的优选实施例的具体实施方式
可以更好地理解本发明的上述和其他目的、特征、优点、技术和工业意义。
图1是根据实施例的投影仪装置的前视图；图2是根据实施例的投影仪装置的内部配置的框图；图3是示出屏幕上投影的投影图像的尺寸和立体摄像机的成像区域的尺寸之间 关系的图；图4A和4B是用于说明立体摄像机的配置实例的图；图5是示出控制装置的功能元件的功能框图；图6是用于说明使用立体摄像机的距离测量的原理的图；图7是用于说明检测投影图像中写入字符或图片的操作的实例的图；图8是用于说明检测投影图像中包括的按钮的操作的实例的图；图9是用于说明检测投影图像的页面进展操作的示例的图；图10是用于说明检测投影图像的放大/缩小操作的实例的图；图11是示出控制装置的时序处理过程的流程图；图12是示意性示出现有梯形校正处理的图；图13示出了在对应于距离的阴影中立体摄像机的各自焦点的距离测量结果；以 及图14是示出整体切除在半导体晶圆上形成的多个成像元件中的两个的方面的示 意图。
具体实施方式
下面将参考附图详细描述根据本发明的投影仪装置和操作检测方法的实施例。
图1是根据实施例的投影仪装置I的前视图；并且图2是示出根据实施例的投影仪装置I的内部配置的图。
根据实施例的投影仪装置I以如下方式放置投影仪装置I的前面(前表面)Ia面向屏幕(投影表面)100。这里，屏幕100是可选的，并且例如房间的墙壁和白板的各种物体可以用作屏幕100。此外，投影仪装置I连接至外部信息处理装置，例如个人计算机(下文中被指示为PC 101)，从而通过例如通用串行总线(USB)电缆的专用电缆或通用电缆可双向通信。投影仪装置I可以连接至PC 101以通过符合已知射频通信协议的射频通信进行双向通信。
在投影仪装置I的前面Ia侧上，如图1所示布置投影装置2的投影透镜2a和立体摄像机3。如图2所示，在投影仪装置I内部，除了投影装置2和立体摄像机3之外还提供控制装置4、存储装置5和通信装置6。
投影装置2使用投影透镜2a在控制装置4的控制下将投影图像投影到屏幕100上。例如，要由投影装置2投影在屏幕100上的投影图像是从PC 101发送到投影仪装置I的图像。这意味着正显示在PC 101的显示单元上的图像被投影装置2投影到屏幕100上作为投影图像。为了说明的目的，下文中沿着屏幕100的水平方向的方向(投影仪装置I的宽度方向)被指示为X方向，沿着屏幕100的垂直方向的方向(投影仪装置I的高度方向)被指示为Y方向，并且沿着屏幕100和投影仪装置I彼此面对方向的方向(投影仪装置I的深度方向)被指示为Z方向。立体摄像机3具有多个成像元件，并且使用该多个成像元件捕获预定成像区域的图像。立体摄像机3的成像区域是在投影仪装置I的前面Ia的前面的预定区域，至少包括屏幕100上投影的投影图像。图3是示出屏幕100上投影的投影图像的尺寸和立体摄像机3的成像区域的尺寸之间的关系的图。对于立体摄像机3，设计在成像元件上形成光学图像的透镜的视角等，使得可以捕获比屏幕100上投影的投影图像的尺寸更大的区域，考虑了投影图像的假定尺寸(屏幕100的尺寸)和从屏幕100到放置投影仪装置I的位置的标准距离。 这里将描述立体摄像机3的配置的具体例子。图4A和4B是用于说明立体摄像机3的配置的例子的图；图4八是立体摄像机3的示意性截面图；以及图4B是多个成像元件(在这个例子中两个成像元件30a和30b)形成的成像元件基板34的平面图。立体摄像机3具有外壳31、透镜阵列32、孔径阵列33、成像元件基板34和电路基板35，如图4A所示。外壳31在其中容纳成像元件基板34和电路基板35。此外，外壳31在其前表面侧(图4A中的上侧)固定地支撑透镜阵列32和孔径阵列33。透镜阵列32和孔径阵列33由外壳31在如下状态下支撑透镜阵列32和孔径阵列33的位置相对于成像元件基板34被固定。立体摄像机3的外壳31以如下方式设置在投影仪装置I的内部立体摄像机3的前表面侧面向投影仪装置I的前面la。透镜阵列32由沿着Y方向布置的一对透镜32a和32b整体形成。例如通过模塑透明树脂材料来制造透镜阵列32。透镜32a是用于在成像元件30a上形成成像区域的图像的光学器件。透镜32b是用于在成像元件30b上形成成像区域的图像的光学器件。孔径阵列33具有以如下方式定位在透镜阵列32上的两个孔径透镜32a从孔径中的一个曝光，并且透镜32b从另一个孔径曝光。孔径阵列33通过由除了两个孔径透镜32a和32b之外的部分反射光而防止光通过除了透镜32a和32b的部分进入外壳31内部。成像元件基板34由位于预定间隔的两个成像元件30a和30b整体形成。成像元件30a面向透镜阵列32的透镜32a，并且成像元件30b面向透镜阵列32的透镜32b。透镜阵列32被定位为将透镜32a与成像元件30a的中心对齐，并且将透镜32b与成像元件30b的中心对齐。成像元件30a的中心和成像元件30b的中心之间的距离(即透镜阵列32的透镜32a和透镜32b的光轴之间的距离)被称为基线长度。在这个实施例中，假设基线长度为大约5到30mm。成像元件30a和30b是二维图像传感器，例如通过公知半导体工艺如图4B所示在半导体晶圆上整体形成的CXD和CMOS。在成像元件30a和30b的每个成像区域(光接收表面)30al和30bl上，以网格图案(lattice pattern)布置多个光接收元件(像素)。透镜阵列32的透镜32a和透镜32b具有彼此平行的光轴，并且具有相同的视角。此外，这些透镜32a和32b具有如下焦距使得从要被成像的物体进入各个透镜的光在成像元件30a和30b的对应的成像区域30al和30bl上形成图像。
在电路基板35上形成了信号处理电路，用于处理来自成像元件30a和30b的输出信号。例如，电路基板35定位在成像元件基板34的后面(与其上形成成像元件30a和30b 的面相反的面)。在这个实施例中，在立体摄像机3的电路基板35上装配模拟前端(AFE)电路，用于对从成像元件30a和30b输出的模拟信号执行噪声减小处理、放大、AD变换等。此外，在本实施例中，温度传感器和温度补偿电路提供在电路基板35上。温度补偿电路使用温度传感器检测的值来补偿由于温度改变引起的成像元件30a和30b的输出误差。通过温度补偿电路的补偿处理，即使当透镜32a和32b之间的距离(基线长度)由于温度改变引起的透镜阵列32的膨胀或收缩而改变时，也可以获得正确的输出。
控制装置4通过使用存储装置5执行各种计算操作来共同地控制投影仪装置I的操作。该控制装置4可以被配置为控制集成电路(1C)，具有用于运行控制程序的CPU、用于处理从立体摄像机3输出的成像区域中的图像信号(数字数据)的数字信号处理器(DSP)、 输入/输出接口电路等。
存储装置5是控制装置4用于各种计算的存储装置，并且存储装置5包括用于临时存储图像的帧存储器、用作CPU的工作区域的RAM、用于存储控制程序和控制使用的各种数据的ROM等。
通信装置6执行用于投影仪装置I的各种控制以与PC 101通信。
图5是示出控制装置4的功能元件的功能框图，其特征在于这个实施例中的投影仪装置I。图5示出的各个功能元件可以例如由运行控制程序的控制装置4的CPU实现。 可选地，各个功能元件的部分和全部可以由专用硬件构成，例如专用集成电路(ASIC)和现场可编程门阵列(FPGA)。
控制装置4检测操作者关于屏幕100上投影的投影图像的输入操作，并且如图5 所示，控制装置4包括距离图像形成单元(距离信息获取单元)41、候选识别单元42、输入单元检测单元43、位置检测单元44、移动检测单元45、分析单元46和图像处理单元47作为用于执行与输入操作相对应的处理的功能元件。除了这些功能之外，控制装置4还包括使用立体摄像机3的图像的自动聚焦功能和梯形校正功能，这些功能将在后面描述。
距离图像形成单元41基于从立体摄像机3的两个成像元件30a和30b输出的两个图像形成立体摄像机3的成像区域的距离图像。关于立体摄像机3的成像区域中存在的各个对象，距离图像是指示从作为起始点的立体摄像机3的位置(即放置投影仪装置I的位置)到各个对象的距离(位置信息)的图像。在这个实施例中，描述了获取距离信息作为距离图像的例子，但是距离信息不局限于此。
例如，距离图像形成单元41首先通过例如窗关联方法的已知方法来确定从两个成像元件30a和30b输出的两个图像的对应关系。窗关联方法是从一个图像搜索具有与另一个图像中设置的窗区域具有高关联值的区域的处理过程。例如，可以使用图像的亮度信息最为关联值。
已经确定了从两个成像元件30a和30b输出的两个图像的对应关系的距离图像形成单元41根据下面的原则计算至立体摄 像机3的成像区域中存在的各个对象(区域)的距离，并且形成距离图像。在这个实施例中，在立体摄像机3的成像区域中存在的对象的距离信息被获取作为距离图像，但是也可以使用除了距离图像之外的信息，只要获取能够获得对象在XY方向的位置和距投影仪装置I的距离(Z方向上的位置)的信息。图6是用于说明使用立体摄像机3的距离测量的原理的图。当对象M存在于立体摄像机3的成像区域时，对象M的光学图像(要被成像的对象的图像)通过透镜32a形成在成像元件30a上，并且还通过透镜32b形成在成像元件30b上。当要被成像在成像元件30a上的对象的图像被指示为ma，并且要被成像在成像元件30b上的对象的图像被指示为mb时，要被成像在成像元件30a和30b的对象的图像ma的像素位置和对象的图像mb的像素位置具有距离差Δ。当透镜32a和32b的光轴之间的距离(基线长度)被指示为D时，透镜32a和32b与对象M之间的距离被指示为L，透镜32a和32b的焦距被指示为f，并且假设值L比值f大足够多，满足下面的等式(I)。L=D Xf/Λ(I)在上面的等式(I)中，值D和f是已知的，并且因此可以通过检测两个成像元件30a和30b输出的两个图像之差Λ来计算至立体摄像机3的成像区域中存在的对象M的距离L。例如通过使用上述方法,通过计算与两个成像元件30a和30b输出的两个图像相对应的各个窗区域的距离L，距离图像形成单元41形成距离图像，指示至立体摄像机3的成像区域中存在的对象的距离。候选识别单元42通过使用从立体摄像机3的两个成像元件30a和30b的至少一个输出的图像，从立体摄像机3的成像区域中存在的对象中识别要作为关于屏幕100上投影的投影图像执行输入操作的输入单元的候选的对象。在这个实施例中，例如假设与屏幕100接触或非常接近于屏幕100的操作者的手指作为关于投影图像执行输入操作的输入单元。在这种情况下，表征手指的信息，包括手指的形状(细长的棒形)和手指的颜色(肤色)存储在存储装置5中作为特征值。候选识别单元42分析从立体摄像机3的两个成像元件30a和30b的至少一个输出的图像，并且通过例如已知图案匹配的方法从该图像检测与存储装置5中存储的特征值具有高关联性的对象。然后，候选识别单元42通过图案匹配等将从图像检测的对象识别为输入单元的候选。例如，当手指的特征值被存储在存储装置5中时，候选识别单元42检测在立体摄像机3的成像区域中存在的人的手指作为输入单元的候选。这里，候选识别单元42通过将各种对象的特征值存储在存储装置5中，可以检测除了操作者的手指之外的对象作为输入单元的候选，例如具有通常形状的笔或指针。输入单元检测单元43通过使用由距离图像形成单元41形成的距离图像，检测朝向投影仪装置I距屏幕100预定距离的区域中存在的对象，作为执行关于投影图像的输入操作的输入单元。具体地，输入单元检测单元43首先从距离图像形成单元41形成的距离图像识别屏幕100，并且计算至屏幕100的距离(在Z方向的位置)。然后，输入单元检测单元43从距离图像搜索在预定距离范围内与距屏幕100的距离存在差异的对象。然后，如果作为搜索结果获得的对象的形状接近于例如操作者手指的预定形状，则输入单元检测单元43检测该对象作为输入单元。这里，例如，预定距离约为100到150mm。在用于检测输入单元的距离图像中，对象等的轮廓在许多情况下不是精确的，因为很难精确地关联两个成像元件30a和30b输出的图像。此外，因为距离图像不具有颜色信息，很难仅从距离图像正确地检测例如包括操作者手指的输入单元。由此，输入单元检测单元43使用距离图像搜索距屏幕100预定距离的区域中存在的对象。如果从距离图像中获得恰当的对象，则输入单元检测单元43在作为搜索结果获得的对象中检测由候选识别单元42识别为输入单元的候选的对象作为输入单元。这里，例如可以使用图像的XY平面上的坐标位置的信息来关联从距离图像获得的对象和由候选识别单元42识别为输入单元的候选的对象。此外，当从距离图像正确检测到输入单元时，输入单元检测单元43可以被配置为仅从距离图像检测输入单元。在这种情况下，不需要候选识别单元42。
位置检测单元44检测由输入单元检测单元43检测的输入单元在X方向和Y方向的位置。更具体地，当例如操作者的手指被检测为输入单元时，位置检测单元44检测指尖在屏幕100上投影的投影图像的位置。指尖可以从手指的形状指定。此外，可以从指尖在 XY平面上的位置和投影图像的位置之间的关系检测指尖在投影图像上的位置。
移动检测单元45使用从立体摄像机3的两个成像元件30a和30b中的至少一个顺序输出的多个图像检测由输入单元检测单元43检测的输入单元的移动。例如，当操作者的手指被检测为输入单元时，移动检测单元45检测指尖在屏幕100上投影的投影图像上的移动。例如通过应用数字摄像机等中对象追踪的方法来实现移动检测单元45的处理。
当输入单元检测单元43检测屏幕100附近出现的手指作为输入单元时，移动检测单元45从成 像元件30a或成像元件30b输出的图像检测对应的手指，将对应的手指设置为追踪目标，并且保持包括例如手指的形状和颜色的信息(目标信息)。然后，移动检测单元 45然后使用保持的目标信息从成像元件30a或成像元件30b顺序输出的图像搜索对应的手指。然后，移动检测单元45检测在成像元件30a或成像元件30b顺序输出的图像之间的 XY平面上手指的位置变化，作为成为输入单元的手指的移动。
当输入单元检测单元43没有检测到输入单元的时候，即当屏幕100附近存在的操作者的手指远离屏幕100移动以离开如上面描述的例子所述的预定距离的区域之外时，完成移动检测单元45的处理。然后，当输入单元检测单元43新检测到输入单元时，此后移动检测单元45检测新的输入单元的移动。输入单元检测单元43的处理和移动检测单元45 的处理以例如1/30秒至1/60秒的处理周期同步执行。
分析单元46基于位置检测单元44检测的输入单元的位置和移动检测单元45检测的输入单元的移动中的至少一个来分析操作者关于屏幕100上投影的投影图像的输入操作。此后将示例操作者关于投影图像的输入操作的特定例子，但是可以分析各种输入操作以及下面示例的输入操作。
分析单元46可以基于例如如图7所示的被检测为输入单元的操作者的手指的移动来检测在投影图像中写入字符或图片的操作。当操作者的手指处于距屏幕100预定距离的区域之外时，换句话说，当手指远离屏幕100时，操作者的手指没有被检测为输入单元。 此后，操作者的手指接近屏幕100以进入预定距离的区域，操作者的手指被检测为输入单元并且开始手指移动的检测。然后，当手指移动接近屏幕100时，检测该移动，并且当手指移动远离屏幕100时，完成该移动的检测。因为仅当如上所述手指在屏幕100附近时才检测手指的移动，因此手指指尖位置的轨迹可以被识别为在投影图像中写入的字符或图片。
当分析单元46检测投影图像中写入字符或图片的操作时，写入字符或图片的形状和写入位置的信息(坐标)被从分析单元46发送到图像处理单元47。图像处理单元47基于来自分析单元46的信息，将字符或图片重叠到通信装置6从PC 101接收的图像上。然后，其上由图像处理单元47重叠了字符或图片的图像被发送到投影装置2。由此，将投影图像投影到屏幕100上，在投影图像上对应于操作者的输入操作写入字符或图片。这里，取代图像处理单元47在来自PC 101的图像上重叠图片或字符，字符或图片的形状和图像上写入位置的信息可以使用执行写入处理的指令而从通信装置6发送到PC 101。在这种情况下，其上由PC 101侧重叠了字符或图片的图像被发送到投影仪装置1，并在其上对应于操作者的输入操作写入了字符或图片的投影图像被投影到屏幕100上。此外，分析单元46可以基于例如图8所示被检测为输入单元的操作者的手指在投影图像上的位置，来检测投影图像中包括的按钮的操作。具体地，用于从操作者接收输入的按钮被包括在投影图像中，并且当操作者的指尖在投影图像上的按钮位置停留预定时间时，可以识别操作者已经操作了按钮。当分析单元46检测投影图像中包括的按钮的操作时，与按钮操作相对应的指令被从通信装置6发送到PC 101。PC 101执行与投影仪装置I发送的指令相对应的处理。由此，可以执行与操作者在投影图像上的按钮操作相对应的处理。此外，分析单元46可以从例如图9所示被检测为输入单元的操作者的手指的移动检测到投影图像的页面进展操作。具体地，当操作者的指尖在屏幕100上快速移动并且位移的距离和方向处于预定范围内时，可以识别操作者进行了投影图像的页面进展操作。当分析单元46检测投影图像的页面进展操作时，与页面进展操作相对应的指令被从通信装置6发送到PC 101。PC 101根据从投影仪装置I发送的指令执行将要被发送到页面投影仪装置I的图像切换到下一页或前一页的处理。这使得能够根据操作者的页面进展操作进行屏幕100上投影的投影图像的页面切换。此外，分析单元46可以从例如图10所示的被检测为输入单元的操作者的两个手指的移动中检测投影图像的放大/缩小操作。具体地，当操作者的两个手指彼此远离时，可以识别操作者进行了投影图像的放大操作。当操作者的两个手指彼此靠近时，可以识别操作者进行了投影图像的缩小操作。当分析单元46检测投影图像的放大/缩小操作时，与投影图像的放大/缩小操作相对应的指令被从通信装置6发送给PC 101。PC 101根据从投影仪装置I发送的指令执行放大/缩小要被发送给投影仪装置I的图像的处理。这使得能够根据操作者在投影图像上的操作来放大/缩小屏幕100上投影的投影图像。图11是示出了从检测操作者关于投影图像的输入操作直到由上述控制装置4的各个功能元件执行与输入操作相对应的处理的时序处理过程的流程图。此后，在这个流程图之后描述控制装置4的处理的总结。首先，在步骤SlOl中，距离图像形成单元41基于立体摄像机3的两个成像元件30a和30b输出的两个图像来形成立体摄像机3的成像区域的距离图像。在步骤S102中，输入单元检测单元43基于步骤SlOl中距离图像形成单元41形成的距离图像计算从投影仪装置1到其上投影了投影图像的屏幕100的距离。在步骤S103中，候选识别单元42使用立体摄像机3的两个成像元件30a和30b中的一个成像元件输出的图像从立体摄像机3的成像区域中存在的对象中识别要成为输入单元的候选的对象。
在步骤S104中，输入单元检测单元43使用在步骤S102中计算的距屏幕100的距离作为参考来识别距屏幕100的位置预定距离的区域中存在的对象，并且输入单元检测单元43在识别的对象中检测步骤S103中由候选识别单元42识别为输入单元的候选的对象作为输入单元。
在步骤S105中，位置检测单元44检测输入单元在投影图像上的位置，该输入单元已经在步骤S104中由输入单元检测单元43检测到。
在步骤S 106中，移动检测单元45使用从立体摄像机3的两个成像元件30a和 30b中的一个成像元件顺序输出的多个图像来确定在步骤S 104中已经由输入单元检测单元43检测的输入单元是否在投影图像上移动。并且如果输入单元在投影图像上移动(步骤 S106 :是)，则在步骤S107中移动检测单元45通过追踪输入单元经过多个图像来检测输入单元的移动。另一方面，如果输入单元没有在投影图像上移动(步骤S106 :否)，则处理跳过步骤S107中的移动检测而到达步骤S108。
在步骤S108中，分析单元46基于步骤S105中位置检测单元44检测的输入单元的位置和步骤S107中移动检测单元45检测的输入单元的移动中的至少一个，分析操作者关于屏幕100上投影的投影图像的输入操作。在步骤S109中，根据步骤S108中分析单元 46分析的输入操作的内容来执行关于投影图像的处理。
如上所述，根据该实施例的投影仪装置I使用立体摄像机3检测操作者关于投影图像的输入操作，并且因此可以正确地检测操作者的输入操作。具体地，使用立体摄像机3 的距离图像，关于立体摄像机3的成像区域中存在的对象，深度方向(Z方向)中的位置(至对象的距离)以及图像平面(X和Y方向)的位置都可以被检测到。由此，在立体摄像机3的成像区域中存在的对象中，仅处于与其上投影了投影图像的屏幕100接近的位置处的对象可以被检测为执行关于投影图像的输入操作的输入单元。然后，基于输入单元在投影图像上检测的位置和在X和Y方向上输入单元的移 动，可以正确地检测操作者关于投影图像的输入操作。
传统地，不具有立体摄像机而具有单目摄像机的投影仪装置是公知的。单目摄像机不能检测成像区域中存在的对象的距离(深度)，并且不能计算三维坐标位置。由此，在日本专利No. 3950837中描述的技术中，例如，当接触板(屏幕)时发射红外光并生成超声波的特殊笔被用作输入单元，使得可以将字符和图片写入到投影图像上。然而，该技术具有多样性差和高设备成本的缺点，因为必须使用特殊笔以在投影图像上写入字符和图片，并且必须在板上提供用于接收红外光和接收超声波的信号处理器。相反地，根据本实施例的投影仪装置I可以例如通过操作者的手指在投影图像上写入字符和图片，而不需要使用特殊笔等。此外，根据本实施例的投影仪装置I可以恰当地检测各种输入操作，例如包括投影图像的放大和缩小，这很难由使用这样的特殊笔的操作实现。
此外，通过从单目摄像机捕获的图像中检测操作者的手指等的位置和移动并且分析关于投影图像的输入操作的配置，可能错误地检测具有类似形状的手指等(如果被包括作为投影图像中的图像)作为要执行输入操作的对象，从而执行了错误的处理。相反地，使用立体摄像机3的距离图像，可以清楚地辨别在屏幕100上投影为投影图像的手指和在屏幕100附近执行输入操作的手指，并且由此可以防止如上所述的错误检测。
这里，立体摄像机3的距离图像在许多情况下具有没有颜色信息、对象的不精确的轮廓等缺点。由此，很难根据执行关于投影图像的输入操作的操作者的个体差异或根据输入操作的背景和条件的差异，仅从距离图像检测操作者的手指。在这种情况下，可以通过分析从立体摄像机3的成像元件30a和30b中的一个成像元件输出的图像以检测成像区域中存在的手指，并且通过使用如上所述的距离图像识别屏幕100附近存在的手指，从而改善检测精确度。同时，许多投影仪装置通常具有用于启动时自动地聚焦于投影图像的自动聚焦功能、用于校正投影图像的梯形失真的梯形校正功能等。为了实现如上所述的功能，现有投影仪装置具有各种传感器。例如，已知通过使用日本公开专利公开号2003-42733中描述的光学传感器测量距其上投影了投影图像的屏幕的距离，并且基于该距离调节投影透镜的位置从而向投影仪装置提供自动聚焦功能。此外，已知在日本公开专利公开号2000-122617中描述的投影仪装置的前表面上的不同位置处提供多个距离传感器，使得控制微计算机基于距离传感器的检测结果计算投影仪装置关于投影表面的入射角，从而向投影仪装置提供梯形校正功能。
相反地，因为根据实施例的投影仪装置I具有立体摄像机3，可以使用立体摄像机3实现自动聚焦功能和梯形校正功能。这意味着根据该实施例的投影仪装置I可以通过使用立体摄像机3的距离图像检测至屏幕100的距离和屏幕100关于投影仪装置I的倾斜，从而实现自动聚焦功能和梯形校正功能。由此不需要分开提供用于实现自动聚焦功能的光学传感器和用于实现梯形校正功能的多个距离传感器等。此后，自动聚焦功能和梯形校正功能的具体例子由根据该实施例的投影仪装置I实现。例如，在控制装置4的控制下在启动投影仪装置I时，投影仪装置I的自动聚焦功能被执行为一个初始设置操作。当投影仪装置I上电时，控制装置4首先激活投影装置2，并且向投影装置2提供打开屏幕的图像，其被预先存储在存储装置5等中。然后，投影装置
2将打开图像的投影图像投影到屏幕100上。控制装置4还激活立体摄像机3，并且使其开始成像包括屏幕100上投影的打开图像的投影图像的成像区域。例如，打开图像包括公司标志等。立体摄像机3的成像元件30a和30b分别输出成像区域的图像信号，并且该信号被转换为将被输入到控制装置4的数字数据。控制装置4 (距离图像形成单元41)使用这些来自立体摄像机3的这些图像形成距离图像，并且控制装置4从距离图像检测例如距打开图像中包括的标志的距离，从而检测从投影仪装置I到屏幕100的距离。然后，控制装置4基于检测的到屏幕100的距离将驱动控制信号发送给投影装置2。驱动控制信号用于在光轴方向上移动投影装置2的投影透镜2a。投影装置2将投影透镜2a移动到与来自控制装置4的驱动控制信号相对应的焦点位置。由此，可以在屏幕100上投影焦点对准的投影图像。通常，当投影图像的投影角关于屏幕100偏离时，很不幸投影仪装置投影具有称为梯形失真(还称为梯形畸变)的失真的屏幕。由此，通常将两个距离传感器布置在投影仪装置的前表面，从而基于两个距离传感器测量的至屏幕100的距离来计算投影仪装置和屏幕100之间的倾斜角Θ。然后基于计算的倾斜角，通常校正投影的屏幕的梯形失真。图12是示意性示出现有梯形校正处理的图。如图12所示，两个距离传感器201和202被布置在投影仪装置200的前表面侧上的距离d处。此时，投影仪装置200和屏幕 100之间的倾斜角Θ表示为下面的等式(2)，其中从两个距离传感器201和202至屏幕100 的距离输出值被指示为Dl和D2。
tan Θ =(Dl-D2)/d(2)
这样的现有形式具有如下缺点。即，从两个距离传感器201和202的距离输出值 Dl和D2可以测量仅围绕X轴的倾斜。为了测量围绕Y轴的倾斜，必须再提供两个距离传感器。此外，两个距离传感器201和202的间距d不能大于投影仪装置200的宽度。由此， 在较大屏幕100中仅在不宽于投影仪装置200的宽度的窄区域内测量倾斜，并且由此屏幕 100的倾斜作为整体不能被检测。
在根据实施例的投影仪装置I中，立体摄像机3被用于检测如上所述屏幕100关于投影仪装置I的倾斜。使用立体摄像机3，通过将立体摄像机3的透镜32a和32b设计为宽，成像区域可以是宽的区域，并且由此可以测量该宽的区域中的距离。例如，当对角线视角被设置为65度时，可以测量距投影仪装置I的100英寸(S卩2米)的屏幕100的整个区域的 距离。由此，与如图12所示使用投影仪装置200的前表面上布置的两个距离传感器201 和202检测屏幕100的倾斜角Θ的情况相比，可以在宽得多的区域中精确地检测倾斜。
此外，由于立体摄像机3的成像元件30a和30b是二维传感器，因此可以提供与成像元件30a和30b的像素数目相对应的多个焦点。例如，当使用尺寸(640X480像素)的视频图形阵列(VGA)的成像元件30a和30b并且通过设置8X6个像素作为一个单元来执行匹配时，可以提供80X80个焦点。图13示出了在与距离相对应的阴影中各自80X80个焦点的距离测量结果。当屏幕100完全不倾斜并且由此屏幕100的表面中的所有距离彼此相等时，表面中的密度如图13 (b)中所示为均匀的。另一方面，当屏幕100向左或向右倾斜时，如图13 (a)或(c)所示，密度是与倾斜相对应的不均匀的。
当屏幕100的表面中的每个焦点的距离如上所述是已知的时候，使用下面的等式(3)可以计算屏幕100关于投影仪装置I的倾斜角Θ。在等式(3)中，LI是从投影仪装置 I到屏幕100上投影的投影图像的中心的距离，L2是从投影仪装置I到屏幕100上投影的投影图像的边缘的距离。并且α是立体摄像机3的透镜32a和32b的视角。
tan Θ = (L2-L1)/L2 X tan ( α/2)(3)
尽管这里仅描述了屏幕100的水平平面中的倾斜，但以类似的方式可以自然地检测屏幕100的垂直平面中的倾斜。此外，因为使用立体摄像机3在多个焦点处测量距离， 因此当表面中存在稍微不均衡的倾斜时，仍可以检测屏幕100的表面中该稍微不均衡的倾斜。这里，仅描述对倾斜的检测，当可以精确地检测倾斜时，可以以传统方式类似地精确校正投影图像的梯形失真。
在根据该实施例的投影仪装置I中提供的立体摄像机3中，两个成像元件30a和 30b如上所述整体形成在成像元件基板34上。例如，如图14所示，可以通过整体切除通过公知的半导体工艺沿着虚线边界在半导体晶圆50上形成的多个成像元件30中的两个来获得这样的两个成像元件30a和30b。
已经使用掩膜对半导体晶圆50上的多个成像元件30进行了图案化，并且由此从多个成像元件30切除的成像元件30a和30b以高精度对齐，使得成像元件30a和30b的像素矩阵彼此平行。此外，因为半导体晶圆50的表面是完全的平面，所以成像元件30a和30b的法线彼此平行。由此，成像元件30a和30b可以被正确地定位，而无需校正成像元件30a和30b的位置偏差和角度偏差的操作。通过使用如上所述具有成像元件30a和30b的立体摄像机3，可以精确地检测距屏幕100的距离和距屏幕100的近侧成像区域中存在的对象的距离。此外，在立体摄像机3中提供的成像元件30a和30b的尺寸与用于数字摄像机等的成像元件的尺寸(大约1/2. 3英寸)相比小得多。例如，可以使用用于移动电话的摄像机模块的大约1/10英寸的小的成像元件。通常，小尺寸成像元件在暗的地方不能很好工作，因为进入元件的光量是小的，这是小尺寸成像元件的缺点。然而，根据本实施例的投影仪装置I中提供的立体摄像机3确保足够的光量，因为它成像在屏幕上投影了投影图像的屏幕100。由此，即使当使用小尺寸成像元件时，也可以提供足够的性能，并且小尺寸成像元件的使用能够缩小立体摄像机3的尺寸。·此外，移动电话的摄像机模块的成像元件在成本上具有优势，因为它可被大量制造，并且VGA尺寸(640X480像素)的成像元件特别廉价。由此，当通过公知半导体工艺在半导体晶圆50上形成的例如VGA尺寸的多个成像元件中的两个成像元件被整体切除时，可以以低成本获得如图4B所示的整体形成在成像元件基板34上的两个成像元件30a和30b。由此,还可以减少立体摄像机3的成本。在这个实施例中，立体摄像机3被描述为具有两个成像元件30a和30b，但是立体摄像机3还可以被配置为具有三个或更多成像元件。在这种情况下，作为半导体晶圆50上形成的多个成像元件的成直线的三个或更多成像元件被整体切除，并且切除的成像元件可以被用作立体摄像机3的成像元件。通过该配置，当位于成直线的三个或更多成像元件的两端的成像元件之间的距离是基线长度D时，基线长度D可以是大的。由此，从上面的等式
(I)中可以理解到差异Λ (=DXf/L)变为大的，并且由此以高精度测量距离。此外，在根据本实施例的投影仪装置I中提供的立体摄像机3中，用于在成像元件30a和30b上形成光学图像的透镜32a和32b被整体形成为如上所述的透镜阵列32。这是为了防止两个透镜32a和32b分开移动，从而以高精度检测差异Λ。例如，如果两个透镜32a和32b被集成，当两个透镜32a和32b中的任一个偏离其位置时，另一个透镜在相同方向上以相同量偏离其位置，并且因此作为两个透镜32a和32b之间的间隔的基线长度D可以被保持恒定。当基线长度D和透镜焦距f被保持恒定时，从上面的等式(I)可知，差异Λ可以保持恒定。因为根据本实施例的投影仪装置I中提供的立体摄像机3如上所述具有集成的成像元件30a和30b和集成的透镜32a和32b，因此两个透镜32a和32b和两个成像元件30a和30b即使存在震动、温度变化和时间变化，也总是整体地一体移动。由此，差异△关于震动、温度变化和时间变化是稳定的。由此，可以使用高精度稳定地检测距离。投影仪装置通常具有大光源，生成热以明亮地显示宽屏幕。还提供用于冷却光源的冷却风扇。由此，投影仪装置具有热和震动，但是根据本实施例的投影仪装置I可以正确地检测距离，因为在投影仪装置I中使用了具有集成的成像元件30a和30b和集成的透镜32a和32b的立体摄像机3，并且由此投影仪装置I关于热和震动是稳定的。在根据本实施例的投影仪装置I中，如上所述(参考图5)的控制装置4的特征功能配置可以由运行控制程序的控制装置4的CPU实现。在这种情况下，控制装置4的CPU 运行的控制程序可以被事先嵌入并提供在例如存储装置5包括的ROM中。
由控制装置4的CPU运行的控制程序可以被配置为具有如下格式的文件可以被安装或运行，并且在例如⑶-RAM、软盘、⑶-R、DVD等的可读记录介质中记录和提供。此外， 控制装置4的CPU运行的控制程序可以被配置为存储在连接至例如因特网的网络的计算机中，并且通过经由网络下载而被提供。此外，控制装置4的CPU运行的控制程序可以被配置为经由例如因特网的网络提供或分发。
控制装置4的CPU运行的控制程序可以具有模块配置，包括例如距离图像形成单元41、候选识别单元42、输入单元检测单元43、位置检测单元44、移动检测单元45、分析单元46和图像处理单元47。CPU (处理器)作为实际硬件从ROM读取控制程序，并且运行控制程序，由此上述各个单元载入到主存储装置(例如RAM)，使得距离图像形成单元41、候选识别单元42、输入单元检测单元43、位置检测单元44、移动检测单元45、分析单元46和图像处理单元47形成在主存储装置上。
尽管上面描述了本发明的特定实施例，本发明不局限于上述实施例，而是当通过元件的改变进行实施时不偏离本发明的范围。例如，上述实施例中距离图像由控制装置4 形成，但是距离图像也可以由立体摄像机3通过提供DSP等来处理立体摄像机3上的数字信号来形成，然后形成的距离图像可以被发送给控制装置4。此外，在上述实施例中操作者关于投影图像的输入操作是由投影仪装置I检测，但是立体摄像机3的距离图像可以被发送给PC 101，并且然后PC 101可以检测操作者关于投影图像的输入操作。
根据实施例，获取在包括投影图像的投影表面的成像区域中存在的对象的距离信息，如果对象存在于距投影表面预定距离的区域中，则对象被识别为执行投影图像的输入操作的输入单元，并且基于输入单元的位置和移动中的至少一个分析投影图像的输入操作，由此具有如下效果通过检测对投影图像的输入可以实现各种功能而不使用专用的输入装置。
尽管为了完整和清楚的公开描述了本发明的特定实施例，所附的权利要求并不由此受限，而是被构建为本领域普通技术人员能够做出的所有修改和等效构建均落入这里所述的基本教导中。
权利要求
1.一种投影仪装置，包括 投影单元，用于将投影图像投影到投影表面上； 图像捕获单元，用于通过多个成像元件捕获包括投影表面的成像区域的图像； 距离获取单元，基于所述多个成像元件输出的多个图像，获取指示图像捕获单元和成像区域中存在的对象之间距离的距离信息； 输入单元检测单元，基于距离信息，当对象存在于距投影表面预定距离的区域中时，将对象检测为执行关于投影图像的输入操作的输入单元；以及 分析单元，基于输入单元在投影图像上的位置和移动中的至少一个来分析关于投影图像的输入操作。
2.根据权利要求1所述的投影仪装置，还包括 存储单元，用于存储要作为输入单元的候选的对象的特征值；以及候选识别单元，基于从所述多个成像元件的至少一个成像元件输出的图像和特征值，将成像区域中存在的对象识别为要作为输入单元的候选的对象， 其中，所述输入单元检测单元将由候选识别单元识别并且存在于距投影表面预定距离的区域中的对象检测为输入单元。
3.根据权利要求1或2所述的投影仪装置，还包括 移动检测单元，基于从所述多个成像元件中的至少一个成像元件顺序输出的多个图像来检测输入单元的移动， 其中，所述分析单元基于由移动检测单元检测的输入单元的移动来分析关于投影图像的输入操作。
4.根据权利要求1或2所述的投影仪装置，其中， 所述图像捕获单元包括多个透镜，分别在所述多个成像元件上形成成像区域的图像， 所述多个成像元件整体设置在一个基板上，并且 所述多个透镜整体形成并且定位为分别面向所述多个成像元件。
5.一种操作检测方法，在投影仪装置中执行，所述投影仪装置包括用于将投影图像投影到投影表面上的投影单元和用于通过多个成像元件捕获包括投影表面的成像区域的图像的图像捕获单元，所述方法包括 基于所述多个成像元件输出的多个图像，获取指示图像捕获单元和成像区域中存在的对象之间距离的距离信息； 基于距离信息，当对象存在于距投影表面预定距离的区域中时，将对象检测为执行关于投影图像的输入操作的输入单元；以及 基于输入单元在投影图像上的位置和移动中的至少一个来分析关于投影图像的输入操作。
全文摘要
公开了投影仪装置和操作检测方法。该投影仪装置包括投影单元，用于将投影图像投影到投影表面上；图像捕获单元，用于通过成像元件捕获包括投影表面的成像区域的图像；距离获取单元，基于成像元件输出的图像获取指示图像捕获单元和成像区域中存在的对象之间距离的距离信息；输入单元检测单元，基于距离信息，当对象存在于距投影表面预定距离的区域中时，检测对象作为执行关于投影图像的输入操作的输入单元；以及分析单元，基于输入单元在投影图像上的位置和移动中的至少一个分析关于投影图像的输入操作。
文档编号G03B21/14GK103002239SQ20121033699
公开日2013年3月27日 申请日期2012年9月12日 优先权日2011年9月14日
发明者大内田茂 申请人:株式会社理光