图像投影系统、图像处理装置以及图像处理方法与流程

本发明涉及图像投影系统、图像处理装置以及图像处理方法。

背景技术：

投影仪广泛用于会议发表中在屏幕上放大投影静画或动画等影像。而在会议发表时，发表者经常使用有色激光指示器等照射激光，指点投影到屏幕上的影像，用以帮助说明理解，但是，用激光指示器等直接指点影像时，在某些颜色的影像上难以视觉性地辨别激光指示器的照射点(发光点)。对此，目前采用的解决方案是，用CCD(Charge Coupled Device)检测发表者用激光指示器照射的地点，投影该照射地点上的照射点图像等。

在照射地点上投影照射点图像等时，除了用有色激光指示器照射可视光以外，还探讨了红外光等不可视光的照射。至今，尚没有可视光和非可视光照射投影到屏幕上影像时分别检测各自发光点的技术方案，为此，该技术开发目前已成为紧迫的课题。

技术实现要素：

鉴于上述问题，本发明提出以下技术方案，其目的在于提供一种以可视光和非可视光指点投影面部上的投影影像时，能够检测各个发光点，并辨别发光点是可视光还是非可视光，进而在各个发光点上合成固有的合成信息的图像投影系统、图像处理装置以及图像处理方法。

为了解决上述问题，本发明提供一种图像投影系统，其特征在于，具备以下各部：照射部，用于照射可视光和非可视光；投影部，用于在投影面上投影影像；摄像部，用于在规定的时机，拍摄通过所述照射部的照射而在被 投影到所述投影面上的影像上形成的可视光的发光点和非可视光的发光点；辨别部，用于检测通过所述摄像部拍摄得到的摄像图像数据中分别与所述可视光的发光点和所述非可视光的发光点对应的标记，辨别该标记是所述可视光的标记还是所述非可视光的标记；以及，合成部，用于根据所述辨别部检测到的所述可视光的标记和所述非可视光的标记在所述摄像图像数据的图像内的位置，将所述可视光和所述非可视光各自具有的合成信息合成到所述投影部投影的影像上。

本发明的效果在于，在以可视光和非可视光指点投影面部上的投影影像时，能够检测各个发光点，并辨别发光点是可视光还是非可视光，进而在各发光点上合成固有的合成信息。

附图说明

图1是第一实施方式的图像投影系统的整体构成示意图。

图2是投影部的硬件结构示意图。

图3是一例照像机部硬件的内部结构示意图。

图4是一例彩色CCD图像传感器的分光感独特性图。

图5是一体型图像投影装置的一例功能结构模块图。

图6是一例图案图像的示意图。

图7是色轮的一例配色示意图。

图8是表示滤色片与RGB光之间相应关系的示意图。

图9是色轮一周转期间通过的光的投影光色的投影时间段的示意图。

图10是在投影面部上的影像上看到的发光点的状态的示意图。

图11是在对应的空白期间拍摄投影面部上的影像上的发光点时的图像数据的示意图。

图12是一例色轮的转动周期与照相机部的快门时机之间关系(其一)的示意图。

图13是一例色轮的转动周期与照相机部的快门时机之间关系(其二)的示意图。

图14是投影面部的影像上可视光发光点和红外光发光点的拍摄图像的图 像示意图。

图15是一体型图像投影装置的驱动控制部的动作流程图。

图16是一体型图像投影装置涉及的发光点检测处理的各处理部动作流程图。

图17是一例投影到投影面部上的影像和部分图像的合成影像的示意图。

图18是其它图案图像例的示意图。

图19是一例利用应力发光体的投影面部构成示意图。

图20是投影面部发光状态的示意图。

图21是第二实施方式的图像投影系统的整体构成示意图。

图22是投影面部上红外光照射装置50c照射的红外光的通过位置的示意图。

图23是一例一体型图像投影装置的功能结构模块图。

图24是用LED灯点压投影面部的影像上的一点，同时用户用手指触摸另一点发出指示时投影面部状态的示意图。

图25是用照相机部拍摄图24后取得的图像的示意图。

图26是对图像实行RRC处理之后指示标记灰度的一例分布图。

图27是第二实施方式的驱动控制部的动作流程图。

图28是一例被投影到投影面部上的影像与指示器图像的合成影像的示意图。

图29是第二实施方式的变形例1的图像处理部的功能模块图。

图30是部分图像缓冲部保存的帧图像的迁移图。

图31是一体型图像投影装置和与该一体型图像投影装置分开设置的分离型红外光照射装置的外观图。

图32是投影部和照相机部以及红外光照射装置的外观图。

图33是一例投影部和照相机部以及红外光照射装置的布置图。

图34是一例照相机部构成的示意图。

图35是计算机的一例硬件结构模块图。

图36是一例投影部、照相机部(计算机)的功能模块图。

图37是照相机部的动作流程图。

图38是一作为第三实施方式的变形例的投影部、照相机部、以及红外光 照射装置的构成示意图。

具体实施方式

第一实施方式

以下参考附图，详述图像投影系统、图像处理装置以及图像处理方法的实施方式。

图1是第一实施方式的图像投影系统的整体构成示意图。如图1所示的第一方施方式的图像投影系统1包含一体型图像投影装置(图像处理装置)10、第一激光指示器11、第二激光指示器12以及投影面部13。一体型图像投影装置10具备在投影面部13投影静画或动画等影像的投影部10a、以及拍摄供投影部10a投影到投影面部13上的影像的照像机部(摄像部)10b。通过通信从外部PC接受投影部10a投影的影像的影像数据。此外，还可以用保存影像数据的闪存等存储媒体来重放。照像机部10b具有作为摄像元件，可以拍摄可视光区域和非可视光区域的区域图像传感器。区域图像传感器用CCD(Charge Couple Device)或CMOS(Complementary Metal Oxide Semiconductor)等构成。本实施方式中用用红外区域(尤其是近红外区域)来描述。

一体型图线投影装置10还具备未图示的例如操作键以及液晶显示器、或者具有触摸输入方式的液晶显示画面等的显示输入装置。显示输入装置用于下述让用户实行校准用图案图像(参见图6)的指定、各种模态(参见图5)的设定、各种激光指示器11、12的波长区域(红色、绿色、蓝色、黑色等)的指定等。

第一激光指示器11和第二激光指示器12是第一实施方式的两台照射装置的组合例。其中，第一激光指示器11是一例可视光用的照射装置，激光振动发射原色光的红、绿、蓝或这些系统的颜色的光。第二激光指示器12是一例非可视光用的照射装置，激光振动发射红外区域的光(红外光)。这些照射装置以电池驱动，供用户使用。

可以用雾面屏、反射屏、银屏、回归型屏等各种屏幕来作为投影面部13。本实施方式可以用其中任意一种屏幕作为投影面部13。还可以用专用屏幕以外的白璧或地板等取代投影面部13。

图2是投影部10a的硬件结构示意图。如图2所示，投影部10a具备光学系统3a和投影系统3b。光学系统3a包含色轮5、光道6、中继透镜7、平面镜8、凹面镜9。投影部10a中还设有DMD(Digital Micromirror Device)2。

圆盘形色轮5具有多种颜色的滤色片。色轮5通过转动，将例如高压水银灯等光源4发射的白色光转换为RGB各色反复时分割的光后射出。从色轮5射出的光射往光道6。在此，作为色轮5的彩色滤色片，除了RGB各色以外，还可以适当组合RGB各种颜色，在后者的情况下，色轮5将白色光转换为对应各色滤色片的颜色反复时分割的光。关于色轮5，将在以下以适当组合RGB各种颜色构成彩彩色滤色片为例详述。

光道6用玻璃板贴起来构成筒状，将从色轮5射出光引导到中继透镜7。中继透镜7使用两片透镜组合构成，对从光道6射出的光进行轴向色差补偿，同时聚光。平面镜8和凹面镜9反射通过中继透镜7的光，并将光引导到DMD2会聚。

DMD2具有作为像素单位的多个微镜，根据影像数据，以时分割单独驱动各个微镜，将形成影像需要的光反射到投影系统3b。具体为，在光学系统3a中设置OFF光板，该OFF光板用来接受入射DMD2的光中不用来形成影像的光的照射。DMD2根据影像数据，以时分割单独驱动各个微镜的ON/OFF，将入射光中不用来形成影像的光反射到OFF光板一方，而将用来形成影像的光反射到投影系统3b的投影透镜一方。这样，在微小时间(例如毫秒单位级)的时间间隔期间，依次生成RGB各色色版或组合RGB各色形成的各色色版，各束光以时分割入射投影系统3b。

投影系统3b通过投影透镜放大投影入射光。从而各色版的图像便被依次投影到投影面部13上，合成作为视觉影像。

图3是一例照像机部10b硬件的内部结构示意图。如图3所示，照像机部10b具备光学系统部31、彩色CCD图像传感器32、A/D转换部33、快门34等。

光学系统部31是光学透镜群，用于会聚投影面部13的光，被会聚的光在彩色CCD图像传感器32上成像。

彩色CCD图像传感器32是以阵列形状排列RGB各色光传感器(光电二极管等)的区域传感器。具体为，彩色CCD图像传感器32具备以阵列形状排列用来感受可视区域以及红外区域的波长的光的光传感器(二极管等)的拍摄 区域。进而，拍摄区域上具有彩色滤色片，该彩色滤色片以拜尔排列等设置与各光传感器对应的RGB各色滤色片。本实施方式在彩色滤色片中不设阻止红外光通过的红外滤色片，用以让红外光通过。

彩色CCD图像传感器32中，在拍摄区域上成像的投影面部13的光借助于彩色滤色片分光，成为RGB各色光，经过分光的RGB各色光和通过彩色滤色片的红外光一起被光传感器吸收。光传感器将吸收的光转换为电信号后积蓄电荷。而后，在规定时间输出各光传感器的积蓄电荷，在A/D转换部33进行数字转换。据次生成彩色图像数据(彩色数字图像数据)。

图4是一例彩色CCD图像传感器的分光感独特性图。

图4所示的曲线g1显示与彩色滤色片对应的光传感器对于蓝色的感度特性。曲线g2显示与彩色滤色片对应的光传感器对于绿色的感度特性。曲线g3显示与彩色滤色片对应的光传感器对于红色的感度特性。g1、g2、g3各条曲线在可视光区域中对各自对应的颜色的波长显示出高感度。而在此以外的波长中感度相当低。在非可视光区域中，各条曲线在近红外的870nm附近的波长中感度增大。

图3中设照像机部10b为单板式构成，但是本发明不受此限制。例如还可以用设有RGB各色各自的区域传感器的三板式构成。在这种情况下，例如在光学系统部31中设置分光镜等，对入射光分光，将经过分光的RGB各色光分别入射到对应的区域传感器中。另外，除了RGB各色的区域传感器以外还可以进一步设置非可视光用的单色区域传感器。在这种情况下，分色镜中以规定的波长为分界线分为可视光和红外光，并使得红外等光入射单色区域传感器。还可以改变其他构成。

图3所示的快门34是机械快门，其用来调节相对于拍摄区域的各光传感器的曝光时间或曝光时机。快门34在下述驱动控制部22的控制(参见图5)下进行开闭动作，控制拍摄区域内光的通过时间(曝光时间)和通过的时机(曝光时机)。

图5是一体型图像投影装置10的功能结构模块图。如图5所示，一体型图像投影装置10具备影像处理部(包含合成部)21、驱动控制部22、影像信号输入部23、转换系数运算部24、指示标记检测部(辨别部)25、图像处理部26等。

影像处理部21用来输入投影用的影像信号(第一影像信号)，并对每帧第一影像信号实行任意数字图像处理。而后，将数字图像处理后的信号输出到驱动控制部22。影像处理部21中具体实行对比度、明度、色度、色相、RGB增益、强调、缩放等数字图像处理，或对应驱动控制部22的特性的补偿处理等。

影像处理部21还在发生来自图像处理部26的第二影像信号的输入后，将该第二影像信号重叠到第一影像信号上。例如设发生作为第二影像信号的包含规定的部分图像的帧图像的输入。在这种情况下，相对于第一影像信号的输入帧，将第一影像信号的帧图像中包含的部分图像重叠到输入帧的对应位置上用以进行合成。关于合成，例如有将输入帧的对应位置上的RGB信息置换为部分图像的RGB信息，或者，将输入帧对应位置上的RGB信息置换为透射性地显示部分图像的RGB信息，用以保留该对应位置上的RGB信息，等等。

影像处理部21还对每帧重叠后的影像信号(第三影像信号)施加任意上述图像处理，并将经过数字图像处理后的信号输出到驱动控制部22。影像处理部21在下一个部分图像的帧图像输入之前的规定期间内，保持从图像处理部26输入的规定的部分图像的帧图像，将保持的帧图像的部分图像合成到依次输入的作为第一影像信号的输入帧上。

驱动控制部22根据影像处理部21发送的输入信号，决定色轮5、DMD2中的各个微镜、控制光源4的驱动电流的照明电源17、照像机部10b等的驱动条件。例如决定色轮5的转速、DMD2中各微镜的ON/OFF时间点、以及照明电源17的驱动电流的电流值。

进而，驱动控制部22决定照相机部10b的快门34的时间点等。关于快门的时机，其根据色轮5的转动位置信息来决定能够拍摄第一激光指示器11和第二激光指示器12各自的照射光发光点的时间点，对此将在以下详述。

驱动控制部22按照决定的驱动条件，控制色轮5、DMD2、照明电源17、照相机部10b等。通过该控制，基于第一映像信息或第三影响信号的影像从光学系统3a射出后，借助于投影系统3b，放大投影到投影面部13上。照相机部10b在规定时机拍摄被投影到投影面部13上的影像。

进而，在本实施方式中，驱动控制部22还控制校正处理的实行，该矫正处理用来调节用于投影的输出影像与通过照相机部10b拍摄该影像从投影面 部13输入返回的输入图像之间的图像内各位置的位置偏离。具体为，驱动控制部22指示转换系数运算部24实行校正，转换系数运算部24将从内存等读取的图案图像(参见图6)作为第四影像信号，输出到影像处理部21。

图6是一例图案图像的示意图。图6显示黑白图案的图案图像P1。该图案的配色还可以改为例如红白、绿白、蓝白等配色。

驱动控制部22在输入了来自影像处理部21的作为第四影像信号的图案图像P1的帧后，决定该图案图像P1的驱动条件，控制各部的驱动。这样，表示图案图像P1的光像从光学系统3射出后，经由投影系统3b，放大投影到投影面部13。照像机部10b对被投影到投影面部13上的图案图像P1的图像进行拍摄。此外，在校正动作时驱动控制部22在需要照像机部10b拍摄期间，控制图案图像P1的持续投影，进而，在该投影时间内控制照像机部10b的快门34的开闭，用以结束曝光。

实行校正处理的时机可以适当地定为影像投影时、校正模态手动启动时、每次装置启动时、仅限于装置初次启动时、装置出货之前等等。

影像信号输入部23对照像机部10b拍摄的彩色图像数据实行色转换等，转换为RGB。

转换系数运算部24在上述校正时从内存等读取图案图像P1，而后将其作为第四影像信号输出到影像处理部21。而后，转换系数运算部24对比第四影像信号上的图案图像中各格子节点坐标(x，y)和从照像机部10b输入后返回的图像数据上的各格子节点坐标(x′，y′)，计算与格子节点相对位置关系有关的映射转换系数。而后，转换系数运算部24将求出的映射转换系数设为图像处理部26的参数H。参数H用于将第二影像信号(即部分图像)的各格子节点位置调节到第一影像信号的各格子节点位置上。

指示标记检测部(识别部)25用来检测在由影像信号输入部23生成的RGB的各图像数据中、作为规定的指示标记记录下来的可视光或非可视光的激光指示器11和12的各个发光部，即用色信息检测，取得格子的位置坐标{(x1′，y1′)、(x2′，y2′)}。

图像处理部26根据用参数H设定的映射转换系数，将各个指示标记各自的位置坐标{(x1′，y1′)、(x2′，y2′)}补偿为{(x1，y1)、(x2，y2)}。进而，图像处理部26生成用经过补偿后的各个位置{(x1，y1)、(x2， y2)}中互相不同的固有的指示数据(合成信息)所形成的第二影像信息(部分图像)，并输出到影像处理部21。在本实施方式中将用来表示投影面部13上强调显示激光指示器11和12所指的发光部与红外光的发光部的照射点的指示器图像，形成为上述指示数据。例如，以各坐标{(x1，y1)、(x2，y2)}为中心、半径为z个像素大小的圆形数据，作为上述指示数据来形成。此外，还可以将预先登录的指示器图像设置到上述补偿后的位置等，生成第二影像信号等等。

以下描述用指示标记检测部25检测可视光和非可视光的发光部的处理流程。

图7是用七色滤色片构成色轮5时一例配色的示意图。在此显示一例具备Cy-W-R-M-Y-G-B七种颜色的滤色片。该色轮5除了RGB各色以外，还具备适当组合RGB得到的各种颜色的滤色片。图中的色轮5反时针转动，光源4发射的白色光按照Red片段、Magenta片段、Yellow片段的顺序，依次通过滤色片。

图8是表示七色滤色片与通过各个滤色片后的RGB光之间的相应关系的示意图。图8的实线箭头表示通过滤色片的通过颜色。例如七个滤色片内Red片段可以让红光透射，但限制绿光以及蓝光透过。二元色的青色片段可以让绿光和蓝光透射，但限制红光透过。而三元色的白色片段，可以让红光、绿光、蓝光所有都透射。关于其他各色的滤色片如图所示，在此不再一一描述。

图9是色轮5一周转期间通过各色片段后投影的光的颜色(投影光色)的投影时间段的示意图。图中以实线箭头表示的时间段(对应时间段)是，在该期间通过的色轮5中对应片段所投影的投影光色的投影时间段。以绿色投影光色为例，绿色投影光色的光通过的片段如图8所示，为黄色片段、绿色片段、青色片段以及白色片段。为此如图9所示，在黄色片段和绿色片段的连续期间之后，隔开一定期间，接下来为青色片段和白色片段的连续期间，在这些连续期间投影的绿色光为投影光色。

另一方面，图中以虚线箭头表示期间是投影光色中不包含对应颜色光的空白期间。上述绿色光对应的空白期间是以时间段B的虚线箭头表示的期间。正如图8所示，绿色投影光色未能透过红色片段、洋红色片段、以及蓝色片段上。为此，如图9所示，红色片段、洋红色片段、以及蓝色片段所对应的期间为绿色空白期间，投影光色中不包含绿色光。为此，在绿色空白期间中投影 面部13上形成不使用绿色版的影像。换言之，在投影面部13上照射第一激光指示器11，例如形成绿色发光点时，在时间段B的空白期间中如果检测到绿色光，则可以确定检测到的光是第一激光指示器11的发光点。

关于上述确定发光点，将在以下图10至图14中进一步详述。

图10是在被投影到投影面部13的某个影像上照射第一激光指示器11的红光、绿光、蓝光时，观察者在投影面部13上看到的发光点的示意图。图10显示发光点出现的位置附近影像为例如黑色、红色、绿色、蓝色、白色的情况下，各色发光点的显示方式。在此，黑色是在不照射光的情况下与周围的灰度之差所表现的黑色。如图所示，影像颜色为黑色时，人的眼睛能够识别第一激光指示器11的各种颜色的发光点，但是，如果影像颜色不是黑色而是其他颜色，则难以识别发光点。

图11是在被投影到投影面部13的某个影像上照射第一激光指示器11的红光、绿光、蓝光时，在空白期间(时间段A、B、C)照相机部10b拍摄该投影面部13时的图像数据。首先，图11中“时间段A红光拍摄图像”显示的第一色版图像数据G1是在时间段A(参见图9)的空白期间拍摄投影面部13得到的红色图像数据。第一色版图像数据(红光图像数据)G1的下面显示的“黑 红 绿 蓝 白”表示投影面部13的影像颜色。

在时间段A的空白期间中，如上所述，投影面部13上没有投影红色版影像。为此，拍摄的第一色版图像数据(红色图像数据)G1中，表示被用来作为该图中打点表示的第一激光指示器11的红色发光点的指示标记不受此时投影影像的影像浮现到背景上。影像颜色为红色的位置，虽然没有红色版投影，但是为了与其他色版图像数据G2和G3对比，以浮现的发光点来显示。本实施方式中检测从背景上浮现的指示标记，将该检测到的指示标记确定为第一激光指示器11的红色发光点。

第一色版图像数据(红色图像数据)G1虽然在该图中以单色显示色调，但是是用红色来作色调显示。发光点与背景之间，发光点的灰度高，背景的灰度低。

其次，图11中“时间段B绿光拍摄图像”显示的第二色版图像数据G2是在时间段B(参见图9)的空白期间拍摄投影面部13得到的绿色图像数据。绿色图像数据与红色图像数据相同，即在时间段B的空白期间，投影面部13上没 有投影绿色版影像。为此，拍摄的第二色版图像数据(绿色图像数据)G2中，表示被用来作为该图中打点表示的第一激光指示器11的绿色发光点的指示标记不受此时投影影像的影像浮现到背景上。影像颜色为绿色的位置，虽然没有绿色版投影，但是为了与其他色版图像数据G1和G3对比，以浮现的发光点来显示。本实施方式中检测从背景上浮现的指示标记，将该检测到的指示标记确定为第一激光指示器11的绿色发光点。

再次，图11中“时间段B蓝光拍摄图像”显示的第三色版图像数据G3是在时间段C(参见图9)的空白期间拍摄投影面部13得到的蓝色图像数据。蓝色图像数据与红色图像数据以及绿色图像数据相同，在此不再反复描述，总之，本实施方式中检测从背景上浮现的指示标记，将该检测到的指示标记确定为第一激光指示器11的蓝色发光点。

如上所述，在检测第一激光指示器11照射投影面部13的影像所形成的发光点时，本实施方式从该发光点对应的投影光色的空白期间拍摄的该色版图像数据中检测。

另一方面，关于第二激光指示器12照射投影面部13形成的红外光的发光点，照像机部10b的红色、绿色、蓝色的所有各色光传感器除了各对应颜色以外，还能够感受非可视光区域中的红外光。为此，红外光的发光点可以从RGB所有各色的任意空白期间拍摄的RGB各色版的图像数据中检测到。

以下描述色轮5的转动周期与照相机部10b的快门时机之间的关系。图12和图13是一例色轮5的转动周期与照相机部10b的快门时机之间关系的示意图。在此，设定色轮5以120Hz的周期转动，照相机部10b以30Hz的周期生成拍摄图像数据。

图12是激光指示器在投影面部上形成绿色(或绿色系统的颜色)发光点时，照相机部10b的快门时间段的一例(例1)示意图。该图中的时间段B对应图9所示的绿光的空白期间(对应红色片段和洋红色片段的期间的时间段B)。时间段C对应图9所示的蓝光的空白期间(对应黄色片段和绿色片段的期间的时间段C)。时间段A对应图9所示的红光的空白期间(对应蓝色片段和青色片段的期间的时间段A)。时间段D对应没有空白期间的白色片段的期间。

驱动控制部22在图12所示的时间段B，向照相机部10b输出的快门34开闭动作的控制信号。具体如下，驱动控制部22在进入时间段B后向照相机部10b 输出快门34的打开控制信号，并在时间段B结束之前向照相机部10b输出快门34的关闭控制信号。在本例中，色轮5枚转动四次，照像机部10b输出一次摄像图像数据，为此，在照相机部10b各周期中的色轮5第二转的时间段B，驱动控制部22发送快门34的开闭控制信号。

这样，照像机部10b如图12的照相机部的周期所示，将时间段B作为曝光时间，色轮5每转动四次，便输出一张彩色图像数据。通过观察其中的绿光图像数据，便能够检测到第一激光指示器11的绿光的发光点。第二激光指示器12照射投影面部13形成红外光时，也可以从上述绿光图像数据中检测到红外光的发光点。

图13是激光指示器在投影面部上形成绿色(或绿色系统的颜色)发光点时照相机部10b的快门时机的一例(例2)示意图。

驱动控制部22在图13所示的各个期间向照相机部10b输出控制照相机部10b的快门34开闭动作的控制信号。具体如下，在照相机的动作周期的第一个周期中的时间段B内，向照相机部10b输出开闭动作的控制信号。这样照相机部10b以时间段B为曝光时间，在第一个周期中输出一张彩色图像数据。根据被输出的彩色图像数据，通过观察其中的绿光图像数据，能够检测到第一激光指示器11的绿色发光点。第二激光指示器12照射投影面部13形成红外光发光点时，也能够从上述绿色图像数据中检测到红外光的发光点。

在接下来的第二周期中，驱动控制部22在时间段C内，向照相机部10b输出开闭动作的控制信号。这样照相机部10b以时间段C为曝光时间，在第二个周期中再输出一张彩色图像数据。根据被输出的彩色图像数据，通过观察其中的蓝光图像数据，能够检测到红外光的发光点。

在接下拉的第三周期中，驱动控制部22在时间段A内，向照相机部10b输出开闭动作的控制信号。这样照相机部10b以时间段A为曝光时间，在第三个周期中进一步输出一张彩色图像数据。根据被输出的彩色图像数据，通过观察其中的红光图像数据，能够检测到红外光的发光点。

第四个周期之后也一样，照相机部10b依次反复实行上述时间段B、时间段C、时间段A的快门34的开闭动作，反复输出彩色图像数据。

通过如上所述地观察得到的彩色图像数据，从第一个周期的绿光图像数据获得第一激光指示器11的绿色发光点。另外，第二激光指示器12在投影面 部13上照射红外光时，可以从第一个周期至第三个周期的图像数据检测到红外光发光点。

以上显示了一例第一激光指示器11的绿色发光点的检测，而对于其他颜色，也可以进行同样的检测。例如，当发光点为红色发光点时，以第三周期中的时间段A为曝光时间，可以通过观察输出的彩色图像数据中的红色图像数据来检测。而当发光点为蓝色发光点时，以第二周期中的时间段C为曝光时间，可以通过观察输出的彩色图像数据中的蓝色图像数据来检测。关于红外光，也同样可以以各个期间为曝光时间，从输出的彩色图像数据来检测。

可以通过例如设置传感器，检测色轮5本身转动指标的黑色贴纸和色轮5的支持体上的黑色贴纸等实现色轮5的转动与快门时机之间的同步。此时，驱动控制部22从传感器取得检测到黑色贴纸的时间，输出快门开闭的控制信号。

以下描述指示标记检测部25的可视光发光点和非可视光(以红外光为例)发光点的检测处理。

图14是投影面部13的影像上同时形成可视光发光点和红外光发光点时拍摄到的图像的图像示意图。在此以可视光发光点为绿色发光点为例。

图14所示的图象G11是以照相机动作周期的第一个周期的时间段B(参见图12)为曝光时间拍摄的彩色图像数据的绿色版的图像数据。图像G12是以照相机动作周期的第二个周期的时间段C为曝光时间拍摄的彩色图像数据的蓝版的图像数据。图像G10是以照相机动作周期的第三个周期的时间段A为曝光时间拍摄的彩色图像数据的红色版的图像数据。该图中的亮部分表示灰度较高部分，暗部分表示灰度较低部分。

图14的图像G10至G12均含有在各图像中的位置大致相同且形状也大致相同的指示标记M1，该指示标记为灰度较高区域。指示标记检测部25用来检测该指示标记M1。例如，指示标记检测部25从作为图像G10至G12表示各色版的图像数据中，提取灰度超过规定阈值的区域，并对各位置进行相互比较。而后，指示标记检测部25在各区域的位置的一致程度超过规定水平时，确定该提取的区域为表示红外光发光点的指示标记的区域。

图14中图像G11显示的是绿色版图像数据，该图像数据中除了表示灰度较高区域的指示标记M1以外，还包含指示标记M2。指示标记检测部25进一步检测该指示标记M2。例如，指示标记检测部25从图像G11表示的绿色版图 像数据提取灰度超过规定阈值的区域。而后，确定该提取区域内指示标记M1以外的区域为表示绿色发光点的指示标记M2的区域。如此通过使用色版的图像，即使用色信息，确定图像数据中的红色发光点和绿色发光点。

在图14所示的例子中，将灰度较高区域作为指示标记的区域来检测，并将RGB各色版的图像数据各自包含的指示标记辨别为表示非可视光(本例中为红外光)的发光点的指示标记M1。此外，还将同一色版(本例中为绿色版)中包含的指示标记辨别为表示可视光(本例中为绿色光)发光点的指示标记M2。但是，通过照射装置照射形成的图像数据上可视光和非可视光的辨别方法并不限于此。

例如，在通过提取灰度较高区域来检测指示标记之后，也可以比较个指示标记的形状，从而辨别可视光发光点和非可视光发光点。在这种情况下，只需要用同一色版便能够确定可视光发光点和非可视光发光点。此时设定预先登录可视光发光点的形状和非可视光发光点的形状。另外，使用发光点形状能够互相区别的激光指示器。例如，一方的发光点形状为小圆形，另一方的发光点形状为大圆形，或者一方的发光点形状为圆形，另一方的发光点形状为星形，使得互相形状不同。

这样，指示标记检测部25检测影像信号输入部23生成的RGB各图像数据中，作为指示标记保存的发光部。而后取得各自的位置坐标{(x1′，y1′)、(x2′，y2′)}。位置坐标例如为表示指示标记的区域中心位置的坐标等。

图像处理部26用设定为参数H的映射转换系数，将各指示标记的位置坐标{(x1′，y1′)、(x2′，y2′)}补偿为{(x1，y1)、(x2，y2)}。进而，图像处理部26生成用来形成与补偿后的位置{(x1，y1)、(x2，y2)}不同的指示数据(指示器图像等)的帧图像，并将该帧图像送往第二影像信号(部分图像)作为影像处理部21。

上述用同一色版来确定是可视光发光点还是非可视光发光点，这相比于用三个色版来确定，能够用较短的周期来向影像处理部21提供部分图像。

以下描述一体型图像投影装置10的动作。

在此展示一例在启动后影像重放时实行矫正动作的一体型图像投影装置10的整体动作。此时用同一色版来进行可视光发光点和非可视光发光点的确定(参见图12)。

图15是一体型图像投影装置10的驱动控制部22的动作流程图。

在图15所示的处理中，用一帧单位来处理影像信号。首先，驱动控制部22投影从影像处理部21输出的影像信号(第一影像信号)(步骤S101)。具体为，驱动控制部22通过控制色轮5的转动以及DMD2的微镜等，将从输入I/F输入并由影像处理部21输出的一帧第一影像信号投影到投影面部13。如果是动画，则设第一影像信号的前端几个帧为空帧等，不包含在本影像中。

其次，驱动控制部22判断是否是发光点检测模态(步骤S102)。发光点检测模态是指用第一激光指示器11(或第二激光指示器12)等照射装置光照射投影面部13，检测可视光发光或非可视光发光点的模态。关于发光点检测模态的设定，例如，用户通过主机装置的操作画面(未图示)等预设用于指定照射装置的发光色或实行该模态的旗等。驱动控制部22读取该旗的设定等，启动发光点检测模态。如果判断不是发光点检测模态(步骤S102的否)，则返回步骤S101，从第二帧开始依次投影第一映像信号。

另一方面，如果判断是发光点检测模态(步骤S102的是)，则驱动控制部22判断是否是初始设定模态(步骤S103)。初始设定模态是指，在未设定参数H的情况下计算映射转换系数的运算处理，是在最初启动发光点检测模态时等实行的处理，预先用旗等来设定。判断是否实行处理设定模态也可以用其他方法。例如用计时器等(未图示)根据计时信息判断映射转换系数设定之后是否经过一定时间，在经过一定时间的情况下实行处理设定模态。另外还可以从传感器的输出值等读取设置环境是否变化，并在设置环境发生变化的情况下，实行初始设定模态。

在此，如果判断是初始设定模态(步骤S103的是)，则驱动控制部22驱动DMD2等，投影映射转换用图案图像P1(参见图6)(步骤S104)。具体为，停止本例中来自影像处理部21的第二帧第一影像信号的转送后，驱动控制部22向转换系数运算部24发出读取图案图像P1的指示。转换系数运算部24从内存中读取指定的图案图像P1，并将该图案图像P1作为第四影像信号，帧输出到影像处理部。而后，驱动控制部22通过色轮5的转动以及DMD2的微镜等的控制，在一定期间(投影所需时间)将图案图像P1投影到投影面部13上。

其次，驱动控制部22控制照相机部10b的驱动，让照相机部10b拍摄投影到摄影表面13上的图案图像P1的图像(步骤S105)。这样，照相机部10b输出彩 色图像数据，该彩色图像数据在影像信号输入部23被转换为RGB各色。

其次，转换系数运算部24对比图案图像P1的图像数据和RGB的图像数据，计算映射转换系数，而后将求出的值设定为图像处理部26的参数H(步骤S106)。在本例中，转换系数运算部24在对参数H设定值后，向影像处理部21输出重新开始信号，重新开始被停止的第一映像信号的传送。

如上所述，在结束校正动作后，接下来第二帧之后的处理中实行如下投影动作。

首先，驱动控制部22将第一影像信号的第二帧投影到投影面部13上(步骤S101)。

其次，在步骤S102(判断为是)和步骤S103(判断为否)之后，驱动控制部22判断色轮5的转动次数K(K为正的整数)是否是规定值的倍数(步骤S107)。例如，色轮5每转动一周，计数器等便进行计数等来取得色轮5的转动次数K。在此，设定计数器的转动次数K的默认值为4。进而设色轮5的转动顺序为红色、洋红色、黄色、、、、、、(参见图9)，红色位置从传感器的输出开始检测。

在步骤S107，初次转动次数K的值为默认值4，为此，判断为是。此后，驱动控制部22在规定的时间点向照相机部10b输出快门开闭动作控制信号(步骤S108)。对于快门的时间点，由驱动控制部22根据用户U通过主机装置的操作画面等设定的照射装置的发光色(红色、绿色、蓝色、红外灯)来调节。

例如，用户U通过主机装置的操作画面等设定照射装置的发光色为绿色和红外。此时，在图12所示的例子中，向照相机部10b输出色轮5的第二周期(影像的第二帧)的时间段B内的快门开闭动作控制信号。这样，照相机部10b在时间段B内对拍摄区域曝光投影面部13的光。

在步骤S108的处理之后，驱动控制部22将转动次数K的值升值加1(步骤S109)。即将此时的转动次数K的值从4增加到5。步骤S109的处理之后，返回步骤S101，驱动控制部22在投影面部13上投影第一影像信号的第三帧。

在第三帧的周期中，步骤S107中的转动次数K为5，不是4的倍数，因而S107的判断为否，在步骤S109中提升转动次数的值加1后，返回步骤S101。在步骤S101中，驱动控制部在投影面部13上投影第一影像信号的第四帧。

第四帧的周期以及之后的第五帧的周期中，转动次数K为6和7，也不是4 的倍数，因而与第三帧的周期相同，S107的判断为否。

在第六帧的周期中，转动次数K的值是8，成为4的倍数，在步骤S107判断为是。为此，驱动控制部22在时间段B，向照相机部10b输出快门开闭动作控制信号(步骤S108)。该动作对应图12所示的例子中色轮4的第六周期(第六帧影像)的时间段B。

此后相同，反复实行步骤S101至步骤S103以及步骤S107至步骤S109，驱动控制部22每隔四帧，便在时间段B向照相机部10b输出控制信号。

以上所示处理在步骤S101完成了需要投影的影像信号等情况下结束。

时间段B中的控制信号输出之后，可以通过影像处理部21输入在第一影像信号上重叠第二影像信号(部分图像)的第三影像信号。为此，在步骤S101，驱动控制部22在投影面部13上投影在第一影像信号上重叠第二影像信号的第三影像信号。关于该处理将在以下详述。

图16是一体型图像投影装置10涉及的发光点检测处理的各处理部动作流程图。

首先，照相机部10b将时间段B作为曝光时间，每隔色轮5转动4个周期，便输出一次生成了的彩色图像数据(S110)。照相机部10b输出的彩色图像数据在影像信号输入部23中转换为RGB图像数据，该RGB图像数据被输入指示标记检测部25。

其次，指示标记检测部25以RGB图像数据的绿色版图像数据为对象，检测绿色发光点和红外光发光点(步骤S111)。在该检测中指示标记检测部25首先提取灰度高区域，确定两个指示标记的区域。而后对比登录了的形状图案和指示标记的形状图案。例如，登录了的绿色发光点的指示标记为小圆形，红外发光点的指示标记为大圆形。在这种情况下，通过比较两个经过确定的指示标记的半径来辨别，将半径较小一方为表示绿色发光点的指示标记，而将另一方作为表示红外光发光点的指示标记。而后，指示标记检测部25向图像处理部26输出个指示标记的位置，例如表示各自重心坐标的数据。

其次，图像处理部26用参数H将重心坐标补偿到第一影像信号上的对应位置上(步骤S112)。而后，图像处理部26生成各补偿位置上作为规定数据(部分图像)的指示器图像等帧图像，并将该帧图像作为第二影像信号输出到影像处理部21(步骤S113)。

而后，影像处理部21在继第一影像信号之后规定数量的输入帧上合成第二影像信号的部分图像，并将合成之后的帧图像作为第三影像信号输出到驱动控制部22(步骤S114)。在此描述中为合成的数量与后续的规定输入帧数量相同，而这样的处理是考虑到，投影一方与拍摄一方之间的帧速之差造成未能对一部分帧生成部分图像。本例中由于这些帧的插值，在之后输入的帧上合成部分图像。这样便能够通过驱动控制部22连续投影第三影像信号，在投影面部13上平滑地显示各发光点的指示器图像等。但是如果没有投影一方与拍摄一方之间的帧速之差，便不受此限制。在这种情况下，不会发生未生成部分图像的帧，也不需要进行插值。

图17是一例投影到投影面部13上的影像和部分图像的合成影像的示意图。其中，图17的(a)图是将指示器合成到投影面部13上的红外光发光点上的状态的示意图。在图17的(a)图中，合成表示箭头的图像Q1，用以作为指示器图像。图17的(b)图在(a)图所示状态的基础上，进一步用第一激光指示器11照射绿色光，此时将指示器图像合成到绿色发光点上。在图17的(b)图中，将指示器的放大图像Q2合成到绿色发光点上，用以作为指示器图像。

如上所述，在投影影像的投影面部上照射可视光和非可视光的激光指示器等时，能够辨别各个发光部是可视光发光部还是非可视光发光部，并将各自的发光部分别重叠到不同的部分图像上。为此，可以分别使用可视光和非可视光的激光指示器。本实施方式显示了合成作为指示数据的箭头图像以及指示器放大图像等指示器图像的例子，但是本发明并不受此限制，还可以合成例如放大其位置的影像的图像等。

以上的例示了同时在投影面部上照射可视光和非可视光的情况，但是该情况只是一个例子。而在一般情况下大多为分别使用可视光和非可视光。本系统在分别使用的情况下，当然也能够确定使用的光的种类，并在发光点位置上合成与该光对应的部分图像。

本实施方式用黑白矩形图案的图案图像P1(参见图6)作为一例图案图像，对此，可以适当地改变图案图像的图案或颜色等。

图18是其它图案图像例的示意图。图18的(a)、(b)图分别显示两例图案图像。使用图18的(a)所示的图案图像时，如果没有环境光造成的外部散乱，则能够获得精度更高的正确的坐标。使用图18的(b)所示的图案图像 时，即使存在映射变形，也可以投影该图案图像形成投影图像，将该投影图像中的圆的重心作为坐标位置，由此获得在一定程度上相对正确的坐标。

第一实施方式的变形例

第一实施方式的变形例显示一例用投影面部上设置的应力发光体形成可视光发光点和非可视光发光点的其中一方。

图19是一例利用应力发光体(基于应力发光)的投影面部构成示意图。图19所示的投影面部130是以基体部件131、应力发光体132、保护部件133构成的三层结构层积体。该投影面部130中，基体部件31上设置受力后发光的应力发光体132，在应力发光体132之上覆盖透明的保护部件133，用来保护应力发光体132的暴露面。投影面部130以保护部件133一侧为投影面。选择具有与通过照相机部10b拍摄来检测作为指示标记的光具有相同种类波长的物体作为应力发光体132。例如选择具有红色、绿色、蓝色、红外等各种规定波长区域的应力发光体。

图20是投影面部130发光状态的示意图。如图20所示，用户U用手指(或指示杆等)按动投影面部130表面，应力发光体(参见图19)受力发光。与激光指示器的发光点的检测相同，该发光点通过照相机10b(参见图1)拍摄、图像处理等来检测。

利用应力发光体的投影面部的结构并不受到上述限制。只要是投影面部受力后发光的应力发光体便可，可以适当改变其结构。例如用一对基板夹持应力发光体132的结构。

如上所述，第一实施方式以及变形例显示了用两个激光指示器的例以及将一方的激光指示器的其中一方改为应力发光体的例。但是实际上只要是能够在投影面部上形成可视光发光点和非可视光发光点的其他任何形态均可以作为使用。

例如，可以用LED灯之类没有激光振动的LED发光装置作为照射装置使用。在这种情况下，LED相比于激光，光的直线性较差，而且容易发散，因此，使用在投影面上直接接触发光部等来使用。这样，投影面部上形成发光部，因而能够检测照相机部检测到的发光点。

还可以用激光指示器或LED灯来形成一方的发光点，用反射或散乱光形成另一方发光点。例如组合光照射投影面部上全部范围的照射装置。这种情 况下，用户用手指或指示杆等在投影面部上发出指示后，照射装置的光照射到手指或指示杆等上发生发射或散乱。照相机部拍摄该反射或散乱光，作为发光点来检测。

以上所示的形成发光点的各种部件装置还可以适当组合后使用。

进而还可以交换各种装置和使用的光(可视光和非可视光)之间的关系。例如用非可视光作为照射投影面部上全部范围的照射装置的光，而用可视光作为另一方的激光指示器等的光来构成，这样，全范围的照射装置使用非可视光，激光指示器等使用可视光等，交换使用的光的关系。

本实施方式显示一体型图像投影装置，但是本发明不受此限制。可以适当地将功能分给其他的装置。例如，可以构成为将影像的投影部和通过图像处理把部分图像(指示器图像等)输出到投影部的处理部分给互相分开的装置。

可以配合用途对一体型、分离型图像投影装置的大小作适当改动。例如根据用途在面向公司的大型装置到面向个人的小型装置之间适当改动。另为还适用于大小为能够单手掌握的智能手机等小型投影仪。

第一实施方式显示了在图像投影装置中使用色轮来时分割投影构成影像的各种色版的帧，但是，本发明并不受到时分割投影各色版的帧的限制。例如，设置RGB各色LED，对RGB各色的LED时分割后照射DMD，从而构成为时分割投影能够各色版的帧。

第二实施方式

第一实施方式显示用两个激光指示器作为照射装置，在投影面部上形成可视光和非可视光的发光点。对此，在第二实施方式中展示的形态为，用LED灯作为形成可视光发光点的照射装置，并用在投影面部全部范围照射非可视光的照射装置作为形成非可视光发光点的照射装置。关于第二实施方式的图像投影系统中与第一实施方式的图像投影系统重复的部分，省略图示及描述，主要针对与第一实施方式的图像投影系统不同的部分详述。

图21是第二实施方式的图像投影系统的整体构成示意图。图21所示的第二实施方式的图像投影系统100包含一体型图像投影装置(图像处理装置)50、LED灯51、以及投影面部13。

一体型图像投影装置50是具有人能够单手携带大小的携带型图像投影装 置。一体型图像投影装置50具备与第一实施方式所显示的投影部10a和照相机部10b功能结构相同的小型投影部50a以及照相机部50b。除此之外，还具备红外光照射装置(非可是光照射部)50c，用来向投影面部13的所有范围照射非可视光(本例中为红外光)。投影部50a和照相机部50b的具体构成与第一实施方式所示结构大致相同，为此适当省略描述，主要说明红外光照射装置50c和LED灯51的结构等。

如图21所示的红外光照射装置50c被设置在一体型图像投影装置50下方。一体型图像投影装置50使用时在该图所示的投影面部13的水平面上将红外光照射装置50c接地使用。照相机部50b倾斜，用以在该状态下拍摄投影面部13。此外本例中设照相机部50b的角度固定，但是也可以在投影部50a的上表面设置可动部，用以自由改变照相机部50b的角度，该可动部也可以固定在照相机部50b上。可动部可以构成为，例如用来使得照相机部50b转动。

红外光照射装置50c从照射窗向投影面部13一方照射红外光。例如，相对于投影面部13平行地照射作为上述红外光的红外区域激光，用以使得红外区域激光能够通过距离投影面部13上方一定高度，用激光线扫描投影面部13上方如图21所示的红外光照射范围E。

LED灯51是电池驱动的可视光炮弹型LED，前端部510的附近具备LED。用户将LED灯51的前端部510按到投影面部13上，从而接通电源开关，前端部510附近的LED点灯。前端部510上设有透射部，用于让红外光通过。在此，例如可以用透明玻璃或透明塑料等透明体作为透射部材料。LED点灯后从透射部放出LED光，因而透射部起到发光部作用。

图22是在投影面部13上用LED灯51时红外光照射装置50c照射的红外光的通过位置的示意图。图22的(a)图显示投影面部13的侧视图，在投影面部13上沿着箭头Y1方向按压LED灯51，使得LED发光。

如该图所示，将红外光照射装置50c照射的红外光(该图的虚线箭头Y2)通过投影面部13上的位置设为在LED等51的前端部510的透明体510a的范围H以内(H＞0)。换言之，在红外光照射装置50c照射的红外光照射范围(图21中的红外光照射范围E)中，将投影面部13的垂直方向的照射位置J限制在范围H以内(右旋照射位置J＜＜范围H)。这样，即使用户将LED灯51照射到投影面部13上，LED发光指出其位置的情况下，红外光照射装置50c发出的红外 光也通过LED灯51。为此，红外光照射装置50c照射的红外光(该图的虚线箭头Y2)在LED等51中受到反射或散乱，这样，便能够抑制形成具有规定水平以上的灰度值的发光点。

图22的(b)图是一例用手指触摸投影面部13作为指示方式，来取代图22的(a)所示的LED灯51。如该图所示，红外光(该图中的虚线箭头Y2)在手指U1的位置反射、吸收、散乱，在挡住红外光的手指U1的位置上形成红外光发光点。优选红外光的照射位置接近用户用手指在投影面部13上触摸时手指U1的前端。例如设定在手指U1前端与第一关节之间以内、手指U1的指甲U2的位置等。在图22的(b)图所示例子中将红外光的照射位置设定为手指U1的指甲U2的位置上。

图23是一体型图像投影装置50的功能结构模块图。如图23所示，一体型图像投影装置50在第一实施方式所示的模块结构(参见图5)上进一步具备红外光扫描部60。并具备驱动控制部61以及指示标记检测部62。

红外光扫描部60按照驱动控制部61的照射指令，启动红外光照射装置50c，用红外光照射投影面部13。本例控制红外光照射范围，使得照射光在红外光照射范围E以内扫描。

在此描述第二实施方式的指示标记检测部62区别可视光发光点和非可视光发光点(本例中为红外光)的方法。

图24是用LED等51点压投影面部13的影像上的一点，同时用户用手指触摸另一点发出指示时投影面部13状态的示意图。换言之，图24所示的例子表示可视光和非可视光的红外光同时在投影面部13上发光时的图案的示意图。以下详述将LED等51的发光点设为绿色时LED等51的发光点和用户手指的发光点的检测处理。

图25是用照相机部10b拍摄图24状态后从照相机部50取得的图像的示意图。图25所示图像中的G20、G21、G22用与第一实施方式中图像G10、G11、G12(参见图14)相同方法取得。也就是说，各图像G20、G21、G22分别是以图13所示的彩色照相机周期表示的时间点曝光的图像。具体来说，图像G21是照相机部50b在时间段B曝光输出的绿色版的图像数据。图像G22是照相机部50b在时间段C曝光输出的蓝色版的图像数据。图像G20是照相机部50b在时间段A曝光输出的红色版的图像数据。该图中亮部分表示灰度较高部分，按 部分表示灰度较低部分。

图25中，在图像G20至G22各个图像上大致相同的位置上具有高灰度区域，该高灰度区域为具有手指(或指甲)特征的弯月形指示标记M20。另外，作为图25的图像G21表示的绿色版图像数据中的高灰度区域，除了指示标记M2以外，还包含LED灯51的圆型指示标记M21。指示标记检测部62根据灰度差检测这些指示标记M20和M21，进而辨别这些指示标记分别为可视光指示标记和非可视光指示标记。各个指示标记M20和M21的辨别方法已在第一实施方式中描述，在此显示能够用一版来检测并辨别指示标记G20和G21的像素灰度图案的方法。作为一例，在此显示利用RRC(Radial Reach Corrilation)处理的辨别方法，从图像数据内瞩目像素出发，调查8个方向的灰度差，用以识别形状。

图26是对绿色版的图像G21实行RRC处理之后的指示标记灰度分布图。其中(a)图是LED灯51形成的发光点的指示标记M21的灰度分布图，(b)是用户的手指形成的发光点的指示标记M20的灰度分布图。对比(a)图和(b)图可知，圆形指示标记M21和弯月形指示标记M20的灰度分布有所不同。

指示标记检测部62对经由影像信号输入部23输入的绿色版图像数据(图25的G21)实行RRC处理。而后根据图26的(a)图和(b)图所示的灰度分布，辨别LED灯51的指示标记M21和用户手指的指示标记M20。

具体为，指示标记检测部62首先根据绿色版图像数据，设定注目像素(m210、m200)，从注目像素开始，调查八个放射形方向上的像素的灰度，并从注目像素附近出发，依次求出注目像素与各像素之间的灰度差。而后，对于灰度差小于规定阈值的像素(m211、m201)，求出下一个像素的灰度差，而对于灰度差大于规定阈值的像素(m212、m202)，将到该像素为止的放射形像素群的排列图案作为指示标记的候补。指示标记检测部62对绿色版图像数据中的各个像素实行该处理，生成多个指示标记的候补。进而，指示标记检测部62计算成为候补的像素群的排列图案(即放射形灰度分布)的标准偏差。

例如，在LED灯51的情况下，指示标记大多为圆形或椭圆形，因此，其灰度分布如图26的(a)图所示，八个方向上的长度大致均等。另一方面，在手指的情况下，指示标记为弯月形，如图26的(b)所示，八个方向上的长度 各有独特的偏差。用标准偏差的值来求出这些特征。

而后，指示标记检测部62根据标准偏差值，求出LED灯51的指示标记M21和用户手指的指示标记M20之间的类似度，用以辨别该两者。关于类似度的计算，例如可以预先在内存中保存多个LED灯51的指示标记M21和用户手指的指示标记M20的图案的图像数据(绿色版)，而后指示标记检测部62用这些图像数据求出标准偏差值，再基于这些标准偏差的值求出类似度。这样，指示标记检测部62向图像处理部26输出被作为指示标记M20和M21确认到的各个像素群的注目像素的位置坐标{(x1′，y1′)，(x2′，y2′)}等。

图像处理部26如第一实施方式所述，用被设定为参数H的映射转换系数，将各个指示标记的位置坐标{(x1′，y1′)，(x2′，y2′)}补偿为{(x1，y1)，(x2，y2)}。进而，图像处理部26生成用于形成与补偿后的位置{(x1，y1)，(x2，y2)}不同的指示数据所构成的帧图像，并将该帧图像作为第二影像信号输出到影像处理部21。

图27是第二实施方式的驱动控制部61的动作流程图。本动作流程图中一部分流程与第一实施方式的驱动控制部22的动作流程(参见图15)重复。在此省略重复部分的描述，着重说明不同的部分。

第二实施方式的驱动控制部61的动作流程中，驱动控制部61在步骤S103判断为否之后，判断红外光照射装置50c的启动状态(步骤S200)。如果红外光照射装置50c处于停止状态(步骤S200的否)，则驱动控制部61向红外光扫描部60输出照射指令(步骤S201)。据此，启动红外光照射装置50c，开始投影面部13上的红外光扫描。

在步骤S201的处理后，移动到步骤S200，之后的周期中由于红外光照射装置50c已经启动(步骤S200的是)，因而进入步骤S107的处理，开始照相机部50b在投影面部13上的拍摄。即当照相机部50b开始在投影面部13上拍摄时，红外光照射装置50c发射的红外光已经在投影面部13上扫描。通过该红外光的扫描，用户用手指在投影面部13上发出指示时便会挡住红外光，指示标记检测部62便能够检测到手指上的发光点。而后，在影像中的指示标记的位置上合成指示器图像等。

关于红外光照射装置50c的停止，例如在步骤S101中影像信号结束之际等根据驱动控制部61输出的停止红外光扫描部60的指令等实施。

图28是一例被投影到投影面部13上的影像与指示器图像的合成影像的示意图。在图28所示的例子显示形成的图像Q1和图像Q2，图像Q1是表示作为手指发光点上合成图像的箭头，图像Q2是绿色发光点上作为合成图像的指示器放大图像。用户在投影面部13上移动手指U1或LED灯51后，表示箭头的图像Q1或指示器的放大图像Q2便会追随该移动而移动。

第二实施方式显示了一例分别合成可视光发光点和非可视光发光点各自的作为指示数据的箭头或指示器等的图像，并跟随发光点移动。但是，本发明并不受此限制。例如构成为将发光点位置上合成的指示数据留到之后的帧，依次将随着发光点移动而发生的位置不同的指示数据加入到之后的帧中。此时，打点指示数据，便能够在投影面部13上形成发光点移动线。

第二实施方式的变形例1

第二实施方式的变形例1显示图像处理部26的构成，其用于用LED灯51形成的发光点在投影面部13上描线，用户手指形成的发光点起到橡皮擦作用，用来消除投影面部13上的描线。

图29是第二实施方式的变形例1的图像处理部的功能模块图。如图29所示，图像处理部70具备部分图像缓冲部700，用于暂时保存前一个影像处理部输出的帧图像(部分图像)的复制件。

图像处理部70与第二实施方式的图像处理部26相同(即如在第一实施方式的图像处理部26的描述)，用被设定为参数H的映射转换系数来补偿指示标记检测部62检测到的可视光发光点和非可视光发光点的位置。进而，生成用来形成与补偿后位置不同的指示数据(上述部分图像)构成的帧图像，并输出到影像处理部21。部分图像缓冲部700暂时保存该输出的帧图像。之后，在发生来自指示标记检测部62的可视光和非可视光的下一个位置坐标(与前面相同的位置坐标或移动后的位置坐标)的输入后，图像处理部70进行同样的位置补偿。进而，在暂时保存在部分图像缓冲部700中的前一个帧图像上设置部分图像，更新部分图像缓冲部700。而后，图像处理部70向影像处理部21输出经过更新的帧图像。

图30是部分图像缓冲部700保存的帧图像(部分图像)的迁移图。其中(a)图表示将投影面部13上LED灯51的发光点从一点移动到另一点时部分图像的迁移。如(a)图所示，图像处理部70首先打点形成图像D1，在投影面部13 上的一点形成的发光点的位置上形成线，并将该部分图像保存到部分图像缓冲部700。进而，LED灯51的发光点在投影面部13上从一点移动到另一点后，图像处理部700依次在前面形成的打点图像D1上加入新形成的打点图像D2、D2、、、、、、DN(N为整数)。而后，通过加入图像来更新部分图像缓冲部700中的部分图像。这样便形成了发光点轨迹的线。

图30的(b)图表示用户用手指沿着投影面部13上与(a)图中所示的线对应的线描写以擦去该线时，部分图像的迁移。图像处理部70在投影面部13上用手指发光形成的发光点的对应位置上，首先形成用来擦去线的点图像F1，而后在包含保存在部分图像缓冲部700中的线的部分图像上追加打点图像F1。将打点图像F1的像素信息作为消除点图像D1的像素信息的值。这样，线上点图像F1……FN(N为整数)叠起来发生移动，如同图像30的(b)图中箭头所指的图所示，重叠部分的点图像D1、D2……的像素信息被消除，该部分的线消失。

第二实施方式的变形例2

第二实施方式设有红外光照射装置50c作为一体型图像投影装置，但是，红外光照射装置50c也可以作为分离型装置与一体型图像投影装置分开设置。

图31是分离型红外光照射装置50c-1和一体型图像投影装置50-1的外观图。分离型红外光照射装置50c-1中设有电源开关(未图示)用于接通电源。用户打开电源开关启动红外光照射装置50c-1，照射红外光。此时，不需要一体型图像投影装置(图像处理装置)50-1的驱动控制部对红外光照射装置的控制。

上述第一、第二实施方式显示同一台装置具备投影部和照相机部的图像投影装置。但是，投影部和照相机部并不需要设置在同一台装置中，一部分功能可以设置在分开的装置中构成分离型。

如上所述，在第二实施方式以及变形例中，当用手指或指示杆等指示手段直接触摸投影面部发出指示时，能够在指示位置上显示指示器的图像等合成信息。第二实施方式在投影面部上照射扫描不被视觉认知的红外光，用该红外光在指示手段上形成发光点。为此，红外光不会妨碍影像，发光点也不会妨碍指示位置。

第三实施方式

第三实施方式显示一体型图像投影装置的分离型的方式。在此先是一例 以投影部80a和照相机部80b以及红外光照射装置80c分别分开设置的构成。

图32是投影部80a和照相机部80b以及红外光照射装置80c的外观图。

投影部80a具有第一实施方式所示的投影部10a的内部结构(参见图2)。红外光照射装置80c与第二实施方式所示的红外光照射装置50c-1相对应(参见图31)，具有电源开关。红外光照射装置80c通过用户打开电源开关，开始红外光照射扫描。关于照相机部80b的构成将在以下详述。

图33是一例投影部80a和照相机部80b以及红外光照射装置80c的布置图。图33显示将投影部80a设置在红外光照射装置80c之上，用可弯曲的长线缆I将照相机部80b连接到投影部80a上。该连接方式可用于随意改变照相机部80b的朝向和位置，从投影面部的正面用照相机部80b进行拍摄。与第二实施方式的图像投影系统100(参见图21)相同，投影面部被设在投影部80a的投影范围中。照射可视光的照射装置可以适当选择激光指示器或LED灯等。

图34是一例照相机部80b构成的示意图。本实施方式的分离型照相机部80b包含照相机800和计算机(图像处理装置)801。计算机801是个人计算机等信息处理装置。

图35是计算机801的硬件结构模块图。计算机801具有CPU(Central Processing Unit)810、ROM(Read Only Memory)811、RAM(Random Access Memory)812、存储部813、操作输入部814、显示输出部815、通信接口816等。各部之间以主线818连接。

CPU810是用于执行各种程序，实行运算处理或各部控制的中央运算处理装置。ROM811是保存固定程序或数据的非易失性存储器。ROM812是用来作为CPU810作业区域使用的易失性存储器。存储部813是保存各种程序或数据的HDD或可移动方式的闪存等外存。操作输入部814连接键盘或鼠标，用来接受用户输入。显示输出部815连接显示器(例如液晶显示器等)，用来显示设定信息等。通信接口816是用来与投影部80a通信的接口。

基于上述构成，CPU810从存储部813等将各种程序上载到RAM812执行，使得计算机801发挥以下各部的功能。

图36是一例投影部80a、照相机部80b(计算机801)的功能模块图。

如图36所示，投影部80a具备影像处理部21、驱动控制部22、同步信号输出部820、影像信号输入处理部823等。照相机部80b具备拍摄控制部824、影 像信号输入部23、转换系数运算部24、指示标记检测部25、图像处理部26、同步影像信号传送部825等。图像处理部26和同步影响信号传送部825起到合成信息输出部的作用。在此对于与第一实施方式的功能模块图(参见图5)大致相同的功能部赋予相同标记，进行简略描述，着重详述与第一实施方式不同的部分。

首先描述投影部80a。

在影像信号输入处理部823中输入HDMI(注册商标)等数字信号、VGA或元件的信号等模拟信号。影像信号输入处理部823按照输入信号实行将影像加工为RGB或YPbPr信号等的处理。在输入的影像信号是数字信号的情况下，影像信号输入处理部823根据输入信号的比特数，将该数字信号转换为影像处理部21规定的比特格式。而在输入的影像信号是模拟信号的情况下，影像信号输入处理部823实行DAC处理等，对模拟信号实行数字取样，将RGB或YPbPr的格式信号输入影像处理部21。

影像处理部21向驱动控制部22输出影像信号。影像处理部21在发生来自影像信号输入处理部823的由图像处理部26生成的部分图像的输入后，将合成了部分图像的影像输出到驱动控制部22。

驱动控制部22控制DMD2、色轮5、照明电源17等，还向同步信号输出部820输出用于控制快门开闭与色轮5的转动同步的信号。

同步信号输出部820按照外设的规格，加工用于驱动控制部22的快门开闭控制的信号，向外设输出与外设对应的时间信号。

以下描述照相机部80b。

拍摄控制部824从经由通信接口816(参见图35)输入的同步信号输入部820的时机信号检测拍摄时机，控制照相机800的快门开闭动作。快门开闭控制的时机与第一实施方式相同。即是用红色发光色作为照射装置的照射光时的时机为时间段A(参见图9)，用绿色发光色时为时间段B(参见图9)，用蓝色发光色时为时间段C(参见图9)。此外，在同时用红外光作为照射装置的照射光的情况下，时间段A、B、C均可以用来作为快门开闭控制时机。

影像信号输入部23输入照相机800输出的彩色图像数据，并将该数据转换为RGB。

转换系数运算部24在矫正动作时计算映射转换系数，并设定为图像处理 部26的参数。转换系数运算部24从投影部80a的驱动控制部22经由通信接口816(参见图35)接受矫正开始指示。在将映射转换系数设定为参数后，转换系数运算部24经由通信接口816(参见图35)，向驱动控制部22或影像处理部21等输出表示结束的信号。

指示标记检测部25从RGB图像检测指示标记。

图像处理部26用参数H补偿指示标记的位置，在补偿后的位置上形成设定了指示器图像等的部分图像。

同步影像信号传送部825将图像处理部26生成的部分图像转换为相当于与投影部80a的连接方式的传送格式等后，经由通信接口816(参见图35)将信号传送到投影部80a的影像信号输入处理部823。例如，将RGB信号转换为YPbPr信号等后传送。而如果投影部80a之能够接受模拟输入，则同步影像信号传送部825将部分图像从数字信号转换为模拟信号后传送。

其次描述投影部80a和照相机部80b(主要为计算机801)的动作。投影部80a的驱动控制部22的动作与第一实施方式的驱动控制部22的动作(参见图15)基本相同。不同之处在于步骤S105，在此其间，驱动控制部22经由同步信号输出部820，向照相机部80b输出时机信号。

图37是照相机部80b的动作流程图。

在以下的描述中，设定预先通过键盘输入等设定照射装置的可视光和非可视光各自的发光色，并将其作为使用色保存到存储部813中。本例中的发光色分别为绿色和红外。关于矫正动作，由于与第一实施方式的动作流程图(参见图15)中的转换系数运算部24的动作基本相同，在此省略描述。

首先，拍摄控制部824从经由通信接口816(参见图35)收到的时机信号检测拍摄时机(步骤S200)，在时机信号的开始和结束的时间点向照相机800输出拍摄指示信号(步骤S201)。

而后，影像信号输入部23取得照相机800输出的彩色图像数据，并将该彩色图像数据转换为RGB(步骤S202)。

而后，指示标记检测部25根据存储部813设定的设定色，在RGB图像数据的一版(本例中为绿色版)的图像数据中检测各个发光点，并对各个发光点进行可视光和非可视光的辨别(步骤S203)。辨别方法已在第一实施方式或第二实施方式中有所说明，在此不再重复。

而后，图像处理部26根据参数H，将坐标补偿为第一影像信号上的对应位置(步骤S204)。图像处理部26还生成在各补偿位置上设定了作为规定数据(部分图像)的指示器图像等的帧图像(步骤S205)。

而后，影像信号传送部825将帧图像转换为投影部80a间的规定传送信号并通过通信接口816(参见图35)传送到投影部80a的影像信号输入处理部823(步骤S206)。

而后，在投影部80a中，影像处理部21在规定数量的第一影像信号的后续输入帧上合成第二影像信号的部分图像，并将合成后的帧图像作为蒂萨影像信号输出到驱动控制部22。

计算机801是信息处理装置，其也可以将一部分处理交给通过网络连接的外部信息处理装置来实行。例如，在图像处理时用设于网络上的高性能运算处理服务器实行初始的映射转换行列元算，或下载重叠的合成信息等。

第三实施方式的变形例

第三实施方式描述的分离型各装置之间为有线连接，而实际上各装置之间也可以用无线连接。

图38是一作为第三实施方式的变形例的投影部90a、照相机部90b、以及红外光照射装置90c的构成示意图。

如图38所示，投影部90a、照相机部90b、以及红外光照射装置90c各装置中具备无线通信部900、901、902。关于无线通信部，例如为蓝牙(注册商标)或Wi-Fi等近距离无线通信部。各装置分别通过无线通信部通信。红外光照射装置90c的无线通信部902与投影部90a的无线通信部900通信，接收投影部90a发送的红外光照射指令或停止照射指令等信号。投影部90a的无线通信部900与照相机部90b的无线通信部901之间收发影像信号或时机信号等。

可以用以下方式使用无线通信。例如，用内藏照相机的智能手机等信息设备作为照相机部90b。此时如图37所示，可以在智能手机等信息设备中预先下载控制照相机生成部分图像的程序。而后将该信息设备与投影部90a无线连接，用该信息设备进行部分图像处理等计算处理。

上述各种实施方式和变形例能够在利用可视光和非可视光指点投影到投影面部上的影像时，检测各个发光点，并辨别各个发光点是可视光还是非可视光。进而在各个发光点上合成固有的合成信息。

本实施方式将需要执行的程序预先保存在ROM或存储部等中来提供该程序，而本发明并不受到这种方式的限制。本实施方式中执行的程序还可以通过保存在计算机可读的记录媒体中作为计算机产品来提供。例如将可安装形态或可执行形态的文件保存到软磁盘、CD-R、DVD(Digital Versatile Disk)、兰光盘(注册商标)、半导体存储器等记录媒体中来提供。

进而上述程序还可以构成为将本实施方式中执行的程序放置到通过互联网等网络连接的计算机中，经由网络下载来提供。还可以经由互联网等网络来提供或发布本实施方式执行的程序。

上述本发明的各种实施方式和变形例仅仅是提供的例子而已，无意对本发明的范围构成限制。这些新型实施方式和变形例可以以其他各种方式来实施，只要在不脱离本发明宗旨的范围内，允许对这些实施方式进行各种省略、置换、改变。但是这些实施方式等的更改不仅包含本发明的范围要旨，同时还属于或均等于本发明范畴。