附带距离图像获取装置的投影装置以及投影方法与流程

本发明涉及一种附带距离图像获取装置的投影装置以及投影方法，尤其涉及一种依据移动以及静止的被投影体的移动投影图像的技术。

背景技术：

作为一边获取距离信息一边获取图像的相机，已知有TOF(Time Of Flight，飞行时间测量)相机。TOF相机向被摄体照射光，并测量通过图像传感器接收其反射光为止的时间(飞行时间)，由此求出表示与被摄体之间的距离的距离图像(深度数据)。

并且，还已知有从投影装置依据被投影体的立体形状投影图像的技术，被称作投影映射、视频映射等。

在专利文献1中记载有以下内容：对被投影体的摄像图像进行从电子相机的坐标系向显示画面的坐标系的坐标转换，并对转换后的图像的被投影体进行边缘处理，由此提取封闭区域的轮廓形状，并对其轮廓形状进行投影映射。

并且，在专利文献2中提出了将TOF相机用作实时获取被投影体的距离图像的装置并与投影装置一体化来将投影映射用装置小型化的技术。

尤其是专利文献2中记载的投影装置具有通过将投影用图像作为脉冲光照射而将投影装置的光源以及投影透镜作为TOF相机的光源以及投影透镜兼用的特征。

现有技术文献

专利文献

专利文献1：日本特开2013－192189号公报

专利文献2：日本特表2013－546222号公报

技术实现要素：

发明所要解决的问题

在此，在投影映射中，由于将依据被投影体的形状生成的图像进行投影，因此关于被投影体移动或静止的检测非常重要。即，在对移动的被投影体进行投影映射的情况下，发生被投影体与投影图像的偏离，从而发生无法很好地进行投影映射的情况。

另一方面，为了检测被投影体的移动，必须对投影装置进一步追加用于检测被投影体的移动的检测装置的功能，这成为投影装置大型化或复杂化的因素。

在上述专利文献1以及2中，并未提及关于在进行投影映射时抑制投影装置的大型化或复杂化且检测被投影体的移动的内容。

本发明是鉴于这种情况而完成的，其目的在于提供一种抑制投影装置的大型化或复杂化且检测被投影体的移动并将图像高精度地投影到被投影体的附带距离图像获取装置的投影装置以及投影方法。

用于解决问题的手段

用于实现上述目的的本发明的一方式的附带距离图像获取装置的投影装置包含投影装置和距离图像获取装置，投影装置具备：显示投影图像的显示用光学元件；以及将显示于显示用光学元件的投影图像投影到被投影体的投影光源以及投影透镜，距离图像获取装置具备：距离图像传感器，其以二维状排列有多个受光元件；测量用光源；成像透镜，其使从测量用光源射出且被被投影体反射的测量光成像于距离图像传感器；以及距离图像生成部，其从距离图像传感器获取与测量光的飞行时间对应的距离信息，并根据获取的距离信息生成距离图像，所述测量光从测量用光源射出，被被投影体反射，并射入到距离图像传感器，投影装置具备：投影图像生成部，其根据通过距离图像获取装置获取的距离图像检测被投影体的形状，并生成与检测出的形状对应的投影图像；差分值获取部，其获取通过距离图像获取装置在第1定时获取的第1距离图像所具有的距离信息与在第2定时获取的第2距离图像所具有的距离信息之间的差分值；判定部，其根据在差分值获取部中获取的差分值进行被投影体是否静止的判定；投影指示部，其根据判定部的判定结果输出对被投影体进行在投影图像生成部中生成的图像的投影的指示；以及投影控制部，其根据从投影指示部输出的进行投影的指示对投影装置的投影进行控制。

根据本方式，根据在距离图像获取装置的距离图像生成部中生成的距离图像检测投影体的形状，并生成投影图像。而且，根据本方式，根据在第1定时获取的距离图像以及在第2定时获取的距离图像的差分值进行被投影体是否静止的判定，并根据其判定进行投影。由此，本方式将距离图像使用于投影图像的生成以及被投影体是否静止的判定，因此能够抑制装置的大型化或复杂化且检测被投影体的移动，从而能够将投影图像高精度地投影到被投影体。

优选差分值获取部获取第1距离图像所具有的距离信息的平均值与第2距离图像所具有的距离信息的平均值之间的差分值，在差分值为第1阈值以下的情况下，判定部判定为被投影体静止。

根据本方式，根据第1距离图像所具有的距离信息的平均值和第2距离图像所具有的距离信息的平均值计算差分值，判定部根据第1阈值判定被投影体是否静止。由此，本方式能够根据距离图像所具有的距离信息的平均值更加高精度地进行被投影体是否静止的判定。

优选差分值获取部获取第1距离图像所具有的距离信息与第2距离图像所具有的距离信息之间的最大差分值，在最大差分值为第2阈值以下的情况下，判定部判定为被投影体静止。

根据本方式，差分值是第1距离图像所具有的距离信息与第2距离图像所具有的距离信息之间的差分值的最大值，判定部根据第2阈值判定被投影体是否静止。由此，本方式能够根据差分值的最大值更加高精度地进行被投影体是否静止的判定。

优选附带距离图像获取装置的投影装置具备差分图像生成部，该差分图像生成部生成根据差分值获取部获取的差分值所生成的差分图像。

根据本方式，由于根据差分值生成差分图像，因此能够利用差分图像。

优选差分图像生成部获取差分图像在多个帧中的平均差分值，在差分图像在多个帧中的平均差分值为第3阈值以下的情况下，判定部判定为被投影体静止。

根据本方式，由于在差分图像在多个帧中的平均差分值为第3阈值以下的情况下，判定为被投影体静止，因此能够更加高精度地进行被投影体是否静止的判定。

优选差分图像生成部获取差分图像在多个帧中的最大差分值，在差分图像在多个帧中的最大差分值为第4阈值以下的情况下，判定部判定为被投影体静止。

根据本方式，由于在差分图像在多个帧中的最大差分值为第4阈值以下的情况下，判定为被投影体静止，因此能够根据多个帧中的最大差分值进行被投影体是否静止的判定。

优选差分图像生成部获取差分图像的每个区域的差分值，判定部根据差分图像中的差分值为第5阈值以下的区域的大小进行被投影体是否静止的判定。

根据本方式，由于根据差分图像中的差分值为第5阈值以下的区域的大小进行被投影体是否静止的判定，因此能够更加高精度地进行被投影体是否静止的判定。

优选差分图像生成部在多个帧中获取差分图像的每个区域的差分值，判定部根据多个帧的差分图像中的差分值为第6阈值以下的区域的大小进行被投影体是否静止的判定。

根据本方式，由于根据多个帧的差分图像中的差分值为第6阈值以下的区域的大小进行被投影体是否静止的判定，因此能够高精度地判定多个帧中的被投影体的静止。

优选差分图像生成部获取按照差分图像的区域设定的加权系数乘以差分值的值，在加权系数乘以差分值的值为第7阈值以下的情况下，判定部判定为被投影体静止。

根据本方式，由于根据按照差分图像的区域设定的加权获取差分值，并根据其差分值进行被投影体是否静止的判定，因此能够更准确地判定被投影体的移动。

优选附带距离图像获取装置的投影装置具备投影停止指示部，投影停止指示部根据判定部的判定结果输出对被投影体在投影图像生成部中生成的图像的投影的停止指示，投影控制部根据从投影停止指示部输出的投影的停止指示对投影装置的投影进行控制。

根据本方式，由于根据判定结果输出图像投影的停止指示，并根据其停止指示对投影装置的投影进行控制，因此在被投影体静止之后重新开始移动的情况下，停止投影。由此，能够防止投影到移动的被投影体，从而进行更加高精度的投影。

本发明的另一方式的投影方法使用包含投影装置和距离图像获取装置的附带距离图像获取装置的投影装置，投影装置具备：显示投影图像的显示用光学元件；以及将显示于显示用光学元件的投影图像投影到被投影体的投影光源以及投影透镜，距离图像获取装置具备：距离图像传感器，其以二维状排列有多个受光元件；测量用光源；成像透镜，其使从测量用光源射出且被被投影体反射的测量光成像于距离图像传感器；以及距离图像生成部，其从距离图像传感器获取与测量光的飞行时间对应的距离信息，并根据获取的距离信息生成距离图像，所述测量光从测量用光源射出，被被投影体反射，并射入到距离图像传感器，投影方法包含：投影图像生成步骤，根据通过距离图像获取装置获取的距离图像检测被投影体的形状，并生成与检测出的形状对应的投影图像；差分值获取步骤，获取通过距离图像获取装置在第1定时获取的第1距离图像所具有的距离信息与在第2定时获取的第2距离图像所具有的距离信息之间的差分值；判定步骤，根据在差分值获取步骤中获取的差分值进行被投影体是否静止的判定；投影指示步骤，根据判定步骤的判定结果输出对被投影体进行在投影图像生成步骤中生成的图像的投影的指示；以及投影控制步骤，根据从投影指示步骤输出的进行投影的指示对投影装置的投影进行控制。

发明效果

根据本发明，根据在距离图像获取装置的距离图像生成部中生成的距离图像检测投影体的形状，并生成投影图像，根据在第1定时获取的距离图像以及在第2定时获取的距离图像的差分值进行被投影体是否静止的判定，并根据其判定进行投影。由此，本发明将距离图像使用于投影图像的生成以及被投影体是否静止的判定，因此能够抑制装置的大型化或复杂化且检测被投影体的移动，从而能够将投影图像高精度地投影到被投影体。

附图说明

图1是示出使用附带距离图像获取装置的投影装置的情况的概念图。

图2是从正面观察图1中说明的被投影体的图。

图3是概念性地示出对图2中说明的被投影体进行投影映射的方式的图。

图4是示出投影装置的结构的框图。

图5是对被投影体的距离的运算处理进行说明的图。

图6是示出控制部的结构的框图。

图7是关于差分值获取部进行的差分值的获取进行说明的图。

图8是关于差分值获取部进行的差分值的获取进行说明的图。

图9是示出投影装置的动作的流程图。

图10是示出控制部的结构的框图。

图11是示出差分图像的概念图。

图12是示出差分图像的概念图。

图13是概念性地示出距离图像和差分图像的图。

图14是概念性地示出距离图像和差分图像的图。

具体实施方式

以下，根据附图对本发明所涉及的附带距离图像获取装置的投影装置以及投影方法的优选的实施方式进行说明。

图1是示出使用本发明所涉及的附带距离图像获取装置的投影装置的情况的概念图。示出了作为被投影体2的人物向附带距离图像获取装置的投影装置20(以下，称作投影装置20)直行走过来的情况。作为图1所示的情况的具体例，可设想时装秀等。投影装置20具备距离图像获取部(距离图像获取装置)20A和投影部(投影装置)20B。投影装置20将作为被投影体2的人穿着的衣服设为投影区域3，在被投影体2静止的情况下，对被投影体2的投影区域3进行投影映射(Projection Mapping)。

图2是从正面观察图1中说明的被投影体2的图。图2(A)是时刻T1时的被投影体2的主视图，图2(B)是时刻T2时的被投影体2的主视图，图2(C)是时刻T3时的被投影体2的主视图。如图2(A)～图2(C)所示，在被投影体2移动的情况下，由于投影装置20与被投影体2之间的距离发生变化，因此投影区域3的范围发生变化。若投影区域3的范围发生变化，则依据投影区域3生成的投影图像与投影区域3不一致。由此，在本发明中，为了防止投影图像与投影区域3的如上所述的不一致，检测被投影体2的移动，在被投影体2静止的情况下，进行投影映射。

图3是概念性地示出对图2(C)中说明的被投影体2进行投影映射的方式的图。投影装置20将投影图像5投影到作为被投影体2的人穿着的衣服上。通过投影装置20投影的投影图像5将作为被投影体2的人穿着的衣服所构成的封闭区域的形状与投影区域3一致而形成。如此，将与投影区域3的形状呈一致的投影图像5进行投影的技术一般称作投影映射。

图4是示出投影装置20的结构的框图。该投影装置20具备：进行距离图像的获取的距离图像获取部20A；进行投影图像5的投影的投影部20B；控制部26；存储器27；投影图像生成部28；以及输入I/F(interface，接口)29。另外，控制部26、存储器27以及输入I/F29在距离图像获取部20A以及投影部20B中共同发挥功能。

距离图像获取部20A进行脉冲光检测方式的距离图像的获取，包含定时信号发生器31、LED(Light Emitting Diode，发光二极管)光源(测量用光源)32、光源驱动器33、投影透镜35、成像透镜36、透镜驱动器37、距离图像传感器38、图中表示为“A/D”的AD(Analog-to-Digital，模数)转换器39以及图中表示为“I/F”的接口(interface)电路40。距离图像获取部20A具有所谓的TOF(Time Of Flight)相机的功能。关于TOF(Time Of Flight)相机的原理在后面叙述。另外，距离图像是指通过TOF等距离测量方法获得的距离值(距离信息)的二维分布图像。距离图像的各像素具有距离值(距离信息)。

定时信号发生器31在控制部26的控制下分别向LED光源32和距离图像传感器38输出定时信号。

LED光源32与从定时信号发生器31输入的定时信号同步而发出固定脉冲宽度的脉冲光。光源驱动器33在控制部26的控制下对LED光源32的驱动进行控制。

投影透镜35向被投影体2照射从LED光源32射出的脉冲光。在从LED光源32通过投影透镜35向被投影体2照射脉冲光的情况下，成像透镜36使被该被投影体2反射的脉冲光成像于距离图像传感器38。透镜驱动器37经由未图示的透镜驱动部进行成像透镜36的聚焦控制等。

距离图像传感器38以二维状排列有多个受光元件，由CMOS(Complementary Metal-Oxide Semiconductor，互补金属氧化物半导体)驱动器以及CMOS型图像传感器构成，该CMOS(Complementary Metal-Oxide Semiconductor，互补金属氧化物半导体)驱动器具有垂直驱动器和水平驱动器等,该CMOS型图像传感器通过定时信号发生器31驱动。另外，距离图像传感器38并不限于CMOS型，也可以是XY地址型或CCD(Charge Coupled Device，电荷藕合器件)型图像传感器。

距离图像传感器38也可以以二维状排列有多个受光元件(光电二极管)，并在多个受光元件的射入面侧设置仅使从LED光源32发出的脉冲光的波长频带通过的带通滤波器或去除可见光的可见光截止滤波器。由此，距离图像传感器38的多个受光元件作为对脉冲光具有灵敏度的像素发挥功能。

与LED光源32的脉冲光的发光同步，通过从定时信号发生器31输入的定时信号控制距离图像传感器38的曝光期间(曝光时间以及曝光定时)。距离图像传感器38的各受光元件中蓄积有与在曝光期间射入的脉冲光的光量对应的电荷。如此，在脉冲光检测方式下，与被投影体2之间的距离越短，曝光量越多，相反，与被投影体2之间的距离越远，曝光量越少，因此能够按照曝光量的大小测量与被投影体2之间的距离。而且，从距离图像传感器38读出与由被投影体2反射的脉冲光的射入光量相应的像素信号(与蓄积在每一个像素中的电荷对应的模拟信号)。

AD转换器39将从距离图像传感器38读出的像素信号转换为数字信号，并输出至接口电路40。另外，CMOS型图像传感器有包含AD转换器39的图像传感器，在该情况下，能够省略AD转换器39。接口电路40作为图像输入控制器发挥功能，将从AD转换器39输入的数字信号输出至控制部26。由此，在控制部26的距离图像生成部113(图6)中生成距离图像，再通过投影图像生成部28生成投影图像5，详细内容后述。

投影部20B为所谓的单板式液晶投影仪，包含显示用光学元件(还称作光调制元件)42、元件驱动器43、LED光源(投影光源)44、光源驱动器45、投影透镜46以及透镜驱动器47。

显示用光学元件42能够使用具备多个颜色的滤色器的透射型液晶面板或将分色镜、微透镜阵列以及单色透射型液晶面板组合而成的无滤色器结构的元件等。无滤色器结构的元件例如通过分别反射R(Red,红色)光、G(Green,绿色)光以及B(Blue,蓝色)光的3种分色镜将白色光分光为RGB这三个颜色的光，并使三个颜色的光以相互不同的角度射入到液晶面板上的微透镜阵列中。然后，使三个颜色的光通过微透镜阵列分别射入到液晶面板的R用像素、G用像素以及B用像素中，由此能够显示彩色图像。

另外，投影部20B并不限定于单板式液晶投影仪，也可以是具备色分离光学以及多个液晶面板的公知的三板式液晶投影仪。并且，投影部20B并不限定于透射型液晶方式，也可以采用反射型液晶显示方式或微镜设备方式(光开关显示方式)等其他方式。

元件驱动器43在控制部26的控制下控制显示用光学元件42，使其显示后述投影图像生成部28生成的投影图像5。

LED光源44使白色光从显示用光学元件42的背面侧(与和投影透镜46相向的面相反的面侧)射入到显示用光学元件42。由此，从显示用光学元件42射出投影图像5的像光。光源驱动器45在控制部26的控制下对LED光源44的驱动进行控制。

投影透镜46将从显示用光学元件42射出的投影图像5的像光投影到被投影体2。透镜驱动器47经由未图示的透镜驱动部进行投影透镜46的聚焦控制等。

控制部26经由数据总线49与定时信号发生器31、光源驱动器33、透镜驱动器37、距离图像传感器38、接口电路40、元件驱动器43、光源驱动器45以及透镜驱动器47等连接。该控制部26例如由包含CPU(Central Processing Unit，中央处理器)的各种运算部、处理部以及存储部构成，通过执行从存储器27读出的控制用程序或数据，统一控制投影装置20整体的动作和处理。

存储器27存储有控制部26用于执行处理的控制用程序等。

投影图像生成部28在控制部26的控制下根据从控制部26输入的数据或信息进行投影图像5的生成。即，投影图像生成部28根据通过距离图像获取装置获取的距离图像检测被投影体2的形状，并生成与检测出的形状对应的投影图像5。另外，关于投影图像生成部28进行的投影图像5的生成在后面叙述。

＜TOF法的基本原理＞

接下来，对通过TOF相机获取距离图像的基本原理进行说明。以下，对通过TOF相机(距离图像获取部20A)获取被投影体2的距离图像的情况进行说明。

由于距离图像获取部20A的LED光源32发出近红外光，因此通过定时信号发生器31进行脉冲驱动，其结果，从LED光源32发出脉冲宽度的脉冲光。该脉冲光由被投影体2的表面反射，其反射的脉冲光经由距离图像获取部20A的成像透镜36通过距离图像传感器38成像(接收)。另外，在距离图像传感器38设置有可见光截止滤波器，距离图像传感器38只接收近红外脉冲光。

图5是对被投影体2的距离的运算处理进行说明的图。

距离图像获取部20A的LED光源32虽然通过定时信号发生器31进行脉冲驱动，但是图5(A)以及图5(B)所示，与LED光源32的脉冲驱动同步，距离图像传感器38通过定时信号发生器31依次进行第1曝光控制以及第2曝光控制这两次曝光控制。

图5(A)所示的第1曝光控制是从LED光源32发出脉冲光并且以至少使由距离图像传感器38的对应的受光元件进行的曝光量按照被投影体2的距离产生差的方式控制曝光期间的曝光控制，在从LED光源32发出脉冲光之后，经过一定时间(脉冲光从可测距的最远的被摄体返回为止的时间)之后，开始曝光，至少经过被最远的被摄体反射的脉冲光全部返回来的时间(规定的曝光时间)之后，结束曝光。

图5(B)所示的第2曝光控制是从LED光源32发出脉冲光并且开始对脉冲光进行曝光的相位与开始对第1曝光控制脉冲光进行曝光的相位不同的曝光控制，是用于去除距离图像传感器38中的曝光量因被摄体的反射率的不同以及非全画面均匀光量的脉冲光产生的变化的曝光控制。在本例中，是距离图像传感器38的所有受光元件全部曝光由被摄体反射的脉冲光的曝光控制。具体而言，与从LED光源32发出的脉冲光的发光定时同步而开始曝光，经过一定时间(至少为脉冲光从可测距的最远的被摄体全部返回为止的规定的曝光时间)之后，结束曝光。另外，第1曝光控制下的“规定的曝光时间”与第2曝光控制下的“规定的曝光时间”为相同的时间，但是如上所述，开始对脉冲光进行曝光的相位不同。

接下来，如图5(C)所示，在将与通过第1曝光控制以及第2曝光控制从距离图像传感器38获取的各曝光量对应的传感器输出(某一像素的输出数据)分别设为第1数据L₁以及第2数据L₂时，控制部26的距离图像生成部113通过下式计算与被摄体的距离对应的距离信息D。

[数式1]

D＝L₁÷L₂

即，根据[数式1]式，计算将第1数据L₁除以第2数据L₂而得出的相除数据。该相除数据成为与去除被摄体的反射率的影响且去除非全画面均匀光量的脉冲光的光量的影响的相对距离对应的数据(距离信息D)。另外，根据第1数据L₁和第2数据L₂还能够求出被摄体的绝对距离。

而且，通过按照距离图像传感器38的所有像素的每一个像素获取距离信息D，能够生成距离图像。

＜投影图像的生成＞

接下来，关于投影图像生成部28进行的投影图像5的生成进行说明。

关于存储器27中记录的投影用图像(动态图像或静态图像)，投影图像生成部28利用通过距离图像生成部113(图6)生成的第1距离图像以及第2距离图像(即，被投影体2的投影区域3的形状、大小以及凹凸之类的信息)对存储器27中记录的投影用图像(动态图像或静态图像)进行修整、坐标转换、扩缩等处理，并生成与被投影体2的表面一致的投影图像5。另外，作为投影图像生成部28为了生成投影图像5而使用的距离图像，使用在差分值获取部101中使用的距离图像，由此而有效利用数据，因此优选。

根据通过投影图像生成部28生成的投影图像5对图4所示的投影部20B的显示用光学元件42的各光学元件的透射率进行控制。

[第1实施方式]

接下来，关于本发明的第1实施方式中的控制部26进行说明。

图6是示出控制部26的结构的框图。控制部26主要具备距离图像生成部113、差分值获取部101、判定部103、投影指示部105、投影控制部107以及投影停止指示部109。

距离图像生成部113从距离图像传感器38获取距离信息，并根据获取到的距离信息生成距离图像。在此，距离信息是指与从LED光源32发出的脉冲光(测量光)由被投影体2反射并射入到距离图像传感器38的测量光的飞行时间对应的信息，与被投影体2的距离对应。距离图像生成部113的具体的距离图像生成方法如上所述。在距离图像生成部113中生成的距离图像由二维分布的距离信息构成。

差分值获取部101获取通过距离图像获取部20A在第1定时获取的第1距离图像所具有的距离信息与在第2定时获取的第2距离图像所具有的距离信息之间的差分值。

图7以及图8是关于差分值获取部101进行的差分值的获取进行说明的图。图7(A)示出在图2(A)(时刻T1)时由距离图像获取部20A获取的距离图像S。图7(B)示出在图2(B)(时刻T2)时由距离图像获取部20A获取的距离图像T。并且，为了便于说明，将距离信息设为近距离11、中距离13以及远距离15，并在图中用深浅方式表示。另外，在图7中，用椭圆简单标绘出了被投影体2，省略了图像中的载物台7以及被投影体2以外的背景。

图7(A)所示的距离图像S在载物台7中具有近距离11、中距离13以及远距离15的距离信息，在被投影体2中具有远距离15的距离信息。而且，在距离图像S中相等地表示载物台7的具有远距离15的距离信息的区域的深浅与被投影体2的深浅。图7(B)所示的距离图像T在载物台7中具有近距离11、中距离13以及远距离15的距离信息，在被投影体2中具有中距离13的距离信息。而且，在距离图像T中相等地表示载物台7的具有中距离13的距离信息的区域的深浅与被投影体2的深浅。

在图7(C)中，示出了距离图像S所具有的距离信息与距离图像T所具有的距离信息之间的差分值。与载物台7有关的距离信息在距离图像S和距离图像T中不发生变化，因此差分值为0。另一方面，与被投影体2有关的距离信息在距离图像S和距离图像T中发生变化，因此差分值不是0。即，距离图像S中的被投影体2的距离信息为远距离15，而距离图像T中的被投影体2的距离信息为中距离13。从而，在被投影体2中产生差分值。

另一方面，在图8的情况下，示出了在被投影体2静止时获取的距离图像U以及V。即，在图8(A)中示出了在时刻T3时由距离图像获取部20A获取的距离图像U，在图8(B)中示出了在时刻T4时由距离图像获取部20A获取的距离图像V。在距离图像U以及V中，被投影体2的距离信息以中距离13相同。从而，如图8(C)所示，距离图像U的距离信息与距离图像V的距离信息之间的差分值为0。并且，关于载物台7的差分值，也与图7相同地为0。另外，由于时刻T3与时刻T4之间的时间差非常短，因此若距离图像U与距离图像V之间的差分值接近0，则能够预测为被投影体2静止。并且，距离图像获取部20A能够连续获取距离图像。在该情况下，距离图像获取部20A能够以30fps(frame per second，每秒传输帧数)或60fps获取距离图像。

这样，在差分值获取部101中，通过对在第1定时获取的距离图像所具有的距离信息和在第2定时获取的距离图像所具有的距离信息进行减法运算而获取差分值。

并且，差分值获取部101也可以将获取距离图像S所具有的距离信息的平均值并获取距离图像T所具有的距离信息的平均值之后对平均值彼此进行减法运算而得出的值作为差分值。即，差分值获取部101也可以获取对在第1定时获取的距离图像所具有的距离信息的平均值和第2距离图像所具有的距离信息的平均值进行减法运算而得出的值作为差分值。

并且，例如差分值获取部101也可以获取在第1定时获取的距离图像所具有的距离信息与在第2定时获取的距离图像所具有的距离信息之间的最大差分作为差分值。即，也可以采用对在第1定时获取的距离图像所具有的距离信息和在第2定时获取的距离图像所具有的距离信息进行减法运算而得出的最大的值作为差分值。

并且，例如差分值获取部101也可以获取对在第1定时获取的距离图像所具有的距离信息的总和与在第2定时获取的距离图像所具有的距离信息的总和进行减法运算而得出的值作为差分值。

返回到图6，判定部103根据由差分值获取部101获取的差分值进行被投影体2是否静止的判定。即，判定部103获取差分值并根据其差分值判定被投影体2的状态(移动或静止)。判定部103能够利用差分值通过各种各样的方法判定被投影体2的状态。例如，判定部103能够根据阈值判定被投影体2的状态。具体而言，也可以如下：在获取到的差分值为阈值以下的情况下，判定部103判定为被投影体2静止，在获取到的差分值大于阈值的情况下，判定为被投影体2移动。阈值按照如下两个阈值分开使用：判定部103根据第1距离图像所具有的距离信息的平均值与第2距离图像所具有的距离信息的平均值之间的差分值进行判别时的阈值(第1阈值)；以及判定部103根据第1距离图像所具有的距离信息与第2距离图像所具有的距离信息之间的最大差分值进行判别时的阈值(第2阈值)。

投影指示部105根据判定部103的判定结果输出对被投影体2进行在投影图像生成部28中生成的图像的投影的指示。即，在通过判定部103判定为被投影体2静止的情况下，投影指示部105输出通过投影部20B进行投影的指示。

投影控制部107根据从投影指示部105输出的进行投影的指示对投影部20B的投影进行控制。投影控制部107使在投影图像生成部28中生成的投影图像5显示于显示用光学元件42，并通过光源驱动器45使LED光源44发光，并使投影图像5显示于被投影体2。

在暂时判定为被投影体2静止且通过投影部20B开始投影之后，通过判定部103判定为被投影体2移动的情况下，投影停止指示部109输出对被投影体2在投影图像生成部28中生成的图像的投影的停止指示。即，在被投影体2重新移动的情况下，投影停止指示部109输出停止通过投影部20B进行投影的指示。另外，即使在通过投影部20B进行投影的期间，也通过距离图像获取部20A随时获取距离图像，并通过判定部103随时判定被投影体2的状态。

接下来，关于使用了投影装置20的投影方法进行说明。图9是示出投影装置20的动作的流程图。

首先，通过投影装置20的距离图像获取部20A在第1定时获取距离图像(步骤S10)。之后，通过距离图像获取部20A在第2定时获取距离图像(步骤S11)。然后，通过差分值获取部101获取第1定时的距离图像所具有的距离信息与第2定时的距离图像所具有的距离信息之间的差分值(步骤S12)。另外，省略图示，随时进行由距离图像获取部20A进行的距离图像的获取以及由差分值获取部101进行的差分值的获取。

然后，判定部103根据差分值对被投影体2是否静止进行判定(步骤S13)。在通过判定部103判定为被投影体2未静止(在移动)的情况(步骤S13的否的情况)下，再次由距离图像获取部20A获取距离图像。另一方面，在通过判定部103判定为被投影体2静止的情况下，由投影图像生成部28生成投影图像5(步骤S14)。投影图像生成部28根据在第1定时获取的距离图像和/或在第2定时获取的距离图像生成投影图像5。之后，通过投影指示部105输出将投影图像5进行投影的指示(步骤S15)。然后，通过投影控制部107控制投影部20B，使其对被投影体2进行投影(步骤S16)。

上述各结构以及功能能够通过任意的硬件、软件或两者的组合而适宜地实现。例如，对于使计算机执行上述处理步骤(处理顺序)的程序、记录有这样的程序的计算机可读取的记录介质(非暂时性记录介质)或能够安装这样的程序的计算机也能够适用本发明。

如以上说明，根据本发明，根据在距离图像获取部20A的距离图像生成部113中生成的距离图像检测被投影体2的形状，并生成投影图像5。而且，根据本发明，根据在第1定时获取的距离图像以及在第2定时获取的距离图像的差分值进行被投影体2是否静止的判定，并根据该判定进行投影。由此，本发明将距离图像使用于投影图像5的生成以及被摄体是否静止的判定，因此能够抑制装置的大型化或复杂化且检测被投影体2的移动，从而能够将投影图像5高精度地投影到被投影体2。

[第2实施方式]

接下来，关于本发明的第2实施方式进行说明。在本实施方式中，根据差分值生成差分图像，并高精度地检测被投影体2的移动。

图10是示出本实施方式的控制部26的结构的框图。另外，图6中说明的部位标注相同的符号而省略说明。控制部26主要具备距离图像生成部113、差分值获取部101、判定部103、差分图像生成部111、投影指示部105、投影控制部107以及投影停止指示部109。

对图10所示的本实施方式的控制部26与图6所示的第1实施方式的控制部26进行比较，本实施方式的控制部26在具有差分图像生成部111的点上不同。

差分图像生成部111生成根据差分值获取部101获取的差分值所生成的差分图像，该差分图像根据差分值获取部101获取的差分值生成。即，差分图像生成部111根据从差分值获取部101获取的差分值制作差分值的二维分布图。另外，在此，差分图像是指差分值的二维分布图。

图11是示出差分图像的概念图。图11所示的差分图像W根据图7以及图8中说明的距离图像以及差分值制作。并且，也可以在差分图像中按照构成差分图像的差分值改变深浅或颜色来显示。通过这样，在差分图像显示于显示画面(未图示)的情况下，用户容易掌握差分值的不同。在图11所示的差分图像的情况下，表现出了差分值的不同。另外，省略了被投影体2以及载物台7以外的背景。

图11(A)是根据基于图7(A)以及图7(B)所示的距离图像S以及T获取的差分值制作的差分图像W，示出了获取的的差分值的二维分布。由于载物台7在距离图像S与距离图像T之间差分值为0，因此用黑色表现。另一方面，被投影体2由在距离图像S与距离图像T之间差分值不同的两个区域(区域O、P以及Q)构成。

由于区域O在距离图像S与距离图像T之间差分值0，因此与载物台7相同地用黑色表示。区域Q中的差分值是中距离13(图7)与远距离15(图7)之间的差分值，区域P中的差分值是中距离13(图7)与背景之间的差分值。另外，背景假设为无限远方。

图11(B)是根据基于图8(A)以及图8(B)所示的距离图像U以及V获取的差分值制作的差分图像W，示出了获取到的差分值的二维分布。在图11(B)所示的情况下，由于在被投影体2以及载物台7中差分值为0，因此被投影体2以及载物台7用黑色表现。如此，差分图像由距离图像所具有的距离信息的差分值的二维分布构成。

返回到图10，本实施方式的判定部103能够根据差分图像W通过各种各样的方式判定被投影体2的移动。例如，判定部103能够根据按照差分图像的区域设定的加权系数乘以差分值而得出的值使用阈值(第7阈值)进行被投影体2是否静止的判定。在该情况下，差分图像生成部111获取按照差分图像的区域设定的加权系数乘以差分值而得出的值。

图12是示出差分图像W的概念图。图12所示的差分图像W在区域F和区域E设定有不同的加权系数，差分图像生成部111获取该加权系数乘以差分值而得出的值。例如，对区域F进行系数1.5的加权，对区域E进行系数0.5的加权。然后，差分图像生成部111将区域F的加权系数和区域F的差分值相乘，将区域E的加权系数和区域E的差分值相乘。由此，主要的被摄体存在于图像的中央的情况较多，因此能够更准确地检测主要的被摄体(被投影体2)的移动。另外，在图12中，以中央附近的区域及其周边的区域进行了区域划分，但是区域的设定能够采用各种各样的方式。例如，还能够将差分图像W分割成N×M(N以及M为整数)的格子状的区域，或者按照被投影体2的形状分割区域。

图13以及图14是概念性地示出距离图像S以及T和差分图像W的图。在图13(A)中，示出了被投影体2向中央附近移动的距离图像S以及距离图像T。距离图像S在时刻T1被拍摄，距离图像T在时刻T2被拍摄，被投影体2在时刻T1至时刻T2之间朝着图13向右移动。另外，在图13(A)中，关于距离在被投影体2和背景中进行了二值化，距离投影装置20近的被投影体2比背景更白地表现。

图13(B)是图13(A)所示的距离图像S和距离图像T的差分图像(W1以及W2)。另外，在图13(B)中，将差分值为0的区域用黑色表现，将差分值不是0的区域117用白色表现。例如，将差分图像(W1以及W2)的区域117的差分值设为100。如在图12中说明，在差分图像W2中的区域E以及F中设定了加权，在差分图像W1中未设定加权。由于在差分图像W2中对区域F中的差分值进行了系数1.5的加权，因此差分图像生成部111将区域117的差分值(100)和加权系数(1.5)相乘，获得150这一值(100×1.5＝150)。另一方面，由于在差分图像W1中未设定加权，因此W1的差分值为100。

在图14(A)中，示出了映现出不是被投影体2的人物114的距离图像S以及未映现出人物114的距离图像T。距离图像S在时刻T1被拍摄，距离图像T在时刻T2被拍摄。并且，在图14(A)中，关于距离进行了人物114和背景的二值化，距离投影装置20近的人物114比背景更白地表现。

图14(B)是图14(A)所示的距离图像S和距离图像T的差分图像(W1以及W2)，与人物114相应的差分值不是0的区域119用白色表现。例如，将差分图像(W1以及W2)中的差分值设为50。图14(B)与图13(B)相同地设定了加权。由于在差分图像W2中对区域E中的差分值进行了系数0.5的加权，因此差分图像生成部111将区域119的差分值(50)和加权系数(0.5)相乘，得到25这一值(50×0.5＝25)。另一方面，由于在差分图像W1中未设定加权，因此W1的差分值为50。

如此，在图13(B)以及图14(B)的情况(按照区域设定加权的情况)下，较大地评价出区域F的差分值，较小地评价出区域E的差分值。

如此，按照差分图像的区域进行加权，并根据通过其加权系数乘以差分值而得到的值判定被投影体2的移动，由此能够更准确地判定被投影体2的移动。

而且，在差分图像生成部111生成的差分图像在多个帧中的平均差分值为阈值(第3阈值)以下的情况下，判定部103也可以判定为被投影体2静止。即，差分图像生成部111在一个差分图像中获取平均差分值，生成多个帧量的该平均值，判定部103根据所获得的多个帧量的差分图像中的平均差分值判定为被投影体2静止。由此，由于根据多个帧的差分图像的平均值判定被投影体2是否静止，因此能够判定更加正确的被投影体2的移动。

并且，在差分图像在多个帧中的最大差分值为阈值(第4阈值)以下的情况下，判定部103能够判定为被投影体2静止。即，差分图像生成部111获取多个帧的差分图像中的最大差分值，判定部103根据其最大差分值判定被投影体2是否静止。由此，由于根据最大差分值判定被投影体2是否静止，因此能够判定更加正确的被投影体2的移动。

并且，判定部103根据差分图像中的差分值为阈值(第5阈值)以下的区域的大小进行被投影体2是否静止的判定。即，差分图像生成部111在差分图像中计算阈值以下的区域，在该区域的大小比规定的大小大的情况下，判定部103判定为被投影体2静止。并且，差分图像生成部111在多个帧的差分图像中计算阈值(第6阈值)以下的区域，在该区域的大小比规定的大小大的情况下，判定部103也可以判定为被投影体2静止。

并且，差分值获取部101能够获取或计算与差分图像相关的各种各样的值作为判定部103判定被投影体2的移动的值(以下，称作评价值)。例如，差分图像生成部111也可以将距离图像S与距离图像T之间差分值不是0的像素的数作为评价值。并且，差分图像生成部111也可以将差分图像的差分值的分散值或标准偏差作为评价值。

以上，对本发明的例子进行了说明，但是本发明并不限定于上述实施方式，在不脱离本发明的精神的范围内能够进行各种各样的变形是不言而喻的。

符号说明

2-被投影体，7-载物台，20-附带距离图像获取装置的投影装置，20A-距离图像获取部，20B-投影部，26-控制部，27-存储器，28-投影图像生成部，29-输入I/F，31-定时信号发生器，32-测量用光源，33-光源驱动器，35-投影透镜，36-成像透镜，37-透镜驱动器，38-距离图像传感器，39-AD转换器，39-转换器，40-接口电路，40-电路，42-显示用光学元件，43-元件驱动器，44-投影光源，45-光源驱动器，46-投影透镜，47-透镜驱动器，49-数据总线，101-差分值获取部，103-判定部，105-投影指示部，107-投影控制部，109-投影停止指示部，111-差分图像生成部，113-距离图像生成部。