确定方法、确定系统和记录介质与流程

1.本发明涉及确定方法、确定系统和记录介质。


背景技术：

2.在映射投射中，有时将投射图像从投影仪投射到非平面的屏幕。对于用户来说，投射到非平面的屏幕的投射图像根据屏幕的形状看起来失真。因此，在投射图像的投射目的地是非平面的屏幕的情况下，通常考虑与屏幕的形状对应的失真来预先校正投射图像。作为检测与屏幕的形状对应的失真的技术的一例，可举出专利文献1所公开的技术。
3.在专利文献1所公开的技术中，首先，确定投影仪相对于屏幕的投射方向。在专利文献1公开的技术中，实施了与所确定的投射方向对应的变形的图案图像从投影仪投射到屏幕。在专利文献1公开的技术中，在投射实施了变形的图案图像的状态下，通过照相机拍摄屏幕。而且，在专利文献1公开的技术中，根据实施了与投射方向对应的变形的图案图像和照相机的拍摄图像来确定投影仪坐标系与照相机坐标系的对应关系。投影仪坐标系是表示投射图像内的位置的坐标系。照相机坐标系是表示照相机拍摄的拍摄图像内的位置的坐标系。在专利文献1公开的技术中，根据投影仪坐标系与照相机坐标系的对应关系检测与屏幕的形状对应的失真。
4.专利文献1：日本特开2015-166893号公报
5.仅考虑投影仪相对于屏幕的投射方向，有时无法以充分的精度确定投影仪坐标系与照相机坐标系的对应关系。在通过用户手持的照相机拍摄屏幕的情况下，由于手抖等影响而无法以充分的精度确定投影仪坐标系与照相机坐标系的对应关系。


技术实现要素：

6.为了解决以上的课题，在本发明的确定方法中，判定拍摄被投射物的拍摄装置是否被固定，其中，从投影仪向所述被投射物投射出投射图像，在判定为所述拍摄装置没有被固定的情况下，从所述投影仪向所述被投射物依次投射属于第1组的各图像，另一方面，在判定为所述拍摄装置被固定的情况下，从所述投影仪向所述被投射物依次投射属于第2组的各图像，在投射了属于所述第1组的各图像或属于所述第2组的各图像的状态下，通过由所述拍摄装置拍摄所述被投射物来生成拍摄图像，根据从所述投影仪投射到所述被投射物的图像和所述拍摄装置的所述拍摄图像，确定投射到所述被投射物的图像上的位置与所述拍摄图像上的位置的对应关系。
7.此外，为了解决以上的课题，本发明的确定系统具有：投影仪；拍摄装置；以及处理装置，所述处理装置执行以下处理：判定所述拍摄装置是否被固定；在判定为所述拍摄装置没有被固定的情况下，使所述投影仪向被投射物依次投射属于第1组的各图像，另一方面，在判定为所述拍摄装置被固定的情况下，从所述投影仪向所述被投射物依次投射属于第2组的各图像；在投射了属于所述第1组的各图像或属于所述第2组的各图像的状态下，使所述拍摄装置拍摄所述被投射物，由此生成拍摄图像；以及根据从所述投影仪投射到所述被
投射物的图像和所述拍摄装置的所述拍摄图像，确定投射到所述被投射物的图像上的位置与所述拍摄图像上的位置的对应关系。
8.此外，为了解决以上的课题，本发明的程序使计算机执行以下处理：判定拍摄被投射物的拍摄装置是否被固定，其中，从投影仪向所述被投射物投射出投射图像；在判定为所述拍摄装置没有被固定的情况下，使所述投影仪向所述被投射物依次投射属于第1组的各图像，另一方面，在判定为所述拍摄装置被固定的情况下，使所述投影仪向所述被投射物依次投射属于第2组的各图像；在投射了属于所述第1组的各图像或属于所述第2组的各图像的状态下，使所述拍摄装置拍摄所述被投射物来生成拍摄图像；以及根据从所述投影仪投射到所述被投射物的图像和所述拍摄装置的所述拍摄图像，确定投射到所述被投射物的图像上的位置与所述拍摄图像上的位置的对应关系。
附图说明
9.图1是示出包含执行本发明的一个实施方式的确定方法的确定装置1a的图像显示系统5a的结构例的框图。
10.图2是示出确定装置1a使投影仪2投射的图案图像的一例的图。
11.图3是示出确定装置1a使投影仪2投射的图案图像的一例的图。
12.图4是示出确定装置1a使投影仪2投射的图案图像的一例的图。
13.图5是示出确定装置1a使投影仪2投射的图案图像的一例的图。
14.图6是确定装置1a的处理装置40依照程序pa执行的确定方法的流程的流程图。
15.标号说明
16.1a：确定装置；2：投影仪；10：触摸面板；20：通信装置；30：存储装置；40：处理装置；400：取得部；410：判定部；420：第1拍摄控制部；430：第1确定部；440：第2拍摄控制部；450：第2确定部；50：拍摄装置；60：传感器；pa：程序；sc：被投射物；5a：图像显示系统。
具体实施方式
17.以下，参照附图，对本发明的实施方式进行说明。在以下叙述的实施方式中，附加了在技术上优选的各种限定。但是，本发明的实施方式不限于以下叙述的方式。
18.1.实施方式
19.图1是示出包含本发明实施方式的确定装置1a的图像显示系统5a的结构例的框图。在图像显示系统5a中，除了确定装置1a以外，还包含与确定装置1a进行通信的投影仪2。投影仪2将与从确定装置1a供给的图像数据对应的投射图像g1投射到被投射物sc的表面。在图1中，虽然省略了详细图示，但是，投影仪2具有光源、作为光调制装置的3个显示面板、投射镜头和显示面板驱动部。
20.投影仪2中的3个显示面板各自分别对应于红、绿和蓝的各色。在本实施方式中，显示面板是液晶光阀。显示面板驱动部根据从确定装置1a供给的图像数据来控制3个显示面板各自上的光的透射率。投影仪2对从光源射出的光在3个显示面板各自上进行调制而形成图像光，从投射镜头投射该图像光而在被投射物sc的表面上显示投射图像g1。如图1所示，本实施方式中的被投射物sc是长方体，但也可以是三棱锥或四棱锥等通过多边形的连结而构成的三维形状或者具有曲面的三维形状。
21.确定装置1a例如是智能手机。确定装置1a具有拍摄功能、以及与投影仪2进行通信的通信功能。当确定装置1a与投影仪2进行网络连接时，确定装置1a与投影仪2进行通信，从投影仪2取得投影仪信息。投影仪信息包含分辨率信息、以及表示在投影仪2中能够解码的压缩形式的压缩形式信息。
22.分辨率信息是表示投影仪2中的显示面板的分辨率的信息。分辨率信息在生成用于确定投影仪坐标系与照相机坐标系的对应关系的计测图案的图案图像时被利用。投影仪坐标系是表示投影仪2的投射图像上的位置的坐标系。作为投影仪坐标系的一例，可举出以投射图像的左上角为原点的二维坐标系。照相机坐标系是表示拍摄图像上的位置的坐标系。作为照相机坐标系的具体例，可举出以拍摄图像的左上角为原点的二维坐标系。详细情况后述，在本实施方式中，作为计测图案而使用二进制码图案。压缩形式信息用于决定对表示计测图案的计测图案数据进行压缩而从确定装置1a向投影仪2发送的情况下的计测图案数据的压缩形式。对计测图案数据进行压缩而从确定装置1a向投影仪2发送的情况下的压缩形式优选为行程长度(run length)、lzh、png和gif等可逆压缩形式。
23.确定装置1a使用从投影仪2取得的分辨率信息生成分别表示多个计测图案的计测图案数据，将所生成的计测图案数据提供给投影仪2。投影仪2将从确定装置1a提供的计测图案数据所表示的多个计测图案各自的图像投射到被投射物sc。另外，也可以从确定装置1a向投影仪2发送命令，投影仪2根据该命令生成计测图案数据。在从确定装置1a向投影仪2发送命令的情况下，无需预先将压缩形式信息包含于投影仪信息。只要是在投影仪2中生成计测图案数据的方式，可缩短用于从确定装置1a向投影仪2传递计测图案的通信时间。
24.确定装置1a按照每个计测图案，提示用户在投影仪2投射计测图案的图案图像的状态下拍摄被投射物sc。确定装置1a与用户的操作相应地通过拍摄功能拍摄投射了计测图案的图案图像的状态下的被投射物sc。存在使用确定装置1a拍摄投射了计测图案的图案图像的状态下的被投射物sc的情况、使用三脚架等对确定装置1a进行固定而拍摄的情况、用户以手持确定装置1a的方式进行拍摄的情况、即确定装置1a没有被固定的情况。确定装置1a根据拍摄出的多个拍摄图像和多个图案图像，确定投影仪坐标系与照相机坐标系的对应关系。确定投影仪坐标系与照相机坐标系的对应关系的意思是，生成用于从一个坐标系向另一个坐标系的射影变换的变换矩阵。
25.如图1所示，确定装置1a包含触摸面板10、通信装置20、存储装置30、处理装置40、拍摄装置50和传感器60。通信装置20是无线通信模块或有线通信模块。在通信装置20是有线通信模块的情况下，通信装置20经由通信线与投影仪2连接。确定装置1a与投影仪2的连接可以是不经由路由器等中继装置的直接连接，也可以是经由中继装置的间接连接。在通信装置20是无线通信模块的情况下，作为直接连接的具体例，可举出自组织连接，作为间接连接的具体例，可举出经由无线接入点装置的接入点连接。此外，在通信装置20是有线通信模块的情况下，作为直接连接的具体例，可举出点对点连接，作为间接连接的具体例，可举出经由有线路由器或有线集线器的连接。通信装置20在处理装置40的控制下与投影仪2进行通信。拍摄装置50是照相机。拍摄装置50在处理装置40的控制下进行拍摄，将表示拍摄图像的图像数据供给到处理装置40。在本实施方式中，拍摄装置50固定于确定装置1a。
26.触摸面板10是对显示装置与输入装置进行一体化而得到的装置。输入装置例如是透明片状的接触传感器。输入装置设置成覆盖显示装置的显示面。输入装置使用由与该输
入装置接触的物体和该输入装置确定的静电电容来检测触摸位置，向处理装置40输出表示检测出的触摸位置的数据。由此，用户对触摸面板10的操作内容传递到处理装置40。
27.传感器60例如是加速度传感器。传感器60在处理装置40的控制下检测与施加到确定装置1a的壳体的外力对应的确定装置1a的平移运动的加速度，向处理装置40输出表示检测出的加速度的大小的加速度数据。在本实施方式中，拍摄装置50固定在确定装置1a上，因此，由传感器60检测的确定装置1a的加速度也是拍摄装置50的加速度。
28.存储装置30是处理装置40能够读取的记录介质。存储装置30例如包含非易失性存储器和易失性存储器。非易失性存储器例如可以是rom(read only memory)、eprom(erasable programmable read only memory)或eeprom(electrically erasable programmable read only memory)。易失性存储器例如是ram(random access memory)。
29.在存储装置30的非易失性存储器中存储有由处理装置40执行的程序pa。存储装置30的易失性存储器作为执行程序pa时的工作区被处理装置40使用。程序pa也能够称作“应用程序”、“应用软件”或“应用”。程序pa例如经由通信装置20从未图示的服务器等取得，然后存储到存储装置30中。程序pa也可以预先存储到存储装置30中。
30.处理装置40例如构成为包含cpu(central processing unit)等处理器、即计算机。处理装置40可以由单一的计算机构成，也可以由多个计算机构成。处理装置40以对触摸面板10进行了指示程序pa的执行开始的操作为契机，从非易失性存储器向易失性存储器读出程序pa，开始程序pa的执行。依照程序pa正在进行工作的处理装置40作为图1所示的取得部400、判定部410、第1拍摄控制部420、第1确定部430、第2拍摄控制部440和第2确定部450发挥功能。图1所示的取得部400、判定部410、第1拍摄控制部420、第1确定部430、第2拍摄控制部440和第2确定部450是通过使处理装置40依照程序pa进行工作而实现的软件模块。
31.取得部400以在确定装置1a与投影仪2进行了网络连接的状况下通过对触摸面板10的操作而指示了开始确定对应关系为契机，取得投影仪信息。此外，取得部400从传感器60取得表示取得投影仪信息的时刻和从该时刻起经过规定时间以后的时刻各自的加速度的大小的加速度数据。取得投影仪信息的时刻是第1时刻的一例。从第1时刻起经过规定时间以后的时刻是第2时刻的一例。第1时刻的加速度是第1加速度的一例。第2时刻的加速度是第2加速度的一例。表示第1加速度的大小的加速度数据是第1加速度数据的一例。表示第2加速度的大小的加速度数据是第2加速度数据的一例。
32.判定部410根据第1加速度数据和第2加速度数据，判定拍摄装置50是否相对于被投射物sc固定。更详细地说明，判定部410首先计算从第1时刻到第2时刻的规定时间中的拍摄装置50的速度的变化量。具体而言，判定部410将第1加速度的大小与第2加速度的大小之和作为从第1时刻到第2时刻的规定时间中的拍摄装置50的速度的变化量。判定部410根据拍摄装置50的速度的变化量，判定拍摄装置50是否被固定。具体而言，在拍摄装置50的速度的变化量小于预先设定的阈值的情况下，判定部410判定为拍摄装置50被固定。相反，在拍摄装置50的速度的变化量为预先设定的阈值以上的情况下，判定部410判定为拍摄装置50没有被固定。
33.作为使投影仪2投射的第1计测图案的图案图像，第1拍摄控制部420根据投影仪信息生成属于第1组的多个图像。第1计测图案是用于在未固定确定装置1a的状态、即未固定拍摄装置50的状态下确定投影仪坐标系与照相机坐标系的对应关系的计测图案。在拍摄装
置50没有被固定的情况下，由第1拍摄控制部420和后述的第1确定部430确定投影仪坐标系与照相机坐标系的对应关系。第1拍摄控制部420根据投影仪信息包含的分辨率信息，生成属于第1组的各计测图案所表示的第1计测图案数据。第1拍摄控制部420控制投影仪2依次投射第1计测图案数据所表示的各计测图案。此外，第1拍摄控制部420提示用户拍摄依次投射到被投射物sc的各计测图案，与用户的操作相应地使拍摄装置50进行拍摄，由此，生成拍摄图像。
34.第1确定部430根据第1组的各图像和在投射第1组的各图像的状态下拍摄出的被投射物sc的各拍摄图像，确定投影仪坐标系与照相机坐标系的对应关系。第1确定部430根据多个第1计测图案的图像和多个拍摄图像，生成用于将由拍摄装置50拍摄出的拍摄图像中的第1计测图案的坐标射影变换为投影仪2的显示装置中的第1计测图案的坐标的变换矩阵。
35.第2拍摄控制部440根据投影仪信息，生成属于与第1组不同的第2组的多个图像作为使投影仪2投射的计测图案的图案图像。第2计测图案是用于在固定了确定装置1a的状态、即固定了拍摄装置50的状态下确定投影仪坐标系与照相机坐标系的对应关系的计测图案。在拍摄装置50被固定的情况下，由第2拍摄控制部440和后述的第2确定部450确定投影仪坐标系与照相机坐标系的对应关系。
36.第2拍摄控制部440根据投影仪信息包含的分辨率信息，生成属于第2组的各计测图案所表示的第2计测图案数据。第2拍摄控制部440控制投影仪2依次投射第2计测图案数据所表示的各计测图案。此外，第2拍摄控制部440提示用户拍摄依次投射到被投射物sc的各计测图案，与用户的操作相应地使拍摄装置50进行拍摄，由此，生成拍摄图像。第2确定部450根据第2组的各图像和在投射了第2组的各图像的状态下拍摄出的被投射物sc的各拍摄图像，确定投影仪坐标系与照相机坐标系的对应关系。
37.如上所述，在本实施方式中，使用二进制码图案作为计测图案。即，第1计测图案和第2计测图案的相同之处在于都是二进制码图案。二进制码图案是用于使用二进制码来表现显示装置的坐标的图像。二进制码是通过开关的接通/断开来表现以2进制数表现任意数值时的各位的值的技术。在使用二进制码图案作为计测图案的情况下，由投影仪2投射的图像相当于上述的开关，需要表示坐标值的2进制数的位数的图像。此外，在x坐标和y坐标中分别需要单独的图像。例如，在投影仪2的显示面板的分辨率、即纵向和横向上的像素数量分别以6位的2进制数表现的情况下，需要6张图像来表现x坐标，需要6张图像来表现y坐标。
38.众所周知，在使用二进制码图案作为计测图案的情况下，计测的鲁棒性因照明等干扰光的影响而下降。因此，在使用二进制码图案作为计测图案的情况下，通常一并使用互补图案以抑制干扰光的影响，提高计测的鲁棒性。互补图案是将黑白反转而得到的图像。下面，将用白表示1、用黑表示0的二进制码图案称作“正图案”、使该正图案反转而得到的互补图案称作“负图案”。在分辨率信息所表示的纵向和横向上的像素数量分别以6位的2进制数表现的情况下，如果考虑计测的鲁棒性的下降，则如图2所示，优选使用正图案为12张、负图案为12张的合计24张的计测图案。
39.在本实施方式中，在分辨率信息所表示的纵向和横向上的像素数量分别以6位的2进制数表现的情况下，第2拍摄控制部440生成图2所示的24个计测图案作为第2组的各图像。这是为了考虑到计测的鲁棒性的下降而高精度地确定投影仪坐标系与照相机坐标系的
对应关系。与此相对，第1拍摄控制部420生成图3所示的12个计测图案作为第1组的各图像。对比图3和图2可知，第1计测图案由“正图案”和“负图案”中的一方构成，这一点与第2计测图案不同。即，本实施方式中的第1组的图像数量比第2组的图像数量少。这是因为，在拍摄装置50没有被固定的状态下，通过使快速结束对应关系的确定优先于计测的鲁棒性的提高，可期待减少抖动的影响。
40.此外，对比图3和图2可知，第1组的各图像在四角具有用于使第1组的各图像相互进行位置对准的标记m，这一点与第2组的各图像不同。第1确定部430以由拍摄装置50拍摄出的各拍摄图像中的4个标记m相互重叠的方式，对各拍摄图像实施射影变换。然后，第1确定部430根据第1组的各图像和射影变换后的各拍摄图像，确定投影仪坐标系与照相机坐标系的对应关系。这是因为，以4个标记m相互重叠的方式对各拍摄图像实施射影变换，由此，抖动的影响减少。
41.在本实施方式中，使用二进制码图案作为计测图案，但也可以使用点图案、矩形图案、多边形图案、棋盘图案、格雷码图案、相移图案或随机点图案等其它结构化光。作为将格雷码图案用作计测图案且分辨率信息所表示的纵向和横向上的像素数量分别以6位的2进制数表现的情况下的第2计测图案，可举出图4所示的24张，作为第1计测图案，可举出图5所示的12张。
42.此外，依照程序pa进行工作的处理装置40执行本发明的确定方法。图6是示出该确定方法的流程的流程图。如图6所示，在该确定方法中，包含取得处理sa100、判定处理sa110、第1拍摄控制处理sa120、第1确定处理sa130、第2拍摄控制处理sa140和第2确定处理sa150。
43.在取得处理sa100中，处理装置40作为取得部400发挥功能。在取得处理sa100中，处理装置40以通过对触摸面板10的操作而指示了对应关系的确定开始为契机，取得投影仪信息。此外，在取得处理sa100中，处理装置40取得第1加速度数据和第2加速度数据。
44.在判定处理sa110中，处理装置40根据第1加速度数据和第2加速度数据，判定拍摄装置50是否被固定。如上所述，在判定处理sa110中，处理装置40首先计算从第1时刻到第2时刻的规定时间中的拍摄装置50的速度的变化量。具体而言，处理装置40将第1加速度数据所表示的第1加速度的大小与第2加速度数据所表示的第2加速度的大小之和设为从第1时刻到第2时刻的规定时间中的拍摄装置50的速度的变化量。接着，在拍摄装置50的速度的变化量小于预先设定的阈值的情况下，处理装置40判定为拍摄装置50被固定，在该变化量为预先设定的阈值以上的情况下，处理装置40判定为拍摄装置50没有被固定。
45.在拍摄装置50的速度的变化量小于预先设定的阈值的情况下，判定处理sa110的判定结果为“是”，在拍摄装置50的速度的变化量为预先设定的阈值以上的情况下，判定处理sa110的判定结果为“否”。在判定处理sa110的判定结果为“否”、即否定的情况下，执行第1拍摄控制处理sa120和第1确定处理sa130。在判定处理sa110的判定结果为“是”、即肯定的情况下，执行第2拍摄控制处理sa140和第2确定处理sa150。
46.在第1拍摄控制处理sa120中，处理装置40作为第1拍摄控制部420发挥功能。在第1拍摄控制处理sa120中，处理装置40根据投影仪信息生成第1组的各图像，对投影仪2进行控制，以使其依次投射第1组的各图像。此外，处理装置40提示用户拍摄依次投射到被投射物sc的第1组的各图像，与用户的操作相应地使拍摄装置50进行拍摄，由此，生成拍摄图像。
47.在第1确定处理sa130中，处理装置40作为第1确定部430发挥功能。在第1确定处理sa130中，处理装置40根据第1组的各图像和在投射有第1组的各图像的状态下拍摄出的被投射物sc的各拍摄图像，确定投影仪坐标系与照相机坐标系的对应关系。更具体而言，在第1确定处理sa130中，处理装置40根据多个第1计测图案的图像和多个拍摄图像，生成用于将由拍摄装置50拍摄出的拍摄图像中的第1计测图案的坐标射影变换为投影仪2的显示装置中的第1计测图案的坐标的变换矩阵。
48.在第2拍摄控制处理sa140中，处理装置40作为第2拍摄控制部440发挥功能。在第2拍摄控制处理sa140中，处理装置40根据投影仪信息生成第2组的各图像，对投影仪2进行控制，以使其依次投射第2组的各图像。此外，处理装置40提示用户拍摄依次投射到被投射物sc的第2组的各图像，与用户的操作相应地使拍摄装置50进行拍摄，由此，生成拍摄图像。
49.在第2确定处理sa150中，处理装置40作为第2确定部450发挥功能。在第2确定处理sa150中，处理装置40根据第2组的各图像和在投射有第2组的各图像的状态下拍摄出的被投射物sc的各拍摄图像，确定投影仪坐标系与照相机坐标系的对应关系。更具体而言，在第2确定处理sa150中，处理装置40根据多个第2计测图案的图像和多个拍摄图像，生成用于将由拍摄装置50拍摄出的拍摄图像中的第2计测图案的坐标射影变换为投影仪2的显示装置中的第2计测图案的坐标的变换矩阵。
50.根据本实施方式的确定装置1a，在拍摄装置50被固定的情况下，使用包含“正图案”和“负图案”的第2组的各图像来确定照相机坐标系与投影仪坐标系的对应关系，所以，能够高精度地确定对应关系。另一方面，在拍摄装置50没有被固定的情况下，使用包含“正图案”和“负图案”中的任意一方的第1组的各图像来确定照相机坐标系与投影仪坐标系的对应关系。由于第1组的图像数量比第2组的图像数量少，因此，在拍摄装置50没有被固定的情况下，与拍摄装置50被固定的情况相比，可在短时间内确定对应关系，减少因抖动而引起的影响。此外，在第1组的各图像的四角设置有位置对准用的标记m。第1确定部430以由拍摄装置50拍摄出的各拍摄图像中的4个标记m相互重叠的方式对各拍摄图像实施射影变换，根据射影变换后的各拍摄图像确定投影仪坐标系与照相机坐标系的对应关系，因此，能够减少抖动的影响。
51.2.变形例
52.上述实施方式也可以如以下这样变更。
53.(1)上述实施方式中的传感器60是检测确定装置1a的平移运动的加速度的传感器，但是，也可以是检测确定装置1a绕重心的旋转运动的加速度即角加速度的传感器。在传感器60是检测角加速度的传感器的情况下，在判定处理sa110中，也可以根据从第1时刻到第2时刻的期间内的角速度的变化量来判定拍摄装置50是否被固定。在根据角速度的变化量来判定拍摄装置50是否被固定的情况下，设第1时刻的角加速度与第2时刻的角加速度之和为角速度的变化量即可。
54.(2)在上述实施方式中的判定处理sa110中，在第1时刻由传感器60检测出的加速度与在第2时刻由传感器60检测出的加速度之和为拍摄装置50的速度的变化量。但是，也可以根据传感器60的输出来计算第1时刻的拍摄装置50的速度和第2时刻的拍摄装置50的速度，将第1时刻的速度与第2时刻的速度之差设为拍摄装置50的速度的变化量。此外，也可以设第1时刻的拍摄装置50的速度与第2时刻的拍摄装置50的速度之和为拍摄装置50的位置
的变化量，根据拍摄装置50的位置的变化量来判定拍摄装置50是否被固定。具体而言，如果拍摄装置50的位置的变化量小于阈值，则判定为拍摄装置50被固定，如果拍摄装置50的位置的变化量为阈值以上，则判定为拍摄装置50没有被固定即可。此外，也可以使用速度传感器作为传感器60检测第1时刻的拍摄装置50的速度和第2时刻的拍摄装置50的速度。
55.(3)也可以不根据拍摄装置50的速度或位置的变化量，而根据第1时刻、第2时刻、第3时刻和第4时刻各自的加速度、即从第1时刻到第4时刻的时间区间中的加速度的分布，判定拍摄装置50是否被固定。这是因为，当用户手持确定装置1a进行拍摄时，在拍摄装置50的加速度的分布中，出现因抖动引起的周期。具体而言，取得部400检测第1时刻、第2时刻、第3时刻和第4时刻各自的拍摄装置50的加速度，将从第1时刻到第4时刻的时域中的拍摄装置50的加速度的分布变换为频域的频谱。在该频谱的峰值处的强度为阈值以上的情况下，判定部410判定为拍摄装置50没有被固定，在频谱的峰值处的强度小于阈值的情况下，判定为拍摄装置50被固定。
56.(4)在判定处理sa110中，也可以将提示用户输入表示拍摄装置50是否被固定的信息的画面显示在触摸面板10的显示装置上，根据由用户输入的信息来判定拍摄装置50是否被固定。在本方式中，无需传感器60和取得处理sa100。
57.(5)上述实施方式中的取得部400、判定部410、第1拍摄控制部420、第1确定部430、第2拍摄控制部440和第2确定部450是软件模块，但是，取得部400、判定部410、第1拍摄控制部420、第1确定部430、第2拍摄控制部440和第2确定部450的一部分或全部也可以是硬件。作为该硬件的一例，可举出dsp(digital signal processor)、asic(application specific integrated circuit)、pld(programmable logic device)和fpga(field programmable gate array)。即使取得部400、判定部410、第1拍摄控制部420、第1确定部430、第2拍摄控制部440和第2确定部450的一部分或全部是硬件，也起到与上述实施方式相同的效果。
58.(6)确定装置1a是具有拍摄装置50的智能手机，也可以是具有拍摄装置的平板终端或者具有拍摄装置的笔记本型个人计算机。在使用笔记本型个人计算机作为本发明的确定装置的情况下，可以将鼠标或键盘作为输入装置受理各种操作。此外，在包含智能手机或者平板终端等具有拍摄功能的便携终端和经由lan或互联网进行通信的服务器装置的计算机系统中，也可以使服务器装置的处理装置作为取得部400、判定部410、第1拍摄控制部420、第1确定部430、第2拍摄控制部440和第2确定部450发挥功能，使该便携终端承担拍摄装置和输入装置的作用。该计算机系统是本发明的确定系统的一例。
59.(7)在上述的实施方式中，程序pa已存储到存储装置30中。但是，也可以单独地制造或发布程序pa。作为程序pa的具体发布方法，可考虑在闪存rom(read only memory)等计算机可读取的记录介质中写入上述程序pa而发布的方式或通过经由互联网等电气通信线路的下载来发布的方式。将该程序pa安装在个人计算机等一般的信息处理装置中，使该信息处理装置的cpu等计算机依照该程序进行工作，由此，能够使该信息处理装置作为本发明的确定装置发挥功能。
60.(8)上述实施方式中的第1拍摄控制部420生成的第1组的图像可以如图3所示那样包含显示二进制码图案的二进制码图案部和4个标记m而仅以无色彩的方式构成，也可以构成为使二进制码图案部与4个标记m的色调不同。例如，可以以红色、绿色的有色彩的方式构
成二进制码图案部，以白色、黑色的无色彩的方式构成4个标记m，也可以以白色、黑色的无色彩的方式构成二进制码图案部，以红色、绿色的有色彩的方式构成4个标记m。这样，通过使二进制码图案部与4个标记m的色调不同，能够根据由拍摄装置50拍摄第1组的各图像而得到的各拍摄图像来更高精度地检测4个标记m。这在使用除了二进制编码图案以外的点图案、矩形图案、多边形图案、棋盘图案、格雷码图案、相移图案或随机点图案等其他结构化光作为测量图案的情况下也是同样如此。
61.3.根据各实施方式和各变形例中的至少一个来掌握的方式
62.本发明不限于上述各实施方式和变形例，能够在不脱离其主旨的范围内以各种方式实现。例如，本发明还能够通过以下的方式来实现。为了解决本发明的一部分或全部课题或者为了实现本发明的一部分或全部效果，与以下所记载的各方式中的技术特征对应的上述实施方式中的技术特征可以适当地进行替换或组合。此外，只要未说明为该技术特征是本说明书中必需的，则能够适当删除。
63.本发明的确定方法包含判定处理sa110、第1拍摄控制处理sa120、第1确定处理sa130、第2拍摄控制处理sa140和第2确定处理sa150。在判定处理sa110中，判定拍摄装置50是否被固定，该拍摄装置50拍摄被从投影仪2投射了投射图像的被投射物sc。在判定处理sa110的判定结果为否定的情况、即、判定为拍摄装置50没有被固定的情况下，执行第1拍摄控制处理sa120和第1确定处理sa130。与此相对，在判定处理sa110的判定结果为肯定的情况、即判定为拍摄装置50被固定的情况下，执行第2拍摄控制处理sa140和第2确定处理sa150。在第1拍摄控制处理sa120中，属于第1组的各图像从投影仪2依次投射到被投射物sc，在投射有属于第1组的各图像的状态下，由拍摄装置50拍摄被投射物sc，由此，生成拍摄图像。在第1确定处理sa130中，根据从投影仪2投射到被投射物sc的第1组的各图像和拍摄装置50的各拍摄图像，来确定被投射到被投射物sc的图像上的位置与拍摄图像上的位置的对应关系。在第2拍摄控制处理sa140中，属于第2组的各图像从投影仪2依次投射到被投射物sc，在投射有属于第2组的各图像的状态下，由拍摄装置50拍摄被投射物sc，由此，生成拍摄图像。在第2确定处理sa150中，根据从投影仪2投射到被投射物sc的第2组的各图像和拍摄装置50的各拍摄图像，确定被投射到被投射物sc的图像上的位置与拍摄图像上的位置的对应关系。
64.根据本方式，由于在拍摄装置50被固定的情况和拍摄装置50没有被固定的情况中使用不同组的图像，因此，无论拍摄装置50的固定状态如何，都能够高精度地确定投影仪坐标系与照相机坐标系的对应关系。具体而言，在第2组的各图像中，预先包含“正图案”和“负图案”即可，在第1组的各图像中，预先包含“正图案”和“负图案”中的任意一方即可。此外，在第1组的各图像的四个角，也可以设置位置对准用的标记m。另外，第1拍摄控制处理sa120和第2拍摄控制处理sa140也可以合并为一个拍摄控制处理。在该拍摄处理中，在判定为拍摄装置50没有被固定的情况下，从投影仪2向被投射物sc依次投射属于第1组的各图像，另一方面，在判定为拍摄装置50被固定的情况下，从投影仪2向被投射物sc依次投射属于第2组的各图像。而且，在该拍摄控制处理中，在投射有属于第1组的各图像或属于第2组的各图像的状态下，由拍摄装置50拍摄被投射物sc，由此，生成拍摄图像。关于第1确定处理sa130和第2确定处理sa150，也可以同样地合并为一个确定处理。在该确定处理中，根据从投影仪2投射到被投射物sc的图像和拍摄装置50的拍摄图像，确定被投射到被投射物sc的图像上
的位置与拍摄图像上的位置的对应关系。
65.在更优选方式的确定方法中，在判定处理sa110中，也可以根据从第1时刻到第2时刻的拍摄装置50的位置的变化量来判定拍摄装置50是否被固定。具体而言，在从第1时刻到第2时刻的拍摄装置50的位置的变化量为阈值以上的情况下，判定为拍摄装置50没有被固定，在从第1时刻到第2时刻的拍摄装置50的位置的变化量小于阈值的情况下，判定为拍摄装置50被固定。根据本方式，能够根据从第1时刻到第2时刻的拍摄装置50的位置的变化量来判定拍摄装置50是否被固定。
66.在另一优选方式的确定方法中，在判定处理sa110中，也可以根据从第1时刻到第2时刻的拍摄装置50的速度的变化量，判定拍摄装置50是否被固定。具体而言，在从第1时刻到第2时刻的拍摄装置50的速度的变化量为阈值以上的情况下，判定为拍摄装置50没有被固定，在从第1时刻到第2时刻的拍摄装置50的速度的变化量小于阈值的情况下，判定为拍摄装置50被固定。根据本方式，能够根据从第1时刻到第2时刻的拍摄装置50的速度的变化量，判定拍摄装置50是否被固定。
67.在另一优选方式的确定方法中，在判定处理sa110中，也可以取得作为第1时刻的拍摄装置50的加速度的第1加速度和作为第2时刻的拍摄装置50的加速度的第2加速度。在该方式中，设第1加速度与第2加速度之和为拍摄装置50的速度的变化量。根据本方式，能够根据第1加速度和第2加速度，计算从第1时刻到第2时刻的拍摄装置50的速度的变化量。
68.在另一优选方式的确定方法中，在判定处理sa110中，也可以取得第1时刻、第2时刻、第3时刻和第4时刻各自的所述拍摄装置的加速度。在判定处理sa110中，从第1时刻到第4时刻的时域中的拍摄装置50的加速度的分布变换为频域的频谱。而且，在频谱的峰值处的强度为阈值以上的情况下，判定为拍摄装置50没有被固定，频谱的峰值处的强度小于阈值的情况下，判定为拍摄装置50被固定。根据本方式，能够根据从第1时刻到第4时刻的时域中的拍摄装置50的加速度的分布，判定拍摄装置50是否被固定。
69.在另一优选方式的确定方法中，在判定处理sa110中，也可以提示用户输入表示拍摄装置50是否被固定的信息，根据由用户输入的信息来判定拍摄装置50是否被固定。根据本方式，能够使用户指定拍摄装置50是否被固定。
70.本发明的确定系统具有投影仪2、拍摄装置50和处理装置40。处理装置40执行上述的判定处理sa110、拍摄控制处理和确定处理。根据本方式，无论拍摄装置50的固定状态如何，都能够高精度地确定投影仪坐标系与照相机坐标系的对应关系。
71.本发明的程序使计算机执行上述的判定处理sa110、拍摄控制处理和确定处理。根据本方式，无论拍摄装置的固定状态如何，都能够高精度地确定投影仪坐标系与照相机坐标系的对应关系。