编程门阵列)等。也可以是，在存储器中安装用于发挥各构成要素的功能的计算机程序，半导体集成电路内的处理器依次执行计算机程序，由此实现各构成要素的功能。
[0077]图像修正装置104包括坐标图案生成部311、构造物摄像图像数据记录部312、坐标图案图像数据记录部313、投影装置坐标变换数据生成部314、投影装置坐标变换数据记录部315、摄像装置坐标变换数据生成部316、摄像装置坐标变换数据记录部317、投影内容基准图像数据记录部318、投影内容投影图像数据记录部319、投影图像数据变换部320。图像修正装置104对预先准备的投影图像进行修正。以下，有时将被修正后的投影图像称为“修正后的投影图像”，以便与预先准备的修正前的投影图像区分。
[0078]图4表示本实施方式的图像修正方法的流程图。
[0079](步骤S101)
[0080]首先，摄像装置101拍摄构造物103。图像修正装置104将构造物103的摄像图像(第2摄像图像)记录在构造物摄像图像数据记录部312中。在进行该摄像时，投影装置102也可以投影帧整体为白色的影像来取代照明。在本实施方式中，图像修正装置104内的数据记录部例如是图像修正装置104内的存储器。
[0081](步骤S102)
[0082]在通过步骤SlOl得到的摄像图像和预先准备的基准图像之间执行图像的比较处理。其结果是，能够得到用于通过几何学变形将图像关联起来的第2坐标变换信息。基准图像是指在设计影像内容时参照的图像。
[0083]在投影内容基准图像数据记录部318中记录了生成预先准备的影像内容时的基准图像。摄像装置坐标变换数据生成部316将该基准图像、和在构造物摄像图像数据记录部312中记录的摄像图像进行比较，并生成第2坐标变换信息。第2坐标变换信息是通过几何学变形将该摄像图像和基准图像关联起来的信息。
[0084]第2坐标变换信息被记录在摄像装置坐标变换数据记录部317中。或者，也可以是，摄像装置坐标变换数据生成部316根据影像内容的类型，使用在投影内容投影图像数据记录部319中记录的图像，来取代基准图像。在投影内容投影图像数据记录部319中预先记录了投影图像作为投影用的修正前的影像内容。
[0085]图5 (a)表示构造物103的摄像图像的一例，图5 (b)表示基准图像的一例。
[0086]图5(a)所示的摄像图像的一部分相当于图5(b)所示的基准图像。并且，可知由于摄像装置101的位置错位，如果不实施旋转以及/或者缩小等几何学变形，则无法使两者的位置一致。在这种情况下，能够广泛使用公知的方法进行图像的定位。下面，分别说明使用局部特征量或者相位相关(phase only correlat1n)法进行图像的定位的示例。
[0087]图6是用于说明基于使用局部特征量的方式的图像间的关联的概念图。例如，关于局部特征量可以举出SIFT (Scale-1nvariant Feature Transform:尺度不变特征转换)特征量等不易受到旋转、放大缩小及照明条件的影响的特征量。在SIFT算法中，将亮度变化最大的方向作为基准，将图像的局部区域分割成16个块。并且，将各个块的8方向的亮度变化作为合计128维的矢量来记述特征量。
[0088]在图6的示例中，首先从图6 (b)中提取具有大的特征量的部位作为关键点候选。并且，从图6(a)中找出具有与关键点的特征量相同的特征量的部分，由此进行图像间的关联。在图6中示出了 5种关联(对，pair)。但是，实际上还会产生许多的对。
[0089]通过使用直方图等将错误排除，能够以高精度得到多个关联。在能够得到多个关联的阶段，也可以对这些关联进行插补来生成对应表，作为第2坐标变换信息。或者，也可以使用最小二乘法等求出仿射变换或者投影变换的坐标变换矩阵。在哪种情况下都能够得到用于将坐标从摄像坐标系变换为投影坐标系的数据。
[0090]图7是用于说明基于相位相关法的图像间的关联的概念图。例如，若利用SIFT特征量等的方法，则处理大厦的窗户等相同图案反复的图像时，具有容易出现误判定的倾向。因此，也一并使用例如相位相关法等其它方法。
[0091]例如，根据相位相关法，在对被比较的各个图像进行傅里叶变换后将振幅归一化，按照相位信息将两个图像合成。然后，进行逆傅里叶变换而得到图像相位差的相关性。也存在能够应用相位相关法并利用Log-Polar变换一并进行旋转以及/或者放大缩小的旋转不变相位相关法等方法。但是，在图7所示的例子中，示出了关于旋转及放大缩小没有大的差异的情况、或者事前在某种程度上实施了 SIFT等的预处理时的图。
[0092]首先，将图7(b)的图像整体作为对象，根据相位相关法求出相对于图7(a)的相关位置。然后，将图7(a)的图像分割成4个块，将相位范围限制在固定的距离以内。并且，根据相位相关法求出各个块的相关位置。其结果是，能够得到4组块彼此间的图像的关联。另夕卜，也可以将各个块分割成16份等分层地进行关联。通过这样分层地搜索，即使在图像内存在多个相似的特征点时，也能够抑制误动作。并且，根据相位相关法能够容易进行子像素精度的计算。因此，相位相关法在更准确地运算各个对应坐标的方面比较有效，通过进行块分割，也提高了耐受摄像图像和基准图像的局部变形的性能。
[0093]再次参照图3和图4。
[0094](步骤S103)
[0095]投影装置102将表示图案图像的图案光投影在物体上，该图案图像对应于将投影坐标代码化而得到的信息。坐标图案生成部311生成针对将投影坐标代码化而得到的信息的图案图像。例如，如上所述图案光包括多帧的图案图像。在使用曼彻斯特编码，根据1024X768像素的图案图像将图案光投影在构造物103上的情况下，假设每I帧包括I个图案图像，则需要40帧的图案图像。投影装置102将由坐标图案生成部311生成的40帧图案图像依次投影在构造物103上。
[0096](步骤S104)
[0097]摄像装置101依次拍摄被投影在构造物103上的图案图像。该图案图像的数据被记录在坐标图案图像数据记录部313中。
[0098](步骤S105)
[0099]从坐标图案图像数据记录部313中的图案图像得到第I坐标变换信息。第I坐标变换信息是将摄像装置101的摄像坐标和投影装置102的投影坐标关联起来的信息。
[0100]投影装置坐标变换数据生成部314从坐标图案图像数据记录部313读出图案图像。投影装置坐标变换数据生成部314根据所读出的图案图像，生成将投影坐标和摄像坐标关联起来的第I坐标变换信息。此时，通过获取对应于各比特的图案图像、与使该图案图像比特反转后的图案图像的差分，能够与构造物103具有的颜色信息无关地判定各个比特的O和I。对于在构造物103中与投影光(图案光)未到达的部分对应的像素，也可以将差分较小的像素从处理对象中去除。这样，通过对40帧图案图像进行图像处理，能够得到与摄像坐标系的摄像坐标相关联的投影坐标系的投影坐标。
[0101]关于像素坐标与投影坐标的关联，也可以设为基于像素等级(亮度值)的变换表，也可以使用最小二乘法等设为仿射变换或者投影变换用的坐标变换矩阵。
[0102]参照图8说明限定了图像的范围的像素坐标与投影坐标的关联的示例。
[0103]图8(a)示意地表示摄像图像与被投影在构造物103上的图案图像的位置关系。图8(b)表示基准图像的概念。投影装置102将图案图像投影在构造物103的整个面上。通过利用了基准图像的图案映射，限定由摄像装置101取得的摄像图像的全部范围中、被用于摄像坐标和投影坐标的关联的范围。最后，将摄像图像的所限定的范围内的图像与基准图像进行比较，得到将摄像坐标和投影坐标关联起来的第I坐标变换信息。构造物103往往不是矩形的，因而导致非投影对象的部分也被包含在投影范围中。因此，通过将该范围去除，生成第2坐标变换信息时的精度提高。
[0104]再次参照图3和图4。
[0105](步骤SlO6)
[0106]使用第I及第2坐标变换信息对预先准备的投影图像实施几何学变形处理，生成修正后的投影图像。在投影内容投影图像数据记录部319中预先记录了投影用的图像。投影图像数据变换部320从投影内容投影图像数据记录部319中读出投影图像。投影图像数据变换部320使用第I及第2坐标变换信息对投影图像进行修正(图像变换)。在变换中，在作为矩阵式而赋予了第I及第2坐标变换信息时，也可以使用将这些矩阵式合成后的矩阵式，还可以不合成而分别使用两个矩阵式进行两次变换处理。这样，能够使用公知的所有的方法修正投影图像。
[0107](步骤SlO7)
[0108]投影装置102将通过投影图像数据变换部320被变换后的修正后的投影图像投影在构造物103上。
[0109]这样，能够按照图4所示的流程，在投影映射中将影像内容投影在构造物103上。另外，在本实施方式的方法中，也可以在数据的依存关系中不产生矛盾的范围内更换各个步骤的顺序。
[0110]在本实施方式的投影系统中，为了简单起见，摄像装置和投影装置都是一台。但是，本发明不限于此，通过将摄像装置和