投影系统、半导体集成电路及图像修正方法
【技术领域】
[0001]本发明涉及投影系统、半导体集成电路及图像修正方法。
【背景技术】
[0002]已经公知有将影像内容(content)投影于物体例如建筑物那样的构造物上的技术、即被称为所谓投影映射(project1n mapping)的技术。在投影映射的系统中有具备摄像功能的系统。例如，专利文献I公开了根据摄像数据调整影像内容的投影装置。
[0003]现有技术文献
[0004]专利文献
[0005]专利文献1:日本特开2013 - 192189号公报
[0006]专利文献2:日本专利第4917351号公报
[0007]非专利文献
[0008]非专利文献I 高速7° 口夕X夕夕奁用U 3000 7 U 一 Λ每秒①三次元画像計測> Ts1- UO)開発”，口求尹^夕只.>力卜口二夕只講演会講演概要集2007，“1Ρ1-Μ02(1)，，- “1Ρ1-Μ02(4) ”，2007-05-11
【发明内容】
[0009]在上述的以往的投影装置中，要求进一步提高使影像内容与投影对象高精度一致的技术。
[0010]本发明的非限定性的示例性的一个方式是能够使影像内容与作为投影对象的构造物高精度一致的投影系统。
[0011]本发明的一个方式的附加性的优点及有利之处根据本说明书及附图得到明确。该优点以及/或者有利之处能够通过本说明书及附图所公开的各个方式及特征而单独地提供，为了得到其中一个以上的优点及有利之处，不需要全部的方式及特征。
[0012]有关本发明的一个方式的投影系统具有:投影装置，将包括图案图像的图案光投影在物体上，该图案图像对应于将投影坐标系中的投影坐标进行代码化而得到的信息；摄像装置，对被投影在所述物体上的图案光进行拍摄，并生成包括摄像坐标系中的摄像像素坐标的摄像像素值的第I摄像图像；以及图像修正装置，根据所述第I摄像图像生成将所述投影坐标和所述摄像像素坐标关联起来的第I坐标变换信息，使用所述第I坐标变换信息来修正预先准备的投影图像。
[0013]另外，这些总括性或者具体的方式也可以以系统、方法、集成电路、计算机程序或者计算机可读的记录介质来实现，还可以以装置、系统、方法、集成电路、计算机程序及计算机可读的记录介质的任意组合来实现。计算机可读的记录介质包括例如CD —ROM (Compact 一 Disc 一 Read Only Memory)等非易失性记录介质。
[0014]根据本发明，能够使影像内容与投影对象高精度一致。
【附图说明】
[0015]图1是表示示例性的第I实施方式的投影系统的概略结构的示意图。
[0016]图2是表示在以40张图案图像将XGA坐标代码化的示例中，40张图案图像中包含的代表性的12张图案图像的概念图。
[0017]图3是示例性的第I实施方式的图像修正装置的功能块结构图。
[0018]图4是示例性的第I实施方式的图像修正方法的流程图。
[0019]图5(a)是表示构造物的摄像图像的一例的概念图，图5(b)是表示基准图像的一例的概念图。
[0020]图6是用于说明基于使用局部特征量的方式的图像间的关联的概念图，图6 (a)表示构造物的摄像图像的一例的概念图，图6(b)是表示基准图像的一例的概念图。
[0021]图7是用于说明基于相位相关法的图像间的关联的概念图，图7(a)表示构造物的摄像图像的一例的概念图，图7(b)是表示基准图像的一例的概念图。
[0022]图8是用于说明基于像素坐标和投影坐标的关联的示例的概念图，图8 (a)表示摄像图像与被投影在构造物上的图案图像的位置关系的示意图，图8(b)是基准图像的概念图。
[0023]图9是表示示例性的第2实施方式的图像修正装置的功能块结构图。
[0024]图10是示例性的第2实施方式的图像修正方法的流程图。
[0025]图11是表示示例性的第3实施方式的图像修正装置的功能块结构图。
[0026]图12是示例性的第3实施方式的图像修正方法的流程图。
[0027]图13是用于说明现有技术的投影系统结构图。
【具体实施方式】
[0028]在说明本发明的实施方式之前，参照图13说明以往的投影系统900。
[0029]投影系统900具有摄像装置901、投影装置902和计算装置903。计算装置903根据由摄像装置901取得的摄像结果进行投影对象904的图像识别。计算装置903生成其影像以便在识别出投影对象904的区域中投影影像内容。投影装置902将影像内容投影在投影对象904上。
[0030]在计测的领域中，除专利文献I以外，还公知有例如专利文献2和非专利文献I公开的系统。非专利文献I公开了使用光图案投影快速计测3D形状的方法。非专利文献I的系统结构也可以理解为与图13所示的系统结构相同。但是，在非专利文献I的系统中，摄像装置901具有进行快速摄影的功能。并且，投影装置902被分配了能够使用数字微镜装置输出高速二进制图像的设备。例如，摄像装置901能够以6000fps进行高速摄影。投影装置902能够以6000fps以上的速度投影具有1024X768的像素的二进制图案。
[0031]具体而言，对将1024X768的图像的X坐标格雷编码(Gray Code)后的各个比特进行曼彻斯特编码得到的图案，在数字微镜装置中被设定为6000fps。该图案被投影在投影对象904上，摄像装置901以6000fps拍摄被投影了图案的投影对象904。
[0032]X坐标在O?1023的范围内，因而用10比特表示各个坐标。并且，通过进行曼彻斯特编码，各个坐标用20比特来表示。因此，从20帧的摄像图像能够得到各个X坐标。并且，能够利用三角法得到每个像素的到投影对象904的距离。将摄影结果传输给计算装置(例如个人电脑)903进行分析。通过曼彻斯特编码对每2帧得到新的X坐标的比特，并再次计算。因此，最终的计算能力是能够以3000fps的分辨率进行3D计测。
[0033]另外，专利文献2公开了这样的技术，一边投影表示2值化图案的格雷编码(方格板)一边用摄像机拍摄，并修正投影在屏幕上的图像的变形。根据该技术，通过组合多个方格板，能够考虑摄像机的变形而进一步提尚修正的精度。
[0034]下面，说明在研究本发明时发现的现有技术的问题点。
[0035]在需要考虑投影映射等在投影对象的构造物上投影影像内容的情况下，要求按照意图对影像内容进行位置调整并投影在构造物上。在这种情况下，本领域技术人员即使从上述的现有技术想到了使用由摄像装置取得的数据来控制影像内容的投影范围，在抑制投影范围的误差方面依旧不能解决两大课题。
[0036]第I课题是在生成影像内容时假想的投影装置的配置与实际的配置不一致。投影映射用的影像内容是根据例如实际的构造物的照片及建筑时的设计数据等设计的。但是，以与事前预想的情况完全相同的位置及视场角来设置投影装置是非常困难的事情，与预想范围相比较，可能产生误差。此时，可以考虑通过手工作业进行误差调整。但是，受到重新设置及微小震动等外在因素的影响，需要再次进行调整，因而基于手工作业的调整称不上是良好的对策。
[0037]第2课题是即使是使用摄像装置尝试自动调整，也要求在摄像装置与投影装置的位置关系方面进行极其高度的调整，以便摄像装置能够对构造物进行严格计测。另外，摄像装置的位置及视场角与投影装置的位置及视场角不同，而且构造物不是平面的，在进深方向具有复杂的构造。因此，要求伴随三维计测的高度的计测及几何学变形。在不能得到严格的计测结果时，计测误差表现为投影时的错位。
[0038]专利文献2公开的修正技术是以将屏幕作为投影对象为前提的。因此，在提取具有复杂的构造的构造物的特征、并将投影映射至该特征位置这样的用途中，现有技术不适用。本发明的一个方式的概要如下所述。
[0039]本发明的一个方式的投影系统具有:投影装置，将包括图案图像的图案光投影在物体上，该图案图像对应于将投影坐标系中的投影坐标进行代码化而得到的信息；摄像装置，对被投影在所述物体上的图案光进行拍摄，并生成包括摄像坐标系中的摄像像素坐标的摄像像素值的第I摄像图像；以及图像修正装置，根据所述第I摄像图像生成将所述投影坐标和所述摄像像素坐标关联起来的第I坐标变换信息，使用所述第I坐标变换信息来修正预先准备的投影图像。
[0040]根据这种结构，能够以使投影图像与作为投影对象的物体高精度一致的方式自动修正预先准备的投影图像。
[0041 ] 在某个方式中，也可以是，所述图像修正装置对由所述摄像装置取得的表示所述物体的构造的第2摄像图像、与预先准备的基准图像进行比较，生成通过几何学变形将所述第2摄像图像和所述基准图像关联起来的第2坐标变换信息，并使用所述第I坐标变换信息和所述第2坐标变换信息对所述投影图像实施几何学变形处理。
[0042]根据这种结构，能够以使投影图像与作为投影对象的物体高精度一致的方式自动修正预先准备的投影图像。