往需要在立方体的各个面上投影不同的影像内容。
[0156]根据本方式，能够在投影装置102的投影坐标系中进行计测，因而能够没有像素偏差地生成修正后的投影图像。
[0157]根据第3方法，利用光度立体(photometric stereo)法求出法线矢量，来取代使用投影装置坐标关联数据记录部1021内的投影装置坐标关联数据。光度立体法是古典的图像处理技术。在该方法中，对拍摄从不同的方向被光源照射的被摄体而得到的图像彼此间进行比较，估计出被摄体的表面的法线矢量。光源可以采用为专用目的而设置的光源，也可以采用包括投影装置102的投影装置组。尤其是在投影映射中往往设置多台投影装置102，因而光度立体法可以说是不需追加新的光源，利用软件即可高精度地检测法线矢量的方法。
[0158]根据第4方法，摄像装置101具有能够在摄像的同时进行3D计测的特殊传感器。例如该传感器是能够根据TOF(Time Of Flight:飞行时间)方式等计测距离的传感器。如果采用这样的传感器，能够同时进行距离的计测和影像的取得。
[0159]基于TOF方式的距离计测是指根据从光源发出的光在物体反射并到达传感器的时间和光的速度，来获得到物体的距离的距离计测。
[0160]根据本方法，能够将特殊传感器的计测结构变换为投影装置102的投影坐标进行使用。在TOF方式中，有时适合于使用三角法计测视差较小的区域，或死角减少。因此，根据使用条件，TOF方式能够成为有效的利用方法。
[0161](步骤S305)
[0162]投影装置102将与到构造物103的距离对应的修正后的投影图像投影在该构造物
103上。
[0163]根据本实施方式，能够提供按照到物体的距离使影像内容与作为投影对象的物体高精度一致的投影系统。
[0164]根据本发明，能够以如下方式加工影像内容，即能够通过非常简单的操作自动而且按照意图地对事前准备的投影映射用的影像内容和对象构造物进行对位，来进行投影。这使得系统的初始设置容易进行，并且有助于设置条件由于随时间经过的恶化或者外部的振动而产生变化时的投影图像的自动修正。这样，在常设投影映射用设备时，能够大幅削减维护成本。
[0165]另外，在商品展示等领域中，可以预想到大量生产具有特定形状的物品，在多家店铺中设置相同的投影映射设备的情况。这意味着投影映射设备的量产。在设计独一无二的影像内容的情况下，影像内容的设计成本占据一大半，因而校准的成本的比率较低。但是，大量生产时的校准成本仍是课题，不能忽视。本发明在这种情况时也能带来较大的成本削减的效果。
[0166]另外，未来可以预想到经由Web下载销售例如将具有简单构造的房间的角落及立方体等投影对象简化来提高通用性的投影映射用的内容的情况。在这种情况下，作为系统的设置者，必须也要预想到不具备投影映射的充足知识的用户。基于这种观点，如本发明这样简易的校准技术能够用于投影映射中。
[0167]产业上的可利用性
[0168]本发明的投影系统、半导体集成电路及图像修正方法能够应用于投影映射系统中。
[0169]标号说明
[0170]100,900投影系统；101、901摄像装置；102、902投影装置；103构造物；104图像修正装置；105影像内容；311坐标图案生成部；312构造物摄像图像数据记录部；313坐标图案图像数据记录部；314投影装置坐标变换数据生成部；315投影装置坐标变换数据记录部；316摄像装置坐标变换数据生成部；317摄像装置坐标变换数据记录部；318投影内容基准图像数据记录部；319投影内容投影图像数据记录部；320投影图像数据变换部；321投影装置视点图像数据生成部；322投影装置视点图像数据记录部；903计算装置；904投影对象；1020投影装置坐标关联数据生成部；1021投影装置坐标关联数据记录部；1022投影图像数据生成部；1023第I投影内容投影图像数据记录部；1024第2投影内容投影图像数据记录部。
【主权项】
1.一种投影系统，具有: 投影装置，将包括图案图像的图案光投影在物体上，该图案图像对应于将投影坐标系中的投影坐标进行代码化而得到的信息； 摄像装置，对被投影在所述物体上的图案光进行拍摄，并生成包括摄像坐标系中的摄像像素坐标的摄像像素值的第I摄像图像；以及 图像修正装置，根据所述第I摄像图像生成将所述投影坐标和所述摄像像素坐标关联起来的第I坐标变换信息，使用所述第I坐标变换信息来修正预先准备的投影图像。2.根据权利要求1所述的投影系统， 所述图像修正装置对由所述摄像装置取得的表示所述物体的构造的第2摄像图像、与预先准备的基准图像进行比较，生成通过几何学变形将所述第2摄像图像和所述基准图像关联起来的第2坐标变换信息，并使用所述第I坐标变换信息和所述第2坐标变换信息对所述投影图像实施几何学变形处理。3.根据权利要求2所述的投影系统， 所述图像修正装置通过利用所述基准图像的图案映射，来限定所述第2摄像图像的全部范围中的、被用于所述第2摄像图像和所述基准图像的基于几何学变形的关联的图像的范围。4.根据权利要求1所述的投影系统， 所述图像修正装置使用所述第I坐标变换信息对由所述摄像装置取得的表示所述物体的构造的第2摄像图像实施几何学变形处理，来生成视点变换图像。5.根据权利要求4所述的投影系统， 所述图像修正装置具有将所述视点变换图像输出到外部的输出部。6.根据权利要求4所述的投影系统， 所述图像修正装置对所述视点变换图像和预先准备的基准图像进行比较，生成通过几何学变形将所述视点变换图像和所述基准图像关联起来的第3坐标变换信息，使用所述第3坐标变换信息对所述投影图像实施几何学变形处理。7.根据权利要求1所述的投影系统， 所述投影图像包括彼此不同的第I投影图像和第2投影图像， 所述图像修正装置根据从所述摄像装置得到的三维计测信息和所述第I坐标变换信息，从所述第I投影图像和所述第2投影图像中选择一个投影图像，并且修正所选择的投影图像。8.根据权利要求7所述的投影系统， 所述三维计测信息是利用三角法从所述第I坐标变换信息得到的到所述物体的距离信息， 所述图像修正装置按照到所述物体的距离信息，从所述第I投影图像和所述第2投影图像中选择一个投影图像，并且根据所述第I坐标变换信息修正所选择的投影图像。9.根据权利要求7所述的投影系统， 所述三维计测信息是利用光度立体法得到的所述物体的表面的法线矢量信息， 所述图像修正装置按照所述法线矢量信息所表示的矢量方向，从所述第I投影图像和所述第2投影图像中选择一个投影图像，并且根据所述第I坐标变换信息修正所选择的投影图像。10.根据权利要求7所述的投影系统， 所述摄像装置包括图像传感器，该图像传感器能够根据从光源发出的光在所述物体反射并到达所述摄像装置的时间进行距离测定， 所述图像修正装置根据通过所述距离测定而得到的到所述物体的距离信息，从所述第I投影图像和所述第2投影图像中选择一个投影图像，并且根据所述第I坐标变换信息修正所选择的投影图像。11.根据权利要求1所述的投影系统， 所述投影装置将修正后的投影图像投影在所述物体上。12.—种半导体集成电路，在投影系统中使用，该投影系统具有:投影装置，将包括图案图像的图案光投影在物体上，该图案图像对应于将投影坐标系中的投影坐标进行代码化而得到的信息；摄像装置，对被投影在所述物体上的图案光进行拍摄，并生成包括摄像坐标系中的摄像像素坐标的摄像像素值的第I摄像图像，所述半导体集成电路具有: 投影坐标变换信息生成部，根据所述第I摄像图像生成将所述投影坐标和所述摄像像素坐标关联起来的第I坐标变换信息；以及 投影图像数据变换部，使用所述第I坐标变换信息来修正预先准备的投影图像。13.一种图像修正方法，包括: 投影步骤，将包括图案图像的图案光投影在物体上，该图案图像对应于将投影坐标系中的投影坐标进行代码化而得到的信息； 第I摄像步骤，拍摄被投影在所述物体上的图案光，并生成包括摄像坐标系中的摄像像素坐标的摄像像素值的第I摄像图像； 第I坐标变换信息生成步骤，根据所述第I摄像图像生成将所述投影坐标和所述摄像像素坐标关联起来的第I坐标变换信息；以及 投影图像修正步骤，使用所述第I坐标变换信息来修正预先准备的投影图像。
【专利摘要】投影系统(100)具有：投影装置(102)，将图案光投影在物体上，该图案光表示将以投影坐标系规定的投影坐标代码化而得到的图像；摄像装置(101)，拍摄图案光并生成第1摄像图像；以及图像修正装置(104)，根据第1摄像图像生成将投影坐标和以摄像装置的摄像坐标系规定的摄像像素坐标关联起来的第1坐标变换信息，使用第1坐标变换信息来修正预先准备的投影图像。
【IPC分类】G03B21/00, H04N5/74, G03B17/54
【公开号】CN105026997
【申请号】CN201580000132
【发明人】渕上竜司, 大桥政宏
【申请人】松下电器（美国）知识产权公司
【公开日】2015年11月4日
【申请日】2015年1月7日
【公告号】US20150348313, WO2015125401A1