图像修正装置、图像修正方法、投影仪以及投影系统的制作方法

专利名称：图像修正装置、图像修正方法、投影仪以及投影系统的制作方法
技术领域：
本发明涉;^投射在投射面上的投射图^ii行修正的图像修正装置、 图像修正方法、投影仪以及投影系统。
背景技术：
近年来，正在开发一种在屏幕的邻近位置设置投影仪、并从该投影仪
对屏幕进行^^射的邻近^SL射型投影系统。
图10《:对邻近^:射型投影系统的一例ii^H兌明的图。邻近投射型投影
系统如图10 (a)所示，大多构成为在屏幕SCR的跟前且接i^幕SCR 的下端部的位置，设置投影仪PJ。
在这样的邻近投射型投影系统中，来自投影仪PJ的投射;^目对于屏幕 SCR以锐角入射。因此，如果屏幕SCR存在局部的变形，则在屏幕SCR 的局部变形的部分，損:射图4象发生变形。例如，如图10 (b)所示，当作 为局部变形而在屏幕SCR上存在凹凸(在图10中为凸部h)时，在该凸 部h处，投射图像发生变形。即，应该投射到图10(b)中的P1位置的像 素的图像，被实际投射到屏幕SCR的凸部h的Pl，的位置，如果视听者的 视线方向相对于屏幕SCR为垂直方向，则在屏幕SCR的凸部h处，投射 图4象发生变形。其中，在图10中是屏幕SCR存在凸部h的情况，但存在 凹部的情况也同样会发生变形。
这样，由屏幕的局部变形引起的投射图像的变形，也成为使画质降低 的原因。特别是在像图10所示的邻近投射型投影系统那样、来自投影仪 PJ的投射ibt目对于屏幕SCR以锐角入射之类的投影系统中，由屏幕的局 部变形引起的投射图像的变形会被视听者明确识别。
在来自投影仪PJ的投射iW目对于屏幕SCR以锐角入射那样的投影系 统中，对于从投影仪PJ投射到屏幕SCR的图像，当从视听者的视线方向 观察时，为了正确显示图像，提出了各种进行图像修正的技术(例如参照 专利文献1 )。专利文献1所公开的技术(称为现有技术)，是按照投射iM目对于屏幕 以锐角入射的方式设置了投影仪的图像显示装置，在这样的图像显示装置 中，通过投影仪将作为测试图像的变形量计算用图像投射到屏幕上，利用
摄像装置200 (参照图10)对该被投射的变形量计算用图像进行摄像，根 据由此得到的摄像图^Jt据，生成用于赋予反向变形的修正数据，利用该 修正数据进行图像修正。
专利文献l:特开2001 - 83949号公报
图IO所示的局部变形(凹凸)大多情况下在屏幕SCR上存在多处， 当局部变形在屏幕SCR上存在多处时，根据各处的变形的大小(称为变形 量)，在投射图像上显现的变形也不同。即，在屏幕的局部变形的变形量 大的位置，投射图像的变形也大，在屏幕的局部变形的变形量不太大的位 置，投射图像的变形也不太大。因此，进行与屏幕的局部变形的变形量对 应的变形修正，这对于整个投射图像会得到视觉上均匀的析像感，所以优 选。
但在现有技术中，由于对4^s投射图像使用相同的修正方法进行修正， 所以当在屏幕上存在多处局部变形时，修正后的投射图像存在整个投射图 像不能获得视觉上均匀的析#^的问题。
图11是对利用摄像装置拍摄变形量计算用图像而得到的摄像图像和 ^H象感的关系进行说明的图。图11 (a)表示利用摄像装置对变形量计算 用图^i^行摄像而得到的摄像图像，图11 (b)表示变形量计算用图像的 各位置处的MTF (调制传递函数Modulation Transfer Function )。其中， MTF成为表示图像的析，的指标，当MTF高时，图像的析^^高。
另外，图11 (a)所示的白色圆囷表示特征点Pll、 P12.....P21、
P22、…，在变形量计算用图像中，成为特征点Pll、 P12.....P21、 P22、…
在纵向以及横向等间隔排列的图像。
因此，如果在屏幕上没有局部变形，则对变形量计算用图傳进行摄像
而得到的摄像图像中的特征点Pll、 P12.....P21、 P22、…也在纵向以
及横向上为等间隔。另一方面，如果在屏幕上存在局部变形，则与屏幕的 局部变形对应的位置的特征点(例如特征点P22、 P24)在摄像图像中，如图11 (a)中的虚线圆團Al、 A2所示，成为从原来的位置错开的图fll。 其中，屏幕的局部变形的变形量越大，位置的错开量也越大，因此，在图 11 (a)的情况下，特征点P22、 P24的部分MTF分别降低(析像度降低)， 特别是特征点P22， MTF更加大幅降低。
如图ll所示，如果屏幕的局部变形量在各局部变形中不同，则投射图 像的析^^HMMt屏幕的各局部变形的变形量而异，所以投射图像蒼沐的 析像感会发生"偏差"。因此，如上述以往技术所示，在使用相同的图像 修正方法对投射图像整体进行修正的方案中，对于修正后的投射图像而 言，投射图像整体有时不会成为具有视觉均匀的析#^的图像。

发明内容
因此，本发明的目的在于，提供当屏幕的局部变形的变形量在各局部 变形中不相同时，能够实现投射图像整体具有视觉上均匀的析像感那样的 可以变形修正的图像的图像修正装置、图像修正方法、投影仪以及投影系 统。
本发明的图像修正装置，是根据"^射面的局部变形对应该由投影仪投 射的图傳进行修正的图像修正装置，其特征在于，具有变形量计算部， 其根据对投射在上述投射面上的具有多个特征点的变形量计算用图像进 行摄像而得到的摄像图像，计算出上述多个特征点的各特征点处的变形 量；图像修正方法选择部，其选择与利用上述变形量计算部计算出的上述 各特征点处的变形量对应的图像修正方法；和图像修正处理部，其通过由 上述图像修正方法选#^选择的图像修正方法，对上述应该投射的图像的 规定区域进行修正。
在本发明的图像修正装置中，当对因投射面(屏幕)的局部变形产生 的投射图像的局部变形进行修正时，将变形量计算用图像投射到投射面 上，根据对被投射的变形量计算用图像进行摄像而得到的摄像图像，计算 出变形量计算用图像的各特征点处的变形量。然后，选择与计算出的各特 征点处的变形量相对应的图像修正方法，使用所选择的图像修正方法，对 投射图像局部进行图像修正。由此，由于可以进行与M征点处的变形量、 即投射面的局部变形的变形量相对应的图像修正，所以即《it^投射面的局 部变形量存在多处的情况下，修正后的投射图像也会成为在投射图像R具有视觉上均匀的析^^的图像。其中，投射面的局部变形可以例示因投 射面"褶皱"等而在投射面上局部存在的凹凸等。
在本发明的图像修正装置中，优选上述各特征点分别与上述投影仪中 的光调制元件的各像素中离散位置的多个像素对应设定。
通过将具有这样的特征点的变形量计算用图像投射到投射面上，对被 投射的变形量计算用图像进行摄像，可以得到投射面的局部变形作为特征 点的变形而显现的摄像图像。因此，通过使用该摄像图像，可以计算出投 射面的局部变形得到了恰当反映的变形量。其中，作为特征点，可以使用 纵向以及橫向等间隔排列的小圆團或方形等标记、在纵向以及横向上以格 子状描绘的线的交点(格点)。
在本发明的图像修正装置中，优选上述变形量计算部根据上述变形量 计算用图像中的上述各特征点的坐标、和对上述变形量计算用图像进行摄
像而得到的^L像图像中的上述各特征点的坐标，计算出上述各特征点处的 变形量。
由此，即便当投射面的局部变形在投射面上存在多处时，也可以分别 高精度地计算出多处的变形量。
在本发明的图4象修正装置中，优选上述图像修正方法选择部具有对 上述各特征点处的变形量的大小进行判定的功能；和从与上述变形量的大 小对应设定的修正精度不同的多种图像修正方法中，选择与上述各特征点 处的变形量相对应的图傳4务正方法的功能。
由此，可以进行与投射面的局部变形量相对应的图像修正。具体而言， 设定1个以上用于判定各特征点处的变形量大小的阈值，分两个阶段以上 判定各特征点处的变形量的大小。然后，按各阶段的每个预先设定修正精 度不同的图像修正方法，判定由变形量计算部计算出的各特征点处的变形 量属于多个阶段的哪一阶段，^L据其判定结果选^^合适的图《象修正方法， 并使用所选择的图像修正方法进行图像修正。其中，对于各阶段的图像修 正方法而言，设定各特征点处的变形量越大越可以进行高精度的图像修正 的图像修正方法。
这样，由于将变形量的大小作为多个阶段的变形量的大小进行判定，选捧与所判定的变形量相适应的图傳_修正方法，进行图像修正，所以可以 进行与变形量的大小相对应的适当的图像修正。
在本发明的图像修正装置中，优选上述多个阶^A上述各特征点处的 变形量是否为规定值以上的两个阶段，上述修正精度不同的多种图像修正 方法，是可以进行高精度修正的第一图像修正方法、以及进行精度低于上 述第一图像修正方法的修正的第二图像修正方法这两种图像修正方法，在 判定为上述各特征点的某个特征点处的变形量为上述规定值以上的情况 下，对该特征点选择上述第一图像修正方法，在判定为上述各特征点的某 个特征点处的变形量低于上述规定值时，对该特征点选择上述第二图像修 正方法。
这是判定各特征点处的变形量的大小为规定值以上还是小于规定值， 根据其判定结果来选棒第 一 图像修正方法以及上述第二图像修正方法的
任意一个，并通过所选择的图像修正方法进行图像修正的装置，由此，能 够以较少的运算量进行与投射面的局部变形的变形量相对应的图像修正。
在本发明的图像修正装置中，优选上述第一图傳^修正方法是基于双三
次(bi-cubic)的图像修正方法，上述笫二图像修正方法是基于双线性 (bi-linear)的图傳J务正方法。
这样，通过与变形量的大小对应地划分使用基于双三次的图像修正方 法和基于双线性的图像修正方法，能够以与变形量对应的精度进行图像修 正。由此，修正后的投射图像成为在投射图像整体具有视觉上均匀的析像 感的图像。
在本发明的图像修正装置中，优选上述图4象修正处理所修正的应该投 射的图像的规定区域，是包括与上述特征点对应的上述应该投射的图像的 像素的局部区域。
通过针对应该投射的图像如此设定修正范围来进行图像修正，可以将 因投射面的局部变形产生的投射图像的变形修正成合适的范围。
在本发明的图像修正装置中，优选上述投影仪被设置在上述投射面的 邻近位置，且被设置成投射光相对于上述投射面以锐角入射。这样，在投影仪被设置在投射面的邻近位置、且被设置成投射ibte对
于投射面以锐角入射的情况下，如果以垂直于投射面的方向为视线方向， 则对于视听者来说，因投射面的局部变形引起的投射图像的变形变得容易 辨识。因此，在以垂直于投射面的方向为视线方向的情况下，必须进行使 投射图像整体的析#^在视觉上均匀化那样的图像修正，在进行这样的图 像修正时，本发明^1极其有效的。
本发明的图像修正方法，是根据投射面的局部变形对应该由投影仪投
射的图傳进行修正的图像修正方法，其特征在于，包括变形量计算步骤， 根据对投射在上述投射面上的具有多个特征点的变形量计算用图像进行 摄像而得到的摄像图像，计算出上述多个特征点的各特征点处的变形量； 图像修正方法选择步骤，选择与利用上述变形量计算步骤计算出的上述各 特征点处的变形量对应的图像修正方法；和图像修正处理步骤，通过由上 述图像修正方法选择步骤选择的图像修正方法，对上述应该投射的图像的 规定区域进行修正。
通过执行这样的处理步骤，可以进行与投射面的局部变形的变形量相 对应的图像修正。被如此修正的投射图像，成为在投射图^SL整体具有视觉 上均匀的析像感的图像。其中，在本发明的图像修正方法中，优选具有上 述本发明的图像修正装置所具备的^#征。
本发明的投影仪，是具有根据投射面的局部变形对应该投射的图傳进 行修正的图像修正装置的投影仪，所述投影仪的特征在于，上述图像修正 装置具有变形量计算部，其根据对投射在上述投射面上的具有多个特征 点的变形量计算用图係ii行摄像而得到的摄像图像，计算出上述多个特征
点的各特征点处的变形量；图^M务正方法选择部，其选择与利用上述变形 量计算部计算出的上述各特征点处的变形量相对应的图像修正方法；和图
《象修正处理部，其通过由上述图像修正方法选#^选择的图像修正方法， 对上述应该投射的图像的规定区域进行修正。
通it^投影仪上搭栽这样的图像修正装置，可以得到在上述本发明的 图像修正装置中叙述的效果。其中，在本发明的投影仪中，优选具有上述 本发明的图《象修正装置所具备的各特征。
本发明的投影系统，具有向投射面进行图像投射的投影仪、和根据上述投射面的局部变形对应该由上述投影仪投射的图像进行修正的图像修
正装置，所述投影系统的特征在于，上述图像修正装置具有变形量计算 部，其才艮据对^:射在上述投射面上的具有多个特征点的变形量计算用图《象 进行摄像而得到的摄像图像，计算出上述多个特征点的各特征点处的变形 量；图像修正方法选择部，其选择与利用上述变形量计算部计算出的上述 各特征点处的变形量相对应的图像〗务正方法；和图傳，修正处理部，其通过 由上述图像修正方法选#^选择的图像修正方法，对上述应该損:射的图像 的规定区域进行修正。
这是将图像修正装置作为与投影仪独立的构成要素的情况，将图像修 正装置所具有的功能组装到个人电脑等信息处理装置中的情况等是其中 的一例。这样，即便是由投影仪和图像修正装置构成投影系统的情况，也 可以得到在本发明的图像修正装置中叙述的效果。其中，对于本发明的投 影系统，也优选具有上W发明的图像修正装置所具备的各特征。


图1是表示实施方式1的投影仪的构成的图。
图2是表示图l所示的图像修正装置330的构成的图。
图3是表示投射到屏幕上的变形量计算用图像和对该变形量计算用 图像进行摄像而得到的摄像图像的 一例的图。
图4是说明图像修正装置330所进行的整个处理步骤的流程图。
图5是说明各特征点处的变形量计算的处理步骤的流程图。
图6是对图5的步骤S11中的各特征点的摄像装置系坐标的计算处 理进行说明的流程图。
图7对成为修正对象的局部范围的设定例进行说明的图。
图8是基于所选择的图像修正方法进行图像修正的一例的图。
图9^示实施方式2的投影系统的构成的图。
图10濕一对邻近:投射型投影系统的一例进:^S兌明的图。图11是对利用摄像装置摄像变形量计算用图像而得到的摄像图^ 析 ^惑的关系进布沈明的图。
图中100-图像投射部，200-摄像装置，300-图像处理部，330 -图像修正装置，331 —变形量计算用图像生成部，332 一变形量计算部， 333-图像修正方法选择部，334-图傳 修正处理部，PJ-投影仪，Pll、 P21、…、P21、 P22、…-特征点。
具体实施例方式
下面，对本发明的实施方式进行说明。
〔实施方式1〕
图l是表示实施方式l的投影仪的构成的图。实施方式l的投影仪 如图1所示，具有图像投射部100、摄像装置200、图像处理装置300。
图像投射部100具有投射控制部110、液晶面板等光调制元件120、 光源130、投射光学系统140等，由投射光学系统射出被图像处理装置 300图像处理后的基于图像数据的图像光。其中，图像投射部100除了 这些构成之外，还具有各种光学系统等，但这些都是一般的投影仪所具 有的公知构成要素，所以省略图示。
摄像装置200具有摄像光学系统210、摄像元件220、控制来自
制部230。其中，摄像元件220的析像度高于光调制元件120的析像度。
图像处理装置300具有CPU310、存储装置320、图像修正装置 330。图像修正装置330进行包括投射图像的修正(梯形变形修正、因
修正)的各种图像修正。其中，对因屏幕的局部变形产生的投射图像的 变形进行修正的处理如后所述。
在将图1所示的将投影仪PJ与屏幕接近配置而构成邻近投射型投 影系统的情况下，如图10中说明那样，受到因屏幕SCR存在的局部凹 凸(在图10中为凸部h)等引起的屏幕SCR的局部变形的影响，在该 凸部h处投射图像发生变形。本发明是对这样的因屏幕SCR的局部变形引起的投射图像的变形进行恰当修正的发明。
图2是表示图l所示的图像修正装置330的构成的图。如图2所示， 图像修正装置330具有变形量计算用图像生成部331,其生成变形量 计算用图像(详细内容利用图3在后面叙述)；变形量计算部332，其根据 由摄像装置200对投射在屏幕上的变形量计算用图傳进行摄像而得到的 摄像图^Jt据(称为摄像图像)，计算出变形量计算用图像的M征点(图 3中的P11、 P12、…、P21、 P22、…)处的变形量；图像修正方法选#^ 333，其选择与计算出的各特征点处的变形量对应的图像修正方法；图像修 正处理部334，其使用所选择的图像修正方法，对投影仪PJ应该投射的 图M行图《象修正；和控制部335，其对摄像装置200及投影仪PJ进行 控制。
图像修正方法选择部333具有对各特征点处的变形量的大小进行判 定的功能；和从与上述变形量的大小对应设定的修正精度不同的多种图像 修正方法中，选择与各特征点处的变形量对应的图傳4务正方法的功能。
其中，在实施方式l的投影仪PJ中，各特征点处的变形量大小的判 定，以各特征点处的变形量是否为规定值(变形量判定用阈值TH1)以上 的两个阶段进行，而修正精度不同的多种图像修正方法，被设定成可以进 行修正精度高的图像修正的第一图像修正方法、及进行修正精度低于第一 图像修正方法的图像修正的第二图像修正方法这两种图像修正方法。
然后，在判定为各特征点中的某个特征点的变形量为变形量判定用阈 值TH1以上的情况下，针对该特征点选择第一图像修正方法，在判定各特 征点中的某个特征点处的变形量小于变形量判定用阈值TH1的情况下，针 对该特征点选择第二图像修正方法。其中，第一图像修正方法是使用了基 于双三次的插补方法的图像修正方法，第二图像修正方法是使用了基于双 线性的插补方法的图〗象修正方法。
图3是表示投射到屏幕上的变形量计算用图像和对该变形量计算用图 ^ii行摄像而得到的摄像图像的一例的图。如图3(a)所示，变形量计算
用图4象成为表示变形量计算位置的特征点Pll、 P12.....P21、 P22、…
在纵向以及横向上等间隔排列的图像。其中，在以下的说明中，对于特征
点Pll、 P12.....P21、 P22、，除了对每个特征点进行说明的情况之
外，省略该符号"Pll、 P12、…、P21、 P22、"。变形量计算用图像的各特征点，与投影仪PJ中的光调制元件120(例 如液晶面板)的各像素中离散位置的像素对应设定。具体而言，按照与 光调制元件的纵向及横向的像素中每一规定像素数的像素对应的方式， 设定变形量计算位置。图3 ( a)所示的变形量计算用图像表示了各特征 点在纵向以及横向上以各光调制元件的10个像素量为间隔而被设定的 例子。
图3 (b)表示图3 (a)所示的变形量计算用图像(称为原先的变 形量计算用图像)被投射在屏幕上时的变形量计算用图像(称为投射变 形量计算用图像)。图3 ( b)所示的投射变形量计算用图像，与图3 ( a) 所示的原先的变形量计算用图^M目比，和屏幕的局部变形对应的特征点 (例如特征点P22、 P24)的位置出现了 "偏移"。
如果利用摄像装置200对这样的投射变形量计算用图像进行摄像， 则该摄像图像相对于图3(a)所示的原先的变形量计算用图像，当然在 与屏幕的局部变形相对应的特征点处发生了 "偏移"。例如，如果在屏 幕上存在图10 (b)所示的局部变形，则摄像图像相对于原先的变形量 计算用图#>，在与屏幕的局部变形相对应的部分，对应于该局部变形的 变形量，在特征点处发生了 "偏移"。
由于该"偏移"与屏幕的局部变形的变形量成比例，所以根据从摄 像装置200输出的摄像图像和原先的变形量计算用图像，计算出分别对 应的特征点的"偏移"，由此可以计算出屏幕的局部变形的变形量。其 中，在本发明的实施方式中，屏幕的局部变形的变形量作为变形量计算 用图像的各特征点处的变形量进行表示
图4是说明图像修正装置330所进行的全体的处理步骤的流程图。首 先，由变形量计算用图像生成部331生成变形量计算用图像(步骤Sl )， 利用控制部335将生成的变形量计算用图像提供给图像投射部100，同 时，针对图像投射部100输出变形量计算用图像的投射指示(步骤S2 )。 由此，利用图像投射部100向屏幕投射变形量计算用图像。
另外，对于摄像装置200而言，利用控制部335输出用于对賴:射在 屏幕上的变形量计算用图像进行摄像的摄像指示(步骤S3)。由此，摄 像装置200对投射在屏幕SCR上的变形量计算用图像进行摄像。然后， 变形量计算部332借助控制部335接收从摄像装置200输出的摄像图像，计算出变形量计算用图像的各特征点处的变形量(步骤S4)。
然后，图傳4务正方法选择部333选择与各特征点处的变形量相对应的 图像修正方法(步骤S5)。接着，图像修正处理部334使用由图像修正方 法选择部333选择的图4象修正方法，对应该投射的图M行局部的图像修 正(步骤S6 )。
图5是说明各特征点处的变形量计算的处理步骤的流程图。如图5所 示，对于变形量计算用图像的各特征点处的变形量而言，首先，根据对 投射变形量计算用图像(参照图3 U))进行摄像而得到的摄像图像， 计算出摄像图像中的各特征点的坐标(称为摄像装置系坐标)(步骤 Sll)，通过对照计算出的各特征点的摄像装置系坐标与原先的变形量计 算用图像(参照图3 (a))中的各特征点的坐标(称为投影仪系坐标) 来计算出变形量(步骤S12)。
这里，如果屏幕上没有局部变形，则分别对应的特征点的摄像装置 系坐标和投影仪系坐标相一致，但如果屏幕上存在局部变形，则在与该 局部变形相对应的部分，分别对应的特征点的摄像装置系坐标和投影仪 系坐标发生"偏移"。其中，屏幕的局部变形的变形量越大，对应的特 征点的"偏移"越大。
图6是对图5的步骤Sll中的各特征点的摄像装置系坐标的计算处理 进行说明的流程图。各特征点的摄像装置系坐标的计算处理如图6所示， 对摄像图像实施二值化(步骤S21 )，对二值化后的摄像图<綠行标识(步 猓S22 )，根据该标识结果计算出各特征点的摄像装置系坐标(步骤S23 )。
这里，步骤S21中的摄像图像的二值化，通过将阈值TH2 (例如设 为摄像图像的像素值的最大值与最小值的中间值)设定为像素值，判定 各像素的像素值是该阈值TH2 (称为二值化用阈值TH2)以上还是小 于该阈值TH2，由此进行二值化。例如，对具有二值化阈值TH2以上 的像素值的像素赋予"1",对具有小于二值化用阈值TH2的像素值的 像素赋予"0"。
而步骤S22中的标识处理通过根据二值化后的结果，对"1"连续 的区域进行标识，将此时"1"连续的区域作为与特征点对应的像素的 集合。
并且，对于步骤S23中的各特征点的摄像装置系坐标的计算处理而言，在使用被二值化的图像数据的情况下，将成为被标识的区域的重心 的像素的位置作为该特征点的坐标位置，另外，在使用二值化之前的图 像数据的情况下，将已被标识的区域中具有最大像素值的像素的位置作 为该特征点的坐标位置。
如果根据摄像图像计算出各特征点的坐标位置，则对计算出的各特 征点的摄像图像系坐标和原先的变形量计算用图像中各特征点的投影
仪系坐标进行对照(图5的步骤S12)。各特征点的摄像装置系坐标和 各特征点的投影仪系坐标的对照，例如可以通过使用最小二乘法等来进行。
这里，如果屏幕上不存在局部变形，则分别对应的特征点的摄^^装 置系坐标和投影仪系坐标一致，但如果屏幕上存在局部变形，则在该局 部变形部分，分别对应的特征点的摄像装置系坐标和投影仪系坐标发生 "偏移"。因此，通过对各特征点的摄像装置系坐标和各特征点的投影 仪系坐标进行对照，可以根据其对照结果，计算出变形量计算用图像的 各特征点处的变形量。
其中，由于计算出的变形量计算用图像的各特征点处的变形量，是因 屏幕的局部变形产生的，所以计算出的变形量计算用图像的各特征点处的 变形量，反映了屏幕的对应的局部变形的变形量。
当如此计算出变形量计算用图像的各特征点处的变形量时，图像修 正方法选择部333选择与各特征点处的变形量对应的图像修正方法。具体 而言，图像<务正方法选#^ 333判定各特征点处的变形量是否为变形量判 定用阈值TH1以上，在各特征点处的变形量为该变形量判定用阈值TH1 以上的情况下，针对该特征点选择使用了基于双三次的插补方法的图像修 正方法，在各特征点处的变形量小于该变形量判定用阈值TH1的情况下， 针对该特征点选择使用了基于双线性的插补方法的图像修正方法。
然后，图像修正处理部334使用由图像修正方法选#^333选择的图 像修正方法，进行图像修正。其中，成为图像修正对象的像素被设为包括 摄像装置系坐标和投影仪系坐标中存在规定的"偏移"的特征点(称为修 正对象特征点)的局部区域(称为局部区域)内。
图7是对成为修正对象的局部区域的设定例进幹沈明的图。如图7所 示，成为修正对象的局部区域在变形量计算用图像(与图3 (a)所示的变形量计算用图像相同的图像)中，作为以各特征点为中心的矩形区域 (用虚线包围的区域)。而且，将局部区域内存在的像素作为修正对象
的像素。例如，如果使特征点P22为修正对象特征点，则设定包括特征 点P22的局部区域AP22 (用灰色表示的区域)，在应该投射的图像中， 将该局部区域AP22存在的像素作为修正对象的像素。
其中，对于设定为包括各个特征点的局部区域而言，如果从投射图 像整体来看，是极为狭窄的区域。而在图7中，表示了各局部区域被设 定成相邻的局部区域彼此不重叠的例子，但也可以设定成一些像素重 叠，相反，相邻的局部区域也可以不相接，还可以是一些像素具有间隔。
这里，在图3 (a)、 (b)的例子中，特征点P22及特征点P24分别 在各自的投影仪系坐标和摄像装置系坐标中发生了 "偏移"。而且，对 特征点P22处的投影仪系坐标和摄像装置系坐标进行了对照，结果，如 果计算出的特征点P22处的变形量(表示为WP22)是变形量判定用阈值 TH1以上(WP22>TH1),则通过图像修正方法选种333选择使用了基 于双三次的插补方法的图像修正方法。由此，图4象修正处理部334对包括 特征点P22的局部区域AP22内的像素，进行使用了基于双三次的插补方 法的图像修正。
同样，对特征点P24的投影仪系坐标和摄像装置系坐标进行了对照， 结果，如果计算出的特征点P24的变形量Wp24小于变形量判定用阈值 TH1 (WP24<TH1 )，则通过图像修正方法选择部333选择使用了基于双线 性的插补方法的图像修正方法。由此，图像修正处理部334对包括特征点 P24的局部区域Ap24内的像素，进行使用了基于双线性的插补方法的图 像修正。
图8是基于所选择的图像修正方法的图像修正的一例的图。图8表示 图3 (b)所示的摄像图像的图像修正结果，是位于图3(b)所示的位置 的特征点P22 (在图8中用灰色的圆闺表示)通过基于双三次的插补方 法被实施图像修正、位于图3(b)所示的位置的特征点P24通过基于双 线性的插补方法被实施图像修正的例子。
当通过对应该投射的图像进行这样的图像修正，使用图像修正后的 图像，由投影仪进行投射时，例如当在图IO的屏幕SCR上从视线方向 观察时，可以使屏幕SCR的变形的影响不出现在投射图像上。如以上^兌明那样，通过本发明的实施方式，在对因屏幕的局部变形 引起的投射图像的变形进行修正的情况下，将屏幕的局部变形的变形量 作为变形量计算用图像的各特征点处的变形量计算出，使用与计算出的
各特征点处的变形量相对应的图^L修正方法，进行图4象修正。即，在某 个特征点处的变形量为变形量判定用阈值TH1以上时，对应该损:射的图 像中的局部区域(与包括该特征点的规定范围的区域对应的区域)，进行 使用了可进行更高精度的修正的基于双三次插补方法的图像修正；在某个 特征点处的变形量小于变形量判定用阈值TH1时，对应该投射的图像中的 局部区域(与包括该特征点的规定范围的区域对应的区域)，进行使用了 基于双线性的插补方法的图像修正。
由此，由于可以针对应该投射的图像进行与屏幕的局部变形的变形量 相对应的图像修正，所以通过利用投影仪将被如此修正的图像投射到屏幕 上，屏幕上的投射图像成为投射图像整体具有视觉上均匀的析像感的图 像。即，当在屏幕上存在变形量不同的多处局部变形时，如^J"投射图像 整体使用相同的修正方法进行图像修正，则有可能出现修正后的投射图像 整体的析像感变得不均匀、成为上述的MTF局部不同的图像等不良情况， M本发明中，可以防止这样的不良情况。
〔实施方式2〕
在上述的实施方式1中，例示了图像修正装置330 ^装到投影仪PJ 中的情况，但可以将图像修正装置330作为与投影仪PJ独立的其他构成 要素进^i殳置，由投影仪PJ和图像修正装置330构成投影系统。
图9是表示实施方式2的投影系统的构成的图。实施方式2的投影 系统是将投影仪PJ与屏幕SCR邻近配置的邻近投射型投影系统，如图 9所示，实施方式2的投影系统具有投影仪PJ、摄像装置200、图像 修正装置330、和连接线缆500。
图像修正装置330可以通过使信息处理装置(个人电脑等)具有该功 能来实现。而且，图傳*修正装置330具有变形量计算用图像生成部331、 变形量计算部332、修正方法选择部333、图^L修正处理部334、控制部335 (参照图2 )。其中，由于图像修正装置330所进行的处理在实施方式1的 投影仪PJ中已经进fr沈明，所以在这里省略其说明。
另外，在图9所示的例子中，作为构成图像修正装置330的构成要素，使变形量计算用图像生成部331、变形量计算部332、图l象修正方法选择 部333、图像修正处理部334、控制部335等作为与投影仪PJ独立的构成， 当这些构成要素中的一部分也可以i殳置在投影仪PJ侧。
另外，本发明并不限于前述的各实施方式，可以在不脱离本发明的宗 旨的范围内实施下述(l) ~ (5)所示的变形。
(1 )在上述的实施方式中，根据各特征点处的变形量是否为规定值(变 形量判定用阈值TH1)以上，选择两种图像修正方法的任意一个，但并不 限于此。例如，也可以将用于判定^#征点处的变形量的大小的阈值设定 2个以上，分三个阶段以上判定变形量的大小。
该情况下，按各阶段的每个预先设定修正精度不同的图像修正方法， 通过判定各特征点处的变形量属于多个阶段的哪一阶段，并根据其判定结 果选择图像修正方法，使用所选择的图像修正方法进行图像修正。其中， 关于各阶段的图像修正方法，设定各特征点的变形量越大则可以进行越高 精度的图像修正的图像修正方法。这样，由于将各特征点处的变形量的大 小作为多个阶段的变形量的大小进行判定，选择适于所判定的变形量的图 像修正方法，进行图像修正，所以可以对应于各特征点处的变形量的大小， 进行恰当的图像修正。
(2 )表示了摄像装置200与投影仪PJ —体设置的例子(参照图9 )， M像装置200可以作为与投影仪PJ独立的构成要素，设置在与投影仪 PJ独立的位置。
(3) 在上述各实施方式中，图傳4务正装置330具有变形量计算用图 像生成部331,利用该变形量计算用图像生成部331生成变形量计算用 图像，但并不限于此，也可以将与变形量计算用图像对应的变形量计算 用图像预先存储到存储部等中，根据需要从存储部读出变形量计算用图 像，然后通过投影仪PJ进行投射。
(4) 上述各实施方式中使用的变形量计算用图像，是使作为变形量 计算位置的特征点在纵向以及横向上等间隔排列的图像，但并不限于 此，只要是能够在摄像图像中确定特征点的图像即可。例如，也可以是 在纵向及横向上以格子状等间隔画线的图像，此时，可以将纵向以及横向的各线交叉的位置(格点)为特征点，以该特征点进行变形量计算。
(5)在上述各实施方式中，举例说明了使用基于双三次或双线性 的插补方法作为图像修正方法的情况，但图像修正方法并不限于此，也 可以使用其它的图像修正方法。
权利要求
1.一种图像修正装置，其特征在于，是根据投射面的局部变形对应该由投影仪投射的图像进行修正的图像修正装置，具有变形量计算部，其根据对投射在所述投射面上的具有多个特征点的变形量计算用图像进行摄像而得到的摄像图像，计算出所述多个特征点的各特征点处的变形量；图像修正方法选择部，其选择与利用所述变形量计算部计算出的所述各特征点处的变形量相对应的图像修正方法；和图像修正处理部，其通过由所述图像修正方法选择部选择的图像修正方法，对所述应该投射的图像的规定区域进行修正。
2. 根据权利要求l所述的图像修正装置，其特征在于， 所述各特征点分别与所述投影仪中的光调制元件的各像素中离散位置的多个^象素相对应i殳定。
3. 根据权利要求1或2所述的图像修正装置，其特征在于， 所述变形量计算部根据所述变形量计算用图像中的所述各特征点的坐标、和对所述变形量计算用图傳进行摄像而得到的摄像图像中的所述各特 征点的坐标，计算出所述各特征点处的变形量。
4. #>据权利要求1~3中任意一项所述的图像修正装置，其特征在于， 所述图像修正方法选#^具有对所述各特征点处的变形量的大小进行判定的功能；和从与所述变形量的大小对应地i殳定的^hiMt度不同的多 种图傳J务正方法中，选择与所述各特征点处的变形量相对应的图像修正方 法的功能。
5. 根据权利要求4所述的图像修正装置，其特征在于， 所述多个阶M所述各特征点处的变形量是否为规定值以上的两个阶段，所述修正精度不同的多种图像修正方法，是可以进行高精度修正的第 一图像修正方法、以及进行精度低于所述第 一 图像修正方法的修正的第二 图像修正方法这两种图像修正方法，在判定为所述各特征点的某个特征点处的变形量为所述规定值以上的 情况下，对该特征点选择所述第一图像修正方法，在判定为所述各特征点 的某个特征点处的变形量低于所述规定值时，对该特征点选择所述第二图 像修正方法。
6. 根据权利要求5所述的图像修正装置，其特征在于， 所述第一图像修正方法是基于双三次的图像修正方法，所述笫二图像修正方法是基于双线性的图像^"正方法。
7. 根据权利要求1 6中任意一项所述的图像修正装置，其特征在于， 所述图像修正处理所修正的应该投射的图像的规定区域，是包括与所述特征点相对应的所述应该投射的图像的像素的局部区域。
8. 根据权利要求1~7中任意一项所述的图像修正装置，其特征在于， 所述投影仪设置在所述投射面的邻近位置，且被设置成投射i^目对于所述^L射面以锐角入Jlt。
9. 一种图傳4多正方法，其特征在于，是根据^L射面的局部变形对应该 由投影仪投射的图^Ji行修正的图像修正方法，包括变形量计算步骤，根据对投射在所述投射面上的具有多个特征点的变 形量计算用图像进行摄像而得到的摄像图像，计算出所述多个特征点的各 特征点处的变形量；图像修正方法选择步骤，选择与利用所述变形量计算步骤计算出的所 述各特征点处的变形量相对应的图像修正方法；和图像修正处理步骤，通过由所述图像修正方法选择步骤选择的图像修 正方法，对所述应该投射的图像的规定区域进行修正。
10. —种投影仪，其特征在于，是具有根据投射面的局部变形对应该 投射的图係进行修正的图像修正装置的投影仪，所述图像修正装置具有变形量计算部，其根据对^&射在所述投射面上的具有多个特征点的变 形量计算用图傳ii行摄像而得到的摄像图像，计算出所述多个特征点的各 特征点处的变形量；图像修正方法选择部，其选择与利用所述变形量计算部计算出的所述 各特征点处的变形量相对应的图傳^修正方法；和图係J务正处理部，其通过由所述图像修正方法选#^选择的图像修正 方法，对所述应该投射的图像的规定区域进行修正。
11. 一种投影系统，其特征在于，具有向投射面进行图^M^射的投 影仪、和根据所述iS:射面的局部变形对应该由所述投影仪^:射的图傳it行 修正的图4象修正装置，所述图^象修正装置具有变形量计算部，其根据对投射在所述投射面上的具有多个特征点的变 形量计算用图像进行摄像而得到的摄像图像，计算出所述多个特征点的各 特征点处的变形量；图像修正方法选择部，其选择与利用所述变形量计算部计算出的所述 各特征点处的变形量相对应的图4象修正方法；和图寸象修正处理部，其通过由所述图像修正方法选#^选择的图像修正 方法，对所述应该投射的图像的规定区域进行修正。
全文摘要
本发明涉及图像修正装置、图像修正方法、投影仪及投影系统。当屏幕的局部变形的变形量在各局部变形中不相同时，能实现在投射图像整体具有视觉上均匀的析像感那样的变形修正。图像修正装置(330)根据投射面的局部变形对应该由投影仪投射的图像进行修正，具有变形量计算部(332)，根据对投射在投射面上的具有多个特征点的变形量计算用图像进行摄像而得到的摄像图像，计算出所述多个特征点的各特征点处的变形量；图像修正方法选择部(333)，选择与利用变形量计算部计算出的所述各特征点处的变形量对应的图像修正方法；和图像修正处理部(334)，通过由图像修正方法选择部选择的图像修正方法，对应该投射的图像的规定区域进行修正。
文档编号H04N5/74GK101631219SQ20091014007
公开日2010年1月20日 申请日期2009年7月16日 优先权日2008年7月18日
发明者今井俊 申请人:精工爱普生株式会社