投影型显示装置及显示方法

专利名称：投影型显示装置及显示方法
技术领域：
本发明涉及投影型显示装置及显示方法，尤其涉及投影型显示装置及显示方法中修正在投影面上显示的图像的梯形失真的技术。
背景技术：
在使用投影机使图像显示在屏幕上时，存在着因投影机与屏幕的相对的角度，在屏幕上显示的图像(以下，称为"显示图像")产生梯形失真的情况。已知有在这样的情况下，进行修正显示图像的梯形失真的梯形失真修正(年一7卜一y補正)的技术。
梯形失真修正，通过以下的过程来进行例如利用CCD照相机等拍摄部拍摄屏幕，从拍摄图像中检测屏幕的框边的图像，并根据所检测的屏幕框边的图像，在投影机的液晶面板上将图像缩小形成为梯形形状。此外，在屏幕的框边的一部分的图像未被从拍摄图4綠测出的情况下，将未被检测出的框边补全(例如专利文献l)。
专利文献1特开2006-60447号公报
但是，在上述的以往技术中，存在着这样的问题不能够依未被从拍摄图^^r测出的屏幕的框边的数量进行补全，从而不能够执行恰当的梯形失真修正。
此外，这样的问题，不限于利用投影机在屏幕上显示图像时的梯形失真修正，而是对于由通过投影使图像显示在投影面上的一般投影型显示装置进行图像的梯形失真修正的情况，是共同的问题。

发明内容
5本发明是为了解决上述以往的问题而提出的，其目的在于使通过投影而形成的显示图像的梯形失真修正的通用性提高。
为了解决上述问题的至少一部分，本发明可实现为以下的方式或应用例。
应用例1~8中的任意一项所述的投影型显示装置，还具备 发光的光源部；以及
图像形成面板部，其将有效面板图像形成在面板面的图像形成区域， 该有效面板图像用于将前述光源部所发出的光调制为表示图像的有效的图 像光；
其中，前述梯形失真修正部，通过根据前迷基准线段的检测结果和前 述补全线段的设定结果，计算作为前述图像形成区域中的一部分区域的修 正后图像形成区域，并且使前述有效面板图像形成在前述图像形成区域中 的前述修正后图像形成区域，来修正在前述投影面上显示的图像的梯形失 真。
在该投影型显示装置中，能够根据基准线段的检测结果和补全线段的 设定结果，使通过投影而形成的显示图像的梯形失真修正的通用性提高。
此外，本发明能够以各种方式来实现，例如能够以投影型显示装置及 显示方法、图像处理方法及装置、图像修正方法及装置、用于实现这些方 法或装置的功能的计算机程序、记录该计算机程序的记录介质、包含该计 算机程序且被体现在载波内的数据信号等方式来实现。


图l是概略地示出本发明的第1实施例的作为投影型显示装置的投影 机的结构的框图；图2是概略地示出液晶面板130与图像形成区域IF的关系的说明图； 图3是示出第1实施例的由投影机100所进行的梯形失真修正处理的 流程的流程图4是示出测定用图案图像PT的例子的说明图5是示出预定的测定点的三维坐标的检测的概要的说明图6是示出屏幕SC与投影机100的相对的角度的概念的说明图7示出屏幕SC的框边的消失点计算的概要的说明图8是示出照相机坐标系的说明图9是示出从拍摄图像CI检测屏幕SC的框边的方法的说明图； 图IO是示出边缘量累计值的直方图的例子的说明图； 图11是概略地示出本发明的第2实施例的作为投影型显示装置的投影 机的结构的框图12是示出第2实施例的由投影机100a所进行的梯形失真修正处理 的流程的流程图13是示出存在不足边的情况下的边缘量累计值的直方图的例子的 说明图14是示出补全边的计算方法的一例的说明图；以及 图15是示出变形例的梯形失真修正方法的说明图。 符号说明
IOO...投影机；102...总线；120...内部存储器；130...液晶面板；132... 液晶面板驱动部；140…照明光学系统；150…投影光学系统；152…变焦透 镜；154...变焦透镜驱动部；160...CPU; 170...遥控器控制部；172...遥控 器；180…拍摄部；182...拍摄图#^储器；200…图像处理部；210…角度 计算部；212…图案投影部；214…测定点位置检测部；216…平面计算部； 220…直线检测部；222…消失点计算部；230…梯形失真修正部；240…坐 标变换部；250...不足边补全部；300...电缆。
具体实施例方式
10下面，基于实施例按以下的顺序说明本发明的实施方式。
A. 第1实施例 A-l.投影机的结构
A-2.梯形失真修正处理
B. 第2实施例
C. 变形例
A.第1实施例 A-l.投影才几的结构
图1是概略地示出本发明的第1实施例的作为投影型显示装置的投影 机的结构的框图。投影机100投影表示图像的图像光，使图像(以下称为 "显示图像")显示在屏幕SC等投影面上。在本实施例中，屏幕SC是矩 形形状的，沿着其外周具有黑色的框。
投影机100具有A/D变换部110、内部存储器120、液晶面板130、液 晶面板驱动部132、照明光学系统140、具有变焦透镜152的投影光学系统 150、变焦透镜驱动部154、 CPU160、遥控器控制部170、遥控器172、拍 摄部180、拍摄图像存储器182。投影机100的各构成要件，经由总线102 相互连接。
A/D变换部110,对从未图示的DVD播放器、PC (个人计算机)等 经由电缆300输入的输入图像信号，根据需要进行A/D变换，并输出数字 图像信号。
在内部存储器120中，存储有作为图像处理部200起作用的计算机程 序。图像处理部200对从A/D变换部110输出的数字图像信号，进行图像 的显示状态(例如亮度、对比度、同步、跟踪(卜，、jy年y歹)、颜色的 深浅、色调等)的调整，之后将数字图像信号输出至液晶面板驱动部132。 此外，图像处理部200包括作为模块的角度计算部210、直线检测部220、 消失点计算部222、梯形失真修正部230、坐标变换部240。角度计算部 210包括图案投影部212、测定点位置检测部214、平面计算部216。这些 部件的功能，将在后迷的梯形失真修正处理的说明中详迷。
ii液晶面板驱动部132，根据经由图像处理部200输入的数字图像信号， 驱动液晶面板130。液晶面板130，将图像(以下称为"有效面板图像PI") 形成在液晶面板130的表面(以下称为"面板面，，)的图像形成区域IF， 其中的有效面板图像PI用于将从照明光学系统140照射的照明光调制为表 示图像的有效的图像光。
图2是概略地示出液晶面板130与图像形成区域IF的关系的说明图。 所谓图像形成区域IF，指根据输入到液晶面板驱动部132的数字图像信号， 可形成有效面板图像PI的液晶面板130的面板面上的区域。在图2中，将 图像形成区域IF表示为由虛线包围的区域。如图2 U)所示，本实施例 的图像形成区域IF,被设定为与液晶面板130的面板面整个面相比，四周 各小2个点左右的区域。此外，图像形成区域IF相对于液晶面板130的面 板面整个面的大小可任意地设定。
在图2中，对形成有有效面板图像PI的区域附加了阴影而示出。通常， 如图2 (a)所示，在图像形成区域IF的整个区域形成有效面板图像PI。 但是，在执行后面详述的梯形失真修正处理时，如图2 (b)所示，会在液 晶面板130的图像形成区域IF中的一部分区域形成有效面板图像PI,而 在图像形成区域IF的其余的区域形成全黑的图像(在图2 (b)中用白色 表示)。在该梯形失真修正时，将形成有有效面板图像PI的图像形成区域 IF中的一部分区域称为"修正后图像形成区域RIF"。在图2中，将修正 后图像形成区域RIF表示为由一点划线包围的区域。
此外，例如，在输入到液晶面板驱动部132的数字图像信号的分辨率 比液晶面板130的分辨率小时，在不放大所输入的数字图像而将其原样形 成在液晶面板130上的情况下，如图2 (c)所示，图像形成区域IF与上 述两个分辨率的比相应地，被设定为比液晶面板130的面板面整个面更小 的区域。
投影光学系统150 (图1)，安装在投影机100的框体的前面，对由液 晶面板130调制为了图像光的光进行放大投影。变焦透镜驱动部154能够 驱动投影光学系统150所具备的变焦透镜152，使变焦状态变化。在此，
12所谓变焦状态，指在投影光学系统150中，对透过了液晶面板130的光进 行投影时的放大的程度(倍率)。即，变焦透镜驱动部154，能够驱动变 焦透镜152而使显示在屏幕SC上的显示图像的大小变化。
遥控器控制部170，接收来自用户的、通过遥控器172的指示，并经 由总线102将该指示传送至CPIJ160。此外，在本实施例中，虽然投影机 100通过遥控器172及遥控器控制部170接收来自用户的指示，但是，也 可以通过例如操作面板等其他的结构接收来自用户的指示。
CPU160通过从内部存储器120读出作为图像处理部200的计算机程 序并执行，向屏幕SC投影图像，进行后述的梯形失真修正处理等图像处 理。此外，CPU160进行投影机100全体的控制。
拍摄部180具有CCD照相机，其通过拍摄而生成拍摄图像。拍摄部 180，以能够对与液晶面板130的最大的图像形成区域IF(参照图2(a)) 对应的图像所被投影到的区域全部进行拍摄的方式，被进行了其设置位置、 视场角等的设定。由拍摄部180生成的拍摄图像，被存储在拍摄图<|^储 器182内。此外，拍摄部180也可以具有其他的拍摄装置来代替CCD照 相机。
A-2.梯形失真修正处理
图3是示出第1实施例的由投影机100所进行的梯形失真修正处理的 流程的流程图。梯形失真修正处理，是以屏幕SC上的显示图像的外周线 的各边成为与屏幕SC的框的各边平行的方式，修正显示图像的梯形失真 的处理。梯形失真修正处理根据来自用户的、通过遥控器172的指示而执 行。此外，梯形失真修正处理也可以根据例如电源接通、图像信号的输入 等而自动地执行。
在步骤SllO,图案投影部212(图l)使测定用图案图像PT形成在液 晶面板130上，并使照明光学系统140及投影光学系统150向屏幕SC投 影图像光。测定用图案图像PT的图像数据，存储在内部存储器120的预 定的区域。图4是示出测定用图案图像PT的例子的说明图。测定用图案 图像PT，包含多个基准点RP。图4 (a)所示的测定用图案图像PT,是
13在黑色的背景上包含排列为栅格状的多个白色的点的图像，各点^皮设定为
基准点RP。图4 (b)所示的测定用图案图像PT,是在黑色的背景上配置 有白色的格线图案的图像，格线的纵线与横线的交叉点被设定为基准点 RP。图4 (c)所示的测定用图案图像PT，是黑色区域与白色区域交替地 配置而成的黑白相间的方格图案的图像，各区域的各顶点被设定为基准点 RP。图4 (d)所示的测定用图案图像PT，是在黑色的背景上包括白色的 小矩形和包含该矩形的白色的大矩形的图像，各矩形的各顶点被设定为基 准点RP。此外，测定用图案图像PT，只要是包含3个或3个以上基准点 RP的图像(但是，全部的基准点RP位于一条直线上的图像除外)，也可 以采用图4所示的图像以外的图像。在一点上，从提高后述的屏幕SC的 近似平面的算式的计算精度这一点出发，测定用图案图像PT中所包含的 基准点RP的数量，越多越好。
在步骤S120 (图3 )，拍摄部180 (图1)对被投影有测定用图案图像 PT的屏幕SC进行拍摄，而生成拍摄图像CI。所生成的拍摄图像CI,存 储在拍摄图^^储器182内。
在步骤S130 (图3 )，测定点位置检测部214 (图1)根据拍摄图像 CI,检测预定的测定点的三维坐标。预定的测定点的三维坐标的检测，是 为了计算屏幕SC的近似平面的三维坐标(屏幕SC的近似平面的算式)而 进行的。
图5是示出预定的测定点的三维坐标的检测的概要的说明图。在本实 施例中，在以变焦透镜152的主点为原点，以变焦透镜152的光轴为z轴 (zl轴)的三维坐标(以下也称为"透镜坐标系，，)中，进行各测定点的 三维坐标的检测。即，进行各测定点相对于投影机100的相对的位置的检 测。
在图5中，在透镜坐标系中示出了被投影有测定用图案图像PT(参照 图4(a))的屏幕SC。作为三维坐标的检测对象的检测点，是在屏幕SC 或屏幕SC的背后的物体(例如墙壁面)上显示的测定用图案图像PT中所 包含的基准点RP。此外，在图5所示的状态下，基准点RP内的一部分被
14放映到屏幕sc上，另一部分从屏幕sc越出而被放映到屏幕sc的背后的
墙壁面上。
测定点位置检测部214分析拍摄图像CI而检测拍摄图像CI中的基准 点RP的位置，并检测所检测出的基准点RP在透镜坐标系中的三维坐标。 测定点的三维坐标的检测，利用变焦透镜152与拍摄部180的视差，使用 根据三角测量的原理检测三维坐标的主动型的主动立体法来进行。此外， 在测定点的三维坐标的检测中所使用的方法，也可以是主动立体法以外的 三维坐标检测方法(例如使用多个照相机的被动型的立体法)。此外，在 测定点的三维坐标的检测中所使用的坐标系，也可以是透镜坐标系以外的 坐标系(例如后述的照相机坐标系)。
在步骤S140 (图3 )，平面计算部216 (图1)基于所检测的各测定点 的三维坐标，计算屏幕SC的近似平面的算式。具体地，平面计算部216， 利用最小二乘法，计算屏幕SC的近似平面的算式，该最小二乘法使用了 测定用图案图像PT的位于中央部分的基准点RP(在图5中由虚线包围所 示)的三维坐标。仅使用测定用图案图像PT的位于中夹部分的基准点RP， 是为了尽可能将未位于屏幕SC上的点除外。屏幕SC的近似平面的算式， 如图5所示，以ax + by + cz + d-0的形式来表示。此时，向量(a， b， c) 为屏幕SC的近似平面的法线向量。
此外，只要检测出全部点不位于一条直线上那样的至少3个或3个以 上的基准点RP的三维坐标，屏幕SC的近似平面的算式便能够计算出。 因而，在屏幕SC的近似平面的算式的计算中所使用的基准点RP的数量， 可设定为3个或3个以上的任意的数。因此，在测定点的三维坐标的检测 (图3的步骤S130)中，不需要检测测定用图案图像PT中所包含的全部 基准点RP的三维坐标，而只要仅关于在屏幕SC的近似平面的算式的计 算中所使用的基准点RP(例如测定用图案图像PT的位于中央部分的基准 点RP)检测三维坐标即可。或者，也可以关于测定用图案图像PT中所包 含的全部基准点RP检测三维坐标，基于三维坐标判断各个基准点RP是 否是纟t故映到屏幕SC上的点，并使用被判定为是^U文映到屏幕SC上的点
15的基准点RP计算屏幕SC的近似平面的算式。
在步骤S150 (图3 )，角度计算部210 (图1)计算屏幕SC与投影机 100的相对的角度。图6是示出屏幕SC与投影机100的相对的角度的概念 的说明图。在图6中，在以变焦透镜152的主点为原点、以与屏幕SC的 近似平面垂直的方向为z轴(zs轴)的三维坐标(以下也称为"屏幕坐标 系")中示出了屏幕SC与投影机100的关系。在图6中，投影机100被 载置在作为与y轴(ys轴)垂直的平面的设置面SS上。本实施例中的设 置面SS，相当于本发明中的"基准平面"。
屏幕SC与投影机100 (投影机100的变焦透镜152的光轴)的相对的 角度，利用投影机100绕x轴(xs轴)的旋转角度即倾斜6 、投影机100 绕y轴(ys轴)的旋转角度即偏离(J)和投影机绕z轴(zs轴)的旋转角度 即转向V的组合来表示。角度计算部210根据透镜坐标系中变焦透镜152 的光轴与屏幕SC的近似平面的关系(参照图5)，唯一地计算出屏幕SC 与投影机100的相对的角度(即倾斜e、偏离cl)和转向V的值)。
在步骤S160 (图3 ),消失点计算部222 (图1)计算屏幕SC的框边 (构成屏幕SC的框的各边)在拍摄图像CI中的消失点。图7是示出屏幕 SC的框边的消失点计算的概要的说明图。在图7 (a)中，在透镜坐标系 (参照图5)中示出了屏幕SC的近似平面和垂直于z轴的平面(平面z = 1)。此外，在图7(b)中，示出了屏幕SC的框边到平面z-l的射影(通 过屏幕SC的各框边和原点O的平面与平面z-l的交线)。此外，将图7 (b)所示的坐标系称为透镜坐标系的标准坐标系。标准坐标系的单位，其 正45度及负45度的方向分别为正1及负1。
三维空间(例如透镜坐标系)中相互平行的任意的直线到平面(例如 平面z-l)的射影，在1点交叉。将该交叉点称为消失点。由于在透镜坐 标系中屏幕SC的框边的右边SF (r)与左边SF (1)相互平行，所以在标 准坐标系中右边SF(r)及左边SF(l)的射影在消失点(以下称为"垂直 消失点DPv，，)处交叉。同样，由于在透镜坐标系中屏幕SC的框边的上 边SF (t)与下边SF (b)相互平行，所以在标准坐标系中上边SF (t)及
16下边SF (b)的射影在消失点(以下称为"水平消失点DPh，，)处交叉。 此外，在以下的说明中，还将垂直消失点DPv及水平消失点DPh统一简 称为"消失点DP"。
消失点DP (垂直消失点DPv及水平消失点DPh )的位置(坐标)， 由屏幕SC与投影机100的相对的角度(倾斜6 、偏离(|)、转向V)唯一 地确定。消失点DP在透镜坐标系的标准坐标系中的坐标，如下述的式(l) 及式(2)所表示。
数学式1
<formula>formula see original document page 17</formula>、tan ^ cos (9 乂 利用上述式(l) ~ (4)计算出的坐标，是消失点DP在透镜坐标系 的标准坐标系中的坐标。由于后述的屏幕SC的框边的检测(图3的步骤 S170)在照相机坐标系的标准坐标系中执行，所以坐标变换部240 (图1) 利用射影变换执行从透镜坐标系的标准坐标系(参照图7 (b))到照相机 坐标系的标准坐标系的坐标变换。图8是示出照相机坐标系的说明图。照 相机坐标系，是以拍摄部180的CCD的中心点为原点O、以拍摄部180的透镜的光轴为z轴(zc轴)的三维坐标。此外，照相机坐标系的标准坐 标系，是用到垂直于z轴的平面(平面z-l)的射影来表示照相机坐标系 中的点、线、面等的坐标系。标准坐标系的单位，其正45度及负45度的 方向，分别为正l及负1。
该坐标变换，是为了补偿投影机100中变焦透镜152的光轴与拍摄部 180的透镜的光轴的不同而进行的。即，上述的消失点DP(垂直消失点 DPv及水平消失点DPh)的坐标是透镜坐标系的标准坐标系中的坐标，通 过坐标变换，可求取拍摄图像CI中的消失点DP的坐标。
坐标变换部240，使用矩阵M进行坐标变换(射影变换)。在将表示 变焦透镜152和拍摄部180的相对的旋转量的三维的旋转矩阵设定为R， 将表示变焦透镜152与拍摄部180的相对的平移量的三维的列向量设定为 t,将屏幕SC的近似平面的方程式表示为ax + by + cz-l时的三维的行向 量设定为n- (a, b， c),将三维的单位矩阵设定为E时，矩阵M表示 为M-R(E + tn)。此外，在本实施例中，虽然坐标变换部240所进行的 坐标变换(射影变换)是使用根据变焦透镜152与拍摄部180的相对的关 系而计算出的矩阵M来进行的，但是，也可以根据基准点RP在透镜坐标 系中的坐标与在照相机坐标系中的坐标的对应关系，利用最小二乘法，计 算最佳的射影变换来执行射影变换。
在步骤S170 (图3 )，直线检测部220 (图1)检测在拍摄图《象CI上 映现的屏幕SC的框边(右边SF (r)、左边SF (1)、上边SF (t)、下 边SF(b))。图9是示出从拍摄图像CI检测屏幕SC的框边的方法的说 明图。在图9中，在照相机坐标系的标准坐标系中示出了拍摄图像CI和 消失点DP (垂直消失点DPv及水平消失点DPh)。
直线检测部220，为了检测屏幕SC的框边，首先设定多条通过消失点 DP的直线(以下也称为"消失点通过直线PL")。具体地，对于垂直消 失点DPv及水平消失点DPh的各个，设定通过消失点DP并且倾斜度各相 差预定的倾斜角度的多条直线作为消失点通过直线PL。此外，消失点通过 直线PL的^L定方法并不限于此，也可以例如在预定的直线(例如拍4聂图
18像CI的各边)上设定各隔开预定的像素数的间隔的多个参照像素，并将 连接各参照像素与消失点DP的多条直线设定作为消失点通过直线PL。
接着，直线检测部220，沿着在拍摄图像CI上设定的消失点通过直线 PL设置微分滤波器、拉普拉斯滤波器这样的轮廓提取滤波器，来对边缘量 进行累计，并生成直方图。图IO是示出边缘量累计值的直方图的例子的说 明图。在图10中，示出了沿着通过了垂直消失点DPv的消失点通过直线 PL的边缘量累计值的直方图。直线检测部220，在边缘量累计值的直方图 中，检测表示超过阈值T的最大的2个峰值(极大值)的位置，作为屏幕 SC的2个框边在拍4聂图像CI中的位置。在图10的例子中，由于存在2 个超过阈值T的峰值，所以检测右侧的峰值的位置作为右边SF ( r)的位 置，检测左侧的峰值的位置作为左边SF (1)的位置。在图IO所示的边缘 量累计值的直方图中，在超过阈值T的碎，值例如存在3个的情况下，将值 较大的2个峰值的位置设定为2个框边的位置。同样，直线检测部220， 使用沿着通过了水平消失点DPh的消失点通过直线PL的边缘量累计值的 直方图，检测上边SF(t)及下边SF(b)在拍摄图像CI中的位置。由此， 在拍摄图像CI中检测出屏幕SC的框的各边。此外，在对沿着通过了垂直 消失点DPv的消失点通过直线PL的边缘量进行累计时，优选使用对于拍 摄图像CI的左右方向(水平方向)的轮廓有较强反应的轮廓提取滤波器， 在对沿着通过了水平消失点DPh的消失点通过直线PL的边缘量进行累计 时，优选使用对于拍摄图像CI的上下方向(垂直方向)的轮廓有较强反 应的轮廓提取滤波器。
在步骤S180,梯形失真修正部230 (图1)，参照在拍摄图像CI中检 测出的屏幕SC的框边的位置，执行梯形失真修正。梯形失真修正，可使 用公知的方法(例如特开2006 - 60447号公报中所记载的方法)来执行。 即，利用射影变换将屏幕SC的框边在图9中所示的照相机坐标系的标准 坐标系中的坐标值，变换到透镜坐标系的标准坐标系中。该坐标变换，利 用上述的在从透镜坐标系的标准坐标系到照相机坐标系的标准坐标系的坐 标变换中所使用的射影变换的逆变换来执行。根据利用坐标变换计算出的
19屏幕SC的框边在透镜坐标系的标准坐标系中的坐标值，计算液晶面板130 上的与屏幕SC对应的区域，作为修正后图像形成区域RIF (参照图2)。 此后，根据需要，在进行变焦状态的调整之后，通过在液晶面板130上的 修正后图像形成区域RIF形成有效面板图像PI，来修正屏幕SC上的显示 图像的梯形失真。如以上所说明的，在第1实施例的投影机IOO中，计算屏幕SC与投 影机100的相对的角度，并根据所计算的角度在拍摄图像CI中检测屏幕 SC的框边，根据框边的检测结果修正图像的梯形失真。因此，在第l实施 例的投影机100中，由于能够降低错误地将拍摄图像CI中不是屏幕SC的 框边的直线检测为屏幕SC的框边的可能性，所以能够提高显示图像的梯 形失真修正的精度。即，在第1实施例的投影机IOO中，由于通过计算屏 幕SC的框边所应该通过的消失点DP，并从通过了消失点DP的直线(消 失点通过直线PL )中进行选择来在拍摄图像CI中检测屏幕SC的框边， 所以能够降低例如错误地将拍摄图像CI中映照到屏幕SC上的荧光灯的图 寸旨测为屏幕SC的框边的可能性。B.第2实施例图11是概略地示出本发明的第2实施例的作为投影型显示装置的投影 机的结构的框图。第2实施例的投影机100a,在图像处理部200a包括不 足边补全部250这一点上，与图1所示的笫1实施例的投影机100不同。 不足边补全部250的功能，将在后述的梯形失真修正处理的说明中详细描 述。第2实施例的投影机100a的其他结构，与图1所示的第1实施例的投 影机100相同。不足边补全部250相当于本发明中的线段补全部。图12是示出笫2实施例的由投影机100a进行的梯形失真修正处理的 流程的流程图。第2实施例的梯形失真修正处理的从步骤S110至S170的 处理内容，与图3所示的第1实施例的从步骤S110至S170的处理内容相 同。在步骤S172 (图12 ),图像处理部200a (图11),判断在步骤S170 的屏幕SC的框边的检测中，是否有未被检测出的框边(以下也称为"不足边")。如图10所示，对于垂直消失点DPv及水平消失点DPh的各个， 在沿着通过了消失点DP的消失点通过直线PL的边缘量累计值的直方图 中，如果存在超过阔值T的2个峰值，则屏幕SC的框边的全部(右边SF (r)、左边SF (1)、上边SF (t)、下边SF (b))被检测出。在此情 况下，判断为没有不足边(步骤S172:否)，从而与第l实施例同样，根 据所检测出的屏幕SC的框边的位置，执行梯形失真修正(步骤S180)。 此外，在拍摄图像CI中检测出的框边，相当于本发明中的基准线段。另一方面，在沿着通过了消失点DP的消失点通过直线PL的边缘量 累计值的直方图中，有超过阈值T的峰值不是存在2个、屏幕SC的框边 的一部分未被检测出的情况。图13是示出存在不足边的情况下的边缘量累 计值的直方图的例子的说明图。在图13中，示出了沿着通过了垂直消失点 DPv的消失点通过直线PL的边缘量累计值的直方图。如图13所示，当在 边缘量累计值的直方图中超过阈值T的峰值不是存在2个的情况下，屏幕 SC的右边SF (r)和左边SF (1)的至少一方的位置未,皮检测出。在图13 的例子中，左边SF (1)的位置被检测出，但是右边SF (r)的位置未,皮检 测出。当在屏幕SC的框边的检测中存在不足边的情况下，考虑是不足边未 映现在拍摄图像CI上、即屏幕SC的不足边位于拍摄部180的视场角的范 围之外，还是尽管屏幕SC的不足边映现在了拍摄图像CI上，但因某种原 因边缘量变小，从而未被检测出。这样，在存在不足边的情况下(步骤S172: 是)，由于不能够直接计算出修正后图像形成区域RIF (参照图2)，所 以由不足边补全部250 (图11)进行将不足边补全的补全边的计算(图12 的步骤S174)。图14是示出补全边的计算方法的一例的说明图。在图14中，在照相 机坐标系的标准坐标系中示出了拍摄图《象CI和消失点DP (垂直消失点 DPv及水平消失点DPh)。在图14的例子中，在拍摄图像CI中，虽然检 测出了屏幕SC的左边SF (1)及上边SF (t),但是右边SF ( r)及下边 SF(b)未净皮检测出，从而成为不足边。在此情况下，进行将右边SF(r)21补全的补全边CS (r)和将下边SF (b)补全的补全边CS (b)的计算，不足边补全部250,首先，计算将下边SF (b )补全的补全边CS (b )。 具体地，将连接水平消失点DPh与左边SF (1)的下端点的消失点通过直 线PL内的、位于拍摄图像CI的区域内的部分(线段)，设定为补全边 CS (b)。不足边补全部250，接着，计算将右边SF (r)补全的补全边 CS (r)。具体地，将连接垂直消失点DPv与补全边CS (b)的右端的消 失点通过直线PL内的、被上边SF (t)和补全边CS (b)所挟持的部分 (线段)，设定为补全边CS (r)。如果这样设定了补全边CS (b)及CS (r)，则与补全边CS (b)相 当的、实际的屏幕SC上的线段，与屏幕SC的下边SF(b)及上边SF(t) 平行；与补全边CS (r)相当的、实际的屏幕SC上的线段，与屏幕SC的 右边SF (r)及左边SF (1)平行。因此，与由检测边(上边SF (t)及左 边SF (1))和补全边CS (补全边CS (b)及CS (r))包围的区域(以 下也称为"目标区域TA")(在图14中附加阴影而示出)相当的、实际 的屏幕SC上的区域，成为矩形的区域，从而如果以在该区域上显示图像 的方式进行梯形失真修正，则能够修正显示图像的梯形失真。在补全边计 算(图12的步骤S174)之后的步骤S180，执行这样的梯形失真修正。此外，在图14的例子中，虽然首先计算将下边SF(b)补全的补全边 CS (b),之后计算将右边SF (r)补全的补全边CS (r)，但是，将不 足边补全的补全边CS的计算的顺序可以任意地i殳定。例如，在图14的例 子中，也可以首先计算将右边SF (r)补全的补全边CS (r)，之后计算 将下边SF (b)补全的补全边CS (b)。此外，在图14的例子中，虽然如 上所述，将下边SF (b)补全的补全边CS (b)以通过左边SF (1)的下 端的方式被计算出，将右边SF (r)补全的补全边CS (r)以通过补全边 CS (b)的右端的方式被计算出，但是不需要必须这样来计算补全边CS。 但是，通过利用这样的方法计算补全边CS，能够将目标区域TA最大限度 设定得大，从而能够尽可能增大梯形失真修正处理后的屏幕SC上的显示 图像。此夕卜，在图14的例子中，虽然所示出的是屏幕SC的框边内的下边SF (b)及右边SF (r)这两边是不足边的情况，但是其他边是不足边的情况 下的补全边CS的计算也可同样来执行。即，将下边SF(b)及上边SF(t) 补全的补全边CS，可设定为通过水平消失点DPh的消失点通过直线PL 上的线段，将左边SF (1)及右边SF (r)补全的补全边CS可设定为通过 垂直消失点DPv的消失点通过直线PL上的线段。因此，本实施例的投影 机100a，即使在从拍摄图像CI仅检测出屏幕SC的框边的1条、而其余 的3条边全部为不足边的情况下，也能够通过计算将3条不足边的各个补 全的补全边CS，来进行梯形失真修正。进而，本实施例的投影机100a, 即使在从拍摄图像CI 一条也未检测出屏幕SC的框边、4条边全部为不足 边的情况下，也能够通过计算将4条不足边的各个补全的补全边CS，来进 行梯形失真修正。此外，在笫2实施例中，与补全边CS的i殳定的方法相应地，目标区 域TA的宽高比会发生变化。因此，在执行梯形失真修正(图12的步骤 S180)之前，也可以以与目标区域TA对应的、实际的屏幕SC上的区域 的宽高比成为预定的值的方式，执行宽高比的调整。由此，无论补全边CS 的设定的方法如何，都能够将梯形失真修正后的显示图像的宽高比固定为 预定的值(例如3: 4)。如以上所说明的，在第2实施例的投影机100a中，在拍摄图像CI中 检测屏幕SC的框边，计算屏幕SC与投影机100a的相对的角度，并根据 所计算的角度，以与由补全边CS和检测边限定的区域对应的、屏幕SC上 的区域成为矩形的方式在拍摄图像CI中设定补全边CS，并根据检测边和 补全边CS修正在屏幕SC上显示的图像的梯形失真。因此，在第2实施例 的投影机100a中，即使在拍摄图像CI中未检测出屏幕SC的框边的一部 分或全部的情况下，也由于设定将未检测出的框边补全的补全边，所以能 够执行显示图像的梯形失真修正。因此，通过投影所形成的显示图像的梯 形失真修正的通用性得以提高。例如，即使在投影机100a与屏幕SC的位 置关系成为屏幕SC的框边的一部分未映现在拍摄图像CI上那样的关系的23情况下，也能够恰当地执行显示图像的梯形失真4务正。
c.变形例
此外，本发明并不限于上述的实施例、实施方式等，在不脱离其主旨 的范围内可以以各种方式来实施，例如也可以实现以下那样的变形。
C-l.变形例l
在上述第2实施例中，虽然将由在拍摄图像CI中检测出的屏幕SC的 框边以及将未检测出的框边补全的补全边CS所包围的区域设定为目标区 域TA，并执行使图像显示在与目标区域TA相当的、实际的屏幕SC上的 区域上那样的梯形失真修正，但是，梯形失真修正的方法并不限于此。图 15是示出变形例的梯形失真修正方法的说明图。在图15所示的变形例中， 执行使图像显示在这样的矩形区域上那样的梯形失真修正，该矩形区域以 与在拍摄图像CI中检测出或设定的一条线段(以下也称为"基准线段RL") 对应的、屏幕SC上的线段为一边。在此，基准线段RL，可任意地检测或 设定，与基准线段RL对应的屏幕SC上的线段并不限于是与屏幕SC的框 边垂直或是平行。因此，在梯形失真修正后显示图像的矩形区域的各边也 不限于是与屏幕SC的框边垂直或是平行。
在图15所示的变形例中，也与第2实施例同样，计算拍摄图像CI中 屏幕SC的右边SF (r)与左边SF (1)交叉的垂直消失点DPv的坐标、 屏幕SC的上边SF (t)与下边SF (b)交叉的水平消失点DPh的坐标。
在此，已知在标准坐标系中，全部的消失点位于同一直线上。因此， 在将连接垂直消失点DPv和水平消失点DPh的直线称为直线Ll时，基准 线段RL的延长线与直线Ll的交叉点，成为与基准线段RL有关的消失点 (以下称为"第1消失点DPI")。即，与拍摄图像CI中通过第1消失 点DP1的直线对应的、实际的屏幕SC上的直线，成为与对应于基准线段 RL的屏幕SC上的直线平行。因而，例如如图15所示，通过第l消失点 DPI的直线的一部分(线段)被设定为补全边CS (1)。
接着，计算拍摄图像CI上的这样的直线所应该通过的消失点(以下 称为"第2消失点DP2"):该直线是与实际的屏幕SC上垂直于基准线
24段RL所对应的线段的任意的直线对应的、拍摄图像CI上的直线。第2 消失点DP2，与第1消失点DP1同样位于直线L1上。此外，在将第l消 失点DPI的三维坐标设定为(a, b， 1)，将第2消失点DP2的三维坐标 设定为(c， d， l)时，以下的式(5)成立。因而，根据拍摄图像CI中3 个消失点(垂直消失点DPv、水平消失点DPh、第1消失点DPI)的坐标， 能够唯一地计算出第2消失点DP2的坐标。并且，通过第2消失点DP2 的直线的一部分(线段)被设定为补全边CS (2)及CS (3)。
<formula>formula see original document page 25</formula> (5)
如图15所示，由基准线段RL和3条补全边CS包围的区域^皮设定为 目标区域TA。与这样设定的目标区域TA相当的、实际的屏幕SC上的区 域成为矩形形状。因而，通过利用图15所示的方法设定目标区域TA，并 执行使图像显示在与所设定的目标区域TA相当的、实际的屏幕SC上的 区域这样的梯形失真修正，能够修正在屏幕SC上显示的图像的梯形失真。
C-2.变形例2
在上述各实施例中，虽然以所显示的测定用图案图像PT中所包含的 基准点RP为测定点而进行三维坐标的检测，并且根据所检测的基准点RP 的三维坐标计算屏幕SC的近似平面的算式，但是，作为三维坐标的检测 对象的测定点，不需要是基准点RP。例如在屏幕SC的外周框的各顶点上 附加有标记的情况等屏幕SC自身具有可能成为测定点的点的情况下，也 可以进行该点的三维坐标的检测，并根据检测结果计算屏幕SC的近似平 面的算式。在此情况下，不需要进行测定用图案图像PT的投影。
此外，在上述各实施例中，虽然测定点的三维坐标的检测是利用使用 了拍摄部180的三角测量的原理来执行的，但是，也可以利用距离传感器 来执行。
此外，在上述各实施例中，虽然为了计算屏幕SC与投影机100的相 对的角度而进行了屏幕SC的近似平面的算式的计算，但是水平方向的投 影角度(偏离d))也可以通过使用距离传感器计算屏幕SC上的2个或2
个以上的测定点的距离来推算出，垂直方向的投影角度(倾斜e)也可以
25使用加速度传感器来推算出。
C-3.变形例3
在上述各实施例中，虽然拍摄图像CI中屏幕SC的框边的检测是通过 在沿着消失点通过直线PL的边缘量累计值的直方图中检测峰值而执行的， 但是也可以利用其他的方法进行屏幕SC的框边的检测。例如，也可以通 过利用提取拍摄图像CI中对比度大的像素的方法来提取屏幕SC的框边的 候补，并判断屏幕SC的框边的候补是否位于消失点通过直线PL上，来检 测屏幕SC的框边。此外，也可以通过使用霍夫(/、7)变换来提取拍摄 图像CI中的直线，并判断所提取的直线是否通过消失点DP，来检测屏幕 SC的框边。
C-4.变形例4
在上述各实施例中，在测定点的三维坐标的检测、屏幕SC的框边的 消失点的计算时使用的坐标系仅是一例，在这些处理中所使用的坐标系可 任意地设定，例如，也可以在测定点的三维坐标的检测中不使用透镜坐标 系，而使用照相机坐标系。此外，在上述各实施例中，虽然为了补偿投影 机100中变焦透镜152的光轴与拍4聂部180的透镜的光轴的不同而执4亍了 透镜坐标系的标准坐标系与照相机坐标系的标准坐标系之间的坐标变换， 但是假如光轴的不同仅是稍微一点，则也可以省略坐标变换。
C-5.变形例5
在上述各实施例中，虽然使用了屏幕SC作为投影面，但是也可以使 用屏幕SC以外的面作为投影面。例如，在房间的墙壁是白色的情况下， 也可以在该墙壁上利用带子、涂饰等用黑色的线描绘矩形的框，将该墙壁 作为投影面。或者，也可以在白板上用黑色的线标记描绘矩形的框，将该 白板作为投影面。
此外，作为投影面的颜色，并不限定于框是黑色的，框的内侧及外侧 的区域是白色的，而也可以框是白色的，框的内侧及外侧的区域是黑色的。 例如，也可以在黑板上用白色的粉笔描绘矩形的框，将该黑板作为投影面。 此外，投影面的颜色并不限定于白色和黑色，而只要框的颜色和框的内侧
26及外侧的区域的颜色，是具有所期望的对比度的颜色，怎样的颜色的组合 都可以。
此夕卜，在上述各实施例中，虽然在拍摄图像CI中检测屏幕sc的框边， 并根据所检测的屏幕sc的框边执行梯形失真修正，但是也可以在拍摄图 像CI中检测屏幕SC的框边以外的直线、即与设置面SS (参照图6 )垂直 或水平的直线，并根据所检测的直线执行梯形失真修正。例如，当在屏幕 sc的框边的内侧，设置有确定矩形区域的轮廓线的情况下，也可以在拍摄 图像CI中检测该轮廓线，并根据该轮廓线执行梯形失真修正。
此外，在上述各实施例中，虽然将设置面ss作为基准平面，来执行 作为与基准平面垂直或平行的直线的屏幕sc的框边的检测，但是也可以
将设置面SS以外的平面作为基准平面。例如，也可以将与投影机100具
有预定的关系的其他的平面(例如投影机ioo的框体的底面、上面等)作
为基准平面。在此情况下，也可从拍摄图像CI中检测与基准平面垂直或
平行的直线的图像，并根据所检测的直线执行梯形失真修正。
C-6.变形例6
在上述各实施例中，虽然投影机100仅具有1个液晶面板130,但是 投影机100也可以具有与多个色分量对应的多个液晶面板130。此外，投 影机100也可以具有液晶面板以外的电光装置(例如DMD (Texas Instruments公司的商标))。此外，投影机100也可以是CRT投影机。 此外，本发明并不限于投影机100，而可以应用于通过投影使图像显示在 投影面上的一般投影型显示装置。
C-7.变形例7
在上述各实施例中，虽然拍摄部180具有CCD照相机，但是拍摄部 180只要能够通过拍摄生成拍摄图像即可，例如其也可以具有CMOS照相 机等其他的拍摄装置。
C-8.变形例8
在上述各实施例中，虽然投影机100具备变焦透镜152和变焦透镜驱 动部154，但是投影机100也可以不必须具备具有变焦功能的透镜，投影
27机100也可以具备焦距被固定的单焦点透镜。 C-9.变形例9
在上述各实施例中，也可以将由硬件实现的结构的一部分替换为软件， 相反，也可以将由软件实现的结构的一部分替换为硬件。
此外，在本发明的功能的一部分或全部用软件实现的情况下，该软件 (计算机程序)能够以存储在计算机可读的记录介质中的形式来提供。在 本发明中，所谓"计算机可读的记录介质，，，并不限于软盘、CD-ROM这 样的移动型的记录介质，而还包括各种RAM、 ROM等计算机内的内部存 储装置、硬盘等固定在计算机内的外部存储装置等。
权利要求
1.一种投影型显示装置，其通过投影使图像显示在投影面上，具备拍摄部，其通过拍摄而生成拍摄图像；角度计算部，其计算前述投影面与前述投影型显示装置的相对的角度；直线检测部，其检测前述拍摄图像中的至少一条基准线段；线段补全部，其根据前述角度，设定前述拍摄图像中的至少一条补全线段，使得与由前述基准线段和前述补全线段限定的区域对应的、前述投影面上的区域成为矩形；以及梯形失真修正部，其根据前述基准线段和前述补全线段，修正在前述投影面上显示的图像的梯形失真。
2. 权利要求l所迷的投影型显示装置，还包括消失点计算部，其根据前述角度，计算垂直消失点和水平消失点，该 垂直消失点是与垂直于预定的基准平面的任意的线对应的、前迷拍摄图像 上的直线所应该通过的点，该水平消失点是与平行于前述预定的基准平面 的任意的线对应的、前述拍摄图像上的直线所应该通过的点。
3. 权利要求2所迷的投影型显示装置，其中前述直线检测部，检测前述拍摄图像中通过前述垂直消失点和前述水 平消失点的至少一方的直线上的线段，作为前述基准线段；前述线段补全部，设定前述拍摄图像中通过前述垂直消失点和前述水 平消失点的至少一方的直线上的线段，作为前述补全线段。
4. 权利要求1~3中的任意一项所述的投影型显示装置，其中 前述基准线段，是与前述投影面的框的四边的至少一边对应的、前述拍摄图像上的线段；前述线段补全部，设定将前述投影面的框的四边内未被检测作为前述 基准线段的边补全的前述补全线段.
5. 权利要求2所述的投影型显示装置，其中 前述直线检测部，检测前述拍摄图像中任意的线段作为前述基准线段;前述消失点计算部，计算第1消失点和第2消失点，该第l消失点是 与前述投影面上平行于前述基准线段所对应的线段的任意的直线对应的、 前述拍摄图像上的直线所应该通过的点，该第2消失点是与前述投影面上 垂直于前述基准线段所对应的线段的任意的直线对应的、前述拍摄图像上的直线所应该通过的点；前述线段补全部，设定前述拍摄图像中通过前述第1消失点和前述第 2消失点的至少一方的直线上的线段，作为前述补全线段。
6. 权利要求1~5中的任意一项所述的投影型显示装置，其中 前述角度计算部包括测定点位置检测部，其对于前述投影面上的3个或3个以上的预定的 测定点，检测相对于前述投影型显示装置的相对的位置；以及平面计算部，其根据前述预定的测定点的位置，计算近似前述投影面 的近似平面。
7. 权利要求6所述的投影型显示装置，其中 前述角度计算部还包括图案投影部，其使包含3个或3个以上基准点的预定的图案图像投影 在前述投影面上；前述预定的测定点，是在前述投影面上显示的前述图案图像的前述基 准点。
8. 权利要求2~7中的任意一项所述的投影型显示装置，其中 前述预定的基准平面，是前述投影型显示装置的设置面。
9. 权利要求1~8中的任意一项所述的投影型显示装置，还具备 发光的光源部；以及图像形成面板部，其将有效面板图像形成在面板面的图像形成区域， 该有效面板图像用于将前述光源部所发出的光调制为表示图像的有效的图 像光；其中，前述梯形失真修正部，通过根据前述基准线段的检测结果和前 述补全线段的设定结果，计算作为前述图像形成区域中的一部分区域的修正后图像形成区域，并且使前述有效面板图像形成在前迷图像形成区域中 的前述修正后图 <象形成区域，来修正在前述投影面上显示的图像的梯形失 真。
10. —种显示方法，其通过投影使图像显示在投影面上，包括(a) 通过拍摄而生成拍摄图像的步骤；(b) 计算前述投影面与前述投影的光轴的相对的角度的步骤；(c) 检测前述拍摄图像中的至少一条基准线段的步骤；(d) 根据前述角度，设定前迷拍摄图像中的至少一条补全线段，使得 与由前述基准线段和前述补全线段限定的区域对应的、前述投影面上的区 域成为矩形；以及(e) 根据前述基准线段和前述补全线段，修正在前述投影面上显示的 图像的梯形失真。
全文摘要
本发明提供一种投影型显示装置及显示方法，其使通过投影而形成的显示图像的梯形失真修正的通用性提高。通过投影使图像显示在投影面上的投影型显示装置具备拍摄部，其通过拍摄而生成拍摄图像；角度计算部，其计算投影面与投影型显示装置的相对的角度；直线检测部，其检测拍摄图像中的至少一条基准线段；线段补全部，其根据角度，设定拍摄图像中的至少一条补全线段，使得与由基准线段和补全线段限定的区域对应的、投影面上的区域成为矩形；以及梯形失真修正部，其根据基准线段和补全线段，修正在投影面上显示的图像的梯形失真。
文档编号H04N5/74GK101656858SQ200910165478
公开日2010年2月24日 申请日期2009年8月18日 优先权日2008年8月19日
发明者古井志纪 申请人:精工爱普生株式会社