影像显示装置和方法与流程

本发明涉及投影仪等影像显示装置的技术，特别涉及应用于屏幕等影像投射面具有凹凸或自由曲面的形状的情况有效的技术。

背景技术：

投射型影像显示装置中，在屏幕等影像投射面并不平坦的情况、例如具有凹凸或自由曲面的形状的情况下，在视听者即用户观看的投射影像中产生几何畸变。以往，例如在学校和公司等环境中，存在用具有凹型的曲面等的黑板或白板作为屏幕、用投影仪投射影像的情况。投射影像中存在几何畸变的情况下，存在用户感到难以观看的情况。

作为关于对曲面投射影像的影像显示装置的现有技术例，可以举出日本特开2001-83949号公报(专利文献1)。专利文献1中，记载了作为影像投射装置，实现设置调整作业的省力化。专利文献1中，记载了在某一视点位置观察用相对于自由曲面的屏幕倾斜地配置的投影仪投射的影像的状况下，投射测试图像，预先生成施加相反的畸变用的修正数据，用该修正数据对要投射的影像进行修正处理并用投影仪投射，由此得到从视点位置看来没有畸变的正确的影像。

现有技术文献

专利文献

专利文献1：日本特开2001-83949号公报

技术实现要素：

发明要解决的课题

现有的投射型影像显示装置中，关于能够适当地修正因屏幕的影像投射面的凹凸或自由曲面的形状等而在投射影像中产生的几何畸变的机构，研究并不充分，存在改善的余地。

另外，专利文献1这样的现有技术例的影像投射装置，通过用设置在视点位置的摄像机拍摄对屏幕投射的测试图像，而基于投射影像中的点坐标与摄像机影像中的点坐标的对应关系来对影像进行修正。但是，这样的影像投射装置需要与环境相应地、将与投影仪主体分离的摄像机设置在用户的视点位置并进行拍摄这样的调整作业。因此，用户的作业工作量多等、在易用性等方面存在课题。

本发明的目的在于提供一种对于投射型影像显示装置，能够适当地修正因影像投射面的曲面的形状等而产生的几何畸变，能够得到对于用户而言易于观看的适当的影像的技术。关于本发明的其他课题和效果等，将在具体实施方式中说明。

用于解决课题的技术方案

本发明中的代表性的实施方式具有以下所示的结构。一个实施方式的影像显示装置，是一种对屏幕投射影像的影像显示装置，其包括配置在第一位置的投射透镜和配置在第二位置的摄像机，在所述屏幕具有曲面的情况下，获取用所述摄像机拍摄投射于所述屏幕的第一影像而得到的摄像机影像，基于所述摄像机影像、所述第一位置和所述第二位置的信息，对显示对象影像进行用于修正从第一假想视点位置看时由所述曲面引起的几何畸变的几何变换，并对所述屏幕投射变换后影像。

发明效果

根据本发明中的代表性的实施方式，对于投射型影像显示装置，能够适当地修正因影像投射面中的凹凸和自由曲面的形状等而产生的几何畸变，能够得到对于用户而言易于观看的适当的影像。

附图说明

图1是表示包括本发明的实施方式1的影像显示装置的、显示系统的概要结构的立体图。

图2是表示包括实施方式1的影像显示装置的显示系统的、顶视和侧视的结构的图。

图3是表示实施方式1的影像显示装置的功能模块结构的图。

图4是实施方式1中表示图案影像的例子的图。

图5是实施方式1中表示屏幕距离的图。

图6是表示实施方式1的影像显示装置的主处理的流程的图。

图7是实施方式1中表示变换前后的投射影像和格子等的结构的图。

图8是实施方式1中表示投射影像、摄像机影像、屏幕距离和假想摄像机影像等的图。

图9是实施方式1中表示变换前后的假想摄像机影像的图。

图10是实施方式1中表示第一变换矩阵和第二变换矩阵等的图。

图11是实施方式1中表示校准时的屏幕距离的图。

图12是实施方式1中表示校准时的实际摄像机影像和假想摄像机影像的图。

图13是实施方式1中表示步骤s5的处理例的流程的图。

图14是实施方式1中表示gui的菜单的显示例的图。

图15是本发明的实施方式2的影像显示装置中表示存在绕x轴的倾斜的情况的图。

图16是实施方式2中表示变换后假想摄像机影像的图。

图17是实施方式2中表示gui的设定菜单的显示例的图。

图18是实施方式2中表示存在绕y轴的倾斜的情况的图。

图19是实施方式2中表示存在绕z轴的倾斜的情况的图。

图20是本发明的实施方式3的影像显示装置中表示屏幕上存在障碍物的情况的图。

图21是本发明的实施方式4的影像显示装置中表示假想摄像机影像的格子的分割数量的抽除的图。

具体实施方式

以下，基于附图详细说明本发明的实施方式。另外，在全部图中对于同一部分原则上附加同一附图标记，省略重复的说明。

(实施方式1)

使用图1～图14说明本发明的实施方式1的影像显示装置。

实施方式1的影像显示装置即投影仪具有在屏幕具有曲面的情况下、例如使用投影仪主体中内置的摄像机而能够对投射影像中产生的几何畸变自动地进行修正的变换功能。该变换是影像数据的几何变换，是从假想视点位置看来对曲面引起的几何畸变进行修正用的变换。由此，得到从假想视点位置看来消除或减少了几何畸变的适当的投射影像。用户不需要设置另外的摄像机并进行拍摄这样的调整作业。

实施方式1的影像显示装置包括配置在第一位置的投射透镜和配置在与第一位置不同的第二位置的摄像机。包括投射透镜的第一位置与摄像机的第二位置的距离的位置关系例如是固定的，影像显示装置已知该位置关系的信息。影像显示装置投射第一影像，得到使用摄像机拍摄第一影像而得到的摄像机影像。第一影像例如是与格子的分割的结构对应的图案影像。影像显示装置基于摄像机影像和位置关系的信息，计算屏幕的投射影像的格子的各点，计算从第一位置到格子的各点的距离。格子和距离表示屏幕的曲面的形状。影像显示装置基于格子和距离的信息，计算修正几何畸变用的变换矩阵，对于显示对象影像，使用该变换矩阵进行几何变换，将变换后影像投射至屏幕。

假想视点位置是与第一位置和第二位置不同的、假想地设想的标准的用户视点位置。实施方式1的影像显示装置计算从假想视点位置观看的情况下的投射影像即假想摄像机影像，使用该假想摄像机影像计算变换矩阵。

[(1)显示系统]

图1立体地示意性地表示包括实施方式1的影像显示装置即投影仪1的、影像系统整体的结构。图1表示投影仪1和屏幕2的设置和使用的例子。本例中，屏幕2具有凹型自由曲面。图1中，作为说明上的坐标系，示出绝对坐标系cs0和投影仪坐标系cs1。图1的例子中，绝对坐标系cs0与投影仪坐标系cs1相同。该绝对坐标系cs0以构成水平面的正交的2个方向为x方向和z方向，以铅垂方向为y方向，z方向是投影仪1与屏幕2相对的方向。投影仪坐标系cs1是以投影仪1为基准的坐标系，换言之是从投射透镜22看来的坐标系，以投射透镜22的位置p1为原点，具有(x，y，z)各轴和对应的方向。x轴对应于投影仪1主体的横向、左右的方向，对应于投射影像3内的水平方向。y轴对应于投影仪1主体的纵向、上下的方向，对应于投射影像3内的垂直方向。z轴对应于投影仪1主体的前后的方向，对应于与投射影像3的面相对的垂直方向。图1的状态下投影仪1与水平面平行地设置，所以投影仪坐标系cs1的x轴和z轴与绝对坐标系cs0的水平面的方向一致，y轴与铅垂方向一致。

图1中，显示系统具有投影仪1、影像源设备4、屏幕2。未图示的用户从空间内的未图示的某个视点位置观看屏幕2的投射影像3。图1中，在相对于屏幕2在z方向上正对的位置，与水平面平行地设置了投影仪1。投影仪1相对于屏幕2的中央设置在略斜下方的位置。对应地，从投影仪1的投射透镜22投射影像的方向和摄像机10的方向是略斜上方的方向。

屏幕2具有对投影仪1的一侧凹型的自由曲面的形状。屏幕2例如是学校等中使用的凹面型的白板，但不限于此，能够应用各种形状的物体。屏幕2能够应用具有包括凹型曲面和凸型曲面的自由曲面的形状的物体，也能够应用平面的墙壁、在面内具有凹凸的墙壁、帘幕这样的波浪形状的物体。图1中，为了易于理解，用虚线示出了包含屏幕2的长方体。用位置p3表示屏幕2的中央的点。在屏幕2的前侧的曲面的区域内，包括投射影像3的区域(用虚线表示)。将投射影像3的中央的像素的点作为投射中央6，用位置p6表示。投影仪1能够变更屏幕2的区域内的投射影像3的区域(对应的位置p6)。

影像源设备4例如是dvd播放机和pc等具有投射对象的影像数据的设备。影像源设备4的输出通过有线或无线连接至投影仪1的影像输入端子。来自影像源设备的影像被输入至投影仪1的影像输入端子。另外，也能够是在投影仪1中内置了影像源设备4的方式。

在投影仪1的壳体中内置了摄像机10。摄像机10设置在投影仪1的壳体的面中的、能够拍摄来自投射透镜22的投射影像3的位置。图1中，投影仪1具有大致长方体的壳体，在壳体的规定位置具有投射透镜22和摄像机10。用位置p1表示投射透镜22的位置。用位置p2表示摄像机10的位置。图1的例子中，位置p1位于壳体的顶面的中央附近，位置p2位于从位置p1起在x方向上向左侧离开规定距离的位置。

将从投射透镜22的位置p1连接至投射影像3的投射中央6的位置p6的直线表示为投影仪1的投射的光轴即投影仪光轴7(用点划线表示)。摄像机10的光轴的方向与投影仪光轴7的方向大致相同。

另外，实施方式1的图1的例子使用了短距投射型的投影仪1。短距投射型投射距离短，换言之，投影仪1与屏幕2的z方向的距离短。短距投射型的情况下，具有易于使用摄像机10计算屏幕距离9的优点。投影仪1能够不限于短距投射型地应用，能够不限于如图1所示的设置状态。

一般而言，用户使用投影仪的情况下，通常投影仪设置位置(对应的投射透镜的位置)与用户的视点位置不同。因此，如图1所示屏幕2并非平面的情况下，或者作为其他情况在投影仪并非正对屏幕等情况下，即使在用户例如从假想视点5观看来自投影仪1的投射影像3的情况下，该投射影像3中也看起来产生几何畸变。于是，投影仪1具有从假想视点5看来修正该几何畸变用的变换功能。

[(2)投影仪]

图2表示投影仪1的设置状态例。图2的(a)表示关于图1的状态的顶视图、即在y方向上平面观察x-z面的情况下的结构概要。图2的(b)表示关于图1的状态的侧视图、即在x方向上平面观察y-z面的情况下的结构概要。投影仪1设置在水平面80上。水平面80例如是设置投影仪1的台等。

摄像机10的朝向例如是与投射透镜22的朝向大致相同的朝向，图2的(a)中是z方向。投射透镜22的朝向与摄像机10的朝向也可以不一致。摄像机10的朝向只要是摄像机10的拍摄范围包括屏幕2的区域的状态的朝向即可。

投射透镜22的位置p1与摄像机10的位置p2在x方向上具有规定距离k1，其位置关系是固定的。投影仪1已知包括该位置p1、p2和距离k1的位置关系。投影仪1基于该位置关系，能够计算z方向上的屏幕距离9。另外，该距离计算的方式能够同样地应用公知的使用立体摄像机的方式等。

对假想视点5进行说明。图1和图2中，为了简化说明，绝对坐标系cs0与投影仪坐标系cs1相同。考虑经过投射影像3的投射中央6的位置p6、与z轴平行的水平线即直线8。该直线8换言之是经过影像中央的水平线。投影仪1在z方向上、该直线8的延长线上，设定假想视点5和对应的位置p5。假想视点5(位置p5)定义为直线8上在投影仪1的后方充分远离的点。假想视点5的位置p5具有x轴和y轴坐标(x，y)。假想视点5是与投影仪的设置状态相应的、假想地设想的标准的用户视点位置。考虑假想视点5位于距离屏幕2无限远处的情况时，从假想视点5观看的投射影像3不依赖于屏幕距离9，是投射影像3对x-y面正投射得到的影像。从该假想视点5观看的影像，是在假想视点5假想地设置了摄像机的情况下拍摄的影像，所以记载为假想摄像机影像。

投影仪1的变换功能是为了在从该假想视点5观看投射影像3的情况下得到适当的影像而进行几何变换的功能。用户的实际的视点位置不限于与假想视点5的位置p5相同，存在偏差，但用户的实际的视点位置只要在以假想视点5的位置p5为中心的规定范围内，就可以得到充分减少了几何畸变的适当的投射影像3。

屏幕距离9是从投影仪1的投射透镜22的位置p1到屏幕2的投射影像3的各点的位置的z方向上的距离。屏幕距离9反映了屏幕2的曲面的形状。屏幕距离9与投影仪光轴7不同。

[(3)摄像机]

实施方式1的影像显示装置即投影仪1采用了在主体中内置了摄像机10的结构。实施方式1的例子中，如图2所示，与投影仪1的主体的投射透镜22的位置p1相对的摄像机10的位置p2，设为在x方向上相对于投射透镜22的位置p1在x方向上隔开规定距离k1的位置p2。该位置关系预先在产品出厂时规定，在投影仪1中预先设定了该位置关系的信息。

与摄像机10相关的结构并不限定于此，能够是各种结构。摄像机10的位置p2只要采用能够拍摄屏幕2的投射影像3、能够计算z方向上的屏幕距离9的范围内的位置即可。

与摄像机10相关的变形例能够是以下所述。变形例中，采用对于投影仪1的主体之外的规定范围内的位置、能够由用户适当地安装设置摄像机10作为可选功能的附件的结构。对于主体的规定范围内的位置，通过规定的硬件机构，安装、保持摄像机10。例如，用户在屏幕2并非曲面的情况下，不在投影仪1上安装摄像机10，不使用变换功能。用户在屏幕2是曲面的情况下，在投影仪1上安装摄像机10，使用变换功能。另外，摄像机10的位置不限于投影仪1的主体的面内的位置，也可以通过经由规定的硬件机构(例如摄像机安装器具等)而成为与主体的面相距规定距离的空间位置。另外，也可以是用户能够可变地调整与投影仪1的主体(投射透镜22的位置p1)相对的摄像机10的位置p2的方式。该情况下，通过用户设定或主体的自动判定，能够设定该摄像机10的位置和距离等。

[(4)投影仪-功能模块]

图3表示投影仪1的内部的功能模块结构。投影仪1具有控制器50、存储器52、用户接口部51、摄像机10、光源20、显示元件21、投射透镜22、输入输出/通信接口部53、运算电路40、姿态传感器60等。这些要素经由未图示的系统总线等连接。

控制器50相当于由cpu等构成的处理器，控制投影仪1整体。存储器52存储由控制器50读写的各种数据和信息，由非易失性存储装置等构成。存储器52也可以位于控制器50内。控制器50与投影仪1内的各电路等连接，基于控制时钟生成时序信号等，进行对各电路的信号发送和从各电路的信号接收。

用户接口部51包括操作按钮51a、遥控接口部51b，是实现用户进行的操作用的接口的部分。操作按钮51a是硬件按钮。遥控接口部51b是接受来自未图示的遥控器的电磁波的部分。

输入输出/通信接口部53是实现输入、输出、通信等的接口的部分，包括影像输入端子33等。对影像输入端子33输入来自图1的影像源设备4的影像100(对应的影像数据)。对影像输入端子33输入的影像100的数据被输入至选择器31。

选择器31具备选择用投影仪1投射的影像的功能。另外，选择器31具备对于选择的影像叠加gui(图形用户接口)的影像的功能。将从选择器31输出的影像作为变换前影像110(对应的影像数据和影像信号)。变换前影像110通过用几何变换电路30进行几何变换而成为变换后影像111(对应的影像数据和影像信号)。

光源20生成投射影像用的光。显示元件21例如是液晶面板，基于来自光源20的光和来自视频ram35的影像数据，生成影像。显示元件21例如是透射型液晶面板，但不限于此，也可以是反射型液晶面板、或由可动式的反射镜构成的元件等。显示元件21例如可以是与r、g、b三色对应的3片液晶面板。与变换后影像111的各像素值相应地，在显示元件21中控制各像素的透射率。基于来自光源20的光、用显示元件21控制得到的透过光被供给至投射透镜22。

投射透镜22使来自显示元件21的影像向屏幕2投射。显示元件21和投射透镜22是投射光学系统等光学系统的一部分。光学系统中，也可以包括其他未图示的光学滤镜和反射镜等元件。来自投射透镜22的出射光即投射光102被投射至屏幕2。光源20、显示元件21和投射透镜22等例如能够应用一般的投影仪中使用的公知的。

摄像机10使来自屏幕2一方的拍摄光103入射，用ccd等摄像元件进行摄像，作为影像120(也记作摄像机影像、实际摄像机影像)输出。摄像机影像120被输入至运算电路40，存储于未图示的存储器。

运算电路40表示实现修正投射影像的几何畸变用的变换功能的电路的例子。运算电路40包括选择器31、图案生成电路32、几何变换电路30、视频ram35、格子点计算电路11、变换矩阵计算电路12、影像分析电路15等。变换矩阵计算电路12包括距离推算部13。运算电路40可以用ic芯片等实现，但不限于此，各电路部分可以用分别不同的ic芯片等实现。例如，格子点计算电路11和变换矩阵计算电路12也可以用1个ic芯片实现。

选择器31将来自影像输入端子33的影像数据和来自图案生成电路32的图案影像101作为输入，将从这2个输入中选择的一方的影像作为变换前影像110输出至几何变换电路30。另外，选择器31也具备作为gui或osd(屏幕显示)的叠加部的功能，对于输入影像叠加该gui等的影像。控制器50控制选择器31的选择等。选择器30可以用硬件电路实现，也可以用基于软件的处理实现。后者实现的情况下，投影仪1可以用gui进行关于输入选择的显示，按照用户的操作执行选择。

图案生成电路32基于设定信息生成图案影像101。图案影像101是为了计算投射影像3的格子点和屏幕距离9等而使用的规定的影像。生成的图案影像101经由选择器31等被投射至屏幕2。投影仪1在投射用户指定的显示对象影像之前，一定时间连续地对屏幕2投射图案影像101，并用摄像机10拍摄。图案生成电路32中预先设定了关于图案影像101的设定信息。该设定信息包括分割数量地能够通过用户设定变更。分割数量是关于分割为何种精细程度和数量的区域构成格子的设定值。

格子点计算电路11基于来自摄像机10的影像120，计算投射影像3中的格子的各点(格子点坐标)，作为格子数据125输出。

变换矩阵计算电路12使用来自格子点计算电路11的格子数据125的各格子点坐标，用距离推算部13计算各点的屏幕距离9。距离推算部13进行推算每个格子点的屏幕距离9的计算。变换矩阵计算电路12使用该格子和屏幕距离9的信息，计算几何变换矩阵150。几何变换矩阵150是将变换前影像110几何变换为变换后影像111用的矩阵。变换矩阵计算电路12将该几何变换矩阵150输出至几何变换电路30。对几何变换电路30设定该几何变换矩阵150。

几何变换电路30使用几何变换矩阵150，执行对输入的变换前影像110的几何变换，输出其结果即变换后影像111。变换后影像111被暂时保存在视频ram35中之后，被供给至显示元件21。另外，也能够是没有视频ram35的方式。几何变换电路30换言之能够表述为影像修正部、影像变换部或影像处理部等。也可以采用由控制器50或几何变换电路30等进行上述格子点计算和变换矩阵计算的方式。

几何变换电路30中的变换能够切换执行(on状态)与不执行(off状态)。控制器50控制几何变换电路30中的变换on/off。变换on状态对应于修正影像，变换off状态对应于不修正影像、换言之是直接输出影像。作为使用方式，能够在曲面的屏幕2的情况下将变换设为on状态，在平坦的屏幕的情况下将变换设为off状态。变换on/off的机构例如能够如下所述地实现。可以在几何变换电路30中设置变换on/off用的开关电路等。控制器50在变换off时使用该开关电路，使变换前影像110不经过几何变换电路30。另外，也可以用软件程序处理实现。该情况下，控制器50或几何变换电路30在变换off时，将几何变换矩阵设定为单位矩阵的状态。该单位矩阵相当于不进行几何变换的矩阵、换言之是变换前后相同的矩阵。

另外，图3的结构例表示主要的各构成要素用硬件实现的情况，但一部分要素也可以用软件程序处理实现。控制器50或运算电路40执行按照程序的处理。由此实现各要素的功能。另外，构成要素的一部分也可以在投影仪1外部的设备中实现。

[(5)变换功能]

变换功能的概要如下所述。投影仪1在投射显示对象影像之前，为了得知屏幕2的曲面的形状，首先对屏幕2投射图案影像101。投影仪1用摄像机2拍摄对屏幕2投射的图案影像101的状态。投影仪1根据拍摄得到的摄像机影像，计算格子的各点。投影仪1计算格子的各点的屏幕距离9。投影仪1使用该格子和距离的信息，计算几何变换矩阵150，并设定至几何变换电路30。投影仪1使用该几何变换矩阵150对显示对象影像进行几何变换，对屏幕2投射变换后影像111。由此，投射影像3成为在从假想视点5观看的情况下没有几何畸变的适当的影像。

几何变换电路30中的几何变换例如如下所述。一般而言，将二维的影像投射至其他平面的情况下的形状变化，能够用射影变换计算。该情况下的变换是从二维坐标对二维坐标的射影变换。该变换如以下式1所示，能够用使用了3×3的变换矩阵的矩阵计算规定。

[式1]

另外，式1中，设3×3的变换矩阵为矩阵m、变换前的向量为向量v1、变换后的向量为向量v2时，可以表达为v2＝m×v1。式1中，向量v1的(xb，yb)表示变换前的点的坐标。向量v2的(xa，ya)表示变换后的点的坐标。矩阵m的元素中的系数a00、a01、a02、a10、a11、a12、a20、a21是变换矩阵的系数(总称地记作系数a**)。

式1表示齐次坐标系中的几何变换。此处，变换矩阵的元素中的1项(第3行、第3列的系数)固定为“1”。因此，只要能够计算其余8个系数a**，就可以唯一地决定射影变换的变换矩阵。给出了4个变换前后的坐标的组的情况下，可以建立由8个式子构成的8变量的联立方程。其中，要排除4点在同一直线上这样的特殊情况。由此，通过解该联立方程，能够计算射影变换的变换矩阵。即，只要得知位于变换前的平面上的四边形在变换后的平面上成为何种形状的四边形，就能够使用变换前后的四边形的顶点坐标计算变换矩阵。能够使用该变换矩阵，对于变换前的平面上的全部点，计算变换后的平面上的点的坐标。

实施方式1中，使用上述原理，根据变换前影像110用几何变换生成变换后影像111。因为屏幕2具有曲面，所以不能用单一的变换矩阵表达从变换前影像110向变换后影像111的变换。于是，投影仪1将各影像如格子一般分割为比原本的影像帧更小的多个区域(有时记载为分块)。然后，投影仪1对于分割后的每个区域，基于上述原理进行射影变换(对应的几何变换)。由此，在各区域充分小的情况下，能够将各区域在变换前后都视为大致平面。由此，在各区域的单位中，能够用单一的变换矩阵进行影像变换。

[(6)图案影像]

图4表示图案影像101的例子。图案影像101能够使用图示的(1)格雷码图案、(2)棋盘格图案、(3)点图案等各种图案。图案影像101只要能够计算格子点坐标就可以是任意的，并不限定详细内容。格雷码图案由多个图案图像g1～g6构成。例如图案图像g1是白色区域的图案，图案图像g2是黑色区域(或灰色区域)的图案，图案图像g3是左半部是白色区域、右半部是黑色区域的图案。该多个图案图像在时序上切换地被连续投射。投影仪1通过检测图案图像的白色区域与黑色区域的边界线，能够构成格子。棋盘格图案是多个白色区域和多个黑色区域交替地配置的图案。点图案是多个有色的点以矩阵状配置的图案。例如，点图案是与变换前影像110中的格子的各格子点的位置对应地设置了点的图案。另外，各图案中，虚线是说明用的线，并不显示。

[(7)屏幕距离]

图5表示关于屏幕距离9的概念。图5表示顶视图的x-z面上的结构。屏幕2如图所示在面内具有多个凹凸。示出从投射透镜22的位置p1到投射影像3的各点(例如点p1、p2、p3)的线、和从摄像机10的位置p2到相同的各点的线。在各点处屏幕距离9不同。屏幕距离9例如具有到点p1的距离za、到点p2的距离zb、到点p3的距离zc。这些屏幕距离9的不同反映了屏幕2的面的凹凸的形状。投影仪1这样计算各点(对应的格子点)处的屏幕距离9，作为距离信息130(后述的格子点坐标cd1)。

[(8)处理]

对于实施方式1的影像显示装置的主要处理，使用图6的流程、图7～图10等在以下进行说明。图6表示与投影仪1的变换功能相关的主要处理的流程，包括步骤s1～s9。图7～图10表示与各步骤对应的结构和各种影像的关系。图7表示变换前后的投射影像和格子等的结构。图8表示投射影像、摄像机影像、屏幕距离和假想摄像机影像等。图9表示变换前后的假想摄像机影像。图10表示2个变换矩阵。另外，这些图中，在上述绝对坐标系cs0之外，适当地使用(1)投影仪坐标系cs1、(2)实际摄像机坐标系cs2和(3)假想摄像机坐标系cs3作为3种坐标系。各坐标系中，与影像对应的横方向是x轴，纵方向是y轴。x轴的坐标值从左向右增大，y轴的坐标值从上向下增大。各坐标系的原点固定在适当的位置。另外，将各坐标系的各轴同样地表示为(x，y，z)。以下按流程的步骤顺序进行说明。

[步骤s1]

在步骤s1中，控制器50或变换矩阵计算电路12计算投影仪坐标系cs1中的变换前影像110的变换前格子点坐标pg1。图7表示该变换前影像110的变换前格子点坐标pg1(x，y)等。控制器50在投影仪坐标系cs1中，通过将变换前影像110的影像帧(变换前帧)400均等地分割为设定的分割数量而构成格子401。格子401由分割数量例如是4×4的多个矩形的区域402构成。格子401具有多个格子点403。构成1个区域402的4个点分别是格子点403。格子点403是区域402的边界线的交点。边界线是与纵横的分割数量相应的纵横的分割线。

[步骤s2]

在步骤s2中，投影仪1用图案生成电路32生成图案影像101(例如点图案)，将几何变换电路30设为直接输出的状态，对屏幕2投射图案影像101。投影仪1用摄像机10拍摄对屏幕2投射的图案影像，得到实际摄像机影像120。图8表示该实际摄像机影像120等。实际摄像机影像120包括与上述位置关系对应地具有畸变的图形。实际摄像机影像120和距离信息130的坐标系是实际摄像机坐标系cs2，假想摄像机影像140的坐标系是假想摄像机坐标系cs3。

然后，在步骤s2中，格子点计算电路11如图8所示，根据实际摄像机坐标系cs2中的实际摄像机影像120，用规定的处理计算变换前格子点坐标cg1。该处理例如是与点图案的各点对应的格子点坐标的计算。变换前格子点坐标cg1是格子的各格子点的坐标(x，y)。变换前格子点坐标cg1包括在格子数据125中。步骤s2的处理中，投影仪1能够得到变换前影像110的各格子点的坐标与实际摄像机影像120的哪个格子点的坐标对应的对应关系的信息。变换前格子点坐标cg1表示该对应关系。

[步骤s3]

变换矩阵计算电路12通过使用变换前格子点坐标cg1进行步骤s3～s8的处理，而计算图10的从变换前影像110向变换后影像111的变换矩阵cnv2。该变换矩阵cnv2对应于几何变换矩阵150。

首先，在步骤s3中，变换矩阵计算部12的特别是距离推算部13计算图8的变换前格子点坐标cg1的各格子点的位置处的屏幕距离9(距离cd1)。距离信息130包括这些距离cd1。该距离cd1与图5同样，是z方向上的投射透镜22的中心的位置p1与屏幕2的各点的距离。距离cd1定义为格子点的z轴坐标值与投射透镜22的位置p1的z轴坐标值的差的绝对值。该距离cd1不包括x轴坐标值的差和y轴坐标值的差。屏幕2并非平坦的情况下，该距离cd1可能具有按每个格子点不同的值。

图8中，关于距离信息130，在实际摄像机影像120的变换前格子点坐标cg1的各格子点上重合地示出距离cd1的信息(作为说明上的示意用条形表示)。这些距离cd1表示空间分布的一例。例如，屏幕2的中央附近因为距离投影仪1更远，所以距离cd1的值大，屏幕2的x方向两端附近因为距离投影仪1更近，所以距离cd1的值小。

对于步骤s3中根据变换前格子点坐标cg1的各格子点计算距离cd1的方式进行说明。实施方式1中，为了使说明简化，摄像机10的位置p1和投射透镜22的位置p2如图2所示，具有y轴坐标值和z轴坐标值相同、仅x轴坐标值不同的位置关系。2个位置p1、p2的x轴坐标值不同，所以实际摄像机影像120中的各格子点的x轴坐标值与屏幕距离9相应地变化。投影仪1的距离推算部13利用这一点计算屏幕距离9(距离cd1)。

[校准]

该方式中，首先使用校准。使用图11和图12说明校准。对于某一环境的屏幕2，在使用投影仪1之前，先进行该校准。

图11对于与投影仪1的变换功能相关的校准，示出校准时的投影仪1与屏幕2a的位置关系。屏幕2a是平坦的。图11示意性地表示y-z面的平面视图。图11示出远近2种距离9f、9n作为z方向上从投影仪1的位置(对应的投射透镜22的位置p1)到屏幕2a的中央的位置p3和投射影像3的中央的位置p6的距离(对应的屏幕距离9)。投影仪1使用这2种距离实际进行影像的投射和拍摄。距离9f(设对应的值为cd1f)是到相对较远一方的第一位置l1的距离，距离9n(设对应的值为cd1n)是到相对较近一方的第二位置l2的距离。

如图11所示，投影仪1在正对平坦的屏幕2a的状态下，设置在离开距离9f(cd1f)的位置。在该状态下，投影仪1将几何变换电路30设为直接输出的状态，对屏幕2投射图案影像101。投影仪1基于用摄像机10拍摄该图案影像101得到的实际摄像机影像120，计算距离9f的情况下的格子点坐标cg1f。接着，投影仪1在正对平坦的屏幕2a的状态下，设置在离开距离9n(cd1n)的位置。在该状态下，投影仪1同样地对屏幕2a投射相同的图案影像101。投影仪1计算距离9n的情况下的实际摄像机影像120的格子点坐标cg1n。上述2种距离具有cd1f>cd1n的关系。

此处，关于格子点坐标的表述，以变换前格子点坐标cg1为例预先说明。如图8所示，变换前格子点坐标cg1表示实际摄像机影像120中的格子的全部格子点坐标的集合。将该集合中的某一格子点的坐标记作cg1(i，j)。下标“i”表示x方向的位置或识别符，下标“j”表示y方向的位置或识别符。另外，该格子点坐标cg1(i，j)具有与“i”对应的x轴坐标值和与“j”对应的y轴坐标值。将该x轴坐标值记作cg1x、y轴坐标值记作cg1y。

将在任意位置设置了并非平坦的屏幕2的情况下的屏幕距离9记作距离cd1(i，j)。该距离cd1(i，j)可能与格子点相应地不同，所以为了区分而附加了下标(i，j)。该距离cd1(i，j)如下式2所示，能够使用实际摄像机影像120中的格子点坐标cg1计算。

[式2]

式2中，距离cd1f是与图11的较远一方的距离9f对应的距离值，距离cd1n是与较近一方的距离9n对应的距离值。该距离cd1f和距离cd1n是如图11所示使用与投影仪1正对的平坦的屏幕2a测定的，所以不依赖于格子点的位置，是固定值，省略了下标(i，j)。

在步骤s3中，投影仪1使用这样预先在校准中测定的距离cd1f、cd1n、和对应的格子点坐标cg1f、cg1n、和在用户的实际环境中计算得到的变换前格子点坐标cg1，按照式2计算各格子点处的距离cd1。

另外，上述校准可以实际在用户的环境中拍摄并设定，但例如也能够在产品出厂前进行。即，关于上述距离cd1f、cd1n和格子点坐标cg1f、cf1n，可以预先通过投影仪1的产品制造时的校准而测定并设定在投影仪1内。另外，上述校准的值也能够在产品制造时根据各部件的特性和安装位置等计算。这些值例如作为设定值保存在图3的存储器52或运算电路40内(特别是变换矩阵计算电路12中)。

[步骤s4]

在步骤s4中，投影仪1的变换矩阵计算电路12使用实际摄像机影像120中的各格子点处的距离cd1，生成图8的假想摄像机坐标系cs3中的变换前假想摄像机影像140的变换前格子点坐标vg1。变换前假想摄像机影像140能够使用公知的三维矩阵计算进行计算，但实施方式1中，优先考虑运算速度，如下所述地使用更简易的方式。

投影仪1在上述校准的设置条件下，如图12所示，在距离cd1f、cd1n双方的距离下，计算从假想视点5的位置p5观看的变换前假想摄像机影像140中的变换前格子点坐标vg1f、vg1n。图12表示与图11的校准的2种距离9f、9n时的拍摄对应的、实际摄像机影像120和变换前假想摄像机影像140中的格子点。影像120f表示较远的距离9f下的实际摄像机影像120的例子。影像120f具有格子点坐标cg1f，坐标值是(cg1fx，cg1fy)。影像120n表示较近的距离9n下的实际摄像机影像120的例子。影像120n具有格子点坐标cg1n，坐标值是(cg1nx，cg1ny)。影像140f表示较远的距离9f下的假想摄像机影像140的例子。影像140f具有格子点坐标vg1f，坐标值是(vg1fx，vg1fy)。影像140n表示较近的距离9n下的假想摄像机影像140的例子。影像140n具有格子点坐标vg1n，坐标值是(vg1nx，vg1ny)。投影仪1对于这样取得的格子点坐标vg1f、vg1n，也与格子点坐标cg1f、cg1n关联地保存在存储部52等中。

此处，能够用下式3计算在任意位置设置了并非平坦的屏幕2的情况下的屏幕距离9是距离cd1(i，j)的情况下的、变换前假想摄像机影像140的格子点坐标。其中，该式3在屏幕2是平坦的情况下也有效。

[式3]

图8的例子中，将上述各格子点处的距离cd1(cd1f，cd1n)、和上述格子点坐标vg1f、vg1n应用于式3。由此，投影仪1能够计算变换前假想摄像机影像140中的变换前格子点坐标vg1(vg1x，vg1y)。

图8的变换前假想摄像机影像140包括作为具有畸变的区域的可投射区域145。这样，在变换前格子点坐标vg1中，产生屏幕2的曲面的形状等引起的几何畸变。

[步骤s5]

于是，实施方式1中，在步骤s5中，投影仪1的变换矩阵计算电路12如图9所示，计算变换前假想摄像机影像140的可投射区域145中包括的矩形区域146。实施方式1中，考虑通过对变换前影像110进行几何变换而使其适合该矩形区域146。步骤s5是为此进行的处理。在步骤s5中，变换矩阵计算电路12根据假想摄像机坐标系cs3中的变换前假想摄像机影像140的可投射区域145，计算变换后假想摄像机影像141的矩形区域146。以下示出关于该矩形区域146的计算的处理例。

图9表示变换前假想摄像机影像140和变换后假想摄像机影像141。图9中的坐标系是假想摄像机坐标系cs3。实施方式1中，矩形区域146是不具有畸变的长方形。变换矩阵计算电路12按照如图13所示的处理例，计算可投射区域145中包括的矩形区域146。此处，在图9的下侧将变换后假想摄像机影像141放大，示出探索可投射区域145中包括的矩形区域146的方式。矩形区域146能够用2个点m、n表示。点m是矩形区域146的左上点，点n是矩形区域146的左下点。变换矩阵计算电路12以覆盖变换后假想摄像机影像141整体的方式，顺次扫描各坐标点，探索点m、n。由此，变换矩阵计算电路12计算满足包括在可投射区域145的条件的2个点m、n决定的矩形区域146。

[处理例]

图13表示步骤s5内的处理例的流程，包括步骤s51～s59。变换矩阵计算电路12通过对图9的变换后假想摄像机影像141的范围内的坐标点(对应的像素)全部进行扫描来探索满足条件的点m、n。扫描的方式例如使用逐行扫描方式(对面内水平方向的线进行扫描、在面内垂直方向顺次同样地对线进行扫描的方式)，但不限定于此。在步骤s51中，变换矩阵计算电路12使图9的点m、n的坐标初始化。例如，最初，点m、n中的任一点都被初始化为变换后假想摄像机影像141的左上位置的点，但不限定于此。在步骤s52中，变换矩阵计算电路12确认点m与点n的位置关系。步骤s52的条件是点m、n是否矩阵的左上点和右下点。该确认中，点n相对于点m位于右下方向的位置的情况下(y)前进至步骤s53，除此以外的情况下(n)前进至步骤s56。

在步骤s53中，变换矩阵计算电路12确认由点m和点n规定的矩形整体是否包括在可投射区域145中。包括的情况下(是)前进至步骤s54，不包括的情况下(否)前进至步骤s56。另外，作为由点m和点n规定的矩形可以考虑多种矩形，但该处理例中，仅使用全部边都与x轴或y轴平行的矩形。在步骤s54中，变换矩阵计算电路12计算由点m和点n规定的矩形的面积。步骤s54的条件是该面积是否最大。该面积比过去在步骤s54中计算得到的面积更大的情况下(是)前进至步骤s55，并非更大的情况下(否)前进至步骤s56。

在步骤s55的时刻，步骤s52、s53、s54这3个条件全部满足。由此，变换矩阵计算电路12将此时的点m、n的信息保存为表示求出的矩形区域146的候选的信息。在步骤s56中，变换矩阵计算电路12确认是否已扫描范围内的全部点n，在已扫描的情况下前进至步骤s57，在尚未扫描的情况下前进至步骤s58。在步骤s57中，变换矩阵计算电路12确认是否已扫描范围内的全部点m，在已扫描的情况下结束流程，在尚未扫描的情况下前进至步骤s59。在步骤s58中，变换矩阵计算电路12更新点n的坐标，返回步骤s52。在步骤s59中，变换矩阵计算电路12更新点m的坐标，返回步骤s52。另外，并不限定点坐标的更新的顺序，按照扫描的方式选择即可。

通过这样的处理，得到满足条件的释放的矩形区域146。该矩形区域146是在变换后假想摄像机影像141中应当投射修正后的影像的区域。投影仪1通过将该矩形区域146均等地分割为与分割数量(例如4×4)相应的多个区域而构成格子，而得到变换后假想摄像机影像141中的变换后格子点坐标vg2。

[步骤s6]

假想摄像机影像(对应的图9的变换后假想摄像机影像141的变换后格子点坐标vg2)不能直接地用几何变换进行修正。因此，实施方式1中，投影仪1通过用几何变换修正变换前影像110，而间接地实现假想摄像机影像的修正。步骤s6是用于该修正的处理。在步骤s6中，投影仪1的变换矩阵计算电路12如图8所示地，计算投影仪坐标系cs1中的变换前假想摄像机影像140、与假想摄像机坐标系cs3中的变换前影像110之间的变换矩阵cnv1(第一变换矩阵)。该变换矩阵cnv1是从变换前假想摄像机影像141向变换前影像110的射影变换矩阵。图8的变换804表示使用了该变换矩阵cnv1的变换，步骤s6是该变换矩阵cnv1的计算。

如上所述，从平面向平面的摄影变换矩阵，能够根据4点的坐标的对应关系计算。由此，变换矩阵计算电路12能够使用已知的变换前假想摄像机影像140的变换前格子点坐标vg1和变换前影像110的变换前格子点坐标pg1，计算与分割后的各区域相对的变换矩阵cnv1。该射影变换矩阵由按每个分割区域不同的矩阵构成。用(i，j)表示区域，将每个区域的射影变换矩阵记作cnv1(i，j)。

[步骤s7]

从上述变换前假想摄像机影像140向变换前影像110的变换矩阵cnv1实际上也能够作为从变换后假想摄像机影像141向变换后影像111的射影变换矩阵使用。由此，实施方式1中，如图10所示地，通过对于变换后假想摄像机影像141的变换后格子点坐标vg2应用该变换矩阵cnv1，能够计算变换后影像111的变换后格子点坐标pg2。在步骤s7中，变换矩阵计算电路12进行该变换后格子点坐标pg2的计算。

实际上，变换矩阵cnv1由按分割区域不同的矩阵构成。因此，为了计算变换后格子点坐标pg2，例如需要如下所述的处理。该处理例由以下步骤构成。在第一步骤中，变换矩阵计算电路12选择变换后格子点坐标vg2中的1个区域的1个格子点的坐标。在第二步骤中，变换矩阵计算电路12调查第一步骤中选择的区域的格子点的坐标属于变换前假想摄像机影像140的格子的哪个区域、换言之对应于哪个区域。在第三步骤中，变换矩阵计算电路12对于第一步骤中选择的格子点应用与第二步骤中调查得到的区域对应的变换矩阵cnv1。由此，得到与该选择的格子点对应的变换后格子点坐标pg1。变换矩阵计算电路12对于变换后格子点坐标vg2中包括的全部点进行第一步骤至第三步骤的处理。由此，得到全部变换后格子点坐标pg2。

[步骤s8]

通过以上所述，步骤s1中得到的变换前影像110的变换前格子点坐标pg1和步骤s7中得到的变换后影像111的变换前格子点坐标pg2成为已知的。在步骤s8中，投影仪1的变换矩阵计算电路12使用这些已知的信息，如图10所示地，计算变换矩阵cnv2(第二变换矩阵)。该变换矩阵cnv2是从变换前影像110向变换后影像111的射影变换矩阵。该变换矩阵cnv2由每个分割后的区域的矩阵构成。对于各区域，因为变换前后的4个顶点的坐标是已知的，所以能够按照上述方式计算该射影变换矩阵。变换矩阵计算电路12将得到的变换矩阵cnv2作为几何变换矩阵150，设定至几何变换电路30。

[步骤s9]

在步骤s9中，投影仪1的几何变换电路30对变换前影像110的各区域应用对应的变换矩阵cnv2而进行几何变换，由此生成变换后影像111。几何变换电路30对于全部分割区域同样地进行处理，将按每个区域得到的影像合成，作为变换后影像111。

[(9)变换和分割]

参考图7，对使用从变换前影像110向变换后影像111的变换矩阵cnv2进行的变换701进行补充说明。变换前影像110具有矩形的变换前帧400。变换后影像111具有作为具有畸变的图形的变换后帧400b。投影仪1通过按照设定的分割数量将该各影像分割为多个区域402、402b，而构成格子401、401b。本例表示分割数量是4×4的情况。例如，1个影像帧400中，x方向的边被分割为4部分，y方向的边被分割为4部分。由此，构成4×4合计16个区域402。各区域用规定的id识别。例如，左上区域具有id＝area(0,0)。

例如，着眼于id＝area(2,2)的区域402。该区域402大致具有四边形的形状，具有4个格子点403。关于该区域402，假设给出了变换前影像110中的4个点a、b、c、d的坐标和变换后影像111中的对应的4个点a、b、c、d的坐标。该情况下，能够唯一地计算出该区域401内的影像的射影变换用的矩阵。在影像帧整体的各区域中能够同样地考虑。在变换前影像110与变换后影像110的组中，得到了格子401、401b的全部格子点403、403b的坐标的情况下，能够按每个分割后的区域402、402b计算变换矩阵。投影仪1通过使用该各变换矩阵进行射影变换，能够将影像整体变换为没有几何畸变。

图7等的例子中，作为格子的分割数量，考虑易于理解等，而示出了4×4这样较少的数量，但能够不限于此。实际上，例如也可以像16×16、32×32、64×64、128×128这样设为更多的分割数量。在实现例中，该分割数量例如设定为64×64等。另外，也可以使该分割数量能够通过经由gui进行的用户设定而变更。该分割数量多、即格子精细的情况下，对涉及变换的屏幕2的凹凸的形状的适应性提高，结果能够提高影像品质。因此，在优先考虑影像品质的观点上，该分割数量设定为尽可能大的数量较好。在考虑影像显示装置的处理负荷、处理速度、电路规模等的观点上，该分割数量也可以设定为更小的数量。与实现相应地，对于该分割数量设定最大分割数量。投影仪1能够在以该最大分割数量为上限的范围内，应用从多种分割数量中选择的分割数量。

[(10)gui例]

图14表示实施方式1中的关于变换功能的gui的菜单的显示例。用户在使用变换功能的情况下，预先通过用户设定将该变换功能设定为on状态。用户例如通过操作遥控器，使投影仪1显示这样的菜单。该菜单包括关于“变换功能(修正曲面屏幕中产生的畸变)”的on/off的设定项目。on表示有效，off表示无效。另外，用户在使其显示要求的影像时，按照菜单的显示，指定对象影像(例如文件)，按下开始按钮。投影仪1与按下开始按钮相应地执行上述处理。即，投影仪1首先在某一时间投射图案影像101，用摄像机10拍摄其状态，计算几何变换矩阵150，将该几何变换矩阵150设定至几何变换电路30。然后，投影仪1用几何变换电路30对用户指定的影像进行几何变换并对屏幕2投射变换后影像111。另外，图14的菜单的例子中，在指定对象影像的例子中，说明了指定文件的设定项目的例子。从多个影像输入源对输入输出/通信接口部53输入影像的情况下，也可以代替该设定项目地，进行从该多个影像输入中选择作为对象影像的影像输入源用的显示。影像输入源的选择用与图14的菜单不同的菜单画面进行的情况下，在图14的菜单自身中也可以不设置指定对象影像文件和选择作为对象影像的影像输入源的菜单的设定项目。另外，图14的菜单的例子中，说明了为了由用户选择是否“开始变换”而显示开始按钮的例子，但也可以在关于“变换功能(修正曲面屏幕中产生的畸变)”的on/off的设定项目中选择了on的时刻开始变换功能的处理。该情况下，在图14的菜单中，不需要在关于“变换功能”的on/off的设定项目之外另外设置选择开始变换用的开始按钮的设定项目。

另外，这样的gui不限于屏幕2的显示，也可以用投影仪1主体的用户接口部51、例如专用的操作按钮51a或操作面板等实现，也可以用影像源设备4实现。

[(11)效果等]

如上所述，根据实施方式1的影像显示装置，能够使用投影仪1中内置的摄像机2，对屏幕2的凹凸和曲面引起的几何畸变自动地进行修正。投影仪1根据摄像机10的影像计算屏幕距离9，使用该距离，根据假想摄像机影像的可投射区域145进行修正而计算矩形区域146(图9)。投影仪1计算变换矩阵cnv1，根据矩形区域146和变换矩阵cnv1计算变换后格子点坐标pg2(图10)。然后，投影仪1计算变换矩阵cnv2。由此，用户从包括假想视点5的范围内的位置观看曲面的屏幕2的投射影像3的情况下，能够观看没有几何畸变的适当的影像。用户对于应用对象的屏幕2，不需要在视点位置设置与投影仪分离的摄像机并进行拍摄和设定这样的调整作业，或者能够大幅削减作业的工作量。用户也不需要进行分体的摄像机等的管理。由此，能够提高用户的易用性。

实施方式1的图2的情况下，投影仪1设置在水平面80上，所以连接假想视点5与影像中心6的直线8是与水平面80平行的水平线。无论屏幕2朝向什么方向，投射影像3都被修正为从假想视点5观看的情况下看起来是矩形。屏幕2具有平面的情况下，投射影像3中不会产生梯形畸变，屏幕2具有曲面的情况下，进行与曲面的形状相应的变换之后，修正为从假想视点5观看的情况下看起来是矩形。该修正时，投射影像3在屏幕2上被修正为顶边和底边与水平面80平行、右边和左边与这些边成直角。因此，投射影像3成为仿佛在屏幕2上张贴了矩形的影像一般的状态，用户无论从哪个方向观看都能够不感到不自然地观看该投射影像3。

实施方式1的变形例能够是如下所述。作为变形例，投影仪1也可以动态地变更图案影像101的内容。例如，控制器50与此时的屏幕2的凹凸的形状等状态相应地，判断适当的分割数量。控制器50在装置的最大分割数量以下的范围内，选择适当的分割数量，生成具有与该分割数量相应的内容的图案影像101，进行动态的切换。

(实施方式2)

使用图15～图19，说明本发明的实施方式2的影像显示装置。实施方式2等的基本结构与实施方式1的结构相同，以下说明实施方式2等中的与实施方式1不同的构成部分。实施方式2的影像显示装置在实施方式1中的变换功能之外，还具备与投影仪1的姿态的状态和用户的实际的视点位置相应地调整变换内容的功能。

[(2-1)与倾斜对应的调整功能]

实施方式2中的投影仪1具备在投影仪1主体的设置状态是相对于标准的状态(例如图1)具有倾斜的状态的情况下、考虑该倾斜地修正几何畸变的功能(有时记作调整功能)。该调整功能相对于实施方式1中的基本的变换功能，是能够基于用户经由gui的操作进行调整的功能。关于投影仪1主体的倾斜的状态，大致分为以下3种状态。

(1)绕x轴的旋转引起的上下方向的倾斜。例子在图15中示出。因为该倾斜，而在投射影像中出现y方向的上下的边的长度不同的梯形畸变。(2)绕y轴的旋转引起的左右方向的倾斜。例子在图18中示出。因为该倾斜，而在投射影像中出现x方向的左右的边的长度不同的梯形畸变。(3)绕z轴的旋转引起的倾斜。例子在图19中示出。因为该倾斜，而在投射影像中出现向左右倾斜的矩形。

实施方式2中的调整功能是按(x，y，z)各轴的倾斜和对应的每种几何畸变、为了成为与没有倾斜的标准的状态对应的呈现方式而进行影像修正的功能。另外，关于各轴的修正功能，可以采用实现了某1个或2个或3个全部功能的方式。另外，也可以采用通过用户设定能够选择应用的功能的方式。

[(2-2)调整功能——x轴]

图15表示作为投影仪1的姿态、存在绕x轴的倾斜、换言之是y方向的上下的倾斜的情况。与绕x轴的上下的倾斜对应的调整功能如下所述。图15的状态下，投影仪1相对于水平面80、绕x轴向上侧具有角度α的倾斜地设置。该倾斜是投影仪1的底面81上前侧比后侧更高、投影仪朝向斜上方的倾斜的状态。水平面80与投影仪1主体的底面81所成的角度是角度α。换言之，该状态下，投影仪1的主体处于从图2的状态起绕x轴向上侧旋转了角度α的状态。投影仪坐标系cs1与角度α的倾斜对应地成为绕x轴旋转后的坐标系。对应地，经过假想视点5的直线8b与水平线所成的角度是角度α。

该状态的情况下，随着投影仪1的旋转，连接假想视点5的位置p5与投射中央6的位置p6的直线8b也成为旋转了角度α的状态，并不是水平线。在该状态下，投影仪1进行的修正，是使得从直线8b上的假想视点5(设为第一视点)的位置p5看来投射影像3看起来是矩形的修正。由此，在该状态下，用户从离开第一视点的位置p5的位置观看投射影像3的情况下，会产生几何畸变、例如梯形畸变。为了比较，也示出了与图2的情况对应的投射透镜22的位置p1b、摄像机10的位置p2b。

实施方式2中，在这样投影仪1具有倾斜的情况下，代替原本的假想视点5(第一假想视点)地，设定设想的用户的标准的视点位置即第二视点25(第二假想视点)。该第二视点25设定在经过投射影像3的投射中央6的位置p6的、z方向上的水平线即直线8c上。换言之，第二视点25的位置p25是通过使第一视点位置p5旋转角度α而得到的。

实施方式2中的投影仪1与该倾斜的状态相应地，为了从第二视点25的位置p25看来消除几何畸变，而调整上述变换的内容(具体而言是图9的矩形区域146的形状等)。在别的观点上，投影仪2的该变换功能是基于用户的视点位置和用户经由gui的操作、调整假想视点5的位置的功能。

[(2-3)处理]

图16表示如图15所示投影仪1具有绕x轴的倾斜的情况下的处理内容和假想摄像机影像的例子。在图16的上侧，为了比较而示出与上述步骤s5的处理相关的、变换后假想摄像机影像141的矩形区域146等。在图16的下侧，示出实施方式2中的、与代替步骤s5的步骤s5b的处理相关的、变换后假想摄像机影像141b内的四边形的区域147等。实施方式2中，为了调整功能，作为相对于实施方式1的主要变更点，步骤s5的处理内容不同，成为步骤s5b。上述步骤s5中，投影仪1计算可投射区域145中包括的矩形区域146(长方形)。另一方面，在步骤s5b中，投影仪1如图16所示地，计算可投射区域145中包括的四边形的区域147。该四边形的区域147例如是梯形区域。该区域147的四边形相当于对于从假想视点(第二视点)25观看的情况下成矩形的区域、从假想视点(第一视点)5观看的情况下的形状。该区域147的四边形的形状与投影仪1的设置状态和用户的实际的视点位置相应地决定。另外，该四边形是由格子点组构成的，所以该四边形的概念包括大致四边形。

图15的例子中，如果得知角度α，则四边形的区域147的4个角的大小和各边的方向唯一地确定。由此，例如用与上述图9同样的处理，能够决定面积最大的四边形的区域147。得到了四边形的区域147的4个顶点的坐标的情况下，能够计算将该四边形的区域147变换为某一矩形区域146用的射影变换矩阵及其逆变换用的射影变换矩阵。由此，投影仪1使用这些变换矩阵，能够计算四边形的区域147内的格子点坐标。在步骤s5b中，变换矩阵计算电路12计算变换后假想摄像机影像141b中的四边形的区域147，计算该区域147中的变换后格子点坐标vg2。

作为该处理的例子，变换矩阵计算电路12将四边形的区域147射影变换为各边的长度是1的正方形区域，对于该区域按格子点的数量均等地分割，计算该正方形区域中的格子点坐标。接着，变换矩阵计算电路12对于各格子点坐标，应用从上述正方形区域向四边形的区域147的射影变换，由此计算四边形的区域147内的格子点坐标vg2。

[(2-4)gui例]

上述四边形的区域147的形状和方向，可以根据投影仪1的设置状态和实际的视点位置通过计算而得到，但也可以如下所述地，通过gui和选择器31提供关于该调整功能的设定菜单。投影仪1通过该设定菜单和用户接口部51接受关于调整功能的用户操作，与该操作的状态相应地，计算区域147的形状和方向，实时地进行调整。

图17表示与实施方式2中的调整功能相关的、屏幕2上的gui的设定菜单的显示例。图17的“设定菜单”包括滑动条b01、b02、b03作为关于调整功能([畸变调整])的、与(x，y，z)各轴的调整相关的设定项目。另外，也能够是关于各轴的调整的on/off设定。

用户从实际的视点位置观看屏幕2的投射影像3。在该状态下，用户在感到投射影像3中存在投影仪1的倾斜引起的畸变的情况下，能够使用该调整功能进行调整。用户想要进行调整的情况下，使投影仪1显示设定菜单，看着设定菜单进行与要求的轴的倾斜相关的调整。用户例如在感到投射影像3中存在y方向上下的梯形状的畸变的情况下，为了进行x轴上的调整而操作滑动条b01。滑动条b01中，作为指导，在左侧显示了顶边的长度较短的梯形，在右侧显示了底边的长度较短的梯形。用户使滑动条b01例如从中央的标准位置向右滑动。由此，投影仪1与该滑动条b01的位置相应地，对于投射影像3施加绕x轴的上下方向的修正(公知的梯形修正)。通过该修正，从用户的实际的视点位置看来，能够将投射影像3的形状调整为没有畸变的适当的形状。

该调整时的修正处理具体而言能够用如下所述的处理例实现。图3中，投影仪1的控制器50通过用户接口部51的操作按钮51a或遥控器接口部51b，检测到用户对滑动条b01的操作和位置。控制器50根据该滑动条b01的操作和位置，得知关于影像的形状的调整程度。控制器50与该程度的值相应地，决定图9的变换后假想摄像机影像141的矩形区域146的格子点坐标vg2中的外周的形状、即对应的图16的四边形的区域147的格子点坐标vg2的外周的形状(例如梯形等)。图17的操作的例子中，外周的形状被决定为底边较短的梯形形状。

之后，投影仪1同样地执行从步骤s5b起的处理(对应的图13的处理例)。该处理例中，步骤s53代替“由点m和点n规定的矩形”地，改为“由点m和点n和区域147(格子点坐标vg2)的外周的形状规定的四边形”。执行了一遍图6的处理时，屏幕2的投射影像3成为反映了用户的滑动条b01的操作和位置的、减少了倾斜引起的畸变的影像。

另外，图17的设定菜单也可以采用与现有一般的投影仪中具备的、与平坦的屏幕的情况对应的梯形修正的功能和设定菜单共用的结构。该情况下，用户能够以操作现有一般的梯形修正功能的感觉，进行与具有曲面的屏幕2的投射影像3相关的几何畸变的调整。用户对于用实施方式1的变换功能自动地修正几何畸变之后的投射影像3，能够进而使用实施方式2的调整功能，与实际的视点位置等相应地进行调整以成为更适当的呈现方式。

[(2-5)调整功能——y轴]

与绕y轴的左右的倾斜对应的调整功能如下所述。该关于y轴的调整功能，也能够用基本上与上述关于x轴的调整功能同样的机制实现。图18表示作为投影仪1的姿态、存在绕y轴的倾斜、换言之是x方向的左右的倾斜的情况。图18示意性地表示观看x-z面的结构。投影仪坐标系cs1与角度β的倾斜对应地，成为绕y轴旋转后的坐标系。在该倾斜的状态下，直线8b相对于连接投影仪1的投射透镜22的位置p1与屏幕2的投射中央6的位置p6的光轴7位于z方向的上侧，假想视点5(第一视点)的位置p5位于该直线8b上。为了调整，设定从投射中央6的位置p6向正对z方向的方向延伸的直线8c。在该直线8c上设定第二视点25的位置p25。在调整时，图16的变换后假想摄像机影像141b的四边形的区域147的形状和方向同样可以根据这样的倾斜的状态和假想视点25通过计算而得到。另外，用户能够使用图17的滑动条b02同样地进行调整。

[(2-6)调整功能——z轴]

与绕z轴的旋转的倾斜对应的调整功能如下所述。该关于z轴的调整功能也能够用基本上与上述关于x轴的调整功能同样的机制实现。图19表示作为投影仪1的姿态、存在绕z轴的倾斜、换言之是左右旋转的倾斜的情况。在图19的上侧，示意性地示出观看x-y面的结构。投影仪坐标系cs1与角度γ的倾斜对应地，成为绕z轴旋转后的坐标系。在该状态下，投射影像3也成为在x-y面内旋转了与投影仪1(或投射透镜22)相对于水平面80的旋转的角度γ相同角度的状态。保持该投射影像3时，对于用户而言难以观看。对于该倾斜的状态进行调整的情况下，投影仪1对于屏幕2的投射中央6的位置p6在z方向上设定未图示的直线8c，在该直线8c上设定未图示的第二视点25的位置p25。

在图19的下侧示出进行该关于z轴的调整的情况下的步骤s5c的处理内容和变换后假想摄像机影像141c。在调整时，变换后假想摄像机影像141c的四边形的区域148的形状和方向同样可以根据这样的倾斜的状态和假想视点25通过计算而得到。在该状态下，四边形的区域148的形状是在x-y面内以角度γ在反方向上具有倾斜的图形。

该情况下，可以得到z轴上的旋转的角度γ，所以在计算变换前的可投射区域145中包括的四边形的区域时，如图19所示使作为候选的四边形的区域148以角度γ在反方向上旋转。由此，能够抵消因倾斜而在投射影像3中产生的旋转。另外，用户能够使用图17的滑动条b03同样地进行调整。

[(2-7)效果等]

如上所述，根据实施方式2，在实施方式1的效果之外，在投影仪1的设置状态具有倾斜的情况下，也可以得到消除或减少了几何畸变的适当的投射影像。

[(2-8)变形例——姿态传感器]

实施方式2的变形例能够是如下所述。实施方式2中，示出了对于投影仪1的倾斜引起的几何畸变、能够以用户通过gui的操作为契机进行调整的功能。变形例中，投影仪1使用图3的传感器部的姿态传感器60，自动地实现上述倾斜引起的几何畸变的调整。投影仪1使用姿态传感器60，检测包括投影仪1的倾斜的姿态的状态。姿态传感器60是能够检测出绝对坐标系cs0中的投影仪1绕各轴(x，y，z)的旋转引起的倾斜的状态的传感器。作为构成姿态传感器60的装置的例子，能够应用公知的重力传感器、加速度传感器、陀螺仪传感器、电子罗盘、其他装置和方式。姿态传感器60例如能够检测出图15的角度α、图18的角度β、图19的角度γ。

作为投影仪1的设置状态，例如假设具有图15的角度α的倾斜。该情况下，投影仪1的特别是变换矩阵计算电路12使用姿态传感器60的检测信息160，得到该角度α。变换矩阵计算电路12与该倾斜的角度α相应地决定图9的四边形的区域147的形状。由此，即使没有上述通过gui进行的用户操作，投影仪1也能够自动地进行几何畸变的修正。

(实施方式3)

使用图20说明本发明的实施方式3的影像显示装置。上述各实施方式中，假设只要在图9的变换前假想摄像机影像140的可投射区域145内，就可以对其中的任意区域投射影像。然后，投影仪1计算可投射区域145中包括的四边形的区域146，将该区域146作为变换后的影像投射区域。但是，实际上在使用投影仪1的环境中，存在屏幕2的可投射区域145内存在障碍物的情况。如果能够避开该障碍物地投射影像则优选。例如，屏幕2较小等情况下，存在可投射区域145超出屏幕2的可投射区域的情况。另外，例如，将房间的墙壁面等作为屏幕2投射影像时，存在相对于墙壁面存在挂钟等成为凹凸的障碍物的情况。实施方式3中的投影仪1具有通过影像分析检测出这样的情况下的障碍物、避开障碍物地设定适当的区域的功能。

[(3-1)影像分析]

实施方式3中，投影仪1使用图3的影像分析电路15。影像分析电路15对来自摄像机10的影像120进行分析，检测障碍物区域等，输出分析结果信息170。变换矩阵计算电路12使用该分析结果信息170，计算变换矩阵。

[(3-2)处理]

实施方式3中，作为相对于实施方式1的变更点，代替步骤s5地，具有以下步骤s5e。步骤s5e的处理包括使用影像分析、避开障碍物的区域地设定四边形的区域146(图9)的处理。

图20表示关于实施方式3中的步骤s5e的处理的、屏幕2上存在障碍物128的例子中的实际摄像机影像120、变换前假想摄像机影像140和变换后假想摄像机影像141等。本例中，在屏幕2的前表面的右上附近，存在障碍物128的区域。关于该障碍物128，存在是某种物体的情况和是墙壁面的一部分的凹凸等的情况。该障碍物128的区域与屏幕2的其他面的区域相比，凹凸程度更大，不适合投射影像。在实际摄像机影像120内，包括该障碍物128的区域。

投影仪1的影像分析电路15基于实际摄像机影像120和距离信息120来检测障碍物128的区域，作为分析结果信息170输出。影像分析电路15例如基于实际摄像机影像120的各像素的颜色信息和轮廓信息等来检测障碍物128的区域。另外，在检测该障碍物128的区域的处理时，影像分析电路15也可以不是使用实际摄像机影像120的颜色信息，而是使用由距离推算部13计算得到的距离信息130。该情况下，投影仪1能够将超出屏幕2的区域和墙壁面上开孔的区域等、屏幕距离9的大小的差较大的区域检测为障碍物128的区域。

变换矩阵计算电路12与该障碍物128的区域相应地，生成设定变换前假想摄像机影像140的可投射区域145内的除外区域e1。另外，变换矩阵计算电路12在对应的变换后假想摄像机影像140内设定除外区域e1。在步骤s5e中，变换矩阵计算电路12在计算变换后格子点坐标vg2时，以满足包括在可投射区域145中、并且不包括除外区域e1这样的条件的方式，计算四边形的区域149。

实际摄像机影像120的格子点坐标cg1和变换前假想摄像机影像140的格子点坐标vg1能够用上述流程计算，所以能够将实际摄像机影像120的各区域的影像射影变换至变换前假想摄像机影像140的对应的各区域。结果，如图20所示，能够计算变换前假想摄像机影像140中的除外区域e1。实施方式3中，在上述图13的处理例中，步骤s53的判断中，条件是矩形包括在可投射区域145中、并且不包括除外区域e1。由此，投影仪1能够计算在变换后假想摄像机影像141中、不包括除外区域e1的四边形的区域149。之后采用与实施方式1同样的处理即可。

[(3-3)效果等]

如上所述，根据实施方式3，在实施方式1的效果之外，在屏幕2上存在障碍物的情况下，也可以在避开该障碍物的区域中，得到没有几何畸变的适当的投射影像3。实施方式3的变形例能够是如下所述。

投影仪1也可以在投射影像3因避开障碍物而变得过小的情况下，通过gui对用户输出警告等。例如，投影仪1计算变换后的区域149的面积，得到该面积除以变换前的可投射区域145的面积的值(面积比率)。投影仪1在该值在阈值以下的情况下，输出警告。投影仪1通过gui确认是否避开障碍物地设定可投射区域(区域149)，与用户的操作相应地决定。

另外，投影仪1因为已知在实际摄像机影像120中的哪个部分存在障碍物，所以也能够判断如果使投影仪1向哪个方向移动何种程度就成为适当的状态。由此，投影仪1可以进行该判断，通过gui对用户输出如果使投影仪1向哪个方向移动何种程度就成为适当的状态的指导信息。用户能够按照该指导信息，使投影仪1成为适当的状态，能够得到没有障碍物的状态下的投射影像3。

另外，也考虑即使屏幕2上没有障碍物、投射影像也因为例如屏幕2过度倾斜而变得过小的情况。这样的情况下，能够与上述同样地输出警告或指导。该情况下，判断例如能够通过对可投射区域145占变换前假想摄像机影像140的面积比例与规定阈值进行比较而进行。

(实施方式4)

使用图21说明本发明的实施方式4的影像显示装置。实施方式4还具备适当地设定和控制影像的格子的分割数量的结构的功能。实施方式4中，投影仪1使用2种以上分割数量进行选择和切换。投影仪1在关于包括几何变换的处理、例如在处理负荷上存在制约等情况下，抑制分割数量。由此，能够更高速地进行包括几何变换的处理。

[(4-1)影像的分割数量]

图3的结构中，各要素中特别是几何变换电路30进行使用矩阵的变换处理，所以处理量大。因此，关于如图7所示的、分割为影像中的格子的多个区域的结构，使分割数量变得过大的情况下，存在处理量过多而不优选的可能性。于是，优选与影像显示装置的实现中的硬件和软件的资源和性能相应地，将影像的格子的分割数量(设为dn)设定为适当的数量。例如，优先考虑装置的资源和性能的情况下，将分割数量dn限制为一定程度小的值即可。优先考虑影像品质的情况下，将分割数dn设为尽量大的值即可。分割数量dn换言之是区域数量。

作为一例，考虑几何变换电路30的性能，考虑几何变换电路30中能够变换的影像的最大分割数量dn(设为dna)是6×6的情况。此处，在这样分割数量dn(6×6)较少的情况下，在屏幕2中曲率较高的部分中，将该部分近似为平面的情况下的误差增大，存在投射影像3中残留有畸变的可能性。对于该畸变，如果增大分割数量dn，则误差减小，所以能够消除。但是，受最大分割数量dna限制的情况下，不能减少该畸变。

实施方式4中，为了也能够应对如上所述的情况，而具有如下所述的结构。投影仪1对于几何变换电路30中的最大分割数量dna(例如6×6)，在内部处理(特别是运算电路40的处理)中使用数量大于它的分割数量dn(设为dnb)。例如，将内部处理中的最大分割数量dn设为分割数量dnb＝8×8。假想摄像机影像按照该分割数量dnb，处理为具有多个(8×8)区域的格子。

另外，在实现中，例如像分割数量dna＝64×64、分割数量dnb＝128×128、分割数量的比率是1/2这样，能够使用更大的数。图案生成电路32生成与影像的分割数量dn对应的图案影像101。另外，例如图案生成电路32和运算电路40中，设定了分割数量dn(dna，dnb)的值。通过用户设定，能够变更多种分割数量dn的设定值。分割数量dn基本上适合与屏幕2的曲面的曲率相应地设定。关于分割数量dn，x方向、y方向上的分割数量也可以不同。

[(4-2)控制例]

使用图21说明与分割数量dn的设定和控制相关的具体例。图21表示变换前假想摄像机影像140和变换后假想摄像机影像141，特别表示关于变换后假想摄像机影像141的、分割数量的抽除前后的格子的结构。图21对于矩形区域146，示出抽除前的格子点142和抽除后的格子点143。抽除指的是分割数量dn的变更。本例中，假设在屏幕2的左上附近凹凸精细，在除此以外的部分中、例如右下附近凹凸稀疏。该情况下，为了减少屏幕2的左上部分的几何畸变，需要设为尽量精细的分割区域，但对于其他部分，不需要设为这样精细的分割区域。

但是，投影仪1对于屏幕2的面内的凹凸的分布状况，直到得到距离信息130才能够判断。因此，投影仪1对于得到距离信息130之前的前半部分的处理，将分割数量dn设为内部处理中的最大分割数量dnb(＝8×8)进行。具体而言，直到图6的流程中的步骤s5，都按分割数量dnb进行处理。抽除前的格子点142是具有与分割数量dnb对应的8×8区域的格子中的各格子点，对应于上述变换后格子点坐标vg2。在矩形区域146(对应的格子)中，用x1等表示x方向上的纵分割线的位置，用y1等表示y方向上的横分割线的位置。

在已完成至步骤s5的时刻，得到了关于各格子点的屏幕距离9。由此，投影仪1可以根据距离信息130得知屏幕2的面中哪个区域中凹凸精细或稀疏等。于是，投影仪1提取出屏幕2的凹凸精细的区域和稀疏的区域，以这些区域为对象，控制分割数量dn，由此进行关于变换后格子点坐标vg2的抽除。本例中，变换矩阵计算电路12在抽除前的格子点142中，在用实线表示的纵横的分割线中，如用虚线表示地抽除某些分割线。本例中，抽除了位于位置x6、x8的分割线和位于位置y6、y8的分割线。由此，成为抽除后的格子点143，与分割线的数量削减同时削减了整体的格子点的数量。

投影仪1与上述屏幕2的面的凹凸的精细程度(例如屏幕距离9的大小的差)相应地决定抽除哪个分割线。本例中，屏幕2的面的左上附近的凹凸精细，右下附近稀疏，所以选择右下附近的区域作为抽除的对象。抽除后的格子点143中，在右下附近的区域中，格子点的数量减少，密度减小，区域的数量减少，1个区域的尺寸增大。抽除后的格子点143中，具有变换后格子点坐标vg2b。

投影仪1使用上述抽除后的格子点143的变换后格子点坐标vg2b，同样地进行步骤s6以后的处理。各处理中，关于对应的格子点，是反映了抽除的状态。最终，在步骤s9中，几何变换电路30对与最大分割数量dna(6×6)对应的变换前影像110进行几何变换处理。上述抽除时，能够从分割数量dna以下的数量中选择。

[(4-3)效果等]

如上所述，根据实施方式4，在实施方式1的效果之外，也可以与影像品质或处理负荷等的优先方针相应地，得到适当的投射影像。作为分割数量的其他控制例，也能够与屏幕2的曲面的程度相应地以在影像帧内成为均匀分割的方式选择设定分割数量。

以上基于实施方式具体地说明了本发明，但本发明不限定于上述实施方式，能够在不脱离主旨的范围内进行各种变更。

附图标记说明

1…投影仪，2…屏幕，3…投射影像，4…影像源设备，5…假想视点，6…投射中央，7…投影仪光轴，8…水平线，9…屏幕距离，10…摄像机，22…投射透镜，p1、p2、p3、p5、p6…位置。