图像投射系统的控制方法和图像投射系统与流程

本公开涉及图像投射系统的控制方法和图像投射系统。

背景技术：

在将图像投射到不是简单平面的投射面、例如三维形状的投射面的情况下，根据观察者的视点位置，有时观察到图像大幅变形。因此，为了在向三维形状的投射面投射图像时，能够从规定的视点位置观察到没有变形的图像，提出了各种使用三维测量技术的变形校正技术。在专利文献1中，提出了根据将投射面展开成平面的二维展开图来决定投射图像的图像区域。

专利文献1：日本特开2019-47312号公报

在专利文献1所公开的技术中，为了使投射到三维形状的投射面上的图像不产生变形，并且以尽可能大的画面尺寸投射图像，需要使图像区域的大小不超出二维展开图pd，并且尽可能大地决定图像区域的大小。但是，在专利文献1中没有提及用于使图像区域的大小不超出二维展开图pd且尽量地增大图像区域的大小的具体方法。

技术实现要素：

本发明是鉴于上述课题而完成的，其目的在于提供能够以尽可能大的画面尺寸将没有变形的图像投射到三维形状的投射面上的技术。

为了解决以上的课题，本公开的图像投射系统的控制方法包含：在将三维形状的投射面展开为平面而得的二维展开图中设定第1坐标；以使得具有第1纵横比的第1四边形与所述二维展开图的外形线接触的方式，以所述第1坐标为基准位置在所述二维展开图内配置所述第1四边形；判定所述第1四边形是否与所述二维展开图的外形线在2点以上接触；在判定为所述第1四边形与所述二维展开图的外形线在2点以上接触的情况下，根据所述第1四边形对图像信息进行校正而生成校正图像信息；以及将基于所述校正图像信息的图像投射到所述投射面。

此外，为了解决上述课题，本公开的图像投射系统包含：校正装置，其生成校正图像信息；以及投射装置，其将基于所述校正图像信息的图像投射到所述投射面，所述校正装置在将三维形状的投射面展开为平面而得的二维展开图中设定第1坐标，以使得具有第1纵横比的第1四边形与所述二维展开图的外形线接触的方式，以所述第1坐标为基准位置在所述二维展开图内配置所述第1四边形，判定所述第1四边形是否与所述二维展开图的外形线在2点以上接触，在判定为所述第1四边形与所述二维展开图的外形线在2点以上接触的情况下，通过根据所述第1四边形对图像信息进行校正而生成所述校正图像信息。

附图说明

图1是示出本公开的一个实施方式的投影仪100的结构例的框图。

图2是示出用于测定投射面sp的三维形状的图案图像ip的一例的图。

图3是示出进行变形校正时的投影仪100的动作流程的流程图。

图4是示出进行变形校正时的投影仪100的动作流程的流程图。

图5是示出从上方观察铅直地配设的投射面sp的俯视图的一例的图。

图6是示出由摄像部17拍摄的摄像图像ic的一例的图。

图7是示出校正信息生成部18生成的二维展开图pd的一例的图。

图8是示出在二维展开图pd中设定图像区域as的控制方法的流程的流程图。

图9是用于说明校正信息生成部18的动作的图。

图10是用于说明校正信息生成部18的动作的图。

图11是用于说明校正信息生成部18的动作的图。

图12是用于说明校正信息生成部18的动作的图。

图13是用于说明校正信息生成部18的动作的图。

图14是示出在二维展开图pd中设定的图像区域as的一例的图。

图15是示出显示图像is的一例的图。

标号说明

10：控制部；11：存储部；12：输入操作部；13：图像信息输入部；14：图像信息校正部；15：图像投射部；16：测定部；17：摄像部；18：校正信息生成部；21：光源；22r、22g、22b：液晶光阀；23：投射透镜；24：光阀驱动部；100：投影仪；ai：图像形成区域；as：图像区域；b1、b2：块；c1：基准点；c2：基准点；dp：图案图像数据；ib：基本图像；ic：摄像图像；ip：图案图像；is：显示图像；lh：横线；lv：纵线；n：角部；pd：二维展开图；sp：投射面；uw、uk：单位图案；w1、w2：平面。

具体实施方式

在下文中，参照附图说明本公开的实施方式。下面说明的实施方式具有技术上优选的各种限制。然而，本公开的实施方式不限于以下说明的方式。

1.实施方式

图1是示出作为本公开的图像投射系统的一个实施方式的投影仪100的结构例的框图。如图1所示，投影仪100具有控制部10、存储部11、输入操作部12、图像信息输入部13、图像信息校正部14、图像投射部15、测定部16以及校正信息生成部18。投影仪100基于输入到图像信息输入部13的图像信息，从图像投射部15向投射面sp投射图像。

本实施方式的投影仪100能够校正向不是单纯的平面的投射面sp投射图像时产生的图像的变形，具体而言能够校正向三维形状的投射面sp投射图像时产生的图像的变形。更详细地说明，投影仪100将图2所示的图案图像ip从图像投射部15投射到投射面sp，用测定部16测定投射面sp的三维形状。并且，投影仪100生成用于校正图像的校正信息，以使得按照在该三维形状的投射面sp上粘贴矩形的纸那样的形状投射图像。之后，投影仪100对本来应该显示的图像、即应该在校正了变形的状态下显示的图像实施基于校正信息的校正处理，将处理后的图像投射到投射面sp。以下，将应该在校正了变形的状态下显示的图像称为显示图像。

控制部10具有一个或多个处理器而构成。控制部10通过按照存储在存储部11中的控制程序进行动作来统一控制投影仪100的动作。

存储部11包含作为易失性存储器的ram(randomaccessmemory：随机存取存储器)和作为非易失性存储器的rom(readonlymemory：只读存储器)。ram用于各种数据等的暂时存储。rom存储用于控制投影仪100的动作的控制程序以及控制数据等。在本实施方式存储部11中存储有与用于测定投射面sp的三维形状的图案图像ip对应的图像数据。在下文中，对应于图案图像ip的图像数据被称为图案图像数据dp。另外，存储部11也可以存储显示图像用的图像数据。

输入操作部12具有用于供用户对投影仪100进行各种指示的多个操作键。作为输入操作部12所具有的操作键的一例，可以举出电源键、菜单键以及方向键。电源键是用于切换电源的接通和断开的操作键。菜单键是显示用于进行各种设定的设定菜单的操作键。方向键是用于选择设定菜单的项目的操作键。当用户操作输入操作部12的各种操作键时，输入操作部12向控制部10输出与用户的操作内容对应的操作信号。由此，用户的操作内容被传递到控制部10。另外，也可以采用将能够远程操作的未图示的遥控器用作输入操作部12的结构。该情况下，遥控器发送与用户的操作内容对应的红外线的操作信号，未图示的遥控器信号接收部接收该操作信号，并将接收到的操作信号输出到控制部10。

图像信息输入部13与计算机或图像再生装置等未图示的外部的图像提供装置连接，从图像提供装置接受显示图像用的图像信息的提供。另外，图像信息输入部13能够从控制部10接受存储在存储部11中的图像信息的提供。作为从控制部10向图像信息输入部13提供的图像信息的具体例，可以举出图案图像数据dp以及显示图像用的图像数据。图像信息输入部13基于控制部10的控制，根据需要对从图像提供装置或控制部10提供的图像信息实施各种处理，并将处理后的图像信息输出到图像信息校正部14。作为图像信息输入部13对图像信息实施的处理的具体例，可以举出分辨率转换处理以及画质调整处理。

图像信息校正部14基于控制部10的控制，校正由投射面sp的三维形状等引起的图像的变形。具体而言，图像信息校正部14对从图像信息输入部13输入的图像信息实施基于从控制部10输入的校正信息的校正处理，将作为处理后的图像信息的校正图像信息输出到图像投射部15的光阀驱动部24。

图像投射部15具有光源21、作为光调制装置的3个液晶光阀22r、22g、22b、作为投射光学系统的投射透镜23以及光阀驱动部24。图像投射部15利用液晶光阀22r、22g、22b对从光源21射出的光进行调制而形成图像光，从投射透镜23投射该图像光而在投射面sp上显示图像。图像投射部15是本公开的投射装置的一例。

光源21包含超高压水银灯或金属卤化物灯等放电型的光源灯、或者发光二极管或半导体激光器等固体光源而构成。从光源21射出的光通过未图示的积分器光学系统转换为亮度分布大致均匀的光，通过未图示的颜色分离光学系统分离为光的3原色即红色、绿色以及蓝色的各色光成分。红色的光成分入射到液晶光阀22r，绿色的光成分入射到液晶光阀22g，蓝色的光成分入射到液晶光阀22b。

液晶光阀22r、22g以及22b各自由在一对透明基板间封入液晶的透过型的液晶面板等构成。在各液晶面板上形成有由排列成矩阵状的多个像素构成的矩形的图像形成区域ai，能够按照每个像素对液晶施加驱动电压。

光阀驱动部24在液晶光阀22r、22g以及22b各自的图像形成区域ai形成图像。具体而言，光阀驱动部24将与从图像信息校正部14输入的图像信息对应的驱动电压施加到图像形成区域ai的各像素，将各像素设定为与图像信息对应的光透过率。从光源21射出的光通过透过液晶光阀22r、22g以及22b的图像形成区域ai而按照每个像素被调制，从而按照每个色光形成与图像信息对应的图像光。所形成的各色的图像光通过未图示的颜色合成光学系统而按照每个像素合成，成为表示彩色图像的图像光，并通过投射透镜23放大投射到投射面sp。其结果，在投射面sp上显示基于图像信息的图像。

测定部16按照控制部10的控制进行动作，测定投射面sp的三维形状。测定部16具有用于拍摄图案图像ip的摄像部17。摄像部17是具有ccd(chargecoupleddevice：电荷耦合器件)传感器或者cmos(complementarymetaloxidesemiconductor：互补金属氧化物半导体)传感器等摄像元件的照相机。另外，在图1中，省略了摄像元件的图示。摄像部17对从图像投射部15投射到投射面sp的图案图像ip进行摄像，生成表示摄像图像的摄像图像信息。摄像部17是本公开的摄像装置的一例。

测定部16根据由摄像部17生成的摄像图像信息，测定投射面sp的三维形状。具体而言，测定部16从基于摄像图像信息的图像、即摄像部17的摄像图像所包含的图案图像ip检测多个基准点，导出各基准点的三维坐标。测定部16是本公开的测定装置的一例。测定部16将导出的各基准点的三维坐标作为测定结果输出到校正信息生成部18。

校正信息生成部18按照控制部10的控制进行动作，根据测定部16的测定结果，生成用于校正与投射面sp的三维形状对应的图像的变形的校正信息。校正信息生成部18将所生成的校正信息输出到控制部10。校正信息生成部18和图像信息校正部14是本公开的校正装置的一例。

图像信息输入部13、图像信息校正部14、测定部16以及校正信息生成部18可以由一个或多个处理器等构成，也可以由asic(applicationspecificintegratedcircuit：专用集成电路)、fpga(fieldprogrammablegatearray：现场可编程门阵列)等专用的处理装置构成。

图2是示出用于测定投射面sp的三维形状的图案图像ip的一例的图。图案图像ip是形成在图像形成区域ai中的矩形的图像。如图2所示，图案图像ip是将白色的单位图案uw和黑色的单位图案uk排列成15×11的矩阵状的图像。所有的单位图案uw和单位图案uk是全等的矩形，在图案图像ip中，单位图案uw和单位图案uk被配置成方格花纹状，使得同色的单位图案不在上下左右相邻。

测定部16从由摄像部17拍摄的图案图像ip检测白色的单位图案uw的顶点、即单位图案uw的角部作为基准点c1。在矩形的图案图像ip内，基准点c1配置成16×12的矩阵状。在此，图案图像ip也可以看作由各单位图案uw以及各单位图案uk的轮廓线构成的格子状的图像。在这种情况下，图案图像ip包含作为多条平行直线的横线和作为与该横线垂直的多条平行直线的纵线而构成，它们的交点、即格子的交点是基准点c1。平行于所述多条横线的轴是本公开的第1轴的一例，平行于所述多条纵线的轴是本公开的第2轴的一例。以下，有时将第1轴称为横轴，将第2轴称为纵轴。在矩形的图案图像ip内，沿着纵轴的格子间隔、即基准点c1的沿着纵轴的间隔是等间隔，沿着横轴的格子间隔、即基准点c1的沿着横轴的间隔也是等间隔。另外，格子的角度即纵线与横线所成的角度为直角。另外，有时将与单位图案uw以及单位图案uk对应的区域、即以在纵向、横向、斜向上相邻的4个基准点c1为顶点的矩形的区域称为块b1。

接着，对投影仪100的动作进行说明。

图3以及图4是示出进行变形校正时的投影仪100的动作的流程、即本公开的图像投射系统的控制方法的流程的流程图。若用户对投影仪100的输入操作部12进行操作而指示变形校正的开始，则投影仪100的控制部10按照图3所示的流程图进行动作。

在图3中的步骤s101中，控制部10使图像投射部15投射图2所示的图案图像ip。具体而言，控制部10从存储部11读出图案图像数据dp，将读出的图案图像数据dp输出到图像信息输入部13。另外，控制部10对图像信息校正部14指示不进行校正处理。其结果，在图像形成区域ai的整个区域形成图案图像ip，图案图像ip被投射到投射面sp。在投射面sp不是平面的情况下，图案图像ip变形地显示在投射面sp上。

在步骤s102中，控制部10向测定部16发出指示，使摄像部17对投射到投射面sp的图案图像ip进行拍摄。

例如，如图5所示，设向作为两个壁面的平面w1和平面w2以直角相交并且包含从图像投射部15观察时沿进深方向凹陷的角部n的范围内投射图像。图5是从上方观察铅直地配设的投射面sp的俯视图，在图5所示的例子中，以直角相交的两个平面w1和平面w2成为投射面sp。在该情况下，越在接近角部n的位置，则从图像投射部15到投射面sp的距离越长。图6是示出由摄像部17拍摄的摄像图像ic的图。如图6所示，从图像投射部15投射到投射面sp的图案图像ip以越在接近角部n的位置则被放大得越大的方式被变形地投射，这样变形地显示的图案图像ip作为摄像图像ic被摄像部17拍摄。

返回图3，在步骤s103中，控制部10对测定部16发出指示，使测定部16基于由摄像部17拍摄的摄像图像ic测定投射面sp的三维形状。测定部16当接受到来自控制部10的指示时，从摄像图像ic所包含的图案图像ip中检测多个基准点c1。这里，矩形的图案图像ip中的各基准点c1的坐标是已知的，预先存储在存储部11中。以下，将存储在存储部11中的各基准点c1的坐标称为基准坐标。测定部16根据检测出的基准点c1的坐标、即摄像图像ic中的基准点c1的坐标与存储部11中存储的基准坐标的对应关系，利用三角测量的原理，导出投射面sp上的基准点c1的三维坐标。测定部16例如能够求出以摄像部17中的未图示的摄像透镜的主点为原点的三维坐标。通过该三维坐标，能够识别投射面sp的三维形状以及投射面sp上的图像的变形。

在步骤s104中，控制部10对校正信息生成部18发出指示，使校正信息生成部18根据导出的基准点c1的三维坐标，生成用于校正由投射面sp的三维形状引起的变形的校正信息。校正信息生成部18当接受到该指示时，按照图4所示的流程进行动作，开始校正信息的生成。

如图4所示，在步骤s111中，校正信息生成部18基于由测定部16导出的基准点c1的三维坐标，生成将配置有基准点c1的三维形状的投射面sp在单一平面上展开而得的二维展开图。

图7是示出在如图5所示那样呈直角相交的两个平面w1和w2是投射面sp的情况下由校正信息生成部18生成的二维展开图pd的一例的图。如图7所示，二维展开图pd是表示投射有图案图像ip的投射面sp上的基准点c1的位置关系的假想图，表示投射面sp上的图案图像ip的变形。在图7中，为了方便，沿着纵轴和横轴相邻的基准点c1彼此用直线连接。即，二维展开图pd包含与图案图像ip的单位图案uw和单位图案uk对应的多个矩形块b1而构成，各块b1的顶点为基准点c1。并且，在二维展开图pd上，各块b1的边的长度、即相邻的基准点c1之间的距离与投射面sp上的对应的单位图案uw以及单位图案uk的边的长度相等。另外，二维展开图pd上的各块b1的顶点的角度与投射面sp上的对应的单位图案uw以及单位图案uk的顶点的角度相等。

接着，在步骤s112中，校正信息生成部18在所生成的二维展开图pd上设定用于形成显示图像的图像区域。图像区域是与显示图像本来的形状、即图像形成区域ai相似的矩形的区域。图像区域的位置以及大小优选设定为图像区域不超出二维展开图pd，且图像区域尽可能大。本实施方式的特征在于，以不超出二维展开图pd且尽可能大的方式设定图像区域的控制方法。图8是示出设定图像区域的控制方法的流程的流程图。如图8所示，该控制方法包含第1坐标设定处理sa110、图像区域设定处理sa120、判定处理sa130以及第1坐标更新处理sa140。以下，以在图4的步骤s111中生成了如图9所示那样从投影仪100观察时向进深方向弯曲的投射面sp的二维展开图pd的情况为例，说明图8中的各处理的处理内容。另外，在图9～图13中，标号ib是指与图像形成区域ai对应的矩形的图像。

在第1坐标设定处理sa110中，校正信息生成部18在将三维形状的投射面sp展开为平面而成的二维展开图pd中，设定第1坐标，该第1坐标成为设定图像区域时的基准位置。作为第1坐标的具体例，可以举出二维展开图pd的中心位置的坐标、或二维展开图pd的重心位置的坐标。在本实施方式中，在将第1坐标的横轴的坐标设为x0、将纵轴的坐标设为y0的情况下，x0以及y0被如下设定。即设定为，x0＝(二维展开图pd的水平方向的最大坐标值+二维展开图pd的水平方向的最小坐标值)/2，并且设定为，y0＝(二维展开图pd的垂直方向的最大坐标值+二维展开图pd的垂直方向的最小坐标值)/2。即，本实施方式中的第1坐标是二维展开图pd的中心位置的坐标。将二维展开图pd的中心位置的坐标和重心位置的坐标中的哪一个优选地作为第1坐标取决于二维展开图pd的整体形状。因此，可以是，投影仪100的用户能够根据二维展开图pd的整体形状来指定将中心位置的坐标和重心位置的坐标中的哪一个作为第1坐标。

在图像区域设定处理sa120中，校正信息生成部18以使具有由用户指定的纵横比的第1四边形与二维展开图pd的外形线接触的方式，以第1坐标为基准位置将该第1四边形配置在二维展开图pd内。在本实施方式中，通过图像区域设定处理sa120在二维展开图pd内配置的第1四边形成为图像区域的候补。作为由用户指定的纵横比的形态，可以考虑各种形态。用户可以指定与输入到图像信息输入部13的图像信息所表示的图像的纵横比相同的纵横比，也可以指定与输入到图像信息输入部13的图像信息所表示的图像的纵横比不同的纵横比。由用户指定的纵横比是本公开中的第1纵横比的一例。

更详细地说，在图像区域设定处理sa120中，校正信息生成部18首先如图10所示，将具有由用户指定的纵横比且与二维展开图pd外接的第2四边形r02以第1坐标为基准位置进行配置。具体而言，校正信息生成部18以第2四边形r02的中心位置成为第1坐标的方式配置第2四边形r02。接着，如图11所示，校正信息生成部18一边维持由用户指定的纵横比，一边缩小第2四边形r02直到全部的外形线收敛于二维展开图pd内，由此生成第1四边形r01。另外，校正信息生成部18计算第1四边形r01的左右上下的各边与二维展开图pd的外形线之间的最小距离。在图11所示的例子中，左侧水平最小距离、右侧水平最小距离、上侧垂直最小距离和下侧垂直最小距离分别是hlm、hrm、0和vdm。

在判定处理sa130中，校正信息生成部18判定在图像区域设定处理sa120中配置在二维展开图内的第1四边形是否与该二维展开图的外形线在2点以上接触。在判定处理sa130的判定结果为“是”的情况下，即判定为第1四边形与二维展开图的外形线在2点以上接触的情况下，校正信息生成部18将该时刻的第1四边形作为图像区域，结束本控制方法。与此相对，在判定处理sa130的判定结果为“否”的情况下，即没有判定为第1四边形与二维展开图的外形线在2点以上接触的情况下，校正信息生成部18在执行了变更第1坐标的第1坐标更新处理sa140之后，再次执行图像区域设定处理sa120的处理。即，在判定为第1四边形未与二维展开图的外形线在2点以上接触的情况下，校正信息生成部18变更第1坐标，以使第1四边形与二维展开图的外形线接触的方式以变更后的第1坐标为基准位置将第1四边形配置在二维展开图内。然后，校正信息生成部18判定重新配置后的第1四边形是否与二维展开图的外形线在2点以上接触。

在图11所示的例子中，第1四边形r01仅在由圆形标记包围的一点处与二维展开图pd接触。因此，对于图11所示的第1四边形r01，判定处理sa130的判定结果为“否”，执行第1坐标更新处理sa140。在第1坐标更新处理sa140中，校正信息生成部18计算第1四边形与二维展开图pd的外形线之间的沿着横轴的最小距离以及沿着纵轴的最小距离，根据沿着横轴的最小距离以及沿着纵轴的最小距离来变更第1坐标。例如，如果第1坐标更新处理sa140的执行前的第1坐标为(x0，y0)，则在第1坐标更新处理sa140中，校正信息生成部18将第1坐标更新为(x0+δx，y0+δy)。另外，δx＝(右侧水平最小距离－左侧水平最小距离)/2，δy＝(上侧垂直最小距离－下侧垂直最小距离)/2。在这样更新了第1坐标之后，再次执行图像区域设定处理sa120，因此如图12所示，将更新后的第1坐标作为基准位置来配置第2四边形r02，通过维持纵横比并缩小第2四边形r02，再次生成第1四边形。然后，对再次生成的第1四边形执行判定处理sa130。在本实施方式中，反复执行图像区域设定处理sa120、判定处理sa130以及第1坐标更新处理sa140，直到如图13中圆形标记所示那样第1四边形r01与二维展开图pd的外形线在2点以上接触。

图14是示出在二维展开图pd上设定的图像区域as的图。如图14所示，图像区域as是与显示图像的本来的形状、即图像形成区域ai相似的矩形的区域，其位置以及大小被决定为不超出二维展开图pd且尽可能地大。在图14中，为了方便，在图像区域as中描绘与图案图像ip对应的格子图案，由格子隔开的矩形的块b2与矩形的图案图像ip的块b1对应。另外，图像区域as中的沿着纵轴以及横轴的各轴的格子间隔与图案图像ip同样分别为等间隔，格子的角度为直角。另外，图像区域as中的格子的交点是与图案图像ip中的基准点c1对应的基准点c2，此后，有时将基准点c1称为第1基准点c1，将基准点c2称为第2基准点c2。这样，关于校正信息生成部18在二维展开图pd上设定的图像区域as，将多个第2基准点c2配置成矩阵状。

返回图4，在步骤s113中，校正信息生成部18进行将二维展开图pd上的第2基准点c2的坐标转换为与图像形成区域ai对应的矩形的图像ib上的坐标的坐标转换处理。以下，也将与图像形成区域ai对应的矩形的图像ib称为基本图像ib。更详细地说明的话，校正信息生成部18基于矩形的图案图像ip上的第1基准点c1的坐标与二维展开图pd上的第1基准点c1的坐标之间的对应关系，导出将配置有第2基准点c2的二维展开图pd变形为基本图像ib的形状(即，矩形)时的第2基准点c2的坐标。包含第2基准点c2的图像区域as通过上述的坐标转换处理，而变形地配置在基本图像ib上。这里，基本图像ib上的第2基准点c2相当于将配置在二维展开图pd上的第2基准点c2重新配置在投射面sp上并从图像投射部15的位置观察时的图像。

接着，在步骤s114中，校正信息生成部18基于配置在基本图像ib上的第2基准点c2的坐标，生成用于校正变形的校正信息。该校正信息例如是转换表，该转换表用于针对被分割成多个块b1的显示图像的各块b1，基于各自的4个顶点，即4个第1基准点c1的坐标和基本图像ib中的图像区域as内的对应的块b2的4个顶点，即第2基准点c2的坐标，进行显示图像的变形。作为该变形的具体例，可以举出射影转换。校正信息生成部18将所生成的校正信息输出到控制部10。之后，控制部10将处理返到图3所示的流程。

返回到图3，在步骤s105中，控制部10将所输入的校正信息输出到图像信息校正部14，使图像信息校正部14开始基于该校正信息校正显示图像的校正处理。以后，图像信息校正部14对从图像信息输入部13逐次输入的显示图像用的图像信息，进行与校正信息对应的校正处理。具体而言，图像信息校正部14进行在基本图像ib的图像区域as内形成显示图像并且将图像区域as的外侧的区域设定为黑色的处理。其结果，基于校正后的图像信息的图像被从图像投射部15投射，在投射面sp上以校正了变形的状态显示出显示图像。虽然从投影仪100投射的图像的整体是变形的，但由于图像区域as的外侧的区域被设定为黑色，所以观察者仅视觉确认在图像区域as内形成的显示图像。由于图像区域as在二维展开图pd上是没有变形的矩形的区域，所以在实际的投射面sp上，以如沿着投射面sp粘贴了矩形的纸那样的形状显示。

图15是示出显示图像is的一例的图。如图15所示，显示图像is是矩形图像，包含平行且等间隔配置的多个纵线lv与同样平行且等间隔配置的多个横线lh垂直的格子图案。显示图像is与图2的图案图像ip对应，包含配置成矩阵状的多个矩形的块b1。由于所有的块b1全等，所以例如若将各块b1的边的长度相对于左上角的块b1等成为基准的1个块b1的边的长度的比作为间隔比，则所有的块b1的间隔比在横向和纵向上都是1。另外，所有的块b1顶点的角度、即格子的角度都是直角。

当表示该显示图像is的图像信息被输入到图像信息输入部13时，由图像信息校正部14进行上述的校正处理，从图像投射部15以校正了变形的状态下向投射面sp投射显示图像is。在投射面sp上，格子的间隔在横向、纵向上都是等间隔，格子的角度即横线lh与纵线lv所成的角度是直角。即，通过上述校正处理，块b1的间隔比在投射面sp上也维持为1，块b1的顶点的角度在投射面sp上也维持为直角。

通常，投射到三维形状的投射面sp上的图像根据观察者的位置而被变形地观察。但是，在投射面sp上，如果维持构成显示图像的各块b1的间隔比和角度，则观察者观察成如沿着投射面sp粘贴印刷物一样，减轻了不自然的印象。另外，也可以构成为仅维持间隔比和角度中的任意一方。

如以上说明那样，根据本实施方式的投影仪100，能够得到以下的效果。

(1)根据本实施方式的投影仪100，图像信息校正部14在被输入了表示等间隔地平行配置的多条纵线与等间隔地平行配置的多条横线垂直的格子图案的图像信息的情况下，以在三维形状的投射面sp上维持格子的间隔比和角度的方式，即，以格子为等间隔且角度为直角的方式校正图像信息。因此，无论观察者的位置如何，都能够抑制给观察者带来不自然的印象。

(2)根据本实施方式的投影仪100，校正信息生成部18在二维展开图pd内设定本来的形状、即矩形的图像区域as，基于二维展开图pd上的第1基准点c1的坐标，转换图像区域as内的第2基准点c2的坐标，基于坐标转换后的第2基准点c2的坐标生成校正信息。由此，投影仪100能够以在二维展开图pd上成为本来的形状的方式对图像进行校正，因此即使在三维形状的投射面sp上，也能够实现无论观察者的位置如何，都抑制对观察者带来不自然的印象。

(3)根据本实施方式的投影仪100，校正信息生成部18将用于形成显示图像的图像区域设定为不超出二维展开图pd且尽可能地大。由此，能够以尽可能大的画面尺寸将没有变形的图像投射到三维形状的投射面上。

(4)根据本实施方式的投影仪100，测定部16通过由摄像部17拍摄图像投射部15所投射的图案图像ip来测定投射面sp的三维形状，因此不需要具有用于测定三维形状的专用装置。

(5)根据本实施方式的投影仪100，由于图像投射部15和测定部16一体地构成，所以不需要每次进行图像投射部15和测定部16的配置的调整。

2.变形例

另外，上述实施方式也可以进行如下变更。

在上述实施方式中，测定部16通过由摄像部17拍摄从图像投射部15投射的图案图像ip，来测定投射面sp的三维形状，但不限于该方式。例如，也可以构成为代替测定部16而具有能够测定投射面sp的三维形状的三维测定装置。作为三维测定装置，可以采用投射结构化光的方式、tof(timeofflight：飞行时间)方式等。另外，关于投射结构化光的方式，可以是如上述实施方式那样，从图像投射部15投射结构化光的方式，也可以是从三维测定装置所具有的投射装置投射结构化光的方式。

这里，在从图像投射部15以外的投射装置投射结构化光的方式中，也可以构成为投射不可见光(例如，红外光)的结构化光。在这种情况下，由于投射的结构化光不被观察者观察到，所以也能够在显示图像的投射中进行三维形状的测定，更新校正信息。另外，在通过tof方式测定三维形状的方式中，与上述情况同样，能够在显示图像的投射中进行三维形状的测定来更新校正信息，而且不需要具有投射不可见光的投射装置。

另外，在具有上述三维测定装置的结构中，基于所测定的投射面sp的三维形状和图像投射部15与三维测定装置的配置关系，能够计算从图像投射部15投射了图案图像ip时的基准点c1的三维坐标，因此不需要实际投射图案图像ip。同样，如上述实施方式那样，在具有图像投射部15和摄像部17的结构中，也是，例如如果从图像投射部15投射结构化光，并通过摄像部17对其进行拍摄从而识别投射面sp的三维形状，则能够基于图像投射部15和摄像部17的配置关系，计算从图像投射部15投射图案图像ip时的基准点c1的三维坐标。因此，即使在该结构的情况下，也不需要实际投射图案图像ip。

在上述实施方式中，说明了向具有凹陷的角部n的投射面sp投射图像的方式以及向从投影仪100观察时沿进深方向弯曲的投射面sp投射图像的方式。然而，投射面sp的三维形状只要是能够在不切开的情况下在平面中展开的形状，则不限于上述形状。例如，可以是具有突出的角部的投射面sp，也可以是弯曲成圆柱状的投射面sp、波状地变形的投射面sp等。在上述实施方式中，在投射面sp具有角部n的情况下、或在投射面sp具有弯曲的弯曲部的情况下，在角部n或弯曲部处，格子间隔或格子的角度产生误差，会产生基准点的不一致。在这种情况下，如上所述，可以适当地进行校正，或者可以通过减小图案图像ip中的基准点c1的间隔来减小误差。

在上述实施方式中，图像投射部15投射多个矩形的单位图案uw以及单位图案uk排列成矩阵状的图案图像ip，测定部16检测矩形的单位图案uw的顶点、即格子的交点作为基准点c1，但基准点c1不限于单位图案uw的顶点。例如，可以是，图像投射部15投射具有亮度分布的多个单位图案排列而成的图案图像，测定部16将各单位图案的最大亮度位置或最小亮度位置检测为基准点c1。另外，也可以将排列在图案图像内的多个图形的重心位置检测为基准点c1。

在上述实施方式中，对一体地具有图像投射部15以及测定部16等各结构要素的投影仪100进行了说明，但也可以是各结构要素的一部分或全部被分离的结构。但是，在图像投射部15和测定部16分离的情况下，由于在每次设置时各自的配置状态变化，所以每次都需要进行校准。所谓校准是指将矩形图案图像ip上的坐标与摄像图像ic上的坐标建立对应的处理。

在上述实施方式中，作为光调制装置，使用了透过型的液晶光阀22r、22g、22b，但也可以使用反射型的液晶光阀等反射型的光调制装置。另外，也可以使用通过按照每个作为像素的微镜对入射的光的射出方向进行控制，来对从光源21射出的光进行调制的数字微镜器件等。另外，并不限定于按照色光而分别具有多个光调制装置的结构，也可以是用1个光调制装置以时分方式对多个色光进行调制的结构。

在上述实施方式中，将具有第1纵横比且与二维展开图pd外接的第2四边形以第1坐标为基准位置进行配置，在维持第1纵横比的同时缩小该第2四边形，由此生成第1四边形。但是，也可以将具有第1纵横比且包含在二维展开图pd内的充分小的第2四边形以第1坐标为基准位置进行配置，在维持第1纵横比的同时扩大该第2四边形，由此生成第1四边形。但是，在后者的方式的情况下，难以将第2四边形设定为适当的大小，若第2四边形过小，则逐渐扩大第2四边形直至得到第1四边形为止的处理所需要的处理负荷变高，因此优选上述实施方式。

上述实施方式中的投影仪100仅具有1个图像投射部15即投射装置，但也可以包含第1投射装置和第2投射装置。在这种情况下，投射面是通过连结第1投射装置投射图像的第1投射面和第2投射装置投射图像的第2投射面而获得的。

3.根据实施方式以及各变形例的至少一个而掌握的方式

本公开不限于上述实施方式和变形例，可以在不脱离其主旨的范围内以各种方式来实现。例如，本公开也可以通过以下方式来实现。为了解决本公开的课题的一部分或全部、或者为了达成本公开的效果的一部分或全部，与以下记载的各方式中的技术特征相对应的上述实施方式中的技术特征可以适当地进行替换或组合。另外，如果其技术特征在本说明书中没有作为必要的特征进行说明，则可以适当地删除。

本公开的图像投射系统的控制方法的一个方式包含以下的第1坐标设定处理、图像区域设定处理和判定处理。在第1坐标设定处理中，在将三维形状的投射面展开为平面而得的二维展开图中设定第1坐标。在图像区域设定处理中，以使得具有第1纵横比的第1四边形与所述二维展开图的外形线接触的方式，以所述第1坐标为基准位置，将所述第1四边形在所述二维展开图内设定为图像区域。在判定处理中，判定所述第1四边形是否与所述二维展开图的外形线在2点以上接触。而且，在本公开的图像投射系统的控制方法中，在判定为所述第1四边形与所述二维展开图的外形线在2点以上接触的情况下，通过根据所述第1四边形对图像信息进行校正而生成校正图像信息，将基于所述校正图像信息的图像投射到所述投射面。根据本方式，用于形成显示图像的图像区域被设定为不超出二维展开图并且尽可能地变大。由此，能够以尽可能大的画面尺寸将没有变形的图像投射到三维形状的投射面上。

在上述控制方法的一个方式中，可以是，在判定为所述第1四边形未与所述二维展开图的外形线在2点以上接触的情况下，执行变更所述第1坐标的第1坐标更新处理，再次执行图像区域设定处理和判定处理。作为第1坐标更新处理的具体方式，可以举出如下方式：计算所述第1四边形与所述二维展开图的外形线之间的沿着第1轴的最小距离以及沿着与所述第1轴交叉的第2轴的最小距离，根据沿着所述第1轴的最小距离以及沿着所述第2轴的最小距离来变更所述第1坐标。

在上述控制方法的一个方式中，可以是，将所述二维展开图的中心位置的坐标或所述二维展开图的重心位置的坐标决定为所述第1坐标。根据本方式，能够以二维展开图的中心位置或重心位置为基准，将用于形成显示图像的图像区域设定为不超出二维展开图且尽可能地大。

在上述控制方法的一个方式中，可以是，在图像区域设定处理中，以所述第1坐标为基准位置配置具有所述第1纵横比且与所述二维展开图外接的第2四边形，在维持所述第1纵横比的同时缩小所述第2四边形，由此生成所述第1四边形。根据本方式，与设定充分小的第2四边形并放大该第2四边形来生成第1四边形的方式相比，能够减轻处理负荷。

在上述控制方法的一个方式中，可以是，将图案图像投射到所述投射面上，根据通过拍摄投射有所述图案图像的所述投射面而生成的摄像图像信息，测定所述投射面的三维形状。

在上述控制方法的一个方式中，可以是，所述图像投射系统包含第1投射装置和第2投射装置，所述投射面是通过连结被所述第1投射装置投射图像的第1投射面和被所述第2投射装置投射图像的第2投射面而获得的。根据本方式，在包含第1投射装置和第2投射装置的图像投射系统中，能够以尽可能大的画面尺寸将没有变形的图像投射到三维形状的投射面上。

本公开的图像投射系统的一个方式包含以下的校正装置和投射装置。校正装置在将三维形状的投射面展开为平面而得的二维展开图中设定第1坐标。另外，校正装置以使得具有第1纵横比的第1四边形与所述二维展开图的外形线接触的方式，以所述第1坐标为基准位置，在所述二维展开图内配置所述第1四边形，判定所述第1四边形是否与所述二维展开图的外形线在2点以上接触。而且，在判定为所述第1四边形与所述二维展开图的外形线在2点以上接触的情况下，校正装置通过根据所述第1四边形对图像信息进行校正而生成校正图像信息。投射装置将基于所述校正图像信息的图像投射到所述投射面。根据本方式，也能够以尽可能大的画面尺寸将没有变形的图像投射到三维形状的投射面上。

本公开的图像投射系统的一个方式可以包含以下的摄像装置和测定装置。摄像装置通过对所述投射装置投射到所述投射面上的图案图像进行拍摄，生成摄像图像信息。测定装置根据所述摄像图像信息测定所述投射面的三维形状。另外，所述摄像装置、所述投射装置和所述测定装置也可以一体地构成。