投射方法以及投射系统与流程

1.本公开涉及投射方法以及投射系统。


背景技术：

2.通过从投影仪向具有三维形状的投射对象物投射出投射图像来产生各种效果的投影映射正在普及。另外，提出了各种用于生成投影映射用的投射图像的技术，作为一例，可举出专利文献1或专利文献2所公开的技术。在专利文献1中公开了如下技术：通过对由摄像头拍摄的投射对象物的拍摄图像进行分析来确定投射对象物所占的区域，并基于该确定结果来生成投射图像。在专利文献2中公开了如下技术：将摄像头拍摄的投射对象物的拍摄图像作为背景显示在智能手机等终端的显示区域，使投影仪投射在该显示区域中描绘的对象的图像。
3.专利文献1：日本特开2018-97148号公报
4.专利文献2：日本特开2021-87043号公报
5.在专利文献1所公开的技术中，虽然生成摄像头坐标系与投影仪坐标系的转换表，但由于是投影图像与拍摄图像的各图像的对应，因此在校准执行后物体位置移动的情况下，投影图像与拍摄图像的对应与校准时相比发生变化，因此无法在所希望的三维位置进行描绘。另外，在专利文献2所公开的技术中，作为摄像头图像内的投影仪图像的对应，通过针对摄像头图像内的投射区域的梯形校正来求出对应关系，但在梯形校正中没有考虑存在于投射区域内的深度信息，因此在投影对象物具有三维形状的情况下，无法在投射对象物的期望的三维位置进行描绘。另外，与专利文献1同样地，在物体位置从进行了摄像头与投影仪的对应时的状态起移动的情况下，无法在期望的三维位置进行描绘。即，在专利文献1以及专利文献2所公开的技术中，存在如下问题：有时无法将用户对投射对象物图像描绘的描绘对象以所描绘的形状准确地投射到所描绘的位置。


技术实现要素：

6.本公开的投射方法的一个方式包含：取得第1图像，所述第1图像是利用摄像头对投射对象物进行拍摄而得到的；受理用户在所述第1图像中对描绘对象进行描绘的操作，由此生成表示所述第1图像中的所述描绘对象的二维位置的第1对象信息；基于表示所述摄像头与所述投射对象物的相对三维位置的第1位置信息、和表示所述摄像头的光轴的朝向的第1姿势信息，将所述第1对象信息转换为第2对象信息，所述第2对象信息表示在所述投射对象物的表面配置有所述描绘对象的情况下的所述描绘对象的三维位置；以及基于表示投影仪与所述投射对象物的相对三维位置的第2位置信息、和表示所述投影仪的光轴的朝向的第2姿势信息，将所述第2对象信息转换为表示从所述投影仪投射的图像上的所述描绘对象的二维位置的第3对象信息，由此将包含所述描绘对象的投射图像从所述投影仪投射到所述投射对象物。
7.此外，本公开的投射方法的另一方式包含：在包含对投射对象物进行模拟的虚拟
物体和对向所述投射对象物投射图像的投影仪进行模拟的虚拟投影仪的虚拟空间中，取得从用户设定的视点观察所述虚拟物体而得到的第1图像，其中，在所述虚拟空间中，所述虚拟物体与所述虚拟投影仪的相对三维位置是根据所述投射对象物与所述投影仪的相对三维位置确定的；受理所述用户在所述第1图像中对描绘对象进行描绘的操作，由此生成表示所述第1图像中的所述描绘对象的二维位置的第1对象信息；基于表示所述视点与所述虚拟物体的相对三维位置的第1位置信息，将所述第1对象信息转换为第2对象信息，所述第2对象信息表示在所述虚拟物体的表面配置有所述描绘对象的情况下、配置于所述投射对象物的表面的所述描绘对象的三维位置；以及基于表示所述虚拟投影仪与所述虚拟物体的相对三维位置的第2位置信息、和表示所述虚拟投影仪的光轴的朝向的姿势信息，将所述第2对象信息转换为表示从所述虚拟投影仪投射的图像上的所述描绘对象的二维位置的第3对象信息，由此将包含所述描绘对象的投射图像从所述投影仪投射到所述投射对象物。
8.此外，本公开的投射系统的一个方式包含：投影仪，其向投射对象物投射图像；输入装置，其受理用户的操作；以及处理装置。所述处理装置执行以下处理：取得第1图像，所述第1图像是利用摄像头对所述投射对象物进行拍摄而得到的；由所述输入装置受理在所述第1图像中对描绘对象进行描绘的操作，由此生成表示所述第1图像中的所述描绘对象的二维位置的第1对象信息；基于表示所述摄像头与所述投射对象物的相对三维位置的第1位置信息、和表示所述摄像头的光轴的朝向的第1姿势信息，将所述第1对象信息转换为第2对象信息，所述第2对象信息表示在所述投射对象物的表面配置有所述描绘对象的情况下的所述描绘对象的三维位置；以及基于表示投影仪与所述投射对象物的相对三维位置的第2位置信息、和表示所述投影仪的光轴的朝向的第2姿势信息，将所述第2对象信息转换为表示从所述投影仪投射的图像上的所述描绘对象的二维位置的第3对象信息，由此将包含所述描绘对象的投射图像从所述投影仪投射到所述投射对象物。
9.此外，本公开的投射系统的另一个方式包含：投影仪，其向投射对象物投射图像；输入装置，其受理用户的操作；以及处理装置。所述处理装置执行以下处理：在包含对所述投射对象物进行模拟的虚拟物体和对所述投影仪进行模拟的虚拟投影仪的虚拟空间中，取得从通过对所述输入装置的操作设定的视点观察所述虚拟物体而得到的第1图像，其中，在所述虚拟空间中，所述虚拟物体与所述虚拟投影仪的相对三维位置是根据所述投射对象物与所述投影仪的相对三维位置确定的；由所述输入装置受理在所述第1图像中对描绘对象进行描绘的操作，由此生成表示所述第1图像中的所述描绘对象的二维位置的第1对象信息；基于表示所述视点与所述虚拟物体的相对三维位置的第1位置信息，将所述第1对象信息转换为第2对象信息，所述第2对象信息表示在所述虚拟物体的表面配置有所述描绘对象的情况下、配置于所述投射对象物的表面的所述描绘对象的三维位置；以及基于表示所述虚拟投影仪与所述虚拟物体的相对三维位置的第2位置信息、和表示所述虚拟投影仪的光轴的朝向的姿势信息，将所述第2对象信息转换为表示从所述虚拟投影仪投射的图像上的所述描绘对象的二维位置的第3对象信息，由此将包含所述描绘对象的投射图像从所述投影仪投射到所述投射对象物。
附图说明
10.图1是表示本公开第1实施方式的投射系统1a的结构例的图。
11.图2是示出投射系统1a所包含的控制装置10a的结构例的图。
12.图3是表示由摄像头30拍摄的投射对象物ps的拍摄图像g1的一例的图。
13.图4是用于说明第1位置信息da1以及第1姿势信息db1的计算原理的图。
14.图5是用于说明本实施方式的动作例的图。
15.图6是用于说明本实施方式的动作例的图。
16.图7是表示控制装置10a的处理装置140按照程序pa执行的投射方法的流程的流程图。
17.图8是表示本公开第2实施方式的投射系统1b的结构例的图。
18.图9是用于说明本实施方式中的虚拟空间vs的图。
19.图10是表示投射系统1b所包含的控制装置10b的结构例的图。
20.图11是表示控制装置10b的处理装置140按照程序pb执行的投射方法的流程的流程图。
21.图12是用于说明本实施方式的效果的图。
22.图13是用于说明本实施方式的效果的图。
23.标号说明
24.1a、1b：投射系统；10a、10b：控制装置；100：通信装置；110：显示装置；120：输入装置；130：存储装置；140：处理装置；141a、141b：取得部；142a、142b：第1生成部；143a、143b：第2生成部；144a、144b：转换部；145：投射控制部；20：投影仪；30：摄像头；pa、pb：程序。
具体实施方式
25.以下，参照附图说明本公开的实施方式。在以下所述的实施方式中附加了在技术上优选的各种限定。但是，本公开的实施方式不限于以下所述的方式。
26.1.第1实施方式
27.图1是表示本公开第1实施方式的投射系统1a的结构例的图。如图1所示，投射系统1a包含控制装置10a、用于将投射图像投射到投射对象物ps的投影仪20、以及用于拍摄投射对象物ps的摄像头30。投射对象物ps是具有三维形状的物体。如图1所示，本实施方式中的投射对象物ps是长方体状的物体。
28.如图1所示，投影仪20经由usb(universal serial bus：通用串行总线)线缆等通信线l1与控制装置10a连接。同样地，摄像头30经由usb线缆等通信线l2与控制装置10a连接。控制装置10a经由通信线l2与摄像头30进行通信，由此从摄像头30取得表示投射对象物ps的拍摄图像的拍摄图像数据。由摄像头30拍摄的投射对象物ps的拍摄图像是本公开中的第1图像的一例。此外，控制装置10a与摄像头30之间的通信也可以是无线通信。同样地，控制装置10a与投影仪20之间的通信也可以是无线通信。
29.控制装置10a受理如下的用户操作：在投射对象物ps的拍摄图像中的投射对象物ps所示的区域中，描绘向投射对象物ps投射的描绘对象。控制装置10a根据该操作，生成表示从投影仪20向投射对象物ps投射的投射图像的投射图像数据。控制装置10a经由通信线l1将生成的投射图像数据发送到投影仪20。在投射系统1a中，通过将投射图像数据表示的投射图像从投影仪20投射到投射对象物ps，实现投影映射。以下，以显著地表示本实施方式的特征的控制装置10a为中心进行说明。
30.图2是表示控制装置10a的硬件结构的一例的框图。如图2所示，控制装置10a包含通信装置100、显示装置110、输入装置120、存储装置130以及处理装置140。作为控制装置10a的具体例，可举出智能手机或平板终端等便携终端。
31.在通信装置100上连接有通信线l1以及通信线l2。通信装置100经由通信线l2接收从摄像头30发送的拍摄图像数据。通信装置100将接收到的拍摄图像数据输出到处理装置140。此外，通信装置100经由通信线l1将从处理装置140提供的投射图像数据发送到投影仪20。作为通信装置100的具体例，可举出接口电路。
32.显示装置110是在处理装置140的控制下显示图像的装置。作为显示装置110的具体例，可举出液晶显示器及该液晶显示器的驱动电路。作为显示于显示装置110的图像的一例，可举出拍摄图像数据所表示的图像、即摄像头30所拍摄的投射对象物ps的拍摄图像。
33.输入装置120是受理用户对投射系统1a的操作的装置。作为输入装置120的具体例，可举出以覆盖显示装置110的显示区域的方式配置的透明的片状的压敏传感器。在本实施方式中，使用该压敏传感器作为输入装置120，由显示装置110和输入装置120形成触摸面板。在显示装置110上显示有投射对象物ps的拍摄图像的状况下，投射系统1a的用户能够对输入装置120进行如下操作：在该拍摄图像中投射对象物ps所占的区域，描绘向投射对象物ps投射的描绘对象。输入装置120将表示用户对输入装置120进行的操作的操作内容数据提供给处理装置140。通过将操作内容数据从输入装置120提供给处理装置140，用户的操作内容被传递给处理装置140。
34.存储装置130包含作为易失性存储装置的ram(random access memory：随机存取存储器)和作为非易失性存储装置的rom(read only memory：只读存储器)。在非易失性存储装置中存储有使处理装置140执行显著地表示本公开的特征的投射方法的程序pa。易失性存储装置作为执行程序pa时的工作区域而被处理装置140利用。另外，在存储装置130的易失性存储装置中存储有第1位置信息da1、第1姿势信息db1、第2位置信息da2、第2姿势信息db2、第3位置信息da3、第3姿势信息db3以及标记信息dm。
35.在本实施方式中，如图1所示，对投射对象物ps的表面预先赋予有多个标记m。这多个标记m分别是互不相同的ar(augmented reality：增强现实)标记。关于这些多个标记m，预先测量它们在配置有投射对象物ps、投影仪20以及摄像头30的三维空间中的三维位置。以下，将配置有投射对象物ps、投影仪20以及摄像头30的三维空间称为实际空间。在测量实际空间中的各标记m的三维位置时，设定任意的三维坐标系。该三维坐标系被称为实际空间坐标系。在本实施方式中，多个标记m各自在实际空间坐标系中的三维坐标值是已知的。标记信息dm是表示实际空间坐标系中的多个标记m各自的三维位置的信息。标记信息dm预先存储在存储装置130中。
36.第3位置信息da3是表示在实际空间坐标系中从投影仪20观察到的摄像头30的三维位置、即实际空间坐标系中的投影仪20与摄像头30的相对三维位置的信息。在本实施方式中，作为实际空间坐标系中的摄像头30的三维位置，使用实际空间坐标系中的摄像头30的拍摄镜头的主点的位置。另外，在本实施方式中，作为实际空间坐标系中的投影仪20的三维位置，使用实际空间坐标系中的投影仪20的投射镜头的主点的位置。本实施方式中的第3位置信息da3与在实际空间坐标系中通过平移使摄像头30的拍摄镜头的主点移动到投影仪20的主点时的平移矩阵对应。在本实施方式中，投影仪20与摄像头30的相对三维位置是固
定的，第3位置信息da3预先存储在存储装置130中。
37.以下，将如下的坐标系称为摄像头坐标系：以摄像头30的主点为原点、以沿着摄像头30所拍摄的拍摄图像的水平扫描方向的坐标轴为x轴、以沿着该拍摄图像的垂直扫描方向的坐标轴为y轴、且以沿着摄像头30的光轴的坐标轴为z轴。另外，将如下的坐标系称为投影仪坐标系：以投影仪20的主点为原点、以沿着投影仪20所投射的投射图像的水平扫描方向的坐标轴为x轴、以沿着该投射图像的垂直扫描方向的坐标轴为y轴、且以沿着投影仪20的光轴的坐标轴为z轴。
38.第3姿势信息db3是表示实际空间坐标系中的摄像头30相对于投影仪20的相对姿势的信息。本实施方式中的第3姿势信息db3是通过旋转将在实际空间坐标系中沿着投影仪20的光轴的单位矢量转换为在实际空间坐标系中沿着摄像头30的光轴的单位矢量的旋转矩阵。在本实施方式中，实际空间坐标系中的摄像头30相对于投影仪20的相对姿势是固定的，表示两者的相对姿势的第3姿势信息db3预先存储在存储装置130中。第3位置信息da3以及第3姿势信息db3是用于将摄像头坐标系与投影仪坐标系相互转换的信息。
39.第1位置信息da1是表示在实际空间坐标系中从摄像头30观察到的投射对象物ps的三维位置、即实际空间坐标系中的摄像头30与投射对象物ps的相对三维位置的信息。第1姿势信息db1是表示实际空间坐标系中的摄像头30的姿势、即摄像头30的光轴的朝向的信息。第1位置信息da1以及第1姿势信息db1基于pnp(perpective n-points：透视n点)的原理，按照以下的要领生成。
40.图3是表示由摄像头30拍摄的拍摄图像g1的一例的图。该拍摄图像g1与图4所示的前方剪裁(clipping)面f1对应。更详细而言，在实际空间坐标系中，前端位于摄像头30的主点mp、且包含投射对象物ps的视锥体s1中的前方剪裁面f1经由拍摄镜头而显现于摄像头30的摄像面，由此拍摄出拍摄图像g1。摄像头坐标系中的标记m的三维位置使用拍摄图像g1上的标记m的二维位置(mx，my)和从摄像头30的主点mp到前方剪裁面f1的距离f，表示为(mx，my，f)。
41.如上所述，由于标记m在真实空间坐标系中的三维位置(x，y，z)是已知的，因此如以下式(1)所示，标记m在真实空间坐标系中的三维位置(x，y，z)和标记m在摄像头坐标系中的三维位置(mx，my，f)使用式(2)所示的内部参数矩阵f和式(3)所示的矩阵rt相互关联。另外，内部参数矩阵f中的fx表示摄像头30的拍摄镜头的焦距中的水平扫描方向的焦距，fy表示拍摄镜头的焦距中的垂直扫描方向的焦距。另外，cx和cy是通过摄像头30的主点mp且沿着z轴的直线与前方剪裁面f1的交点p1在拍摄图像g1上的x坐标和y坐标。此外，内部参数矩阵f是已知的，表示内部参数矩阵f的信息预先存储于存储装置130。另外，在本实施方式中，投影仪20的投射镜头的内部参数矩阵也预先存储于存储装置130。
42.[0043][0044][0045]
矩阵rt包含由分量r11～r33构成的3行3列的旋转矩阵、和由分量t1～t3构成的3行1列的平移矩阵。在本实施方式中，该旋转矩阵是第1姿势信息db1，该平移矩阵是第1位置信息da1。在本实施方式中，由于构成矩阵rt的12个分量是未知的，所以通过使将关于至少6个标记m的实际空间坐标系中的三维位置(x、y、z)和拍摄图像g1上的二维位置(mx、my)代入式1而得到的12个式联立并求解，求出第1姿势信息db1和第1位置信息da1。
[0046]
第2位置信息da2是表示在实际空间坐标系中从投影仪20观察到的投射对象物ps的三维位置、即实际空间坐标系中的投影仪20与投射对象物ps的相对三维位置的信息。本实施方式中的第2位置信息da2与第1位置信息da1同样是平移矩阵。第2姿势信息db2是表示实际空间坐标系中的投影仪20的姿势、即投影仪20的光轴的朝向的信息。第2姿势信息db2与第1姿势信息db1同样是旋转矩阵。在本实施方式中，由于摄像头30与投影仪20的相对三维位置以及相对姿势是固定的，所以第2位置信息da2基于第1位置信息da1和第3位置信息da3而生成。另外，第2姿势信息db2基于第1姿势信息db1和第3姿势信息db3生成。
[0047]
处理装置140包含cpu(central processing unit：中央处理单元)等处理器、即计算机。处理装置140中可以包含1个处理器，也可以包含多个处理器。处理装置140以控制装置10a的电源接通为契机，将程序pa从非易失性存储装置读出到易失性存储装置，并开始程序pa的执行。
[0048]
更具体而言，如图2所示，按照程序pa工作的处理装置140作为取得部141a、第1生成部142a、第2生成部143a、转换部144a以及投射控制部145发挥功能。即，图2所示的取得部141a、第1生成部142a、第2生成部143a、转换部144a以及投射控制部145是通过按照程序pa使计算机工作而实现的软件模块。取得部141a、第1生成部142a、第2生成部143a、转换部144a以及投射控制部145各自的功能如下。
[0049]
取得部141a取得利用摄像头30对投射对象物ps进行拍摄而得到的拍摄图像。更详细地进行说明，取得部141a通过使用通信装置100与摄像头30进行通信，取得从摄像头30发送的图像数据、即表示由摄像头30拍摄的投射对象物ps的拍摄图像的拍摄图像数据。
[0050]
第1生成部142a基于由取得部141a取得的拍摄图像数据表示的拍摄图像和标记信息dm，根据pnp的原理，生成第1位置信息da1以及第1姿势信息db1。另外，第1生成部142a基于第1位置信息da1以及第3位置信息da3生成第2位置信息da2，并且基于第1姿势信息db1以及第3姿势信息db3生成第2姿势信息db2。
[0051]
第2生成部143a使显示装置110显示由取得部141a取得的拍摄图像数据所表示的图像、即由摄像头30拍摄的投射对象物ps的拍摄图像，由此受理在拍摄图像中的投射对象物ps所占的区域对描绘对象进行描绘的操作。第2生成部143a接收从输入装置120输出的操
作内容数据。操作内容数据是与描绘的操作对应的数据。第2生成部143a通过接收操作内容数据来受理对描绘对象进行描绘的操作。第2生成部143a基于操作内容数据，生成表示拍摄图像中的描绘对象的二维位置、具体而言描绘对象上的多个点各自的二维位置的第1对象信息。例如，假设在图3所示的拍摄图像g1显示于显示装置110的状况下，对输入装置120进行了描绘图5中虚线所示的描绘对象ob1的操作。在该情况下，第2生成部143a生成表示位于图5中虚线所示的线上的多个点各自的二维位置的第1对象信息。
[0052]
转换部144a在投射对象物ps的表面配置有描绘对象的情况下，将第1对象信息转换为表示在投射对象物ps的表面配置的描绘对象的三维位置、即在实际空间坐标系中的三维位置的第2对象信息。更详细地进行说明，转换部144a使用第1位置信息da1、第1姿势信息db1以及拍摄镜头的内部参数矩阵，在图4的f1所示那样的前方剪裁面，配置第1对象信息所示的第1对象。转换部144a通过计算作为前方剪裁面上的第1对象与存在于拍摄镜头的主点mp的延长线上的对象的交点的三维位置，将第1对象信息转换为第2对象信息。在拍摄镜头具有畸变的情况下，转换部144a通过将配置于前方剪裁面的第1对象配置于进行了校正该畸变的所谓畸变校正处理的坐标，将第1对象信息转换为不具有镜头畸变的影响的第2对象信息、即表示三维空间中的描绘对象的准确的三维位置的第2对象信息。
[0053]
投射控制部145将第2对象信息转换为表示从投影仪20投射的图像上的描绘对象的二维位置、即投影仪坐标系中的二维位置的第3对象信息。更详细地进行说明，投射控制部145将第2位置信息da2、第2姿势信息db2以及投射镜头的内部参数矩阵代入式(1)，进而将第2对象信息所示的坐标值代入式(1)的右边的x、y以及z来进行式(1)所示的运算，由此将第2对象信息转换为第3对象信息。然后，投射控制部145根据第3对象信息生成表示包含描绘对象的投射图像的图像数据，并将所生成的图像数据发送到投影仪20。由于在式(1)中能够包含表示镜头畸变的内部参数，所以通过按照该式(1)将第2对象信息转换为第3对象信息，生成考虑了投射镜头的镜头畸变的投射图像。通过将该投射图像从投影仪20投射到投射对象物ps，如图6所示，在通过对拍摄图像g1的操作而指定的位置，通过该操作而指定的形状的描绘对象显现在投射对象物ps的表面。
[0054]
另外，按照程序pa工作的处理装置140执行显著地表示本实施方式的特征的投射方法。图7是表示该投射方法的流程的流程图。如图7所示，该投射方法包含取得处理sa100、第1生成处理sa110、第2生成处理sa120、转换处理sa130以及投射控制处理sa140。取得处理sa100、第1生成处理sa110、第2生成处理sa120、转换处理sa130以及投射控制处理sa140各自的内容如下。
[0055]
在取得处理sa100中，处理装置140作为取得部141a发挥功能。在取得处理sa100中，处理装置140通过使用通信装置100与摄像头30进行通信，取得表示利用摄像头30对投射对象物ps进行拍摄而得到的拍摄图像的拍摄图像数据。
[0056]
在第1生成处理sa110中，处理装置140作为第1生成部142a发挥功能。在第1生成处理sa110中，处理装置140基于在取得处理sa100中取得的拍摄图像数据表示的拍摄图像和标记信息dm，根据pnp的原理，生成第1位置信息da1以及第1姿势信息db1。另外，处理装置140基于第1位置信息da1以及第3位置信息da3生成第2位置信息da2，并且基于第1姿势信息db1以及第3姿势信息db3生成第2姿势信息db2。
[0057]
在第2生成处理sa120中，处理装置140作为第2生成部143a发挥功能。在第2生成处
理sa120中，处理装置140使在取得处理sa100中取得的拍摄图像数据所表示的图像显示于显示装置110，由此受理在拍摄图像中的投射对象物ps所占的区域对描绘对象进行描绘的操作。然后，处理装置140通过输入装置120受理该操作，根据从输入装置120提供的操作内容数据，生成表示拍摄图像中的描绘对象的二维位置的第1对象信息。如上所述，若对显示于显示装置110的拍摄图像g1如图5中虚线所示那样描绘出描绘对象ob1，则在第2生成处理sa120中，生成表示该虚线上的多个点各自在拍摄图像上的二维位置的第1对象信息。
[0058]
在转换处理sa130中，处理装置140作为转换部144a发挥功能。在转换处理sa130中，处理装置140基于第1位置信息da1以及第1姿势信息db1将第1对象信息转换为第2对象信息。
[0059]
在投射控制处理sa140中，处理装置140作为投射控制部145发挥功能。在投射控制处理sa140中，处理装置140基于第2位置信息da2和第2姿势信息db2，将第2对象信息转换为第3对象信息。接着，处理装置140基于第3对象信息，生成表示包含描绘对象ob1的投射图像的图像数据，并将所生成的图像数据发送到投影仪20。通过将该投射图像从投影仪20投射到投射对象物ps，如图6所示，在通过对拍摄图像g1的操作而指定的三维位置，通过该操作而指定的形状的描绘对象显现在投射对象物ps的表面。
[0060]
如以上说明的那样，根据本实施方式，能够将用户为了向投射对象物ps投射而在投射对象物ps的拍摄图像中描绘的描绘对象的图像在准确的三维位置以准确的形状向投射对象物ps投射。
[0061]
2.第2实施方式
[0062]
图8是表示本公开第2实施方式的投射系统1b的结构例的图。在本实施方式中，如图9所示，在包含对投射对象物ps进行模拟的虚拟物体vps以及对投影仪20进行模拟的虚拟投影仪vpj的虚拟空间vs中，基于从由用户设定的视点vp观察该虚拟物体vps的图像来生成投射图像，这一点与第1实施方式不同。在该虚拟空间vs中设定任意的三维坐标系。另外，设定于虚拟空间vs的三维坐标系被称为虚拟空间坐标系。在本实施方式中，虚拟空间坐标系中的虚拟物体vps与虚拟投影仪vpj的相对三维位置根据实际空间坐标系中的投射对象物ps与投影仪20的相对三维位置来确定。具体而言，虚拟空间坐标系中的虚拟物体vps与虚拟投影仪vpj的相对三维位置和实际空间坐标系中的投射对象物ps与投影仪20的相对三维位置相同。在本实施方式中，实际空间坐标系中的投影仪20与投射对象物ps的相对三维位置、以及投影仪20的光轴的朝向是已知的。在投射对象物ps的形状通过cad(computer-aided design：计算机辅助设计)设计的情况下，作为虚拟空间vs的具体例，可举出该cad空间。
[0063]
在图8和图1中，对相同的结构要素标注相同的标号。比较图8和图1可知，投射系统1b在代替控制装置10a而具有控制装置10b这一点以及不具有摄像头30这一点上，与投射系统1a不同。在本实施方式中，基于在虚拟空间vs中从由用户设定的视点vp观察该虚拟物体vps的图像来生成投射图像，因此不需要摄像头30。另外，在本实施方式中，用户能够将视点vp设定在任意的三维位置。
[0064]
图10是表示控制装置10b的结构例的框图。在图10中，对与图2中的结构要素相同的结构要素标注相同的标号。在本实施方式中存储装置130未存储第3位置信息da3、第3姿势信息db3以及标记信息dm，在这一点上，本实施方式与第1实施方式不同。第1位置信息da1以及第2位置信息da2分别是平移矩阵这一点与第1实施方式相同。另外，第1姿势信息db1以
及第2姿势信息db2分别是旋转矩阵这一点也与第1实施方式相同。
[0065]
在本实施方式中，第1位置信息da1表示虚拟空间vs中的视点vp与虚拟物体vps的相对三维位置，第1姿势信息db1表示在虚拟空间vs中从视点vp观察虚拟物体vps的方向，这一点与第1实施方式不同。另外，在本实施方式中，第2位置信息da2表示虚拟投影仪vpj与虚拟物体vps的相对三维位置，第2姿势信息db2表示虚拟投影仪vpj的光轴的朝向，这一点与第1实施方式不同。但是，在本实施方式中，虚拟投影仪vpj与虚拟物体vps的相对三维位置和投影仪20与投射对象物ps的相对三维位置相同，虚拟投影仪vpj的光轴的朝向和投影仪20的光轴的朝向相同。在本实施方式中，投影仪20与投射对象物ps的相对三维位置以及投影仪20的光轴的朝向是已知的，第2位置信息da2以及第2姿势信息db2预先存储在控制装置10b的存储装置130中。此外，虽然在图10中省略了详细的图示，但在控制装置10b的存储装置130中预先存储有虚拟空间坐标系、以及表示虚拟空间vs中的虚拟物体vps的三维位置和形状的虚拟空间信息。
[0066]
对比图10和图2可知，在本实施方式中，代替程序pa而将程序pb存储于存储装置130。与第1实施方式的情况同样地，处理装置140以控制装置10b的电源接通为契机，开始程序pb的执行。如图10所示，按照程序pb工作的处理装置140作为取得部141b、第1生成部142b、第2生成部143b、转换部144b以及投射控制部145发挥功能。取得部141b、第1生成部142b、第2生成部143b、转换部144b以及投射控制部145是通过使计算机按照程序pb工作而实现的软件模块。
[0067]
取得部141b将虚拟空间vs的图像显示于显示装置110，由此受理设定虚拟空间vs中的视点vp的三维位置以及从视点vp观察虚拟物体vps的方向的操作。当对输入装置120进行这些操作时，取得部141b基于虚拟空间信息和表示虚拟空间vs中的视点vp的三维位置的信息，计算表示从由用户设定的视点vp观察虚拟物体vps的虚拟拍摄图像的图像数据，由此取得表示该虚拟拍摄图像的图像数据。该虚拟拍摄图像是本公开中的第1图像的一例。虚拟拍摄图像不是经由拍摄镜头拍摄到的图像，因此不包含镜头畸变。
[0068]
第1生成部142b基于虚拟空间vs中的视点vp的三维位置、从视点vp观察虚拟物体vps的方向、以及虚拟空间信息，生成第1位置信息da1以及第1姿势信息db1。
[0069]
第2生成部143b使显示装置110显示由取得部141b取得的拍摄图像数据所表示的图像、即虚拟拍摄图像，由此受理在虚拟拍摄图像中的虚拟物体vps所占的区域对描绘对象进行描绘的操作。如上所述，由于虚拟拍摄图像不包含镜头畸变，因此根据本实施方式，能够使用没有镜头畸变的图像作为基准来对描绘对象进行描绘。第2生成部143b通过输入装置120受理对描绘对象进行描绘的操作，根据从输入装置120提供的操作内容数据，生成表示虚拟拍摄图像中的描绘对象的二维位置的第1对象信息。
[0070]
转换部144b基于第1位置信息da1以及第1姿势信息db1，将第1对象信息转换为表示配置于虚拟物体vps的表面的描绘对象的三维位置、即在虚拟空间坐标系中的位置的第2对象信息。
[0071]
投射控制部145与第1实施方式的情况同样地将第2对象信息转换为表示投射图像上的描绘对象的二维位置的第3对象信息，由此将包含该描绘对象的投射图像从投影仪20向投射对象物投射。
[0072]
另外，按照程序pb工作的处理装置140执行显著地表示本实施方式的特征的投射
方法。图11是表示该投射方法的流程的流程图。在图11中，对与图7中的处理相同的处理标注相同的标号。比较图11和图7可知，本实施方式中的投射方法与第1实施方式中的投射方法的不同之处在于，代替取得处理sa100而包含取得处理sb100，代替第1生成处理sa110而包含第1生成处理sb110，代替第2生成处理sa120而包含第2生成处理sb120，以及代替转换处理sa130而包含转换处理sb130。
[0073]
在取得处理sb100中，处理装置140作为取得部141b发挥功能。在取得处理sb100中，处理装置140将虚拟空间vs的图像显示于显示装置110，由此受理设定虚拟空间vs中的视点vp的三维位置以及从视点vp观察虚拟物体vps的方向的操作。然后，处理装置140基于虚拟空间信息、以及表示该视点vp在虚拟空间vs中的三维位置和从视点vp观察虚拟物体vps的方向的信息，计算表示从由用户设定的视点vp观察虚拟物体vps的虚拟拍摄图像的图像数据，由此取得表示该虚拟拍摄图像的图像数据。
[0074]
在第1生成处理sb110中，处理装置140作为第1生成部142b发挥功能。在第1生成处理sb110中，处理装置140基于由用户设定的视点vp的三维位置、从该视点vp观察虚拟物体vps的方向、以及虚拟空间信息，生成第1位置信息da1以及第1姿势信息db1。
[0075]
在第2生成处理sb120中，处理装置140作为第2生成部143b发挥功能。在第2生成处理sb120中，处理装置140使在取得处理sb100中取得的图像数据所表示的虚拟拍摄图像显示于显示装置110，由此受理在该虚拟拍摄图像中的虚拟物体vps所占的区域对描绘对象进行描绘的操作。然后，处理装置140通过输入装置120受理该操作，根据从输入装置120提供的操作内容数据，生成表示虚拟拍摄图像中的描绘对象的二维位置的第1对象信息。
[0076]
在转换处理sb130中，处理装置140作为转换部144b发挥功能。在转换处理sb130中，处理装置140基于第1位置信息da1以及第1姿势信息db1将第1对象信息转换为第2对象信息。
[0077]
在投射控制处理sa140中，处理装置140作为投射控制部145发挥功能。在投射控制处理sa140中，处理装置140基于第2位置信息da2和第2姿势信息db2，将第2对象信息转换为第3对象信息。接着，处理装置140基于第3对象信息生成表示包含描绘对象的投射图像的图像数据，并将所生成的图像数据发送到投影仪20。
[0078]
根据本实施方式，也能够将用户为了投射到投射对象物ps而在虚拟拍摄图像中描绘的图像在准确的三维位置以准确的形状从投影仪20投射到投射对象物ps。此外，在本实施方式中，投影仪20与投射对象物ps的相对三维位置以及投影仪20的光轴的朝向是已知的，第2位置信息da2以及第2姿势信息db2预先设定在存储装置130中。但是，也可以在取得处理sb100中受理设定虚拟投影仪vpj的三维位置以及姿势的操作，在第1生成处理sb110中，根据该操作生成第2位置信息da2以及第2姿势信息db2。
[0079]
此外，在本实施方式中，能够任意地设定视点vp的三维位置以及从视点vp观察虚拟物体vps的方向，因此，通过以正对观察投射对象物ps的6个面中的、期望配置描绘对象的面的方式，设定虚拟空间vs中的视点vp的三维位置以及从视点vp观察虚拟物体vps的方向，能够起到以下的效果。另外，正对观察期望配置描绘对象的面是指，通过视点vp和该面的中心的直线与该面垂直地相交，且从视点vp观察虚拟物体vps的方向沿着该直线。
[0080]
在第1实施方式的投射系统1a中，如图12所示，若对在投射对象物ps中配置有描绘对象ob2的面与摄像头30的光轴不垂直的状态下拍摄到的拍摄图像(即，未正对观察投射对
象物ps的拍摄图像)描绘出描绘对象，则如图13所示，在投射对象物ps的表面显现的描绘对象ob2产生投影畸变。在本实施方式中，以正对观察期望配置描绘对象的面的方式，设定视点vp的三维位置以及从视点vp观察虚拟物体vps的方向，由此避免了投影畸变的产生。另外，视点vp的三维位置的设定也可以限制为对正对观察虚拟物体vps的位置的设定。正对观察虚拟物体vps的位置是指正对观察形成虚拟物体vps的外延的多个面中的任意的面的位置。在将视点vp的三维位置的设定限制为对正对观察虚拟物体vps的位置的设定的方式中，能够省略第1姿势信息db1。这是因为，在该方式中，能够通过将描绘于虚拟拍摄图像的描绘对象以和视点vp与虚拟物体vps之间的距离、以及前端位于视点vp的视锥体中的从前方剪裁面到视点vp的距离相应的比率缩小并投影于虚拟物体vps来生成第2对象信息。
[0081]
3.变形
[0082]
上述各实施方式可以如下变形。
[0083]
(1)在上述第2实施方式中，也可以将通过第2对象信息表示三维空间中的三维位置的描绘对象作为纹理贴附于虚拟物体vps的表面。根据本方式，在虚拟物体vps随着投射对象物ps的移动而移动的情况下，不进行虚拟拍摄图像上的描绘对象的再描绘，就能够使表面已配置描绘对象的虚拟物体vps的虚拟拍摄图像显示于显示装置110。关于第1实施方式也同样，如果代替拍摄图像而使用虚拟拍摄图像，则在投射对象物ps移动的情况下不用进行描绘对象的再描绘，就能够使表面已配置描绘对象的虚拟物体vps的虚拟拍摄图像显示于显示装置110。
[0084]
(2)在上述第1实施方式中，利用配置于投射对象物ps的表面的多个标记m，取得了第1位置信息da1以及第1姿势信息db1。但是，也可以通过输入装置120受理对分别位于投射对象物ps的拍摄图像中显现的投射对象物ps的表面、且各自的三维位置已知的多个特征点进行选择的操作，基于这多个特征点各自在拍摄图像上的二维位置来取得第1位置信息da1以及第1姿势信息db1。另外，也可以在第2实施方式的投射系统1b中追加摄像头30，代替第1生成处理sb110而在控制装置10b中执行第1生成处理sa110。在该情况下，也可以代替多个标记m，而使用分别位于投射对象物ps的拍摄图像中显现的该投射对象物ps的表面、且各自的三维位置已知的多个特征点。
[0085]
(3)通信装置100也可以经由无线lan(local area network：局域网)或有线lan等通信网与投影仪20或摄像头30进行通信。作为经由有线lan与投影仪20或摄像头30进行通信的方式中的通信装置100的具体例，可举出经由lan线缆与有线lan连接的nic(network interface card：网络接口卡)。另外，作为经由无线lan与投影仪20或者摄像头30进行通信的方式中的通信装置100的具体例，可举出接收该无线lan中的通信电波的天线、以及进行该通信电波的调制和解调的电路。另外，通信装置100也可以经由通信网与管理者终端进行通信，该管理者终端承担显示装置110以及输入装置120的功能。根据该方式，通过将提醒投射图像的视听者的注意的注释信息用作描绘对象，能够经由投射对象物ps进行视听者与远程地点的管理者的实时远程交流。
[0086]
在投射对象物ps是在工厂的生产线上通过作业者的手动作业而制造的物体的情况下，作为该远程交流的具体例，可列举如下例子：管理者通过在投射对象物ps的拍摄图像或者虚拟拍摄图像上依次描绘表示作业部位的描绘对象来指导作业步骤。另外，作为上述远程交流的另一具体例，可列举如下例子：将公共设施中的地形立体模型等作为投射对象
物ps，由策展人等管理者在投射对象物ps的拍摄图像或虚拟拍摄图像上依次描绘表示关注部位的描绘对象，由此对公共设施的参观者进行与投射对象物ps相关的解说。另外，作为上述远程交流的又一具体例，可列举如下例子：将医疗教育中的人体模型作为投射对象物ps，由指导教官等管理者在投射对象物ps的拍摄图像或虚拟拍摄图像上依次描绘表示关注部位的描绘对象，由此对学习者进行指导。这样，根据本公开，具有特定知识或技能的人不前往现场就能够进行不具有该知识等的人的指导等。
[0087]
(4)上述第1实施方式中的投射系统1a所包含的投影仪20的数量是1个，但也可以是2个以上。例如，在投射对象物ps比能够通过投影仪20投射图像的范围大的情况下，也可以使用多个投影仪20，对各投影仪20分配互不相同的投射区域。同样地，在投射系统1b中也可以包含多个投影仪20。另外，也可以在投射系统1a中包含多个摄像头30。
[0088]
(5)上述第1实施方式中的控制装置10a也可以单独制造或销售。通过在包含1个或多个投影仪20和1个或多个摄像头30并实现投影映射的以往的投射系统中追加控制装置10a，能够在该以往的投射系统中执行本公开的投射方法。同样地，第2实施方式中的控制装置10b也可以单独制造或销售。
[0089]
(6)在上述第1实施方式中，将投射图像投射到投射对象物ps的投影仪20和生成表示投射图像的图像数据的控制装置10a是独立的装置，但控制装置10a也可以包含于投影仪20，另外，也可以包含于摄像头30。对于第2实施方式中的控制装置10b也同样地，该控制装置10b也可以包含于投影仪20。另外，上述第1实施方式中的取得部141a、第1生成部142a、第2生成部143a、转换部144a以及投射控制部145是软件模块，但也可以是asic(application specific integrated circuit：专用集成电路)等硬件模块。上述第2实施方式中的取得部141b、第1生成部142b、第2生成部143b、转换部144b以及投射控制部145也可以是asic等硬件模块。
[0090]
(7)上述第1实施方式中的程序pa可以单独制造，也可以有偿或无偿发布。作为程序pa的具体发布方法，可以考虑在闪存rom(read only memory：只读存储器)等计算机可读取的记录介质中写入程序pa来发布的方式、或者通过经由因特网等电气通信线路的下载来发布的方式。按照通过这些方式发布的程序pa使一般的计算机工作，由此能够使该计算机作为控制装置10a发挥功能。在使用计算机作为控制装置10a的情况下，也可以使用鼠标和键盘中的至少一方作为输入装置120。同样地，上述第2实施方式中的程序pb可以单独制造，也可以有偿或无偿地发布。
[0091]
(8)在上述第1实施方式中，在投射对象物ps、投影仪20的三维位置和光轴的朝向、以及摄像头30的三维位置和光轴的朝向被固定的情况下，能够预先生成第1位置信息da1、第1姿势信息db1、第2位置信息da2以及第2姿势信息db2并存储于存储装置130。在该情况下，不需要第1生成部142a，也能够省略第1生成处理sa110。对于第2实施方式也同样，在投射对象物ps、投影仪20的三维位置和光轴的朝向、以及视点vp的三维位置和从视点vp观察虚拟物体vps的方向被固定的情况下，不需要第1生成部142b，也能够省略第1生成处理sb110。
[0092]
4.根据实施方式以及各变形例中的至少1个掌握的方式
[0093]
本公开不限于上述的实施方式以及变形例，能够在不脱离其主旨的范围内以各种方式实现。例如，本公开也能够通过以下的方式来实现。为了解决本公开的课题的一部分或
全部，或者为了实现本公开的效果的一部分或全部，与以下记载的各方式中的技术特征对应的上述实施方式中的技术特征能够适当地进行替换、组合。另外，如果该技术特征在本说明书中没有作为必需的技术特征进行说明，则能够适当地删除。
[0094]
本公开的投射方法的一个方式包含以下的取得处理sa100、第2生成处理sa120、转换处理sa130以及投射控制处理sa140。取得处理sa100是如下处理：取得利用摄像头30对投射对象物ps进行拍摄而得到的拍摄图像。利用摄像头30对投射对象物ps进行拍摄而得到的拍摄图像是本公开中的第1图像的一例。第2生成处理sa120是如下处理：受理用户在由取得处理sa100取得的拍摄图像中的投射对象物ps所占的区域中对描绘对象进行描绘的操作，由此生成表示拍摄图像中的描绘对象的二维位置的第1对象信息。转换处理sa130是将第1对象信息转换为第2对象信息的处理，所述第2对象信息表示在投射对象物ps的表面配置有描绘对象的情况下、配置于投射对象物ps的表面的描绘对象的三维位置。在转换处理sa130中，第1对象信息基于表示摄像头30与投射对象物ps的相对三维位置的第1位置信息da1、以及表示摄像头30的光轴的朝向的第1姿势信息db1，被转换为第2对象信息。投射控制处理sa140是如下处理：将第2对象信息转换为表示从投影仪20投射的图像上的描绘对象的二维位置的第3对象信息，由此将包含描绘对象的投射图像从投影仪20向投射对象物ps投射。在投射控制处理sa140中，基于表示投影仪20与投射对象物ps的相对三维位置的第2位置信息da2、以及表示投影仪20的光轴的朝向的第2姿势信息db2，将第2对象信息转换为第3对象信息。根据本方式的投射方法，能够将用户对投射对象物ps的拍摄图像描绘的图像在准确的三维位置以准确的形状从投影仪20投射到投射对象物ps。
[0095]
更优选的方式的投射方法也可以还包含生成第1位置信息da1、第1姿势信息db1、第2位置信息da2以及第2姿势信息db2的第1生成处理sa110。根据本方式，能够任意地设定摄像头30相对于投射对象物ps的相对三维位置以及姿势、和投影仪20相对于投射对象物ps的相对三维位置以及姿势。
[0096]
在包含第1生成处理sa110的方式的投射方法中，也可以在投射对象物ps的表面配置各自的三维位置已知的多个标记m。在该方式中，第1生成处理sa110也可以包含以下的第1处理、第2处理以及第3处理。第1处理是如下处理：基于拍摄图像中的多个标记m各自的二维位置，生成第1位置信息da1以及第1姿势信息db1。第2处理是如下处理：基于表示摄像头30与投影仪20的相对三维位置的第3位置信息da3和第1位置信息da1，生成第2位置信息da2。第3处理是如下处理：基于表示摄像头30与投影仪20的相对姿势的第3姿势信息db3和第1姿势信息db1，生成第2姿势信息db2。根据本方式，能够基于配置于投射对象物ps的表面的多个标记m来生成第1位置信息da1、第1姿势信息db1、第2位置信息da2以及第2姿势信息db2。
[0097]
在包含第1生成处理sa110的方式的另一方式的投射方法中，第1生成处理sa110在以下也可以包含第4处理、第5处理、第6处理以及第7处理。第4处理是如下处理：受理对分别位于拍摄图像中显现的投射对象物ps的表面、且各自的三维位置已知的多个特征点进行选择的操作。第5处理是如下处理：基于拍摄图像中的多个特征点各自的二维位置，生成第1位置信息da1以及第1姿势信息db1。第6处理是如下处理：基于表示摄像头30与投影仪20的相对三维位置的第3位置信息da3和第1位置信息da1，生成第2位置信息da2。第7处理是如下处理：基于表示摄像头30与投影仪20的相对姿势的第3姿势信息db3和第1姿势信息db1，生成
第2姿势信息db2。根据本方式，能够基于位于投射对象物ps的表面的多个特征点来生成第1位置信息da1、第1姿势信息db1、第2位置信息da2以及第2姿势信息db2。
[0098]
另外，本公开的另一方式的投射方法包含取得处理sb100、第2生成处理sb120、转换处理sb130以及投射控制处理sa140。取得处理sb100是如下处理：包含对投射对象物ps进行模拟的虚拟物体和对向投射对象物ps投射图像的投影仪20进行模拟的虚拟投影仪的虚拟空间中，取得从用户设定的视点观察虚拟物体而得到的虚拟拍摄图像，其中，在所述虚拟空间中，虚拟物体与虚拟投影仪的相对三维位置是根据投射对象物ps与投影仪20的相对三维位置确定的。虚拟拍摄图像是本公开中的第1图像的一例。在第2生成处理sb120中，受理用户在虚拟拍摄图像中的虚拟物体所占的区域中对描绘对象进行描绘的操作。在第2生成处理sb120中，生成表示虚拟拍摄图像中的描绘对象的二维位置的第1对象信息。在转换处理sb130中，基于表示由用户设定的视点与虚拟物体的相对三维位置的第1位置信息da1，将第1对象信息转换为第2对象信息。本方式中的第2对象信息表示在虚拟物体的表面配置有描绘对象的情况下、配置于投射对象物的表面的描绘对象的三维位置。在投射控制处理sa140中，第2对象信息基于第2位置信息da2和第2姿势信息db2被转换为第3对象信息。本方式中的第2位置信息da2表示虚拟投影仪与虚拟物体的相对三维位置。另外，本方式中的第2姿势信息db2表示虚拟投影仪的光轴的朝向。根据本方式的投射方法，也能够将用户对虚拟拍摄图像描绘的图像在准确的三维位置以准确的形状从投影仪20投射到投射对象物ps。
[0099]
更优选的方式的投射方法中的取得处理sb100也可以还包含受理设定视点的三维位置的操作。根据本方式，能够任意地设定视点的三维位置来取得虚拟拍摄图像。
[0100]
在另一优选方式的投射方法中，设定于虚拟空间的视点位于正对观察虚拟物体的三维位置。根据本方式，能够使用户基于正对观察虚拟物体的虚拟拍摄图像，描绘投射到投射对象物ps的描绘对象。
[0101]
设定于虚拟空间的视点位于正对观察虚拟物体的三维位置的方式的投射方法也可以还包含生成第1位置信息da1以及第2位置信息da2的第1生成处理sb110。根据本方式，能够任意地设定视点相对于虚拟物体的相对三维位置、以及投影仪20相对于投射对象物ps的相对三维位置。
[0102]
包含第1生成处理sb110的方式的投射方法也可以在投射对象物的表面配置各自的三维位置已知的多个标记m。该方式的投射方法中的第1生成处理sb110也可以包含第8处理、第9处理以及第10处理。第8处理是取得拍摄图像的处理，该拍摄图像是利用设置于与设定于虚拟空间的视点对应的三维位置的摄像头30对表面配置有多个标记m的投射对象物ps进行拍摄而得到的。第9处理是如下处理：基于该拍摄图像中的多个标记m各自的二维位置来生成第1位置信息da1。第10处理是如下处理：基于表示摄像头30与投影仪20的相对三维位置的第3位置信息da3和第1位置信息da1，生成第2位置信息da2。另外，上述拍摄图像是本公开中的第2图像的一例。
[0103]
另外，在包含第1生成处理sb110的另一方式的投射方法中，第1生成处理sb110也可以包含以下的第11处理、第12处理、第13处理以及第14处理。第11处理是取得拍摄图像的处理，所述拍摄图像是利用设置于与设定于虚拟空间的视点对应的三维位置的摄像头30对投射对象物ps进行拍摄而得到的。第12处理是如下处理：受理对分别位于该拍摄图像中显现的投射对象物ps的表面、且各自的三维位置已知的多个特征点进行选择的操作。第13处
理是如下处理：基于上述拍摄图像中的多个特征点各自的二维位置，生成第1位置信息da1。第14处理是如下处理：基于表示摄像头30与投影仪20的相对三维位置的第3位置信息da3和第1位置信息da1，生成第2位置信息da2。本方式中的拍摄图像也是本公开中的第2图像的一例。
[0104]
此外，本公开的一个方式的投射系统包含：投影仪20，其向投射对象物ps投射图像；输入装置120，其受理用户的操作；以及处理装置140。处理装置140执行上述的取得处理sa100、第2生成处理sa120、转换处理sa130以及投射控制处理sa140。根据本方式的投射系统，也能够将用户对摄像头30拍摄投射对象物ps而得到的拍摄图像描绘的图像在准确的三维位置以准确的形状从投影仪20投射到投射对象物ps。
[0105]
另外，在包含投影仪20、输入装置120以及处理装置140的另一方式的投射系统中，处理装置140也可以执行上述的取得处理sb100、第2生成处理sb120、转换处理sb130以及投射控制处理sa140。根据本方式的投射方法，也能够将用户对虚拟拍摄图像描绘的图像在准确的三维位置以准确的形状从投影仪20投射到投射对象物ps。