渲染装置及渲染方法与流程

本发明涉及在虚拟现实(包括vr：virtualreality(虚拟现实)、ar：augmentedreality(增强现实)、mr：mixedreality(混合显示))空间内渲染3d对象的渲染装置及渲染方法。

背景技术：

近年来，想要在虚拟现实空间中一边立体观察一边设计各种产品这一需求正在升高。

专利文献1公开了在ar空间中基于使用电子笔输入到平板终端的2d对象而生成3d对象的技术。以下，将通过在平面上使电子笔移动而进行的输入的方法称作“2d输入”。

非专利文献1公开了通过使3d输入用的控制器在vr空间中移动来输入3d对象的技术。以下，将利用这样的3d输入用的控制器的输入的方法称作“3d输入”。

现有技术文献

专利文献

专利文献1：美国专利申请公开第2016/0343174号说明书

非专利文献

非专利文献1：google，“tiltbrush:paintingfromanewperspective”，[online]，平成28年5月3日，[平成29年10月5日检索]，互联网<url：https://www.youtube.com/watch？v＝tckqndrdbgk>

技术实现要素：

发明所要解决的课题

根据上述的2d输入，由于电子笔的位置固定于已知的平面内，所以能够得到比3d输入高的精度。然而另一方面，在2d输入中存在“由于限定于平面内的描绘，所以与3d输入相比难以进行直观的操作”这一问题。

相对于此，根据3d输入，能够进行直观的操作。另一方面，由于控制器的位置的自由度高，所以作为用于设计的用途的技术而存在精度不充分这一问题。

因此，本发明的目的之一在于提供能够在虚拟现实空间中实现直感且精度高的描绘的渲染装置及渲染方法。

用于解决课题的手段

本发明的第一侧面涉及渲染装置，在显示于虚拟现实显示器上的虚拟现实空间内渲染3d对象，执行：3d渲染步骤，将所述3d对象作为虚拟现实空间坐标系中的3d显示的3d对象进行渲染；2d渲染步骤，将所述3d对象作为平面坐标系中的2d显示的3d对象进行渲染；及显示更新步骤，具有通过所述3d渲染步骤的渲染结果来更新所述虚拟现实显示器的显示的3d显示模式和通过所述2d渲染步骤的渲染结果来更新所述虚拟现实显示器的显示的2d显示模式。

本发明的第二侧面涉及渲染方法，用于使计算机作为在显示于虚拟现实显示器上的虚拟现实空间内渲染3d对象的渲染装置发挥功能，使所述计算机执行：3d渲染步骤，将所述3d对象作为虚拟现实空间坐标系中的3d显示的3d对象进行渲染；2d渲染步骤，将所述3d对象作为平面坐标系中的2d显示的3d对象进行渲染；及显示更新步骤，具有通过所述3d渲染步骤的渲染结果来更新所述虚拟现实显示器的显示的3d显示模式和通过所述2d渲染步骤的渲染结果来更新所述虚拟现实显示器的显示的2d显示模式。

发明效果

根据本发明，能够将3d对象在虚拟现实空间内的显示方法(3d显示或2d显示)根据用户的选择而切换，因此能够在虚拟现实空间实现直观且精度高的描绘。

附图说明

图1是示出本发明的第一实施方式的3d对象渲染系统1的结构的图。

图2是说明平板面坐标系与虚拟现实空间坐标系的关系的图。

图3是示出图1所示的控制部2a所进行的处理的流程图。

图4是示出图2所示的位置信息等取得处理的详情的流程图。

图5是示出图2所示的平板终端显示处理的详情的流程图。

图6是示出在本发明的第一实施方式的虚拟现实空间中将3d对象进行2d输入的状态的图。

图7是示出在本发明的第一实施方式的虚拟现实空间中将3d对象进行3d输入的状态的图。

图8是示出在本发明的第二实施方式的虚拟现实空间中将3d对象进行2d输入的状态的图。

图9是示出本发明的第二实施方式的控制部2a所进行的处理的一部分的流程图。

具体实施方式

以下，一边参照附图一边对本发明的实施方式进行详细说明。

图1是示出本发明的第一实施方式的3d对象渲染系统1的结构的图。如该图所示，本实施方式的3d对象渲染系统1构成为包括计算机2、虚拟现实显示器3、平板4、电子笔5、手套单元6、发光盒7a、7b及位置传感器8a～8d。需要说明的是，位置传感器8a、8c、8d分别安装于平板4、电子笔5及手套单元6，位置传感器8b设置于虚拟现实显示器3。通过安装位置传感器8c，电子笔5作为触控笔发挥功能并且也作为控制器发挥功能。需要说明的是，也可以将位置传感器8c内置于电子笔5。

图1所示的各装置原则上配置于房间中。在3d对象渲染系统1中，该房间的大致整体能够作为虚拟现实空间来利用。

计算机2包括控制部2a(控制器)和与控制部2a协同配合的存储器2b。后述的计算机2进行的各处理能够通过控制部2a与存储器2b协同配合(更具体而言，通过将存储于存储器2b内的程序读出并执行)而实现。

计算机2与虚拟现实显示器3及发光盒7a、7b的各自通过有线或无线而连接。在图1中示出了计算机2与虚拟现实显示器3及发光盒7a、7b的各自通过usb等有线通信标准而连接的例。另外，详情后述，在平板4是具有通信功能的装置的情况下，计算机2也与平板4通过有线或无线而连接。在图1中示出了计算机2与平板4通过例如蓝牙(注册商标)等近距离无线通信标准而连接的例。需要说明的是，在平板4或虚拟现实显示器3内置作为计算机的功能的情况下，也可以由该计算机构成计算机2。

计算机2构成为具有在虚拟现实显示器3上显示虚拟现实空间的功能。该虚拟现实空间可以是vr(virtualreality：虚拟现实)空间，也可以是ar(augmentedreality：增强现实)空间，还可以是mr(mixedreality：混合现实)空间。在显示vr空间的情况下，佩戴了虚拟现实显示器3的用户认识虚拟现实，被与现实世界切离。另一方面，在显示ar空间或mr空间的情况下，佩戴了虚拟现实显示器3的用户认识虚拟现实与现实世界混合而成的空间。

计算机2构成为作为以发光盒7a、7b的位置为基准来设定虚拟现实空间且在设定的虚拟现实空间内渲染各种各样的3d对象的渲染装置发挥功能。计算机2利用渲染的结果来更新虚拟现实显示器3的显示。由此，在显示于虚拟现实显示器3上的虚拟现实空间内出现各种各样的3d对象。

计算机2的渲染基于存储于存储器2b内的3d对象来执行。3d对象是表示示出由计算机2设定的虚拟现实空间的虚拟现实空间坐标系中的3d对象的形状、位置及朝向的信息，针对渲染对象的每个3d对象存储于存储器2b内。

在由计算机2渲染的3d对象中，包括表示图1所示的平板4、电子笔5及手套单元6的各自的3d对象。在渲染这些3d对象时，计算机2首先检测虚拟现实空间坐标系中的位置传感器8a～8d各自的位置及朝向。然后，构成为基于检测到的位置传感器8b的位置及朝向来取得表示用户的视点的视点信息，基于取得的视点信息、存储的各3d对象的形状及检测到的位置传感器8a、8c、8d各自的位置及朝向，将表示平板4、电子笔5及手套单元6的各自的3d对象向虚拟现实空间内渲染。

计算机2还构成为，能够通过检测位置传感器8c、8d的位置来检测在虚拟现实空间内用户进行的操作，基于其结果来新制作3d对象或者更新已经保持的3d对象。

虚拟现实显示器3是佩戴于人的头部而使用的vr显示器(头戴显示器)。在一般市售的虚拟现实显示器中，存在“透过型”或“非透过型”、“眼镜型”或“帽子型”等各种虚拟现实显示器，作为虚拟现实显示器3，可以使用其中任一个。

虚拟现实显示器3与位置传感器8a、电子笔5(包括位置传感器8c)及手套单元6(包括位置传感器8d)的各自通过有线或无线而连接。位置传感器8a、8c、8d构成为通过该连接而将后述的受光水平信息向虚拟现实显示器3通知。虚拟现实显示器3构成为将从位置传感器8a、8c、8d的各自通知的受光水平信息与内置于自身的位置传感器8b的受光水平信息一起向计算机2通知。计算机2基于这样通知的受光水平信息来检测虚拟现实空间坐标系中的位置传感器8a～8d各自的位置及朝向。另外，电子笔5及手套单元6构成为通过上述连接来将后述的操作信息向虚拟现实显示器3通知。虚拟现实显示器3构成为将这样通知的操作信息向计算机2传送。

平板4具有平板面4a。平板面4a优选是平坦的表面，由适合于使电子笔5的笔尖滑动的材料构成。在一例中，平板4是所谓的数字转换器，构成为具有检测触摸面内的电子笔5的指示位置的触摸传感器和将检测到的指示位置向计算机2通知的通信功能。该情况下的平板面4a由数字转换器的触摸面构成。在另一例中，平板4是所谓的平板计算机，构成为具有显示器、检测该显示器的显示面内的电子笔5的指示位置的触摸传感器及将检测到的指示位置向计算机2通知的通信功能。该情况下的平板面4a由显示器的显示面构成。在又一例中，平板4是不具有检测电子笔5的指示位置的功能的物理物体(包括单纯的板、桌子、不具有检测电子笔5的指示位置的功能的显示器或计算机等)。该情况下的平板面4a由设置于平板4的表面的平面构成。

位置传感器8a固定设置于平板4的表面。因此，由计算机2检测的位置传感器8a的位置及朝向表示虚拟现实空间坐标系中的平板面4a的位置及朝向。

电子笔5及手套单元6用于供用户指示虚拟现实空间内的位置。电子笔5构成为具有笔型的形状。手套单元6具有作为在用户的手上佩戴的手套的形状。

在电子笔5的表面或内部设置有开关等各种感测设备。作为这里所说的感测设备，除了取接通断开任一状态的切换开关之外，还包括构成为能够检测任意的物理量的传感器。作为设置于电子笔5的开关的例，可举出构成为能够接受用户的接通断开操作的侧开关或尾部开关。另外，作为设置于电子笔5的其他开关的例，也可举出检测向电子笔5的笔尖施加的压力(笔压)的电容传感器等。电子笔5构成为检测设置于自身的开关的输出(按下状态或检测到的物理量)并将检测结果的全部或一部分作为自身的操作信息而向虚拟现实显示器3通知。

作为设置于电子笔5的感测设备，也可以包括检测用户对电子笔5的把持力的力传感器(载荷传感器)。在该情况下，力传感器的输出本来并不表示笔压，但接受了力传感器的输出的通知的计算机2也可以将其作为表示笔压的数据(笔压数据)来处理。通过这样，在用户在空中操作电子笔5的情况下，也能够使笔压反映于描绘结果。

在平板4具有触摸传感器的情况下，电子笔5的位置也由该触摸传感器检测。由触摸传感器检测的位置不是虚拟现实空间坐标系中的位置，而是在平板面4a上规定的平板面坐标系中的位置。触摸传感器构成为将检测到的电子笔5的位置向计算机2通知。

一般来说，由触摸传感器检测的位置与使用位置传感器8c检测的位置相比为高精度。因此，计算机2在从触摸传感器接受了电子笔5的位置的情况下，优选取得从触摸传感器通知的位置而非通过位置传感器8c检测到的位置作为电子笔5的位置。在该情况下，计算机2优选通过基于使用位置传感器8a检测到的平板面4a的位置及朝向将平板面坐标系与虚拟现实空间坐标系建立对应来将从触摸传感器通知的位置变换为虚拟现实空间坐标系中的位置。

图2是说明平板面坐标系与虚拟现实空间坐标系的关系的图。在该图中示出了平板面4a位于虚拟现实空间10中的状态。虚拟现实空间坐标系由3个轴vrx、vry、vrz规定，平板面坐标系由3个轴trx、try、trz规定。其中，轴trz是平板面4a的法线方向。在图示的位置p作为平板面坐标系中的位置(x、y、z)而由触摸传感器检测到的情况下(z例如表示悬停位置)，计算机2通过规定的变换处理而将该(x、y、z)变换为虚拟现实空间坐标系中的位置(x、y、z)。由此，能够将从触摸传感器通知的位置变换为虚拟现实空间坐标系中的位置。

在此，触摸传感器对电子笔5的位置检测可以使用电磁感应方式，也可以使用主动静电方式。在使用主动静电方式的情况下，触摸传感器构成为从配置于触摸面内的传感器电极(未图示)以规定的时间间隔送出信标信号。在信标信号中包括用于从触摸传感器控制电子笔5的指令。在指令的控制的内容中，例如包括发送表示向电子笔5的笔尖施加的压力的笔压数据(由电容传感器检测到的笔压数据)、发送设置于电子笔5的各种开关(未图示)的按下状态及发送预先保存于电子笔5的固有id等。

与主动静电方式对应的电子笔5若检测到上述信标信号则作为响应信号而送出笔信号。笔信号是包括作为无调制的载波的脉冲串信号和通过利用与上述指令对应的数据对载波进行调制而得到的数据信号的信号。触摸传感器利用上述传感器电极来尝试脉冲串信号的检测，基于检测结果来检测电子笔5的位置。另外，通过利用上述传感器电极来检测数据信号并将该数据信号解调，来接收电子笔5根据指令而发送出的数据。平板4构成为将这样取得的电子笔5的位置及电子笔5发送出的数据对计算机2发送。计算机2构成为将这样通知的位置如上述那样变换为虚拟现实空间坐标系中的位置，并且将通知的数据作为上述的操作信息的一部分而取得。

发光盒7a、7b是在3d对象渲染系统1中使用的用于位置检测的信号发送装置，分别构成为能够按照计算机2的控制一边改变方向一边射出信号(在该例中是激光)。位置传感器8a～8d分别由多个受光传感器构成，构成为将发光盒7a、7b的各自照射出的信号(激光)利用各受光传感器来接受，取得包括各自的受光水平的受光水平信息。取得的受光水平信息如上述那样从各位置传感器8a～8d向计算机2通知，为了检测它们的位置及朝向而使用。

以上，对3d对象渲染系统1的整体概要进行了说明。在这样的3d对象渲染系统1中用户进行新的3d对象的输入的情况下，在此以前，使用电子笔5及手套单元6来进行3d输入，或者将平板4设为平板计算机，使用电子笔5对该平板计算机进行2d输入。然而，如上所述，在3d输入中存在能够进行直观的操作这一长处但另一方面存在精度不充分这一短处，另外，在2d输入中存在能够得到高的精度但另一方面难以进行直观的操作这一短处。

本实施方式的3d对象渲染系统1鉴于这样的以往的输入方法的问题点，通过将3d对象在虚拟现实空间内的显示方法(3d显示或2d显示)根据用户的选择而切换，能够在虚拟现实空间中实现直观且精度高的描绘。以下，关于这一点，一边参照计算机2的控制部2a所进行的处理的流程图一边详细说明。

图3是示出计算机2的控制部2a所进行的处理的流程图。该处理在用户使用电子笔5及手套单元6的至少一方来进行3d对象的输入时执行，通过用户使用电子笔5及手套单元6来进行规定的操作且控制部2a检测该规定的操作而开始。

如图3所示，控制部2a首先在存储器2b内确保表示虚拟现实空间坐标系中的输入中对象的形状、位置及朝向的3d对象的存储区域(步骤s1)。3d对象的具体的形式没有特别的限定，例如适合设为vrml形式、x3d形式的数据。

接着，控制部2a执行位置信息等取得处理(步骤s2)。

图4是示出在步骤s2中执行的位置信息等取得处理的详情的流程图。如该图所示，控制部2a通过执行取得视点信息的步骤(步骤s20)、取得平板面信息的步骤(步骤s21)、取得控制器信息(第一信息)的步骤(步骤s22。控制器信息取得步骤。第一信息取得处理)、取得电子笔信息(第二信息)的步骤(步骤s23。电子笔信息取得步骤。第二信息取得处理)的各自来执行位置信息等取得处理。需要说明的是，步骤s20～s23的执行顺序没有特别的限定。

视点信息是表示虚拟现实空间坐标系中的用户的视点的信息，具体而言由虚拟现实显示器3的位置及朝向表示。控制部2a构成为基于关于位置传感器8b检测到的位置及朝向来取得视点信息。具体的视点信息例如由以1个3维坐标为起点的向量信息构成。

平板面信息是表示虚拟现实空间坐标系中的平板面4a的形状、位置及朝向的信息，作为3d对象之一而存储于存储器2b内。控制部2a基于关于位置传感器8a检测到的位置及朝向和预先存储的平板4的形状来取得平板面信息。

控制器信息是表示虚拟现实空间坐标系中的3d控制器(包括电子笔5及手套单元6)的位置及朝向以及该3d控制器的操作信息的信息。控制部2a基于关于位置传感器8c、8d检测到的位置及朝向和经由虚拟现实显示器3而接收到的电子笔5及手套单元6各自的操作信息来取得控制器信息。

电子笔信息是表示平板面坐标系中的电子笔5的指示位置及电子笔5的操作信息的信息。在平板4具有触摸传感器的情况下，控制部2a从触摸传感器取得平板面坐标系中的电子笔5的指示位置。另一方面，在平板4不具有触摸传感器的情况下，控制部2a通过对从位置传感器8c取得的位置(虚拟现实空间坐标系中的位置)实施变换处理(参照图2而说明的变换处理的逆处理)来取得平板面坐标系中的电子笔5的指示位置。另外，控制部2a在能够从触摸传感器取得电子笔5的操作信息的情况下(例如，在电子笔5与主动静电方式对应的情况下)，从触摸传感器取得电子笔5的操作信息(包括电容传感器的输出)。另一方面，在无法从触摸传感器取得电子笔5的操作信息的情况下，控制部2a经由虚拟现实显示器3而取得电子笔5的操作信息(包括力传感器的输出)。

返回图3，执行了位置信息等取得处理的控制部2a接着执行平板面等显示处理(步骤s3)。该处理是用于将表示平板面的平板面图像和表示用于将输入中的3d对象进行2d显示的显示面的显示面图像显示于虚拟现实空间内的处理。

图5是示出由步骤s3执行的平板面等显示处理的详情的流程图。如该图所示，控制部2a首先基于在虚拟现实空间内用户选择出的位置或与输入中的3d对象接触的位置来实施显示面图像的渲染(步骤s30。显示面图像渲染步骤(处理))。用户对位置的选择例如通过用户按下设置于电子笔5的开关且表示该内容的操作信息向控制部2a通知来执行。显示面图像可以是模仿显示器的图像，也可以是单纯的矩形的框。需要说明的是，控制部2a优选基于在图4的步骤s20中取得的视点信息，以使显示面图像的法线方向与用户的视线方向一致的方式渲染显示面图像。

接着，控制部2a取得表示虚拟现实空间坐标系与在显示面上规定的显示面坐标系(第一平面坐标系)的对应关系的第一对应信息(步骤s31)。第一对应信息具体而言是用于将虚拟现实空间坐标系与显示面坐标系相互变换的变换规则。

接着，控制部2a取得表示虚拟现实空间坐标系与平板面坐标系(第二平面坐标系)的对应关系的第二对应信息(步骤s32)。第二对应信息具体而言是用于将虚拟现实空间坐标系与平板面坐标系相互变换的变换规则。

最后，控制部2a基于平板面信息及视点信息来实施表示平板面4a的平板面图像的渲染(步骤s33。平板面图像渲染步骤(处理))。平板面图像可以是模仿平板终端的触摸面的图像，也可以是单纯的矩形的框。需要说明的是，控制部2a优选基于在图4的步骤s20中取得的视点信息，以使用户的视线方向与平板面4a所成的角度(俯角)成为规定的值的方式渲染平板面图像。

返回图3，执行了平板面等显示处理的控制部2a接着接受用户对动作模式的选择操作(步骤s4)。该选择例如可以通过用户按下设置于电子笔5的开关来执行，也可以通过用户使平板面4a与电子笔5之间的距离变化来执行。例如，可以在平板面4a与电子笔5之间的距离接近为小于规定距离的情况下切换为2d显示，在平板面4a与电子笔5的间的距离远离为规定距离以上的情况下自动地切换为3d显示。在后者的情况下，平板面4a与电子笔5之间的距离可以是触摸传感器检测，也可以基于平板面图像的显示位置和使用位置传感器8c检测的电子笔5的位置而是控制部2a检测。在步骤s4中接受了选择操作的控制部2a根据选择内容而进行进入3d显示模式和2d显示模式中的某一方的处理(即，选择3d显示和2d显示中的某一方的显示选择处理)(步骤s5。模式选择步骤)。

在步骤s5中进入了3d显示模式的情况下，控制部2a执行将虚拟现实空间坐标系中的3d对象向虚拟现实显示器3上渲染的3d渲染步骤(处理)。若具体说明，则控制部2a首先基于存储于存储器2b内的3d对象和在图4的步骤s20中取得的视点信息来实施输入中对象及其他3d对象的渲染(步骤s6)。然后，利用该结果来更新向虚拟现实显示器3的输出(显示)(步骤s7。显示更新步骤(处理))。此时，在图5的步骤s30中渲染出的显示面图像、在图5的步骤s33中渲染出的平板面图像等虚拟现实空间内的其他显示也同时被更新。由此，用户能够通过3d输入来编辑输入中对象。

控制部2a进一步基于在图4的步骤s22中取得的控制器信息来更新存储于存储器2b内的输入中对象的3d对象(步骤s8。3d对象更新步骤(处理))。之后，返回步骤s2使处理继续。

在此，步骤s8及后述的步骤s14中的3d对象的更新也基于从电子笔5通知的操作信息而执行。例如，在从电子笔5通知了表示电容传感器的输出或力传感器的输出的数据的情况下，计算机2取得该数据作为笔压数据，基于取得的笔压数据来决定输入中对象的线宽、透明度。然后，使该决定结果反映于3d对象。

在步骤s5中进入了2d显示模式的情况下的控制部2a执行将3d对象作为显示面坐标系中的2d显示的3d对象而向虚拟现实显示器3上渲染的2d渲染步骤(处理)。具体而言，首先，基于在图5的步骤s31中取得的第一对应信息，将存储于存储器2b内的输入中对象的3d对象变换为表示显示面坐标系中的输入中对象的形状、位置及朝向的2d对象(步骤s10。第一变换步骤)。然后，基于得到的2d对象和在图4的步骤s20中取得的视点信息来实施输入中对象的渲染(步骤s11)，利用该结果来更新向虚拟现实显示器3的输出(显示)(步骤s12。显示更新步骤(处理))。此时，也与步骤s7同样，在图5的步骤s30中渲染出的显示面图像、在图5的步骤s33中渲染出的平板面图像等虚拟现实空间内的其他显示也同时被更新。由此，用户能够通过2d输入来编辑输入中对象。

接着，控制部2a基于在图5的步骤s32中取得的第二对应信息，将由在图4的步骤s23中取得的电子笔信息表示的指示位置变换为虚拟现实空间坐标系中的位置(步骤s13。第二变换步骤)。然后，基于包括得到的指示位置的电子笔信息，更新存储于存储器2b内的输入中对象的3d对象(步骤s14。3d对象更新步骤)。如上所述，该更新也基于从电子笔5通知的操作信息来执行。控制部2a之后返回步骤s2而使处理继续。

图6是示出在虚拟现实空间中将3d对象进行2d输入的状态(在图3的步骤s4中用户选择了2d显示模式的状态)的图，图7是示出在虚拟现实空间中将3d对象进行3d输入的状态(在图3的步骤s4中用户选择了3d显示模式的状态)的图。

如图6所示，在2d显示模式下，在显示于虚拟现实空间10内的矩形的显示面图像11中将输入中对象13进行2d显示。需要说明的是，显示面图像11所示的3个轴drx、dry、drz表示显示面坐标系。3轴中的轴drz是显示面图像11的法线方向。另外，显示矩形的平板面图像12，用户通过在该平板面图像12内移动电子笔5来进行输入中对象13的编辑。该编辑通过在平面上使电子笔5移动来进行，因此是2d输入。虽然佩戴着虚拟现实显示器3的用户看不见，但在显示着平板面图像12的位置实际存在平板面4a，因此用户能够一边感受平板面4a的手感一边在平板面图像12内移动电子笔5。

另一方面，如图7所示，在3d显示模式下，将输入中对象13在虚拟现实空间10内进行3d显示。用户通过在该虚拟现实空间10内移动电子笔5及手套单元6来进行输入中对象13的编辑。该编辑利用3d输入用的控制器来进行，因此是3d输入。

如以上说明那样，根据本实施方式的3d对象渲染系统1，能够通过用户的选择来切换3d对象在虚拟现实空间内的显示方法(3d显示或2d显示)，因此能够在虚拟现实空间中实现直观且精度高的描绘。另外，在进行着2d显示的期间能够实现基于2d输入的3d对象的编辑，在进行着3d显示的期间能够实现基于3d输入的3d对象的编辑，因此能够以适合于显示方法的输入方法来进行3d对象的编辑。

另外，根据本实施方式的3d对象渲染系统1，能够在虚拟现实空间中利用电子笔5来输入3d对象。

接着，对本发明的第二实施方式的3d对象渲染系统1进行说明。本实施方式的3d对象渲染系统1在使显示面坐标系和平板面坐标系为同一坐标系这一点上与它们是互相不同的坐标系的第一实施方式的3d对象渲染系统1不同。由于在其他方面与第一实施方式的3d对象渲染系统1相同，所以对与第一实施方式相同的结构标注同一标号，以下着眼于与第一实施方式的不同点来说明。

图8是示出在本实施方式的虚拟现实空间中将3d对象进行2d输入的状态的图。若首先参照该图8来说明本实施方式的概要，则本实施方式的控制部2a构成为将表示图1所示的平板4(平板终端)的平板终端图像14向虚拟现实空间内渲染。平板终端图像14中包含的平板面图像14a对应于在第一实施方式中说明的平板面图像及显示面图像双方，因此，在本实施方式中，平板面坐标系(轴trx、try、trz)兼任显示面坐标系。作为结果，在2d显示模式下，如图8所示，在平板面图像14a内将输入中对象13进行2d显示。

图9是示出本实施方式的控制部2a所进行的处理的一部分的流程图。图9(a)置换图5所示的流程图。另一方面，图9(b)置换图3所示的步骤s10。

如图9(a)所示，本实施方式的控制部2a构成为不执行图5所示的步骤s30、s31，且取代步骤s33而执行步骤s33a。在步骤s33a中，基于平板面信息及视点信息来实施表示图1所示的平板4(平板终端)的平板终端图像的渲染(平板终端图像渲染步骤(处理))。由此，如图8所示，与现实的平板4(平板终端)同样的平板终端(平板终端图像14)在虚拟现实空间10内出现。

另外，如图9(b)所示，本实施方式的控制部2a为了得到在2d显示模式下渲染输入中对象时使用的2d对象信息，基于在步骤s32中取得的第二对应信息而非第一对应信息，进行将存储于存储器2b内的输入中对象的3d对象变换为表示显示面坐标系中的输入中对象的形状、位置及朝向的2d对象的处理(步骤s10a)。其结果，如图8所示，输入中对象13(即，由控制器信息取得步骤(步骤s22)取得的虚拟现实空间坐标系中的电子笔5的位置)在平板面图像14a内显示。

通过本实施方式的3d对象渲染系统1，也能够通过用户的选择来切换3d对象在虚拟现实空间内的显示方法(3d显示或2d显示)，因此能够在虚拟现实空间中实现直观且精度高的描绘。另外，在进行着2d显示的期间能够实现基于2d输入的3d对象的编辑，在进行着3d显示的期间能够进行基于3d输入的3d对象的编辑，因此能够以适合于显示方法的输入方法进行3d对象的编辑。

除此之外，根据本实施方式，用户能够在虚拟现实空间内得到向平板终端的输入体验。因此，能够宛如在通常的平板终端中进行输入操作那样进行3d对象的输入操作。

以上，虽然对本发明的优选实施方式进行了说明，但本发明丝毫不限定于这样的实施方式，本发明当然能够在不脱离其主旨的范围内以各种方案来实施。

标号说明

13d对象渲染系统

2计算机

2a控制部

2b存储器

3虚拟现实显示器

4平板

4a平板面

5电子笔

6手套单元

7a、7b发光盒

8a～8d位置传感器

10虚拟现实空间

11显示面

12平板面图像

13输入中对象

14平板终端图像

14a平板面图像。