图像生成系统、图像生成方法及信息存储介质的制作方法

图像生成系统、图像生成方法及信息存储介质的制作方法
【专利摘要】一种图像生成系统，包括：对象空间设定部；图像生成部，生成投射用的投影图像；接收部，从接收来自摄像部的拍摄图像；命中判定部，根据由来自光射出部的光形成的光点在所述拍摄图像上的位置，求得在投射用屏幕上的作为所述光点的位置的屏幕光点位置，并求得从所述光射出部或被设定为玩家的代表位置的设定位置朝向所述屏幕光点位置的方向来作为所述光射出部的光的射出方向，根据求出的所述射出方向，进行与所述对象空间内的对象的命中判定处理。
【专利说明】
图像生成系统、图像生成方法及信息存储介质
技术领域
[0001]本发明涉及图像生成系统、图像生成方法及信息存储介质等。【背景技术】
[0002]以往，已知通过投影装置(投射器)投影到曲面屏幕(圆弧形状的屏幕)而生成投影图像的系统。并且，作为向曲面屏幕投影畸变较少的投影图像的现有技术例如具有专利文献1所公开的技术。
[0003]另外，还已知一种检测来自光射出部的光的光点的位置来进行在射击游戏中命中判定的游戏系统。作为这种游戏系统的现有技术例如具有专利文献2中所公开的技术。
[0004]现有技术文献
[0005]专利文献
[0006]专利文献1:特开2003 — 85586号公报 [〇〇〇7] 专利文献2:特开2001 — 4327号公报
【发明内容】

[0008]发明要解决的技术问题
[0009]然而，在向曲面屏幕生成投影图像的图像生成系统中，有关检测来自光射出部的光的光点的位置来实现光射出部的光的射出方向与对象适当的命中判定处理的方法并未提出。
[0010]根据本发明的几个方式，能够提供边生成投射用的投影图像边实现适当的命中判定处理的图像生成系统、图像生成方法及信息存储介质等。
[0011]解决技术问题的技术方法
[0012]本发明的一方式涉及图像生成系统，包括:对象空间设定部，进行对象空间的设定处理；图像生成部，根据配置在所述对象空间的多个对象的信息，生成投射用的投影图像； 接收部，接收来自对所述投影图像的投影区域进行拍摄的摄像部的拍摄图像；以及命中判定部，根据由来自光射出部的光形成的光点在所述拍摄图像上的位置，求得在投射用屏幕上的作为所述光点的位置的屏幕光点位置，并求得从所述光射出部或被设定为玩家的代表位置的设定位置朝向所述屏幕光点位置的方向来作为所述光射出部的光的射出方向，根据求出的所述射出方向，进行与所述对象空间内的对象的命中判定处理。另外，本发明涉及存储有使计算机发挥作用的程序的计算机可读取的信息存储介质。
[0013]根据本发明的一方式，基于拍摄图像上的光点的位置，求得作为投射用屏幕的光点的位置的屏幕光点位置。然后，求得从作为光射出部或被设定为玩家的代表位置的设定位置朝向屏幕光点位置的方向来作为光的射出方向，基于该射出方向，执行与对象空间内的对象的命中判定处理。如此一来，在生成投射用的投影图像的图像生成系统中，能够实现反映投射用屏幕的形状的适当的命中判定处理。即，如果将从设定位置朝向屏幕光点位置的方向作为射出方向，则在投射用屏幕不是仅由一个平面构成的屏幕的情况下，能够求得反映出投射用屏幕的形状的适当的射出方向，基于该出射方向，执行命中判定处理。
[0014]另外，在本发明的一方式中，所述投射用屏幕可以是包括一个曲面或多个面的屏幕，所述图像生成部根据所述投射用屏幕的形状信息而进行畸变校正处理，并生成所述投影图像，所述命中判定部根据所述投射用屏幕的形状信息，求得所述屏幕光点位置。
[0015]这样，基于投射用屏幕的形状信息进行畸变校正处理，反映包括一个曲面或多个面的投射用屏幕的形状而能生成适当的投影图像。另外，如果根据投射用屏幕的形状信息求得屏幕光点位置，则能够反映包括一个曲面或多个面的投射用屏幕的形状，求得屏幕光点位置，能够实现反映出投射用屏幕的形状的适当的命中判定处理。
[0016]另外，在本发明的一方式中，所述命中判定部可以根据所述光点在所述拍摄图像上的位置，求得从所述摄像部观察到的所述光点的方向矢量，并求得沿着所述方向矢量的直线与所述投射用屏幕的交点位置来作为所述屏幕光点位置。[〇〇17]如此一来，通过求得与拍摄图像上的光点的位置对应的光点的方向矢量，并求得沿着该方向矢量的直线与投射用屏幕的交点位置，能够求得屏幕光点位置。由此，能够求得例如反映出摄像部的光学系统的信息等的屏幕光点位置。
[0018]另外，在本发明的一方式中，所述图像生成部可以将绘图缓冲区上的像素通过所述投影装置的光学系统射出的光线与所述投射用屏幕的交点位置和代表视点位置相连结的直线作为虚拟相机的视线来确定所述绘图缓冲区上的所述像素的颜色。
[0019]如此一来，通过像素单位进行畸变校正处理，从而能够生成投射用的投影图像。
[0020]另外，在本发明的一方式中，所述图像生成部可以根据将所述对象空间内的对象的顶点位置和代表视点位置相连结的直线与所述投射用屏幕的交点位置，求得对应于所述对象的绘图对象在绘图缓冲区上的顶点位置，并根据所述顶点位置而在所述绘图缓冲区描绘所述绘图对象。
[0021]如此一来，通过顶点单位进行畸变校正处理，从而能够生成投射用的投影图像。
[0022]另外，在本发明的一方式中，所述对象空间设定部可以根据所述射出方向而求得表示所述光射出部的瞄准的瞄准对象在所述对象空间中的配置位置，从而在求出的所述配置位置配置所述瞄准对象。
[0023]如此一来，将光射出部的瞄准对象配置在基于射出方向而求得的位置，从而能够在投影图像上生成该瞄准对象的图像。
[0024]另外，在本发明的一方式中，所述对象空间设定部可以在沿着所述射出方向的直线上配置所述瞄准对象。
[0025]如此一来，与光射出部的射出方向的变化相连动，从而能够表示在投影图像上移动的瞄准对象的图像。
[0026]另外，在本发明的一方式中，所述图像生成部可以生成所述光点的检测调整用对象显示于所述摄像部的拍摄范围的内侧的所述投影图像。[〇〇27]如此一来，即使在例如摄像部的安装位置或安装方向等产生偏差的情况下，也能够适当地实现利用检测调整用对象的光点的位置检测的调整。
[0028]另外，在本发明的一方式中，所述对象空间设定部可以以使所述检测调整用对象在所述投影图像的投影区域中显示于所述摄像部的所述拍摄范围的内侧的方式，将所述检测调整用对象配置在所述对象空间中。
[0029]这样一来，能够在投射用的投影图像上适当地表示实现光点的位置检测的调整的检测调整用对象。
[0030]另外，在本发明的一方式中，所述图像生成系统可以包括根据对所述投影图像进行拍摄而得到的第二拍摄图像或所述光点的检测位置的历史信息而确定所述摄像部的拍摄?E围的拍摄?II围确定部。[〇〇31]如此一来，能够确定摄像部的拍摄范围，从而在基于摄像部的拍摄图像的光点检测处理中能够防止产生不良状况等。
[0032]另外，在本发明的一方式中，所述图像生成系统可以包括所述摄像部，所述摄像部具有摄像元件和鱼眼透镜。
[0033]如此一来，如果在摄像部设置鱼眼透镜，则在整个投影图像的投影区域的宽广的范围内能够实现光点的位置检测。
[0034]另外，在本发明的一方式中，所述图像生成系统包括所述投影装置，所述摄像部安装在所述投影装置。
[0035]如此一来，能够容易地使例如投影装置的投影方向与摄像部的拍摄方向一致等， 能够提尚命中判定处理的精度等。
[0036]另外，本发明的其它方式涉及一种图像生成系统，包括:对象空间设定部，进行对象空间的设定处理；图像生成部，根据配置在所述对象空间的多个对象的信息，生成投射用的投影图像;投影装置，投影所述投影图像;摄像部，对所述投影图像的投影区域进行拍摄； 光射出部，射出光；以及命中判定部，根据来自所述摄像部的拍摄图像，求得所述光射出部的光的射出方向，并根据求出的所述射出方向，进行与所述对象空间内的对象的命中判定处理，所述摄像部具有摄像元件和鱼眼透镜。
[0037]根据本发明的其它方式，通过投影装置对投影图像进行投影，投影图像的投影区域通过摄像部拍摄。然后，根据拍摄图像，求得光射出部的光的射出方向，执行与对象空间内的对象的命中判定处理。然后，在本发明的其它实施方式中，在摄像部设置鱼眼透镜，根据经由该鱼眼透镜拍摄的拍摄图像，求得光射出部的光的射出方向。如果如此在摄像部设置鱼眼透镜，则在整个投影图像的投影区域的宽广的范围内能够执行用于命中判定处理的检测处理。因此，在生成投射用的投影图像的图像生成系统中能实现适当的命中判定处理。
[0038]另外，本发明的其它方式涉及图像生成方法，包括:进行对象空间的设定处理;根据配置在所述对象空间的多个对象的信息，生成投射用的投影图像;接收来自对所述投影图像的投影区域进行拍摄的摄像部的拍摄图像；以及根据由来自光射出部的光形成的光点在所述拍摄图像上的位置，求得在投射用屏幕上的作为所述光点的位置的屏幕光点位置， 并求得从所述光射出部或被设定为玩家的代表位置的设定位置朝向所述屏幕光点位置的方向来作为所述光射出部的光的射出方向，根据求出的所述射出方向，进行与所述对象空间内的对象的命中判定处理。【附图说明】
[0039][图1]图1是应用于本实施方式的图像生成系统的游戏系统的一个例子。
[0040][图2]图2是应用于本实施方式的图像生成系统的游戏系统的铅垂截面图。
[0041][图3]图3是本实施方式的图像生成系统的构成例。
[0042][图4]图4是在绘图缓冲区的像素单位的畸变校正方法的说明图。[〇〇43][图5]图5是在像素单位的畸变校正中使用代理平面的方法的说明图。[〇〇44][图6]图6是示出在以像素单位的畸变校正中使用代理平面的方法中绘图缓冲区、 UV贴图、渲染纹理的关系的图。
[0045][图7]图7是在对象的顶点单位的畸变校正方法的说明图。
[0046][图8]图8是通过本实施方式的图像生成系统而生成的摄影图像的例子。
[0047][图9]图9(A)、图9(B)是通过本实施方式的图像生成系统而实现的射击游戏的说明图。
[0048][图10]图10(A)、图10(B)也是通过本实施方式的图像生成系统实现的射击游戏的说明图。
[0049][图11]图11是本实施方式的命中判定方法的说明图。
[0050][图12]图12是说明本实施方式的命中判定处理的流程图。
[0051][图13]图13是本实施方式的瞄准对象的配置方法的说明图。[〇〇52][图14]图14是本实施方式的瞄准对象的配置方法的说明图。
[0053][图15]图15(A)、图15(B)是光点的方向矢量的运算方法的说明图。
[0054][图16]图16(A)、图16(B)也是光点的方向矢量的运算方法的说明图。
[0055][图17]图17(A)、图17(B)是光点的检测调整用对象的说明图。
[0056][图18]图18(A)、图18(B)也是光点的检测调整用对象的说明图。
[0057][图19]图19是光点的检测调整用对象的说明图。[〇〇58][图20]图20(A)、图20(B)是有关摄像部的拍摄范围的说明图。
[0059][图21]图21是光点的检测调整用对象的配置方法的说明图。
[0060][图22]图22(A)、图22(B)是关于瞄准对象的显示控制方法的说明图。【具体实施方式】
[0061]下面，对本实施方式进行说明。此外，以下说明的本实施方式并非不当地限定权利要求书所记载的本发明的内容。并且，本实施方式中说明的构成的全部，不一定是本发明的必须构成成分。
[0062]1 ?构成
[0063]图1示出应用于本实施方式的图像生成系统的游戏系统的构成例。图2是该游戏系统的铅垂截面图。
[0064]图1、图2的游戏系统是设置在娱乐设施中而用于供玩家进行射击游戏的商业用游戏系统。该游戏系统包括玩家座椅10、控制基板16、投影作为游戏图像的投影图像的曲面形状的屏幕20、将投影图像(影像)投影到屏幕20的投影装置30、光点检测用的摄像部40、仿制枪的光射出部50(枪型控制器)、输出游戏声音的扬声器(未图不)。[〇〇65]玩家座椅10设置为以假想落座的玩家的正视方向朝向屏幕20的中央附近的方式而调整其朝向或高度。在本实施方式中，将落座的玩家的正面方向作为假想的正视方向。屏幕20对于落座在玩家座椅10的玩家的正面方向(假想的正视方向)呈凸形状而形成。[〇〇66] 在控制基板16上安装有CPU、GPU或DSP等各种处理器，或ASIC，或VRAM、RAM、R0M等各种存储器。并且，控制基板16根据存储器存储的程序或数据、操作光射出部50等的玩家的操作信号等，进行用于实现射击游戏的各种处理。
[0067]投影装置30(投射器)被设置在玩家座椅10的后方的支柱12或壳体支架14支承，在玩家座椅10的上方而不干扰落座于玩家座椅10的玩家的位置以该投影中心方向朝向屏幕 20的中心附近的方式而设置。即，投影中心方向设置为朝向玩家的假想的正视方向与屏幕 20的交点位置。另外，在投影装置30安装广角透镜(例如鱼眼透镜、即投影角(画角)超过180 度的超广角透镜)来作为投影透镜，通过该广角透镜，投影图像投影到屏幕20的整个投影区域。
[0068]另外，在投影装置30安装有对投影图像的投影区域拍摄的摄像部40。例如摄像部 40的摄影方向设定为投影图像的投影方向。利用通过该摄像部40拍摄出的拍摄图像，检测出通过由光射出部50的射出光而形成于屏幕20上的光点的位置。然后，根据检测到的光点的位置，确定光射出部50的光的射出方向，从而进行对映在游戏图像中的敌方对象的命中判定。[〇〇69]光射出部50是仿制枪而形成的枪型的控制器。在光射出部50设置有红外线的发光部，通过该红外光击中屏幕20而在屏幕20上形成光点。由于在摄像部40设置有遮蔽可见光并透射红外光的红外线滤波器(IR滤波器)，因此，能够根据摄像部40的拍摄图像，检测出红外光的光点的位置。
[0070]玩家坐在玩家座椅10上，边观察显示于屏幕20的游戏图像，边听来自扩音器的游戏声音，用仿制枪的光射出部50射击出现在游戏图像中的敌方来享受游戏。
[0071]在本实施方式的射击游戏中，在对象空间(虚拟三维空间)中配置背景对象等的对象而构成游戏空间。在该对象空间内还配置作为射击的目标的敌方的对象等，并在玩家的视点位置配置虚拟相机。然后，从该虚拟相机观察的对象空间的图像作为游戏图像，通过投影装置30投影(显示)在屏幕20上。
[0072]图3示出本实施方式的图像生成系统的框图的例子。此外，本实施方式的图像生成系统的构成并不限定于图3,可以进行省略其构成成分(各部分)的一部分、或增加其它构成成分等的各种变形的实施方式。[〇〇73]摄像部40(摄相机)具有透镜42等的光学系统和摄像元件44。透镜42例如是在摄像元件44映出图像的透镜，并是用于对整个屏幕20进行拍摄的广角透镜(例如鱼眼透镜)。摄像元件44例如通过CCD或CMOS传感器等实现。摄像部40除上述以外还设置有上述红外线滤波器等。
[0074]操作部160用于玩家输入操作数据。在图1、图2的游戏系统中应用了图像生成系统的情况下，操作部160能够通过作为枪型控制器的光射出部50或未图示的操作按钮等而实现。[〇〇75] 存储部170是处理部100或通信部196等的工作区域，其功能通过RAM(DRAM、VRAM) 等实现。并且，游戏程序、游戏程序的执行所需的游戏数据存储于该存储部170。
[0076]信息储存介质180 (能够由计算机读取的介质)存储程序、数据等，其功能能够通过光盘(CD、DVD)、HDD(硬盘驱动器)、或存储器(ROM等)等实现。处理部100根据容纳于信息存储介质180中的程序(数据)来进行本实施方式的各种处理。即，在信息存储介质180中，存储有用于使作为本实施方式的各部分的计算机(具备操作部、处理部、存储部、输出部的装置) 发挥作用的程序(用于使计算机执行各部分的处理的程序)。
[0077]显示部190显示通过本实施方式生成的图像。在图1、图2的游戏系统应用于图像生成系统的情况下，显示部190通过液晶投射器中的LCD、DLP投射器中的DMD等实现。声音输出部192输出由本实施方式生成的声音，其功能能够通过扩音器或耳机等实现。
[0078]辅助存储装置194(辅助存储器、二级存储器)是为了辅助存储部170的容量而使用的存储装置，能够通过SD存储卡、多媒体卡等的存储卡等实现。[〇〇79]通信部196经由有线或无线的网络而与外部(例如其它图像生成系统、服务器、主机装置)之间进行通信，其功能能够通过通信用ASIC或通信用处理器等的硬件、或通信用固件实现。
[0080]处理部100(处理器)根据来自操作部160的操作数据或程序等，进行游戏处理、图像生成处理或声音生成处理等。处理部100将存储部170作为工作区域进行各种处理。该处理部100的功能能够通过各种处理器(CPU、GPU等)、ASIC(门阵列等)等硬件、程序等实现。
[0081]处理部100包括游戏运算部102、对象空间设定部104、移动体运算部106、虚拟相机控制部108、接收部110、命中判定部114、拍摄范围确定部116、图像生成部120、和声音生成部130。此外，也可以实施省略这些构成成分(各部分)的一部分、或增加其它构成成分等各种变形。[〇〇82]游戏运算部102进行游戏运算处理。在此，作为游戏运算处理，存在在满足游戏开始条件的情况下开始游戏的处理、使游戏推进的处理、运算游戏结果的处理、或在满足游戏结束条件的情况下结束游戏的处理等。
[0083]对象空间设定部104进行配置多个对象的对象空间的设定。进行将例如移动体 (人、动物、机器人、车、飞机、船舶等)、地图(地形)、建筑物、路线(道路)、树木、墙壁、水面等的表示物的各种对象(多边形、自由曲面或细分曲面等的原始表面构成的对象)配置在对象空间而设定的处理。即，在世界坐标系下确定对象的位置或旋转角度(与朝向、方向同义)， 在该位置(X、Y、Z)上以该旋转角度(在X、Y、Z轴旋转的旋转角度)来配置对象。具体而言，作为对象(部分对象)的位置、旋转角度、移动速度、移动方向等的数据的对象数据与对象编号相关联而存储于存储部170的对象数据存储部172中。对象空间设定部104进行例如在每帧中更新该对象数据的处理等。
[0084]移动体运算部106进行用于使人、动物、车、飞机等的移动体(移动体对象)移动的控制处理。另外，进行用于使移动体动作的控制处理。即，进行如下控制处理，根据玩家通过操作部160输入的操作数据、程序(移动/动作算法)、各种数据(动作数据)等，使移动体(对象、模拟对象)在对象空间内移动，使移动体动作(动作、动画)。具体而言，进行在每一帧(1/ 60秒)依次求得移动体的移动信息(位置、旋转角度、速度、或加速度)、动作信息(部分对象的位置、或旋转角度)的仿真处理。此外，帧是进行移动体的移动/动作处理(仿真处理)或图像生成处理的时间单位。
[0085]虚拟相机控制部108进行用于生成可从对象空间内的给予(任意)的视点观察的图像的虚拟相机(视点、标准虚拟相机)的控制处理。具体而言，进行控制虚拟相机的位置(X、 Y、Z)或旋转角度(X、Y、Z轴旋转的旋转角度)的处理(控制视点位置、视线方向或画角的处理)。
[0086]例如，在通过虚拟相机从后方拍摄移动体的情况下，控制虚拟相机的位置(视点位置)或方向(视线方向)，以使虚拟相机追随移动体的位置或方向的变化。在这种情况下，根据移动体运算部106得到的移动体的位置、方向或速度等的信息，能够控制虚拟相机。或者， 也可以进行使虚拟相机以预设的旋转角度旋转、或在预设的移动路径上移动的控制。在这种情况下，根据用于确定虚拟相机的位置(移动路径)或方向的虚拟相机数据来控制虚拟相机。[〇〇87] 声音生成部130根据在处理部100进行的各种处理的结果进行声音处理，生成BGM、 效果音、或声音等的游戏声音，并向声音输出部192输出。
[0088]然后，如图3所示，本实施方式的图像生成系统包括对象空间设定部104、接收部 110、命中判定部114、图像生成部120。另外，本实施方式的图像生成系统(游戏系统)能够包括摄像部40、图1、图2的投影装置30或光射出部50。[〇〇89] 对象空间设定部104进行如上述的对象空间的设定处理。对象空间是三维的游戏空间。
[0090]图像生成部120生成投影图像。具体而言，根据配置在对象空间的多个对象(敌方对象、背景对象等)的信息，生成对象用的投影图像(通过投影映射处理生成的投影图像)。 投影对象是投影装置30向曲面形状的屏幕20(圆弧形状的屏幕)进行投影的图像。该投影图像显示于通过液晶投射器中的IXD或DLP投射器中的DMD而实现的显示部190,通过投影装置 30的广角透镜等的光学系统而投影到屏幕20。[〇〇91]接收部110接收来自对投影图像的投影区域(屏幕区域)进行拍摄的摄像部40的拍摄图像。例如摄像部40的拍摄方向(摄影方向)设定为投影图像的投影方向(投影装置的投影方向)。具体而言，以使拍摄方向和投影方向例如平行(大致平行)的方式设置摄像部40。 于是，如果摄像部40对屏幕20的投影区域的图像进行拍摄，则其拍摄图像的数据由作为图像接口而发挥作用的接收部11 〇接收。[〇〇92]命中判定部114进行来自光射出部50的光与对象的命中判定处理。即，假想枪的子弹沿光射出部50的光的射出方向飞行，并进行来自光射出部50的光形成而示出的子弹与对象的命中判定处理。
[0093]具体而言，命中判定部114求得来自光射出部50的光形成(例如红外光)的光点在拍摄图像上的位置(在摄像元件的坐标系的位置)。例如对来自摄像部40的拍摄图像进行图像处理等，检测拍摄图像映出的光点(红外光点)的位置。然后，命中判定部114根据光点在拍摄图像上的位置，求得作为投射用屏幕的光点的位置的屏幕光点位置。例如，能够使在拍摄图像上的光点的位置和投射用屏幕的光点的位置一对一对应。屏幕光点位置是与在拍摄图像上的光点的位置一对一对应的投射用屏幕的光点的位置。
[0094]然后，命中判定部114求得从作为光射出部50或被设定为玩家的代表位置的设定位置朝向屏幕光点位置的方向来作为光射出部50的光的射出方向。即，将作为光射出部50 的位置(或玩家的位置)而假想的代表位置设定为设定位置，求得连结该设定位置和屏幕光点位置的直线的方向来作为射出方向。该射出方向不一定与光射出部50实际的射出方向一致，但是为了实现命中判定处理，将连结设定位置和上述交点位置的直线方向假想设定为射出方向。
[0095]然后，命中判定部114根据该射出方向，进行与对象空间内的对象的命中判定处理。即，进行与敌方对象等的目标对象物的命中判定。例如，通过设定沿求得的射出方向延伸的直线(光线)，并进行该直线与对象的交叉判定，从而进行检查来自光射出部50的光(子弹、射击)是否命中对象的命中判定处理。
[0096]另外，在投射用屏幕是包括一个曲面或多个面的屏幕的情况下，图像生成部120根据投射用屏幕的形状信息进行畸变校正处理，生成投影图像。投射用屏幕的形状信息是例如用数学式(例如椭圆面的方程式)等表示投射用屏幕的形状的信息。图像生成部120进行用于反映包括一个曲面或多个面的投射用屏幕的形状的畸变校正处理，生成投影图像。
[0097]然后，命中判定部114根据投射用屏幕的形状信息，求得屏幕光点位置。例如根据用数学式等表示投射用屏幕的形状的信息，求得屏幕光点位置。例如，如后文所述，在将沿着方向矢量的直线与投射用屏幕的交点位置作为屏幕光点位置而求得的情况下，根据沿着方向矢量的直线的数学式与表示投射用屏幕的形状的数学式，能够求出屏幕光点位置。 [〇〇98]另外，命中判定部114根据光点在拍摄图像上的位置，求得从摄像部40观察到的光点的方向矢量。例如，在摄像部40的相机坐标系中，求得表示映于屏幕20的光点的方向的方向矢量。接着，命中判定部114求得沿着该方向矢量的直线(以摄像部40的代表位置为起点， 沿着方向矢量的方向的直线)与投射用屏幕的交点位置来作为屏幕光点位置。然后，命中判定部114求得将作为光射出部50的位置(或者玩家的位置)而假想的设定值与作为该交点位置的屏幕光点位置的连结的直线方向作为出射方向，从而进行命中判定处理。[〇〇99]另外，对象空间设定部104进行瞄准对象的配置处理。例如，对象空间设定部104根据上述射出方向而求得表示光射出部50的瞄准的瞄准对象(射击位置)在对象空间的配置位置。然后，在求得的配置位置配置瞄准对象。具体而言，对象空间设定部104在沿着射出方向的直线上配置瞄准对象。例如，以使与该直线交叉的方式配置作为三维对象的瞄准对象，。
[0100]另外，图像生成部120生成表示光点的检测调整用对象的投影图像。例如，光点的检测调整用对象(初期调整用对象)生成显示于摄像部40的拍摄范围(拍摄区域)的内侧的投影图像。具体而言，对象空间设定部104将检测调整用对象(三维对象)配置在对象空间内，以使检测调整用对象在投影图像的投影区域(屏幕区域)中显示于摄像部40的拍摄范围的内侧。通过使用这种检测调整用对象，实现光点的位置检测的调整处理(校正处理)等。 [〇1〇1]拍摄范围确定部116进行摄像部40的拍摄范围的确定处理。例如，在本实施方式中，与投影区域(投影图像的显示区域)相比，拍摄范围为较窄的范围，例如拍摄范围的区域为例如包含在投影区域中的区域。于是，由于摄像部40的安装位置或安装方向的偏差，因此，导致在拍摄范围的边界等也产生偏差。拍摄范围确定部116用于确定该拍摄范围的边界等。
[0102]在这种情况下，拍摄范围确定部116根据对投影图像进行拍摄而得到的第二拍摄图像或光点的检测位置的历史信息来确定摄像部40的拍摄范围。该第二拍摄图像是与为了检测出光点而由摄像部40所拍摄的拍摄图像不同的图像。例如，在拍摄图像例如是有关红外光的拍摄图像的情况下，第二拍摄图像是有关可见光的拍摄图像。该第二拍摄图像可以设置与摄像部40不同的第二摄像部进行拍摄，也可以进行摄像部40的滤波器(例如红外线滤波器)的切换而进行拍摄。另外，光点的检测位置的历史信息是通过玩家等的操作者操作光射出部50而得到的光点的检测位置的历史。光点的检测位置的历史信息可以是以往玩游戏的检测位置的历史信息，也可以是其它玩家玩游戏的检测位置的历史信息。
[0103]图像生成部120生成投射用的投影图像。生成的投影图像通过图1、图2的投影装置30,投影到屏幕20。由此，玩家能够将从虚拟相机观察到的对象空间的图像作为游戏图像而看到。投射用的投影图像是例如在投影映射处理中生成的投影图像。投影映射是考虑到映出对象(屏幕)的状态(形状等)和投影装置30的状态(位置、方向等)而在投影装置30映出的方法。
[0104]具体而言，图像生成部120将绘图缓冲区176上的像素(投影图像的像素)通过投影装置30的光学系统(广角透镜等)射出的光线与投射用屏幕的交点位置和代表视点的位置相连结的直线作为虚拟相机的视线来确定绘图缓冲区176上的像素颜色。例如，将该直线作为虚拟相机的视线，根据对象空间的信息，确定像素的颜色。具体而言，根据该直线和对象空间内的对象的交点位置(该直线在对象空间中最初到达的对象上的点的位置)来确定像素的颜色。虽然该处理能够通过光线追踪法实现，但是绘图负担变大，且使实时的安装变得困难。在此，作为更实用的方法，可以通过将对尽可能接近曲面的屏幕的形状的平面屏幕 (将此称作“代理平面”)的绘图结果预先保存在渲染纹理中的方法实现。然后，通过如此地确定色素的颜色，生成投影图像。此外，代表视点位置是假想玩家的视点位置(虚拟相机的位置)的位置。
[0105]或者，图像生成部120求得将对象空间内的对象的顶点位置和代表视点位置相连结的直线与投射用屏幕的交点位置。然后，根据所求得的交点位置，求得对应于对象的绘图对象在绘图缓冲区176上的顶点位置。然后，根据所求得的顶点位置，通过在绘图缓冲区176 上描绘绘图对象，从而生成投影图像。
[0106]此外，投射用屏幕例如对应图1、图2的屏幕20,是配置设定在作为虚拟三维空间的对象空间的投影图像生成用的虚拟屏幕。在图像生成部120中，配合该投射用屏幕的形状， 进行畸变校正处理(也被称作投影映射处理)。该投射用屏幕能够包括一个曲面或多个面 (曲面、平面)。
[0107]另外，绘图对象是与作为绘图对象的三维对象对应的二维对象。例如，三维对象是指配置在三维空间(对象空间)的对象，并且例如是具有作为该顶点的坐标值的三维坐标值 (X、Y、Z坐标值)的对象。另一方面，绘图对象例如是具有作为其顶点的坐标值的二维坐标值 (X、Y坐标)的对象。另外，绘图缓冲区176是能够以例如帧缓冲区、工作缓冲区等的像素单位存储图像信息的缓冲区。
[0108]2.本实施方式的方法
[0109]接着，具体地说明本实施方式的方法。此外，在下文中，以投射用屏幕为曲面形状的屏幕(圆弧形状的屏幕)的情况为主要例子进行说明，但本实施方式并不限定于此。投射用屏幕指不是单一平面的整个屏幕。例如，投射用屏幕是包括一个曲面或多个面(平面、曲面)的屏幕即可。即，作为该屏幕，能够假想由一个曲面构成的屏幕、由多个平面构成的屏幕、包含曲面部分与平面部分的屏幕等。[〇11〇]2.1以像素单位的畸变校正方法
[0111]首先，说明投射用的投影图像的生成方法。例如，在投射用屏幕是由一个曲面或多个面构成的屏幕的情况下，在本实施方式中，根据投射用屏幕的形状信息进行畸变校正处理，生成投影图像。在下文中，说明生成投影图像时进行的畸变校正方法的具体例。
[0112]在圆弧形状(曲面形状)的屏幕投影图像的情况下，如果投影装置的位置与玩家 (观察者)的位置分开，则图像的畸变会很明显。在此，通过预先考虑到该畸变，通过生成来自投影装置的投影图像(在投影装置的绘图缓冲区描绘的图像)，能够提示从玩家处观察不畸变的影像。
[0113]在这种情况下，如果屏幕是单一的平面，则畸变为线性的(透视畸变)，能够仅使用一个射影变换矩阵简单地进行校正。
[0114]然而，在不是单一平面的屏幕(构成为一个曲面或多个面的屏幕)的情况下，由于增加了非线性的畸变，在仅使用一个射影变换矩阵的简单的校正方法中，无法校正畸变，需要根据图像的部分，进行精细的校正。[〇115]作为实现这种畸变校正的方法，考虑到以绘图缓冲区的像素单位进行畸变校正的方法和以三维对象的顶点单位进行畸变校正的方法。首先，说明以像素单位的畸变校正方法。[〇116]在以绘图缓冲区的像素单位的畸变校正方法中，依次进行图4或下述所示的(1)、 (2)、(3)、(4)的处理。[〇117] (1)求得绘图缓冲区(帧缓冲区)上的像素PX(XP，YP)通过投影装置的透镜射出的光线RY。
[0118] (2)求得该光线RY与屏幕SC交叉的交点PS(XS、YS、ZS)的位置。例如，在屏幕SC以椭圆面的方程式等的数学式表示的情况下，利用表示直线RY的数学式和屏幕SC的数学式求得交点PS。表示该屏幕SC的数学式是屏幕SC的形状信息。
[0119] (3)该交点PS(XS，YS，ZS)的颜色需要是玩家(观察者)观察对象空间(虚拟空间)时的颜色。在此，求得连结玩家的代表视点对应的虚拟相机VC的位置VP与交点PS(XS，YS，ZS) 的位置的直线LV。
[0120] (4)将该直线LV作为虚拟相机VC的视线，根据对象空间的信息，确定绘图缓冲区上的投影图像的像素的颜色。例如，在对象空间求得最初到达三维对象0B上的点ro(XB，YB， ZB)的位置，相对于此，确定绘图缓冲区上的投影图像的像素的颜色。
[0121]此时，在像素单位的畸变校正方法的改进方法中，在上述最后的(4)中，代替求得直线LV和三维对象0B的交点PB(XB，YB，ZB)的颜色，利用预先描绘的平面(渲染纹理)与直线 LV的交点(渲染纹理的坐标(U，V))的颜色，确定投影图像的像素的颜色。渲染纹理预先选择尽可能接近投影面的平面(以下，称为代理平面)，能够通过在其进行通常的绘图方法，即， 通过将平面作为投影面绘图而作成。
[0122]在图5中示出这种代理平面PL1、PL2的一个例子。点PP是直线LV和代理平面PL1 (PL2)的交点。
[0123]渲染纹理的参照位置只要视点或投影装置的位置未变化，则在最初仅计算一次即可。作为用于预先保持该数据的代表性的方法，存在将是否参照渲染纹理的某个位置(U，V) 的像素值(纹素值(于夕七少値))作为一页纹理保持在绘图缓冲区的每一像素中的方法。该纹理称作“UV贴图”。图6中示出投影装置的绘图缓冲区、UV贴图和渲染纹理的关系。
[0124]有关绘图缓冲区上的全部像素，求得而预先保持图6的渲染纹理的对应点(UV坐标值)是需要大量的资源的。在来不及准备该大量的资源的情况下，关于适当地配置在屏幕SC 上的代表顶点，求得绘图缓冲区上的对应点(XP，YP)和渲染纹理上的对应点(U，V)，预先作成连结这些的三角形多边形的网状。于是，在描绘三角形多边形时，参照在三角形多边形的顶点作为信息记录的(U，V)坐标，关于这些三角形多边形内部的点使用从这些被插值的(U，V)坐标。如此一来，能够大幅地节约资源。
[0125]2.2以顶点单位的畸变校正方法
[0126]接着，说明以绘图对象的顶点单位进行畸变校正的方法。在这种方法中，将对象空间内的三维对象的顶点转换为投影装置的绘图缓冲区上的点。具体而言，依次进行图7或下述所示的(1)、(2)、(3)、(4)的处理。这相当于以相反的顺序进行图4的方法的处理。
[0127](1)求得将对象空间内的三维对象0B的顶点V(XV，YV，ZV)的位置与玩家的代表视点对应的虚拟相机VC的位置VP进行连结的直线LV。
[0128](2)求得被求出的直线LV与屏幕SC的交点PS(XS，YS，ZS)的位置。例如，在以椭圆面的方程式等的数学式表示屏幕SC的情况下，利用表示直线LV的数学式和屏幕SC的数学式求得交点PS。表示该屏幕SC的数学式是屏幕SC的形状信息。
[0129](3)求得连结交点PS(XS，YS，ZS)的位置和投影装置PJ的位置的直线LR。[〇13〇](4)求得对应直线LR的绘图缓冲区上的点PD (XD，YD)的位置。这个点TO相当于三维对象0B对应的绘图缓冲区上的绘图对象0BD的顶点。此外，当从直线LR求得点PD时，使用投影装置PJ的透镜的特性或配置等的光学系统的信息。
[0131]此后，通过连结绘图对象0BD的顶点和顶点，进行涂色的光栅化处理，从而能够在绘图缓冲区上生成投影图像。
[0132]此外，在这种情况下，优选进行如下的方法。即，以在顶点分割数设定部设定的顶点分割数，对对象空间内的三维对象0B进行顶点分割处理。然后，求得连结顶点分割处理后的三维对象0B的顶点位置和虚拟相机VC的位置的直线与投射用屏幕SC的交点位置。然后， 根据所求得的交点位置，求得对应于三维对象0B的绘图对象0BD在绘图缓冲区上的顶点位置。于是，根据所求得的绘图对象0BD的顶点位置，在绘图缓冲区进行描绘绘图对象0BD的处理，从而生成投射用的投影图像。如果采用这样的方法，则能够抑制如下这种情况的发生， 例如对象空间内的直线，即使在绘图缓冲区上也会作用直线而绘制，导致结果观察到畸变的图像。
[0133]2.3命中判定处理
[0134]图8示出在本实施方式的图像生成系统中生成的投影图像的例子。在本实施方式中如图8所示的投影图像生成在绘图缓冲区上，被生成的投影图像通过投影装置30而投影到屏幕20。该投影图像是以上述的像素单位的进行畸变校正或以顶点单位进行畸变校正的图像。
[0135]在本实施方式中，图8所示的投影图像投影到图1、图2的屏幕20,玩家边观察屏幕 20映出的投影图像，边对敌方对象等的目标对方进行射击游戏。即，手持仿制枪的光射出部 50,目苗准目标对象物，扣动设置在光射出部50的扳机(发射开关)，进行射击。此时，在游戏中将从光射出部50的光(红外光)的射出方向设定为枪的子弹的飞行方向，进行目标对象物与子弹(射出光)的命中判定处理。如果子弹命中，则进行目标对象物被毁坏等的已知的被击中效果处理。
[0136]如图8所示，在投影图像中显示树木、岩石等构成游戏图像的对象的图像。另外，在该投影图像中也表示瞄准对象SG1、SG2。瞄准对象SG1、SG2是表示仿制枪的光射出部50的瞄准的对象。如果玩家瞄准该瞄准对象(SG1或SG2)而扣动光射出部50的扳机，则子弹(光线) 向瞄准对象的方向飞去。此外，图8是两个玩家进行多人游戏时的游戏图像的例子，SG1是第一玩家用的瞄准对象，SG2是第二玩家用的瞄准对象。这些瞄准对象SG1、SG2是配置在对象空间的对象(三维对象)，瞄准对象SG1、SG2在对象空间的配置位置例如根据光射出部50的射出方向而求得。因此，这些瞄准对象SG1、SG2的图像也成为以所述的像素单位或顶点单位进行畸变校正处理的图像。
[0137]图9(A)、图10(A)是通过现有的图像生成系统实现的射击游戏的说明图，图9(B)、 图10(B)是通过本实施方式的图像生成系统实现的射击游戏的说明图。
[0138]在图9(A)的以往的射击游戏中，例如在LCD或CRT的平面的屏幕520显示游戏图像， 玩家边观察该游戏图像，边操作光射出部550(枪型控制器)，进行射击游戏。由于游戏图像在平面屏幕520显示，因此光射出部550的射击范围如A1所示的较窄。
[0139]另一方面，在图9(B)的本实施方式的射击游戏中，通过投影装置30将投影图像投影到圆弧形状(曲面形状)的屏幕20上。玩家边观察投影到屏幕20的投影图像，边手持光射出部50,进行射击游戏。由于作为游戏图像的投影图像投影到圆弧形状的屏幕20,光射出部 50的射击范围如A2所示的较广。即，能够实现使从屏幕20的上方袭击来的敌方或从下方袭击来的敌方命中子弹的射击游戏。[〇14〇]图10(A)、图10(B)是两个玩家进行的多人游戏的射击游戏的例子。
[0141]在图10(A)的以往的多人玩的射击游戏中，在平面的屏幕520显示图像。因此，第一玩家的光射出部550的射击范围如A3所示的较窄，第二玩家的光射出部552的射击范围也如 A4所示的较窄。
[0142]另一方面，在图10(B)的本实施方式的多人玩的射击游戏中，由投影装置30的投影图像投影到以覆盖第一、第二玩家的方式而设置的圆弧形状的整个屏幕20。因此，如A5所示，第一玩家的光射出部50的射击范围以及第二玩家的光射出部52的射击范围非常广阔。 例如，如A6所示，第一玩家使即使在第二玩家的正前方出现的敌方也能够命中子弹。同样地，如A7所示，第二玩家使即使在第一玩家的正前方出现的敌方也能够命中子弹。
[0143]这样，根据本实施方式，采用将两个(或一人)玩家的视野完全地包进去的巨大的圆弧形状的屏幕20。因此，能够使两人一起享受边感受压倒性身临其境的感觉，边狙击从上下左右袭击来的敌方的全新体验的射击游戏(枪战游戏)。因此，能够提供可以使情侣、家族、团体等广泛的客户群享受的射击游戏。
[0144]那么，在采用这种圆弧形状(曲面形状)的屏幕20的情况下，如何正确地实现光射出部50的子弹的命中判定处理(击中判定处理)就成为重要的技术问题。为了解决这个技术问题，本实施方式中采用以下的命中判定方法。
[0145]图11是说明本实施方式的命中判定方法的图。在本实施方式中，依次进行图11或下述所示的(1)、(2)、(3)、(4)、(5)的处理。
[0146](1)首先，检测来自光射出部GN的光在拍摄图像上的位置PSL(XL，YL)。该位置PSL (XL，YL)的坐标例如以摄像元件的坐标系(例如(XD坐标系)表示。
[0147]S卩，从玩家手持的光射出部GN(枪型器件)射出红外光，通过设置有广角透镜(例如鱼眼透镜)的摄像部CM对该红外光的光点(形成在图1、2的屏幕20的光点)进行拍摄(摄影)。 然后，进行所得的拍摄图像的图像解析处理，求得拍摄图像映出的红外光的光点(红点)的位置PSL(XL，YL)的坐标(CCD坐标系)。
[0148](2)接着，根据光点在拍摄图像上的位置PSL(XL，YL)，求得该光点对应的方向矢量VSL。即，求得从摄像部CM观察的光点的方向矢量VSL。该方向矢量VSL例如是摄像部CM的相机坐标系的方向矢量。
[0149]例如，通过光射出部GN，从形成在图1、图2的屏幕20上的光点的光通过摄像部CM的光学系统，映射到摄像元件的位置PSL(XL，YL)。因此，根据摄像部CM的光学系统(透镜)的信息，能够求得来自光点的光的入射方向对应的方向矢量VSL (入射方向和相反方向)。例如， 摄像部CM因广角透镜(鱼眼透镜)的折射效果扩展视角。例如，视角扩展为左右视角约为120 度，上下视角约为90度。通过使用这种扩展视角的鱼眼透镜，能够将圆弧形状的屏幕20的广范围的投影区域容纳于摄像部CM的拍摄范围。然后，当求得方向矢量VSL时，采取这种视角进行计算。[〇15〇] (3)接着，求得沿着方向矢量VSL的直线LL和投射用的屏幕SC的交点SL(XC，YC，ZC) 的位置。即，在本实施方式中，根据光点在拍摄图像上的位置PSL(XL，YL)，求得作为屏幕20 上的光点位置的屏幕光点位置，但图11的交点SL(XC，YC，ZC)相当于该屏幕光点位置。
[0151]具体而言，将相机坐标系的方向矢量VSL转换为现实世界的世界坐标系(圆弧坐标系)。即，将相机坐标系的方向矢量VSL的朝向转换为世界坐标系的朝向，摄像部CM的设置方向(拍摄方向)反映在方向矢量VSL。例如，如图1、图2所示，摄像部CM设置为仅向下倾斜预定角度，因此该倾斜角度等反映在方向矢量VSL。
[0152] 然后，求得沿着方向矢量VSL的直线LL和屏幕SC的交点SL(XC，YC，ZC)的位置。例如，在以椭圆面的方程式等的数学式表示屏幕SC的情况下，利用表示沿着方向矢量VSL的直线LL的数学式和表示屏幕SC的数学式求得交点SL的位置。表示该屏幕SC的数学式是屏幕SC 的形状信息。另外，求得的交点SL (XC，YC，ZC)的位置对应在屏幕SC上光点的位置。
[0153] (4)接着，求得从作为光射出部GN的代表位置而设定的设定位置PG向交点SL(XC， YC，ZC)的位置(屏幕光点位置)的方向来作为光射出部GN的光的射出方向DG(枪方向)。
[0154]该设定位置PG是在现实世界设定的光射出部GN的理想的位置。例如，设定位置PG 通过作为基准位置的固定的坐标值(X、Y、Z坐标)表示图1、图2的玩家座椅10的座面位置。 即，设定光射出部GN位于该设定位置PG，确定设定位置PG的坐标。此外，设定位置PG可以是作为玩家的代表位置(玩家的预定部位的位置)设定的位置。另外，例如在能够检测光射出部GN的位置(或玩家的位置)的情况下，也可以将该检测位置作为设定位置PG。在这种情况下，设定位置PG为可变的位置。
[0155] (5)接着，根据所求得的射出方向DG，进行与对象空间内的对象T0B的命中判定处理。即，将该射出方向DG(射出角度)假设为玩家拿着的光射出部GN(枪)的朝向，根据沿着该射出方向DG的直线LG，进行对象T0B的命中判定处理。例如，通过直线LG和对象T0B的交叉判定而实现命中判定处理。也就是说，射线(PY)沿着射出方向DG飞行，并扩展该射线而进行与对象T0B的命中判定处理。
[0156]图12是示出以上说明的本实施方式的命中判定处理的流程图。
[0157]首先，求出光点在拍摄图像上(CCD坐标系)的位置PSL(步骤S1)。然后，求得光点位置PSL对应的方向矢量VSL(相机坐标系)(步骤S2)。
[0158]接着，将所求得的方向矢量VSL从相机坐标系转换为世界坐标系(步骤S3)。然后， 求得沿着方向矢量VSL的直线LL和屏幕SC的交点SL的位置(步骤S4)。[〇159]接着，求出从枪的设定位置PG朝着交点SL的位置的方向来作为射出方向DG(步骤S5)。然后，利用沿着所求得的射出方向DG的直线LG，进行命中判定处理(步骤S6)。
[0160]根据以上的本实施方式的方法，在将投影图像投影到圆弧形状的屏幕20的图像生成系统中，能够实现反映圆弧形状等的适当的命中判定处理。
[0161]S卩，在本实施方式中，从在拍摄图像上的光点的位置PSL求得作为光点在屏幕SCI 的位置的屏幕光点位置。具体而言，求得光点在拍摄方向的位置PSL对应的方向矢量VSL，作为屏幕光点位置，求得与屏幕SC的交点SL的位置。因此，能够求得反映圆弧形状的屏幕SC的形状的交点SL的位置。并且，例如在变更屏幕SC的形状的情况下，也能容易地对应于此。另夕卜，由位置PSL求得方向矢量VSL时，由于能够使用摄像部CM的光学系统的信息，因此，能够求得反映摄像部CM的光学系统的信息的交点SL的位置。
[0162]于是，该交点SL的位置对应在现实世界中光射出部GN形成在屏幕20上的光的位置。因此，使用该交点SL的位置，设定光射出部GN的光的射出方向DG，如果与对象T0B进行命中判定处理，则能够实现反映圆弧形状等的适当的命中判定处理。
[0163]例如，作为本实施方式的比较例的方法，想到如下的方法，将投影图像投影到由一个平面构成的单一平面屏幕，并根据摄像部的拍摄图像检测由光射出部形成在单一平面屏幕的光点的位置，并仅根据该光点的位置求得光的射出方向，进行命中判定。
[0164]然而，该比较例的方法在屏幕为单一平面屏幕的情况下，能进行正确的命中判定处理，在使用本实施方式的通过投射用屏幕这样的一个曲面或多个面构成的屏幕的情况下，存在无法实现正确的命中判定处理的问题。即，在单一平面屏幕中，仅根据光点在屏幕上的位置，能够唯一的确定光射出方向，在投影映射的投影用屏幕中，无法唯一的确定光的射出方向。
[0165]这一点，在本实施方式中，准备了作为光射出部50或被设定为玩家的代表位置的设定位置。然后，将从该设定位置向屏幕光点位置的方向设定为光的射出方向，执行命中判定处理。通过这样的方式，在使用包括一个曲面或多个面的投射用屏幕，实现例如图9(B)、 图10(B)所示的游戏的情况下，能够实现反映投射用屏幕的形状的正确的命中判定处理。
[0166]另外，在本实施方式中，也可以通过作为广角透镜具有鱼眼透镜的摄像部CM，对投影区域进行拍摄，检测光点的位置。这样，屏幕20为圆弧形状，在投影图像的投影区域非常广的情况下，也能够对应于此。
[0167]S卩，在本实施方式中，如图9(B)的A2或图10(B)的A5所示，光射出部50的射击范围非常广。因此，例如在图9(B)中，能使从屏幕20的上方或下方袭击来的敌方命中子弹。并且， 在图10(B)中，如A6所示，第一玩家使即使出现在第二玩家的正前方的敌方也能够命中子弹，如A7所示，第二玩家使即使出现在第一玩家的正前方的敌方也能够命中子弹。然后，例如在图10(B)中，由投影装置30的投影图像投影到以覆盖第一、第二玩家的方式而设置的圆弧形状的整个屏幕20。因此，在使用通常的透镜的摄像部中，难以检测形成在这种屏幕20上的光点的位置。
[0168]该点，如果作为广角透镜在摄像部CM设置鱼眼透镜，则通过该鱼眼透镜，能将拍摄范围设定为容纳于图10(B)那种巨大的圆弧形状的整个屏幕20,从而能确切地检测形成在屏幕20上的光点位置。因此，能够实现对如图9(B)、图10(B)那种射击游戏最佳的光点的检测系统。
[0169]2.4瞄准对象
[0170]在射击游戏中，需要用于对敌方进行瞄准的瞄准对象。然后，在射击游戏中，通常通过配置在屏幕上的二维对象实现该瞄准对象。[〇171]然而，在向圆弧形状的屏幕20进行投影映射的图像生成系统中，投影图像成为如图8所示反映圆弧形状而变形的图像。因此，在上述那种在屏幕上配置二维的瞄准对象的方法中，难以在这种投影图像上显示适当的瞄准。
[0172]此处，在本实施方式中，采用如下方法，根据在图11中求得的射出方向DG，求得瞄准对象在对象空间的配置位置。
[0173]例如，在图13中，通过上述图11的方法，求得光射出部GN的射出方向DG。此时，在本实施方式中，根据该射出方向DG，求得瞄准对象SG在对象空间的配置位置，在所求得的配置位置配置瞄准对象SG。即，不是屏幕上的二维对象，而是作为虚拟三维空间的对象空间内的三维对象(具有三维坐标的对象)，配置瞄准对象SG。具体而言，在沿着射出方向DG的直线LG 上配置瞄准对象SG。例如，在图13中，在直线LG和屏幕SC的交点位置配置瞄准对象SG。
[0174]通过这样的方式，在玩家手持光射出部GN狙击的方向上显示瞄准对象SG。例如，如果玩家上下左右移动光射出部GN，与此连动，从而瞄准对象SG也上下左右移动。然后，从玩家的视点观察，在瞄准对象SG与对象T0B重叠的状态，如果扣动光射出部GN的扳机，则能够使来自光射出部GN的子弹命中对象T0B。
[0175]S卩，在进行投影映射的图像生成系统中，在屏幕上配置二维瞄准对象的方法中，确定配置哪种形状/显示状态的瞄准对象变得非常困难。
[0176]相对于此，在本实施方式中，有效地活用为了命中判定处理而求得的交点SL的位置或射出方向DG，在对象空间配置瞄准对象SG。以这样的方式，如图8所示，反映屏幕20的形状的适当的瞄准对象SG1、SG2的图像显示在投影图像上。而且，通过将该投影图像投影到屏幕20上，能够显示从玩家观察能观察到适当的形状的瞄准对象SG1、SG2的图像。因此，能进行对投影映射的图像生成系统适当的瞄准对象的显示。
[0177]此外，在图13中，在沿着射出方向DG的直线LG上配置瞄准对象SG，但本实施方式不限定于此。例如，如图14所示，也可以在连结虚拟相机VC的位置VP和交点SL的位置的直线 LSV上配置瞄准对象SG。通过这样的方式，能够配置从玩家的视点观察恰当地观察到的瞄准对象SG。
[0178]另外，瞄准对象SG的配置位置不限定于和屏幕SC的交点位置。例如，如图13、图14 所示，可以在与屏幕SC的交点位置的内侧配置瞄准对象SG’。在图14的情况下，从玩家的视点(虚拟相机VC)观察，能观察到瞄准对象SG、SG’在相同位置，在图13的情况下观察到稍错开的位置。
[0179]2.5方向矢量￥31
[0180]接着，详细说明求得方向矢量VSL的方法。
[0181]图15(A)、图15(B)是说明在针孔摄相机模型的这种理想的透镜LEN中，求得方向矢量VSL的方法的图。
[0182]在图15(A)中，检测在作为摄像元件的(XD的坐标系中光点的位置PSL(x，y)。在此， 由在该CCD坐标系的位置PSL( x，y)求得在相机坐标系的方向矢量VSL。
[0183]例如，在图15(A)中在CCD坐标系的值域为(0?1)，在图15(B)中，从(0?1)转换为 (一 1?+1)。另外，相对于图15(A)，在图15(B)中翻转Y轴的朝向。图15(B)中的Y轴的朝向为对于纸面朝向近处。因此，如果将图15(A)的位置PSL作为(x，y)，将图15⑶的位置PSL作为 (X，Y)，则如下式(1)。
[0184](X，Y) = (2x — 1，一(2y —1)) (1)
[0185]并且，如果将横画角作为Ax，将纵画角作为Ay，将图15(B)的虚拟屏幕SCV的Z坐标作为Z = l，则图15(B)的点PR的坐标如下式(2)表示。
[0186]PR=(tan(Ax/2)，0，l)(2)
[0187]因此，点PV的坐标如下式(3)表示。
[0188]PV=((2x —1)X (tan(Ax/2), — (2y —1) X (tan(Ay/2)) ,1)(3)[0189 ]该点PV的坐标如下式(4)那样为在相机坐标系的方向矢量VSL。
[0190]VSL=((2x —1)X (tan(Ax/2), — (2y —1) X (tan(Ay/2)) ,1)(4)
[0191]图16是说明在经常用作鱼眼透镜的f0透镜中，求得方向矢量VSL的方法的图。
[0192]在图16的B1、B2中，和图15(A)、图15(B)同样地，进行从(x，y)向(X，Y)的坐标转换。 即，配合透镜中心，使透镜中心成为(XD的中心(原点)。另外，翻转Y轴的朝向。
[0193]在图16的B3中，由于通过透镜翻转图像，因此，上下左右翻转PSL(X，Y)的坐标。然后，将从原点到PSL (X，Y)的距离作为L = (X2+Y2)1/2。
[0194]f0透镜是以0的角度入射的光线在仅离开焦点距离f的位置中，从透镜中心(光轴) 离开距离的位置成像的透镜。因此，关于L对应的0，下式(5)成立。
[0195]L = f0 (5)
[0196]在该f0透镜中，将0 = 0?jt/2对应的、由透镜中心(CXD的原点)的距离作为0?M。 SP，在f9透镜中，将以9 = V2的角度入射的光线在仅距焦点距离f的位置成像时的距离作为 M。如此，下式(6)成立。
[0197]M = f X(jt/2) (6)
[0198]由上式(5)、(6)，9如下式(7)求得。
[0199]0 = (L/M)X(jt/2)(7)
[0200]因此，由图16的B4可知，方向矢量VSL如下式(8)求得。
[0201]VSL=((X/L) X sin9, (Y/L) X sin9,cos0) (8)
[0202]此外，作为求得方向矢量VSL的方法，能进行各种变形实施。例如，对于具有f0透镜(鱼眼透镜)的摄像部40的拍摄图像，进行校正因f0透镜的畸变的公知的图像校正处理。而且，可以对于图像校正处理后的拍摄图像，应用于图15(A)、图15(B)的方法，求得方向矢量 VSL。实际的透镜不是理想型的透镜也不是f0透镜，具有无法通过单纯的式子表示的畸变的情况较多。通常经常使用对预先印刷有格子花样的图像等进行摄影等，制作将该畸变校正为在理想型的摄相机模型下的图像的地图，使用它转换为理想型的摄相机模型的图像的方法，但以该方法进行转换后，也可以应用于图15(A)、图15(B)的方法，求得方向矢量VSL。 [〇2〇3]2.6调整光点的位置检测
[0204]那么，在本实施方式这样的进行光点的位置检测的情况下，需要该位置检测的调整作业(枪/初期化)。[〇2〇5] 例如，在图17(A)?图19中，将光点的检测调整用对象111、1了2、1了3、1了4、1了5显示在初期调整时的投影图像上。
[0206]具体而言，在图17(A)中，在画面的左上表示检测调整用对象IT1。然后，操作者(例如，娱乐设施的店员)瞄准该检测调整用对象IT1狙击，扣动光射出部50的扳机。同样地，在图17(B)、图18(A)、图18(B)、图19中，在每个画面的右上、左下、右下、正中表示检测调整用对象112、几3、几4、几5。然后，操作者瞄准这些检测调整用对象112、113、114、115的狙击，扣动光射出部50的扳机。此外，图17(A)?图19是和图8同样地进行畸变校正处理的投影图像， 由于检测调整用对象IT1、IT2、IT3、IT4、IT5是配置在对象空间的三维对象，因此IT1、IT2、 IT3、IT4、IT5成为变形后的图像。
[0207]例如，在以图17(A)表示检测调整用对象IT1的状态下，操作者狙击检测调整用对象IT1，扣动光射出部50的扳机。这样，求得此时检测的射出方向DG(参照图11)和作为目标的射出方向DGT的差分角度。通过这样的方式，在实际的玩家进行游戏时，以上述差分的角度校正检测到的射出方向DG，能得到正确的射出方向DG。即，能实现光点的正确的位置检测。
[0208]那么，例如在图1、图2中，摄像部40的安装位置或安装方向存在偏差。即，在投影装置30安装摄像部40成为其拍摄方向与投影装置30的投影方向一致(大致一致)。并且，在以投影装置30为基准的预定位置安装摄像部40。然而，由于游戏系统的制造时的安装误差等， 摄像部40的安装位置或安装方向上产生偏差。这样，在投影区域的摄像部40的拍摄范围产生偏差。[〇2〇9]例如，在图20(A)、图20(B)中，RSC是投影图像的投影区域(屏幕区域)，RCM是在该投影区域RSC的摄像部40的拍摄范围。与摄像部40的广角透镜(例如鱼眼透镜)相比，投影装置30的广角透镜(例如鱼眼透镜)成为更为广角的透镜。即，投影装置30的投影范围成为比摄像部40的拍摄范围广的角。因此，如图20(A)所示，摄像部40的拍摄范围RCM成为比投影图像的投影区域RSC窄的范围。而且，如果摄像部40的安装位置或安装方向有偏差，则如图20 (B)所示，对于投影区域RSC，拍摄范围RCM例如向DRA的方向转变。而且，该拍摄范围RCM转变的方向，对应于摄像部40的安装位置或安装方向的偏差的状况，可能会成为各个方向。
[0210]在此，在本实施方式中，如图21所示，光点的检测调整用对象IT1、IT2、IT3、IT4、 IT5以在摄像部40的拍摄范围RCM的内侧表示的方式生成投影图像。即，从拍摄范围RCM的边界向如0則、01?2、01?、01?4等所示的仅给予的距离的内侧表示检测调整用对象11'1、几2、1丁3、 IT4、IT5。具体而言，将检测调整用对象IT1?IT5配置在对象空间内，以使在投影图像的投影区域RSC中拍摄范围RCM的内侧显示检测调整用对象IT1?IT5。[〇211]如此一来，如图20(A)、图20(B)，由于摄像部40的安装位置或安装方向的偏差等， 即使在拍摄范围RCM转变为投影区域RSC的情况下，也能将检测调整用对象IT1?IT5容纳在拍摄范围RCM内。
[0212]例如，如果检测调整用对象IT1?IT5未在拍摄范围RCM的内侧表示，则原本就无法执行如图17(A)?图19所示的调整作业(枪初始化)。
[0213]例如，如图20(B)所示通过拍摄范围RCM转变为右上方向，画面左下的检测调整用对象IT3未进入拍摄范围RCM。此时，初期调整时，即使操作者瞄准检测调整用对象IT3的狙击，扣动光射出部50的扳机，瞄准检测调整用对象IT3狙击的光点也不被摄像部40拍摄。因此，由于无法检测检测调整用对象IT3对应的射出方向DG，因此产生无法实现上述校正处理的状况。[〇214]这一点，在本实施方式中如图21所示，由于在离开拍摄范围RCM的边界的内侧区域表示检测调整用对象IT1?IT5,能防止上述事态的发生。
[0215]此外，也可以在投影图像上显示检测调整用对象等，使用能进行可见光拍摄的摄像部，对该检测调整用对象进行拍摄，进行所得的拍摄图像的图像解析处理，进行光点的位置检测调整。例如，在投影图像的四角表示成为检测调整用对象的条形码图像对象。然后， 使用可进行可见光拍摄的摄像部，对这些条形码图像对象进行拍摄，通过进行拍摄图像的图像解析处理，检测条形码图像对象的显示位置的偏差，进行光点的位置检测调整。在这种情况下，能进行可见光拍摄的摄像部例如通过射出红外光的摄像部40的滤光器的切换等实现。例如，在检测红外光的光点的情况下，经由红外线滤波器对图像拍摄，在对上述条形码图像对象进行拍摄的情况下，以拍摄光不通过该红外线滤波器的方式对图像进行拍摄。并且，此时的检测调整用对象不限定于条形码图像对象。例如，也可以在投影图像的四角表示彼此颜色不同的四个对象。或者，也可以对投影图像的四角照射激光等，通过进行该激光的照射位置的图像解析处理，进行光点位置的检测调整。[〇216]另外，在本实施方式中，也可以进行摄像部40的拍摄范围RCM的特定处理。例如，根据对投影图像进行拍摄的第二拍摄图像或光点的检测位置的历史信息，设定摄像部40的拍摄范围RCM。
[0217]例如，表示特定图像图案的投影图像，通过上述能拍摄可见光的摄像部，对该特定图像图案的投影图像进行拍摄，通过作为所得到的拍摄图像的第二拍摄图像的图像解析处理，确定拍摄范围RCM的边界等。或者，也可以使操作者进行上下左右振动光射出部50的动作，根据那时的光点的检测位置的历史，检测拍摄范围RCM的边界。或者，也可以根据基于在现在的玩家之前游戏的玩家的操作的光点的检测位置的历史，检测拍摄范围RCM的边界。
[0218]另外，关于瞄准对象SG，优选进行如图22(A)、图22(B)所示的显示控制。
[0219]例如，如图22(A)所示，在瞄准对象SG位于摄像部40的拍摄范围RCM内的情况下，通过在图13说明的方法检测光的射出方向DG，在直线LG上配置瞄准对象SG，能够在投影图像上表示瞄准对象SG。
[0220]然而，在光点位于拍摄范围RCM的外侧的情况下，由于无法如图13所示检测射出方向DG，从而无法在适当的位置表示瞄准对象SG。即，拍摄范围RCM比投影图像的投影区域RSC 窄。因此，投影区域RSC的内侧，且拍摄范围RCM的外侧的区域RF成为虽然存在投影图像，但无法检测光点的区域。因此，即使玩家使光射出部50朝向区域RF的方向，以便于在该区域RF 形成光点，在图13的方法中，也无法使瞄准对象SG显示在区域RF。
[0221]在此，在图22(A)、(B)中，采用使瞄准对象SG的显示位置向从拍摄范围RCM的中心向外侧的外侧方向DRS转变的方法。即，向以图13的方法特定的显示位置的更外侧方向DRS 转变瞄准对象SG的显示位置。例如，在以图13的方法确定的瞄准对象SG的显示位置为拍摄范围RCM的边界附近的位置的情况下，向外侧方向DRS移动瞄准对象SG的表示位置，以使瞄准对象SG的显示位置成为投影区域RSC的边界附近的位置。通过这样的方式，虽然瞄准对象 SG的显示位置不正确，在玩家使射出部50朝向区域RF的方向的情况下，如图22(B)所示的显示瞄准对象SG，能够减轻玩家的不自然感。
[0222]此外，如上所述虽然对本实施方式进行了详细说明，但在实质上不脱离本发明的新技术方案以及效果的前提下的多种变形，对本领域技术人员而言是容易理解的。因此，这种变型例都包含在本发明的范围内。例如，说明书或附图中至少一次，和更广义或同义的不同术语一起记载的术语，无论在说明书或附图的任何位置都可以替换成该不同的术语。并且，投射用的投影图像的生成方法、光点的位置检测方法、命中判定方法等不限定在本实施方式的说明，与此均等的方法也包含在本发明的范围内。另外，本发明能够应用于于各种游戏。另外，本发明能够应用于于商业用游戏系统、多玩家参加的大型娱乐设施等各种图像生成系统。
[0223]另外，本发明也能对应于头部追踪系统或眼镜式立体视觉。在导入头部追踪系统的情况下，基于头的位置确定玩家的代表视点位置，通过进行该位置对应的图像校正处理或瞄准校正处理，能实现更自然的影像或瞄准的移动。
[0224]并且，为了对应立体视觉，在将玩家的视点位置划分为左眼和右眼并进行了对代理平面的绘图和图像的畸变校正处理后，将两个图像作为立体视觉影像合成即可。此外，如前所述，代表视点位置也可以用作确定弹丸的射出方向的直线的起点，但在该处理中未将代表视点划分为左眼和右眼，例如两眼的中心位置等使用一点进行。由此，能立体视觉，并且还能提供具有临场感的影像。
[0225]符号说明
[0226]SC屏幕、PJ投影装置(投射器)、VC虚拟相机、VP虚拟相机的位置、0B对象、0BD绘图对象、PSL拍摄图像上的光点的位置、CM摄像部、VSL方向矢量、LL、LG直线、SL交点、GN光射出部、PG设定位置、DG射出方向、T0B对象、SG、SG1、SG2瞄准对象、IT1?IT5检测调整用对象、 RCM拍摄范围、RSC投影区域、10玩家座椅、12支柱、14壳体框架、16控制基板、20屏幕、30投影装置、40摄像部、42透镜、44摄像元件、50光射出部、100处理部、102游戏运算部、104对象空间设定部、106移动体运算部、108虚拟相机控制部、110接收部、114打中判定部、116拍摄范围确定部、120图像生成部、130声音生成部、160操作部、170存储部、172对象数据存储部、 176绘图缓冲区、180信息存储介质、190显示部、192声音输出部、194辅助存储装置、196通信部。
【主权项】
1.一种图像生成系统，其特征在于，包括:对象空间设定部，进行对象空间的设定处理；图像生成部，根据配置在所述对象空间的多个对象的信息，生成投射用的投影图像；接收部，接收来自对所述投影图像的投影区域进行拍摄的摄像部的拍摄图像；以及命中判定部，根据由来自光射出部的光形成的光点在所述拍摄图像上的位置，求得在 投射用屏幕上的作为所述光点的位置的屏幕光点位置，并求得从所述光射出部或被设定为 玩家的代表位置的设定位置朝向所述屏幕光点位置的方向来作为所述光射出部的光的射 出方向，根据求出的所述射出方向，进行与所述对象空间内的对象的命中判定处理。2.根据权利要求1所述的图像生成系统，其特征在于，所述投射用屏幕是包括一个曲面或多个面的屏幕，所述图像生成部根据所述投射用屏幕的形状信息而进行畸变校正处理，并生成所述投 影图像，所述命中判定部根据所述投射用屏幕的形状信息，求得所述屏幕光点位置。3.根据权利要求2所述的图像生成系统，其特征在于，所述命中判定部根据所述光点在所述拍摄图像上的位置，求得从所述摄像部观察到的 所述光点的方向矢量，并求得沿着所述方向矢量的直线与所述投射用屏幕的交点位置来作 为所述屏幕光点位置。4.根据权利要求2或3所述的图像生成系统，其特征在于，所述图像生成部将绘图缓冲区上的像素通过所述投影装置的光学系统射出的光线与 所述投射用屏幕的交点位置和代表视点位置相连结的直线作为虚拟相机的视线来确定所 述绘图缓冲区上的所述像素的颜色。5.根据权利要求2或3所述的图像生成系统，其特征在于，所述图像生成部根据将所述对象空间内的对象的顶点位置和代表视点位置相连结的 直线与所述投射用屏幕的交点位置，求得对应于所述对象的绘图对象在绘图缓冲区上的顶 点位置，并根据所述顶点位置而在所述绘图缓冲区描绘所述绘图对象。6.根据权利要求1至5中任一项所述的图像生成系统，其特征在于，所述对象空间设定部根据所述射出方向而求得表示所述光射出部的瞄准的瞄准对象 在所述对象空间中的配置位置，从而在求出的所述配置位置配置所述瞄准对象。7.根据权利要求6所述的图像生成系统，其特征在于，所述对象空间设定部在沿着所述射出方向的直线上配置所述瞄准对象。8.根据权利要求1至7中任一项所述的图像生成系统，其特征在于，所述图像生成部生成所述光点的检测调整用对象显示于所述摄像部的拍摄范围的内 侧的所述投影图像。9.根据权利要求8所述的图像生成系统，其特征在于，所述对象空间设定部以使所述检测调整用对象在所述投影图像的投影区域中显示于 所述摄像部的所述拍摄范围的内侧的方式，将所述检测调整用对象配置在所述对象空间 中。10.根据权利要求1至9中任一项所述的图像生成系统，其特征在于，所述图像生成系统包括根据对所述投影图像进行拍摄而得到的第二拍摄图像或所述光点的检测位置的历史信息而确定所述摄像部的拍摄范围的拍摄范围确定部。11.根据权利要求1至10中任一项所述的图像生成系统，其特征在于，所述图像生成系 统包括所述摄像部，所述摄像部具有摄像元件和鱼眼透镜。12.根据权利要求11所述的图像生成系统，其特征在于，所述图像生成系统包括所述投影装置，所述摄像部安装在所述投影装置。13.—种图像生成系统，其特征在于，包括:对象空间设定部，进行对象空间的设定处理；图像生成部，根据配置在所述对象空间的多个对象的信息，生成投射用的投影图像； 投影装置，投影所述投影图像；摄像部，对所述投影图像的投影区域进行拍摄；光射出部，射出光；以及命中判定部，根据来自所述摄像部的拍摄图像，求得所述光射出部的光的射出方向，并 根据求出的所述射出方向，进行与所述对象空间内的对象的命中判定处理，所述摄像部具有摄像元件和鱼眼透镜。14.一种图像生成方法，其特征在于，包括:进行对象空间的设定处理；根据配置在所述对象空间的多个对象的信息，生成投射用的投影图像；接收来自对所述投影图像的投影区域进行拍摄的摄像部的拍摄图像；以及 根据由来自光射出部的光形成的光点在所述拍摄图像上的位置，求得在投射用屏幕上 的作为所述光点的位置的屏幕光点位置，并求得从所述光射出部或被设定为玩家的代表位 置的设定位置朝向所述屏幕光点位置的方向来作为所述光射出部的光的射出方向，根据求 出的所述射出方向，进行与所述对象空间内的对象的命中判定处理。15.—种信息存储介质，存储使计算机发挥作用的程序，其特征在于，包括:对象空间设定部，进行对象空间的设定处理；图像生成部，根据配置在所述对象空间的多个对象的信息，生成投射用的投影图像； 接收部，接收来自对所述投影图像的投影区域进行拍摄的摄像部的拍摄图像；以及 根据由来自光射出部的光形成的光点在所述拍摄图像上的位置，求得在投射用屏幕上 的作为所述光点的位置的屏幕光点位置，并求得从所述光射出部或被设定为玩家的代表位 置的设定位置朝向所述屏幕光点位置的方向来作为所述光射出部的光的射出方向，根据求 出的所述射出方向，进行与所述对象空间内的对象的命中判定处理。
【文档编号】G09G5/377GK105993167SQ201580008601
【公开日】2016年10月5日
【申请日】2015年2月12日
【发明人】凑和久, 牧野贡, 松下太志, 石井源久
【申请人】株式会社万代南梦宫娱乐