窗口显示装置的制作方法

专利名称：窗口显示装置的制作方法
技术领域：
本发明涉及在信息装置的画面上进行窗口显示的窗口显示装置，特别是涉及窗口被置于假想的三维空间内进行显示的装置。
背景技术：
在计算机等的信息终端中，为了提高人机接口的操作能力而采用多窗口显示装置。
作为在面积有限的画面上有效地进行尽可能多的窗口显示的现有的多窗口显示装置，有特开平6-222899中记载的多窗口显示方式。
图69是表示采用上述现有技术进行的画面显示的图。
该现有技术是将窗口配置在假想的三维空间内，通过将置于画面深处的窗口缩小，提高窗口的容纳效率，在心理上有一种扩大画面的感觉。
可是，在上述现有技术中，被置于画面深处的窗口由于将整个窗口缩小进行显示，所以存在不能判断窗口显示的全部内容的问题。
发明的公开因此本发明就是鉴于这样的问题而完成的，是一种窗口被置于假想的三维空间内进行显示的装置，其目的在于提供一种提高窗口的容纳效率，在心理上有扩大画面的感觉，同时不易产生不能判断全部显示内容的这种不妥善的情况的窗口显示装置。
为了达到上述目的，本发明是一种在画面上显示多个窗口的窗口显示装置，其特征在于备有保存表示上述窗口的显示内容的显示数据的显示数据保存装置；对上述窗口确定在假想的三维空间内的与上述画面不平行的配置位置的配置位置确定装置；根据被确定的上述配置位置，变换上述显示数据以便将上述窗口透视投影在上述画面上的透视投影装置；以及将变换后的显示数据显示在上述画面上的显示装置。
因此，由于至少能将一个窗口沿纵深方向倾斜地配置在假想的三维空间内进行显示，所以即使在该窗口被配置在三维空间的深处的情况下，也能避免现有技术中的不妥善的情况，就是说，能避免由于整个窗口的尺寸被均等地缩小而不能判断全部显示内容的不妥善的情况，同时能有效地灵活利用画面上的显示面积，而且，能在心理上具有画面被扩大的感觉。另外，由于仍能掌握倾斜的窗口面前部分的信息，能在窗口深处部分节省显示区域，所以能实现既维持能识别窗口上的显示内容的至少一部分、又能有效地灵活利用画面上的显示面积的窗口显示装置。
这里，上述窗口显示装置还备有获得来自操作者的指示的输入装置，上述配置位置确定装置根据上述输入装置获得的指示，能确定上述配置位置。因此，操作者能确定整个窗口的尺寸和纵深方向的倾斜程度。
另外，上述配置位置确定装置能将决定上述窗口的外形的各顶点在三维空间的坐标作为上述配置位置加以确定。因此，如果窗口例如呈平面四边形时，则只需根据四个顶点的坐标，就能决定窗口在三维空间的配置位置。
另外，上述窗口显示装置还备有窗口分析装置，它根据上述显示数据保存装置中保存的显示数据，将上述窗口的显示内容中满足一定条件的地方作为重要的地方来检测，上述配置位置确定装置也能确定上述窗口的配置位置，以使由上述分析装置检测的地方显示在面前。因此，窗口的显示内容的重要的地方能沿纵深方向倾斜地显示在面前，所以即使在显示多个窗口的状态下，操作者一看就能识别各窗口的种类和显示内容。
另外，上述窗口分析装置判断上述显示数据中是否包含该窗口的标题，在包含的情况下，也能将显示窗口标题的地方作为上述重要的地方进行检测。因此，掌握窗口的种类变得容易。
另外，上述窗口分析装置判断上述显示数据中是否包含文挡及用横写方式显示该文挡的意思的指示，在包含的情况下，也能将接近窗口左侧作为上述重要的地方进行检测。因此，掌握窗口中显示的横写文挡的种类和概要变得容易。
另外，上述窗口分析装置判断上述显示数据中是否包含文挡及用竖写方式显示该文挡的意思的指示，在包含的情况下，也能将接近窗口右侧作为上述重要的地方进行检测。因此，掌握窗口中显示的竖写文挡的种类和概要变得容易。
另外，上述配置位置确定装置还可以包括自动排列部，用来确定多个窗口的预定排列位置中至少一个窗口不平行于上述画面的位置时的各窗口的配置位置。因此，能排列显示分散在画面上显示的多个窗口，所以能有效地灵活利用画面的显示面积，同时能一览现在显示的全部窗口。
另外，上述配置位置确定装置还可以包括根据上述输入装置获得的指示，确定上述排列位置中已显示的窗口被显示在正面方向的新的配置位置上的装置；以及确定使显示在正面方向的窗口返回上述排列位置的新的配置位置的装置。因此，只使成为操作对象的窗口朝向正面，操作结束后返回原排列位置的操作变得容易。
另外，上述窗口显示装置还能备有窗口信息图像位置变更装置，用来根据上述配置位置确定装置确定的配置位置，对上述显示数据保存装置中保存的显示数据进行编辑，以便由标题及菜单构成的窗口信息画面被显示在面前。因此，即使在倾斜地显示窗口的情况下，也能使标题及菜单显示在面前，所以掌握窗口的种类和窗口的操作变得容易。
另外，上述窗口显示装置还能备有窗口信息图像方向变更装置，用来控制上述配置位置确定装置，以使在面前显示窗口信息图像的窗口中的信息图像朝向正面，其余的窗口本体部分呈不与画面平行的配置位置。因此，即使在倾斜地显示窗口的情况下，也能使标题及菜单显示在面前位置，而且朝向正面，所以掌握窗口的种类和窗口的操作变得容易。
另外，上述窗口显示装置还能备有判断由上述透视投影装置变换的数据中是否发生显示小于规定的大小的字符的不可能识别区域的不可能识别区域判断装置；在断定存在不可能识别区域的情况下，确定使该区域不被显示在窗口中时的滚屏(scroll)按钮的位置的滚屏按钮位置确定装置；以及编辑上述显示数据的滚屏附加装置，用来将在确定的位置上配置了滚屏按钮的滚屏的图像附加在窗口中。因此，即使在由于沿纵深方向倾斜地显示窗口而产生了不能识别字符等的区域的情况下，也能使该字符等滑入能识别的显示区。
另外，上述窗口显示装置还备有在每一层中分离属于从上述显示数据保存装置中保存的层结构的显示数据中将最下层除去的上层的显示数据的层分离装置；以及生成与所分离的层对应的层窗口的显示数据的层窗口生成装置，上述配置位置确定装置也能确定与上述最下层平行且相距规定距离的配置位置作为上述层窗口的配置位置。因此，能立体地浮上来显示各层窗口，所以能一览地掌握被置于各层中的目标，每一层或跨越多层的目标的编辑变得容易。
另外，上述窗口显示装置还备有将上述显示数据保存装置中保存的显示数据作为检索对象，检索与输入装置获得的关键字一致的地方的关键字检索装置；以及生成关键字被配置在检索到的地方的新的层窗口的显示数据，并存储在上述显示数据保存装置中的层窗口生成装置，上述配置位置确定装置也能确定与成为检索对象的窗口平行且相距规定距离的配置位置作为上述层窗口的配置位置。因此，显示检测结果的窗口从成为检索对象的原来的窗口浮上来显示，所以能确认只着眼于层窗口中检索到的关键字的位置。
另外，上述窗口显示装置还备有从所显示的多个窗口中特别指定相关连的一组窗口的关联窗口特别指定装置；以及生成并存储使被特别指定的一组窗口弯曲成锯齿状并在框之间靠近地排列用的连续信息的连续信息存储装置，上述配置位置确定装置也能根据上述链接信息来确定一组窗口的配置位置。因此，在将文档中的多页显示在不同的窗口中等的情况下，这些相关连的窗口能被连续显示，所以能容易地特别指定例如与同一文档相关的窗口。
另外，上述窗口显示装置还备有根据上述输入装置获得的指示，变更上述连续信息以使一部分窗口从上述一组窗口中除去后的窗口作为对象来排列的链接信息变更装置，上述配置位置确定装置也能根据变更后的上述链接信息来特别指定将上述一部分窗口除去后的一组窗口的配置位置。因此，能从连续显示的窗口中只留下所关心的窗口进行显示。
另外，上述窗口显示装置还能备有窗口间编辑装置，它根据上述输入装置获得的指示，对上述显示数据保存装置中保存的显示数据进行编辑，以便跨越上述一组窗口中的一个和另一个来编辑显示内容。因此，能从连续显示的窗口中只使所关心的窗口靠近地显示，能跨越两个窗口进行目标的编辑，所以能提高跨越多个窗口的操作效率。
另外，上述显示数据保存装置由以下部分构成存储由上述窗口中显示的对象中有关字符的信息构成的字符数据的字符数据存储部；以及存储由有关除去字符后的对象的信息构成的窗口数据的窗口数据存储部，上述配置位置确定装置根据上述输入装置获得的指示，确定上述窗口及字符的配置位置，上述透视投影装置由以下部分构成根据由上述配置位置确定装置确定的窗口的配置位置，通过对上述窗口数据进行透视投影变换，生成表示上述顶点的二维数据及图像数据的透视变换部；根据由上述配置位置确定装置确定的字符的配置位置及通过上述透视变换部的变换获得的表示上述顶点的二维数据，通过变换上述字符数据，生成字符的图像数据的字符数据变换部；以及对由上述透视变换部生成的图像数据和由上述字符数据变换部生成的图像数据进行合成的合成部，上述显示装置能显示由上述合成部合成的图像数据。
另外，上述字符数据存储部由以下部分构成与上述窗口中显示的字符相关，至少存储表示假想空间内的位置的字符位置信息、特别指定应显示的字符的字符识别信息、以及表示字符的大小的尺寸信息的字符信息存储部；以及存储字符图像的字符图像存储部，上述窗口数据存储部存储窗口中显示的内容中将字符除去后的图形数据、以及表示窗口的假想空间内的位置坐标的窗口坐标信息，上述配置位置确定装置根据上述输入装置获得的指示，变更上述窗口数据和上述字符位置信息，上述透视变换部对由上述配置位置确定装置变更的窗口数据进行透视投影变换，上述字符数据变换部由以下部分构成将由上述配置位置确定装置变更的字符位置信息变换成上述画面中的位置信息的字符位置信息变换部；选择上述字符图像存储部中存储的字符图像中与上述字符识别信息对应的字符图像的字符图像选择部；以及与上述配置位置确定装置进行的位置变更处理的结果相关连地使上述字符图像选择部选择的字符图像变形的字符图像变形部，上述合成部能将由上述字符图像变形部变形后的字符图像配置在下述位置上进行合成，即配置在由上述透视变换部变换成上述画面的窗口上的由上述字符位置信息变换部变换后的上述画面上的位置信息表示的位置上进行合成。
另外，上述字符图像变形部还能由以下部分构成通过与由上述透视变换部变换的窗口形状相似的变换，改变上述字符图像的形状的形状变形部；以及根据上述字符信息存储部中存储的字符位置信息，求放大率，根据该放大率改变上述字符图像的尺寸的尺寸变形部。因此，字符图像能在假想空间内展开成三维数据，不用进行旋转、透视变换处理，与窗口脱离后作为二维数据，通过与透视变换的窗口相似的变换，按照根据字符位置坐标求得的放大率，使形状变更尺寸，变成与透视变换后的结果相似的形状后，在透视变换后的窗口中进行合成，所以与使包含字符图像的窗口旋转、进行透视变换的以往的情况相比，能减少处理量，提高性能。另外，字符图像的数据量也变少，能节省存储器。
另外，上述字符图像变形部根据上述字符信息存储部中存储的字符位置信息，求出放大率，根据该放大率，能改变上述字符图像的尺寸。因此，按照根据字符位置坐标求得的放大率，只变更字符图像的尺寸，所以更能减少处理量，在窗口上作为字符串显示时能产生纵深感。
另外，上述字符图像变形部还能由以下部分构成根据上述字符信息存储部中存储的字符位置信息，求出纵横比，根据该纵横比，变更上述字符图像的纵横比的纵横比变形部；以及根据上述字符信息存储部中存储的字符位置信息，求出放大率，根据该放大率，改变上述字符图像的尺寸的尺寸变形部。因此，不仅按照放大率，而且按照纵横比使字符图像变形，所以与只按照放大率变更尺寸的情况相比，在窗口上作为字符串显示时的纵深感变得很自然。
另外，上述字符图像存储部对假想空间内的窗口的位置进行多种设想，存储实施了与位于这些位置时的透视投影变换结果的窗口形状相似的变换后的字符图像，上述字符图像选择部从上述字符图像存储部选择与上述字符信息存储部中存储的字符识别信息和上述窗口数据存储部中存储的窗口坐标信息一致的字符图像，上述字符图像变形部根据上述字符信息存储部中存储的字符位置信息，求出放大率，根据该放大率，能改变上述字符图像选择部选择的字符图像的尺寸。因此，通过改变预先准备的字符图像的尺寸，能显示近似于透视变换后的字符图像的具有自然的纵深感的字符图像。
另外，上述窗口显示装置还备有字符图像判读可否判断装置，它根据上述字符信息存储部中存储的尺寸信息和从上述字符信息存储部中存储的字符位置信息求得的放大率，算出上述字符图像变形部使字符图像变形后的字符图像的尺寸，将该算出的尺寸与阈值进行比较，判断变形后的字符图像是否可能判读，将其判断结果通知上述字符图像选择部，上述字符图像存储部还存储符号图像，上述字符图像选择部从上述字符图像存储部选择规定的符号图像，以代替上述字符图像判读可否判断装置断定为不能判读的字符的字符图像，上述字符图像变形部将上述符号图像作为变形处理的对象之外，上述合成部能将上述符号图像配置在由上述透视变换部变换成上述画面的窗口上的由上述字符位置信息变换部变换后的上述画面上的位置信息表示的位置上进行合成。因此，对于预料到如果进行变形处理就不能判读或判读困难的字符来说，能调换成符号进行显示，能省略字符图像的读出和变形的处理，所以能减少处理量和处理时间。
另外，上述字符信息存储部还存储表示字符的字体种类的字体种类信息，上述字符图像存储部存储了每一种字体种类的字符图像，上述窗口显示装置还备有字符图像判读可否判断装置，它根据上述字符信息存储部中存储的尺寸信息和从上述字符信息存储部中存储的字符位置信息求得的放大率，算出上述字符图像变形部使字符图像变形后的字符图像的尺寸，将该算出的尺寸与阈值进行比较，判断变形后的字符图像的字体种类是否可能识别，将其判断结果通知上述字符图像选择部，上述字符图像选择部对于上述字符图像判读可否判断装置断定为字体种类不能识别的字符，忽略上述字符信息存储部中存储的字体种类信息，而能选择规定的字体种类的字符图像。因此，对于预料到如果变形就不能识别字体种类的字符来说，通过忽略字符的个别字体种类，用规定的字体种类统一显示，如果有高速缓冲存储器时，则能提高字体阅读处理中的高速缓冲命中率，处理效率变好。
另外，上述窗口数据存储部还存储表示窗口的假想空间内的坐标系的坐标系信息，上述窗口装置还备有根据上述窗口数据存储部中存储的窗口坐标信息，变更表示上述画面上的位置的坐标轴的标度的坐标系变换装置，上述透视变换部能在由标度变更后的坐标轴构成的坐标系中进行透视投影变换。因此，能变换坐标系的比率，在远离坐标轴的情况下，对于如果是通常的坐标系则字符间隔变窄、不易看清的字符也能容易阅读地显示出来。
附图的简单说明

图1是表示实施形态1的多窗口显示装置的结构框图。
图2(a)、(b)是说明透视投影部5106进行的透视投影的概念用的图，图2(a)表示投影中心、投影面及对象物(窗口)的位置关系，图2(b)表示对象物是立体物时的透视图。
图3(a)～(c)是说明透视投影部5106进行的透视投影的具体处理内容用的图，图3(a)表示被置于假想的三维空间中的窗口平行于显示画面时，被透视投影的窗口的形状与使用者的视点、显示画面及窗口的位置关系，图3(b)表示被置于假想的三维空间中的窗口不平行于显示画面时，被透视投影的窗口的形状与使用者的视点、显示画面及窗口的位置关系，图3(c)表示透视投影的具体的计算处理方法。
图4是表示实施形态1的多窗口显示装置的工作程序的流程图。
图5是表示与画面平行配置的窗口5130、5131及配置在不平行位置的窗口5132～5133的画面显示的例图。
图6是表示实施形态2的多窗口显示装置的结构框图。
图7是表示窗口分析部5201特别指定窗口的重要地方时的程序的流程图。
图8表示由窗口分析部5201特别指定了重要地方时的画面显示例。
图9是表示实施形态3的多窗口显示装置的结构框图。
图10是表示自动排列部5104a进行的自动排列程序的流程图。
图11(a)表示不重叠的第一排列方式时的例，图11(b)表示重叠的第二排列方式时的例。
图12(a)表示自动排列后的画面显示例，图12(b)表示在图12(a)的画面显示中由输入部5103选择了一个窗口5241后的画面显示例，图12(c)表示在图12(b)的画面显示中由输入部5103按压了设置在窗口5241的标题右端的窗口整理按钮5245后的画面显示例。
图13是表示实施形态4的多窗口显示装置的结构框图。
图14是表示窗口信息图像位置变更部5301及窗口信息图像方向变更部5302的工作程序的流程图。
图15表示窗口信息图像的位置变更前的窗口5330和变更后的窗口5331的画面显示例。
图16表示窗口信息图像的方向变更前的窗口5332和变更成正面方向后的窗口5333的画面显示例。
图17是表示实施形态5的多窗口显示装置的结构框图。
图18是表示滚屏按钮位置确定部5401、滚屏附加部5402及不可能识别区域判断部5403工作程序的流程图。
图19(a)表示滚屏按钮5430及滚屏5431的一般概念图，图19(b)表示窗口显示区的下半部分被断定为不可能识别区域5432时的画面显示例。
图20是表示实施形态6的多窗口显示装置的结构框图。
图21是表示窗口层分离部5501及层窗口生成部5502的工作程序的流程图。
图22(a)示意性地表示两层时的层分离(步骤S5521)处理方法例，图22(b)表示具有层结构的窗口被倾斜地沿纵深方向配置时的画面显示例。
图23是表示实施形态7的多窗口显示装置的结构框图。
图24是表示关键字检索部5601、检索结果输出部5602及层窗口生成部5603的工作程序的流程图。
图25是表示将关键字的检索结果作为层窗口显示时的画面显示例图。
图26是表示实施形态8的多窗口显示装置的结构框图。
图27是表示窗口间链接部5701、窗口相对位置存储部5702及窗口相对位置变更部5703的工作程序的流程图。
图28(a)表示根据初始链接信息，显示页1～页5的窗口的画面显示例，图28(b)表示将页3的窗口折叠起来而变更链接信息时的画面显示例。
图29(a)、(b)是表示设置了跨过页链接的窗口间进行目标操作的装置时的画面显示例，图29(a)表示根据初始链接信息，显示页1～页5的窗口时的画面显示例，是与图28(a)相同的画面，图29(b)是表示通过折叠页2及页3，使页1和页4相对地显示后，将页1上的目标复制在页4上的形态图。
图30是本发明的窗口显示装置的实施形态9的框图。
图31是表示本实施形态的假想空间内的窗口例图。
图32是表示该实施形态的窗口信息的例图。
图33是表示该实施形态的字符信息的例图。
图34是表示该实施形态的窗口的旋转和透视变换的例图。
图35是表示本实施形态的旋转处理后的窗口信息的例图。
图36是表示本实施形态的旋转处理后的字符信息的例图。
图37(a)、(b)是表示本实施形态的透视变换后的有关窗口及字符的信息例图。
图38是表示该实施形态的旋转处理前窗口的透视变换图的例图。
图39是表示该实施形态的旋转处理后窗口的透视变换图的例图。
图40是表示本实施形态的Z坐标值和字体放大率的关系曲线图。
图41是表示本实施形态的显示用字体尺寸的例图。
图42是表示该实施形态的窗口显示处理的流程图。
图43是本发明的窗口显示装置实施形态10的框图。
图44是表示该实施形态的旋转处理前窗口的透视变换图的例图。
图45是表示该实施形态的旋转处理后窗口的透视变换图的例图。
图46是表示该实施形态的窗口显示处理的流程图。
图47是本发明的窗口显示装置实施形态11的框图。
图48是表示该实施形态的旋转处理前窗口的透视变换图的例图。
图49是表示该实施形态的旋转处理后窗口的透视变换图的例图。
图50(a)～(c)是表示该实施形态的窗口位置、纵横比、字符位置和放大率各自的关系曲线图。
图51是该实施形态的窗口显示处理的流程图。
图52是本发明的窗口显示装置实施形态12的框图。
图53(a)～(f)是表示该实施形态的字体数据库中存储的字体的例图。
图54是该实施形态的窗口显示处理的流程图。
图55是本发明的窗口显示装置实施形态13的框图。
图56是表示该实施形态的旋转处理前窗口的透视变换图的例图。
图57是表示该实施形态的旋转处理后窗口的透视变换图的例图。
图58是该实施形态的窗口显示处理的流程图。
图59是本发明的窗口显示装置实施形态14的框图。
图60是表示该实施形态的旋转处理前窗口的透视变换图的例图。
图61是表示该实施形态的旋转处理后窗口的透视变换图的例图。
图62是该实施形态的窗口显示处理的流程图。
图63是本发明的窗口显示装置实施形态15的框图。
图64(a)～(d)是表示该实施形态的窗口透视变换图的例图。
图65(a)～(d)是表示该实施形态的变换前后的窗口坐标系的例图。
图66(a)～(d)是表示将本发明应用于灰度字体的字符显示情况下的窗口显示例图。
图67(a)、(b)是表示将本发明应用于在立体的目标面上显示的窗口的情况下的画面显示例图。
图68(a)、(b)是表示本发明在具体的电子装置方面的应用例图。
图69是表示现有技术的多窗口的画面显示例图。
实施发明用的最佳形态以下，用附图详细说明本发明的实施形态。
首先，说明实施形态1的多窗口显示装置。
本装置的特征在于在多窗口显示时，窗口被倾斜地沿纵深方向置于假想的三维空间进行窗口显示。另外，窗口本身的形状是由四个顶点特别指定外形的平面四边形。
(结构)
图1是表示实施形态1的多窗口显示装置的结构框图。
本装置由以下部分构成程序执行部5101、存储部5102、输入部5103、三维位置计算部5104、结构测绘部5105、透视投影部5106、帧存储部5107及图像显示部5108。
程序执行部5101是显示通常的(二维)窗口、启动并执行与使用者对话的应用程序的CPU等，具体地说，将用位图像表现代码数据(文档、字符、图形等)或目标的图像数据存储在存储部5102中，上述代码数据特别指定表示应在各窗口中显示的内容的显示数据、即窗口的显示对象(目标)，与其他构成部分5102～5108交换有关该窗口的信息。另外，图像数据是与置于各目标中的窗口的全部尺寸和窗口本身在假想的三维空间内的配置位置无关的图像数据，是用预定的固定尺寸表现的数据。
存储部5102是对应于各应用程序的每个窗口存储上述显示数据、即代码数据和图像数据的存储器。另外，该存储部5102中存储的窗口不一定限于全部显示在图像显示部5108中，但图像显示部5108中显示的窗口一定限于存储在该图像显示部5108中。
输入部5103是鼠标等指示器件，获得来自使用者的指示。
三维位置计算部5104根据来自程序执行部5101或输入部5103的通知，算出并存储关于存储部5102中存储的一个窗口在上述三维空间的配置位置(各窗口的4个顶点坐标)。具体地说，在从程序执行部5101收到4个顶点坐标的通知时，将其作为初始位置直接存储，另一方面，在收到已经配置的窗口在三维空间的位移(移动的种类和移动量)的通知时，通过仿射变换，算出新的顶点坐标。
另外，三维位置计算部5104在没有从程序执行部5101或输入部5103收到关于窗口的配置位置的明确指示的情况下，生成并存储缺省的配置位置，例如生成并存储将窗口的左边作为旋转轴，使右边向画面的纵深方向倾斜45度的配置位置。
在由三维位置计算部5104算出了新的配置位置的情况下，结构测绘部5105从存储部5102读出该窗口的图像数据，一边放大或缩小与其配置位置对应的尺寸，或合成构成该窗口的全部目标的图像数据，一边进行粘贴处理(结构测绘)，将通过该处理获得的结构数据送给透视投影部5106。另外，该结构数据是只与窗口在三维空间的配置位置相关地决定的数据，是与看该窗口的视点位置无关的数据。
透视投影部5106对从透视投影部5106发送的结构数据进行透视投影，将获得的透视数据存入帧存储部5107。这里，所谓“透视投影”是指将置于上述三维空间的物体(窗口)设置在图像显示部5108的显示面的面前，将这样设置的视点作为投影中心，将该二维显示面作为投影面以生成透视图的操作而言。另外，本说明书中所谓“面前”或“纵深”是以到位于显示面的前面的使用者的视点的距离为基准的表示。
图2(a)及图2(b)是说明由透视投影部5106产生的透视投影的概念用的图。
图2(a)是表示投影中心、投影面及对象物(窗口)的位置关系的图。
透视投影部5106将图像显示部5108的显示画面置于假想地被设置在三维空间中的窗口和使用者的视点之间，通过将聚焦在视点上的光投射到窗口上，生成绘制在显示画面上的像作为透视投影的窗口。
图2(b)表示对象物是立体物时的透视图。
在此情况下，在立体物的后方产生平行线在无限远的水平线上相交的点(消失点)。透视投影部5106不是进行一点透视，而是进行多点透视产生的透视投影，所以存储了被置于假想的三维空间内的预定位置上的256个消失点的坐标。
图3(a)～图3(c)是说明透视投影部5106进行的透视投影的具体处理内容用的图。
图3(a)是表示被置于假想的三维空间中的窗口平行于显示画面时，被透视投影的窗口的形状与使用者的视点、显示画面及窗口的位置关系的图。
图3(b)是表示被置于假想的三维空间中的窗口不平行于显示画面时，被透视投影的窗口的形状与使用者的视点、显示画面及窗口的位置关系的图。
在此情况下，被透视投影的窗口呈梯形。
图3(c)是说明透视投影的具体的计算处理方法的图。
设显示画面为xy平面、其纵深方向为z轴，示出了对平行于z轴的线段A0B0进行透视投影的情况。透视投影部5106首先根据由程序执行部5101或输入部5103从上述256个消失点中特别指定的一个消失点C，对线段A0B0进行透视变换，算出线段A1B1，其次，通过向xy平面进行平行投影而进行投影变换，算出最后的线段A2B2。
帧存储部5107是存储被显示在图像显示部5108具备的画面上的一帧图像数据的视频RAM。
图像显示部5108备有图像显示控制电路和CRT等，读出被置于帧存储部5107中的图像数据，显示在CRT上。
(工作)其次，说明如上构成的本实施形态的多窗口显示装置的工作情况。
图4是表示本实施形态的多窗口显示装置的工作程序的流程图。
图5是表示随着其工作情况的不同，显示在图像显示部5108上的窗口的图。
首先，程序执行部5101启动并执行应用程序，将该应用程序生成的窗口的显示数据(代码数据和图像数据)存入存储部5102(步骤S5120、S5121)。
其次，三维位置计算部5104根据来自程序执行部5101或输入部5103的通知，算出并存储存储部5102中存储的一个窗口在上述三维空间中的配置位置(各窗口的4个顶点坐标)(步骤S5122)。这时的坐标系如图3(c)所示。
接着，结构测绘部5105在由三维位置计算部5104算出了新的配置位置的情况下，从存储部5102读出该窗口的图像数据，为了将它容纳并粘贴在由三维位置计算部5104算出的4个顶点决定的尺寸的窗口中而进行结构测绘，生成表示一个窗口的结构数据(步骤S5123)。
然后，透视投影部5106根据来自程序执行部5101或输入部5103的通知，对结构测绘部5105生成的结构数据特别指定消失点，进行使用该消失点的透视投影，将获得的透视数据写入帧存储部5107的对应的位置上(步骤S5124)。另外，关于消失点的指定，在没有由程序执行部5101或输入部5103明确指定的情况下，透视投影部5106使用x坐标和y坐标与各窗口的中心相同、z坐标与显示画面的横幅相等的值的消失点，进行透视投影。
最后，图像显示部5108读出被写入帧存储部5107中的透视数据(图像数据)，显示在CRT上(步骤S5125)。
这里，在从程序执行部5101或输入部5103将变更存储部5102中存储的窗口的配置位置的通知送给三维位置计算部5104的情况下，通过反复进行上述步骤S5122～S5125中的处理，来更新图像显示部5108中的显示。
如上所述，本多窗口显示装置特别指定假想地被置于三维空间的窗口的4个顶点坐标，透视投影在显示画面上，所以在生成了应用程序的窗口在三维空间的配置位置平行于显示画面的情况下，与现有的技术一样，被显示成图5所示的矩形窗口5130、5131，另一方面，在窗口的配置位置不平行于显示画面的情况下，被显示成图5所示的梯形窗口5132～5134。
就是说，图5所示的画面左侧的两个窗口5130、5131是相对于使用者朝向正面的例，画面右侧上方的窗口5132是将窗口的上边作为旋转轴、使下边相对于使用者沿纵深方向倾斜的例，画面右侧下方的两个窗口5134、5133是将窗口的左边作为旋转轴、使右边相对于使用者沿纵深方向倾斜的例。
这样，利用本装置倾斜地显示窗口的结果，使用者虽然难以识别倾斜的纵深部分显示的字符等的多少及其内容，但却能充分地掌握倾斜的面前部分的内容。因此，与使窗口朝向正面显示的情况相比，由于倾斜部分只占用少量的纵深部分画面的显示区，所以能有效地灵活使用画面的显示区。
特别是在用于携带的笔记本式计算机或PDA(PersonalDigital Assistants个人数字助理)、电子笔记本等携带信息终端中，画面的显示区是有限的，所以对被显示的目标操作时，使窗口朝向正面，不操作时而参照多个窗口时，使窗口倾斜显示，能有效地灵活使用画面。另外，即使在台式计算机中，进行网络的起始页的随意取读等，或者启动多个应用程序的情况下，本发明也是有效的。
另外，在本实施形态中，虽然以四边形窗口的一边为轴进行旋转，但也可以依次以两边为轴进行旋转。
另外，在本实施形态中，虽然对窗口的全部显示内容进行结构测绘后再进行透视投影，但也可以将该顺序反过来，通过预透视投影只将由配置在三维空间的窗口的4个顶点构成的窗口帧投影在二维显示面上，对投影的窗口帧一边进行仿射变换等线性变换，一边粘贴存储部5102中存储的窗口的图像数据，进行结构测绘。通过调换结构测绘和透视投影的顺序并在结构测绘时进行二维线性变换，虽然有损于结构的严密性，但通过将三维(x、y、z)运算变成二维(x、y)运算，能省略z坐标部分的运算，能减少计算负载。
另外，本实施形态的多窗口显示装置虽然除了程序执行部5101以外，还备有三维位置计算部5104、结构测绘部5105和透视投影部5106，但也可以用程序执行部5101进行全部或一部分处理。
另外，存储部5102和帧存储部5107也可以共用同一个存储器件。
其次，说明实施形态2的多窗口显示装置。
本装置的特征在于倾斜地显示窗口，以使窗口的显示内容中重要的地方变成面前。
(结构)图6是表示实施形态2的多窗口显示装置的结构框图。
本装置除了实施形态1的多窗口显示装置备有的构成部分5101～5108以外，还备有窗口分析部5201。以下，说明与实施形态1不同的地方。
窗口分析部5201由程序执行部5101启动应用程序，在存储部5102中存储了一个窗口的显示数据(代码数据和图像数据)的时刻，读出该窗口的代码数据，从其中特别指定重要的地方，通知三维位置计算部5104，确定窗口的配置位置，以便该地方能被显示在面前。
具体地说，窗口分析部5201通知将最靠近已特别指定的重要地方的窗口的边作为旋转轴并使与该边相对的边向纵深方向旋转45度的意思。另外，所谓“重要的地方”是指一看窗口的种类和显示内容使用者就会注目的窗口的部分而言，其具体的判断基准遵照后文所述的预定的程序。
在本实施形态中，三维位置计算部5 104除了程序执行部5101及输入部5103以外，还从窗口分析部5201接收关于窗口的初始配置位置或位移的通知，算出新的配置位置。
(工作)其次，说明如上构成的本实施形态的多窗口显示装置的工作情况。
本装置的工作与实施形态1的不同点在于除了实施形态1的工作外，还在窗口的显示数据(代码数据及图像数据)的生成(图4中的步骤S5121)和下一个三维配置位置的计算(图4中的步骤S5122)之间增加了特别指定窗口的重要地方的处理。因此，说明该增加的处理。
图7是表示窗口分析部5201特别指定窗口的重要地方时的程序的流程图。
图8表示由窗口分析部5201特别指定了重要地方时的画面显示例。
由程序执行部5101启动应用程序，如果存储部5102中存储了一个窗口的显示数据(代码数据及图像数据)(图4中的步骤S5121)，则窗口分析部5201读出该窗口中的代码数据(步骤S5220)。
然后，窗口分析部5201判断该代码数据中是否有用窗口的标题表示的标题(步骤S5221)，在有的情况下，将标题断定为窗口的重要地方，将以上边为旋转轴的意思通知三维位置计算部5104(步骤S5222，图4中的步骤S5122)。其结果的画面显示如图8中的窗口5230所示。由于标题5235中存在标题5234，所以上边变成面前倾斜地显示。另外，标题的检测采用代码数据中是否包含说明窗口的标题的预约语的方法来判断。
在没有标题的情况下，接着，判断该代码数据中是否包含从左向右的横写文章(步骤S5223)。在包含的情况下，将窗口的左侧断定为重要地方，将以左边为旋转轴的意思通知三维位置计算部5104(步骤S5224，图4中的步骤S5122)。其结果的画面显示如图8中的窗口5231所示。文章开头部分的左边变成面前倾斜地显示。
在不包含横写文章的情况下，接着，判断该代码数据中是否包含从右向左改行的竖写文章(步骤S5225)。在包含的情况下，将窗口的右侧断定为重要地方，将以右边为旋转轴的意思通知三维位置计算部5104(步骤S5226，图4中的步骤S5122)。其结果的画面显示如图8中的窗口5233所示。文章开头部分的右边变成面前倾斜地显示。另外，横写文章或竖写文章的检测采用代码数据中是否包含特别指定文章的标题的预约语的方法来判断。
在不包含竖写文章的情况下，接着，判断该代码数据中是否包含附图(预定的附图格式的数据)(步骤S5227)。在包含的情况下，将该附图断定为重要地方，特别指定最靠近附图的配置位置(包围附图的矩形区域的中心点)的窗口的边，将以该边为旋转轴的意思通知三维位置计算部5104(步骤S5228，图4中的步骤S5122)。其结果的画面显示如图8中的窗口5232所示。最靠近附图的右边变成面前倾斜地显示。
在不包含附图的情况下，作为缺省，将以左边为旋转轴的意思通知三维位置计算部5104(步骤S5229，图4中的步骤S5122)。其结果的画面显示如图8中的窗口5231所示。一般说来，多半在窗口的左上部分显示应注目的内容。
如上所述，用本装置特别指定窗口中的重要地方，倾斜地显示，以使该地方变成面前的窗口，所以缓解了对窗口进行透视投影时产生的显示内容判断的困难程度。
另外，在本实施形态中，窗口分析部5201虽然根据窗口中的标题的有无、文章式样、附图的有无，特别指定了重要地方，但除了这些判断基准外，也可以将显示信息集中的部分或放置了代表页的内容的预约语的部分等确定为重要地方。
另外，在窗口的显示内容全部是附图的情况下，利用附图的构图来确定，例如，如果是由包含人物的附图构成的窗口，则根据肤色的分布判断人物的面部位置，使窗口倾斜，以便使面部移到面前而容易看清，或者如果是由包括山的附图构成的窗口，则分析山的绿色或棕色分布、以及天空的蓝色分布，在重视山的情况下，也可以使窗口倾斜，以便使山的绿色或棕色分布多的区域变成面前。这是因为，根据展开成图像数据之前的图像数据或字符代码等，能容易地判断这些显示信息。
其次，说明实施形态3的多窗口显示装置。
本装置的特征在于自动地排列画面中分散显示的多个窗口。
(结构)图9是表示实施形态3的多窗口显示装置的结构框图。
本装置备有实施形态1的多窗口显示装置所备有的构成部分5101～5108，这一点是相同的，但本装置的三维位置计算部5104在内部有自动排列部5104a，这一点不同。以下，说明与实施形态1不同的地方。
自动排列部5104a将存储部5102中存储的全部窗口作为对象，按照不重叠的第一排列方式或重叠的第二排列方式进行配置位置的排列。
具体地说，上述第一排列方式是自动排列部5104a预先存储成为对象的窗口分别为1个～16个时的窗口不重叠的最后的排列位置。另一方面，上述第二排列方式是自动排列部5104a使各窗口的左边为面前，使右边向纵深方向倾斜，算出沿水平方向等间隔排列的配置位置以使右半部分重叠。
然后，如果自动排列部5104a从三维位置计算部5104收到关于特别指定这些排列方式的指示和成为排列对象的窗口个数的通知，便依次将各窗口的配置位置送给结构测绘部5105。
(工作)其次，说明如上构成的本实施形态的多窗口显示装置的工作情况。
本装置的工作与实施形态1的不同点在于在实施形态1的三维配置位置的计算(图4中的步骤S5122)中，自动排列部5104a算出新的配置位置。因此，这里说明由自动排列部5104a进行的自动排列的具体程序。
图10是表示自动排列部5104a进行的自动排列程序的流程图。
图11(a)及图11(b)表示由自动排列部5104a使5个窗口自动排列时的画面显示例，图11(a)表示不重叠的第一排列方式时的例，图11(b)表示重叠的第二排列方式时的例。
首先，三维位置计算部5104从输入部5103接收关于排列方式的指定，从存储部5102读出并特别指定成为排列对象的窗口的个数n，将它们通知自动排列部5104a(步骤S5230)。
收到了通知的自动排列部5104a判断排列方式(步骤S5231)，其结果，在不重叠的第一排列方式的情况下，对应于通知的个数n，依次读出预先存储的n个窗口的配置位置(步骤S5232)，并通知结构测绘部5105(步骤S5234)。其结果的画面显示如图11(a)所示。
另一方面，在重叠的第二排列方式的情况下，自动排列部5104a根据通知的个数n，依次算出该n个窗口的左边为面前呈倾斜状态、右半部分重叠且沿水平方向等间隔排列的n个窗口各自的配置位置(步骤S5233)，并通知结构测绘部5105(步骤S5234)。其结果的画面显示如图11(b)所示。
如上所述，利用本装置能使画面中分散显示的多个窗口以透视投影的形态自动排列，所以能消除画面上的无用区域，一看就能掌握全部窗口的显示位置和内容。
这里，一旦进行了窗口的自动排列后，将其配置位置作为各窗口的缺省位置，能有效地灵活使用。例如，三维位置计算部5104将通过自动排列获得的各窗口的排列位置作为缺省位置存储，如果由输入部5103从自动排列的窗口组中指定一个窗口，便算出将该窗口的面前的边作为旋转轴朝向正面的配置位置，另一方面，还可以增加这样的装置如果由输入部5103指定朝向正面的窗口的预定地方(例如，标题中设置的窗口整理按钮)，便算出使该窗口返回自动排列时的缺省位置的配置位置。
图12(a)～(c)是表示将自动排列的配置位置作为各窗口的缺省位置有效地灵活使用的例图。
图12(a)表示自动排列后的画面显示例，与图11(b)相当。
图12(b)表示在图12(a)的画面显示中由输入部5103选择了一个窗口5241后的画面显示情况。
这里，三维位置计算部5104对所选择的窗口5241算出将面前的边(左边)固定后朝向正面的新的配置位置。
图12(c)表示在图12(b)的画面显示中由输入部5103按压了设置在窗口5241的标题右端的窗口整理按钮5245后的画面显示情况。
这时，三维位置计算部5104对于按压了窗口整理按钮5245的窗口，读出已经存储的缺省位置作为新的配置位置，送给结构测绘部5105。因此，窗口5241向纵深方向倾斜，返回自动排列后的位置。
这样，通过操作一个按钮，能使窗口朝向正面，或者返回到自动排列后的位置，所以特别适用于显示面积小的携带信息终端，能提高窗口的操作效率。
另外，在本实施形态中，虽然利用重叠的第二排列方式，排列了多个窗口，以便使右半部分重叠，但还可以备有实施形态2的窗口分析部5201，能容易地变形，以便使窗口的不重要的地方重叠。
另外，也可以进行下述的显示位置的自动切换不使利用鼠标指定的窗口处于自动排列后的位置，或者处于朝向正面的位置，而是将鼠标游标重叠的窗口作为默然指定的窗口朝向正面显示，使鼠标游标未重叠的窗口返回自动排列后的位置。
其次，说明实施形态4的多窗口显示装置。
本装置的特征在于根据窗口的斜率，变更标题或菜单。
(结构)图13是表示实施形态4的多窗口显示装置的结构框图。
本装置除了实施形态1的多窗口显示装置所备有的构成部分5101～5108以外，还备有窗口信息图像位置变更部5301及窗口信息图像方向变更部5302。以下，说明与实施形态1不同的地方。
在窗口沿纵深方向倾斜显示的情况下，窗口信息图像位置变更部5301变更窗口信息图像的位置，以便窗口信息图像(标题及菜单的图像)被显示在离窗口的近的边处。具体地说，读出由三维位置计算部5104算出的窗口在三维空间的配置位置，该配置位置是将窗口的一边作为面前而向纵深方向倾斜的位置，而且，在没有将窗口信息图像显示在近的边处的情况下，通过改写存储部5102中存储的窗口的图像数据，将窗口信息图像的位置变更为面前的边上。
在窗口沿纵深方向倾斜显示、而且窗口信息图像被显示在近的边处的情况下，窗口信息图像方向变更部5302变更图像数据，以便只使该窗口信息图像的矩形部分朝向正面弯折(与显示画面平行)。具体地说，将存储部5102中存储的窗口的全部图像数据分割成窗口信息图像和剩余的窗口本体部分，通知三维位置计算部5104以使窗口信息图像朝向正面，通知三维位置计算部5104以使剩余的窗口本体部分向纵深方向倾斜。
(工作)
其次，说明如上构成的本实施形态的多窗口显示装置的工作情况。
本装置的工作与实施形态1的不同点在于除了实施形态1的工作外，还在三维配置位置的计算(图4中的步骤S5122)和下一个结构测绘(图4中的步骤S5123)之间增加了窗口信息图像的处理。因此，这里说明该增加的处理。
图14是表示窗口信息图像位置变更部5301及窗口信息图像方向变更部5302的工作程序的流程图。
如果由三维位置计算部5104算出窗口在三维空间的位置(图4中的步骤S5122)，则窗口信息图像位置变更部5301参照该配置位置，判断该配置位置是否是将窗口的一边作为面前而向纵深方向倾斜的位置(步骤S5320)。
其结果，在断定为肯定的情况下，接着判断窗口信息图像是否位于近的边处(步骤S5321)，在位于近的边处的情况下，改写窗口信息图像的存储在存储部5102中的窗口的图像数据，以便窗口信息图像被显示在近的边处(步骤S5322)。
图15表示窗口信息图像的位置这样地被变更前的窗口5330和被变更后的窗口5331直接进行结构测绘和经过透视投影显示时的画面显示例。
由图15可知画面应沿纵深被显示的标题和菜单(窗口信息图像)被移动到画面的近的边处进行显示。
接着，窗口信息图像方向变更部5302判断是否从输入部5103发出了使窗口信息图像朝向正面的意思的指示(步骤S5323)，在收到了指示的情况下，分割并特别指定存储部5102中存储的窗口的全部图像数据中窗口信息图像和剩余的窗口本体部分(步骤S5324)，它们呈链接的状态，而且，通知三维位置计算部5104以使窗口信息图像朝向正面，通知三维位置计算部5104以使剩余的窗口本体部分向纵深方向倾斜，分别计算配置位置(步骤S5325)。
此后，这些窗口信息图像和剩余的窗口本体部分依次经过结构测绘和透视投影后，进行图像显示(图4中的步骤S5123～步骤S5125)。
图16表示窗口信息图像的方向这样地被变更前的窗口5332和被变更成正面方向后的窗口5333的画面显示例。
由此可知沿纵深方向倾斜的窗口中标题和菜单(窗口信息图像)弯折后朝向正面。
如上所述，利用本装置即使在整个窗口沿纵深方向倾斜显示的情况下，进行窗口操作和菜单操作用的窗口信息图像也总是能显示在面前。另外，只有在面前显示的窗口信息图像才能始终朝向正面固定。因此，通过倾斜地显示窗口，能避免窗口操作和菜单操作困难的不利情况。
另外，在本实施形态中，虽然进行了将呈平面状的整个窗口弯折成窗口信息图像和剩余的部分两个部分的处理，但也可以是这样的方式设想窗口本身是有一定厚度的立体的板模型，沿纵深方向倾斜时在与近的边相接的侧面显示标题和菜单。因此，能将窗口信息图像和剩余的部分作为不分离的一体的数据来处理，位置变更和方向变更的处理变得容易了。
另外，显而易见，由于容易进行窗口操作、同时不需要在窗口面上显示，所以能有效地灵活使用窗口面。另外，在通过窗口操作能随时变更方向的情况下，即使将标题和菜单预先显示在与窗口面相接的全部4个侧面上也没关系。
其次，说明实施形态5的多窗口显示装置。
本装置的特征在于与使窗口倾斜相伴随而产生的不可能识别的显示区域的大小连动地控制滚屏的显示。
(结构)图17是表示实施形态5的多窗口显示装置的结构框图。
本装置除了实施形态1的多窗口显示装置所备有的构成部分5101～5108以外，还备有滚屏按钮位置确定部5401、滚屏附加部5402及不可能识别区域判断部5403。以下，说明与实施形态1不同的地方。
不可能识别区域判断部5403在将窗口沿纵深方向倾斜地配置之后特别指定在最后的显示状态下不可能识别的区域。具体地说，在由结构测绘部5105及透视投影部5106进行的处理之前，通过参照在存储部5102中存储的窗口的字符的大小、由三维位置计算部5104算出的该窗口的配置位置、以及透视投影部5106的变换常数(消失点及视点的坐标)，预先算出设置在窗口上的有代表性的位置上的字符最后显示时的大小，在比5点×5点小的情况下，将比该字符远的显示区域断定为不可能识别区域。
在由不可能识别区域判断部5403检测到不可能识别的区域的情况下，滚屏按钮位置确定部5401确定反映该区域的滚屏按钮的位置。具体地说，将沿纵深方向的边作为滚屏方向，根据可能识别的区域的滚屏方向的距离和不可能识别的区域的滚屏方向的距离的比率，确定位置。该位置相当于不可能识别的区域不被显示在窗口上时的位置。
滚屏附加部5402将在滚屏按钮位置确定部5401确定的位置上配置了滚屏按钮的滚屏的图像附加显示在沿窗口的纵深方向的边上。具体地说，将滚屏的图像附加在存储部5102中存储的窗口的图像数据中。
(工作)其次，说明如上构成的本实施形态的多窗口显示装置的工作情况。
本装置的工作与实施形态1的不同点在于除了实施形态1的工作外，还在三维配置位置的计算(图4中的步骤S5122)和下一个结构测绘(图4中的步骤S5123)之间增加了关于滚屏的图像处理。因此，这里说明该增加的处理。
图18是表示滚屏按钮位置确定部5401、滚屏附加部5402及不可能识别区域判断部5403工作程序的流程图。
如果由三维位置计算部5104计算窗口在三维空间的配置位置(图4中的步骤S5122)，则不可能识别区域判断部5403判断沿纵深方向倾斜地配置了窗口时是否与其相伴随地在最后的显示窗口中发生不可能识别的区域(步骤S5420)，在发生的情况下特别指定该区域。
在断定了发生不可能识别的区域的情况下，接着，滚屏按钮位置确定部5401根据该区域的大小，确定应配置滚屏按钮的位置(步骤S5421)。即，确定在窗口上能显示能识别的区域时的位置。
接着，滚屏附加部5402将由滚屏按钮位置确定部5401确定的位置上配置了滚屏按钮的滚屏的图像附加在存储部5102中存储的图像数据中(步骤S5422)。
这样，如果存储部5102的内容被改写成有滚屏的新的窗口的图像数据，则此后与实施形态1的情况相同，对该新的图像数据经过结构测绘和透视投影后进行画面显示(图4中的步骤S5123～S5125)。
另外，此后在由输入部5103将滚屏按钮滑动了的情况下，虽然由程序执行部5101进行通常的滚屏工作，但由于窗口本身的配置位置不变，所以滚屏按钮的位置错开不可能识别的区域进行显示这一点不变。
图19(a)是表示滚屏按钮5430及滚屏5431的一般概念用的图，表示现有的窗口显示例。
滚屏上的滚屏按钮的位置表示该时刻在窗口上显示的内容的全体显示对象的相对位置。
图19(b)表示窗口显示区的下半部分被断定为不可能识别的区域5432时的画面显示例。
这里，在显示区的下半部分5432超出了窗口时的位置上显示滚屏按钮5430。因此，在由输入部5103将滚屏按钮5430移动到下方的情况下，此前不能识别的区域被移到了可能识别的位置上。
如上所述，由于利用本装置沿纵深方向倾斜地显示窗口，所以即使产生不可能识别的区域的情况，也能附加使窗口沿纵深方向滑动而移动到面前的滚屏，所以不移动窗口本身而通过使滚屏按钮滑动的简单操作，就能识别全部显示对象。
另外，在本实施形态中，虽然在检测到了不可能识别的区域的情况下附加了滚屏，但不管原来有没有不可能识别的区域，只要存在在窗口上不能显示的部分的情况下，就可以采用已经附加滚屏的结构。这时，滚屏按钮的位置变成将不可能识别的区域加在超出的区域上得到的区域超出时的位置。另外，在结构测绘中，将不可能识别的区域和超出页的区域区别开，通过用颜色区分滚屏，能提高使用者的操作效率。
其次，说明实施形态6的多窗口显示装置。
本装置的特征在于在显示具有层结构的窗口的情况下，将各层分离并沿纵深方向显示。
(结构)图20是表示实施形态6的多窗口显示装置的结构框图。
本装置除了实施形态1的多窗口显示装置所备有的构成部分5101～5108以外，还备有窗口层分离部5501及层窗口生成部5502。以下说明与实施形态1不同的地方。
窗口层分离部5501从存储部5102中存储的窗口中检测具有层结构的窗口，将该窗口分离成每一层。
在图像数据和文章数据混合存在的应用程序或多个图像数据混合存在的应用程序中，像用于图形描绘软件或台式计算机公用的文档配置软件那样，存在图像数据和文章数据分别具有层，具有能独立编辑和操作的层结构的应用程序。如果由程序执行部5101执行这样的程序，便将具有层结构的窗口的代码数据及图像数据存入存储部5102中。
具体地说，窗口层分离部5501通过分析存储部5102中存储的各窗口的代码数据，检测具有层结构的窗口，从该窗口的图像数据中取出将基本(最低位)层除去后的属于其他层的图像数据。
层窗口生成部5502生成由窗口层分离部5501分离的层构成的独立的层窗口。具体地说，将由窗口层分离部5501取出的图像数据作为每层中一个独立的窗口，生成新的图像数据，存入存储部5102。
(工作)其次，说明如上构成的本实施形态的多窗口显示装置的工作情况。
本装置的工作与实施形态1的不同点在于除了实施形态1的工作外，还在窗口的代码数据的生成(图4中的步骤S5121)和下一个三维配置位置的计算(图4中的步骤S5122)之间增加了关于层窗口的处理。因此，这里说明该增加的处理。
图21是表示窗口层分离部5501及层窗口生成部5502的工作程序的流程图。
如果由程序执行部5101将具有层结构的窗口的显示数据(代码数据和图像数据)存入存储部5102(图4中的步骤S5121)，窗口层分离部5501便根据存储部5102中存储的代码数据，特别指定具有层结构的窗口，对每一层进行图像数据分离后，只剩下基本层而取出其他层的图像数据(步骤S5520)图22(a)是示意性地表示两层时的层分离(步骤S5521)处理方法例图。示出了存储部5102中存储的合成窗口5503被分离成基本层5531和另一高位层5532的形态。
接着，层窗口生成部5502生成由窗口层分离部5501取出的高位层5532作为独立的窗口的图像数据，存入存储部5102(步骤S5521)。然后，层窗口生成部5502将新生成的层窗口5532通知三维位置计算部5104，以便作为该三维空间中的配置位置与基本层5531的窗口平行，而且从正面看基本窗口时位于沿面前方向离开规定的距离的位置(步骤S5522)。
因此，三维位置计算部5104对于基本层5531的窗口算出程序执行部5101或输入部5103指定的配置位置，另一方面，对于高位层5532的窗口，根据来自层窗口生成部5502的指示，算出将基本层5531的窗口沿着与窗口面垂直的方向平行移动规定的距离的配置位置(图4中的步骤S5122)。
图22(b)表示具有层结构的窗口被倾斜地沿纵深方向配置时的画面显示例。
高位层5532被从基本层5531浮上来显示。
如上所述，由于利用本装置将具有层结构的窗口沿纵深方向倾斜地分离显示，所以一看就能掌握以往在正面不能判别的信息、即放置在哪一层的哪个目标的信息。因此，不用一边切换不同的层一边指定目标而能显示全部层来直接指定目标，所以能顺利地进行跨多层的编辑操作等。
另外，在本实施形态中，层窗口是透明的，能全部显示重叠的层窗口，但通过使使用者引起注意的层窗口呈半透明状态，可只强调显示要注意的窗口，也容易看到。
其次，说明实施形态7的多窗口显示装置。
本装置的特征在于将关键字检索的结果作为新的层窗口，与原来的窗口分离，浮上来显示。
(结构)图23是表示实施形态7的多窗口显示装置的结构框图。
本装置除了实施形态1的多窗口显示装置所备有的构成部分5101～5108以外，还备有关键字检索部5601、检索结果输出部5602、以及层窗口生成部5603。以下说明与实施形态1不同的地方。
关键字检索部5601从窗口中显示的文档中检索关键字。具体地说，从存储部5102中存储的文档的代码数据中，检索与输入部5103指定的关键字一致的字符串，在检索到了的情况下，将该窗口、检索到的位置以及关键字报告给层窗口生成部5603。
层窗口生成部5603根据来自关键字检索部5601的报告，生成配置在检索到被检索的关键字的位置的新的窗口。具体地说，将只保留了根据从关键字检索部5601通知的窗口的图像数据检索的字符串的图像数据作为新的层窗口的图像数据存入存储部5102。
检索结果输出部5602将由层窗口生成部5603生成的层窗口的配置位置通知三维位置计算部5104。具体地说，指定新的层窗口的配置位置，以便成为检索对象的原来的窗口和生成的新的层窗口的位置关系与实施形态6中的基本层5531和高位层5532的窗口的位置关系相同。
(工作)其次，说明如上构成的本实施形态的多窗口显示装置的工作情况。
本装置的工作与实施形态1的不同点在于除了实施形态1的工作外，还在窗口的代码数据及图像数据的生成(图4中的步骤S5121)和下一个三维配置位置的计算(图4中的步骤S5122)之间增加了关于层窗口的处理。因此，这里说明该增加的处理。
图24是表示关键字检索部5601、检索结果输出部5602及层窗口生成部5603的工作程序的流程图。
如果使用者通过输入部5103输入关键字(步骤S5620)，则关键字检索部5601从存储部5102中存储的全部文档的代码数据检索与该关键字一致的字符串(步骤S5621)。
在检索到了的情况下(步骤S5622)，关键字检索部5601将每个窗口中检索到的位置和关键字报告给层窗口生成部5603。
根据该报告，层窗口生成部5603生成只由检索到的字符串构成的层窗口的图像数据，存入存储部5102(步骤S5623)。
然后，检索结果输出部5602使由层窗口生成部5603生成的窗口从原来的窗口浮上来进行显示，由三维位置计算部5104算出三维空间的配置位置(步骤S5624)。
因此，三维位置计算部5104对于成为检索对象的原来的窗口，算出从程序执行部5101或输入部5103指定的配置位置，另一方面，对于由层窗口生成部5603生成的层窗口，根据来自检索结果输出部5602的指定，算出与原来的窗口平行且离开规定的距离的配置位置(图4中的步骤S5122)。
图25是表示上述顺序和最后的画面显示例的图。
假设在成为原来的窗口5630中包含关键字“窗口”，则由层窗口生成部5603生成新的层窗口5631，并从原来的窗口5630浮上来显示。
如上所述，由于利用本装置能使原来的窗口和表示关键字的检索结果的窗口沿纵深方向倾斜地分离并显示，所以一看就能掌握检索结果。就是说，以往在正面方向需要用不同的颜色表现检索结果等，但用本装置时则不需要这样的特别处理。
另外，由于每个不同的关键字显示在不同的层上，或使每一层进行半透明着色，所以能容易地构成对应于多个关键字的装置。
其次，说明实施形态8的多窗口显示装置。
本装置的特征在于使关联的多个窗口沿纵深方向倾斜并连接显示。
(结构)图26是表示实施形态8的多窗口显示装置的结构框图。
本装置除了实施形态1的多窗口显示装置所备有的构成部分5101～5108以外，还备有窗口间链接部5701、窗口相对位置存储部5702以及窗口相对位置变更部5703。以下说明与实施形态1不同的地方。
窗口间链接部5701从现在分散显示的多个窗口中特别指定关联的一组窗口。这里，所谓关联的窗口是指在本实施形态中由同一个应用程序生成的窗口。例如，相当于由字处理程序之类的应用程序将同一文档的多页同时显示在多个窗口上时的这些窗口。
具体地说，窗口间链接部5701根据来自执行应用程序的程序执行部5101的通知，从存储部5102中存储的多个窗口中特别指定同一应用程序生成的窗口，分析各窗口的代码数据，对其附以序号后，将该意思通知窗口相对位置存储部5702。例如，按页编号增加的顺序附以序号。
窗口相对位置存储部5702对由窗口间链接部5701特别指定附以序号的一组窗口，生成并存储用来算出沿水平方向呈锯齿状折叠连接时的三维空间中的各窗口的配置位置的链接信息。具体地说，存储沿纵深方向倾斜的开头窗口的配置位置以及按顺序链接的窗口间的相对坐标。另外，预先确定了初始配置位置，各窗口的倾斜情况例如呈这样的状态将面前的边作为旋转轴，使与其相对的边沿纵深方向旋转45度。
窗口相对位置变更部5703从呈锯齿状连接显示的一系列窗口中折叠特别指定的窗口，从而从画面显示中消失。具体地说，变更窗口相对位置存储部5702的存储内容，以便将由输入部5103特别指定的窗口分路链接。
(工作)其次，说明如上构成的本实施形态的多窗口显示装置的工作情况。
本装置的工作与实施形态1的不同点在于除了实施形态1的工作外，还在窗口的代码数据及图像数据的生成(图4中的步骤S5121)和下一个三维配置位置的计算(图4中的步骤S5122)之间增加了链接窗口的处理。因此，这里说明该增加的处理。
图27是表示窗口间链接部5701、窗口相对位置存储部5702及窗口相对位置变更部5703的工作程序的流程图。
现在，程序执行部5101基于同一应用程序的执行，将分别显示同一文档的页1至页5的窗口的显示数据(代码数据和图像数据)存入存储部5102，将该意思通知窗口间链接部5701(图4中的步骤S5121)。
窗口间链接部5701根据该通知，特别指定存储部5102中存储的5个窗口，参照这些代码数据，按照页编号增加的顺序通知窗口相对位置存储部5702(步骤S5720)。
窗口相对位置存储部5720对于从窗口间链接部5701通知的窗口，生成并存储链接的初始链接信息，以便按照通知的顺序呈锯齿状地折叠(步骤S5721)。
图28(a)表示不变更该初始链接信息，根据该链接信息，由三维位置计算部5104算出并显示页1～页5的窗口各自的配置位置时(图4中的步骤S5122～S5125)的画面显示例。
5个窗口共用一个边连接，互相沿不同的方向朝向纵深倾斜，排列成横向一列进行显示。
如果从输入部5103将折叠特别指定的窗口的意思的指示通知了窗口相对位置变更部5703时(步骤S5722)，窗口相对位置变更部5703变更窗口相对位置存储部5702的存储内容(链接信息)，以便使该窗口分路后，链接后继的窗口(步骤S5723)。
图28(b)表示变更链接信息，以便折叠页3的窗口(步骤S5722，S5723)，在根据该链接信息，由三维位置计算部5104重新算出并显示后继的页4及页5的窗口配置位置的情况下(图4中的步骤S5122～S5125)的画面显示例。
页4及页5这样变更仍保持页4相对于页3的相对位置，链接在页2之后。
这样，通过利用本装置将关联的页窗口的边与边链接起来倾斜地显示，从窗口之间的链接状态，一看就能掌握窗口间的关联性。
在字处理程序之类的应用程序中，多半由多页构成，但在此情况下，在象以往那样使窗口朝向正面的窗口系统中，难以同时显示多页，或者使多页重叠，或者只显示数页。如果采用本装置，则在有限的显示区域中能不重叠地配置多页，能一览地显示。
另外，根据使用者的输入，指定应显示的窗口和可以不显示的窗口，可以不显示的窗口被配置在与其他窗口重叠地折叠的位置上，并存储起来，既保持链接的页等窗口间的关联性，又能同时显示所注目的多个窗口。
另外，关于配置在与其他窗口重叠地折叠位置上的窗口，由于不进行结构测绘部5105中的窗口的位图的粘贴，所以能省略一部分结构测绘处理。
另外，在本实施形态中，虽然将由同一应用程序生成的窗口作为关联窗口，但属于同一投影的不同文档的页在多半情况下页间的关联性强，即使是不同的应用程序生成的窗口，通过预先明确示出关联的窗口，也能链接并显示它们。
另外，也可以设置在链接显示的窗口间连续地进行目标的复制或移动等的编辑的装置。
图29(a)及图(b)是表示设置了在页链接的窗口间连续地进行目标操作的装置时的画面显示例。
图29(a)表示根据初始链接信息，显示页1～页5的窗口时的画面显示例，是与图28(a)相同的画面。
图29(b)表示通过折叠页2及页3，使页1和页4相对显示后，将页1上的目标复制在页4上的形态。这能通过将存储部5102中存储的页1的显示数据(代码数据和图像数据)书写在页5上来实现，以便将由输入部5103指示的复制源的窗口中的目标复制在复制对象的窗口上。
其次，说明实施形态9的多窗口显示装置。
本装置的特征在于在沿纵深方向倾斜地显示窗口时的字符的显示处理中具有特征，利用对窗口帧进行透视投影变换获得的二维数据，进行字符的显示处理，避免了直接对字符进行透视投影变换(三维处理)的必要性。
(结构)图30是表示实施形态9的多窗口显示装置的框图，该窗口显示装置由以下部分构成三维信息管理部100，字体数据库部110，旋转处理部120，透视变换部130，变形参数算出部140，字体变形部150，字体读出部160，显示控制部170，显示部180，输入部190。
图31表示该窗口显示装置在构筑的假想空间内配置了窗口的状态。在图31中，点E是视点，画面F是将点E作为视点的透视变换图的显示画面。从视点E看，窗口W被配置在画面F的背后展开的假想空间内。假想空间内的各部分的位置用与上述显示画面F平行的面作为XY平面的XYZ坐标系表示。这里为了方便，将显示画面F的左下角的顶点f作为坐标原点(0、0、0)。但是，关于窗口W的位置，用将窗口W的左下角的顶点B作为坐标原点的固有的坐标系(以下称窗口坐标系)表示。窗口坐标系的各轴用x、y、z(小字母)表示。在窗口W上显示字符串201、以及字符202。
三维信息管理部100用来存储假想空间内的窗口W和在窗口上显示的字符串201，以及与放大字符202有关的信息，它有窗口信息部101、字符信息部102、其他信息部103。
在窗口信息部101中关于假想空间内存在的各窗口存储了窗口信息、即表示上述假想空间内的窗口W的位置的坐标；以及表示以窗口坐标系的x轴、y轴、z轴为中心，窗口W处于旋转了多少度的状态的窗口旋转角的信息。
图32表示窗口信息部101中存储的窗口信息300的例。
在窗口识别符栏301中存储了表示假想空间内的哪个窗口的信息的窗口识别符。在图31所示的例中，只有一个窗口，在多个窗口配置在假想空间内的情况下，利用该窗口识别符区别各窗口。
在空间坐标栏302中存储了窗口坐标的原点(窗口左下角顶点，在图31的例中为B点)在假想空间的坐标值。
在窗口坐标栏303中存储了窗口的4个角的顶点在窗口坐标系中的坐标值。这里，存储了图31中的窗口W的各顶点A、B、C、D在窗口坐标系中的坐标值。
在旋转角栏304中存储了表示窗口以窗口坐标系的x、y、z各轴为中心处于旋转了多少度的状态的旋转角度。这里，由于图31中的窗口W被配置在包含窗口坐标系的xy轴的平面内，所以全部角度为0。
在字符信息部102中容纳字符信息、即关于在窗口上显示的字符的信息。在各个字符中存储了表示字符的字符代码、字体尺寸、字体种类、以及表示在假想空间内的窗口上的位置的三维字符坐标的组合信息。可是，不存储实际的字符图像本身。另外，字符坐标表示在窗口上字体的左上角的一点坐标。
图33表示字符信息部102中存储的字符信息400之一例。这里示出的内容是图31中的窗口W上的字符串201、以及关于字符202的信息。并且，还表示各数据对应于窗口W上的哪个字符的信息。
在字符代码栏401中存储了表示所显示的字符的2字节的16进制显示的代码。在图33的例中，在第一行存储了表示图31中的字符串201在第一行开头的字符“3”的代码。
在字体尺寸栏402中存储了用点(dot)单位表示该字符的字体的大小的值。
在字体种类栏403中存储了表示字体的种类的代码。这里，存储了表示“明朝体”的代码“M”。
在字符坐标栏404中存储了表示窗口坐标系中的字体的左上角顶点的坐标的坐标值。图33所示的是关于配置在包含窗口坐标系的x轴、y轴的平面内的窗口W(图31)上的字符的内容，各字符的z坐标值为0。另外，从图33可以看出，在窗口W上位于同一行的字符的y坐标值相等。
窗口信息部101及字符信息部102中存储的只是构成窗口的信息的一部分。除此以外的信息，例如窗口内显示的目标的图像数据等存储在其他信息部103中。
在字体数据库110中存储了字体数据。另外，在字体数据库110中还与各字符字体一起存储了固有的字符代码。该字符代码是与字符信息部102中存储的字符信息的一部分的字符代码相同的字符代码。
显示部180是计算机的显示装置，显示包含字符的窗口。
输入部190是键盘和鼠标等输入器件，使用者利用该器件进行窗口的旋转指示。输入部190将该指示通知显示控制部170。
旋转处理部120经由显示控制部170接收使用者利用输入部190进行的窗口旋转指示的内容(旋转对象窗口、旋转轴、旋转角度)，根据该指示，使窗口在假想空间内旋转。然后，根据旋转结果，更新窗口信息和字符坐标。
图34是表示该旋转处理的结果的窗口W’的图。处理对象窗口是图31中的窗口W。另外，以窗口W的左边(y轴)为中心旋转30°的角度。
旋转处理部120从三维信息管理部100读出图32所示的窗口信息、以及图33所示的字符信息(坐标)，进行以下处理。
首先，作为对窗口信息的处理，是将窗口W的各顶点的坐标变更成旋转后的坐标。这里是以y轴为中心的旋转，4个顶点中C、D两个顶点的坐标移动。因为是以y轴为中心的旋转，所以关于这两个顶点的坐标，x坐标值和z坐标值改变。这里，假设旋转后的C、D点的x坐标值为x1’，z坐标值为z1’，这些坐标值可由下式求得。
x1’＝x1 cos30°z1’＝x1 sin30°x1是旋转前的C、D点的x坐标值。
图35表示旋转处理后的窗口W的窗口信息的内容。与图32中的内容相比较，就能理解旋转处理的变更内容。内容有变更的部分加了阴影线。
其次，作为对字符信息的处理是变更窗口W上的各字符的位置坐标。虽然与窗口的坐标值相同，变更x坐标值和z坐标值，但变更的大小随着到y轴的距离(即变更前的x坐标值)的不同而不同。利用与求出上述窗口顶点变更后的坐标值相同的计算式，能求出各字符变换后的x坐标值、z坐标值。
xn’＝xn cos30°zn’＝xn sin30°xn是旋转前的字符位置的x坐标值。xn’是旋转后的字符位置的x坐标值，zn’是旋转后的z坐标值。
图36表示旋转处理后的窗口上的字符信息的内容。与图33中的内容相比较，就能理解旋转处理的变更内容。内容有变更的部分加了阴影线。
如果旋转处理结束，则透视变换部130根据从三维信息管理部100读出的旋转处理后的各种坐标的信息和窗口角度的信息，将显示部180的显示器作为显示画面，对假想空间内的窗口和窗口上的字符位置信息进行透视变换。以下，透视变换前的假想空间内的窗口为“三维窗口”，使透视变换后的显示用窗口为“二维窗口”，将两者区分开。但是，在不需要特别区分的情况下，只称为“窗口”。另外，关于透视变换的方法是众所周知的，所以详细说明从略，以下只进行简单说明。
维持从视点观看的视野角，将窗口投影在显示画面上以获得二维窗口的方法是透视变换。二维窗口的各顶点间的距离决定于对应的变换源的三维窗口的各顶点的z坐标值，两点间的z坐标值的差越大，该两点间的显示画面上的距离变得越短，二维窗口的形状呈梯形。
图34中还示出了对图31所示的窗口W进行了旋转处理后的窗口W’再进行透视变换后的结果的窗口Wi’。
如果处理结束，透视变换部130便将处理的结果获得的图37(a)、(b)所示的二维窗口的信息送给显示控制部170。
图37(a)表示透视变换结果的二维窗口的窗口信息之一例。它是作为窗口W’的透视变换结果的窗口Wi’的数据。如果与图35所示的透视变换前的数据相比较，就能理解变换的内容。
二维窗口信息800由窗口识别符栏301和窗口显示坐标栏801组成。
关于窗口识别符栏301已经在图32的说明中叙述过了。
透视变换后的透视画面上的二维窗口的各顶点坐标存储在窗口显示坐标栏801中。该坐标是透视画面用的二维坐标系中的坐标。
图37(b)表示二维窗口上的有关字符的信息之一例。它是对图36所示的字符(在图34中为字符串501和字符502、503)的信息进行了透视变换的结果(在图34中为字符串511和字符512、513)的字符信息。透视变换部130将透视变换后的字符信息送给显示控制部170时，为了后处理的方便，一并送出各字符的透视变换前的三维坐标(在窗口坐标系中的值)。如果与图36所示的透视变换前的数据相比较，就能理解变换的内容。另外，如图37(b)所示，一并示出了各数据与窗口上的哪个字符对应。
显示字符信息810由显示位置栏811和三维坐标栏812组成。
在显示位置栏811中表示显示画面上的字符的显示位置的二维坐标。该坐标是透视画面用的二维坐标系中的坐标。
在三维坐标栏812中存储了透视变换前的三维字符位置坐标(窗口坐标系)。
另外，透视变换部130将二维窗口的坐标信息通知变形参数算出部140，指示计算变形参数。
变形参数算出部140接收来自透视变换部130的指示，根据与指示一起接收的坐标信息，求出字体的变形参数，将它通知字体变形部150。变形参数呈这样一种形式它表示字体变形部150将字体变形后，生成在二维窗口上显示的字符图像时的变形的内容。
以下说明变形参数算出部140算出变形参数的程序。
图38表示对图31中的窗口W进行透视变换后的结果的二维窗口900。
图39表示与图38相同的窗口W在假想空间内以y轴为中心旋转后的透视变换结果的二维窗口1000。
在窗口900、窗口1000上分别显示了字符串901、字符串1001。字符放大图902、903、字符放大图1002、1003是为了明确表示字符的变形而将字符串内的一个字符放大后示出的图。
图中，A～D及E～H表示窗口的坐标，P～S及T～W表示字符图像的4个角的坐标。
变形参数算出部140将完全没有实施旋转处理的窗口的二维坐标、即窗口900的A～D的坐标作为基准值保存起来。而且，从透视变换部130送出图37(a)所示的窗口的旋转、透视变换结果的坐标。这里，如果考虑表示窗口900的四边形ABCD被二维地变换成表示窗口600的四边形EFGH，则通过相似变换能将用四边形PQRS表示的字符轮廓变成用四边形TUVW表示的字符轮廓。这时的相似变换式被作为变形参数送给字体变形部150。
字体变形部150的处理以这样的顺序进行首先求各字符的字体放大率，确定字体的大小，其次，根据变形参数使确定了大小的字体变形。为了求字体放大率，字体变形部150存储与图40所示的“Z坐标值-字体放大率特性曲线”相当的变换式。被代入该变换式的Z坐标值是假想空间内的基准坐标系XYZ中的坐标值。Z坐标值为0是坐标位于透视变换的投影面(z坐标值为0的xy平面)上的情况，Z坐标值增大的情况是坐标远离投影面的情况。即，具有距投影面越近的位置坐标的字符的字体放大率越接近于1，具有距投影面越远的位置坐标的字符的字体放大率越接近于0。
为了求字体放大率，字体变形部150通过字体读出部160从字符信息部102取得图36所示的信息中关于各字符的字符坐标的z坐标值和字体尺寸的信息，将其中的z坐标值(窗口坐标系的坐标值)变换成假想空间坐标系的Z坐标值后，代入上述变换式，求出字体放大率。然后，将字体尺寸乘以该字体放大率，求出显示画面显示用的字体尺寸。
图41示出了如上求得的窗口Wi’上的各字符显示用的字体尺寸。另外，在该图中，为了参考，一并示出了各数据与窗口上的哪个字符对应的情况、以及原来的字体尺寸。
字体变形部150通过字体读出部160从字体数据库110读出对应于各字符代码的字体，同时用上述显示用字体尺寸信息确定各字体的坐标值。字体的坐标这样确定将左上角(在图示的例中为P)作为(0、0)，其他三点的坐标由显示用尺寸的值确定。例如，如果字体尺寸为a，放大率为b，则显示尺寸为a×b，各点的坐标为Q(0、-a×b)，R(a×b，-a×b)，R(a×b，-a×b)，S(a×b，0)。
然后，字体变形部150将这样求得的字体坐标值代入从变形参数算出部140通知的变形参数式，生成显示用的字符图像。
然后，字体变形部150将使字体变形后生成的字符图像与该字符的三维位置坐标一起送给显示控制部170。
显示控制部170将字体变形部150生成的字符图像与由透视变换部140变换后的二维窗口合成。合成时，通过对照从透视变换部140送出的变换前后的二维字符坐标和与字符图像一起从字体变形部150接收的字符位置坐标，确定将各字符图像置于二维窗口上的哪个位置。例如，“あ”的字符图像与位置坐标(x1、y1、z1)一起被从字体变形部150送出时，显示控制部170找到从透视变换部140接收的字符坐标中为(x1、y1、z1)的变换前坐标，将字符图像“あ”置于与上述变换前坐标成对的变换后坐标(x1’、y1’)的位置。
各字符图像这样被配置在规定的位置后，结果如图39所示。
(工作)图42是表示本发明的窗口显示装置的实施形态9中的包含字符字体的窗口的旋转处理工作的流程图。以下，根据流程图说明处理方法。
首先，使用者利用输入部190，根据显示部180上显示的画面进行窗口旋转的指示。收到了该指示的显示控制部170分析指示的内容，将求得的旋转轴和旋转角度的信息送给旋转处理部120，根据这些信息，指示在假想空间内使三维窗口旋转(S1301)。
旋转处理部120收到该指示后，进行三维窗口的旋转处理。根据该指示，更新三维信息管理部100中存储的旋转前的信息(S1302)。
如果以上的处理结束，旋转处理部120便将处理结束的信息通知显示控制部170。收到了通知的显示控制部170指示透视变换部130进行透视变换处理。透视变换部130进行透视变换处理，生成在显示部180上显示的二维窗口的信息(S1303)。
如果透视变换处理结束，透视变换部130便将变换后的二维窗口的坐标送给变形参数算出部140，指示求出字体变形部150在对字符字体进行相似变换后生成显示用字符图像时使用的变形参数。另外，透视变换部130将透视变换结果的二维窗口信息和字符坐标信息(变换前后的)送给显示控制部170。
收到了来自透视变换部170的指示的变形参数算出部140根据与指示一起接收的透视变换后的二维窗口的坐标，算出变形参数，将算出的变形参数送给字体变形部150(S1304)。
字体变形部150如果从变形参数算出部140收到了变形参数，便指示字体读出部160读出与窗口上的字符对应的字体。收到了指示的字体读出部160首先从字符信息部102读出字符代码、字体尺寸、字体种类、字符位置坐标的各信息(S1305)，其次，从字体数据库110读出与该字符代码和字体种类一致的字体。然后，将该字体、字符字体尺寸、字符坐标送给字体变形部150(S1306)。
字体变形部150根据从字体读出部160通知的信息、变形参数和字体放大率，生成使字体变形显示用的字符图像。然后，将生成的字符图像与从字符信息部102读出的三维字符坐标信息一起送给显示控制部170(S1307)。
字体变形部150反复进行以上的处理，直至字符信息部102中没有未处理的字符为止，如果全部字符处理结束，便将结束的通知送给显示控制部170(S1308)。
显示控制部170如果从字体变形部150收到了处理结束的通知，便将从透视变换部130接收的二维窗口和从字体变形部150接收的字符图像合成后，显示在显示部180上(S1309)。
如上所述，如果采用本实施形态的窗口显示装置，则由于将以往在假想空间内展开成三维数据后进行了旋转、透视变换处理的三维窗口上的字符图像与其他窗口信息分开，作为二维数据变成拟三维形状后，在透视变换后的二维窗口上合成，所以包含字符图像的三维窗口向二维窗口的变换、显示处理的速度比以往快。另外由于在假想空间内不将字符图像作为三维数据的集合展开，所以三维窗口上的数据量也变少，能节省存储器。
另外，虽然说明了每当进行窗口的旋转处理时都算出变形参数的情况，但也可以预先利用窗口旋转角算出变形参数，如同40所示，存入表中，旋转窗口时，参照该表取得变形参数。
另外，即使使用通用计算机也能实现本发明。
另外，这里虽然通过相似变换算出了变形参数，但如果窗口例如只是以y轴为中心或以x轴为中心旋转的系统，则也可以按照边的长度的比例计算，进行变形。
其次，说明本发明的实施形态10的窗口显示装置。
本装置的特征在于在使窗口沿纵深方向倾斜显示时字符的显示处理中具有特征，对各个字符进行显示处理，以便总是朝向正面。
(结构)图43是表示实施形态10的本发明的窗口显示装置的结构框图。很多部分与实施形态9相同，所以只说明不同的部分。与实施形态9的差异基本上在于设置字体尺寸变更部1450代替字体变形部150，设置字体放大率算出部1440代替变形参数算出部140。
如果旋转处理结束，显示控制部1470便指示透视变换部130进行透视变换处理，指示字体尺寸变更部1450生成字符图像，并行地进行这两种处理。
字体尺寸变更部1450将由字体读出部1460从字符信息部102读出的字符坐标的z坐标值送给字体放大率算出部1440，根据该值求字体放大率，根据该字体放大率，对字体进行尺寸变更的处理，生成在二维窗口上显示的字符图像。就是说，在实施形态9中，字体变形部150进行的处理中除了字体的形状变更处理以外，便是字体尺寸变更部1450的处理。
图44及图45中示出了字体尺寸变更部1450生成的字符图像的例。图44示出了对完全未进行旋转处理的三维窗口进行了透视变换后的二维窗口1500。另一方面，图45示出了与图44相同的窗口在假想空间内以y轴(边AB)为中心旋转后进行了透视变换的二维窗口1600。
在窗口上显示字符串1501、字符串1601。字符放大图1502、1503、字符放大图1602、1603是为了明确表示字符的变形而将字符串内的一个字符放大后示出的图。
字符放大图1602、1603示出的字符图像与字符放大图1502、1503相比，只是尺寸缩小了，所以未进行形状的变更。因此，如果单独看，并没有纵深感，但如果将字符串1601与字符串1501相比，则由于越远离旋转轴，字符尺寸变得越小，所以如果作为字符串来看，便产生了纵深感。
字体放大率算出部1440根据来自字体尺寸变更部1450的指示，并根据与指示一起接收的变形对象字符的字符坐标的z坐标值，算出字体放大率。该处理是在实施形态9中从字体变形部150进行的处理开始，将求形状变更用参数的处理除去后的处理。字体放大率算出部1440将算出的字体放大率通知字体尺寸变更部1450。
(工作)图46是表示本发明的窗口显示装置的实施形态10中的显示了字符的窗口的旋转处理的流程的流程图。以下，根据该流程图说明处理方法。与实施形态9的不同点在于字体变形处理只进行由字体放大率决定的尺寸变更，不包含形状变更处理；以及并行地进行透视变换处理和字体变形处理(在实施形态9中，在透视变换处理结束后进行字体变形处理)。
首先，至旋转处理实施为止的处理(步骤S1301、S1302)与实施形态9相同。
如果旋转处理结束，显示控制部1470便将进行透视变换处理的指示送给透视变换部130，另一方面，指示字体尺寸变更部1450进行生成使字体变形后显示用字符图像的处理。并行地进行这两种处理(S1701)。
透视变换部130的处理在内容上与实施形态9相同(S1702)。
另一方面，如果由字体读出部1460读出了字符位置坐标(S1703)，则字体尺寸变更部1450将该坐标的z坐标值送给字体放大率算出部1440，求字体放大率(S1704)。此后的处理、即根据字体放大率，变更字体尺寸，生成显示用的字符图像，直至送给显示控制部1470为止的处理(步骤S1705至S1707)，除了不进行字体的形状变更以外，与实施形态9中的步骤S1306至S1308相同。
透视变换后窗口和字符图像的合成处理(S1309)也与实施形态9相同。
如上所述，如果采用本实施形态的窗口显示装置，则按照以窗口信息管理装置中存储的信息为依据算出的字体放大率，使字体变形。因此，不是象实施形态9那样等待透视变换的结果，再使字体变形，而是与透视变换处理并行地进行字体变形处理，同时由于不进行字体的形状变形处理，所以处理效率高。
其次，说明本发明的实施形态11的窗口显示装置。
本装置的特征在于使窗口沿纵深方向倾斜显示时在字符的显示处理中具有特征，虽然使各个字符始终朝向正面，但其外形的纵横比呈透视投影式地变化。
(结构)图47是表示实施形态11的本发明的框图。与实施形态10相同的部分省略其说明。
如果字体变形部1850收到来自显示控制部1470的指示，便将指示字体读出部1460后取得的信息中字符位置坐标的z坐标值送给字体放大率算出部1440，根据该值求字体放大率(与实施形态10相同)，另一方面，指示纵横比算出部1810求纵横比。
另外，字体变形部1850根据纵横比和字体放大率，变更指示字体读出部1460后读出的字体的纵横比和尺寸，生成在二维窗口上显示的字符图像。
图48及图49示出了字体变形部1850进行的变形处理的例。
图48示出了对完全未进行旋转处理的三维窗口进行了透视变换后的二维窗口1900。另一方面，图49示出了与图48相同的窗口在假想空间内以y轴为中心旋转后进行了透视变换的二维窗口2000。
在窗口上显示字符串1901、字符串2001。字符放大图1902、1903、字符放大图2002、2003是为了明确表示字符的变形而将字符串内的一个字符放大后示出的图。
由于是以y轴为中心的旋转，所以纵横比变为y方向放大率为1，x方向放大率为α(0＜α＜1)。另外，假设根据字符显示位置的z坐标值输出的字体放大率为γ，在字符放大图1902、1903的尺寸为P的情况下，字符放大图2002、2003沿x方向的长度C及沿y方向的长度D如下表示C＝γ×α×PD＝γ×1×PC比D短。
纵横比算出部1810从三维信息管理部100读出窗口角度，根据该角度算出纵横比，通知字体变形部1850。所谓纵横比就是纵向长度与横向长度之比。如图50(a)及(b)所示，在纵横比算出部1810中，根据窗口角度，对应于各个旋转角，计算并输出字体的x方向的放大率及y方向的放大率。
(工作)图51是表示本发明的窗口显示装置的实施形态11中的显示字符的窗口的旋转处理流程的流程图。以下，根据该流程图说明处理方法。另外，与实施形态10相同的处理表明同一意思，说明从略。
首先，显示控制部受理使用者用输入部进行的窗口旋转的指示，到旋转处理部120进行坐标的旋转处理为止的处理程序(S1301、S1302)与实施形态10相同。
如果显示控制部1470从旋转处理部120收到了旋转处理结束的通知，便将执行窗口的透视变换处理的指示送给透视变换部130，同时指示字体变形部1850使字体变更尺寸后送出(S1701)。
透视变换部130的处理与实施形态10相同(S1702)。
另一方面，字体变形部1850首先指示纵横比算出部1810求出纵横比。纵横比算出部1810从三维信息管理部100读出窗口角度，根据该角度算出纵横比，通知字体变形部1850(S2201)。
另外，字体变形部1850指示字体读出部1460读出窗口上的字符位置坐标(S1703)。然后，将接收的字符位置坐标的z坐标值送给字体放大率算出部1440，根据该值求字体放大率(S1704)。字体变形部1850如果获得了字体放大率，便指示字体读出部1460从字体数据库110读出与处理中的字符对应的字体，并从字符信息部读出字体尺寸(S1705)。
然后，字体变形部1850根据取得的字体尺寸、字体放大率、以及纵横比各信息，进行字体变形处理，将其结果生成的字符图像与字符位置坐标一起送给显示控制部1470(S2202)。
字体变形部1850反复进行以上的处理(从S1703至S2202)，直至没有未处理的字符为止，如果全部字符处理结束，便将结束的通知送给显示控制部570(S1707)。
以后的合成处理(S1309)与实施形态10的处理相同。
如上所述，如果采用本实施形态的窗口显示装置，则不仅按照字体放大率、而且还按照根据窗口和旋转轴构成的角度算出的纵横比，使字体变形。因此，与如实施形态10所述那样只变更字体尺寸的情况相比，在显示部180上作为字符串显示时的纵深感变得自然了。
另外，字体放大率运算部及纵横比运算部将与各z坐标值对应的字体放大率、以及与窗口旋转角对应的纵横比作为量化形式的数据预先存入存储器，执行时参照即可。
其次，说明本发明的实施形态12的窗口显示装置。
本装置的特征在于使窗口沿纵深方向倾斜显示时在字符的显示处理中具有特征，具有预先进行了透视投影变换的各种形状的字符字体。
(结构)图52是本发明的实施形态12的框图。
在字体数据库2310中存储有关各字符字体在假想空间内以y轴为中心及以x轴为中心旋转后设想进行了透视变换时与实施形态9同样进行了相似变换的变形字体。图53(a)～(f)是假定以y轴为中心使字体旋转时的变形字体例，53(a)及(d)表示旋转0度的情况，53(b)及(e)表示旋转30度的情况，53(c)及(f)表示旋转60度的情况。
字体读出部2360从字体数据库2310读出作为旋转角读出部2320的输出值的旋转角度中与最近的旋转角度对应的变形字体。例如，在旋转角运算部2320算出的旋转角为20度的情况下，字体读出部2360读出与旋转角30度对应的图48(b)的变形字体。字体读出部2360将读出的变形字体送给字体变形部2350。
旋转角读出部2320从窗口信息部101读出三维窗口的旋转角信息，将该值通知字体变形部2350。
字体变形部2350首先指示旋转角读出部2320，求出在假想空间内三维窗口和旋转轴构成多少度角度。其次，字体变形部2350指示将该角度通知字体读出部2360，并从字体数据库2310读出与其对应的变形字体，以及从字符信息部102读出该字体的字体尺寸。然后，如果收到了这些数据，则字体变形部2350将字符坐标的z坐标值送给字体放大率算出部1440，根据该值求字体放大率。
根据这样获得的字体放大率和字体尺寸，对从字体读出部2360获得的变形字体进行尺寸变更处理，将其结果的字符图像及其字符位置坐标送给显示控制部1470。
(工作)图54是本发明的窗口显示装置的实施形态12中的显示字符的窗口的旋转处理流程的流程图。
以下，根据流程图说明处理方法。另外，与实施形态10相同的处理表明同一意思，说明从略。
首先，从显示控制部受理使用者用输入部进行的窗口旋转的指示开始，到字体变形部2350开始字体的处理为止的处理程序(S1301、S1302)和透视变换部的处理(S1702)与实施形态10相同。
字体变形部2350首先指示旋转角读出部2320，求出窗口和旋转轴构成多少度角度(S2501)。其次，字体变形部2350指示将该角度通知字体读出部2360，并从字符信息部102读出字体尺寸、字符坐标(S1703)。然后，如果收到了这些数据，则字体变形部2350将字符坐标的z坐标值送给字体放大率算出部1440，根据该值求字体放大率(S1704)。其次，字体变形部2350指示字体读出部2360，从字体数据库2310读出与旋转角读出部2320读出的角度、字符信息部102中存储的字符代码、字体种类对应的字体(S2502)。
字体变形部2350根据字体放大率和字体尺寸，对从字体读出部2360获得的字体进行变形处理，将其结果生成的字符图像与字符位置坐标一起送给显示控制部1470(S2503)。
字体变形部2350对窗口上的字符一个一个地按顺序反复进行以上的处理，直至没有未处理的字符为止，如果全部字符处理结束，便将结束的通知送给显示控制部1470(S1707)。
以后的合成处理(S1309)与实施形态10的处理相同。
如上所述，如果采用本实施形态的窗口显示装置，则在字体数据库2310中预先存储实施了与窗口和旋转轴构成的角度对应的变形的字体，根据字体放大率，对该字体只变更尺寸就能显示具有三维形式的纵深的字符图像。能减少实施形态9的那种不需要的形状变更处理。
另外，这里虽然根据字体数据库2310设想与窗口旋转角度相近的角度并使用变形后的字体，但在实际的旋转角度和假定的角度不一致的情况下，也可以将近似的两种变形字体合成，合成与实际的旋转角对应的变形字体。例如旋转角为20度时，根据图53(a)(或图53(d))和图53(b)(或图53(e))的变形字体合成。
其次，说明本发明的实施形态13的窗口显示装置。
本装置的特征在于使窗口沿纵深方向倾斜显示时在字符的显示处理中具有特征，对于小于一定尺寸的字符，固定地显示特别指定的符号。
(结构)图55是表示实施形态13的窗口显示装置的框图。与实施形态9相同的部分省略其说明。
显示判断部2610根据三维信息管理部100的信息，判断是否显示字符图像。以下说明进行判断的目的。
如从实施形态9开始至此的4个实施形态所述那样，在窗口上以三维形式显示字符图像的情况下，确定假想空间的字符的位置(Z坐标值)和对应于字体尺寸显示的字符图像的大小。因此，如果字符位于空间的深处(Z坐标值大)，或字体尺寸小，则所显示的字符图像小，往往不能判读。生成并显示不能判读的字符图像是无功处理。因此，预先根据字符位置坐标、字体尺寸信息计算字符图像的大小，在预料到不能判读的情况下，指示字体变形部2650不显示字符图像。这时，代替字符图像而输出符号等。
显示判断部2610根据字体尺寸和变形参数(放大率)，算出变形后的字符图像的纵边长度，将它与阈值进行比较、判断。
字体变形部2650指示字体读出部2660，从字符信息部102读出字符代码、字体尺寸、字体种类、字符坐标的各信息。其次，字体变形部2650将这些信息中的字体尺寸和字符坐标的z坐标值与变形参数一起通知显示判断部2610，判断是否用字符图像显示该字符，还是置换成符号。判断结果如果是置换成符号，则字体变形部2650将代替字符图像显示的规定的符号与被置换的字符的字符位置坐标一起送给显示控制部170。
用图56及图57说明字体变形部2650进行的置换成字符符号的例。图56表示旋转处理前窗口的透视变换图即窗口2700，图57表示沿y轴方向进行旋转处理状态下的窗口的透视变换图即窗口2800。在窗口2700中显示字符串2701，在窗口2800中显示字符串2801。字符串2801的字符越往右(假想空间的z坐标值随之变大)越小，各行中从左算起第十个字符以后被断定为不能判断，将其置换成黑点。
显示判断部2610根据字体尺寸和变形参数(放大率)，求变形后的字符图像靠近旋转轴的纵边长度，将它与存储器中存储的规定的阈值进行比较、判断。
(工作)图58是本发明的窗口显示装置的实施形态13中的包含字符字体的窗口的旋转处理流程的流程图。以下，根据流程图说明处理方法。另外，与实施形态9相同的处理表明同一意思，说明从略。
从受理窗口旋转指示开始，到计算变形参数为止的处理(从S1301至S1304)结束后，直到字体变形部2650开始字体变形处理为止的处理与实施形态9的处理相同。
首先，字体变形部2650指示字体读出部2660从字符信息部102读出字符代码、字体尺寸、字体种类、字符坐标的各信息(S1305)。其次，字体变形部2650将这些信息中的字体尺寸、字符坐标的z坐标值和变形参数通知显示判断部2610，判断是否用字符图像显示该字符，还是置换成符号(S2901)。
判断结果如果是置换成符号，则字体变形部2650将规定的符号与字符位置坐标一起送给显示控制部170(S2902)。
判断结果如果是用字体显示，则此后的处理(S1306和S1307)与实施形态9的情况相同。
字体变形部2650反复进行以上的处理，直至没有未处理的字符为止，如果全部字符处理结束，便将结束的通知送给显示控制部170(S1308)。
以后的合成处理(S1309)与实施形态9相同。
如上所述，如果采用本实施形态的窗口显示装置，则如果进行变形处理后不能判读或判读困难，便通过将预料的字符置换成符号显示，能省略字体的读出和字体变形的处理(S1306和S1307)，所以能减少处理量和处理时间。
另外，在本实施形态中，虽然将变形后的字符图像靠近旋转轴的纵边长度作为判断基准，但也可以将横边长度或字符图像的面积作为基准。
另外，在本实施形态中，虽然与实施形态9的框图组合在一起进行了说明，但即使与实施形态10、实施形态11、实施形态12组合在一起也能使用。显示判断部2610在实施形态10、12的情况下，根据字体尺寸和字体放大率进行判断，在实施形态11的情况下，根据字体尺寸和字体放大率及纵横比进行判断。
其次，说明本发明的实施形态14的窗口显示装置。
本装置的特征在于使窗口沿纵深方向倾斜显示时在字符的显示处理中具有特征，对于小于一定尺寸的字符，固定地显示特别指定的字体的符号。
(结构)图59是表示实施形态14的窗口显示装置的框图，具有与图30相同的符号的部分具有与实施形态9所述的部分相同的功能，说明从略。
显示判断部3010判断是否识别字体种类后显示字符图像。以下说明该目的。
如在实施形态13中所述，在窗口上将字符显示成三维形式时，根据假想空间中的字符的位置(Z坐标值)和字体尺寸，确定所显示的字符图像的大小。因此，如果字符位于空间的深处(Z坐标值大)，或字体尺寸小，则所显示的字符图像小，字体种类往往不能识别。不能识别时无法灵活使用字体种类。因此，在预料到如果利用字符的显示位置或尺寸、以及字符坐标的z坐标值进行变形而不能识别判读字体种类的情况下，只使用规定种类的字体。
如果采用这样的处理方式，由于以下的原因，能提高处理效率。
首先，从字体数据库110读出字体时，将特别指定的种类的字体群存入高速缓冲存储器。如果这样处理，则在连续读出同一种类的字体的情况下，由于全部读出都从高速缓冲存储器进行，所以能提高高速缓冲命中率，读出速度高。另一方面，如果读出的字体种类频繁变化，则命中率下降，增加了从数据库110向高速缓冲存储器的传输处理，读出速度变慢。因此，在本实施形态的处理方式中，对于不能识别字体种类的字符，使用特别指定的种类的字体，所以能提高高速缓冲命中率，使读出处理高速化。
与实施形态13的情况一样，显示判断部3010根据字体尺寸和变形参数(放大率)，算出变形后的字符图像的纵边的长度，将它与阈值进行比较判断。
字体读出部3060接收来自字体变形部3050的指示，首先读出字符信息部102中存储的有关字符的信息，将它送给字体变形部3050。然后，根据来自字体变形部3050的指示，读出与字符信息部102中的字体种类信息对应的字体、或规定种类的字体，送给字体变形部3050。
字体变形部3050指示字体读出部3060从字符信息部102读出字符代码、字体尺寸、字体种类、字符坐标的各信息。其次，字体变形部3050将这些信息中的字体尺寸和字符坐标的z坐标值与变形参数一起通知显示判断部2710，在这些字符已变形了的情况下，判断是否是能识别字体种类的大小。
如果判断的结果是不能识别，则字体变形部3050指示字体读出部3060忽略从字符信息部102获得的字体种类的信息，从规定种类的字体群中读出与该字符对应的字体。
图60和图61示出了由该字体变形部3050进行的字体种类切换的例。图60表示旋转处理前的窗口的透视变换图即窗口3100，图61表示沿y轴方向进行了旋转处理的状态下的窗口的透视变换图即窗口3200。在窗口3100显示字符串3101，在窗口3200显示字符串3201。字符串3201是4行字符串，第一行、第二行、以及第三、四行分别由不同的字体种类的字符构成。窗口3200上的字符串越往右(假想空间的z坐标值随之变大)越小，对于被断定不能识别字体种类的部分3202，不区分字体种类，用预先指定的字体种类的字符进行显示。
(工作)图62是本发明的窗口显示装置的实施形态14中的显示了字符的窗口的旋转处理工作的流程图。以下，根据流程图说明处理方法。另外，与实施形态9相同的处理表明同一意思，说明从略。
从受理窗口旋转指示到算出变形参数为止的处理(从S1301至S1304)结束后，直至字体变形部3050开始字体变形处理为止的处理与实施形态9的处理相同。
首先，字体变形部3050指示字体读出部3060从字符信息部102读出字符代码、字体尺寸、字体种类、字符坐标的各信息(S1305)。其次，字体变形部3050将这些信息中的字体尺寸和字符坐标的z坐标值与变形参数一起通知显示判断部3010，在变换了该字符的情况下，判断是否是能识别字体种类的大小(S3301)。
如果判断结果是不能识别，则字体变形部3050指示字体读出部3060忽略从字符信息部102获得的字体种类的信息，从规定种类的字体群中读出与该字符对应的字体(S3302)。
如果判断结果是能识别，则与其他实施形态的情况相同，字体变形部3050指示字体读出部3060从字符信息部102获得的字体种类的字体群中读出与该字符对应的字体(S1306)。此后的变形处理与实施形态13的情况相同(S1307)。
字体变形部3050反复进行以上的处理，直至没有未处理的字符为止，如果全部字符处理结束，便将结束的通知送给显示控制部180(S1308)。
以后的合成处理(S1309)与实施形态13相同。
如上所述，如果采用本实施形态的窗口显示装置，如果变形后不能识别字体的种类，则关于预料的字符忽略字符的个别的字体种类，用规定的字体种类统一显示，所以在有高速缓冲存储器的情况下，能提高字体读出处理中的高速缓冲命中率，处理效率高。
另外，这里在断定不能识别字体种类的情况下，虽然是从规定种类的字体群中读出，但如果是从在该时刻输入高速缓冲存储器的种类的字体群中读出，则更能提高高速缓冲命中率。
另外，虽然由字体变形部3050强制地进行了字体的切换处理，但也可以指定字体的种类，以便直接插入例如构成字体的要素后进行显示。
另外，在本实施形态中，虽然与实施形态9的框图组合在一起进行了说明，但与实施形态13的情况一样，即使与实施形态10、实施形态11、实施形态12组合在一起也能使用。显示判断部3010在与实施形态10、12组合在一起的情况下，根据字体尺寸和字体放大率进行判断，在与实施形态11组合在一起的情况下，根据字体尺寸和字体放大率及纵横比进行判断。
其次，说明本发明的实施形态15的窗口显示装置。
本装置的特征在于使窗口沿纵深方向倾斜显示时在字符的显示处理中具有特征，即使是位于深处的字符，通过变更坐标轴的标度(刻度间隔)，也能显示宽度尺寸一定的字符。
另外，在本实施形态中，在进行旋转处理之前的阶段中，除了变更二维窗口的坐标系以外，处理流程与其他实施形态相同，所以按照流程图进行的工作的说明从略。
图63是本发明的实施形态15的窗口显示装置的框图，具有与图30相同的符号的部分，其功能也相同，说明从略。在图63中，坐标系变换部3410根据从三维信息管理部100读出的窗口位置和旋转角的信息，变更窗口内显示的荧光屏坐标系的比率(坐标轴的标度)。变更的时刻是透视变换处理前。坐标系的数据被存入另一信息部103中。
坐标系变换部3410如下述那样变换窗口内的坐标系。首先，从三维信息管理部100获得窗口旋转角的信息。然后假设新的荧光屏坐标系为(X、Y)，则将坐标系变换为(X、Y)＝1/α(x、y)。α是根据旋转角设定的值。因此，窗口内的显示区如图65(c)所示，旋转后的显示如图65(d)所示。
用图64及图65说明其形态。
在图64中，(a)是现有的坐标系中的旋转处理前的窗口的透视变换图，(b)是在相同的现有的坐标系中以x轴为中心进行了旋转处理的窗口的透视变换图。(c)是变换后的坐标系中的旋转处理前的窗口的透视变换图，(d)是在相同的变换后的坐标系中以x轴为中心进行了旋转处理的状态的窗口的透视变换图。
在图64中，如果以x轴为中心使图64(a)中的窗口旋转后进行透视变换，则如图64(b)所示，窗口的上部显示得比下部大很多。
图65表示窗口的坐标系，图65(a)是旋转前窗口的坐标系，图65(b)是以x轴为中心使窗口旋转后的坐标系。如图65(b)所示，如果以x轴为中心进行旋转，则显示得上部大、下部小。而且，在进行如图所示的x轴旋转的情况下，预先使窗口内的坐标系如图65(c)所示那样。该变形是根据旋转角算出比率后按照比率进行的。如图65(d)所示，由于坐标系的变换，进行了x轴旋转时，在上部和下部，显示区大致均等。按照实际的窗口将它图示出来，如图64(c)及(d)所示。在图64(d)中，与图64(b)相比，窗口中显示的菜单画面的比例变小，正文的比例变大，下部的字符也变得非常容易看清。
如上所述，如果采用本实施形态的窗口显示装置，利用变换坐标系的比例，距离坐标轴远时，如果是通常的坐标系，即使是各行之间拥挤不容易看清的字符，也能显示得容易看清。
另外，不是只根据旋转角来变更α值，例如在能断定窗口内标题部分或菜单部分等的显示区即使不能取得那么大的情况下，如果只变更与该区对应的部分的坐标系，就能有效地使用窗口内的显示区。
另外，在本实施形态中，虽然与实施形态9的框图组合在一起进行了说明，但与实施形态13的情况一样，即使与实施形态10、实施形态11、实施形态12组合在一起也能使用。
另外，在上述实施形态9～15中，字符字体是通常字体(用双值数据表现一个像素的浓度)，但即使是用表示灰色标度等的灰度字体(用3值以上的多灰度数据表现一个像素的浓度)时，也能应用本发明，这是不言而喻的。如图66(a)、(b)所示，在与用通常字体表现字符的曲线部分(图66(a))相比不如用灰度字体表现(图66(b))，看起来更圆滑且自然，但可将这样的两种字体的选择使用用于实施形态13或实施形态14等。例如，在实施形态13中，虽然用规定的符号表现小于一定尺寸的字符(图66(c))，但在中等尺寸的情况下，也能使用灰度字体。因此，关于曲线部分的锯齿状不明显的大尺寸的字符，使用通常字体，关于通常字体中曲线部分的锯齿状明显的中等尺寸的字符，使用灰度字体，关于已经不能判读的小尺寸的字符，使用规定的符号，通过这样处理不会损害字符显示的品质和美感，用较少的存储器在短时间内就能完成字符的显示处理。
另外，在上述实施形态中，窗口本身虽然呈四边形平面，但本发明不限于该形状。例如，也可以是具有厚度的窗口或呈多边形形状。不管是什么形状的窗口，都能对其显示面沿纵深方向倾斜地进行透视投影。例如，如图67(a)所示，立方体的各面与多个窗口对应的情况，或如图67(b)所示，一个窗口进行书的封面显示的情况，不言而喻，这些情况都能应用本发明。
如上所述，利用本装置沿纵深方向倾斜地显示窗口的结果，与使窗口朝向正面显示的现有技术相比，可减少沿纵深方向倾斜的部分占用的画面的显示区，所以能有效地灵活使用画面的显示区。因此，本发明能适用于图68(a)所示的在小画面上需要显示多个窗口的携带信息终端、或提供高性能的GUI的计算机系统的窗口系统。
工业上利用的可能性能作为个人计算机或信息处理终端等电子装置的人机接口使用。特别是适合于具有小画面的携带信息终端中使用多个窗口与使用者进行对话用的窗口系统。
权利要求
1.一种在画面上显示多个窗口的窗口显示装置，其特征在于备有保存表示上述窗口的显示内容的显示数据的显示数据保存装置；对于上述窗口确定在假想的三维空间内与上述画面不平行的配置位置的配置位置确定装置；根据被确定的上述配置位置，变换上述显示数据以便将上述窗口透视投影在上述画面上的透视投影装置；以及将变换后的显示数据显示在上述画面上的显示装置。
2.根据权利要求1所述的窗口显示装置，其特征在于上述窗口显示装置还备有获得来自操作者的指示的输入装置，上述配置位置确定装置根据上述输入装置获得的指示，确定上述配置位置。
3.根据权利要求2所述的窗口显示装置，其特征在于上述配置位置确定装置将特别指定上述窗口的外形的各顶点的在上述三维空间中的坐标作为上述配置位置来确定。
4.根据权利要求3所述的窗口显示装置，其特征在于上述窗口显示装置还备有窗口分析装置，它根据上述显示数据保存装置中保存的显示数据，将上述窗口的显示内容中满足一定条件的地方作为重要的地方来检测，上述配置位置确定装置确定上述窗口的配置位置以便使由上述分析装置检测的地方显示在面前。
5.根据权利要求4所述的窗口显示装置，其特征在于上述窗口分析装置判断上述显示数据中是否包含该窗口的标题，在包含的情况下，将显示窗口标题的地方作为上述重要的地方进行检测。
6.根据权利要求4所述的窗口显示装置，其特征在于上述窗口分析装置判断上述显示数据中是否包含文挡及用横写方式显示该文挡的意思的指示，在包含的情况下，将从正面观察时的窗口的左侧作为上述重要的地方进行检测。
7.根据权利要求4所述的窗口显示装置，其特征在于上述窗口分析装置判断上述显示数据中是否包含文挡及用竖写方式显示该文挡的意思的指示，在包含的情况下，将从正面观察时的窗口的右侧作为上述重要的地方进行检测。
8.根据权利要求3所述的窗口显示装置，其特征在于上述配置位置确定装置还包括自动排列部，用来确定各窗口的配置位置以使多个窗口的预定排列位置中至少一个窗口不平行于上述画面的位置。
9.根据权利要求8所述的窗口显示装置，其特征在于上述配置位置确定装置还包括根据上述输入装置获得的指示，确定新的配置位置以使上述排列位置中显示的窗口被显示在正面方向的装置；以及确定新的配置位置使显示在正面方向的窗口返回上述排列位置的装置。
10.根据权利要求3所述的窗口显示装置，其特征在于上述窗口显示装置还备有窗口信息图像位置变更装置，用来根据上述配置位置确定装置确定的配置位置，对上述显示数据保存装置中保存的显示数据进行编辑，以便由标题及菜单构成的窗口信息图像被显示在面前。
11.根据权利要求10所述的窗口显示装置，其特征在于上述窗口显示装置还备有窗口信息图像方向变更装置，用来控制上述配置位置确定装置，以便在面前对于显示窗口信息图像的窗口，使信息图像朝向正面，其余的窗口本体部分处于不与画面平行的配置位置。
12.根据权利要求3所述的窗口显示装置，其特征在于上述窗口显示装置还备有判断由上述透视投影装置变换的显示数据中是否发生显示比规定的大小小的字符的不可能识别区域的不可能识别区域判断装置；在断定存在不可能识别区域的情况下，确定使该区域未被显示在窗口中时的滚屏按钮的位置的滚屏按钮位置确定装置；以及编辑上述显示数据的滚屏附加装置，用来将在被确定的位置上配置了滚屏按钮的滚屏的图像附加在窗口中。
13.根据权利要求3所述的窗口显示装置，其特征在于上述窗口显示装置还备有在每一层中分离属于从上述显示数据保存装置中保存的有层结构的显示数据中将最下层除去的上层的显示数据的层分离装置；以及生成与被分离的层对应的层窗口的显示数据的层窗口生成装置，上述配置位置确定装置确定与上述最下层平行且相距规定距离的配置位置作为上述层窗口的配置位置。
14.根据权利要求3所述的窗口显示装置，其特征在于上述窗口显示装置还备有将上述显示数据保存装置中保存的显示数据作为检索对象以检索与输入装置获得的关键字一致的地方的关键字检索装置；以及生成关键字被配置在检索到的地方的新的层窗口的显示数据并存储在上述显示数据保存装置中的层窗口生成装置，上述配置位置确定装置确定与成为检索对象窗口平行且相距规定距离的配置位置作为上述层窗口的配置位置。
15.根据权利要求3所述的窗口显示装置，其特征在于上述窗口显示装置还备有从所显示的多个窗口中特别指定相关连的一组窗口的关联窗口特别指定装置；以及链接信息存储装置，生成并存储链接信息，用于使框之间彼此靠近地排列，使被特别指定的一组窗口弯曲成锯齿状，上述配置位置确定装置根据上述链接信息，确定一组窗口的配置位置。
16.根据权利要求15所述的窗口显示装置，其特征在于上述窗口显示装置还备有链接信息变更装置，该装置根据上述输入装置获得的指示变更上述链接信息，以便将一部分窗口从上述一组窗口中除去后的窗口作为对象来排列，上述配置位置确定装置根据变更后的上述链接信息，确定将上述一部分窗口除去后的一组窗口的配置位置。
17.根据权利要求16所述的窗口显示装置，其特征在于上述窗口显示装置还备有窗口间编辑装置，它根据上述输入装置获得的指示，对上述显示数据保存装置中保存的显示数据进行编辑，以便跨越上述一组窗口中的一个和另一个编辑显示内容。
18.根据权利要求3所述的窗口显示装置，其特征在于上述显示数据保存装置由以下部分构成存储由上述窗口中显示的对象中有关字符的信息构成的字符数据的字符数据存储部；以及存储由有关除去字符后的对象的信息构成的窗口数据的窗口数据存储部，上述配置位置确定装置根据上述输入装置获得的指示，确定上述窗口及字符的配置位置，上述透视投影装置由以下部分构成根据由上述配置位置确定装置确定的窗口的配置位置，通过对上述窗口数据进行透视投影变换，生成表示上述顶点的二维数据及窗口的图像数据的透视变换部；根据由上述配置位置确定装置确定的字符的配置位置及通过上述透视变换部的变换获得的表示上述顶点的二维数据，通过变换上述字符数据，生成字符的图像数据的字符数据变换部；以及对由上述透视变换部生成的图像数据和由上述字符数据变换部生成的图像数据进行合成的合成部，上述显示装置显示由上述合成部合成的图像数据。
19.根据权利要求18所述的窗口显示装置，其特征在于上述字符数据存储部由以下部分构成关于上述窗口中显示的字符至少存储表示假想空间内的位置的字符位置信息、特别指定应显示的字符的字符识别信息、以及表示字符的大小的尺寸信息的字符信息存储部；以及存储字符图像的字符图像存储部，上述窗口数据存储部存储窗口中显示的内容中将字符除去后的图形数据、以及表示窗口的假想空间内的位置坐标的窗口坐标信息，上述配置位置确定装置根据上述输入装置获得的指示，变更上述窗口数据和上述字符位置信息，上述透视变换部对由上述配置位置确定装置变更了窗口数据进行透视投影变换，上述字符数据变换部由以下部分构成将由上述配置位置确定装置变更的字符位置信息变换成上述画面中的位置信息的字符位置信息变换部；选择上述字符图像存储部中存储的字符图像中与上述字符识别信息对应的字符图像的字符图像选择部；以及与上述配置位置确定装置进行的位置变更处理的结果相关连地使上述字符图像选择部选择的字符图像变形的字符图像变形部，上述合成部能将由上述字符图像变形部变形后的字符图像配置在下述位置上进行合成，即配置在由上述透视变换部变换成上述画面的窗口上的由上述字符位置信息变换部变换后的上述画面上的位置信息表示的位置上进行合成。
20.根据权利要求19所述的窗口显示装置，其特征在于上述字符图像变形部由以下部分构成通过与由上述透视变换部变换的窗口形状相似的变换，改变上述字符图像的形状的形状变形部；以及根据上述字符信息存储部中存储的字符位置信息，求出放大率，根据该放大率改变上述字符图像的尺寸的尺寸变形部。
21.根据权利要求19所述的窗口显示装置，其特征在于上述字符图像变形部根据上述字符信息存储部中存储的字符位置信息，求出放大率，根据该放大率，改变上述字符图像的尺寸。
22.根据权利要求19所述的窗口显示装置，其特征在于上述字符图像变形部由以下部分构成根据上述字符信息存储部中存储的字符位置信息，求出纵横比，根据该纵横比，变更上述字符图像的纵横比的纵横比变形部；以及根据上述字符信息存储部中存储的字符位置信息，求出放大率，根据该放大率，改变上述字符图像的尺寸的尺寸变形部。
23.根据权利要求19所述的窗口显示装置，其特征在于上述字符图像存储部对假想空间内的窗口的位置进行多种设想，存储实施了与位于这些位置上时的透视投影变换结果的窗口形状相似的变换后的字符图像，上述字符图像选择部从上述字符图像存储部选择与上述字符信息存储部中存储的字符识别信息和上述窗口数据存储部中存储的窗口坐标信息一致的字符图像，上述字符图像变形部根据上述字符信息存储部中存储的字符位置信息，求出放大率，根据该放大率，改变上述字符图像选择部选择的字符图像的尺寸。
24.根据权利要求19所述的窗口显示装置，其特征在于上述窗口显示装置还备有字符图像判读可否判断装置，它根据上述字符信息存储部中存储的尺寸信息和从上述字符信息存储部中存储的字符位置信息求得的放大率，算出上述字符图像变形部使字符图像变形后的字符图像的尺寸，将该算出的尺寸与阈值进行比较，判断变形后的字符图像是否可能判读，将该判断结果通知上述字符图像选择部，上述字符图像存储部还存储符号图像，上述字符图像选择部从上述字符图像存储部选择规定的符号图像，以代替上述字符图像判读可否判断装置断定为不能判读的字符的字符图像，上述字符图像变形部将上述符号图像定为变形处理的对象之外，上述合成部将上述符号图像配置在由上述透视变换部变换成上述画面的窗口上的由上述字符位置信息变换部变换后的上述画面上的位置信息表示的位置上进行合成。
25.根据权利要求19所述的窗口显示装置，其特征在于上述字符信息存储部还存储了表示字符的字体种类的字体种类信息，上述字符图像存储部存储了每一种字体种类的字符图像，上述窗口显示装置还备有字符图像判读可否判断装置，它根据上述字符信息存储部中存储的尺寸信息和从上述字符信息存储部中存储的字符位置信息求得的放大率，算出上述字符图像变形部使字符图像变形后的字符图像的尺寸，将该算出的尺寸与阈值进行比较，判断变形后的字符图像的字体种类是否可能识别，将其判断结果通知上述字符图像选择部，上述字符图像选择部对于上述字符图像判读可否判断装置断定为字体种类不能识别的字符，忽略上述字符信息存储部中存储的字体种类信息，选择规定的字体种类的字符图像。
26.根据权利要求19所述的窗口显示装置，其特征在于上述窗口装置还备有根据上述窗口数据存储部中存储的窗口坐标信息，变更表示上述画面上的位置的坐标轴的标度的坐标系变换装置，上述透视变换部在由将标度变更后的坐标轴构成的坐标系中进行透视投影变换。
全文摘要
一种窗口显示装置,它备有:存储窗口的图象数据在存储部5102;算出该窗口在假想的三维空间内的配置位置、即沿画面的纵深方向倾斜的位置的三维位置计算部5104;将画面的面前处作为视点变换图象数据以便将置于算出的配置位置上的窗口透视投影在画面上的透视投影部5106;保存被透视设影的窗口中的图象数据的帧存储部5107;以及将其显示在画面上的图象显示部5108。
文档编号G06F3/0481GK1274439SQ98809999
公开日2000年11月22日 申请日期1998年8月10日 优先权日1997年8月12日
发明者津田贤治郎, 稻垣悟 申请人:松下电器产业株式会社