专利名称：改进的应答式视频系统的制作方法
技术领域：
本发明涉及应答式视频系统。
应答式视频系统在很多领域中正变得越加重要并且越加适用。应答式视频系统可用于各种模拟训练(例如车辆司机或飞机驾驶员的训练)场合以得到更直观的教育;还可用于动画片或商业广告节目的制作使之具有活动性;或者用于简单的娱乐活动。在本发明书中，把该系统描述为一种与电视游戏相结合，以作为可采用本发明的各种应用中的示例性说明的一种应用。然而本发明同样地还可用于其它应用，因而绝不限于刚才所列出的这些应用。
这些所考虑的电视游戏一般都用电视屏幕显示，电视屏幕上的图象是由一台计算机(通常是一台微处理机)根据所预置的游戏和一个或多个游戏者的响应而产生的，所述的响应是通过适当的装置如键盘或游戏棒输入的。当前盛行的一种典型的游戏玩法是让游戏者阻击正在袭击他的阵地的外国宇宙飞船，并通过瞄准和发射导弹等击毁这架飞船。尽管这种游戏体现了对原来的电视乒乓球和网球游戏的明显改进，但它们仍然受到相当限制，这是因为由微处理机产生全部显示对其处理性能要求很高并需要大量存贮器的缘故。显示器的清晰度、复杂性和变化率受处理机速度、存贮设备和有关约束条件的限制，并且即使使用了高分辨率图象显示往往不是非常逼真的。
在应答式视频领域中的工作至今大量地在以下方面开展
1.主帧计算机，图像存贮在高速大存贮器内;
2.多电视唱盘(vedio disc)放像机系统;
3.多头唱盘读出器;
4.单个唱盘放像机、单头、单一选择;
5.唱盘地理学。
对于五个方面的每一个，我们都考虑了基本策略。
1.主帧计算机就研究样机的元件费用来说，主帧计算机是最昂贵，也可能是最通用的，但遗憾的是也是最笨重和最不可靠的。
这个方面涉及非常大的RAM存贮器和处理能力很强的中央处理器单元，存贮器的用途或是A.存贮它本身的视觉图像信息，在此情况下，该系统不需要电视唱盘或任何其它的视觉图像再生媒介，或是B.在附属的多唱盘系统中存贮帧的“参考标签”或所存帧的顺序。
在(A)情况下，存贮器需要很大，中央处理器很强。然而甚至在使用大容量存贮器时，图像才处于最好(矢量扫描)画线，在所有坐标系中随着“线产生”程序的顶点和角都存贮在该存贮器中。这样的系统在实时应答时，中央处理机必须处理所有在实时参数内的透视的变换(perspective fransformation)，视觉图像数据库(在这种情况(存贮器)时不包含(坐标和产生的行)的透视变换，而所有这一切都是由中央处理机产生的)。为了把旧金山整个城市寄存在主帧计算机存贮器内的坐标系中，建筑师和一起工作的计算机编程员已经做了工作。虽然得出的是轮廓形象(见图42)，但是当产生图像的中央处理单元的功能强得足以完成“平滑的”透视变换时，就运动而论，以全方位自由度在该城市上空的飞行程序是能够编出的。在这个系统中，透视都由中央处理机单元(硬件)处理，所产生的图像从美学上看是不令人满意的轮廓线。
在(B)的情况下，存贮器和多个电视唱盘系统作为视觉图像数据库一起起作用。相当于RAM的存贮器不存贮任何图像，而是存贮“参考标签”，在中央处理机寻址时，“参考标签”指令该多个磁盘系统，使有关的电视唱盘放像机“在线”。当相应的帧或顺序帧已被读取头定位时，当该头处于一种位置时，双边协议通知那时已被寻址的存贮器，同时，有关的图像被送往显示器系统。
尽管这个系统有点笨重，存贮器特别是中央处理机单元所需处理能力远比(A)中的小。中央处理机的任务是(通过其编程)根据用户接口的指令确定哪些参考标签要寻址，它不执行透视变换。又由于视觉图像库涉及到电视唱盘放像机，因此图像是能够是全颜色、高清晰度的画面。然而所有透视和选择已制片并或(以软件形式)包含在电视唱盘上。虽然中央处理机能够实时剪辑一种独特的顺序帧与适应接口的指令，但这有明显的限制。一是原始被拍的材料存在很多电视唱盘(最多4个)上，图像不能脱离这个材料，另一个是图像的顺序(如果实际情况是模拟的)必须是连续仿真的。
这个系统使用户在一张地图走过一条独特的路线，然后让计算机示出相应于这条路线的图像。
在这样系统中，存贮器被试探地安置，以使连续的图像顺序的参考标签，例如在交叉路口向左转、向右转或向前，存入靠近的锁存器中。中央处理机的使用是使正确的参考标签在必要时间内定位，以便实时或尽可能地将有关帧和顺序定位和显示。
通过我们已讨论的主帧计算机视频系统，我们已经知道两种不同的策略。在(1A)中，最后的动态透视变换完全由硬件处理，这就是自由度是全方位(或很接近全方位)的原因，但是为了实现实时处理，就需要能力强的中央处理机和/或低的信息图像(轮廓线)。
在(1B)中，最后动态透视完全包括在软件内(在我们的第一例中即在电视唱盘内)。在能参考另一有关顺序帧时，具体确定点上发生自由度随着单帧或在一特定顺序中一旦选定，就没有别的自由度或别的透视变换。简单地说，用户从已预选的选取中进行选择。
2.多电视唱盘放像机系统多唱盘放像机系统的主要用途和应用于(1B)的目的是使一个唱盘放像机上的读取头搜索和定位(搜寻)有关的下一个顺序，而另一放像机正在产生图像，于是在一个顺序结束时两个可能紧跟的选择对象(可能是三个)已经被搜寻到并等待供给两个机器。这个目的就是消除“死的时间”。
除了存贮在视频图像中的视频图像电视版本的行内或微处理机的RAM中的重叠图像和图形之外，对通过控制微机或取代主帧计算机的微处理器而使唱盘产生的图像只进行很少处理或不进行处理。由于自由度(和到更小的程度，用户应答)在每个(分支)确定点上以选择个数计量的(这是由本系统的多个唱盘放像机和它们自己的多个确定点完成的)。上面所讨论过的限制仍然存在。
全方位自由度的问题或总用户应答问题不会产生。对于(1B)对于该系统的评价请看图43。
当然，使用多个唱盘放像机的另外的目的就是使视觉数据库变大了，这对于保存应用的数据来说是一个优点。
3.多头的唱盘读出器确切地说，原理与(2)相同，只是不昂贵些。为了达到消除死的时间的目的，每个读取头被单独控制，以便在一个磁头正在读并且随后产生图像时另一读取头或其它读取头搜寻下一个确定点用的另外有关的顺序(章节)中。加以(2)中的同样限制，下一步考虑到你只有一个唱盘放像机，并且需要更大的强度和这个单一放像机内的坐标系。
4.单唱盘放像机、单读取头、单一选择最高级的这类系统称为“第三级”系统一个工业级唱盘放像机(快扫描时间)、一个接口和一个外部的微计算机IBM，索尼公司和菲利普公司已推出这样的系统。它们在训练应用中有些价值。然而，具有多自由度的实时模拟远超过这样的系统。
但是这并不意味着这样的系统不能有想象力地被利用。一种这样的应用涉及到跟踪“旅行者”空间探测器发出的子弹。由于在该系统中使用一个唱盘，从而用户能够看到当经过全星、水星突然下降并且经过木星和其卫星倒转的这些探测器堕入火星时它们的情景。实时的用户应答采取“节流”形式有效地加快或减慢图像的显示。
5.唱盘地理学视频图像划分成一系列的顺序帧(称为章)在视频系统应用的范围内得到了很深的研究。原理是如果第1至100帧是A章沿路向下走到一个交叉点，则第200至300帧是B章可以一直走下去，第300至350帧是C章向左拐，第350至400帧是D章向右拐。由于使用单唱盘放像机和单一读取头，因而该系统的缺点是如果用户想在路上向下走和向右拐，则读取头必须从A章的末端跳到D章的始端，从第100帧跳到第350帖，当居中的250帧被读取头“跳读”时，屏幕是空白的即死的时间。
我们已经理解在所有这些方面不只在确定节点处而经常在整个图像显示中的实时的用户应答和自由度广度的任何可能性与硬件的处理有关。我们还理解在不使用极大的存贮器(这是软件，电视唱盘放像机经常指的是大的光学存贮器)的条件下，得到完美颜色、清晰的图像是不可能的。
困难是如何使中央处理机单元(或微处理机)能够使巨大的信息数据比特(107)(这个数据比特在中央处理机可能是大的条件下实时构成高清晰度的彩色图像)“数字擦过”(number crunch)。
将从以下的描述明显看出的是，本发明能够提供一种应答式视频系统;在一种游戏玩法中该系统可以提供比起那些实时地根据完全由微处理器产生的图形的、并且实时地与该用户相互配合的游戏更逼真的显示。这样省出的处理能力可以给予更复杂系统功能的存贮的处理能力和/或提供完整图形的高清晰度，以改善屏幕上游戏的环境。
本发明涉及的这种视频系统包括一个系统控制器;一个视频再生装置用以重放存贮在记录媒介上的运动画面序列;一个显示装置用以再现来自视频再生装置的视频画面;一个用户输入装置以使用户应答控制器。控制器被编程为能根据预定规则和用户通过输入装置输入的对显示的响应，控制图像再生装置的工作。控制器可以提供图形信息，该图形信息可与再生装置的视频信号混合，或插在再生的运动画面序列之间，再根据预定规则和(有选择的)用户的响应(即对显示器的分数、状态报告、提示或指令所做的响应)确定这个图形信息。该运动画面序列可以被制成是真实生活的活动序列、电视片或模型或动画片。
预定规则可以包括为使该系统的硬件工作成为坐标系所需的控制方案，以实现为了提供特定的电视游戏所需的功能。图像再生装置可由系统控制器根据游戏规则进行控制，以再现运动画面序列，还可选择地由控制器根据用户的响应和游戏的状态把图形信息加到显示器上。控制器还可以被编程为在游戏的特定场面时按照用户的响应或按照游戏规则确定下一个要再现的运动画面序列。在游戏的总流程中可以有节点，在节点处根据用户的响应或分数确定下一个发生的情况。
本发明的第一个方面下列事实从得出即如果一个实时的应答式视频系统包括一个视频再生装置用以再现视频节目材料;一个显示装置用以显示来自再生装置的被再生的视频信息;一个可操作的系统控制器用以控制送往显示器的再现视频信号的供给，以便那里在记录媒介已经在其上记录很多另外的运动画面序列，由于各序列中的新画面速度比视频节目材料的帧速度要低，所以特定序列的帧可以从节目材料中提取，然后再处理电路处理，以从各原始帧中产生一系列的重复帧，于是再现的、可供选择物的帧速度等于视频节目材料的帧速度。
在视频节目材料中可以有节点。“节点”(“branch point”)这个词用以复盖凡有两个或多个可能的序列帧和这些序列中只有一个是所需的情况，确定哪个序列帧的用户响应接着被重现。在节点处这和常规想法一样，但它还用在这样的地方，例如帧序列从一侧到另一侧地复盖地形条并且需要随着一个旁路分量从一个条运动到另一相邻条的地方。因此，在该系统的工作中，序列运动画面可以用来以链路方式根据编入控制器的规则所确定的整个方案被存取，以便根据该规则和用户的响应确定被再现的运动画面序列的特定次序。
以连续性合理的程度通过节目材料中的一个节点时有一个问题，这是由于现行的图像再生硬件存取一个被存贮的视频信息(不管存于光盘上还是存于磁带上)的一个特定部分需要的时间而引起的。一种解决方法是提供一种图形“插算”(interlude)，在这种图形“插算”中，只有处理机产生的图形被显示。然而由于纯图象和真正的活动图象之间的来回切换，这种方法产生的图像从美学观点来看还不令人满意。
本发明的第一方面提供一种可以替代这一点的替代物，借此通过一个节点可以实时发生，不需要在图形和运动画面图像之间来回移动。因此本发明的这个方面提出来自一个节点的各种替换物序列的视频信息被以一种交错的方式记录在记录媒介上，以便在从记录媒介系列地读信息期间，每个替换物序列的信息以重复序列地读出。
另外，本发明的这个方面还提供一种其上已经记录视频节目材料的记录媒介，该材料包括替换物的多个交替运动画面序列帧，它们以交错的形式序列性地安置在记录媒介上。这个交替的序列在视频节目材料的节点处开始，以使每个交替序列构成原先节目材料的一种交错的连续。
较好的是，这个交替顺序是按帧交错的，以便如果有三个替换物作为一个例子，帧的记录连续地由三个替换物的第一帧，接着是三个替换物的第二帧等等。假设这些从记录媒介中序列地被读出，则可以使用一个时分信号分离器，以恢复所需序列的帧。明显的是，如果有n个替换物，则用于任何一个替换物的新帧的帧速度是再现信息的总的帧速度的1/n。因此，时分信号分离应该在所需序列的连续帧之间的时间填满的处理之后。这可以通过重复那个序列的最新读出帧n-1次来完成，以便恢复原始的帧速度。然而，这还将意味着再现的图像只以1/n帧速度来更新。为了补偿这个，可以采取措施以增加在观察者/用户的眼/脑方面的信息处理需求。为了做这个的一个建议涉及在帧重复时调制亮度和/或色度信息。
例如，根据本发明的第二个方面，如果有三个交错的替换序列，以使每个替换物的帧速度为标称值的1/3，则与原始帧相比，在帧的第一重复期间色平衡可以改变，并且亮度电平可以在帧的第二重复期内变换。
这个特点更普遍适合于相同的输入帧显示一次以上的视频显示器，并且不限制上述从节点离析的交错帧的使用。
本发明的第三方面涉及就用户出现逼真地穿过记录在记录媒介上的地形的可能性而论提供出要比至今专门得出的显示更逼真的显示。所希望的是，允许用户在由拍摄原始帧的摄像机所追随的不必需相应的路径上运动，并且实际上用户希望经过某些除了摄像机经过的以外的、景物内的物体。也就是说，如果摄像机经过右边的物体，则用户想经过左边的物体。这样的各种画像在已知的系统中在显示器中是难以产生的，因为大量的计算机处理要求为各帧和邻帧再计算观察点。
根据本发明的第三方面，我们提出一种应答式视频系统，在该系统中，记录在记录媒介上的各帧基本上都含有要比在同一时刻被显示的信息更多的信息。整个帧从记录媒介装入一个半导体存贮器(RAM)内。然而，只有被存贮帧的所需部分被选取以便显示。
此外，根据以下两因素所选择的图像部分每帧都可能发生变化。(ⅰ)用户输入例如从游戏棒输入，该输入提供了所需移动的指示，(ⅱ)被显示部分的存在方位的函数，该函数计算以得出用于存贮在记录媒介上的帧之间的透视变化的正确容差。
在其各方面体现本发明的实例将结合附图予以说明。
被说明的本系统很多应用中的一种是产生一个与计算机的受控应答和一种可选择产生的图像，该图像可以被编程，以模拟例如经威尔士峡谷或在土星景物上空的低空飞行，或驱车经过纽约的街道，以及和一位核物理学家进行的允许在一个控制的主题范围内讨论应答式讲课。
与其它系统的主要区别是被说明的示例性的系统每秒能够处理25兆字节的画面数据，并且不管被设计的接口如何，根据用户的指标巧妙地处理所得出的高清晰度的图像。
它们自身的处理不仅是平滑的，而且是和应用我们称为AVC(箭头矢量坐标系)和PPT(伪透视变换)的技术模似的逼真性是一致的。在屏幕上的产物是切合实际的自由度的广度，以使用探索被存贮的世界，这可由高达40兆字节数据组成。在这方面，该系统可以以几个明显的限制“把你放在驾驶间里”。
该系统可以想象的宽范围的应用中得到利用。然而，它只是在某些应用中例如“危机潜伏”模拟才涉及到“实时的判据”。
硬件包括一个存贮器和一个允许变址的智能软地址帧存贮器，以及象素描入电路。软件包括编码电视唱盘，激光唱盘或视频磁带介质(加同步声道)应答式VHS或Betamax通过帧存贮器钟控一个计数微处理机，它寄存准确的帧数目。
窗口位置是在帧存贮器中产生的，它的位置地址是大量增加的。自然透视不是利用几何图形功能或失真而产生的。结果，不依赖于大量的几何学变换(数字游戏)(number crunching)而得到了完整的圆像和附加的光学透视性。
位置寻址和电视唱盘的特殊编码的规则对于产生实时交互作用(包括自然透视交换)是很重要的。
当一个(电视唱盘)作数据存贮媒介时，带宽和数据传送率的减少将导致图像不清晰。但交互作用可以再次出现在实时中。
由于每个“游戏世界”有许多任选放像机，因此可以将五个立体声声道与图像一起存在盘中(多视频原理)。根据唱盘放像机(在系统中为“视频源”)的具体要求，其原则包括，将100KHz数据以省略率分布在一个40KHz(PCM)的带宽上，在8KHz通道内实现调频。利用这种方式，表演时图像和伴随声道可以一起出现。
制片和后期制作有其特定的规则。某些编码的参数存贮在盘上，并在每个节目运行的开始被取出来。
本系统适于家用和专业使用，可用于娱乐、教育、训练和商业。
所示的较佳系统(单个放像机使用单个读出头)可以产生实时模拟如通过威尔士峡谷的低空飞行和驾车穿过纽约。作为软、硬件结合而产生的显示图象，最后的图像和伴随的动态透视变化使得本系统能够达到接近全方位的自由度。
本系统显示的图象可以是全彩色高分辨率图象，显示的动态透视不是事先选择的，但可以连续变化以适应使用者选择的“飞行路径”。
为实时获得近全方位自由度，本系统最好在一个系统中使用三种技术。我们称这种较佳系统为RIV系统。这些技术是1)RJV编码和译码2)RIV彩色电视摄像管(Chromatron)3)RIV透视-A.V.C.(阵列矢量排列)-N.P.A.(自然透视算法)两者结合产生-P.P.T.(伪透视变换)1-RIV编码和译码RIV视盘具有特定的盘分布，第一方面是5个时间段顺序交替，如果A、B、C、D和E段包括显示5个不同序列的录制的图像，它们以顺序交替方式存贮(帧)A1B1C1D1E1A2B2C2D2E2A3B3C3D3E3……A100B100C100D100E100，如每段是100帧长，则5段占据500帧。
来自视盘的信号是毫无意义的混乱图象。这个混乱图像于每秒的5/60或5/50显示5个不同的画面，它叫做RIV标准。
RIV编码指以这种顺序交替方式控制视盘。
每段中每帧与组中相邻段的有关帧的关系按阵列矢量排列(A.V.C.)。见RIV透视。
RIV编码指系统的软件部份。RIV译码指所有的硬件部分，特别是指用于对RIV编码信号译码的部分。
RIV视盘放像机按30/25r.P.S.(今后称为30)的标准旋转，但读取头以普通速率的两倍在盘上运动，每秒读60道。结果，读取头在每道上只停留一次旋转的一半，因此只读出每道中两场中的一场，它的运动由每场中的垂直消隐间隔线(VBI)同步，因此它在完全读完两场中的一场后才从每道移开。离开唱机的信号每秒包含60个整场。
每秒60场可以这样表示A1B1C1D1E1A2B2C2D2E2…A60B60C60D60E60帧采集器从一个相同周期的输入流中每次收集5帧，离开帧采集器的信号可以这样表示A1-A2-A3-A4-A5……帧存贮元件从它的存贮场中产生全帧重复场隔行扫描图像。它还将彩色信息加入第二和第三重复的全帧图像中，这是彩色电视摄像管系统，如下，(A01A11A21A31A41A02A12A22……)。
帧存贮微处理机在独自读给监视器的帧存贮器中也产生一窗口缓冲器，该窗口叫做“刷新阵列”(见RIV透视)。透视和它的运动通过微处理机控制的运动产生伪透视变换(P.P.T)，见RIV透视。
2-RIV彩色电视摄像管(Cnromatson)根据通过智力的心理学模型建立的原则通过帧存贮彩色寻查表(C.L.T.)的微处理器控制，可得到具有轮流向白、蓝频谱偏移的视频信号的彩色插入。于是提高了协助整个RIV策略的人处理的要求。
3-RIV透视A.V.C.排列既指摄像技术中摄像机运动的座标轴，也指硬件处理。在摄像技术中，每段指一阵列矢量，并作为三维矢量对待两维加运动(时间)。
RIV透视技术主要负责RIV系统能够产生接近全方位的自由度。
基本原理是，最后动态透视变化是摄像机相对被摄环境运动产生的、存贮在视盘中的透视与由帧存贮器中刷新阵列的微处理机控制的运动生产的透视的总和，最后出现在用户屏幕上的动态透视变化是我们所说的伪透视变换(P.P.T.)，它们是令人信服的，因为它们与普通“真实”透视变化的原则基本相符合。
有一些特定的原则控制帧存贮器中的刷新阵列运动，它们将在以下叙述中详细解释。
参照附图以实施例方式对本发明进行更详细的描述，其中
图1 本发明一实施例的功能性框图;
图2 说明图1系统的工作;
图3 说明经过图1系统工作的视频信号处理;
图4 图1系统的视频信号处理电路的一种形式的功能性框图;
图5 表示记录的帧如何与图1系统所示的野外飞行有关;
图6 表示两个顺序帧的排列，这种排列使得可从视频记录媒介的任一方向上读出;
图7 相应于图5，表示不同的飞行路径如何与视频记录媒介上的帧序列有关;
图8 表示多通道声音如何加到图1系统中;
图9 说明图8装置的工作;
图10 说明刷新阵列与帧存贮器之间的关系;
图11 与图10相似，表示刷新阵列选择的用于屏幕显示的帧存贮器中的图像部分;
图12 说明定义刷新阵列的坐标的应用;
图13 顺序说明伪透视变换的工作;
图14 说明如何产生把目标引向“错误”一侧的错觉;
图15和15A 表示刷新阵列的运动速率与从帧存贮器中心到摄像机路径一侧的距离之间的关系曲线，其中帧存贮器存贮不同距离的目标;
图16 更详细地显示一条曲线;
图17 说明在准备三个相邻序列中摄像机的并行路径;
图18 说明三条径向摄像机路径;
图19 说明三条路径中一条的连续帧;
图20 说明刷新阵列在连续帧序列的一帧中移到画面的边沿;
图21 说明三个顺序的帧的相互关系;
图22 说明计数和来自相邻通道的帧的交插存贮;
图23 显示将一帧分为四部分;
图24-27显示如何由三帧序列构成一幅全景图;
图28和28A 显示序列A、B、C如何同时重复以覆盖360度;
图29 说明得到的全景图;
图30 根据图16显示与曲线运动的关系;
图31 说明前景、中景和背景如何具有不同的增量运动速率;
图32 显示根据图15在低空飞行的飞机的垂直平面上的曲线;
图32A和32B 说明所得到的效果和工作方式;
图33、33A、34、34A和34B 说明自然透视算法的理论根据;
图35-35J 说明对于一个物体，不同的帧序列如何给出不同的视面;
图36 说明帧存贮器中刷新阵列的“旋转”效果;
图37A-37E 说明允许运动视差的NPA软件工作的流程图;
图38 较佳帧存贮器的框图;
图39 较佳帧采集器的框图;
图40 较佳彩色处理付系统的框图;
图41 根据多重放音装置和缓冲帧存贮器的改进视源的详细框图;
图42和43 说明已知的交互视频系统;
图44A-44H 说明用于教育模式中的该系统;
图45 显示几个基本部件的整个系统的框图;
图46 定义从一部分向另一部分运动的方式的表。
下面，叙述上述本发明的不同特征，参照其在实时交互视频系统中用作视频游戏系统的实施。不同的原理和特征也可应用于其它不同的实施中，一些将在下面提到。
所述的实时问答或视频系统1以功能方块图形式示于图1中。广义地说，主要的系统部件是(1)微型计算机10，它以微处理机为基础并被编程为控制系统的全部操作，与使用者对话并产生用于显示的图形信息。
(2)用户接口20，包括游戏棒控制，例如21，和/或键盘22(最好具有视频显示单元)。
(3)显示系统30，包括视频监视器，电视接收器，投影TV或其它任何用于显示视频画面的适当装置。
(4)视频重放装置40，用于产生存贮在记录媒介41中的移动画面序列。
(5)微计算机10和视频重放装置40之间的接口50，使微计算机能控制视频重放装置的工作，在游戏过程中根据要求存取移动画面序列。
(6)视频信号处理电路60用来处理由电视重放装置40输出的视频信号，并将这些信号与由微计算机10输出的图形信息相混合，并将合成信号传送到显象系统30。
微型计算机10可以具有任意合适的类型，也可以用于系统1并和用户输入20合并。对于操作系统1所需要的程序可以存储在微型计算机10中的永久存储器内，例如一个软盘，ROM(只读存储器)，盒式(微型磁带)存储器或磁带;另一方面，程序可以至少部分地存储在电视录象介质41中，而微型计算机10再与引导程序结合用来在系统操作开始时存取程序并将其存入它自身的RAM(随机存取存储器)。最好是，至少要求进行特殊游戏的系统程序的部分存储在可拆装的介质上从而使进行的游戏可以很方便地换为另一个。
适宜的电视重放装置为一个电视唱片重放机最好为激光扫描型的。正如众所周知，视频信息以在唱盘上螺旋磁迹上一系列细微凹槽的形式编码在激光扫描电视唱盘上。在重现过程中，由一个伺服机构控制，一个可径向穿过唱盘的读取头在成行的纹槽上射出很细的激光。一个光检测器即用来保持读头伺服锁定在螺旋磁迹上，又用来读由记录的凹纹槽所编码的视频信息。正如常规情况，每个电视画面包括两个隔行扫描场，即是这样排列的一个整数，通常为1，的帧信号记录在每圈唱盘上，在重放过程中，该唱盘旋转，从而记录的视频信号以正常帧频再生出来。在美国，对于帧频为每秒30帧，唱盘正常转速为1800rpm。
一般地，系统1的操作是用存储在微型计算机10中的程序经过接口50控制游戏的总进程，如果有分则记分等，控制电视唱盘放像机40来存取在游戏的任意特定阶段所需的运动图象序列。该序列在其输出被传送，通过电路60进行处理并显示。
电视唱盘41可以用来作任意特殊的游戏，该唱盘记录了构成形成游戏的视觉位置的一系列运动图象序列，运动图象可以基本上提供一个具有游戏“活动”的背景，它由微型计算机10产生的另外图形信息的实时叠加获得，或者另一方面，至少部分游戏活动包括在运动图象里。运动图象序列可以在实际生活中拍成电影或使用模特或动画片，或者由艺术家画出或者由现已使用的高分辨，计算机辅助的动画片系统产生。
如上所述，也许在图象内容中有一个或多个分支点，其中节目可以分成二个或多个交替的序列，根据游戏的规则选择哪个序列，可以根据用户的选择，通过用户接口20作为输入或(例如)也可以由他或她在游戏中早先的表现来决定，当一个分数达到一特定值，一个方案被传送，而当分数不足够高时则是另一种方案被传送，或哪个序列被选择可以取决于已经显示序列是什么。
游戏不必限制到电视唱片41的一个完整阅读，游戏可以分段，在电视唱盘有各式各样的排列，该唱盘可以由微型计算机10传递的合适的存取指令经过接口50到唱片重放机40以任意适当素材连在一起。
用于接口50的电路将特别地根据用于系统的特定的微型计算机和图象重放装置而定。它的功能主要是提供来自微型计算机10的指令来控制图象重放装置，从而存取需要的运动图象序列和按需要的顺序和时间将其读出。在重放装置是一个电视唱盘重放机的情况下，指令可以包括将读取头移到唱片上特定的径向位置来存取存储在那里的程序内容的指令。接口可以为双向的，能与重放装置实现通讯意向(Communication protocal)，重放装置提供表明什么时候到达指定位置、什么时候读头锁定到图象磁迹的期望部位等的信号。而且对于系统的电视同步从电视重放装置的输出获得以及接口50向微型计算机10提供来自重放装置的电视输出的同步信号，例如帧信号，彩色帧信号以及行和垂直物信号，都是很方便的。
图2示意地表示系统的总功能，正如将看到的，微型计算机10监控用户接口的输入，根据游戏的程序解译用户的活动并且传送合适的读指令给电视唱片重放机40来存取适当的运行图象序列，如果需要，还可以产生适当的附加图形。来自电视唱片机40的信号输出由处理电路60处理，并且在有同时发生的交替的运动图象序列时，合适的序列通过微机10的输出选择进行处理。将要输出的视频信号在处理电路60中与来自微机10的计算机产生的图象相混合，并且合成的输出通过显示器30向用户显示。计算机产生的图象可以并入由预记录的电视图象提供的图象，从而向用户提供例如移动导弹和火箭、爆炸、星球和行星、地形和地貌特辑等等，以及文字、信息、介词和指示。
图3是用来说明记录在电视唱盘41上的信号格式以及信号处理电路60的作用。图3a表明一个单一的活动图象序列的一系列帧F1，F2，F4，F4……。这些信号都按顺序沿螺旋状轨迹被记录在电视唱盘上，一帧占据电视唱片的一圈。显然，图3a中的纵坐标不仅代表沿螺旋线的长度，而且在假定唱盘重放机40的读取头控制读出邻近帧时，也代表时间。
图3b表明在电视唱片41上图象节目内容中每个分支点的相应位置。图3b说明了具有三种选择方案A、B和C的位置。每一种方案的连续帧以逐次交错的方式被记录在电视唱盘上，从而紧接着方案A的第一帧的是方案的第一帧，之后是方案C的第一帧，然后是方案A的第二帧等等。由于这种相互交错，假定读取头从电视唱片中连续读出邻近帧，则可通过对电视唱盘重放机40的输出进行时分信号分离而挑选某一种方案(如F1B、F2B、F3B…)。这个过程如图3C所示。从图3C中可以明显看到，在连续帧之间有时间间隔，为了显示连续的视频信号，每一个帧如图3D所示均重复二遍以补这些间隔。因此，实际显示的是一系列帧F1B、F1B′、F1B″、F2B、F2B′等等。由于现在新图象频率是再现帧频的三分之一，信号处理电路60可以用来适当调整视频信号，以增加眼脑信息处理负载。
图4表示信号处理电路60的一种布局。电视唱盘重放机40的输出加在输入端61上进行处理。一个定时和控制电路62与微机相连接，接收其处理视频信号所需的指令的指令并控制其它电路以执行这些指令。来自微机10的指令特别包括信号处理电路是否需要对某一选择分支点之后的挑选替代移动图象序列解码。为了能恰当地调整信号处理电路，定时控制电路62可以接收同步条纹信号发生器63的输出信号，该同步条纹信号发生器提供与在输入视频信号中的垂直和/或水平同步信号相应的定时信号。或者，通过微机10提供合适的同步信号。
模拟时分信号分离器和数据选择器64接收输入视频信号并且，响应来自定时控制电路62的控制信号，选通选定方案的连续帧直至其中可读的帧存储65。该帧存储65可以具有任何合适的模拟或数字类型并且其安排使得每一个选择的帧在其输出都重复足够次数以填补图3D所示的间隔。该输出加在处理视频信号的调制器或调节器66上，以增加其提供的信息处理负载。在具有三种选择方案的位置，从而每一个选择帧都必须重复两遍，第一次重复可以具有与原始帧相比变化的一种色差信号的相对电平，第二次重复可以具有变化的亮度电平，反之亦然。定时和控制电路62控制一个门或电子开关67，因此，或者调制器67的输出，或者原始输入视频信号，可以在任何一个特定时间根据需要输出。
经过处理的输出信号通过一个用于将经过处理的视频信号与来自微机10的输入图形数据相混合的混频器68传输。图4中的方框69负责任何可能需要处理的视频信号。
最好是采用该系统，从而该系统可以处理不同的帧频而无须调节，特别是处理欧洲使用的25帧/秒的帧频和美国使用的30帧/秒的帧频。例如，可以通过系统定时电路中的开关或跳线达到这个目的。或者，系统硬件可以包括一个用于自动检测帧频的电路，例如，通过监视来自图象重放装置的视频信号以及安排向微机10提供一个合适的指示信号，或者其它用来产生系统定时信号的电路。当然，将系统调整到所使用的帧频特别是确保解码器60正确运行所必需的。
图5表示在一个用于表示穿过陆地飞行的游戏中分支点上所具备的三个选择方案，表示三个不同的飞行路线A、B和C。同样地，连同三个方案的三度自由可以提供水平、上升和下降飞行之间的选择。对于五种选择，上/下和左/右飞行以及向前直飞可以同时进行。图5还表示了风景如域市100和101的某些细节是如何通过微机10所产生的图形而被摄入影片风景中的;当游戏重复时或同一风景一场游戏中被使用多于一次时，该图形还可用来变换风景和/或天空的色彩，以提供多样性。显然微机10还可以产生飞机、宇宙飞船、武器等等图象。微机10还可被编程来进行管理，使插入的图形内容根据被重复活动图像的选择适当地在透视和剖视方向上发生变化，例如象不同的选择涉及不同航线的情况。
在程序内容的某些点上，最好使沿唱盘上的运动可在一方向进行。这可通过使唱盘上这两个具体点之间具有程序内容来实现。唱盘具有交替的帧图象，如图6所示，一组为向内运行被读出，另一组为向外运行时被读出。这里，由读取头的内运行而读出的帧图象表示为I(1)-I(n)，而向外运行时而被读出的表示为O(1)-O(n)。当然最好是图6中x-y部分旋转时全部帧图象都被读取，而仅依靠Ior0所需的方向来显示帧图象。这可由信号处理电路60装置以及定时控制电路6C适光地操作时分给号分离器，选出所需图象而容易地达到。图6中向内行进的图象是向外行进的二倍，这完全是任意的表示。注意帧图象可适当地排列，使游戏“事故”沿正确方向进展。
其应用的一个实例是可以使用一个重复了两次或多次的较短的活动图象序列来显示一个长场景，例如在地域上的长途飞行，该序列的一部是由唱盘机读取头向内运行读出的帧图象组成，其余部分则是向外运行时读出的。只要影段重复时，变化由微机10提供的附加图形信息)如原野色彩和原特点)，实际显示的影象是可变换的。
由于在使用“选取”解码方式的过程中，新读出的帧图象只有在前一帧完成重复之后才需要，所以重复可以读取头提供时间，移动到新的读取位置。这可使连续录制的一组活动图象系列被用来组成一个树结构，其支点由各选择组的支点提供。这些系列可延伸到解码中帧图象重复而获得的时间所允许的程度。使用前一段所述的双向通路和其它技术如在树的一个或多个支和该树中的一个前节点之间形成环来连接树，可使整个结构进一步扩展。最好是能使用这些原则，在程序材料中造就非常多的选择通路，使得(比方说)使用系统进行游时时，每次进行游戏时，都将出现不同顺序。
使视频唱盘机的读取头在盘的不同半径区域间进行跨越，可能是很必要的。所示系统在以“选择”方式重放期间视频信号图象的重复是指读取头跨跳期间以该方式工作，重复原图象二次或无论多少次都不需要新图象。再者，光盘上大的跳跨可由将跳跨时要显示的连续图象置于间隔逆程来达到，这样它们在读取头跨越对应于复制前帧图象所获时间的距离时被取出。
最好这些技术，即，在记录媒介上交选帧图象，重放时帧图象的选择与复制，以及安插图象可实现唱盘上的跨跳功能的所谓“填坑”或“踏面”方式，也可应用于其它存储介质，例如录相带、激光唱盘和其它应用，如数据库存取等，最好存取新图象时显示连续的图象。
图7表示了一个游戏过程中在某领地上空的飞机“突击”。向内行进的帧图象正与向外行进的帧图象交迭在一起，它有三个任选飞行方向A、B和C，操作者可任选其中之一，在这些通路之一上飞完之后，图象切换到返图序列D。这些动作由微机10适当组合唱盘放象机40的操作与处理电路60来达到。
系统可包括多通道声频部分，为节目内容提供声响效果和音乐伴奏。
图8表示了一个这样的例子，其中的第2电视唱盘放像机110也受微机10控制，产生8个通道的声音用以衬托视频节目。这8个通道由混声器120在微机10的控制下混合，合声由(例如)扬声器130a-130d组成的四音型结构发出。
图9表示一个可行的8通道分配(每个可包括适当的可解码形式的立体声信息);要注意为增加游戏“环境”和给游戏者提供反馈，对音响、音乐和“毁坏”以及“行进”都定有规定。混声器120可根据游戏当时场量和游戏如何进行，受微机10控制，提供每个声道再生的一组特殊相应电平(包括0)。为了提供一个使音乐适合游戏状况的办法，可将两个或多个通道用于音乐的低频成份，如低音轨迹，它们有不同的速率，这样混合他们音乐的节奏就可发生变化。最好是将上述游戏系统用于室内或适当地建于过道式游戏机那样的通用小屋中。
虽然上述只就本发明用于电视游戏机的情况进行了叙述，但很明显本发明远可用于其它多用途。例如，可用于各种模拟，如飞行、驾车模拟，高教课目相应指导，体育及余暇活动等等，还可以为相互作用的计算机软件提供有帮助的户用接口。结合游戏机叙述的那些特点还可按具体情况用于这样或那样的应用中。节目材料中的材料和环造成的节目通道，蓄如说教学应用，可使学生回答详细的解释，必要时，重复教过的部分，等等。
在唱盘41或其它存储介质上交迭图象，这可在支点处减少存取时间并显示的主要质量。但是，显示决不是很有意义的，除非它依据用户的输入如游戏棒单元21发生变化。以跑道上的赛车为例，当它沿跑道行驶时，它需要被显示成在跑道上由左向右运动。这个运动模拟需要系统在每帧图象中存储比可在显示器30上显示的大得多的图象，且任何时刻都选择大图象的正确部分进行显示。其后就是非常基本的数据处理工作，因为在显示上显示两帧图象的间隔里，系统必须从唱盘上读取新图象并确定出该新图象的哪部分需显示。这将不同于先前显示的图象，因为用户(或汽车)假设为跨越跑道如果用常规的电视广播中所用的同样等级的细节标准，来获取高质量的显示，那么在尽可能短的时间里要处理的数据量将超出现有的通用微机的能力。
我们分析了涉及的问题，并找到了解决办法，可大大降低处理环节，使图象质量有相应提高最好从唱盘41取出的每帧图象在帧存储器65中存贮一段时间。该时间由唱盘放像机取下一帧的速率来指出。当“汽车”沿轨道以系统能给出的最大速度行进时，该时间最短。产生帧图象的速度反过来又与帧图象在唱盘上的交迭有关，见图3。
在帧存储器65里建有一个构成整帧图象的所有象素的子集。该子集称为更新阵列。如图10所示，帧存储器65包括有较大的图象150和子集或更新阵列，后者又包括那大图象中的一个很小的图象152。更新阵列152仅提供给监视图30。图11表示了大图象150的一部分152在监视器上显示出的图象154。用户决不能看到整帧图象，而仅是其子集。
与帧存储器有关的一个寄存器装有确定大图象150的那部分包括更新阵列152的量值。该“窗口”是基于下述座标基础而定的。更新阵列可在场间隔内被重新置于帧存储器内的一个新位置上。控制帧存储器65的微机10根据本发明进行这个变化，简单地统一调整定义更新阵列的座标寄存器内的X和Y座标的值。图12完全是示意性图，表示了座标值如何与帧存储器和更新阵列的四角关联。实际上座标的确定远比所示的要精细多。
在应用中，出于显而易见的理由，将座标原点(O，O)定于帧存储器中心是方便的。当用户精确地沿记录图象序列的摄影机所使用的运动初始方向行进时，更新阵列的中心就与帧存储器的中心重合。并将被保持于该点。所以，座标寄存器中装有的值，只要更新阵列大小不变，就无需变更。
然而，一旦用户从其中心位置移动游戏机阵列指明运动离开原路线时，可能是想追踪一个偏离中心的物体，这时帧存储中作为更新阵列选中的部分就需连续变化。在讨论变化类型中要涉及下列术语NPA-自然透视算法DPT-伪透视变换AVC-阵列矢量座标。
当游戏棒被移动，以便移动更新阵列离开帧存储器中心，NPA对更新阵列的X、Y座标产生增量。这些增量为了更新阵列配合上所察觉的被跟踪物体的路程和速度。软件根据用户跟踪的物体在帧存储器内的偏离度，产生统一的增量，使更新阵列产生移动。物体可能先慢慢地移向屏幕边缘，然后增加速度。移动要使被跟踪物体仍处于更新阵列中心及显示中心。如果用户成功地跟踪住物体，该物体一定仍在更新阵列中心。但是，当最初开始摄影时，物体并不在中心。因为当摄影机拍象连续画面时，越靠近物体，物体就越来越快地跳出画面的中心。
在图13中，连续表示有按(a)(b)(c)序列的三帧图象。路的远端在图象的中间，因此只要汽车向图象正中运动，就不需变换帧存储器中更新阵列的位置。但假设用户操纵游戏棒稍向右偏，偏向标号160。更新阵列一直移动，直到符号/加位于其中心，且游戏棒又返回其中心位置。现在符号必须在更新阵列中心即显示图象中心处被看见。但当连续图象如(b)和(c)通过时，符号越近就越偏离帧图象存储器中心。所以更新阵列必须加速向右移动。在监视器屏幕限制的符号非偏移是显示的重要部分。
由上述可知，更新阵列在帧存储器内的移动是由两个因素造成的。第一个因素是游戏棒的移动。第二个因素是对于显示连续跟踪所必须的移动，该物体在帧存储器内实际上是偏离中心的。这由NPA处理，它还注意任何在最初对被存图象进行摄象时发生的直线偏离。NPA由微机10中的适当软件程序执行。
如果由于游戏棒的控制，更新阵列地址座标的增量超过帧存储器内被表示物体的偏离，那么如果说原摄影机先由该物体左侧通过，那么在监视器上用户将得到由其它侧通过的景象。这是用户运动控制的原则，表示在图14中。图14中表示了三个连续画面(a)(b)(c)。在(a)中物体170在帧存储器中心偏右，这样用户不移动游戏棒而继续向前，物体将以加速移向更新阵列和显示的右侧。用户将看到物体已从他们右侧通过。但用户也可能来一个急右转。假定在所示时刻物体以5厘米/秒的速度在屏幕上移向左侧。如果右转起动时对应的右转速度为10厘米/秒，更新阵列将以比物体快得多的速度移向右侧。相对于更新阵列，物体以5厘米/秒移向左方，并且这就是显示器上看到的。用户会有物体从他们 侧通过的幻觉。
同样，如果摄影机由物体的右侧通过且更新阵列增量配合其位移，那么用户将处在与该物体相撞的路径上。这样，用户有随意运动的感觉，即不按摄影机的路线的方面透视而原度运动。
更新阵列地址座标的增量计算叙述如下。
假设起初用来拍摄风景的摄影机沿直线路径匀速行进。如果不是这样，其偏离就将和图象一起被记录下来，并可被用来对下述方法所获取数值进行适当的修正。所有在帧存储器中的物体运动都可精确预测并根据巴欧克里帝恩(Eudidean)几何定律注意运动视差而给出图来。这些图将取图15所示的形式，其中横轴表示帧存储器中心的距离或偏差，纵轴表示更新阵列中心点所需增量(即它的速度)。这里有一族曲线但只表示出了三根，它们对应于通过镜头的垂直平面和图象的水平面的不同距离。例如天空中的星星是处于有效的无限区域内，总是不见动的，在所有连续图象中总处在相同位置。另一方面，路边的路标将很快地掠过。曲线的形状存贮在NPA软件中。这将在下面叙述。一条曲线及相关帧存储器内容表示在图15A中。
最好再有两个族的曲线。一族是关于纵向移动的，即向着操作者，并基于图象部分偏离帧存储器中心的水平程度，另一族是关于水平方向移动的，即屏幕的两侧，并基于图象部分偏离帧存储器中心的垂直程度。图象任何点上的合成运动都有这两个成分运动的矢量合成给出。以下我们将主要来看看所提的第一个成分。
我们已知道，更新阵列在帧存储器内的移动是基于用户接口的用户控制，且增量由NPA给出。
参阅图16，将曲线之一详细表示在所述曲线定义的区域内。考虑一物体在帧存储器中心右边的P点上。由P作的垂线切曲线于Q，它对应于R给出的位移率。对此必须加上游戏棒控制决定的移动率。如果对应于游戏棒控制不需移动，则没有离开〔O〕线的偏离，且仅调整运动视差就行。如果根据游戏棒控制的移动是与调整运动视差的移动相同，那末PQ线就伸进〔+〕区。如果游戏棒控制的移动与调整运动视差的移动相反，但幅度小于它，则结果是移入〔-〕区。如果移动大于PQ距离代表的运动且方向相反，则合成运动是负的或在DP线以下如〔--〕区所示。
显然，在更新阵列边缘到达帧存储器边缘时，必须进行点什么控制。回想一下，产生拍摄风景的序列图象的摄影机线性地扫过风景地，然后它与第一次平行靠近进行重拍，我们来看看产生三套或三部图象的这三次平行路径位置。图17表示了三条路径A、B和C，并表示了一个山脉所产生的三套图象序列中的不同位置。这些可称为三个阵列矢量。
最好在某些情况中，阵列矢量不是平行的，而是图象18所示的放射状的，这是基于图5和图7但表示了摄影机所拍图象的形状。这些图象序列之一被清楚地表示在图19中，它联系了序列连续图象中的景象与地域的特点。图20表示了更新阵列至少部分在游戏棒的控制下逐渐越过图象向图象边缘移动的情况。
由图21可看出，一个序列的任一已知图象至少在远景特点上是与邻近序列的对应图象重迭的。风景特点将出现在图象的不同位置上。
三个序列包括图象A1，A2…An;B1，B2…B;和C1，C2…Cn。图象是以上面所述的交错方式存储的，即以顺序A1，B1，C1，A2，B2，C2…An，Bn，Cn以便使从一个序列的一点向旁边量一序列的对应点上的移动变得很容易，系统从唱盘放象机或其它视频存储设备的复合信号中从那些相关序列中只拾取要存入帧存储器的图象信号。交迭是指表示变化景象的图象信息就是读取出旁边的图象信号。
标号和交迭图象存储表示在图22中。
每个阵列矢量或序列的每个图象被分成四个区，如图23所示。更新阵列在一个图象到另一图象，或一个阵列矢量到另一个时是看不见的，但由一个区到另一区都可看见。图24至图27绘出了三个方法示例，都可使阵列矢量中的邻图象有效地组成全景。这样的全景可用来模拟360度的景象，作法是象图28、28A所示那样重复阵列矢量序列A1，B1，C1，A…给出图28那样的全方位效果。
图27指出了三个阵列矢量的十二个区。这些区之间的关系包含在微机的AVC软件中。区关系对于确保用户看清他们正在飞越的山貌和他们已从一侧通过的物体不再突然出现或闪过荧屏是重要的。
参看图27例，特别是矢量A中的树，假定用户在区A3中行进比运动视差快。换言之，移动更新阵列的增量是在图16〔t〕部分划到的。在显示器上，物体是从左边进右边出的。使用户有它们是沿反时针曲线运行的印象。如果在任何点上用户想停止曲线行进，进行直线行进，更新阵列的运动就必须与上面所述的运动视差率匹配。图16可重新定义成图30。
当更新阵列接近区A3区边界，也是帧存储器边界和阵列矢量A边界时，系统就确保硬件停止从阵列矢量A读出，开始读C，并且将更新阵列重置于图象的C4区内。不仅如此，在C4区由游戏棒所命令的运动是为了使更新阵列治与运动视差引起运动相反的方向行动。因此，速度与矢量是在图16的〔--〕区内，在图30A中原点的对面。这样，就有同样的反时针曲线感觉，物体又一次从用户监视器的左边进入，从右边离开。图30B表示连续运动，指出许多连续变换如何发生。
图16和30所定出的运动区之间的关系和阵列矢量区列在图46的表中。箭头表示矢量方向。更新阵列可在帧存中单独定义，按其中心座标和从帧存储器中心〔OO〕的位移。图16中所示更新阵列运动状态〔O〕和〔-〕总是从一个区离开，进入下一阵列矢量的对应区内。这可由更新阵列运动〔RAM〕表示〔C1A1〕0或〔C3A3〕0和〔C1A1〕-或〔C3A3〕-相反状况〔+〕和〔--〕通过邻接区，这可同样表示为〔C2A1〕+…〔C1C2〕--…〔B2C1〕+和〔A1A2〕--…〔A2B1〕+…〔B1B2〕--因此，阵列矢量座标对于区的关系是重要的。每个区都涉及与帧存储器中心有关的更新阵列的中心总座标X1Y的符号特殊组合。
为提供正确的位移，要选择图15中的一族正确的曲线。每条曲线都表示了不同的一组运动视差方程，选择依据图象部分是否包含主要的背景、中景和前景而定。关于是否为前景的变量被解码存入场消隐逆程并提供给微处理。在有抵触情况时，前景中的物体有优先权。
更新阵列增量移动发生于图象之间，并非即时，重要的是〔例如〕将前景物体保持在中间，该增量给出一个变量确定图15中P个曲线族是所需的。
在摄影之后，图象要在记录于唱盘之前经过后期制作。在该后期制作操作中，操作者调出选得的主图象和记录，找出图象中的主特征。帧向的运动可确定选择图15中正确族线的相关常数。这些常数与所选图象一起录在唱盘上。
这样，操作者就有效地作出关于一物体是否为前景中景或背景的必要判定。从而即使前景物体在帧存储器内占有与背景物体同一位置，它们运动的连续速率也是不同的。图31是一从峡谷远方地平线的场景，其中地平线是背景〔a〕，峡谷是前景〔b〕，中部地区由中间图〔c〕构成。当选成〔d〕时，虽然点P在三个成分中有相同座标，但它在每种情况中的连续运动速度是不同的。
参看图15，可想到前景、中景、背景的曲线有不同的形状和样态。最好实际上有均匀无限多这样的曲线。选择适当的线形是依据垂直消隐逆程中的已解码变量，它通知微处理器是否物体前景、中景和背景，这些全与拍摄图象的摄影在镜头中心有关。
将图象分成区的一个重要方面是每个区都有一个变量指出该区是否含有前景等信息。例如，在晴天中飞行的低空飞机所看到的图象将是有与两底区相似的变量，生产与前景信息有关的深曲度图形，及与两上区相似的变量，只生产背景信息。由于每个区有其这样的“近似变量”，指出场景中该部分中主要物体与摄象机镜头的适视关系，就存在有组合前景与背景的巨大范围。在此情况中，曲线特别是与垂直位移有关的那些，将非对称于水平轴，如图32所示。图32A和32B所示曲线和显示变化分别表示低飞飞机靠近公路的示例。
上述自然透视法(NPA)的推导叙述如下。算法在软件中执行，产生用于在帧存贮器中产生所有物体的自然运动。因此，它必定能产生运动视差。
除了原摄影机的运动是线性的，或路径和速度的任何变化被精细记录，或任何风景或环境被平扫拍摄之外，还要注意到另外两个因素。它们是相邻扫拍之间的距离，即阵列间隔，和摄影机在每个曝光之间行进的距离。
考虑到曝光间隔，设有该值就不能计算出帧存储器内的x和y坐标的增量。这一点可从图33看出。图33示出了屏上图象的运动与它们包含的实际图象之间的关系。随着物体接近观察者的平面，在监视器屏上看到的、给定了横向距离间隔的运动程度大为增加。图33和33A示出了运动视差方程部分的导出，给出了矢量及y坐标的增量。图34示出了图33中的实际图象与最初由照相机产生的底片图象之间更为复杂、更具意义的关系。图34A示出了物体的各种平面，图34B描出了各种运动曲线。图33和34涉及到垂直或y的增量位移。对于x坐标，也存在着类似的关系。
参阅图34，使由自然透视算法给出运动视差所需的更新阵列的位置是〔y〕＝ (常数1×曝光间隔)/(常数2+曝光间隔)接下来的位置便是新的〔y〕＝ (常数1×(曝光间隔+1))/(常数2+(曝光间隔+1))因此，差值是〔y〕的增量＝新的〔y〕-老的〔y〕。
注意，x和y坐标在任何情况下都与下式有关(老的〔x〕)/(老的〔y〕) ＝ (新的〔x〕)/(新的〔y〕)所以，〔x〕的增量相似地可由新〔x〕一老的〔x〕计算出来。
NPA软件中的各个步骤在图37A至37E中被表示出来，图37A至37E注释得很详尽，再按照以上给出的描述其本身就有说明性。
选定阵列间隙，以确保相邻阵列矢量帧内图象重叠的正确程度。每个帧具有代表某些物体前侧和其它物体后侧的信息。这一点在图35中已有说明。为了使使用者看到物体的右侧和左侧，所述的信息必须在某处由存储在电视圆盘上的信息来代表，而且必须迅速可用。图35中(b)所示的中央区与(c)所示的周围区的比率决定阵列的间隙。这个比率决定于二个因素，即透镜的特性和初级透镜与观察中的物体之间的距离。图35A示出了中央区与周围区之间的复杂关系，还示出了这些区从一个阵列矢量到下一个阵列矢量网在一起以形成代表性全景的方式。
图35B示出了如图35和35A所示的中央区与周围区之间的关系，还示出了在帧中展示中的物体的方向。图35c至35j示出了“环绕山的飞行”。图35示出了在飞行中各点处代表性的图象是如何产生的。在以下图中的“飞行”系列被分解为三个帧的五组;以上为接入五个组中各组第一帧的系列。图35j示出了所有十五帧的“飞机座舱”(监视器显示)图象。
图35D至35J用图解法示出了如何利用帧选择和帧存储器内更新阵列运动形成邻接的图35C所示的飞行路径。至于图35J，可以想起图30给出的由于每个游戏棒增量(就曲线飞行或直线飞行而言)-(+)或(-)的曲线。正如可以预料的那样，游戏棒的增量只产生曲线飞行;在没有游戏棒增量被记录时，则RAMO总是追随运动视差，即飞机作直线飞行。
从以上描述可以看到由所述系统引入的透视图并不完美，但该系统有赖于使用者的脑根据呈现在其基本平整的二维视网膜上的信息而产生透视图的感觉。透视图不在该视网膜上，而是由脑产生的最终产物。由系统引入的透视图不仅仅适用于利用脑产生适当且非常有效的主观透视效果。所述系统是以线索的识别为基础的，这就是大脑找到对产生感觉到的自然透视图。
应该注意到，图1示出的结构可在加上多个不同图象源(如加上通过帧选择器与一个或多个帧存储器相联的电视盘)的情况下而有所变化。微处理机对要存储在帧存储器或存储器中的帧的选择进行控制。在交叉情况下，图象源可以是通过微处理机接通的固态存储元件。
所示系统可带有适当的电文(teletext)型数字传输系统，以使原文与信号一起被传输到帧存储器中，并显示在屏上。一个或多个声频通道被编码在激光盘上，以此可加强对使用者所产生的效果。
如图36所示，可以依靠使更新的阵列有效地在帧存储器上在其位置上转动而达到旋转或滚动效果。这个特点可用来模拟飞机退入圈内的效果，这一特点可设在图1中所示的70处。
所述系统除了用在上述类型的电视娱乐系统中之外，还其许多其它用途。用途实例包括教育和模拟二方面，这是因为该系统能够模拟很多情况，如穿过山谷的低水准飞机或穿过城市环境的驾驶、商业和运动训练、依靠提供能与实际观测相比较的信息描绘的方法辅助航行、产生动画型娱乐的动作式电视商业等等。尤其是在有关最后这项用途中，系统可利用活动的电视图象实例的彩色结构的灵活变化，来提供此实际活动的电视图象系列结构活动率而变的印象，提供此实际表现的活动率更变的印象。
在采用交错时，对帧存储器的实际帧更新率有效地减小一个等于交错系列数(在本文中我们一般指2)之中的因数。这是因为在电视盘(或紧缩盘)的情况下，读出头逗留在每个横上仅半个周期，仅读出一个场。帧存储器供给监视器的更新速率，并且是正常速率。在各新帧中，图象的运动不单单是取决于软件图象，这是因为更新阵列的运动也产生由帧存储器产生的运动。但是，交迭的结果之一就是降低初级图象抵达监视器的速率。
根据本发明特征，依靠改变三种连续帧周期图象的彩色谱平衡(对此示出了具体帧图象)，来遮蔽这种效应。而这可利用存储器中的彩色查寻表来实现，该存储器放在帧存储器与监视器显示之间。
图38至40中给出了图1中某些元件的进一步细节。图38更详细地以最佳形式示出了帧存储器60，图39则示出了帧采样器电路，该电路根据来自微处理机10的控制信息选择由电视录象盘的操作者输出的合适的帧。微处理机以每帧或每场为基础启动帧采集器，这样，任何所需的帧或场便可被数字化并存储在帧存储器中。把电视信号从PAL或NTSC格式译码成RGB部分格式，使这三个部分同时而又隔离地数字化。帧存储器连续地对监视器更新。而这必须与从电视盘接收来的数据同步，但在未找到电视录象圆盘信号时(例如，在“寻找”操作中)，必须供给其自己的时钟。微处理机最好能直接写入帧缓冲器中，也能从其中读出。
帧的基本系列是初始红移位初始兰移位初始该五帧系列不断重复。这种循环以与达到最佳主观效应所需的相同频率自动地继续。随着帧存储器读出变化的继续，引入图象的动作仍然在重复的场上继续。
图40示出了附加电路系统，该电路系统需要用来实现在重复帧上改变彩色类型或彩色谱平衡的色装置(Chromotron)特性。利用改变位于帧缓冲器与电视输出之间的彩色寻查表(CLT)的内容，来计算和实施具体更新帧的彩色变化。CLT还能产生特殊效果。
这些效果包括(a)来自帧缓冲器的单个彩色平面的选择图象，这使得在不利用电视唱盘或任何附加处理电源的情况下具有有限的二色图象的“环”运动。
(b)方案(a)可发展为把多个有限彩色图象存储在帧缓冲器中。利用CLT，系统可以以任何速率与电视唱盘无关地在这些图象间转换。
(c)帧缓冲器可以分离成二个分立的、各具有全部彩色平面中半数彩色平面的唱缓冲器，这使得RIV系统可以利用“双缓冲器”的方案。图式处理机可以在一个帧存储器中形成图案，同时，更新的电视示出来自另一缓冲器的完成的图象。这意味着使用者未看到过完成一半的图象，而且意味着当RIV系统需要用来在实际时间内产生复杂得多的计算机产生的运动(“透视象差”、“金属旋转”)时，RIV系统呈现出“适度的降低”。
(d)彩色特别效应(如彩色反转、对比伸延、“Posterisation”)、假彩色及周期性彩色变化效应。
(e)帧缓冲器的平面之一可用于二个电视源(电视唱盘和帧缓冲器)之间的转换。这使得静态或动态变化区域含有计算机产生的图象，而其它图象信息则直接从电视录象圆盘得。
图41示出了最佳电视供给装置及相关电路。具有几个激光盘读出器或其它读出装置。透视转换发生在含有完全存储的帧的第一帧中，二个进一步被缓冲的帧存储器含有完全的显示图象。
可把RIV系统用来在计算机的控制下提供底片尺寸。在这种情况下，计算机再生初始的拍摄图象，但在使用者视点及运动点受到控制时，计算机便利用其NPA软件来首先与初始透视图相匹配，然后计算机便继续利用NPA软件产生假透视转换，这些转换皆在帧的更新间隔中，并给予使用者实时能力以探索初始底片环境。
RIV系统每秒图象产生25兆比特的能力，意味着可以与其它计算机产生的图象有关，以便形成其结构及透视图全部仿真的仿真背景及具有数字精度的产生在前景中的物体，然后把所述仿真背景和物体设定在仿真运动控制的位置，这样，前景物体和背景物体的透射图象就是完整、完全和由硬件控制的。
帧存储器的重叠特性尤其适合于讲授应用。用重叠系列中的第一系列可教第一点。如果充分理解了，则学生就转换到该系列中的下一点。但是，如果未充分理解，则学生可转移到其它连续系列，以便再实施该特殊点直至其被理解为止。连续显象包括示明该点的图信息量的增量，还能为装载在例如选定帧的垂直消隐间隔内电文形式中的某些信息提打印。在这种结构中，主帧存储器仅需要包含显示的图象尺寸，这是因为可以不需要透视图转换。
例如，可以在屏上举行一个对话式讲座，该讲座例如可由一个在控制题目范围内被允许进行讨论的原子物理学家来作。
在再作这样的讲座时，系统不必应付自然透视或假透视的产生。RIV教育再创造了基本教学法。以这种基本教学法，屏上的教师讲解第一点，但复杂而又冗长;然后要求学生表示他们是否不理解。如果他们理解，则教师立即继续讲下一点;如果他们表示他们不理解，则教师讲解相同的那一点，但以不同的模拟方式或进一步的参考材料，或依靠实例或辅助例子来讲解。
RIV系统的技术为任何主题的讲解的编码和实时对话式演示创造了条件。
RIV软件具有重叠的帧，每个帧不必与进程帧和连续帧关联。如果我们考虑到一个以声频可视方式示出且需要大概100C帧的特殊点，我们则称这些帧为M0帧。这样，该点便如图44A所示那样被示为读出头扫描帧M01至M1000。在帧M1000之后有一个分隔区D1。在示出的帧M1000的端头处，屏上的人(教师)问是否理解。如果回答是，则读出头寻址到下段，该下段含有N0帧，N0帧包括有下一点的说明(见图44B)。
但是，如果回答为否，即不理解，则读出头仍然向前移至帧的N段，这是因为在这些帧中那些重叠的帧是载有第一点的第二种解释的帧。
这些重叠的帧M11……M1500通过段N被读出到一半，然后，读出头返回到区D2，读取其它的帧M1500……M11000……。所以在帧M01至M0500有二组重叠的帧，帧M11至M1500是一组M11000至M1500是另一组。在区D1上，屏上的教师可以在第二次解释过后再问是否理解了这一点。如果是，则读出头平稳地向前移至段N的始端(其所处位置就是这样)。这在图44C至44H给予了说明，图44D示出了部分500M1系列(而不是1000M1系列)。
但是，如果在第二次到达区D1时，回答仍然是不理解那一点，则呈现出第三次解释，其形式是课文的电文显示在屏上，并带有象形图式的图解。如果打印机是硬件的一部分时，则这种显示可以打印出来。以此用来模仿教师告诉学生对主题进行攻读，以帮助和加快理解。第三和最后的电文解释被编码在载有第二解释的帧的垂直消陷间隔(VBI)容量内，这样，一旦电文的示出完成，读出头便再次在区D1中，并由此准备平稳地向前移到下一点的说明。换句话说，因为第二说明帧自身折叠，在区D1开始和终结，电文的示出也是这样，包含在那些相同的帧中，同样在区D1开始和终结。
根据激光盘和其图象源的电视唱盘技术，每一个说明都从D区开始，在D区终结。见图5。
在其各种改形中示出的系统具有许多优于先有对话式电视系统的优点。该系统不需要具有快接通时间的机构，也不需要有电视扫描的高速扫描。这就是说，在具有电视录象圆盘实施例的情况下，激光头根本不需离开盘;激光头总是在读出，根本不必以比每秒60盘槽还快的速率移动。利用硬件处理电视信号的方法来达到相邻系列(即阵列矢量或章节)之间的迅速接通。当一旦信号离开电视录象圆盘的操作者，帧抓取器便在微处理机的控制下简单地在重叠系列中选择所需的一个序列。所以，对电视录象圆盘游戏的要求是激光头能够以每秒0至60个槽(或帧)的速度移动。最高速度小于快速移至家用CD或VCR操作者的速率。
使用者看到的屏上速度取决于三个因素，首先是激光跟踪头的速度，其次是在存储帧初始准备中照相机在曝光之间移动的距离，第三是帧存储器中更新阵列运动的速度。
可以根据目前可购买到的带有适当附加连接和控制电路的设备，设计一种有效系统。存储在帧存储器中的数学图象(该数字图象在假透视的情况下一次不会全看到)可以高达例如每帧1000×1000象素(pixels)。使用者看到的图象最好具有重叠扫描，并且仅使用了各一个显示帧的部分象素(高达约500×1000)。
总之，RIV系统把软件的准备与硬件的结构及硬件(微处理机)的处理结合起来，以产生独特和高度有效的结果。这种结合反映在RIV系统的ROM和RAM存储器被看作是结合“混合”存储器(表示为RARAM读出和随机存取存储器的情况中。
这种结合使得RIV系统具有三个特性(1)RIV编码/译码，形成了比至今所看到的方法更为有效的启发性方法，它为在帧间隔内，在无图供给装置破坏的情况下相关帧的选择提供了条件，因此，在时间和设备二方面都比较经济。
(2)RIV色装置，它是简单、有效图象的增强器。
(3)RIV透视，采用AVC(阵列矢量坐标，它包含象限关系)和NPA(自然透视计算法)来产生PPT(假透视转换)，这种转换在微处理机的控制下提供自然图象的大量数据率。
PPT(假透视转换)在使用者的游戏带表演与NPA结合在RIV系统中时是使使用者产生感觉的最终效应。使用者可以在任何方向上改变方向，正如已经说明的那样，这种感觉部分为光幻觉，这种光幻觉是由参考帧的硬件来看见的运动产生的，大脑用此来产生使用者对什么正在进行的感觉。这些参考帧是监视器屏的静态边缘，大脑用此来理解屏上运动。实际上，RIV硬件和软件正结合起来灵活地移运监测器的边缘，产生次级透射假透射转换。
RIV透射很明显对RIV系统的某些应用是重要的，并代表以上三个特性的大多数动态。但是，RIV系统所有应用的准则是，系统应为实时对话创造条件，而且对于许多这些应用，透射转换是不必要的。强调这一点很重要。
图45所示为带有所利用的最佳微处理机的实施细节的主要系统部件。主要子系统是以具有五十万比特的RAM存储器的80286型微处理机为基础的。接收电视信号的帧存储器子系统可以以3k×8比特静态RAM为基础，十个该RAM可以组成二个3k×40比特的场存储器块。一个存储器用于写入，而另一个用于读出。
可取样为4个亮度采样，每个7比特1个U采样，6比特1个V采样 6比特。
这给出了一个40比特的系列尺寸。在每线768个样品的情况下，帧存储器在1.6MHz接收40比特的系列。整个系统的结构对于本说明书的熟练读者来说从已给出的情况便可明了。
在以下所附部分中列出了选择应用。
附属部分RIV系统的应用RIV系统是一种对话式电视系统，它具有许多应用，这些应用最初包括
1.RIV模拟把RIV系统发展到这个应用可以认为是应用范围的最高点，它们表现了RIV系统能力的最富于活力的方面，这些系统可以模仿范围广阔的环境和场合，包括穿过Welsh山谷的低空飞行或驾车穿过纽约市。
2.RIV教育这也是一个最初的领域。这个想法目的在于用RIV装配所有的学校教育领事和一套RIV教育电视录象圆盘。这种方法与“Nuffield程序”类似。在这个应用中，所有学生(在特殊课堂中)在其桌上都有钮座式连接装置，同时教师具有控制器装置，连接至领事。假如采用这个系统，则会给软件的各个项目带来大量方案。优于目前课堂形象化教学的主要优点是与“坐和听”相反，RIV系统是学生参与和实时的，这会使学生集中精力。
3.RIV娱乐这是最初考虑的领域，这种想法是将最生动、先进的部分、拱廊的刺激系列和自己制造的游戏引入市场，这样，我们把这些视为“娱乐经历”，而不只是一种游戏。我们相信，在引入它们的同时，它们会为别人树立跟随学习的标准。
4.RIV训练与RIV的模仿相似，但目的在于商标训练、体育训练和“现场”信息的比较乏味的世界，更加强调原文的出示，对于图象的操作则需要甚少。
在以上完成初始工作之后，便考虑到以下应用5.航空(飞行)
座舱中的显示系统还与测量显示板连接，以便提供形象的飞机下方及周围的地形显示，以及与位置相关的原文信息。所包括的每个软件盘相对一条具体路线，并带有对那些危险方法的保险。有可能做出对汽车和渡假出国的改形。
6.RIV动画经典图书及当代动画背景可供摄影廉价使用，制作高质量的儿童节目。还可用作对计算机产生的动画的补充，以达到完善的结果。
7.RIV家用图书家庭中的RIV硬件通过电缆与RIV软件配套。在这个应用中，如果适当地与电缆关系输入进行演变，则RIV系统大量高速和随机存取存储器的容量会使之令人吃惊。
对以下应用领域进行了初步研究8.RIV计算机剧院把RIV娱乐与RIV教育结合起来，同时使整个电影院的观察都具有基本按钮座和操纵杆，并在“多数角色”的基础上相互影响，播放具有惊险内容的高质量电影。最初是游乐园，然后也许选择电影院。
9.RIV“友好的使用者”现在，这是个抽象概念，把RIV系统至自然语言产生者和自然语言分析者，这时，他们正致力于使高度技术和高度文化的面目人性化。
10.RIV机器到机器的模仿在具有可能的概念“家庭图书”的情况下，所有这些领域包含可视图象数据可视图象数据是系统中电视信号的最初成分。将来更具有意义的应用包含“非可视”数据模仿，其中，RIV系统与不管什么特点的其它系统(警报系统、A.I.系统、成分测定系统、通用计算机系统)相连，并利用(通过连接部分)把形势模拟引入这些其它系统的方法，把这些系统通过其步调放到考虑的系统格式中，还利用改变“实时”中条件的方法，观看系统能如何有效地应付各种不测事件。
权利要求
1.一种电视系统，它包括一个用于使存储在记录媒介上的运动图象系列再生的图象重放装置、一个用于接收来自上述图象重放装置的选定帧的帧存储器、一个用于显示存储在帧存储器中的帧的显示装置，至少有几帧被重复显示，还包括联接在帧存储器与显示装置之间的装置，该装置用于提供一些重复场的彩色模型，以有助于掩遮帧的重复效应。
全文摘要
本发明提供了一种电视系统，它包括一个用于使存储在记录媒介上的运动图象系列再生的图象重放装置、一个用于接收来自上述图象重放装置的选定帧的帧存储器、一个用于显示存储在帧存储器中的帧的显示装置，至少有几帧被重复显示，还包括联接在帧存储器与显示装置之间的装置，该装置用于提供一些重复场的彩色模型，以有助于掩遮帧的重复效应。
文档编号H04N5/907GK1073887SQ9211164
公开日1993年7月7日 申请日期1992年10月21日 优先权日1992年10月21日
发明者阿什贝·詹姆斯·阿骑 申请人:洛金斯布兰德有限公司