具有帧速率转换的宽带多格式音频/视频制作系统的制作方法

专利名称：具有帧速率转换的宽带多格式音频/视频制作系统的制作方法
技术领域：
本发明一般地涉及视频制作，摄影图像处理以及计算机图形，并且，更具体地说，涉及一种能保持主题素材的全部带宽和分辨率的多格式数字视频制作系统，同时为打算用于数字电视和包括数字高清晰度电视(HDTV)节目在内的其他应用提供专业级质量的编辑和图像处理。
背景技术：
随着通过各种节目提供方法[数字电视(DTV)广播，有线电视，家庭视频，广播，等等]而变为可用的电视频道的数目继续激增，对节目安排的需求，特别是对高质量HDTV格式的节目安排的需求，从技术方面和财政方面，向节目出品人提出了特殊的挑战。在专业级的编辑和图像处理设备的价格因研究与开发的高成本以及其他因素而继续增长的同时，通用硬件，包括个人计算机，能够以非专业人士甚至初学者都出得起的价格而产生可观的影响。其结果是，介于这两类设备之间的区别已经变得不明显。虽然通用的基于PC的设备永远不允许以实时方式和充分的分辨率来提供专业风格的图像表现，但是每一代新的微处理器都推动了速度越来越快，分辨率越来越高的应用。此外，随着存储器电路和其他数据存储硬件的价格继续降低，这样的装置的容量已经戏剧性地增加，由此使得改进针对这些应用的基于PC的图像处理系统的前景趋于乐观。
在专用设备方面，传统上人们都把注意力集中在两类专业的图像处理系统的开发上面那些瞄准最高质量水准以支持影片效果的，以及那些瞄准电视广播，以便在当前广播系统的现实性和经济性的范围内，提供“全35 mm戏剧片质量”。常规的想法认为，在剧场放映的35mm戏剧片的质量等效于1200行以上的分辨率，而照相底片则提供2500行以上的分辨率。其结果是，考虑中的各种图像格式已经被引导指向用于高级制作的具有2500扫描行以上的视频系统，电影制片，HDTV广播，兼容于NTSC和PAL的标准等，这一系列都是通过向下转换这些格式而导出的。虽然隔行扫描被认为是作为演进过程的一部分的可以接受的可供选择的方案，但是大多数场合还是使用逐行扫描。另一个重要问题就是对计算机图形兼容格式的适应性。
在计算机和图像处理方面当前的技术方向应当允许制作设备基于1200扫描行以下，通过画面扩展来生成一系列的向上转换格式，用于戏剧片放映，影片效果，以及影片录像。此外，通用硬件的改进应当能够解决制作中的经济问题，这是在任何现有的参考文献中都没有详细地加以考虑的一个主题。
在美国电视发展的头50年的历史展现了用于视频制作广播的一种纯粹地基于模拟的系统的连续开发与改进。NTSC系统的特性就是将视频带宽限制在4.2 MHz的范围内，这相当于大约340电视行的分辨率。在使用PAL或SECAM体制的那些国家中，带宽为5.5MHz，这对应于大约440电视行的分辨率。
在过去10年中，数字处理已经成为视频制作设备的标准。然而，为了保持跟现有设备与标准的兼容性，典型地已经将视频带宽限制在4-6MHz(分别用于NTSC和PAL应用场合)的范围内。这也有助于在视频制作各步骤中减少明显的阶段损失。
在过去5年上下，数字图像压缩技术已经充分地成熟。而且，存在几种不兼容的标准，例如JPEG系统的各种不同形式，Quick-Time系统，MPEG-1，以及MPEG-2标准的多种形式。此外，用于视频制作的最新录像格式已经引入了一组新变化，包括来自索尼公司和三菱公司的1/4英寸DVC格式。多阶段的基于模拟的制作系统的信号恶化特性是众所周知的，由于多种格式的数字视频压缩以及介于这些格式之间的转换所导致的缺点可能恰好就是困难的和不可预测的。在实践中，这些重复的模拟-数字(A/D)转换以及数字一模拟(D/A)转换，还有数据压缩和解压缩步骤，都引入了许多信号伪差以及各种形式的信号噪声。虽然数字视频制作允许多步骤的制作过程免受各种阶段损失，但是当利用各种不兼容的图像数据压缩格式时，由于重复进行A/D和D/A转换，还有数据压缩和解压缩，使得现实情况不是这样。
在这期间，在最近20年中，摄像机技术已经推进到超越传统的制作设备性能的地步。视频带宽能力已经从4.2MHz(相当于340电视行的分辨率)提高到大约12MHz(相当于1000电视行的分辨率)。由于常规的广播与制作设备的限制，(在图像中)得不到由今天的高性能摄像系统所产生的大部分细节信息。
对HDTV系统来说，一个目标就是产生具有每个画面高度1000电视行的分辨率的图像，它需要大约30MHz的带宽。这又提出了一个关于信噪比的新问题。使用10比特数字处理的常规广播摄像机能产生具有65 dB信噪比的信号，HDTV摄像机典型地产生具有54 dB信噪比的信号，并且仅使用8比特数字处理。此外，典型的HDTV摄像机使用一个2兆像素的电荷耦合器件(CCD)，其中，各部分只有常规广播摄像机的相应尺寸的大约四分之一。这就转化为更低的灵敏度(其损失相当于镜头上的1-2个f档)，更大程度的“模糊不清”，以及较低的明亮部分压缩比。
基于模拟的HDTV系统，例如日本的MUSE系统达不到1000电视行的设计目标。实际上，只有四分之一的画面信息被传送。虽然在静止节目素材中，20 MHz的名义降低亮度带宽能提供每个画面高度600电视行的分辨率，但是在发生运动的地方，分辨率戏剧性地降低到只有450电视行。由于子采样方案，使得彩色信号带宽甚至进一步地降低到针对I信号的280电视行以及针对Q信号的190电视行(在静止景物中)，并且降低到针对I信号的140电视行以及针对Q信号的50电视行(在活动景物中)。虽然该系统提供16∶9的宽屏幕纵横比，但是它并没有真正地具备高分辨率电视系统的资格。
由于上述的兼容性问题，很明显，常规的录像机不能跟各种现代摄像机系统的技术性能相匹配。虽然“D-6格式”数字录像机是可用的，但是这种设备的价格和复杂性使得这些单元超出了大多数广播电台的经济能力。而且，常规的画面切换台和其他制作设备的能力也仍然不能跟市售的摄像机系统相匹配。
已经生产出其他各种录像机，例如半英寸便携式录像机(“Uni-Hi”)，但是这个系统仅能实现42 dB的信噪比，并且在模拟域中进行录像。这些性能使得该单元不适用于多阶段的编辑应用。而且，其亮度信号带宽仅为20MHz，相当于大约600电视行的分辨率。
W-VHS(“宽带VHS”)录像机提供一种宽纵横比的图像，但只有300电视行的分辨率，这也使得该单元不适用于任何专业应用。其他分配格式(例如D-VHS)要求该应用项目具有高的压缩比，以限制待录像的数据速率，这样一来，这些格式只能得到W-VHS的质量(低于400电视行的分辨率)。
新引入的HD数字Betacam格式(HDCAM)录像机利用一种3∶1∶1数字处理系统，而不用4∶2∶2处理。然而，它具有24MHz的亮度信号带宽，相当于700电视行的分辨率，以及较窄的彩色信号带宽。虽然这个系统明显地优于任何现有的模拟HDTV录像系统，但是它仍然不足以提供由HDTV数字摄像机所产生的全部分辨率。由于它独有的图像数据压缩格式，使得制作过程导致重复的数据压缩和解压缩步骤，还有A/D和D/A转换，后者反过来又导致许多信号伪差和各种形式的信号噪声。
概括地说，在市场上可得到的常规技术利用具有30MHz带宽的专业摄像机，并且能达到1000电视行的分辨率。然而，他们所产生的质量水准(在分辨率和信噪比方面)(只能达到)消费者等级设备的特性。此外，这些系统的价格无论在绝对数值方面还是在价格/效益方面都是非常高昂的，使用数字系统仅能得到模拟类型的性能。
本发明的概要为了提供一种经济的多格式数字视频制作系统，在可能的地方，本发明得益于现成的通用技术。在优选实施例中，专门的图形处理能力被纳入一部高性能个人计算机或工作站之中，使得用户能够编辑和处理一个输入视频节目，并按照一种最终格式来产生该节目的输出样式，上述最终格式可以具有不同的帧速率，不同的像素尺寸，或者两者都有。选择一种内部制作格式，它跟现有的或计划中的跟HDTV标准4∶3或宽屏幕16∶9高清晰度电视以及影片有关的各种格式之间具有最大的兼容性。为了跟影片的兼容性，内部制作格式的帧速率最好是24fps(对来源于影片格式的各种节目素材而言)以及每秒48场(对实况节目素材而言，例如各种体育运动事件)。通过像素内插，各图像被水平地和垂直地重定大小，由此产生较大的或较小的图像尺寸，以便满足各项具体应用的特殊要求。通过帧间内插或者通过传统方案，包括用于24fps到30fps转换的“3∶2下拉”，来适配帧速率。用于重放的简单的加速(对24到25转换而言)或减速(对25到24转换而言)，或者通过使用一个具有异步读写能力的节目存储装置来控制帧速率本身。通过一种用于宽带信号(利用一个较高的采样时钟频率)的经过修改的向上转换过程以及将图像尺寸重定为以像素为单位的HDTV帧格式，来执行将信号转换为HDTV格式的步骤。
本发明最好纳入一个或多个接口单元，包括一个标准/宽屏幕接口单元，它通过操作将处于输入格式之中的视频节目转换为代表标准/宽屏幕格式图像的一组输出信号，并将该信号输出到所连接的显示装置。一个高分辨率电视接口单元，通过操作将处于输入格式之中的视频节目转换为代表HDTV格式图像的一组输出信号，并将该信号输出到显示装置。一个集中化的控制器通过操作跟视频节目输入装置，图形处理器，以及一个操作员接口进行通信，使得由操作员输入的各项命令让图形处理器利用电视接口去执行一次或多次转换。本发明就这样鼓励利用廉价的通用技术，以相对小的像素尺寸进行制作，并且保持高的信噪比，随后将所得到的图像扩展到所谓的向上转换节目之中。这跟一种可供选择的方案形成对比，该方案建议运行于HDTV型分辨率，然后在必要时向下转换为较小的图像格式。这就导致使用昂贵的专用硬件，本发明谋求消除这方面的需求。此外，灵活的存储与重放装置允许对节目素材的重放进行范围广泛的控制，使帧速率调整和改变成为可能，并且在那些由于设备的物理独立性或者由于多个接收点以不同帧速率从相同的源信号重放数据流同时产生输出，使得无法直接地控制源素材的帧速率的地方，提供节目复制时的起点和终点的时间偏移。在商业实施中，本发明已经接受和处理改进了的信息，例如摇动镜头/扫描信息或者识别信息，以便根据区域的或地理的市场规划来限制收看。
本方法和相关技术提供为保持常规摄像机原来的高带宽(高达15MHz，在16∶9纵横比下，相当于每个画面高度600电视行的分辨率)所需的步骤，并提供优化的压缩技术，以便充分利用一般存储介质的可用容量，上述存储介质例如市售的松下公司的DVCPRO,DVCPRO50，索尼公司的DVCAM,JVC公司的Digital-S，以及索尼公司的Betacam SX录像机。在整个制作过程中，本系统最好采用一种仅利用帧内压缩的一致的压缩方案(例如动画JPEG型系统，用于DV格式录像机的各系统，MPEG-24∶2∶2P@ML)。这就避免了许多信号伪差，保证了高的信噪比，并且以数据压缩格式提供为编辑该节目所需的素材。这就使得本系统能保留原始摄像机的每个画面高度600电视行以上的分辨率的能力，并且用4∶2∶2处理来提供高达7.5MHz的彩色信号带宽。利用10比特处理得到65 dB的信噪比性能，并改进摄像机的灵敏度(f-11档)。与此相对比，市售的和建议的HDTV系统都基于8比特处理，并提供低于54 dB信噪比的性能，并且摄像机灵敏度仅为f-8档。
本发明提供可用的存储介质的优化方案。利用硬盘，光盘(例如DVD,DVD-R，以及DVD-RAM)，磁光盘，或者数字磁带(例如DAT格式，DVC,DVCPRO,DVCPRO 50,DVCAM,Digital-S，或者8 mm格式)，待录像的数据速率接近于常规HDTV系统的四分之一，并且仅占用20 GB的存储空间就能按照制作格式压缩方案记录60分钟以上的内容，上述方案利用50 Mb/s以下的数据速率，这正好处于某些常规的录像装置的能力范围之内。利用水平的和垂直的像素内插技术使图像尺寸变为原来的4倍，最好能得到一幅帧尺寸为1920×1080像素的图像。然后，所得到的节目信息可以在一种常规的压缩格式(例如MPEG-2)中被分配。
根据所需的应用项目，优选地提出了3种可供选择的图像帧尺寸。针对一般的用途，建议使用1024×576的图像帧尺寸。作为一个可选项，可以在24fps的帧速率下利用1280×720或1920×1080的帧尺寸。一个针对亮度信号的高达74.25MHz的采样频率被用于1920×1080。高达37MHz的采样频率最好被用于1024×576以及1280×720。最好按照跟4∶2∶2系统相一致的频率对彩色信号成分进行采样，并且优选10比特的精度。
显示装置的技术和方法学的讨论已经进行，提供可供选择的特征，例如将隔行扫描信号转换为逐行扫描信号，行倍增，像素4倍增，以及用于水平的和垂直的像素内插的改进了的一般技术。作为显示装置的一部分，这些特征的可用性将简化实现多格式数字制作的过程。
诸附图的简要说明

图1A-1D以像素为单位表示优选的以及可供选择的图像纵横比；图2表示基于盘片/磁带的视频记录的一份功能图；图3表示组成多格式音频/视频制作系统的各部件；图4是视频节目存储装置的一个可供选择的实施例的一份方框图，该装置含有异步读出和写入能力，用以实现帧速率转换；图5表示多格式音频/视频制作系统跟几种现有的和计划中的视频格式之间的相互关系；图6表示一个完整的电视制作系统的实现，该系统包括由广播(节目)源提供的各种信号，卫星接收机，以及各数据一网络接口；图7A-7B表示介于几种最常用的帧速率选择之间进行转换的各种优选方法；图7C-7I表示用于帧速率转换处理过程的几种可能的方法的细节；
图8表示用于多格式用途的一种通用回放装置的一个实施例的一份方框图。
本发明的详细说明本发明提供异种图形或电视格式的转换，包括必要的帧速率转换，以便在纵横比，分辨率，以及帧速率等方面建立互相关联的系列，并跟现有的和未来的各种图形/电视格式保持兼容性，上述格式包括能在当前市售的多扫描计算机监视器中显示的以像素来表示其大小的各种图像。还公开了定制的硬件，由此可以观察到超出这些监视器能力的更高像素数目的帧。本系统通过帧间内插或者通过传统方案，例如使用图7C所示的“3∶2下拉”[例如由每秒24帧(fps)逐行扫描到30fps隔行扫描，或者由48fps逐行扫描到60fps逐行扫描，如同用于影片到NTSC转换那样]，或者通过提升帧速率本身(例如，针对PAL电视显示器为24到25fps)，来对图像进行放大或缩小，以便满足具体应用场合的特殊要求。重定大小的操作可能涉及保持图像的纵横比，或者可能通过“突现”某些区域，通过进行非线性变换，例如“挤压”画面，来改变纵横比，或者通过改变视觉中心，以便进行“摇动镜头”，“扫描”等等。由于影片通常被当作“通用格式”(主要是由于35mm影片设备已经标准化，并且在全世界普遍使用)，所以优选的内部的或“用于制作的”帧速率最好是24fps。这种选择还有一个附带的好处，即，24fps的帧速率跟30fps相比，能使摄像机实现更高的分辨率，在使用逐行扫描的系统[其帧速率为每秒48场隔行扫描(或24fps逐行扫描)，对在某些已提出的其他系统中的每秒60场隔行扫描]中，这个问题显得更为重要。
图像尺寸选择允许使用常规的CCD型摄像机，但最好是使用直接地通过整个信号链的数字处理，这一步是通过用全数字电路置换典型的模拟RGB处理电路来实现的。不管图像大小是否适当，都可以取得制作效果，随后重定大小以便进行记录。通过将数字数据写入使用内置式或活动式硬盘驱动器的存储装置，具有活动介质的盘驱动器，基于光学或磁-光的各种驱动器，DVD-R或DVD-RAM，基于磁带的驱动器，或者基于半导体的存储器装置，最好是采取压缩数据形式，来记录各种图像。
随着用于图像处理以及从盘片驱动器读出或向盘片驱动器写入的数据速率的提高，当前需要几秒钟的许多处理过程将变为能够以实时方式实现。这就消除了以较低速率记录影片或各视频帧的需求。其他的制作效果，例如慢运动或快运动，都可以被纳入，并且只有这些效果的帧处理速率以任何方式受到今天技术的限制。特别是，诸如非线性编辑，动画以及各种特殊效果这样的技术将得益于该系统的实施。从音频的角度来看，数据速率要求在很大程度上是声音质量的一个函数。音频信号可以被单独地处理，如同在一种用于制作的“互锁的”或同步的系统中那样，或者音频数据可以被交织到视频数据流之中。所选用的方法将取决于所需的制作手法的类型，并且受到当前技术的限制。
虽然有多种视频格式和装置配置可用于本发明，但是作者仍将按照最兼容于当前可得到的设备和方法的各种可供选择的方案来说明本系统。图1A说明在图像大小和像素尺寸方面的一个兼容系统的一个实例。选定的帧速率最好是每秒24帧逐行扫描(为了跟各影片单元相兼容)，或者每秒48场隔行(用于实况节目素材，例如各种体育运动事件)。所选定的以像素为单位的画面尺寸最好是1024×576(0.5625Mpxl)，以便兼容于标准分辨率电视(SDTV)的16∶9“宽屏幕”纵横比，这也是HDTV系统所预期的，以及用于各种PAL系统[768×576(0.421875 Mpxl)]或各种NTSC系统[640×480(0.3072 Mpxl)]的常规的4∶3纵横比。虽然也可以使用其他的像素形状，但是所有的实施方案最好是建立在方形像素的基础上。(使用众所周知的，在许多图像处理软件包中可得到的复杂的采样技术，或者，可供选择地，使用水平的和垂直的像素内插硬件电路，这将在下文中加以说明。)将画面大小重定为1280×720(0.922 Mpxl)，或者重定为1920×1080(2.14Mpxl)，提供一种适于高分辨率电视显示或者甚至适于戏剧片放影系统的图像，并且进一步地将画面大小重定为3840×2160(8.3 Mpxl)甚至适用于最需要的制作效果。可以对图像进行数据压缩，最好是5∶1的动画-JPEG类型压缩，例如用于DV格式设备中的那样，或者最好是采用MPEG-24∶2∶2P@ML的10∶1压缩。
为了保留这种高分辨率信号的全部带宽，需要一种用于编码的较高的采样频率，对于帧速率为24fps，画面尺寸为1024×576像素的情形来说，最好约为20MHz，这将导致每一行1250个样本，每帧625行。这样的采样率允许处理10MHz的亮度信号，它对应于每一个画面高度600行的分辨率。与此相对比，传统的标准分辨率数字分量系统使用13.5MHz的采样频率，它提供5到6MHz的亮度信号带宽(相当于大约每个画面高度300到360行的分辨率)，然后，这些宽带数据文件可以被存储到常规的磁盘或光盘驱动器，或者基于磁带的各存储单元之中。对处于Y/R-Y/B-Y方式(假定一个4∶2∶2系统，每个样本8个比特)的标准分辨率电视的宽屏幕帧来说，仅需要大约5.5MB/s。对本系统来说，所得到的数据速率低于每秒50 Mbit/s。这个速率处于当前市售的录像设备(例如Betacam SX,DVCPRO 50或Digital S50)的能力范围之内。若使用一种更高的数据压缩比，则可以使用其他的各种单元，例如DVC,DVCPRO或DVCAM；BetacamSX,DVCPRO 50或Digital S50可以被用来进行10比特精度(而不是8比特精度)的采样。
本发明的一个可供选择的方面示于图1B。在本例中，用户仿照一种通常用于影片摄制的技术，在其中，影片被显示为一幅4∶3纵横比的图像。当它被放影为一幅宽屏幕格式的图像时，可以用一块光阑遮光板来阻挡一帧的上部和下部区域，使得图像显示出所需的纵横比(典型地1.85∶1或1.66∶1)。若原始图像格式在帧速率为每秒24帧，纵横比为4∶3 ，以及以像素为单位的画面尺寸为1024×768的条件下被记录，则所有的图像处理将保留这些尺寸。将实现跟现有的各种格式的完全兼容，通过重定比例尺直接地从这些图像生成NTSC和PAL图像，并且通过从图像顶部去掉96行像素以及从图像底部去掉96行像素，来提供上述的宽屏幕图像，从而得到如上面所公开的1024×576的图像大小。这些帧中的每一帧的数据内容将为0.75 Mpxl，并且上面所公开的数据存储要求也将相应地受其影响。
图1C描述了本发明的另一个方面。在这个可供选择的方案中，该系统将遵循联邦通信委员会的先进电视研究委员会在几种已提出的数字HDTV格式中所建议的图像尺寸。所采纳的格式假定一幅尺寸为1280×720像素的宽屏幕图像。使用这些图像尺寸(但是采用24fps逐行扫描)，就能得到跟现有的各种格式的兼容性，通过从图像的每一侧去掉160列像素，就能从这种帧中导出NTSC和PAL图像，由此得到尺寸为960×720像素的一幅图像。然后对这幅新图像重定比例尺，以产生用于NTSC的尺寸为640×480像素的图像，或者用于PAL的尺寸为768×576像素的图像。对应的宽屏幕格式分别为854×480以及1024×576。利用一种4∶2∶2的采样方案，当按照8比特精度进行采样时，1280×720图像将需要1.85 MB，当按照10比特精度进行采样时，将需要2.3 MB。当利用10∶1的压缩比对这些信号进行数据压缩以便用于记录时，这两种图像大小需要4.44 MB/s(35.5 Mbit/s)或者5.55MB/s(44.4 Mbit/s)。
为了保留这种高分辨率信号的全部15MHz带宽，需要大约30MHz的用于编码的采样频率，它在每秒24帧，图像尺寸为1280×720的条件下实现了每个全行1650个样本，每帧750行。与此相对比，典型的高分辨率系统需要74MHz的采样频率，以提供30MHz的带宽。在这种情况下，一幅尺寸为1280×720的图像将含有0.87890625 Mpxl，它具有720行的分辨率。而且，由联邦通信委员会的先进电视研究委员会进行评估的各种系统全都假定从两种彩色信号取其中之一，并且仅保留640×360像素。总的来说，使用具有10比特精度的4∶2∶2采样，这个系统的数据速率小于50 Mbit/s。这个速率处于当前市售的录像设备(例如Betacam SX,DVCPRO 50或Digital S50)的能力范围之内。由于利用本发明的应用项目不需要使用各种昂贵的，高数据速率的录像机(例如东芝D-6格式，HDCAM，以及D-5格式)，使得用于这些应用项目的设备和制作系统的成本得以大幅度地降低。面向24fps逐行扫描的开发途径是明确规定的和现实可行的，正如使用上述方法来产生尺寸为1920×1080像素的图像一样。
图1D描述了本发明的一个第3实施例。在这个可供选择的方案中，该系统将遵循联邦通信委员会的先进电视研究委员会在几种已提出的高分辨率电视格式中所建议的图像尺寸。所采纳的格式假定一幅具有1920×1080像素(2.1 Mpxl)的宽屏幕图像，但是采用24fps(帧/秒)逐行扫描。利用一种4∶2∶2的采样方案，当按照8比特精度进行采样时，1920×1080图像将需要4.2 MB，当按照10比特精度进行采样时，将需要5.2 MB。当利用10∶1的压缩比对这些信号进行数据压缩以便用于记录时，这两种图像尺寸分别需要10 MB/s(80 Mbit/s)或者12.5 MB/s(96 Mbit/s)。为了保留这种高分辨率信号的全部带宽，需要74.25MHz的用于编码的采样频率，这将导致每一个全行2750个样本，每帧1125个全行。在这种情况下，一幅具有这些尺寸的图像将具有每个画面高度高于1200电视行的分辨率，它代表30MHz以上的亮度信号带宽。彩色信号带宽(例如R-Y/B-Y)将为15MHz。与此相对比，具有画面尺寸为1920×1080像素，30fps隔行扫描的高分辨率电视从相同的74.25MHz采样频率仅产生每个画面高度1000电视行(比上面少200行)的分辨率。
总的来说，利用具有10比特精度的4∶2∶2采样，本系统的数据速率低于100 Mbit/s。这个速率处于录像设备(例如松下DVCPRO 100或JVC Digital S100)的能力范围之内，上述设备将在不久的将来面世。由于利用本发明的应用项目不使用各种昂贵的，高数据速率的记录器(例如东芝D-6格式，HDCAM，以及D-5格式)，使得用于这些应用项目的设备和制作系统的成本得以大幅度地降低。这些图像可以通过重定大小变为大到7680×4320的各帧，它将允许使用具有特殊光学效果的系统，或者具有其他的，专用的影片格式，例如IMAX以及那些使用65mm摄像机负片的情形。此外，如下面所述，可以使用转换过程来产生其他的高分辨率电视格式(例如，在24fps逐行扫描下的1280×720，在25fps隔行扫描下的1920×1080，在50fps逐行扫描下的1920×1080，在30fps隔行扫描下的1920×1080，以及在60fps逐行扫描下的1920×1080，或者产生可供选择的标准分辨率电视格式(例如在25fps下的1024×576，在25fps下的768×576，在30fps下的853×480，或者在30fps下的640×480)。
在以上所说明的每一个实例中，在数据流中可以包括一个定位或图像中心信号，以便允许包括这样的信息，后者可以被接收单元或显示监视器用来执行一种“摇动镜头/扫描”操作，并由此优化具有不同于该显示单元的纵横比的信号的显示。例如，在一种宽屏幕格式中传送的一个节目将包括指示图像中心的正在发生变化的位置的信息。使得一个常规的(4∶3纵横比)显示单元将自动地把画面中心(水平地和/或垂直地)移动到适当的位置。为了显示广告或全景，可以可选地将监视器切换到一个完全的“信箱”显示器，或者对图像进行中心定位并重定比例尺，使之包括对应于一种中间状态的信息，例如介于全高的一半(具有突现的两侧)以及信箱(全宽，但在显示器的图像上边和下边留有空白的空间)。这种定位/重定比例尺信息将在操作员的控制下确定(如同在进行将影片转移到视频的过程中，用于摇动镜头/扫描的典型操作那样)，以便在所需的显示格式的范围内保持原始素材的艺术价值。
常规的CCD元件摄像机产生超过900电视行的水平亮度(Y)分辨率，其灵敏度为在光圈f-11下的2000lux，并且具有65 dB的信噪比。然而，典型的高分辨率电视摄像机，在分辨率为1000电视行以及灵敏度等级为f-8的条件下，由于受到宽带模拟放大器以及CCD像素的较小的物理尺寸的限制，产生信噪比仅为54 dB的图像。通过在本发明的摄像机系统中使用更常用的CCD元件，并且借助于计算机，通过重定图像的尺寸来生成高分辨率电视类型的图像，就能保留改进了的信噪比。在符合于这种新设计方案的摄像机的实际实施过程中，将不太需要大量的照明设备，这就意味着在外景拍摄中对电源发电机的较小的需求，并且在演播室应用中对交流电源的需求也是较低的。
在基于CCD的摄像机中，通过对准安装红色和蓝色的CCD元件，但是将绿色的CCD元件(水平地，并且在某些应用中垂直地)偏移半个像素的宽度，来提高视在分辨率，这也是一项普通的技术。在这种情况下，图像信息是同相的，但由于混叠而产生的虚假信息则是反相的。当三色信号被混合时，图像信息完整无损，但混叠信息中的大部分将被抵消掉。当景物为没有浓淡层次的颜色时，这种技术明显地将是低效率的，因此，常用的作法仍然是在每一个CCD元件上安装低通的光学滤色镜，用以抑制混叠的信息。此外，此项技术不能应用于基于计算机的图形，在其中每一种颜色的像素图像通常是处于对准状态。然而，对于Y/R-Y/B-Y视频信号来说，应用这种空间移位偏置的结果是将视在的亮度(Y)水平分辨率提高到大约900电视行(利用每行1200个有效像素来实现4∶3的纵横比)，同时视在的垂直分辨率提高了50-100行以上。
根据本发明，在实施作为新产品标准的24fps录像的过渡时期中，可以利用支持16∶9宽屏幕的常规的CCD摄像机(运行于25或30fps隔行扫描方式)来实现宽带录像方法，以便保留这些摄像机的固有的宽带能力。通过放弃对方形像素的需求，最好利用针对亮度信号的高达30MHz的采样频率(针对彩色信号，使用15MHz)，这些频率低于在可供选择的系统中的用于典型的HDTV亮度信号的74MHz典型采样率的一半。各彩色分量最好按照符合于4∶2∶2系统的方式被采样。然后，利用在10比特的MPEG-24∶2∶2P@ML对宽带数据流进行10∶1压缩。所得到的数据速率仍然低于50 Mbit/s。采用一种直截了当的修改将数据压缩比增加到10∶1，就能利用几种常规的录像装置(包括松下公司的DVCPRO 50,JVC公司的Digital-S，以及索尼公司的Betacam SX)中的任何一种来记录这个信号，由此保留该宽带信号(其分辨率高达每个画面高度800电视行)。根据本发明，通过利用如本文所述的适当技术来进行图像重定大小以及帧速率转换，就能支持符合1280×720 60fps逐行扫描，1280×720 24fps逐行扫描，1920×1080 25fps隔行扫描，1920×1080 30fps隔行扫描，1920×1080 50fps逐行扫描，1920×1080 60fps逐行扫描的各视频系统。
容量越来越大的硬盘驱动器的可用性以及越来越高的数据传输速率允许连续地以实时方式来显示更长时间的节目以及更高分辨率的图像。按照前面所引用的数据速率，各宽屏幕帧(1024×576像素，24fps,4∶2∶2处理，8比特精度以及5∶1压缩比)将需要330 MB/min，因此当前市售的10 GB硬盘驱动器将能存储30分钟以上的视频节目。当预期的来自Seagate公司的50 GB硬盘驱动器(5.25英寸盘片)在今年内上市时，这些单元将能存储150分钟，或2.5小时的视频节目。针对这种应用，提供了一种数据存储单元，以便进行编辑和制作活动，并且人们期待，这些单元的使用方法在很大程度上相同于当前用于Betacam SP，其他电子新闻采集(ENG)摄像机以及在视频节目制作中所使用的盒式录像磁带。可以通过使用磁性的，光学的盘片(例如DVD-R或DVD-RAM)，或者具有活动的存储介质的磁光盘驱动器，通过一种活动的盘片驱动器单元，例如那些基于PCMCIA标准的产品，通过基于磁带的存储装置，或者通过基于半导体的存储器，来实现这样的数据存储单元。在存储技术方面未来的进展将导致更长时间的节目数据存储。可供选择地，这样的存储容量也可以在相同尺寸介质的限制范围内，应用于更低的数据压缩比，更高的采样精度(10比特以上)，或者更高的像素数目的图像。
图2表示用于视频摄像机，或单独用于编辑与制作设备中的基于存储装置的数字录像机的功能图。如图所示，一个活动硬盘驱动器70通过总线控制器72(跟计算机)建立接口。在实践中，可以使用各种可供选择的存储方法，例如基于各种接口总线标准(例如SCSI-2)的光盘驱动器(例如DVD-R或者DVD-RAM单元)或者磁光盘驱动器。这种盘片驱动器系统当前能实现40 MB/s的数据传输速率，并且人们期待在这些和其他的数据存储装置(例如大容量活动存储模块)上实现更高的速率。若选用一种基于数字磁带的格式，则通过总线控制器72跟一个磁带驱动器88建立接口关系。当前可用的基于数字磁带的格式包括DVCPRO,DVCPRO 50,DVCAM,Betacam SX,Digital S50，以及其他。这些单元典型地提供处于30到50 GB范围内的存储容量。微处理器74控制64位或更宽的总线80，在其上集成了各种部件。当前市售的微处理器包括数字设备公司(DEC)出品的Alpha 21164，或者由MIPS技术公司提供的MIPS处理器家族。未来的实施可能依赖于Intel公司的PentiumTM系列或者PowerPC G3，它能够支持100MB/s的数据传输速率。
人们指望，示于方框76的高达256 MB的ROM，如同示于方框78的256 MB以上的RAM那样进行工作。当前基于PC的视频制作系统都安装了至少64 MB的RAM，以便取得高级的编辑效果。图形处理器82表示专用的硬件，用以执行为处理输入视频信号84以及输出视频信号86所需的各种操作。虽然图中所示使用一种RGB格式，但是无论输入或输出都可以被配置成可供选择的信号格式，例如Y/R-Y/B-Y,YIQ,YUV或者其他通常使用的可供选择的方案。特别是，当该系统使用针对常规/宽屏幕信号(“NTSC/PAL/宽屏幕”)的5∶1压缩比，以及针对HDTV信号(如上所述，为1280×720或1920×1080)的10∶1压缩比时，即使处理器82的功能有可能基于软件来实现，还是宁可基于硬件来实现为好。针对这种数据压缩的若干可用的选项的实例包括当前可用的动画-JPEG系统以及MPEG系统。可供选择地，图像重定大小功能可以由各专用微处理器(例如，由Genesis微芯片公司出品的gm865X1或gm833X3)来执行。可以按照联邦通信委员会所考虑的用于数字电视传输的几种系统所提出的那样，或者通过在多媒体记录方案中用于集成音频与视频信号的一种方法，例如Microsoft的“AVI”(音频/视频交织)文件格式，将音频信号纳入到数据流之中。作为一种可供选择的方案，通过使用由同一系统和电子电路进行控制的单独的数字记录设备，或者通过实现上文所述的在摄像机系统以外的完全独立的设备，来实现一个独立的用于记录音频信号的系统。
图3表示根据本发明组成一个多格式音频/视频制作系统的各部件。正如图2中基于计算机盘片或基于磁带的记录系统的实例那样，一个接口总线控制器106提供对多种存储装置的接入，最好包括一个内置的硬盘驱动器100，一个磁带驱动器102，以及一个具有活动介质的硬盘驱动器或一个活动的硬盘驱动器104。只要适用于特定的应用项目，还可以包括利用光学，磁光，或者磁存储技术的大容量数据存储装置(未示出)的其他可能的形式。所实施的接口总线标准可以包括SCSI-2。在微处理器110的控制下，可以向或从这些装置发送数据。如图所示，当前，数据总线108运行于64位的宽度，使用例如图3所示的为基于计算机盘片的视频记录器而建议的那些微处理器。随着功能更强的微处理器(例如PowerPC G3)的上市，数据总线可以展宽到适应于128位，并且还可以使用多个并行处理器，所期待的目标是每个处理器1000 MIPS。人们期待用256 MB的ROM 112来支持必需的软件，并且，将使用至少1024 MB的RAM 114，用于高级的图像操作，帧间内插，以及帧内内插，上述操作是为实现高级的制作效果以及在不同的图像格式之间进行转换所必需的。
本系统的一个重要的方面就是一般地表示为116的图形处理器的通用性。虽然专用硬件最终能够为诸如图像处理和重定大小这样的操作提供最佳的性能，但是本系统并不要求具备这些功能，或者甚至所有这些功能都被包括在本系统的每一种配置的图形处理器之中。3个独立的部分被用来处理3类信号。虽然把将在下文中加以说明的视频输入和输出信号表示为，例如RGB，但是针对视频信号的任何可供选择的格式，例如Y/R-Y/B-Y,YIQ,YUV，或者其他可供选择的方案，都可以作为优选实施例的一部分来使用。一种可能的物理实现方法就是为如下所述的每一部分生成一块独立的电路板，并且按照兼容于现有的和未来的基于PC的电气的和物理的互连标准来生产这些板。
一个旨在工作于1024×576,1280×720,1024×768,854×480,640×480，或1280×960图像尺寸的标准/宽屏幕视频接口120，接受数字的RGB或Y/R-Y/B-Y信号，用以按照这些格式来处理和产生数字的RGB或Y/R-Y/B-Y输出，上述格式一般地表示为122。含有D/A转换器以及相关的模拟放大器的常规的内部电路被用来将内部图像转换为第2组输出，包括模拟的RGB或Y/R-Y/B-Y信号以及复合视频信号。这些输出可以随意选择地被送往一个常规的多扫描计算机视频监视器，或者一个具有用于RGB或Y/R-Y/B-Y信号的输入设备(未示出)的常规视频监视器。第3组输出提供模拟的Y/C视频信号。图形处理器可以被配置成接受或输出按照标准的NTSC,PAL，或SECAM格式的信号，并且可以附加地被用于其他格式，例如用于医学图像或其他专门应用项目，或者用于计算机图形应用的任何所需的格式。可以按照类似于扫描影片素材所使用的方式，将这些每秒24帧逐行扫描图像转换为30fps(实际上是29.97fps)NTSC和25fps PAL格式，即，通过使用常规的3∶2“下拉式”场序列来得到NTSC，或者通过以较高的25fps帧速率复制图像来得到PAL。
若源信号为24fps隔行扫描，则这些图像首先被解除隔行，变为48fps逐行扫描，这一步可以通过专用微处理器，例如Genesis微芯片公司出品的gmVLD8或gmVLD10来实现，随后通过利用一种“第4帧重复”处理过程(它在每一个序列中都重复第4帧)转换为60fps逐行扫描。下一步，对信号进行隔行扫描处理，以产生60fps隔行扫描，并且在各场中有一半被舍弃，以便产生30fps隔行扫描(如在图7F中所公开的那样)。若源信号格式为25fps隔行视频(如同使用常规的PAL类型设备，或者将PAL类型设备按照本发明进行修改以后所得到的那样)，则第1个步骤就是通过以24fps隔行方式重放该信号来降低帧速率。其次，该信号被解除隔行扫描，变为48fps逐行扫描(如上所述)，并且利用第4帧重复处理过程，将该信号转换为60fps逐行扫描。在最后一个步骤中，对信号进行隔行扫描处理，以产生60 fps隔行扫描，并且在各场中有一半被舍弃，以便产生30 fps隔行扫描。可供选择地，若源信号为24 fps逐行扫描，则可以直接从图7G所示的一种“3∶2帧重复”处理过程(它类似于前面所述的常规的“3∶2下拉”场序列处理过程)中产生60fps逐行扫描信号。对其他HDTV帧速率，纵横比，以及行频来说，通过使用在计算机图形和电视技术领域中人所共知的比较技术，就能实现其他HDTV帧速率，纵横比，行频，帧内和帧间内插以及图像转换。
一个旨在工作于1920×1080或者其他更大的图像尺寸(必要时采用重定大小)的HDTV视频接口124，接受数字的RGB或Y/R-Y/B-Y(或其他可供选择的)信号，用以按照相同的图像格式来处理和产生数字的输出，如一般地表示为126的方框所示。如同针对标准/宽屏幕接口120的实例那样，含有D/A转换器以及相关的模拟放大器的常规的内部电路被用来将内部图像转换为第2组输出，包括模拟的RGB以及复合视频信号。在可供选择的各实施例中，可以通过一个外部的上变频器来完成此项功能，上述上变频器将处理本发明的宽带信号。根据本发明，需要对当前市售的上变频器进行修改，以便提高采样时钟的频率，从而保留该信号的全部带宽。在这种情况下，采样时钟的频率最好是可调整的，以便利用几个可用频率中的一个。
示于图3的图形处理器116的第3部分是影片输出视频接口128，它包括视频输出的一个特别的组合130，准备跟诸如激光影片记录器那样的装置配合使用。这些输出最好被这样配置，以便使用本文所讨论的为格式转换所需的重定大小技术，从内部使用的图像尺寸来提供一种3840×2160或者其他更大的图像尺寸。虽然对影片来说，24fps是标准的帧速率，但是某些影片制作使用30fps(特别是当使用NTSC素材时)或者25fps(特别是当使用PAL素材时)，这些用于内部和输出格式的可供选择的帧速率，还有可供选择的图像尺寸以及纵横比，被期待作为本发明的适当的应用项目，利用“3∶2下拉”方式将内部的24fps节目素材转换为30fps，并且当电影放映机以25fps的帧速率(用于PAL类型的素材)来放映24 fps的影片时，将自动地出现25fps。
在图3中公开了本系统的几种附加的可选的特征。图形处理器最好包括一个用于彩色打印机的专门输出端口132。为了从屏幕显示中产生最高质量的打印效果，必须将打印分辨率调整到与图像分辨率相匹配，并且由图形处理器自动地对由本系统产生的各种图像尺寸进行优化。此外，在设备中还可以包括一部图像扫描仪134，它可以被当作一部静止图像扫描仪或者一部影片扫描仪，由此实现将光学图像集成到本系统之中。一个可选的音频处理器136包括用于以模拟或数字形式接受音频信号，并且以模拟或数字形式输出音频信号，如通常被表示为138的区域所示。对于含有如上所述的与视频信号相混合的音频信号来说，这些信号被送往音频处理器，以便取得编辑效果，并且提供一个通往其他设备的接口。
重要的是指出这样一点，虽然图3对每一种类型的信号输入仅表示一组，但是本系统能同时处理来自多个信号源并具有多种格式的各种信号。根据所需的性能等级，图像尺寸以及信号的帧速率，可以用多个硬盘或其他海量存储单元，各种总线控制器以及多个图形处理器来实现本系统，由此实现各种实况摄像机信号，各种预先录像的素材以及扫描图像的任何组合的整合。改进的数据压缩方案以及在硬件速度方面的进展将允许以实时方式来处理越来越高的帧速率以及越来越大的图像尺寸。
由于已存储的任何视频图像都可以用所需的任何帧速率来重放，并且以25fps来显示的影片素材也不是令人讨厌的，所以通过信号的简单回放来产生PAL输出不是一个严重的问题。确实，这是在采用PAL和SECAM电视制式的国家中用以实现影片到磁带的转换的标准方法。通过使用3∶2场交织方案，就能实现NTSC和影片帧速率图像的同时输出5×24=120=2×60。这就是说，两个影片帧被扩展为5个视频帧。这就使同时地产生24fps影片图像以及30fps的视频图像成为可能。通过将系统帧速率稍加修改，使之变为23.976fps，就能减少30fps以及NTSC的精确的29.97fps帧速率之间的差异。在正常的电影放映中，这是不可察觉的，并且跟正常的影片帧速率之间的偏离也是可以接受的。
然而，在一个为24fps影片制作应用而配置的信号分配系统中，对25fps(PAL类型)输出信号(或者反过来也一样)的处理提出了一个必须解决的技术问题。下面参照图4来说明一个有助于解决这些和其他的帧速率转换问题的可供选择的方案。向信号压缩电路408提供一组数字节目信号404。若该输入节目信号以模拟形式402提供，则它首先被A/D转换器406转换为数字形式。信号压缩器408利用在业界中众所周知的任何一种常用的数据压缩方案，例如动画-JPEG，MPEG-1,MPEG-2等，对输入节目信号进行处理，以便降低有效的数据速率。作为一种可供选择的方案，可以用数据压缩形式来提供数字节目信号404。这时，数字节目信号被送往数据总线410。借助于实例，为了在控制器418的管理下存储在数据总线410上出现的各数字节目信号，纳入了被表示为“存储装置A”412和“存储装置B”414的大容量数字存储单元。
可以在交替的方式下使用这两个存储装置412和414，其中的一个存储源信号，直至它的全部容量被存满为止。这时，另一个存储装置将继续存储节目信号，直至它的全部容量也被存满为止。用于各种节目信号的最大的节目存储容量将取决于多种因素，例如输入节目信号的帧速率，以像素为单位的帧尺寸，数据压缩率，以及各种存储装置的数目和容量，等等。当可用的存储容量已经被填满时，数据存储装置将自动地让原先已记录的各信号被重写。随着附加的存储装置被添加进来，用于延时和频帧转换的容量将有所增加，并且不要求所有存储装置都属于相同类型，或者都具有相同的容量。在实践中，可以使用任何一种常用的存储技术，例如包括，磁盘，光盘(例如DVD-RAM光盘)或磁光盘，或者半导体存储器。
当人们需要开始重放节目信号时，信号处理器416，在控制器418的管理下，并且通过用户接口420，从所提供的各种存储装置中检索所存储的节目信号，并进行所需的任何信号转换。例如，若各输入节目信号以25fps的帧速率(对应于625行的广播系统)提供，则信号处理器将进行图像重定大小以及帧间内插，以便将信号转换为30fps(对应于525行的广播系统)。必要时还将进行其他各种转换(例如从PAL格式到NTSC的彩色编码系统转换等，或者帧尺寸或纵横比转换)。然后，信号处理器的输出将以数字形式422出现，或者可以通过D/A转换器424作进一步的处理，变为模拟形式426。在实践中，可以为各输出信号提供单独的数据总线(未示出)，和/或借助于双访问技术，例如用于视频显示应用的双端口RAM，或者多头读写盘片或盘片存储单元(它们可以被配置成能提供同时随机访问读写能力)，来实现各种存储装置。在实施单头存储装置的场合，纳入了适当的输入缓冲与输出缓冲装置，以便给出用于记录/播放头的物理上的重新定位所需的时间。
在利用刚才所述的具有同步记录和重放能力的节目存储装置时，若已经知道一个节目在开始重放之前将被全部存储，即介于输入和输出信号流之间不存在时间上的重叠，则典型地根据哪一种存储格式所需的存储容量为最小，来决定在初始存储之前或之后进行该节目的帧速率转换最为有效。例如，若节目以每秒24帧的帧速率输入，则按照该帧速率来接收并存储这样一个节目，并且在输出时将其转换为较高的帧速率或许是最有效的。此外，在一个节目被转换为一种特定的输出格式之前已被全部记录的场合，按照基于磁带的格式或者例如新的大容量DVD类型光盘的格式来存储节目是最有效的，因为这些类型的存储格式能在每一个比特的基础上给出降低了的成本。当然，也可以使用常规的大容量盘片存储，并且由于存储容量继续增加以及成本继续降低，这样的存储方式也变得更加切实可行。当一个节目正在被输入和存储时，若已知该节目有待于按照不同的帧速率来输出，则最好是采用盘片存储，并且使用上述各种技术当中的一种，在前进的基础上进行帧速率转换。在这种情况下，大容量视频存储装置事实上起着一种提供最快的实际访问时间的大容量视频缓冲区的作用。再有，根据经济等方面的考虑，也可以使用其他的存储装置(类型)，包括所有的固态以及半导体类型。
作为一个可供选择的实施例的一个例子，存储装置100或104备有双头重放装置以及在功能上类似于普通图形处理硬件的第2组图形处理硬件(未示出，相同于被表示为120,124和128的标准硬件)，并且具有类似的信号输出装置(相同于被表示为122,126,130和132的标准装置)。在这种情况下，这两个头将被独立地驱动，以便在不同的帧速率下提供同时和同步的重放。这就是说，一个头被这样操作，以提供对应于第1帧速率(例如，25fps)的数据流，而第2个头则被这样操作，以提供对应于第2帧速率(例如，24fps，使用“3∶2下拉”技术，又可以将它转换为30fps)的数据流。在这种情况下，存储装置以及系统的内部总线结构必须支持显著地提高了的数据速率，以便同时提供两种信号流，或者，作为一种替代方案，也可以提供一组独立的第2数据总线。
在某些应用中，需要使用一种更为复杂的转换方案。例如，在常规设计的帧速率转换系统中，若一个具有24fps帧速率格式的输入节目有待于按照25fps帧速率来显示，通常简单地加速源信号的重放，以便按照25fps帧速率来提供信号。这就是用以将24fps影片素材转换为25fps PAL格式视频应用的步骤。然而，这种方法的实施要求输出信号的用户应当对源信号的重放加以控制。在一个广域分配系统(例如直播卫星分配系统)中，这是不可能做到的。当一个已经按照24fps进行分配的源信号需要转换为30fps(利用熟悉的“3∶2下拉”技术)时，由于在一个24帧序列上进行帧间内插所需的处理电路的复杂性和费用，使得转换到25fps不容易实现。然而，利用在图4中所公开的系统，这样的转换就是直截了当的。例如，若一个持续120分钟的24fps的节目以这种格式进行发送，则总共有172,800帧的信息(24帧/秒×60秒/分×120分)。以加速方式按照25fps来显示这个节目意味着在输出帧速率的背后输入帧速率每秒减少1帧，或者在该节目过程中总共减少了7,200帧。在24fps的传输速率下，这对应于300秒的传输时间。换句话说，为了使输入节目(按照24fps)和输出节目(按照25fps)同时结束，必须在输出过程开始的300秒之前就开始输入过程。为了进行这样的处理过程，对存储装置来说，必须具有能保存300秒节目素材的容量，实际上它起着信号缓冲区的作用。作为一个实例，对在本文中所公开的系统来说，在其中已压缩的数据速率从5.5 MB/s(对24fps标准/宽屏幕的基于Y/R-Y/B=Y的电视格式来说，使用诸如MPEG或动画JPEG以及具有8比特精度的4∶2∶2处理的5∶1的数据压缩)延伸到10 MB/s(对24fps标准/宽屏幕的基于HDTV的Y/R-Y/B=Y的电视格式来说，使用诸如MPEG或动画JPEG以及具有8比特精度的4∶2∶2处理的5∶1的数据压缩)，有必要存储多达3.3GB的数据，借助于多盘片或利用常规存储技术的盘片，这是能做到的。在实践中，可以简单地在开始重放的300秒之前就开始传输(输入节目信号)，并且一旦开始重放，每重放1秒，缓冲信号量就减少1帧，直到最后一组信号随着它被接收而被通过。
在用24fps来显示25fps信号的情况下，或者在从24fps转换而来的某些其他数据速率(例如30fps)下，会出现这种情况的一个镜像。在这种情况下，以高于输出信号的帧速率来提供源信号，使得一个正在收看节目的观众从传输一开始就落在源信号帧速率的后面，并要求存储装置保存该节目的各帧，以便在源信号到达时间之后的一个时间加以显示。在上述120分钟节目的情况下，将在源信号本身已经结束的300秒之后，对源节目的收看才结束，并且可比较的计算(结果)被施加于(被送往)存储装置。在这种情况下，随着缓冲区内容的增加，额外的各帧将逐渐积累，直到在传输已经完成之后，直接地从存储装置重放最后300秒(的节目)为止。
由于需要某种形式的帧间内插，所以帧速率从30fps转换为24fps或25fps是更为复杂的。在一个实例中，一个多帧存储装置将允许在一种相对地常用的方式下进行这种类型的内插，正如在从NTSC到PAL的转换(30fps到25fps)中典型地使用的方式那样。这时，将根据本文上面所述的各种方法与装置，进行25fps到24fps的转换。
应当指出，例如，若选用DVD-R型，DVD-RAM型或其他形式的活动磁性存储介质，则MPEG-2编码技术的显著地更高的数据压缩率的实现将导致能记录120分钟或者在时间上更长的一个完整节目的能力。根据本发明，在这种方式中，完整的节目被保存在盘片/缓冲区之中，由此使用户能进行该节目的真正的时间移动，或者允许节目著作权人去完成一种形式的软件分配。
利用下列处理过程来实施帧速率转换的一种可供选择的方法。30fps隔行扫描信号首先被解除隔行，转换为60fps逐行扫描。然后，每逢第5帧就从该序列中删除该帧，产生一组48fps的逐行扫描信号流。下一步，剩下的各帧被转换为24fps隔行扫描，如同在图7I中所公开的那样(“第5帧缩减”)。若原始的源素材来源于24fps(例如，影片)，则在转换的时间中，若重复的各场(例如3∶2序列中的“3”场)被识别，则这些场的去除将使素材简单地返回到它的原始形式。若所需的转换是从30fps到25fps，则使用本文上面所述的基于存储的帧速率转换方法来执行一个等效的步骤。作为一个可供选择的方案，30fps的隔行扫描信号将首先被解除隔行，转换为60fps的逐行扫描信号；然后，每逢第6帧就从该序列中删除该帧(“第6帧缩减”)。剩下的各帧将重新变为隔行扫描，以产生25fps的隔行扫描信号，如在图7H中所公开的那样。根据原始的源素材帧速率以及各次中间的转换，用户将选择可能出现最小的图像损伤量的方法。
在用户能够对源节目素材的帧速率实施控制的情况下，可以使用一种可供选择的方法。正如利用一种加速重放方法，将24fps的影片素材转换为25fps逐行扫描(由此匹配于所需的输出帧速率)来实现用于PAL格式(25fps)的影片到视频的转换那样，这种处理过程的逆过程使用户能够利用来源于25fps逐行扫描的素材来产生24fps的重放。如上面所公开的那样，借助于各种常规方法(例如“3∶2下拉”方法)就能容易地处理对24fps逐行扫描素材的转换，并且因此操作员通过对原始素材的控制，使得用户能够将来源于常规或宽屏幕PAL格式的节目源用于编辑和影片制作，然后以24fps重放所得到的节目，以便将其转换为标准的或宽屏幕的NTSC输出素材，或者甚至转换为HDTV格式的素材，通过实行“3∶2下拉”方法，使上述这些素材全都实现30fps隔行扫描。
若源格式为25fps隔行扫描视频(如同使用常规的PAL型CCD宽屏幕摄像机所得到的那样)，则可以使用一种用于产生30fps隔行扫描信号的可供选择的方法。取代以减速方法来产生24fps隔行扫描信号，25fps的信号首先被解除隔行，转换为50fps逐行扫描信号。下一步，采用一种“第4帧重复”过程，就能得到62.5fps的逐行扫描信号。然后将该信号转换为62.5fps的隔行扫描信号，并且在舍弃各场的一半之后，产生31.25fps的隔行扫描信号。经过数据压缩之后，该信号经受一次减速过程，得到一组30fps的隔行扫描信号，现在它具有低于10MB/s的已压缩的数据速率，如图7D中所公开的那样。通过采用这样的步骤，从CCD摄像机到最终转换为30fps隔行扫描信号的整个过程仅使用1次数据压缩步骤。可供选择地，若摄像机的输出已经是属于已压缩数据的形式，则这组信号在被施加到所列出的转换步骤之前必须进行解压缩。为了保证精确的转换，隔行和解除隔行处理过程应当仅施加于已解除压缩的信号。反过来说，因为用于未压缩视频信号的原始的数据速率，根据以像素为单位的图像尺寸以及帧速率，将处于30到100 MB/s的范围内，这对于当前技术的存储装置来说是不实际的，所以，加速和减速处理过程最好施加于已压缩数据。
介于各种格式(隔行扫描和逐行扫描)之间的各种转换具有不同的帧速率，并且在图7A到7I中表示了某些可能的转换途径。从广泛性的角度来说，由于在许多情况下，存在能实现一种等效转换的各种方法的一种以上的组合，所以作者不打算用这些列表来表示所有可供选择的方案的一个完整的列表。根据特定的应用项目，可以选择不同的途径，并且这些不同的途径可以产生或多或少的有效结果。
各种可供选择的方案都使用几种先前没有应用于这些类型的转换的技术。例如，通过简单地舍弃各交替的帧，就能实现从60fps逐行扫描信号到30fps逐行扫描信号的转换。另一方面，一种“3∶2帧重复”方法包括将第1帧重复第2次和第3次，然后将下一帧重复第2次，由此将两帧转换为5帧(如图7G所示)。
根据原始素材是24fps逐行扫描还是24fps隔行扫描，可以利用不同的方案来转换到30fps隔行扫描信号。在第1种情况下，24fps逐行扫描信号首先被转换为24fps隔行扫描信号。一组4个相继的帧可以表示为1A1B,2A2B,3A3B,4A4B。通过重新组合这些场(但是以30fps帧速率来输出它们)，就能获得下列的场序列1A1B,1A2B,2A3B,3A4B,4A4B。这个序列每4个输入帧重复1次，也就是说，每5个输出帧重复1次(如图7C所示)。
可供选择地，对一组来源于24fps隔行扫描的信号来说，其原始的4帧序列是相同的。然而，由于必须保留各帧的绝对时间顺序，所以情况是更为复杂的。因此，有必要去倒置交替的各场组的场标识，以便保留介于各场之间的适当的隔行扫描关系。实际上，在8场(24fps隔行扫描)序列中的每逢第4和第7场都被重复，但是采用倒置的场标识(如图7E中所公开的那样)。当第4输入场已经将其标识加以倒置(以产生第5输出场)时，随后，在序列中的下面两个输入场(对应于第6和第7输出场)也将需要场(标识)倒置，以便保留用于适当的隔行扫描的正确顺序。而且，当第7输入场被重复时，它将第1次以倒置场标识的方式，作为第8输出场而出现。由于这个步骤，所得到的场序列将是1A1B,2A2B,2B*3A*,3B*4A*,4A4B(其中，具有倒置场标识的场用一个*号来表示)。这个序列每4个输入帧重复1次，也就是说，每5个输出帧重复1次。
此外，第4输入场(在重复时)的场标识倒置导致原先被显示在第2扫描行上的信息现在被显示在第1扫描行上。因此，有必要舍弃在下一个倒置场中的第1行，使得被显示在新场的第2扫描行上的信息将是原先被显示在下一个(倒置的)场中的第3扫描行上的信息。在第7输入场已经被倒置(以产生第8输出场)之后，下面的各场不经任何进一步的此类调整就再次处于适当的行顺序之中(如图7E所公开的那样)。
对于完全处于内部存储格式之中的图像处理来说，由于图形处理器仅处理各图像像素的一个矩形阵列，而不处理个别的扫描行，所以实现隔行扫描是没有问题的。如此说来，各场的标识仅根据各图像像素的位置是处于奇数行还是处于偶数行来导出。仅在输出到显示装置时才进行隔行扫描的场标识调整。在这些应用中，存储装置的存在使得观众可以在信号正在被存储或在这以后，利用一个用户接口420来控制重放延迟以及该信号的其他特性，从而控制一个节目的显示。在实践中，通过从用于改变本文所述的信号的帧速率的多种方法中选择最适当的一种，使得在本系统中，可以使用用于输入帧速率和输出帧速率转换的宽范围的可供选择的方案。
图5表示与本发明兼容的各种影片与视频格式的相互关系，虽然作者不打算涵盖所有可能的实施方案。在典型的操作中，多格式的音频/视频制作系统162将接收基于影片的素材160，并将它们跟已经处于24fps的优选的内部格式之中的本地摄制的素材组合在一起。在实践中，素材可以从包括任何帧速率或标准的任何其他格式转换过来。在已经取得制作效果之后，各输出信号可以被配置成适于所需的任何用途，包括但不局限于，如164所示的30/60fps的HDTV，如166所示的30fps宽屏幕，如170所示的25fps宽屏幕，如172所示的25/50fps的HDTV。此外，24fps的输出信号可用于影片记录单元168。
在图6中，从几种源中的任何一个提供信号，上述源包括常规的广播信号210，卫星接收机212，以及通往宽带数据网络214的接口。在被送往解压缩处理器222之前，这些信号将被送往数字调谐器18以及一个适当的适配器220，以便接入高速数据网络。作为一个可选项，用于数据压缩的附加装置将提供从本地系统到宽带数据网络214的信号传输。处理器222为各种信号源提供任何必要的数据解压缩和信号调理，虽然数字调谐器218以及适配器220可以作为一个可选部分被纳入到现有硬件之中，但是它们最好还是作为一部通用计算机的一块可插拔的电路板来实现。
处理器222的输出被送往内部数据总线226。系统的微处理器228控制着数据总线，并且配有32到128MB的RAM 230以及多达64Mb的ROM 232。可以使用上述各单元中的一种，例如PowerPC 604,PowerPC G3,Pentium系列，或其他处理器，来实现这个微处理器。一个硬盘驱动器控制器234提供通往各种存储装置的接入，后者包括，例如，一个内置式硬盘驱动器单元236，一个活动硬盘驱动器单元238，一个利用活动磁性介质，光学介质，或磁光介质的单元(未示出)，或者一个磁带驱动器240。如上所述，这些存储装置还使得PC起到一个视频录像机的作用。一个图形处理器242，包括可选地被实现为一个独立的可插拔的电路板的专用硬件，执行为实施介于各种帧尺寸(以像素为单位)，各种纵横比，以及各种帧速率之间的转换所需的图像处理。图形处理器根据所需的显示输出的不同类型，分别使用16到32MB的DRAM，以及2到8MB的VRAM，对于纵横比为16∶9的1280×720的帧尺寸来说，使用DRAM和VRAM的下限(容量)就够了，但是对于1920×1080的帧尺寸来说，则需要用到DRAM和VRAM的上限。一般地说，1280×720的尺寸对于(对角线长度)长达20英寸的常规的“多同步”计算机显示屏幕来说已经够用，并且1920×1080的尺寸则适用于长达35英寸的常规的“多同步”计算机显示屏幕。模拟的视频输出244可用于这些不同的显示单元。使用本系统，可以显示各种格式，包括(通过加速24fps信号来得到25fps)768×576PAL/SECAM,1024×576宽屏幕，以及1280×720/1920×1080HDTV，以及(对30和60fps来说，利用众所周知的“3∶2下拉”技术来显示，对29.97fps来说，通过对30fps进行轻微的减速来显示)640×480 NTSC和854×480宽屏幕，以及1920×1080 NHK(日本)HDTV。
熟练的从业人员懂得，大多数最高质量的节目素材都来源于24fps35mm的影片，并且因此，依赖于将25fps或30fps素材重构为24fps素材的转换不会给数据或节目素材带来任何损失。此外，若假定从适当地匹配的各场重新生成各原始帧，则在一种当前市售的装置中，已经从一个较低的或等效的帧速率的源信号进行隔行处理(24fps到25fps经由加速，24fps到30fps经由“3∶2下拉”)的信号可以在不引入任何信号伪差的前提下被解除隔行扫描，并且被重构为逐行扫描的帧。若需要从较高帧速率的逐行扫描信号(例如分别来自48fps逐行扫描，50fps逐行扫描，或者60fps逐行扫描各信号)产生24fps隔行扫描，25fps隔行扫描，或者30fps隔行扫描各信号，则通过对这些信号进行隔行处理并舍弃冗余数据，就能获得上述这些。可供选择地，若需要从较高帧速率的逐行扫描信号(例如分别从48fps逐行扫描，50fps逐行扫描，60fps逐行扫描，或者96fps逐行扫描各信号)产生24fps逐行扫描，25fps逐行扫描，30fps逐行扫描，或者48fps逐行扫描各信号，则通过施行一种2∶1帧缩减，就能获得上述这些。在图7A中归纳了这些技术，在图7B和7C中，用转换图来表示典型过程的流程图。
图8表示根据本发明的一种通用重放装置的一种可能的实施方案。借助于实例，在速率控制单元806的控制下，由电动机804对DVD型视盘802进行旋转驱动。借助于位置控制单元810，来定位一个或多个激光读或读/写头808。由系统总控制器812按照用户接口814的方向来引导速率控制单元和位置控制单元。应当指出，将根据本文在上面所公开的各实施例中所使用的各项技术的选择来决定读或读/写头的数目和配置。从各激光头恢复的各信号被送往信号处理单元820，并且数据流被分为音频数据流(送往音频处理器单元822)以及视频数据流(送往视频图形处理器单元830)。在音频恢复过程中，重放帧速率的改变(例如，通过速率控制调整来完成的从24fps到25fps的改变)可能提出对音频素材的音调校正的需求。如果需要的话，这个步骤可以作为音频处理器822的一部分来实现，或者在一个独立的外部单元(未示出)中实现，后者可以由多家供应商提供，例如Lexicon。
视频数据流可以在通常表示为830的图形处理器中，根据所需的最终输出格式进行多次修改。假定所需的输出为NTSC或某些其他宽屏幕形式，或者以名义帧速率30fps进行输出的HDTV信号，一组来源于盘片的24fps信号将经受作为转换过程(如上文所述)的一部分的“3∶2下拉”修改。若来源于盘片的该信号基于25fps，则在施加“3∶2下拉”处理之前，它将事先减速到24fps。应当指出，在120分钟节目的过程中，介于30fps和29.97fps之间的0.1％的差异仅需要对173帧的视频进行缓冲存储，其数据速率为5.5 MB/s，这对应于大约30 MB的存储容量(对标准/宽屏幕而言)或79 MB的存储容量(对HDTV而言)，这可以在基于半导体的存储器中容易地实现。根据本发明，如上文所述，在任何事件中，以名义帧速率24fps送往图形处理器的一组信号可以同时地以帧速率30fps和29.97fps输出，其图像帧兼容于NTSC以及NTSC/宽屏幕(标准/宽屏幕视频接口832)，以及HDTV(HDTV视频接口834)。
如以上所公开的那样，可以包括一个可选的影片输出视频接口836，它具有用于影片记录器的数字视频输出。总的来说，用于图形处理器830的各输出并行于图5所示的并在上文中公开的多格式音频/视频制作系统。此外，对按照不同于源信号的纵横比的格式进行输出的各信号来说，有必要实施一种水平的和/或垂直的“摇动镜头/扫描”功能，以保证源节目素材的动作中心出现在输出帧的范围内。通过使用一种跟源节目素材有关的一组“跟踪”信号，就能在图形处理器中实现这个功能，例如，上述“跟踪”功能可以作为每一帧的数据流的一部分，或者，可供选择地，通过一份在源素材的显示过程中用以标识应当出现的变化的列表来实现。在没有“跟踪”信息可用的场合，必要时，可以沿着图像帧的顶部和底部，或者两侧，进行修整，以便使源素材的纵横比符合于输出帧的纵横比。在上文中，已经参照于图1A-1D对后一种技术作了说明。此外，节目素材还可以包括安全信息，例如区域的或地理信息，用以控制该节目素材在一定的市场区域范围内的收看，或者可识别的设备等级(例如仅在美国或德国市场销售的硬件产品)。这种信息，正如已经被公开的那样，用于其他的基于盘片的或基于磁带的系统，通常涉及诸如针对软件素材的各种合法的许可证协议的问题。它可以按照类似于“摇动镜头/扫描”跟踪信号的检测和应用的方式来处理，并且信号处理器820，在控制器812的指引下，可以用来增强这些约束。
可供选择地，若希望得到25fps的输出，则对本系统的各部分进行配置，以便按照较高的帧速率来重放盘片802的信息就成为一件简单的事情。控制器将配置速率控制单元806(若有必要的话)，以较高的旋转速率去驱动电动机804，以便支持跟较高帧速率相联系的已提高的数据速率。音频处理器822，如果这样配备的话，将被配置成用以校正因使用较高的帧速率而导致的音调变化，并且图形处理器将被配置成在25fps帧速率下提供所有的输出信号。作为用于音调校正的一种可供选择的方法，附加的音频数据可以存储在已进行校正的盘片之中。当帧速率发生改变时，可以根据本发明来选择相应的音频数据。
作为另一种可供选择的方法，在本例中，在25fps下制作并存储在基于盘片的海量存储装置之中的各种素材可能来源于常规的标准或宽屏幕PAL格式信号。如上所述，利用减速方法，这些信号已经被转换为24fps帧速率，由此可以转换为各种30fps的格式。由于利用或多或少的常规PAL格式设备的能力有助于瞄准HDTV市场的素材的经济的生产和创作，所以这种特征在HDTV的商业开发中具有重要意义。
如在上文中参照于图4和图7A-7E所公开的那样，通过将加速，减速，“3∶2下拉”，以及其他有关的场重新安排，解除隔行扫描，隔行扫描/解除隔行扫描，帧重复，以及帧缩减技术等各项技术加以组合，就能实现宽范围的输出帧速率，并且这些不同的组合和方案应当被认为属于本发明的范围之内。此外，这些技术可以进行图像处理，诸如行倍增，行四倍增，解除隔行扫描等的硬件和/软件组合在一起，使得通过增加显示频率，而不增加实际的数据/信息速率，显示装置就能提供更加连贯的视在动作。一个例子就是使用诸如解除隔行扫描以及行倍增那样的场倍增技术来处理24fps信号，使之从内部格式转换为48fps信号。然后，处理过程将使用帧存储技术，以便在96fps下提供一种帧重复输出。这些类型的结合本发明的跟显示有关的改进，也应当被认为属于本文所公开的本发明的范围之内。这些不同的组合和转换方法的实例被包括在图7A的表格以及图7B的流程图之中。
一般来说，没有必要在一个单独的单元中提供上述的所有特征，宁可将这些特征分布于各种外部单元(例如外部数据记录器或各显示单元)之中。此外，本系统的特殊配置可以仅包括为该项应用(例如使用25fps的PAL输出，而不是30fps的NTSC输出)所需的图形能力，并且甚至可以排除某些选项(例如打印输出)，并且这些改变应当被认为属于本发明的范围之内。
权利要求
1．一种用于产生视频节目的方法，包括下列各步骤在一种输入格式中接收一个输入视频节目；必要时，通过以超过18 MHz的采样频率对输入节目进行采样，将输入视频节目转换为一种数字制作格式；使用大容量视频存储装置在选择性的基础上按照制作格式对视频节目进行处理，以便输出视频节目的一种样式，它具有所需的帧速率以及以像素为单位的图像尺寸。
2．如权利要求1所述方法，其中，制作格式使用每秒24帧的帧速率。
3．如权利要求1所述方法，其中，按照制作格式来处理视频节目的步骤包括像素内插的使用。
4．如权利要求1所述方法，其中，节目的输出样式所具有的以像素为单位的图象尺寸为1024×576；1280×720或1920×1080。
5．如权利要求4所述方法，在图像尺寸为1024×576和1280×720的情况下，使用高达37 MHz的采样频率。
6．如权利要求4所述方法，在图像尺寸为1920×1280的情况下，使用高达74.25 MHz的采样频率。
7．如权利要求1所述方法，其中，输入视频节目是标准的或宽屏幕的NTSC或PAL(制式)。
8．如权利要求1所述方法，其中，节目的输出样式是标准的或宽屏幕的NTSC或PAL(制式)。
9．如权利要求1所述方法，其中，接收一个输入视频节目的步骤包括从一部具有600行以上的分辨率的摄像机接收该节目(的步骤)。
10．如权利要求1所述方法，还包括以数据压缩形式存储该节目的步骤。
11．如权利要求10所述方法，其中，压缩方案是MPEG-2。
12．如权利要求1所述方法，其中，按照制作格式来处理视频节目的步骤包括4∶2∶210比特处理的使用。
13．如权利要求1所述方法，其中，节目输出样式的帧速率高于输入和制作格式两者或其中之一(的帧速率)。
14．如权利要求1所述方法，其中，节目输出样式的帧速率低于输入和制作格式两者或其中之一(的帧速率)。
15．如权利要求1所述方法，其中，大容量数字视频存储装置具有一种异步读/写能力，用以进行帧速率转换。
16．如权利要求1所述方法，其中，按照制作格式来处理视频节目的步骤包括行倍增或行4倍增的使用。
17．一种用以制作改进了的分辨率的视频节目的方法包括下列各步骤从一个具有600行以上的分辨率的(节目)源接收一个标准分辨率电视(SDTV)节目；通过以高于18 MHz的采样频率对输入节目进行采样，将输入电视节目转换为一种数字制作格式；以数字压缩形式存储该节目；以及按照制作格式对该节目进行处理，以便输出该节目的一种改进了分辨率的样式，后者具有所需的帧速率以及以像素为单位的图像尺寸。
18．如权利要求17所述方法，其中，制作格式使用每秒24帧的帧速率。
19．如权利要求17所述方法，其中，SDTV节目是标准的或宽屏幕的NTSC或PAL(制式)。
20．如权利要求17所述方法，其中，节目的改进了的分辨率样式所具有的以像素为单位的图象尺寸为1024×576；1280×720或1920×1080。
21．如权利要求20所述方法，在图像尺寸为1024×576和1280×720的情况下，使用高达37 MHz的采样频率。
22．如权利要求20所述方法，在图像尺寸为1920×1280的情况下，使用高达74.25 MHz的采样频率。
23．如权利要求17所述方法，其中，(节目)源是一部视频摄像机。
24．如权利要求17所述方法，其中，压缩方案是MPEG-2。
25．如权利要求17所述方法，其中，按照制作格式来处理视频节目的步骤包括4∶2∶210比特处理的使用。
26．如权利要求17所述方法，其中，节目的改进了分辨率的样式的帧速率高于输入和制作格式两者或其中之一(的帧速率)。
27．如权利要求17所述方法，其中，节目的改进了分辨率的样式的帧速率低于输入和制作格式两者或其中之一(的帧速率)。
28．如权利要求17所述方法，其中，按照制作格式来处理视频节目的步骤包括像素内插的使用。
29．如权利要求17所述方法，其中，按照制作格式来处理视频节目的步骤包括行倍增或行4倍增的使用。
全文摘要
一个多格式数字视频制作系统使用户能处理输入视频节目(100,102,104,134),以便按照一种最终格式来产生该节目的一种输出样式(122,126,130,132),上述最终格式可以具有不同的帧速率,不同的像素尺寸,或者两者都有。最好选择一种24fps的内部制作格式,以便提供跟现有的或计划中的HDTV标准4∶3或宽屏幕16∶9高分辨率电视以及影片之间的最大的兼容性。
文档编号G11B27/034GK1306724SQ99807625
公开日2001年8月1日 申请日期1999年5月7日 优先权日1998年5月7日
发明者金亚·沃施诺 申请人:金亚·沃施诺