专利名称：图像处理系统和方法
技术领域：
本发明涉及图像处理的系统和方法。
背景技术：
目前，体育和其它事件的TV报道通常提供个别的人的特写镜头以及作为一个整体的场景的广角镜头的组合。这使TV报道的制片人能传达事件中的个体的角色的细节和剧情，以及产生该个体的角色更广泛的背景。然而，当提供这种报道时，可能难以预料在什么地方会发生将引起特写分析的引人注目事件，并且类似地，当被密切跟踪的引人注目事件展开时，还可能难以为其提供更广泛的背景。本发明试图缓和或缓解这些问题。
发明内容
在第一方面，提供了根据权利要求1的图像处理系统。在另一方面，提供了根据权利要求12的图像处理的方法。在所附权利要求中定义了本发明的更多的相应的方面和特征。
现将参考附图通过示例的方式对本发明的实施例进行描述，其中:图1A是根据本发明的实施例的彼此处于固定物理关系的摄像机(video camera)对的示意图。图1B是根据本发明的实施例的彼此处于固定物理关系的摄像机对的示意图。图2是根据本发明的实施例的图像处理系统的示意图。图3A是根据本发明的实施例的所存储的场景几何图形(scenegeometry)的示意图。图3B是根据本发明的实施例的被映射到场景上的场景几何图形的示意图。图4A是根据本发明的实施例的以窄视场捕获的视频图像的示意图。图4B是根据本发明的实施例的以更宽视场捕获的视频图像的示意图。图4C是根据本发明的实施例的以更宽视场捕获的视频图像的示意图。图5是根据本发明的实施例的图像处理的方法的流程图。图6是根据本发明的实施例的图像处理系统的示意图。图7是根据本发明的实施例的存储的视频和静止图像的示意图。图8是根据本发明的实施例的视频系统的示意图。图9是根据本发明的实施例的图像处理的方法的流程图。
具体实施方式
公开了图像处理的系统和方法。在以下描述中，呈现了多个特定细节以便提供对本发明的实施例的彻底理解。然而，对本领域的技术人员而言将显而易见的是不是必须要采用这些特定细节来实践本发明。相反地，在适当时为了清楚的目的省略了本领域的技术人员已知的特定细节。现参照图1A和1B，在本发明的实施例中，图像处理系统包括彼此以预设物理关系被布置成对的两个摄像机。第一摄像机IOA被以第一视角宽度(即，第一视场宽度)来设置。例如，第一摄像机可以被锁定在最大视角(没有应用附加的光学变焦)以便捕获宽场景，诸如英式足球(或足球)体育场中的球场。然后，第一摄像机可以捕获具有此宽视角的视频图像。第二摄像机IOB以比第一摄像机的视角宽度窄的第二视角宽度(即，较窄的视场宽度)被设置。例如，第二摄像机可以自由对个体足球球员或球门区等进行拉近(zoomin)，并且因此具有比第一摄像机更窄的视场。两个摄像机都可以输出指示适合每个所捕获的视频帧的、诸如变焦水平和焦距之类的参数的数据。摄像机之间的预设物理关系可以类似于3D相机系统的物理关系。因此，摄像机可以并排地被定位在共同的安装系统上以使得它们二者一起移动。然而，参照图1A和1B，在本发明的实施例中，摄像机10AU0B被正交地定位并且在光学上与被定位在它们之间的双向镜2的任一侧上的同一点对准，例如，该双向镜与每个相机等距离并且与每个相机的镜头平面成45度角。结果，两个相机在理论上共享同一光学中心线(在使用期间经历内置的光学可变性(built-1n optical variability))。因此,更一般地，可以说它们被定位成对齐(in an alignment)而没有横向的光学位移。换句话说，尽管使用与3D相机的系统类似的系统，但是这对相机没有立体地分开并且不生成立体图像对。而是，它们生成基本上共享中心点的一对图像，其中一个图像具有比另一个更宽的视场。现参照图2，参考信号源4可操作来发送用于控制由第一摄像机IOA和第二摄像机IOB进行的视频图像捕获的定时的参考信号，以使得它们同步地捕获视频图像。典型的参考信号源是本领域已知的所谓的GenLock(同步锁相)信号源。因此，视频捕获单元6存储由该对摄像机在基本上相同的时间处生成的视频帧，并且可以将这样的视频帧与同一时间的时间码相关联，从而指示它们被同时生成。视频捕获单元可以包括用以存储视频帧的硬盘、数字磁带、光学介质、固态存储器或这些的任何组
口 ο在本发明的实施例中，图像处理系统还包括图像处理单元(图像处理器)8，可操作来使用来自两个摄像机的图像，例如通过从捕获单元访问所存储的视频帧或者替代地通过接收通过捕获单元传递的实况视频帧。图像处理单元包括图像增强(augmentation)处理器(例如在适合的软件指令下操作的视频图形卡)，并且该图像增强处理器可操作来在图形方面对视频图像进行增强。因此，例如可以将诸如球员之间的距离标记或线之类的空间相关信息叠加在足球球场的图像上，或者使用名字或统计信息来标记球员，或者甚至添加虚拟的球场装饰，例如以指示哪支球队拥有球场的哪一半，或者添加它们的赞助者的商标或任何其它类型的广生口 O现参照图3A和3B，图像处理单元可以通过保存与正被观看的物理场景相对应的如图3A中所示出的场景几何图形来执行这样的叠加。因此，例如，其可以保存关于用于标定足球球场的线的尺寸和形状的数据，在图3A中由示例标记尺寸Xl_4、yi_4以及Dl来表示。将理解的是，该数据可以类似地涉及网球场、篮球场、音乐会舞台或者该场景的任何其它固定结构的或有图案的元素。将了解的是，适合地定义几何图形所需要的尺寸的数目和它们的相对位置将取决于场景的复杂性并且还潜在地取决于所预期的增强的性质(例如，如果期望在英式足球球场的禁区与中圈之间半途的位置叠加商标，则该距离还可以相对于中心线或球门线来定义)。几何图形本身可以被表示为参数列表或以任何适合的形式来表示，并且可以被考虑为表示模板AR标记。这样，几何图形本身可以被归一化，例如使得球场的长度X1为I个任意单位的长度。可替代地或此外，几何图形可以由图形模板来表示，图形模板具体表达具有预定位置、比例以及朝向的参考几何图形。因此，更一般地，按照这种方式，图像处理单元能够访问用于已知场景的场景几何图形。在任何情况下，场景的相应特性(诸如在上述示例中的英式足球球场上的线)然后可以被处理为(非常大)AR标记并且可以使用已知AR标记标识技术来识别，以确定相对于第一摄像机在X和y轴上的球场的位置、其比例(即，其在z轴上的位置)以及其朝向(即，关于X、1、Z轴的其旋转)。本领域已知的典型的AR标记标识技术基于以下假设:所捕获图像中的候选AR标记(这里是场景的预定特征)是由于在比例尺、朝向以及位置上的变换而不同的参考标记(在这里是场景几何图形)的同系物(homologue)，并且试图估计最适合该候选标记的参考标记的映射或变换。然而，将了解的是，设想了用于标识所存储的场景几何图形数据与所捕获的场景的特征之间的映射的任何适合的技术。将了解的是，该变换或映射然后能够被用来以与所捕获图像中的场景的外观一致的方式将几何图形映射到所捕获图像上，如图3B中所示出(在这种情况下，该映射被微小地偏移以清楚地以实线示出英式足球球场上的所捕获线，并且以虚线示出经变换的几何图形)。该变换或映射然后能够被用来将图形增强映射到也与来自第一摄像机的所捕获图像的位置和朝向一致的图像上。然而，在本图像的实施例中，期望对来自第二相机的所捕获图像进行增强。将了解的是，第二相机具有更窄的视场(例如，因为其在特定英式足球球员周围的区域上被拉近)并且因此没有足量的场景(在此示例中，英式足球球场的线)可用于直接计算出从所存储的几何图形到图像的映射。换句话说，来自第二相机的图像可能仅包括场景中的AR标记的零碎部分，其对确定相对于第二相机的AR标记的位置和旋转是不足够的。因此，图像处理单元在操作中被布置成根据第一摄像机和第二摄像机的预设物理关系和它们的相应的视角宽度进一步将映射到第一图像上的场景几何图形的至少一部分映射到由第二摄像机捕获的第二图像上。因此，例如，在两个相机在光学上对齐的情况下(即，理论上共享相同中心点以使得在第一相机和第二相机所捕获的图像之间不存在横向位移或相对旋转)，于是可以通过响应于第一相机与第二相机之间的相对变焦差异来改变比例或Z轴位置，从而将对来自第一相机的图像做出的变换或映射修改(再映射或再变换)到第二图像上。在相机并排的情况下，作为到该场景的估计距离的函数的第一图像和第二图像的横向位移也被合并到该再映射内。在相机以非平行方式布置的这种情况下(即，使得它们的视线在有限距离处会聚)，那么，响应于会聚角度的旋转分量也可以被包括于该再映射中。在任何情况下，图像增强处理器然后可操作来基于被再映射到第二图像上的场景几何图形来在图形上对第二图像进行增强。因此，有利地，图形增强(诸如平面图形纹理)能够被适当地映射到来自第二摄像机的图像上，尽管图像本身不包括足够的信息来直接确定所需要的映射。虽然在上文中提到在一个实施例中，两个相机在理论上共享相同的中心点，使得不存在横向位移(或相对旋转)，但是在实际中，因为相机中的制造容差，并且因为可能在不同的变焦水平处发生的图像失真的变化(包括根据变焦的相机的光学中心线中的变化并且因此造成的位置变化性)，这可能并非对所有的条件都成立。为了减轻此，可以针对多个变焦位置预先为第二相机估计出校正因子，并且这些因子可以根据当前变焦水平被访问(或者从所访问的校正因子被内插)。如先前所提到的那样，摄像机以每个所捕获帧来输出操作参数，包括当前变焦水平/视角宽度的指示符。然后，可以在再映射期间应用校正因子来对该场景几何图形校正由于第二摄像机与第一摄像机之间的视角宽度差异所造成的第一图像与第二图像之间的相对光学畸变。可以在早期校准阶段期间估计出校正因子本身，如在这里简短地描述的。简而言之，两个相机都像它们在使用中那样被定位，并且第一相机以校准目标对象(例如，有方格的球，但是可以使用任何合适对象或场景特征)为中心。第二相机然后被设置为希望的视场宽度(即，变焦设置)。来自每个相机的图像然后与镜头数据一起被捕获(诸如焦距/变焦数据)。每个图像中的校准目标对象的图像然后被用来计算来自第一摄像机的图像与来自第二摄像机的图像之间的明显的整体镜头失真(包括可能的横向位移)。所计算的失真然后为再映射处理提供校正因子。优选地，对于至少两个视场宽度为第二摄像机计算用于第二摄像机的校正因子。这允许至少对这两个宽度之间的变焦水平(例如，在相机的正常使用中可用的最小变焦水平和最大变焦水平)处的第一精确度水平进行内插。然而，明显地，将了解的是，在不同变焦水平处测得的附加校正因子将改进给定变焦水平的估计精确度。如先前提到的，由第一相机捕获的图像中的更宽视场可以有助于计算随后被用于(经由中间再映射)来自第二摄像机的对应图像的几何图形映射。用类似方式，来自第一相机的第一图像序列可以被用来跟踪图像特征(例如特定的球员)，并且所估计的图像特征的位置然后可以被类似地映射到来自第二相机的第二图像序列中的对应图像。这具有若干优点。使用跟踪英式足球球员的示例，首先英式足球球员的拉近图像实际上可能是高度可变的，因为图像中的球员的相对位置和总体形状可以快速地改变并且还可能经常地完全或部分地离开第二图像序列。这些是对诸如卡尔曼滤波器跟踪算法之类的常规跟踪算法产生不利影响的所有因素。相比之下，球员作为保持位于作为整体的球场(或其更大比例)的图像序列的边界内的较小对象可能更容易被跟踪。其次，可以跟踪目前不在第二图像内的其它球员，使得当他们即使部分地出现在第二图像内时，也可以参考利用第一图像执行的跟踪来识别他们。因此，更一般地，由第二摄像机捕获的场景中的特征的位置可以参照来自第一摄像机的图像随着时间被跟踪。此外，由第一摄像机捕获的场景中的特征的位置可以在预期到该特征至少部分地出现在来自第二摄像机的图像中的情况下随着时间被跟踪。将了解的是，如果第一摄像机的作用限于为中间几何图形映射或特征跟踪提供更宽角度的图像，则第一摄像机可以具有比第二摄像机的总体质量更低的总体质量。此质量可以是光学系统、成像传感器、分辨率、色域、内部电子设备的质量、构建质量和/或总成本中的一个或多个，并且可以被大体地称为‘机器视觉’相机，因为并不旨在广播所捕获的图像以供用户观看。相比之下，当然，第一摄像机可以替代地具有基本上与第二摄像机相同的图像质量。在这种情况下，这些相机很可能是同一型号或相当的型号，以使得来自每个相机的图像对于相同的相机设置而言在主观上是相似的(例如在制造商的容差内)。类似地，第一相机实际上可以具有比第二相机更高的质量。因此，更一般地，第一和第二摄像机可以具有相当的广播质量或者两者都满足同一最小广播质量标准。在这些情况下，将了解的是，可以从由第二相机输出的图像切换到由第一相机输出的图像。因此，并且现在还参照图4A和4B，在本发明的实施例中，图像处理单元可操作来计算与第二图像(来自拉近的第二摄像机)的至少一部分相对应的第一图像(来自第一广角摄像机)的第一区，并且可操作来生成输出图像，该输出图像包括与第一区相对应的或包括第一区的第一图像的经数字变焦的第二区。这使得能够实现从第二图像的该至少一部分到第一图像的转变。更详细地，图4A示出了从第二摄像机捕获的图像100A，同时图4B示出了从第一摄像机捕获的图像100B。如先前描述的，来自第一相机的图像能够被用来例如将增强映射到如图4A中所见的由第二相机捕获的场景的部分上，并且类似地，基于从第一摄像机捕获的图像进行的跟踪能够被用来标识在由第二摄像机捕获的图像中发现的球员，包括仅部分可见的球员(例如球员110)。基于先前确定的映射(或可替代地基于第一摄像机与第二摄像机之间的相对变焦，和诸如交叉相关之类的特征对齐技术)，第一摄像机中的图像的区IOOA1能够被标识为对应于来自第二摄像机的图像。区IOOA1然后可以被数字地拉近以复制第二相机的视点(viewpoint)，并且图像处理单元的输出能够从来自第二相机的图像切换或渐变为来自第一相机的图像的经数字拉近的区。参照图4C，来自第一相机的连续捕获的图像帧然后可以类似地被数字变焦为相继更小的程度(100An，100Ain，100AIV)，以生成输出图像序列，在其中图像显然地从来自第二相机的特写视图推远到较宽的视角，诸如第一相机的广角视图。将理解的是，图像处理装置可以以在此示例中相当于IOOAn的变焦水平来切换到来自第一相机的图像的经数字变焦的区；换句话说，可选地，不需要显示与来自第二摄像机的图像确切相等的图像区域的经数字变焦版本，因为其已经可供使用。如关于几何图形映射所提到的，在实践中，由于相对光学畸变，来自第二摄像机的图像可能不同于第一摄像机的图像(不只是放大率(变焦))。因此，可选地，先前描述的校正因子能够被用来根据应用到来自第一相机的(一个或多个)图像的数字变焦水平来扭曲或变换来自第一摄像机的图像，以在转变中提供从第二图片中固有的第二相机的光学特性和第一图片或图片序列中固有的第一相机的光学特性的平滑转变。现参照图5，图像处理方法包括:在第一步骤SllO中，将第一摄像机布置为具有第一视场宽度；在第二步骤sl20中，以比第一摄像机的视场宽度窄的第二视场宽度来布置第二摄像机；在第三步骤S130中，将第一摄像机和第二摄像机布置成彼此处于预设物理(即，位置)关系；在第四步骤S140中，在基本上相同时间从第一摄像机捕获第一图像并且从第二摄像机捕获第二图像；在第五步骤S150中，将场景几何图形映射到由第一摄像机所捕获的第一图像上；以及在第六步骤S160中，根据第一摄像机和第二摄像机的预设位置关系和它们的相应视场宽度来将映射到第一图像上的场景几何图形的至少一部分映射到由第二摄像机捕获的第二图像上。对于本领域的技术人员而言将显而易见的是，与如本文所述和要求保护的设备的各种实施例的操作相对应的上述方法的变化被考虑为在本发明的范围内，包括但不限于:-基于如映射到第二图像上的场景几何图形来在图形上增强第二图像；以及-参考来自第一摄像机的图像来随着时间跟踪由第二摄像机捕获的场景中的特征的位置。现还参照图6，在替代性实施例中，不使用具有广角视图的第一摄像机，静态相机(still camera)20A可以以第一视角宽度被布置并且可操作来捕获静止图像。在这种情况下，第二摄像机IOB(在下文中，简单地称为“摄像机”)由此具有比该静态相机低的分辨率。以与先前实施例类似的方式，通常，其也以比该静态相机的视角宽度窄的第二视角宽度被布置，但这不是必要的。因此，相机的总体布置类似于先前实施例的布置，除了代替第一摄像机而使用静态相机，并且静态相机将具有比其余的摄像机高的分辨率。例如，典型HD摄像机以1920x1080像素或以大约2百万像素的分辨率操作。良好质量的数字SLR静态相机可以以1400万像素的分辨率来捕获图像，而专业的所谓的“中画幅(medium format) ”数字静态相机可以捕获分辨率为大约4000万像素的图像并且因此具有为摄像机的大概20倍的分辨率。图像捕获单元6'类似于先前所描述的视频捕获单元6，但是可操作来从摄像机获取视频图像和从静态相机获取静止图像。同时，图像处理单元8'可操作来处理静止图像以及视频图像。稍后描述它们的功能(或附加功能，如果也可操作来连接到本文先前所述的相机布置的话)。总体地，它们可以被称为图像捕获和处理单元。最后，提供了再次类似于先前所描述的参考信号源的参考信号源(或‘GenLock’)4。在图6中可以看到，静态相机和摄像机以与先前所描述的两个摄像机类似的方式被成对地布置，彼此具有预设的物理关系。此外，提供了快门释放控制单元12以用于初使化通过静态相机进行的静止图像的捕获。快门释放控制单元通常通过经由有线或无线连接将适当信号发送给相机，来控制何时释放相机快门(即，静态相机何时拍摄照片)。快门释放控制单元包括用于例如响应于指示场景中的突发事件的连续图像之间的阈值改变来接收触发输入14的输入端，所述触发输入诸如是本地或远程用户输入、周期性(基于定时器的)输入和/或来自图像处理单元8'的输入。引起静止照片的其它合适输入或事件对于本领域技术人员而言将是显而易见的。快门释放控制单元还包括用于从参考信号源接收参考信号(GenLock信号)的输入端。响应于接收到触发输入，快门释放控制单元可操作来响应于来自参考信号源的下一参考信号来释放镜头的快门。换句话说，一旦被指示拍摄静止照片，快门释放控制单元就使快门释放与下一参考信号的接收同步，并且因此也使快门释放与通过摄像机捕获下一视频图像同步，因为摄像机也被同步到参考信号。可选地，如果在参考信号的接收与摄像机和静态相机之一的图片拍摄之间存在不同的相对延迟(例如，由于固定机械延迟或处理延迟而导致的大约几毫秒的相对延迟)，则该对中的另一相机可以被布置成实施合适的固定延迟来适应这种差异并且对所捕获的图像进行再同步。除了参考信号之外，由时间码生成器(未示出)生成时间码。时间码生成器可以为单独的单元，或者可以被合并在例如参考信号源4、图像捕获单元6'或图像处理单元8'中的任何一个内。时间码生成器通常针对来自参考信号生成器的每个参考信号来输出唯一数字(例如，递增的数字，或者实时值)，但是设想了用来在规定时刻产生唯一 ID的任何合适的输出方案。例如，可以响应于图像捕获单元6'的请求而输出时间码。总之，因此，视频图像和静止图像由相应相机同步生成并且被输出到图像捕获和处理单元(例如，到图像捕获单元6')。图像捕获和处理单元然后可操作来将同一时间码与响应于同一参考信号所生成的静止图像和视频图像相关联。可以通过将时间码插入在形成每个图像的一部分的元数据中或者用作存储该图像的部分的文件封装器的数据字段中来将时间码与两个图像相关联。可替代地，时间码可以与标识视频图像和静止图像的另外的唯一代码相关联地存储在查找表中。如先前所描述的，摄像机可以输出每个视频帧的镜头数据(Iensdata)。用类似方式，静态相机通常也输出与被捕获的图像相关联的镜头数据。这种数据也与相应图像一起存储。参照图7，结果是被存储的一系列视频图像210和被存储的一组静止图像(222，224，226，228)，每个图像都包括将图像放置在时间t位置处的时间码，其中响应于同一参考信号所捕获的视频图像和静止图像具有相同的时间码。如将从图7中了解的，通常不存在与每个视频图像相关联的静止图像。现返回来参照图4B，将了解的是，针对来自两个摄像机的图像之间的转变描述的相同原理也可以被用来识别与具有相同时间码的视频图像相对应的静止图像中的第一区。也就是说，可以从视场宽度的相对差异(如从它们相应的镜头数据并且也从相机的预设的彼此物理关系所确定的)、或者基于图像之间的交叉相关性或者二者的合适组合来估计(例如，使用相对变焦和任何横向偏移来在针对静止图像中的最匹配区域的交叉相关搜索中预测初始搜索位置和区大小)与该视频图像相对应的静止图像中的第一区。再次如上文所提到的，当生成了静止图像的得到的数字变焦版本时，可以针对视频图像与静止图像之间的相对光学畸变来将另外的校正因子考虑在内，其中这些校正因子是基于摄像机的校准的。如同先前的实施例，镜头校准数据通常包括针对至少两个视场宽度的摄像机的一个或多个光学特性的一个或多个参数描述，以使能对于不同变焦水平的内插。图像捕获和处理单元(例如图像处理单元8')可操作来实现上述方法，并且基于静止图像的第一区来生成输出图像。以与先前关于图4C描述的类似方式，此输出图像可以为与第一区确切对应的或构成包含第一区的第二区的静止图像的数字拉近。因此，更一般地，如果输出图像直接构成第一区，则输出图像可以是与具有相同的时间码的视频图像相对应的图像(例如，静止图像的数字变焦)。替代地，以与关于图4C先前描述的类似方式，输出图像可以是从静止图像的第一区的数字推远，以包括与视频图像的一部分不相对应的静止图像的一个或多个另外的区(即在第一区外部的静止图像的各部分)。值得注意地，然而，很可能的是静止图像的第一区内的图像具有比对应的视频图像更高的分辨率。例如，如果静止图像的总体分辨率是视频图像的分辨率的20倍，但是摄像机的更窄视场意味着它仅仅捕获静止图像中的视图的五分之一，则静止图像的对应的第一区仍然具有四倍的视频图像的分辨率。因此在本图像的实施例中，输出图像可以是构成第一区内的静止图像的第二区的静止图像的数字拉近。这些操作可以通过导演或编辑使用所存储的图像来行使。因此在根据本发明的实施例的系统的示例用途中，存储在图像捕获和处理单元中的视频序列被输出(回放)直到由导演或编辑选择的关键时间点为止，针对该关键时间点，还存储了静止图像(具有相同的时间码)。导演或编辑然后命令图像捕获和处理单元切换到静止图像的等效区。所得到的静止图像的数字变焦可以以与被再现的视频图像相同的格式和相同的帧速率被输出多次，以使得可以获得其中视频在关键时间点处看来似乎为‘冻结帧’的连续视频流。导演或编辑然后可以命令图像捕获和处理单元进一步对静止图像拉近(例如对第一区内的静止图像的连续更小子区进行数字拉近)以便生成在输出视频流中看来似乎为经拉近的帧冻结的图像的多个视频帧，和/或命令图像捕获和处理单元从静止图像的第一区推远(例如对包括静止图像的第一区的静止图像的连续更大的区进行数字拉近)以便生成在输出视频流中看来似乎从帧冻结的图像推远的多个视频帧以展现更多的周围场景。类似地，导演或编辑可以命令图像捕获和处理单元在相同水平的数字变焦的静止图像内进行摇摄(pan)，因此以与视频序列相同的外观视图宽度生成了连续的视频帧，但是其摇摄到静止图像的其它部分中。执行了关键时刻的这样的接近(close-1n)、摇摄或广角覆盖，导演或编辑然后就可以在下一个帧(或他们选择的帧/时间)往回切换到所存储的视频序列。
将了解的是，存储在图像捕获和处理单元中的视频序列和静止图像可以是最近被存储的；例如，大约一个视频帧以前到数秒以前，并且因此系统的输出可以是所谓的“经缓冲的实况”输出。在这种情况下，给图像捕获和处理单元的、切换到静止图像的导演或编辑的命令可以作为触发输入被中继给快门释放控制单元，使得可供潜在地位于该请求之后一个视频帧处的视频帧利用的同步静止图像被制得。在这些情况下，图像捕获和处理单元将继续输出所捕获的视频图像直到在输出序列中到达具有所请求的对应静止图像的视频帧为止，并且然后执行切换。现转向图8，在本发明的实施例中，视频系统包括上述组合了静态相机20A和摄像机IOB的图像处理系统，并且还包括以与先前所述的静态相机20A和摄像机IOB类似的方式被布置成对的第二静态相机20A'和第二摄像机IOB'。在此布置中，由两台摄像机进行的视频图像捕获的定时通常由来自参考信号源的参考信号来控制。此外，视频系统包括至少一个另外的静态相机20B、20C、20D(为了说明性目的图8示出了三个这样的另外的静态相机)，该至少一个另外的静态相机20B、20C、20D也被耦接到快门释放控制单元或者等效地耦接到接收和先前所描述的快门释放控制单元相同的输入的相应快门释放控制单元。该至少一个另外的静态相机以基本上和两个静态相机/摄像机对中的静态相机相同的第一视角宽度被布置。然后，如在图8中所示出的，该对静态相机和摄像机、至少一个附加静态相机以及该对第二静态相机和第二摄像机被以如下顺序定位:该对静态相机和摄像机、该或每个附加的静态相机以及该对第二静态相机和第二摄像机。通常，它们被各自定位并且定向以面向可被认为是旋转轴的场景中的共同点30。作为关于英式足球球场的非限制性示例，它们可以被定向为朝向禁区的中心点。每个静态相机/摄像机对中的摄像机借助于参考信号(GenLock信号)同步地捕获视频。此外，在接收到触发输入时，该(或每个)快门释放控制单元使每个静态相机在下一个参考信号处拍摄照片，以使得多个照片在与来自两个摄像机中的每个的下一个视频帧相同的时间处被拍摄。此多个静止图像于是表示对于特定时刻，从第一摄像机/静态相机对中的第一摄像机的视点绕到第二摄像机/静态相机对中的第二摄像机的视点的离散步阶中的一系列视点。在本发明的实施例中，图像捕获和处理单元可操作来在静止图像之间生成内插图像，以便以通常被称为场景的‘子弹时间(bullet time)’视图的效果来提供两个摄像机视点之间的主观连续转变。存在诸如所谓的可视外壳提取(visual hull extraction)之类的用于生成场景的这样的内插虚拟视点的已知技术，所谓的可视外壳提取实际上是尝试估计该场景的3D模型(例如作为体素(voxel)模型)并且然后使用在可用的被捕获图像中发现的颜色来从不同视点渲染该3D模型。替代地或此外，基于如先前描述的所存储的场景的几何图形信息的其它技术也是可能的，使得能够通过例如使所捕获图像扭曲并且根据经修改的视点重新定位图像元素(例如球场上的球员)来生成中间图像。根据已知的视差修改技术将来自邻近静态相机的照片视为好像它们为立体对，也意指创建中间图像是可能的。这些技术未在此进一步详细的讨论。将了解的是，如果更多相机被分布在两个静态相机/摄像机对之间，则必须执行更少的内插，或者替代地可以针对成对静态相机之间的相同数目的内插来实现摄像机视点之间的更慢摇摄。在根据本发明的实施例的系统的示例用途中，来自两个静态相机/摄像机对中的摄像机的视频序列被存储在图像捕获和处理单元中。存储在图像捕获和处理单元中的来自第一静态相机/摄像机对(10B，20A)的视频序列被输出(回放)直到由导演或编辑选择的关键时间点为止。针对此关键时间点，还存储了来自多个静态相机(例如，静态相机/摄像机对中的静态相机和至少一个附加的静态相机)的多个静止图像(具有相同的时间码)。导演或编辑然后命令图像捕获和处理单元开始‘子弹时间’摇摄通过静止图像。图像捕获和处理单元切换到如先前描述的第一静止图像的等效区，并且然后进行输出一系列图像，该一系列图像包括位于来自每个静态相机的静止图像的连续对应区之间的一个或多个内插图像。每个静止图像中的对应区可以根据每个静态相机相对于第一静态相机的相对物理位置和方向的知识来计算。来自第二静态相机/摄像机对中的静态相机IOB'的静止图像的对应区与来自第二静态相机/摄像机对中的摄像机20A'的视图相对应，从而能够切换到在关键时间点上或者之后开始的、来自该摄像机的视频序列。得到的输出是来自第一视点的视频，该第一视点然后在继续来自第二视点的报道之前(可选地)，在固定时刻期间转向到该第二视点。可以了解的是，这将提供引人注目的方式来回顾比赛中的关键时刻，如选手进球时。将进一步了解的是，虽然图像内插提供了在摄像机之间的转变期间生成更多中间视点的手段，但是替换地，可以使用更多的静态相机，或者可以非常快速地进行转变。因此，在这样的转变期间可以不需要内插。因此，更一般地，在本发明的实施例中，视频系统可操作来从(第一对中)的第一摄像机生成一系列视频图像，基于与来自摄像机的该一系列视频图像中的最后的视频图像相对应的、来自静态相机和摄像机对中的静态相机的静止图像来生成输出图像，基于来自该静态相机或每个附加静态相机的静止图像生成输出图像，基于来自(第二静态相机和第二摄像机对中的)第二静态相机的、与来自第二摄像机的一系列视频图像中的第一视频图像相对应的静止图像来产生输出图像，并且然后从第二摄像机生成一系视频图像。如需要，可以执行静止图像之间的内插。现参照图9，一种图像处理的方法包括:在第一步骤s210中，以第一视场宽度来布置可操作来捕获静止图像的静态相机；在第二步骤s220中，以比静态相机的视场宽度窄的第二视场宽度来布置具有比静态相机更低的分辨率并且可操作来捕获视频图像的摄像机；在第三步骤s230，将静态相机和摄像机布置为彼此具有预设物理(B卩，位置)关系的对；在第四步骤s240中，响应于参考信号控制由摄像机进行的视频图像捕获的定时；在第五步骤s250中，响应于下一个参考信号来释放静态相机的镜头快门以遵从快门释放命令；在第六步骤s260中，从静态相机和摄像机接收图像；以及在第七步骤s270中，将相同的时间码与响应于同一参考信号所生成的静止图像和视频图像相关联。对本领域的技术人员而言将显而易见的是，与如此处描述的和要求保护的设备的各种实施例的操作相对应的上述方法中的变化被认为在本发明的范围内，包括但不限于:-估计与具有相同时间码的视频图像的至少一部分相对应的静止图像的第一区；以及基于静止图像的第一区生成输出图像，输出图像例如是与具有相同的时间码的视频图像相对应的静止图像、对静止图像的第一区的数字拉近，或从静止图像的第一区的数字推远以包括与视频图像的一部分不相对应的静止图像的一个或多个另外的区；以及-将类似的第二摄像机和静态相机对定位成与该摄像机和静态相机对分开；将一个或多个附加的静态相机定位在摄像机和静态相机对之间；存储来自摄像机的视频和来自静态相机的静止图像，所述静止图像与来自两个摄像机中的每一个的视频的单个帧共享相同的第一时间戳；以及生成输出图像序列，其包括在与第一时间戳相关联的帧处结束或刚好在该帧之前结束的、来自静态相机和摄像机对中的摄像机的一系列视频帧，然后包括基于来自与第一时间戳相关联的所述或每个附加的静态相机的所述或每个静止图像的一个或多个输出图像，然后是在与述第一时间戳相关联的帧处开始或刚好在该帧之后开始的来自第二静态相机和摄像机对中的摄像机的一系列视频帧。最后，将了解的是，此处所公开的方法可以在常规硬件上执行，该常规硬件适当地被适配为通过软件指令或者通过包括或替换专用硬件而被应用。因此，对常规等效设备的现有部分的所要求的适配可以被实现为非暂时计算机程序产品或类似的制造物的形式，包括存储在诸如软盘、光盘、硬盘、PROM、RAM、闪速存储器或这些的任何组合或可以被认为是利用程序被有形地编码的非暂时机器可读信号承载介质的其它储存介质之类的数据载体上的处理器可实现指令，或者类似地，可以在硬件上被实现为ASIC(专用集成电路)或FPGA(现场可编程门阵列)或适于用在适配常规等效设备中的其它可配置电路。可替代地，程序可以在诸如以太网、无线网络、因特网、或其它网络的这些的任何组合之类的网络上经由数据信号来传送。
权利要求
1.一种图像处理系统,包括: 第一摄像机，布置成具有第一视场宽度且可操作来捕捉第一图像； 第二摄像机，被布置成具有比所述第一摄像机的所述第一视场宽度窄的第二视场宽度且可操作来在与所述第一摄像机捕捉所述第一图像基本上相同的时时间捕捉第二图像；以及 图像处理单元，可操作来访问已知场景的场景几何图形；并且其中: 所述第一摄像机和所述第二摄像机以预设的相互位置关系被布置； 所述图像处理单元在操作中被布置为将场景几何图形映射到所述第一摄像机所捕捉的所述第一图像上；并且 所述图像处理单元在操作中被布置为根据所述第一摄像机和所述第二摄像机的预设的位置关系以及它们的相应视场宽度来将映射到所述第一图像上的所述场景几何图形的至少一部分映射到所述第二摄像机所捕捉的所述第二图像上。
2.根据权利要求1所述的图像处理系统，其中，所述第一摄像机与所述第二摄像机之间的所述预设的位置关系 将它们定位成对齐而无横向光学位移。
3.根据权利要求2所述的图像处理系统，其中，所述第一摄像机和所述第二摄像机正交地被定位并且与位于它们之间的双向镜的任一侧上的同一点在光学上对准。
4.根据权利要求3所述的图像处理系统，其中， 所述图像处理单元包括图像增强处理器；并且 所述图像增强处理器可操作来基于映射到所述第二图像上的所述场景几何图形来在图形上增强所述第二图像。
5.根据权利要求1所述的图像处理系统，其中，当将所述场景几何图形映射到所述第二图像上时，所述图像处理单元可操作来针对由于所述第二摄像机与所述第一摄像机之间的所述视场宽度差异所造成的在所述第一图像与所述第二图像之间的相对光学畸变来校正所述场景几何图形。
6.根据权利要求5所述的图像处理系统，其中，所述图像处理单元可操作来参考所述第二摄像机的镜头校准数据针对相对光学畸变来校正所述场景几何图形，所述镜头校准数据包括对于至少两个视场宽度的所述第二摄像机的一个或多个光学特性的一个或多个参数描述。
7.根据权利要求1所述的图像处理系统，其中，由所述第二摄像机捕捉的所述场景中的特征的位置是参考来自所述第一摄像机的图像而随着时间来跟踪的。
8.根据前述权利要求中任一项所述的图像处理系统，其中，所述第一摄像机具有低于所述第二摄像机的图像质量。
9.根据权利要求1所述的图像处理系统，其中，所述第一摄像机具有与所述第二摄像机至少相同的图像质量。
10.根据权利要求9所述的图像处理系统，其中，所述图像处理单元可操作来计算与所述第二图像的至少一部分相对应的所述第一图像的第一区域且可操作来生成输出图像，所述输出图像包括包含所述第一区域的所述第一图像的经数字变焦的第二区域。
11.根据权利要求10所述的图像处理系统，其中，所述第二图像在用于生成所述输出图像之前针对所述第一图像与所述第二图像之间的相对光学畸变被校正。
12.—种图像处理方法，包括以下步骤: 将第一摄像机布置为具有第一视场宽度； 将第二摄像机布置为具有比所述第一摄像机的视场宽度窄的第二视场宽度； 将所述第一摄像机和所述第二摄像机布置为呈预设的相互位置关系； 在基本上同一时间从所述第一摄像机捕捉第一图像且从所述第二摄像机捕捉第二图像； 将场景几何图形映射到由所述第一摄像机捕捉的所述第一图像上；以及根据所述第一摄像机和第二摄像机的预设位置关系以及它们的相应视场宽度来将映射到所述第一图像上的所述场景几何图形的至少一部分映射到所述第二摄像机所捕捉的所述第二图像上。
13.根据权利要求12所述的图像处理方法，包括以下步骤: 基于映射到所述第二图像上的所述场景几何图形来在图形上增强所述第二图像。
14.根据权利要求12所述的图像处理方法，包括以下步骤: 参考来自所述第一摄像机的图像来随着时间跟踪由所述第二摄像机捕捉的所述场景中的特征的位置。
15.一 种非暂时计算机程序产品，包括用于实现权利要求12的步骤的计算机可实现指令。
全文摘要
本发明涉及图像处理系统和方法。一种图像处理系统包括第一摄像机，布置成具有第一视场宽度且可捕捉第一图像；第二摄像机，被布置成具有比第一摄像机的第一视场宽度窄的第二视场宽度且可在与第一摄像机捕捉第一图像基本上相同的时间捕捉第二图像；以及图像处理单元，可访问已知场景的场景几何图形，其中，第一摄像机和第二摄像机以预设的相互位置关系被布置；图像处理单元在操作中被布置为将场景几何图形映射到第一摄像机所捕捉的第一图像上；并且图像处理单元在操作中被布置为根据第一摄像机和第二摄像机的预设的位置关系以及它们的相应视场宽度来将映射到第一图像上的场景几何图形的至少一部分映射到第二摄像机所捕捉的第二图像上。
文档编号H04N5/232GK103152518SQ20121051090
公开日2013年6月12日 申请日期2012年12月3日 优先权日2011年12月1日
发明者迈克尔·约翰·威廉姆斯 申请人:索尼公司