用于图像处理的方法、设备和系统的制作方法_3

文档序号:8340277阅读:来源:国知局
像坐标之间的单应性是基于将拐角坐标A、B、C、D与限定 放大图像200的2D坐标系中的放大图像200的拐角的坐标相匹配。因此,例如,如果放大 图像200是全HD图像和放大图像坐标系,相应地,在X方向上从0延伸到1920并且在y方 向上从0延伸到1080,将建立单应性使得拐角点A与点(0,1080)相匹配,点B与点(1920, 1080)相匹配,点C与点(1920,0)相匹配,并且点D与点(0,0)相匹配。可以使用任何适合 的单应性。例如,可以使用最小平方误差极小化方法,以便找到将四个拐角A、B、C、D映射 到放大图像200的拐角的单应性的参数。单应性的方法是本领域众所周知的,因此这里不 详细论述。
[0057] 然后将在裁剪105内的2D坐标与放大图像200的2D坐标之间建立的单应性传送 到特定的屏幕标记器特征确定单元508。这里,基于单应性并且基于在场景的3D坐标与原 始图像100的2D坐标之间的对应性(如通过摄像机矩阵确定)来确定专用于放大图像200 的屏幕标记器特征。这可能因为屏幕标记器特征现在可直接地与放大图像200的2D坐标 系相关联,该屏幕标记器特征被限定为场景的3D坐标系中的图形特征以便形成场景的虚 拟3D图。接着,这允许屏幕标记器特征直接与放大图像200中的像素相关联。场景的虚拟 3D图和摄像机矩阵是通过特定的屏幕标记器特征确定单元508而从存储器510获得的。如 以后将描述的,场景的虚拟3D图和摄像机矩阵的确定是作为屏幕标记器的校准处理的一 部分执行的。
[0058] 如已提及的,场景的虚拟3D图包括场景的3D坐标系中的虚拟图形。这些图形可 表示原始图像100中已捕获的场景。这个的实例在图6中示出,其中已产生在图像100中 捕获的场景的虚拟3D图600。可以看出这个图包括足球场的虚拟球场线602。在这个实例 中,虚拟球场线602将足球场限定为具有x-y平面的共平面。图还包括限定足球场的球门 的形状的虚拟线604。
[0059] -旦已通过特定的屏幕标记器确定单元508针对放大图像200确定了特定的屏幕 标记器特征,视情况对特定的屏幕标记器特征进行变换(首先,利用摄像机矩阵从场景的 3D坐标系到原始图像100的2D坐标系,并且其次,利用拐角匹配单应性从原始图像100的 2D坐标系到放大图像200的2D坐标系)并通过特定的屏幕标记器应用单元512将其叠加 在放大图像200上(如从视频馈送接收器502接收的)。换言之,将特定的屏幕标记器特征 应用于放大图像200。
[0060] 这在图7中示出,其中与放大图像200有关的足球场的虚拟球场线602和限定足 球场的球门的虚拟线604已经被叠加到放大图像200上。虚拟线602、604可被看作比在放 大图像200 (参见图2)中捕获的真实球场线路粗的线。应注意,因为在放大图像200中球 门的没有网700的虚拟表示存在于虚拟3D图600中,所以没有网700的虚拟表示被重叠在 放大图像200上。
[0061] 然后通过特定的屏幕标记器特征应用单元512将处理的放大图像200输出作为视 频馈送的一部分。
[0062] 由控制器514控制屏幕标记器的操作。
[0063] 将理解的是,虚拟3D图可包括操作者会想要作为特定屏幕标记器特征叠加在放 大图像200上的任何适合的虚拟图形特征。例如,虚拟3D图可包括团队标识语、球场周围 体育场的特征、足球比赛期间具体参与者的位置、足球比赛期间球的位置等。一旦这些特征 已建立在虚拟3D图上,然后可以使用摄像机对它们进行变换并叠加在放大图像200上。在 实施方式中,虚拟3D图可实时更新,使得诸如具体运动员的位置和球的位置的特征在相关 图形被叠加在放大图像200上之前最新的。
[0064] 有利地,本发明的实施方式在没有由必须通过屏幕标记器处理的虚拟摄像机裁剪 生成器400使用的特定参数的情况下,允许使用屏幕标记器500处理虚拟摄像机裁剪生成 器400生成的放大图像200。如对比文件1中公开的,由生成器400使用的特定参数包括 关于预定图像平面具体限定的虚拟摄像机的偏转、俯仰、横滚和缩放,并且对于屏幕标记器 500很难直接使用这些参数确定哪个虚拟3D图的屏幕标记器特征是与具体的放大图像200 相关。这导致了对于通过屏幕标记器500深入处理特定参数的需要。另一方面,在本发明 的实施方式中,所有需要的是生成器400和屏幕标记器500知道图像100的共同的2D坐标 系以及将裁剪105的四个拐角坐标传输到屏幕标记器500。四个拐角坐标对于屏幕标记器 500来说更容易处理,因为唯一必需的处理是在裁剪105的2D坐标与放大图像200的2D坐 标之间的单应性的建立。这个处理器深度更低。
[0065] 图8示出描述根据实施方式的通过其屏幕标记器500将特定屏幕标记器特征应用 到放大图像的处理的流程图。该处理开始于步骤800。在步骤802,屏幕标记器接收放大图 像200和从其生成放大图像200的裁剪105的拐角坐标。在步骤804,拐角坐标被用于确定 在裁剪105内限定的2D坐标与放大图像200的2D坐标之间的单应性。在步骤806,确定单 应性,连同场景的虚拟3D图和摄像机矩阵一起被用于确定放大图像200的特定屏幕标记器 特征。然后,在步骤808,确定的特定屏幕标记器特征被应用于放大图像。然后方法结束于 步骤810。
[0066] 在通过屏幕标记器500处理放大图像200之前,必须首先根据屏幕标记器操作者 的希望通过屏幕标记器获得放大图像200。换言之,屏幕标记器操作者必须能够控制虚拟摄 像机的偏转、俯仰、横滚和焦距以获得他们想要的放大图像200。在实施方式中,这是通过为 屏幕标记器操作者提供用于选择他们希望虚拟摄像机指向的场景的一部分以及选择虚拟 摄像机的焦距(或缩放水平)的手段来实现。具体地,参考回图3,屏幕标记器操作者可选 择位于场景的原始图像100上的点P,点P指示屏幕标记器操作者希望虚拟摄像机指向的图 像100的一部分。点P限定了从其生成放大图像200的裁剪105内的点。在这个实例中, 点P表示裁剪105的中心。屏幕标记器还可以选择虚拟摄像机的缩放水平。缩放水平表示 裁剪105的尺寸。可使用任何适合的方法通过屏幕标记器选择点P和虚拟摄像机的缩放水 平。
[0067] 图9示出了其中根据实施方式可通过屏幕标记器操作者确定点P和缩放水平的方 式。这里,触摸屏平板电脑900 (还被简称为平板电脑)被用于将图像100显示给操作者。 平板电脑900的实例是索尼Xperia?平板电脑Z。平板电脑900具有与屏幕标记器500和 /或虚拟摄像机裁剪生成器400相连接的数据。这个数据连接可以是任何适合的有线或无 线连接(例如,Wi-Fi或无线移动连接)。
[0068] 图像100被显示在平板电脑的屏幕902上。为了选择点P,操作者简单地利用他们 的手指904在图像上的期望的点处触摸屏幕902。然后平板电脑900处理这个输入并且在 图像上限定的2D坐标系上确定由( Xp,yP)给出(如参考图3描述的)的点P的位置。 [0069] 操作者还可以使用滑杆906确定虚拟摄像机的缩放。具体地,用户将滑动标记908 的位置向着加号标记910移动以放大(增大虚拟摄像机的焦距并使裁剪105更小)并且向 着减号标记912移动以缩小(减少虚拟摄像机的焦距并使裁剪更大)。
[0070] 然后将所选择的位置P和虚拟摄像机缩放传输到虚拟摄像机裁剪生成器400。这 里,裁剪生成器400确定虚拟摄像机的偏转、俯仰和横滚并从这些值和缩放水平计算裁剪 105的针对拐角A、B、C和D的拐角坐标。然后通过裁剪生成器400将放大图像200和拐角 坐标以先前描述的方式输出到屏幕标记器。使用任何适合的方法从点P确定虚拟摄像机的 偏转、俯仰和横滚。
[0071] 例如,在实施方式中,当用户选择点P时,点P的坐标可以被确定为:
[0072]
【主权项】
1. 一种用于将图形叠加在从场景的第一图像的裁剪生成的第二图像上的设备,所述裁 剪表示虚拟摄像机的视场,所述设备包括: 接收器电路,被配置为接收所述第二图像和一组裁剪拐角坐标,每一个所述裁
当前第3页1 2 3 4 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1