第二图像的第一个与第二图像的第二个组合以形成第三图像。
[0038] 有利地，这允许从原始图像拍摄场景的多个放大图像并且用于创建组合图像，因 此允许用户增加产品价值。
[0039] 在一些实施方式中，与第二图像中的第一个相关联的虚拟摄像机的偏转、俯仰、横 滚和/或焦距和与第二图像中的第二个相关联的虚拟摄像机的偏转、俯仰、横滚和/或焦距 使得与第二图像中的第二个相对应的裁剪处于与第二图像中的第一个相对应的裁剪内。
[0040] 有利地，这允许组合图像以缩放/放大部分为特征，因此允许用户增加产品价值。
[0041] 在一些实施方式中，设备包括用于使用所接收的第二图像确定摄像机矩阵的校准 电路，该校准电路被配置为：将场景的虚拟3D图的多个特征中的每一个与第二图像中的各 个真实图像特征相关联，并且确定第二图像的第二2D坐标系中的每个真实图像特征的位 置；使用单应性确定第一图像的第一 2D坐标系中的每个真实图像特征的位置；并且从第一 图像的第一 2D坐标系中的每个真实图像特征的位置和场景的虚拟3D图中的每个相应的特 征的3D位置来确定摄像机矩阵。
[0042] 有利地，这就通过能够将第二图像中的图像特征与场景中的对应特征匹配而允许 更加精确的确定摄像机矩阵。因为第二图像是第一图像的放大版本，故待匹配的图像特征 被更加详细地呈现给用户。
[0043] 现在参照附图，贯穿几个视图，其中相同的参考标号指代相同或者相应的部分。
[0044] 图1示出了已用摄像机捕获的足球场的图像100。还示出了图像的部分或裁剪 105。图像的裁期105可以被拍摄并且在电视等上显不为放大图像。图像100可具有任何 适合的分辨率。例如，图像100可具有4k或8k的超高清晰度（UHD)分辨率。
[0045] 图2示出了从裁剪105生成的放大图像200。裁剪105具有表示摇摄穿过图像100 的虚拟摄像机的视场的形状。然后将裁剪105的像素的值映射到预定的矩形像素布置以便 获得放大图像200。这意味着放大图像200的透视角被校正，以看起来像是使用摇摄穿过真 实场景的真实摄像机捕获的。放大图像200可具有任何适合的分辨率。例如，放大图像可 具有高清晰度（HD)分辨率。
[0046] 在对比文件1中详细地描述了其中生成裁剪105的形状和放大图像200的方式， 通过引用将其全部内容结合于此。
[0047] 为了使屏幕标记器能够在从裁剪105生成的放大图像上电子地绘制图像，该图像 基于真实3D场景中的特征，屏幕标记器必须能够将真实的3D场景中的特征映射成从裁剪 105形成的场景的2D放大图像200中的特征。在本发明的实施方式中，这是通过在屏幕标 记器校准处理中，首先将真实3D场景中的3D坐标点映射成2D原始图像100中的2D坐标 点。场景中的3D点到场景的图像中的2D点的映射是本领域众所周知的，并且通常包括将 所谓的投影矩阵（还被称为摄像机矩阵）应用到3D坐标点位置以获得对应的2D坐标点 位置。摄像机矩阵包括控制2D缩放和居中的内部矩阵和一起指定捕获图像的摄像机的偏 转、俯仰、横滚和平移的两个外部矩阵。分别限定内部矩阵和外部矩阵的内部参数和外部参 数可使用本领域中已知的任何适合的方法来计算。例如，可使用直接线性转换（DLT)方法、 Tsai算法或张的方法（Zhang' s method)用于确定内部参数和外部参数。在R.Y. Tsai的 "An Efficient and Accurate Camera Calibration Technique for 3D Machine Vision，' 中描述了 Tsai算法。1986年关于计算机视觉和模式识别的IEEE会议的会议记录的364至 374页，通过引用将其全部内容结合于此。
[0048] 一旦真实的3D场景的3D坐标点被映射成原始图像100中的2D坐标点，然后可使 用原始图像100的2D坐标系中的裁剪105的拐角的位置依次将场景中的相关3D坐标点映 射为针对放大图像200限定的不同的2D坐标系中的2D坐标点。这将从参照图3起更详细 地进行描述。如将说明的，由于裁剪具有由于透透视角校正导致的非矩形形状，因而不能将 针对原始图像100限定的2D坐标系直接用于放大图像200,故使用裁剪105的拐角点的额 外的映射处理是必需的。
[0049] 只要屏幕标记器被正确地校准（随后将对其进行说明），那么这个映射就能被屏 幕标记器使用，以便在放大图像200上电子地绘制虚拟图像。即，场景的虚拟3D图中生成 的图像特征可适当被映射至放大图像200中的像素位置。场景的虚拟3D图是由在场景的 3D坐标系中限定的图形图像特征组成的。
[0050] 图3示出了图1的图像100和裁剪105。然而，现在可以看出已针对图像100限定 了 2D坐标系，并且已标记了裁剪105四个拐角点A、B、C和D的坐标。具体地，拐角点A具 有2D坐标系中的位置（xA，y A)，拐角点B具有位置（xB，yB)，拐角点C具有位置（xc，y。）并且 拐角点D具有位置（xD，yD)。在这个实例中，2D坐标系已被实施使得矩形图像100在X方向 上从-1延伸至+1并且在y轴方向上从-a延伸至+a(其中，a =图像高度/图像宽度）。 当然，可使用任何其他适合的界限，诸如坐标在X方向和y方向均从-1延伸至+1。
[0051] 因此，有利地，在实施方式中，为了使屏幕标记器知道将从场景的虚拟3D图生成 的虚拟图像定位在放大图像200上的何处所需要的是在捕获的图像100的预定2D坐标系 中的拐角点A、B、C和D的坐标位置。在裁剪105的生成过程中必然生成这些拐角坐标位 置。具体地，如权利要求1中公开的，为了生成裁剪105,根据虚拟摄像机的偏转、俯仰、横滚 和缩放来变换预定的矩形平面，以便参照针对场景的图像限定的2D坐标系来限定裁剪105 的形状和位置。这个预定矩形平面的拐角的变换的坐标将会是图3中示出的拐角A、B、C和 D的坐标位置。
[0052] 拐角坐标位置能够以虚拟摄像机的放大图像200的每个帧由的屏幕标记器接收。 例如，坐标位置（x A，yA)、（xB，yB)、（xc，y c)和（xD，yD)可被包括在放大的视频图像200的视 频数据包的辅助数据中。可替换地，坐标位置可单独接收到放大视频图像数据。例如，这可 以经由以太网连接。当然，可使用任何适合的方法将坐标位置传输到屏幕标记器。
[0053] 图4示出了用于从最初捕获的图像100生成透视角校正的放大图像200的虚拟摄 像机裁剪生成器400。通过裁剪生成器400将放大图像200作为视频馈送（video feed)输 出。裁剪生成器400是如对比文件1中所公开的。此外，生成器输出拐角点A、B、C和D的 坐标位置（x A，yA)、（xB，yB)、（xc，y c)和（xD，yD)(这些还可以被简单地称为拐角坐标）。裁 剪生成器400能够执行这个是因为通过屏幕标记器应用于图像100的2D坐标系还通过裁 剪生成器应用于图像100。换言之，在图像100上实施的2D坐标系在裁剪生成器400与屏 幕标记器之间是同步的。
[0054] 图5示出了根据实施方式的屏幕标记器500。屏幕标记器500包括用于接收来自 虚拟摄像机裁剪生成器400的视频馈送的视频馈送接收器502。所以放大图像200是通过 视频馈送接收器502接收的。屏幕标记器还包括拐角坐标接收器504。拐角坐标接收器接 收裁剪105的拐角A、B、C和D的拐角坐标。在实施方式中，将理解的是视频馈送接收器502 和拐角坐标接收器504可包括在单个的接收器内而不是作为两单独的接收器，如图5中所 /Jn 〇
[0055] 当接收放大图像200和对应组的拐角坐标时，拐角坐标被传送到单应性确定单元 506。单应性确定单元506从针对裁剪拐角A、B、C和D的拐角坐标确定裁剪105内限定的 原始图像100的2D坐标点的组与针对放大图像200限定的不同的2D坐标系中的限定的2D 坐标点的组之间的单应性。针对放大图像200限定的2D坐标系可被用于限定放大图像200 的像素位置。
[0056] 2D裁剪坐标与2D放大图