混合式精确跟踪的制作方法【专利说明】[0001]相关申请的交叉引用[0002]本申请要求2012年4月13日递交的、序列号为61/624,145的共同未决的临时申请的权益，且在此通过引用将其全部内容并入，以及要求于2013年3月14日递交的、序列号为61/785,517的共同未决的临时申请的权益，且在此通过引用将其全部内容并入。
技术领域：
[0003]本申请涉及用于将视频、电影、数字式摄像机等中的真实场景元素与虚拟摄像机中的虚拟场景元素结合成最终的合成图像的系统和方法，并且更具体地，涉及用于使虚拟场景元素与实景拍摄（liveaction)场景元素以高精确度相匹配的系统和方法。[0004]背景[0005]将真实世界影像与另一种来源中的另外的影像相结合，需要针对每个图像的哪些部分将被用在最终的合成图像中进行小心控制。一个常见应用是将通过计算机生成的图像与从传统的电影、视频或数码摄像机获得的图像相结合。为了无缝结合这些图像，从虚拟场景摄像机的角度看的摄像机参数必须紧密匹配于实景拍摄摄像机的参数。此外，针对在片场和在现场的应用的用途，必须快速完成虚拟场景和实景拍摄场景之间的匹配，优选地大约在短短几毫秒内完成匹配，以便在每秒24到30帧的标准电影和电视制作的帧速率下是可用的。[0006]可以以各种方式实现跟踪实景拍摄摄像机和镜头。（参见2010年7月8日递交的、序列号为12/832,480的、题目为"MethodsandSystemsforCalibratinganAdjustableLens"的美国专利申请，其在2011年2月3日以出版物编号20110026014进行公布，且被发布为美国专利8,310,663('663)，在此通过引用将其全部内容并入。）对实景拍摄摄像机的位置和方向的测量可以通过利用光学编码器解算出位于场景上空或者场景中的基准标记的姿势、通过利用惯性加速计挨个匹配图像的高对比度点、以及领域中常见的许多其它方法来实现。[0007]在摄像机本身处测量摄像机的角倾斜（平移、倾斜及滚动）的实时测量方法存在一个共同问题。角度测量结果中的小误差在投射出几英尺（其是大多数实景拍摄景物和虚拟景物接合所位于的地方）时变成大的位置误差。在摄像机被移动时，这可以清楚地在合成图像中观察出虚拟元素和实景拍摄元素之间的移位和滑动。[0008]解决该高度精确接合的传统方法是使用后期制作软件工具，例如SyntheyeS、3D均衡器、Boujou、PFTrack或者Nuke，这些工具方向和跟踪逐个帧中的多个高对比度区域。通过分析屏幕上的若干点的相对运动，可以推导出实景拍摄摄像机的运动和镜头参数，虚拟背景的运动整齐匹配于实景拍摄前景。[0009]该过程具有若干限制。首先，如果演员走到被跟踪的高对比度区的前方，则可能容易破坏摄像机解决方案数学运算。其次，通过跟踪图像的高对比度部分的各个像素来测量运动的过程既不确定又耗时。其通常不能进行实时计算，并且如果实景拍摄图像的帧发生光线变化，其中图案是不能识别的，那么艺术家必须重新指定帧中的高对比度区，从而无法继续该过程。实际上，解决在任意的移动背景下的准确的摄像机跟踪的过程可能由于所需的手工作业而超过完成剩余的拍摄所需的时间。[0010]此外，如果实景拍摄摄像机被放大，那么被跟踪的高对比度区可能完全从图像中消失，导致摄像机无法跟踪对象。众所周知该算法很难用来根据多个拍摄推导出摄像机的固有参数，其中摄像机同时改变其焦距（"放大"）和进行移动。[0011]因此，基于纯像素跟踪的方法不能很好地用于实时视觉效果处理的需求，其必须是计算非常快速以及对实景拍摄视频图像中的帧和帧之间的变化和用于记录图像的电影镜头的调整的变化具有鲁棒性。[0012]现有技术的系统是PREVIZI0N系统，其可从加利福尼亚的LightcraftTechnology,LLCofVenice购买。PREVIZI0N系统包括摄像机跟踪系统、镜头校准系统、实时合成系统以及内置3D渲染器。揭示现有技术的PREVIZI0N系统的公开的实例是在2011年4月8日公开的、题目为"PrevizionSpecifications2011"的PREVIZI0N产品册子，通过引用将其内容并入。【
发明内容】[0013]本文公开了混合式精确跟踪系统的各个实施方式。在一个实施方式中，艺术家勘测放置在虚拟景物将加入实景拍摄的台上的人工高对比度标记点的3D中心位置。艺术家接着将这些点的位置输入到计算机系统中。艺术家从实景拍摄图像中选择与在实景拍摄场景中测量的高对比度标记点的3D中心位置相关联的点。可以使用实景拍摄图像的2D显示选择这些点，例如通过在期望方位中的明显标记上定位指针，并且按下选择键。[0014]连接到计算机系统的实景拍摄摄像机和镜头正被摄像机和镜头跟踪系统跟踪，使得实景拍摄摄像机和镜头参数是接近已知的。然后计算机可以预测3D勘测点应该在2D屏幕上的哪个位置，并且在那里显示虚拟标记。[0015]上述过程生成已知的3D位置的点的列表、这些点的预测的2D屏幕位置、以及实际的2D屏幕位置。最小化3D勘测点的预测的2D屏幕位置与3D勘测点的实际2D屏幕位置之间的误差的过程可以产生高度精确跟踪的解决方案。[0016]由于可以通过点击实景拍摄对象产生2D与3D的关联，故从当前实景拍摄摄像机的位置中观察到2D表示。为了准确对准3D勘测点，其可以从具有与实景拍摄摄像机相同的位置、方向和镜头参数的虚拟摄像机中投射。可以使用如在上述'633专利中描述的摄像机和镜头校准系统来将虚拟摄像机校准到实景拍摄摄像机。[0017]针对高度准确性，系统快速检测场景标记的光学中心。在本公开内容的一方面中，标记是圆形点。对点的检测可以通过在GPU上进行优化的一系列操作来实现。在一个实施方式中，该操作集可以包括：边缘或者斜率检测；移除平行线以选择圆形标记；沿着当前斜率的法线搜索圆的相对侧，从而确定该圆的中心点的候选；利用所有中心线的累积，表决选出最可能的中心点；以及利用快速数据传送，例如几何图形着色程序，将最高权重点读出到CPU。[0018]这样做之后，通过针对摄像机的平移、倾斜和滚动旋转轴执行最小平方或者类似的误差最小化解决方案以提供输入角度数据的增量角，可以最小化预测点的XY屏幕方位和实际的XY屏幕方位之间的增量。[0019]由于针对标记搜索整个屏幕在计算上代价很高，系统可以使用其标记XYZ位置的列表来预测XY投射的标记方位，并在仅在围绕标记位置的图案中，考虑所有摄像机和镜头参数（例如镜头视场和失真场）进行搜索。[0020]由于圆心的光学解决方案可能在帧与帧当中改变，引起在虚拟与实景拍摄接合中的明显"抖动"，该增量角进而可以通过Kalman或者其它低通滤波器移除""抖动""以进行滤除，从而产生平滑的运动，同时保持准确性。[0021]当从视野中移除对象时，同样滤除剩余的增量角以避免抖动。即使所有的标记都被排除，输入摄像机跟踪数据和最小化解决方案之间的增量角也维持原样，使得当标记出现在演员的另一侧时，它们可以被再次获得，且具有最小视觉假象。对解决方案的滤除增量角的关注意味着视觉解决对各自的标记封闭性具有鲁棒性。[0022]在传统的光学跟踪系统中，标记的XY位置促使求解焦距，并且轻微的标记不稳定性可引起焦距计算中的误差。利用本公开内容的混合方式，可以较早进行镜头焦距的计算且进行存储，并且标记运动可以快速稳定在XY空间中，而不失镜头焦距的准确性。[0023]两个组成部分（基于外部传感器的摄像机和镜头跟踪，以及基于像素的增量角计算）的分离使得实时使用该系统成为可能。此外，混合方式可以容易地操纵变焦和高失真的镜头。[0024]根据本公开内容的另一方面，还可使用3D勘测数据输入标记的3D方位。[0025]根据本公开内容的又一方面，可通过以下方式求解标记的XYZ位置：平移摄像机且从不同的视点拍摄两个或者两个以上的点图像，然后利用摄影测量学解决方案求解标记的XYZ位置。这使得系统在缺少外部勘测工具的情况下可以被使用。[0026]根据本公开内容的再一方面，本系统可以使用自然形成的特征，例如SIFT或SURF算法。[0027]根据本公开内容的又一方面，本系统可以扫描整个屏幕。[0028]根据本公开内容的另一方面，可以实时进行执行亚像素匹配所需的计算。[0029]根据本公开内容的又一方面，混合式精确跟踪可以自动处理镜头焦距或者失真的变化。[0030]根据本公开内容的再一方面，在制作过程中，可以用标准3D勘测坐标形式输入标记数据，并且由艺术家快速修改。[0031]根据另一方面，混合式精确跟踪方法可以用已经存在于实时合成和摄像机跟踪系统中的数据来实现。[0032]根据另一方面，可以使用霍夫变换或者其他相关变换以识别圆心。[0033]根据再一方面，本系统可以使用活动标记以生成小光点，其可从大多数方向被同样观察。[0034]根据再一方面，本系统可以利用人工条形码或者基准类型标记，其可快速被标准机器视觉技术识别。[0035]根据还又一方面，来自摄像机跟踪系统的当前摄像机运动数据可以被用于生成标记的"去模糊"图像。（这可以是重要的，以便操纵具有任意程度的摄像机运动的跟踪。）[0036]本文公开的是通过镜头的跟踪系统/方法，其在PREVIZI0N系统（或方法）中时，实现适用于实时设置扩展的亚像素的准确摄像机跟踪。也就是说，并入到PREVIZI0N系统中的通过镜头的跟踪使得系统成为能够进行亚像素的准确实时摄像机跟踪的实时VFX系统。利用该增强的跟踪准确性水平，虚拟摄当前第1页1 2 3 4