对焦跟踪系统与方法

1.本公开涉及摄像领域，具体地，涉及一种对焦跟踪系统与方法。


背景技术：

2.超高清相机的景深较窄，使得任何轻微的离焦对于人眼而言都是非常明显的。因此，需要精确的对焦跟踪系统，以使得最终拍摄的图像清晰。


技术实现要素：

3.本公开的目的是提供一种对焦跟踪系统与方法，能够使最终拍摄的图像清晰。
4.根据本公开的第一实施例，提供一种对焦跟踪系统，包括主相机、辅相机、同步系统和对焦控制系统，其中：所述主相机包括第一可调焦镜头和第一对焦伺服马达，所述第一对焦伺服马达用于驱动所述第一可调焦镜头进行对焦；所述辅相机包括第二可调焦镜头和第二对焦伺服马达，所述第二对焦伺服马达用于驱动所述第二可调焦镜头进行对焦，所述第二可调焦镜头内部安装有编码光圈，而且所述辅相机具有与所述主相机相当的光学参数；所述同步系统，用于使所述主相机拍摄的图像和所述辅相机拍摄的图像进行帧级同步，得到帧级同步主相机图像和帧级同步辅相机图像；以及所述对焦控制系统，用于利用所述编码光圈的编码图案和所述帧级同步辅相机图像中离焦后的图像，计算离焦偏移，并基于所述离焦偏移，向所述第一对焦伺服马达和所述第二对焦伺服马达发送对焦信号。
5.根据本公开的第二实施例，提供一种对焦跟踪方法，应用于对焦跟踪系统，所述对焦跟踪系统包括主相机、辅相机、同步系统和对焦控制系统，所述主相机包括第一可调焦镜头和第一对焦伺服马达，所述第一对焦伺服马达用于驱动所述第一可调焦镜头进行对焦，所述辅相机包括第二可调焦镜头和第二对焦伺服马达，所述第二对焦伺服马达用于驱动所述第二可调焦镜头进行对焦，所述第二可调焦镜头内部安装有编码光圈，而且所述辅相机具有与所述主相机相当的光学参数；所述方法包括：使所述主相机拍摄的图像和所述辅相机拍摄的图像进行帧级同步，得到帧级同步主相机图像和帧级同步辅相机图像；以及利用所述编码光圈的编码图案和所述帧级同步辅相机图像中离焦后的图像，计算离焦偏移；基于所述离焦偏移，执行所述第一可调焦镜头和所述第二可调焦镜头的对焦。
6.通过采用上述技术方案，由于同步系统能够使主辅相机拍摄的图像进行帧级同步，对焦控制系统能够利用第二可调焦镜头内部安装的编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像，计算离焦偏移，并基于离焦偏移，向第一对焦伺服马达和第二对焦伺服马达发送对焦信号，因此能够实现精确的变焦和对焦，使得最终拍摄的图像清晰。
7.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
8.附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
9.图1是根据本公开一种实施例的对焦跟踪系统的示意框图。
10.图2是根据本公开一种实施例的对焦跟踪系统的又一示意框图。
11.图3是根据本公开一种实施例的对焦跟踪方法的流程图。
具体实施方式
12.以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
13.图1是根据本公开一种实施例的对焦跟踪系统的示意框图。如图1所示，该对焦跟踪系统包括主相机1、辅相机2、同步系统3和对焦控制系统4。
14.主相机1是对焦跟踪系统的主要视频源，其可以是超高清相机或者其他类型的相机。超高清相机的景深较窄。例如，8k超高清相机的像素数量是高清相机的16倍，因此超高清相机的像素大小也要小得多，则，受物理定律的限制，使用光学系统时，超高清相机的景深会缩小几倍。
15.主相机1包括第一可调焦镜头11和第一对焦伺服马达12，第一对焦伺服马达12用于驱动第一可调焦镜头11进行对焦。第一可调焦镜头11可以安装在主相机1的相机头上。第一可调焦镜头11的对焦可以有两种模式，一种是手动模式，一种是自动对焦跟踪模式。在手动模式下，相机对焦可以由操作员执行，也可以进行远程控制。当有人调整对焦时，第一可调焦镜头11将以手动模式进行对焦。在自动对焦跟踪模式下，第一对焦伺服马达12将从对焦控制系统4接收对焦信号，并基于对焦信号驱动第一可调焦镜头11进行对焦。
16.主相机1通常使用串行数字接口(serial digital interface，sdi)或高清多媒体接口(high
‑
definition multimedia interface，hdmi)输出其所拍摄的视频和音频信号。
17.辅相机2通常使用sdi或hdmi接口输出视频和音频信号。辅相机2的视频分辨率可以与主相机1相同或更低。
18.辅相机2包括第二可调焦镜头21和第二对焦伺服马达22，第二对焦伺服马达22用于驱动第二可调焦镜头21进行对焦。第二可调焦镜头21的对焦可以有两种模式，一种是跟随模式，一种是自动对焦跟踪模式，以确保第二可调焦镜头21始终具有与第一可调焦镜头11相同的对焦。当第一可调焦镜头11通过手动模式进行对焦时，第二可调焦镜头21以跟随模式进行对焦，也即，对焦控制系统4会从第一可调焦镜头11获取其对焦距离，然后将该对焦距离发送给第二对焦伺服马达22，由第二对焦伺服马达22驱动第二可调焦镜头21将其对焦距离调整为与第一可调焦镜头11的对焦距离相同的值。在第一可调焦镜头11处于自动对焦跟踪模式的情况下，第二可调焦镜头21将以自动对焦跟踪模式进行对焦，也即第二对焦伺服马达22将从对焦控制系统4接收对焦信号，并基于该对焦信号驱动第二可调焦镜头21进行对焦。
19.辅相机2需要具备与主相机1相当的光学参数范围，也即处于同一水平或者相同的光学参数，这是因为辅相机2被用于估计主相机1的视野覆盖范围、曝光度、虚焦程度等因素，因此通过具有与主相机1相当的光学参数，能够在主相机1的参数发生调整时，辅相机2可以调整到同样的参数。例如，辅相机2的动态范围应与主相机1处于同一水平或相当；第二可调焦镜头21与第一可调焦镜头11共享相同的对焦范围/光圈范围参数，但不一定具有相同的质量；辅相机2具有与主相机1相同的曝光水平，为了实现相同的曝光水平，辅相机2可
以使用nd/end滤镜以降低光强度；第二可调焦镜头21具有与第一可调焦镜头11相同的焦距范围；辅相机2的快门速度将跟随主相机1的快门速度而变化。
20.第二可调焦镜头21内部安装有编码光圈，也即在第二可调焦镜头21的光圈位置具有存在着有编码图案的遮罩。由于编码光圈是安装在第二可调焦镜头21的光圈上，缩小光圈或者半开光圈将会改变编码光圈的成像，因此，编码光圈固定为全开。
21.另外，辅相机2安装在主相机1上或者与主相机1相邻，而且辅相机2的光轴与主相机1的光轴平行，辅相机2的焦平面尽可能地靠近主相机1的焦平面。如果两个焦平面不在同一平面上，则需要校准聚焦偏移。
22.同步系统3，用于使主相机1拍摄的图像和辅相机2拍摄的图像进行帧级同步，得到帧级同步主相机图像和帧级同步辅相机图像。帧级同步指的是多个相机在拍摄视频的时候，每一帧的开始曝光和结束曝光的时间同步。通过采用帧级同步，可以认为多个相机所拍摄到的画面是同一时刻的影像，也即实现了主辅相机拍摄的图像的帧同步对齐。
23.同步系统3可以采用各种各样的方式来实现上述的帧级同步。
24.例如，同步系统3可以使用同步锁相机制、主从控制机制等来实现上述的帧级同步。同步锁相机制、主从控制机制等可以被内置在主相机1和辅相机2内部，这样，在主相机1和辅相机2进行拍摄的时候就能够实现主相机1拍摄图像与辅相机2拍摄图像的帧级同步。
25.再例如，同步系统3还可以使用时间戳、音频同步机制等来实现上述的帧级同步。也即，同步系统3从主相机1和辅相机2分别接收其所拍摄的图像，然后通过检测时间戳的方式、音频同步的方式等来实现主辅相机拍摄图像的帧级同步。
26.对焦控制系统4，用于利用编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像，计算离焦偏移，并基于离焦偏移，向第一对焦伺服马达12和第二对焦伺服马达22发送对焦信号。
27.在一些实施例中，对焦控制系统4可以利用编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像进行反卷积计算得到离焦偏移。也即，由于编码光圈是安装在第二可调焦镜头21内部的，所以将在辅相机2拍摄到的图像的模糊区域上出现编码图案。当将第二可调焦镜头21安装在辅相机2上时，对该编码图案进行校准，并利用此信息并使用反卷积算法来计算模糊区域的离焦偏移。
28.通过采用上述技术方案，由于同步系统能够使主辅相机拍摄的图像进行帧级同步，对焦控制系统能够利用第二可调焦镜头内部安装的编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像，计算离焦偏移，并基于离焦偏移，向第一对焦伺服马达和第二对焦伺服马达发送对焦信号，因此能够实现精确的变焦和对焦，使得最终拍摄的图像清晰。
29.图2是根据本公开一种实施例的对焦跟踪系统的又一示意框图。如图2所示，对焦跟踪系统还包括动态范围增强系统5，用于：首先，将帧级同步辅相机图像映射到帧级同步主相机图像上，也即，来自辅相机的视频信号可能比主相机的分辨率低，但是由于它们共享相同的快门速度并且光轴平行，因此可以使用光学算法将来自辅相机的图像映射到主相机图像上；然后，基于映射结果，计算帧级同步辅相机图像和帧级同步主相机图像的色差，从而得到色彩校正参数；然后，基于色差对帧级同步辅相机图像进行色彩校正，得到与主相机1色彩响应一致的色彩校正后帧级同步辅相机图像，之所以进行色彩校正，是因为在本公开中是使用辅相机2对主相机1的信号进行增强、但是两个相机之间的色彩响应有可能存在着
差异，因此在进行动态范围增强之前，需要先将辅相机2的彩色信号通过色彩校正、形成与主相机1响应一致的彩色信号；然后，利用色彩校正后帧级同步辅相机图像中的光强信号，对帧级同步主相机图像进行动态范围增强。
30.由于在设置大光圈值的情况下，相机的进光量减少，画面变暗，动态范围降低，因此通过上述的动态范围增强方案，就能够将由光圈值增大所导致的动态范围降低补偿回来，使得在利用大光圈值提升景深距离的情况下，通过动态范围增强来补偿调整光圈而损失的质量。
31.继续参考图2，根据本公开实施例的对焦跟踪系统还可以包括离焦检测与信号视觉增强系统6，用于：检测动态范围增强后的帧级同步主相机图像的离焦区域，并生成对应的掩膜，其中可以使用深度学习算法进行检测；基于掩膜将动态范围增强后的帧级同步主相机图像分成多个区域，例如，基于掩膜将动态范围增强后的帧级同步主相机图像按照离焦与否分成多个区域；利用信号视觉增强算法，例如生成式对抗网络(generative adversarial networks，gan)，来增强多个区域(主要是离焦区域)的视觉体验；将视觉增强后的多个区域重新组装成与动态范围增强后的帧级同步主相机图像的规格相同的输出信号。
32.通过采用上述技术方案，就能够通过信号视觉增强来提升离焦部分的图像质量，使得整体图像变得清晰。
33.图3是根据本公开一种实施例的对焦跟踪方法的流程图。该对焦跟踪方法应用于对焦跟踪系统，该对焦跟踪系统包括主相机1、辅相机2、同步系统3和对焦控制系统4，其中主相机1包括第一可调焦镜头11和第一对焦伺服马达12，第一对焦伺服马达12用于控制第一可调焦镜头11进行对焦，辅相机2包括第二可调焦镜头21和第二对焦伺服马达22，第二对焦伺服马达22用于控制第二可调焦镜头21进行对焦，第二可调焦镜头21内部安装有编码光圈，而且辅相机2具有与主相机1相当的光学参数。该对焦跟踪方法包括：
34.在步骤s31中，使主相机1拍摄的图像和辅相机2拍摄的图像进行帧级同步，得到帧级同步主相机图像和帧级同步辅相机图像；以及
35.在步骤s32中，利用编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像，计算离焦偏移；
36.在步骤s33中，基于离焦偏移，执行第一可调焦镜头11和第二可调焦镜头21的对焦。
37.通过采用上述技术方案，由于能够使主辅相机拍摄的图像进行帧级同步，利用第二可调焦镜头内部安装的编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像，计算离焦偏移，并基于离焦偏移，执行第一可调焦镜头和第二可调焦镜头的对焦，因此能够实现精确的变焦和对焦，使得最终拍摄的图像清晰。
38.可选地，所述光学参数包括动态范围、对焦范围、光圈范围、曝光水平、焦距范围和快门速度。
39.可选地，所述使主相机拍摄的图像和辅相机拍摄的图像进行帧级同步，包括：利用同步锁相机制、主从控制机制、时间戳机制和音频同步机制中的至少一者来使所述主相机拍摄的图像和所述辅相机拍摄的图像进行帧级同步。
40.可选地，所述利用编码光圈的编码图案和帧级同步辅相机图像中离焦后的图像，
计算离焦偏移，包括：利用所述编码光圈的编码图案和所述帧级同步辅相机图像中离焦后的图像进行反卷积计算得到所述离焦偏移。
41.可选地，所述对焦跟踪方法还包括：将所述帧级同步辅相机图像映射到所述帧级同步主相机图像上；基于映射结果，计算所述帧级同步辅相机图像和所述帧级同步主相机图像的色差；基于所述色差对所述帧级同步辅相机图像进行色彩校正，得到与所述主相机色彩响应一致的色彩校正后帧级同步辅相机图像；利用所述色彩校正后帧级同步辅相机图像中的光强信号，对所述帧级同步主相机图像进行动态范围增强。
42.可选地，所述对焦跟踪方法还包括：检测动态范围增强后的帧级同步主相机图像的离焦区域，并生成对应的掩膜；基于所述掩膜将所述动态范围增强后的帧级同步主相机图像分成多个区域；利用信号视觉增强算法增强所述多个区域的视觉体验；将视觉增强后的所述多个区域重新组装成与所述动态范围增强后的帧级同步主相机图像的规格相同的输出信号。
43.可选地，所述信号视觉增强算法为生成式对抗网络。
44.根据本公开实施例的对焦跟踪方法中各个步骤所执行操作的具体实施方式已经在相关对焦跟踪系统中进行了详细描述，此处不再赘述。
45.以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。
46.另外需要说明的是，在上述具体实施方式中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合。为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
47.此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。