用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统的制作方法

本发明涉及一种用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统。

背景技术：

为了将虚拟对象无缝集成到真实场景中(也称为增强现实)，已知要解决两个问题。一方面要确定摄像机坐标系和场景坐标系之间的转换，另一方面，要通过通常在前景中的真实对象来确定对通常投射在背景中的虚拟对象的遮挡。

在电视转播或广播领域，有意义的是尽可能非机械地解决上述两个问题，即无需额外使用标记或传感器。这允许了更短的组装时间，并降低了要全部现场组装的转播系统的复杂度。而在实况转播的情况下恰恰需要将大部分设备运送到使用地点再接着进行组装和拆除。

为了解决转换问题，一方面有基于硬件的解决方案，例如“编码云台”(例如来自vinten.com)，另一方面有基于软件的可视化操作的解决方案。这两个解决方案都提供映射x＝m(x)，其允许将3d空间中的虚拟对象的3d坐标x映射到当前摄像机图像中的摄像机坐标x。

至今已知的分割方法需要所谓的键控指示，例如特定的背景颜色(例如色度键控或红外键控)。然而，这些机械解决方案具有上面提到的缺点，因为键控指示必须安装在转播地。

技术实现要素：

本发明的任务是避免上述缺点。

为了实现该任务，建议一种用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的系统，其包括：

至少一个图像记录设备，

至少一个分析模块，其与图像记录设备相连接，该分析模块设置为，确定图像记录设备的二维坐标系与显示设备的二维坐标系之间的转换，进行分割，以在图像中至少确定前景对象对背景对象的遮挡，

至少一个控制模块，其与分析模块相连接，

至少一个显示设备，其设置为，显示显示信息，特别是视频剪辑，其中，图像记录设备设置为，记录显示设备上显示的显示信息，

其中，分析模块还设置为，确定关于分割的质量数据并将其发送到控制模块，并且

其中，控制模块设置为，基于该质量数据调整在显示设备上显示的显示信息。

通过考虑关于分割的质量数据，可以获得关于前景和背景是否彼此充分对比的结论。在对比度不足的情况下，可以调整显示信息，从而可以在不改变前景的情况下生成高对比度的背景。

该系统还可以具有与控制模块和显示设备相连接的数据库，其中，该数据库设置为，存储要在显示设备上相继显示的显示信息序列。数据库例如可以是媒体服务器的一部分。媒体服务器将要播放的显示信息(例如视频剪辑)传输到显示设备。

在此优选的是，控制模块设置为，改变存储的显示信息的序列。换句话说，控制模块可以指示媒体服务器在显示设备上输出或显示特定的显示信息。为了通过控制模块实现最佳调节，从媒体服务器向显示设备输出的显示信息(视频剪辑)也可以传输到控制模块。

分析模块可以设置为，在分割时应用并最小化能量函数，其中，该能量函数基于前景对象和背景对象的概率分布或/和像素的概率分布。前景和背景中的分割(中间值，例如半遮挡或模糊也是可能的)用y表示。

在此使用的分割方法不需要键控指示，但可以分离任意的前景对象和背景对象。在此定义了应最小化的能量函数e(y)。e(y)可以对应于正确确定遮挡的概率的负对数。凸优化方法允许在考虑到每个单独像素的情况下有效且最佳地最小化能量，即最大化相应的概率。然而，对于能量函数e(y)的最小化来说，关于背景和前景的外观的先验知识是必要的，特别是以概率分布f(前景)和b(背景)或像素分布f_i和b_i的形式，其中i表示特定像素。

由于可能的亮度变化或外观变化，需要更新这种先验知识，这会导致漂移(模型逐渐偏离现实)。漂移问题可以通过上述反馈机制来抵消，在该反馈机制中，关于分割的质量数据被传输到控制模块且控制模块基于该质量数据调整显示信息。因此，这实现了具有改良性能的当前分割方法的应用。特别是，反馈通过显示设备进行，优选led系统，例如在许多体育赛事中用于横幅广告的led系统。

控制模块还可以设置为，针对序列的剩余显示信息确定在哪个显示信息中，图像记录设备的预期的前景概率分布与预期的背景概率分布区别最大。

控制模块还可以设置为，针对相关的图像记录设备计算概率映射，其中，该概率映射描述当显示设备显示剩余显示信息之一时，相关图像记录设备的图像中存在哪个概率分布。

控制模块还可以设置为，基于显示设备的坐标系中的d与图像记录设备的坐标系中的x之间的时变2d-2d映射x＝f(d)来确定概率映射。该2d-2d映射f可以例如通过使用x＝m(x)来确定，其中x是显示器点d的物理位置x。

控制模块可以设置为，基于显示设备和相关的图像记录设备之间的辐射校正来确定概率映射。

可以在显示设备上布置多个任意设计的校正标记，这些校正标记能够被图像记录设备检测到，以便简化显示设备的坐标系和图像记录设备的坐标系之间的2d-2d转换f。为了不必定期设置和拆除这样的校正标记，显示设备可以永久地具有这样的校正标记。校正标记也可以设计为，使得记录设备和显示器之间的辐射校正是可能的。

控制模块还可以设置为，将校正信息添加到显示信息序列中，其中显示设备设置为显示该校正信息。在此，校正信息可以包括至少一个单独的单色图像，其中，该图像具有至少一帧或刚好一帧的显示持续时间，并且其中，该图像优选具有与前景对象具有高对比度的颜色。如果校正信息作为单色图像在显示设备上仅显示一帧的持续时间，则对于显示设备的观看者来说，该校正信息不能用肉眼看到。但显示设备上显示的校正信息被图像记录设备记录，从而使相关的帧可以用于更新关于前景对象和背景对象的知识，因为对于该帧来说，背景具有哪种颜色是已知的。

上述任务还通过一种用于图像或/和图像序列中的前景和背景之间的动态对比度最大化的方法来实现，其包括以下步骤：

通过至少一个图像记录设备检测至少一个图像，

计算图像记录设备的二维坐标系与显示设备的二维坐标系之间的转换，

进行分割，以在图像中至少确定前景对象对背景对象的遮挡，

在显示设备上显示显示信息，特别是视频剪辑，其中，显示设备上显示的显示信息由图像记录设备记录，

其中，在分割时确定关于分割的质量数据，并且基于该质量数据调整在显示设备上显示的显示信息。

该方法还可以根据上述系统的特征包括其他可选步骤。相应地，该方法的其他可选方面可以直接从这些特征导出。

附图说明

以下参考附图示例性地且非限制性地对本发明进行说明。

图1示出了这里介绍的系统的示意图。

具体实施方式

用于动态对比度最大化的系统10包括多个图像记录设备c1、c2、ck(由c2下方的三个黑点表示)和多个分析模块a1、a2至ak(由a2下方的三个黑点表示)。每个摄像机c1、c2对应一个分析模块a1、a2。

摄像机c1、c2、ck将适当的数据s1k传输给各个分析模块a1、a2、ak。分析模块a1、a2、ak确定(1)l的显示坐标系中的2d坐标和各个摄像机c1、c2、ck的图像坐标系中的2d坐标之间的当前的2d-2d映射f1、f2、fk，并确定(2)逐像素的遮挡。根据分析模块，数据s1k是纯光学的，但也可以包括来自步进传感器、加速度传感器等的传感器数据。映射fk可以手动校正，或者使用自动校正方法校正。

分析模块a1、a2、ak的输出数据s2k描述特定映射fk和关于遮挡的元数据。该输出数据传输给控制模块k。

在另一方向上(由箭头tcp表示)，元信息从控制模块k流向分析模块ak，以改进分割。

此外，控制模块k经由网络连接到数据库d，在该数据库中存储有可以显示在led系统l上的显示信息(视频剪辑)。控制模块特别是有通过网络对具有视频剪辑数据库d的媒体服务器的控制访问权限。媒体服务器将要播放的视频剪辑或显示信息z发送给led系统l。

控制模块k设置为，指示媒体服务器通过图像传输协议bp(例如通过hdmi、sdi、displayport或sdiovertcp)向显示设备l输出特定的显示信息或视频剪辑z。当前输出的视频剪辑又通过bp反馈到k以进行调节。

应特别注意的是控制模块k选择应在显示设备l上显示的视频材料(显示信息)的根据和具有向摄像机c1、c2的反馈的控制回路。通常，视频材料(视频剪辑)是创建在播放列表中的先验，其在事件(例如特定体育项目的比赛)的转播过程中在无改编可能的情况下播放。

在本发明中，控制模块k设置为，动态地调整剩余的显示信息或视频剪辑z的顺序r，以尽可能好地获得分割结果。

为此，在元数据s2k中传输关于分割质量(质量数据)的度量，例如最小化后产生的分割能量ek(l)。如果该能量在一个或多个摄像机c1、c2、ck中超过可接受的数值，则视频剪辑顺序被动态调整为剩余的视频剪辑序列。如在开头所提到的，所使用的分割方法不需要键控指示，但可以分离任意的前景对象和背景对象。在此定义了应最小化的能量函数e(y)。e(y)可以对应于正确确定遮挡的概率的负对数。凸优化方法允许在考虑到每个单独像素的情况下有效且最佳地最小化能量，即最大化相应的概率。然而，对于能量函数e(y)的最小化来说，关于背景和前景的外观的先验知识是必要的，特别是以概率分布f(前景)和b(背景)或像素分布f_i和b_i的形式。

在下面的等式中，l表示剩余能量ek(yk)最大的分析模块，即，分割最有可能不正确或是最不确定的。这表明前景和背景之间的对比度很差。

l＝arg_kmaxek(yk)

相应地，例如针对所选择的摄像机cl确定映射gl(z)，该映射描述在led系统l播放显示信息或视频剪辑z时，在cl的摄像机图像中存在哪个概率分布(在哪个像素处)。gl考虑到从led系统l到摄像机cl的2d-2d映射fl和从led系统l到摄像机cl的辐射校正的背景信息。

针对每个可能在序列中剩余的视频剪辑zm(显示信息)确定映射gl(zm)。下一个播放的是摄像机cl的前景的概率分布fl与摄像机c1的背景的预期概率分布gl区别最大的剪辑zn：

n＝arg_mmaxd(fl,gl(zm))

用于比较前景分布和背景分布的度量d例如是kl散度(kullback-leibler-divergenz)。

在此描述的系统10和对应的方法步骤能够周期性地，即在剩余能量ek由于不准确的知识而提高时，更新每个摄像机图像中的关于前景外观和背景外观的知识，并由此主动防止漂移(模型逐渐偏离现实)。

在此描述的显示设备l可以是led系统，例如以场边广告的形式。led系统l内部具有控制盒，该控制盒通过图像传输协议(例如hdmi等)接收适当准备的视频信号。此外，led系统具有多个所谓的箱体，每个箱体可以显示整个图像的一小部分并且与控制盒相连接。在此，控制盒向每个箱体传输原始视频的一个图像片段。为简单起见，可以假设led系统对应于常规屏幕，只是led系统的结构可以更加灵活，例如不须选择矩形布局。

应指出的是，在此描述的系统10也可以是上一级电视转播系统的一部分，正如在由同一申请人在同一天提交的题为“用于生成增强图像的电视转播系统”的申请中所描述的那样。在上述申请所描述的系统中，在此描述的控制模块可以包含在控制模块18中。在此描述的显示设备可以包含在上述申请所描述的led系统20中。