专利名称：颜色调整的制作方法
技术领域：
本发明涉及用于颜色调整的方法和设备。
背景技术：
诸如立体摄影、监视、TV制作、婚礼或运动摄像之类的各种专业的或半专业的应用 使用多个摄像机。随着数字静止画面和视频摄像机的可用性和可购性的增加，诸如聚会、博 物馆参观和假日之类的事件也被许多人记录下来。这提供了大的内容池，其中的内容可以 交换或者组合起来以便更好地表现事件。组合不同摄像机记录的过程包括帧精确时间同步、评估内容和选择包含最佳评估 内容的段(segments)。预期的结果是组合的画面或视频，组合的画面或视频看上去是无缝 和统一的，就好像它是从单个摄像机捕获的。不同的摄像机基于硬件和软件特性提供不同的记录质量。当不同的摄像机在 相同的条件下进行记录时，自动摄像机设置对不同摄像机产生不同的结果。用户也可 以定制它们的设置，比如白平衡、快门速度等等。这导致图像或视频的不同的颜色再现 (! 印1~0(111(^1011)，尽管图像或视频是在相同的时间、空间和物理条件下记录的。所述差别对 于各个摄像机而言可能是微妙的，但是当这些记录被放在一起时，场景的整体效果就混乱 (distracting)。在专业的制作中，通过调谐不同的摄像机参数以再现相同和自然的颜色来同步摄 像机。在后处理期间，诸如 Adobe Premiere Pro、Adobe Photoshop、Final Cut Pro 之类 的软件编辑器提供了校正差异的工具，通过手动地选择一个片段(clip)中的不同颜色作为 参考和根据该参考调整来自其他片段的颜色来校正差异。为了实现期望的匹配，用户不得 不尝试诸如最明亮的部分、中间色调、阴影、亮度、对比度等之类的若干个参数，这是很费时 的，并且在许多情况下，几乎是不可能的。
发明内容
本发明的目的尤其是提供一种改进的颜色调整。本发明由独立权利要求限定。有 利的实施例在从属权利要求中限定。根据本发明，通过在输入图像和参考图像中提供匹配的参考点、确定匹配参考点 的主色以及基于匹配参考点的主色变换输入图像中的颜色以获得输入图像，把输入图像中 的颜色调节到参考图像的颜色。本发明基于使用每个点处的主色来比较来自两个图像的代表性 (r印resentative)点，而不基于点自身的颜色值。使用主色的优点在于，它比各个像素值更 抗干扰。使用两个图像的匹配点的主色来计算应用于必须进行颜色校正的图像的变换(例 如线性变换)。根据用户偏爱性，可以使本发明成为完全自动或半自动的。在优选实施例中， 不需要任何附加信息，比如摄像机设置和照明情况(light conditions)。参照后面描述的实施例，本发明的这些和其他方面将是清楚明白的并得以阐述。
图1图示了本发明的第一实施例。
具体实施例方式图1图示了本发明的半自动的实施例。在这个方案中，用户不仅提供了参考图像 RI和需要被调整到参考图像RI的输入图像II，而且还提供了代表性点RP的匹配对。对 于参考图像RI和输入图像II这二者，在块10、20中计算代表性点处的主色。这在非常抗 彩色干扰的像素处给出了颜色信息。在优选实施例中，使用D. Comaniciu和P. Meer的在 Proceedings ICCV (2) 1999 年、第 1197-1203 页中的文章"Mean Shift Analysis and Applications”的均值偏移(mean-shift)算法来计算每个代表性点的主色。我们定义该局 部主色为其估计的密度(例如通过直方图估计的)在某个邻域(neighborhood)中是局部主 要的颜色。了解此内容的另一方式是，颜色空间的一部分中的主色是该颜色空间中该部分 的最典型的代表。我们从像素颜色开始计算局部主色的方式是通过密度斜率上升直到我们 达到局部主色。优选的算法，即均值偏移，在无需计算直方图或整个空间的任何其他密度估 计的情况下完成这项任务。该算法在所选像素的颜色值处开始，估计该点处的密度，估计该 密度的梯度，以及跳向更高密度的点。使用径向核进行估计。在我们的优选实现方式中，我 们使用大小为5ΔΕ (CIE实验室颜色空间中的标准距离)的高斯核。在简单的实施例中，在方块30中，计算色集差。在ID色差的情况下，所述差可以 计算为给定颜色空间中匹配主色的色坐标之间的标准算术差或给定颜色空间中匹配主色 的色坐标之间的比率。例如，主色集中两个颜色c和d的线性RGB中的差可以计算为c -d。于是在方块40中使用主色集中的差来借助于线性变换对输入图像II图像进行颜色调 整。例如，如果测试图像中的像素具有颜色a，那么它被变换为a +(c — d)。输出图像01 为输入图像Π的被调整到匹配参考图像RI的颜色的版本。然而，本发明不限于这个简单 的实施例，因为原则上可以使用任何使用拟合标准(例如最小二乘方)的、基于主色集中的 匹配点的变换函数(例如，线性的，二次的)，并且在这样的变换中，可以不需要作为独立步 骤的色集差计算30。在第二实施例(未示出)中，匹配参考点RP不需要由用户提供，而是将在参考图像 RI和输入图像II中被自动检测出。为此，从覆盖输入图像中视觉凸显区的区域中选择至 少一个属于代表性颜色的参考点RP，所述视觉凸显区例如大的和/或焦点对准(in focus) 的区，和/或前景或背景或显眼的对象。这样的区域和对象使用图像分割、前景/背景分类 技术或目标检测算法来计算。为了在两个输入图像中找到相同颜色的区域，所述代表性点 和它们相应的主色应当匹配。因此，以下面的方式基于来自输入图像的主色的空间和颜色 信息对来自输入图像的主色使用映射技术。整个图像得以处理，所有的局部主色得以提取。 所述映射被实现为在可能的映射的空间中从一个集合到另一个集合的搜索，该搜索最小化 了某个类型的变换(例如由3X3矩阵给出的线性变换)的最小拟合误差。所述变换可以在 许多颜色空间中进行，但是如前面提到的，我们优选的实现方式使用源RGB，其简单和快速， 而且还对我们的测试数据提供好的结果。本发明可以应用于其中来自多个摄像机的事件的视频记录被组合为概要(summary)的应用。本发明也可以应用于校正照明不佳的照片。一般而言，本发明可以应用 于利用自动的措施和半自动的措施这二者来对来自多个摄像机的图像进行颜色同步。硬件 实现在混合器(mixer)中是合适的，在混合器中，来自不同摄像机的视频被记录下来，以便 在线或离线编辑。所述实现方式对于编辑视频/照片、制作全景图像或从不同的记录中创 建视频糅合(mash-ups)是有用的。在视频的情况下，来自镜头或场景的关键帧可以用作计 算变换函数的输入图像，变换函数然后应用至(相同镜头/场景的)所有帧。总之，专业人员和半专业人员都把多个摄像机用于不同的目的，例如立体摄影、监 视、TV制作、和运动摄像。许多业余爱好者在比如婚礼、聚会和休假的社交事件中使用嵌入 移动电话中的摄像机或可携式摄像放像机(camcorder )。来自这样的事件的理想视频概要 会包含来自不同摄像机的最佳段。类似地，理想的照片拼贴或全景会包含最好地代表现实 的照片。然而，不同的摄像机再现相同对象的不同结果，这归因于摄像机质量、设置和照明 条件的差别。组合来自不同摄像机的记录需要颜色校正；否则效果是不调和的并且是非常 混乱的。现有的工具要求手动调谐若干参数以获得合意的匹配。在本发明的优选实施例中， 两个图像中的颜色被同步，而不需要任何关于摄像机设置和照明情况的附加数据。图像之 间的颜色偏移量通过来自匹配的代表性点的主色的差别来计算。然后使用线性变换来根据 偏移量值相对于一个图像变换另一个图像。可以使用本发明的实施例在具有期望的照明的 另一个图像的帮助下校正在某个位置处照明不佳的图像。应当注意，上述实施例说明了而非限制了本发明，本领域技术人员将能够设计出 许多可替换的实施例，而没有背离所附权利要求的范围。在权利要求书中，放置在括号之间 的附图标记不应当解释为限制了权利要求。词“包括”不排除除权利要求中列出的那些元件 或步骤之外的元件或步骤的存在。元件前面的词“一”不排除多个这样的元件的存在。本 发明可以借助于包括各种不同元件的硬件，和/或借助于适当编程的处理器来实现。在列 举若干装置的设备权利要求中，这些装置中的几个可以通过同一个硬件项来实现。某些措 施陈述在相互不同的从属权利要求中这一起码事实不表示这些措施的结合不能有利地被 使用。
权利要求
1.一种把输入图像(II)中的颜色调节到参考图像(RI)的颜色的方法，该方法包括 在输入图像(II)和参考图像(RI)中提供匹配的参考点(RP)；确定(10，20)匹配的参考点(RP)的主色；以及基于匹配的参考点的主色变换(30，40)输入图像(II)的颜色以获得输出图像(01)。
2.如权利要求1所述的方法，其中所述变换步骤(30，40)包括 计算匹配的参考点(RP)的主色之间的色集差；以及将所述色集差添加到输入图像(II)的颜色中以获得输出图像(OI)的颜色。
3.如权利要求1所述的方法，还包括步骤自动地检测参考图像(RI)和输入图像(II) 中的匹配的参考点(RP)。
4.如权利要求3所述的方法，其中所述自动检测步骤包括 从视觉凸显区选择属于代表性颜色的点；以及映射所选择的点和它们的对应的主色以获得成对的匹配的代表性点。
5.用于把输入图像(II)中的颜色调节到参考图像(RI)的颜色的设备，该设备包括 用于在输入图像(II)和参考图像(RI)中提供匹配的参考点(RP)的装置；用于确定匹配的参考点(RP)的主色的装置(10，20)；以及用于基于匹配的参考点的主色变换输入图像(II)中的颜色以获得输出图像(OI)的装 置(30，40)。
6.如权利要求5所述的设备，其中所述变换装置(30，40)被编程为用于 计算匹配的参考点(RP)的主色之间的色集差；以及将所述色集差添加到输入图像(II)的颜色中以获得输出图像(OI)的颜色。
7.如权利要求5所述的设备，进一步包括用于自动地检测参考图像(RI)和输入图像 (II)中的匹配的参考点(RP)的装置。
8.如权利要求7所述的设备，其中所述用于自动地检测匹配的参考点(RP)的装置被编 程为用于从视觉凸显区选择属于代表性颜色的点；以及映射所选择的点和它们的对应的主色以获得成对的匹配的代表性点。
全文摘要
为了把输入图像(II)中的颜色调节到参考图像(RI)的颜色，在输入图像(II)和参考图像(RI)中提供匹配的参考点(RP)，确定(10，20)匹配的参考点(RP)的主色，基于匹配的参考点的主色变换(30，40)输入图像(II)中的颜色以获得输出图像(OI)。
文档编号H04N1/60GK102067582SQ200980122878
公开日2011年5月18日 申请日期2009年6月16日 优先权日2008年6月17日
发明者塞库洛夫斯基 D., 韦达 J., 巴比里 M., 施雷斯塔 P., A. W. 克劳特 R. 申请人:皇家飞利浦电子股份有限公司