专利名称：图像处理方法，用于图像处理的集成电路及图像处理系统的制作方法
技术领域：
本发明有关于图像处理方法,且特别有关于对图像的运动物体(moving object)和运动物体的外围区域(surrounding region)执行不同图像调整操作的图像处理方法，以及相关集成电路和图像处理系统。
背景技术：
电视或其他视频播放器通常具有亮度和对比度(contrast ratio)调整功能，以允许用户使用所述调整功能控制在显示装置上播放的视频数据的亮度和对比度。然而，上述亮度和对比度调整功能对图像的所有像素均应用相同的法则。举例来说，当用户将电视的亮度调整为较低时，图像的所有像素的亮度均降低相同百分比。因此，对于某些具有低质量的视频，用户不能使用上述亮度和对比度调整功能以有效改进视频的质量。
发明内容
因此，本发明的一个目的是提供一种图像处理方法，相关集成电路和图像处理系统，对图像的移动物体及移动物体的外围区域执行不同图像调整操作，以解决上述问题。依据本发明的一个实施例，图像处理方法包含依据当前图像和不同于当前图像的至少一图像识别当前图像的至少一移动物体；以及通过利用处理电路对当前图像的至少一移动物体执行第一图像调整操作，并且对当前图像的至少一移动物体的外围区域执行第二图像调整操作，以产生调整的当前图像，其中第一图像调整操作不同于第二图像调整操作。依据本发明的另一实施例，用于图像处理的集成电路包含移动物体探测器及处理电路。移动物体探测器用于依据当前图像和不同于当前图像的至少一图像识别当前图像的至少一移动物体。处理电路用于通过对当前图像的至少一移动物体执行第一图像调整操 作，以及对当前图像的至少一移动物体的外围区域执行第二图像调整操作，以产生调整的当前图像，其中第一图像调整操作不同于第二图像调整操作。依据本发明的另一实施例，图像处理系统包含存储装置、移动物体探测器及处理电路。存储装置用于存储当前图像和不同于当前图像的至少一图像。移动物体探测器用于依据当前图像和不同于当前图像的至少一图像识别当前图像的至少一移动物体。处理电路用于通过对当前图像的至少一移动物体执行第一图像调整操作，以及对当前图像的至少一移动物体的外围区域执行第二图像调整操作，以产生调整的当前图像，其中第一图像调整操作不同于第二图像调整操作。本领域技术人员阅读完下述在不同图形和绘图中展示的较佳实施例的详细说明后，将非常容易理解本发明的上述目的和其他目的。
图I展示依据本发明的一个实施例的图像处理方法的流程图。
图2展示一系列图像。图3展示如何使用宏块的运动向量识别图2中展示的图像F3的移动物体与外围区域。图4展示依据本发明的一个实施例展示集成电路的示意图。图5展示依据本发明的一个实施例展示图像处理系统的示意图。图6展示依据本发明的一个实 施例的图像处理方法的流程图。
具体实施例方式在说明书及权利要求书当中使用了某些词汇来指称特定的系统元件。本领域技术人员应可理解，电子设备制造商可能会用不同的名词来称呼同样的元件。本文件并不以名称的差异来作为区分元件的方式，而是以元件在功能上的差异来作为区分的基准。在通篇说明书及后续的请求项当中所提及的“包含”为一开放式的用语，故应解释成“包含但不限定于”。另外，“耦接”一词在此包含任何直接及间接的电气连接手段。因此，若文中描述一第一装置耦接于一第二装置，则代表第一装置可直接电气连接于第二装置，或通过其他装置或连接手段间接地电气连接至第二装置。请参考图I。图I是依据本发明的一个实施例的图像处理方法的流程图。图像处理方法可应用于任意视频播放器和任意视频/图像捕获机器，例如相机。请参考图1，其流程描述如下。在步骤100中，一系列图像被接收，如图2中所示。请参考图2，其包含四个连续图像F1-F4，并且每一图像至少包含棒球200，花202和地面204。应当注意，图2中所示的四个连续图像F1-F4仅用于说明的目的，并不能作为本发明的限制。随后，在步骤102中，决定本发明的图像处理功能是否被启动。若图像处理功能未被启动，流程进入步骤108以直接输出所接收的图像用于进一步的操作；若图像处理功能被启动，流程进入步骤104。在步骤104中，图像F1-F4的一个或多个移动物体被识别。举例来说，如图2中所示，棒球200应当被识别为移动物体，而花202和地面204应当被决定为移动物体的外围区
域/背景。随后，在步骤106中，对于图像F1-F4中的一个，图像的移动物体及移动物体的外围区域被执行不同图像调整操作。以图2中所示的图像F3为例，棒球200(移动物体)被执行第一图像调整操作，而棒球200的外围区域(包含花202、地面204、天空和太阳...)被执行不同于第一图像调整操作的第二图像调整操作，以产生调整的图像F3’。具体地，调整的图像F3’的移动物体与外围区域之间的对比大于当移动物体与外围区域同时被第一图像调整操作或同时被第二图像调整操作处理时移动物体与外围区域之间的对比。最后，在步骤108中，图像或调整的图像被输出用于进一步操作。此外，在步骤104中，许多方法可被用于识别图像F1-F4的移动物体。举例来说，当图像帧F1-F4被显示在电脑上时，用户可使用鼠标或其他工具选取作为图像F1-F4背景的区域(除棒球200外的区域)。换句话说，未被选取的区域作为移动物体，而被选取的区域作为移动物体的外围区域。类似地，用户也可使用鼠标或其他工具直接选取图像F1-F4的移动物体(棒球200)。
对于另一范例，当图像巾贞F1-F4被预先通过例如运动图像专家群(Moving PictureExperts Group,简称为MPEG)或H264的标准编码时,可依据图像的宏块(macro-block)的运动向量识别移动物体，换句话说，当当前图像与先前图像之间的宏块的运动向量的绝对值(absolute value)大于阈值(threshold value)时,决定宏块属于移动物体；以及当当前图像与先前图像之间的宏块的运动向量的绝对值不大于阈值时，决定宏块属于移动物体的外围区域。举例来说，请参考图3，图3展示如何使用宏块的运动向量识别图2中展示的图像F3的移动物体与外围区域。如图3所示，宏块Ml具有运动向量dl，而运动向量dl的绝对值可被用于决定宏块Ml是否属于移动物体。请参考图3，宏块M1-M4内的像素被识别为移动物体，而图像F3内除宏块M1-M4的像素外的所有像素被识别为外围区域。在某些情况下，例如当相机被晃动或处于放大/缩小操作时图像的捕获，使用上述运动向量识别移动物体可能出现错误。举例来说，请参考连续图像F3和F4，当仅通过宏块的运动向量决定移动物体时，棒球200、花202和地面204都将被识别为移动物体(然而， 实际上，花202和地面204应被视为背景，而非移动物体)。因此，为克服该问题，在本发明的一个实施例中，当当前图像与先前图像之间的宏块的运动向量大于阈值时，更决定该宏块是否是当前图像的背景部分(background part);并且当决定该宏块不是当前图像的背景部分时，决定该宏块属于移动物体；以及当决定该宏块是当前图像的背景部分时，决定该宏块属于移动物体的外围区域。此外，在另一实施例中，依据当前图像和跟随当前图像的多个下一图像及/或依据先于当前图像的多个先前图像识别当前图像的移动物体，并且当多个下一图像及/或多个先前图像的预设数量或百分比表明多个下一图像及/或多个先前图像和该当前图像内的特定物体是移动的时，当前图像的特定物体被识别为移动物体。举例来说，假设在连续的一百个图像Fl-FlOO中，图像F1-F30展示一个女孩在跳舞，图像F31-F50展示女孩停止跳舞站在舞台上不动，而图像F51-F100展示女孩又开始跳舞，则因为图像F1-F30及/或图像F51-F100图像中女孩是移动的，图像F31-F50中的女孩也可被识别为移动物体。具体的说，以图像F40为例，依据部分或所有先前图像，例如F11-F39，或者部分或所有下一图像，例如F41-F70，或者图像F11-F70的部分或所有图像，图像F40内的女孩可被识别为移动物体，并且当选取的图像(举例来说，图像F11-F70)的预设数量(例如十个图像)或预设百分比(例如20% )表明选取图像内的女孩为移动物体时，决定图像F40内的女孩也为移动物体。此外，关于步骤106，存在许多方法对移动物体与外围区域执行不同图像调整操作以增强移动物体与外围区域之间的对比。举例来说，移动物体的亮度可通过乘以第一参数而被调整，而外围区域的亮度可通过乘以第二参数而被调整，其中第一和第二参数可分别为I. 2和I. 1，或增强移动物体与外围区域之间的对比的任意其他值。在本发明的另一实施例中，移动物体与外围区域的色度或颜色可通过不同调整操作而被调整，以增强移动物体与外围区域之间的对比。此外，若图像是黑白的，移动物体可被调整为有色彩的，而外围区域仍为黑白的。此外，移动物体也可被调整为具有特殊效果，例如闪烁、模糊或加强(sharpen)等等。此外，在本发明的另一实施例中，当当前图像的移动物体在随后的图像中成为基本静态的时，图像被调整以使移动物体与外围区域之间的对比随时间逐步减小。举例来说，假设有两百个连续图像F1-F200，并且图像F1-F30展示一个女孩在跳舞，而图像F31-F200展示女孩停止跳舞站在舞台上不动，则在图像F31-F200被调整及显示期间，女孩及其外围区域之间的对比逐渐减小。 此外，上述图像处理方法可被用于相机。当用户意欲捕获图像时，相机连续捕获场景的图像，并对图像执行如图I所示的图像调整，以产生待显示于相机的显示装置上的调整的图像。随后，当相机的快门被触发时，相机将调整的图像存储入可移动存储装置，例如存储卡中。此外，尽管上述实施例仅展示图像内的单一移动物体，本领域技术人员应可将本发明的图像处理方法应用于具有多个移动物体的图像。请参考图4。图4展示依据本发明的一个实施例的集成电路400的示意图。如图4所示，集成电路包含处理电路410和移动物体探测器420，其中集成电路400通过总线(bus)耦接于存储器430和I/O单元440。在图4所示的电路的操作中，I/O单元440接收视频数据，并且视频数据被存储在存储器430中。随后，处理电路410和移动物体探测器420对视频数据执行图I所示的图像处理操作，以产生调整的视频数据。随后，调整的视频数据通过I/O单元440输出到显示装置450。此外，图4所示的集成电路400是一个范例。在本发明的另一范例中，集成电路400可更包含存储器430和I/O单元440，并且该可选设计应包含于本发明的范围内。此外，请参考图5，图5展示依据本发明的一个实施例的图像处理系统500的示意图。在本实施例中，图像处理系统500是DVD播放器，并且包含解复用器(demultiplexer) 510、音频处理器520、扬声器530、视频解码器540、存储装置550、处理电路560、移动物体探测器570和显示装置580。在图像处理系统500的操作中，数据流被解复用器510分为音频数据和视频数据，并且音频数据被音频处理器处理并被传送至扬声器530。视频数据进入视频解码器540用于进一步的操作。请一并参考图5和图6。图6是依据本发明的一个实施例的图像处理方法的流程图。请参考图5和图6,流程的描述如下在步骤600，流程开始，视频解码器540将视频数据解码以产生解码视频数据和相关资讯，例如图像的宏块的运动向量，并且解码视频数据和相关资讯被存储在存储装置550中。在步骤602，对于图像的宏块，决定宏块的运动向量的绝对值是否大于阈值，若运动向量的绝对值大于阈值，流程进入步骤604;若运动向量的绝对值不大于阈值，流程进入步骤608。在步骤604，决定宏块是否是图像的背景，并且若宏块是图像的背景，流程进入步骤608 ;以及若宏块并非图像的背景，流程进入步骤606。在步骤606，宏块的像素数据通过第一图像调整操作执行。在步骤608，宏块的像素数据通过不同于第一图像调整操作的第二图像调整操作执行。最后，在步骤610，在步骤606或步骤608产生的被调整的图像的宏块被输出至显示装置580或被输出用于进一步的操作。概言之，在本发明的图像处理方法中，图像的移动物体及移动物体的外围区域被执行不同图像调整操作，以增强移动物体与外围区域之间的对比。因此，视频的质量可被有效改善。本领域技术人员应可理解，保留本发明的精神的同时，可对本发明的装置和方法做出多种等效变化 与修改。
权利要求
1.ー种图像处理方法，包含 依据当前图像和不同于该当前图像的至少ー图像识别该当前图像的至少ー移动物体；以及 通过利用处理电路对该当前图像的该至少ー移动物体执行第一图像调整操作，并且对该当前图像的该至少ー移动物体的外围区域执行第二图像调整操作，以产生调整的当前图像，其中该第一图像调整操作不同于该第二图像调整操作。
2.根据权利要求I所述的图像处理方法，其特征在于，该调整的当前图像的该至少一移动物体与该外围区域之间的对比大于同时被该第一图像调整操作或同时被该第二图像调整操作处理的该至少ー移动物体与该外围区域之间的对比。
3.根据权利要求I所述的图像处理方法，其特征在于，该当前图像的该至少一移动物体的该外围区域包含除该至少ー移动物体的多个像素外的该当前图像的所有像素。
4.根据权利要求I所述的图像处理方法，其特征在于，识别该至少ー移动物体的该步骤包含 依据该当前图像和跟随该当前图像的多个下ー图像识别该当前图像的该至少ー移动物体； 其中当该多个下ー图像的预设数量或百分比表明该多个下ー图像和该当前图像内的特定物体是移动的时，该当前图像的该特定物体被识别为移动物体。
5.根据权利要求I所述的图像处理方法，其特征在于，识别该至少ー移动物体的该步骤包含 依据该当前图像和先于该当前图像的多个先前图像识别该当前图像的该至少ー移动物体； 其中当该多个先前图像的预设数量或百分比表明该多个先前图像和该当前图像内的特定物体是移动的时，该当前图像的该特定物体被识别为移动物体。
6.根据权利要求5所述的图像处理方法，其特征在于，该图像处理方法可使用在相机中，并且更包含 当该相机的快门被触发时，将该调整的当前图像存储入该相机的可移动存储装置中。
7.根据权利要求I所述的图像处理方法，更包含 当该当前图像的下ー图像中，该至少ー移动物体的特定移动物体成为基本静态的吋，对该下ー图像的该特定移动物体执行第三图像调整操作，以及对该特定移动物体的特定外围区域执行该第二图像调整操作，其中该第三图像调整操作不同于该第一图像调整操作和该第二图像调整操作； 其中对于该下ー图像，该特定移动物体与该特定外围区域之间的对比大于同时被该第一图像调整操作或同时被该第二图像调整操作处理的该特定移动物体与该特定外围区域之间的对比；以及该特定移动物体与该特定外围区域之间的该对比小于分别被该第一图像调整操作和该第二图像调整操作处理的该特定移动物体与该特定外围区域之间的对比。
8.根据权利要求I所述的图像处理方法，其特征在干，该至少一图像是先于该当前图像的先前图像，以及识别该至少ー移动物体的该步骤包含 当该当前图像与该先前图像之间的宏块的运动向量大于阈值时，决定该宏块属于该至少ー移动物体；以及当该宏块的该运动向量不大于该阈值时，决定该宏块属于该至少ー移动物体的该外围区域。
9.根据权利要求I所述的图像处理方法，其特征在干，该至少一图像是先于该当前图像的先前图像，以及识别该至少ー移动物体的该步骤包含 当该当前图像与该先前图像之间的宏块的运动向量大于阈值时，决定该宏块是否是该当前图像的背景部分； 当决定该宏块不是该当前图像的该背景部分吋，决定该宏块属于该至少ー移动物体； 当决定该宏块是该当前图像的该背景部分时，决定该宏块属于该至少ー移动物体的该外围区域；以及 当该宏块的该运动向量不大于该阈值时，决定该宏块属于该至少ー移动物体的该外围区域。
10.ー种集成电路,用于图像处理,包含 移动物体探測器，用于依据当前图像和不同于该当前图像的至少ー图像来识别该当前图像的至少ー移动物体；以及 处理电路，用于通过对该当前图像的该至少ー移动物体执行第一图像调整操作，以及对该当前图像的该至少ー移动物体的外围区域执行第二图像调整操作，以产生调整的当前图像，其中该第一图像调整操作不同于该第二图像调整操作。
11.根据权利要求10所述的集成电路，其特征在于，该调整的当前图像的该至少一移动物体与该外围区域之间的对比大于同时被该第一图像调整操作或同时被该第二图像调整操作处理的该至少ー移动物体与该外围区域之间的对比。
12.根据权利要求10所述的集成电路，其特征在干，该移动物体探測器依据该当前图像和先于该当前图像的多个先前图像识别该当前图像的该至少ー移动物体；以及 其中，当该多个先前图像的预设数量或百分比表明该多个先前图像和该当前图像内的特定物体是移动的时，该当前图像的该特定物体被识别为移动物体。
13.根据权利要求10所述的集成电路，其特征在干，当该移动物体探測器探测到该当前图像的下ー图像中，该至少ー移动物体的特定移动物体成为基本静态的时，该处理电路对该下ー图像的该特定移动物体执行第三图像调整操作，以及对该特定移动物体的特定外围区域执行该第二图像调整操作，其中该第三图像调整操作不同于该第一图像调整操作和该第二图像调整操作； 其中对于该下ー图像，该特定移动物体与该特定外围区域之间的对比大于同时被该第一图像调整操作或该第二图像调整操作处理的该特定移动物体与该特定外围区域之间的对比；以及该特定移动物体与该特定外围区域之间的对比小于分别被该第一图像调整操作和该第二图像调整操作处理的该特定移动物体与该特定外围区域之间的对比。
14.根据权利要求10所述的集成电路，其特征在干，该至少一图像是先于该当前图像的先前图像，以及当该当前图像与该先前图像之间的宏块的运动向量大于阈值时，该移动物体探测器决定该宏块属于该至少ー移动物体；以及当该宏块的该运动向量不大于该阈值吋，该移动物体探测器决定该宏块属于该至少ー移动物体的该外围区域。
15.根据权利要求10所述的集成电路，其特征在干，该至少一图像是先于该当前图像的先前图像，以及当该当前图像与该先前图像之间的宏块的运动向量大于阈值时，该移动物体探測器决定该宏块是否是该当前图像的背景部分；当该移动物体探測器决定该宏块不是该当前图像的该背景部分吋，该移动物体探测器决定该宏块属于该至少ー移动物体；当该移动物体探测器决定该宏块是该当前图像的该背景部分吋，该移动物体探测器决定该宏块属于该至少ー移动物体的该外围区域；以及当该宏块的该运动向量不大于该阈值时，该移动物体探测器决定该宏块属于该至少ー移动物体的该外围区域。
16.—种图像处理系统,包含 存储装置，用于存储当前图像和不同于该当前图像的至少ー图像； 移动物体探測器，用于依据该当前图像和不同于该当前图像的该至少一图像识别该当前图像的至少ー移动物体；以及 处理电路，用于通过对该当前图像的该至少ー移动物体执行第一图像调整操作，以及对该当前图像的该至少ー移动物体的外围区域执行第二图像调整操作，以产生调整的当前图像，其中该第一图像调整操作不同于该第二图像调整操作。
17.根据权利要求16所述的图像处理系统，其特征在于，该调整的当前图像的该至少ー移动物体与该外围区域之间的对比大于同时被该第一图像调整操作或同时被该第二图像调整操作处理的该至少ー移动物体与该外围区域之间的对比。
18.根据权利要求16所述的图像处理系统，其特征在干，该移动物体探測器依据该当前图像和先于该当前图像的多个先前图像识别该当前图像的该至少ー移动物体；以及 其中当该多个先前图像的预设数量或百分比表明该多个先前图像和该当前图像内的特定物体是移动的时，该当前图像的该特定物体被识别为移动物体。
19.根据权利要求16所述的图像处理系统，其特征在干，该至少一图像是先于该当前图像的先前图像，以及当该当前图像与该先前图像之间的宏块的运动向量大于阈值时，该移动物体探测器决定该宏块属于该至少ー移动物体；以及当该宏块的该运动向量不大于该阈值时，该移动物体探测器决定该宏块属于该至少ー移动物体的该外围区域。
20.根据权利要求16所述的图像处理系统，其特征在干，该至少一图像是先于该当前图像的先前图像，以及当该当前图像与该先前图像之间的宏块的运动向量大于阈值时，该移动物体探測器决定该宏块是否是该当前图像的背景部分；当该移动物体探測器决定该宏块不是该当前图像的该背景部分吋，该移动物体探测器决定该宏块属于该至少一移动物体；当该移动物体探测器决定该宏块是该当前图像的该背景部分吋，该移动物体探测器决定该宏块属于该至少ー移动物体的该外围区域；以及当该宏块的该运动向量不大于该阈值吋，该移动物体探测器决定该宏块属于该至少ー移动物体的该外围区域。
全文摘要
一种图像处理方法，包含依据当前图像和不同于当前图像的至少一图像识别当前图像的至少一移动物体；以及通过利用处理电路对当前图像的至少一移动物体执行第一图像调整操作，并且对当前图像的至少一移动物体的外围区域执行第二图像调整操作，以产生调整的当前图像，其中第一图像调整操作不同于第二图像调整操作。
文档编号G06T7/20GK102667860SQ201080002534
公开日2012年9月12日 申请日期2010年5月14日 优先权日2010年5月14日
发明者张勇 申请人:联发科技(新加坡)私人有限公司