专利名称：用于基于块的图像处理的电子装置和方法
技术领域：
本发明涉及能够确定用于基于块的图像处理的图像的相关区的电子装置。
本发明还涉及在这样的装置中使用的电子电路。
本发明再涉及确定用于基于块的图像处理的图像的相关区的方法。
本发明还涉及控制用于使可编程装置执行这样方法的控制软件。
这样的装置和方法的例子是从国际公布的专利申请WO03/071805获知的。该文件描述区分图像上的相关区(例如，内容)和非相关区(例如，在以4:3格式发布的16:9视频分段中的黑色边界)。为了有效地压缩黑色边界，在黑色边界与内容之间的边界通过把部分填充的块变黑而对准块边界(例如，8×8像素块的块边界)。这个方法具有缺点，即被去除的内容的线有时会非常明显，并使观众不舒服。
本发明的第一目的是提供在开头段落中描述的那种电子装置，它使包括相关的和非相关区的图像的图像处理的可察觉性得以减少。
本发明的第二目的是提供在开头段落中描述的那种方法，它使包括相关和非相关区的图像的图像处理的可察觉性得以减少。
按照本发明，第一目的的是这样实现的，该电子装置包括电子电路，该电子电路在功能上包括边界检测器，用于确定在图像的相关和非相关区之间的边界；分析器，用于分析与边界交叉的像素块；以及包容器，用于根据分析把与边界交叉的像素块包括在相关区中。电子装置可以确定图像的相关区，例如以便压缩单个图像(例如，使用JPEG)，压缩多个(活动)图像(例如，使用MPEG-2视频压缩)，或提高多个图像的场/帧速率(例如，使用Philips数字自然运动技术)。在某些装置中，取决于装置的主要功能，图像处理器被称为视频处理器。从一个高宽比变换到另一个高宽比(例如从16∶9到4∶3)的电影或电视节目常常在图像周围显示黑色条(例如在顶部和底部，或左边和右边)。当场/帧速率提高时(例如，在100Hz电视机中使用Philips数字自然运动技术)，错误的运动向量会在图像上造成黑色伪像。然而，在WO03/071805中描述的去除有内容的行有时比起伪像甚至更引人注意。本发明人认识到，当相关区的边缘包含诸如副标题或图标那样的必不可少的信息时，去除有内容的行是特别引人注意的。通过分析相关区的边缘，可以对每个图像作出处理边缘的独立的决定。电子装置例如可以是PC、电视机、机顶盒、视频记录器、视频播放器、或另外的类型的CE装置。
在本发明的电子装置的实施例中，分析器用来确定在边界的一侧的第一像素与边界的另一个侧的第二像素之间的相似性，第一和第二像素位于边界附近，并且包容器用来把与边界交叉的像素块包括在相关区中，如果所确定的相似性超过相似性阈值的话。虽然为了检测副标题，有可能以另外的方式检测必不可少的信息(诸如确定在与边界交叉的像素块中有多少像素其亮度超过某个阈值)，但本实施例在实验中被证明是最有效的。第一像素的亮度优选地与第二像素的亮度相比较。第一和第二像素优选地是相邻的像素。
相似性阈值可以根据与边界交叉的块的质量来确定。与边界交叉的块的质量例如可以是对整个图像所测量的噪声电平或与边界交叉的块中估计会出现伪像的机会。如果有很大的机会出现伪像，则提高相似性阈值是有利的，使得不太可能把与边界交叉的低质量的块的包括在相关区中。为了同样的目的，在本发明的方法或装置中使用的其它参数也可以根据与边界交叉的块的质量被(动态地)确定。
边界检测器可用来确定在图像的相关和非相关区之间的多个可能的边界。分析器可以用来对每个可能的边界确定在一个可能的边界的一侧的第一像素与该可能的边界的另一侧的第二像素之间的相似性，该第一和第二像素位于该可能的边界附近。分析器还可用来根据对每个可能的边界所确定的相似性来确定最后的边界。包容器可以用来把与最后的边界交叉的像素块包括在相关区中，如果所确定的最后边界的相似性超过相似性阈值的话。当由包容器使用的边界是在靠近黑色边界的两个最不同的像素行之间的边界时，去除非必不可少的信息像素的行常常是最少引人注意的。可能的边界优选地是相邻的边界(例如，第一和第二像素由第一可能的边界分隔开，第二和第三像素由第二可能的边界分隔开，等等)。
电子电路还可包括图像处理器，用来把缺省值赋予与边界交叉的像素块，如果所述像素块不是包括在相关区中的话。许多图像处理算法(例如，MPEG-2视频压缩)更有效地和/或更精确地自动处理黑色区。使与边界交叉的像素块变黑可以保证以后的图像处理步骤更有效地和/或更精确地自动处理图像。
边界检测器可以用来通过分析从图像的边缘开始的像素行和确定各像素的第一行的位置而确定一条边界，这些像素的至少一个像素的值是某个数值组的一部分。如果像素具有超过某个水平(例如，一个在28与256之间的数值)的亮度值，则该像素很可能不是黑色边界的一部分。边界优选地是这样选择的，即它把像素的第一行与前一行分开。
电子电路可包括一个图像处理器，用来处理来自以前针对包括所述图像的视频序列中至少一个以前的图像而确定的相关区的图像数据，如果该以前所确定的相关区不比所述相关区小一个大于预定量的量的话；否则，图像处理器处理来自所述相关区的图像数据。为了避免实际被处理的区经常改变(经常改变也会变得引人注意的)，可以使用以前确定的相关区(不是图像数据，而例如是坐标或块号)而不用当前确定的相关区，除非当前确定的相关区比以前确定的相关区的量大一个大于预定量(例如，在高度或宽度上的2个块)的量，在这种情形下，在相关区中的图像数据多半是必不可少信息，如副标题。
图像处理器可用来处理来自处理视频序列中的前一个图像时以前使用的一个区的图像数据，如果类似于所述相关区的各相关区针对视频序列中以前的各图像最近已经相当少地被确定的话。因此，如果同一个相关区在最近已经相对经常地被确定的话，当前所确定的各相关区也可以被使用。如果不是这种情形，则要使用在处理前一个图像时以前所用的区，以避免经常变动实际上被处理的区。
分析器可用来根据所确定的第一像素的分段数目来确定在第一和第二像素之间的相似性，其中每个像素值与相对的第二像素分段的相应的像素值相差至少一定的量。这种类型的分段在实验上证明了能提供相似性的精确度量。
按照本发明，第二目的是这样实现的，即该方法包括下列各步骤确定在图像的相关和非相关区之间的边界；分析与边界交叉的像素块；和根据分析把与边界交叉的像素块包括在相关区内。该方法例如由在消费电子设备中的专用图像处理器或通用计算机中的通用处理器执行。
在本发明的方法的一个实施例中，所述分析与边界交叉的像素块的步骤包括确定在边界的一侧的第一像素与边界的另一个侧的第二像素之间的相似性，该第一和第二像素位于边界附近；以及所述根据分析把与边界交叉的像素块包括在相关区内的步骤包括把与边界交叉的像素块包括在相关区中，如果所确定的相似性超过相似性阈值的话。
相似性阈值可以根据与边界交叉的块的质量来确定。
所述确定在图像的相关和非相关区之间的边界的步骤可以包括确定在图像的相关和非相关区之间的多个可能的边界。确定在边界的一侧的第一像素与边界的另一个侧的第二像素之间的相似性可包括对于每个可能的边界确定在可能的边界的一侧的第一像素与可能的边界的另一个侧的第二像素之间的相似性。该方法还可包括根据为每个可能的边界所确定的相似性来确定最后的边界的步骤。如果所确定的相似性超过相似性阈值时则把与边界交叉的像素块包括在相关区中，可包括如果所确定的最后的边界的相似性超过相似性阈值时，则把与最后的边界交叉的像素块包括在该相关区中。
该方法还可包括如果所述像素块没有被包括在相关区中时，则把约定值赋予与边界交叉的像素块的步骤。
所述确定边界的步骤可包括分析从图像的边缘开始的各个像素行和确定第一像素行的位置，该行的至少一个像素具有作为某个数值组的一部分的数值。
该方法还可包括以下步骤处理来自以前针对包括所述图像的视频序列的至少一个以前的图像而确定的相关区的图像数据，如果该以前所确定的相关区不比所述相关区小一个大于预定量的量话；否则，就处理来自所述相关区的图像数据。
以前确定的相关区可以是在处理视频序列的前一个图像时以前所用的区，如果类似于所述相关区的各相关区针对视频序列中以前的各图像最近已经相当少地被确定的话。
在第一和第二像素之间的相似性可取决于各第一像素的一个被确定的分段数，其中每个像素值与相对的第二像素分段的相应的像素值相差至少一定的量。
下面参照附图进一步阐述和描述本发明的电子装置和方法的这些和其它方面，其中
图1是本发明的方法的流程图；图2是本发明的方法的一个实施例的流程图；图3是可以用本发明的方法或电子装置处理的图像的例子；图4是检测在图像中相关和非相关区之间边界的改进的方法的流程图；以及图5是本发明的电子装置的框图。
图上相应的单元用相同的标号表示。
见图1和3，本发明的方法包括确定在图像41的相关区45与非相关区43之间的边界47的步骤1；分析与边界47交叉的像素块55的步骤3；和根据分析把与边界47交叉的像素块55包括在相关区45的步骤5。确定边界47的步骤1可包括分析从图像41的边缘开始的各像素行的步骤7和确定一个其中至少一个像素具有作为某个数值组的一部分的数值的第一像素行的位置的步骤9。这例如可以要求查找一个其像素值超过某个水平的第一像素行(例如，在使用256个亮度值的情形下超过28的黑色水平)。
分析与边界47交叉的像素块55的步骤3可包括确定在边界47的一侧的第一像素与边界47的另一侧的第二像素之间的相似性的步骤11，该第一和第二像素位于边界47附近。如果步骤3包括步骤11，则根据分析而把与边界47交叉的像素块55包括在相关区45的步骤5将包括步骤13以便把与边界47交叉的像素块55包括在相关区45中，如果对于边界47所确定的相似性超过相似性阈值的话。在第一和第二像素之间的相似性可以取决于第一像素的确定的分段数目(例如，8个像素的)，其中每个像素值与第二像素的相对分段的相应像素值相差至少一定的量。这例如可以要求对分段数进行计数，其中在第一非黑色行中的每个像素比起最后的黑色行中相邻的像素更亮至少一定的量(例如4)。如果被计数的分段相对于分段的总量的百分数超过相似性阈值(50％)，则边界47可被看作为一个‘鲜明的边缘’。如果发现‘鲜明的边缘’(相似性不够高)，则与边界47交叉的像素块55不应被包括在相关区45中。相似性阈值和/或每个像素值应当至少与相应的像素相差的一定的量可以根据与边界交叉的块的质量来确定。边界交叉的块的质量例如可以是对于整个图像所测出的噪声水平或在这些块中估计的出现伪像的机会。出现伪像的机会例如可以通过对与边界交叉的不同块的运动向量进行比较来估计。如果运动向量是不一致的，特别是在视频序列中出现快速运动时，出现伪像的机会就大。如果出现伪像的机会大，则有利的是要增加相似性阈值和/或减小每个像素与相应的像素应当至少相差的一定的量，由此使得与边界交叉的低质量块不太可能被包括在相关区中。
本发明的方法还可包括步骤17，用于处理来自以前针对包括所述图像41的一个视频序列中至少一个以前的图像而确定的相关区的图像数据，如果该以前确定的相关区不比所述相关区45小一个大于预定量的量的话；否则，处理来自所述相关区45的图像数据。以前确定的相关区可以是在处理视频序列中前一个图像时以前所用的区，如果与所述相关区45相似的相关区针对视频序列中以前的图像最近已经相当少地被确定的话。这例如可以要求制作相应于在上几秒内(例如，在上120帧内)发现的‘鲜明的边缘’的相关区的直方图，并且如果以前使用的相关区相应于‘鲜明的边缘’，则插入以前使用的相关区几次(例如，80次)。如果在直方图上不存在相应于‘鲜明的边缘’的相关区，则应当处理来自当前确定的相关区的图像数据。如果在直方图上存在相应于‘鲜明的边缘’的相关区，则应当处理来自相应于在直方图上具有最高值的鲜明的边缘的以前确定的相关区(即，以前相对经常地被确定的相关区)的图像数据，除非当前确定的相关区45比这个以前确定的相关区大一个预定的量(例如，在宽度或高度上的2个方块)。在后面的情形下，应当处理来自当前确定的相关区45的图像数据。当在与边界47交叉的像素块中检测到至少一定数目的白色像素时，可以降低该预定量。用于选择在处理当前的图像时要使用的相关区的算法可以考虑边界交叉的块的质量，以便减小那些其相关区包括低质量的边界交叉块的帧的数目。
为了使得实际使用的相关区相对于时间是更稳定的，可以采用一个保持时间在实际使用的相关区减小后，实际使用的相关区在某个时间段内将不增加。该保持时间可以根据与边界交叉的块的质量来(动态地)确定。如果边界交叉块具有低的质量，则有利的是减小保持时间，由此减小其中相关区包括低质量的边界交叉块的帧的数目。当然，相关区的改变因此可能更经常地发生。
本发明的方法还可包括如果所述像素块55没有被包括在相关区45中则把缺省值赋予与边界47交叉的像素块55的步骤15。这例如可要求把已被确定为非相关的像素变黑，以便使得以后的图像处理步骤更有效和/或精确。步骤15和17可被组合成单个步骤。
本方法的一个实施例显示于图2(也见图3)。在本实施例中，在确定图像41相关区45与非相关区43之间的边界47的步骤1中，包括步骤21，它用于确定在图像41的相关区45与非相关区43之间的多个可能的边界47、49和51(例如，在4个接连的像素行之间的3个边界)。此外，确定在边界47的一侧的第一像素与边界47的另一个侧的第二像素之间的相似性的步骤11包括步骤23，它用于对每个可能的边界47、49和51确定在可能的边界的一侧的第一像素与可能的边界另一个侧的第二像素之间的相似性。本实施例还包括步骤25，它用于根据对于每个可能的边界47、49和51所确定的相似性来确定最后边界(例如，选择具有最高百分数的较亮分段的边界)。另外，如果所确定的相似性超过相似性阈值则把与边界交叉的像素块55包括在相关区45中的步骤13可以包括如果所确定的最后边界的相似性超过相似性阈值(例如，高于50％)则把与最后边界交叉的像素块55包括在相关区45中的步骤27。
一个类似于本发明的方法的这个实施例的方法被显示于图4中。这个类似的方法不包括根据分析把与边界47交叉的像素块55包括在相关区45的步骤5，所以也不包括步骤13或27。这个方法例如可被使用于下列各种情形中，例如在不是基于块的图像处理算法中不一定必须把在相关的与非相关的区之间的边界与块边界对准。
见图5，本发明的电子装置包括电子电路63。电子电路63在功能上包括边界检测器71、分析器73、和包容器75。边界检测器71用来确定在图像的相关的和非相关的区之间的边界。分析器73用来分析与边界交叉的像素块。包容器75用来根据分析把与边界交叉的像素块包括在相关区中。电子装置61例如可以是PC、电视机、机顶盒、视频记录器、视频播放器、或另外的类型的CE装置。逻辑电路例如可以是PhilipsTrimedia媒体处理器或Philips Nexperia音频视频输入处理器。电子装置61还可包括输入装置65，例如SCART、组合件(Composite)、SVHS或部件插座或TV调谐器。电子装置61还可包括输出装置67，例如SCART、组合件、SVHS或部件插座或无线发射机。替换地，电子装置61可包括与电子电路63相耦合的显示器(未示出)。电子装置61还可包括存储装置69。存储装置69例如可用于存储未处理的和处理过的图像数据和/或用于存储有关以前确定的相关区的信息。图像可以是照片或例如视频帧。
电子电路63还可包括图像处理器77，用来把缺省值赋予与边界交叉的像素块，如果所述像素块没有被包括在相关区中的话。替换地或另外地，图像处理器77可用来处理来自为包括所述图像的视频序列的至少一个以前的图像以前所确定的相关区的图像数据，如果该以前确定的相关区不比所述相关区小一个比预定量大的量的话；否则图像处理器处理来自所述相关区的图像数据。边界检测器71、分析器73、包容器75、和图像处理器77例如可以是可由电子电路63执行的软件。电子电路63可包括一个或多个集成电路。
虽然本发明是结合优选实施例描述的，但将会看到，在以上概述的原理范围内对本发明进行修改对于本领域技术人员是显而易见的，因此本发明不限于优选实施例，而是要包括这些修改。本发明在于每个新颖的特征特性和这些特征特性的每种组合。权利要求中的参考数字不限制它们的保护范围。动词“包括”和它的变位词的使用不排除除了权利要求中所阐述的以外的单元或步骤的存在。在单元前面的冠词“一个”的使用不排除多个这样的单元或步骤的存在。
正如本领域技术人员将会看到的，“装置”被理解为任何硬件(诸如分立的或集成的电路或电子元件)或软件(诸如程序或部分程序)，它们在操作时执行或被设计成执行特定的功能，不论是单独地或结合其它功能，也不论与其它单元合作地。本发明可利用包括几个不同的元件的硬件和利用适当地编程的计算机来实施。‘控制软件’要被理解为是指存储在像软盘这样的计算机可读的媒体上的、经由诸如互联网的网络可下载的、或以任何其它方式可购买的任何软件产品。
权利要求
1.一种电子装置(61)，包括电子电路(63)，该电子电路(63)在功能上包括-边界检测器(71)，用于确定在图像(41)的相关区(45)和非相关区(43)之间的边界(47)；-分析器(73)，用于分析与边界(47)交叉的像素块(55)；以及-包容器(75)，用于根据分析把与边界(47)交叉的像素块(55)包括在相关区(45)中。
2.如权利要求1中要求的电子装置(61)，其中-分析器(73)用来确定在边界(47)的一侧的第一像素与边界(47)的另一侧的第二像素之间的相似性，该第一和第二像素位于边界(47)附近；以及-包容器(75)用来把与边界(47)交叉的像素块(55)包括在相关与(45)中，如果所确定的相似性超过相似性阈值的话。
3.如权利要求2中要求的电子装置(61)，其中相似性阈值根据与边界交叉的块的质量来确定。
4.如权利要求2中要求的电子装置(61)，其中-边界检测器(71)用来确定在图像的相关区(45)和非相关区(43)之间的多个可能的边界(47，49，51)；-分析器(73)用来对于每个可能的边界(47，49，51)确定在可能的边界(47，49，51)的一侧的第一像素与可能的边界(47，49，51)的另一侧的第二像素之间的相似性，该第一和第二像素位于可能的边界(47，49，51)附近；-分析器(73)还用来根据对于每个可能的边界(47，49，51)所确定的相似性来确定最后的边界；以及-包容器(75)用来把与最后的边界交叉的像素块(55)包括在相关区(45)中，如果所确定的最后边界的相似性超过相似性阈值的话。
5.如权利要求1中要求的电子装置(61)，其中电子电路(63)还包括图像处理器(77)，用来把缺省值赋予与边界交叉的像素块(55)，如果所述像素块不是被包括在相关区(45)中的话。
6.如权利要求1中要求的电子装置(61)，其中边界检测器(71)用来通过分析从图像(45)的边缘开始的像素行和确定像素的第一行的位置而确定边界(47)，这些像素的至少一个像素具有作为某个数值组的一部分的数值。
7.如权利要求1中要求的电子装置(61)，其中电子电路(63)还包括图像处理器(77)，用来对来自为包括所述图像(41)的视频序列中至少一个以前的图像以前所确定的相关区的图像数据进行处理，如果该以前所确定的相关区不比所述相关区(45)小一个大于预定量的量的话；否则，图像处理器(63)处理来自所述相关区(45)的图像数据。
8.如权利要求7中要求的电子装置(61)，其中图像处理器(77)用来对来自处理视频序列的前一个图像时以前所使用过的区的图像数据进行处理，如果类似于所述相关区(45)的各相关区针对于视频序列中以前的各图像在最近已经相当少地被确定的话。
9.如权利要求1中要求的电子装置(61)，其中分析器(73)用来根据所确定的各第一像素的分段数目，确定在第一和第二像素之间的相似性，其中每个像素值与相对的第二像素分段的相应的像素值相差至少一定的量。
10.在权利要求1的装置中使用的电子电路。
11.一种确定用于基于块的图像处理的图像的相关区的方法，方法包括以下步骤-确定(1)在图像的相关和非相关区之间的边界；-分析(3)与边界交叉的像素块；以及-根据分析把与边界交叉的像素块包括(5)在相关区中。
12.如权利要求11中要求的方法，其中-分析(3)与边界交叉的像素块的步骤包括确定(11)在边界的一侧的第一像素与边界的另一侧的第二像素之间的相似性，该第一和第二像素位于边界附近；以及-根据分析把与边界交叉的像素块包括(5)在相关区的步骤包括把与边界交叉的像素块包括(13)在相关区中，如果对边界所确定的相似性超过相似性阈值的话。
13.如权利要求11中要求的方法，其中相似性阈值根据与边界交叉的块的质量而确定。
14.如权利要求12中要求的方法，其中-确定(1)在图像的相关和非相关区之间的边界的步骤包括确定(21)在图像的相关和非相关区之间的多个可能的边界；-确定(11)在边界的一侧的第一像素与边界的另一侧的第二像素之间的相似性的步骤包括为每个可能的边界确定(23)在可能的边界的一侧的第一像素与可能的边界的另一侧的第二像素之间的相似性；-还包括根据对每个可能的边界所确定的相似性确定(25)最后的边界的步骤；以及-如果所确定的相似性超过相似性阈值则把与边界交叉的像素块包括(13)在相关区中的步骤包括如果所确定的最后边界的相似性超过相似性阈值则把与最后的边界交叉的像素块包括(27)在相关区中。
15.用于使可编程装置执行权利要求11的方法的控制程序。
全文摘要
电子装置包括电子电路，该电子电路在功能上包括边界检测器、分析器和包容器。边界检测器用来确定在图像(41)的相关区(45)和非相关区(43)之间的边界(47)。分析器用来分析与边界(47)交叉的各像素块(55)。包容器用来根据分析把与边界(47)交叉的像素块(55)包括在相关区(45)中。本发明还涉及用于基于块的图像处理的确定图像的相关区的方法。该方法包括以下步骤确定在图像的相关和非相关区之间的边界；分析与边界交叉的像素块；以及根据分析而把与边界交叉的像素块包括在相关区中。本发明还涉及用于使可编程装置执行本发明的方法的控制软件和在本发明的装置中使用的电子电路。
文档编号H04N5/445GK1973540SQ200580020900
公开日2007年5月30日 申请日期2005年6月20日 优先权日2004年6月24日
发明者R·H·格尔德布洛姆, L·A·范埃格伦, M·A·博斯马 申请人:皇家飞利浦电子股份有限公司