运动图像区域判定装置或其方法

运动图像区域判定装置或其方法
【专利摘要】适当判断矩形的运动区域。保存器(604)保存所输出的时刻t的运动区域，并在时刻t+1赋予给指定区域特征检测器(605)。指定区域特征检测器(605)在时刻t+1，将由判定器603赋予的时刻t的运动坐标应用于时刻t的图像和时刻t+1的图像，计算时刻t的运动坐标周边的特征数据d(t)以及时刻t+1的运动坐标周边的特征数据d(t+1)后，赋予给判定器(603)。判定器(603)根据特征数据d(t+1)判断是否存在框。
【专利说明】运动图像区域判定装置或其方法

【技术领域】
[0001]本发明涉及运动图像区域的判定方法，特别涉及矩形的运动图像区域判定。

【背景技术】
[0002]目前，将所输入的运动图像和/或静止图像的信号进行高清晰度化来输出的技术受到关注。例如，若仅对显示区域中的运动图像区域进行提高清晰度的处理，则即使是较粗糙的输入运动图像，也能够显示成易于观看。
[0003]若所述运动图像区域为固定的，则能够手动指定，但在该情况下，指定处理烦杂。因此，在上述运动图像区域移动的情况下，上述手动指定有局限性。
[0004]关于运动图像区域的指定，提出了各种方法。例如，在专利文献I中公开了以块单位进行的运动检测。具体来说，比较前后帧中的同一像素的灰阶值，在灰阶值不同时判断为运动像素，以块单位求出运动像素的像素数比例，在其大于阈值时，将该块判断为运动图像块。
在先技术文献专利文献
[0005]专利文献1:日本专利特开平11-007266号公报


【发明内容】

发明所要解决的技术问题
[0006]但是，在上述专利文献I中公开的判定方法中，在进行每一像素的比较之后，对每一块的像素数进行计数，因此需要对I帧的所有像素进行比较，其实现成本和设计难度增加。
[0007]本发明解决上述问题，其目的在于提供一种通过简单结构判定矩形运动图像区域的判定方法或其装置。
解决技术问题的方案
[0008](I)本发明涉及的矩形运动图像区域决定方法，对显示区域的一部分显示的矩形运动图像区域，根据时刻t的帧和时刻t+n的帧的图像的差分，决定外形为矩形的矩形运动图像区域的边界，在决定时刻t的帧中的矩形运动图像区域时，预先保存其边界坐标，不使用时刻t的帧的图像，对时刻t+m的帧判断在时刻t中的边界坐标的位置是否有框，在有框的情况下，将用上述时刻t的边界坐标指定的区域判断为时刻t+n的帧中的运动区域，其中，η兰m。
[0009]因此，即使在后的帧中临时停止的情况下，也能够将由上述时刻t的边界坐标指定的区域判断为时刻t+n的帧中的运动区域。
[0010](2)本发明涉及的矩形运动图像区域决定方法中，在上述显示区域，行方向及列方向上行列配置了像素，通过下述步骤决定上述时刻t的帧中的矩形运动图像区域:运动单位块判断步骤，将上述显示区域分割为由规定数的像素构成的单位块，并且，判断各单位块是否为存在运动的运动单位块；运动列块决定步骤，将上述单位块中的与位于最上段的各单位块同属一列的单位块的集合定义为列块，在各列块中至少存在I以上的运动单位块时，将该列块决定为运动列块；运动行块决定步骤，将上述单位块中的与位于最左端段的各单位块同属一行的单位块的集合定义为行块，并在各行块中存在至少I以上的运动单位块时，将该行块决定为运动行块；第一矩形运动图像区域决定步骤，将属于上述运动行块及上述运动列块的双方的用单位块指定的矩形区域决定为矩形运动图像区域。
[0011]由此，能够将属于上述运动行块及上述运动列块的双方的用单位块指定的矩形区域决定为矩形运动图像区域。
[0012](3)本发明涉及的矩形运动图像区域决定方法中，包括下述步骤:第二矩形运动图像区域决定步骤，对构成上述矩形运动图像区域的单位块中、构成外周四边的单位块，根据这些单位块内的各像素，将由上述矩形运动图像区域内的边缘定义的区域设为上述矩形运动图像区域。因此，能够决定高精度的矩形运动图像区域。
[0013](4)本发明涉及的矩形运动图像区域决定方法中，上述第一矩形运动图像区域决定步骤，在上述运动行块中相邻的运动行块存在阈值以上时，定义这些行块的集合行块的外形行块直线，在上述运动列块中运动列块存在阈值以上时，定义这些列块的集合列块的外形列块直线，并将由上述外形行块直线及上述外形列块直线包围的矩形区域决定为矩形运动图像区域。因此，能够决定矩形运动图像区域。
[0014](5)本发明涉及的矩形运动图像区域决定方法中，在上述第二矩形运动图像区域决定步骤，对构成上述外周四边的单位块，关于这些单位块内的行方向，将各行的代表像素值不同的行决定为上述矩形运动图像区域的边界，关于列方向，将各列的代表像素值不同的列决定为上述矩形运动图像区域的边界。因此，能够决定高精度的矩形运动图像区域。
[0015](6)本发明涉及的矩形运动图像区域决定方法中，在上述第二矩形运动图像区域决定步骤，对构成上述外周四边的单位块，关于这些单位块内的各像素，提取构成行方向边缘和列方向边缘的像素，关于各行，根据构成行方向边缘的像素的总数决定上述矩形运动图像区域的边界，关于各列，根据构成列方向边缘的像素的总数决定上述矩形运动图像区域的边界。因此，能够决定高精度的矩形运动图像区域。
[0016](7)本发明涉及的矩形运动图像区域决定方法中，在从时刻t和时刻t+n的帧的图像没有检测到运动区域时，不使用上述时刻t的帧的图像，关于时刻t+b的帧，判断时刻t中的边界坐标的位置是否有框，在有框的情况下，将由上述时刻t的边界坐标指定的区域判断为时刻t+n的帧中的运动区域，在从时刻t和时刻t+n的帧的图像检测到运动区域时，从时刻t和时刻t+n的帧决定时刻t+n的帧中的矩形运动图像区域后，判断其是否内包在由上述时刻t中的边界坐标指定的区域中，在内包的情况下，不使用时刻t的帧的图像，而是对时刻t+b的帧判断在时刻t中的边界坐标的位置是否有框，在有框的情况下，将用上述时刻t的边界坐标指定的区域判断为时刻t+n的帧中的运动区域，在此，b，η为满足n ^ b ^ I的整数。
[0017]因此，不使用时刻t的帧的图像，而是对于时刻t+b的帧，能够将由上述时刻t的边界坐标指定的区域决定为时刻t+n的帧中的运动区域。
[0018](8)本发明涉及的矩形运动图像区域决定方法中，在上述内包的情况下，当上述内包的情况在不同的时刻连续阈值以上时，不使用时刻t的帧的图像，而是判断在时刻t+b的帧中的时刻t中的边界坐标的位置是否有框。因此，在重复检测内侧时，能够进行上述框判断。
[0019](9)本发明涉及的矩形运动图像区域决定方法中，对显示区域的一部分显示的矩形运动图像区域，根据时刻t的帧和时刻t+n的帧的图像的差分，决定外形为矩形的矩形运动图像区域的边界，具备:决定时刻t的帧中的矩形运动图像区域的单元；边界坐标保存单元，保存上述决定的边界坐标；框判定单元，不使用时刻t的帧的图像，而对时刻t+m的帧判断在时刻t中的边界坐标的位置是否有框；以及运动区域判断单元，在上述判断单元判断为有框时，将由上述时刻t的边界坐标指定的区域判断为时刻t+n的帧中的运动区域，其中，n = n1
[0020]因此，即使在后的帧暂时停止的情况下，也能够将由上述时刻t的边界坐标指定的区域判断为时刻t+n的帧中的运动区域。
[0021](14)本发明涉及的矩形运动图像区域决定方法中，对显示区域的一部分显示的矩形运动图像区域，根据时刻t的帧和时刻t+n的帧的图像的差分，决定外形为矩形的矩形运动图像区域，在从时刻t和时刻t+n的帧决定时刻t+n中的矩形运动图像区域后，预先保存时刻t+n中的矩形运动图像区域的边界坐标，在从时刻t+p和时刻t+m的巾贞决定时刻t+m的帧中的矩形运动图像区域后，判断是否内包于由上述时刻t+n中的边界坐标指定的区域中，在内包的情况下，不使用时刻t+n的帧的图像，而对时刻t+b的帧判断在时刻t+n的帧中的边界坐标的位置是否有框，在有框的情况下，将由上述时刻t+n的边界坐标指定的区域判断为时刻t+m的巾贞中的运动区域,在此,m, n, p, b为满足n<m, p<m, b兰m的整数。
[0022]因此，不使用时刻t+n的帧的图像，对于时刻t+m的巾贞，能够将由上述时刻t的边界坐标指定的区域决定为时刻t+m的帧中的运动区域。
[0023]此外，在本说明书中，所谓“像素值”不仅包含亮度值，当然还包含RGB值等所有指定图像信息的数值。此外，所谓“矩形运动图像区域”是指在多个帧间像素值不同、构成运动图像区域的矩形区域。
[0024]所谓“列块”是指单位块中的与位于最上段的各单位块同属一列的单位块的集合。在本实施方式中，指定位于最上段的1个单位块来决定了列块，但是若最终包含位于该最上段的1个单位块，则也可以从最上段以外的行中进行指定。所谓“行块”是指上述单位块中的与位于最左端段的各单位块同属同一行的单位块的集合。若最终包含位于该左端段的1个单位块，则不管指定方法。
[0025]在实施方式中，“第一矩形运动图像区域决定步骤”、“第二矩形运动图像区域决定步骤”分别相当于运动图像区域决定处理(图3步骤S7)和边界决定处理(图3步骤S9)。
[0026]此外，所谓“列方向”是指各行配置的方向，在实施方式中指α方向。所谓“行方向边缘”是指平行于行方向的方向的边缘，“列方向边缘”是指平行于列方向的方向的边缘。
[0027]所谓“内包”，指如图23所示所有4边相对于过去的运动区域处于内侧的情况，还包括过去的运动区域的角落的1处或2处被隐藏的情况。

【专利附图】

【附图说明】
[0028]图1是矩形运动图像区域决定装置1的功能框图。
图2是用CPU构成了矩形运动图像区域决定装置1时的硬件结构的一例。 图3是全体的流程图。
图4示出存在运动图像区域110?112的显示区域100。
图5是运动块决定处理的流程图。
图6是示出检测到运动块的结果的图。
图7是运动图像区域决定处理的流程图。
图8是示出运动列块的图。
图9是运动图像区域决定处理的流程图(续)。
图10是示出运动行块的图。
图11是示出运动图像区域140的图。
图12是边界决定处理的流程图。
图13是示出I单位块内的32 ~k 32像素的图。
图14示出存在很多运动图像区域的显示区域200。
图15示出检测到的运动图像区域301?304。
图16示出从运动图像区域301检测到的运动图像区域311、312。
图17是边界决定处理的流程图。
图18是用于边缘像素判断的滤波器和计算式。
图19是用于说明基于时间轴方向的履历的边界判断的运动图像例。
图20是滚动判定处理的流程图。
图21是示出运动区域检测处理和插補决定处理的关系的流程图。
图22是插補决定处理的流程图。
图23是示出在内侧检测到的状态的图。
图24是用硬件实现时的框图。
图25是文件图像的一例。
图26是第六实施方式中的文字区域判定处理的流程图。

【具体实施方式】
[0029]下面，参照附图，对本发明中的实施方式进行说明。
[0030](1.1功能模块)
图1示出本发明的一实施方式的矩形运动图像区域决定装置I的功能框图。矩形运动图像区域决定装置I是在沿着行方向及列方向行列配置了像素的显示区域中决定在其一部分显示的矩形运动图像区域的装置，具备:运动单位块判断单元5，运动列块决定单元7，运动行块决定单元9，第一矩形运动图像区域决定单元11，重复单元13，以及第二矩形运动图像区域决定单元14。
[0031]运动单位块判断单元5将上述显示区域分割为由规定数的像素构成的单位块，并且判断为各单位块存在运动的运动单位块。运动列块决定单元7将在上述单位块中的、与位于最上段的各单位块同属一列的单位块的集合定义为列块，在各列块中存在至少I以上的运动单位块时，将相应列块决定为运动列块。运动行块决定单元9将在上述单位块中的、与位于最左端段的各单位块同属一行上的单位块的集合定义为行块，在各行块中存在至少I以上的运动单位块时，将相应行块决定为运动行块。第一矩形运动图像区域决定单元11将属于上述运动行块及上述运动列块的双方的、用单位块指定的矩形区域决定为矩形运动图像区域。重复单元13对第一矩形运动图像区域决定单元11所决定的矩形运动图像区域，重复执行运动列块决定单元7、运动行块决定单元9及矩形运动图像区域决定单元11的处理。第二矩形运动图像区域决定单元14对构成上述矩形运动图像区域的单位块中的构成外周四边的单位块，根据这些单位块内的各像素，将用上述矩形运动图像区域内的边缘定义的区域设为上述矩形运动图像区域。
[0032](1.2硬件结构)
图2示出矩形运动图像区域决定装置1的硬件结构。矩形运动图像区域决定装置1具备:CPU23，RAM25,闪存26。在闪存26上存储了程序26p。如后所述，程序26p进行矩形运动图像区域决定处理。RAM25存储计算结果等。帧存储器27保存1个画面的图像数据。
[0033]CPU23按照程序26p，根据存储器27中保存的构成显示区域的像素值，判断是否为由存在运动的像素构成的运动图像区域，并将结果存储到RAM25。
[0034](1.3流程图的说明)
用图3，对图2所示的程序26p的处理进行说明。下面，如图4所示，以在作为显示器的1帧的图像区域100存在3个矩形运动图像区域100?112的情况为例进行说明。
[0035]在图像区域100，在行方向α和列方向β上矩形状地配置了像素。
[0036]CPU23进行块分割(图3步骤S1)。在本实施方式中，以32*32像素作为1块，将图4所示的显示区域100矩形状地分割为多个块。下面，假设在α方向上分割为η+1个，在β方向上分割为m+1个块。
[0037]CPU23对所有块决定代表值(图3步骤S3)。作为代表值，可以不直接用1块内的像素值的平均值、第一个像素值及相应值，而是使用CRC等的哈希值作为代表值。此外，在32 * 32 * 8bit图像中，可用18比特长度表现平均值，但是也可以切掉上下10比特而仅用正中间的8比特表现平均值。由此，(n+1)*(m+1)个块代表值被存储到RAM25中。
[0038]CPU23在(n+1) * (m+1)个块中决定运动块(步骤S5)。用图5说明运动块决定处理。
[0039]CPU23对处理块编号1、j进行初始化(图5步骤SI 1，S13)。对于块(0，0)，与前帧的代表值进行比较(步骤S15)。在本实施方式中，比较时刻t和时刻t-Ι的代表值。CPU23判断代表值的差分是否超过阈值thb (步骤S17)，当代表值的差分超过阈值thb时，判断为运动块(步骤S19)。另一方面，在代表值的差分不超过阈值thb时，判断为非运动块(步骤S21)。
[0040]CPU23判断处理块编号j是否为最终的(步骤S23)。此时，j = 0，不是最终的，因此递增处理块编号j (步骤S25)，并重复步骤S15以下的步骤。在步骤S23，若处理块编号j为最终的，则进入步骤S27，CPU23判断处理块编号i是否为最终的。此时，不是最终的，因此递增处理块编号i (步骤S29)，并重复步骤S13以下步骤。在步骤S27，若处理块编号i为最终的，则结束处理。
[0041]由此，对图6所示的(n+1)*(m+1)个块，决定运动块。在该例中，将块(4，2)、(4，3)、(4，4)...决定为运动块。
[0042]CPU23进行运动图像区域决定处理(图3步骤S7)。用图7、图9，对运动图像区域决定处理进行详细说明。
[0043]CPU23对处理块编号j进行初始化(图7步骤S31)。CPU23判断块(0，O)所属的列的块中是否至少存在I个运动块(步骤S33)。此时，如图6所示，在块(0，0)及其纵向的块(I, O)?(m, O)中不存在运动块，所以将所述列判断为非运动列(图7步骤S37)。CPU23判断是否存在加法存储的临时运动列(步骤S39)。此时，不存在，所以进入步骤S46，判断处理块编号j是否为最终编号。此时，j = 0，不是最终的，所以将处理块编号j进行递增(步骤S47)，并重复步骤S33以下的步骤。
[0044]在处理块编号j = 2中，在块(0，2)的纵向的块中存在运动块。因此，CPU23将该列作为临时运动列来进行加法存储(步骤S35)。
[0045]CPU23判断处理块编号j是否为最终的编号(步骤S46)。此时，j = 2，不是最终的，因此使处理块编号j递增(步骤S47)，重复步骤S33以下的步骤。
[0046]在处理块编号j = 8之前，重复步骤S35的处理。在处理块编号j = 9时，块(0，9)的列中不存在运动块。因此，CPU23将该列判断为非运动列(步骤S37)。CPU23判断是否存在加法存储的临时运动列(步骤S39)，在存在时，判断相邻的这些集合是否具有超过阈值thw的幅度(步骤S41)。在本实施方式中，设阈值thw为2块以上。此时，加法存储的临时运动列存在块(0，2)?(0，8)，超过了上述阈值thw，因此将临时运动列设为运动列(步骤 S45)。
[0047]CPU23判断处理块编号j是否为最终的编号(步骤S46)。
[0048]在处理块编号j = 10中，在块(0，10)的列中不存在运动块。因此，CPU23将该列判断为非运动列(步骤S37)。CPU23判断是否存在已检测完的临时运动列(步骤S39)，此时，不存在，所以CPU23判断处理块编号j是否为最终的编号(步骤S46)。
[0049]以下，到j = n-7，判断为非运动列。在处理块编号j = n-6，存在运动块(m-3, n-6)。因此，CPU23加法存储为临时运动列(步骤S35)。
[0050]在处理块编号j = n-5，在块(0，n-5)的列中不存在运动块。因此，CPU23将该列判断为非运动列(步骤S37)。CPU23判断是否存在已检测完的临时运动列(步骤S39)，在存在时，判断相邻的这些集合是否具有超过阈值thw的幅度(步骤S41)。在本实施方式中，将阈值thw设为2块以上,临时运动列的幅度不超过上述阈值thw,因此将临时运动列设为非运动列(步骤S43)。由此，能够防止将鼠标等的图像区域错误地认定为运动图像区域的情形。
[0051]以下同样，对行方向α，依次一列一列地判断是否为存在运动块的列。
[0052]此外，有时作为最终列的块(0，η)的列为临时运动列。此时，在步骤S49，判断是否存在进行了加法存储的临时运动列，在存在时，执行步骤S41以下的处理。
[0053]图8示出检测后的运动列。此时，将区域121决定为运动列。对此，运动块(6，η_3)、(m-3, n-6)所属的区域122、123在箭头α方向上不具有阈值thw以上的幅度，因此不会决定为运动列。
[0054]接着，CPU23对处理块编号i进行初始化(图9步骤S51)。CPU23判断在块(0，O)的行中是否至少存在I个运动块(步骤S53)。此时，如图6所示，在块(0，0)及其横向的块(0，1)?(0，n)中不存在运动块，因此将该行判断为非运动行(步骤S57)。CPU23判断有没有进行了加法存储的运动行(步骤S59)。此时，不存在已检测完的运动行，因此进入步骤S66，判断处理块编号i是否为最终的编号。此时，i = 0，不是最终的，因此使处理块编号i递增(步骤S68)，并重复步骤S53以下的步骤。
[0055]在处理块编号i = 4，在块(4，0)的行中存在运动块。因此，CPU23将该行作为临时运动行进行加法存储(步骤S55)。
[0056]以下，同样，i = 8为止，进行块(i，0)的行为存在运动块的运动行的判断。在i=9，在块(i，0)的行不存在运动块，因此将该行判断为非运动行(步骤S57)。CPU23判断有没有进行了加法存储的运动行(步骤S59)。此时，有进行了加法存储的运动行，因此判断这些集合是否具有超过阈值thw的幅度(步骤S61)。在本实施方式中，将阈值thw设为2块以上。此时，块(4,0)?(8,0)存在已检测完的运动行，超过了上述阈值thw,因此将临时运动行设为运动行(步骤S65)。
[0057]以下，同样，对列方向β，一行一行地依次判断是否为存在运动块的列。步骤S69的意义与步骤S49相同，因此省略说明。
[0058]图10示出检测后的运动行。此时，将区域131决定为运动行。运动块(6，η_3)属于区域131。相对于此，运动块(m-3，n-6)所属的区域132在箭头β方向上不具有阈值thw以上的幅度，因此不决定为运动行。
[0059]CPU23将属于运动列和运动行的双方的块决定为运动图像区域(图9步骤S70)。此时，属于图11所示的区域121和区域131的重复区域140的块被决定为运动图像区域。与图6的运动块进行比较，运动块(6，n-3)、(m-3，n-6)被排除，另一方面，块(4，5)等被决定为运动图像区域。由此，能够通过与周边块之间的关系防止误判。
[0060]CPU23进行边界决定处理(图3步骤S9)。关于图11所示的区域140，能够得到由32 ★ 32像素构成的块中的运动图像区域的边界。通过步骤S9的处理，如图13所示，能够得到1像素单位的运动图像区域的边界150。关于步骤S9的详细内容，利用图12进行说明。
[0061]CPU23提取上侧块(图12步骤S80)。此时，提取图13所示的块(4，2)?(4，8)的共计7个块。CPU23对处理行编号P进行初始化(步骤S81)，并提取所提取出的块的第P行的所有像素，并计算其代表值(步骤S83)。此时，提取块(4，2)的第0行的32个像素、块(4，3)的第0行的32个像素.--和7*32像素，并计算其代表值。在本实施方式中，设代表值为所提取出的像素的平均值。
[0062]接着，CPU23提取出所提取的块的处理行编号第P+1行的所有像素，并计算其代表值(步骤S85)。此时，提取块(4，2)的第1行的32像素、块(4，3)的第1行的32像素..?和7*32像素，并计算其代表值。
[0063]CPU23判断在步骤S83求出的代表值和在步骤S85求出的代表值是否不同(步骤S87)。在步骤S87两者不同时，将像素(P，0)的行判断为边界(步骤S93)。在步骤S87两者相同时，使处理行编号P递增(步骤S89)，在到达提取块的最终像素(此时，32像素)为止重复进行步骤S83以下的步骤(步骤S91)。即使是最终像素，在步骤S87两者相同时，将所提取的块的端部判断为边界(步骤S95)。
[0064]在图12中，对提取出上部块中1像素单位边界的情况进行说明，对于下部块也同样。
[0065]如上，关于外周块，若是上部、下部，则提取横向1行的像素，通过将其代表值与相邻的行进行比较，从而能够取得块内1像素单位边界。
[0066]此外，关于左右边界，提取出纵向I列的像素，并将其代表值与相邻的列进行比较就可以。
[0067]在本装置中，能够自动检测出运动图像区域。此外，该判断也可以用数帧进行检测。因此，即使在显示器上运动图像区域自身动态变动的情况下，也大体能够实时地检测出运动图像区域。
[0068](2.第二实施方式)
在上述实施方式，以检测对象为I个的情况为例进行了说明。在第二实施方式中，对所决定的运动图像区域进一步重复进行图3的步骤S7的处理，由此，即使存在多个如图14所示的运动图像区域201?207的情况下，也能够检测出运动图像区域。
[0069]进行一次图3步骤S7的处理，就决定如图15所示的运动图像区域301?304。关于区域207，设不具有阈值thw以上的幅度，检测不出运动图像区域。
[0070]在该状态下，在运动区域301中还包含本来不是运动图像区域的区域。由于存在所述的情况，CPU23将区域301?304分别视作全体图像区域，再次进行运动图像区域的检测。由此，例如，在为区域301的情况下，检测出由块坐标(yl，xl) (y3,xll)定义的区域311和由块坐标(yl, xl2) (y3, xl3)定义的区域312。关于其他区域302?304也同样。
[0071]关于区域311，同样将区域311视作全体的图像区域，再次进行运动图像区域的检测。由此，能够检测出由块坐标(yl，Xl) (yll，xll)定义的区域。关于区域312也同样。
[0072]所述重复检测也可以实施到不能再分割为止，也可以预先决定重复检测的上限次数。
[0073](3.第三实施方式)
在第一、第二实施方式中，在以块单位检测之后，对于构成外周四边的单位块，若是行方向，对各行求出代表值，在不同于相邻行的情况下，判断为边界(图17步骤S117)。对于列方向也同样。关于所述的检测，能够如下进行边界判断。用图17进行说明。
[0074]CPU23提取上侧块中的除去端部的块(图17步骤S100)。此时，提取出图13所示的块(4，3)?(4，7)的共计5个块。如上除去端部是因为在两端部的块中有可能没有一部分边缘。此外，也可以用于所述端部块。
[0075]CPU23对处理行编号r、处理像素编号g进行初始化(图17步骤SlOl，S102)，并判断提取了行编号”0”的块的第g个像素是否为横边缘像素(行方向边缘)(步骤S103)。关于是否为横边缘像素，只要根据与相邻像素之间的亮度差决定就可以。在本实施方式中，采用了如图18A所示的滤波器及计算式。
[0076]CPU23在判断第P个像素为横边缘像素时，使总数Et递增(图17步骤S105)。CPU23判断I行是否全部结束(步骤S107)，若没有结束，则使处理像素编号g递增(步骤S109)，重复步骤S103?步骤S107。
[0077]CPU23在对I行的全像素判断是否为横边缘时，判断该行中的横边缘的总数Et是否大于预先设定的阈值ths (步骤S111)。这是因为在运动图像区域内也存在作为轮廓的横边缘的像素，为了排除这种像素而为之的。CPU23在横边缘的总数Et大于阈值ths时，将其设为边界(步骤S113)。由此，能够得到横边缘的集合超过阈值ths的边界。
[0078]此外，阈值ths可以是固定阈值，此外，也可以预先设定比率，根据检测到的区域的大小(块数)进行计算。
[0079]CPU23在步骤Sill为“否〃时，判断全行是否结束(步骤S113)。若全行没有结束，则CPU23使处理行编号r递增，并重复步骤S102?步骤S111。
[0080]由此，能够以1像素单位判断边界。对于下部的块中的1像素单位的边界也同样。
[0081]关于左右边界，对位于最右段及最左段的单位块，同样使用图18B所示的滤波器及计算式，检测纵边缘(列方向边缘)就可以。
[0082]在本实施方式中，用纵边缘及横边缘的总数进行边界判断。因此，即使是杂乱的背景上的运动图像区域也能够检测得到。此外，检测精度提高，运动图像区域的摇摆减少。
[0083]在本实施方式中，在求边界时，采用了在图11中求出的块中的除了端部之外的所有块的像素，但是也可以用其一部分进行判断。
[0084]在本实施方式中，将1行的总计与阈值ths之间进行了比较，但在边缘像素连续规定数以上时，也可以判断为边界。此外，有时在自然画中也存在边缘图像。因此，对于一定数以上不连续的边缘，也可以从总数计算中除去。
[0085]在本实施方式中，应用于决定上述矩形区域、并求出接触其外周的块的1像素单位的边界的情况，但是，运动推定一般可进一步应用于其他领域。此外，也可以不是求出1像素单位的边界，而是求出多个像素单位(例如2*2像素单位)的边界。
[0086]在本实施方式中，提取边缘像素来决定了边界，但是也可以对对象块内的各像素，判断是否为不同帧间存在运动矢量的像素，将能够检测出运动矢量的像素和检测不出的像素的境目判断为边界。
[0087]此外，在指定的帧中，有时候运动图像区域和背景之间几乎没有亮度差。例如，在图19A所示的帧t中，在背景和运动图像区域的边界部分几乎没有亮度差。在这样的帧中，仅用1个帧有可能不能进行边界检测。因此，依次存储各帧的边界，在有些帧中不能检测边界的情况下，也可以采用所存储的边界。在本实施方式中，假设所存储的帧数为十几帧。
[0088]在本实施方式中，对预先以由多个像素构成的块单位进行检测(以下，称作粗处理)的情况进行了说明，但是也可以不进行该处理而判定矩形边界。
[0089]并且，也可以不是应用于多个帧，而是用作静止图像中的矩形边界决定装置。
[0090](4.第四实施方式)
若根据上述说明的帧间的像素信息判断是否为运动图像区域，则即使在指定的矩形区域中对文本数据进行滚动，有时也可能误判为运动图像区域。如下所示，进行滚动判定，在滚动处理的情况下不进行边界判断。
[0091]关于文本数据，在为横向书写时，在文字和文字之间存在行间隔。即，若按每1行观察，则存在如下特性:在记载了文字的区域存在多个边缘像素，在行间隔中不存在任何边缘像素。因此，可根据是否存在这种特性来判断是否为运动图像区域。
[0092]CPU23对对象行编号Q及一致行数k进行初始化(图20步骤S121)，并对所提取的块的第Q行总边缘像素数Enq进行计测(步骤S123)。关于是否为边缘像素，只要根据与周围像素之间的亮度差来决定就可以。
[0093]CPU23判断总边缘像素数Enq是否大于阈值thm、且紧前面的总边缘像素数En(q-l)小于阈值thn (步骤S125)。CPU23在步骤S125中的判断为“是”时，使一致行数k递增(步骤S127)。
[0094]CPU23对所有行判断是否已判断完(步骤S131)。在没有对所有行已判断完时，CPU23使处理行编号Q递增(步骤S133)，并重复步骤S123?步骤S127。
[0095]CPU23在步骤S131中判断为对所有行已判断完时，判断为上述一致行数k大于阈值thg (步骤S135)。在一致行数k大于阈值thg时，判断为滚动造成的运动(步骤S137)。
[0096]所述滚动判定是在图3步骤S7和步骤S9之间进行，在判断为是滚动判定时，只要不进行步骤S9的处理就可以。
[0097]由此，能够防止在滚动浏览器内的文字时其区域被判断为运动图像的情形。
[0098]此外，上述滚动判定可以不是对该区域中的所有行进行，而是在一部分行中进行判断。
[0099]在本实施方式中，对文本数据为横向书写时的情况进行了说明，但是即使是纵向书写也同样能够判断。此外，滚动判定不限于该处理方法，也可以是周知的滚动判定。
[0100]此外，对应用于运动图像区域判断中的滚动判定中的情况进行了说明，但是能够应用于全盘滚动判定中。
[0101]此外，即使不是滚动，也能够判定指定区域是否为文字区域。该指定区域不限于基于运动图像区域检测的运动图像区域，不管静止图像和/或运动图像，只要是图像内的指定区域就可以。
[0102]该实施方式中的矩形运动图像区域决定方法，在行方向及列方向上行列配置了像素的显示区域中，决定在其一部分显示的矩形运动图像区域，具备:运动单位块判断步骤，将上述显示区域分割为由规定数的像素构成的单位块，并且，判断各单位块是否为存在运动的运动单位块；运动列块决定步骤，将上述单位块中的与位于最上段的各单位块同属一列的单位块的集合定义为列块，在各列块中至少存在I以上的运动单位块时，将该列块决定为运动列块；运动行块决定步骤，将上述单位块中的与位于最左端段的各单位块同属一行的单位块的集合定义为行块，并在各行块中存在至少I以上的运动单位块时，将该行块决定为运动行块；第一矩形运动图像区域决定步骤，将属于上述运动行块及上述运动列块的双方的用单位块指定的矩形区域决定为矩形运动图像区域；第二矩形运动图像区域决定步骤，对构成上述矩形运动图像区域的单位块中、构成外周四边的单位块，根据这些单位块内的各像素，将由上述矩形运动图像区域内的边缘定义的区域设为上述矩形运动图像区域。
[0103]如上，对各上述单位块判断是否为运动单位块，决定上述运动行块及运动列块，通过将用属于其双方的单位块指定的矩形区域决定为矩形运动图像区域，能够决定运动图像区域。此外，在构成其区域的单位块中，关于构成外周四边的单位块，根据这些单位块内的各像素，将由上述矩形运动图像区域内的边缘定义的区域设为上述矩形运动图像区域，由此能够决定更加精密的运动图像区域。
[0104]该实施方式中的矩形运动图像区域决定方法，在上述第二矩形运动图像区域决定步骤，对构成上述外周四边的单位块，关于这些单位块内的行方向，将各行的代表像素值不同的行决定为上述矩形运动图像区域的边界，关于列方向，将各列的代表像素值不同的列决定为上述矩形运动图像区域的边界。因此，能够根据各行的代表像素值决定边界。
[0105]该实施方式中的矩形运动图像区域决定方法，在上述第二矩形运动图像区域决定步骤中，对构成上述外周四边的单位块，对于这些单位块内的各像素判断是否为在不同的帧间存在运动的运动像素，并决定上述矩形运动图像区域的边界。因此，能够根据各像素的运动矢量决定边界。
[0106]该实施方式中的矩形运动图像区域决定方法，在上述第二矩形运动图像区域决定步骤，对构成上述外周四边的单位块，对这些单位块内的各像素提取出构成行方向边缘及列方向边缘的像素，根据各行的构成行方向边缘的像素总数、各列的构成列方向边缘的像素总数，决定上述矩形运动图像区域的边界。因此，能够根据行方向边缘及列方向边缘决定边界。
[0107]该实施方式中的矩形运动图像区域决定方法，在上述第二矩形运动图像区域决定步骤之前进行滚动符合判定，该滚动符合判定是判定所决定的矩形运动图像区域是否因滚动而在帧间图像不同。因此，能够区别是否为滚动。而且，在判断为是滚动的情况下，不进行上述第二矩形运动图像区域决定步骤。因此，在为滚动时，能够迅速判断。
[0108]在该实施方式中的矩形运动图像区域决定方法中，上述滚动符合判定关于所决定的矩形运动图像区域的各像素，根据与周边像素之间的像素值之差，判断是否为边缘，对于不是上述边缘的像素在行方向或列方向上存在规定数以上的行或列，识别为文字间隙存在区域，根据相对于上述决定的矩形运动图像区域的上述文字间隙存在区域的比例，进行滚动符合判定。因此，能够可靠判断滚动含文字的图像的情况。
[0109]在该实施方式中的矩形运动图像区域决定方法中，对于在第一矩形运动图像区域决定步骤决定的矩形运动图像区域，在第二矩形运动图像区域决定步骤之前重复执行上述运动列块决定步骤、上述运动行块决定步骤及上述第一矩形运动图像区域决定步骤。因此，即使在存在多个所检测的运动图像区域的情况下，也能够正确进行检测。
[0110]该实施方式中的矩形运动图像区域决定方法，在上述第一矩形运动图像区域决定步骤，对所决定的矩形区域进一步重复执行上述运动列块决定步骤及上述运动行块决定步骤。因此，即使在存在多个所检测的运动图像区域时，也能够正确进行检测。
[0111]该实施方式中的滚动区域判定装置判定画面内的判定对象区域是否为滚动区域，具备:边缘像素判断单元，关于上述判定对象区域的各像素，根据与周边像素之间的像素值之差，判断是否为边缘；文字间隙存在区域判断单元，对同一行或同一列，将不是上述边缘的像素存在规定数以上的行或列判断为文字间隙存在区域；以及滚动区域判断单元，根据上述文字间隙存在区域相对于上述判定对象区域的比例，判断是否为滚动区域。
[0112]因此，能够可靠判断滚动含文字图像的情形。
[0113]该实施方式中的边界决定装置决定存在于1画面中的矩形区域的边界，具备:边缘像素判断单元，根据判定对象像素中的各像素的像素值，判断构成边缘的像素；行方向边界决定单元，提取构成行方向边缘的像素作为行方向边缘像素，对各行计算上述行方向边缘的总数，根据各行的上述行方向边缘的总数，决定行方向的边界；列方向边界决定单元，提取构成列方向边缘的像素作为列方向边缘像素，对各列计算上述列方向边缘的总数，根据各列的上述列方向边缘的总数，决定列方向的边界；以及矩形区域决定单元，将上述决定的行方向边界及上述列方向边界决定为上述矩形区域的边界。
[0114]因此，能够根据行方向边缘及列方向边缘决定边界的该实施方式中的边界决定装置，是决定作为上述边缘像素判断单元的判定对象的像素的单元，具备大体区域决定单元，该大体区域决定单元具有以下的单元。
[0115]1)运动单位块判断单元，将在行方向及列方向上行列配置了像素的显示区域分割为由规定数的像素构成的单位块，并且将各单位块判断为存在运动的运动单位块；
2)运动列块决定单元，将上述单位块中的与位于最上段的各单位块同属一列的单位块的集合定义为列块，在各列块中至少存在I个以上的运动单位块时，将该列块决定为运动列块；
3)运动行块决定单元，将上述单位块中的与位于最左端段的各单位块同属一行的单位块的集合定义为行块，在各行块中存在至少I个以上的运动单位块时，将该行块决定为运动行块；
4)第一矩形运动图像区域决定单元，将属于上述运动行块及上述运动列块的双方的用单位块指定的矩形区域决定为矩形运动图像区域；以及
5)对象像素决定单元，将构成上述矩形运动图像区域的单位块中属于构成外周四边的单位块的像素决定为判定对象。
[0116]因此，能够更加迅速判断边界。
[0117](5.第五实施方式)
通过上述实施方式能够决定外形为矩形的运动边界(框)。因此，在静止图像区域和运动图像区域并存的显示状态下，例如用浏览器显示运动图像投稿网站时，能够动态地检测出运动区域，能够采用不同于静止图像区域的显示方法(例如，边缘增强处理的变更等)。如上，通过动态地检测出运动区域，即使在用户移动了浏览器的窗口位置，进一步进行了放大等变更时，也可以自动追踪运动区域。
[0118]但是，关于上述自动追踪，例如，有时会发生如下所述的问题。
[0119]I)通过用户的操作等暂时停止运动时，通常检测不到运动区域，若开始再生，则再次进行检测。在所述的临时停止及再次再生时，对其区域变更上述边缘增强处理，因此有时用户感觉到不协调感。
[0120]2)运动区域中，有时如动画口型同步，只有其区域的一部分为运动区域，其他部分几乎没有运动。当所述状态持续一定期间时，有可能仅将该一部分区域判定为运动区域，只有该区域被实施上述边缘增强处理等。
[0121]该实施方式所公开的发明在通过进行下述处理来动态地检测出矩形运动区域的运动区域检测装置中，能够提供即使在特殊状况下也能够检测出适当的矩形运动区域的检测方法或其装置。
[0122]上述实施方式中的运动区域检测处理和该实施方式中的插補决定处理的关系如图21所示。如上，插補决定处理(步骤S155)是在运动区域检测处理(步骤S153)结果中不能够检测出运动区域或所检测到的运动区域不适当时进行插補的处理。
[0123](5.1暂时停止时)
关于包含所述插補决定处理的全体处理，利用图21及图22进行说明。下面，在时刻t暂时停止运动，之后，在时刻t+5使浏览器的窗口最小化，以保持该状态时为例进行说明。
[0124]CPU23在接收到针对下一帧的数据后，进行图21中的步骤S153的运动区域检测处理。在运动区域检测处理中，在时刻t-Ι和时刻t的帧间进行运动检测。此时，在时刻t再生被暂时停止，在两帧间存在差分，因此检测到运动区域。
[0125]CPU23进入图21步骤S155。步骤S155的详细内容如图22所示。
[0126]CPU23判断是否存在现时刻即时刻t紧之前为止检测到的运动区域(图22步骤S201)。此时，在紧之前的时刻t-Ι，已经存在运动区域，因此CPU23在时刻t判断是否检测到运动区域(步骤S203)。
[0127]此时，由于在时刻t，在图21步骤S153检测到了运动区域，因此CPU23判断所检测到的运动区域是否为紧之前为止检测到的运动区域的内侧(步骤S221)。此时，所检测到的运动区域与紧之前为止检测到的运动区域相同，不是上述内侧区域，因此结束插補决定处理。
[0128]在插補决定处理结束之后，CPU23判断是否接收到下一帧的数据(图21步骤S151)。
[0129]CPU23在接收到下一帧的数据之后，进行图21步骤S153的运动区域检测处理。在运动区域检测处理中，在时刻t+Ι判断是否检测出运动区域。具体而言，在时刻t和时刻t+i的帧间进行运动检测。此时,在时刻t暂时停止再生，因此时刻t和时刻t+i的两帧间不存在差分，检测不到运动。
[0130]CPU23进行插補决定处理(图21步骤S155)。即，在时刻t+Ι，判断是否存在紧之前为止检测到的运动区域(图22步骤S201)。此时，在紧之前的时刻t存在运动区域，CPU23在时刻t+Ι判断是否检测到运动区域(步骤S203)。
[0131]此时，在图21步骤S153，没有检测到运动区域，因此CPU23判断在时刻t+1的帧中在紧之前为止检测到的运动区域中是否存在框(图22步骤S205)。在框检测中，例如只要在框内外比较像素值而存在规定以上的差分时判断为存在边缘，若边缘的总数超过阈值则判断为存在框就可以。此外，框存在的检测方法也可以采用除此之外的周知的方法。
[0132]此时，仅仅是再生暂时停止的状态，因此在时刻t+Ι的帧中，在紧之前为止所检测到的运动区域中存在边缘。因此，CPU23原样保存紧之前为止检测到的运动区域(步骤S211)。
[0133]如上，存储好在紧之前的帧中检测到的区域的坐标，并将其作为框候补区域信息赋予给其后的帧，由此，如上述第一实施方式所示，不在多个帧间进行比较的情况下，能够判断I个帧中是否存在框。
[0134]由此，即使在运动图像区域的再生停止的情况下，也能够检测出在图21步骤S153的运动区域检测处理中检测不到的运动区域。
[0135]CPU23判断是否接收到下一帧的图像(图21步骤S151)，在接收到的情况下，重复执行步骤S153、步骤S155的处理。
[0136]具体来说，在图21步骤S153检测不到运动区域，在时刻t+2?时刻t+4，CPU23进入图22的步骤S201 —步骤S203 —步骤S205 —步骤S211，并保存紧之前为止检测到的运动区域。
[0137]此时，在时刻t+5，关闭窗口。因此，在图21的步骤S153检测不到运动区域，进入步骤S155。在步骤S155，CPU23进入步骤S201 —步骤S203 —步骤S205，在步骤S205，判断为紧之前为止检测到的运动区域的坐标上不存在框，并进入步骤S207。CPU23判断不存在框的情况是否连续持续多次(步骤S207)。在本实施方式中，将步骤S207中的次数设为5。此时，不存在框的情况不是连续持续多次，所以CPU23原样保存紧之前为止检测到的运动区域(步骤S211)。
[0138]CPU23判断是否接收到下一帧的图像(图21步骤S151)，在接收到的情况下，重复步骤S153、步骤S155的处理。
[0139]具体来说，在图21步骤S153检测不到运动区域，在步骤S155，在时刻t+6?时刻t+8，CPU23进入图22步骤S201 —步骤S203 —步骤S205 —步骤S207 —步骤S211，并保存紧之前为止检测到的运动区域。
[0140]以下，同样在图21步骤S153检测不到运动区域，在步骤S155，在时刻t+9，CPU23进入图22步骤S201 —步骤S203 —步骤S205 —步骤S207，在步骤S207判断为不存在框的情况连续持续5次，并丢弃紧之前为止检测到的运动区域(步骤S213)。
[0141]由此，即使在虽然存在矩形的运动区域，但是停止再生的情况下，在一定期间也能够检测出相应区域。
[0142]此外，在本实施方式中，在图22的步骤S203没有检测到运动区域时，进行步骤S205的处理。这是为了按条件转移是否进行步骤S221以下的处理。因此，若是只判断是否暂时停止，则在步骤S201 “是”时，也可以跳跃到步骤S205。
[0143](5.2成为内侧区域的情况)
以下，对运动区域中只有相应运动区域的一部分为运动区域、其他部分几乎没有运动时的处理进行说明。以下，与上述同样，以在时刻t-20?时刻t运动区域全体在运动、在时刻t+Ι?时刻t+6只有脸部的一部分运动的情况为例进行说明。
[0144]CPU23在时刻t进行图21步骤S153的运动区域检测处理。此时，在时刻t只有脸部的一部分运动，如图23所示，与1个前帧的运动区域410相比，检测到较小的运动区域411。
[0145]CPU23进入图21步骤S153。具体来说，在时刻t，CPU23判断是否存在紧之前为止检测到的运动区域(图22步骤S201)。
[0146]此时，在紧之前的时刻t-Ι，如图23所示存在运动区域，因此，在时刻t，判断是否检测到运动区域(步骤S203)。此时，由于检测到运动区域，CPU23判断所检测到的运动区域是否存在于紧之前为止检测到的运动区域的内侧(步骤S221)。
[0147]此时，如图23所示，在时刻t检测到的运动区域411包含在运动区域410，该运动区域为在时刻t-Ι检测到的运动区域410。因此，CPU23判断连续检测到内侧的次数是否为阈值以上(步骤S223)。在本实施方式中，将步骤S223中的次数设为“5”。
[0148]此时，所述次数不连续。因此，判断为小于阈值，CPU23判断紧之前为止检测到的运动区域的保存时间是否为阈值以上(步骤S225)。在本实施方式中，设步骤S225中的保存时间的阈值为3秒。
[0149]此时，在时刻t-20?时刻t运动区域全体运动，因此，CPU23判断为紧之前为止检测到的运动区域的保存时间超过阈值，并原样保存紧之前为止检测到的运动区域(步骤S211)。由此，当在运动区域，该运动区域的只有一部分为运动区域，其他几乎没有运动的情况下，能够防止有运动的区域的误检测。
[0150]这样，步骤S225，保存时间作为阈值以上的情况，保存之前被检测到的运动区域410。藉此，能排除被误检测的情况。即，以在一样的位置一样的大小，运动区域在预先决定时间被保存，如果偶然其中的内侧被检测出，认定误检测，实行步骤S211处理。
[0151]CPU23对以下的帧也执行同样的处理。由此，即使在所检测到的运动区域位于紧之前为止检测到的运动区域的内侧的情况下，也能够保存原来的运动区域。
[0152]此外，在步骤S225，在紧之前为止检测到的运动区域的保存时间不超过阈值时，判断紧之前为止检测到的运动区域的四角附近是否也发生了亮度变化(步骤S227)。
[0153]此时，即使在运动区域，只有该运动区域的一部分为运动区域，其他部分几乎没有运动的情况下，也判断为没有亮度变化，进入步骤S229，进行框检测判断。步骤S229的处理与步骤S205同样。此时，在运动区域存在框，所以进入步骤S211。
[0154]如上，在只有一部分区域运动，其他部分偶尔静止，紧之前为止检测到的运动区域的保存时间不超过阈值的情况下，CPU23能够原样保存紧之前为止检测到的运动区域(步骤 S211)。
[0155]此外，在继续所述处理的情况下，在步骤S225保存时间成为阈值以上，所以直接进入步骤S211。
[0156]对步骤S227的意义进行说明。作为如图23所示的检测到的运动区域位于紧之前为止检测到的运动区域的内侧的情况，在运动区域中只有该运动区域的一部分为运动区域、其他几乎不运动的情况以外，还有在运动区域的一部分重叠其他窗口，运动区域隐藏的情况。这种情况下，所隐藏的区域包括至少I个检测到的区域的四角中的某一个，并且亮度发生变化。因此，在紧之前为止检测到的运动区域的四角附近的至少I个上发生亮度变化时，进入步骤S211，否则，进行步骤S229的处理。
[0157]S卩，在运动区域的一部分重叠了其他窗口而隐藏了运动区域的情况下，在步骤S229，判断为在紧之前为止检测到的运动区域不存在框，将所检测到的运动区域设为新运动区域(步骤S231)。此外，通过调整用于检测框的阈值，调整所重叠的程度。
[0158]此外，在步骤S227，没有I处以上亮度变化的情况下，也可以不进入步骤S229，而是进入步骤S231。
[0159]接着，CPU23在步骤S151，判断是否接收到下一帧的数据(图21步骤S151)。若接收到，则重复步骤S153、步骤S155的处理。
[0160]此外，在步骤S223，在连续检测到内侧的次数为阈值以上时，不进行步骤S225及步骤S227的判断，进行步骤S229的判断。由此，在重复检测内侧时，能够进行步骤S229的框判断。
[0161]此外，步骤S227、步骤S229、步骤S231产生如下的效果。在运动区域检测初期，结果的可靠度较低。这是因为，由于鼠标指针或进度条的移动等而误检测为较大的情况较多。因此，在检测到运动区域不久时，在当前的检测区域的4个角落的4处中没有I处发生亮度变化，且不存在上述框的情况下，将所检测到的内侧区域重新设定为运动区域。
[0162]此外，在本实施方式中，作为步骤S227的判断基准，用上述四角中至少I处进行了判断，但是也可以除了4处之外加上中心I处共计5处进行判断。此时，也可以在四角中至少I处之外进一步判断在中心有没有发生亮度变化就可以。
[0163]此外，在步骤S221，当所检测到的运动区域位于紧之前为止检测到的运动区域的内侧时，说明是发生了运动区域移动或放大等，因此不进行如本情形那样保存紧之前为止检测到的运动区域的处理。即，将在图21的步骤S153的通常的运动检测处理中检测到的区域检测为运动区域。
[0164]此外，也可以不判断在步骤S205、步骤S229紧之前为止检测到的运动区域中是否存在框，而是判断是否存在例如表示运动图像的再生位置的进度条、表示再生时间的定时。如上，在有存在运动区域的区域的情况下，可将紧之前为止检测到的运动区域判断为检测区域。
[0165]此外，也可以不是根据边缘数，而是根据直方图判断在紧之前为止检测到的运动区域是否有框。
[0166]图24示出用硬件实现图21、图22的处理时的框图。运动区域坐标检测器601利用时刻t-ι和时刻t的图像输出时刻t的运动区域候补(1)候补。判定器603根据该时刻t的运动区域候补⑴和后述的时刻t的运动坐标的候补⑵选择某一个，在时刻t输出时刻t的运动区域。保存器604预先保存该时刻t的运动区域(坐标)，并在时刻t+Ι，将其作为时刻t的运动坐标赋予给指定区域特征检测器605，并且作为时刻t+Ι的运动坐标的候补⑵还赋予给自身。
[0167]指定区域特征检测器605在时刻t+Ι，将由判定器603赋予的时刻t的运动坐标应用于时刻t及时刻t+i的图像，计算时刻t的运动坐标周边的特征数据d(t)及时刻t+i的运动坐标周边的特征数据d(t+l)，赋予给判定器603。
[0168]判定器603根据特征数据d(t+l)判断是否存在框。此外，根据特征数据d(t)及特征数据d(t+l)判断四角是否发生了亮度变化(图22步骤S227)。
[0169]由此，在时刻t，保存所输出的运动坐标，通过应用于在时刻t+Ι赋予的图像，可进行图22的判断。
[0170]在该实施方式，对上述第1?第4实施方式的检测到外形矩形区域的情况进行了说明，但是在除此之外的方法中，也能够与外形矩形区域的检测方法组合进行。
[0171]此外，作为对在显示区域的一部分显示的矩形运动图像区域，根据时刻t的帧和时刻t+Ι的帧的图像的差分来决定外形为矩形的矩形运动图像区域的边界的矩形运动图像区域决定方法，例如也可以通过下述步骤来执行。运动单位块判断步骤，将上述显示区域分割为由规定数的像素构成的单位块，并且判断各单位块是否为存在运动的运动单位块；运动行块决定步骤，对上述各单位块，在配置了各行的方向即列方向上至少包含1个运动单位块时，将该行决定为运动行块；运动列块决定步骤，对上述各单位块，在配置了各列的方向即行方向上至少包含1个运动单位块时，将列决定为运动列块；第一矩形运动图像区域决定步骤，在上述运动行块中相邻的运动行块存在阈值以上时，定义这些行块的集合行块的外形行块直线，在上述运动列块中运动列块存在阈值以上时，定义这些列块的集合列块的外形列块直线，并将由上述外形行块直线及上述外形列块直线包围的矩形区域决定为矩形运动图像区域。
[0172]在上述实施方式中，对运动区域坐标检测器601和指定区域特征检测器605赋予了相同帧的图像，但是也可以由将不同于运动区域坐标检测器601的帧的图像赋予给指定区域特征检测器605。具体来说，前面是利用由时刻t-Ι和时刻t的帧求出的运动区域和由时刻t和时刻t+Ι的帧求出的运动区域判断了内包关系，但是，作为判断所述内包的帧，也可以根据由时刻t和时刻t+n的帧求出的运动区域和由时刻t+m和时刻t+p的帧求出的运动区域进行判断。其中，此时，n, m, p是满足η < m，p < m关系的整数。
[0173]此外，也可以对指定区域特征检测器605赋予时刻t+a和时刻t+b的帧。其中，a，b是满足m兰b,m3a, a古b的整数。
[0174](6.第六实施方式)在上述第四实施方式，对指定的运动图像区域进行滚动判定，在滚动文字区域的过程中的情况下，不进行边界判定。所述滚动判定可应用于指定区域是否为文本区域的判断中。
[0175]在该实施方式中，通过其他方法实施指定区域是否为文本区域的判定的情况进行说明。
[0176]此外，同样，该方法能够应用于指定区域是否在滚动中的判定。
[0177]在上述第四实施方式中，在各行中与I行前的行之间的边缘数差超过阈值时，将该行检测为特征行，在该检测到的特征行总数超过阈值时，将该指定矩形区域判断为文字区域。但是，混合了如图25所示那样自然画的文字混合区域时，有可能发生误检测。这是因为在自然画的区域中，有可能在与I行前的线之间没有边缘数差，必须仅用其他区域判断是否为特征行。在该实施方式中，也可以不利用这种二条线的边缘差，而是利用各线中最大连续无边缘数是否为阈值以上来判断是否为文字混合区域。下面，以提取了如图25所示的混合了文字和自然画的矩形区域的情况为例，利用图26说明其处理。
[0178]CPU23对特征行总数k进行初始化，(图26步骤S221)，并对连续无边缘数r进行初始化(步骤S223)。
[0179]CPU23判断是否为连续无边缘的开始(步骤S224)。关于是否为连续无边缘的开始，只要判断该像素在该行中是否不是初始边缘像素，或判断是否从边缘像素成为非边缘像素就可以。此外，关于各像素是否为边缘，如前面说明，只要根据与周围像素之间的亮度差决定就可以。
[0180]CPU23在步骤S224的判断为“是”时，使连续无边缘数r递增(步骤S225)，并判断连续无边缘是否结束(步骤S226)。关于连续无边缘是否结束，只要判断是否从非边缘像素成为边缘像素，或判断该线中的最终像素是否为非边缘像素就可以。
[0181]CPU23将当前的r数存储为候补(步骤S227)。
[0182]CPU23判断是否对该行中的像素全部进行了判断(步骤S231)。若对该行的所有像素没有判断完，则CPU23重复步骤S223?步骤S227。
[0183]此外，在步骤S224的判断为“否”时，重复步骤S224的处理。
[0184]由此，关于各行，存储I或2个以上连续无边缘数的候补。
[0185]CPU23在步骤S231判断为对该行中的所有像素已判断完时，提取候补中的最大值(步骤S233)，并消去全候补。CPU23判断所提取的最大值是否大于阈值(步骤S234)。
[0186]在本实施方式中，将指定区域中的横向的像素数的40%以上设为步骤S234中的阈值，但是不限于此。
[0187]由此，例如，图25中的行LI被判断为特征行。相对于此，行L2不被判断为特征行。
[0188]CPU23在上述最大值大于阈值时，使特征行总数k递增(步骤S235)。CPU23对所有行判断是否已判断完(步骤S241)。在对所有行没有判断完时，CPU23重复步骤S223以下。
[0189]CPU23在步骤S131判断为对所有行已判断完时，判断是否为文字区域(步骤S243)。
[0190]在本实施方式中，在上述特征行总数k大于阈值thk时，将该区域判断为文字区域。阈值thk只要适当决定就可以，但是在本实施方式中，设为该区域中的全行数的30%。
[0191]在本实施方式中，在连续无边缘数的最大值为上述阈值以上时，将该行判断为特征行。由此，即使是在一部分包含自然画部分的图像数据，在包含文本时，由于存在行间隔，所以最大连续无边缘数充分存在。如上，关注到最大连续无边缘数，即使是如图25所示在横向上混合了自然画和在较平坦的背景上存在文字的图像的图像，也不会将其误判断为非文字区域。
[0192]通过所述文字区域判定，与上述第4实施方式同样，在滚动浏览器内的文字时，能够防止将其区域判定为运动图像。此时，上述滚动判定不是在该区域中的全行，在一部分行中进行判断也可以。
[0193]在本实施方式中，对文本数据为横向书写的情况进行了说明，但是在为纵向书写时也同样能够判定。此外，不管语言类别。
[0194]此外，滚动判定不限于这种处理方式，可以是周知的滚动判定。
[0195]此外，对应用于运动图像区域判断中的滚动判定的情况进行了说明，但是一般也能够应用于滚动判定中。
[0196]该实施方式的滚动区域判定装置判定画面内的判定对象区域是否为滚动区域，具备:边缘像素判断单元，对上述判定对象区域的各像素，根据周边像素之间的像素值之差判断是否为边缘；文字间隙存在区域判断单元，将在同一行或同一列中不是上述边缘的像素连续存在规定数的行或列判断为文字间隙存在区域；以及滚动区域判断单元，根据上述文字间隙存在区域相对于上述判定对象区域的比例，判断是否为滚动区域。
[0197]因此，能够可靠判断滚动含文字图像的情况。所述的滚动判定方法也可以与本实施方式中公开的发明任意组合。
[0198]该实施方式的文字混合区域判定装置判定画面内的判定对象区域是否为文字混合区域，具备:边缘像素判断单元，对上述判定对象区域的各像素，根据周边像素之间的像素值之差判断是否为边缘；文字间隙区域判断单元，将同一行或同一列中不是上述边缘的像素连续规定数存在的行或列判断为文字间隙行或文字间隙列；以及文字混合区域判断单元，根据上述文字间隙区域相对于上述判定对象区域的比例，判断是否为文字混合区域。
[0199]因此，能够可靠判断文字混合区域。所述文字混合区域判定装置除了本实施方式公开的矩形检测方法以外，也可以任意组合。
[0200]此外，本实施方式的滚动区域判定装置可以掌握为如下的判定装置:关于判定对象区域，在作为运动图像区域进行候补判断之后，在为滚动区域的情况下，将上述判定对象区域判断为不是运动图像区域。
[0201](7.其他实施方式)
在本实施方式中，把亮度值用作像素值，但是也可以采用RGB值等用作像素值。
[0202]在本实施方式中，在图5步骤S15，在第t帧和第t+Ι帧判断是否为构成运动图像区域的块，但若是存在时间性的偏差的多个帧，则不限定于此，例如，可以判断在第t帧和第t+2帧之间是否有运动。此外，不是用2个帧进行比较，而是进一步加上前后帧之后进行判断也可以。
[0203]此外，在上述实施方式中，输入到运动区域坐标检测器601的帧图像和输入到指定区域特征检测器605的图像采用了相同的帧图像，但是不限定于此。例如，可以向运动区域坐标检测器601赋予第t帧和第t+3帧的图像，向指定区域特征检测器605赋予第t+1帧和第t+2帧的图像。
[0204]S卩，只要向运动区域坐标检测器601赋予第t帧和第t+n帧的图像，向指定区域特征检测器605赋予第t+a巾贞和第t+b巾贞的图像就可以。在此，a、b、n是满足η兰b > a兰O的整数。
[0205]此时，指定区域特征检测器605在时刻t+Ι，将由判定器603赋予的时刻t的运动坐标应用于时刻t+a及时刻t+b的图像,计算时刻t的运动坐标周边的特征数据d(t+a)及时刻t+b的运动坐标周边的特征数据d(t+b)，并赋予到判定器603。
[0206]判定器603根据特征数据d(t+b)判断是否存在框。此外，只要根据特征数据d(t+a)及特征数据d(t+b)判断是否有四角的亮度变化。
[0207]在本实施方式中，图3步骤S9的边界线决定处理是任意的，在不需要像素单位的边界线的情况下则不进行该处理。此外，在边界线决定处理中，对于于外周的所有块使用整I行或整I列的像素值，但是也可以采用一部分间隔剔除处理，或代表值。此外，也可以不使用所有块，而是用一部分块进行判断。
[0208]此外，如图5的步骤S15所示，也可以事先保存过去的同位置的代表值来进行比较。
[0209]在本实施方式中，I块由32 * 32像素构成，但是不限定于此。
[0210]在不是使用像素的平均值和/或哈希值，而是使用任意的像素值本身(例如该块的左上角的像素值)时，作为图3步骤S9的处理，也可以在其外周配置I块的量来求出边界。例如，在步骤S7的处理中，在将7 ★ 5个块检测为运动图像区域时，用在其周围追加I块的9*7个块进行步骤S9的处理。
[0211]可以构成包括本实施方式的矩形运动图像区域决定装置的显示器或机顶盒。此夕卜，该机顶盒也可以构成为用于切换输入数据的输出目的地显示器的切换集线器。
[0212]在上述各实施方式中，能够检测出I像素精度的矩形运动图像区域。并且，能够判别多个矩形运动图像区域。此外，能够除去幅度较小的小区域运动。例如，可以采用鼠标光标等擬似运动的对策。此外，对于图像内的运动区域、静止区域，由于能够将其区别开来，所以能够进行最佳控制。
[0213]在上述实施方式中，关于是否为运动单位块的判断，将上述显示区域分割为由规定数的像素构成的单位块，根据属于各单位块的上述规定数的像素的像素值，计算各单位块的代表像素值，关于上述各单位块，与比较对象帧的同一位置的单位块的代表值进行比较，在上述代表值超过阈值时，判断为存在运动的运动单位块。但是，不限定于此，也可以采用能够判断各单位块是否为存在运动的运动单位块的方法，例如，如前面说明，将规定数的帧的同一块的代表值相加的结果相互比较等能够采用周知的运动单位块判断步骤。
[0214]在上述实施方式中，为了实现图1所示的功能，使用CPU23，利用软件实现。但是，也可以将其一部分或全部用逻辑电路等硬件实现。此外，也可以使操作系统(OS)执行程序的一部分处理。
附图标记说明
[0215]23CPU 25RAM
26闪存
【权利要求】
1.一种矩形运动图像区域决定方法，对显示区域的一部分显示的矩形运动图像区域，根据时刻t的帧和时刻t+n的帧的图像的差分，决定外形为矩形的矩形运动图像区域的边界，其特征在于， 在决定时刻t的帧中的矩形运动图像区域时，预先保存其边界坐标， 不使用时刻t的帧的图像，对时刻t+m的帧判断在时刻t中的边界坐标的位置是否有框，在有框的情况下，将用上述时刻t的边界坐标指定的区域判断为时刻t+n的帧中的运动区域，其中，η兰m。
2.根据权利要求1所述的矩形运动图像区域决定方法，其特征在于， 在上述显示区域，行方向及列方向上行列配置了像素，通过下述步骤决定上述时刻t的帧中的矩形运动图像区域: 运动单位块判断步骤，将上述显示区域分割为由规定数的像素构成的单位块，并且，判断各单位块是否为存在运动的运动单位块； 运动列块决定步骤，将上述单位块中的与位于最上段的各单位块同属一列的单位块的集合定乂为列块，在各列块中至少存在1以上的运动单位块时，将该列块决定为运动列块； 运动行块决定步骤，将上述单位块中的与位于最左端段的各单位块同属一行的单位块的集合定义为行块，并在各行块中存在至少1以上的运动单位块时，将该行块决定为运动行块； 第一矩形运动图像区域决定步骤，将属于上述运动行块及上述运动列块的双方的用单位块指定的矩形区域决定为矩形运动图像区域。
3.根据权利要求2的矩形运动图像区域决定方法，其特征在于，还包括下述步骤:第二矩形运动图像区域决定步骤，对构成上述矩形运动图像区域的单位块中、构成外周四边的单位块，根据这些单位块内的各像素，将由上述矩形运动图像区域内的边缘定义的区域设为上述矩形运动图像区域。
4.根据权利要求2或3所述的矩形运动图像区域决定方法，其特征在于， 上述第一矩形运动图像区域决定步骤，在上述运动行块中相邻的运动行块存在阈值以上时，定义这些行块的集合行块的外形行块直线，在上述运动列块中运动列块存在阈值以上时，定义这些列块的集合列块的外形列块直线，并将由上述外形行块直线及上述外形列块直线包围的矩形区域决定为矩形运动图像区域。
5.根据权利要求3所述的矩形运动图像区域决定方法，其特征在于， 在上述第二矩形运动图像区域决定步骤，对构成上述外周四边的单位块，关于这些单位块内的行方向，将各行的代表像素值不同的行决定为上述矩形运动图像区域的边界，关于列方向，将各列的代表像素值不同的列决定为上述矩形运动图像区域的边界。
6.根据权利要求3或5所述的矩形运动图像区域决定方法，其特征在于， 在上述第二矩形运动图像区域决定步骤，对构成上述外周四边的单位块，关于这些单位块内的各像素，提取构成行方向边缘和列方向边缘的像素，关于各行，根据构成行方向边缘的像素的总数决定上述矩形运动图像区域的边界，关于各列，根据构成列方向边缘的像素的总数决定上述矩形运动图像区域的边界。
7.根据权利要求1所述的矩形运动图像区域决定方法，其特征在于， 在从时刻t和时刻t+n的帧的图像没有检测到运动区域时，不使用上述时刻t的帧的图像，关于时刻t+b的帧，判断时刻t中的边界坐标的位置是否有框，在有框的情况下，将由上述时刻t的边界坐标指定的区域判断为时刻t+n的帧中的运动区域， 在从时刻t和时刻t+n的帧的图像检测到运动区域时，从时刻t和时刻t+n的帧决定时刻t+n的帧中的矩形运动图像区域后，判断其是否内包在由上述时刻t中的边界坐标指定的区域中， 在内包的情况下，不使用时刻t的帧的图像，而是对时刻t+b的帧判断在时刻t中的边界坐标的位置是否有框，在有框的情况下，将用上述时刻t的边界坐标指定的区域判断为时刻t+n的帧中的运动区域， 在此，b, η为满足η兰b兰1的整数。
8.根据权利要求7所述的矩形运动图像区域决定方法，其特征在于， 在上述内包的情况下，当上述内包的情况在不同的时刻连续阈值以上时，不使用时刻t的帧的图像，而是判断在时刻t+b的帧中的时刻t中的边界坐标的位置是否有框。
9.一种边界矩形运动图像区域决定装置，对显示区域的一部分显示的矩形运动图像区域，根据时刻t的帧和时刻t+n的帧的图像的差分，决定外形为矩形的矩形运动图像区域，其特征在于， 具备:决定时刻t的帧中的矩形运动图像区域的单元； 边界坐标保存单元，保存上述决定的边界坐标； 框判定单元，不使用时刻t的帧的图像，而对时刻t+m的帧判断在时刻t中的边界坐标的位置是否有框；以及 运动区域判断单元，在上述判断单元判断为有框时，将由上述时刻t的边界坐标指定的区域判断为时刻t+n的帧中的运动区域， 其中，η兰m。
10.一种显示器，其特征在于，包含权利要求9所述的矩形运动图像区域决定装置。
11.一种机顶盒，其特征在于，包含权利要求9所述的矩形运动图像区域决定装置。
12.根据权利要求11所述的机顶盒，其特征在于， 该机顶盒是用于切换输入数据的输出目的地显示器的交换集线器
13.一种用于使计算机执行矩形运动图像区域决定处理的程序，该矩形运动图像区域决定处理程序对显示区域的一部分显示的矩形运动图像区域，根据时刻t的帧和时刻t+n的帧的图像的差分，决定外形为矩形的矩形运动图像区域的边界，其特征在于， 使上述计算机执行由下述单元构成的矩形运动图像区域决定程序: 决定时刻t的帧中的矩形运动图像区域的单元； 边界坐标保存单元，保存上述决定的边界坐标； 框判定单元，不使用时刻t的帧的图像，而对时刻t+m的帧判断在时刻t中的边界坐标的位置是否有框；以及 运动区域判断单元，在上述判断单元判断为有框时，将由上述时刻t的边界坐标指定的区域判断为时刻t+n的帧中的运动区域， 其中，η兰m。
14.一种边界矩形运动图像区域决定方法，对显示区域的一部分显示的矩形运动图像区域，根据时刻t的帧和时刻t+n的帧的图像的差分，决定外形为矩形的矩形运动图像区域，其特征在于， 在从时刻t和时刻t+n的帧决定时刻t+n中的矩形运动图像区域后，预先保存时刻t+n中的矩形运动图像区域的边界坐标， 在从时刻t+p和时刻t+m的帧决定时刻t+m的帧中的矩形运动图像区域后，判断是否内包于由上述时刻t+n中的边界坐标指定的区域中， 在内包的情况下，不使用时刻t+n的帧的图像，而对时刻t+b的帧判断在时刻t+n的帧中的边界坐标的位置是否有框， 在有框的情况下，将由上述时刻t+n的边界坐标指定的区域判断为时刻t+m的帧中的运动区域， 在此，m, n, p, b为满足n<m, p<m, b兰m的整数。
15.根据权利要求1的矩形运动图像区域决定方法，其特征在于， 在上述显示区域，行方向及列方向上行列配置了像素，通过下述步骤决定上述时刻t的帧中的矩形运动图像区域: 运动单位块判断步骤，将上述显示区域分割为由规定数的像素构成的单位块，并且，判断各单位块是否为存在运动的运动单位块；运动列块决定步骤，将上述单位块中的与位于最上段的各单位块同属一列的单位块的集合定乂为列块，在各列块中至少存在1以上的运动单位块时，将该列块决定为运动列块；运动行块决定步骤，将上述单位块中的与位于最左端段的各单位块同属一行的单位块的集合定义为行块，并在各行块中存在至少1以上的运动单位块时，将该行块决定为运动行块； 第一矩形运动图像区域决定步骤，将属于上述运动行块及上述运动列块的双方的用单位块指定的矩形区域决定为矩形运动图像区域。
16.根据权利要求15的矩形运动图像区域决定方法，其特征在于， 在上述第一矩形运动图像区域决定步骤中，对所决定矩形区域还重复执行上述运动列块决定步骤及上述运动行块决定步骤。
17.根据权利要求1的矩形运动图像区域决定方法，其特征在于， 在上述显示区域，行方向及列方向上行列配置了像素，通过下述步骤决定上述时刻t的帧中的矩形运动图像区域: 边缘像素判断步骤，根据判定对象像素中的各像素的像素值，判断构成边缘的像素；行方向边界决定步骤，将构成行方向边缘的像素提取为行方向边缘像素，对各行计算上述行方向边缘的总数，根据各行的上述行方向边缘的总数决定行方向的边界； 列方向边界决定步骤，将构成列方向边缘的像素提取为列方向边缘像素，对各列计算上述列方向边缘的总数，并根据各列的上述列方向边缘的总数决定列方向的边界；以及矩形区域决定步骤，将上述决定的行方向边界及上述列方向边界决定为上述矩形区域的边界。
18.根据权利要求17的矩形运动图像区域决定方法，其特征在于， 上述边缘像素判断步骤具备下述步骤: 1)运动单位块判断步骤，将在行方向及列方向上行列配置了像素的显示区域分割为由规定数的像素构成的单位块，并且将各单位块判断为存在运动的运动单位块； 2)运动列块决定步骤，将上述单位块中的与位于最上段的各单位块同属一列的单位块的集合定义为列块，在各列块中至少存在1个以上的运动单位块时，将该列块决定为运动列块； 3)运动行块决定步骤，将上述单位块中的与位于最左端段的各单位块同属一行的单位块的集合定义为行块，在各行块中存在至少1个以上的运动单位块时，将该行块决定为运动行块； 4)第一矩形运动图像区域决定步骤，将属于上述运动行块及上述运动列块的双方的用单位块指定的矩形区域决定为矩形运动图像区域； 5)对象像素决定步骤，将构成上述矩形运动图像区域的单位块中属于构成外周四边的单位块的像素决定为判定对象。
【文档编号】G06T7/20GK104285241SQ201280073148
【公开日】2015年1月14日 申请日期:2012年12月20日 优先权日:2012年4月3日
【发明者】东正史, 中尾政史, 松崎祐树, 陈海峰 申请人:Eizo株式会社