专利名称：移动估测方法及移动估测装置的制作方法
技术领域：
本发明涉及一种移动估测机制，尤指一种使用于一影像处理装置的移动估测方法 及相关的移动估测装置。
背景技术：
一般而言，常用的移动估测算法针对不同影像属性的不同区块单元进行移动估测 运算时，可发现不同区块单元所耗费的移动估测运算的工作时间差异很大，因此，若常用移 动估测算法使用于估测有时间限制的影像图框(例如影像画面的编码)的移动向量，则估 计某一区块单元的移动向量所花费的工作时间将可能占用到估计另一区块单元的移动向 量所花费的工作时间，此将影响影像画面的流畅度或是整体系统的效能。另外，若改成估测 不同影像属性的区块单元的移动向量时是使用不同的移动估测算法，以避免某一区块单元 的移动估测所花费的工作时间占用到另一区块单元的移动估测所花费的工作时间，则可能 因为使用不同的移动估测算法，导致影像画面的质量变得较差，且使用不同的移动估测算 法来估测不同影像属性的区块单元的移动向量，对于电路设计来说也较复杂。
发明内容
因此，本发明提供一种可应用于具有时间限制的影像图框的移动估测方法及相关 的移动估测装置，该移动估测装置的电路设计较为简单，所以可以解决上述的问题。依据本发明的实施例，其构造一种使用于一影像处理装置的移动估测方法。该移 动估测方法包含有下列步骤计算一可用工作时间，该可用工作时间是进行估测一影像图 框的一区块单元的一移动向量所可使用的时间；以及依据至少该可用工作时间，选择性地 执行多级移动估测运算中至少一级移动估测运算，以估测出该区块单元的该移动向量。依据本发明的实施例，其还构造一种使用于一影像处理装置的移动估测装置。该 移动估测装置包含有一处理电路与一控制电路，其中该处理电路是用来估测一影像图框的 一区块单元的一移动向量，且该控制电路是耦接至该处理电路并用于依据至少一可用工作 时间控制该处理电路选择性地执行多级移动估测运算中至少一级移动估测运算，以估测该 区块单元的该移动向量。上述的移动估测装置或移动估测方法在不改变其移动估测算法下针对不同区块 单元的移动估测计算皆可适应性地符合实时处理的要求，因此，不会影响整体系统的处理 效能。
图1为本发明一实施例的移动估测装置的方块示意图；图2为图1所示的移动估测装置应用于影像编码流程的方块示意图；图3为图1所示的移动估测装置对一目前区块单元进行移动估测以估测出一移动 向量的操作流程图4为图1所示的移动估测装置对一目前区块单元进行移动估测的另一实施方式 的流程示意图；图5为本发明另一实施例的移动估测装置的方块示意图。主要组件符号说明100、500 移动估测装置103接收电路
105处理电路
110控制电路
115监控电路
205离散余弦转换单元
210量化单元
215可变长度编译码单元
220反向量化单元
225反向离散余弦转换单元
230移动补偿单元
505计算电路
510缓存器
具体实施例方式
请参照图1，其示出了本发明一实施例的移动估测装置100的方块示意图。移动 估测装置100包含有一接收电路103、一处理电路105、一控制电路110与一监控电路115， 移动估测装置100是用于对影像信号中的一影像图框的每一区块单元进行移动估测运算 以计算出每一区块单元的移动向量，举例来说，移动估测装置100可应用于编码流程中以 用来产生译码时所需要的移动向量，或者是用于影像插捕与解交错的影像处理流程中。接 收电路103是接收来自一内存单元所储存的影像数据(例如影像图框)，而处理电路105 是依据预先制定的移动估测算法来搜寻与一目前区块单元(block unit)较为相像的区块 单元并进行区块比对(block matching)计算，以进行移动向量MV的计算，其中该目前区 块单元是指影像图框中处理电路105正在估测其移动向量的区块。例如，处理电路105可 依据钻石型搜寻算法(diamondsearch (DS) algorithm)来找出较相像的区块单元，然此并 非本发明的限制，其它移动估测算法，例如全域搜寻(full search)移动估测算法、三步搜 寻(three-step search)移动估测算法等，也适用于本发明。由于该移动估测算法是分成 多级的移动估测运算，且每一级移动估测运算在进行区块比对计算时皆需要花费不少的时 间，因此，对于具有不同的影像材质(texture)的不同区块单元而言，处理电路105在执行 估测目前区块单元的移动向量时，有可能受限于时间因素，无法在时限内完成多级的移动 估测运算，所以，本实施例是利用监控电路115来监控估测该目前区块单元的移动向量时 所花费的工作时间，并利用控制电路110依据一可用工作时间与监控电路115的所产生的 工作时间来判断是否中止处理电路105的运作，若中止处理电路105的运作，则以中止处理 电路105的运作前最后所计算得到的移动向量作为该目前区块单元的移动向量MV，反之， 则以完成该多级移动估测运算最后产生的移动向量作为该目前区块单元的移动向量MV，换言之，控制电路110是依据该可用工作时间与监控电路115的监控结果来控制处理电路105 以选择性地执行多级移动估测运算中至少一级移动估测运算，以估测出该目前区块单元的 移动向量；虽然在此情况下该移动估测算法所产生的每一区块单元的移动向量并未具有相 同的估计精确度，但却可避免影响到整体系统的效能。具体而言，图1的移动估测装置100是应用于影像编码流程(或称视讯编码流 程)。请参照图2，图2为图1所示的移动估测装置100应用于一影像处理装置的影像编 码流程的方块示意图。如图2所示，除了本实施例的移动估测装置100外，该影像编码流程 另包含有其它电路，例如离散余弦转换单元205、量化单元210、可变长度编译码单元215、 反向量化单元220、反向离散余弦转换单元225以及移动补偿单元230，由于影像编码的流 程与上述该些电路单元的运作是为本领域技术人员所熟知，在此不另赘述，需注意的是，以 MPEG-4的影像编码流程来说，每秒需产生30张图框的位数据流，因此，对每一影像图框内 的一区块单元(也即具有16X16像素范围的大区块(macroblock))来说，估测该区块单元 的移动向量时不得耗费过多的工作时间，以免影响其它区块单元的移动估测运算时间。因 此，本发明是提供该可用工作时间作为每一区块单元估测其移动向量最多所能够花费的时 间，其中该可用工作时间可为对一影像图框中的每一区块单元进行估测移动向量平均所花 费的时间，在一实施例中，可用工作时间是一可用工作周期数(number ofcycles)K，其可利
用下列等式表示
W
K 9 -， R- MBc其中数值W是指处理电路105的工作频率，也即处理电路105每秒最多所能运行 的工作周期数，而数值R是为一影像图框速率(或图框速率)，也即影像数据的图框速率，而 数值MB。是每一影像图框内所包含的区块单元的总数，所以，所计算出的数值K即是每一区 块单元所平均分配到的工作周期数，也即进行每一区块单元的移动估测运算时最多所能够 耗费的工作周期数；另需注意的是，由于MPEG-4的影像编码流程是以16X16像素范围的一 大区块作为一区块单元，因此当影像图框的分辨率提升时，该影像图框内所有区块单元的 总数也同样会增加，换言之，可用工作周期数K的计算也与影像图框的分辨率高低有关。承前所述，监控电路115是监控估测该目前区块单元的移动向量所花费的工作时 间或是目前所剩余的工作时间，详细来说，本实施例是使用一计数器(counter)作为监控 电路115，以持续地监控并累计对该目前区块单元进行估测移动向量所花费的工作周期数 以产生所累计的一工作周期数CV，因此，除了可用工作周期数K之外，控制电路110还依据 该计数器所计数的工作周期数CV来判断是否中止处理电路105的运作，即，控制处理电路 105是选择性地执行多级移动估测运算中的至少一级移动估测运算。请参照图3，图3是图 1所示的移动估测装置100对一目前区块单元进行移动估测以估测出一移动向量的操作流 程图；在本实施例中，移动估测装置100是采用钻石型搜寻算法作为其移动估测算法，该钻 石型搜寻算法是分为六级移动估测运算，其分别对应到步骤305、315、325、335、345与355， 且该些步骤依序进行不同精确度的区块比对，而在进行步骤315、325、335、345与355之前 则皆会比较可用工作周期数K与目前所累计的工作周期数CV，以判断是否仍有足够的工作 周期数可供后续一级的移动估测运算进行区块比对搜寻，其详细步骤流程如下
步骤300:开始；步骤305 处理电路105进行具有16X 16整点像素(integer pixel)范围的大区 块搜寻比对，并产生一移动向量MV1 ；步骤310 控制电路110比较可用工作周期数K与目前所累计的工作周期数CV，并 判断是否仍有足够的工作周期数可供后续一级的移动估测运算进行区块比对搜寻；若是， 进行步骤315，反之，进行步骤360 ；步骤315 处理电路105依据移动向量MV1所对应的16X16整点像素范围内的四 个小区块(block)进行区块比对，并产生一移动向量MV2,其中该四个小区块分别具有8X8 的整点像素范围；步骤320 控制电路110比较可用工作周期数K与目前所累计的工作周期数CV，并 判断是否仍有足够的工作周期数可供后续一级的移动估测运算进行区块比对搜寻；若是， 进行步骤325，反之，进行步骤360 ；步骤325 处理电路105依据移动向量MV2所对应的具有8 X 8整点像素范围内的 一小区块，对该小区块进行16X16半点像素(half-pixel)范围的区块比对搜寻，并产生一 移动向量MV3 ；步骤330 控制电路110比较可用工作周期数K与目前所累计的工作周期数CV，并 判断是否仍有足够的工作周期数可供后续一级的移动估测运算进行区块比对搜寻；若是， 进行步骤335，反之，进行步骤360 ；步骤335 处理电路105对移动向量驟3所对应的16X16半点像素范围内的四个 子区块进行区块比对搜寻，并产生一移动向量MV4,其中该四个子区块分别具有8X8的半点 像素范围；步骤340 控制电路110比较可用工作周期数K与目前所累计的工作周期数CV，并 判断是否仍有足够的工作周期数可供后续一级的移动估测运算进行区块比对搜寻；若是， 进行步骤345，反之，进行步骤360 ；步骤345 处理电路105依据移动向量MV4所对应的具有8 X 8半点像素范围内的 一子区块，对该子区块进行16X16的四分之一像素(quarter-pixel)范围的区块比对搜 寻，并产生一移动向量MV5;步骤350 控制电路110比较可用工作周期数K与目前所累计的工作周期数CV，并 判断是否仍有足够的工作周期数可供后续一级的移动估测运算进行区块比对搜寻；若是， 进行步骤355，反之，进行步骤360 ；步骤355 处理电路105对移动向量MV5所对应的16X 16的四分之一像素范围内 的四个子区块进行区块比对搜寻，并产生一移动向量MV6,其中该四个子区块分别具有8X8 的四分之一像素范围；步骤360 控制电路110使用目前处理电路105所产生的移动向量作为目前区块 单元的移动向量，并将所累计的工作周期数CV重置为零；以及步骤365:结束。承上所述，若将步骤305的操作视为一第一移动估测运算以及将步骤315的操作 视为一第二移动估测运算，则在步骤310中，控制电路110是比较所累计的该工作周期数CV 与该可用工作周期数K来判断处理电路105是否接着执行该第二移动估测运算(即步骤315)，以决定该目前区块单元的移动向量；此外，在步骤310中，当所累计的该工作周期数 CV与可用工作周期数K的差小于一预定工作时间(完成执行该第二移动估测运算(即步骤 315)的工作时间)，表示并未有足够的工作周期数可供后续一级的移动估测运算进行区块 比对搜寻，流程将进行步骤360，因此，在步骤360中，控制电路110是控制处理电路105使 用该第一移动估测运算(即步骤305的操作)所产生的一移动向量MV1作为该目前区块单 元的该移动向量而不会继续执行步骤315的操作，其中前述该预定工作时间的值可以是统 计该第二移动估测运算所花费的工作时间值再加上一段缓冲时间，或是该第二移动估测运 算平均所花费的工作时间值再加上一段缓冲时间，然此所举例的该预定工作时间的值只用 于说明，而非本发明的限制。反之，当所累计的工作周期数CV与可用工作周期数K的差不小于该预定工作时间 (完成执行步骤315的工作时间)，控制电路110是通知处理电路105接着执行步骤315的 操作来产生另一移动向量以作为决定该目前区块单元的移动向量的参考。换言之，在步骤 360中，若处理电路105完成六级的移动估测运算，则控制电路110是使用移动向量MV6作 为目前区块单元的移动向量，反之，若处理电路105并未完成六级的移动估测运算，则控制 电路110先中止处理电路105的运作，再使用目前处理电路105所产生的移动向量作为目 前区块单元的移动向量，举例来说，在步骤340中，若控制电路110判断并无足够的工作周 期数，则流程进行步骤360，此时在步骤360中，控制电路110先中止处理电路105的运作， 并使用步骤335中所产生的移动向量MV4作为目前区块单元的移动向量。请注意，本发明并未限定该第一移动估测运算是指步骤305的操作以及该第二移 动估测运算是指步骤315的操作，在此仅指出在执行完该第一移动估测运算之后才会选择 是否执行该第二移动估测运算，因此，该第一、第二移动估测运算也可以是其它步骤的操 作，例如可以分别是步骤325与步骤335的操作。另外，前述第一移动估测运算的估测精确 度低于第二移动估测运算的估测精确度，即，步骤305、315、325、335、345与步骤355中的移 动估测运算的精确度依顺序来说逐渐升高。请参照图4，图4是图1所示的移动估测装置100对一目前区块单元进行移动估测 的另一实施方式的流程示意图。在本实施例中，移动估测装置100也采用钻石型搜寻算法 作为其移动估测算法，该钻石型搜寻算法的六级移动估测运算中每一级移动估测运算包含 有以下的步骤步骤400:开始；步骤405 在进行一次区块比对计算时，处理电路105计算两区块单元的像素差 值，以便找出与目前区块单元较相像的区块单元；步骤410 控制电路110比较可用工作周期数K与目前所累计的工作周期数CV，并 判断目前所累计的工作周期数CV是否超过可用工作周期数K;若是，进行步骤435，反之，进 行步骤415 ；步骤415 是否已对该级移动估测运算中所有的区块单元进行区块比对计算，若 是，则进行步骤420，反的，进行步骤405 ；步骤420 是否已完成所有的移动估测运算，若是，则进行步骤425，反之，进行步 骤 430 ；步骤425 控制电路110使用最后所产生的移动向量作为目前区块单元的移动向量；步骤430 处理电路105进行下一级的移动估测运算；以及步骤435 控制电路110中止处理电路105的运作，并使用处理电路105最后所产 生的移动向量作为目前区块单元的移动向量。由上可知，在图4所示的实施例中，处理电路105是将该目前区块单元与不同的区 块单元进行区块比对计算来找出较相像的区块单元，直至目前所累计的工作周期数CV超 过可用工作周期数K时，或是完成所有移动估测运算为止，因此，对于估测一目前区块单元 的移动向量，本实施例另预留一保护时间，以免占用到估测下一区块单元的移动向量的工 作时间。此外，步骤410的目的是根据控制电路110比较所累计的工作周期数CV与可用工 作周期数K来判断处理电路105是否要继续执行目前所进行的移动估测运算，若所累计的 工作周期数CV超过可用工作周期数K，则控制电路110会通知处理电路105中止执行目前 所进行的移动估测运算，并使用中止执行该移动估测运算前所计算出的一移动向量作为该 目前区块单元的移动向量，反之，若所累计的工作周期数CV不超过可用工作周期数K，则控 制电路110会控制处理电路105继续执行目前所进行的移动估测运算，以便决定该目前区 块单元的移动向量。另外，对于第一级的移动估测运算(例如16X16整点像素范围的大区块搜寻比 对)来说，步骤410中判断目前所累计的工作周期数CV是否超过可用工作周期数K的操作 为一非必要的(optional)操作，然此非本发明的限制。此外，步骤420 步骤435的操作 仅用于说明各级移动估测运算的间的流程关系以及产生该目前区块单元的移动向量的方 式，不应视为本发明的限制；在其它实施例的流程中，每一级移动估测运算的操作可能不包 含上述的步骤，因此，图4所示的实施例流程的任一变化设计皆符合本发明的精神。再者，在另一实施例中，也可设计成在进行该移动估测算法之前将监控电路115 所监控的工作周期数CV设定为可用工作周期数K，即，在初始化时先将工作周期数CV设定 为可用工作周期数K，之后依据比较电路105每次进行一目前区块单元的区块比对计算所 花费的工作时间，逐一扣除工作周期数CV的数值，直至工作周期数CV的数值为零或是成为 负数为止，因此，控制电路110可依据工作周期数CV的数值来直接判断是否中止比较电路 105的运作。当然，也可将控制电路110设计为判断工作周期数CV的数值是否仍具有足够 的工作周期数以供下一级移动估测运算进行区块比对计算。上述的设计变型皆落入本发明 的范围。另外，在另一实施例中，移动估测装置可另包含有一计算电路与缓存器，请参照图 5，图5是本发明另一实施例的移动估测装置500的方块示意图，移动估测装置500除了包 含前述接收电路103、处理电路105、监控电路115与控制电路110外，另包含有计算电路 505与缓存器510，其中计算电路505是用来依据一工作频率、一影像图框速率以及影像图 框的区块单元个数来计算该可用工作周期数K，该影像图框速率是为该影像信号的影像图 框的速度，而缓存器510是用来储存所计算的该可用工作周期数K，因此，当影像图框速率 (或图框速率)改变或是一影像图框内所有区块单元的总数发生改变时，移动估测装置500 可自行立即更新可用工作周期数K的数值，以便符合实时(real-time)处理的需求。简言之，本发明的实施例的移动估测装置在不改变其移动估测算法下针对不同区 块单元的移动估测计算皆可适应性地符合实时处理的要求，因此，不会影响整体系统的处理效能。 以上所述仅为本发明的较佳实施例，凡依本发明申请专利范围所做的均等变化与 修饰，皆应属本发明的涵盖范围。
权利要求
一种移动估测方法，其特征在于，其包含有计算一可用工作时间，该可用工作时间是代表进行估测一影像图框的一区块单元的一移动向量所可使用的时间；以及依据该可用工作时间，选择性地执行多级移动估测运算中至少一级移动估测运算，以估测出该区块单元的该移动向量。
2.根据权利要求1所述的移动估测方法，其特征在于，其还包含有累计进行估测该区块单元的该移动向量所花费的一工作时间；其中估测出该区块单元的该移动向量的步骤包含有依据该可用工作时间与该工作时间来选择性地执行该多级移动估测运算中该至少一 级移动估测运算，以估测出该区块单元的该移动向量。
3.根据权利要求2所述的移动估测方法，其特征在于，其中，该多级移动估测运算包含 有一第一移动估测运算与一第二移动估测运算，以及依据该可用工作时间与该工作时间来 选择性地执行该多级移动估测运算中该至少一级移动估测运算的步骤包含有当完成该第一移动估测运算时，比较所累计的该工作时间与该可用工作时间来判断是 否执行该第二移动估测运算。
4.根据权利要求3所述的移动估测方法，其特征在于，其中比较该所累计的工作时间 与该可用工作时间来判断是否执行该第二移动估测运算的步骤包含有当所累计的该工作时间与该可用工作时间的差小于一预定工作时间时，使用该第一移 动估测运算所产生的一移动向量作为该区块单元的该移动向量而不会继续执行该第二移 动估测运算；以及当所累计的该工作时间与该可用工作时间的差不小于该预定工作时间时，继续执行该 第二移动估测运算来产生另一移动向量以作为决定该区块单元的该移动向量的参考。
5.根据权利要求3所述的移动估测方法，其特征在于，其中该第一移动估测运算的估 测精确度低于该第二移动估测运算的估测精确度。
6.根据权利要求2所述的移动估测方法，其特征在于，其中依据该可用工作时间与 该工作时间来选择性地执行该多级移动估测运算中该至少一级移动估测运算的步骤包含 有比较所累计的该工作时间与该可用工作时间来判断是否继续执行目前所进行的一特 定移动估测运算。
7.根据权利要求6所述的移动估测方法，其特征在于，其中比较所累计的该工作时间 与该可用工作时间来判断是否继续执行该特定移动估测运算的步骤包含有当所累计的该工作时间超过该可用工作时间时，则中止执行该特定移动估测运算，并 使用中止执行该特定移动估测运算前所计算出的一移动向量作为该区块单元的该移动向 量；以及当所累计的该工作时间未超过该可用工作时间时，则继续执行该特定移动估测运算。
8.根据权利要求1所述的移动估测方法，其特征在于，其中该可用工作时间为一可用 工作周期数。
9.根据权利要求8所述的移动估测方法，其特征在于，其中该可用工作周期数是依据 一工作频率、一影像图框速率以及该影像图框的区块单元个数所产生。2
10.根据权利要求9所述的移动估测方法，其特征在于，其中该可用工作周期数K符合 下列等式
11.一种移动估测装置，其特征在于，其包含有一处理电路，用以估测一影像图框的一区块单元的一移动向量；以及一控制电路，耦接至该处理电路，用以依据至少一可用工作时间控制该处理电路选择 性地执行多级移动估测运算中至少一级移动估测运算，以估测出该区块单元的该移动向 量。
12.根据权利要求11所述的移动估测装置，其特征在于，其中该可用工作时间是进行 估测该区块单元的该移动向量所可使用的时间。
13.根据权利要求11所述的移动估测装置，其特征在于，其另包含有一监控电路，用来累计进行估测该区块单元的该移动向量所花费的一工作时间；其中该控制电路是依据该可用工作时间与该工作时间控制该处理电路来选择性地执 行多级移动估测运算中该至少一级移动估测运算。
14.根据权利要求13所述的移动估测装置，其特征在于，其中该多级移动估测运算包 含有至少一第一移动估测运算与一第二移动估测运算；以及，当该处理电路完成该第一移 动估测运算时，该控制电路是比较所累计的该工作时间与该可用工作时间来判断该处理电 路是否要执行该第二移动估测运算。
15.根据权利要求14所述的移动估测装置，其特征在于，其中，当该处理电路完成该第 一移动估测运算时，若所累计的该工作时间与该可用工作时间的差小于一预定工作时间， 该控制电路则控制该处理电路使用该第一移动估测运算所产生的一移动向量作为该区块 单元的该移动向量，而不会执行该第二移动估测运算；反之，若所累计的该工作时间与该可 用工作时间的差不小于该特定工作时间时，该控制电路则控制该处理电路继续执行该第二 移动估测运算。
16.根据权利要求14所述的移动估测装置，其特征在于，其中该第一移动估测运算的 一估测精确度低于该第二移动估测运算的一估测精确度。
17.根据权利要求13所述的移动估测装置，其特征在于，其中该控制电路是比较所累 计的该工作时间与该可用工作时间来判断该处理电路是否继续执行目前所进行的一特定 移动估测运算。
18.根据权利要求17所述的移动估测装置，其特征在于，其中，当该处理电路进行该特 定移动估测运算时，若所累计的该工作时间超过该可用工作时间时，则该控制电路是通知 该处理电路中止执行该特定移动估测运算，并使用中止执行该特定移动估测运算前所计算 出的一移动向量作为该区块单元的该移动向量；反之，若所累计的该工作时间未超过该可 用工作时间时，则该处理电路继续执行该特定移动估测运算。
19.根据权利要求11所述的移动估测装置，其特征在于，其中该可用工作时间是一可 用工作周期数，而该移动估测装置另包含有一计算电路，用来依据一工作频率、一影像图框速率以及该影像图框的区块单元个数 来计算该可用工作周期数；以及一缓存器，用来存储所计算的该可用工作周期数。
20.根据权利要求19所述的移动估测装置，其特征在于，其中该可用工作周期数符合 下列等式其中，数值K是该可用工作周期数，数值W是该工作频率，数值R是该影像图框速率，以 及数值MBc是该影像图框内所有区块单元的总数。
全文摘要
本发明提供一种可应用于具有时间限制的影像图框的移动估测方法及相关的移动估测装置，本发明的移动估测方法包含有计算一可用工作时间，该可用工作时间是进行估测一影像图框的一区块单元的一移动向量所可使用的时间；以及依据至少该可用工作时间，选择性地执行多级移动估测运算中至少一级移动估测运算，以估测出该区块单元的该移动向量。
文档编号H04N7/26GK101945268SQ200910108578
公开日2011年1月12日 申请日期2009年7月3日 优先权日2009年7月3日
发明者凃英杰, 吴舜诚 申请人:晨星软件研发(深圳)有限公司;晨星半导体股份有限公司