专利名称：图像画面的差补方法及其图像处理装置的制作方法
技术领域：
本发明是指一种图像处理机制，尤指一种于执行解交错(de-interlacing) 运算时的图像画面的差补方法及其相关图像处理装置。
背景技术：
以现今电视系统来说，为了利用较低的频宽来获得较佳的画面质量，一 般会使用交错式的图场格式来传送电视信号(例如是NTSC电视信号)，其原理 是于传送端先扫描l、 3、 5、…等奇数条扫描线以形成奇图场(odd field), 并于下一个时间点扫描2、 4、 6、…等偶数条扫描线以形成偶图场(even field),再将此两个图场传送至接收端，并重复交错地传送奇、偶图场至接 收端，而接收端(除了传统的映像管显示装置外)即可利用解交错运算来将所 接收的交错式图场转换成渐进式(progressive)图场以播放该电视信号。执行 解交错运算时则需搭配移动补偿(motion compensation)运算来差补像素(亦 即，待差补像素)至图像画面的待差补位置中。然而，实际上，使用已知移动 适应(motion adaptive)机制执行解交错运算与移动补偿运算以增进图像画 面质量时，大部分仍无法有效地差补出原本图像画面中具有高频移动的图像 对象(ob ject)(例如画面中的垂直移动字幕(亦即跑马灯字幕))。
此外，由于垂直移动字幕中通常具有相当多不平滑的边缘(edge)部分(亦 即跑马灯中的文字线条部分)，故若直接使用已知移动适应机制来执行解交错 运算与移动补偿运算，仍然无法产生较为清晰的图像画面以供使用者观赏；
而已知移动适应方法的其中之一 即是直接利用运动图像专家组(Moving Picture Experts Gro卯)规格所解码出的信息(例如移动向量(mot ion vector) 或是离散余弦变换(Discrete Cosine Transform)的信息)来执行移动补偿运 作，其技术内容烦请参阅台湾专利公开号第200514443号的相关叙述；对于 非运动图像专家组规格的图像数据而言，由于其无法使用上述方式来获取解 码后的信息，所以将无法正确执行移动补偿运算。
发明内容
因此本发明的目的之一在于提出 一种图像画面的差补方法及其图像处理 装置，其能够检测出图像画面中高频移动的图像对象并差补至少一像素至目 标图像图框的待差补位置中，以解决上述的问题。
依据本发明的实施例，其是揭露一种用来差补至少 一像素至目标图像图 框的待差补位置中的图像画面的差补方法。该差补方法包含接收具有相对
应图像对象的多个图像图场；依据该图像对象位于该些图像图场的第一图像 图场中所对应的第一像素位置，与该图像对象位于该些图像图场的第二图像 图场中所对应的第二像素位置，该两像素位置的距离差，以估计该图像对象 的移动速率；依据该图像对象的该移动速率，从该些图像图场中决定该像素； 以及差补该像素至该目标图像图框的该待差补位置中。
依据本发明的实施例，其还揭露一种用来于输入图框中决定至少一像素 并差补该像素至目标图框的待差补位置中的图像处理装置。该图像处理装置 包含移动估计模块、决定模块及移动补偿模块。该移动估计模块是用来依据 图像对象位于该输入图框中所对应的像素位置与依据该图像对象位于该目标 图框所对应的像素位置来估计该图像对象的移动速率，并依据该移动速率以 输出相对应的参数值。该决定模块是耦接至该移动估计模块，并用来依据该 参数值以从该输入图框中决定该像素。该移动补偿模块是耦接至该决定模块， 并用来差补该决定模块所决定的该像素至该目标图框的该待差补位置中。
图1为本发明一实施例的图像处理装置的简化示意图。
图2(a)是显示电视信号传送端所传送的多个图像图场中垂直移动字幕所 对应的不同像素位置的简化示意图。
图2(b)为图1所示的移动检测器依据多个图像图场来估计多个图像对象 的第一可能移动速率的运作示意图。
图2(c)为图1所示的移动检测器依据多个图像图场来估计多个图像对象 的第二可能移动速率的运作示意图。
图2(d)为图1所示的移动检测器依据多个图像图场来估计多个图像对象 的第三可能移动速率的运作示意图。
图2(e)为图1所示的移动检测器依据多个图像图场来估计多个图像对象
5的第四可能移动速率的运作示意图。
图3为电视画面中垂直移动字幕的预定范围的简化示意图。
图4为图1所示的统计单元120所统计的四个统计值中一最大值所对应
的旗标值个数于画面宽度上的分布示意图。 [主要元件标号说明]
100图像处理装置105移动估计模块
110移动补偿模块115移动检测器
120统计单元125决定模块
130控制单元300电一见画面
305、 310预定范围
具体实施例方式
由于对于同一频道/节目的垂直移动字幕的移动速率来说，实质上应具有 相同的移动特性(例如，电视新闻中的跑马灯字幕无论是由下往上移动或是由 上往下移动，平均来说其移动速率实质上应是相同的)，故本发明的精神在于 通过估计垂直移动字幕中至少一图像对象(例如字幕像素)的移动速率来决定 像素并差补该像素至目标图像图框的待差补位置中。其中估计垂直移动字幕
中的图像对象的移动速率是利用移动检测器(motion detector)比较多个图
像图场中对应于该图像对象的不同像素位置的距离差来加以实现，其详细运 作将于稍后说明。此外，虽然在通篇说明书中仅说明电视画面中垂直移动字
幕的处理方式，然而，经由本发明的教导，亦可同样应用于处理电^L画面中 其它高频移动的图像对象(例如是水平移动字幕)。
请参阅图1,图1是本发明一实施例的图像处理装置100的简化示意图。 如图1所示，图像处理装置100包含移动估计模块105、决定模块125与移 动补偿模块110，其中移动估计模块105包含移动检测器115、统计单元120 以及控制单元130。移动估计模块105是依据图像对象位于多个图像图场的 第一图像图场中所对应的像素位置以及该图像对象位于该多个图像图场的第 二图像图场中所对应的像素位置来估计该图像对象的移动速率，并依据该移 动速率来输出相对应的参数值；决定模块125则依据该参数值从该些图像图 场中决定一像素，而移动补偿模块110则差补决定模块125所决定的该像素 至该目标图像图框的待差补位置中。在本实施例中，移动估计模块105是依据上述两像素位置的距离差来估计出该图像对象于该些图像图场的垂直方向 上的移动速率。
请参阅图2(a)，图2(a)是显示电视信号传送端所传送的多个图像图场 中，垂直移动字幕所对应的不同像素位置的筒化示意图。其中第2图所绘示 的圓圈部分是表示垂直移动字幕中对应于显示文字内容的像素位置，而图像 图场F" F3、 F5.以及图像图场F2、 F4则是指分别包含奇数条扫描线d、 C3、 C5与偶数条扫描线C2、 C,、"上像素位置所对应的多个字幕像素的图像图场(该 些字幕像素一般皆是储存于扫描线緩冲器(line buffer)中)，举例来说，图
像图场F3至少包含图中所示的扫描线d、C3、Cs上的像素位置P13、P33与P53
的字幕像素。此外，假设图像处理装置100在接收上述图像图场时是依据图 像图场F,至F5的先后顺序来接收(亦即会先接收图像图场F,)，无论画面中的 垂直移动字幕是由上往下或由下往上移动(本实施例是假设垂直移动字幕由 下往上移动)，皆可利用移动检测器115来检测出垂直移动字幕中多个图像对 象的移动速率以使决定模块125可决定出差补至该目标图像图框的待差补位 置(例如图像图框F3的待差补位置P，)中的像素；详细说明于下段叙述中描 述之。
请参阅图2(b) -2(e),图2(b) 2(e)分别是移动检测器115依据图像图 场FrFs估计多个图像对象的不同移动速率的运作示意图。其中移动检测器 115会于图像图场FrF5中检测不同图像图场的像素位置所对应的多个图像 对象(亦即字幕像素)来估计该些图像对象的移动速率以产生多个旗标值；因 此，对于每一图像对象而言，移动检测器115会参考不同图像图场F, F5中 位于不同扫描线上的两像素位置来判断此两像素位置是否是对应于相同的图 像对象以估计此图像对象的移动距离，并藉此间接估计出该图像对象的移动 速率。如图2(b)所示，移动检测器115首先会检测两倍图像图场的播放时间 内垂直移动字幕中是否有多个图像对象所对应的两像素位置的距离差是四倍 扫描线间隔距离的情形(亦即，平均单 一 图像图场的播放时间内是否发生有字 幕像素移动两倍扫描线间隔距离的情形)。举例来说，移动检测器115会分别 计算出像素位置Pu、 P^与像素位置Pw、 Pm以及像素位置P15、 Pw所分别对应 的像素值的差量，并分别比较此三个差量与特定临界值；若此三个差量皆小 于该特定临界值，则表示对应于此三组像素位置的字幕像素分别是相同的像 素，并且其移动速率皆相同。此时若将像素位置P42所对应的字幕像素差补至待差补位置P，中，则执行移动补偿运算上会较为准确，因此，移动检测器 115会产生对应所估计出的移动速率的旗标值f,。
然而，倘若上述三个差量并非皆小于该特定临界值，则表示在两倍图像 图场的播放时间内垂直移动字幕中上述图像对象的移动距离可能不是四倍扫
描线间隔距离，所以，移动检测器115会改成检测单一图像图场的播放时间
内垂直移动字幕中是否有多个图像对象所对应的两像素位置的距离差是单一
扫描线间隔距离的情形；而其目的是为了检测出于单一图像图场播放时间内 是否发生有字幕像素移动单一扫描线间隔距离的情形。例如，如图2(c)所示， 移动检测器115会分别计算像素位置P51、 P"与像素位置P 、 P^与像素位置 P"、 Pm与像素位置P^ P,5以及像素位置P51、 P,5的彼此像素值的差量，并接 着分别比较此五个差量与该特定临界值。倘若此五个差量皆小于该特定临界 值，则表示对应于上述五组像素位置的字幕像素分别是相同的像素，并且其 移动速率皆相同。此时若将像素位置P22所对应的字幕像素差补至待差补位置 P，，则执行移动补偿运算时会较为准确，因此，移动检测器115会产生对应 于目前所估计出的移动速率的旗标值f2。请注意到，虽然此时参考像素位置 P22上的字幕像素来执行移动补偿运算，于时间顺序上来说并非相当准确，然 而，此时像素位置P22上的字幕像素却可能是较佳的参考像素；当然，亦可以
改成依据像素位置P^(或是同时依据像素位置P22与p24两者)上的字幕像素来
执行移动补偿运算，此亦符合本发明的精神。
再者，倘若上述五个差量并非皆小于该特定临界值，则表示在单一图像 图场的播放时间内垂直移动字幕中上述图像对象的移动距离可能不是单一扫
描线间隔距离，所以，移动检测器115会改成检测两倍图像图场的播放时间
内垂直移动字幕中是否有多个图像对象所对应的两像素位置的距离差是三倍
扫描线间隔距离的情形；而其目的则是为了检测出于两倍图像图场播放时间 内是否发生有字幕像素移动三倍扫描线间隔距离的情形，亦即，检测垂直移 动字幕平均是否是于单一图像图场的播放时间内移动一倍半的扫描线间隔距 离。举例来说，如图2(d)所示，移动检测器115会分别计算出像素位置P42、
Ps'及像素位置P"、 P24的彼此像素值的差量，并分别将两差量与该特定临界值
进行比较；倘若此两差量皆小于该特定临界值，则表示对应于此两组像素位 置的字幕像素分别是相同的像素，并且其移动速率皆相同，此时若将像素位 置p"或是像素位置pm所对应的字幕像素差补至待差补位置p，，则执行移动补偿运算时会较为准确(其原因是对应于像素位置P51的字幕像素在图像图场 F2的播放时间内是由像素位置Pw移动至像素位置P42，而在图像图场F3的播放
时间内则由像素位置P,2移动至待差补位置P')，因此，移动检测器115会产
生对应于目前所估计出的移动速率的旗标值f3。然而，倘若上述两差量并非
皆小于该特定临界值，则移动检测器115会改成检测像素位置P,2、 P^是否是
对应于相同的字幕像素以及像素P24、 P!5是否是对应于相同的字幕像素，此是
因为亦有可能发生对应于像素位置P51的字幕像素在图像图场F2的播放时间内 由像素位置Pu往上移动两倍扫描线间隔距离，接着，在图像图场F3播放时间
内再往上移动单一扫描线间隔距离至待差补位置P，，而此种情况同样属于垂 直移动字幕平均于单一图像图场的播放时间内移动一倍半的扫描线间隔距离
的情形。举例来说，如图2(e)所示，移动检测器115会分别计算出像素位置
P42、 P33及像素位置P24、 P,5的彼此像素值的差量，并分别将两差量与该特定临
界值进行比较。倘若此两差量皆小于该特定临界值，则表示对应于此两差量 的字幕像素分别是相同的像素，并且其移动速率皆相同。此时若将像素位置
Psi所对应的字幕像素差补至待差补位置P，，则执行移动补偿运算时会较为准
确，因此，移动检测器115会产生对应于目前所估计出的移动速率的旗标值
请注意到，上述用以估计多个图像对象的移动速率的实作方式，是仅为
移动估计模块105估计图像对象的移动速率的方式其中之一；经由本发明的 教导，本领域技术人员应可对估计图像对象的移动速率的实作方式进行适当 修改。例如，可改成检测两倍图像图场的播放时间内垂直移动字幕中是否有 一或多个图像对象移动四倍以上的扫描线间隔的距离；或是变换前述估计图 像对象的移动速率的顺序；或是改成利用移动检测器115参考图像图场Fr Fs中两组像素位置(举例来说， 一组像素位置所包含的大小范围可以是1*5的 窗口大小)来判断此两组像素位置是否对应于相同的图像对象以估计图像对 象的移动速率，并且移动检测器115会计算此两组像素位置中所对应的像素 的像素值的个别差量，再将个别差量的总和与该特定临界值进行比较。因此， 本领域技术人员对上述估计图像对象的移动速率的方式所进行的任何设计变 化，亦属于本发明的范畴。
此外，由于欲播放的目标图像图框中可能仅具有奇图场或偶图场(例如在 本实施例中目标图像图框仅具有奇图场F3),因此于播放该目标图像图框之前，必需预先决定出欲播放的图像图框中多个待差补位置所对应的字幕像素， 以便进行移动补偿运算。移动检测器115会针对每一待差补位置进行上述运
作而输出多个旗标值，统计单元120会统计该些旗标值来产生多个统计值， 并以该多个统计值中的最大值所对应的旗标值(t、 f2、 f3或。来作为该参数 值，具体来说，统计单元120是依据上述所估计出的不同的移动速率来分别 统计其相对应所产生的旗标值的个数以产生该多个统计值，亦即，不同的旗 标值是表示不同移动速率的情形，而该些统计值则是分别表示不同移动速率 所对应的旗标值的个数，以上述例子而言，统计单元12G将会产生四个统计 值。接着，统计单元120会依据该多个统计值(例如四个)中最大值所对应的 旗标值来决定出该参数值，详细来说，统计单元120会先检查该最大值是否 超过预定临界值(理由是实际上垂直移动字幕具有相同的移动速度，所产生的 最大值一般皆会超过该预定临界值)；倘若该最大值超过该预定临界值(亦即， 垂直移动字幕是以对应于该最大值的移动速率进行移动)，则统计单元120会 依据对应于该最大值的旗标值来决定出该参数值。因此，决定模块125则可 依据该参数值从上述多个图像图场中决定出每一待差补位置所需要差补的像 素，而移动补偿模块110则会差补决定模块125所决定出的每一像素至目标 图像图框的不同的待差补位置中。由于垂直移动字幕中所有图像对象(字幕像 素)的移动速度通常皆相同，故决定模块125于决定上述目标图像图框中多个 待差补位置所需要差补的像素时，通常会依据相同的参数值来决定出该垂直 移动字幕中所有的待差补位置所需要差补的像素，此优点在于利用垂直移动 字幕的统计特性可避免决定字幕边缘的某些待差补位置所需的像素时可能发 生错误。
另外，移动估计模块105中的控制单元130可依据该多个统计值的分布 来调整进行差补的预定范围，以使得移动补偿模块110仅针对位于该目标图 像图框中的该预定范围内的待差补位置进行像素差补。请参阅图3,图3是 一般电视画面中垂直移动字幕的预定范围的简化示意图。如图3所示，电视 画面300包含有两垂直移动字幕的预定范围305、 310(斜线部分)，虽然此时 电视画面中已预先定义有预定范围305、 310，然而，由于并非所有频道/节 目上显示的垂直移动字幕的实际字幕范围皆相同(亦即可能发生垂直移动字 幕的实际字幕范围小于该预定范围)，利用控制单元130则可避免进行像素差 补时将字幕像素差补到实际字幕范围外的像素位置而造成移动补偿运算发生错误。实作上，请参阅图4，图4是显示上述四个统计值中一最大值所对应
的旗标值个数于画面宽度上的分布示意图。举例来说，假设移动检测器115
检测出大多数的图像对象所对应的两像素位置的距离差皆是四倍扫描线间隔
距离(亦即该最大值所对应的旗标值为f,)，由于图4中旗标值匸的个数仅于 字幕宽度W的范围内超过临界值Th,而在字幕宽度W的范围外则低于临界值 Th,因此此时实际的字幕宽度较有可能是W，控制单元130则会将上述的预 定范围305或310的宽度调整为字幕宽度W。移动补偿模块110接着将可依 据该参数值来差补决定模块125所决定的像素至该调整后的预定范围内的待 差补位置，以增进观赏电视节目时垂直移动字幕的显示质量。当然，倘若为 了避免调整该预定范围时计算量过于庞大，则亦可以直接针对该预定范围中 的待差补位置来进行移动补偿运算，不需使用到控制单元130,亦即，在本 发明中的实施例中，控制单元130为选择性的元件(opt iona 1)。
再者，于其它实施例中，移动估计模块亦可依据上述图像图场来估计目 标图像图框的垂直移动字幕中单一图像对象的移动速率来输出参数值，而决 定模块可直接依据该参数值来决定像素。因此，该移动估计模块将仅需具有 移动检测器(或是仅具有该移动^^测器与一控制单元)，而不需具有上述的统 计单元，此亦符合本发明的精神。其中此实施例中的移动检测器是用来于上 述图像图场中检测位于不同图像图场的像素来估计出图像对象的移动速率以 决定出参数值。
以上所述仅为本发明的较佳实施例，凡依本发明权利要求范围所做的均 等变化与修饰，皆应属本发明的涵盖范围。
ii
权利要求
1. 一种图像画面的差补方法，用来差补至少一像素至目标图像图框的待差补位置中，该差补方法包含接收具有相对应图像对象的多个图像图场；依据该图像对象位于该些图像图场的第一图像图场中所对应的第一像素位置，与该图像对象位于该些图像图场的第二图像图场中所对应的第二像素位置，该两像素位置的距离差，以估计该图像对象的移动速率；依据该图像对象的该移动速率，从该些图像图场中决定该像素；以及差补该像素至该目标图像图框的该待差补位置中。
2. 根据权利要求1所述的差补方法，其中估计该图像对象的该移动速率 的步骤还包含估计该图像对象于该些图像图场的垂直方向上的该移动速率。
3. 根据权利要求1所述的差补方法，其中该移动速率是由相对应的参数 所表示，该差补方法还包含统计该参数数目，以产生多个统计值；以及依据该多个统计值中的最大值所对应的参数来决定该像素。
4. 根据权利要求3所述的差补方法，还包含 当该最大值超过临界值时，决定该像素。
5. 根据权利要求1所述的差补方法，其中该移动速率是由相对应的参数 所表示，且该图像对象位于该目标图像图框中的预定范围内，该差补方法还 包含统计该参数的数目，以产生多个统计值；以及 依据该统计值的分布以调整该预定范围。
6. 根据权利要求1所述的差补方法，其中该图像对象为该些图像图场中 的字幕像素。
7. 根据权利要求1所述的差补方法，是应用于NTSC电视画面中。
8. —种图像处理装置，用来差补至少一像素至目标像框的待差补位 置中，该图像处理装置包含移动估计模块，用来依据图像对象位于多个图像图场的第 一 图像图场中 所对应的第一像素位置，与依据该图像对象位于该些图像图场的第二图像图场中所对应的第二像素位置，以估计该图像对象的移动速率，并依据该移动速率以输出相对应的参数值；决定模块，耦接至该移动估计模块，用来依据该参数值，从该些图像图 场中决定该像素；以及移动补偿模块，耦接至该决定模块，用来差补该决定模块所决定的该像 素至该目标图像图框的该待差补位置中。
9. 根据权利要求8所述的图像处理装置，其中该移动估计模块是用来估 计该图像对象于该些图像图场的垂直方向上的该移动速率。
10. 根据权利要求8所述的图像处理装置，其中该移动估计模块是依据 该图像对象位于该第一图像图场中所对应的该第一像素位置，与依据该图像 对象位于该第二图像影图中所对应的该第二像素位置，该两像素位置的距离 差，以估计该图像对象的该移动速率。
11. 根据权利要求8所述的图像处理装置，其中该图像对象为该些图像 图场中的字幕像素。
12. 根据权利要求8所述的图像处理装置，其中该移动估计模块是分别 估计多个图像对象的多个移动速率以决定出该参数值。
13. 根据权利要求8所述的图像处理装置，其中该移动估计模块包含 移动检测器，用来检测该些图像图场中多个图像对象，并估计该多个图像对象所对应的该多个移动速率以产生多个旗标值；以及统计单元，耦接至该移动检测器，用来统计该多个旗标值以产生多个统 计值，并由该多个统计值中的最大值所对应的旗标值作为该参数值。
14. 根据权利要求13所述的图像处理装置，其中该移动检测器是检测该 些图像图场中预定范围内的该多个图像对象所对应的该多个移动速率，以及 该移动估计模块还包含控制单元，耦接于该统计单元，用来依据该多个统计值的分布，来调整 该预定范围。
全文摘要
本发明是揭露一种用来差补至少一像素至目标图像图框的待差补位置中的图像画面的差补方法。该差补方法包含有接收具有相对应图像对象的多个图像图场；依据该图像对象位于该些图像图场的第一图像图场中所对应的第一像素位置，与该图像对象位于该些图像图场的第二图像图场中所对应的第二像素位置，该两像素位置的距离差，以估计该图像对象的移动速率；依据该图像对象的该移动速率，从该些图像图场中决定该像素；以及差补该像素至该目标图像图框的该待差补位置中。
文档编号H04N5/14GK101521738SQ20081008200
公开日2009年9月2日 申请日期2008年2月26日 优先权日2008年2月26日
发明者张庆华, 谢俊兴 申请人:瑞昱半导体股份有限公司