专利名称：可检测影像信号不良编辑的系统的制作方法
技术领域：
本发明涉及一种检测系统，尤指一种适用于检测影像 信号是否有不良编辑的检测系统。
背景技术：
由于传播频宽的限制，目前电视影像的传播采用奇/偶图场交互传播的方式。如图1所示，其中，奇图场10及12 仅具有奇数行的影像数据，而偶图场11及13则仅具有偶数 行的影像数据。新一代电视由于垂直方向的分辨率的提高， 所以电视内部需要线倍频器(line doubler)进行倍频处 理，以提高垂直方向的分辨率。其中，最简单的倍频处理 是直接合并相邻的奇图场及偶图场，以成为一循序扫描图 框(progressive scan frame)。然而，由于相邻的奇图场及偶图场有时间上的差异，故直接合并奇图场及偶图场以 产生的循序扫描图框将使得移动中的物体影像产生锯齿。为避免前述的问题，较佳的线倍频器设置有移动检测 器(motion detector)以检测移动中的物体影像，并对静止 的影像采用场间差补(inter-field interpolation)的除 交错处理，而对移动的影像采用场内差补(intra-field interpolation)的除交错处理。另一种倍频方式通过分辨影像来源是否为电影来达 成，由于已知电影是采用每秒拍摄24张图框的方式来记录 影像，因此，若要将电影信号显示于NTSC规格的电视上， 则必须将每秒2 4张图框转拍成每秒6 0个图场，如图2所示， 此转拍的技术一般称为"3:2下拉"(3:2 pull down)，亦即，将时间上连续的两个电影图框分别转拍成3个图场及2 个图场，例如，将图框14转拍成图场18 (奇图场)、图场19 (偶 图场)及图场20 (奇图场)，并将图框15转拍成图场21 (偶图 场)及图场22(竒图场)，以下类推。所以，以此种倍频方式， 如果判断影像来源为电影信号，则只要将原本属于同一图 框的奇图场与偶图场合并就能得到完美的倍频输出，不但 影像不会产生锯齿，且移动的影像也能保持有最高的垂直 方向分辨率。而为要检测影像来源，现有是以图框移动数据或图场 移动数据来判断影像来源是否为电影信号，图3的范例显示 以图框移动检测器31 (frame motion detector)来提供图框 移动的数据，如图所示，每一图框移动检测器31是用以检 测两个连续的奇图场或两个连续的偶图场是否相同，如相 同则输出'1'，否则输出'0'。因此，如果电视影像是 一段静止的画面，则不管影像来源是否为电影信号，图框 移动检测器31皆输出'11111, 11111，…'的序列，如果电 视影像是一段移动的视频摄影机信号，则图框移动检测器 31输出，00000, 00000，…，的序列，如果是一段移动的电 影信号者，则图框移动检测器31输出'10000， 10000，…' 的序列。以前述图框移动检测器31的输出，经由一如图4所示 的电影检测状态移转图，便可判断输入影像是否为3:2 pull down的电影，其中，此电影检测状态移转图的状态0-5 为视频摄影机模式状态(video mode states)，而状态6-10 为电影模式状态(film mode states)。如图所示，电影检 测状态移转图的起始状态为状态O，每当输入'10000'时， 状态将移转经过状态4，且递增一计数器41,而当计数器41 的值超过一临界值时，状态由状态4移转至状态6，亦即， 由电视影像模式状态进入电影模式状态。而如前所述，当输入影像是3:2 pull down的电影时， 图框移动检测器会输出，10000'或，1111'的序列，因此，当图框移动检测器输出一定数量的，10000'序列后， 电影检测状态移转图便由视频摄影机模式状态移转至电影模式状态，且在电影模式状态下，只要输入为'ixxxx，，电影检测状态移转图均维持在电影模式状态。
背景技术：
虽可有效检测影像来源是否为电影信号且 实现完美的倍频输出，然而，电影数据的不良编辑却会造成3:2 pull down比例的破坏而导致影像输出出现锯齿状， 如图5所示的图场1-8来自电影片段A，而图场9-16来自电影 片段B，由于电影片段B的不良编辑，导致在图场9以后便不 再符合3:2 pull down的比例，并请参照图4，由于电影检 测状态移转图需在图场ll时才能判断出需跳离电影模式， 因此，在以图场9为基础产生输出图框时，是以原本不属于 同 一 图框的图场9及图场10合成 一 个图框，此将造成电视影 像出现锯齿。为解决前述的问题，美国专利公告第6201577号(名 称Film source video detect ion)提〈共——禾中检测不良编 辑的方法，其是在目前的输出影像上去检测不良编辑，以 当发现有不良编辑时，通知电影检测器跳出电影模式，以 避免将不属于同一图框的图场合成一个图框的问题，然而， 由于不良编辑的检测是在目前的输出影像上进行，因此， 当检测到有不良编辑时，线倍增器已经输出 一 个有锯齿的 图框，而无法完全避免影像产生锯齿。同时，现有技术在 电影模式时，在状态7-状态10中均无法跳离电影模式，因 此，常将原本不属于同一图框的图场合成一个图框，容易 造成电视影像出现锯齿。由此可知，现有可检测影像信号 不良编辑的系统仍有改善的空间。发明内容本发明的目的在于提供 一 种可检测影像信号不良编 辑的系统，从而可减少图框缓冲器和线缓冲器的使用量， 以降低硬件成本。本发明的另 一 目的在于提供 一 种可检测影像信号不 良编辑的系统，从而可检测及处理各种会产生不良编辑情 况，而获得一较佳的影像质量。依据本发明的一特色，本发明提出一种可检测影像信 号不良编辑的系统，其接收一影像数据流的多个图场以检 测其中的不良编辑，该系统包含一电影模式检测装置、一 锯齿检测装置及一场景检测装置。该电影模式检测装置接收影像数据流中的前 一 个图场F[N— 1]及下 一 个图场F[N+1]，以判断该影像数据流是否为电影模式；该锯齿检测装置接收影像数据流中的现行图场F [N]及下 一 个图场 F[N+1]，并依据该现行图场F[N]的图场能量及该现行图场 F[N]及下一个图场F[N+1]的图框能量，以判断该下一个图 场F[N+1]是否有锯齿产生；该场景检测装置接收影像数据 流中的现行图场F[N]、下一个图场F[N+1]及前一个图场 F[N-1]，以计算该现行图场F[N]与该前一个图场F[N-1]及 下一个图场F[N+1]的图场亮度差值，并依据该算现行图场 F [ N ]的该图场亮度差值以判断是否有场景变化产生；其中， 当该影像数据流为电影模式且有场景变化产生时，由于不 良编辑大多发生在场景变化处，因此判定该影像数据流可 能有不良编辑。
图l是视频摄影机信号的显示图埸的示意图。 图2是电影信号转拍成图场的示意图。 图3是以图框移动检测器来提供图框移动的数据的示 意图。图4是一 电影检测状态移转图。图5是不良编辑的电影信号的示意图。图6是本发明检测装置的方块图。图7是本发明锯齿检测装置的方块图。图8是本发明场景检测装置计算该现行图场的图场亮 度差值的示意图。图9是本发明的工作状态移转图。主要组件符号说明图场10-13、18-22图框14-17图框移动检测器31计数器41电影模式检测装置610锯齿检测装置620场景检测装置630反交错装置640直接耦合装置650判断装置660多任务装置670线缓冲器621减算装置622、 623绝对值装置624、625比较器626、627计数器628具体实施方式
图6是本发明可检测影像信号不良编辑的系统的方块 图，其接收一影像数据流的多个图场F[Z]以检测其中的不 良编辑，其中，Z二N表示目前所处理的现行图场，前述可检 测影像信号不良编辑的系统包含- 一 电影模式检测装置 610、 一锯齿检测装置620、 一场景检测装置630、 一反交错 装置640、 一直接耦合装置650、 一判断装置660及一多任务 装置670。其中，前述反交错装置640接收影像数据流中的现行 图场F[N]、前一个图场F[N-1]及下一个图场F[N+1]，并用 插点方法(de-interlace)以产生该现行图场F[N]的图框。10前述直接耦合装置650接收影像数据流中的前一个图 场F[N-1]及下一个图场F[N+1]，并利用该前一个图场F[N-1] 及下一个图场F[N+1]直接合成，以产生该现行图场F[N]的 图框。前述电影模式检测装置610接收影像数据流中的前一 个图场F [N— 1]及下 一 个图场F [N+l]，以判断该影像数据流是否为电影模式。当该影像数据流非为电影模式，该电影 模式检测装置610输出状态0至状态5。当该影像数据流为电 影模式，该电影模式检测装置610依序输出电影模式状态6 至电影模式状态IO。该电影模式检测装置610可依据图4的 状态转移图予以实现(implement)，由于其为本领域技术人 员基于图4的状态转移图所能完成，在此不予赘述。该锯齿检测装置620接收影像数据流中的现行图场 F [N]及下 一 个图场F [N+1 ]，并依据该现行图场F [N]的图场 能量(field energy)及该现行图场F[N]及下 一 个图场 F[N+1]的图框能量(frame energy),以判断该下一个图场 F[N+1]是否有锯齿产生。当该图框能量大于现行图场F[N] 中的图场能量的像素数目且超过一门坎时，该锯齿检测装 置判定该下一个图场F[N+1]有锯齿产生。上述的像素的图场能量(field energy)为|LumaF[N1[i][j]-LumaF[N[i + l][j]| ， (1) 其中，Luma,[i][j]为该现行图场F[N]的像素(i， j)的亮度值， LumaF[N[i + l][j]为该现行图场F [N]的像素(i +1 ， j)的亮度值。 像素的图框能量(frame energy)为I LumaF[N[i〗[j] - Luma,〗[i][j] | ， (2)其中，Luma，[rim为该现行图场F [N]的像素(i, j)的亮度值， Luma争u[i][j]为该下一个图场F[N+l]的像素(i， j)的亮度值。图7是本发明锯齿检测装置620的方块图。其主要包括 线缓冲器621、减算装置622及623、绝对值装置624及625、 比较器626及627、及计数器628。其中，该锯齿检测装置620进行锯齿检测时，先用一重置信号以重置该计数器628。该 现行图场F [N](其像素亮度值以LumaFN][i][j]表示)与该下一 个图场F [N+l](其像素亮度值以Luma，+n[i][j]表示)是由减算装置623相减，以得到该现行图场F[N]与该下 一 个图场 F[N+1]的亮度差，而由于该现行图场F[N]与该下一个图场 F[N+1]分别为奇、偶图场或是偶、奇图场，因此该现行图 场F[N]与该下一个图场F[N+1]在垂直位置上有一像素的差 距，而前述现行图场F[N]与下一个图场F[N+1]间的亮度差 称的为现行图场F [ N ]的图框能量。线缓冲器621是用以缓冲该现行图场F[N] —条线 (line)，因此，该现行图场F[N]的像素(i， j)经线缓冲器671 后成为(i + l， j)，此线缓冲后的图场F[N]'与现行图场F[N] 是由减算装置622相减，以得到图场F[N]'与现行图场F[N] 间的亮度差，由于(i + l， j)为(i， j)经过线缓冲，因此， (i + l， j)与(i， j)在垂直位置上有二像素的差距，而前述图 场F [N]'与现行图场F [N]间的亮度差称的为现行图场F [N]的图场垂直能量。前述现行图场F [N]的图框能量与图场能量是经由绝 对值装置624及625，进而取得其大小值，再经由一比较器 626相比，而由于现行图场F [N]与下 一 个图场F [N+l ]的距离 (垂直位置上有一像素的差距)应小于线缓冲图场F[N]，与 现行图场F [ N ]的距离(垂直位置上有二像素的差距)，所以 前述图框能量应该会小于图场能量，故当比较器626比较出图框间能量大于图场能量时，表示可能有锯齿产生，故递 增计数器628，直到计数器628大于一门坎时，输出锯齿产生的信号，以通知该电影模式检测装置610跳出电影模式。 于本实施例中，该锯齿检测装置620接收影像数据流 中的现行图场F[N]及下一个图场F[N+1]，并依据该现行图 场F[N]的图场能量及该现行图场F[N]及下一个图场F[N+1] 的图框能量，以判断该下一个图场F[N+1]是否有锯齿产生。于其它实施例，该锯齿检测装置620亦可接收影像数据流中 的现行图场F[N]及前一个图场F[N-1]，并依据该前一个图 场F [N-l ]的图场能量及该前 一 个图场F [N-l]及现行图场 F [N]的图框能量，以判断该现行图场F [N]是否有锯齿产生。前述场景检测装置630接收影像数据流中的现行图场 F[N]、下一个图场F[N+1]及前一个图场F[N-1]，以计算该 现行图场F [N]与该前 一 个图场F [N-1 ]及下 一 个图场F [N+l ] 的图场亮度差值，并依据该算出的现行图场F[N]的该图场 亮度差值(Diff—Luma)以判断是否有场景变化产生。图8是本发明场景检测装置630计算该现行图场F [N] 的该图场亮度差值的示意图。该场景检测装置630依据公式 (3)以计算该现行图场F[N]的该图场亮度差<formula>formula see original document page 13</formula>其中，Y，一,，为该前一个图场F[N-l]的亮度平均值，Y^为该现行图场F [ N ]的亮度平均值，YF[N_i,为该下 一 个图场F [ N +1 ]的亮度平均值。该现行图场F[N]的亮度平均值为<formula>formula see original document page 13</formula>其中，Luma,[i][j]为该现行图场F[N]的像素(i， j)的亮度值，X为该现行图场F[N]的列数目，Y为该现行图场F[N]的行数 目。当该算现行图场F [N]的该图场亮度差值(Di f f—Luma) 大于一先前图场亮度差值且该算现行图场F[N]的该图场亮 度差值(Diff—Luma)大于一 图场亮度门坎(Diff—Luma—Th) 时，该场景检测装置630判定有场景变化产生。其中，该先 前图场亮度差值为先前图场F[N-2]、 F[N-3]、 F[N-4]及 F[N-5]的图场亮度差值取最大者。亦即，公式(5)成立时， 该场景检测装置630判定有场景变化产生<formula>formula see original document page 13</formula>其中Diff_Lum—2 、 Diff—Lum—3 、 Diff—Lum—3 、 Diff—Lum—5分另U 为该先前图场F[N-2]、 F[N-3]、 F[N-4]及F[N-5]的图场亮 度差值，Diff一Lum一Th为该图场亮度门坎。于其它实施例中，该先前图场亮度差值为先前图场 F[N-2]、 F[N-3]、 F[N-4]及F[N-5]的图场亮度差值取最大 者再执行一加权运算。亦即，公式(6)成立时，该场景检测 装置630判定有场景变化产生Diff—Luma > max(Diff—L um一2， 3,4,5) x gain ( g)and Diff—Luma > Diff—Lum—T h前述判断装置660连接至该电影模式检测装置610及 场景检测装置630。当该影像数据流为电影模式且有有场景 变化产生时，判定该影像数据流可能有不良编辑。亦即当 该现行图场F[N]为电影模式状态8或电影模式状态10，且该 场景检测装置630在前 一 个状态7或9判定有场景变化产生 时，判定该现行图场F[N]可能有不良编辑，多任务器670 选择该反交错装置640作为其输出，以产生该现行图场的图 框，但此时状态仍维持在电影模式。当该现行图场F[N]为电影模式状态6、电影模式状态7 或电影模式状态9，且该锯齿检测装置620在前一个状态10 或6或8判定该下 一 个图场F [ N +1 ]有锯齿产生时，判定该现 行图场F[N]有不良编辑，该多任务器670选择该反交错装置 640作为其输出，以产生该现行图场的图框，并回到状态 O(跳出电影模式)。若非前述的情形，则多任务器670选择该直接耦合装 置650作为其输出。图9是本发明的工作状态移转图。由图9可知，本发明 在电影模式状态6-电影模式状态10的任一状态中，均可依 据场景变化或锯齿现象而检测不良编辑的发生，进而采取 相对应的处理方法，而获得较佳的影像质量。现有技术在利用锯齿检测装置来判断是否有不良编 辑发生时，在现行图场F[N]和下一个图场F[N+1]结合的情况下，可利用锯齿检测装置提早预测下一个图场F[N+1]是否有不良编辑的发生，避免锯齿产生。然而当下一个图场F [N+l]是要和下下 一 个图场F [N+2]结合的情况下，仍要用 锯齿检测装置提前预测下 一 个图场F [N+l ]是否有不良编 辑，则需增加图框缓冲器(framebuffer)和线缓冲器(line buffer)，此会增加硬件的成本。若不增加图框缓冲器和线 缓冲器，则锯齿现象还是会发生。而本发明使用锯齿检测 装置620搭配场景检测装置630来提早预测不良编辑的发 生，当锯齿检测装置620检测到锯齿现象且为电影模式状态 6、电影模式状态7或电影模式状态9时，马上跳出电影模式， 当场景检测装置630检测到场景变化且为电影模式状态8或 电影模式状态10时，则多任务器670选择该反交错装置640 作为其输出，以产生该现行图场的图框，但此时状态仍维 持在电影模式。如此可兼顾各种情况而不会有锯齿现象。由上述说明可知，本发明是利用锯齿检测装置620及 场景检测装置630互相搭配的方式，以避免影像数据流因不 良编辑造成因相邻两张图场直接耦合而产生的锯齿现象。 同时可以减少图框缓冲器和线缓冲器的使用量，以降低硬 件成本，同时能检测及处理各种会产生不良编辑情况，而 获得一较佳的影像质量。上述实施例仅是为了方便说明而举例而已，本发明所 主张的权利范围自应以申请权利要求所述为准，而非仅限 于上述实施例。
权利要求
1. 一种可检测影像信号不良编辑的系统，其接收一影像数据流的多个图场及检测不良编辑，该系统包含一电影模式检测装置，用以接收该影像数据流中的一前一个图场F[N-1]及一下一个图场F[N+1]，进而判断该影像数据流是否为电影模式；一锯齿检测装置，用以接收该影像数据流中的一现行图场F[N]及该下一个图场F[N+1]，并依据该现行图场F[N]的图场能量与该现行图场F[N]及该下一个图场F[N+1]的图框能量，进而判断该下一个图场F[N+1]是否产生锯齿；以及一场景检测装置，用以接收该影像数据流中的该现行图场F[N]、该下一个图场F[N+1]及该前一个图场F[N-1]，并计算该现行图场F[N]与该前一个图场F[N-1]及该下一个图场F[N+1]的图场亮度差值，并依据该图场亮度差值以判断是否有产生场景变化；其中，当该影像数据流为前述电影模式且有前述场景变化产生时，判定该影像数据流为前述不良编辑。
2. 根据权利要求l所述的系统，其中，该电影模式检 测装置判定该影像数据流为前述电影模式时，依序产生电 影模式状态6-10，当该现行图场F[N]为该电影模式状态8 或该电影模式状态IO，且分别对应该场景检测装置在前一 个该电影模式状态7及9判定有场景变化产生时，进而判定 该现行图场F[N]为不良编辑。
3. 根据权利要求2所述的系统，其中，当该现行图场 F[N]为该电影模式状态6、该电影模式状态7或该电影模式 状态9，且分别对应该锯齿检测装置在前一个该电影模式状态10或6或8判定该下一个图场F[N+1]有前述锯齿产生时， 进而判定该现行图场F[N]有不良编辑。
4.根据权利要求3所述的系统，其中，该现行图场F[N]的该图场亮度差值为max(l YF[N—13 - YF[N|， | YF[N+1〗-YFN] |),其中，Y,u为该前一个图场F[N-l]的亮度平均值，、w为该现行图场F[N]的亮度平均值，Y，^为该下一个图场F[N+1]的亮度平均值。
5.根据权利要求4所述的系统，其中，该现行图场F[N] 的亮度平均值为X-l Y-1 i=0 j=0其中，LumaFN[i][j]为该现行图场F [N]的像素(i, j)的亮度值， X为该现行图场F[N]的列数目，Y为该现行图场F[N]的行数 目。
6.根据权利要求5所述的系统，其中，当该算现行图 场F[N]的该图场亮度差值大于一先前图场亮度差值且该算 现行图场F[N]的该图场亮度差值大于一图场亮度门坎时， 该场景检测装置判定产生前述场景变化。
7.根据权利要求6所述的系统，其中，该先前图场亮 度差值为先前图场F[N-2]、 F[N-3]、 F[N-4]及F[N-5]的图 场亮度差值取最大者。
8.根据权利要求6所述的系统，其中，该先前图场亮 度差值为先前图场F[N-2]、 F[N-3]、 F[N-4]及F[N-5]的图 场亮度差值取最大者，再执行一加权运算。
9. 根据权利要求3所述的系统，其中，当该图框能量 大于现行图场F [ N ]中的图场能量的像素数目且超过 一 门坎 时，该锯齿检测装置判定该下一个图场F[N+1]有锯齿产生。
10. 根据权利要求9所述的系统，其中， 一像素的图 场會巨量(field energy)为i LumaF[NI[i][j] - LumaF[N][i + l][j] | ， 其中，Luma，[i]m为该现行图场F[N]的像素(i， j)的亮度值， LumaFJi + l][j]为该现行图场F [N]的像素(i + l ， j)的亮度值。
11.根据权利要求10所述的系统，其中， 一像素的图 框能量(frame energy)为I LumaF[N[i][j] - LumaF[N+1[i][j] | ， 其中，Luma,[i][j]为该现行图场F[N]的像素(i， j)的亮度值， LumaF『N+11[i][j]为该下一个图场F[N+l]的像素(i， j)的亮度值。
12. 根据权利要求3所述的系统，其更包含 一反交错装置，用以接收该现行图场F[N]、该前一个图场F [N-1]及该下 一 个图场F [N + l]，进而利用插点方法以 产生该现行图场的图框；其中，当检测系统判定该影像数据流有前述不良编辑 时，驱动该反交错装置，以产生该现行图场的图框。
13. 根据权利要求12所述的系统，其更包含 一直接耦合装置，其接收该现行图场F[N]、该前一个图场F [N-1]及该下 一 个图场F [N+l ]，并利用该前 一 个图场 F [N-1 ]和该现行图场F [N]合成或该下 一 个图场F [N+1 ]和该 现行图场F[N]合成，以产生该现行图场的图框；其中，当检测系统判定该影像数据流没有前述不良编 辑时，驱动该直接耦合装置，以产生该现行图场的图框。
全文摘要
本发明涉及一种可检测影像信号不良编辑的系统，其用于电视影像信号的检测。当检测电视影像来源为电影信号而非视频摄影机信号时，可直接由反交错装置进行电影信号模式的反交错处理，以增加电视影像信号的垂直分辨率。而对于不良编辑的影像信号所造成电视影像产生锯齿状，本发明是在尚未播放的影像信号上检测不良编辑，所以能事先检测出不良编辑。同时利用场景变化，以辅助锯齿检测装置，而完全避免不良编辑影像的产生，而获得一较佳的影像质量。
文档编号H04N17/02GK101242547SQ20071000700
公开日2008年8月13日 申请日期2007年2月5日 优先权日2007年2月5日
发明者苏德松, 陈衍霖 申请人:凌阳科技股份有限公司