专利名称：视频信号的转换装置及转换方法
技术领域：
本发明涉及一种在利用以等离子体显示器和液晶显示器为代表的非隔行接收器对基于NTSC(国家电视标准委员会)和PAL(逐行倒相制式)而承载在隔行信号上传输的画面(picture)进行显示时所使用的隔行逐行转换(下文中简称为去隔行处理)技术。
背景技术：
去隔行处理迄今已使用了运动自适应技术和运动补偿技术，这两种技术检测画面的运动，并根据该运动生成内插像素。这些技术基于以下前提例如在NTSC信号的情况下，原始画面是时间分辨率为每隔1/60秒的隔行(下文中称作60i(60帧/秒隔行))画面。
另一方面，使用[帧]的画面(例如，电影和动画的胶片材料和由计算机生成的CG(计算机图形)材料)要经受所谓的电视电影转换(涉及2:3下拉和2:2下拉)，因此，承载在隔行视频信号上进行传输。例如，如果该信号是用于以24帧/秒的帧速传输逐行画面(帧)的视频信号，则通过2:3下拉将一帧分配到2或3个场(field)中。此外，如果该信号是用于以30帧/秒的帧速传输逐行画面(帧)的视频信号，则通过2:2下拉将一帧分配到2个场中。
在通过诸如运动自适应技术和运动补偿技术的内插技术来处理经电视电影转换的视频信号时，通过内插数据对帧中的不存在任何视频信号的行(line)进行补偿，导致出现诸如闪烁、锯齿和非自然信号(artifact)的问题。
对于经电视电影转换的视频信号，如果简单地获知诸如2:3下拉序列和2:2下拉序列的视频传输序列，则可以从分割的场中恢复出原始逐行画面。
因此，提出了一种判断所输入的视频信号是否为经电视电影转换的信号，并执行与该判断的结果相对应的转换处理的转换装置。图1是包括序列检测单元101、反向电视电影单元102和运动补偿型去隔行单元103的转换装置的示意图。
序列检测单元101对所输入的视频信号的各个场进行比较，由此检测视频传输序列(例如，2:3下拉序列和2:2下拉序列，或除这些序列之外的其他序列)。如果该视频信号是2:3或2:2下拉视频传输序列的，则序列检测单元101将该视频传输序列通知给反向电视电影单元102，在反向电视电影单元102中，执行根据该视频传输序列的去隔行处理，并由此输出该视频信号。
然后，序列检测单元101在判断出所输入的视频信号不是2:3或2:2下拉视频传输序列的情况下，通过基于内插技术(例如运动自适应技术和运动补偿技术)的去隔行单元103来选择和输出该信号。
此外，以下专利文献1中公开的技术给出了与本申请的发明有关的现有技术。
日本专利申请特开公报No.2005-102191发明内容如上所述，为了实现高质量的去隔行画面，对视频传输序列进行检测是很重要的。
然而，真实的视频信号包括既不属于2:3下拉序列也不属于2:2下拉序列的视频信号，例如使用具有不同类型的混合帧速的材料的视频信号、采用经修正的视频传输序列的视频信号以及包含由一串移动字符组成的自动反射式幻灯片的视频信号。图2示出了对这些NTSC视频信号进行分类时的示意图。
在通过如图2所示各自地包围60i视频信号、经电视电影转换的2:3下拉视频信号和经电视电影转换的2:2下拉视频信号而将视频信号分类成这些视频信号时，使用除这些视频传输序列之外的其他视频传输序列的视频信号被分类在这些圆之外。此外，从一开始就不能将这种分类应用于静态画面，因此包括静态画面的视频信号也被分类在这些圆之外。而且，这些圆的重叠部分都表示材料在时域或空域上的混合状态。例如，通过以下视频信号对其进行例示通过将CG的背景与由60i信号采集的表演者进行合成而获得的视频信号；以及通过将60i信号帧的一部分与电影的广告进行合成而获得的视频信号。应注意的是，这些视频信号趋向于随计算机的普及以及编辑(合成)技术的多样化而增加。
因此，难以从多种多样的视频信号中精确地检测出经电视电影转换的2:3和2:2下拉视频信号，因此误检可能相当严重。
应注意的是，如果如上所述对由于误检而导致的经电视电影转换的画面进行面向隔行的去隔行处理，则画面中会出现非自然信号。相比而言，如果由于误检而导致对60i信号进行变换型去隔行处理，则画面劣化到很严重的程度。
因此需要设定检测条件，使得如果检测条件得到满足，则60i视频信号不被误判成经电视电影转换的信号。
因此，存在尽管是2:3下拉材料和2:2下拉材料但不可检测的视频信号。
作为处理这种问题的现有技术，日本专利申请特开公报No.2005-102191公开了以下技术基于不可避免的误检进行反向电视电影处理，然后通过对以后可能引发问题的预期部分进行检查来检测错误，并利用去隔行处理来修正该部分。在该方法的情况下，难以检测到错误，并且需要与视频传输序列检测单元相独立的错误检测装置，导致该装置的结构复杂。
在这种情况下，设计本发明来解决这些问题，并提供一种能够在对承载在实际广播电波上的多种多样的视频信号进行去隔行处理时进行适合于各种类型的视频信号的去隔行处理的技术。
本发明采用以下结构来解决这些问题。
即，本发明提出了一种根据本发明的转换装置，该转换装置包括第一检测单元，用于检测关于所输入的隔行视频信号是否为基于视频传输序列的视频信号的评价的结果是否满足第一标准；第二检测单元，用于检测所述评价的结果是否满足第二标准；第一转换单元，当检测出所述隔行信号满足所述第一标准时，基于所述视频传输序列将所述隔行视频信号转换成逐行视频信号；第二转换单元，当检测出所述隔行信号不满足所述第一标准而满足所述第二标准时，基于像素选择将所述隔行视频信号转换成所述逐行视频信号；以及第三转换单元，当检测出所述隔行信号既不满足所述第一标准也不满足所述第二标准时，基于像素内插将所述隔行信号转换成所述逐行视频信号。
所述第二转换单元可以选择与转换目标场之前和之后的相邻场的内插像素相对应的位置上的像素，作为所述转换目标场的各个内插像素。
所述转换装置还可以包括用于检测所述视频信号的场景的改变的场景改变检测单元，其中，当检测到所述场景的改变时，所述第二转换单元可以从与所述转换目标场连续的侧上的场中选择所述像素。
所述转换装置还可以包括用于输出转换后的逐行视频信号的输出单元。此外，所述输出单元可以与所述第一检测单元的检测结果和所述第二检测单元的检测结果相对应地从所述第一转换单元、所述第二转换单元和所述第三转换单元中的任意一个选择性地输出所述逐行视频信号。
所述第一检测单元可以从所输入的隔行视频信号中检测所述视频传输序列。
此外，本发明还提供了一种转换方法，转换装置通过该转换方法来执行以下步骤检测关于所输入的隔行视频信号是否为基于视频传输序列的视频信号的评价的结果是否满足第一标准；检测所述评价的结果是否满足第二标准；当检测出所述隔行信号满足所述第一标准时，基于所述视频传输序列将所述隔行视频信号转换成逐行视频信号；当检测出所述隔行信号不满足所述第一标准而满足所述第二标准时，基于像素选择将所述隔行视频信号转换成所述逐行视频信号；以及当检测出所述隔行信号既不满足所述第一标准也不满足所述第二标准时，基于像素内插将所述隔行信号转换成所述逐行视频信号。
在所述转换方法中，在基于像素选择进行转换时，选择与转换目标场之前和之后的相邻场的内插像素相对应的位置上的像素，作为所述转换目标场的各个内插像素。
在所述转换方法中，在检测到所述视频信号的场景发生改变的情况下，在基于像素选择进行转换时，从与所述转换目标场连续的侧上的场中选择所述像素。
在所述转换方法中，可以输出转换后的逐行视频信号。此外，在进行输出时，可以与所述第一检测单元的检测结果和所述第二检测单元的检测结果相对应地从所述第一转换单元、所述第二转换单元和所述第三转换单元中的任意一个选择性地输出所述逐行视频信号。
在所述转换方法中，在检测所述隔行信号是否满足所述第一标准时，可以从所输入的隔行视频信号中检测所述视频传输序列。
本发明提供了一种即使在基于视频传输序列的视频信号与不基于该视频传输序列的视频信号之间的差别模糊的情况下也能够进行适合于各种类型的视频信号的去隔行处理的技术。
图1是现有技术的说明图。
图2是示出视频信号的分类的图。
图3是根据本发明的第一实施例中的转换装置的示意图。
图4是像素选择型去隔行单元的说明图。
图5是用于进行2:3下拉序列的结构的说明图。
图6是用于进行2:2下拉序列的结构的说明图。
图7是根据本发明的第二实施例中的转换装置的示意图。
具体实施例方式
<第一实施例>
第一实施例的特征在于，除了进行反向电视电影处理和针对隔行的去隔行处理之外，还包括用于检测诸如2:2下拉序列和2:3下拉序列的序列的第一序列检测器、用于检测半2:2下拉序列和半2:3下拉序列的第二序列检测器以及用于以像素选择为基础来执行逐行处理的装置。
此外，以像素选择为基础的逐行处理涉及以下步骤在获得内插像素时，针对亮度/色度视频分量，选择并输出至少与内插目标场相邻的两个场的像素作为选择候选像素。
下面将参照附图来描述用于实现本发明的最佳方式。以下实施例中的结构是范例，本发明并不限于这些实施例中的结构。
图3是示意性地示出第一实施例中的转换装置的结构的图。如图3所示，第一实施例中的转换装置10包括第一序列检测器(第一检测单元)1；第二序列检测器(第二检测单元)2；输出判断单元3；反向电视电影单元(第一转换单元)11；像素选择型去隔行单元(第二转换单元)12；像素内插型去隔行单元(第三转换单元)13；以及输出单元14。
第一序列检测器1检测关于所输入的隔行视频信号是否为基于视频传输序列的视频信号的评价的结果是否满足第一标准。而且，如果所输入的隔行视频信号是基于视频传输序列的视频信号，则该第一序列检测器1检测该序列，并向反向电视电影单元11提供下拉检测信息。
第二序列检测器2检测该评价结果是否满足第二标准。
输出判断单元3基于第一序列检测器1的检测结果和第二序列检测器2的检测结果，判断应该输出由哪个转换单元11或12或13转换的逐行信号。
当检测出该隔行信号满足第一标准时，反向电视电影单元11基于视频传输序列将该隔行视频信号转换成逐行视频信号。
当检测出该隔行信号不满足第一标准而满足第二标准时，像素选择型去隔行单元12逐个像素地将该隔行视频信号转换成逐行视频信号。
下面将参照图4说明像素选择型去隔行单元12中的去隔行处理。图4示出了在用某水平坐标x沿水平/垂直/时间轴(x，y，t)切割三维视频数据时看到的t-y平面。设置在图4中的符号o表示定时t、t-1和t-2的场数据，相邻场中的符号o在y轴方向上的偏移(像素)表示奇数场与偶数场之间的差别。
当在定时t-1对内插像素(在图4中由标记“X”表示)进行内插时，本示例中的像素选择型去隔行单元12在时间上在该内插像素之前的定时t或之后的定时t-2选择与场中该内插像素相对应的位置的像素Gt和Gt-2中的任意一个的适当值。Gt或Gt-2的像素选择是根据在y轴方向彼此相邻的像素G5或G3的值进行的。由于真实的像素包含在这些场中的任意一个中，因此原始帧材料(帧材料)可以通过这样从之前和之后的场中选择像素来进行恢复。
如果隔行信号既不满足第一标准也不满足第二标准，即，如果隔行信号是60i信号，则像素内插型去隔行单元13通过运动自适应型内插处理或运动补偿型内插处理将该隔行信号转换成逐行视频信号。
输出单元14根据输出判断单元3给出的输出选择信息，选择在各个转换单元11、12和13中进行了转换的逐行信号中的任意一个，并由此输出所选择的逐行信号。
然后，在输入隔行视频信号时，第一序列检测器1比较各个场，并由此评价该隔行视频信号是否为基于视频传输序列(例如2:2下拉序列和2:3下拉序列)的视频信号。在本示例中，如稍后将说明的，获得各场的评价值(绝对差的总和)。然后，如果该评价值在预定定时(例如，进行2:3下拉或2:2下拉的时刻)小于第一阈值，则检测出该信号满足第一标准，即，该信号是基于视频传输序列的视频信号。此外，将评价值等于或小于第一阈值的定时定义为指定视频传输序列的信息，并根据该信息将下拉检测信息提供给反向电视电影单元11。
此外，如果该评价值在预定定时变得等于或大于第一阈值且等于或小于算二阈值，则第二序列检测器2检测出该信号满足第二标准，即，该信号是与视频传输序列相符的视频信号。“与视频传输序列相符的视频信号”被定义为以下这种类型的信号较大部分经电视电影转换的画面部分地包含60i图像，与通过将电影的广告画面和具有60i信号的宣传视频进行合成所生成的视频信号的情况相同。
然后，如果所输入的画面信号满足第一标准，则输出判断单元3向输出单元14发送表示要选择来自反向电视电影单元11的信号的输出选择信号；如果所输入的画面信号满足第二标准，则输出判断单元3向输出单元14发送表示要选择来自像素选择型去隔行单元12的信号的输出选择信号；如果所输入的画面信号既不满足第一标准也不满足第二标准，则输出判断单元3向输出单元14发送要选择来自像素内插型去隔行单元13的信号的输出选择信号。输出单元14根据输出判断单元3给出的输出选择信息，从各个转换单元11、12、13选择性地输出逐行信号。
因此，第一实施例中的转换装置利用第二序列检测器2对可能是基于视频传输序列的视频信号或不基于视频传输序列的视频信号的模糊视频信号进行检测(如同在其极限附近偏离第一序列检测器1的检测条件(第一标准)的视频信号的情况)，然后利用像素选择型去隔行单元12对该视频信号进行去隔行处理。
利用该操作，第一序列检测器1可以仅简单地对被限定为确实是基于视频传输序列的视频信号的信号进行检测，由此使得检测机理得以简化。
接下来，将对第一序列检测器1和第二序列检测器2如何进行它们的检测进行具体说明。
图5是第一实施例中用于进行2:3下拉检测的结构的说明图。缓冲器21保留有当前定时t的场Fld(t)以及定时t-1、t-2的过去两个场Fld(t-1)、Fld(t-2)，并将场Fld(t)、Fld(t-2)发送给SAD计算器22。SAD计算器22对场Fld(t)与Fld(t-2)之间的像素值的差进行积分，由此获得SAD(绝对差值的总和)。
重复场候选判断单元20的第一阈值比较器23将SAD值小于第一阈值的场判断为重复场候选，并将该场候选通知给2:3下拉状态判断单元26。此外，重复场候选判断单元20的第三阈值比较器24将SAD值等于或大于第三阈值的场判断为非重复场候选，并将该场候选通知给2:3下拉状态判断单元26。
2:3下拉状态判断单元26根据重复场和非重复场的时域中的序列(定时)来判断其是否为2:3传输序列，如果是2:3传输序列，则基于重复场的序列来输出下拉检测信息。
此外，如果SAD值等于或大于第一阈值且等于或小于第二阈值，则第二阈值比较器25认为这是有很大可能性为帧材料的状态(具有特征合成的状态和显示出很高的本底噪声(noise floor)的状态)，并将该状态通知给2:3下拉状态判断单元26。响应于该通知，2:3下拉状态判断单元26输出表示要选择经过像素选择型去隔行处理的信号的选择信号。
而且，在从2:3下拉状态转变到非2:3下拉状态时，2:3下拉状态判断单元26可以输出表示要选择已经过像素选择型去隔行处理达固定时间段的信号的选择信号。
图6是第一实施例中用于进行2:2下拉检测的结构的说明图。在检测2:2下拉序列的情况下，场间内插画面(视频)生成器30内插与相邻场中的像素相对应的像素的值，SAD计算器31、32获得通过该内插处理而获取的场Fld(t-1)的SAD值以及相邻场Fld(t)、Fld(t-2)的SAD值。
然后，如果由SAD计算器31、32获得的SAD值之间的差(二阶差分)小于第一阈值，则重复场候选判断单元40的第一阈值比较器33判断出该二阶差分很小，并将该意思通知给2:2下拉状态判断单元36。此外，重复场候选判断单元40的第三阈值比较器34将SAD值均等于或大于第三阈值的场判断为表示大的二阶差分的场，并将该意思通知给2:2下拉状态判断单元36。
而且，如果由SAD计算器31、32获得的SAD值之间的差(二阶差分)等于或大于第一阈值且等于或小于第二阈值，则重复场候选判断单元40的第一阈值比较器33向2:2下拉状态判断单元36通知该二阶差分是中等的。
2:2下拉状态判断单元36通过二阶差分的量级来判断其是否为2:2下拉状态。此外，在是2:2下拉状态的情况下，2:2下拉状态判断单元36输出表示量级序列的下拉检测信息(即，重复场)。而且，如果二阶差分是中等的，则2:2下拉状态判断单元36认为这是有很大可能性为帧材料的状态，并输出表示要选择经过像素选择型去隔行处理的信号的输出选择信号。
从2:3下拉状态判断单元26或2:2下拉状态判断单元36接收到下拉检测信息时，输出判断单元3将该下拉检测信息发送给反向电视电影单元11，并且还向输出单元14发送表示要选择来自反向电视电影单元11的逐行视频信号的输出选择信息。
而且，从2:3下拉状态判断单元26或2:2下拉状态判断单元36接收到表示要选择经过像素选择型去隔行处理的信号的输出选择信号时，输出判断单元3将该信号发送给输出单元14。
然后，在从2:3下拉状态判断单元26或2:2下拉状态判断单元36既未接收到表示要选择经过像素选择型去隔行处理的信号的输出选择信号也未接收到下拉检测信息的情况下，输出判断单元3向输出单元14发送表示要选择从像素内插型去隔行单元13给出的逐行视频信号的输出选择信号。
在第一实施例中，通过第一和第二序列检测器1、2同时提供了用于检测2:2下拉序列和2:3下拉序列的两种结构，然而，本发明并不限于这些结构，也可以利用用于检测其他类型的序列的结构。
实际的视频序列除了用于2:2下拉序列和2:3下拉序列的材料之外还包括其他难以判断的材料，并且还具有许多其切换状态，因此必须对这些状态中的任一状态进行精确检测的传统方法受到了限制。第一实施例涉及在难以判断是2:2下拉状态或2:3下拉状态中的哪种状态并且有很大可能性为基于帧的材料(例如，2:3下拉和2:2下拉)的情况下，逐个像素而非逐个帧地来执行逐行合成处理。利用该方案，即使对于具有混合序列的材料以及通过合成不同类别的元素而创建的材料，也可以选择更适当的转换处理，并且，即使误判，也将影响限制在像素附近，由此使得能够将画面质量的劣化限于最小。
<第二实施例>
图7是根据本发明的第二实施例的示意图。第二实施例与上述第一实施例的不同之处在于其结构还包括场景改变检测单元，在该场景改变检测单元中，与场景的改变相对应地来确定由像素选择型去隔行单元12选择的像素。其他结构均相同，因此用相同的标号和符号来标记相同的部件，从而略去重复的说明。
场景改变检测单元41顺序地比较所输入的视频信号的场，然后随着场景的改变(场景改变)来检测画面的运动连续性丧失的时间点，并将该场景改变信息通知给像素选择型去隔行单元12。应注意，检测该场景改变的方法是已知技术，因此略去其深入说明。
在如上所述选择转换目标场中的像素并对其执行内插处理的情况下，像素选择型去隔行单元12在接收到场景改变信息时，选择与该转换目标场连续的侧上的场的像素，并对其执行内插处理。即，像素选择型去隔行单元12在接收到表明转换目标场Fld(t-1)是该场景的不连续点(拖尾场)的场景改变信息时，选择在场景上与转换目标场Fld(t-1)连续的前面的场Fld(t-2)的像素Gt-2。此外，像素选择型去隔行单元12在接收到表明转换目标场Fld(t-1)是该场景的改变点(引导场)的场景改变信息时，选择在场景上与转换目标场Fld(t-1)连续的后面的场Fld(t)的像素Gt。
因此，根据第二实施例，除了上述第一实施例中的效果之外，还与场景的改变相对应地来执行像素选择型去隔行处理，因此，当场景改变时，可以不留任何余像地执行逐行处理。
权利要求
1.一种转换装置，该转换装置包括第一检测单元，用于检测关于所输入的隔行视频信号是否为基于视频传输序列的视频信号的评价的结果是否满足第一标准；第二检测单元，用于检测所述评价的结果是否满足第二标准；第一转换单元，当检测出所述隔行信号满足所述第一标准时，基于所述视频传输序列将所述隔行视频信号转换成逐行视频信号；第二转换单元，当检测出所述隔行信号不满足所述第一标准而满足所述第二标准时，基于像素选择将所述隔行视频信号转换成所述逐行视频信号；以及第三转换单元，当检测出所述隔行信号既不满足所述第一标准也不满足所述第二标准时，基于像素内插将所述隔行信号转换成所述逐行视频信号。
2.根据权利要求1所述的转换装置，其中，所述第二转换单元选择与转换目标场之前和之后的相邻场的内插像素相对应的位置上的像素，作为所述转换目标场的各个内插像素。
3.根据权利要求2所述的转换装置，该转换装置还包括用于检测所述视频信号的场景的改变的场景改变检测单元，其中，当检测到所述场景的改变时，所述第二转换单元从与所述转换目标场连续的一侧上的场中选择所述像素。
4.根据权利要求1所述的转换装置，该转换装置还包括用于输出转换后的逐行视频信号的输出单元。
5.根据权利要求1所述的转换装置，其中，所述第一检测单元从所输入的隔行视频信号中检测所述视频传输序列。
6.一种转换方法，该转换方法包括以下步骤检测关于所输入的隔行视频信号是否为基于视频传输序列的视频信号的评价的结果是否满足第一标准；检测所述评价的结果是否满足第二标准；当检测出所述隔行信号满足所述第一标准时，基于所述视频传输序列将所述隔行视频信号转换成逐行视频信号；当检测出所述隔行信号不满足所述第一标准而满足所述第二标准时，基于像素选择将所述隔行视频信号转换成所述逐行视频信号；以及当检测出所述隔行信号既不满足所述第一标准也不满足所述第二标准时，基于像素内插将所述隔行信号转换成所述逐行视频信号。
7.根据权利要求6所述的转换方法，其中，在基于像素选择进行转换时，选择与转换目标场之前和之后的相邻场的内插像素相对应的位置上的像素，作为所述转换目标场的各个内插像素。
8.根据权利要求7所述的转换方法，其中，在检测到所述视频信号的场景的改变的情况下，在基于像素选择进行转换时，从与所述转换目标场连续的一侧上的场中选择所述像素。
9.根据权利要求6所述的转换方法，其中，输出转换后的逐行视频信号。
10.根据权利要求6所述的转换方法，其中，在检测所述隔行信号是否满足所述第一标准时，从所输入的隔行视频信号中检测所述视频传输序列。
全文摘要
本发明提供了一种视频信号的转换装置及转换方法，使得即使在基于视频传输序列的视频信号与不基于该视频传输序列的视频信号之间的差异模糊的情况下，逐行合成处理也能够适于各视频信号。根据本发明的转换装置检测关于所输入的隔行视频信号是否为基于视频传输序列的视频信号的评价的结果是否满足第一标准和第二标准，当检测出所述隔行信号满足第一标准时，基于所述视频传输序列将所述隔行视频信号转换成逐行视频信号，当检测出所述隔行信号不满足第一标准而满足第二标准时，基于像素选择将所述隔行视频信号转换成所述逐行视频信号，当所述隔行信号既不满足第一标准也不满足第二标准的情况下，基于像素内插将所述隔行信号转换成所述逐行视频信号。
文档编号H04N11/20GK101064817SQ200710104798
公开日2007年10月31日 申请日期2007年4月27日 优先权日2006年4月27日
发明者佐藤辉幸, 松冈秀树, 田中律子 申请人:富士通株式会社