专利名称：图象信号高效率编码装置的制作方法
技术领域：
本发明涉及对图象信号上下被遮蔽的信箱型图象信号进行高效率编码的图象信号高效率编码装置。
在现有技术中，已经采用了随影象的种类、方式而不同的宽高比(画面的横向和纵向的长度之比)。在电影影象中，宽高比为1.85比1的深景电影和宽高比为2.35比1的宽银幕电影等已经是公知的。作为电视图象，在EDTV、HDTV制式中所采用的宽高比为16比9(1.78比1)和在现有的NTSC制式中所采用的宽高比为4比3(1.33比1)已经公知了。
图17是信箱型图象的示意图。例如，在不改变其宽高比(2.35比1)而以画面的宽高比为4比3(1.33比1)的NTSC制式的电视尺寸来输出宽银幕电影(宽高比为2.35比1)的电影影象时，如图17所示的那样，就成为由上下被遮蔽的无图象部分和图象部分所构成的信箱型影象。NTSC制式的水平扫描线数(线数)在有效画面上为480条/帧(240条/场)。
图18是对信箱型的图象信号进行高效率编码的现有的图象信号高效率编码装置的方框图。现有的图象信号高效率编码装置101由A/D转换器102、Y/C分离器103、编码器104构成。作为模拟输入信号的信箱型的模拟图象信号被输入到A/D转换器102，而变换为数字图象信号。由A/D转换器102所变换的数字图象信号或作为数字输入信号的数字图象信号被输入Y/C分离器103。Y/C分离器103对数字图象信号进行亮度信号/色差信号分离的数字处理，而输出数字亮度信号Y和两个数字色差信号Cr、Cb。
数字亮度信号Y和各数字色差信号Cr、Cb被提供给编码器104。编码器104对数字亮度信号Y、各数字色差信号Cr、Cb进行高效率编码处理，而生成被进行了高效率编码的图象编码信号104a并输出。
图19是表示图18所示的编码器的一个具体例子的方框结构图。图19表示进行MPEG编码的编码器104。对于MPEG，由于在ISO-IEC1172-2、ITU-TH.262/ISO-IEC13818-2中进行了详细的说明，在此则仅进行简要的说明。图19所示的MPEG编码用的编码器104由第一内部帧存储器111、动作检测部112、动作补偿部113、减法器114、离散余弦变换器(DCT)115、量化器116、可变长度编码器117、逆量化器118、逆离散余弦变换器(逆DCT)119和第二内部帧存储器120所构成。
由数字亮度信号(以下称为亮度信号)Y、两个数字色差信号(以下称为色差信号)Cr、Cb构成的数字图象信号(以下称为图象信号)被输入并存储在第一内部帧存储器111中。在该第一内部帧存储器111中存储多个帧的图象信号。
图20是编码处理块的示意图。如图20所示的那样，在由第一内部帧存储器111所存储的图象信号中，亮度信号Y由16×16象素单元的块进行处理，各色差信号Cr、Cb分别在纵向(垂直方向)对16×8象素单元进行子抽样，分别作为8×8象素的块来进行处理。
图19所示的动作检测部112在每个块化的图象中检测由帧间(或场间)预测所产生的动作矢量，而输出检测出的动作矢量112a。动作矢量112a被提供给动作补偿部113。由逆量化器118和逆离散余弦变换器119构成用于对编码的图象进行解码的局部解码电路，已进行了局部解码的局部解码图象信号119a被存储在第二内部帧存储器120中。动作补偿部113把动作矢量112a和从第二内部帧存储器120所读出的局部解码图象120a作为输入，而生成并输出根据动作矢量对局部解码图象进行动作补偿的动作补偿图象信号113a，同时，输出动作矢量113b和预测方式113c。动作补偿图象信号113a被提供给减法器114。动作矢量113b和预测方式113c被提供给可变长度编码器117。
减法器114从由第一内部帧存储器111所读出的编码对象图象块的图象信号111a减去动作补偿图象信号113a，而输出差分图象信号114a。差分图象信号114a被提供给离散余弦变换器115。离散余弦变换器115对差分图象信号114a进行离散余弦变换而运算出DCT系数115a并输出。DCT系数115a被提供给量化器116。量化器116对DCT系数115a进行量化而输出量化信号(量化编号)116a。量化信号(量化编号)116a被分别输入给可变长度编码器117和逆量化器118。
可变长度编码器117分别对量化信号(量化编号)116a、动作矢量113b和预测方式113c进行可变长编码，进而，生成根据预定数据格式来复用进行了可变长编码的量化信号、动作矢量、预测方式的输出图象编码信号104a。
按MPEG方式，进行帧内编码的I图片(intra-coded picture)和进行帧间编码的P图片(predictive coded picture)作为动作补偿预测的参照信号来使用。为此，需要I图片和P图片的重放图象，由逆量化器118和逆离散余弦变换器119来进行局部解码。逆量化器118对量化信号(量化编号)116a进行逆量化而输出DCT系数118a。逆离散余弦变换器119根据DCT系数118a来进行逆离散余弦变换而生成局部解码图象信号119a并输出。局部解码图象信号119a被存储在第二内部帧存储器120中。
在日本专利公开公报特开平7-177476号公报中记载了这样的图象信号处理装置当在上下遮蔽部对复用补强信号的信箱型形式的宽银幕电视信号进行块化而进行高效率编码时，能够降低跨在上下遮蔽部和补强信号上的块中的补强信号的失真。
该图象信号处理装置具有把与上下遮蔽部的补强信号相邻的主要部分的图象信号的预定数的线置换为补强信号的电平的置换装置，通过使与补强信号相邻的主要部分的图象信号成为补强信号的电平，在横跨主要部分的图象信号和上下遮蔽部的补强信号上的边境块中，在块内的信号的相关变大，来降低由高效率编码所产生的补强信号的失真。
该图象信号处理装置具有对上下遮蔽部的补强信号的线的顺序进行排列变更的排列变更装置，通过对补强信号的线的顺序进行排列变更，当在边境块中在补强信号中发生高效率编码所引起的失真的情况下，由补强信号的失真的影象所引起的妨害成为在视觉上不产生问题的位置。
该图象信号处理装置具有在检测块内的垂直方向的电平差的电平差检测装置，同时，具有控制量化装置以便按细微的量化幅度对电平差超过预定电平的块进行量化的量化控制装置，通过对边境块进行细微的量化的办法，来降低由量化所引起的补强信号的失真。
在图18所示的的现有图象信号高效率编码装置的构成中，具有以下问题当对包括含有随机噪声等的无图象部分的信箱型图象信号按原状进行高效率编码时，由于无图象部分量化中的交流成分的增加、帧间的动作补偿预测的预测效率低下等，随无图象部分的编码而分配较多的编码量，其结果，使图象的画质劣化。作为对策，考虑这样的措施一义地设定位置作为来把无图象部分置换成均一的数据，但是，图象素材等通过编辑而存在边界线在每个场景中不同的情况，就不能单纯地把无图象部分置换为均一数据。
在信箱型的图象信号中的无图象部分和图象部分的边界线跨在块上的情况下，在该块的量化中，会发生量化失真，特别是，在块内的图象成分的交流成分中出现，而产生无图象部分的劣化，则边界线变得不清楚。
在日本专利公开公报特开平7-177476号公报中所记载的图象信号处理装置，通过使与补强信号相邻的主要部分的图象信号成为补强信号的电平，就能降低随着边境块的编码的失真，但是，在此情况下，存在使主要部分的图象受到损害的危险。虽然通过对上下遮蔽部的补强信号的线的顺序进行排列变更，能够使由补强信号的失真的影象所引起的妨害成为在视觉上不产生问题的位置，但是，不能降低失真。而且，通过以细致的量化幅度对边境块进行量化的办法能够使失真降低，但是，存在编码效率降低的危险。
为了解决这样的问题，本发明的目的在于提供一种图象信号高效率编码装置，在对信箱型的图象信号进行高效率编码时，能够谋求编码效率的提高，同时，降低包含边界线的块的量化失真。
为了解决上述问题，本发明提及的图象信号高效率编码装置，其特征在于，包括信箱边界线检测器，用以在每一帧中以线单位检测被遮蔽的无图象部分和未被遮蔽的图象部分的上下的各边界线；编码对象图象控制部，当无图象部分和图象部分的边界线跨在图象信号高效率编码的图象处理单元(块)上时，用来对图象数据进行处理，以便于使上下的边界线在图象信号高效率编码中处于最佳位置上。
编码对象图象控制部，在边界线跨在编码处理单元(块)上的情况下，使画面整体移动以便于使上下的边界线处在图象信号高效率编码中的最佳位置上。
编码对象图象控制部，把位于包含边界线的图象处理单元(块)内的无图象部分置换成相邻的图象部分的数据。
上述编码对象图象控制部，其特征在于，在每一帧中把无图象部分置换成特定的均一数据。
编码对象图象控制部，其特征在于，具有仅对图象部分进行高效率编码处理的结构。
本发明所提及的图象信号高效率编码装置，通过信箱边界线检测器来以线单位在每一帧中检测被遮蔽的上下无图象部分和图象部分的各个边界线的位置。编码对象图象控制部，在上下的边界线的位置跨过编码处理块的情况下，使画面整体移动，以便于使边界线的位置在进行高效率编码时处于最佳位置上。
编码对象图象控制部，对于通过使画面整体移动而产生的上端或下端的无图象部分的空白区域，用相邻的无图象部分的数据进行补充。
编码对象图象控制部，在上下的边界线位置跨在编码处理块的情况下，把该编码处理块内的无图象部分的数据置换成相邻的图象部分的数据。
编码对象图象控制部，把无图象部分的数据置换为特定的均一数据。
编码对象图象控制部，通过仅把图象部分的数据提供给编码器的办法，仅对图象部分进行高效率编码处理。
这样，本发明所提及的图象信号高效率编码装置，能够在对图象信号的上下被遮蔽的信箱型图象信号进行高效率编码的过程中，提高预测效率，同时，降低边界线附近的量化噪声，而能够提高编码效率。
本发明的这些和其他的目的、优点及特征将通过结合附图对本发明的实施例的描述而得到进一步说明。在这些附图中图1是本发明的图象信号高效率编码装置的整体方框结构图；图2是信箱边界线检测器的方框结构图；图3是编码对象图象控制部(读出/写入地址发生器)的方框结构图；图4是表示把宽高比为2.35比1的宽银幕电影的图象信号输出给宽高比为4比3(1.33比1)的现行的NTSC制式的电视尺寸时的信箱图象的一个例子的示意图；图5是表示把信箱图象信号写入帧存储器时的写入时序的示意图；图6是表示边界线的检测时序的示意图；图7是表示占空系数的检测方法的示意图；图8是表示电平的检测方法的示意图；图9是表示边界线的移动例子的示意图；图10是表示向无图象部分空白区补充的数据操作的示意图；图11是表示无图象部分的数据的置换操作的示意图；图12是表示边界线的移动操作是示意图；图13是表示帧存储器的构成的示意图；图14是把无图象部分置换为固定数据的操作的示意图；图15是表示仅抽出图象部分的操作的示意图；图16是编码器的方框结构图；图17是信箱型图象的示意图；图18是现有的图象信号高效率编码装置的方框结构图；图19是表示图18所示的编码器的一个具体例子的方框结构图；图20是编码处理块的示意图。
下面根据附图来对本发明的实施例进行说明。图1是本发明所涉及的图象信号高效率编码装置的整体方框图。本发明的图象信号高效率编码装置1由A/D转换器2、Y/C分离器3、帧存储器4、信箱边界线检测器5、编码对象图象控制部(读出/写入地址发生器)6和编码器7组成。
该图象信号高效率编码装置1能够输入模拟图象信号和数字图象信号的2系统的图象信号。模拟图象信号被输入给A/D转换器2，由该A/D转换器2变换为数字图象信号，而提供给Y/C分离器3。作为数字输入的数字图象信号被直接提供给Y/C分离器3。Y/C分离器3对数字图象信号进行亮度信号/色差信号分离的数字处理，而输出数字亮度信号(以下称为亮度信号)Y和两个数字色差信号(以下称为色差信号)Cr、Cb。
被分离为亮度信号Y和色差信号Cr、Cb的数字图象信号被提供给帧存储器4，根据编码对象图象控制部(读出/写入地址发生器)6所提供的写入地址而写入到所指定的地址中。在该帧存储器4中存储多个帧的数字图象信号。根据编码对象图象控制部(读出/写入地址发生器)6所提供的读出地址而读出存储在帧存储器4中的数字图象信号。从帧存储器4读出的亮度信号Y和色差信号Cr/Cb被提供给信箱边界线检测器5和编码器7。
信箱边界线检测器5根据从帧存储器4所读出的亮度信号Y和各色差信号Cr/Cb，以线单位来检测信箱的边界线(无图象部分和图象部分的边界线)，而输出边界线检测信号5a。边界线检测信号5a被提供给编码对象图象控制部(读出/写入地址发生器)6。
编码对象图象控制部(读出/写入地址发生器)6根据边界线检测信号5a进行信号处理，而输出用于向编码器7提供数字图象信号的读出地址和图象位置信息6a。
编码器7根据编码对象图象控制部(读出/写入地址发生器)6所提供的图象位置信息6a来对根据读出地址而从帧存储器4所读出的数字图象信号进行高效率编码，并输出图象编码信号7a。
图2是信箱边界线检测器的方框图。信箱边界线检测器5包括占空系数检测部51、电平检测部52、比较部53、占空系数基准值发生部54、电平基准值发生部55。
从帧存储器4所读出的亮度信号Y和各色差信号Cr/Cb被提供给占空系数检测部51和电平检测部52。占空系数检测部51根据亮度信号Y和各色差信号Cr/Cb来对每一线求出下述的占空系数值(ACT)。占空系数值(ACT)能求出水平方向和垂直方向的两种(ACTH，ACTV)。各占空系数值(ACTH，ACTV)被提供给比较部53。电平检测部52根据亮度信号Y和各色差信号Cr/Cb来对每一线求出下述的电平值(DC)。电平值(DC)被提供给比较部53。
比较部53对由占空系数检测部51所检测的占空系数值(ACTH，ACTV)与由占空系数基准值发生部54所提供的占空系数基准值54a进行大小比较，同时还对由电平检测部52所检测的电平值(DC)与由占空系数基准值发生部54所提供的电平基准值进行大小比较，由此，进行边界线的判别。
比较部53，为了正确地进行边界线的判别，而具有进行用于进行上述大小比较的各基准值(占空系数值(ACTH，ACTV)和电平基准值)的修正的构成。比较部53，对于成为编码对象的信箱图象的无图象部分，根据由各个检测部51、52所检测的占空系数值(ACTH，ACTV)、电平值(DC)来生成用于适当地修正占空系数基准值的占空系数基准值修正信号53a并输出，同时，输出用于适当地修正电平基准值的电平基准值修正信号53b。占空系数基准值修正信号53a被提供给占空系数基准值发生部54。电平基准值修正信号53b被提供给电平基准值发生部55。
占空系数基准值发生部54把预先设定的水平方向占空系数基准值BACTH和预先设定的垂直方向占空系数基准值BACTV提供给比较部53，同时，在由比较部53提供占空系数基准值修正信号53a的情况下，把根据占空系数基准值修正信号53a对预先设定的占空系数基准值进行修正的各占空系数基准值BACTH、BACTV提供给比较部53。
电平基准值发生部55把预先设定的电平基准值BDC提供给比较部53，同时，在由比较部53提供电平基准值修正信号53b的情况下，把根据电平基准值修正信号53b对预先设定的电平基准值进行修正的电平基准值BDC提供给比较部53。
图3是编码对象图象控制部(读出/写入地址发生器)的方框图。读出/写入地址发生器6包括边界线修正部61、线计数器62、读出/写入地址发生部63。
边界线修正部61，根据边界线检测信号5a和线计数器值62a，来生成向边界线的编码处理块内的适当位置的移动、块内的无图象部分的数据的置换、无图象部分整体的向均一数据的置换、仅对图象部分的抽出中所需要的信息，把生成的各种信息作为边界线修正信号61a而输出。边界线修正信号61a被提供给读出/写入地址发生部63。边界线修正部61，在仅抽出图象部分时，由编码器7生成必要的图象的位置信息，而作为图象位置信息6a输出。
线计数器62对信箱图象信号的线编号进行计数，而把计数的线编号作为线计数器值62a输出。
读出/写入地址发生部63根据边界线修正信号61a和线计数器值62a生成与上述各处理相对应的读出地址并输出。
在进行信箱边界线的检测操作时，读出/写入地址发生部63根据边界线检测窗口宽度信号6b和线计数器值62a生成用于从帧存储器4读出边界线检测窗口内的图象信号的读出地址。由此，向信箱边界线检测器5提供边界线检测窗口内的图象信号。
图4是表示当把宽高比为2.35比1的宽银幕电影的图象信号输出给宽高比为4比3(1.33比1)的现行的NTSC制式的电视尺寸时的信箱图象的一个例子的示意图。下面把图4所示的信箱图象作为输入图象信号来说明本发明所涉及的图象信号高效率编码装置1的操作。
图5是表示把信箱图象信号写入帧存储器时的写入时序的示意图。图5(a)表示信箱图象信号的线编号和与帧存储器4相对应的写入地址，图5(b)表示所写入的数据的种类(无图象部分与图象部分的区别)。
从图1所示的Y/C分离器3所输出的亮度信号Y和各色差信号Cr、Cb以图5所示的写入时序写入帧存储器4。在图1所示的编码器7进行MPEG编码时，亮度信号Y的处理单元，如图20所示的那样，为16×16象素的块，各色差信号Cr/Cb的处理单元分别为16×8象素的块。其中，如图4所示的那样，使编码处理单元的线方向的集合作为限幅(16线)。在信箱的宽高比预先知道的情况下，如图4所示的那样，设置边界线检测窗口，仅对该边界线检测窗口中的线(32线)进行检测处理，由此，就能高效率地检测信箱的边界线。
图6是表示边界线的检测时序的示意图。图6(a)以与线编号相对应地表示用于从帧存储器4读出边界线检测窗口内(32线程度)的图象信号的读出地址。图6(b)附加上与线编号的对应关系来表示运算各线的占空系数值和电平差的时序。图6(b)在上段表示进行占空系数值的运算的线编号；在下段表示运算电平差值的线编号。图6(c)表示来自比较部53的比较结果的输出时序。图6(d)根据比较结果表示边界线检测信号的输出时序。
图3所示的读出/写入地址发生部63，把由外部所提供的边界线检测窗口宽度信号6b和线计数器62输出的线计数器值62a作为输入，来以图6(a)所示的时序生成用于把图象信号从帧存储器4读出到信箱边界线检测器5中的读出地址。由此，从帧存储器4读出各边界线检测窗口内(32线×2)的图象信号。图2所示的占空系数检测部51根据从帧存储器4所读出的各边界线检测窗口内(32线×2)的图象信号来进行占空系数值ACT的检测。图2所示的电平检测部52根据从帧存储器4所读出的各边界线检测窗口内(32线×2)的图象信号来进行电平值DC的检测。
图7是表示占空系数的检测方法的示意图。首先，对线0在水平方向计算左右相邻的象素间的电平差，计算这些绝对值和。然后，对线1进行相同的计算。接着，向水平方向计算线0和线1的上下相邻的象素间的电平差，来计算两线的绝对值和。这样一来，分别求出线0和线1的水平、垂直的占空系数。接着，对线1和线2同样求出占空系数。即，当设象素电平为P(x，y)时，从式1求出水平方向的占空系数值ACTH，从式2求出垂直方向的占空系数值ACTV。在式1和式2中，m是象素数量，n是线数。
式1ACTHn=Σx=0m-1|P(x,n)-P(x+1,n)|]]>式2ACTVn=Σx=0m-1|P(x,n)-P(x,n+1)|]]>图8是表示电平的检测方法的示意图。首先，求出线0的象素电平的平均。接着，求出线1的象素电平的平均。即，设象素电平为P(x，y)时，从式3求出电平值DC。在式3中，m是象素数量，n是线数。
式3DCn=Σx=0m-1(P(x,n)/m)]]>图2所示的比较部53对由占空系数检测部51所提供的各占空系数值ACTH、ACTV和由占空系数基准值发生部54所提供的占空系数基准值BACTH、BACTV进行大小比较，同时，对由电平检测部52所提供的电平值(DC)和由电平基准值发生部55所提供的电平基准值BDC进行大小比较，由此，判别边界线，以图6(d)所示的时序输出边界线检测信号。
下面对边界线的判别操作进行说明。首先，对占空系数进行说明。在图7中，假设在线0和线1之间存在信箱上部的边界线的情况。在此情况下，由于线0为无图象部分，动作较少，则线0的水平方向的占空系数值ACTH0为较小的值。另一方面，由于线1为图象部分，动作比无图象部分多，则线1的水平方向的占空系数值ACTH1为较大的值。线0的垂直方向的占空系数值ACTV0是线0和线1的垂直方向的占空系数即无图象部分和图象部分之间的占空系数，其值较大。
下面对电平进行说明。在图8中，假设在线0和线1之间存在信箱上部的边界线的情况。在此情况下，由于线0为无图象部分，线1为图象部分，则线0的电平值DC0与线1的电平值DC1相比而接近于黑电平。
接着，成为这些大小比较的基准值的值为占空系数值(BACTH，BACTV)和电平基准值BDC。比较部53，在式4所示的条件时，判断为在线n和线n+1之间存在边界线。
式4{(ACTHn＜BACTH＜ACTHn+1)|(ACTHn＞BACTH＞ACTHn+1)&
(ACTVn＞BACTV)&|[{(DCn-BLK)＞BDC}&{(DCn+1-BLK)＜BDC}]在式4中，记号|代表逻辑和，记号&代表逻辑积。BLK是黑电平。
式4所示的条件为下列这样首先，作线n的水平方向占空系数基准值小于水平方向占空系数基准值，线n+1的水平方向占空系数基准值大于水平方向占空系数基准值的情况(ACTHn＜BACTH＜ACTHn+1)，或者，把线n的水平方向占空系数基准值大于水平方向占空系数基准值，线n+1的水平方向占空系数基准值小于水平方向占空系数基准值的情况(ACTHn＞BACTH＞ACTHn+1)，换句话说，把在相邻的两线中一线的水平方向占空系数基准值大于水平方向占空系数基准值而另一线的水平方向占空系数基准值小于水平方向占空系数基准值的情况为第一条件。
接着，设线n的垂直方向占空系数值大于垂直方向占空系数基准值(ACTVn＞BACTV)为第二条件。
接着，设线n的电平值与黑电平之差小于电平基准值并且线n+1的电平值与黑电平之差大于电平基准值的情况{(DCn-BLK)＜BDC}&{(DCn+1-BLK)＞BDC}或者把线n的电平值与黑电平之差大于电平基准值并且线n+1的电平值与黑电平之差小于电平基准值的情况{(DCn-BLK)＞BDC}&{(DCn+1-BLK)＜BDC}，换句话说，把相邻的两线中一线的电平值与黑电平之差大于电平基准值而另一线的电平值与黑电平之差小于电平基准值的情况为第三条件。
这样，比较部53，在同时满足上述第一、第二、第三条件时，判断在n线和n+1线之间存在边界线。
比较部53，对于占空系数基准值、电平基准值输出各自的基准值修正信号53a、53b，以便于为了边界线的正确的检测来进行适当的基准值的修正。例如，从正在进行编码的信箱图象的无图象部分的占空系数和电平来生成各基准值修正信号53a、53b。占空系数基准值发生部54和电平基准值发生部55根据各自的基准值修正信号53a、53b来进行各基准值BACTH、BACTV、BDC的修正，而输出经修正的各基准值BACTH、BACTV、BDC。
比较部53，在检测到信箱的上部的边界线的时刻，如图6(d)所示的那样，设在此之前为H电平的边界线检测信号的逻辑电平成为L电平，同时，在检测到信箱的下部的边界线的时刻，设逻辑电平返回H电平。
下面对边界线的修正操作进行说明。图3所示的边界线修正部61把边界线检测信号5a和线计数器值62a作为输入，而生成在向边界线的编码处理块内的适当位置的移动、块内的无图象部分的数据的置换、向无图象部分全体的均一数据的置换和仅对图象部分的抽出中需要的信息，来作为边界线修正信号61a输出。在仅对图象部分的抽出时，由编码器7生成必要的图象的位置信息，并作为图象位置信息6a输出。读出/写入地址发生部63根据边界线修正信号61a和线计数器值62a来生成与上述各处理相对应的读出地址。
首先，对把边界线向编码处理块内的适当位置移动的处理进行说明。图3所示的边界线修正部61根据边界线检测信号5a和线计数器值62a对限幅进行计数，判断在块内(限幅内)的哪个位置上有上下的边界线。
图9是表示边界线的移动例子的示意图。边界线修正部61根据边界线的位置，按图9所示的那样来移动画面，以便于使边界线来到上下的某个编码处理块的境内。上下的编码处理块的选择按这样方式进行在编码处理块内使无图象部分变少。
图10是表示相无图象部分空白区的数据补充操作的示意图。图10(a)表示对应于上端无图象部分的空白区的数据的补充操作，图10(b)表示对应于下端无图象部分的空白区的数据的补充操作。如图10(a)、图10(b)所示的那样，通过移动图象的办法，给发生的上端或下端的空白区补充以相邻的无图象部分的数据。
图3所示的边界线修正部61把用于使边界线处于适当位置而移动的线数和移动方向(上下)作为边界线修正信号61a而输出。读出/写入地址发生部63根据边界线修正信号61a和线计数器值62a来生成输出与帧存储器4相对应的读出地址，以便于把移动了图象整体的图象信号提供给编码器7。
图11是表示无图象部分的数据的置换操作的示意图。图11(a)表示编码处理块跨在上部边界线时的无图象部分的数据置换操作，图11(b)表示编码处理块跨在下部边界线时的无图象部分的数据置换操作。
图3所示的边界线修正部61根据边界线检测信号5a和线计数器值62a来对限幅进行计数，判断在块(限幅)内的哪个位置上有上或下的边界线。接着，按图11所示的那样，把块内的上下无图象部分的数据置换为相邻的图象部分的数据。边界线修正部61把被置换的无图象部分的线编号和表示上下某一块的信息作为边界线修正信号61a来提供给读出/写入地址发生部63。
读出/写入地址发生部63根据边界线修正信号61a和线计数器值62a生成与帧存储器4相对应的读出地址并输出，以便于把上下无图象部分的数据置换为相邻的图象部分的数据。由此，给编码器7提供把上下无图象部分的数据已置换为相邻的图象部分数据的图象数据。
图12是表示边界线的移动操作的示意图。图12(a)表示图4所示的信箱图象的线编号，图12(b)表示限幅编号，图12(c)表示在限幅内的线编号，图12(d)表示边界线检测信号，图12(e)表示用于读出来自帧存储器4的图象数据的读出地址，图12(f)表示从帧存储器4所读出的图象数据。图12把图4所示的信箱图象作为输入图象信号来表示当进行边界线的移动和块内的无图象部分的置换两者时的读出地址和从帧存储器4所读出的图象数据的关系。
图12表示为了使边界线处于适当位置而对画面整体移动7线，从而由7线生成读出地址的例子。跨在边界线上的块内的无图象部分(103线)被相邻的图象部分(104线)的数据所置换。下端的无图象部分的空白区用相邻的无图象部分(472～479线)的数据进行补充。读出/写入地址发生部63生成与帧存储器4相对应的读出地址，以便于把完成上述数据置换、数据的补充的图象信号提供给编码器7。由此，边界线被修正到适当位置上，同时，把完成数据置换、数据的补充的图象信号提供给编码器7。
下面对把无图象部分全体置换为均一的固定数据的处理进行说明。图3所示的边界线修正部61根据边界线检测信号5a和线计数器值62a来判别上下的边界线的线数，把判别的各边界线的线数作为边界线修正信号61a来输出。读出/写入地址发生部63根据该边界线修正信号61a和线计数器值62a来生成用于把无图象部分置换为均一的固定数据的读出地址并输出。
图13是表示帧存储器的构成的示意图。在帧存储器4内，除了存储作为编码对象的图象信号的区域之外，还设有另一个区域，在该另一个区域中存储均一的的固定数据。在图13中，表示由存储作为编码对象的图象的亮度信号的亮度信号区、存储预先设定的固定亮度信号的固定亮度信号区、分别存储作为编码对象的图象的各色差信号Cr、Cb的各色信号区、分别存储预先设定的各固定色差信号Cb、Cr的固定色信号区和多个空白区所组成的帧存储器4的存储器构成例子。
接着，在把无图象部分的图象信号提供给编码器7时，读出/写入地址发生部63，在提供亮度信号时输出指定固定亮度信号区的读出地址，在提供各色差信号时输出指定各固定色差信号区的读出地址。由此，在把无图象部分的图象信号提供给编码器7时，读出存储在固定亮度信号区中的固定亮度信号和存储在各固定色差信号区中的固定色差信号。
图14是把无图象部分置换为固定数据的操作的示意图。图14(a)表示线编号，图14(b)表示限幅编号，图14(c)表示限幅内线编号，图14(d)表示边界线检测信号，图14(e)表示读出地址，图14(f)表示读出数据。在图14中，表示边界线的移动、块内的无图象部分的置换和把无图象部分全体置换为均一的固定数据时的操作。其中，在帧存储器4内，把固定亮度信号和各固定色差信号分别存储到相当于线编号480的区域中，通过指定与线编号480相对应的读出地址，来读出固定亮度信号和各固定色差信号。这样，如图14(e)所示的那样，通过指定与线编号480相对应的读出地址，就能如图14(f)所示的那样，把无图象部分置换为固定数据。
下面对仅抽出图象部分进行说明。图3所示的边界线修正部61根据边界线检测信号5a和线计数器值62a来判别上下的边界线的线数，把该线数作为边界线修正信号61a输出。接着，边界线修正部61，在进行把边界线向编码处理块内的适当位置移动处理时，从该移动线数来生成在编码中所需要的图象位置信息6a并输出。
例如，在使用MPEG2方式的编码的情况下，通过在ISO/IEC13818-2中所规定的vertical_size_value，display_vertecal_size，frame_center_vertecal_offset中记述图象的位置信号的办法，就能仅对图象部分进行编码。在解码中，仅对图象部分进行解码，在进行向编码处理块内的适当位置的移动时，就能使其位置返回原来位置来重放每一场。
这也可适用于上述的向编码处理块内的适当位置的移动。例如，不把其他的图象数据补充到由于进行移动所产生的上端或下端的无图象部分的空白区中，仅把除去了空白区的部分作为编码对象来进行相同的处理。
图3所示的读出/写入地址发生部63根据边界线修正信号61a和线计数器值62a来生成输出读出地址，以便于从帧存储器4仅读出图象部分的图象信号。因而，从帧存储器4仅读出图象部分的图象信号，仅图象部分的图象信号被提供给编码器7。
图15是表示仅抽出图象部分的操作的示意图。图15(a)表示线编号，图15(b)表示限幅编号，图15(c)表示限幅内线编号，图15(d)表示边界线检测信号，图15(e)表示读出地址，图15(f)表示读出数据。图15表示把图4所示的信箱图象作为输入图象信号，当进行边界线的移动、块内的无图象部分的置换和仅进行图象部分的抽出三种处理时的读出地址与从帧存储器4所读出的图象数据的关系。如图15(e)所示的那样，生成读出地址以便于仅对图象部分的数据所存储的区域进行存取。
图16是编码器的方框图。编码器7例如使用进行MPEG方式的编码的编码器。对于MPEG，由于在ISO-IEC1172-2，ITU-TH262/ISO-IEC13818-2中已进行详细的说明，则在此仅说明其概况。
编码器7由第一内部帧存储器71、动作检测部72、动作补偿部73、减法器74、离散余弦变换器(DCT)75、量化器76、可变长度编码器77、逆量化器78、逆离散余弦变换器(逆DCT)79和第二内部帧存储器80所构成。给可变长度编码器77提供图象位置信息6a，可变长度编码器77进行包含图象位置信息6a的可变长编码，其他结构基本上与图19所示的现有的编码器104相同。
根据由图1和图3所示的编码对象图象控制部(读出/写入地址发生器)6所生成的读出地址，从图1所示的帧存储器4所读出的编码对象的图象信号(亮度信号Y和各色差信号Cr、Cb)被输入在图16所示的第一内部帧存储器71中并存储。在该第一内部帧存储器71中存储多个帧的图象信号。
存储在第一内部帧存储器71中的图象信号(亮度信号Y和各色差信号Cr、Cb)，如图20所示的那样，亮度信号Y由16×16象素单元的块进行处理，各色差信号Cr、Cb分别在纵向(垂直方向)对16×8象素单元进行子抽样，分别作为8×8象素的块来进行处理。
动作检测部72在每个块化的图象中检测由帧间(或半帧间)预测所产生的动作矢量，而输出检测出的动作矢量72a。动作矢量72a被提供给动作补偿部73。由逆量化器78和逆离散余弦变换器79构成用于对编码的图象进行解码的局部解码电路，局部解码后的局部解码图象信号79a被存储在第二内部帧存储器80中。动作补偿部73，把动作矢量72a和从第二内部帧存储器80所读出的局部解码图象80a作为输入，而生成根据动作矢量对局部解码图象进行动作补偿的动作补偿图象信号73a并输出，同时，输出动作矢量73b和预测方式73c。动作补偿图象信号73a被提供给减法器74。动作矢量73b和预测方式73c被提供给可变长度编码器77。
减法器74从由第一内部帧存储器71所读出的编码对象图象块的图象信号71a减去动作补偿图象信号73a，而输出差分图象信号74a。差分图象信号74a被提供给离散余弦变换器75。离散余弦变换器75对差分图象信号74a进行离散余弦变换而运算出DCT系数75a。DCT系数75a被提供给量化器76。量化器76对DCT系数75a进行量化而输出量化信号(量化编号)76a。量化信号(量化编号)76a被分别提供给可变长度编码器77和逆量化器78。
可变长度编码器77分别对量化信号(量化编号)76a、动作矢量73b、预测方式73c和如图1，图3所示的编码对象图象控制部(读出/写入地址发生器)6所提供的图象位置信息6a分别进行可变长编码，进而，生成图象编码信号7a并输出，该图象编码信号7a是根据预定数据格式来复用进行了可变长编码的量化信号、动作矢量、预测方式。
在MPEG方式下，由于进行帧内编码的I图片(intra-codedpicture)和进行帧间编码的P图片(predictive coded picture)需要作为动作补偿预测的参照信号来使用的重放图象，则由逆量化器78和逆离散余弦变换器79来进行局部解码。逆量化器78对量化信号(量化编号)76a进行逆量化而输出DCT系数78a。逆离散余弦变换器79根据DCT系数78a来进行逆离散余弦变换而生成局部解码图象信号79a并输出。局部解码图象信号80a被存储在第二内部帧存储器120中。
如上述那样，本发明所提及的图象信号高效率编码装置包括信箱边界线检测器，用以检测信箱图象的无图象部分和图象部分的各边界线；编码对象图象控制部，用来当边界线跨在图象信号高效率编码的图象处理单元(块)上时，对图象数据进行处理，以便于使上下的边界线处在图象信号高效率编码中的最佳位置上，由此，就能在对图象信号的上下被遮蔽的信箱型的图象信号进行高效率编码时，提高预测效率，同时，降低边界线附近量化噪声，能够提高编码效率。
附图中的标号说明在图1中1本发明所涉及的图象信号高效率编码装置2A/D转换器3Y/C分离器Y亮度信号Y、Cr/Cb色差信号4帧存储器Y亮度信号Y、Cr/Cb色差信号5信箱边界线检测器5a边界线检测信号6读出/写入地址发生器6a图象位置信息6b边界线检测窗口宽度信号7编码器7a图象编码信号在图2中5信箱边界线检测器亮度信号Y和各色差信号Cr/Cb51占空系数检测部占空系数值(ACT)52电平检测部电平值(DC)53比较部5a边界线检测信号53a占空系数基准值修正信号54占空系数基准值发生部54a水平和垂直方向占空系数基准值BACTH，BACTV53b电平基准值修正信号55电平基准值发生部BDC电平基准值在图3中6编码对象图象控制部(读出/写入地址发生器)62线计数器62a线计数器值5a边界线检测信号61边界线修正部6a图象位置信息61a边界线修正信号63读出/写入地址发生部6b边界线检测窗口宽度信号在图16中7编码器亮度信号Y、各色差信号Cr/Cb71第一内部帧存储器72动作检测部73动作补偿部74减法器75离散余弦变换器76量化器77可变长度编码器6a图象位置信息7a图象编码信号78逆量化器79逆离散余弦变换器80第二内部帧存储器73b，73c动作矢量预测方式在图18中101图象信号高效率编码装置102A/D转换器103Y/C分离器亮度信号Y和各色差信号Cr/Cb104编码器104a图象编码信号在图19中104编码器亮度信号Y、各色差信号Cr/Cb111第一内部帧存储器112动作检测部113动作补偿部114减法器115离散余弦变换器116量化器117可变长度编码器104a图象编码信号118逆量化器119逆离散余弦变换器120第二内部帧存储器
权利要求
1.一种图象信号高效率编码装置，对图象信号的上下被遮蔽的信箱型的图象信号进行高效率编码，其特征在于，包括信箱边界线检测器，用以在每一帧中以线单位检测被遮蔽的无图象部分和未被遮蔽的图象部分的上下的各边界线；编码对象图象控制部，当上述各边界线跨在图象信号高效率编码的图象处理单元(块)上时，用来对图象数据进行处理，以便于使上述各边界线在图象信号高效率编码中处于最佳位置上。
2.根据权利要求1所述的图象信号高效率编码装置，其特征在于，上述编码对象图象控制部，在由上述信箱边界线检测器所检测的上述各边界线跨在编码处理单元(块)的情况下，使画面整体移动以便于使上述各边界线处在图象信号高效率编码中的最佳位置上。
3.根据权利要求1所述的图象信号高效率编码装置，其特征在于，上述编码对象图象控制部，把位于包含由上述信箱边界线检测器所检测的上述各边界线的图象处理单元(块)内的无图象部分置换成相邻的图象部分的数据。
4.根据权利要求1所述的图象信号高效率编码装置，其特征在于，上述编码对象图象控制部，根据由上述信箱边界线检测器所检测的上述边界线来认识上述无图象部分，同时，在每个帧中把无图象部分置换成特定的均一数据。
5.根据权利要求1所述的图象信号高效率编码装置，其特征在于，上述编码对象图象控制部，根据由上述信箱边界线检测器所检测的上述边界线来认识上述无图象部分，同时，仅对图象部分进行高效率编码处理。
全文摘要
本发明提供一种图像信号高效率编码装置,其目的在于提高编码效率,降低量化失真。本发明的图象信号高效率编码装置包括:信箱边界线检测器,在每个帧中以线单位检测被遮蔽的无图象部分和未被遮蔽的图象部分的上下的各边界线;编码对象图象控制部,当无图象部分和图象部分的边界线跨在图象信号高效率编码的图象处理单元(块)上时,对图象数据进行处理,以便于使上下的边界线在图象信号高效率编码中处于最佳位置上。
文档编号H04N7/26GK1201330SQ98102309
公开日1998年12月9日 申请日期1998年5月29日 优先权日1997年6月2日
发明者中川裕史, 上田基睛, 菅原隆幸 申请人:日本胜利株式会社