专利名称：图像内插系统和图像内插方法
技术领域：
本发明涉及图像内插系统和图像内插方法，更具体地说，涉及通过行内插用于将一种特定的电视系统向上转换为另一种具有不同扫描行数的电视系统、或者用于在将隔行扫描视频信号转换为逐行扫描视频信号时从图像场中创建图像帧的图像内插系统和图像内插处理方法。
背景技术：
传统上，对于从隔行视频图像中创建逐行视频图像、以便将一种电视系统向上转换为另一种具有不同扫描行数的电视系统、或者以便高清晰度地显示图像的扫描行内插来说，对静止图像执行帧内内插处理。对于运动画面执行场内内插处理，这是因为当使用帧内插运动垂直行时运动画面中帧内相关可能会破坏、并且可能会发生比如参差不齐(jaggedness)的有缺陷的转换。
作为场内内插的简单方法，将要被内插的行可以通过使用上面的行进行行内插来处理，或者可以使用上面的行和下面的行的平均通过行内插来处理。前一种内插伴随有与垂直方向具有较小相关的、图案的图像轮廓中的参差不齐，比如行倾斜等。后一种内插方法伴随有图像中的图像恶化，比如不清晰等。
作为解决这些缺陷的技术，日本专利申请公开昭和63年第187785号的内插方法公开了将要被内插的行中的每一个像素根据该像素周围存在的像素的信息并在与该被内插的像素具有最强相关的方向上进行内插。首先，为了获得像素数据的、与将要被内插的像素具有最强相关的径向方向的信息，检查关于垂直方向以及右和左对角线方向相邻像素之间的差的绝对值，以便将该绝对差值最小的方向确定为表示最强相关的方向，从而将在该方向上像素的平均值确定为并分配给将要被内插的像素的值。
但是，该方法需要至少计算三个方向上的绝对差值并确定这些绝对差值中的最小值，以便为构成将要被内插的行的所有像素的每一个确定将要被内插的像素的值。因此，内插处理需要很长时间。此外，由于上述处理序列也对包括图像中边缘之外的像素(像素值变化很小)的所有区域执行，或者在依赖于方向的相关程度差值很小的情况下执行，所以无谓地浪费处理时间，因此内插速度很低，很难扩展检测其相关的像素的范围。
因此，当对位于明显地彼此分开位置的像素相关、包括具有较小倾度的倾斜行的图像实施内插时，不可能根据这些像素之间的强相关执行内插，仍然导致沿着倾斜部分的边缘的参差不齐的产生，具有较差的内插精度。
为了克服上述出版物中的缺陷，日本专利申请公开平成5年第30487号公开了一种通过采用相应增强的处理速度扩大搜索相关的范围来提高内插处理速度和改善内插精度的方法。
下面将参照图14至17描述在该出版物中公开的图像内插方法。
如图14所示，在该内插方法中，比较2维图像上相邻行即第n行和第n+1行中的像素以便检测该2维图像中各自行上的边缘点a和b。假定除了边缘点a和b之间的点、位于将要被内插的行上的像素能够通过任一相邻行上的像素内插，以便确定将要被内插的行的边缘。
接着，如图15所示，在边缘a和b附近，创建以任一相邻行(第n行)上的观测像素(在这种情况下为像素A)为中心并由“像素数量”和“从将要被内插的位置移动的总量”定义的相邻像素排(row)(3，0)，而从另一相邻行第n+1行中选出与该相邻像素排相关的相关像素排(3，1)。
这里，作为建立相邻像素排和相关像素排之间的相关性的一般形式，将相邻像素排定义为(2m+1，0)，相关像素排定义为(2m+1，±Y)，其中m和Y按m＝Y＝1，2，3，4，5顺序改变。
接着，如图16所示，根据在相邻像素排(3，0)和相关像素排(3，1)中由图上的箭头表示的每一对像素之间的操作，检查像素之间的电平差是否落在预定范围，以便确定相关性。在图中所示的情况下，在像素的中心对之间不存在相关性。因此，将m和Y设为等于2，对相邻像素排(5，0)和相关像素排(5，2)执行在图中由箭头表示的每一对像素之间的操作。当从图中箭头表示的像素对中识别出存在相关性时，从将要被内插的位置移动的总量是已知的2个像素。也就是说，如图17所示，点a和点b为相对彼此移动的两个像素，并由此使用像素排实施内插，通过将所选的像素排或相邻像素排在移动的方向相反的方向上移动所确定的像素数量的一半来创建，具体地说，该像素排以从像素A向右移动一个像素的点c为中心。
在日本专利申请公开平成5年第30487中公开的该内插方法与典型的基于像素的内插相比，是采纳了基于像素排的内插并提供提高了的处理速度的发明。但是，为了确定像素排的边缘，在移动边缘附近的像素时，行之间的算术运算必须对至少3个直至11个的或多或少的像素的排执行因此在该方法中仍旧没有解决对于算术运算需要较长时间方面的问题。此外，该方法针对平滑图像的轮廓，因此具有如果在用近乎水平的精细行表示的图像中、图案在行间存在间隙，则不能恢复图案的问题。
鉴于现有技术的上述问题，本发明的目的在于提供一种图像内插系统和图像内插方法，能够通过急剧降低处理速度对包括具有精细行、边缘等的图案在内的各种视频画面实现实时内插。
发明内容
为了获得上述目的，已经完成了本发明并如下构成首先，本发明的第一方面在于一种用于内插构成图像的行之间的间隙的图像内插系统，包括虚拟内插数据生成部件，用于根据输入图像的行数据，生成输入图像的行之间的行间虚拟内插数据；以及内插部件，用于根据所生成的虚拟内插数据对输入图像行之间的像素进行内插。
其次，本发明的第二方面在于一种用于内插构成图像的行之间的间隙的图像内插系统，包括虚拟内插数据生成部件，用于根据输入图像的行数据生成输入图像的行之间的行间虚拟内插数据；以及内插部件，用于根据所生成的虚拟内插数据生成输入图像行上的预内插像素，并通过执行在上面和下面的输入图像行上生成的预内插像素之间的相互操作，对上面和下面的输入图像行之间的像素进行内插。
此外，本发明的第三方面在于一种用于内插构成图像的行之间的间隙的图像内插系统，包括虚拟内插数据生成部件，用于根据输入图像的行数据生成输入图像的行之间的行间虚拟内插数据；内插段确定部件，用于根据所生成的虚拟内插数据确定输入图像行之间将要内插的段和内插的方向；以及内插部件，用于根据所生成的虚拟内插数据和内插段确定部件确定的将要内插的段的数据，生成输入图像行上的预内插像素，并根据所生成的预内插像素对输入图像行之间的像素进行内插。
其次，本发明的第四方面在于具有上述第三方面特征的图像内插系统，并且其特征在于内插段确定部件包括搜索条件设置部件，用于设置图案搜索范围；匹配图案条件设置部件，用于设置匹配图案条件；以及第一匹配图案搜索部件，用于根据搜索条件设置部件和匹配图案条件设置部件指定的条件搜索匹配图案。
此外，本发明的第五方面在于具有上述第三方面特征的图像内插系统，并且其特征在于内插段确定部件包括搜索条件设置部件，用于设置图案搜索范围；匹配图案条件设置部件，用于设置匹配图案条件；第一匹配图案搜索部件，用于根据搜索条件设置部件和匹配图案条件设置部件指定的条件搜索匹配图案；方向矢量提取部件，用于提取所检测到的匹配图案的矢量方向；以及第二匹配图案搜索部件，用于根据搜索条件设置部件和匹配图案条件设置部件所指定的条件，搜索在提取的矢量方向上所存在的匹配图案。
其次，本发明的第六方面在于具有上述第一方面特征的图像内插系统，并且其特征在于由虚拟内插数据生成部件所生成的虚拟内插数据由数据的像素排的单元构成。
此外，本发明的第七方面在于具有上述第二方面特征的图像内插系统，并且其特征在于由虚拟内插数据生成部件所生成的虚拟内插数据由数据的像素排的单元构成。
其次，本发明的第八方面在于具有上述第三方面特征的图像内插系统，并且其特征在于由虚拟内插数据生成部件所生成的虚拟内插数据由数据的像素排的单元构成。
另外，本发明的第九方面在于具有上述第四方面特征的图像内插系统，并且其特征在于由虚拟内插数据生成部件所生成的虚拟内插数据由数据的像素排的单元构成。
其次，本发明的第十方面在于具有上述第五方面特征的图像内插系统，并且其特征在于由虚拟内插数据生成部件所生成的虚拟内插数据由数据的像素排的单元构成。
此外，本发明的第十一方面在于具有上述第一方面特征的图像内插系统，并且其特征在于虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；以及图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案。
其次，本发明的第十二方面在于具有上述第二方面特征的图像内插系统，并且其特征在于虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；以及图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案。
另外，本发明的第十三方面在于具有上述第三方面特征的图像内插系统，并且其特征在于虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；以及图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案。
其次，本发明的第十四方面在于具有上述第四方面特征的图像内插系统，并且其特征在于虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；以及图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案。
此外，本发明的第十五方面在于具有上述第五方面特征的图像内插系统，并且其特征在于虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；以及图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案。
其次，本发明的第十六方面在于具有上述第六至第十方面特征的图像内插系统，并且其特征在于依据权利要求6至10，其中虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；以及图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案。
另外，本发明的第十七方面在于具有上述第一方面特征的图像内插系统，并且其特征在于虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案；以及成核(coring)部件，用于根据预定的阈值判断在将要被内插的同一行上提取的图案，并编辑这些图案。
其次，本发明的第十八方面在于具有上述第二方面特征的图像内插系统，并且其特征在于虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案；以及成核部件，用于根据预定的阈值判断在将要被内插的同一行上提取的图案，并编辑这些图案。
此外，本发明的第十九方面在于具有上述第三方面特征的图像内插系统，并且其特征在于虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案；以及成核部件，用于根据预定的阈值判断在将要被内插的同一行上提取的图案，并编辑这些图案。
其次，本发明的第二十方面在于具有上述第四方面特征的图像内插系统，并且其特征在于虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案；以及成核部件，用于根据预定的阈值判断在将要被内插的同一行上提取的图案，并编辑这些图案。
此外，本发明的第二十一方面在于具有上述第五方面特征的图像内插系统，并且其特征在于虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案；以及成核部件，用于根据预定的阈值判断在将要被内插的同一行上提取的图案，并编辑这些图案。
其次，本发明的第二十二方面在于具有上述第十六方面特征的图像内插系统，并且其特征在于虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案；以及成核部件，用于根据预定的阈值判断在将要被内插的同一行上提取的图案，并编辑这些图案。
此外，本发明的第二十三方面在于具有上述第十七方面特征的图像内插系统，并且其特征在于成核部件包括图案内部像素运算部件，用于计算每一个图案中各个像素的像素差值的平均值；以及图案编辑部件，用于根据预定的阈值判断该平均值并编辑这些图案。
其次，本发明的第二十四方面在于具有上述第十八方面特征的图像内插系统，并且其特征在于成核部件包括图案内部像素运算部件，用于计算每一个图案中各个像素的像素差值的平均值；以及图案编辑部件，用于根据预定的阈值判断该平均值并编辑这些图案。
此外，本发明的第二十五方面在于具有上述第十九方面特征的图像内插系统，并且其特征在于成核部件包括图案内部像素运算部件，用于计算每一个图案中各个像素的像素差值的平均值；以及图案编辑部件，用于根据预定的阈值判断该平均值并编辑这些图案。
其次，本发明的第二十六方面在于具有上述第二十方面特征的图像内插系统，并且其特征在于成核部件包括图案内部像素运算部件，用于计算每一个图案中各个像素的像素差值的平均值；以及图案编辑部件，用于根据预定的阈值判断该平均值并编辑这些图案。
此外，本发明的第二十七方面在于具有上述第二十一方面特征的图像内插系统，并且其特征在于成核部件包括图案内部像素运算部件，用于计算每一个图案中各个像素的像素差值的平均值；以及图案编辑部件，用于根据预定的阈值判断该平均值并编辑这些图案。
其次，本发明的第二十八方面在于具有上述第二十二方面特征的图像内插系统，并且其特征在于成核部件包括图案内部像素运算部件，用于计算每一个图案中各个像素的像素差值的平均值；以及图案编辑部件，用于根据预定的阈值判断该平均值并编辑这些图案。
另外，本发明的第二十九方面在于一种用于内插构成图像的行之间的间隙的图像内插方法，包括根据输入图像的行数据、生成输入图像的行之间的行间虚拟内插数据的步骤；以及根据所生成的虚拟内插数据对输入图像行之间的像素进行内插的步骤。
其次，本发明的第三十方面在于一种用于内插构成图像的行之间的间隙的图像内插方法，包括根据输入图像的行数据、生成输入图像的行之间的行间虚拟内插数据的步骤；以及根据所生成的虚拟内插数据生成输入图像行上的预内插像素，并通过执行在上面和下面的输入图像行上生成的预内插像素之间的相互操作、对上面和下面的输入图像行之间的像素进行内插的步骤。
最后，本发明的第三十一方面在于一种用于内插构成图像的行之间的间隙的图像内插方法，包括根据输入图像的行数据、生成输入图像的行之间的行间虚拟内插数据的步骤；根据所生成的虚拟内插数据、确定输入图像行之间将要内插的段和/或内插的方向的步骤；以及根据所生成的虚拟内插数据和确定的将要内插的段的数据、生成输入图像行上的预内插像素，并根据所生成的预内插像素对输入图像行之间的像素进行内插的步骤。
图1是表示根据本发明第一实施例的图像内插系统的结构的方框图；图2是表示用于说明第一实施例作为输入视频画面的示例在白背景上显示具有黑精细行的视频图像的一帧的监视屏幕的图；图3是表示在图2所示的放大点3处的输入视频行和将要被内插的行的图；图4是表示由图1所示的虚拟内插行图案生成器100所生成的虚拟内插行图案的图；图5是用于说明图1所示的第一匹配图案搜索部分131和匹配图案定位部分134如何搜索匹配图案的图；图6是用于说明图1所示的方向矢量提取部分135和第二匹配图案搜索部分136如何搜索矢量的图；
图7是表示由图1所示的预内插像素排设置部分143所设置的预内插像素排(＝匹配像素排)61至63和71至73的图；图8是表示由图1所示的内插实施部分140通过内插创建的像素排81至84的图；图9是表示根据本发明第二实施例的图像内插系统的结构方框图；图10是用于说明第二实施例的、将要被内插的行上的像素排和视频行之间的位置关系的图；图11是用于说明第二实施例的、将要被内插的行上的像素排和视频行之间的位置关系的图；图12是表示根据本发明第三实施例的图像内插系统的结构方框图；图13是用于说明第三实施例的、将要被内插的行上的像素排和视频行之间的位置关系的图；图14是用于说明在根据现有技术的图像内插方法中、将要被内插的行上的像素排和视频行之间的位置关系的图；图15是用于说明在根据现有技术的图像内插方法中、确定相邻像素排和相关像素排之间的相关性的处理图；图16是用于说明在根据现有技术的图像内插方法中、确定相邻像素排和相关像素排之间的相关性的另一处理图；以及图17是用于说明在根据现有技术的图像内插方法中、边缘处的内插的图。
实施本发明的最佳方式下面将参照图1至8描述本发明的第一实施例。
图1是表示根据本发明的一种图像内插系统的结构的方框图。
在该图中，100代表虚拟内插行图案生成器，用于接收输入视频画面并生成虚拟内插行图案；120代表虚拟内插数据库，用于存储所生成的虚拟行图案；130代表内插段确定部分，用于确定内插段和内插的方向；140代表内插实施部分，用于根据算术运算的数据执行内插。
虚拟内插行图案生成器100包括像素间差分亮度运算部分101、规格化处理器102、图案提取部分103、成核处理器110、图案内差分亮度运算部分111、图案编辑判断部分112、以及图案编辑实施部分113。
内插段确定部分130包括第一匹配图案搜索部分131、匹配图案条件设置部分132、搜索条件设置部分133、匹配图案定位部分134、方向矢量提取部分135、以及第二匹配图案搜索部分136。
内插实施部分140包括匹配像素排搜索部分141、搜索条件设置部分142、预内插像素排设置部分143、匹配像素排运算部分144、以及校正部件145。
图2是表示作为输入视频画面的示例在白背景上显示具有黑精细行的视频图像的一帧的监视屏幕的图。
在该图中，1表示监视屏幕，2表示倾斜的精细行图案，3表示作为在该实施例中将要被内插的对象图像、在图3所示的输入图像中放大的点。
图3是表示在图2所示的放大的点处的输入视频行和将要被内插的行的图。
在该图中，A、C、E、G和I表示输入视频行，B、D、F、H表示将要被内插的行。21(A33至A35)、22(C27至C31)、23(E21至E25)、24(G15至G19)、以及25(I10至I13)所代表的是表示倾斜的精细行图案2的黑图案部分。其他区域代表白图案部分。
如在同一图中所示，当提取图像的场时，在图案边缘图案间隙变大，并且精细行图案的倾斜变得接近于水平。因此，当通过内插生成一帧图像时，除非执行适当的内插，否则所产生的图像可能呈现具有间隙和锯齿状轮廓的图案。
下面将参照图1至8描述根据本实施例的图像内插系统的操作。
首先，说明虚拟内插行图案生成器100的虚拟内插行图案的生成。
假定输入到虚拟内插行图案生成器100的像素间差分亮度运算部分101的输入视频画面具有+127的差分亮度值。在图3中，计算相邻的上下两个输入视频行A和C行、D和E行、E和G行、以及G和I行上的每一对相对的像素的差分亮度值，以便获得将要被内插的行上的像素的数据。然后，在规格化处理器102中，根据所设置的阈值执行规格化处理，并将将要被内插的行上的像素的数据归类为3个类别，+、-和0。图案提取部分103提取连续具有相同类别+或者-的像素段作为图案。
对于每一个提取的图案，由成核处理器110的图案内差分亮度运算部分111计算该图案中差分亮度值的平均值。然后，在图案编辑判断部分112中，通过将前述平均值与图案编辑参考值比如设置的阈值、点(dot)的最小数量、点的最大数量等进行比较，来检查每一个图案。例如，将平均值没有达到阈值的区域确定为不易察觉区域或不清晰区域，由图案编辑实施部分113将其排除并从图案中删除。
图案编辑判断部分112也可以通过比较符号执行用于彼此接近的图案之间的图案扩展和连接的编辑判断。
图4是表示由虚拟内插行图案生成器100通过上述处理生成的虚拟内插行图案的图。
在该图中，41至44表示归类为类别(-)的虚拟内插行图案，51至54表示归类为类别(+)的虚拟内插行图案，其它的是归类为类别(0)的虚拟内插行图案。
在虚拟内插行图案生成器100中，如图4所示，对于为每一个将要被内插的行所分离的虚拟内插行图案，创建每一个图案的重计算的平均差分亮度值、开始位置、长度、符号(+，-)、平均差分亮度和其它数据，以便将这些数据发送到虚拟内插数据库120。在虚拟内插数据库120中，将从所述处理中由此获得的数据作为虚拟内插图案数据存储。所存储的数据的总量可以是整个场，或者是需要由内插段确定处理器130和内插实施部分140处理的多个行。
下面将描述内插段确定处理器130进行的将要被内插的段和内插方向的确定处理。
图5是用于说明第一匹配图案搜索部分131如何搜索匹配图案的图。
当虚拟内插数据从虚拟内插数据库120输入到内插段确定处理器130的第一匹配图案搜索部分131时，第一匹配图案搜索部分131对于每一个虚拟内插行图案41至44和51至54搜索匹配图案。例如，对于搜索在虚拟内插行D上的段21、22、23、24和25、即虚拟内插行图案42的匹配图案，根据在搜索条件设置部分133中设置的搜索范围，并根据在匹配图案条件设置部分132中设置的匹配判断条件比如符号、段长度、平均差分亮度值等，与虚拟内插行图案42相匹配的虚拟内插行图案被从其下面到行F上的左下和到右边的虚拟内插行图案中进行搜索，如图5的箭头所示。
接着，如果作为上述搜索的结果，在搜索范围内发现了具有相同符号+或-、以及相同段长度、接近的平均差分亮度的任何图案，则匹配图案定位部分134提取该虚拟内插行图案作为与虚拟内插行图案42相匹配的图案。然后，从所提取的匹配图案中搜索其中心与虚拟内插行图案42的中心最接近的图案，虚拟内插行图案42的中心轴的每一侧各一个。结果，将仅在一侧存在的虚拟内插行F上的段15、16、17和18，即虚拟内插行图案43标识为匹配图案。
另外，由于在实际的视频画面中，会出现在多个方向上存在匹配图案、或者存在具有间隙和边缘的精细行的情况，因此执行矢量搜索，以避免匹配图案的错误提取。
方向矢量提取部分135提取从基本图案起始到作为匹配图案被提取的候选图案的矢量。在这种情况下，提取从基本图案即虚拟内插行图案42到作为匹配图案被提取的候选图案43的一个矢量。接下来，在第二匹配图案搜索部分136中，根据搜索条件设置部分133和匹配图案条件设置部分132设置的条件，搜索位于该矢量方向上并满足匹配判断条件的类似图案。这样，如果根据在方向矢量提取部分135和第二匹配图案搜索部分136中的矢量搜索，在该矢量方向上发现类似图案，则将该图案确定为将要被内插的段，并将位于存在许多类似图案的方向上的候选图案选作匹配图案。这里，如果在该矢量方向上没有发现类似图案，则对于该段不实施内插。因此，可以避免在边缘方向上精细行的匹配图案的错误提取。
图6是用于说明方向矢量提取部分135和第二匹配图案搜索部分136如何搜索矢量的图。
在该图中，从基本图案即虚拟内插行图案42到候选图案43的矢量用箭头表示，其由方向矢量提取部分135提取。第二匹配图案搜索部分136在多行(行B和H)上发现位于该矢量方向上的多个匹配图案。结果，虚拟内插行B上27、28、29、30、和31的虚拟内插行图案41、以及部分示出的行H上(9)、10、11、12、和13的虚拟内插行图案44被发现作为匹配图案，从而将虚拟内插行图案42确定为沿着该矢量方向上输入图案中的将要被插入的段。与此同时，可以将图案43确定为与虚拟内插行图案42一样的将要被内插的段。由内插段确定部分130确定的所指示的将要被内插的段、内插的方向等也可以存储到虚拟内插数据库120中。
作为内插段确定部分130中的确定方法，其依赖于在矢量方向上存在匹配图案的行、或者依赖于沿着相对于基本图案的中心轴的每一矢量方向上在同一行上存在的匹配图案的数量，即依赖于匹配图案的分布，匹配图案的搜索可以通过分配不同的权重加以实施，或者根据用于矢量搜索模式的专用匹配图案确定条件加以实施。在本实施例中，根据在矢量方向上存在的匹配图案的数量确定是否需要内插以及将要被内插的图案的方向，但是确定方法不仅限于此。
下面将描述在内插实施部分140中的内插实施处理。
在搜索条件设置部分142设置的匹配条件、搜索范围和其它条件下，根据从内插段确定部分130输入的内插指定段和将要被内插的方向，匹配像素排搜索部分141接收输入视频画面，并从画面的输入场的上面和下面的输入视频行中提取与将要被内插的段相应的像素排。
然后，为了确定将要写入内插指定的段中的像素排，预内插像素排设置部分143根据从虚拟内插数据库120获得的匹配像素排位置数据、段开始位置和相邻行之间的匹配图案的长度，设置每一个至少包括部分其匹配像素排的预内插像素排。
在本实施例中，由于内插指定的段的长度、以及在视频行上匹配像素排的长度是同一代表的，所以预内插像素排相当于匹配像素排自身。
在图7中，61至63和71至73指定由预内插像素排设置部分143所设置的预内插像素排(＝匹配像素排)。
接着，匹配像素排运算部分144计算上面的匹配像素排61至63和下面的匹配像素排71至73的平均视频数据值和位置数据，并根据由此计算的视频数据的平均和位置数据，内插实施部分140在上面的匹配像素排61至63和下面的匹配像素排71至73之间的中间位置，通过在将要被内插的行上重写平均视频数据的图案完成内插。
图8示出由内插实施部分140内插的像素排81至84。
应该指出的是，除在将要被内插的行上的内插指定段之外的像素可以根据现有技术进行内插。这里，现有内插技术的示例包括使用上面和下面的输入行的平均视频数据内插将要被内插的行的方法、以及使用上面的输入行的视频数据内插将要被内插的行的方法。
下面将参照图9至11说明本发明的第二实施例。
图9是表示根据该实施例的图像内插系统的结构的方框图。
该实施例的图像内插系统的结构根据虚拟内插数据库设置预内插像素排，从而不再需要第一实施例的内插实施部分140中的匹配像素排搜索部分141和搜索条件设置部分142。
也就是说，内插实施部分140由预内插像素排设置部分143、匹配像素排运算部分144a、和校正部件145构成。
下面将参照图9至11描述按照该实施例的图像内插系统的操作。
首先，在视频行上的和在将要被内插的行上的像素排的位置关系清楚地示于图10和11中。
在图10中，视频像素排(黑色的)由21至25(A33至A34、C27至C31、E21至E25、G15至G19、以及I10至I13)表示；内插指定段(-)由41至44(B27至B31、D21至D25、F15至F19、以及H10至H13)表示；内插指定段(+)由51至54(B33至B34、D27至D31、F21至F25、以及H15至H19)表示；预内插像素排由61至64和71至74(A30至A34、C24至C38、C30至C34、E18至E22、E24至E28、G12至G16、G18至G22、以及I12至I16)表示。
在图11中，视频像素排(黑色的)由21至25(A33至A34、C27至C31、E21至E25、G15至G19、以及I10至I13)表示；内插像素排由81至84(B27至B31、B33至B34、D21至D25、D27至D31、F15至F19、F21至F25、H10至H13、以及H15至H19)表示。
首先，参照设置用于在内插指定段42(D21至D25)中内插的像素排的示例，预内插像素排设置部分143根据从虚拟内插数据库120中获得的内插指定段42和43(D21至D25、F15至F19)的段开始位置和数据长度，在行C和E上设置预内插像素排62和63(C24至C28、E18至E22)。
这些都根据内插指定段42和43(D21至D25、F15至F19)的开始位置和数据长度确定，并且是由绕过段端点(D21至F15、D25至F19)与每一行C和D相交的直线包围的段。
接着，匹配像素排运算部分144计算预内插像素排62和63(C24至C28、E18至E22)的各对像素的平均值，并设置内插像素排82(D21至D25)，如图11所示。
然后，计算预内插像素排62和63(C24至C28、E18至E22)的C24和E18的像素数据的平均值，以产生内插像素排82(D21至D25)的D21的像素数据。由此，顺序计算直至C28和E22的像素数据的平均值，从而产生内插像素排82(D21至D25)的像素数据。
通过上述处理，为每一个内插指定的段产生了一个内插像素排，并且在校正部件145添加与将要被内插的行周围的像素协调一致的校正的同时，将这些内插像素排改写虚拟内插图案的像素，从而实现行内插。
应该指出的是，除在将要被内插的行上的内插指定段之外的像素可以根据现有技术进行内插。这里，现有内插技术的示例包括使用上面和下面的输入行的平均视频数据内插将要被内插的行的方法、以及使用上面的输入行的视频数据内插将要被内插的行的方法。
图10和11中的像素B32、D26、F20和H14的数据可以由成核处理器110中的图案编辑或由校正部件145创建。
下面将参照图12和13描述本发明的第三实施例。
图12是表示根据该实施例的图像内插系统的结构的方框图。
在该图中，146表示一致内插方向确认部分。在第一实施例的内插实施部分140中所需要的匹配像素排搜索部分141由一致内插方向确认部分146替代。
图13示出视频行和将要被内插的行上像素排之间的位置关系。
下面将参照图12至13描述按照该实施例的图像内插系统的操作。
一致内插方向确认部分146根据从虚拟内插数据库120获得的信息针对内插指定段应该被内插的方向，在搜索条件设置部分142设置的匹配条件、搜索范围和其它条件下，在与每一个内插指定段相同行上提取一毗邻的内插指定段，以便执行关于内插指定段的误差校正和将要被内插的段的扩展。结果如图13所示，扩展的内插指定段(-)41’至44’(B27至B32、D21至D26、F15至F20、以及H10至H14)是通过扩展图10所示的内插指定段(-)41至44(B27至B31、D21至D25、F15至F19、以及H10至H13)创建的。
该实施例下游的操作与第二实施例的相同，所以略去其描述。
在上述每一个实施例的描述中，在每一处理中将亮度数据用作像素间运算的像素数据，但是也可以使用基色数据或色度数据替代。
上述实施例中的每一个部件可以由硬件构成，当然也可以通过软件处理实现处理流程。同样，在这种情况下，可以获得相同的结果。
与传统的以像素为基础执行内插相比，根据上述实施例的本发明、使用通过执行从毗邻于将要被内插的段的输入视频行中提取的匹配图案之间的算术运算获得的图案执行行内插，可以以平滑的方式实现几乎水平的倾斜边缘和精细行。
由于执行了输入视频行之间的操作和各种类型的成核处理，以便使虚拟内插图案存储到能够作为确定要被内插的段的参考的数据库中，并且在实施内插期间，可以实现精确内插而防止错误判断，从而使总的操作处理高效，所以使实时内插成为可能。
工业可应用性如上所述，根据在上述第一、第二、第二十九、以及第三十方面所限定的本发明，通过实现处理速度的急速压缩使实时内插成为可能。即使视频图案出现图像场的行间间隙时，也能根据毗邻行上的匹配像素排执行内插，从而以没有间隙的平滑图案再现图像帧。
根据在上述第三和第三十一方面所限定的本发明，可以在短时间内并跨过较宽的范围搜索包括精细行图案、图案边缘等的各种图像图案的端点部分，并判断它们的条件，从而使执行精确内插和显示平滑图案边缘成为可能。
根据在上述第四方面所限定的本发明，根据提取的匹配图案的分布，确定相关的段是否应该被内插、以及应该执行的内插方向。因此，可以精确判断精细行和图案边缘的条件，从而使内插免于错误检测。
根据在上述第五方面所限定的本发明，根据所提取的匹配图案的分布，确定相关的段是否应该被内插、以及应该执行的内插方向。因此，即使对于一画面存在多个类似图案，也可以精确判断精细行和图案边缘的条件，从而使内插免于错误检测。
根据在上述第六方面所限定的本发明，由于以像素排作为数据单位构建虚拟内插数据，所以能够平滑图案边缘并以改善的效率执行操作。
按照在上述第十七至第二十八方面所限定的本发明，由于可以将对画面显示具有很小影响的不易察觉区域或不清晰区域通过成核擦除或连接，因此能够在保证图像质量的同时显著改善内插的速度。
权利要求
1.一种用于内插构成图像的行之间的间隙的图像内插系统，包括虚拟内插数据生成部件，用于根据输入图像的行数据，生成输入图像的行之间的行间虚拟内插数据；以及内插部件，用于根据所生成的虚拟内插数据对输入图像行之间的像素进行内插。
2.一种用于内插构成图像的行之间的间隙的图像内插系统，包括虚拟内插数据生成部件，用于根据输入图像的行数据生成输入图像的行之间的行间虚拟内插数据；以及内插部件，用于根据所生成的虚拟内插数据生成输入图像行上的预内插像素，并通过执行在上面和下面的输入图像行上生成的预内插像素之间的相互操作，对上面和下面的输入图像行之间的像素进行内插。
3.一种用于内插构成图像的行之间的间隙的图像内插系统，包括虚拟内插数据生成部件，用于根据输入图像的行数据生成输入图像的行之间的行间虚拟内插数据；内插段确定部件，用于根据所生成的虚拟内插数据确定输入图像行之间将要内插的段和内插的方向；以及内插部件，用于根据所生成的虚拟内插数据和内插段确定部件确定的将要内插的段的数据，生成输入图像行上的预内插像素，并根据所生成的预内插像素对输入图像行之间的像素进行内插。
4.根据权利要求3的图像内插系统，其中内插段确定部件包括搜索条件设置部件，用于设置图案搜索范围；匹配图案条件设置部件，用于设置匹配图案条件；以及第一匹配图案搜索部件，用于根据搜索条件设置部件和匹配图案条件设置部件指定的条件搜索匹配图案。
5.根据权利要求3的图像内插系统，其中内插段确定部件包括搜索条件设置部件，用于设置图案搜索范围；匹配图案条件设置部件，用于设置匹配图案条件；第一匹配图案搜索部件，用于根据搜索条件设置部件和匹配图案条件设置部件指定的条件搜索匹配图案；方向矢量提取部件，用于提取所检测到的匹配图案的矢量方向；以及第二匹配图案搜索部件，用于根据搜索条件设置部件和匹配图案条件设置部件所指定的条件，搜索在提取的矢量方向上所存在的匹配图案。
6.根据权利要求1的图像内插系统，其中由虚拟内插数据生成部件所生成的虚拟内插数据由数据的像素排的单元构成。
7.根据权利要求2的图像内插系统，其中由虚拟内插数据生成部件所生成的虚拟内插数据由数据的像素排的单元构成。
8.根据权利要求3的图像内插系统，其中由虚拟内插数据生成部件所生成的虚拟内插数据由数据的像素排的单元构成。
9.根据权利要求4的图像内插系统，其中由虚拟内插数据生成部件所生成的虚拟内插数据由数据的像素排的单元构成。
10.根据权利要求5的图像内插系统，其中由虚拟内插数据生成部件所生成的虚拟内插数据由数据的像素排的单元构成。
11.根据权利要求1的图像内插系统，其中虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；以及图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案。
12.根据权利要求2的图像内插系统，其中虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；以及图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案。
13.根据权利要求3的图像内插系统，其中虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；以及图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案。
14.根据权利要求4的图像内插系统，其中虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；以及图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案。
15.根据权利要求5的图像内插系统，其中虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；以及图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案。
16.根据权利要求6至10的图像内插系统，其中虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；以及图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案。
17.根据权利要求1的图像内插系统，其中虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案；以及成核部件，用于根据预定的阈值判断在将要被内插的同一行上提取的图案，并编辑这些图案。
18.根据权利要求2的图像内插系统，其中虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案；以及成核部件，用于根据预定的阈值判断在将要被内插的同一行上提取的图案，并编辑这些图案。
19.根据权利要求3的图像内插系统，其中虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案；以及成核部件，用于根据预定的阈值判断在将要被内插的同一行上提取的图案，并编辑这些图案。
20.根据权利要求4的图像内插系统，其中虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案；以及成核部件，用于根据预定的阈值判断在将要被内插的同一行上提取的图案，并编辑这些图案。
21.根据权利要求5的图像内插系统，其中虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案；以及成核部件，用于根据预定的阈值判断在将要被内插的同一行上提取的图案，并编辑这些图案。
22.根据权利要求16的图像内插系统，其中虚拟内插数据生成部件包括像素间运算部件，用于计算相邻输入图像行上像素之间的像素数据之差；规格化部件，用于根据所计算的像素数据之差值将像素归类到多个类别；图案提取部件，用于提取规格化并归类到同一类别的像素的排作为图案；以及成核部件，用于根据预定的阈值判断在将要被内插的同一行上提取的图案，并编辑这些图案。
23.根据权利要求17的图像内插系统，其中成核部件包括图案内部像素运算部件，用于计算每一个图案中各个像素的像素差值的平均值；以及图案编辑部件，用于根据预定的阈值判断该平均值并编辑这些图案。
24.根据权利要求18的图像内插系统，其中成核部件包括图案内部像素运算部件，用于计算每一个图案中各个像素的像素差值的平均值；以及图案编辑部件，用于根据预定的阈值判断该平均值并编辑这些图案。
25.根据权利要求19的图像内插系统，其中成核部件包括图案内部像素运算部件，用于计算每一个图案中各个像素的像素差值的平均值；以及图案编辑部件，用于根据预定的阈值判断该平均值并编辑这些图案。
26.根据权利要求20的图像内插系统，其中成核部件包括图案内部像素运算部件，用于计算每一个图案中各个像素的像素差值的平均值；以及图案编辑部件，用于根据预定的阈值判断该平均值并编辑这些图案。
27.根据权利要求21的图像内插系统，其中成核部件包括图案内部像素运算部件，用于计算每一个图案中各个像素的像素差值的平均值；以及图案编辑部件，用于根据预定的阈值判断该平均值并编辑这些图案。
28.根据权利要求22的图像内插系统，其中成核部件包括图案内部像素运算部件，用于计算每一个图案中各个像素的像素差值的平均值；以及图案编辑部件，用于根据预定的阈值判断该平均值并编辑这些图案。
29.一种用于内插构成图像的行之间的间隙的图像内插方法，包括根据输入图像的行数据、生成输入图像的行之间的行间虚拟内插数据的步骤；以及根据所生成的虚拟内插数据对输入图像行之间的像素进行内插的步骤。
30.一种用于内插构成图像的行之间的间隙的图像内插方法，包括根据输入图像的行数据、生成输入图像的行之间的行间虚拟内插数据的步骤；以及根据所生成的虚拟内插数据生成输入图像行上的预内插像素，并通过执行在上面和下面的输入图像行上生成的预内插像素之间的相互操作、对上面和下面的输入图像行之间的像素进行内插的步骤。
31.一种用于内插构成图像的行之间的间隙的图像内插方法，包括根据输入图像的行数据、生成输入图像的行之间的行间虚拟内插数据的步骤；根据所生成的虚拟内插数据、确定输入图像行之间将要内插的段和/或内插的方向的步骤；以及根据所生成的虚拟内插数据和确定的将要内插的段的数据、生成输入图像行上的预内插像素，并根据所生成的预内插像素对输入图像行之间的像素进行内插的步骤。
全文摘要
一种用于内插构成图像的行之间的间隙的图像内插系统,包括:虚拟内插数据生成部件100和120,用于根据输入图像的行数据,生成输入图像的行之间的行间虚拟内插数据;以及内插部件130和140,用于根据所生成的虚拟内插数据对输入图像行之间的像素进行内插。
文档编号G09G3/20GK1343421SQ00804896
公开日2002年4月3日 申请日期2000年8月30日 优先权日1999年8月31日
发明者西桥香奈子, 守屋政明, 紫村智哉 申请人:夏普公司