帧频转换设备及方法、运动矢量检测和预测系数产生设备的制作方法

专利名称：帧频转换设备及方法、运动矢量检测和预测系数产生设备的制作方法
技术领域：
本发明涉及一种用于转换运动图像的帧(或场)频率的帧频转换设备等。尤其是，
在本发明中，从通过候选矢量确定的像素产生与现有帧对应的预测帧的预测像素。另外，获 得所产生的预测帧的各个预测像素与现有帧中的相同位置的像素之间的相关，并且选择具 有高相关的预测像素的候选矢量。以这种方式，基于本发明可以从多个候选矢量之中选择 最佳候选矢量，并且可以正确检测图像中的对象的边界上的运动矢量。
背景技术：
迄今为止，作为转换运动图像的帧(或场)频率的方法，估计帧之间的运动，并且 利用估计出的运动量产生新帧。例如，在日本未审专利申请公开No. 2005-175872 (第14页) 中公开了一种运动矢量检测设备。在这种运动矢量检测设备中，通过典型点匹配和块匹配 的组合获得运动矢量。例如，通过典型点匹配提取多个候选矢量。另外，通过块匹配确定包 括各个候选矢量的起始点的像素的块与包括结束点的像素的块之间的相关。具有最高相关 的块的候选矢量被确定为运动矢量。

发明内容
在日本未审专利申请公开No. 2005-175872 (第14页)中公开的运动矢量检测设 备中，通过块匹配从多个候选矢量确定运动矢量。在块匹配中，针对包括多个像素的每个块 确定相关。相应地，可能会错误地检测图像中的对象的边界，由此可能不正确地检测运动矢 本发明解决上述和其它的问题。期望提供一种帧频转换设备、帧频转换方法、实现 该方法的程序、记录该程序的计算机可读记录介质、运动矢量检测设备和预测系数产生设 备，从而可以从多个候选矢量选择最佳候选矢量，并且正确检测图像中的对象的边界上的 运动矢量。 根据本发明的实施例，提供了一种帧频转换设备，包括运动估计部分，输入低频 的图像信号的第一帧和第二帧并且估计指示第一帧与第二帧之间的运动的多个候选矢量； 第一像素产生部分，从通过由运动估计部分估计的候选矢量确定的像素，为每个候选矢量 产生与第二帧对应的预测帧的预测像素；运动分配部分，获得预测帧的各个预测像素与第 二帧的像素之间的相关，选择具有高相关值的预测像素的候选矢量，并且将选择的候选矢 量分配给内插在第一帧与第二帧之间的内插帧的各个像素以确定该矢量为一个分配矢量； 运动补偿部分，将相邻的分配矢量分配给运动分配部分还未分配一个分配矢量的内插帧的 像素；以及第二像素产生部分，从所述分配矢量所确定的像素产生所述内插帧的像素并且 输出具有高频的图像信号。 根据本发明的帧频转换设备中，运动估计部分估计指示第一帧与第二帧之间的运 动的多个候选矢量。例如，运动估计部分的典型点匹配处理部分确定第一帧和第二帧之一 中的典型点，在第一帧和第二帧的另一个中设置与典型点对应的搜索区域。另外，获得包括在搜索区域中的各个像素的像素值与典型点的像素值之间的相关，并且评估值被设置在评 估值表中。评估值表形成部分累积所述典型点匹配处理部分为所有典型点设置的评估值， 并且形成评估值表。候选矢量提取部分从评估值表提取具有高相关值的运动量作为候选矢 第一像素产生部分从通过由运动估计部分估计的候选矢量所确定的像素，为每个 候选矢量产生与第二帧对应的预测帧的预测像素。例如，第一像素产生部分的第一运动类 确定部分从候选矢量优选地确定包括预测像素的运动类。第一预测系数选择部分优选地选 择为第一运动类确定部分所确定的每个运动类预先获得的预测系数并且将对应于预测帧 的学生图像与对应于第二帧的老师图像之间的误差最小化。第一预测抽头选择部分优选地 至少从第一帧选择位于预测帧的预测像素的周围的多个像素。第一计算部分优选地计算第 一预测系数选择部分选择的预测系数以及第一预测抽头选择部分选择的多个像素以产生 预测帧的预测像素。 运动分配部分优选地获得预测帧的各个预测像素与第二帧的像素之间的相关，并 且优选地选择具有高相关值的预测像素的候选矢量。因此，可以从多个候选矢量选择最佳 候选矢量。运动分配部分优选地将选择的候选矢量分配给内插在第一帧与第二帧之间的内 插帧的各个像素以确定该矢量为分配矢量。 运动补偿部分优选地将相邻的分配矢量分配给运动分配部分还未分配所述分配 矢量的内插帧的像素。第二像素产生部分优选地从通过所述分配矢量确定的像素产生内插 帧的像素并且输出具有高频的图像信号。 根据本发明的另一个实施例，提供了一种转换帧频的方法，所述方法包括步骤输 入具有低频的图像信号的第一帧和第二帧并且估计指示第一帧与第二帧之间的运动的多 个候选矢量；从估计的候选矢量所确定的像素，为每个候选矢量产生与第二帧对应的预测 帧的预测像素；获得预测帧的各个预测像素与第二帧的像素之间的相关，并且选择具有高 相关值的预测像素的候选矢量；将选择的候选矢量分配给内插在第一帧与第二帧之间的内 插帧的各个像素以确定该矢量为分配矢量；将相邻的分配矢量分配给运动分配部分还未分 配所述分配矢量的内插帧的像素；以及从所述分配矢量确定的像素产生内插帧的像素并且 输出具有高频的图像信号。 根据本发明的另一个实施例，提供了一种使得计算机执行转换帧频的方法的程 序。另外，根据本发明的另一个实施例，提供了一种记录上述程序的计算机可读记录介质。
根据本发明的另一个实施例，提供了一种运动矢量检测设备，包括运动估计部 分，输入低频的图像信号的第一帧和第二帧并且估计指示第一帧与第二帧之间的运动的多 个候选矢量，第一运动类确定部分，从候选矢量确定包括与第二帧对应的预测帧的预测像 素的运动类；第一预测系数选择部分，选择为第一运动类确定部分确定的每个运动类预先 获得的预测系数并且将对应于预测帧的学生图像与对应于第二帧的老师图像之间的误差 最小化；第一预测抽头选择部分，至少从第一帧选择位于预测帧的预测像素的周围的多个 像素；第一计算部分，计算第一预测系数选择部分选择的预测系数以及第一预测抽头选择 部分选择的多个像素以产生预测帧的预测像素；以及运动分配部分，获得预测帧的各个预 测像素与第二帧的像素之间的相关，并且检测具有高相关的预测像素的候选矢量为运动矢
根据本发明的另一个实施例，提供了一种预测系数产生设备，包括运动估计部
分，输入低频的图像信号的第一帧和第二帧并且估计指示第一帧与第二帧之间的运动的多
个候选矢量；运动类确定部分，从候选矢量确定包括与作为老师图像的第二帧对应的预测
帧的预测像素的运动类；预测抽头选择部分，至少从作为学生图像的第一帧选择位于预测
帧的预测像素的周围的多个像素；以及预测系数产生部分，从运动类确定部分检测的运动
类、预测抽头选择部分选择的学生图像的多个像素、以及老师图像的像素，为每个运动类获
得将学生图像的多个像素与老师图像的像素之间的误差最小化的预测系数。 根据本发明，从候选矢量确定的像素产生与现有帧对应的预测帧的预测像素。另
外，获得所产生的预测帧的各个预测像素与现有帧中的位置相同的像素之间的相关，并且
选择具有高相关的预测像素的候选矢量。 通过这个设计，可以在多个候选矢量之中选择最佳候选矢量。另外，为每个像素获 得相关，由此与为每个块获得相关的方法相比较而言，可以更加正确地检测图像中的对象 的边界上的运动矢量。


图1是示出根据本发明实施例的帧频转换设备100的结构例子的框图； 图2是示出运动估计部分3的结构例子的框图； 图3A和3B是示出典型点匹配方法的例子的示意图； 图4是示出像素产生部分4的结构例子的框图； 图5是示出预测帧F中的预测像素P4的产生例子的示意图； 图6是示出候选矢量的选择例子的示意图； 图7是示出分配矢量的产生例子的示意图； 图8是示出像素产生部分7的结构例子的框图； 图9是示出帧频转换设备100的操作例子的流程图； 图10是示出预测帧F的产生处理的流程图； 图11是示出运动补偿处理的流程图； 图12是示出预测系数产生设备50的结构例子的框图； 图13是示出预测系数产生设备51的结构例子的框图；以及 图14是示出应用本发明的计算机70的结构例子的框图。
具体实施例方式
接下来，将参照附图描述本发明的实施例。关于此，将按照下面顺序进行描述。
1.第一实施例(利用类分组自适应处理的帧内插)
2.第二实施例(预测系数的产生)
第一实施例 利用类分组自适应处理的帧内插 图1是示出根据本发明实施例的帧频转换设备100的结构例子的框图。这个例子 中，对于逐行信号的帧与隔行信号的场，获得运动矢量的方法是相同的，因此使用帧。
图1所示的帧频转换设备100包括帧存储器1和2、运动估计部分3、像素产生部
7分4、运动分配部分5、运动补偿部分6、像素产生部分7、输入端子8和输出端子9。
输入到输入端子8的输入图像信号Din提供给帧存储器1和像素产生部分4和7。 帧存储器1存储每帧的输入图像信号Din。例如，帧存储器1存储t时刻的帧。存储在帧存 储器1中的t时刻的帧被提供给帧存储器2、运动估计部分3、运动分配部分5和像素产生 部分7。帧存储器2存储t时刻的帧之后的t+l时刻的帧。关于此，在下文中，存储在帧存 储器1中的t时刻的帧称作帧T，存储在帧存储器2中的t+l时刻的输入图像的帧称作帧 T+l。 运动估计部分3例如通过典型点匹配方法或块匹配方法估计帧(从帧存储器1和 2输入的运动图像帧T和T+l)之间的运动矢量。这个例子中，运动估计部分3获得要成为 候选的多个运动矢量，并且将这些运动矢量作为候选矢量输出到像素产生部分4。关于此， 将参照图2和图3详细描述运动估计部分3的操作。 像素产生部分4从多个候选矢量以及帧T-l和T+l产生与现有帧F对应的预测帧 F。例如，像素产生部分4对候选矢量确定的帧T-1和T+1的抽头以及预先存储的预测系数 执行乘积和计算，以产生预测帧F的预测像素。通过学习表示预测帧F的学生图像与表示 输入图像信号Din的帧T的老师图像之间的关系，为每个类预先产生用于产生预测帧F的 预测系数，并且该预测系数存储在图中未示出的存储器中。 像素产生部分4为所有候选矢量产生预测帧F的预测像素，并且将各个预测像素 和与这些像素对应的候选矢量输出到运动分配部分5。关于此，将参照图4和图5详细描述 像素产生部分4的操作。 运动分配部分5分别获得从像素产生部分4输入的预测帧F的各个预测像素与现 有帧T的像素之间的绝对差值。运动分配部分5选择具有最小绝对差的预测像素中的候选 矢量。另外，运动分配部分5为位于帧T与T+1的中点的新产生的内插帧的每个像素分配 候选矢量以作为分配矢量。关于此，将参照图6和图7详细描述运动分配部分5的操作。
运动补偿部分6搜索并分配相邻的分配矢量到运动分配部分5还未分配一个分配 矢量的内插帧的像素。因此，内插帧中的所有像素具有分配矢量。 像素产生部分7从帧T、T+1和分配矢量产生内插帧的像素值。像素产生部分7对 分配矢量所确定的帧T和T+l的抽头以及预先存储的预测系数执行乘积和计算，以产生内 插帧的像素的像素值，并将该像素值输出到输出端子9作为输出图像信号Dout。通过学习 表示低频的输入图像信号Din的学生图像与表示高频图像信号的老师图像之间的关系，为 每个类预先产生用于产生内插帧的预测系数，并且该预测系数存储在图中未示出的存储器 中。关于此，将参照图8详细描述像素产生部分7的操作。 接下来，将参照图2和图3描述运动估计部分3的操作。图2是示出运动估计部 分3的结构例子的框图。图2所示的运动估计部分3包括典型点匹配处理部分3a、评估值 表形成部分3b和候选矢量提取部分3c。 典型点匹配处理部分3a输入来自帧存储器1的帧T，并且输入来自帧存储器2的 帧T+l。典型点匹配处理部分3a确定帧T的典型点，其被预先确定，或者为被选择的典型点。 例如，如图3A所示，帧T划分成多个块，并且设置表示各个块的典型点。各个块的典型点P 对应于表示块的像素值，例如，块的中心点的像素值、块中所有像素的像素值的均值等。
典型点匹配处理部分3a在帧T+l内设置预定的搜索区域W，对应于帧T内设置的
8块的典型点P，并且比较被包括在设置的搜索区域W中的各个像素的像素值与典型点P的像素值。例如，典型点匹配处理部分3a获得典型点P的像素值与搜索区域W中的每个像素的像素值之间的绝对差值，并且绝对差越小，即，相关越高，设置的评估值越高。例如，"+l"加入评估值表IO。为搜索区域W中的每个像素计算这个评估值。以相同方式，在帧T+1内设置搜索区域W，对应于帧T内设置的块的各个典型点。另外，获得典型点P的像素值以及对应的搜索区域W中的各个像素的像素值的评估值，以输出到评估值表形成部分3b。关于此，如图3A所示，与每个典型点P对应的搜索区域W可以设置为与相邻搜索区域W部分重 如图3B所示，评估值表形成部分3b对一个屏幕内的所有的典型点P累积评估值，以形成尺寸与搜索区域W相同的评估值表IO。当搜索区域W中的每个像素位置的像素值与典型点P的像素值之间的相关较高时，在图3B所示的评估值表10中出现峰值(极大值)。该峰值对应于运动图像数据的屏幕中的显示对象的运动。 例如，如果整个帧以相同方式进行运动，在评估值表10中出现的一个峰值对应于
具有相同方向和距离的运动矢量。另外，如果在一帧内存在两个进行不同运动的对象，在评
估值表10中出现的两个峰值对应于具有不同运动方向和距离的两个矢量。 基于在评估值表10中出现的这些峰值，获得帧T和T+l中的运动矢量的候选(候
选矢量)。这个例子中，候选矢量提取部分3c从图3B所示的评估值表10提取具有高评估
值的四个运动矢量(Vxl，Vyl)到(V^到Vy》作为候选矢量，并且输出这些运动矢量到像素产
生部分4。 接下来，将参照图4和图5描述像素产生部分4的操作例子。图4是示出像素产生部分4的结构例子的框图。图4所示的像素产生部分包括运动类确定部分4a、类抽头选择部分4b、空间类确定部分4c、类确定部分4d、预测系数选择部分4e、预测抽头选择部分4f和乘积和计算部分4g。 运动类确定部分4a输入运动估计部分3获得的候选矢量(Vxl，Vyl)到(Vx4到Vy4)。运动类确定部分4a从候选矢量(Vxl，Vyl)到(V^到Vy》的方向和大小确定包括预测像素的运动类。另外，运动类确定部分4a将指示所确定的运动类的信息输出到类抽头选择部分4b、预测抽头选择部分4f和类确定部分4d。 类抽头选择部分4b通过参照运动类，从帧T-l和T+l ，选择性地提取预定位置的像素(称作类抽头)，以用于对空间类进行分组，并且将提取的类抽头数据输出到空间类确定部分4c。 空间类确定部分4c基于类抽头，执行包括ADRC(自适应动态范围编码)等的处理来确定空间类，并且将指示所确定的空间类的信息输出到类确定部分4d。
类确定部分4d基于从空间类确定部分4c提供的指示空间类的信息和从上述运动类确定部分4a提供的指示运动类的信息，确定最后的类。类确定部分4d将指示所确定的最后的类的信息输出到预测系数选择部分4e。 预测系数选择部分4e选择与来自类确定部分4d的最后类对应的预测帧的预测系数，并且将预测系数输出到乘积和计算部分4g。关于此，预测系数选择部分4e参照附图中未示出的系数存储器(其存储对应于预先确定的类的预测系数，以后描述)，选择预测系数。
同时，预测抽头选择部分4f参照从运动类确定部分4a提供的运动类，选择性地从 帧T-l和T+l提取预定的像素区域(称作预测抽头)。例如，如图5所示，预测抽头选择部 分4f从帧T+l提取包括13个像素的预测抽头Pl，从帧T-l提取包括13个像素的预测抽头 P2，并且将提取的预测抽头Pl和P2输出到乘积和计算部分4g。关于此，图5是示出像素的 产生例子的示意图。在图5中，示出通过预测像素P4的候选矢量(Vxl， Vyl)到(Vx4到Vy4)。
乘积和计算部分4g基于预测抽头Pl和P2的像素值xi和从预测系数选择部分4e 提供的预测系数wi，根据下面表达式(1)执行乘积和计算以产生预测帧F的预测像素P4的
像素值y。 y = wlXxl+w2Xx2+. . .+wnXxn (1) 其中，xl.....xn是各个预测抽头的像素值，并且wl.....wn是各个预测系数。 乘积和计算部分4g为所有的候选矢量(Vxl， Vyl)到(Vx4到Vy4)产生预测帧F的预 测像素的像素值yi到y4。另外，乘积和计算部分4g将各个像素值yi到y4以及对应的候选 矢量(Vxl， Vyl)到(Vx4到Vy4)输出到运动分配部分5。 运动分配部分5获得从像素产生部分4输入的预测帧F的预测像素的像素值yi到 y4与现有帧T的像素的像素值之间的绝对差值。例如，如图6所示，运动分配部分5获得预 测帧F的预测像素P4的像素值yi与位置与预测像素P4相同的帧T的像素P3的像素值之 间的绝对差值。以这种方式，运动分配部分5获得预测帧F的预测像素P4的像素值y2到 y4与位置与预测像素P4相同的像素P3的像素值之间的绝对差值。运动分配部分5选择关 于具有最小绝对差的预测像素P4的像素值的候选矢量。也就是说，运动分配部分5执行匹 配。 例如，如果像素值y2的绝对差值最小，如图7所示，运动分配部分5选择关于像素 值^的候选矢量(Vx2，Vy2)。运动分配部分5分配所选择的候选矢量(Vx2，Vy2)给内插帧f的 像素P5。例如，如果内插帧f位于帧T与T+1的中间点，如图7所示，所述分配矢量(Vx2/2， Vy2/2)和(_Vx2/2， -Vy2/2)被分配给内插帧f的像素P5。 运动补偿部分6搜索并分配相邻的分配矢量给与上述像素P5不同的、还未被分配 一个分配矢量的内插帧的像素。 例如，像素产生部分7从帧T和T+1以及分配矢量(Vx2/2，Vy2/2)和(_Vx2/2，_Vy2/2) 产生内插帧f的像素P5的像素值。像素产生部分7对分配矢量(Vx2/2， Vy2/2)和 (_Vx2/2， -Vy2/2)所确定的帧T和T+l的抽头以及预先存储的预测系数执行乘积和计算，以 产生内插帧f的像素P5的像素值。 例如，图8是示出像素产生部分7的结构例子的框图。图8所示的像素产生部分7 的结构基本与图4所示的像素产生部分4的结构相同，由此省去详细描述。图8所示的像 素产生部分7包括运动类确定部分7a、类抽头选择部分7b、空间类确定部分7c、类确定部分 7d、预测系数选择部分7e、预测抽头选择部分7f以及乘积和计算部分7g。
运动类确定部分7a通过运动分配部分5和运动补偿部分6输入分配矢量。运动 类确定部分7a从分配矢量的方向和大小确定包括内插帧f的像素的运动类。另外，运动类 确定部分7a将指示所确定的运动类的信息输出到类抽头选择部分7b、预测抽头选择部分 7f和类确定部分7d。 类抽头选择部分7b通过参照运动类，选择性地从帧T和T+l提取类抽头以用于对空间类进行分组，并且将提取的类抽头数据输出到空间类确定部分7c。 空间类确定部分7c基于类抽头，通过执行包括ADRC等的处理，确定空间类，并且
将指示所确定的空间类的信息输出到类确定部分7d。 类确定部分7d基于从空间类确定部分7c提供的指示空间类的信息和从上述运动 类确定部分7a提供的指示运动类的信息，确定最后的类。类确定部分7d将指示所确定的 最后类的信息输出到预测系数选择部分7e。 预测系数选择部分7e选择对应于来自类确定部分的最后类的内插帧的预测系 数，并且将该预测系数输出到乘积和计算部分7g。关于此，预测系数选择部分7e通过参照 系数存储器(图中未示出，其存储对应于类的预先确定的预测系数，以后描述)，选择预测 系数。 同时，预测抽头选择部分7f参照从运动类确定部分7a提供的运动类，并选择性地 从帧T和T+l提取预测抽头。 乘积和计算部分7g基于预测抽头选择部分7f提取的预测抽头和从预测系数选择 部分7e提供的预测系数，根据上述表达式(1)执行乘积和计算，以产生内插帧f的像素值 y。乘积和计算部分7g基于分配矢量，产生内插帧f中的所有像素的像素值。
接下来，将参照图9和图10描述帧频转换设备100的操作例子。图9是示出帧频 转换设备100的操作例子的流程图。在图9所示的步骤ST1，图1所示的帧频转换设备100 将t时刻的输入图像信号Din的帧T存储在帧存储器1中，并将下一时刻t+l的帧T+l存 储到帧存储器2中。分别存储在帧存储器1和2中的帧T和T+l被输出到运动估计部分3。 接下来，处理进入步骤ST2。 在步骤ST2，运动估计部分3基于从帧存储器1和2输入的帧T和T+l，通过典型 点匹配方法获得所述帧之间的要成为候选的运动矢量。例如，如图2、3A和3B所示，运动估 计部分3获得典型点P的像素值以及搜索区域W中的对应的各个像素的像素值的评估值。 另外，运动估计部分3为一个屏幕内的所有典型点P累积评估值，并且形成大小与搜索区域 W相同的评估值表10。运动估计部分3基于在评估值表10中出现的峰值，获得帧T和T+l 中的候选矢量。接下来，处理进入步骤ST3。 在步骤ST3，像素产生部分4产生预测帧F。图10是示出预测帧F的产生处理的 流程图。在图10的步骤ST30，像素产生部分4获得图3B所示的多个候选矢量(Vxl，Vyl)到 (Vx4到Vy4)，并且处理进入步骤ST31。 在步骤ST31 ，像素产生部分4初始化最小绝对差值。例如，像素产生部分4临时设 置最小绝对差值及其像素的像素值。另外，对候选矢量的数目进行计数的计数器[i]被设 置为零。接下来，处理进入步骤ST32。 在步骤ST32，如图5所示，像素产生部分4从候选矢量确定的帧T+l、 T_l获得预 测抽头Pl和P2，并且处理进入步骤ST33。 在步骤ST33，像素产生部分4获得预测系数。例如，如图4所示，像素产生部分4 从预先存储在系数存储器(注图中未示出该系数存储器)中的预测系数获得与类对应的 预测系数，用于类分组自适应处理，并且处理进入步骤ST34。 在步骤ST34，像素产生部分4通过上述表达式(1)对预测系数和预测抽头Pl和 P2执行乘积和计算，以产生预测帧F的预测像素的像素值，并且处理进入步骤ST35。
在步骤ST35，运动分配部分5计算从像素产生部分4输入的预测帧F的预测像素 的像素值与现有帧T的像素的像素值之间的绝对差值。例如，如图6所示，运动分配部分5 获得预测帧F的预测像素P4的像素值yi与位置与预测像素P4相同的像素P3的像素值之 间的绝对差值，并且处理进入步骤ST36。 在步骤ST36，运动分配部分5将上述步骤ST35获得的绝对差与步骤ST31设置的 最小绝对差进行比较。如果在步骤ST35获得的绝对差小于所述最小绝对差值，则处理进入 步骤ST37。另外，如果在步骤ST35中获得的绝对差不小于所述最小绝对差值，则处理进入 步骤ST38。 在步骤ST37，运动分配部分5将最小绝对差值更新为在步骤ST35获得的绝对差 值，还将预测像素P4的像素值更新为像素值yi，并且处理进入步骤ST38。
在步骤ST38，运动分配部分5递增对候选矢量的数目计数的计数器"i "，并且处理 进入步骤ST39。在步骤ST39，运动分配部分5通过将计数器"i"与候选矢量"N"的数目比 较，确定候选矢量的数目是否达到上限。如果候选矢量的数目还没有达到上限，处理返回步 骤ST32。如果候选矢量的数目达到上限，则处理进入图9的流程图中的步骤ST4。以这种 方式，预测帧F的预测像素的像素值及其候选矢量被选择。 在图9的步骤ST4，运动分配部分5为位于帧T与T+1的中间点的内插帧f的每个 像素分配候选矢量以作为分配矢量。例如，如图7所示，如果像素值y2的绝对差值最小，运 动分配部分5分配其候选矢量(Vx2，Vy2)给内插帧f的像素P5。这个例子中，如果内插帧f 位于帧T与T+1的中间点，如图7所示，分配矢量(Vx2/2， V2)和(-V乂2， -V2)分配到 内插帧f的像素P5。接下来，处理进入步骤ST5。 在步骤ST5，运动补偿部分6搜索分配矢量，并且分配给运动分配部分5还未分配 一个分配矢量的内插帧f的像素。图ll是示出运动补偿处理的流程图。在图ll所示的步 骤ST50，运动补偿部分6按照光栅扫描顺序，为每个像素从内插帧f的左上像素选择内插帧 f中的像素。接下来，处理进入步骤ST51。 在步骤ST51，运动补偿部分6确定是否为选择的像素分配了矢量。如果存在分配
矢量，则处理进入步骤ST54。如果没有分配矢量，则处理进入步骤ST52和ST53。 在步骤ST52和ST53，运动补偿部分6搜索到相邻像素的分配矢量。运动补偿部
分6将搜索到的分配矢量分配给还没有分配矢量的像素。这种情况下，可以直接分配一个
分配矢量，或者可以分配多个分配矢量的均值。接下来，处理进入步骤ST54。 在步骤ST54，运动补偿部分6确定内插帧f中的所有像素的处理是否结束。如果
内插帧f中的所有像素的处理还没有结束，则处理返回步骤ST50。如果内插帧f中的所有
像素的处理已经结束，则处理进入图9的流程图的步骤ST6。 在图9的流程图的步骤ST6，像素产生部分7产生内插帧f。例如，如图7所示，像 素产生部分7从帧T和T+l，以及分配矢量(Vx2/2， V2)和(-U2， _Vy2/2)，产生内插帧f 的像素P5的像素值。像素产生部分7对分配矢量(Vx2/2，Vy2/2)和(_Vx2/2，-Vy2/2)所确定 的帧T和T+l的抽头以及预先存储的预测系数执行乘积和计算，以产生内插帧f的像素P5 的像素值。以相同方式，像素产生部分7产生内插帧f中的所有像素的像素值，并且处理进 入步骤ST7。 在步骤ST7，帧频转换设备100确定对整个输入图像信号Din的处理是否已经完成。如果对整个输入图像信号Din还没有完成处理，则处理返回到步骤STl。如果对整个输 入图像信号Din处理已经完成，则帧率转换处理终止。 以这种方式，根据本发明，从候选矢量确定的像素，产生与现有帧对应的预测帧F 的预测像素。然后，获得所产生的预测帧F的各个预测像素与现有帧T的像素之间的相关， 并且选择具有高相关的预测像素的候选矢量。 相应地，可以从多个候选矢量选择最佳候选矢量。另外，为每个像素获得相关，由 此与获得每个块的相关的方法相比较，可以正确地检测图像中的对象的边界上的运动矢 关于此，像素产生部分4和7利用类分组自适应处理产生像素。然而，产生像素的 方法不限于此。例如，可以直接利用矢量的端点指示的像素。替换地，可以通过对矢量及其 反矢量指示的各个像素进行平均而产生像素。
第二实施例
预测系数的产生 接下来，将描述计算产生预测帧F的预测系数的方法。图12是示出预测系数产生 设备50的结构例子的框图。图12所示的预测系数产生设备50包括运动估计部分50h、运 动类确定部分50a、类抽头选择部分50b、空间类确定部分50c、类确定部分50d、正规方程计 算部分50e、预测系数产生部分50g和预测抽头选择部分50f 。 运动估计部分50h获得运动矢量，例如基于与帧T和T+l对应的学生图像，通过典 型点匹配方法，并且将该运动矢量输出到运动类确定部分50a。 运动类确定部分50a输入运动估计部分50h获得的运动矢量。运动类确定部分50a 从运动矢量的方向和大小确定包括预测帧F的预测像素的运动类。另外，运动类确定部分 50a将指示所确定的运动类的信息输出到类抽头选择部分50b、预测抽头选择部分50f和类 确定部分50d。 类抽头选择部分50b参照运动类，从帧T-l和T+l选择性地提取类抽头以用于分 组为空间类，并且将提取的类抽头数据输出到空间类确定部分50c。 空间类确定部分50c基于类抽头，通过执行包括ADRC等的处理，确定空间类，并且 将指示所确定的空间类的信息输出到类确定部分50d。 类确定部分50d基于从空间类确定部分50c提供的指示空间类的信息和从上述运 动类确定部分50a提供的指示运动类的信息，确定最后的类。类确定部分50d将指示所确 定的最后类的信息输出到正规方程计算部分50e。 预测抽头选择部分50f参照从运动类确定部分50a提供的运动类，从帧T-1和T+l 选择性地提取预测抽头，并且将预测抽头输出到正规方程计算部分50e。
正规方程计算部分50e产生正规方程数据，并且将该数据输出到预测系数产生部 分50g。预测系数产生部分50g利用正规方程数据，执行计算处理以产生预测系数。
在下文中，将描述更一般的n个像素的预测的情况下，预测系数的计算。假定预测
抽头选择的输入像素的亮度水平是xl 、 x2.....xn，并且输出亮度水平是E | y | ，为每个类设
置具有n个抽头的线性估计方程为预测系数巧、^.....wn。这由下面的表达式(2)表达。[公式l] <formula>formula see original document page 13</formula> (2)
至于获得表达式(2)中的预测系数巧、^..... 的方法，考虑利用最小方差方法
的方案。这个方案中，假定X是输入像素的亮度水平，W是预测系数，Y'是输出像素的亮度水平，收集数据以形成表达式(3)的观测方程。在表达式(3)中，如上所述，m表示学习数据的数目，n表示预测抽头的数目。<formula>formula see original document page 14</formula>根据表达式(4)，在满足将表达式(5)最小化条件的情况下，获得每个预测系数Wi 也就是说，应该考虑表达式(6)的条件。[公式5]<formula>formula see original document page 14</formula> ( 6 〉 考虑到基于表达式(6)中的i的n个条件，应该计算满足这些条件的Wl、 w2、…wn。因此，假定从表达式(4)获得下面表达式(7)，并且从表达式(6)和(7)获得表达式(8)<formula>formula see original document page 15</formula>… (9) 表达式(9)的正规方程是具有n个未知量的联立方程，由此可以通过这些方程获 得各个Wi的最可能值。实际中，利用扫除方法(Gauss-Jordan消除)解这些联立方程。解
表达式(9)的正规方程以确定预测系数巧、W2、、 。 作为上述学习的结果，允许统计上到真值的最近估计的预测帧F的预测系数被计 算，以为每个类估计关注像素的亮度水平。 接下来，将描述计算产生内插帧f的预测系数的方法。图13是示出预测系数产生 设备51的结构例子的框图。图13所示的预测系数产生设备51的结构基本与图12所示的 预测系数产生设备50的结构相同，由此省去对它的详细描述。 图13所示的预测系数产生设备51包括运动检测部分51h、运动类确定部分51a、 类抽头选择部分51b、空间类确定部分51c、类确定部分51d、正规方程计算部分51e、预测抽 头选择部分51f和预测系数产生部分51g。 运动检测部分51h基于与帧T和T+l对应的学生图像，获得内插帧f的每个像素 的运动矢量，并且将该运动矢量输出到运动类确定部分51a。关于此，运动检测部分51h例 如包括，图1所示的运动估计部分3、像素产生部分4、运动分配部分5和运动补偿部分6。
运动类确定部分51a从运动估计部分51h获得的运动矢量的方向和大小，确定包 括内插帧f的像素的运动类。另外，运动类确定部分51a将指示所确定的运动类的信息输 出到类抽头选择部分51b、预测抽头选择部分51f和类确定部分51d。 类抽头选择部分51b参照运动类，从帧T和T+l选择性地提取类抽头以用于分组
<formula>formula see original document page 15</formula> <formula>formula see original document page 15</formula>

根据表达式(4)和(8)，可以获得下面的表达式(9)的正规方程。<formula>formula see original document page 15</formula>为空间类，并且将提取的类抽头数据输出到空间类确定部分51c。 空间类确定部分51c基于类抽头，执行包括ADRC等的处理，确定空间类，并将指示 所确定的空间类的信息输出到类确定部分51d。 类确定部分51d基于从空间类确定部分51c提供的指示空间类的信息和从上述运 动类确定部分51a提供的指示运动类的信息，确定最后的类。类确定部分51d将指示所确 定的最后类的信息输出到正规方程计算部分51e。 预测抽头选择部分51f参照从运动类确定部分51a提供的运动类，从帧T和T+l 选择性地提取预测抽头，并且将这些预测抽头输出到正规方程计算部分51e。
正规方程计算部分51e产生正规方程数据，并且将该数据输出到预测系数产生部 分51g。预测系数产生部分51g利用正规方程数据执行计算处理以产生内插帧f的预测系 数。关于此，在更一般的n个像素的预测的情况下，按照与上述表达式(2)到(9)的方式相 同的方式，计算预测系数，由此将省去对它的描述。 另外，上述一系列处理可以由硬件或软件执行。当通过软件执行这一系列处理时，
构成软件的程序可以安装在内置在专用硬件中的计算机中。替换地，可以安装各种程序。例
如，这些程序可以安装在可以从程序记录介质执行各种功能的通用个人计算机中。 例如，图14是示出应用本发明的计算机70的结构例子的框图。计算机70的
CPU(中央处理单元)71根据存储在ROM(只读存储器)72或存储部分78中的程序执行各
种处理。RAM(随机访问存储器)73适于存储CPU 71执行的程序、数据等。CPU 71、R0M 72
和RAM 73经由总线74彼此连接。 CPU 71经由总线74连接到输入/输出接口 75。包括键盘、鼠标、麦克风等的输入 部分76以及包括显示器、扬声器等的输出部分77连接到输入/输出接口75。 CPU 71根据 从输入部分76输入的指令执行各种处理。CPU 71将作为处理结果获得的图像和声音等输 出到输出部分77。 连接到输入/输出接口 75的存储部分78例如包括硬盘等，并且存储CPU 71执行 的程序和各种数据。通信部分79经由诸如互联网和其它网络的网络与外部设备通信。另 外，可以经由通信部分79获得所述程序并存储在存储部分78中。 当磁盘81、光盘82、磁光盘83或半导体存储器84等附连到连接到输入/输出接 口 75的驱动器80时，驱动器80驱动上述介质并且获得记录在该介质上的程序、数据等。如 果需要，这些获得的程序和数据被传输给存储部分78并且存储在那里。以这种方式，可以 通过计算机70上的软件执行这一系列处理。 本申请包含2008年9月30日提交到日本专利局的日本优先权专利申请JP 2008-255108中公开的主题相关的主题，该日本专利申请通过引用而全部包含于此。
本领域技术人员应该明白，可以根据设计需求和其它因素想到各种变型、组合、子 组合和替代，只要它们位于权利要求及其等同物的范围内即可。
权利要求
一种帧频转换设备，包括运动估计部分，输入低频的图像信号的第一帧和第二帧并且估计指示第一帧与第二帧之间的运动的多个候选矢量；第一像素产生部分，从运动估计部分估计的所述候选矢量所确定的像素，为每个候选矢量产生与第二帧对应的预测帧的预测像素；运动分配部分，获得所述预测帧的各个预测像素与第二帧的像素之间的相关，选择具有高相关值的预测像素的候选矢量，并且将选择的候选矢量分配给内插在第一帧与第二帧之间的内插帧的各个像素以确定该矢量为分配矢量；运动补偿部分，将相邻的分配矢量分配给运动分配部分还没有分配所述分配矢量的所述内插帧的像素；以及第二像素产生部分，从所述分配矢量确定的像素产生所述内插帧的像素并且输出高频的图像信号。
2. 权利要求l所述的帧频转换设备， 其中第一像素产生部分包括第一运动类确定部分，从候选矢量确定包括预测像素的运动类；第一预测系数选择部分，选择为第一运动类确定部分所确定的每个运动类预先获得、 并且将对应于预测帧的学生图像与对应于第二帧的老师图像之间的误差最小化的预测系 数；第一预测抽头选择部分，至少从第一帧选择位于所述预测帧的预测像素的周围的多个 像素；以及第一计算部分，计算第一预测系数选择部分选择的预测系数以及第一预测抽头选择部 分选择的多个像素，以生成所述预测帧的预测像素。
3. 权利要求2所述的帧频转换设备， 其中运动估计部分包括典型点匹配处理部分，确定第一帧和第二帧之一中的典型点，在第一帧和第二帧的另 一个中设置与所述典型点对应的搜索区域，获得被包括在搜索区域中的各个像素的像素值 与典型点的像素值之间的相关，并且将评估值设置在评估值表中；评估值表形成部分，为所有典型点累积由典型点匹配处理部分设置的评估值以形成评 估值表；以及候选矢量提取部分，从评估值表提取具有高评估值的运动量作为候选矢量。
4. 权利要求3所述的帧频转换设备， 其中第二像素产生部分包括第二运动类确定部分，从所述分配矢量确定包括所述内插帧的像素的运动类； 第二预测系数选择部分，选择为第二运动类确定部分所确定的每个运动类预先获得、并且将对应于低频的图像信号的学生图像与对应于高频的图像信号的老师图像之间的误差最小化的预测系数；第二预测抽头选择部分，至少从学生图像选择位于所述内插帧的像素的周围的多个像素；以及第二计算部分，计算第二预测系数选择部分选择的预测系数和第二预测抽头选择部分选择的多个像素，以产生所述内插帧的像素。
5. —种帧频转换方法，所述方法包括步骤输入低频的图像信号的第一帧和第二帧并且估计指示第一帧与第二帧之间的运动的 多个候选矢量；从估计的候选矢量确定的像素，为每个候选矢量产生与第二帧对应的预测帧的预测像素；获得预测帧的各个预测像素与第二帧的像素之间的相关，并且选择具有高相关值的预 测像素的候选矢量；将选择的候选矢量分配给内插在第一帧与第二帧之间的内插帧的各个像素以确定该 矢量为分配矢量；将相邻的分配矢量分配给运动分配部分还没有分配所述分配矢量的所述内插帧的像 素；以及从所述分配矢量确定的像素产生所述内插帧的像素并且输出高频的图像信号。
6. —种使计算机执行帧频转换方法的程序，所述方法包括步骤输入低频的图像信号的第一帧和第二帧并且估计指示第一帧与第二帧之间的运动的 多个候选矢量；从估计的候选矢量确定的像素，为每个候选矢量产生与第二帧对应的预测帧的预测像素；获得预测帧的各个预测像素与第二帧的像素之间的相关并且选择具有高相关值的预 测像素的候选矢量；将选择的候选矢量分配给内插在第一帧与第二帧之间的内插帧的各个像素以确定该 矢量为分配矢量；将相邻的分配矢量分配给运动分配部分还没有分配所述分配矢量的所述内插帧的像 素；以及从所述分配矢量确定的像素产生所述内插帧的像素并且输出高频的图像信号。
7. —种计算机可读记录介质，记录使计算机执行帧频转换方法的程序，所述方法包括 步骤输入低频的图像信号的第一帧和第二帧并且估计指示第一帧与第二帧之间的运动的 多个候选矢量；从估计的候选矢量确定的像素，为每个候选矢量产生与第二帧对应的预测帧的预测像素；获得预测帧的各个预测像素与第二帧的像素之间的相关并且选择具有高相关值的预 测像素的候选矢量；将选择的候选矢量分配给内插在第一帧与第二帧之间的内插帧的各个像素以确定该 矢量为分配矢量；将相邻的分配矢量分配给运动分配部分还没有分配所述分配矢量的所述内插帧的像 素；以及从所述分配矢量确定的像素产生所述内插帧的像素并且输出高频的图像信号。
8. —种运动矢量检测设备，包括运动估计部分，输入低频的图像信号的第一帧和第二帧并且估计指示第一帧与第二帧 之间的运动的多个候选矢量；第一运动类确定部分，从所述候选矢量确定包括与第二帧对应的预测帧的预测像素的 运动类；第一预测系数选择部分，选择为第一运动类确定部分确定的每个运动类预先获得、 并且将对应于预测帧的学生图像与对应于第二帧的老师图像之间的误差最小化的预测系 数；第一预测抽头选择部分，至少从第一帧选择位于所述预测帧的预测像素的周围的多个 像素；第一计算部分，计算第一预测系数选择部分选择的预测系数以及第一预测抽头选择部 分选择的多个像素以产生所述预测帧的预测像素；以及运动分配部分，获得所述预测帧的各个预测像素与第二帧的像素之间的相关，并且检 测具有高相关的预测像素的候选矢量为运动矢量。
9. 一种预测系数产生设备，包括运动估计部分，输入低频的图像信号的第一帧和第二帧并且估计指示第一帧与第二帧 之间的运动的多个候选矢量，运动类确定部分，从所述候选矢量确定包括与作为老师图像的第二帧对应的预测帧的 预测像素的运动类；预测抽头选择部分，至少从作为学生图像的第一帧选择位于所述预测帧的预测像素的 周围的多个像素；以及预测系数产生部分，从运动类确定部分确定的所述运动类、预测抽头选择部分选择的 学生图像的所述多个像素、以及老师图像的所述像素，为每个运动类获得将学生图像的多 个像素与老师图像的像素之间的误差最小化的预测系数。
全文摘要
本发明提供了一种帧频转换设备，包括运动估计部分，输入低频的图像信号的第一帧和第二帧并且估计指示第一帧与第二帧之间的运动的多个候选矢量，第一像素产生部分，为每个矢量产生与第二帧对应的预测帧的预测像素；运动分配部分，获得预测帧的各个预测像素与第二帧的像素之间的相关，选择高相关值的预测像素的候选矢量，并将选择的候选矢量分配给内插在第一帧与第二帧之间的内插帧的像素，以确定该矢量为分配矢量；运动补偿部分，将相邻的分配矢量分配给内插帧的未分配分配矢量的像素；以及第二像素产生部分，产生内插帧的像素并且输出高频的图像信号。
文档编号H04N7/24GK101715114SQ20091020444
公开日2010年5月26日 申请日期2009年9月29日 优先权日2008年9月30日
发明者武田直己, 近藤哲二郎 申请人:索尼株式会社