专利名称：帧频变换装置、及其对应点推测装置、对应点推测方法及对应点推测程序的制作方法
技术领域：
本发明涉及将影像的帧频变换为任意的帧频的帧频变换装置、以及推测所述帧频变换装置中的帧图像之间的对应点的对应点推测装置、对应点推测方法及对应点推测程序。
本申请以在日本在2008年9月4日申请的日本专利申请号2008-227626以及日本专利申请号2008-227627为基础而主张优先权，通过参照这些申请而引用在本申请中。
背景技术：
近年来，电影、电视广播、漫画等影像 图像的网络分配增加，而要求显示图像的高精细化。
以往，在用于与显示图像的高精细化对应的高分辨率化变换处理中，采用了根据每个帧的像素点处的离散的浓淡值变化来求出相关的方法。
例如，在高分辨率的电视接收机或显示器中显示图像的情况下，作为使图像数据的像素数增加至脉冲的像素数的高分辨率化变换处理的方法，已知有线性内插法、多帧劣化逆变换法(例如，参照日本特开2008-988033号公报)。
在多帧劣化逆变换法中，对拍摄于基准帧中的被摄体还被拍摄于其他帧中的情况进行关注，通过以像素间隔以下的高精度来检测被摄体的运动，求出位置相对被摄体的同一局部部分微小地偏移了的多个标本值来进行高分辨率化。
另外，作为涉及数字影像制作的技术之一，有将用胶卷等摄影得到的影像、以与其等同的帧数记录下来的影像信号变换为各种帧频的技术。该技术在专利文献2等中是公知的。特别，在将以M帧/秒构成的逐行影像信号方式的影像变换为以60帧/秒构成的逐行影像信号方式的影像来记录的情况下，一般使用2 :3pull-down这样的变换方式下的变换(例如，参照日本特开2003-284007号公报)。
另外，近年来，为了提高活动图像性能，进行帧频变换处理，该帧频变换处理是组合影像信号中包含的多个帧、和使用该输入影像信号的运动向量在装置内部中生成的插值帧，来生成新帧列的信号(例如，日本特开2008-167103号公报)。
近年来，伴随数字信号技术的发展，以影像(活动图像)、图像或者声音为对象的、 通信、广播、记录介质[CD (Compact Disc)、DVD (Digital Versatile Disc)]、医用图像、印刷等领域作为多媒体产业或者IT (Information Technology，信息技术)得到了显著的发展。承担针对影像、图像、声音的数字信号技术的部分任务的技术是降低信息量的压缩编码，作为其信号理论，代表性地有香农的抽样定理，更新的理论有小波变换理论等。另外，例如在音乐的CD中，虽然使用不伴随压缩改变的线性PCM(Pulse Code Modulation，脉冲编码调制)，但信号理论同样地是香农的抽样定理。
以往，作为影像、动画图像等活动图像的压缩技术，已知有MPEG，由于采用数字广播、DVD中的MPEG-2方式、和采用第3代便携电话的网络流和移动通信等领域中的MPEG-4方式等，影像信号的数字压缩技术近年来变得与人非常密切相关。在该背景下，存在积蓄介质的大容量化、网络的高速化、处理器的高性能化、系统LSI的大规模·低价格化等。这样， 支持需要数字压缩的影像应用系统的环境逐步齐备。
MPEG2 (ISO (International Organization for Mandardization，国际标准化组织)/IEC(International Electrotechnical Commition，国际电工委员会)13818—2)是作为通用的图像编码方式而被定义的方式，被定义成可以对应于隔行扫描方式、逐行扫描方式这两方，另外被定义成可以对应于标准分辨率图像、高精细图像这两方。该MPEG2当前广泛用于专门用途以及消费者用途的广泛应用中。在MPEG2中，可以将例如720X480 像素的标准分辨率、隔行扫描方式的图像数据压缩为4 8 (Mbps)的比特率，并且可以将 1920X1080像素的高分辨率、隔行扫描方式的图像数据压缩为18 22 (Mbps)的比特率， 可以确保高画质且高压缩率。
一般在运动图像的编码中，通过削减时间方向以及空间方向的冗余来进行信息量的压缩。因此，在以削减时间上的冗余为目的的画面间预测编码中，参照前方或者后方的图片，以块为单位进行运动的检测以及预测图像的制作，对所得到的预测图像与编码对象图片的差分值进行编码。此处，图片是指表示1张画面的用语，在逐行图像中表示帧的含义， 在隔行图像中表示帧或者场的含义。此处，隔行图像是指，1个帧由时刻不同的2个场构成的图像。在隔行图像的编码、解码处理中，可以将1个帧保持帧的原样地进行处理、或者处理为2个场、或者针对帧内的每个块处理为帧构造或者场构造。
发明内容
在以往的基于香农的抽样定理的A-D变换/D-A变换系统中，对通过奈奎斯特频率进行频带限制后的信号进行处理。此时，在D-A变换中，在将通过抽样而变得离散的信号再生为连续波的再生中，使用了对进行了限制后的频带内的信号进行再现的函数(正则函数)。
本申请发明人中的一人发现了可以使用Fluency (流畅)函数，对影像(运动图像)、文字图形、自然图像等图像或者声音等信号具有的各种性质进行分类。根据该理论，基于香农的抽样定理的所述正则函数是Fluency函数之一，仅是适合于信号具有的各种性质内的一个性质。因此，在仅通过基于香农的抽样定理的所述正则函数来处理具有各种性质的信号时，对D-A变换后的再生信号的品质有可能带来界限。
在所述Fluency函数空间之一即小波变换理论中，使用按照分辨率对对象进行分解的母小波来表示信号，但未必是对信号施加了最佳的母小波，而仍有可能对D-A变换后的再生信号的品质带来界限。
此处，Fluency函数是通过参数m(m是1 ⑴的正整数)分类的函数。m表示该函数仅能够进行(m-幻次的连续微分。顺便地，所述正则函数能够进行任意次数的微分，所以 m是①。进而，Fluency函数由(m_l)次的函数构成，特别Fluency函数内的Fluency DA函数是将样本间隔设为τ，用所关注的第k个样本点kτ提供数值，但在其他样本点中成为0 的函数。
信号的性质可以通过具有参数m的Fluency函数完全分类，通过参数m来划分等级。因此，使用了 Fluency函数的Fluency信息理论被定位为包含以往的仅表示信号的性质的一部分的香农的抽样定理和小波变换理论等，是表示信号整体的理论体系。通过使用那样的函数，期待在D-A变换后，在信号的整体中得到不受香农的抽样定理频带限制的高质量的再生信号。
但是，在以往的根据每个帧的像素点处的离散了的浓淡值变化来求出相关的方法中，存在在对应的图像存在于像素之间的情况下对应点偏移的问题。
另外，以往，要求将电影的M帧/秒的帧频变换为视频的30帧/秒、或者为了对 TV的影像进行高精细化而高帧频化为60至120帧/秒、或者变换为便携的帧频即15帧/ 秒，但通过帧间隔剔除、或前后的帧的内分插值来生成新的帧的方法成为主流。
但是，在以往的通过帧间隔剔除、或前后的帧的内分插值来生成新的帧的方法中， 存在影像的运动并不平滑、影像并非线性等问题。
因此，本发明是鉴于所述以往的问题而完成的，其目的在于提供一种帧频变换装置，即使增减了帧数也可以通过清晰且平滑的运动进行再生。
另外，本发明的另一目的在于，提供一种对应点推测装置、对应点推测方法以及对应点推测程序，可以正确地掌握帧频变换装置中的帧图像之间的对应点。
在影像中，一般在帧的前后相似的场景连续的场面较多，所以利用该特征，使用多个信息，进行高帧频化，实现高画质化。通过推测多个帧间的局部的对应点，并对对应的图像点进行内插，来构成高画质的内插帧。
在本发明中，追踪帧间的影像对应点，将其时间改变通过函数进行表现，利用原帧与变换的帧数之比生成函数插值下的帧，从而即使增减了帧数也得到清晰且平滑运动的影像信号。
即，本发明提供一种帧频变换装置，其特征在于，具备对应点推测处理部，针对基准帧中的多个像素，推测使时间为不同的多个图像帧中的各对应点；第1灰度值生成处理部，针对推测出的各图像帧中的各对应点，分别根据表示附近的像素的浓淡的灰度值求出各对应点的灰度值；第2灰度值生成处理部，针对所述基准帧中的多个像素，根据所述推测出的各图像帧中的各对应点的灰度值，用Fluency函数对对应点轨迹上的浓淡进行近似， 根据该函数求出插值帧中的对应点的各灰度值；以及第3灰度值生成处理部，根据所述插值帧中的各对应点的灰度值，生成所述插值帧中的各对应点附近的像素的灰度值。
另外，本发明提供一种帧频变换装置，其特征在于，具备第1函数近似部，针对基准帧中的多个像素，对其浓淡分布进行函数近似；对应点推测部，利用由所述第1函数近似部所近似的使时间为不同的多个所述基准帧中的所述浓淡分布的函数进行相关运算，将提供其最大值的各个位置设为在所述多个基准帧中对应的对应点位置；第2函数近似部，通过距基准帧的原点的水平方向、垂直方向的距离，对由所述对应点推测部推测出的各基准帧中的对应点位置进行坐标化，将所述使时间为不同的多个基准帧中的该坐标点的水平方向位置以及垂直方向位置各自的变化变换为时间序列信号，对各基准帧的时间序列信号进行函数近似；以及第3函数近似部，通过在所述第2函数近似部中进行近似的函数，针对上述多个基准帧间的任意时间的插值帧，将与所述基准帧的对应点位置相应的插值帧内的对应的位置作为对应点位置，用所述基准帧的对应点处的浓淡值进行插值而求出该插值帧的对应点位置处的浓淡值，与该插值帧的对应点的浓淡值相配地应用所述第1函数近似，求出该对应点附近的浓淡分布，根据该对应点附近的浓淡分布变换为插值帧中的像素点的浓淡值。
另外，本发明提供一种在所述帧频变换装置中作为对应点推测处理部具备的对应点推测装置，其特征在于，包括第1部分区域抽出单元，抽出帧图像的部分区域；第2部分区域抽出单元，抽出与由所述第1部分区域抽出单元抽出的部分区域相似的连续的其他帧图像的部分区域；函数近似单元，按相同的比变换由所述第1部分区域抽出单元以及所述第2部分区域抽出单元抽出的各部分区域，用分段多项式对变换后的各图像的浓淡通过函数进行表现并输出；相关值运算单元，运算所述函数近似单元的输出的相关值；以及偏移量运算单元，运算提供由所述相关值运算单元计算出的相关值的最大值的图像的位置偏移，将该运算值作为对应点的偏移量而输出。
另外，本发明提供一种由所述对应点推测装置执行的对应点推测方法，其特征在于，具有第1部分区域抽出步骤，抽出帧图像的部分区域；第2部分区域抽出步骤，抽出与在所述第1部分区域抽出步骤中抽出的部分区域相似的连续的其他帧图像的部分区域； 函数近似步骤，按相同的比变换在所述第1部分区域抽出步骤以及所述第2部分区域抽出步骤中抽出的各部分区域，用分段多项式对变换后的各图像的浓淡通过函数进行表现并输出；相关值运算步骤，运算在所述函数近似步骤中得到的输出的相关值；以及偏移量运算步骤，运算提供在所述相关值运算步骤中计算出的相关值的最大值的图像的位置偏移，将该运算值作为对应点的偏移量而输出。
进而，本发明提供一种由所述对应点推测装置中具备的计算机执行的对应点推测程序，其特征在于，使所述计算机作为如下单元发挥功能第1部分区域抽出单元，抽出帧图像的部分区域；第2部分区域抽出单元，抽出与由所述第1部分区域抽出单元抽出的部分区域相似的连续的其他帧图像的部分区域；函数近似单元，按相同的比变换由所述第1部分区域抽出单元以及所述第2部分区域抽出单元抽出的各部分区域，用分段多项式对变换后的各图像的浓淡通过函数进行表现并输出；相关值运算单元，运算所述函数近似单元的输出的相关值；以及偏移量运算单元，运算提供由所述相关值运算单元计算出的相关值的最大值的图像的位置偏移，将该运算值作为对应点的偏移量而输出。
在本发明中，追踪帧间的影像对应点，将其时间改变通过函数进行表现，利用原帧与变换的帧数之比生成函数插值帧，从而即使增减了帧数也可以得到清晰且平滑运动的影像信号。
因此，根据本发明，可以以在显示器上的帧频进行清晰且平滑运动的影像显示。
另外，在本发明中，捕捉图像的浓淡而作为连续性的变化状态，抽出帧图像的部分区域，并且抽出与所抽出了的部分区域相似的连续的其他帧图像的部分区域，按相同的比变换被抽出的各部分区域，计算用分段多项式将变换后的各图像的浓淡用函数进行表现得到的输出的相关值，运算提供所计算的相关值的最大值的图像的位置偏移，将该运算值作为对应点的偏移量，从而可以正确地掌握图像的对应点。
因此，根据本发明，可以实现在帧之间没有偏移的图像对应点的抽出，可以实现压缩精度、图像插值、帧频变换等高分辨率变换。另外，可以对应于电视接收机的大型化、移动终端的活动图像再生等高精细化，关联到活动图像的利用形态的扩大。
本发明的其他目的、通过本发明得到的具体的优点根据以下说明的实施例的说明将更加明确。
图1是示出帧频变换装置的结构例的框图。
图2A以及图2B是示意性地示出由所述帧频变换装置进行的高帧频化处理的图。
图3是示出由所述帧频变换装置进行的高帧频化处理的执行步骤的流程图。
图4A、图4B、图4C、图4D是示意性地示出由所述帧频变换装置进行的高帧频化处理的内容的图。
图5是用于说明所述帧频变换装置中的不均勻插值处理的图。
图6是用于说明决定在变换了图像的分辨率时新生成了的像素位置的值的图像插值处理的图。
图7A以及图7B是示出均勻插值函数和不均勻插值函数的例子的图。
图8是示意性地示出所述图像插值处理的内容的图。
图9是示出放大插值处理装置的结构例的框图。
图10是示出所述放大插值处理装置中的SRAM选择部的结构例的框图。
图11是示出所述放大插值处理装置中的图像处理块的结构例的框图。
图12A以及图12B是示意性地示出输入到所述放大插值处理装置中的图像处理模块的2个帧图像的图。
图13是示出所述放大插值处理装置中的放大插值处理的步骤的流程图。
图14是示出具有放大插值处理功能的帧频变换装置的结构例的框图。
图15是示出应用了本发明的影像信号变换系统的结构的框图。
图16是示出用于构筑所述影像信号变换系统中的预处理部的系统模型的框图。
图17是示出用于构筑所述影像信号变换系统中的预处理部的恢复系统模型的框图。
图18是示出所述预处理部中使用的逆滤波器的特性的各处理的步骤的流程图。
图19是示出所述影像信号变换系统中的压缩编码处理部的结构的框图。
图20是示出所述压缩编码处理部中具备的对应点推测部的结构的框图。
图21用于说明进行帧间的相关函数所属的an次插值的空间的图。
图22A、图22B、图22C、图22D是示意性地示出通过由所述对应点推测部进行的对应点推测决定运动向量的样式的图。
图23是比较示出通过由所述对应点推测部进行的对应点推测决定了的运动向量、和通过以往的块匹配决定了的运动向量的图。
图M是用于说明由所述压缩编码处理部所具备的运动函数化处理部处理的帧图像的原点的图。
图25A、图25B、图25C是示意性地示出各帧的图像的运动作为各帧的X坐标、Y坐标的运动。
图沈是针对帧间的位置示意性地示出推测处理的内容的图。
图27A以及图27B是示意性地示出通过MPEG编码生成了的影像数据流的结构例、 和由所述影像信号变换系统中的编码处理部生成了的生成影像数据流的结构例的图。
图观是示出由所述编码处理部生成的影像数据流中的I图片以及Q图片的比特格式的一个例子的图。
图四是示出由所述编码处理部生成的影像数据流中的D图片的比特格式的一个例子的图。
图30A以及图30B是示出所述D图片的比特格式的一个例子中的对应点的X坐标的变化以及Y坐标的变化的图。
图31是示意性地示出根据前后的图片的X坐标值通过插值运算计算对应区域内的各D图片的各X坐标值的例子的图。
图32是示出(m = 3)等级的不均勻Fluency插值函数的图。
图33是示出高分辨率插值办法(approach)的实例的图。
图34是示出用于插值的像素构造的具体例的图。
图35是比较示出由所述高帧频化处理部生成的中间帧与通过以往方法生成的中间帧的图，(A)、(Bi)、(Cl)示出以往的1/2精度的运动推测的例子，(A)、(B2)、(C2)示出不均勻插值的例子。
具体实施例方式以下，参照附图，详细说明本发明的实施方式。另外，本发明不限于以下的例子，当然可以在不脱离本发明的要旨的范围内任意地变更。
本发明涉及的帧频变换装置1例如如图1所示那样被构成。
该帧频变换装置1进行通过例如如图2A、图2B所示，在原帧之间插入插值帧，从而将图2A所示的低帧频(在该例中30帧/秒)的活动图像变换为图2B所示的高帧频的活动图像(在该例中60帧/秒)的高帧频化处理，由作为对应点推测处理部2、第1灰度值生成处理部3、第2灰度值生成处理部4、第3灰度值生成处理部5发挥功能的计算机构成。
在该帧频变换装置1中，对应点推测处理部2针对基准帧中的多个像素，推测使时间不同的多个图像帧中的各对应点。
另外，第1灰度值生成处理部3针对由所述对应点推测处理部2推测出的各图像帧中的各对应点，分别根据表示附近的像素的浓淡的灰度值求出各对应点的灰度值。
另外，第2灰度值生成处理部4针对所述基准帧中的多个像素，根据所述推测出的各图像帧中的各对应点的灰度值，用Fluency函数对对应点轨迹上的浓淡进行近似，根据该函数求出插值帧中的对应点的各灰度值。
进而，第3灰度值生成处理部5根据所述插值帧中的各对应点的灰度值，生成所述插值帧中的各对应点附近的像素的灰度值。
该帧频变换装置1通过用计算机执行从未图示的存储部读出的影像信号变换程序，按照图3的流程图所示的步骤Sl 步骤S4的顺序，执行高帧频化处理，该高帧频化处理使用进行对应点推测处理而推测出的对应点的灰度值，通过均勻插值生成插值帧的对应点的灰度值，进而通过不均勻插值生成插值帧的对应点附近的像素点处的像素的灰度值。
S卩，在该帧频变换装置1中，首先，如图4A所示，进行如下对应点推测处理，S卩、将时间t = k的图像帧作为基准帧F (k)，针对基准帧F (k)中的多个像素Pn (k)，求出时间t = k+Ι的图像帧F(k+1)、时间t = k+2的图像帧F(k+2)、…时间t = k+m的图像帧F(k+m)中的各运动向量，推测各图像帧(k+1)、(k+2)、- F(k+m)中的各对应点Pn(k+1) ,Pn (k+2)、…
9P (k+m)(步骤 Si)。
接下来，进行第1灰度值生成处理，即、针对在所述步骤Sl中推测出的各图像帧 (k+1)、(k+2)、-F(k+m)中的各对应点 Pn(k+1)、Pn(k+2)、…P (k+m)，如图 4B 所示，分别根据表示附近的像素的浓淡的灰度值求出各灰度值(步骤S2)。
接下来，进行第2灰度值生成处理，即、针对所述基准帧F (k)中的多个像素Pn (k)， 如图4C所示，用Fluency函数对在所述步骤S2中生成了的各对应点Pn (k+1)、Pn(k+2)、… P(k+m)中的各灰度值也即各图像帧(k+1)、(k+2)、-F(k+m)的对应点轨迹上的浓淡进行近似，根据该函数求出各图像帧(k+1)、(k+2)、-F(k+m)之间的插值帧中的对应点的各灰度值(步骤S3)。
在接下来的步骤S4中，进行第3灰度值生成处理，即、如图4D所示，根据通过所述步骤S3的第2灰度值生成处理生成了的插值帧F (k+1/2)中的各对应点的灰度值，利用不均勻插值生成时间t = k+1/2的插值帧F (k+1/2)中的各像素的灰度值(步骤S4)。
此处，对于由多个帧构成的运动图像，存在其运动的部分图像的帧上的位置针对每个帧不同。另外，一个帧上的像素点不限于移动到其他帧上的不同位置的像素点，而通常在像素之间对应。即，1个自然画像在设成连续的信息时，在2个帧上分别表示不同位置的像素信息。特别，在通过帧间的插值，生成新帧图像的情况下，原来的帧上的像素信息和在新帧上的像素上几乎完全不同。例如，如果使图5(A)、(B)所示那样的2个帧图像在同一点重叠，则各帧的像素点(此处，为了说明而加粗)的关系成为图5(C)所示那样的关系。艮口， 偏移了图像的移动量的大小。为了使用该2个帧图像，求出第1帧的格点(没有标记的像素点)的浓淡值，需要不均勻插值处理。
例如，如图6所示，决定在变换了图像的分辨率时新生成的像素U ( τ χ，τ y)位置的值的图像插值处理通过原像素u(Xi，yj)与插值函数h(x)的卷积处理来进行。
[数1]
权利要求
1.一种帧频变换装置，具备对应点推测处理部，针对基准帧中的多个像素，推测使时间为不同的多个图像帧中的各对应点；第1灰度值生成处理部，针对推测出的各图像帧中的各对应点，分别根据表示附近的像素的浓淡的灰度值求出各对应点的灰度值；第2灰度值生成处理部，针对所述基准帧中的多个像素，根据所述推测出的各图像帧中的各对应点的灰度值，用Fluency函数对对应点轨迹上的浓淡进行近似，根据该函数求出插值帧中的对应点的各灰度值；以及第3灰度值生成处理部，根据所述插值帧中的各对应点的灰度值，生成所述插值帧中的各对应点附近的像素的灰度值。
2.根据权利要求1所述的帧频变换装置，所述对应点推测处理部包括 第1部分区域抽出单元，抽出帧图像的部分区域；第2部分区域抽出单元，抽出与由所述第1部分区域抽出单元抽出的部分区域相似的连续的其他帧图像的部分区域；函数近似单元，按相同的比变换由所述第1部分区域抽出单元以及所述第2部分区域抽出单元抽出的各部分区域，用分段多项式对变换后的各部分图像各自的浓淡通过函数进行表现并输出；相关值运算单元，运算所述函数近似单元的各输出即函数的相关值；以及偏移量运算单元，根据提供由所述相关值运算单元计算出的相关值的最大值的图像位置来运算位置偏移，将该运算值作为对应点的偏移量而输出。
3.一种帧频变换装置，具备第1函数近似部，针对基准帧中的多个像素，对其浓淡分布进行函数近似； 对应点推测部，利用由所述第1函数近似部所近似的使时间为不同的多个所述基准帧中的所述浓淡分布的函数进行相关运算，将提供其最大值的各个位置设为在所述多个基准帧中对应的对应点位置；第2函数近似部，通过距基准帧的原点的水平方向、垂直方向的距离，对由所述对应点推测部推测出的各基准帧中的对应点位置进行坐标化，将所述使时间为不同的多个基准帧中的该坐标点的水平方向位置以及垂直方向位置各自的变化变换为时间序列信号，对各基准帧的时间序列信号进行函数近似；以及第3函数近似部，通过在所述第2函数近似部中进行近似的函数，针对上述多个基准帧间的任意时间的插值帧，将与所述基准帧的对应点位置相应的插值帧内的对应的位置作为对应点位置，用所述基准帧的对应点处的浓淡值进行插值而求出该插值帧的对应点位置处的浓淡值，与该插值帧的对应点的浓淡值相配地应用所述第1函数近似，求出该对应点附近的浓淡分布，根据该对应点附近的浓淡分布变换为插值帧中的像素点的浓淡值。
4.根据权利要求3所述的帧频变换装置，所述对应点推测处理部包括 第1部分区域抽出单元，抽出帧图像的部分区域；第2部分区域抽出单元，抽出与由所述第1部分区域抽出单元抽出的部分区域相似的连续的其他帧图像的部分区域；函数近似单元，按相同的比变换由所述第1部分区域抽出单元以及所述第2部分区域抽出单元抽出的各部分区域，用分段多项式对变换后的各图像的浓淡通过函数进行表现并输出；相关值运算单元，运算所述函数近似单元的输出的相关值；以及偏移量运算单元，运算提供由所述相关值运算单元计算出的相关值的最大值的图像的位置偏移，将该运算值作为对应点的偏移量而输出。
5.一种在权利要求1或者权利要求3所述的帧频变换装置中作为对应点推测处理部而被具备的对应点推测装置，包括第1部分区域抽出单元，抽出帧图像的部分区域；第2部分区域抽出单元，抽出与由所述第1部分区域抽出单元抽出的部分区域相似的连续的其他帧图像的部分区域；函数近似单元，按相同的比变换由所述第1部分区域抽出单元以及所述第2部分区域抽出单元抽出的各部分区域，用分段多项式对变换后的各图像的浓淡通过函数进行表现并输出；相关值运算单元，运算所述函数近似单元的输出的相关值；以及偏移量运算单元，运算提供由所述相关值运算单元计算出的相关值的最大值的图像的位置偏移，将该运算值作为对应点的偏移量而输出。
6.一种由权利要求5所述的对应点推测装置执行的对应点推测方法，该对应点推测方法具有第1部分区域抽出步骤，抽出帧图像的部分区域；第2部分区域抽出步骤，抽出与在所述第1部分区域抽出步骤中抽出的部分区域相似的连续的其他帧图像的部分区域；函数近似步骤，按相同的比变换在所述第1部分区域抽出步骤以及所述第2部分区域抽出步骤中抽出的各部分区域，用分段多项式对变换后的各图像的浓淡通过函数进行表现并输出；相关值运算步骤，运算在所述函数近似步骤中得到的输出的相关值；以及偏移量运算步骤，运算提供在所述相关值运算步骤中计算出的相关值的最大值的图像的位置偏移，将该运算值作为对应点的偏移量而输出。
7.一种由权利要求5所述的对应点推测装置中所具备的计算机执行的对应点推测程序，使所述计算机作为如下单元发挥功能第1部分区域抽出单元，抽出帧图像的部分区域；第2部分区域抽出单元，抽出与由所述第1部分区域抽出单元抽出的部分区域相似的连续的其他帧图像的部分区域；函数近似单元，按相同的比变换由所述第1部分区域抽出单元以及所述第2部分区域抽出单元抽出的各部分区域，用分段多项式对变换后的各图像的浓淡通过函数进行表现并输出；相关值运算单元，运算所述函数近似单元的输出的相关值；以及偏移量运算单元，运算提供由所述相关值运算单元计算出的相关值的最大值的图像的位置偏移，将该运算值作为对应点的偏移量而输出。
全文摘要
针对基准帧中的多个像素，通过对应点推测处理部(2)推测使时间为不同的多个图像帧中的各对应点，针对所推测出的各图像帧中的各对应点，通过第1灰度值生成处理部(3)，分别根据表示附近的像素的浓淡的灰度值来求出各灰度值，针对所述基准帧中的多个像素，通过第2灰度值生成处理部(4)，根据所述推测出的各图像帧中的各对应点的灰度值，用Fluency函数对对应点轨迹上的浓淡进行近似，根据该函数求出插值帧中的对应点的各灰度值，根据所述插值帧中的各对应点的灰度值，通过第3灰度值生成处理部，生成所述插值帧中的各像素的灰度值。
文档编号H04N7/01GK102187665SQ20098014151
公开日2011年9月14日 申请日期2009年7月17日 优先权日2008年9月4日
发明者寅市和男, 武德安, J·加姆巴, 大宫康宏 申请人:独立行政法人科学技术振兴机构