运动检测装置、运动检测方法、以及运动检测程序的制作方法

专利名称：运动检测装置、运动检测方法、以及运动检测程序的制作方法
技术领域：
本发明涉及运动图像的编码，尤其涉及在运动图像的编码中进行运动 检测处理的运动检测集成装置、运动检测方法、运动检测装置、以及运动 检测程序。
背景技术：
近几年，统一处理声音、图像及其他数据的多媒体时代到来，以往的 信息媒体，即报纸、杂志、电视、收音机、电话等将信息传达给人的工具 成为多媒体的对象。通常，多媒体不仅将文字还将图形、声音、尤其是图 像等同时相关联来表示，不过，将所述以往的信息媒体作为多媒体对象的 必须条件是将该信息用数字形式来表示。
然而，所述的各信息媒体具有的信息量作为数字信息量来进行估计时，
文字的情况下每个字的信息量是1 2字节。与此相对，如果是声音每秒则 需要64Kbits(电话质量)，进而如果是动画，则每秒需要100Mbits(现今电 视接收质量)以上的信息量。因此，所述的信息媒体将所述庞大的信息直接 用数字形式来处理，缺乏现实性。例如，可视电话以具有64Kbits 1.5Mbits传输速度的综合业务数字网(ISDN: Integrated Services Digital Network)来实用化，不过，并非将电视摄像机拍摄的视频直接经由ISDN 发送。
于是，就需要信息的压縮技术，例如，可视电话的情况下适用ITU— T(国际电信联盟.电信标准化部门)建议的H.261和H.263标准中的动画压 縮技术。而且，根据MPEG—1标准的信息压縮技术，在通常的音乐用 CD(compact disc)上能够记录声音信息和图像信息。
在此，MPEG(运动图像专家组Moving Picture Experts Group)是 被ISO/IEC(国际标准化组织/国际电工委员会)批准的运动图像信号压縮的 国际标准。MPEG—1是将运动图像信号压縮到1.5Mbps，也就是将电视信号的信息压縮到大约100分之一为止的标准。而且，MPEG—1标准中 作为对象的质量是中等程度的质量，艮P，主要以约1.5Mbps的传输速度就 能够实现的程度，为了满足更高一层的高画质的需求而批准的MPEG—2 中，运动图像信号的传输速度为2 15Mbps，实现了TV广播质量。进而 最近，经过一直推进MPEG—1，MPEG—2以及标准化的工作组(ISO/IEC JTC1/SC29/WG11)的努力，MPEG—4被批准，MPEG—4的压縮率超过 MPEG—1， MPEG—2，它更是以物体为单位能够进行编码、解码、操作， 实现了多媒体时代所需要的新功能。MPEG—4，起初以低比特率编码方法 的标准化为目标进行了推进，不过，现在扩大到更为通用的编码方法，包 括隔行(interlace)图像的编码方法以及高比特率的编码方法。
进而，在2003年，作为具有更高压縮率的图像编码方式，IS0/IEC 和ITU—T共同开发了 MPEG—4AVC以及H.264，这些已经成为标准化。 H.264标准的适用范围扩大到适用于目前的高清晰(HD:High Definition) 图像等的高级规范(High Profile)相对应的扩展标准上。H.264标准设想 的应用程序与MPEG—2及MPEG—4相同，分布到数字广播、数字视盘 (DVD:Digital Versatile Disk)播放器/记录器、硬盘播放器/记录器、便携 式摄像机、可视电话等。
通常在运动图像的编码中，通过减少吋间方向及空间方向的冗余来压 縮信息量。于是，以减少吋间冗余为目标的画面间预测编码中，参考前方 或者后方的图片(pictnre)，以块为单位检测运动以及制作预测图像，并对 得到的预测图像与编码对象图片之间的差分值进行编码。在此，图片是表 示一幅画面的用语，在逐行(progressive)图像中意味着帧，在隔行图像中 意味着帧或场。在此，隔行图像是一个帧由不同时刻的两个场构成的图像。 在隔行图像的编码和解码处理中，可将一个帧原样地进行处理，或作为两 个场进行处理，或按帧内的每个块作帧结构或场结构来进行处理。
将不参考参考图像而进行画面内预测编码的图片称为I图片。此外， 将仅参考一幅参考图像进行画面间预测编码的图片称为P图片。此外，将 能够同时参考两幅参考图像进行画面间预测编码的图片称为B图片。在B 图片的画面间预测编码中，可以参考任意组合了显示时间位于前方或后方 的两幅图片。参考图像(参考图片)能够对每个作为编码的基本单位的宏块(MB)进行指定，为了区别，将进行了编码的比特流中先记述的参考图片 作为第一参考图片，将后记述的参考图片作为第二参考图片。但是，作为 编码这些图片时的条件，所参考的图片必须是己经被编码的图片。
在P图片或B图片的编码中使用运动补偿画面间预测编码。运动补偿
画面间预测编码是在画面间预测编码中适用了运动补偿的编码方式。运动 补偿是指，并非单纯地从参考帧的像素值预测编码对象图片的像素值，而 是检测图片内的各部的运动量(以下称为"运动矢量")，通过考虑该运动 量进行预测，来提高预测精度，同时减少数据量的方式。例如，检测编码 对象图片的运动矢量，通过对仅移位了该运动矢量的位置上的预测值与编 码对象图片的像素值之间的差分进行编码，从而减少数据量。在该方式的 情况下，由于在解码时需要运动矢量的信息，因此，对运动矢量也进行编 码后进行记录或传输。
运动矢量以宏块为单位被检测，具体而言，固定编码对象图片侧的宏 块(标准块)，使参考图片侧的宏块在搜索范围内移动，找出与标准块最相似 的参考块的位置，从而检测运动矢量。
图1是示出以往的运动图像编码装置的结构的方框图。
这个运动图像编码装置包括运动检测器506、多帧存储器504、减 法器512、减法器518、运动补偿器508、编码器520、加法器510、运动 矢量存储器514、以及运动矢量预测器516。
在P图片或者B图片等的画面间预测中，运动检测器506，将从多帧 存储器504输出的参考图像的像素即参考像素MEpel，与编码对象图像的 画面信号Vin进行比较，输出运动矢量MV和参考帧编号RefNo。参考帧 编号RefNo由确定参考图像的识别信号所表示，该参考图像是从多个参考 图像中被选择的、编码对象图像所参考的图像。运动矢量MV被暂存在运 动矢量存储器514之后，作为近旁运动矢量PrevMV而被输出，在运动矢 量预测器516中，作为为了预测预测运动矢量PredMV而被参考的近旁运 动矢量PrevMV而被使用。减法器518从运动矢量MV减去预测运动矢量 PredMV，将所得到的差作为运动矢量预测差分DifMV来输出。
另一方面，多帧存储器504将在参考帧编号RefNo以及运动矢量MV 所确定的像素作为运动补偿参考像素MCpell来输出。运动补偿器508生
10成小数像素精度的参考像素，并输出参考画面像素MCpel2。减法器512 从画面信号Vin减去参考画面像素MCpel2，并输出画面预测误差DifPel。 而且，编码器520对画面预测误差DifPel和运动矢量预测差分DifMV 和参考帧编号RefNo进行可变长编码，并输出编码信号Str。并且，同时 也输出解码画面预测误差RecDifPel，该解码画面预测误差RecDifPel为 编码时的画面预测误差的解码结果。解码画面预测误差RecDifPel是在画 面预测误差DifPel重叠了编码误差的误差，该解码画面预测误差 RecDifPel与在画面间预测解码装置解码编码信号Str所得到的画面间预 测误差一致。
加法器510将解码画面预测误差RecDifPel与参考画面像素MCpel12 相加。相加的结果作为解码画面RecPel被存储到多帧存储器504。但是， 为了有效地利用多帧存储器504的容量，当存储在多帧存储器504中的画 面的区域没有必要时进行释放，或对于没有必要存储在多帧存储器504中 的画面的解码画面RecPel，不存储到多帧存储器504中。
图2是示出以往的运动图像解码装置的结构的方框图。在图2中，对 于与图l相同编号的处理部，因为具有相同的功能，适当省略其说明。
图2所示的以往的运动图像解码装置是解码编码信号Str并输出解码 画面信号Vout的装置，上述编码信号Str是由图1所示的以往的运动图像 预测编码装置所编码的信号，上述运动图像解码装置包括多帧存储器 504、运动补偿器508、加法器510、加法器614、运动矢量存储器514、 运动矢量预测器516、解码器616。
解码器616中被输入编码信号Str。解码器616解码编码信号Str，并 输出解码画面预测误差RecDifPel、运动矢量预测差分DifMV、以及参考 帧编号RefNo。加法器614使预测运动矢量PredMV和运动矢量预测差分 DifMV相加，解码运动矢量MV，上述预测运动矢量PredMV从运动矢量 预测器516所输出，上述运动矢量预测差分DifMV从解码器616所输出。
在画面间预测中，多帧存储器504将在参考帧编号RefNo以及运动矢 量MV所示出的像素作为运动补偿参考像素MCpell来输出，运动补偿器 508生成小数像素精度的参考像素，并输出参考画面像素MCpel2。加法 器510将解码画面预测误差RecDifPel与参考画面像素MCpel2相加。相
ii加的结果作为解码画面RecPel存储到多帧存储器504中。
但是，为了有效地利用多帧存储器504的容量，在存储在多帧存储器 504中的画面区域不需要的情况下释放该区域，而且对于没有必要存储到 多帧存储器504中的画面的解码画面RecPel，不存储到多帧存储器504 中。如上所述，解码画面信号Vout，即解码画面RecPel能够从编码信号 Str正确地解码。
此外，图3是示出运动检测处理工作的模式图，利用图3简单地说明 一般的运动检测处理。在图3中，帧F11N-1及帧F11N是进行编码的图 片，帧F11N-1是在时间上比帧F11N旧的图片。例如，区域P1100示出 进行编码的图片的一部分。对区域P1100中以四角形表示的宏块，用帧 F11N-1进行画面间预测的情况下表示如下，在区域P1101中，搜索范围 的虚线所包围的区域中检测出朝着右上方向的箭头记号的运动，结果将椭 圆的一部分作为参考图像来参考。而且，区域P1102同样示出进行编码的 图片的一部分。对区域P1102中以四角形表示的宏块，用帧F11N-1进行 画面间预测的情况下表示如下，在区域P1103中，搜索范围的虚线所包围 的区域中检测出朝着左下方向的箭头记号的运动，将三角形的一部分作为 参考图像来参考。
而且，区域P1104表示在每个宏块的处理中，使进行编码的宏块按照 宏块1121、宏块H22、宏块H23、宏块1124的顺序移动。而且，帧F11N-1 的区域P1105表示进行运动检测的搜索范围按照搜索范围1131、搜索范 围1132、搜索范围1133、搜索范围1134的顺序移动。如上所述，通常的 运动检测工作中，结合编码对象的宏块的切换工作来更新搜索范围，在宏 块相邻的情况下，搜索范围的重叠部分相当多。
图4是实现以往的运动检测功能的第一方框图，示出了在图1的虚线 所包围的范围502中的多帧存储器504和运动检测器506相连接的一个例 子。在图4中，对于与图l相同编号的处理部，因为具有相同的功能，适 当省略其说明。
运动检测器506包括局部存储器702以及通常的运动检测部704。 局部存储器702从多帧存储器504读出包括在搜索范围内的像素数据 并存储。由此，在图3的区域P1105所示的进行运动检测的区域移动的状
12态中，能够实现无需再传输区域重叠的部分，减少参考像素MEpel的数据 传输量。其次，存储在局部存储器702中的像素数据作为参考像素LMEpel 供应到通常的运动检测部704。通常的运动检测部704进行运动检测，作 为结果输出运动矢量MV。该结构，针对在多帧存储器504作为外部存储 器外置等情况下，减少传输像素数据的带宽非常有效。
而且，需要从多个区域搜索运动矢量的情况下，专利文献1中公开了 这样的结构，使用了多个与用于运动检测的局部存储器702同等的存储器。
然而，即使安装了局部存储器702，如果用了H.264标准，进而对应 的视角变大的情况下，参考像素MEpel的数据传输量成为课题。图5是用 于进行以往的运动检测的存储器管理的第一模式图。图5(a)是表示一个画 面的图像数据的图，图5(b)是扩大了图5(a)的一部分的图。图5(b)所示的 被扩大的部分表示，存储在局部存储器702中的搜索范围(白格3X3格， 一个格对应一个宏块)，以及使搜索范围移动时所必要的传送区域(斜线)。 如该图所示，以一个宏块为单位(=16像素X16像素)进行运动检测处理的 情况下，为了进行一宏块行的运动检测，需要进行传输量为(搜索范围的纵 向长度)X(l画面的宽度)的存储器传输，进行1画面的运动检测的时候， 需要进一步进行传输量为再乘上1画面的纵向宏块行数的存储器传送。也 就是，在MPEG — 2中的标准清晰度(SD)大小图像(720像素X480像素， 45MBX30MB)，纵向横向各移动1宏块的像素范围作为搜索范围的情况 下，在每个画面的运动检测中需要
(16+16X 2) X 720X 30二1，036,800
像素从多帧存储器504传输到局部存储器702。
在此，考虑到设想H.264的SD大小图像的参考用局部存储器的管理 状态，进行小数像素精度的运动补偿时需要使用六个抽头的滤波器，从而 与以往的MPEG — 2等相比需要更多的周边像素(例如，参考非专利文献 1)。也就是，在MPEG—2等，从包围小数精度像素位置的四个整数像素 来制作小数精度像素，不过，在六抽头滤波器的情况下，从36整数像素来 制作小数精度像素，所以在同样的区域进行搜索的情况下，与MPEG—2 相比需要上方两行，下方两行，左方两列，右方两列的像素。从而，在H.264 等的SD大小图像，纵向横向各移动1宏块的像素范围作为搜索范围的情
13况下，在每个画面的运动检测中需要
(16+16X2+4) X 720X30=1,123,200
像素从多帧存储器504传输到局部存储器702。
进而，在处理高清晰度(HD)大小(1920像素X1088像素，120MBX 68MB)的图像的情况下，尤其是进行利用H.264的编码的情况下，前述的 每个画面的像素传送量大幅度增加，可能会超过图4示出的参考像素 MEpel的传输能力。
例如，考虑一下设想MPEG—2的HD大小图像的参考用局部存储器 的管理状态。这个情况下，HD大小的图像与SD大小的图像相比具有约6 倍的像素数，为了方便，设成搜索上下、左右各2.5倍的参考区域，则纵 向横向的搜索范围变成纵向横向各移动40像素的像素范围，同样，在每个 画面的运动检测中需要
(16+40X 2) X 1，920 X 68=12，533，760
像素被传输。
进而，考虑一下设想H.264的HD大小图像的参考用局部存储器的管 理状态，同样，在每个画面的运动检测中需要 (16+40 X 2+4) X 1 ，920 X 68=13，056，000
像素被传输，需要传输的量是MPEG—2的SD大小时必要的像素传 送量的约13倍。
根据上述理由，可以考虑进一步包括高速缓冲存储器的运动检测器的 结构。图6表示实现以往的运动检测功能的第二方框图。在图6中，对于 与图4相同编号的处理部，因为具有相同的功能，适当省略其说明。
运动检测器806包括高速缓冲存储器802、局部存储器702、通常的 运动检测部704。与图4所示的运动检测器506的不同点在于，在多帧存 储器504和局部存储器702之间，还包括高速缓冲存储器802。
存储在多帧存储器504中的像素数据作为参考像素MEpel被传输，存 储在高速缓冲存储器802中。进而该像素数据作为参考像素CMEpel被传 输，存储在局部存储器702中。进而通常的运动检测部704，利用该像素 数据进行运动检测，作为其结果输出运动矢量MV。
根据该以往结构，高速缓冲存储器802作为宏块行单位的行缓冲器来存储像素数据，从而省去了图5所示的再次获得相同宏块行的像素数据。 图7是表示用于进行以往的运动检测的存储器管理的第二模式图，简单地
表示了在高速缓冲存储器802的存储器管理的工作。也就是，在高速缓冲 存储器802中存储包含全部用灰色涂抹的编码对象宏块meCnt的搜索范 围的横线中所包含的像素数据、以及在下一个宏块行的运动检测时被使用 的宏块行addArea所包含的像素数据。由此，在多帧存储器504作为外部 存储器外置的情况下，省去了从参考图片几次获得相同的宏块行的像素数 据，能够减少传输参考像素MEpel的像素数据的带宽。因此，这样的安装 对减少带宽非常地有效。
如同上述，利用使用的像素数据的局部性，作成阶段性的存储器结构， 即多帧存储器504、高速缓冲存储器802、局部存储器702，这样的安装 能够实现以下既能够抑制安装存储器的成本，又减少与外部存储器之间 的带宽，还能够对应为了运动检测而增加的局部性访问频率。
图8是模式性表示与图7所示的存储器管理方法相比存储在高速缓冲 存储器802中的像素数据的容量少的存储器管理方法的图。
在图8的高速缓冲存储器802的管理中，基本进行参考区域RefArea 和备用存储区域SubArea的存储器管理，在下次释放区域RelArea的像 素数据被存储的物理存储器位置上，存储下次获得区域NxtArea的像素数 据，从而不用预先存储宏块行addArea的像素数据，就能够减少安装存储
(直接预测的说明)
在H.264标准中存在一种被称为直接预测的画面间预测的模式。该模 式是利用已编码块的运动信息，预测生成对象块的运动信息的编码模式， 该模式具有这样的效果，因为对运动信息进行编码时不需要比特数，所以 能够提高压縮效率。
由于利用直接预测而提高的压縮率，依赖于从已编码块预测对象块的 运动信息的精度。于是导入了以下两种模式主要利用时间方向运动信息 的相关的"时间直接模式"、主要利用空间方向(图片内的水平以及垂直的 二维空间)运动信息的相关的"空间直接模式"。
时间直接模式对于包含不同的运动且运动速度固定的图像中有效果，空间直接模式对于包含同样的运动且运动速度有变化的图像中有效果(例 如，参考非专利文献l)。
另外，在对直接预测的图像和原图像之间的差分图像也不需要的情况 下，进行对差分像素信息也不进行编码的跳跃预测，不过，为了简略，该 情况也包括在直接预测中进行说明。 (包括直接预测的画面间预测)
下面对如同上述的技术背景及以往电路结构中，使用直接预测进行编 码的处理流程的一个例子进行说明。图9是表示以往的运动检测处理的流
程图。首先，利用局部存储器702进行运动检测处理，求最适合的运动矢 量结果(S1701)。
其次，判断在S1701中求出的运动矢量结果，是否与通过直接预测被 算出的运动矢量相等，或者大体上相等(S1702)。 S1702的判断结果是真的 情况下，作为直接预测进行编码处理(S1703)，不是真的情况下，作为通常 的画面间预测进行运动检测结果的编码处理(S 1704)。
专利文献1 :日本特开2006-270683号公报
非专利文献1 : ITU-T Recomendation H.264,"SERIES H: AUDIOVISUAL AND MULTIMEDIA SYSTEMS Infrastructure of audiovisual services -Coding of moving video:Advanced video coding for generic audiovisual services,"March 2005.
此外，利用图4或者图6所示的运动检测器，例如对从电车车窗看到 的景色，以及电视节目中加入固定的反射式字幕的运动图像进行编码的情 况下，通过进行直接预测，能够大幅度提高编码效率。可是，局部存储器 702中只存储有成为搜索范围的宏块，没有直接预测时需要使用的像素数 据，所以无法直接预测，导致编码效率下降。
有关所述的一个例子，利用图10A和图10B来说明。图10A和图10B 是用于说明以下处理的模式图，对拍摄了从车窗看到的风景的图像数据进 行运动检测的处理。在该图中，图10A的帧F18N-1和图10B的帧F18N 是设想了以下情况下的要进行编码的图片，即在电车等的内部通过车窗拍 摄外边风景的情况，帧F18N-1是在时间上比帧F18N旧的图片。
在电车向右侧方向前进的情况下，从电车内部所看到的风景相对地向左侧移动。因此，帧F18N-1内的外面风景与帧F18N相比都偏移到左侧。 通常，进行画面间预测时存在图片的整体移位的情况下，将进行运动检测 的搜索范围整体挪动的方法比较有效。因此，例如在范围P1800内的四角 形的影线部的宏块P1801，从帧F18N-1进行运动检测的情况下，如范围 P1802所示，在搜索中心挪动到右侧的搜索范围P1803中，求出与宏块 P1801对应的像素位置，进行运动矢量的搜索。在该图中，可以预想作出 宏块P1801与区域P1804的相关度高的判断。
然而，区域P1809是设想包括车内的墙和扶手的一部分的区域。因此， 例如编码以斜线示出的四角形的宏块P1805的情况下，受帧F18N-1的参 考图像中的画面整体运动的影响，认为在搜索区域P1807中搜索对应于宏 块P1805的位置，并进行运动矢量搜索。可是，对应于宏块P1805的位 置不在搜索区域P1807中，不可能得到相关性高的图像。因此，结果上来 说可以预想到不是用画面间预测的模式，而是用画面内预测来生成参考图
这个情况下，区域P1809在帧F18N-1和帧F18N的运动几乎不存在， 所以运动矢量是0的情况下的区域P1808，作为对应于宏块P1805的区域 而被选择，则可以预想能够有效地实现编码。例如，针对宏块P1805，假 设利用左边和上边和右上边的周边宏块进行画面内预测时，关于宏块 P1805以空间直接模式被预测的运动矢量成为O矢量(有关直接预测的算法 参见非专利文献1)，由此可知，当选择直接预测时能够非常有效地编码宏 块。然而，所述的以往技术中，局部存储器702内部没有存储P1808区域 的宏块，所以不能利用直接预测。
而且，也可以考虑如专利文献1所示，设置多个存储器，即与用于运 动检测的局部存储器702同等的多个存储器，从而对应直接预测。然而， 如同上述的说明，全高清视角等的大视角化和H.264标准等的需要抽头 (tap)数大的运动补偿的情况下，作为局部存储器702和高速缓冲存储器 802来安装的存储器成为庞大的容量，安装成本的增加成为课题。

发明内容
本发明为了解决上述的课题而提出，其目的在于，在通过安装搜索范
17围分量的局部存储器而使从帧存储器传输数据的带宽减少了的系统中，提 供一种既能够抑制存储器安装的成本，又能够对应于直接预测的运动检测 装置。
本发明涉及的运动检测装置，利用存储在多帧存储器的参考图片的像 素数据，对构成编码对象图片的宏块进行运动检测，其包括局部存储器， 存储从所述多帧存储器读出的参考图片的像素数据中的、包含在第一范围 的像素数据，该第一范围是第一运动检测时的搜索范围；第一运动检测单 元，利用存储在所述局部存储器的像素数据，进行所述第一运动检测；以
及第二运动检测单元，利用包含在第二范围的所述参考图片的像素数据进 行第二运动检测，该第二运动检测采用了与所述第一运动检测不同的算法， 所述第二范围是包含所述第一范围、且比该第一范围大的范围。
第一运动检测单元参考的像素数据存储在局部存储器里。因此，能够 减少运动检测装置和多帧存储器之间的平均带宽。而且，利用第一范围外 的像素数据能够进行第二运动检测。因此，与只利用第一范围内的像素数 据进行第二运动检测的情况相比，能够减少编码量。
最好是所述第二运动检测单元，利用存储在所述多帧存储器的所述参 考图片的像素数据，进行所述第二运动检测。
第一运动检测单元参考的像素数据存储在局部存储器。因此，能够减 少运动检测装置和多帧存储器之间的平均带宽。而且，通过利用容量比局 部存储器大的多帧存储器来进行第二运动检测，从而能够利用第一范围外 的像素数据来进行第二运动检测。因此，与只利用第一范围内的像素数据 进行第二运动检测的情况相比，能够减少编码量。
由此，在通过安装搜索范围分量的局部存储器而使从帧存储器传输数 据的带宽减少了的系统中，提供一种既能够抑制存储器安装的成本，又能 够对应于直接预测的运动检测装置。
进而最好是所述的运动检测装置还包括选择单元，在所述第二运动检 测单元利用所述第一范围内的像素数据进行所述第二运动检测的情况下， 选择存储在所述局部存储器的像素数据，在所述第二运动检测单元利用所 述第二范围之内、且所述第一范围之外的像素数据进行所述第二运动检测 的情况下，选择存储在所述多帧存储器的像素数据，所述第二运动检测单
18元，利用所述选择单元选择的像素数据进行所述第二运动检测。
有时第一运动检测单元参考的像素数据存储在局部存储器，第二运动 检测单元参考的像素数据也存储在局部存储器，所以能够减少运动检测装 置和多帧存储器的平均带宽。
进而最好是所述的运动检测装置还包括执行控制单元，控制所述第二 运动检测单元进行的所述第二运动检测的执行以及非执行。
根据执行控制单元，能够控制第二运动检测单元获得来自多帧存储器 的像素数据。因此，能够避免多帧存储器的带宽溢出等的系统破裂。
进而最好是所述执行控制单元，仅在用于所述第二运动检测的像素数 据的至少一部分存储在所述局部存储器的情况下，使所述第二运动检测单 元执行所述第二运动检测。
仅在不需要从多帧存储器获得用于第二运动检测的像素数据的全部的 情况下，进行第二运动检测。因此，能够减少运动检测装置和多帧存储器 之间的平均带宽，还能够减少编码量。
进而最好是所述的运动检测装置还包括高速缓冲存储器，存储有从所 述多帧存储器读出的参考图片的像素数据中的、包含在所述第二范围的像 素数据，所述局部存储器，存储有从所述高速缓冲存储器读出的、包含在 所述第一范围的像素的像素数据，所述第二运动检测单元，利用存储在所 述高速缓冲存储器的所述参考图片的像素数据进行所述第二运动检测。
从高速缓冲存储器获得像素数据，该像素数据是第一运动检测单元参 考的局部存储器中存储的像素数据，第二运动检测单元参考存储在高速缓 冲存储器的像素数据。因此，能够减少运动检测装置和多帧存储器之间的 平均带宽，且即使在局部存储器里没有存储着必要的像素数据，也能够进 行第二运动检测，所以能够减少编码量。进而，高速缓冲存储器本身对于 确保在第一运动检测中的传输的带宽也有贡献，所以具有这样的效果，用 于进行第二运动检测的存储器的安装成本变得不需要。
进而最好是所述的运动检测装置还包括选择单元，在所述第二运动检 测单元利用所述第一范围内的像素数据进行所述第二运动检测的情况下， 选择存储在所述局部存储器的像素数据，在所述第二运动检测单元利用所 述第二范围之内、且所述第一范围之外的像素数据进行所述第二运动检测
19的情况下，选择存储在所述高速缓冲存储器的像素数据，所述第二运动检 测单元，利用所述选择单元选择的像素数据进行所述第二运动检测。
有时第一运动检测单元参考的像素数据存储在局部存储器，第二运动 检测单元参考的像素数据也存储在局部存储器。因此，能够减少高速缓冲 存储器的平均带宽。
进而最好是所述的运动检测装置还包括第二运动检测可否判断单元， 仅在用于所述第二运动检测的像素数据存储在所述高速缓冲存储器的情况 下，判断为能够进行所述第二运动检测，所述第二运动检测单元，在所述 第二运动检测可否判断单元判断为能够进行所述第二运动检测的情况下， 进行所述第二运动检测。
第二运动检测单元参考的像素数据没有存储在高速缓冲存储器的情况 下，不需要从多帧存储器获得像素数据，或者不需要重新存储在高速缓冲 存储器。因此，能够减少多帧存储器的平均带宽。
进而最好是所述第二运动检测可否判断单元，仅在用于所述第二运动 检测的像素数据包含在下列区域的情况下判断为能够进行所述第二运动检 测，所述区域是存储在所述高速缓冲存储器的像素数据在参考图片上所占 的区域—t中的、预先^l定的一部分区域。
具体而言，所述预先规定的一部分区域是存储在所述高速缓冲存储器 的像素数据在参考图片上所占的区域之中的、在纵方向上被加以限制的区 域。
而且，所述预先规定的一部分区域是存储在所述高速缓冲存储器的像 素数据在参考图片上所占的区域之中的、在右方向上被加以限制的区域。
而且，所述预先规定的一部分区域是存储在所述高速缓冲存储器的像 素数据在参考图片上所占的区域之中的、在左方向上被加以限制的区域。
而且，所述预先规定的一部分区域是存储在所述高速缓冲存储器的像 素数据在参考图片上所占的区域之中的、在纵方向和横方向上都被加以限 制的区域。
判断存储在高速缓冲存储器的图像数据中是否存在第二运动检测单元 参考的像素数据的区域，可以不管存储在高速缓冲存储器的图像数据的形 状变得单纯。因此，第二运动检测可否判断单元的判断变得简单。进而最好是所述高速缓冲存储器只存储有构成一幅参考图片的像素数据中的、包含在规定数的宏块行中的宏块的像素数据，每当成为所述第一运动检测对象的宏块被更新时，所述被存储的宏块中的最上行和最下行的宏块的像素数据就被更新。
还能抑制从进行第一运动检测时必要的多帧存储器到高速缓沖存储器的像素数据的传输，所以能够进一步减少多帧存储器的平均带宽。
进而最好是所述的运动检测装置还包括第二运动检测可否判断单元，仅在用于所述第二运动检测的像素数据存储在所述高速缓冲存储器的情况下，判断为能够进行所述第二运动检测，所述第二运动检测可否判断单元进行所述第二运动检测可否的判断，该判断是从存储在所述高速缓冲存储器的宏块中，将每当成为所述第一运动检测对象的宏块被更新时就被更新的宏块除外后而被进行的。
不管高速缓冲存储器更新的时机，可以判断是否能够进行第二运动检测。因此，第二运动检测可否判断单元的判断变得简单。
进而最好是所述第二运动检测单元，只利用存储在所述高速缓冲存储
器的所述参考图片的像素数据进行所述第二运动检测。
在对难以确保传输的带宽的多帧存储器和局部存储器的平均带宽一律
不增加的情况下，从第一运动检测的搜索范围之外也能够进行第二运动检
进而最好是所述第二运动检测是不需要进行预测运动矢量和运动矢量之间的差分处理的运动检测。
在由第二运动检测单元进行的运动检测结果的编码中，因为不需要对运动矢量预想差分进行编码，所以能够縮短平均编码长。
进而最好是所述第二运动检测是直接预测或者跳跃预测。
在直接预测中不需要编码运动矢量预想差分，并且跳跃预测中不需要编码差分像素信息，所以能够缩短平均编码长。
进而最好是所述运动检测装置由一个芯片构成。
高速缓冲存储器、局部存储器与运动检测单元构成在单一的芯片上，所以这些存储器的带宽变得容易确保。
另外，本发明不仅可以作为包括这样特征性单元的运动检测装置来实
21现，而且作为将运动检测装置包括的特征性单元作为步骤的运动检测方法 来实现，也能作为用于使计算机执行运动检测方法中包括的特征性步骤的
程序来实现。并且，也可以将该程序记录在只读光盘(CD —ROM: Compact Disc—Read Only Memory)等记录介质或通过因特网等通信网络来传输。 根据本发明，在通过安装搜索范围分量的局部存储器而使从帧存储器 传输数据的带宽减少了的系统中，可以提供一种既能够抑制存储器安装的 成本，又能够对应于直接预测的运动检测装置。


图1是表示以往的运动图像编码装置的结构的方框图。
图2是表示以往的运动图像解码装置的结构的方框图。
图3是表示运动检测的工作的模式图。
图4是实现以往的运动检测功能的第一方框图。
图5是表示用于进行以往的运动检测的存储器管理的第一模式图。
图6是实现以往的运动检测功能的第二方框图。
图7是表示用于进行以往的运动检测的存储器管理的第二模式图。
图8是表示用于进行以往的运动检测的存储器管理的第三模式图。
图9是表示以往的运动检测处理的流程图。
图IOA是表示对从车窗看到的风景进行运动检测的工作的模式图。
图10B是表示对从车窗看到的风景进行运动检测的工作的模式图。
图11是表示实现本发明的第一运动检测装置的结构的方框图。
图12是表示运动检测范围扩充的模式图。
图13是表示本发明的运动检测处理的流程图。
图14是表示实现本发明的第二运动检测装置的结构的方框图。
图15是说明运动检测范围的限制的模式图。
图16A是表示在本发明中对从车窗看到的风景进行运动检测的工作的 模式图。
图16B是表示在本发明中对从车窗看到的风景进行运动检测的工作的 模式图。
图17是实现H.264记录器的AV处理部的方框图。图18A是根据计算机系统实施本发明的情况的说明图。
图18B是根据计算机系统实施本发明的情况的说明图。图18C是根据计算机系统实施本发明的情况的说明图。
符号说明
100， 200运动检测器106选择器108直接预测器110访问标志存储部112， 204直接判断器504多帧存储器702局部存储器704通常的运动检测部802高速缓冲存储器
具体实施例方式
(实施例1)
下面，参照图11至图13对本发明的实施例l进行说明。
图11是表示实现本发明的第一运动检测装置的结构的方框图。在图11
中，对于与图4相同编号的处理部，因为具有相同的功能，适当省略其说明。
第一运动检测装置包括多帧存储器504和运动检测器100。运动检测器100，除了图4示出的运动检测器506的结构之外，还包
括选择器106、直接预测器108、访问标志存储部110、以及直接判断器
112。
运动检测器100进行下述工作，进行包括直接预测的运动检测。另外，通常的运动检测部704作为第一运动检测单元，直接预测器108作为第二运动检测单元，选择器106作为选择单元，访问标志存储部IIO及直接判断器112作为执行控制单元来发挥作用。
首先，在进行通常的运动检测的情况下、与以往技术中说明的处理流
23程一样，存储在多帧存储器504的像素数据，作为参考像素MEpel第一次 存储到局部存储器702。存储在局部存储器702的像素数据，作为参考像 素LMEpel输入到通常的运动检测部704。通常的运动检测部704利用被 输入的参考像素LMEpel进行通常的运动检测。局部存储器702中存储有 像素数据，即作为相当于搜索范围分量的像素数据和编码对象宏块移动的 时候作为搜索范围而必要的程度的像素数据。例如，搜索如图5—样的区 域的例子中，局部存储器702最好是存储有纵向三宏块和横向四宏块的像 素数据。当然，按照搜索范围的大小等能够存储的区域可能会有所增减。 其次，为了简化，仅对于用空间直接模式进行直接预测的情况进行说明。
在直接预测中，利用周边宏块的运动矢量信息，来确定直接预测用运 动矢量dirMV，该直接预测用运动矢量dirMV被输入到直接判断器112。 而且，将是否进行直接预测的控制信息作为访问标志存储在访问标志存储 部110中。访问标志作为标志信号AFsig被输入到直接判断器112。
在直接判断器112中的访问标志表示的控制内容可以考虑几个内容， 例如，按照运动检测器100的安装方法可以有下列1) 4)等内容。
1) .仅在局部存储器702中包含直接预测时使用的所有像素数据的情况 下，进行直接预测，只要有一部分没有包括，就不进行直接预测。
2) .在局部存储器702中只要包含了一部分直接预测时使用的像素数据 时进行直接预测， 一点也没有包含的情况不进行直接预测。
3) .从存储在局部存储器702的区域离得较远的图片空间中存在直接预 测时使用的像素数据的情况下，不进行直接预测。
4) .多帧存储器504和局部存储器702之间的总线的分配带宽没有余量 的情况下，不进行直接预测。
导入访问标志的一个目的在于，抑制多帧存储器504和局部存储器702
之间的数据传输带宽的增加。例如采用了如l)一样的控制方法的情况下， 具有一律不增加多帧存储器504和局部存储器702之间的数据传输带宽的 效果。但是，只进行该控制，就导致仅在搜索范围内包含全部参考像素时 才进行直接预测，所以与以往方法相比较效果不明显。在采用了如2)和3) 一样的控制方法的情况下，具有既抑制多帧存储器504和局部存储器702 之间的数据传输带宽，又能够进行直接预测的效果。在采用了如4)一样的
24控制方法的情况下，具有能够按照系统整体的状况进行直接预测的效果。而且，当然能够组合1)至4)的控制方法。例如可以进行如下控制，在带宽
有余量时进行直接预测,而在带宽没有余量时只有在局部存储器702内包含
所有直接预测时使用的数据的情况下才进行直接预测。而且，还可以考虑
其他的控制方法。例如，可以考虑只有在局部存储器702内存在一半以上的直接预测时使用的数据时，才进行直接预测的控制。
直接判断器112，根据直接预测用运动矢量dirMV和标志信号AFsig，判断是否进行直接预测，以及判断从哪个存储器获得直接预测时使用的像素数据，并将判断结果作为判断结果信号DJsig输出到选择器106和直接预测器108。选择器106，按照判断结果信号DJsig，直接预测时使用的像素数据存在于局部存储器702的情况下，选择存储在局部存储器702的参考像素LMEpel，将被选择的参考像素LMEpel作为参考像素DPpel输出到直接预测器108。而且，选择器106，在直接预测时使用的像素数据不存在于局部存储器702的情况下，选择存储在多帧存储器504的参考像素MEpel，将被选择的参考像素MEpel作为参考像素DPpel输出到直接预测器108。直接预测器108，利用输入像素数据的参考像素DPpel进行运云U偿，做出预卿l图俊。
最后，在运动检测器100中，由未图示的判断器比较利用通常的运动检测部704时的编码成本和利用直接预测器108时的编码成本，将编码成本少的一方作为模式判断结果而采用。采用了通常的运动检测的情况下，与图1示出的以往的运动图像编码装置的处理的流程相同，运动矢量MV被输出，与预测运动矢量PredMV之间的差分，即运动矢量预测差分DifMV被编码。而且，采用了直接预测的情况下没有必要编码运动矢量预测差分DifMV，能够减少编码量。
通过进行上述编码处理，既能够将多帧存储器504和局部存储器702之间的带宽抑制到最低限度，又能够对局部存储器702里不存在的区域进行直接预测，从而能够实现减少编码量。
图12是表示运动检测范围扩充的模式图，将上述工作以视觉角度来说明。而且，图13是表示本发明的运动检测处理的流程图。下面，利用图12及图13来说明工作。在图12中，帧F2N—1和帧F2N是进行编码的图片，帧F2N—1是时间上比帧F2N旧的图片。
例如，编码帧F2N的宏块mb2的情况下，通常的运动检测部704，将帧F2N—1作为参考图像，为了进行通常的运动检测而利用存储在局部存储器702的运动矢量搜索范围srchArea内的参考像素LMEpel，来搜索运动矢量。搜索的结果，通常的运动检测部704，判断宏块mb2和包含椭圆的一部分的区域srchBlock之间的相关高，检测运动矢量MV(S301)。
另一方面，在直接预测中能够将从局部存储器702中包含的范围到扩充的区域dirArea为止作为参考图像来使用。本发明的实施例1中，因为也能够参考多帧存储器504中包含的范围，所以能够参考帧F2N—1的全部，不过，在这里图示的例子是进行如上述3)—样的控制，将被扩充的区域dirArea限制在直接预测能够使用的范围的情况。
其次，直接判断器112，判断被扩充的区域dirArea中是否包含由直接预测被生成的直接预测用运动矢量dirMV(S302)。在被判断为被扩充的区域dkArea中包含由直接预测被生成的直接预测用运动矢量dirMV的情况下(S302的"是")，选择器106从多帧存储器504获得直接预测参考区域dirBlock的像素数据。而且，直接预测器108算出编码成本(S303)。
在被判断为被扩充的区域dirArea中没有包含由直接预测被生成的直接预测用运动矢量dirMV的情况下(S302的"否")，直接预测器108从编码模式的候选中排除直接预测(S304)。在此，包括S301的过程P300和包括S302 S304的过程P301可以并行处理。
过程P300和过程P301结束时，对采用了运动矢量MV时的编码成本与进行了直接预测时的编码成本进行比较(S305)。
在被判断为直接预测的编码成本低的情况下(S305的"是")，作为直接预测不需要对运动矢量预测差分DifMV进行编码，来进行编码处理
(5306) 。而且，在被判断为通常的运动检测的编码成本低的情况下，作为通常的画面间预测，包括运动矢量预测差分DifMV来进行编码处理
(5307) 。但是，在S304中直接预测从编码模式的候选中被排除的情况下，不在S305进行编码成本的判断，而是在S307中作为通常的画面间预测来进行编码处理。
此外，在实施例1中是输入到直接预测器108的像素数据的输入源在以是这样的结构，进行直接预测的时候始终从多帧存储器504获得像素数据。根据该结构能够简化数据获得路径。而且， 一般来说有可能成为这样的结构，局部存储器702和通常的运动检测部704 之间的像素数据传输中，定常地使用最大限度的总线宽度。因此，即使直 接预测的时候从多帧存储器504获得像素数据，也不会给局部存储器702 和通常的运动检测部704的总线传输能力带来影响。另外，本实施例的运动检测器100，为了确保在内部的总线传输能力(例 如从局部存储器702到通常的运动检测部704的像素数据传输)，最好是以 单芯片来构成。另一方面多帧存储器504需要大容量，所以通常是作为别 的芯片来外置。(实施例2)其次，参照图14至图16B来说明本发明的实施例2。图14是表示实现本发明的第二运动检测装置的结构的方框图。在该图 中，对于与图ll相同编号的处理部，因为具有相同的功能，适当省略其说 明。第二运动检测装置包括多帧存储器504以及运动检测器200。 ;云^^v，l;^ 9nn,险了図ii S屮.的沄^i古合，l哭ir>n的娃紛々々H不句枉在多帧存储器504和局部存储器702之间的高速缓冲存储器802。而且， 运动检测器200不具有运动检测器100具有的访问标志存储部110。高速 缓冲存储器802的存储容量比局部存储器702存储容量大，且比多帧存储 器504存储容量小。运动检测器200进行以下说明的工作，进行包括直接预测的运动检测。 另外，通常的运动检测部704作为第一运动检测单元，直接预测器108作 为第二运动检测单元，选择器106作为选择单元，直接判断器204作为第 二运动检测可否判断单元，来发挥作用。首先，在进行通常的运动检测的情况下，与说明以往技术的处理的流 程相同，存储在多帧存储器504的像素数据，作为参考像素MEpel第一次 存储在高速缓冲存储器802中。存储在多帧存储器504的像素数据，作为 参考像素CMEpel第二次存储在局部存储器702中。存储在局部存储器702 的像素数据作为参考像素LMEpel被输入到通常的运动检测部704。通常的运动检测部704，利用被输入的参考像素LMEpel迸行通常的运动检测。 局部存储器702中存储有相当于搜索范围分量的像素数据、以及作为编码 对象的宏块移动时作为搜索范围所必要的程度的像素数据。例如，如果是 搜索如图5 —样的区域的例子，局部存储器702最好是存储纵向三宏块和 横向四宏块的像素数据。当然，按照搜索范围的大小等被存储的区域可以 有增减。另一方面，下面说明进行直接预测的情况，不过，与实施例1相 同，为了简化仅对空间直接模式进行说明。直接预测中，利用周边宏块的运动矢量信息，直接预测用运动矢量 dirMV被确定，该直接预测用运动矢量dirMV被输入到直接判断器204。直接判断器204，根据直接预测用运动矢量dirMV，判断是否进行直 接预测、以及判断从哪个存储器获得直接预测时使用的像素数据，并将判 断结果作为判断结果信号DJsig输出到选择器106和直接预测器108。选 择器106，按照判断结果信号DJsig，在直接预测时使用的像素数据存在 于局部存储器702的情况下，选择存储在局部存储器702的参考像素 LMEpel，将被选择的参考像素LMEpel作为参考像素DPpel输出到直接 预测器108。而且，选择器106，在直接预测时使用的像素数据不在局部 存储器702，而在高速缓冲存储器802中的情况下，选择存储在高速缓冲 存储器802的参考像素CMEpel，作为参考像素DPpel输出到直接预测器 108。直接预测器108，利用输入像素数据的参考像素DPpel进行运动补 偿，制作出预测图像。最后，在运动检测器200中，由未图示的判断器来比较利用通常的运 动检测部704时的编码成本和利用直接预测器108时的编码成本，将编码 成本少的一方作为模式判断结果而被采用。通常的运动检测中，与图1示 出的以往的运动图像编码装置的处理的流程相同，运动矢量MV被输出， 与预测运动矢量PredMV之间的差分即运动矢量预测差分DifMV被编码。 而且，在选择了直接预测的情况下没有必要编码运动矢量预测差分DifMV， 能够减少编码量。本实施例的一个特征在于下述结构，即不是从多帧存储器504，而是 只从高速缓冲存储器802获得直接预测时使用的像素数据的结构。因为多 数情况下多帧存储器504通常作为外部存储器而外置，所以确保传输像素数据的带宽是比较困难的。然而，做成本实施例的结构，就能够一律不增 加与外置存储器之间的传输带宽，也能够从搜索范围之外进行直接预测。 另外，与实施例l组合，做成从多帧存储器504也能够进行直接预测的结 构的时候，具有与实施例1同样的效果。进而，高速缓冲存储器本身对于确保通常的运动预测中的传输的带宽 也有贡献，所以具有这样的优点，为了对应直接预测而追加的安装存储器 的成本变得不需要。根据进行上述的编码处理，无需增加多帧存储器504的传输量就能扩 充直接预测的范围，而且，既能够对高速缓冲存储器802和局部存储器702 的带宽抑制到最小限度，又能够对局部存储器702中不存在的区域进行直 接预测。根据这些，能够实现减少编码量。另外，本实施例中是将输入到直接预测器108的像素数据的输入源在选择器106进行切换，不过，可以做成这样的结构，进行直接预测的时候，始终从高速缓冲存储器802获得像素数据。g卩，从局部存储器702至选择器106的路径不存在的结构。通过做成这样的结构，能够简化数据获得路径。而且， 一般来说有可能成为这样的结构，局部存储器702和通常的运 a於、lil叙7fH今向的俛表步&新"去^^由^ 皆+fU击田县4-限^的p姊亩F^因此，即使是做成这样的结构，也不会影响局部存储器702与通常的运动 检测部704的总线传输能力。另外，本实施例的运动检测器200，为了确保在内部的总线传输能力(例 如从局部存储器702到通常的运动检测部704的像素数据传输)，最好是以 单芯片来构成。另一方面多帧存储器504需要大容量，所以通常是作为别 的芯片来外置。另外，本实施例示出了在多帧存储器504和局部存储器702之间明示 性地设置高速缓冲存储器802的结构，不过，也可以是由局部存储器702 存储像素数据的结构，该像素数据是相当于高速缓冲存储器802存储的行 缓冲器的程度的区域所包含的像素数据。可是，在这个情况下，存储在局 部存储器702的像素数据的图像上的范围作为搜索范围时，导致通常的运 动检测部704和局部存储器702之间的传输带宽极度增大。因而，可以做 成这样的结构，在通常的运动检测部704，局部存储器702存储的像素数29据中，仅在上述实施例示出的程度的特定的搜索范围内进行运动检测(图5 的例子中是相当于纵向三宏块，横向三宏块的程度的范围)，直接预测器108，从局部存储器702所包含的行缓冲器的全部区域中进行直接预测。 这个情况下，虽然局部存储器702的输出方的带宽增加，不过，既能够减 少全体存储容量又不增加外部存储器的带宽来提高直接预测的性能。另外， 在这个结构中也像后述一样，只要限制进行直接预测的范围就能够很容易 控制直接判断器204。(搜索扩充范围的条件追加)在实施例2的结构中，通过使用高速缓冲存储器802， 一边最大限度 减少与多帧存储器504之间的像素数据传输量， 一边扩充直接预测的能够 预测范围。在此，通过在直接预测的扩充范围追加条件，从而对直接判断 器204的控制变得容易，进而在安装方面也有好处。下面，继续说明直接 预测的能够预测扩充范围的条件。图15是说明运动检测范围的限制的模式图。图15(a) 图15(c)是以 宏块单位的时间顺序记载了局部存储器702的像素控制内容的图。图15(a) 中，使画面左端的宏块1002向右侧移位的宏块1004作为搜索中心的情况 下的区域1006(3宏块X3宏块)成为运动检测范围。而且，该图表示为了进 行下面的宏块处理(图15(b))，事先获得了以短斜线表示的3宏块的区域 1008。存储器管理状态从图15(a)向图15(b)、图15(c)的状态变化。图15(d) 图15(f)除了与图15(a) 图15(c)相同地表示每个宏块的局 部存储器702的搜索范围的管理状态，还追加记载了包括主要划上横线的 区域1010的高速缓冲存储器802的状态。这些图表示，高速缓冲存储器 802安装了例如(图片宽X3宏块行)的存储容量的状态。表示随着从图15(d) 到图15(e)、图15(f)搜索中心的宏块1004向右侧移位，在存储了上段以花 格表示的逻辑区域1012的物理存储器区域中，逐步存储下段的花格逻辑区 域1014的图像信息，从而逐步更新存储器状态的状况。如图15(d) 图15(f)—样的管理中，直接预测的能够预测范围作为高 速缓冲存储器802包含的全部的情况下，根据更新上述的存储器状态的逻 辑区域1012及1014中的更新时机，直接预测会变得困难。而且，存储在 高速缓冲存储器802的区域因为不是长方形，所以由直接判断器204进行30的区域判断变得复杂。于是，用于运动检测的搜索范围向右侧扩充的直接预测的能够预测扩充范围，限制在从存储在局部存储器702的搜索范围到固定宏块列为止的区域扩充。由此，像素数据的更新时机和直接预测区域的上下位置没有必要加在能够获得判断处理，所以能够简单地安装直接判断器204。例如， 在图15(d) 图15(f)中，将直接预测右侧的备用扩充范围，限制在从搜索 范围到2宏块列1016为止的区域时，没有必要在意更新的时机。当然， 关于限制到什么范围为止，按照高速缓冲存储器802的存储容量和更新的 算法，可适当进行变更。而且，图15(g) 图15(i)除了与图15(a) 图15(c)相同地表示每个宏 块的局部存储器702的搜索范围的管理状态，还追加记载了包含主要划上 横线的区域1018的高速缓冲存储器802的状态。与图15(d) 图15(f)的 不同之处在于，根据用图8来说明的存储器管理，减少了高速缓冲存储器 802的安装容量。这些图表示，高速缓冲存储器802安装了例如(图片宽X 3宏块行一 a)的存储容量的情况下的状态。表示随着从图15(g)到图15(h)、 图15d)搜索中心的宏块1004向右侧移位，在存储了上段的以花格表示的 逻辑区域1020的物理存储器区域中，逐步存储下段的花格逻辑区域1022 的图像信息，从而逐歩更新存储器状态的状况。在进行如图15(g) 图15d)—样的管理的前提下，直接预测的能够预 测范围作为高速缓冲存储器802包含的全部的情况下，即使是从用于运动 检测的探索范围到左侧，根据更新上述的存储器状态的以花格表示的逻辑 区域1020及1022的更新时机，直接预测也会变得困难。而且，同样存储 在高速缓冲存储器802的区域因为不是长方形，所以由直接判断器204进 行的区域判断变得复杂。于是，用于运动检测的搜索范围向左侧扩充的直接预测的能够预测扩 充范围，限制在从存储在局部存储器702的搜索范围到固定宏块列为止的 区域扩充。由此，像素数据的更新时机和直接预测区域的上下位置没有必 要加在能够获得判断处理，所以能够简单地安装直接判断器204。例如， 图15(d) 图15(f)中，将直接预测的备用扩充范围，限制在从搜索范围向 右侧2宏块列1024、向左侧l宏块列1026为止的区域时，没有必要在意更新的时机。当然，关于限制到什么范围为止，按照高速缓冲存储器802 的存储容量和更新的算法，可适当进行变更。
另外，也可以将扩充用于运动检测的搜索范围的直接预测的备用扩充 范围，在纵方向加以限制。例如，考虑如图15(d) 图15(f)—样的管理的 情况下，存储在高速缓冲存储器802的区域中最上行的宏块和最下行的宏 块，随着对象宏块的移动而被更新，不过，中央的2宏块行不会被更新。 于是，将直接预测的备用扩充范围限制在中央的2宏块行的宏块，从而直 接判断器204可以简单地判断是否进行直接预测。当然，关于限制到什么 范围为止，按照高速缓冲存储器802的存储容量和更新的算法，可适当进 行变更。进而，限制范围不只是纵方向加以限制，或者只是横方向加以限 制，而是根据高速缓冲存储器802的存储容量和更新的算法的不同，通过 在纵方向和横方向都加以限制，从而享接判断器204能够更加容易进行判 断。
(本实施例适用于车窗的图像)
图16A以及图16B是表示在本发明中对从车窗看到的风景进行运动检
测的工作的模式图。在图16A中，帧F6N—1表示与图10A示出的帧F18N —i相同的象老图像。p^no夷^W宫;审绥油左Y法器《n9 ;井行笞邻的
区域。区域P601表示在上述的直接判断器204中对直接预测的预测存储 扩充范围加以限制的区域。而且，该图中表示有，成为搜索中心的宏块 P602、进行运动检测的搜索范围P603、与图10B示出的帧F18N的编码 对象的宏块P1805相同的空间上的位置的周边P604、直接预测中被选择 的位置P605。在这里，与图IOA以及图IOB相同，假设搜索中心向右侧 移位的状态。
图16B表示，帧F18N的编码对象宏块currMB(宏块1805)、其周边 宏块即左相邻宏块mb6A、上相邻宏块mb6B、右上相邻宏块mb6C。为 了简略说明，例如，搜索中心与全体的运动同步发生偏离，所以针对由左 相邻宏块mb6A、上相邻宏块mb6B、右上相邻宏块mb6C组成的周边宏 块，假设一致的参考图像不能从帧F6N—1得到，分别适应画面内预测。
以所述假设为基础，进行对编码对象宏块cmrMB的处理的情况下， 周边宏块的编码模式全部成为画面内预测。因此，在空间直接模式的预测运动矢量成为O矢量。在此，假设进行运动检测的搜索范围P603，与对周 边宏块的运动检测范围相同偏离到右侧时，从搜索范围P603中选择编码 成本变高的参考图像。
在此，为了直接预测而生成的运动矢量是O矢量，直接判断器204进 行判断，即判断直接预测中被选择的位置P605是否包含在区域P601，该 区域P601是对直接预测的预测存储扩充范围加以限制的区域。其结果， 判断为位置P605包含在区域P601时，作为直接预测进行编码。据此，能 够进行比起画面内预测大大减少编码比特量的直接预测的编码。
另外，方框图(图11和图14等)的各功能块，典型的是作为集成电路 即LSI来实现。这些可以将每一个制成一个芯片，也可以将一部分或者全 部制成一个芯片。因为多帧存储器504等容量大，所以可安装在外置在LSI 的大容量SDRAM等上，不过也可以制成一个包或者一个芯片。
而且，在这里是称为LSI，但是按照集成度的不同，也可以被称为IC、 系统LSI、超级LSI、极超LSI等。还有，集成电路化的方法不局限于LSI， 也可以用专用电路或者通用处理器来实现。也可以利用在LSI制造之后可 编程的现场可编程门阵列(FPGA : Field Programmable Gate Array)或 ^T云fi本+A香始LST由都的由欧鱼^的旌坊或设，的百黄抝々卜裡恶 讲一光.
随着半导体技术的发展或者派生出别的技术出现了替换LSI的集成电路化 的技术时，当然可以使用该技术进行功能块的集成化。有可能适用生物技
(应用例1)
接着说明包含所述运动检测装置的运动图像编码装置的应用例。 图17是实现H.264记录器的AV处理部的方框图。AV处理部400表 示再生被数字压縮的声音及图像的DVD记录器和硬盘记录器等AV处理部。
AV处理部400包括流输入输出部402、存储器输入输出部404、 AV 控制部406、图像编码解码部408、声音编码解码部410、图像处理部412、 图像输入输出部414、声音处理部416、声音输入输出部418。
流输入输出部402是输入输出声音和图像的流数据exStr的处理部， 被连接在传输流数据和声音及图像的解码数据等数据的总线exBus、以及大容量存储装置(未图示)。
图像编码解码部408是进行图像的编码及解码的处理部，被连接在总
线6XBUS上。
在AV处理部400外部，设有存储流数据和编码数据和解码数据等数 据的存储器390，经由存储器输入输出部404，连接在总线exBus。
在此，图像编码解码部408包含图11和图14示出的运动检测装置。 流数据exStr包含编码信号Str，存储器390包含图11中示出的多帧存储 器504。
图像处理部412是对图像信号进行前处理及后处理的处理部，被连接 在总线exBus上。图像输入输出部414，将在图像处理部412进行了处理 的或者没有在图像处理部412进行处理只是通过的图像数据信号.作为图 像信号exVSig而输出到外部，而且，图像输入输出部414读取来自外部 的图像信号exVSig。
声音处理部416是对声音信号exASig进行前处理及后处理的处理部， 被连接在总线exBus上。声音输入输出部418，将在声音处理部416进行 了处理的或者没有在声音处理部416进行处理只是通过的声音数据信号， 作^n吉咅信号exASip"而输屮,刹外都.而日.声吝綸入S侖屮,都418读取来
自外部的声音信号exASig。而且，AV控制部406是进行AV处理部400
的整体控制的处理部。
在编码处理中，最先是图像信号exVSig被输入到图像输入输出部414， 且声音信号exASig输入到声音输入输出部418。
首先记录处理中，利用被输入到图像输入输出部414的图像信号 exVSig，在图像处理部412中进行滤波器处理和用于编码的特征量提取等。 而且，特征量提取后的图像信号exVSig，经由存储器输入输出部404作为 原图像存储到存储器390。其次，再次经由存储器输入输出部404从存储 器390向图像编码解码部408，传输原图像数据和参考图像数据。相反， 从图像编码解码部408向存储器390传输在图像编码解码部408被编码的 图像流数据和局部复原数据。
另一方面，利用被输入到声音输入输出部418的声音信号exASig，在 声音处理部416中进行滤波器处理和用于编码的特征量提取等，进行了特征量提取的声音信号exASig，经由存储器输入输出部404作为原声音数据 被存储到存储器390。其次，再次经由存储器输入输出部404从存储器390 取出原声音数据进行编码，被编码的声音数据，再次作为声音流数据被存 储到存储器390。
在编码处理的最后，将图像流、声音流以及其他的流信息作为一个流 数据来处理，经由流输入输出部402输出流数据exStr，在激光盘(DVD) 和硬盘(HDD)等大容量存储装置进行写入处理。
其次，在解码处理中进行如下工作。首先，通过从激光盘和硬盘和半 导体存储器等大容量存储装置，读出通过记录处理所存储的数据，从而声 音及图像的流信号经由流输入输出部402输入流数据exStr。该流数据 exStr所包含的图像流输入到图像编码解码部408，声音流输入到声音编码 解码部410。
根据图像编码解码部408被解码的图像数据，经由存储器输入输出部 404存储到存储器390。存储在存储器390的数据，在图像处理部412进 行噪声消除等加工处理。而且，也可能是存储在存储器390的图像数据再 次在图像编码解码部408中，作为画面间运动补偿预测的参考图片被使用。
而且，由声音编码解码部410解码的声音数据，经由存储器输入输出 部404存储到存储器390。针对存储在存储器390的数据，在声音处理部 416实施声响等加工处理。
最后， 一边取声音和图像的时间同步， 一边将在图像处理部412进行 了加工处理的数据经由图像输入输出部414作为图像信号exVSig输出， 并显示在电视画面等。在声音处理部416进行了加工处理的数据经由声音 输入输出部418作为声音信号exASig输出，最终通过扬声器等输出。 (应用例2)
进而，将用于将所述各实施例示出的运动图像解码装置根据软件来实 现的程序，记录在软磁盘等存储媒体，从而能够将所述各实施例示出的处 理，便于在独立的计算机系统中实施。
图18A 图18C是利用软磁盘由计算机系统实施的情况的说明图，所 述软磁盘存储了实现从所述实施例1到实施例2的运动图像解码装置的程
35图18A示出从软磁盘正面看的外形、断面结构、以及软磁盘，图18B 示出作为记录媒体主体的软磁盘的物理格式化的例子。软磁盘FD被内藏 在盒F内，该盘的表面，以同心圆形状从外周向内周形成了多个磁道Tr， 各磁道在角度方向上被分割为16扇区Se。从而，存储了所述程序的软磁 盘中，在所述软磁盘FD上分配的区域上，记录作为所述程序的运动图像 解码装置。
而且，图18C示出用于在软磁盘FD上进行上述程序的记录再生的结 构。将上述程序记录在软磁盘FD的情况下，从计算机系统Cs经由软磁盘 驱动器写入作为所述程序的运动图像解码装置。而且，由软磁盘内的程序 在计算机系统中构筑运动图像解码装置的情况下，由软磁盘驱动器从软磁 盘读出程序，并传输到计算机系统。
另外，在所述说明中作为记录媒体用软磁盘进行了说明，不过，也可 以用激光盘进行同样的处理。而且，记录媒体不限于此，IC卡、只读存储 器盒(ROM cassette)等，只要是能够记录程序就能实施同样的处理。
本发明的运动检测装置，针对超过通常的运动检测对应范围的参考图 像空间，通过有效利用直接预测，从而从外部存储器或者内部的广域高速 缓冲存储器获得像素数据，几乎不增加与外部存储器之间的传输带宽，而 且不增加安装存储容量，就能够扩充画面间预测的对象范围。
在此公开的实施例的所有部分都是例示，应当认为并不是加以限制的 内容。本发明的范围不在于上述的说明，是根据权利要求而表示的，并意 味着包括与权利要求同等的意思以及在范围内的所有变更。
本发明适用于例如利用了 H.264标准的HD图像大小等大视角的图片 大小所对应的便携式摄像机以及记录器等。
权利要求
1、一种运动检测装置，利用存储在多帧存储器的参考图片的像素数据，对构成编码对象图片的宏块进行运动检测，其特征在于，包括局部存储器，存储从所述多帧存储器读出的参考图片的像素数据中的、包含在第一范围的像素数据，该第一范围是第一运动检测时的搜索范围；第一运动检测单元，利用存储在所述局部存储器的像素数据，进行所述第一运动检测；以及第二运动检测单元，利用包含在第二范围的所述参考图片的像素数据进行第二运动检测，该第二运动检测采用了与所述第一运动检测不同的算法，所述第二范围是包含所述第一范围、且比该第一范围大的范围。
2、 如权利要求l所述的运动检测装置，其特征在于， 所述第二运动检测单元，利用存储在所述多帧存储器的所述参考图片的像素数据，进行所述第二运动检测。
3、 如权利要求2所述的运动检测装置，其特征在于， 还包括选择单元，在所述第二运动检测单元利用所述第一范围内的像 素数据进行所述第二运动检测的情况下，选择存储在所述局部存储器的像 素数据，在所述第二运动检测单元利用所述第二范围之内、且所述第一范 围之外的像素数据进行所述第二运动检测的情况下，选择存储在所述多帧 存储器的像素数据，所述第二运动检测单元，利用所述选择单元选择的像素数据进行所述 第二运动检测。
4、 如权利要求l所述的运动检测装置，其特征在于， 还包括执行控制单元，控制所述第二运动检测单元进行的所述第二运动检测的执行以及非执行。
5、 如权利要求4所述的运动检测装置，其特征在于，所述执行控制单元，仅在用于所述第二运动检测的像素数据的至少一 部分存储在所述局部存储器的情况下，使所述第二运动检测单元执行所述 第二运动检测。
6、 如权利要求l所述的运动检测装置，其特征在于，还包括高速缓冲存储器，存储有从所述多帧存储器读出的参考图片的 像素数据中的、包含在所述第二范围的像素数据，所述局部存储器，存储有从所述高速缓冲存储器读出的、包含在所述 第一范围的像素的像素数据，所述第二运动检测单元，利用存储在所述高速缓冲存储器的所述参考 图片的像素数据进行所述第二运动检测。
7、 如权利要求6所述的运动检测装置，其特征在于， 还包括选择单元，在所述第二运动检测单元利用所述第一范围内的像素数据进行所述第二运动检测的情况下，选择存储在所述局部存储器的像 素数据，在所述第二运动检测单元利用所述第二范围之内、且所述第一范 围之外的像素数据进行所述第二运动检测的情况下，选择存储在所述高速 缓冲存储器的像素数据，所述第二运动检测单元，利用所述选择单元选择的像素数据进行所述 第二运动检测。
8、 如权利要求6所述的运动检测装置，其特征在于， 还包括第二运动检测可否判断单元，仅在用于所述第二运动检测的像素数据存储在所述高速缓冲存储器的情况下，判断为能够进行所述第二运 动检测，所述第二运动检测单元，在所述第二运动检测可否判断单元判断为能 够进行所述第二运动检测的情况下，进行所述第二运动检测。
9、 如权利要求8所述的运动检测装置，其特征在于， 所述第二运动检测可否判断单元，仅在用于所述第二运动检测的像素数据包含在下列区域的情况下判断为能够进行所述第二运动检测，所述区 域是存储在所述高速缓冲存储器的像素数据在参考图片上所占的区域之中 的、预先规定的一部分区域。
10、 如权利要求9所述的运动检测装置，其特征在于， 所述预先规定的一部分区域是存储在所述高速缓冲存储器的像素数据 在参考图片上所占的区域之中的、在纵方向上被加以限制的区域。
11、 如权利要求9所述的运动检测装置，其特征在于， 所述预先规定的一部分区域是存储在所述高速缓冲存储器的像素数据在参考图片上所占的区域之中的、在右方向上被加以限制的区域。
12、 如权利要求9所述的运动检测装置，其特征在于， 所述预先规定的一部分区域是存储在所述高速缓冲存储器的像素数据在参考图片上所占的区域之中的、在左方向上被加以限制的区域。
13、 如权利要求9所述的运动检测装置，其特征在于， 所述预先规定的一部分区域是存储在所述高速缓冲存储器的像素数据在参考图片上所占的区域之中的、在纵方向和横方向上都被加以限制的区域。
14、 如权利要求6所述的运动检测装置，其特征在于， 所述高速缓冲存储器只存储有构成一幅参考图片的像素数据中的、包含在规定数的宏块行中的宏块的像素数据，每当成为所述第一运动检测对 象的宏块被更新时，所述被存储的宏块中的最上行和最下行的宏块的像素 数据就被更新。
15、 如权利要求14所述的运动检测装置，其特征在于， 还包括第二运动检测可否判断单元，仅在用于所述第二运动检测的像素数据存储在所述高速缓冲存储器的情况下，判断为能够进行所述第二运动检测，所述第二运动检测可否判断单元进行所述第二运动检测可否的判断， 该判断是从存储在所述高速缓冲存储器的宏块中，将每当成为所述第一运 动检测对象的宏块被更新时就被更新的宏块除外后而被进行的。
16、 如权利要求6所述的运动检测装置，其特征在于，所述第二运动检测单元，只利用存储在所述高速缓冲存储器的所述参 考图片的像素数据进行所述第二运动检测。
17、 如权利要求6所述的运动检测装置，其特征在于， 所述高速缓冲存储器的存储容量，比所述局部存储器的存储容量大、且比所述多帧存储器的存储容量小。
18、 如权利要求l所述的运动检测装置，其特征在于， 所述第二运动检测是不需要进行预测运动矢量和运动矢量之间的差分处理的运动检测。
19、 如权利要求18所述的运动检测装置，其特征在于， 所述第二运动检测是直接预测或者跳跃预测。
20、 如权利要求l所述的运动检测装置，其特征在于， 所述运动检测装置由一个芯片构成。
21、 如权利要求l所述的运动检测装置，其特征在于， 还包括所述多帧存储器。
22、 一种运动检测方法，利用存储在多帧存储器的参考图片的像素数 据，对构成编码对象图片的宏块进行运动检测，其特征在于，包括第一运动检测步骤，利用从所述多帧存储器读出的参考图片的像素数 据中的、存储在局部存储器的包含在第一范围的所述参考图片的像素数据进行第一运动检测，该第一范围是所述第一运动检测时的搜索范围；以及 第二运动检测步骤，利用包含在第二范围的所述参考图片的像素数据 进行第二运动检测，该第二运动检测采用了与所述第一运动检测不同的算 法，所述第二范围是包含所述第一范围、且比该第一范围大的范围。
23、 一种运动检测程序，利用存储在多帧存储器的参考图片的像素数 据，对构成编码对象图片的宏块进行运动检测，所述运动检测程序使计算 机执行以下步骤第一运动检测步骤，利用从所述多帧存储器读出的参考图片的像素数 据中的、存储在局部存储器的包含在第一范围的所述参考图片的像素数据 进行第一运动检测，该第一范围是所述第一运动检测时的搜索范围；以及第二运动检测步骤，利用包含在第二范围的所述参考图片的像素数据 进行第二运动检测，该第二运动检测采用了与所述第一运动检测不同的算 法，所述第二范围是包含所述第一范围、且比该第一范围大的范围。
24、 一种运动检测装置，利用参考图片的像素数据，对构成编码对象图片的宏块进行运动检测，其特征在于，包括第一存储器，存储所述参考图片内的像素中的、包含在运动检测时的 搜索范围的像素的像素数据；第二存储器，比所述第一存储器容量大，所述第二存储器存储向所述 第一存储器传输的像素数据；第一运动检测单元，利用存储在所述第一存储器的像素数据，进行第 一运动检测；以及第二运动检测单元，利用存储在所述第二存储器的像素数据进行第二 运动检测，该第二运动检测采用了与所述第一运动检测不同的算法。
25、 一种运动检测装置，利用存储在多帧存储器的参考图片的像素数 据，对构成编码对象图片的宏块进行运动检测，其特征在于，包括局部存储器，存储从所述多帧存储器读出的参考图片内的像素中的、 运动检测时的搜索范围以及与该搜索范围相邻的扩大范围内的像素的像素数据；第一运动检测单元，利用存储在所述局部存储器的像素数据中的、包 含在所述搜索范围的像素数据，进行第一运动检测；以及第二运动检测单元，利用存储在所述局部存储器的像素数据中的、包 含在所述搜索范围以及所述扩大范围的像素数据进行第二运动检测，该第 二运动检测采用了与所述第一运动检测不同的算法。
26、如权利要求25所述的运动检测装置，其特征在于， 所述扩大范围是相当于包含所述搜索范围的中心的像素的多个行的范围。
全文摘要
运动检测装置，利用存储在多帧存储器(504)的参考图片的像素数据，对构成编码对象图片的宏块进行运动检测，其包括局部存储器(702)，存储从所述多帧存储器(504)读出的参考图片的像素数据中的、包含在第一范围的像素数据，该第一范围是第一运动检测时的搜索范围；通常的运动检测部(704)，利用存储在所述局部存储器(702)的像素数据，进行所述第一运动检测；以及直接预测器(108)，利用包含在第二范围的所述参考图片的像素数据进行第二运动检测，该第二运动检测采用了与所述第一运动检测不同的算法，所述第二范围是包含所述第一范围、且比该第一范围大的范围。
文档编号H04N7/32GK101663899SQ20088001282
公开日2010年3月3日 申请日期2008年4月3日 优先权日2007年4月26日
发明者井口雅保, 冈田耕平, 高桥润 申请人:松下电器产业株式会社