专利名称：转换运动图像数据以及再现运动图像数据的方法和设备的制作方法
技术领域：
本发明涉及转换运动图像数据的方法和设备，也涉及再现运动图像数据的方法和设备。更具体地说，本发明涉及转换运动图像数据的这样一种方法和设备，该方法使得从单板固态彩色图像传感器输出的图像数据依据针对每一块图像数据测量到的运动量被压缩成允许再现图像质量没有明显恶化的高质量图像数据的形式；本发明也涉及再现高质量运动图像数据的方法和设备。
背景技术：
单板固态彩色图像传感器具有安装在图像传感器的每个像素的表面上的彩色滤波器，使得只有光的特殊波长分量可以通过该滤波器，并到达图像传感器。图像的每一点的彩色由通过多个像素感测到的彩色分量的组合来代表。安装在各个像素的表面上的彩色滤波器具有依据像素的位置而分配给它的不同彩色。图1示出了彩色滤波器阵列的彩色图样的示例。在图1所示的示例中，红(R)、绿(G)和蓝(B)中的每一种彩色都由四个像素所构成的一个组来代表。在图1所示的彩色图样被称为Bayer阵列。在上述的单板固态彩色图像传感器中，每一个像素提供从R、G和B中选出的一种彩色的信息。从邻近像素提供的彩色信息的插值来获取其它缺失的彩色分量。这种再现需要的彩色分量来为每个像素获取一组完整的彩色分量的处理，被称为去马赛克(demosaicing)。
图2示出了包括单板固态彩色图像传感器的图像拾取设备的示例。在通过光学透镜1的光的各种彩色分量中，只有通过彩色滤波器2的特殊彩色分量到达单板固态彩色图像传感器。固态图像传感器3将光学图像转换成电子信号，并以电信号的形式输出所得图像信号。输出图像信号将由数-模转换器(未示出)转换成数字信号，并供给摄像机信号处理单元4。在摄像机信号处理单元4中，图像信号经历诸如剪切、伽马校正、白平衡校正和去马赛克之类的处理。所得图像信号供给运动图像压缩器5。运动图像压缩器5压缩运动图像信号的数据量，并以预定运动图像格式输出经压缩的运动图像信号。记录单元6以压缩形式将运动图像数据记录在记录介质上。运动图像数据的压缩并不是必须的。然而，近年来，图像传感器的像素数量已经有了很大的提高，这引起图像数据的数据量的增加。为了对付具有如此大量的数据量的运动图像数据，通用的方法是压缩运动图像数据。数据压缩也有利于实现缩小设备尺寸的目的。
例如，当运动图像数据存储在诸如闪速存储器、硬盘或DVD之类的存储介质上时，或者当运动图像数据经由网络传输时，压缩运动图像数据来缩小其数据量。近年来，通过例如HD(高分辨率)技术，也实现了运动图像数据的质量方面的提高。然而，数据质量的改善的结果是数据量方面的增加。考虑到上述原因，正在开展深入的研究和开发活动来提高压缩运动图像数据的压缩率，最小化在通过解压缩压缩图像数据来再现图像数据时出现的图像质量方面的恶化。
压缩运动图像数据的已知方法是抽取包括在每一帧运动图像数据中的像素。这种方法称为空间抽取法。另一种方法是抽取帧(作为帧抽取的结果，帧速率降低)。这种方法称为时间抽取法。
通过执行这样的数据转换，可以缩小数据量，并使得在存储介质上有效地存储数据或经由网络有效地传输数据成为可能。然而，数据的压缩引起图像质量的恶化。也就是说，从压缩图像数据再现的数据不如原始数据那么好。当原始数据为高分辨率图像时，图像质量恶化问题尤其严重。
为了降低图像质量的这种恶化，已经提出很多种技术。例如，日本未审专利申请公开号2003-169284公开了一种图像压缩技术，其中参数是根据指示图像亮度的信息设置的，并且压缩模式依据图像亮度进行切换。日本未审专利申请公开号2002-27466公开了一种图像压缩技术，其中屏幕被划分为多个区域，并且为每个区域确定最佳压缩模式。
发明内容
然而，通过基于从图像数据检测到的各种特性选择最佳压缩模式来改善数据质量的已知技术，不能有效地抑制由于图像数据的压缩/解压缩而引起的图像质量方面的恶化。具体地说，使用单板固态彩色图像传感器获取的图像数据，具有在图像数据通过利用邻近像素的彩色信息执行插值过程来为每个像素再现一组完整的彩色分量以进行去马赛克时出现的问题，如下所述。
(1)当从单板固态彩色图像传感器输出的彩色马赛克信号被去马赛克时，存在这样的可能性彩色插值在边缘区域不正确地执行，并且不正确的插值引起不真实彩色(false color)。
(2)当从单板固态彩色图像传感器输出的彩色马赛克信号被去马赛克时，彩色插值滤波引起空间频带缩小。
(3)当抽取的图像信号由观众(人)观察到时，由观众的视觉系统时间上积分(temporally integrate)该信号。这种时间积分(temporal integration)引起类似空间低通滤波器引起的那种效应。
在使用单板固态彩色图像传感器的传统图像拾取设备中，当压缩具有(1)和(2)所述的、空间频带缩小以及加彩色产生的问题的图像信号时，出现(3)所述的问题。因此，观众最终觉察到的图像具有小于原始信号的空间频带的空间频带。
考虑到上述问题，本发明提出了一种转换从单板固态彩色图像传感器输出的运动图像数据的方法和设备，以及一种再现运动图像数据的方法和设备，以使得在保持高图像质量而不引起空间频带显著缩小的同时，转换和逆转换运动图像数据，即使使用人类视觉的特性以高压缩率压缩运动图像也如此。
更具体地说，根据本发明的实施例的运动图像数据转换设备包括输入单元，配置成以其每个像素具有单色分量数据的彩色马赛克图像数据的形式输入运动图像数据；以及空间抽取器，配置成从输入单元输入运动图像数据，并分别对彩色马赛克图像数据的每一彩色分量数据执行空间抽取处理，其中，空间抽取器为彩色马赛克图像数据的每一彩色分量数据选择一个或多个代表值，并产生由所选择的代表值组成的、空间上抽取的数据。
在关于彩色马赛克图像数据的每一彩色分量数据的代表值选择过程中，空间抽取器可以设置样本点以便在依据彩色分量而定的不同位置处选择各自彩色分量数据的代表值，并且可以将样本点的像素值用作代表值。
在关于彩色马赛克图像数据的每一彩色分量数据的代表值选择过程中，如果在对应于获取代表值的感兴趣样本点的像素位置处没有定义要处理的彩色分量的任何数据，则空间抽取器通过使用具有与要在感兴趣样本点获取的彩色同样的彩色的彩色分量数据的邻近像素的像素值执行插值过程，计算在感兴趣样本点处的像素值，并且空间抽取器可以将所计算出的像素值用作代表值。
在关于彩色马赛克图像数据的每一彩色分量数据的代表值选择过程中，空间抽取器可以设置样本点以便在依据像素线(pixel line)而定的不同位置处选择代表值，并且在依据像素线而定的不同相位执行空间抽取处理。
运动图像数据转换设备还可以包括块划分器，配置成从输入单元接收运动图像数据，并将所接收到的运动图像数据以帧为基础划分成块，而空间抽取器可以从块划分器接收块数据，并以块为基础执行代表值选择处理。
运动图像数据转换设备还可以包括运动检测器，配置成在由块划分器产生的每一块中检测对象的运动量，而空间抽取器可以以基于由运动检测器检测到的运动信息确定的模式执行空间抽取处理。
在运动图像数据转换设备中，运动检测器可以基于运动图像数据的不同帧之间的比较，来检测运动矢量。
在运动图像数据转换设备中，空间抽取器可以在基于由运动检测器检测到的运动信息确定的空间抽取方向上执行空间抽取处理。
运动图像数据转换设备还可以包括时间抽取器，根据由运动检测器检测到的运动信息，可以执行空间抽取处理和时间抽取处理两者，或可以选择性地执行空间抽取处理或时间抽取处理之一。
运动图像数据转换设备还可以包括去马赛克单元，配置成基于彩色马赛克图像数据产生每一彩色分量的信号，并且在运动检测器所检测到的块间运动量等于或小于预定值时，可以在不执行空间抽取处理的情况下，执行去马赛克处理和时间抽取处理。
运动图像数据转换设备还可以包括单板彩色图像传感器，并且块划分器可以接收从单板彩色图像传感器输出的图像数据。
根据本发明的实施例，用于从经转换的运动图像数据中再现运动图像数据的运动图像数据再现设备包括空间解压缩单元，配置成接收每一帧经压缩运动图像数据的每一块的、空间上抽取的数据，并分别对每一彩色分量解压缩所接收到的数据，其中，空间解压缩单元在依据彩色分量数据的彩色而定的不同相位中执行解压缩处理。
在这种运动图像数据再现设备中，空间解压缩单元可以在依据像素线而定的不同相位中执行空间解压缩处理。
运动图像数据再现设备还可以包括时间解压缩单元，配置成执行时间解压缩处理，并且可以执行空间解压缩处理和时间解压缩处理两者，或者可以有选择地执行空间解压缩处理或时间解压缩处理之一。
运动图像数据再现设备可以接收指示每一块的抽取模式的抽取模式信息，并且根据抽取模式信息，可以执行空间解压缩处理和时间解压缩处理两者，或者可以有选择地执行空间解压缩处理和时间解压缩处理之一。
在运动图像数据再现设备中，空间解压缩单元可以根据由包括在抽取模式信息内的信息指示的空间抽取方向，执行空间解压缩处理。
根据本发明的实施例的转换运动图像数据的方法包括步骤以其每个像素具有单色分量数据的彩色马赛克图像数据的形式输入运动图像数据；以及分别对彩色马赛克图像数据的运动图像数据的每一彩色分量数据执行空间抽取处理，其中，空间抽取步骤包括为彩色马赛克图像数据的每一彩色分量数据选择一个或多个代表值，并产生由所选择的代表值组成的、空间上抽取的数据。
根据本发明的实施例，用于从经转换的运动图像数据中再现运动图像数据的方法包括步骤接收每一帧经压缩运动图像数据的每一块的、空间上抽取的数据；以及对每一彩色分量空间上解压缩空间上抽取的数据，其中，空间上解压缩在依据彩色分量数据而定的不同相位中执行。
如上所述，在本发明中，从单板固态彩色图像传感器输出的图像数据处于由像素组成的彩色马赛克图像数据的形式，每个像素具有依据像素位置而分配给它的一种彩色的像素值。彩色马赛克图像数据分别对每一彩色分量数据，以块为基础空间上进行抽取。空间抽取以依据感兴趣的块的运动量确定的模式来执行，从而抑制了空间模糊和不真实彩色的产生，进而实现高质量数据压缩和解压缩。
从下面参考附图的示范性实施例的描述，本发明的进一步的特征和优点将变得更加明白。注意到在本说明书中，术语“系统”用于描述多个装置的逻辑集合，并不需要将多个装置安装在单一外壳内。
图1是示出用在彩色滤波器中的彩色阵列的示例的图；图2是示出包括单板固态彩色图像传感器的图像拾取设备的示例的方框图；图3是示出使用超分辨率效应(super resolution effect)执行数据转换的运动图像数据转换设备的基本结构的方框图；图4是示出使用超分辨率效应执行数据转换的运动图像数据转换设备的基本结构的组成部分的方框图；图5A-5C是示出由运动图像数据转换设备的块处理单元执行的处理的图；图6是示出由运动图像数据转换设备的块处理单元执行的处理的图；图7A-7C是示出由运动图像数据转换设备的块处理单元执行的处理的图；图8是示出由运动图像数据转换设备的块处理单元执行的处理的图；图9A和9B是示出由运动图像数据转换设备执行的空间抽取处理的示例的图；图10是示出针对一系列帧(F1至F8)来说、输入到运动图像数据转换设备的图像的像素线(包括像素P1至P8)中的数据的示例的图；图11是示出通过解压缩对图10中所示的输入执行图9A所示的空间抽取处理所产生的压缩数据再现的一系列时间上连续的帧(F1至F8)的像素线(包括像素P1至P8)中的数据的示例的图；图12A和12B是示出模拟在观察从空间上抽取的图像数据再现的图像以便跟踪其运动部分时出现的时间积分的空间滤波器的图；图13是示出从单板固态彩色图像传感器输出的图像产生压缩数据的处理的图；图14是示出根据本发明的实施例的图像拾取设备的图；图15是示出重放由图14中所示的图像拾取设备拍摄并记录在记录介质上的运动图像的重放设备的图，该图还示出了显示重放的运动图像的显示器；图16是示出图14中所示的图像拾取设备的运动图像数据转换器的组成部分的方框图；图17是示出图15中所示的重放设备的运动图像数据转换器的组成部分的方框图；
图18是详细示出由图像拾取设备的运动图像数据转换器中的空间抽取器执行的处理的流程图；图19A至19G是示出由图像拾取设备的运动图像数据转换器中的空间抽取器设置代表点(样本点)的方式的示例的图；图20A至20G是示出由图像拾取设备的运动图像数据转换器中的空间抽取器设置代表点(样本点)的方式的示例的图；图21是示出Bayer阵列的示例的图，其中示出了其包括总共为4×8个元素的两个块；图22A至22D是示出设置采样点的方式以及以1/4空间抽取模式下的采样点、对每一个都具有Bayer阵列的R、G和B信号的4×4像素尺寸的两个块、执行空间抽取或空间解压缩的方式的图；图23A至23D是示出设置采样点的方式以及以1/2空间抽取模式下的采样点、对每一个都具有Bayer阵列的R、G和B信号的4×4像素尺寸的两个块、执行空间抽取或空间解压缩的方式的图；图24是示出对于每一个都具有4×4像素尺寸的两个块，从Bayer阵列图样不同地排列出来彩色阵列图样的示例的图；图25A至25D是示出设置采样点的方式以及以1/4空间抽取模式下的采样点、对包含排列在图24所示的彩色阵列图样中的像素的运动图像数据的R、G和B信号、执行空间抽取或空间解压缩的方式的图；图26A至26D是示出设置采样点的方式以及以1/2空间抽取模式下的采样点、对包含排列在图24所示的彩色阵列图样中的像素的运动图像数据的R、G和B信号、执行空间抽取或空间解压缩的方式的图；图27是示出包括在由重放设备执行的运动图像数据转换处理中的空间解压缩处理的组成部分的流程图；以及图28是示出包括补色(黄(Ye)、深红(Mg)和青(Cy))的组合的彩色滤波器图样的示例的图。
具体实施例方式
下面参照与附图相联系的具体实施例来描述转换运动图像数据的方法和设备以及再现运动图像数据的方法和设备。说明书将以下列顺序提供。
(1)使用超分辨率效应的运动图像数据转换设备的基本结构
(2)从单板固态彩色图像传感器输出的图像数据的转换以及图像数据的逆转换(1)使用超分辨率效应的运动图像数据转换设备的基本结构首先，描述使用本发明所基于的超分辨率效应的、压缩运动图像数据的运动图像数据转换设备的基本结构。这种基本结构的组成部分公开在由本发明人提交的日本专利申请第2003-412501号。运动图像数据转换设备配置成将图像划分成小块，并依据各个块的运动速度自适应地抽取像素或帧，从而实现运动图像数据的压缩。
图3示出运动图像数据转换设备10的基本结构的一个示例。这种结构公开在日本专利申请第2003-412501号中。这种运动图像数据转换设备10能够使用超分辨率效应转换运动图像数据，以使得在不引起图像质量方面的、观众可以察觉的恶化的情况下，缩小数据量。
超分辨率效应指的是在观众观察运动对象的图像以使得当对象运动时跟踪对象的特定点时，引起观众以高于实际分辨率的分辨率来察觉运动对象的图像的视觉效应。这种效应是基于引起观众察觉在特定时间段内给出的多个图像的总和的视觉特性。这种效应源于人类观众的视觉系统的时间积分功能，这被称为Bloch定律。其更详细的描述可以在例如“Visual InformationHandbook”(日本视觉协会编，第219-220页)中找到。众所周知，Bloch定律支持范围在25毫秒到100毫秒内的积分时间段，虽然该范围依据诸如背景光的强度之类的条件而变化。
图3中所示的运动图像数据转换设备10配置成使用由于时间上积分视觉刺激的人类视觉功能引起的超分辨率效应，执行运动图像数据转换，因此，数据在不产生观众可察觉的图像质量恶化的情况下被压缩。下面描述图3中所示的运动图像数据转换设备10的结构。
块划分器11将每一帧输入运动图像划分成每一个都包括预定数目的像素的块，并将产生的块供给运动检测器12。运动检测器12检测从块划分器11供给的每一块的运动量，并将指示运动量的数据与所述块一起传送到块处理器13。通过依据运动量对所述块执行运动图像转换处理(压缩处理)，块处理器13缩小运动检测器12所供给的块的数据量。块处理器13将产生的、具有缩小的数据量的块数据供给输出单元14。输出单元14组合块处理器13所供给的、具有缩小的数据量的各个块的数据，并以流数据的形式输出所得数据。
以下参照图4描述运动图像数据转换设备10的各个部分的组成部分。输入到运动图像数据转换设备10的每一帧运动图像都被供给块划分器11的图像存储单元21。图像存储单元21存储所供给的帧。每当已经在图像存储单元21中存储了N(N是一个整数)帧时，图像存储单元21就将该N帧供给块划分单元22，并且还将该N帧中的第M(第M次存储的)帧供给运动检测器12的运动检测单元31。例如，N＝4。
块划分单元22将图像存储单元21供给的N个连续的帧中的每一帧划分为具有预定大小(例如，8×8像素或16×16像素)的块，并将这些块输出到运动检测器12的块分发器32。块划分单元22还将存储在图像存储单元21中的N帧中的第P(第P次存储的)帧供给运动检测器12的运动检测单元31。注意到第P帧不同于第M帧。
接下来描述运动检测器12的组成部分。运动检测器12的运动检测单元31借助于例如关于图像存储单元21供给的第M帧的帧间块匹配，检测块划分器11的块划分单元22供给的第P帧的每一块的运动矢量。所检测到的运动矢量供给块分发器32。该运动矢量代表在水平方向(沿X轴)和垂直方向(沿Y轴)上的帧之间的运动量。为了提供运动检测的精确度，运动检测单元31可以放大图像，并且可以将放大图像的运动。
然后，运动检测器12的块分发器每次从块划分单元22接收N块(位于N帧相应的同一位置)，并且还从运动检测单元31接收指示所接收到的N块的第P帧的块运动的数据。块分发器32依据N块的运动量选择块处理器13的块处理单元51-53之一，并将所接收到的N块和指示其运动量的数据供给块处理单元51-53中被选取的那个。
更具体地说，当从运动检测单元31接收到的数据指示每一帧在水平方向(X)或垂直方向(Y)上的运动等于或大于2像素时，块分发器32将从块划分单元22接收到的N块和从运动检测单元31接收到的运动数据供给块处理单元51。在每帧在水平方向和垂直方向两者上的运动都小于2像素但等于或大于1像素的情况下，块分发器32将该N块和该运动数据供给块处理单元53。当运动具有任何其他值时，块分发器32将该N块和该运动数据供给块处理单元52。
也就是说，块分发器32依据从运动检测器12供给的数据所指示的运动量来确定最佳帧速和最佳空间分辨率，并且依据帧速和空间分辨率将块图像数据分发到块处理单元51-53。
以下描述块处理器13的组成部分。如上所述，块处理器13包括三个块处理单元51-53。块处理单元51依据从块分发器32接收到的数据所指示的运动量，对位于从运动检测器12的块分发器32供给的相应N帧的同一位置上的总共N块(在水平或垂直方向上具有等于或大于2像素/帧的运动)执行像素抽取(空间抽取)。
更具体地说，在每一块都包括4×4像素的情况下，当水平方向的运动量等于或大于2像素/帧时，块处理单元51在每个水平像素线中选择四个像素之一，并将所选取的像素的像素值用作每一线的代表值。在图5B的示例中，在水平线上的四个像素P00-P30中，只有P10用作代表值(样本点)，并丢弃其他像素值。类似地，P11用作四个像素P01-P31的代表值(样本点)，P12用作四个像素P02-P32的代表值(样本点)，而P13用作四个像素P03-P33的代表值(样本点)。
在每一块都包括4×4像素的情况下，当垂直方向的运动量等于或大于2像素/帧时，一个像素值用作每个垂直列的四个像素的代表值(样本值)。在图5C所示的示例中，P01用作四个像素P00-P03的代表值(样本点)，而并丢弃其他像素值。类似地，P11用作四个像素P10-P13的代表值(样本点)，P21用作四个像素P20-P23的代表值(样本点)，而P31用作四个像素P30-P33的代表值(样本点)。
块处理单元51对位于供给连续N帧的同一位置上的总共N块中的每一块，按照上述方式执行空间抽取。因此，每一块的数据量以1/4缩小，并且4块的总数据量也以1/4缩小。将具有以1/4缩小的数据量的4块的所得数据从块处理单元51供给输出单元14。
接下来描述由图4所示的块处理单元52执行的操作。图4所示的块处理单元52对位于从运动检测器12的块分发器32供给的连续N帧的同一位置上的、总共N块(在水平或垂直方向上具有小于1像素/帧的运动)执行帧抽取(时间抽取)。
更具体地说，如图6中所示，块处理单元52执行抽取，以使得在各自四个连续帧F1-F4的同一位置上的四个块Bi被抽取成从这四个块中选取的一个块(在图6所示的示例中，选取的是帧F1的块Bi)。将经由时间抽取将其总数据量被缩小到原始总数据的1/4倍的四个块的所得数据从块处理单元52供给输出单元14(即，共计一个块的数据)。所选取的那一块的图像数据用作各自四帧的块的代表数据。
块处理单元53对位于从运动检测器12的块分发器32供给的连续N帧的同一位置上的、总共N块(在水平和垂直方向两者上具有等于或大于1但小于2像素/帧的运动)执行帧抽取(时间抽取)。
在由块处理单元53执行的抽取处理中，与由块处理单元51执行的抽取处理不同，当在垂直方向上的运动等于或大于1但小于2像素/帧时，如果像图7A那样，每一块都包括4×4像素，则块处理单元53在每个水平线中选择四个像素中的两个，并将所选取的像素的像素值用作每一线的代表值，如图7B所示。在图7B的示例中，P00和P20用作一个水平线上的四个像素P00-P30的代表值(样本点)，并丢弃其他像素值。类似地，P01和P21用作四个像素P01-P31的代表值(样本点)，P02和P22用作四个像素P02-P32的代表值(样本点)，而P03和P23用作四个像素P03-P33的代表值(样本点)。
在垂直方向上的运动等于或大于1但小于2像素/帧的情况下，如果像图7A那样，每一块都包括4×4像素，则块处理单元53选取两个像素值用作每个垂直列的四个像素的代表值。在图7C所示的示例中，P00和P02用作四个像素P00-P03的代表值(样本点)，而并丢弃其他像素值。类似地，P10和P12用作四个像素P10-P13的代表值(样本点)，P20和P22用作四个像素P20-P23的代表值(样本点)，而P30和P32用作四个像素P30-P33的代表值(样本点)。
块处理单元53还执行帧抽取处理。更具体地说，从位于各自四个连续帧F1-F4的同一位置上的四块中选取两块，并将该四块抽取成两个所选取的块，从而抽取帧。也就是说，在由块处理单元53执行的帧抽取处理中，与由块处理单元52执行的帧抽取处理不同，从位于各自四个连续帧F1-F4的同一位置上的总共四块Bi中选取两块(在图8所示的示例中，为帧F1和F3的块)，并将该四块抽取成两个所选取的块从而(按1/2)抽取帧。所选取的两块的图像数据用作四帧的样本点数据。更具体地说，因为在上述参照图7描述的空间抽取中已经选取了八个样本点，因此从这两个块中选取了十六个样本点，并且这十六个样本点用作这四个帧的样本点数据。
用作块处理单元53对所供给的四块执行的抽取的结果，数据量经由空间抽取以1/2缩小，并且还经由时间抽取以1/2缩小，因此，四块的总数据量缩小为原始数据量的1/4(1/2×1/2)。将具有以1/4缩小的数据量的4块的所得数据从块处理单元53供给输出单元14。
输出单元14组合具有从块处理器13的块处理单元51-53供给的缩小了大小的各自N块的数据，并以流数据形式输出所得数据。
上述运动图像数据转换设备已经公开在本发明人提交的日本专利申请第2003-412501号中。在这种运动图像数据转换设备中，考虑到人类视觉的特性，依据每一小块运动图像的运动量来确定最佳帧速和空间分辨率，并且根据所确定的最佳帧速和空间分辨率压缩数据。也就是说，依据运动量并考虑到源于人类视觉系统的时间积分功能并且在人类眼睛跟踪运动对象时出现的超分辨效应，通过在与运动方向相同的方向上执行空间抽取来缩小数据量。
下面描述从经由上述设备执行的抽取处理产生的压缩数据再现图像数据，以及根据所再现的图像数据显示对象的运动图像以使得人类观众可以观察到运动图像的处理的示例。图9A和9B示出由上述运动图像数据转换设备执行的空间抽取处理的示例。图9A示出在图像具有大运动时以1/4压缩数据量的处理。当运动处于水平方向时，选取一个像素(P2)用作位于一个水平线中的四个连续像素(P1-P4)的代表像素。另一方面，在接收设备中，通过将代表像素(P2)分配给该水平线中的所述四个连续像素来执行解压缩。图9B示出在图像不具有大运动时以1/2压缩数据量的处理。当运动处于水平方向时，选取一个像素(P1)用作位于一个水平线中的两个连续像素(P1和P2)的代表像素。另一方面，在接收设备中，通过将代表像素(P1)分配给该水平线中的所述两个连续像素来执行解压缩。
如上所述，当人类观众观察包括在从经由图9A中的空间抽取产生的块数据再现的运动图像中的运动对象的图像时，出现特殊现象。图10示出输入到运动图像数据转换设备的原始图像的、时间上连续的帧(F1至F8)中的每一帧的像素线(包括像素P1至P8)之一的示例。即，关于八帧序列的多个像素线的每一个，示出还没有经历空间抽取的图像数据。
这里，假定图像包括以1像素/帧的速度向右运动的对象(A到H和T到Z)。如果观察对象以使得由An表示的部分被跟踪，那么，随着部分A运动，跟踪点(以1像素/帧的速度)向右运动。如果视觉系统对对应于八帧的入射光具有积分时间，则积分从帧F1到F8的信号。因为部分An总是位于跟踪点，因此，部分An的图像用作积分的结果被觉察到。这一点对于位于部分An的右边或左边并且以同样的速度运动的对象(A到H和T到Z)也是对的。因此，观众觉察到没有空间模糊的对象(A到H和T到Z)的清晰图像。
图11示出通过解压缩对图10中所示的输入图像数据执行图9A所示的空间抽取处理所产生的压缩数据而再现的一系列时间上连续的帧(F1至F8)的每一帧中的一个像素线中的像素(包括像素)。
如图9A所示，执行空间抽取处理以使得从连续的四个像素P1至P4选取一个像素(P2)用作这四个像素的代表像素。另一方面，通过以代表像素填充这四个像素来执行解压缩。因此，如图11所示，每个像素的值随帧而变化。更具体地说，在第一帧(F1)中，像素P1-P4的像素值全都由原始图像的像素P1的像素值＝B(图10)给定，像素P5-P8的像素值全都由原始图像的像素P6的像素值＝F(图10)给定。在第二帧(F2)中，像素P1-P4的像素值全都由原始图像的像素P2的像素值＝A(图10)给定，像素P5-P8的像素值全都由原始图像的像素P6的像素值＝E(图10)给定。余下的像素值以类似的方式给定，由此获得再现的图像。
如果像上述参照图10所描述的那样，观众观察相应的图像以使得观众的眼睛跟踪特殊点，那么观众在跟踪点觉察到的图像A′由以下公式给定。
A′＝(1/8)(2Y+2Z+2A+2B)类似地，处于跟踪点的右边的相邻像素上的、观众觉察到的图像B′由以下公式给定。
B′＝(1/8)(2Z+2A+2B+2C)另一方面，处于跟踪点的左边的相邻像素上的、观众觉察到的图像Z′由以下公式给定。
Z′＝(1/8)(2X+2Y+2Z+2A)因此，如果图像数据通过上述运动图像数据转换设备(公开在日本专利申请第2003-412501)经历空间抽取，并且跟踪从该图像数据再现的图像的运动点，那么，人类视觉的时间积分引起图像具有类似于在图像数据通过具有图12A所示的系数的空间滤波器的条件下出现的变化的变化。在图11所示的示例中，假设了对象在水平方向上运动。如果对象在垂直方向上运动，图像具有类似于在图像数据通过具有图12B所示的系数的空间滤波器的条件下出现的变化的变化。
这里，假设人类视觉系统的时间积分以简单和的形式出现具有特定长度的时间段。然后，人类视觉的机理并没有完全清楚，而且人类视觉系统的时间积分也不必完全等效于图12种所示的空间滤波器的时间积分。无论如何，基于空间抽取的数据压缩可以使得图像在由具有与时间积分关联的特性的视觉系统的人类观众观察时，具有一些空间模糊。
(2)从单板固态彩色图像传感器输出的图像数据的转换以及图像数据的逆转换以下描述通过转换从单板固态彩色图像传感器输出的运动图像数据而产生压缩数据的处理，以及从所述压缩数据再现图像数据的处理。
首先，参照图13，描述从单板固态彩色图像传感器供给的图像产生压缩数据的处理。在单板固态彩色图像传感器中，经由排列成例如Bayer阵列(图1)形式的基色滤波器感测(sense)图像，以使得每个像素仅感测具有分配给像素的特定波长的信号分量，即，每个像素获得具有特定波长的彩色分量数据。在使用具有Bayer阵列滤波器的单板固态彩色图像传感器的情况下，从固态图像传感器输出的图像70具有彩色马赛克图像的形式，其中每个像素仅仅具有R、G和B彩色中的一种的信息。
去马赛克单元71借助于彩色插值，为每个像素再现所有R、G和B彩色分量。
首先，描述去马赛克单元71执行来再现G信号的处理。在Bayer阵列中，在排列成棋盘状图样的、仅仅特定的像素上获得G信号，而在其他像素上不获得任何G信号。对于在从固态图像传感器输出的图像数据70中、没有任何G信号的像素(诸如G11)，借助于插值从相邻像素的G信号产生的G信号。更具体地说，例如，像素G11的G信号根据以下公式再现。
G11＝(1/4)(G01+G21+G10+G12)另一方面，R和B信号按照如下方式再现。在Bayer阵列中，R信号和B信号都是每两个像素输出。在图13所示的示例中，虽然在从固态图像传感器输出的图像数据70的顶像素线中R信号存在，但不存在B信号。另一方面，在第二像素线中，虽然B信号存在，但不存在R信号。
在存在R或B信号的每个像素线中，每两个像素获取R或B信号。在从固态图像传感器输出的图像数据70中，对于不是诸如R01之类的R彩色(或不是诸如B12之类的B彩色)但位于存在R彩色(或B彩色)的像素的线中的每一个像素，其R信号(或B信号)借助于插值从那一线的相邻R像素(或B像素)的R信号(或B信号)产生。例如，像素R01的R信号和像素B12的B信号分别按照下列公式产生。
R01＝(1/2)(R00+R02)B12＝(1/2)(B11+B13)类似地，对于不是诸如R10之类的R彩色(或不是诸如B21之类的B彩色)但位于存在R彩色(或B彩色)的像素的列中的每一个像素，其R信号(或B信号)借助于插值从那一列的相邻R像素(或B像素)的R信号(或B信号)产生。例如，像素R10的R信号和像素B21的B信号分别按照下列公式产生。
R10＝(1/2)(R00+R20)B21＝(1/2)(B11+B31)对于不是诸如R11之类的R彩色(或不是诸如B22之类的B彩色)并且在同一行和同一列中不具有R彩色(或B彩色)的任何邻近像素的每一个像素，其R信号(或B信号)按照下列公式计算。
R11＝(1/4)(R00+R02+R20+R22)B22＝(1/4)(B11+B13+B31+B33)去马赛克单元71按照上述方式执行彩色插值过程，并为所有像素中的每一个输出R信号72r、G信号72g和B信号72b。注意到插值的方法不限于上述示例所描述的，而是可以使用彩色信号之间的相互关系以不同的方式执行。
当包括从去马赛克单元71输出的R信号72r、G信号72g和B信号72b的块在水平方向上以等于或大于预定值的速度运动时，空间抽取器73执行如图9A所示的空间抽取。用作空间抽取的结果，每一像素线中的四个像素(例如，R00-R03)的像素值由一个代表像素值(例如，R01)表示，因此，缩小了数据量。
以上述方式输出的R、G和B信号74r、74g和74b经历图9A所示的解压缩处理，并且按照产生的解压缩信号显示图像。如果观察所显示的图像以使得当特定点运动时跟踪该点，则通过超分辨率效应再现原始信号的频率分量。然而，再现的信号包括前面所描述的空间模糊。因此，在使用单板固态彩色图像传感器的图像拾取设备中，如果空间抽取是对经去马赛克处理的彩色信号执行的，则观众觉察到在去马赛克处理中经历了空间滤波并且还经历了由人类观众的视觉系统的时间积分引起空间滤波的图像。在对象的边缘等位于既不是R信号又不是B信号的像素上的情况下，当根据不位于边缘上的相邻像素的R或B信号来计算像素的R和B信号时，存在这样的可能性从相邻像素借助于去马赛克处理中的插值再现的彩色与实际彩色非常不同(即存在再现出不真实彩色的可能性)。如果对包括这种不真实的彩色的图像执行空间抽取，则观众觉察到的图像包括不真实彩色。
下面参照附图描述根据本发明的实施例的图像拾取设备和运动图像数据转换设备。首先，参照图14和15，描述根据本发明的实施例的图像处理系统。
图14示出根据本发明的实施例的图像拾取设备100。图像拾取设备100包括固态图像传感器103，其检测入射光并输出图像信号；彩色滤波器102，被附着在固态图像传感器103；包括在固态图像传感器103上形成图像的光学透镜101的成像系统；运动图像数据转换器104，用于自适应地处理从固态图像传感器103输出的图像信号，以及记录单元105，用于在记录介质上记录经转换的运动图像信号。
固态图像传感器103是诸如CCD(电荷耦合装置)图像传感器或CMOS(互补金属氧化物半导体)图像传感器之类的图像传感器，其输出通过将由入射光在图像传感器上形成的光学图像转换成电信号而获得的图像信号。
彩色滤波器102是依据各个像素的位置，只让具有特定波长的光通过并达到固态图像传感器103的像素的薄膜。更具体地说，如参照图1所述，彩色滤波器102包括基色滤波器组件，其允许具有分别对应于红(R)、绿(G)和蓝(B)的波长的光通过。虽然在这里描述的本实施例中，彩色滤波器102包括R、G和B的基色滤波器组件，但彩色滤波器102可以构造成包括允许具有对应于诸如黄、深红和青色之类的补彩色的波长的光通过的其他彩色滤波器组件。
运动图像数据转换器104对每一块，自适应地依据运动量来对从固态图像传感器103输出的彩色马赛克图像信号执行抽取处理或去马赛克处理，从而将图像信号转换成具有缩小的数据量的高质量运动图像信号。稍后将描述运动图像数据转换器104的组成部分。
记录单元105将从运动图像数据转换器104输出的信号记录到诸如视频磁带或DVD(数字多用途盘)之类的记录介质上。对记录介质的类型没有任何限制，只要记录介质能够记录图像数据就行。记录单元105不是必需的。在没有记录单元105的情况下，可以将从运动图像数据转换器104输出的信号供给用于重放信号的重放单元，或者经由网络接口输出到网络上。
图15示出重放设备200，用于重放由图14中所示的图像拾取设备100记录在该图像拾取设备100上的运动图像；该图还示出显示器，用于显示重放的运动图像。重放设备200包括重放单元201，用于从记录介质读取运动图像数据；以及运动图像数据转换器202。
重放单元201从诸如视频磁带或DVD盘之类的记录介质读取数据。在本实施例中，由图像拾取设备100的记录单元105将数据记录在记录介质上。代替由重放单元201从记录介质读取数据，可以以其他方式输入数据。例如，可以直接输入从图像拾取设备100输出的数据，或者可以利用无线传输单元之类的方式(未示出)、经由外部网输入数据。
运动图像数据转换器202对每一块，以自适应方式根据附加到数据的抽取信息，对从记录介质读取或从外部输入的数据执行空间解压缩处理，从而再现运动图像数据而不产生观众可觉察的、显著的图像质量恶化。稍后将描述运动图像数据转换器202的组成部分。
显示器203按照从重放设备200接收到的运动图像信号来显示图像。对显示器203的类型或发光机制没有特殊限制。例如，可以使用LCD(液晶显示器)、PDP(等离子体显示板)或CRT(阴极射线管)。如上所述，在本发明的图像感测设备中，以考虑到出现在人类观众的视觉系统中的、多个连续帧的时间积分引起的超分辨率效应所确定的最佳模式，转换从图像传感器输出的图像数据，从而获得图像质量恶化最小的运动图像。为了获得超分辨率效应，显示器203必须按照使得在时间积分出现在人类观众的视觉系统中的时间段内显示特定数量的帧的帧速率来显示图像。
下面参照图16进一步详细地描述图14中所示的图像拾取设备100的运动图像数据转换器104。从固态图像传感器103输出的彩色马赛克图像信号一帧一帧地输入到运动图像数据转换器104。在运动图像数据转换器104中，摄像机预处理单元301对彩色马赛克图像信号执行诸如剪切或白平衡校正之类的预处理。这种预处理在去马赛克处理之前执行。
在执行诸如剪切和/或白平衡校正之类的预处理之后，将所得图像信号一帧一帧地输入到块划分器302中。块划分器302将每个所接收到的帧图像划分为具有预定大小(包括n×n像素)的块，并且将所得块数据一块一块地供给块分发器303以及运动检测器304。在本实施例中，块划分器302将每一帧图像划分成具有4×4(即n＝4)像素大小的块。也就是说，块划分器302一帧一帧地接收其每个像素具有经历了诸如剪切和/或白平衡校正之类的预处理的单色分量数据的彩色马赛克运动图像数据，而且块划分器302还将每一帧运动图像数据划分成块。
运动检测器304通过将输入图像的当前帧的块与存储在图像存储器中并且是当前帧之前一帧或多帧的图像的块比较，来检测输入图像的当前帧的块的运动量。因为输入到运动检测器304的块是彩色马赛克图像信号的形式的，因此，将所检测到的运动信息供给块分发器303。存在运动量不能成功地通过块匹配处理确定的可能。为了避免出现这样的问题，运动检测器304可以首先借助于彩色插值对输入块和参照块执行去马赛克处理，然后再执行块匹配处理。应该注意到，确定每一块的运动量的方法不限于块匹配处理，其他任何能够确定每一块的运动量的方法都可以使用。
块分发器303基于由运动检测器304通知的、每一块的运动量，来确定是否应该对当前块执行空间抽取。应该注意到，只有每一块的运动量的水平和垂直分量中的一种被用作确定的判据。
更具体地说，块分发器303在每一帧的块运动量等于或大于1像素但小于2像素时，将当前块供给第一空间抽取器305，或者，在每一帧的块运动量等于或大于2像素时，将当前块供给第二空间抽取器306。在其他情况下，即在每一帧的块运动量小于1像素时，将当前块供给去马赛克单元307。应该注意到，确定的判据不限于这所采用的，也可以使用其他判据。在执行空间抽取时，块分发器303还将指示块抽取方向的信息供给空间抽取器305或306。基于运动检测器304供给运动信息，块分发器303选取水平或垂直运动分量中较大的一个，并将所选取的水平或垂直方向用作块抽取方向。
去马赛克单元307借助于彩色插值来对输入块执行去马赛克处理。去马赛克处理类似于以上参照图13所描述的、去马赛克单元执行的处理。即，对于不具有R、G或B像素值的像素，可以基于相邻像素的R、G或B像素值计算这些R、G或B像素值。去马赛克单元307输出产生的、块的R、G或B信号。这些R、G或B信号分别对应于在图13中所示的R信号72r、G信号72g或B信号72b。
从去马赛克单元307输出的去马赛克数据输入到时间抽取器309。时间抽取器309对去马赛克数据执行时间抽取处理。由时间抽取器309执行的时间抽取处理类似于以上参照图4所描述的、运动图像数据转换设备的块处理单元52执行的处理。更具体地说，正如以上参照图6所描述的那样，时间抽取器309执行时间抽取处理，以使得将各自四个连续帧F1-F4的同一位置上的四个块Bi抽取成从这四个块中选取的一个块(在图6所示的示例中，选取的是帧F1的块Bi)。用作时间抽取器309执行的时间抽取处理的结果，数据量以1/4缩小。
空间抽取器305或306分别对彩色马赛克数据的各自彩色分量执行空间抽取处理。
空间抽取器306对其运动等于或大于2像素/帧的块执行空间抽取，以使得每一块的像素数量以1/4缩小。更具体地说，空间抽取器306从位于由块分发器303供给的块抽取信息指示的抽取方向上的每四个连续像素中选取一个像素，并且将所选取的像素的像素值输出用作这四个像素的代表值。在本实施例中，将所选取的像素的R信号、G信号或B信号用作这四个像素的彩色马赛克图像信号的代表值。
另一方面，空间抽取器305对其运动等于或大于1像素/帧但小于2像素/帧的块执行空间抽取，以使得每一块的像素数量以1/2缩小。更具体地说，空间抽取器306从位于由块分发器303供给的块抽取信息指示的抽取方向上的每两个连续像素中选取一个像素，并且将所选取的像素的像素值输出用作这两个像素的代表值。在本实施例中，将所选取的像素的R信号、G信号或B信号用作这两个像素的彩色马赛克图像信号的代表值。空间抽取器305和306的操作还会在后面详细描述。
从空间抽取器305输出的数据输入到时间抽取器308。时间抽取器308对空间上抽取的数据执行时间抽取处理。由时间抽取器308执行的时间抽取处理类似于以上参照图4所描述的、运动图像数据转换设备的块处理单元53执行的处理。更具体地说，正如以上参照图8所描述的那样，时间抽取器308执行时间抽取处理，以使得从位于各自四个连续帧F1-F4的同一位置上的总共四个块Bi中选取两个块(在图8所示的示例中，是帧F1和F3的块)，并将四个块抽取成所选取的两个块，从而以1/2抽取帧。所选取的两个块的图像数据用作这四帧的样本点数据。
因为用作由空间抽取器305执行的空间抽取的结果，以1/2缩小了数据量，并且用作由时间抽取器308执行的时间抽取的结果，进一步以1/2缩小数据量，因此，以总共1/4缩小数据量。
混合器310通过将对从去马赛克单元307输出的去马赛克数据、经由空间抽取器305和时间抽取器308执行的处理获得的抽取数据、经由空间抽取器306执行的处理获得的抽取数据以及经由时间抽取器309执行的处理获得的抽取数据进行组合，来产生一帧数据，混合器310还将指示块抽取模式的抽取信息附加到产生的一帧数据上。对混合器310所产生的数据的格式没有任何特殊的限制，只要数据包括标识每一块的开始的信息、指示块抽取模式的信息以及每一块的代表像素值。
现在参照图17来描述(图15中所示)重放设备200的运动图像数据转换器202的组成部分。
如果重放设备的运动图像数据转换器202从记录介质接收到由再现单元201重放的数据，或者经由网络等从外部输入的数据，那么，运动图像数据转换器202通过解压缩所接收到的图像数据来解码图像。即，运动图像数据转换器202担当一个图像解码处理单元的角色，用于将压缩数据解码成原始形式。应该注意到，压缩的运动图像数据向运动图像数据转换器202的输入是一帧一帧进行。
图17所示的块分发器404从输入运动图像信号提取附加到每一块的抽取信息，并按照抽取信息将每一块的数据供给校正单元。更具体地说，如果附加到感兴趣块的抽取信息指示抽取是以1/2空间抽取模式执行，则块分发器404将该块的数据供给空间解压缩单元405。然而，如果抽取信息指示抽取是以1/4空间抽取模式执行，则块分发器404将该块的数据供给空间解压缩单元406。另一方面，如果抽取信息指示应该执行去马赛克处理，则块分发器404将该块的数据供给时间解压缩单元408。
时间解压缩单元408执行时间解压缩处理。更具体地说，时间解压缩单元408通过将如上述参照图6所描述的、从连续四帧中选取的代表值分配到所有连续四帧来执行时间解压缩，而且时间解压缩单元408还将每一块的所得像素值与各个像素的地址一起供给混合器409。
空间解压缩单元406以1/4解压缩每一块的数据，以对R、G和B信号中的每一个产生包括4×4像素的块。更具体地说，按照块分发器404供给的抽取信息，空间解压缩单元406将每一块的代表值复制到位于抽取方向上的所有连续的四个像素，空间解压缩单元406还将产生的像素值与各个像素的地址供给混合器409。
另一方面，空间解压缩单元405以1/2解压缩每一块的数据，以对R、G和B信号中的每一个产生包括4×4像素的块。更具体地说，按照块分发器404供给的抽取信息，空间解压缩单元405将每一块的代表值复制到位于抽取方向上的所有连续的两个像素。接下来，时间解压缩单元407对空间上解压缩过的数据执行时间解压缩处理。更具体地说，通过将连续两帧之一的值分配给其他帧来执行时间解压缩。用作解压缩处理的结果而获得的、产生的每一块的像素，与各个像素的地址一起供给混合器409。
以后还要进一步描述空间解压缩单元405和406的操作。
混合器409包括更够存储一帧图像数据的图像缓冲器。将用作由空间解压缩单元405和时间解压缩单元407执行的结果而获得的经解压缩的数据、用作由空间解压缩单元406执行的结果而获得的经解压缩的数据和用作由时间解压缩单元408执行的结果而获得的经解压缩的数据供给混合器409。混合器409以对应于各个像素的地址，在图像缓冲器中写入所接收到的块图像数据。在写入数据到图像缓冲器的处理中，如果用作对包括像素的块执行的处理的结果而获得的像素值，已经以对应于那个像素的地址，写入图像缓冲器，那么，用作对相邻块执行的处理的结果而获得的任何其他像素值，不以同一地址写入。
在混合器409完成对一帧中的所有块的处理之后，混合器409确定是否存在像素值未存储在图像缓冲器中的像素。如果存在这样的像素，则混合器409检测该像素的位置，并通过根据位于沿抽取方向的线上的感兴趣像素的两边的像素的像素值进行插值，来产生感兴趣像素的像素值。应该注意到，还原丢失像素值的方法不限于插值，可以使用其他方法。
输出单元410将一帧经由混合器409执行的组合处理产生的图像数据转换成广泛使用的运动图像信号格式并输出所得运动图像信号。输出的运动图像信号可以是模拟的形式，也可以是数字的形式。当运动图像信号以模拟形式输出时，通过数-模转换器(未示出)将运动图像信号转换成模拟信号。
以下参照图18描述图14中的图像感测设备100的运动图像数据转换器104中的空间抽取器305执行的处理，以及空间抽取器306(示出在图16中)执行的处理。
图18是示出空间抽取器305或306执行的处理顺序的流程图。除了抽取量的差异外，空间抽取器305的操作与空间抽取器306的操作类似，抽取量的差异是简单地通过改变与抽取样本点关联的位置信息来实现。因此，对于两个空间抽取器，使用同一流程来描述其操作。
在步骤S101，空间抽取器305或306从块分发器303接收块的运动矢量。该运动矢量指示包括在由运动检测器304(图16)所检测到的块内的对象的运动。如果给定了运动矢量，则空间抽取器305或306基于运动矢量，为每一块确定抽取方向。如上所述，块分发器303将要处理的块数据和指示抽取方向的信息供给空间抽取器305或306。从块分发器303供给空间抽取器305或306的指示抽取方向的信息由运动矢量给定。空间抽取器305或306在运动矢量的水平和垂直分量之间进行比较，并将空间抽取方向设置为与较大的分量的方向相同的方向。
空间抽取器305或306对R、G和B信号中的每一个，在所确定的方向上执行空间抽取处理。空间抽取器305对R、G和B信号中的每一个，以1/4执行空间抽取处理，如图5所示，而空间抽取器306对R、G和B信号中的每一个，以1/2执行空间抽取处理，如图7所示。然而，如上所述，对于每个像素，单板固态彩色图像传感器只感测具有特定波长的信号分量，即每个像素获取具有通过Bayer基色滤波器(图1)的特定波长的彩色分量数据。在使用具有Bayer基色滤波器的单板固态彩色图像传感器的情况下，从固态图像传感器输出的图像是彩色马赛克的形式的，在这种形式下，每个像素只有R、G和B彩色之一的信息，如图13所示的输出图像70。在本实施例中，如图16所示，空间抽取器305或306的运动图像数据转换器104对没有进行取马赛克的彩色图像执行空间抽取。在这种情况下，在空间抽取处理中，可以简单地将特定位置处像素的像素值用作上述参照图5或7的处理中的代表值。例如，在图5B所示的、水平方向上的1/4空间抽取处理中，从左边数第二个位置处的像素的像素值用作代表值(样本点)。然而，位于第二位置处的这些像素中的每一个都只有R、G和B像素值之一，并且不具有其他彩色分量的像素值。因此，为了在空间抽取处理中获取所有R、G和B像素值，需要改变代表像素(样本点)的位置，或者需要通过插值产生像素值。
参考图19A至19G和图20A至20G，解释对Bayer阵列单板固态图像传感器输出的图像数据的各自R、G和B信号设置代表像素位置(样本点)的方式的示例。图19A至19G示出在水平方向的空间抽取中、对各自R、G和B信号设置样本点的方式，而图20A至20G示出在垂直方向的空间抽取中、对各自R、G和B信号设置样本点的方式。
在Bayer阵列图像数据中，依据像素的位置，像素具有不同的彩色，例如，如图19A所示。当对这样的图像在水平方向上执行1/4空间抽取时，在水平方向上每四个像素中选取一个像素，并将每个所选取的像素的像素值用作代表值(样本点)。在水平方向上执行1/2空间抽取的情况下，在水平方向上每两个像素中选取一个像素，并将每个所选取的像素的像素值用作代表值(样本点)。
在水平方向上的1/4空间抽取中，在每个4×4像素块中设置代表像素位置(样本点)，例如，如图19A至19D所示。如图19B所示，对于G信号，从顶到底线水平像素线中的每一水平像素线中、最左位置或从左数第二位置处的像素的G信号用作代表像素值(样本点)。
如图19C所示，对于顶行和第三水平像素线中的R信号，将最左位置处的像素的R信号用作这些水平像素线中的每一水平像素线的代表像素值(样本点)。在第二和第四水平像素线中，不存在R像素，因此，利用线性插值来从上下相邻像素的R信号计算出用作这些线中的每一线的代表值(样本点)的R信号值(R′)。如图19D所示，对于第二和第四水平像素线中的B信号，将最左位置处的像素的B信号用作这些水平像素线中的每一水平像素线的代表像素值(样本点)。在第一和第三水平像素线中，不存在B像素，因此，利用线性插值来从上下相邻像素的B信号计算出用作这些线中的每一线的代表值(样本点)的B信号值(B′)。
在水平方向上的1/2空间抽取中，在每个4×4像素块中设置代表像素位置(样本点)，例如，如图19E至19G所示。如图19E所示，对于从顶到底线水平像素线的每一水平像素线中的G信号，将存在于每隔一像素处的G信号用作代表像素值(样本点)。
如图19F所示，对于顶行和第三水平像素线中的R信号，将存在于每隔一像素处的R信号用作代表像素值(样本点)。在第二和第四水平像素线中，不存在R像素，因此，利用线性插值来从上下相邻像素的R信号计算出用作这些线中的每一线的代表值(样本点)的R信号值(R′)。如图19G所示，对于第二和第四水平像素线中的B信号，将存在于每隔一像素处的B信号用作代表像素值(样本点)。在第一和第三水平像素线中，不存在B像素，因此，利用线性插值来从上下相邻像素的B信号计算出用作这些线中的每一线的代表值(样本点)的B信号值(B′)。
图20A至20G示出在垂直方向的空间抽取中对R、G和B信号中的每一个设置样本点的方式。在垂直方向上的1/4空间抽取中，在垂直方向上每四个像素中选取一个像素，并将每个所选取的像素的像素值用作代表值(样本点)。在垂直方向上执行1/2空间抽取的情况下，在垂直方向上每两个像素中选取一个像素，并将每个所选取的像素的像素值用作代表值(样本点)。
在垂直方向上的1/4空间抽取中，在每个4×4像素块中设置代表像素位置(样本点)，例如，如图20A至20D所示。如图20B所示，对于从左到右的垂直像素线中的每一垂直像素线中的G信号，将这些垂直像素线中的每一像素线中的、顶上位置或顶数第二位置处的像素的G信号用作代表像素值(样本点)。
如图20C所示，对于最左和第三垂直像素线中的R信号，将存在于顶像素处的R信号用作代表像素值(样本点)。在第二和第四垂直像素线中，不存在R像素，因此，利用线性插值来从左右相邻像素的R信号计算出用作这些垂直线中的每一线的代表值(样本点)的R信号值(R′)。如图20D所示，对于第二和第四垂直像素线中的B信号，将左数第二位置处的像素的B信号用作这些垂直像素线中的每一线的代表像素值(样本点)。在第一和第三垂直像素线中，不存在B像素，因此，利用线性插值来从左右相邻像素的B信号计算出用作这些线中的每一线的代表值(样本点)的B信号值(B′)。
在垂直方向上的1/2空间抽取中，在每个4×4像素块中设置代表像素位置(样本点)，例如，如图20E至20G所示。如图20E所示，将存在于每隔一像素处的G信号用作代表像素值(样本点)。
如图20F所示，对于最左和第三垂直像素线中的R信号，将存在于每隔一像素处的R信号用作代表像素值(样本点)。在第二和第四垂直像素线中，不存在R像素，因此，利用线性插值来从左右相邻像素的R信号计算出用作这些垂直线中的每一线的代表值(样本点)的R信号值(R′)。如图20G所示，对于第二和第四垂直像素线中的B信号，将存在于每隔一像素处的B信号用作代表像素值(样本点)。在第一和第三垂直像素线中，不存在B像素，因此，利用线性插值来从左右相邻像素的B信号计算出用作这些线中的每一线的代表值(样本点)的B信号值(B′)。
在图18的流程图中所示的步骤S102及其后续步骤中执行设置代表值(样本点)的处理。在步骤S102中，空间抽取器305或306初始化感兴趣块中的像素的地址值。在步骤S103，空间抽取器305或306从块分发器303接收第一像素数据。
在步骤S104，确定给定的像素数据是否属于位于R信号的抽取样本点的像素。如果给定的像素数据属于位于R信号的抽取样本点的像素，处理进行到步骤S107。然而，如果给定的像素数据不属于位于R信号的抽取样本点的像素，即，应该丢弃该给定的像素数据，那么，处理进行到步骤S105。
在上述步骤S104中，在1/4水平抽取模式的情况下，通过例如确定感兴趣像素是否处于由图19C所示的R或R′表示的像素位置之一处，作出关于给定的像素数据是否属于位于R信号的抽取样本点的像素的决定。更具体地说，只有当输入最左位置处的像素的像素数据时，才确定该像素处于样本点上，并将处理进行到步骤S107。在其他任何情况下，确定为该像素不处于R信号的样本点上，因此，处理进行到步骤S105。如图19F所示，在1/2水平抽取模式下，只有当输入顶水平线或第三水平线中的像素的像素数据时，才确定该像素处于样本点上，并将处理进行到步骤S107。在其他任何情况下，确定为该像素不处于R信号的样本点上，并将处理进行到步骤S105。如上所述，依据空间抽取模式不同地作出关于给定的像素是否处于样本点的决定。
当将R信号的样本点处的像素给定为要处理的像素时，将处理进行到步骤S107，并确定给定的像素是否处于彩色马赛克阵列(诸如图19A所示)中的R信号位置之一处。
图21示出关于包括总共4×8个单元的两个块Bayer阵列的示例。在该Bayer阵列中，如图21所示的，R信号像素位于每隔一水平线中的每隔一位置上。如上所述，当执行水平方向上的抽取时，每个水平像素线都应该具有样本点，并且即使在不存在R信号像素的水平像素线上也应该定义样本点处的R信号值(代表值)。
如上述参照图19和20所描述的那样，在水平抽取处理中，在每个水平像素线中定义R信号样本点(代表值)。在垂直抽取处理的情况下，在每个垂直像素线中定义R信号样本点(代表值)。在1/4空间抽取模式下，在每一像素线中定义一个样本点(一个代表值)。另一方面，在1/2空间抽取模式下，在每一像素线中定义两个样本点(两个代表值)。对于具有R信号像素的像素线，在每一线中以这些R信号像素中的适当一个或两个定义样本点。在这种情况下，步骤S107被肯定地回答，因此，处理进行到步骤S111，在其中将样本点上的像素值作为R信号的代表值输出。
然而，在感兴趣像素线上不存在R信号像素时，利用线性插值从垂直或水平相邻的R信号像素的像素值计算感兴趣像素线上的样本点处的R信号像素值。在图19C和19F以及图20C和20F中所示的示例中，按照这种方式计算由R′表示的位置的像素值。在这种情况下，步骤S107被否定地回答，因此，处理进行到步骤S109，以通过插值计算R信号像素值(R′)，并且在步骤S111中，将产生的R信号像素值作为代表值输出。
可以从图19和20看出，对于不存在R信号像素的像素线，在可以在水平空间抽取模式下从垂直相邻的位置处的R信号像素、或在垂直空间抽取模式下从水平垂直相邻的位置处的R信号像素计算样本点处的R信号值的位置处，设置样本点。通过按照上述方式设置抽取样本点，使得使用水平或垂直相邻的像素执行插值成为可能。
在步骤S111，空间抽取器305或306将当前像素位置处的R信号像素值作为关于R信号的代表值输出到混合器310。如果完成了当前像素位置的R信号处理，则将处理进行到步骤S105。
在骤S105，确定给定的像素数据是否属于位于B信号的抽取样本点的像素。在1/4水平抽取模式的情况下，通过例如确定感兴趣像素是否处于由图19D所示的B或B′表示的像素位置之一处，作出关于给定的像素数据是否属于位于B信号的抽取样本点的像素的决定。更具体地说，只有当输入左数第二位置处的像素的像素数据时，才确定那个像素处于样本点上，并将处理进行到步骤S108。在其他任何情况下，确定为该像素不处于B信号的样本点上，因此，处理进行到步骤S106。如图20G所示，在1/2垂直抽取模式下，只有当输入从垂直线的顶位置起数第二或第四位置处的像素的像素数据时，才确定该像素处于样本点上，并将处理进行到步骤S108。在其他任何情况下，确定为该像素不处于B信号的样本点上，并将处理进行到步骤S106。如上所述，依据空间抽取模式不同地作出关于给定的像素是否处于样本点的决定。
在步骤S108，确定给定像素是否位于彩色马赛克阵列中的B信号位置之一处。在图21所示的Bayer阵列中，B信号像素位于每隔一水平线中的每隔一位置上，而其他像素线不包括B信号像素。如上所述，当执行水平方向上的抽取时，每个水平像素线都应该具有样本点，并且即使在不存在B信号像素的水平像素线上也应该定义样本点处的B信号值(代表值)。
如上述参照图19和20所描述的那样，在水平抽取处理中，在每个水平像素线中定义B信号样本点(代表值)。在垂直抽取处理的情况下，在每个垂直像素线中定义B信号样本点(代表值)。在1/4水平空间抽取模式下，在每一像素线中定义一个样本点(一个代表值)。另一方面，在1/2空间抽取模式下，在每一像素线中定义两个样本点(两个代表值)。对于具有B信号像素的像素线，在每一线中以这些B信号像素中的适当一个或两个定义样本点。在这种情况下，步骤S108被肯定地回答，因此，处理进行到步骤S112，在其中将样本点上的像素值作为B信号的代表值输出。
然而，当在感兴趣像素线上不存在B信号像素时，利用线性插值从垂直或水平相邻的B信号像素的像素值计算感兴趣像素线上的样本点处的B信号像素值。在图19D和19G以及图20D和20G中所示的示例中，按照这种方式计算由B′表示的位置的像素值。在这种情况下，步骤S108被否定地回答，因此，处理进行到步骤S110，以通过插值计算B信号像素值(B′)，并且在步骤S112中，将产生的B信号像素值作为代表值输出。
在步骤S112，空间抽取器305或306将当前像素位置处的B信号像素值作为关于B信号的代表值输出到混合器310。如果完成了当前像素位置的B信号处理，则将处理进行到步骤S106。
在骤S106，确定给定的像素数据是否属于位于G信号的抽取样本点的像素。在水平抽取模式的情况下，G信号抽取样本点如图19B或19E那样进行设置。另一方面，在垂直抽取模式的情况下，G信号抽取样本点如图20B或20E那样进行设置。如果确定给定的像素数据属于位于G信号的抽取样本点的像素，则处理进行到步骤S113。然而，如果确定给定的像素数据不属于位于G信号的抽取样本点的像素，即，如果给定的像素应该丢弃，则处理进行到步骤S114。
在图21所示的Bayer阵列中，G信号像素排列在棋盘状图样中，任何像素线(列)都包括G信号像素。因此，不需要确定是否存在G信号像素。这样，如果给定的像素数据属于位于G信号的抽取样本点的像素，则在步骤S113中将这个像素位置处的G信号像素值作为G信号的代表值输出。更具体地说，在1/4水平空间抽取模式下，输出图19B中所示的像素位置处的像素值，而在1/2水平空间抽取模式下，输出图19E中所示的像素位置处的像素值。另一方面，在1/4垂直空间抽取模式下，输出图20B中所示的像素位置处的像素值，而在1/2垂直空间抽取模式下，输出图20E中所示的像素位置处的像素值。
如果完成了对当前位置处的像素的所有处理，则处理进行到步骤S114。在步骤S114，确定对该块的所有像素的处理是否完成。如果对所有像素的处理完成，则结束对当前块的处理。然而，如果对该块的所有像素的处理未完成，则处理进行到步骤S115。在步骤S115，将地址值递增到下一像素位置的值。然后，处理返回到步骤S103。在步骤S103，空间抽取器305或306从块分发器303接收下一像素数据。
重复执行上述处理，直到已经对当前块中的所有像素执行了该处理为止。
以下进一步描述相应R、G和B信号的抽取样本点位置以及作为空间抽取的结果获得的数据。图21以Bayer阵列形式示出彩色马赛克图像信号的示例。
参照示出Bayer阵列彩色马赛克图像中的两个垂直相邻的块的图22A至22D，描述在由空间抽取器306执行的1/4水平空间抽取模式下的抽取处理中设置抽取采样点的方式。如图22A所示，在该Bayer阵列中，G信号像素排列在棋盘状图样中。另一方面，R信号像素和B信号像素排列在每隔一线中的每隔一像素位置处。
图22B、22C和22D分别示出从相应R、G和B代表值(样本点)再现的块图像的像素值的排列。在图22B、22C和22D，由符号G01等表示的像素具有等于由样本符号G01等所表示的样本点的代表像素值的像素值。稍后将详细描述再现图22B、22C和22D中的图像数据的处理。
在水平抽取模式下，分别对于R、G和B信号中的每一个，空间抽取器306将一个像素值用作每一块的每一水平线的代表像素值。在G信号的情况下，彩色马赛克图像的每一水平像素线具有G信号像素，因此，将每一水平像素线中的一个或多个G信号像素用作代表像素值。更具体地说，对于最上边的水平像素线，将G01和G05用作代表值。对于下一水平像素线，将G10和G14用作代表值。可以从图中看出，G信号代表像素的位置(相位)在两个直接相邻像素线之间改变一个像素。
在R和B信号的情况下，对具有R或B信号像素的每一像素线，将一个或多个R或B信号像素值用作代表像素值。例如，在1/4水平空间抽取模式下，将R00和R04用作第一像素线的R信号代表值，而将B11和B15用作第二像素线的B信号代表值。另一方面，对不具有R或B信号像素的每一像素线，选取这种像素线中的样本点以使得样本点在直接相邻的上下像素线中直接相邻到R或B信号像素。例如，将R10和R14用作第二像素线的R信号代表值，而将B21和B25用作第三像素线的B信号代表值。
R10的值由以下公式给出。
R10＝(1/2)(R00+R20)R14的值根据类似公式从R04和R24计算出来。R10和R14对应于图19C所示的块数据，并且是从相邻像素位置处的像素的R信号像素值计算出来的代表值。
B21的值由以下公式给出。
B21＝(1/2)(B11+B31)B25的值根据类似公式从B15和B35计算出来。B21和B25对应于图19D所示的块数据，并且是从相邻像素位置处的像素的B信号像素值计算出来的代表值。
从图22A至22D可以看出，R信号代表像素对于所有像素线处于同一位置。这一点对B信号代表像素也是对的。
参照示出Bayer阵列彩色马赛克图像中的两个水平相邻的块的图23A至23D，描述在由空间抽取器305执行的1/2水平空间抽取模式下的抽取处理中设置抽取采样点的方式。在水平抽取模式下，分别对于R、G和B信号中的每一个，空间抽取器305将两个像素值用作每一块的每一水平线的代表像素值。如图23A所示，在该Bayer阵列中，G信号像素排列在棋盘状图样中。另一方面，R信号像素和B信号像素排列在每隔一线中的每隔一像素位置处。
图23B、23C和23D分别示出从相应R、G和B代表值(样本点)再现的块图像的像素值的排列。在图23B、23C和23D，由符号G01等表示的像素具有等于由样本符号G01等所表示的样本点的代表像素值的像素值。稍后将详细描述再现图23B、23C和23D中的图像数据的处理。
对于G信号，空间抽取器305将彩色马赛克图像中的所有G信号像素值用作代表像素值。例如，将G01、G03、G05和G07用作第一像素线中的代表值，而将G10、G12、G14和G16用作第二像素线中的代表值。同样，在这种情况下，G信号代表像素的位置(相位)在两个直接相邻像素线之间改变一个像素。
在R和B信号的情况下，对具有R或B信号像素的每一像素线，将所有R或B信号像素值用作代表像素值。例如，将R00、R02、R04和R06用作第一像素线的R信号代表值，而将B11、B13、B15和B17用作第二像素线的B信号代表值。另一方面，对不具有R或B信号像素的每一像素线，选取这种像素线中的样本点以使得样本点在直接相邻的上下像素线中直接相邻到R或B信号像素。例如，将R10、R12、R14和R16用作第二像素线的R信号代表值，而将B21、B23、B25和B27用作第三像素线的B信号代表值。如上所述，这些代表值通过插值，使用相邻的上下像素线中的像素值计算而来。R信号代表像素对于所有像素线处于同一位置。这一点对于B信号代表像素也是对的。
图24示出彩色马赛克图像信号的像素排列的另一示例。应该注意到，根据公开在这里的、本发明的任何实施例的处理不但都可以应用到图21所示的Bayer阵列形式的图像数据，而且都可以应用到其他彩色像素排列形式的图像数据。在图24所示的彩色像素排列的示例中，像素在任何垂直像素线和任何水平线中都以顺序R、G和B排列，并且任何像素线都具有R、G和B像素。
参照示出具有如图24所示那样排列的像素的彩色马赛克图像中的两个水平相邻的块的图25A至25D，描述在由空间抽取器306执行的1/4水平空间抽取模式下的抽取处理中设置抽取采样点的方式。在这种彩色像素排列中，如图25A所示，该Bayer阵列排列中的R信号像素和B信号像素相互替代，并且任何像素线都具有R、G和B信号像素。
图25B、25C和25D分别示出从相应R、G和B代表值(样本点)再现的块图像的像素值的排列。在图25B、25C和25D，由符号G01等表示的像素具有等于由样本符号G01等所表示的样本点的代表像素值的像素值。稍后将详细描述再现图25B、25C和25D中的图像数据的处理。
在图25A所示的彩色像素排列中，以类似于上述Bayer阵列排列的方式选取G信号代表值位置(样本点)。即，在图25A所示的彩色像素排列中，G信号像素排列成Bayer阵列排列中那样的棋盘状图样，并且在与上述参照图22所描述的类似位置处设置抽取样本点。
至于R和B信号，每一块中的每一像素线具有R和B信号像素，这些像素用作代表像素。例如，将R00和R04用作第一像素线的R信号代表值，而将R13和R17用作第二像素线的R信号代表值。类似地，对于彩色马赛克图像的第三和第四像素线，将存在于相应像素线中的R信号像素用作代表像素。另一方面，将B02和B06用作第一像素线的B信号代表值，而将B11和B15用作第二像素线的B信号代表值。类似地，对于彩色马赛克图像的第三和第四像素线，将存在于相应像素线中的B信号像素用作代表像素。因此，当使用这种彩色像素排列时，在1/4抽取模式下不需要任何彩色插值。从图中可以看出，R信号代表值的位置(相位)在直接相邻的像素线之间两改变一个像素。这一点对于B信号代表像素也是对的。
参照示出其像素排列成如图24所示那样的彩色马赛克图像中的两个水平相邻的块的图26A至26D，描述在由空间抽取器305执行的1/2水平空间抽取模式下的抽取处理中设置抽取采样点的方式。图26B、26C和26D分别示出从相应R、G和B代表值(样本点)再现的块图像的像素值的排列。
在图26A所示的彩色像素排列中，G信号以Bayer阵列排列方式排列成棋盘状图样，并且在与上述参照图23所描述的类似位置处设置抽取样本点。
与在图25中的情况一样，对于R和B信号，存在于该彩色马赛克图像的每一像素线中的R信号像素用作代表像素。在1/2空间抽取模式下，需要从每一像素线的四个像素中选取两个像素作为代表像素。为此，在每一像素线中，还选取B信号像素的像素位置作为R信号的代表像素位置，选取R信号像素的像素位置作为B信号的代表像素位置。例如，在第一像素线中，通过插值计算B信号像素实际所位于位置处的R信号代表值，因此作为代表像素值而获取R02和R06。类似地，在第二像素线中，通过插值计算的R11和R15用作代表像素值。例如，R11的值根据以下公式计算。
R11＝(1/2)(R00+R22)也就是说，利用位于对角地相邻的位置上的像素的R信号像素值，借助于插值计算B信号位置处的R信号值，产生的计算结果值用作代表值。
也利用处在相邻的上下像素线的、对角地相邻的像素的R信号像素值，借助于插值来计算其他位置处的代表值。至于B信号，B00和B04用作第一像素线的代表值，B13和B17用作第二像素线的代表值。B13的值由以下公式给出。
B13＝(1/2)(B02+B24)利用处在相邻的上下像素线的、对角地相邻的像素的B信号像素值，借助于插值计算其他位置处的代表值。同样，在这种情况下，B信号代表像素的位置(相位)在两个直接相邻的像素线之间改变一个像素。这一点对R信号代表像素也是对的。
应该注意到，设置采样点的方式不限于上述示例，可以在不同像素位置处执行采样。还应该注意，彩色滤波器排列也不限于上述示例。
在上述参照图21至26所述的处理示例中，为了提供比较容易的理解，假设了图像在水平方向运动。应该注意到，上述参照各种实施例所述的处理还可以应用到在垂直方向运动的情况。此外，利用水平和垂直两种矢量二维地执行所述处理也是可能的。即，对具有任意方向的运动矢量执行所述处理是可能的。
现在参照图27中所示流程图详细描述由图15中所示的重放设备200的运动图像数据转换器202中的空间解压缩单元405(图17)执行的处理，以及由空间解压缩单元406(图17)执行的处理。
在步骤S201，空间解压缩单元405或406从图17所示的块分发器404接收与块关联的抽取信息。抽取信息包括在图16中所示的运动图像数据转换器104压缩将要经历解压缩处理的感兴趣块时指示采用三种压缩模式中的那一种的信息。即，抽取信息包括指示在压缩处理中采用下列三种模式中的那一种的标识信息a)压缩由空间抽取器305和时间抽取器308两者来执行。
b)压缩由空间抽取器306执行。
c)压缩由去马赛克单元307和时间抽取器308两者来执行。
在块已经经历了空间抽取的情况下，还包括指示抽取方向的信息。
在步骤S202，空间解压缩单元405或406复位混合器409的图像缓冲器的地址，以便指向块的左上角处的像素位置。在步骤S203，空间解压缩单元405或406从块分发器404接收R、G和B信号中的每一个的第一图像数据。
在步骤S204，确定感兴趣块的抽取方向是否为水平方向。如果确定该块的抽取方向是水平方向，则处理进行到步骤S205。然而，当抽取方向是垂直方向时，处理进行到步骤S206。
在步骤S205，空间解压缩单元405或406将从块分发器404供给的像素值复制到与在抽取处理中抽取的像素数量一样多的、位于水平线上的像素(空间解压缩单元405复制该像素值到四个像素，而空间解压缩单元406复制该像素值到两个像素)。复制像素的位置依据像素值是否为R、G或B信号的而改变。复制像素位置图样与用于空间抽取处理的样本点图样相同。空间解压缩单元405或406将所复制的像素值与指示像素位置的地址一起输出到混合器409或时间抽取器308。然后，处理进行到步骤S207。
在步骤S207，确定对于当前块的一行中的像素，该处理是否完成。在本实施例中，每一块具有4×4像素的大小，因此，对于每一像素行的处理通过借助于空间解压缩单元405的复制处理一次执行来完成。如果一像素行的处理完成了，处理就进行到步骤S211。另一方面，在空间解压缩单元406执行的处理中，每一像素行的处理不由一次执行完成。当一像素行的处理还未完成时，处理进行到步骤S209。
在步骤S209，在X方向上以对应于抽取速率的值递增地址。然后，处理进行到步骤S213。另一方面，在步骤S211，在Y方向上以1递增地址，并且将X方向上的地址复位到指示块的最左边位置的原始值。然后，处理进行到步骤S213。
在步骤S206，空间解压缩单元405或406将从块分发器404供给的像素值复制到与在抽取处理中抽取的像素数量一样多的、位于垂直方向上的像素(空间解压缩单元405复制该像素值到四个像素，而空间解压缩单元406复制该像素值到两个像素)。该复制处理除了在相差90°的方向上执行复制外，以类似于步骤S205的方式执行。空间解压缩单元405或406将所复制的像素值与指示像素位置的地址一起输出到混合器409。然后，处理进行到步骤S208。
在步骤S208，确定对于当前块的一列，该处理是否完成。如果对于当前块的一列的处理完成了，处理就进行到步骤S212。然而，如果对于一列的处理还未完成，处理就进行到步骤S210。
在步骤S210，在Y方向上以对应于抽取速率的值递增地址，并将处理进行到步骤S213。另一方面，在步骤S212，在X方向上以1递增地址，并且将Y方向上的地址复位到指示块的最左边位置的原始值。然后，处理进行到步骤S213。
在步骤S213，确定对块中的所有像素处理是否完成。如果确定对所有像素处理完成了，则结束对当前块的处理。然而，如果确定对块中的所有像素处理未完成，则处理返回到步骤S203。空间解压缩单元405或406从块分发器404接收下一像素数据。重复执行上述处理，直到已经对当前块中的所有像素执行了处理为止。
下面参照描述关于R、G和B信号中的每一个的解压缩处理。首先，参照图22A至22D，描述由空间解压缩单元406执行来以1/4解压缩由空间抽取器306(图16)通过空间上在水平方向上以1/4抽取Bayer阵列彩色马赛克图像信号所产生的信号的处理。
如上所述，在由空间抽取器306在抽取处理中采样G信号像素值的采样点在相邻像素线之间改变一个像素。空间解压缩单元406通过将每一代表值复制到抽取采样点的左边一个像素和抽取采样点的右边两个像素，来在水平方向上以1/4扩展代表值。例如，在第一水平像素行中，如图22B所示，代表像素值G01被复制到G00、G02和G03，而代表像素值G05被复制到G04、G06和G07。
在下一像素行中，代表像素值G10被复制到两个像素G11和G12。然而，代表像素G10的左边在块之外。在图22A所示的示例中，如果左边的4×4块图像的左端的块，则在这种块的左边不存在任何像素。因此，在这种情况下，代表值被复制到三个像素，如图22B所示。另一方面，代表像素值G14被复制到位于采样点右边的像素G15和G16，还复制到位于右边块之外的像素G13。在这种特殊情况下，没有分配给像素G13的现有像素值，因此，混合器409简单地在对应于G13的位置处写入代表值G14。然而，在像素G13已经具有定义为对图22A的左边的4×4块执行的处理的结果的像素值的情况下，对这个G13采用现有像素值，并且不在这个像素位置写像素值G14。
在R或B信号的情况下，如上所述，在像素行当中的采样点的位置方面不存在任何差别。与G信号一样，空间解压缩单元406在水平方向上以1/4扩展代表值。例如，对于第一行中的R信号，如图22C所示，代表像素值R00被复制到R01和R02，而代表像素值R04被复制到R03、R05和R06。如上所述，因为左边的块位于图像的左端，因此，将代表像素值R00复制到三个像素。对于第一水平像素行中的B信号，如图22D所示，代表像素值B01被复制到B00、B02和B03，而代表像素值B05被复制到B04、B06和B07。因为对于其他任何像素行，B信号代表像素位于与R信号代表像素的位置相同的位置上，因此，对于其他任何像素行，以类似的方式执行解压缩处理。
现在参考图23描述由空间解压缩单元405执行来以1/2解压缩由空间抽取器305(图16)通过空间上在水平方向上以1/2抽取Bayer阵列彩色马赛克图像信号所产生的信号的处理。
空间解压缩单元406通过将每一代表值复制到相邻到抽取采样点的左边一个像素，来在水平方向上以1/2扩展代表值。例如，对于第一水平像素行中的G信号，如图23B所示，代表像素值G01被复制到G02，代表像素值G03被复制到G04，代表像素值G05被复制到G06，而代表像素值G07被复制到G08。因为G08位于块之外，因此，混合器409只有当不存在已经分配给G08的现有像素值的时候，才将代表像素值G07复制到G08。另一方面，不存在要复制到位于每一像素行中的最左边位置(G0x)处的任何像素的像素值。当不存在要复制到感兴趣像素的像素值时，混合器409通过使用相邻于感兴趣像素的右边和左边的两个像素的像素值的插值，计算感兴趣像素的像素值。然而，在这种特殊情况下，因为不存在相邻于像素G0x的左边的像素，因此复制代表值G01。对于G信号，如上所述，采样点的位置在相邻像素行之间改变一个像素。因此，对于第二像素行中的G信号，将代表像素值G10复制到G11，将代表像素值G12复制到G13，将代表像素值G14复制到G15，而将代表像素值G16被复制到G17。
对于R和B信号，与G信号一样，空间解压缩单元405在水平方向上以1/2扩展代表值。例如，对于第一水平像素行中的R信号，如图23C所示，代表像素值R00被复制到R01，代表像素值R02被复制到R03，代表像素值R04被复制到R05，而代表像素值R06被复制到R07。对于第一水平像素行中的B信号，如图23D所示，代表像素值B01被复制到B02，代表像素值B03被复制到B04，代表像素值B05被复制到B06，而代表像素值B07被复制到B08。因为像素B08位于块之外，混合器409只有当不存在已经分配给B08的现有像素值的时候，才将代表像素值B07复制到B08。另一方面，不存在要复制到位于每一像素行中的最左边位置(B0x)处的任何像素的像素值，因此如在G信号情况下那样复制代表值B01。因为对于其他任何像素行来说，B信号代表像素位于与R信号代表像素的位置相同的位置上，因此，对于其他任何像素行，以类似的方式执行解压缩处理。
现在参照图25A至25D描述由空间解压缩单元406执行来以1/4解压缩由空间抽取器306通过空间上在水平方向上以1/4抽取一阵列彩色马赛克图像信号所产生的信号的处理，所述彩色马赛克图像信号排列成如图24所示。在图24所示的彩色阵列图样中，G信号像素位于与Bayer阵列图样中类似的位置，因此，对于G信号，空间解压缩单元406执行的空间抽取类似于上述参照图22B所述的空间抽取。
对于R和B信号，如上所述，采样点的位置在相邻像素行之间改变一个像素。因此，对于第一行中的R信号，例如，代表像素值R00被复制到R01和R02，而代表像素值R04被复制到R03、R05和R06。如上所述，因为左边的块位于图像的左端，因此，将代表像素值R03复制到三个像素。对于第二像素行中的R信号，将代表像素值R13复制到R12、R14和R15，而将代表像素值R17复制到R16、R18和R19。由于像素R18和R19位于块之外，因此混合器409只有当不存在已经分配给R18或R19的现有像素值的时候，才将代表像素值R17复制到R18或R19。另一方面，不存在要复制到位于最左边位置(R1x)处的两个像素的任何像素值，将代表像素值R13复制到这两个像素。对于第三和第四水平像素行，除了复制位置平移一个像素外，以同样的方式执行复制。对于B信号，以图25D所示的类似方式执行解压缩。
现在参考图26A至26D描述由空间解压缩单元405执行来以1/2解压缩由空间抽取器305通过空间上在水平方向上以1/2抽取一彩色马赛克图像信号所产生的信号的处理，所述彩色马赛克图像信号排列成如图24所示。在图24所示的彩色阵列图样中，G信号像素位于与Bayer阵列图样中类似的位置，因此，对于G信号，空间解压缩单元406执行的空间抽取类似于上述参照图23B所述的空间抽取。
对于R和B信号，如上所述，采样点的位置在相邻像素行之间改变一个像素。例如，对于第一水平像素行中的R信号，如图26C所示，代表像素值R00被复制到R01，代表像素值R02被复制到R03，代表像素值R04被复制到R05，而代表像素值R06被复制到R07。在第二像素行中，将代表像素值R11复制到R12，将代表像素值R13复制到R14，将代表像素值R15复制到R16，而将代表像素值R17复制到R18。对于块的端边(ends of a block)上的像素，以类似与上述的方式执行复制。对于B信号，以图26D所示的类似方式执行解压缩。
在上述参照图21至26所述的处理示例中，为了提供比较容易的理解，假设了图像在水平方向运动。应该注意到，上述参照各种实施例所述的处理还可以应用到在垂直方向运动的情况。此外，利用水平和垂直两种矢量二维地执行所述处理也是可能的。即，对具有任意方向的运动矢量执行所述处理是可能的。
应该注意到，该解压缩方法不限于上述示例，也可以以其他方式执行解压缩。还应该注意到，该彩色滤波器排列不限于上述示例。
在使用根据本发明的单板固态彩色图像传感器的图像拾取设备中，如以上参照各种实施例所述，一块一块地检测运动量，并考虑到人类视觉特性依据该运动量确定图像压缩模式。即，依据运动量空间上抽取从固态图像传感器输出的彩色马赛克信号，以使得空间模糊和/或产生假彩色被抑制(而不这样做则将在执行来借助于插值为每个像素获取整组彩色分量数据的去马赛克处理期间出现空间模糊和/或产生假彩色)，从而获得高质量运动图像信号。
虽然在上述实施例中，数据压缩/解压缩处理是对具有排列成图21所示的Bayer阵列彩色图样或图24所示的彩色阵列图样的、从图像传感器输出的运动图像数据，但是，彩色图样不限于这些图样，本发明也可以应用到由排列成其他彩色阵列图样的像素组成的图像数据。图28示出了其他彩色阵列图样的实例。在这个示例中，彩色滤波器是补色(黄(Ye)、深红(Mg)和青(Cy))的阵列形式的。
本说明书所公开的任何处理都可以借助于硬件、软件或硬件和软件的组合来执行。在借助于软件来执行处理的情况下，可以将所述处理的程序安装到配置在嵌入硬件的专用计算机中的存储器，或者该程序可以安装在能够执行各种处理的通用计算机上并可以在该通用计算机上执行。
所述程序可以事先存储在诸如硬盘或ROM(只读存储器)之类的存储介质中。所述程序还可临时或永久地存储在诸如软盘、CD-ROM(只读光盘)、MO(磁光盘)、DVD(数字多功能盘)、磁盘或半导体存储器之类的可移动存储介质。存储在这样的可移动存储介质上的程序可以以所谓的软件包方式供给。
代替将程序从可移动存储介质安装到计算机，程序也可以从下载地点经由无线传输或经由借助于有线通信的诸如LAN(局域网)或因特网之类的网络，传输到计算机。在这种情况下，计算机接收以上述方式传输的程序并将该程序安装在诸如配置在计算机中的硬盘之类的存储介质上。
本说明书所公开的处理可以以与程序描述时间顺序的相同时间顺序来执行，也可以依据计算机的处理能力并行或单独地执行。在本说明书中，术语“系统”用于描述多个设备的逻辑集合，它不需要将这多个设备配置在单一外壳中。
已经参照借助于示例的特殊实施例描述了本发明，但本发明不限于此。本领域技术人员应该明白，再不脱离本发明的精神和范围的情况下，可以进行各种修改和替代。即，已经借助于示例描述了实施例，但本发明不限于这些示例。本发明的范围将有权利要求书独立地确定。
权利要求
1.一种运动图像数据转换设备，包括输入单元，配置成以其每个像素具有单色分量数据的彩色马赛克图像数据的形式输入运动图像数据；以及空间抽取器，配置成从输入单元输入运动图像数据，并分别对彩色马赛克图像数据的每一彩色分量数据执行空间抽取处理，其中，空间抽取器为彩色马赛克图像数据的每一彩色分量数据选择一个或多个代表值，并产生由所选择的代表值组成的、空间上抽取的数据。
2.根据权利要求1所述的运动图像数据转换设备，其中，在关于彩色马赛克图像数据的每一彩色分量数据的代表值选择过程中，空间抽取器设置样本点以便在依据彩色分量而定的不同位置处选择各自彩色分量数据的代表值，并且将样本点的像素值用作代表值。
3.根据权利要求1所述的运动图像数据转换设备，其中，在关于彩色马赛克图像数据的每一彩色分量数据的代表值选择过程中，如果在对应于获取代表值的感兴趣样本点的像素位置处没有定义要处理的彩色分量的任何数据，则空间抽取器通过使用具有与要在感兴趣样本点获取的彩色同样的彩色的彩色分量数据的邻近像素的像素值执行插值过程，计算在感兴趣样本点处的像素值，并且空间抽取器将所计算出的像素值用作代表值。
4.根据权利要求1所述的运动图像数据转换设备，其中，在关于彩色马赛克图像数据的每一彩色分量数据的代表值选择过程中，空间抽取器设置样本点以便在依据像素线而定的不同位置处选择代表值，并且在依据像素线而定的不同相位中执行空间抽取处理。
5.根据权利要求1所述的运动图像数据转换设备，还包括块划分器，配置成从输入单元接收运动图像数据，并将所接收到的运动图像数据以帧为基础划分成块，其中，空间抽取器从块划分器接收块数据，并以块为基础执行代表值选择处理。
6.根据权利要求5所述的运动图像数据转换设备，还包括运动检测器，配置成在由块划分器产生的每一块中检测对象的运动量，其中，空间抽取器以基于由运动检测器检测到的运动信息确定的模式执行空间抽取处理。
7.根据权利要求6所述的运动图像数据转换设备，其中，运动检测器基于运动图像数据的不同帧之间的比较，来检测运动矢量。
8.根据权利要求6所述的运动图像数据转换设备，其中，空间抽取器在基于由运动检测器检测到的运动信息确定的空间抽取方向上执行空间抽取处理。
9.根据权利要求6所述的运动图像数据转换设备，还包括时间抽取器，其中，根据由运动检测器检测到的运动信息，执行空间抽取处理和时间抽取处理两者，或选择性地执行空间抽取处理或时间抽取处理之一。
10.根据权利要求6所述的运动图像数据转换设备，还包括去马赛克单元，配置成基于彩色马赛克图像数据产生每一彩色分量的信号，其中，在运动检测器所检测到的块间运动量等于或小于预定值时，在不执行空间抽取处理的情况下，执行去马赛克处理和时间抽取处理。
11.根据权利要求1所述的运动图像数据转换设备，还包括单板彩色图像传感器，其中，块划分器可以接收从单板彩色图像传感器输出的图像数据。
12.一种用于从经转换的运动图像数据再现运动图像数据的运动图像数据再现设备，包括空间解压缩单元，配置成接收每一帧经压缩运动图像数据的每一块的、空间上抽取的数据，并分别对每一彩色分量解压缩所接收到的数据，其中，空间解压缩单元在依据彩色分量数据的彩色而定的不同相位中执行解压缩处理。
13.根据权利要求12所述的运动图像数据再现设备，其中，空间解压缩单元在依据像素线而定的不同相位中执行空间解压缩处理。
14.根据权利要求12所述的运动图像数据再现设备，还包括时间解压缩单元，配置成执行时间解压缩处理，其中，执行空间解压缩处理和时间解压缩处理两者，或者有选择地执行空间解压缩处理或时间解压缩处理之一。
15.根据权利要求14所述的运动图像数据再现设备，其中，运动图像数据再现设备接收指示每一块的抽取模式的抽取模式信息，并且根据抽取模式信息，执行空间解压缩处理和时间解压缩处理两者，或者有选择地执行空间解压缩处理和时间解压缩处理之一。
16.根据权利要求15所述的运动图像数据再现设备，其中，空间解压缩单元根据由包括在抽取模式信息内的信息指示的空间抽取方向，执行空间解压缩处理。
17，一种运动图像数据转换方法，包括步骤以其每个像素具有单色分量数据的彩色马赛克图像数据的形式输入运动图像数据；以及分别对彩色马赛克图像数据的运动图像数据的每一彩色分量数据执行空间抽取处理，其中，空间抽取步骤包括为彩色马赛克图像数据的每一彩色分量数据选择一个或多个代表值，并产生由所选择的代表值组成的、空间上抽取的数据。
18.一种用于从经转换的运动图像数据再现运动图像数据的方法，包括步骤接收每一帧经压缩运动图像数据的每一块的、空间上抽取的数据；以及对每一彩色分量空间上解压缩空间上抽取的数据，其中，空间上解压缩在依据彩色分量数据而定的不同相位中执行。
全文摘要
一种运动图像数据转换设备，包括输入单元，配置成以其每个像素具有单色分量数据的彩色马赛克图像数据的形式输入运动图像数据；以及空间抽取器，配置成从输入单元输入运动图像数据，并分别对彩色马赛克图像数据的每一彩色分量数据执行空间抽取处理。空间抽取器为彩色马赛克图像数据的每一彩色分量数据选择一个或多个代表值，并产生由所选择的代表值组成的、空间上抽取的数据。
文档编号H04N11/04GK1728834SQ200510087860
公开日2006年2月1日 申请日期2005年8月1日 优先权日2004年7月30日
发明者小林诚司 申请人:索尼株式会社