摄像设备、图像处理设备及其控制方法

专利名称：摄像设备、图像处理设备及其控制方法
技术领域：
本发明涉及一种摄像设备、图像处理设备及其控制方法。
背景技术：
此前，已经提出了将图像信号的分辨率从标准清晰度(SD) 转换成高清晰度(HD)的图像数据转换设备等(参见日本特开 2003-323612)。日本特开2003-323612中所公开的设备为了根据
图像信号的特性进行最优处理，在进行分辨率转换时，基于每 一像素块的某些特性量，来进行分类。该想法意图通过针对各 分类进行适当的分辨率转换，来获得整个图像的良好的分辨率 转换结果。
另外，提出了这样一种图像处理设备获取被摄体的运动 图像数据，并将该数据转换成具有低分辨率的运动图像数据， 并生成具有高分辨率的静止图像数据(参见日本特开 2006-352630)。
在日本特开2003-323612中，使用预先提供的学习图像来创 建对任何内容的图像共同适用的分辨率转换表，并在回放期间 使用该表进行分辨率转换。然而，上述分辨率转换表具有大量 学习图像的平均特性，并未针对实际进行分辨率转换的各个图 像进行最优化。
此外，在日本特开2006-352630中，生成运动图像数据，其 中，所获取的运动图像数据已经被转换成具有低分辨率，并且 根据转换成具有低分辨率之前的运动图像数据，生成静止图像 数据。然而，使用该静止图像数据作为一般的照片数据。因此， 静止图像数据的生成定时遵从用户记录静止图像的指令。换句话说，该静止图像数据不是为了在分辨率转换中使用而生成的。

发明内容
考虑到传统技术的上述问题做出了本发明。希望提供这样
一种摄像设备及其控制方法即使在回放过程中进行分辨率转 换以提高分辨率的情况下，该摄像设备也进行使得能够获得良 好的分辨率转换结果的摄像。
本发明还可以提供一种能够良好地回放由本发明的摄像设 备所拍摄的图像的图像处理设备及其控制方法。
根据本发明的一个方面，提供一种摄像设备，用于拍摄运 动图像，所述摄像设备包括判断部件，用于从构成所述运动 图像的多个图像帧中，判断在所述运动图像的分辨率转换中要 用作参考图像帧的图像帧；文件生成部件，用于根据由所述判 断部件判断出的所述参考图像帧，生成参考图像数据文件；编 码部件，用于降低所述多个图像帧的分辨率，并根据分辨率降 低后的图像帧，生成编码运动图像数据文件；信息生成部件， 用于生成指定所述参考图像帧的信息；列表生成部件，用于生 成将由所述信息生成部件生成的、指定所述参考图像帧的信息 与指定所述参考图像数据文件的信息相关联的列表；以及第一 记录控制部件，用于将所述参考图像数据文件、所述编码运动 图像数据文件和所述列表存储在第 一 存储部件中。
根据本发明的另一方面，提供一种图像处理设备，包括 获取部件，用于从摄像设备获取参考图像数据文件、编码运动 图像数据文件和列表，并将所获取的所述参考图像数据文件、 所述编码运动图像数据文件和所述列表存储在第三存储部件 中；第一读出部件，用于从所述第三存储部件读出所述参考图 像数据文件；分辨率降低部件，用于根据所读取的所述参考图像数据文件中包括的参考图像帧，生成具有与构成所述编码运 动图像数据文件的图像帧相等的分辨率的低分辨率参考图像 帧；分辨率转换表生成部件，用于根据所述参考图像帧和所述 低分辨率参考图像帧，生成用于提高构成所述编码运动图像数据文件的图像帧的分辨率的分辨率转换表；第二读出部件，用 于从所述第三存储部件读出所述列表；列表编辑部件，用于将 所述分辨率转换表与所述列表相关联，并输出由此生成的列表； 第二记录控制部件，用于将所述分辨率转换表和由所述列表编 辑部件输出的所述列表记录在所述第三存储部件中；解码部件，用于对所述编码运动图像数据文件进行解码，并输出构成所述 编码运动图像数据文件的图像帧；分辨率转换部件，用于在基 于所述列表来应用所述分辨率转换表的情况下，对由所述解码 部件输出的图像帧进行分辨率转换；以及输出部件，用于输出 进行所述分辨率转换后的图像帧。根据本发明的另一方面，提供一种图像处理设备，包括 获取部件，用于从摄像设备获取编码运动图像数据文件、列表 和分辨率转换表，其中，所述摄像设备包括分辨率降低部件，用于根据所读取的参考图像数据文件中包括的参考图像帧，生 成具有与构成所述编码运动图像数据文件的图像帧相等的分辨率的低分辨率参考图像帧；分辨率转换表生成部件，用于根据 所述参考图像帧和所述低分辨率参考图像帧，生成用于提高构 成所述编码运动图像数据文件的图像帧的分辨率的分辨率转换 表，并输出所生成的所述分辨率转换表；以及列表编辑部件， 用于将所述分辨率转换表与所述列表相关联，并输出由此生成 的列表，所述图像处理设备被配置为将所获取的所述编码运动 图像数据文件、所述列表和所述分辨率转换表存储在第三存储 部件中，所述图像处理设备还包括解码部件，用于对所述编码运动图像数据文件进行解码，并输出构成所述编码运动图像 数据文件的图像帧；分辨率转换部件，用于在基于所述列表来 应用所述分辨率转换表的情况下，对由所述解码部件输出的图像帧进行分辨率转换；以及输出部件，用于输出进行所述分辨 率转换后的图像帧。根据本发明的另一方面，提供一种用于拍摄运动图像的摄 像设备的控制方法，所述控制方法包括以下步骤判断步骤， 用于从构成所述运动图像的多个图像帧中，判断在所述运动图 像的分辨率转换中要用作参考图像帧的图像帧；文件生成步骤， 用于根据所述参考图像帧，生成参考图像数据文件；编码步骤， 用于降低所述多个图像帧的分辨率，并根据分辨率降低后的图 像帧，生成编码运动图像数据文件；信息生成步骤，用于生成 指定所述参考图像帧的信息；列表生成步骤，用于生成将在所 述信息生成步骤中所生成的、指定所述参考图像帧的信息与指 定所述参考图像数据文件的信息相关联的列表；以及第一记录 控制步骤，用于将所述参考图像数据文件、所述编码运动图像 数据文件和所述列表存储在第一存储单元中。根据本发明的另一方面，提供一种用于对由摄像设备拍摄 的图像进行处理的图像处理设备的控制方法，所述摄像设备包 括判断部件，用于从构成运动图像的多个图像帧中，判断在 所述运动图像的分辨率转换中要用作参考图像帧的图像帧；文 件生成部件，用于根据由所述判断部件判断出的所述参考图像 帧，生成参考图像数据文件；编码部件，用于降低所述多个图 像帧的分辨率，并根据分辨率降低后的图像帧，生成编码运动 图像数据文件；信息生成部件，用于生成指定所述参考图像帧 的信息；以及列表生成部件，用于生成将由所述信息生成部件 生成的、指定所述参考图像帧的信息与指定所述参考图像数据文件的信息相关联的列表，所述控制方法包括获取步骤，用 于获取由所述摄像设备生成的所述参考图像数据文件、所述编 码运动图像数据文件和所述列表，并将所获取的所述参考图像 数据文件、所述编码运动图像数据文件和所述列表存储在存储单元中；分辨率降低步骤，用于根据所读取的所述参考图像数 据文件中包括的所述参考图像帧，生成具有与构成所述编码运 动图像数据文件的图像帧相等的分辨率的低分辨率参考图像 帧；分辨率转换表生成步骤，用于根据所述参考图像帧和所述 低分辨率参考图像帧，生成用于提高构成所述编码运动图像数 据文件的图像帧的分辨率的分辨率转换表；列表编辑步骤，用 于将所述分辨率转换表与所述列表相关联，并输出由此生成的 列表；记录控制步骤，用于将所述分辨率转换表和在所述列表 编辑步骤中输出的所述列表存储到所述存储单元；解码步骤，用于对所述编码运动图像数据文件进行解码，并输出构成所述 编码运动图像数据文件的图像帧；分辨率转换步骤，用于在基 于所述列表来应用所述分辨率转换表的情况下，对在所述解码 步骤中输出的图像帧进行分辨率转换；以及输出步骤，用于输 出进行所述分辨率转换后的图像帧。根据本发明的另 一方面，提供一种用于对由摄像设备拍摄 的图像进行处理的图像处理设备的控制方法，所述摄像设备包 括分辨率降低部件，用于根据所读取的参考图像数据文件中 包括的参考图像帧，生成具有与构成编码运动图像数据文件的 图像帧相等的分辨率的低分辨率参考图像帧；分辨率转换表生 成部件，用于根据所述参考图像帧和所述低分辨率参考图像帧， 生成用于提高构成所述编码运动图像数据文件的图像帧的分辨 率的分辨率转换表，并输出所生成的所述分辨率转换表；以及 列表编辑部件，用于将所述分辨率转换表与所述列表相关联，并输出由此生成的列表，所述控制方法包括获取步骤，用于 获取由所述摄像设备生成的所述编码运动图像数据文件、所述 列表和所述分辨率转换表，并将所获取的所述编码运动图像数据文件、所述列表和所述分辨率转换表存储在存储单元中；解码步骤，用于对所述编码运动图像数据文件进行解码，并输出构成所述编码运动图像数据文件的图像帧；分辨率转换步骤， 用于在基于所述列表来应用所述分辨率转换表的情况下，对在 所述解码步骤中输出的图像帧进行分辨率转换；以及输出步骤， 用于输出进行所述分辨率转换后的图像帧。通过以下结合附图对典型实施例的说明，本发明的其它特 征将变得明显。


图1是示出根据本发明第 一 实施例的摄像设备的典型结构 的框图；图2示出由根据本发明第 一 实施例的摄像设备所生成的典 型内容信息列表；图3是示出根据本发明第 一 实施例的摄像设备中的用于提 取参考图像的典型操作的流程图；图4是示出根据本发明第一实施例的图像处理设备的典型 结构的框图；图5是示出根据本发明第 一 实施例的图像处理设备中的分 辨率转换表生成单元的典型结构的框图；图6示出由根据本发明第 一实施例的图像处理设备中的内 容信息列表编辑单元编辑后的典型内容信息列表；图7示出当播放与图6的内容信息列表中所示的内容A相对 应的编码运动图像数据文件时的分辨率转换表的应用定时；图8是示出根据本发明第二实施例的摄像设备的典型结构
的框图9示出由根据本发明第二实施例的摄像设备所生成的典 型内容信息列表；
图IO是示出根据本发明第二实施例的摄像设备中的用于 提取参考图像的典型操作的流程图11是示出根据本发明第三实施例的摄像设备的典型结 构的框图12示出存储在根据本发明第三实施例的摄像设备中的 直方图参考表单元中的典型表格；
图13是示出根据本发明第四实施例的摄像设备的典型结 构的框图；以及
图14是示出根据本发明第四实施例的图像处理设备的典 型结构的框图。
具体实施例方式
现在将根据附图详细说明本发明的优选实施例。 第一实施例
首先应该注意，本发明中的"分辨率"的意义不局限于给定 区域的像素密度，例如每英寸的像素数。本发明中的"分辨率" 是还表示图像信号中原有的像素数的表达。因此，分辨率转换 不仅是指转换像素密度，而且还指用于改变像素数的处理。降 低分辨率包含用于减少来自图像信号的像素数的处理。提高分 辨率包含用于增加图像信号中所包括的像素数的处理。应该理 解，以符合上述定义的方式利用本发明的权利要求书、说明书
和附图中的术语"分辨率"。
在本实施例中，摄像设备从一 系列的拍摄图像帧中提取满足特定条件的图像帧作为参考图像，并在不降低分辨率(不减少 像素数)的情况下存储所提取的图像帧。然后，摄像设备在根据 标准或设置相对例如拍摄时图像的分辨率来降低分辨率之后， 将压缩编码处理应用于所拍摄的图像帧，并且生成并存储 一 系 列压缩图像帧，作为编码运动图像数据文件。该摄像设备生成 用于指定作为参考图像所提取的图像帧的信息。该摄像设备还 生成并存储将用于指定提取的图像帧的信息与用于指定参考图 像的参考图像数据文件的信息相关联的列表。
注意，在本发明中，"数据文件"是用于处理具有给定连贯
性(coherence)的数据的单位，并且单个数据文件至少包括按照 给定规则所分类的一个数据集合。根据需要，还包括与数据集 合有关的信息等的附加信息。例如，参考图像数据文件包括构 成作为参考图像所提取的图像帧的像素数据的 一 个或更多个集 合。另外，编码运动图像数据文件包括一个或更多个图像帧的 像素数据。例如，可以通过文件名称来唯一地指定数据文件。
此外，本实施例的图像处理设备获取由摄像设备所存储的 参考图像、内容信息列表和编码运动图像数据文件。该图像处 理设备使用参考图像来生成用于提高构成编码运动图像数据文 件的图像帧的分辨率的分辨率转换表。该图像处理设备对编码 运动图像数据文件进行解码，使用基于内容信息列表所指定的 分辨率转换表对解码后的图像帧进行分辨率转换，并且显示分
辨率转换后的图像帧。由于该处理，可以使用适合实际要进行 分辨率转换的图像的分辨率转换表来进行分辨率转换，从而使
得可以获得高质量结果。
现在将详细说明典型装置结构和操作。
图l是示出根据本发明第 一 实施例的摄像设备100的典型 结构的框图。摄像设备100具有运动图像拍摄功能。摄像单元101设置有CCD、 CMOS或类似的图像传感器，并 且以像素为单位生成与由镜头(未示出)所形成的光学图像相对 应的视频信号。模数(A/D)转换单元102将由摄像单元101所生成 的视频信号转换成数字信号。图像处理单元103进行伽马校正和 白平衡调整等的图像处理。
场景变化检测单元104计算根据等级对例如构成单个输入 图像(图像帧)的像素的亮度和颜色信号进行分类的直方图，并 且存储所生成的直方图。场景变化检测单元104将当前输入的图 像帧的直方图与先前图像帧的直方图进行比较，并且如果直方 图的变化量大于所设置的阈值，则判断为场景已改变。在该判 断处理之后，场景变化检测单元10 4清除先前图像帧的直方图数据。
如果判断为场景已改变，则场景变化检测单元104通知参 考图像提取单元105提取当前图像帧作为参考图像。
在从场景变化检测单元10 4接收到该通知时，用作文件生 成单元的参考图像提取单元105将当前图像帧识别为场景变化 之后的第 一个图像帧。参考图像提取单元105生成包括没有降低 分辨率的当前图像帧的数据的参考图像数据文件，并将所生成 的参考图像数据文件发送给第一记录控制单元106。
参考图像提取单元105还通知内容信息列表生成单元107 已提取了参考图像。参考图像提取单元105还将所有输入的图像 帧的数据发送给编码器单元10 8,而不管当前帧是否作为参考图 像。
用作编码单元的编码器单元108根据例如MPEG2或H.264 等的编码系统对输入的图像帧的数据进行压縮编码，并将由此 所获得的编码运动图像数据文件发送给第一记录控制单元106。 注意，在本实施例中，在将图像帧的分辨率降低到基于预定标准或用户设置等的分辨率之后进行压缩编码。例如，情况如下
根据由HDV标准所确定的分辨率(1440x 1080像素)的拍摄图像 生成并记录SD(720x480像素)图像；或者根据具有高于 1440xl08(H象素的分辨率的图l象生成并记录HDV图像。因此， 在本实施例中，参考图像的分辨率高于构成编码运动图像数据 文件的图像帧的分辨率。
如果提取当前图像帧作为参考图像，则编码器单元108将 当前图像帧的回放时间信息发送给内容信息列表生成单元107。 例如，在图像帧被配置为MPEG2-TS编码运动图像数据文件的 情况下，可以使用插入在PES报头中的呈现时间戳记 (presentation time stamp ， PTS)作为回方文时间信息。可以利用任 意格式的时间信息，只要在播放编码运动图像数据文件时可以 指定参考图像的回放时间即可。也就是说，编码器单元108还用 作生成用于指定作为参考图像所提取的图像帧的信息的信息生 成单元。
注意，在本实施例中，尽管使用编码器单元108所生成的 回放时间信息作为用于指定作为参考图像所提取的图像帧的信 息，但是本发明的信息生成单元不必局限于编码单元。另外， 用于指定图像帧的信息不局限于回放时间信息。任何信息都是 可接受的，只要该信息能够指定和识别图像帧。
内容信息列表生成单元107生成例如如图2所示的内容信 息列表，该内容信息列表将用于指定编码运动图像数据文件的 信息(内容名称)与从编码器单元108接收到的回放时间信息以 及用于指定参考图像数据文件的信息(图像数据文件名称)相关 联。内容信息列表生成单元107将所生成的内容信息列表发送给 第一记录控制单元106。
第 一记录控制单元106将来自参考图像提取单元105的参考图像数据文件、来自内容信息列表生成单元107的内容信息列 表、以及来自编码器单元108的编码运动图像数据文件存储在用
作第一存储单元的第一累积单元109中。
第 一 累积单元109是例如HDD或半导体存储器等的存储单 元，并且存储拍摄的图像数据文件、参考图像数据文件和内容 信息列表等。
当利用摄像设备100播放拍摄的图像数据文件时，将存储 在第 一 累积单元10 9中的图像数据文件提供给解码器单元110 。 解码器单元110对编码图像数据文件进行解码处理，并将解码后 的图像数据提供给数模(D/A)转换单元111。 D/A转换单元lll将 由解码器单元110解码后的数字数据转换成模拟数据，并将模拟 数据输出到显示单元112。显示单元112显示来自D/A转换单元 111的模拟数据作为视频。
网络接口 (1/F)单元113是例如以太网接口或IEEE 1394接口 等的网络接口 。本实施例的摄像设备10 0能够相互关联地将存储 在第 一 累积单元109中的图像数据文件、参考图像和内容信息列 表发送给例如具有图像回放功能的设备等的外部装置。
图3是示出本实施例的摄像设备100中的用于提取参考图 像的典型操作的流程图。
当启动摄像设备100时，场景变化检测单元104首先判断是 否存在图像输入，即，摄像设备100是否处于拍摄状态(S301)。 如果存在图像输入，则场景变化检测单元10 4计算输入图像帧的 直方图(S302)。然后，场景变化检测单元104将计算出的直方图 的数据临时存储在内部存储器等(未示出)中(S303)。
接着，场景变化检测单元104基于临时存储在内部存储器 等中的先前图像帧的直方图数据和此时计算出的直方图的数 据，判断场景是否已改变(S304)。例如，如果直方图的变化量大于阈值，则可以判断为场景已改变(即，已输入极大不同于直 到此时为止所拍摄的图像的图像)。任何用于计算直方图的变化 量的方法都是可接受的。例如，可以使用形状的相关性或相同 等级数据的频率中的总差。注意，还可以利用不基于直方图的 方法来检测场景的变化。
在判断关于当前帧是否存在场景变化之后，场景变化检测
单元104清除先前图像帧的直方图数据(S305、 S306),而不管判 断结果。当对于后续图像帧进行场景变化判断时，使用当前图 像帧的直方图数据作为先前图像帧的直方图数据。
如果判断为存在场景变化，则场景变化检测单元10 4将该 情况通知给参考图像提取单元105。参考图像提取单元105提取 与该通知相对应的图像帧作为参考图像(S307)。参考图像提取 单元105生成图像数据文件，并且将所生成的图像数据文件输出 到第一记录控制单元106,其中，该图像数据文件包括所提取的 处于原始分辨率的且优选处于未编码状态或无损编码状态的参 考图像。参考图像提取单元105还将用于指定所生成的图像数据 文件的信息(例如，图像数据文件名称)通知给内容信息列表生 成单元107。参考图像提取单元105还将所有输入图像帧输出到 编码器单元108。
编码器单元108使用MPEG2或H.264等的压缩编码系统，对 从参考图像提取单元105输入的所有图像帧进行编码(S308 、 S310)。此时，如果已提取了待编码的图像帧作为参考图像，则 编码器单元10 8将该图像帧的回放时间信息通知给内容信息列 表生成单元107。
在S311,场景变化检测单元104判断是否已经输入了所有 帧，即，拍摄是否已经结束。如果还未输入所有帧(S311:否)， 则在S312处理进行到下一图像帧，并且在S302中再次计算直方图。另一方面，如果已经输入了所有帧(S311:是)，则内容信息 列表生成单元107生成上述内容信息列表(S313)。
在S314,第 一记录控制单元106将来自编码器单元108的编 码运动图像数据文件、来自参考图像提取单元105的参考图像数 据文件和来自内容信息列表生成单元107的内容信息列表相互 关联地记录到第一累积单元109。
然后处理返回到S301,并再次等待要输入的下 一 图像。 图4是示出根据本实施例的图像处理设备400的典型结构 的框图。
网络接口 (1/F)单元401是例如以太网接口或IEEE 1394接口 等的网络接口 。发送和接收的数据或者可以通过网络I/F单元 401进行通信的装置没有任何限制。然而，这里，图像处理设备 400将被描述为通过网络I/F单元401与图l所示的摄像设备100 连接以形成图像处理系统，并从摄像设备IOO接收数据。
网络I/F单元401接收来自摄像设备100的编码运动图像数 据文件、参考图像数据文件和内容信息列表，并将它们写入作 为HDD或半导体存储器等的存储单元且用作第三存储单元的 第二累积单元402。
用作第 一读出单元的参考图像读出单元403读出累积在第 二累积单元4 02中的参考图像数据文件，并将读取的参考图像数 据文件提供给分辨率转换表生成单元404。分辨率转换表生成单 元404使用参考图像来生成分辨率转换表。
图5是示出分辨率转换表生成单元4 04的典型结构的框图。 分辨率转换表生成单元404包括累积参考图像数据文件的学习 数据库单元501、对参考图像帧进行下采样的下采样单元502和 学习电路单元503。
学习数据库单元501将从参考图像读出单元403所接收到的参考图像数据文件添加到内部学习数据库。另一方面，学习 数据库单元501将累积在学习数据库中的参考图像数据文件顺
序输出到下采样单元502和学习电路单元503。
用作分辨率降低单元的下采样单元502对包括在输入的参 考图像数据文件中的参考图像帧进行抽取(decimate)和滤波，并 将参考图像帧下采样成与构成编码运动图像数据文件的图像帧 相同的分辨率。下采样单元5 0 2将所获得的低分辨率参考图像帧 输出到学习电路单元503。学习电路单元503使用从下采样单元 502输入的低分辨率参考图像帧和从学习数据库单元501输入的 高分辨率参考图像帧，例如通过最小二乘误差准则进行学习， 并生成分辨率转换表。
这里所生成的分辨率转换表对通过对输入图像中的像素 之间的特性信息进行编码所获得的数据进行索引，并获得像素 密度增加的结果。也就是说，生成使得能够根据相应的低分辨 率参考图像帧获得高分辨率参考图像帧的分辨率转换表。尽管 说明了利用最小二乘法的学习，但是也可以使用神经网络进行 分辨率转换表的学习。学习电路单元503将所获得的分辨率转换 表输出到第二记录控制单元405。学习电路单元503还将用于指 定所生成的分辨率转换表的信息(例如，表名称)和用于指定所 使用的参考图像数据文件的信息通知给内容信息列表编辑单元 407。
返回图4,用作第二读出单元的内容信息列表读出单元406 从第二累积单元402读出内容信息列表，并将读取的列表提供给 内容信息列表编辑单元407。内容信息列表编辑单元407将从分 辨率转换表生成单元404所通知的用于指定分辨率转换表的信 息添加到内容信息列表，并将由此生成的列表输出到第二记录 控制单元405。图6示出由内容信息列表编辑单元407所输出的典型的编辑后的内容信息列表。如图6所示，与回放时间相关联地 添加了指定分辨率转换表的信息。
第二记录控制单元405进行控制，以将由分辨率转换表生 成单元4 04所生成的分辨率转换表和由内容信息列表编辑单元 407编辑后的内容信息列表写入第二累积单元402 。
当播放编码运动图像数据文件时，解码器单元408在从第 二累积单元402读出编码运动图像数据文件的同时进行解码，并 将解码后的图像帧顺序提供给分辨率转换单元409。解码器单元 408还将解码后的图像帧的PTS输出到分辨率转换表读出单元 410,作为回放时间信息。
如果从解码器单元408所接收到的回力t时间信息所示的回 放时间与内容信息列表中所包括的回放时间 一 致，则分辨率转 换表读出单元410从第二累积单元402读出与该回放时间相关联 的分辨率转换表。然后，分辨率转换表读出单元410将读取的分 辨率转换表提供给分辨率转换单元409。
分辨率转换单元409使用从分辨率转换表读出单元410所 接收到的分辨率转换表，对从解码器单元408所输入的图像帧进 行分辨率转换，并提高图像帧的分辨率。利用分辨率转换，对 通过分析输入图像并对像素的特性信息进行编码所获得的数据 进行索引，并通过应用分辨率转换表来增加像素密度，以获得 分辨率比输入图像的分辨率高的图像。图像处理单元411进行颜 色处理和伽马处理等的图像处理，并将分辨率转换后的图像显 示在显示单元412上。
图7示出当播放与图6的内容信息列表中所示的内容A相对 应的编码运动图像数据文件时的分辨率转换表的应用定时。
分辨率转换单元409从回放时间TaO 701处的图像帧开始在 分辨率转换中应用第一分辨率转换表TBL—AO 702。然后，在对到达回放时间Tal之前的图像帧所进行的分辨率转换中应用 TBL—A0。
然后，从回放时间Tal 703处的图像帧开始，在分辨率转换 中应用分辨率转换表TBL—Al 704。与上述类似地，在对到达回 放时间Ta2 705之前的图像帧所进行的分辨率转换中应用 TBL—Al。此外，从回放时间Ta2处的图像帧开始，分辨率转换 单元409切换为应用分辨率转换表TBL—A2 706。
因此，每当检测到场景变化时，应用根据场景的代表图像 (这里为场景的第 一 个图像)所生成的分辨率转换表。由于构成 相同场景的图像帧通常高度相关，因而可以通过应用根据场景 的代表图像所生成的分辨率转换表，来获得适合于构成该场景 的图像帧的分辨率转换结果。
图像传感器的像素数相对于运动图像记录格式的确定周 期而快速增加。还存在相当多的诸如摄像机的主要用于拍摄运 动图像的设备，考虑到对于高分辨率静止图像记录的需求，这 些设备设置有具有比运动图像记录中所使用的更多的像素的图 像传感器。然而，存在如下情况即使拍摄高分辨率图像，由 于在降低分辨率之后才进行运动图像记录，因而它们未必能得 到有效利用。相反，本实施例通过将实际拍摄的高分辨率图像 用于生成分辨率转换表，使得能够以高精度和简单结构生成适 合应用分辨率转换的图像的分辨率转换表。
利用本实施例的摄像设备IOO,在降低分辨率之前提取在 进行运动图像拍摄时所获得的图像帧，作为参考图像。因此， 拍摄参考图像和构成编码运动图像数据文件的图像帧的照相机 的拍摄条件(焦距、景深、曝光条件等)将必然相同。然而，例 如，当使用多部照相机与运动图像分开地拍摄用作参考图像的 静止图像时，可以通过在多部照相机之间进行通信以使拍摄条件一致，从而提取合适的静止图像作为参考图像。
本实施例的回放设备通过使用参考图像的学习处理来生
成分辨率转换表。然而，可以利用分辨率转换表生成单元404
预先提供多种模式的分辨率转换表，并且可以使用其中一个分 辨率转换表。具体地，可以将多个分辨率转换表应用于下采样 后的参考图像，并使用产生与原始(高分辨率)参考图像最接近 的图像的分辨率转换表。
在通过网络将内容文件(编码运动图像数据文件)、参考图
像和内容信息列表从摄像设备100传送至回放设备的方面说明 了本实施例。然而，可以通过存储卡或光盘等可移动存储介质 或者高清晰度多々某体接口 (High-Definition Multimedia Interface, HDMI)等数据可通信显示接口进行该传送。
另外，尽管在本实施例中提取检测到场景变化的第一个图
像帧作为参考图像，但是，可以通过对相同场景中所包括的多 个图像帧进行平均来生成单个参考图像。还可以从相同场景中 提取多个参考图像。例如，在提取判断为场景变化的第一个图 像帧作为参考图像之后，可以提取表现出与该参考图像的直方 图的高度相似性的图像帧作为该场景中的附加参考图像。在这 种情况下，在内容信息列表中将多个参考图像与相同回放时间 相关联。图像处理设备400中的分辨率转换表生成单元404基于 与相同回放时间相关联的多个(原始分辨率和下采样后的)参考 图像，生成单个分辨率转换表。
在本实施例中，摄像设备100对每个场景提取高分辨率参 考图像，同时图像处理设备400使用参考图像生成分辨率转换 表，并在进行回放时对每个场景切换所应用的分辨率转换表的 同时，进行分辨率转换，这使得能够获得适合于图像帧的内容 的分辨率转换结果。注意，代替每当出现场景变化时提取参考图像，可以通过 在摄像设备1 0 0中设置定时器等，在经历特定设定时间段时提取 参考图像。另外，可以在接通摄像设备100的记录开关时提取参
考图像。
使用以比构成编码运动图像数据文件的图像帧的分辨率 更高的分辨率实际所拍摄的图像帧作为参考图像，使得与根据 无关图像所生成的分辨率转换表相比能够获得更良好的结果。
第二实施例
在第一实施例中，为每一场景提取参考图像，然而，在本 实施例中，存储先前提取的参考图像，并再使用这些参考图像。
图8是示出根据本实施例的摄像设备100，的典型结构的框 图。在图8中，相同的附图标记用于与图l中相同的组成元件， 并且省略对其的重复说明。以下的说明重点在于本实施例的特 征结构及其操作。
直方图存储单元802以与用于指定相应的参考图像数据文 件的信息相关联的方式保存作为参考图像已提取的图像帧的直 方图数据。
类似于第 一实施例，场景变化检测单元104基于直方图判 断是否存在场景变化。如果判断为场景已改变，则将当前图像 帧的直方图数据输出到直方图比较单元801。
直方图比较单元801将从场景变化检测单元104所接收到 的直方图数据与存储在直方图存储单元802中的直方图数据进 行比较。如果比较结果表示不存在表现出高相似性的所存储的 直方图，则直方图比较单元801判断为提取当前图像帧作为参考 图像，并且通知参考图像提取单元803提取当前图像帧作为参考 图像。然后，在判断为提取当前图像帧作为参考图像的情况下， 直方图比较单元801将当前图像帧的直方图数据存储在直方图存储单元802中。
这里，可以利用任意方法得出直方图之间的相似性。例如， 如果构成直方图的各等级的频率值的总差超过阈值，则可以判 断为相似性{氐。
另 一方面，如果发现任何所存储的直方图表现出高相似
性，则直方图比较单元801判断为先前所提取的参考图像中的一 个近似当前图像帧。在这种情况下，直方图比较单元801通知用 于指定与发现具有高相似性的直方图.相对应的过去的参考图像 数据文件的信息，而不是通知提取当前图像帧作为参考图像。 接收到提取参考图像的通知的参考图像提取单元803以与
第 一 实施例中的参考图像提取单元105类似的方式，根据当前图 像帧生成参考图像数据文件，并将所生成的参考图像数据文件 提供给第一记录控制单元106。参考图像提取单元803还将用于 指定参考图像数据文件的信息(例如，文件名称)通知给直方图 比较单元801。
直方图比较单元801在从参考图像提取单元803接收到该 通知时，与存储在直方图存储单元802中的当前图像帧的直方图
数据相关联地存储所通知的用于指定参考图像数据文件的信
自
如果从直方图比较单元801接收到用于指定参考图像数据 文件的信息的通知，则参考图像提取单元803进一 步将该信息通 知给内容信息列表生成单元804。
编码器单元108使用MPEG2或H.264等压缩编码系统，对从 参考图像提取单元803所输入的所有图像帧进行编码。此时，如 果待编码的图像帧是作为参考图像所提取的图像帧或判断为场 景变化的图像帧，则编码器单元108将该图像帧的回放时间信息 通知给内容信息列表生成单元804。内容信息列表生成单元804以与第 一 实施例类似的方式生 成内容信息列表。与第一实施例的不同仅在于从参考图像提 取单元803所提供的用于指定参考图像数据文件的信息可以是 用于指定过去的参考图像数据文件的信息。
例如，如果判断为从回放时间Ta2开始的场景(场景3)的第 一个图像帧的直方图类似于从回放时间TaO开始的场景(场景1) 的第 一个图像帧的直方图，则生成例如图9所示的内容信息列 表。在图9中，同样使用与场景l相对应的参考图像数据文件(图 像AO)作为与场景3相对应的参考图像数据文件。
图10是示出本实施例的摄像设备100，中的用于提取参考图 像的典型操作的流程图。这里，仅示出不同于图3所述的第一实 施例的流程图的部分。
与第一实施例类似地进行图3中的S301 ~ S305的处理。然 而，场景变化^r测单元104将判断为发生了场景变化通知给直方 图比较单元801而不是参考图像提取单元803。
在S1002，直方图比较单元801将当前图像帧的直方图与存 储在直方图存储单元802中的直方图进行比较。
接着，在S1003,直方图比较单元801判断存储在直方图存 储单元802中的任一直方图是否与当前图像帧的直方图类似。
如果没有判断为类似的直方图，则直方图比较单元801通 知参考图像提取单元105提取当前图像帧作为参考图像。参考图 像提取单元105提取当前图像帧作为参考图像(S307),生成参考 图像数据文件，并将所生成的参考图像数据文件提供给第 一记 录控制单元106。参考图像提取单元105还将用于指定参考图像 数据文件的信息通知给直方图比较单元801。
接着，直方图比较单元801将当前图像帧的直方图存储在 直方图存储单元802中(S1007)。此时，直方图比较单元801将当前图像帧的直方图与用于指定参考图像数据文件的信息相关联
地存储在直方图存储单元802中。
然后，进4亍/人S308开始的处理。
另一方面，如果存在S1003中判断为类似的直方图，则直 方图比较单元801从直方图存储单元802读出用于指定与该直方 图相对应的参考图像数据文件的信息。然后，直方图比较单元 8 01将用于指定参考图像数据文件的信息通知给内容信息列表 生成单元804(S1004)。
编码器单元108^f吏用MPEG2或H.264等压缩编码系统，对当 前图像帧进行编码(S1005)。然后，编码器单元108将当前图像 帧的回放时间信息通知给内容信息列表生成单元804(S 1006)。
然后，进行从S311(图3)开始的处理。
由于根据本实施例的图像处理设备的结构和操作可以与 第一实施例的图像处理设备400的结构和才乘作相同，因而省略对 其的说明。
注意，在本实施例中，将判断为发生场景变化的图像帧的 直方图与过去的参考图像的直方图进行比较，并且，如果不存 在类似的直方图，则提取该图像帧作为参考图像。然而，可以 存储过去的参考图像本身，并且可以基于图像之间的相似性来 决定提取作为参考图像的图像帧。
另外，还可以使用随后的图像作为先前的参考图像，而不 是再使用先前所提取的参考图像。也就是说，在图9的例子的情 况下，代替作为类似的先前参考图像的图像AO,可以将与回放 时间Ta2相对应的图像帧(假定为图像A2)与回放时间TaO相关 联。可选地，可以优先使用类似的图像中具有认为是表示高分 辨率的大的高频分量的图像。
因此，由于共享相似的参考图像，因而本实施例的摄像设备1 0 0 ，使得可以降低用于累积高分辨率参考图像所需的存储容
曰f 。
第三实施例
图11是示出根据本发明第三实施例的摄像设备100"的典
型结构的框图。在图ll中，相同的附图标记用于与图l中相同的 组成元件，并且省略对其不必要的说明。
直方图检测单元1 IOH十算构成输入图像帧的像素的亮度 和颜色分量的直方图，作为示出该图像帧的特性的信息，并且 将该数据发送到参考图像提取单元1102。
由键盘、按钮或开关等构成的操作单元1103是用户向摄像 设备100，，输入指令的接口 。在本实施例中，操作单元1103设置 有用于设置摄像设备100"的拍摄模式(场景)的、用作拍摄模式 设置单元的模式设置拨盘，该拍摄模式例如是肖像模式、运动
模式和黄昏模式等。
利用拍摄模式指示单元1104检测使用模式设置拨盘所设 置的拍摄模式，并将检测到的拍摄模式通知给参考图像提取单 元U02。
直方图参考表单元1105存储这样的表在该表中，将本实 施例的摄像设备100"中每个可设置的拍摄模式与直方图相关 联，该直方图是表示认为以该拍摄模式所拍摄的图像应该具有 的代表图像特性的信息。
例如，将黄昏拍摄的图像的直方图特性(例如，相对于蓝色 分量来说，红色分量非常多)存储为与黄昏模式相对应的直方 图。图12示出由直方图参考表单元1105所存储的典型表。这里， 列出作为指定相应的直方图数据的信息的数据文件名称，作为 参考直方图。还将直方图数据存储在直方图参考表单元1105中。
参考图像提取单元1102以从拍摄模式指示单元1104所通知的拍摄模式作为关键词，对直方图参考表单元1105进行搜索， 并获取具有与当前拍摄模式相对应的代表特性的直方图。然后， 参考图像提取单元1 1 0 2将所获取的直方图与从直方图检测单元 1 1 0 1所接收到的当前图像帧的直方图进行比较。
如果直方图中相应等级的值的总差等于或小于阈值，则参
考图像提取单元1102判断为当前图像帧具有以当前拍摄模式所
拍摄的图像帧的代表特性，并且提取当前图像帧作为参考图像。
参考图像提取单元1102以与第 一 实施例中的参考图像提 取单元105类似的方式，生成参考图像数据文件，并且将所生成 的参考图像数据文件输出到第 一 记录控制单元10 6 。参考图像提 取单元1102还将所有输入的图像帧提供给编码器单元108,并通 知作为参考图像所提取的图像帧。参考图像提取单元1102还将 用于指定参考图像数据文件的信息通知给内容信息列表生成单 元107。
由于包括第 一记录控制单元106、内容信息列表生成单元 107和编码器单元108的其它组成元件的^1栗作如在第 一 实施例中 所述，因而省略对其的说明。
第 一 实施例的图像处理设备400可以使用本实施例的摄像 设备IOO，，所记录的编码运动图像数据文件、内容信息列表和参 考图像数据文件。
在本实施例中，预先提供具有与拍摄模式相对应的特性的 代表直方图，并且从所拍摄的图像帧中提取具有与代表直方图 相似的直方图的图像帧作为代表图像。
因此，在实际拍摄的高分辨率图像帧中，可以使用对拍摄 模式典型的图像帧来生成分辨率转换表。因此，在分辨率转换 之后进行回放的情况下生成与拍摄模式相对应的分辨率转换 表，从而能够获得符合所拍摄的对象的倾向的分辨率转换结果。这里，作为参考图像提取的图像帧被视作为第 一 实施例中 的场景的第一个图像帧，并且如第一实施例中所述，生成与各 个参考图像相对应的分辨率转换表。然而，在将从特定拍摄模 式下的拍摄开始直到切换了拍摄模式或者指示结束拍摄为止所 记录的运动图像组当作 一 个场景的情况下，可以根据相同场景 内所提取的多个参考图像来创建单个分辨率转换表。在这种情 况下，在内容信息列表中，多个参考图像与相同回放时间相关
联。图像处理设备400的分辨率转换表生成单元404基于与相同
回放时间相关联的多个(原始分辨率和下采样后的)参考图像， 生成单个分辨率转换表。 第四实施例
图13是示出根据本发明第四实施例的摄像设备100"，的典 型结构的框图。在图13中，相同附图标记用于与图l和4相同的 组成元件，并且省略对其不必要的说明。
本实施例的摄像设备100，"具有由第 一 实施例的图像处理 设备400所进行的生成分辨率转换表的功能。
具体地，可以通过将包括在根据第一实施例的图像处理设 备400中的参考图像读出单元403、分辨率转换表生成单元404、 内容信息列表读出单元406和内容信息列表编辑单元407与根据 第 一 实施例的摄像设备IOO组合，获得根据第四实施例的摄像设 备100,"。
本实施例的摄像设备100，"所进行的用来累积参考图像数 据文件并对第 一 累积单元109中的运动图像数据文件和内容信 息列表进行编码的处理与第 一 实施例的处理类似。另 一 方面， 当将参考图像数据文件新添加到第 一 累积单元109时，参考图像 读出单元403读出该参考图像数据文件，并且将所读取的参考图 像数据文件提供给分辨率转换表生成单元404。如使用图5所述，分辨率转换表生成单元404使用高分辨率参考图像和通过下采 样生成的、分辨率与构成编码运动图像数据文件的图像帧的分 辨率相同的参考图像，来生成分辨率转换表。将所生成的分辨
率转换表输出到第 一记录控制单元106。分辨率转换表生成单元 404还向内容信息列表编辑单元407通知用于指定所生成的分辨 率转换表的信息(例如，表名称)和用于指定所使用的参考图像 的信息。
第 一 记录控制单元10 6将由分辨率转换表生成单元4 0 4所 生成的分辨率转换表存储在第 一 累积单元109中。
内容信息列表读出单元406从第 一 累积单元109读出内容 信息列表，并将所读取的内容信息列表提供给内容信息列表编 辑单元407。内容信息列表编辑单元407基于内容信息列表中的 参考图像数据文件名称，添加从分辨率转换表生成单元404所通 知的用于指定分辨率转换表的信息，并且将由此得到的列表输 出到第 一记录控制单元106。
第 一记录控制单元106将由内容信息列表编辑单元407编 辑后的内容信息列表存储在第一累积单元109中。一旦结束了图 像输入，并且完成了用于生成分辨率转换表的处理，则第一记 录控制单元106从第 一 累积单元109删除在生成分辨率转换表中 所使用的参考图像数据文件。
最后，将编码运动图像数据文件、编辑后的内容信息列表 和分辨率转换表记录到第 一 累积单元10 9 。
图14是示出根据本实施例的图像处理设备400，的典型结构
的框图。
图像处理设备400，通过网络I/F单元401从图13所示的摄像
设备100，"获取编码运动图像数据文件、编辑后的内容信息列表 和分辨率转换表，并将所获取的文件、列表和表存储在第二累积单元402中。
当播放编码运动图像数据文件时，解码器单元408在从第 二累积单元402读出编码运动图像数据文件的同时，进行解码， 并将解码后的图像帧顺序提供给分辨率转换单元409。解码器单 元408还将解码后的图像帧的PTS输出到分辨率转换表读出单 元410,作为回》文时间信息。
如果从解码器单元408所接收到的回放时间信息所示的回 放时间与包括在内容信息列表中的回放时间 一 致，则分辨率转 换表读出单元410从第二累积单元402读出与该回放时间相关联 的分辨率转换表。然后，分辨率转换表读出单元410将所读取的 分辨率转换表提供给分辨率转换单元409。
分辨率转换单元409使用从分辨率转换表读出单元410所 接收到的分辨率转换表，对从解码器单元408所输入的图像帧进 行分辨率转换，并且提高图像帧的分辨率。利用分辨率转换，
对通过分析输入图像并对像素之间的特性进行编码所获得的数 据进行索引，并通过应用分辨率转换表增大像素密度，以获得 分辨率比输入图像的分辨率高的图像。图像处理单元411进行颜 色处理和伽马处理等图像处理，并且将分辨率转换后的图像显 示在显示单元412上。
由于在摄像设备100"，中生成分辨率转换表，因此本实施例 的摄像设备100，"和回放设备使得能够清除所提取的参考图像 帧，并且能够降低用于累积参考图像帧所需的存储容量。由于 不需要将参考图像数据文件从摄像设备100，，，传送到回放设备， 因而还可以减少网络上流动的数据量。
注意，即使在本实施例中，以下结构也是可以的在该结 构中，如第一实施例中所述，从一个场景提取多个参考图像， 并且根据多个参考图像创建单个分辨率转换表。其它实施例
注意，还可以利用在系统或设备的计算才几(或CPU、 MPU等) 上运行的软件来实现上述实施例。
因此，为了通过计算机实现上述实施例，还通过提供给计 算机的计算机程序来实现本发明。换句话说，用于实现上述实
施例的功能的计算^L程序也是本发明的 一 个方面。
注意，用于实现上述实施例的计算机程序可以采用任何形 式，只要是计算机可读的。例如，该计算机程序可以包括对象 代码、由解释程序执行的程序或提供给操作系统的脚本数据， 但是不局限于这些配置。
通过存储介质或通过有线/无线通信将用于实现上述实施 例的计算机程序提供给计算机。用于提供该程序的存储介质的
例子包括软盘、硬盘和磁带等磁性存储介质，MO、 CD和DVD 等光/磁光存储介质，以及非易失性半导体存储器。
用于使用有线或无线通信提供计算机程序的一种方法包 括利用计算机网络上的服务器。在这种情况下，将能够成为形
成本发明的计算机程序的数据文件(程序文件)存储在该服务器 上。该程序文件可以是执行格式或源代码。
然后通过将该程序文件下载到访问该服务器的客户计算 机，来提供该计算机程序。在这种情况下，还可以将该程序文 件分成多个分段文件，并在不同服务器间分散这些分段文件。
也就是说，将实现上述实施例的程序文件提供给客户计算 机的服务器设备也是本发明的一个方面。
还可以以加密形式来分发存储有用于实现上述实施例的 计算机程序的存储介质，向满足规定要求的用户提供解密密钥 信息，并允许安装到用户计算机。例如，可以通过因特网从网 站进行下载来提供密钥信息。用于实现上述实施例的计算机程序可以利用已经在计算 机上运行的操作系统的功能。
此外，可以由安装在计算机中的扩展板等固件构成用于实 现上述实施例的计算机程序的 一 部分，或者可以通过设置有扩 展板等的C P U来执行该计算机程序的 一 部分。
尽管在"提取，，图像帧以用作参考图像的方面，说明了本发 明的实施例，但是不必从图像帧的序列中去除该图像帧。例如， 可以通过复制相关数据，从而将参考图像帧保留在帧序列中来 实现这样的"提取"。
尽管参考典型实施例说明了本发明，但是应该理解，本发 明不局限于所公开的典型实施例。所附权利要求书的范围符合 最宽的解释，以包含所有这类修改、等同结构和功能。
权利要求
1. 一种摄像设备，用于拍摄运动图像，所述摄像设备包括判断部件，用于从构成所述运动图像的多个图像帧中，判断在所述运动图像的分辨率转换中要用作参考图像帧的图像帧；文件生成部件，用于根据由所述判断部件判断出的所述参考图像帧，生成参考图像数据文件；编码部件，用于降低所述多个图像帧的分辨率，并根据分辨率降低后的图像帧，生成编码运动图像数据文件；信息生成部件，用于生成指定所述参考图像帧的信息；列表生成部件，用于生成将由所述信息生成部件生成的、指定所述参考图像帧的信息与指定所述参考图像数据文件的信息相关联的列表；以及第一记录控制部件，用于将所述参考图像数据文件、所述编码运动图像数据文件和所述列表存储在第一存储部件中。
2. 根据权利要求l所述的摄像设备，其特征在于，所述判 断部件从所述多个图像帧中，将被判断为相对先前图像帧发生 场景变化的图像帧判断为所述参考图像帧。
3. 根据权利要求l所述的摄像设备，其特征在于，还包括 累积部件，所述累积部件用于累积与所述参考图像帧有关的信 自、其中，如果在所述多个图像帧中发现新判断出的图像帧， 则所述判断部件参考所述累积部件，判断是否已经使用相似图 像帧作为参考图像帧，以及如果所述判断部件判断为已经使用相似图像帧作为参考像帧生成的参考图像数据文件的信息与指定所述新判断出的 图像帧的信息相关联。
4. 根据权利要求l所述的摄像设备，其特征在于，还包括 拍摄模式设置部件，用于允许用户设置多个拍摄模式之一 ；以及第二存储部件，用于与表示拍摄模式的代表图像特性的信 息相关联地存储所述多个拍摄模式中的每个拍摄模式，其中，所述判断部件参考所述第二存储部件，从所述多个 图像帧中，将被判断为具有与由所述拍摄模式设置部件设置的 所述拍摄模式相对应的所述代表图像特性的图像帧判断为所述 参考图像帧。
5. 根据权利要求l所述的摄像设备，其特征在于，还包括 第一读出部件，用于从所述第一存储部件读出所述参考图像数据文件；分辨率降低部件，用于根据所读取的所述参考图像数据文 件中包括的所述参考图像帧，生成具有与构成所述编码运动图 像数据文件的图像帧相等的分辨率的低分辨率参考图像帧；分辨率转换表生成部件，用于根据所述参考图像帧和所述 低分辨率参考图像帧，生成用于提高构成所述编码运动图像数 据文件的图像帧的分辨率的分辨率转换表，并将所生成的所述 分辨率转换表输出到所述第 一 记录控制部件；第二读出部件，用于从所述第一存储部件读出所述列表；以及列表编辑部件，用于将所述分辨率转换表与所述列表相关 联，并将由此生成的列表输出到所述第 一记录控制部件，其中，所述第一记录控制部件将所述分辨率转换表和来自 所述列表编辑部件的所述列表记录到所述第 一 存储部件。
6. 根据权利要求5所述的摄像设备，其特征在于，所述第 一记录控制部件从所述第一存储部件删除在生成所述分辨率转换表时所使用的所述参考图像数据文件。
7. —种图像处理设备，包括获取部件，用于从摄像设备获取参考图像数据文件、编码 运动图像数据文件和列表，并将所获取的所述参考图像数据文 件、所述编码运动图像数据文件和所述列表存储在第三存储部件中；第一读出部件，用于从所述第三存储部件读出所述参考图像数据文件；分辨率降低部件，用于根据所读取的所述参考图像数据文 件中包括的参考图像帧，生成具有与构成所述编码运动图像数 据文件的图像帧相等的分辨率的低分辨率参考图像帧；分辨率转换表生成部件，用于根据所述参考图像帧和所述低分辨率参考图像帧，生成用于提高构成所述编码运动图像数 据文件的图像帧的分辨率的分辨率转换表；第二读出部件，用于从所述第三存储部件读出所述列表；列表编辑部件，用于将所述分辨率转换表与所述列表相关 联，并输出由此生成的列表；第二记录控制部件，用于将所述分辨率转换表和由所述列 表编辑部件输出的所述列表记录在所述第三存储部件中；解码部件，用于对所述编码运动图像数据文件进行解码，并输出构成所述编码运动图像数据文件的图像帧；分辨率转换部件，用于在基于所述列表来应用所述分辨率 转换表的情况下，对由所述解码部件输出的图像帧进行分辨率 转换；以及输出部件，用于输出进行所述分辨率转换后的图像帧。
8. —种图像处理设备，包括获取部件，用于从摄像设备获取编码运动图像数据文件、列表和分辨率转换表，其中，所述摄像设备包括分辨率降低部件，用于根据所读取的参考图像数据文件中 包括的参考图像帧，生成具有与构成所述编码运动图像数据文 件的图像帧相等的分辨率的低分辨率参考图像帧；分辨率转换表生成部件，用于根据所述参考图像帧和所述低分辨率参考图像帧，生成用于提高构成所述编码运动图像数 据文件的图像帧的分辨率的分辨率转换表，并输出所生成的所 述分辨率转换表；以及列表编辑部件，用于将所述分辨率转换表与所述列表相关 联，并输出由此生成的列表，所述图像处理设备被配置为将所获取的所述编码运动图像 数据文件、所述列表和所述分辨率转换表存储在第三存储部件 中，所述图像处理设备还包括解码部件，用于对所述编码运动图像数据文件进行解码，并输出构成所述编码运动图像数据文件的图像帧；分辨率转换部件，用于在基于所述列表来应用所述分辨率转换表的情况下，对由所述解码部件输出的图像帧进行分辨率 转换；以及输出部件，用于输出进行所述分辨率转换后的图像帧。
9. 一种用于拍摄运动图像的摄像设备的控制方法，所述控制方法包括以下步骤判断步骤，用于从构成所述运动图像的多个图像帧中，判断在所述运动图像的分辨率转换中要用作参考图像帧的图像文件生成步骤，用于根据所述参考图像帧，生成参考图像 数据文件；编码步骤，用于降低所述多个图像帧的分辨率，并根据分辨率降低后的图像帧，生成编码运动图像数据文件；信息生成步骤，用于生成指定所述参考图像帧的信息； 列表生成步骤，用于生成将在所述信息生成步骤中所生成的、指定所述参考图像帧的信息与指定所述参考图像数据文件的信息相关联的列表；以及第一记录控制步骤，用于将所述参考图像数据文件、所述编码运动图像数据文件和所述列表存储在第 一 存储单元中。
10. 根据权利要求9所述的控制方法，其特征在于，所述判 断步骤包括从所述多个图像帧中，将被判断为相对先前图像帧 发生场景变化的图像帧定义为所述参考图像帧。
11. 根据权利要求9所述的控制方法，其特征在于，包括存 储与所述参考图像帧有关的信息，以及其中，如果在所述多个图像帧中发现新判断出的图像帧， 则在所述判断步骤中参考与所述参考图像帧有关的信息，判断 是否已经使用相似图像帧作为参考图像帧，如果在所述判断步骤中判断为已经使用相似图像帧作为参 考图像帧，则在所述列表中将指定根据所述相似图像帧生成的 所迷参考图像数据文件的信息与指定新判断出的图像帧的信息 相关联。
12. 根据权利要求9所述的控制方法，其特征在于，还包括 拍摄模式设置步骤，用于允许用户设置多个拍摄模式之一；以及第二存储步骤，用于与表示拍摄模式的代表图像特性的信 息相关联地将所述多个拍摄模式中的每个拍摄模式存储在第二 存储单元中，其中，在所述判断步骤中，参考所述第二存储单元，从所述多个图像帧中，将被判断为具有与由所述用户设置的所述拍 摄模式相对应的所述代表图像特性的图像帧判断为所述参考图像帧。
13. 根据权利要求9所述的控制方法，其特征在于，还包括 第一读出步骤，用于从所述第一存储单元读出所述参考图像数据文件；分辨率降低步骤，用于根据所读取的所述参考图像数据文 件中包括的所述参考图像帧，生成具有与构成所述编码运动图 像数据文件的图像帧相等的分辨率的低分辨率参考图像帧；分辨率转换表生成步骤，用于根据所述参考图像帧和所述 低分辨率参考图像帧，生成用于提高构成所述编码运动图像数 据文件的图像帧的分辨率的分辨率转换表；第二读出步骤，用于从所述第一存储单元读出所述列表；以及列表编辑步骤，用于将所述分辨率转换表与所述列表相关联，其中，将所述分辨率转换表和已与所述分辨率转换表相关 联的所述列表存储在所述第一存储单元中。
14. 根据权利要求13所述的控制方法，其特征在于，在生 成所述分辨率转换表之后，从所述第一存储单元删除在生成所 述分辨率转换表时所使用的所述参考图像数据文件。
15. —种用于对由摄像设备拍摄的图像进行处理的图像处 理设备的控制方法，所述摄像设备包括判断部件，用于从构成运动图像的多个图像帧中，判断在 所述运动图像的分辨率转换中要用作参考图像帧的图像帧；考图像帧，生成参考图像数据文件；编码部件，用于降低所述多个图像帧的分辨率，并根据分 辨率降低后的图像帧，生成编码运动图像数据文件；信息生成部件，用于生成指定所述参考图像帧的信息；以及列表生成部件，用于生成将由所述信息生成部件生成的、 指定所述参考图像帧的信息与指定所述参考图像数据文件的信 息 相关联的列表，所述控制方法包括获取步骤，用于获取由所述摄像设备生成的所述参考图像 数据文件、所述编码运动图像数据文件和所述列表，并将所获 取的所述参考图像数据文件、所述编码运动图像数据文件和所 述列表存储在存储单元中；分辨率降低步骤，用于根据所读取的所述参考图像数据文 件中包括的所述参考图像帧，生成具有与构成所述编码运动图 像数据文件的图像帧相等的分辨率的低分辨率参考图像帧；分辨率转换表生成步骤，用于根据所述参考图像帧和所述 低分辨率参考图像帧，生成用于提高构成所述编码运动图像数 据文件的图像帧的分辨率的分辨率转换表；列表编辑步骤，用于将所述分辨率转换表与所述列表相关 联，并输出由此生成的列表；记录控制步骤，用于将所述分辨率转换表和在所述列表编 辑步骤中输出的所述列表存储到所述存储单元；解码步骤，用于对所述编码运动图像数据文件进行解码， 并输出构成所述编码运动图像数据文件的图像帧；分辨率转换步骤，用于在基于所述列表来应用所述分辨率转换表的情况下，对在所述解码步骤中输出的图像帧进行分辨率转换；以及输出步骤，用于输出进行所述分辨率转换后的图像帕。
16. —种用于对由摄像设备拍摄的图像进行处理的图像处 理设备的控制方法，所述摄像设备包括分辨率降低部件，用于根据所读取的参考图像数据文件中 包括的参考图像帧，生成具有与构成编码运动图像数据文件的 图像帧相等的分辨率的低分辨率参考图像帧；分辨率转换表生成部件，用于根据所述参考图像帧和所述低分辨率参考图像帧，生成用于提高构成所述编码运动图像数 据文件的图像帧的分辨率的分辨率转换表，并输出所生成的所 述分辨率转换表；以及列表编辑部件，用于将所述分辨率转换表与所述列表相关 联，并l俞出由此生成的列表，所述控制方法包括获取步骤，用于获取由所述摄像设备生成的所述编码运动 图像数据文件、所述列表和所述分辨率转换表，并将所获取的 所述编码运动图像数据文件、所述列表和所述分辨率转换表存 储在存储单元中；解码步骤，用于对所述编码运动图像数据文件进行解码，并输出构成所述编码运动图像数据文件的图像帧；分辨率转换步骤，用于在基于所述列表来应用所述分辨率转换表的情况下，对在所述解码步骤中输出的图像帧进行分辨 率转换；以及输出步骤，用于输出进行所述分辨率转换后的图像帧。
全文摘要
本发明提供一种摄像设备、图像处理设备及其控制方法。摄像设备使用例如直方图，从构成运动图像的多个图像帧中，判断提取作为参考图像帧的图像帧，并生成参考图像数据文件。编码器单元对降低分辨率后的多个图像帧进行编码，并生成编码运动图像数据文件。利用内容信息列表生成单元生成用于将参考图像帧与用于指定相应的参考图像数据文件的信息相关联的列表。然后，记录参考图像数据文件、编码运动图像数据文件和列表。
文档编号H04N5/92GK101287089SQ20081009066
公开日2008年10月15日 申请日期2008年4月9日 优先权日2007年4月9日
发明者松崎英一, 桐原俊, 森川健一, 荒谷俊太郎 申请人:佳能株式会社