专利名称：图像记录装置、场景转换提取方法及图像语音记录装置的制作方法
技术领域：
本发明涉及一种可以与图像的记录并行地检测图像的场景转换(Scene Change)的图像记录装置、及通过该图像记录装置实施的场景转 换提取方法。并且，本发明涉及一种可以与电视广播节目的录制并行地 进行广告消息(Commercial Message)广播的检测的图像语音记录装置， 该广告消息被夹在将要录制的电视广播节目的本体之间。
背景技术：
以往，在对图像进行编码并记录的图像记录装置中，为了从所记录 的图像中寻找所期望的图像场景， 一面利用快进或回放等特殊再现，一 面依靠人的眼睛寻找相应的场景，需要花费非常多的时间和精力。为了消除这种问题，提出了用于发现图像的场面转换场景(以后称 为"场景转换")的方法(例如参照专利文献1和2)。专利文献1披露的 方法如下在进行编码的编码器前级的预图像信号处理装置中，计算时 间上的前后两个图像的直方图之差的绝对值，在所计算的绝对值超过预 定阈值时判定为场景转换。并且，专利文献2披露的方法如下读出已 经存储在HDD等存储介质中的图像数据并提取场景转换。并且，电视广播可以根据其内容分为"节目本体广播"和"广告消息广 播"。节目本体广播是在电影节目中基于电影的内容自身的图像语音数据 的广播部分。另一方面，广告消息广播指在广告主和广告代理商等委托 方与广播台签订合同的情况下，基于接受委托方提供的图像语音数据的 广播部分，其在节目本体广播的空闲时间被广播。并且，广告消息广播 也包含广播台进行自家的广告宣传用的广播。在本申请中，把"节目本体 广播"表述为"节目本体"，把'广告消息广播"表述为"CM广播"。节目本 体和CM广播的内容关联性较小的情况居多，对于想要集中视听节目本体的视听者而言，在录制或视听电视广播时，有想要高效地删除或跳过 CM广播的要求。以往的图像语音记录装置检测电视广播的语音方式，根据所检测的语音方式进行节目本体和CM广播的识别。节目本体的语音方式多是单 声道(monaural)语音或两国语言语音(外语节目中的日语和英语等)， 一般CM广播的语音方式多是立体声语音。利用这种差异，将检测到立 体声语音的区间判别为CM广播区间，在录制时不进行(即删除)CM广 播区间的录制、或者在视听时进行跳过(即略过)CM广播区间的处理。 上述以往的CM检测方式在节目本体的语音方式为与CM广播的语 音方式相同的立体声语音时不发挥作用。作为其改善对策提出如下方案: 检测在节目本体和CM广播的交界处插入的被称为"黑色帧"的全黑画面 的帧图像来确定CM广播区间(例如参照专利文献3)。并且，还提出如 下方案检测在节目本体和CM广播的交界处产生的无音区间，根据所 检测的无音区间的出现间隔来确定CM广播区间(例如参照专利文献4)。 另外，还提出如下方案利用图像的场景转换的产生频次来提取CM广 播(例如参照专利文献5)。此外还有如下方案提供视听时通过用户的 按钮操作跳过(即略过)15秒等固定时间的用户接口。专利文献l:日本特开2004—282318号公报(第7页，图2) 专利文献2:日本特开2002—064823号公报(第5页，图l) 专利文献3:日本特表平8 — 507633号公报(第12-15页，图l) 专利文献4:日本特开2003—47031号公报(第5-8页，图l) 专利文献5:日本特开2000 — 165796号公报(第7页，图14) 但是，专利文献1披露的方法利用设于编码器前级的预图像信号处 理装置检测场景转换，所以不能适用于从视频编码器到编码器的结构为 一体的编码器芯片组，即不能适用于具有不向外部输出场景转换提取结 果的单元的图像记录装置。并且，即便在编码器芯片组输出场景转换提 取结果时，由于每当使用的编码器芯片组的类型变化时场景转换提取结 果都将变化，所以存在每当编码器芯片组的类型变化时都需要调整图像 记录装置的问题。并且，专利文献2披露的方法是根据已经被压縮记录在HDD上的图 像流来检测场景转换的方法，所以在记录处理结束后，需要离线进行花 费很多时间的处理，因此不实用。并且，在检测黑色帧来确定CM广播区间的专利文献3记载的方法 中，由于根据国家和地区或广播台有时不能插入黑色帧(实际上在国内 广播中黑色帧的插入不能通过法令义务化)，所以存在不能充分提高CM 广播区间的自动检测的可靠度的问题。并且，在专利文献4或5记载的方法中，由于在节目本体中还存在 多个无音区间和场景转换，所以存在难以高精度地确定CM广播区间的 问题。另外，在通过用户的按钮操作使之略过15秒的方法中，存在不能对 应具有非15秒的倍数序列的既定时间长度之外的时间长度(例如5秒的 节目插播宣传等)的CM广播的问题。发明内容本发明正是为了解决上述现有技术的问题而提出的，其目的在于， 提供一种可以与图像的记录并行地进行图像的场景转换提取的图像记录 装置、以及在该图像记录装置中实施的场景转换提取方法。并且，本发 明的其他目的在于，提供一种可以与电视广播节目的记录并行地提取CM 广播区间的图像语音记录装置。本发明的图像记录装置的特征在于，所述图像记录装置具有编码 单元，其对图像数据进行编码；记录单元，其记录从所述编码单元输出 的编码流；流控制单元，其把从所述编码单元输出的编码流转送给所述 记录单元；图像变化点提取单元，其对从所述编码单元输出的编码流进 行解码，提取该解码后的图像数据的场景转换；以及录制控制单元，其 从所述编码单元按照编码流的编码单位获取编码结束通知，在获取了该 编码结束通知时，输出针对所述图像变化点提取单元的场景转换提取指不。并且，本发明的场景转换提取方法的特征在于，所述场景转换提取方法包括通过编码单元对图像数据进行编码并输出编码流的步骤；通 过流控制单元转送所述编码流并记录到记录单元中的步骤；通过录制控 制单元从所述编码单元按照编码流的编码单位获取编码结束通知，在获 取了该编码结束通知时，输出针对图像变化点提取单元的场景转换提取 指示的步骤；以及通过所述图像变化点提取单元对从所述编码单元输出的编码流进行解码，并提取该解码后的图像数据的场景转换的步骤。 本发明的图像语音记录装置的特征在于，所述图像语音记录装置具有编码单元，其对所输入的图像数据和语音数据进行编码并输出编码 流；记录单元，其记录从所述编码单元输出的编码流；图像变化点检测 单元，其对从所述编码单元输出的编码流进行解码，并根据该解码后的 数据来检测图像的场景转换；无音检测单元，其根据所输入的语音数据 来检测无音区间；转移点检测单元，其检测通过所述图像变化点检测单 元检测到的场景转换和通过所述无音检测单元检测到的无音区间同时发 生的转移点；CM广播区间判定单元，其把通过所述转移点检测单元检测 到的转移点的间隔在以预先设定的基准时间为中心的预定时间范围内的 转移点的组合连续持续两个以上的区间，判定为CM广播区间；以及CM 广播区间信息记录单元，其记录通过所述CM广播区间判定单元判定出 的CM广播区间的时刻信息。根据本发明的图像记录装置和场景转换提取方法，每当图像被编码 时进行场景转换提取处理，所以具有能够实时地进行场景转换的提取的 效果。根据本发明的图像语音记录装置，与广播节目的记录并行地执行CM 广播区间检测处理，所以具有能够实时地进行CM广播区间检测的效果。
图1是表示本发明的实施方式1的图像记录装置的结构的框图。 图2是表示实施方式1的图像记录装置的场景转换提取部的结构的 框图。图3是表示本发明的实施方式2的图像记录装置的场景转换命令控制部的结构的框图。图4是表示实施方式2的图像记录装置的动作的流程图。图5是表示实施方式2的图像记录装置的场景转换命令控制部的 API部的动作的流程图。图6是表示实施方式2的图像记录装置的场景转换命令控制部的状 态控制部的动作的流程图。图7是表示本发明的实施方式3的图像记录装置的解码部的结构的 框图。图8 (A) (D)是用于说明实施方式3的图像记录装置的DCT 系数削减处理的图。图9是表示本发明的实施方式4的图像记录装置的解码部的结构的 框图。图10是表示本发明的实施方式5的图像记录装置的YUV区域的图。 图11是表示实施方式5的图像记录装置的动作的流程图。 图12是简要表示本发明的实施方式6的图像语音记录装置的结构的 框图。图13是表示实施方式6的图像语音记录装置的转移点检测部的动作 的流程图。图14是表示实施方式6的图像语音记录装置的转移点组合表的一例 的图。图15 (A) (E)是用于说明实施方式6的图像语音记录装置的 CM广播区间检测动作的图。图16是表示实施方式6的图像语音记录装置的CM广播区间检测动 作的流程图。图17 (A) (C)是表示本发明的实施方式7的图像语音记录装置 的转移点检测方法的图。图18是表示本发明的实施方式8的图像语音记录装置的CM之间的 无音时间长度的测定结果的曲线图。图19是表示在实施方式8的图像语音记录装置中从CM转入节目本体时的无音时间长度的测定结果的曲线图。图20是表示在实施方式8的图像语音记录装置中利用无音时间长度的CM广播区间检测动作的流程图。图21是表示在本发明的实施方式9的图像语音记录装置中利用场景 转换差异值的CM广播区间检测动作的流程图。图22是用于说明在实施方式9的图像语音记录装置中利用场景转换 差异值的CM广播区间检测动作的图。图23是用于说明实施方式10的图像语音记录装置的动作的图。符号说明100图像记录装置；101编码部；102录制控制部；103流控制部； 104流缓冲器；105 HDD; IIO场景转换提取部；lll解码部；112直方图 生成器；113第1直方图缓冲器；114第2直方图缓冲器；115差值提取 器；116场景转换判定器；120场景转换命令控制部；121 API部；122 命令缓冲器；123场景转换提取结果缓冲器；124状态控制部；301像素 尺寸检测部；302次数确定部；303 DCT系数提取部；304IDCT部；305 图像整形部；306使用片(slice)确定部；307首部(header)检测部； 308逆量化部；l天线；2调谐器；3视频A/D转换部；4音频A/D转换 部；5视频编码器；6音频编码器；7多路复用器(Mux); 8录制控制部； 9流控制部；IO文件系统部；11 HDD; 12导航部；13场景转换检测部； 14无音检测部；15转移点检测部；16 CM滤波器；17流缓冲器；18转移点组合表；19转移点匹配缓冲器；20图像语音记录装置；31a.....31m无音区间；32a、…、32o场景转换；33a、…、33i转移点；34a、…、 34c检测到的CM; 35检测到的CM广播区间；51a从节目本体转入CM 广播区间的时间点的转移点；51b、 ...、 51e CM之间的转移点；51f从 CM广播区间转入节目本体的时间点的转移点。
具体实施方式
实施方式1图1是表示本发明的实施方式1的图像记录装置100的结构的框图。如图1所示，图像记录装置100具有作为编码单元的编码部101，对从未图示的调谐器或外部输入的输入图像数据进行基于MPEG—2 (Moving Picture Experts Group:运动图像专家组)的编码；作为记录单元的HDD (硬盘驱动器)105，记录通过编码部101生成的编码流；以及作为流控 制单元的流控制部103，进行对HDD105稳定地进行编码流的写入和读 出的流控制。并且，图像记录装置100具有作为临时存储单元的流缓 冲器104，由流控制部103临时存储编码流；作为录制控制单元的录制控 制部102，对编码部101指示编码的开始/结束等；以及作为图像变化点 提取单元的场景转换提取部110，从通过编码部101生成的编码流中提取 场景转换。图1示出了作为记录单元的HDD105，但记录单元也可以是 DVD那样的光盘和磁带等其他信息记录介质。并且，图像记录装置100 也可以是DVD/HDD复合记录器。另外，图像记录装置100不限于家庭 用的视频记录器，也可以适用于个人计算机、图像服务器或监视系统用 的监视记录器等各种用途。作为编码部101的编码方式的MPEG—2对应于可变速率，因此在1 秒期间产生的编码量(位率)因时间而大幅变动。因此，流控制部103 使流缓冲器104临时保持编码流，以使编码流不会通过向HDD105写入 数据和从HDD105读出数据而上溢或下溢，根据HDD105的状态，进行 向HDD105写入编码流和从HDD105读出编码流。流缓冲器104利用环 形缓冲器构成，利用写入位置指针和读出位置指针管理有效的数据区域。 即，在写入数据时，将写入位置指针置于前头进行数据尺寸量的写入， 使写入位置指针前进所写入的数据尺寸量。另一方面，在读出数据时， 将读出位置指针置于前头进行数据尺寸量的读出，使读出位置指针前进 所读出的数据尺寸量。但是，在到达环形缓冲器的结束位置时，进行使 指针返回前头位置的处理。图2是表示图1所示的场景转换提取部110的结构的框图。如图2 所示，场景转换提取部110具有作为解码单元的解码部lll，进行所输 入的编码流的解码；作为直方图生成单元的直方图生成器112，生成所解 码的图像数据的直方图；第1直方图缓冲器113和第2直方图缓冲器114，保持通过直方图生成器112生成的直方图；以及作为差值提取单元的差 值提取器115，求出保持在第1直方图缓冲器113中的直方图与保持在第 2直方图缓冲器114中的直方图之间的差异。并且，场景转换提取部110 具有作为场景转换判定单元的场景转换判定器116，比较通过差值提取 器115求出的差异值和预先设定的阈值；以及作为场景转换命令控制单 元的场景转换命令控制部120，根据来自录制控制部102的场景转换开始命令等控制信号，控制场景转换提取部iio。下面，说明图像记录装置100的录制动作。在录制开始后，录制控 制部102向编码部101输出控制信号C^来指示开始编码，编码部101 开始所输入的图像数据PiN的编码处理。编码部101例如每当作为编码单 位的GOP (Group of Pictures:图像组)的编码结束时，向录制控制部102 发送GOP编码结束通知IEN。流控制部103将流缓冲器104的写入位置 指针置于前头并依次写入通过编码部101编码的编码流。另一方面，流 控制部103 —面确认HDD105处于写入状态， 一面从流缓冲器104的读 出位置指针读出编码流，向HDD105进行写入。在执行录制的期间，重 复进行所述动作。在录制结束时，录制控制部102指示编码部101结束 编码，编码部101停止编码。流控制部103将残留在流缓冲器104中的 编码流全部写入HDD105。下面，说明一面进行录制一面提取场景转换的方法。录制控制部102 例如每当从编码部101接收GOP的编码结束通知Im时，向场景转换提 取部110发送场景转换提取命令Csc。场景转换提取命令Csc作为解码开 始命令CDE经由场景转换提取部110内的场景转换控制部120，被发送给 解码部111。解码部111经由流控制部103从流缓冲器104调出编码流 PST，开始解码。通过解码部lli从MPEG—2解码为YUV的图像数据被 输入直方图生成器112，通过直方图生成器112根据图像数据的YUV的 各个区段中包含的计数，生成直方图。其中，用于生成直方图的区段划 分，包括按照一定间隔划分值的可取范围的方法，或者预先设定多个阈 值并根据相对于各个阈值的大小关系进行区段划分的方法等。并且，此 处说明对亮度分量Y和色差分量U、 V的全部分量生成直方图的情况，但也可以采用只对亮度分量Y生成直方图的方法。并且，对亮度分量Y 和色差分量U、 V的全部分量生成直方图，但也可以采用对色差分量U 和V施加权重而使区段划分变剧烈的方法。此外，直方图的区段划分的 方法不限于以上说明的示例，也可以采用其他的区段划分方法。通过直方图生成器112生成的直方图，被交替发送到第1直方图缓 冲器113或第2直方图缓冲器114中进行保持。差值提取器115使用交 替存储在第1直方图缓冲器113和第2直方图缓冲器114中的直方图， 进行当前的图像数据与前一个图像数据的图像比较(例如，进行当前帧 的图像数据与前一个帧的图像数据的比较)，求出差异值。关于求出两个 直方图的差异值的方法，例如有对所有分量累计两个直方图对应的分量 的值之差的方法。在此，把第i个图像的直方图设为Hi，Hi,(l)，hi(2)，…,hi(K》利用下式求出第i个图像的直方图Hi与前一个第i一 1个图像的直方 图Hi-t的差异值d。其中，K为预定的正整数。[式l]其中，N为l帧内的像素数。由此，差异值d取0到l的值，如果 第i个帧的图像与第i一l个帧的图像是相同图像，则差异值d为0，如果 第i个帧的图像与第i一l个帧的图像的差异较大，则差异值d接近l。通过差值提取器115求出的差异值d被发送给场景转换判定器116， 并与预先通过场景转换命令控制部120设定的阈值ETH比较，如果是大于 所设定的阈值ETH的值，则判定为场景转换，把该判定结果Rsc发送给场 景转换命令控制部120。另外，在录制结束时等，把判定结果Rsc发送给 录制控制部102。如以上说明的那样，每当通过编码部101结束GOP的编码时(即， 在实施方式1中，与GOP的编码结束同步)，在从图像的录制开始到结 束的期间持续进行通过场景转换提取部110进行场景转换判定的处理，由此可以一面录制图像流PST—面提取图像流PST的场景转换。即，每当作为编码的最小单位的GOP的编码结束时执行场景转换提取处理，所以能够与编码并行地进行场景转换提取。并且，由于实时地进行场景转换提取，所以可以把不具有场景转换 提取功能的编码器用作编码部IOI。因此，在选定图像记录装置中采用的 编码器时，可以选择不具有场景转换提取功能的编码器，编码器的选择 范围扩大，能够选择重视成本和可购性的编码器。并且，在分析已经存储在HDD等中的编码流来提取场景转换的方法中，除场景转换的分析时间之外，还需要从存储装置即HDD读出编码流 的时间。但是，在实施方式1的图像记录装置100中，从写入和读出速 度比HDD105快的、临时存储流的流缓冲器104 (通常使用易失性半导 体存储器)读出，所以能够快速读出，从而处理时间变快。并且，场景转换提取部110不受编码部101 (编码器)的动作的影响， 所以即使编码器的类型或规格变更，也能够将场景转换的提取基准保持 在一定范围内。并且，实施方式1的图像记录装置除能够与录制并行地提取场景转 换的功能外，还具有直接分析编码流的功能。因此，对于直接记录在HDD 中的编码流，通过流控制部103读出编码流也可以进行场景转换提取。另外，也可以不采用通常利用硬件构成的编码器芯片内的场景转换 功能，而只利用录制再现装置的固件构成，所以可以比较容易地改变场 景转换提取用的算法，或者根据录制再现装置的状态等动态地变更场景 转换提取处理的状态迁移和阈值。例如，可以采用以下控制方法，在输入图像数据是CM图像数据的 期间，增大场景转换的判定阈值eth，使得难以判定为场景转换，从而不 执行对CM图像数据的场景转换检测。并且，还可以釆用以下控制方法，着眼于在场景转换中存在语音信 号成为无音的瞬间，在语音信号为无音(即，低于预定阈值的水平)时， 减小场景转换的判定阈值Eth，由此在检测场景转换时不仅考虑到图像数 据还考虑到语音数据，提高场景转换的检测精度。并且，在以上的说明中，把场景转换提取单位设为1G0P，但也可 以把场景转换提取单位设为多个GOP单位。并且，还可以把场景转换提取单位设为一个或多个片单位或者一个或多个宏块单位。并且，在以上的说明中，关于进行解码处理的方法示出了基于软件的示例，但也可以通过硬件来执行。 实施方式2本发明的实施方式2的图像记录装置只有图2所示的场景转换命令 控制部120的结构和动作与实施方式1的图像记录装置的不同。因此， 在实施方式2的说明中也参照图1和图2。实施方式2的图像记录装置在与录制并行地进行场景转换提取时， 与GOP的编码处理不同步地进行场景转换提取动作。把该不同步地进行 的编码处理简称为"不同步处理"。该不同步处理也可以在以下状态下执 行，即，对编码部101进行的编码处理已结束的GOP执行的场景转换提 取处理的开始定时未必与编码处理的结束定时一致。不同步处理的实际 动作是以下方法，即，在着眼于某个GOP时，在编码处理结束后不马上 进行场景转换提取处理，而是在隔幵一会儿时间后执行场景转换提取处 理。一般，在记录图像的装置例如HDD/DVD复合记录器等中，与录制 动作并行进行再现和配音等那样的装置，可能产生CPU的负荷上升的动 作。并且，由用户不定期地进行的动作、例如DVD的托盘打开、功能设 定画面的显示以及电子节目表的浏览等动作，将导致装置的临时性CPU 负荷上升。在由于这些动作产生负荷上升时，由于进行场景转换提取处 理，将无法保障能够持续占用CPU，在等待其他处理结束的期间，有时 期望使场景转换提取处理稍微变慢。另一方面，不能由于场景转换提取 处理而妨碍装置的基本功能即图像的记录功能，所以期望场景转换提取 处理成为相比记录处理降低优先度的处理。为了实现这种功能，在实施 方式2的图像记录装置中构成为可以与录制动作不同步地进行场景转换 提取处理。图3是表示实施方式2的图像记录装置的场景转换命令控制部120 (图2所示)的结构的框图。如图3所示，场景转换命令控制部120具 有从录制控制部102接收命令的API (应用程序接口)部121;保持多个所接收的命令的命令缓冲器122;掌管场景转换提取部的状态迁移，并 处理所接收的命令的状态控制部124;保持场景转换提取结果和错误状态并回送给录制控制部102的场景转换提取结果缓冲器123。实施方式2的图像记录装置与实施方式1的图像记录装置的不同之处是，从录制控制部102发行的场景转换提取命令被传送给场景转换命令控制部120内的 API部121，并暂时保持在命令缓冲器122中。命令缓冲器122可以保持 的命令的数量根据流缓冲器104的容量设定即可。例如只要如下构成即 可，即，假设流缓冲器104的尺寸为实施方式1所示的20M字节，则可 以临时保持约15秒的编码流(即假设每1GOP为15像素、时间长度为 0.5秒，则为30GOP的数据)，因此可以保持30个场景转换提取命令。 如果命令缓冲器122可以保持30个场景转换提取命令，而且流缓冲器104 中残留有30GOP的数据，则意味着可以从最新GOP追溯到30个之前的 GOP进行场景转换提取，也意味着可以进行30个GOP量的、即延迟15 秒后的场景转换提取处理。场景转换命令控制部120的场景转换提取结 果缓冲器123，可以保持场景转换提取部110的状态控制部124执行的多 次场景转换提取结果，只要假定可以保持与在命令缓冲器122中可以保 持的命令数量相同的数量即可。由此，在先行的GOP的场景转换提取处理没有结束的状态下(例如， 由于用户进行了已经录制的流的再现请求，所以系统的负荷上升，使得 场景转换提取处理未能结束的情况下)，在下一个GOP的编码结束，并 从录制控制部102发行了场景转换提取命令的情况下，新的场景转换提 取命令被保持到命令缓冲器122中。根据保持在命令缓冲器122中的场 景转换提取命令，在当前正在执行的场景转换提取处理结束后，可以执 行先行的GOP的场景转换提取处理，所以能够防止由于每当进行GOP 编码时场景转换提取处理未结束而不能执行下一个场景转换提取处理的 问题。下面，使用图4、图5和图6的流程图，说明与录制动作不同步动 作的场景转换提取处理。首先，说明录制控制部102的动作。在图像记 录装置IOO被接通电源后，系统起动(步骤S201)，定期进行系统结束的确认(步骤S202)和录制开始的确认(步骤S204)，如果有系统结束的 请求，则转入系统结束(步骤S202)。另一方面，如果有录制开始的请求， 则对场景转换命令控制部120进行录制开始命令的发行(步骤S205)。在 发行录制开始命令后，确认录制结束(步骤S206)，如果录制结束，则对 场景转换命令控制部120发行录制结束命令(步骤S207)。在录制状态下， 如果GOP单位的编码结束(步骤S208)，则对场景转换命令控制部120 发行场景转换检测命令(步骤S209)。 GOP编码检测(步骤S208) —直 持续到录制结束。从录制控制部102发行的控制命令，在场景转换命令 控制部120的API部121内进行处理。在发行场景转换控制命令Csc后， 检查命令缓冲器122的空闲状况(步骤S223)，如果命令缓冲器122有空 闲，则在命令缓冲器122中存储命令(步骤S224)。包括不能在命令缓冲 器122中存储的情况在内，然后从场景转换状态控制部124获取存储在 场景转换结果缓冲器123中的场景转换提取结果(步骤S225)。最后，将 场景转换提取结果和是否已接收到命令回送给录制控制部102 (步骤 S226)。另一方面，在场景转换状态控制部124起动电源后(步骤S241)， 处于命令等待状态(步骤S242)，如果所接收的命令是系统结束(步骤 S243)，则转入系统结束(步骤S245)。并且，如果命令是录制开始命令 (步骤S252)，则执行录制开始用的例如存储器的确保和变量的初始化等 录制开始处理(步骤S253)，如果是录制结束命令(步骤S254)，则进行 例如己确保的存储器的开放和将场景转换提取结果发送给录制控制部 102的录制结束处理(步骤S255)。另一方面，如果所接收的命令是场景 转换提取命令，则以场景转换提取命令附带的编码流在流缓冲器104中 的前头地址为基础，进行编码流的解码(步骤S246)。根据通过解码部 111转换为YUV的图像数据生成直方图(步骤S247)，把该直方图存储 在第1直方图缓冲器113 (或第2直方图缓冲器114)中(步骤S248)。 求出所生成的直方图与存储在第2直方图缓冲器114 (或第1直方图缓冲 器113)中的前一个图像的直方图的差异值(步骤S249)，如果在预先设 定的阈值以上，则判定为场景转换(步骤S250)。把该结果存储在结果缓冲器123中(步骤S251)。在针对一个GOP的场景转换提取处理结束后，转入命令等待以便进 行下一个处理(步骤S242)。在此，如果命令缓冲器122中已经存储有命 令，则马上开始下一个GOP的分析，但是如果还没有设定下一个命令缓 冲器，则继续命令等待(步骤S242)。在实施方式2的图像记录装置中，进行场景转换提取的软件模块的 任务或线程(thread)的优先度比进行录制再现的模块组低。其原因是进 行场景转换提取的模块伴随有MPEG的软件解码处理，所以处理负荷非 常高，虽然没有图示，但是占用处理软件的CPU的时间远远多于其他模 块。因此，如果把场景转换提取模块的优先度设为与录制再现模块的优 先度相同或在其之上，则在录制再现时将占用许多CPU的处理时间，因 此与图像记录相关的模块处理延迟，结果有可能产生不能记录或再现的 问题。另外，通过用户输入而动作的模块，例如掌管键输入、画面显示 等的模块的动作，同样可以假定通过场景转换提取模块使其动作延迟。 因此，期望场景转换提取模块的优先度低于其他模块的优先度。另一方 面，如果不对后面通过录制生成的GOP执行场景转换的分析，则不能进 行场景转换检测。但是，编码部101的编码处理实时地进行，所生成的 编码流被临时保持在流缓冲器104中，以便向HDD105进行写入。因此， 在编码流被保持在流缓冲器104中的期间，如果场景转换模块处理流缓 沖器104中的编码流，则能够对全部GOP进行场景转换提取处理。实际上在持续进行场景转换提取动作的过程中，例如假定起动了用 户对其他节目的再现请求和EPG节目表的显示等导致系统负荷较大的处 理的情况。在执行先行的GOP的场景转换提取时产生较大负荷，在该处 理的进行不怎么前进的状况下，从编码部101向录制控制部102传递下 一个GOP的编码结束通知。录制控制部102马上对场景转换提取部110 的场景转换命令控制部120发行场景转换提取命令。场景转换命令控制 部120的API部监视命令缓冲器的空闲(步骤S223)，如果有空闲，则 在命令缓冲器中存储场景转换提取命令。场景转换命令控制部120只进 行场景转换提取命令的存储，并马上向录制控制部102回送返回。另外，在下一个GOP的编码结束之前，如果先行的GOP的场景转换提取没有结束，则针对再下一个GOP的场景转换提取命令也存储在命令缓冲器中。然后，在场景转换提取结束后，场景转换状态控制部转入命令等待(步骤S242)，从命令缓冲器接收最早的命令，开始执行下一个GOP的场景 转换提取。然后，在系统的负荷处于恒定状态时，场景转换提取处理的 处理频次增加，依次执行命令缓冲器的延迟的命令。但是，该延迟所允 许的最大数量为20GOP量，在产生了该量以上的场景转换处理请求时， 命令缓冲器没有命令的空闲，所以不对相应的GOP执行场景转换处理。 此时，录制控制部102可以执行任何错误处理，也可以因为装置的主要 目的即正常进行录制动作，所以不执行错误处理而继续原来的处理。这样，通过分析临时保持在流缓冲器104中的流，并且缓冲从录制 控制部102发行的命令，不需要一定每当编码图像时对被编码的流执行 场景转换提取，可以进行延迟处理。因此，不需要连续处理录制控制部 102的编码处理的编码单位和场景转换提取部120的分析单位，由此，可 以把编码处理和场景转换处理设计为独立的处理单位。并且，录制控制部102和场景转换提取部120可以独立动作，通过 使场景转换提取部120的处理优先度低于与录制相关的处理的优先度， 可以借助处理时间较长的场景转换提取部120的动作使录制控制部102 的处理延迟，从而不会产生对普通的录制处理产生影响这样的不良影响。并且，由于场景转换提取处理可以进行延迟处理，所以在场景转换 提取处理由于系统的临时性负荷上升而不能在GOP的再现时间内完成 时、以及处理未转入场景转换提取处理时，可以使用存储在命令缓冲器 122中的场景转换提取命令，依次对过去被编码的流执行提取处理，所以 能够避免场景转换提取处理被跳过而未执行的问题。另外，上述场景转换提取处理可以延迟的时间或次数，根据流缓冲 器104和命令缓冲器的数量确定。并且，在实施方式2中，上述以外的情况与上述实施方式1所示的 情况相同。实施方式3本发明的实施方式3的图像记录装置确定了实施方式1的图像记录 装置的解码部111的结构，这一点与实施方式1的图像记录装置不同。 因此，在实施方式3的说明中也参照图l和图2。图7是表示图1的解码部111的结构的框图。实施方式3的图像记 录装置的特征在于图7所示的方法，在从编码流进行场景转换的提取处 理时的解码处理中，控制DCT (离散余弦转换)系数的解码次数。如图 7所示，解码部1U具有像素尺寸检测部301，根据所输入的编码流的 首部求出像素尺寸；次数确定部302，根据通过像素尺寸检测部301检测 到的像素尺寸确定DCT块的使用分量(次数)；DCT系数提取部303， 对编码流进行逆量化直到通过次数确定部302确定的次数，同吋提取DCT 系数；IDCT部304，根据所提取的DCT系数执行逆DCT;以及图像整 形部305，縮减通过按照削减后的次数执行的逆DCT而离散化的像素数 据，生成縮小的图像。图8 (A) (D)是用于说明实施方式3的图像记录装置的DCT 系数削减处理的图。图8 (A)表示编码流像素尺寸，图8 (B)表示DCT 块(使用2x2时)禾卩DCT块(使用4x4时)，图8 (C)表示已解码DCT 块(将2x2以外设为无效时)和已解码DCT块(将4x4以外设为无效时)， 图8 (D)表示解码图像。在实施方式3中，说明能够根据用户要求从 704x480像素和352x240像素选择将要编码的图像的像素尺寸的图像记 录装置。因此，被输入到解码部111的流存在704x480像素的编码流或 352x240像素的编码流这两种像素尺寸的流。在解码部111被输入编码流 后，首先像素尺寸检测部301进行编码流的像素尺寸的检测，把所检测 的像素尺寸发送给次数确定部302。次数确定部302根据所检测的像素尺 寸，确定编码流中包含的DCT系数中将要处理的次数De。例如，在 704x480像素的编码流时，预先设定处理到DCT块内的次数2;在352x240 像素的编码流时，预先设定处理到次数4。按照该次数，DCT系数提取 部303和IDCT部304设定作为DCT块的处理对象的次数并进行解码。 从IDCT部304输出的已解码的图像数据，以DCT块单位进行DCT系数 的间取，所以将已解码的DCT块接合而生成的己解码的图像的像素成为离散的图像。像素整形部305对该像素之间离散的图像进行縮减像素间隙的处理。由此，已解码的图像在704x480像素的编码流时成为176x120 像素，在352x240像素的编码流时成为176x120像素，尽管所输入的编 码流的像素尺寸不同，但是能够获得相同尺寸的图像。只要将这样解码 后的图像发送给后面的直方图生成器112，即可进行与实施方式1相同的 场景转换的检测。艮P，在实施方式3中，通过对解码部111附加进行DCT系数控制的 功能，即使通过编码部101被编码为不同像素尺寸的编码流，在场景转 换提取中使用的图像也能够实现相同的像素尺寸，并且能够将在场景转 换提取中作为分析对象的图像的频带的上限调整为相同频带。并且，在 直方图生成器112以后，能够始终对相同像素尺寸的编码流进行场景转 换提取，所以后面的直方图生成器112以后的处理能够进行不依赖于像 素尺寸的相同处理。通过形成上述结构，即使在编码流的像素尺寸不同时，也能够获得 被解码为相同或大致相同的像素尺寸的图像。并且，在编码流的像素尺寸不同时，也能够对相同像素尺寸的解码 后的图像进行场景转换提取处理，所以对于编码流的像素尺寸不同的流， 也能够使用相同的场景转换的评价方法和评价基准，从而在改变像素尺 寸来录制相同图像的情况下，也能够把相同时间位置检测为场景转换。并且，通过对像素尺寸不同的编码流控制DCT系数，可以调整已解码的图像的频带，所以在改变像素尺寸来录制相同图像的情况下，能够 把相同时间位置检测为场景转换。并且，能够对应高分辨率的编码数据地增多间取，所以对于花费处 理时间的高分辨率的编码数据，也能够快速地进行场景转换提取。并且，由于构成为对应高分辨率的编码数据地间取高频的次数，所 以能够对应比较容易产生高频噪声的高分辨率的编码数据有效去除噪 声。并且，生成与分辨率无关的相同的解码图像，所以能够使存储解码 图像的存储器尺寸相同。并且，对应为了存储原来的解码图像而需要较大存储器尺寸的高分 辨率图像进行间取处理，所以能够减小为了解码处理而应预先准备的存 储器区域。另外，在实施方式3中，上述以外的情况与上述实施方式1和2的 情况相同。实施方式4本发明的实施方式4的图像记录装置确定了实施方式1的图像记录装置的解码部111的结构，这一点与实施方式1的图像记录装置不同。因此，在实施方式4的说明中也参照图l和图2。图9是表示本发明的实施方式4的图像记录装置的解码部的结构的 框图。使用图9说明在从编码流进行场景转换的提取处理时的解码处理 中，限定执行解码的片的处理。实施方式4的图像记录装置的解码部111具有像素尺寸检测部301，根据所输入的编码流的首部求出像素尺寸；使用片确定部306，根据像素尺寸检测部301检测到的像素尺寸，确定作 为场景转换提取的处理对象的片；分析编码流的首部的首部检测部307; 进行编码流的逆量化的逆量化部308;以及对被转换为频率区域的系数值 进行逆DCT处理的IDCT部304。下面，说明与片削减并行动作的场景转换提取处理的动作。像素尺 寸检测部301进行像素尺寸的检测，使用片确定部306确定将要使用的 片。在此，例如在编码部101生成的编码流的分辨率只存在720x480像 素和352x240像素这两种时，在垂直方向的像素数为480时，不使用上 下5片、即(16像素x5片)x2二80像素x2;在像素数为240时，不使 用上下2片、即(16像素x2片)x2-32像素x2。此处根据分辨率而不 使用的像素数不同，但作为相对于垂直方向的比率，在480像素时相对 于总计30片不使用10片，所以不使用1/3;在240像素时相对于总计15 片不使用4片，所以不使用4/15，从而可知把大致相同的比率设为场景 转换提取对象。这样在使用片确定部306中求出将要使用的片数，首部检测部307 分析编码流的首部，每当提取片首部时，如果是由前面的使用片确定部306判定为不使用片的片，则跳至下一个片首部，而如果是将要使用的片，则将相应的片发送给逆量化部308。逆量化部308进行编码流的逆量化， IDCT部304执行逆DCT。根据上述结构，只对将要使用的片进行解码处 理，结果，如果垂直分辨率是480像素，则可以求出垂直分辨率320像 素的图像；如果垂直分辨率是240像素，则可以求出垂直172像素的解 码后的图像。针对通过解码部111按照上述方式在垂直方向削减并解码 后的图像，直方图生成器112以与有效片区域相同位置的像素为对象生 成直方图。为了由差值提取器115导出将要求出的差异值d，利用表示帧 内的像素数的N (1帧内的像素数)。在实施方式4中，由于在垂直方向 削减了像素，所以按照下述方式校正帧内的像素数N。首先，如果原来 是垂直分辨率720像素，则削减后的垂直分辨率为320像素，水平分辨 率为720像素，那么N=320x720 = 230400。并且，在垂直分辨率240像 素时，如果削减后的垂直分辨率为172像素，水平分辨率为352像素， 则校正为N二172x352二60544。使用在进行该校正后求出的差异值d，场 景转换判定器116可以进行与实施方式1相同的场景转换判定。在上述说明中，设定了是否以片单位进行解码，但是也可以以像素 位置或宏块单位设定在场景转换中使用的区域。在该情况下，由于能够 确定检测场景转换的位置，所以能够提高检测精度。并且，在对每个像 素设定是否进行场景转换提取的情况下，可以通过对所有像素进行解码 并获取解码后想要提取的区域的直方图以及直方图的差异值来实现，但 是如果以宏块单位指定检测单位，由于能够在首部检测部或解码处理部 中控制是否以宏块单位执行处理，所以能够构成为不执行不必要的解码， 可以提高处理速度。通过按照上述方式构成，能够以片单位削减将要解码和场景转换提 取的像素尺寸，所以能够实现处理的快速化。并且，通过片的削减，解码后的图像的尺寸也变小，所以使用的存 储器尺寸也变小。并且，如果检测场景转换的对象是广播节目，则通过构成为不使用 图像的上下位置的片，可以不影响到与节目本体的关联性较低、或者不怎么重要的信息即时间显示、临时新闻的文字显示或字幕等地，进行场 景转换提取。并且，通过以宏块单位指定执行解码和场景转换提取处理，可以只 对任意一个或多个宏块进行场景转换检测，可以进行已确定位置的场景 转换提取。另外，在实施方式4中，上述以外的情况与上述实施方式1 3的情况相同。实施方式5实施方式5的图像记录装置的差值提取器115的动作与实施方式1 的图像记录装置不同。因此，在实施方式5的说明中也参照图1和图2。在实施方式5中，说明根据作为场景转换提取对象的图像来切换场 景转换的判定基准的方法。图IO表示图像的像素值的YUV分布。 一般， YUV分别利用256值表述，亮度信号Y取0 255的值，色差信号U和 V取一128 127的值。此时，在图10中，分别利用W和B表示人的眼 睛大致感觉为白色的区域和大致感觉为黑色的区域。在实施方式5中， 其目的在于，在作为提取对象的图像是总体上接近白色的颜色区域较多 的图像(以下也称为"白色图像")时，在区域W以外的区域中计算差异 值；在是总体上接近黑色的颜色区域较多的图像(以下也称为"黑色图 像")时，在区域B以外的区域中计算差异值，利用这种方法，即使将要 比较的两个图像是较为近似的图像也能够可靠地检测场景转换。图11利用流程图表示实施方式5的差值提取器115的动作。首先， 从第1直方图缓冲器113和第2直方图缓冲器114获取第i个帧(以下也 称为"i帧")和第i一l个帧(以下也称为"i一l帧")的直方图(步骤S301)。 然后，计数各个帧的白色区域W的像素数(步骤S302)。 i帧和i一l帧 的白色像素数Cwi、 CWi—,利用下式表示。式2<formula>formula see original document page 28</formula>然后，利用下式求出白色区域W的累计差异rw (步骤S303)。式3<formula>formula see original document page 29</formula>另一方面，对于黑色区域B，也同样利用下式求出黑色像素数CBi、CBi—!(步骤S304)。 式4<formula>formula see original document page 29</formula>并且，利用下式求出黑色区域B的累计差异fB (步骤S305)。 式5<formula>formula see original document page 29</formula>然后，如果i帧和i一l帧都满足以下条件式，则判断是接近白色的颜色区域较多的图像(也称为"白色图像")(步骤S306)。 Cw—MAX > CWi > Cw—MIN，并且 CW—MAX > Cwi—i > Cw—MIN上述关于判定为总体上接近白色的颜色区域较多的图像的条件，把 白色区域W的像素数大于下限Cw—MIN小于上限Cw—MAX作为条件。 这样，白色像素数不仅满足大于下限还设计上限的理由如下，在白色像 素数大于某个值时，接近白色的颜色区域以外的像素数非常少，避免利 用相对于总体像素数非常少的白色以外的像素对图像总体的场景转换进 行判定。如果能够满足上述条件，则利用下式对除白色区域W之外的区域求 出差异值(步骤S307)。 式6<formula>formula see original document page 29</formula>另一方面，在未判断为接近白色的颜色区域较多的图像时，利用以下条件式判定是否是接近黑色的颜色区域较多的图像(步骤S308)。 CB—MAX > CBi > CB—MIN，并且 CB MAX > CBw > CB MIN上述关于判定为接近黑色的颜色区域较多的图像的条件，把黑色区域B的像素数大于下限CB—MIN小于上限CB—MAX作为条件。如果能够 满足上述条件，则利用下式对除黑色区域B之外的区域求出差异值(步 骤S309)。另一方面，在未判断为接近白色的颜色区域较多的图像，而且也未 判断为接近黑色的颜色区域较多的图像时，利用实施方式1所示的差异 值的导出式求出差异值(步骤S310)。使用以上求出的差异值d，与实施方式1所示的方法相同地，通过 场景转换判定器116进行场景转换的判定。通过上述动作，如果将要比较的两个图像都是接近白色的颜色区域 较多的图像，则能够在除白色区域W之外的区域中比较图像的变化，另 一方面，如果将要比较的两个图像都是接近黑色的颜色区域较多的图像， 则能够在除黑色区域B之外的区域中比较图像的变化，所以能够提取除 特定颜色区域之外的图像的场景转换。因此，在总体上接近白色的颜色区域较多的图像或接近黑色的颜色 区域较多的图像连续的场景中，也能够检测场景转换。尤其在广播节目的CM (CommercialMessage)之间的连接处，在从白色背景(或黑色背景)下显示企业名称或产品名称的场景、切换为同 样在白色背景(或黑色背景)下显示不同的企业名称或产品名称的场景 时，在除白色背景或黑色背景之外的区域中进行场景转换判定，结果， 能够根据企业名称或产品名称的区域检测为场景转换，能够在检测CM 的区分时非常有效地动作。另外，在实施方式5中，上述以外的情况与上述实施方式1 4的情况相同。实施方式6图12是简要表示本发明的实施方式6的图像语音记录装置20的结构的框图。如图12所示，图像语音记录装置20具有调谐器2，从通过 天线1接收到的广播波中选择将要录制的广播节目；视频A/D转换部3， 将从调谐器2输出的模拟图像信号数字化；音频A/D转换部4，将从调 谐器2输出的模拟语音信号数字化；作为编码单元的视频编码器5，把数 字图像信号压縮编码为MPEG—2 (Moving Picture Experts Group—2); 作为编码单元的音频编码器6，把数字语音信号编码为例如线性PCM (Linear pulse code modulation:脉冲编码调制)或杜比数字(Dolby Digital);多路复用器(Multiplexer)(以下也记为"Mux") 7，将编码后的 图像和语音信号多路复用为1个编码流；以及录制控制部8，控制视频编 码器5、音频编码器6以及Mux7。并且，图像语音记录装置20具有记录编码流的作为记录单元的硬 盘驱动器(HDD) 11;作为流控制单元的流控制部9，把通过Mux7多路 复用的编码流稳定地写入HDD11;临时存储编码流的流缓冲器17;文件 系统部10，把所生成的各个编码流作为文件保存在HDDll中；以及导航 部12，生成并管理所生成的编码流的节目名称和生成日期时间、以及用 于实现特殊再现的地址信息和后述的CM区间信息。另外，图像语音记录装置20具有作为图像变化点检测单元的场景 转换检测部13，检测图像的场面转换场景；作为无音检测单元的无音检 测部14，检测语音的无音区间；作为转移点检测单元的转移点检测部15， 检测场景转换和无音区间同时发生的转移点；作为临时存储单元的转移 点匹配缓冲器19，设于转移点检测部15内，保持场景转换和无音区间的 信息，以便检测转移点；作为CM广播区间判定单元的CM滤波器16， 根据CM固有的周期性等，从多个转移点检测CM区间；以及转移点组 合表18，存储通过CM滤波器16分析的转移点。图12示出了作为记录单元的HDD105，但记录单元也可以是DVD 那样的光盘或磁带等其他信息记录介质。并且，图像语音记录装置20也 可以是接收并录制广播节目的接收机或者DVD/HDD复合记录器。另外， 图像语音记录装置20不限于家庭用的视频记录器，也可以适用于个人计算机、图像服务器或监视系统用的监视记录器等各种用途。文件系统部10通过将写入HDDll的信息文件化，进行用于使得能够简单地进行对写入信息的存取的数据管理。根据文件系统部10，流控 制部9和导航部12在向HDDll写入或者从HDDll读出流或信息时，不 必在意HDDll上的直接地址，通过指定文件，可以从前头起顺序地或者 从指定位置顺序地进行读出和写入。作为视频编码器5的编码方式的MPEG—2对应于可变速率，因此 在l秒期间产生的编码量(位率)因时间而大幅变动。因此，流控制部9 使流缓冲器17临时保持编码流，以使编码流不会由于向HDD11写入数 据和从HDDll读出数据而上溢或下溢，根据HDD11的状态，向HDDll 写入编码流和从HDDll读出编码流。流缓冲器17利用环形缓冲器构成， 利用写入位置指针和读出位置指针管理有效的数据区域。即，在写入数 据时，将写入位置指针置于前头进行数据尺寸量的写入，使写入位置指 针前进所写入的数据尺寸量。另一方面，在读出数据时，将读出位置指 针置于前头进行数据尺寸量的读出，使读出位置指针前进所读出的数据 尺寸量。但是，在到达环形缓冲器的结束位置时，进行使指针返回前头 位置的处理。下面，说明记录广播节目的动作。在用户手动按下录制开始按钮、 或者到达预先利用录制定时器设定的录制开始时间后，调谐器2从通过 天线1接收到的广播波中选择指定频道。从调谐器2输出的图像和语音 的模拟信号，分别被发送给视频A/D转换部3和音频A/D转换部4，转 换为数字图像信号和数字语音信号。录制控制部8在录制开始时指示视 频编码器5和音频编码器6开始编码，并指示Mux7开始多路复用处理。 这样，从视频A/D转换部3或音频A/D转换部4输出的数字图像信号和 数字语音信号，依次通过视频编码器5和音频编码器6实施压縮编码处 理，另外，通过Mux7多路复用为1个程序流，并通过流控制部9 一面 进行流的控制一面记录在HDDll中。视频编码器5在每当作为编码单位的GOP (Group of Pictures)的编 码结束时，向录制控制部8发送GOP编码结束通知。流控制部9将流缓冲器17的写入位置指针置于前头，依次写入通过视频编码器5和音频编码器6编码并通过Mux7多路复用的编码流。另一方面，流控制部9 一 面确认HDD11处于写入状态， 一面从流缓冲器17的读出位置指针读出 编码流，并向HDD11进行写入。在执行录制的期间，重复进行所述动作。 在录制结束时，录制控制部8指示视频编码器5和音频编码器6结束编 码，使编码停止。在停止编码后，流控制部9将残留在流缓冲器17中的 编码流全部写入HDDll。下面，说明场景转换检测和无音检测。录制控制部8每当从视频编 码器5接收到GOP的编码结束时，向场景转换检测部13发送场景转换 检测命令。场景转换检测部13从流控制部9读出编码已结束的GOP数 据，进行图像的场景转换的检测。作为检测方法的一例有以下方法。首 先，根据所读出的GOP单位的数据进行I像素的解码，生成直方图。将 该直方图与前一个I像素的直方图进行比较，把直方图的各个要素值的绝 对值之差的合计定义为场景转换差异值，如果该场景转换差异值大于预 先设定的阈值，则判定是场景转换。在以下的说明中，为了简化说明， 假设构成GOP的像素数为固定的15个，该GOP的时间为0.5秒。因此， 发生场景转换的时刻可以简单地利用GOP的个数表示。音频A/D转换部4把模拟语音信号转换为数字语音信号即线性PCM 信号。无音检测部14在所输入的线性PCM信号的振幅小于等于预先设 定的阈值的状态持续预先设定的时间以上时，判定是无音区间。在此， 如果所输入的线性PCM信号的振幅小于等于预先设定的阈值的状态持续 300毫秒以上，则判定为发生了无音区间。作为无音区间的条件，需要使 线性PCM信号的振幅较低的状态持续某个时间以上，其理由如下，为了 避免把瞬间的无音判定为无音区间，并且，每当发生无音时后述的CM 广播区间检测动作的频次增多时，系统的处理负荷增大，有可能给CM 广播区间检测之外的动作带来妨碍。在判定是无音区间的情况下，根据 从录制开始后的采样数的累计序号计算无音开始时刻。并且，在无音区 间持续的状态下，线性PCM信号的振幅大于预先设定的阈值时，判定为 无音区间结束，同样根据采样数的累计序号计算无音结束时刻。图13是表示图12所示的图像语音记录装置20的转移点检测部15 的动作的流程图。转移点检测部15根据从场景转换检测部13发送的场 景转换信息或从无音检测部14发送的无音信息而切换动作。例如，在转 移点检测部15幵始动作后，场景转换检测部13进行场景转换的检测动 作(步骤S101)，将场景转换检测标志、GOP序号和场景转换差异值作 为场景转换信息发送给转移点检测部15，在步骤S101中检测到的场景转 换信息被保存在转移点检测部15内的转移点匹配缓冲器19中(步骤 S102)。另一方面，在通过无音检测部14检测无音区间后(步骤S103)，将 无音检测标志、无音发生时刻和无音结束时刻作为无音区间信息发送给 转移点检测部15。与在步骤S103中判定出的无音区间相关的无音信息， 被保存在转移点检测部15内的转移点匹配缓冲器19中(步骤S104)。在 检测到无音区间时，还在转移点匹配缓冲器19中进行转移点检测，即进 行场景转换和无音同时发生的时间位置的检测(步骤S105)。每当检测到 无音区间时进行转移点检测，这是因为在获取场景转换检测区间和无音 区间的乘积信息时，从处理效率方面考虑，每当检测到发生频次比场景 转换检测低的无音区间时进行比较合适。在转移点匹配缓冲器19中临时 保持有最新的场景转换和无音区间的信息，在双方一致的情况下， 一致 的信息被发送到后续处理即步骤S106，并且该场景转换信息和无音区间 信息以及此前的场景转换信息和无音区间信息被废弃。并且，在经过预 先设定的一定时间时，场景转换信息和无音区间信息也被废弃。通过这 种控制，即使是有限的缓冲器尺寸，也能够实时地检测场景转换与无音 区间的一致。因此，在转移点匹配缓冲器19中，对于在从无音区间的开 始时刻到结束时刻期间发生的场景转换，能够以场景转换的GOP序号为 基础检测转移点。并且，把场景转换的GOP序号用作表示转移点的时刻 的值。把这样选择出的转移点、 一致的场景转换的差异值以及无音的时 间长度发送给后面的CM滤波器16 (步骤S106)，并保存在CM滤波器 16内的转移点存储用的转移点组合表18中，执行CM滤波器16的动作 (步骤S107)。下面，说明通过图12所示的CM滤波器16检测CM广播区间的方 法。如图12所示，在CM滤波器16内设有存储与转移点有关的信息的 转移点组合表18。图14是表示转移点组合表18的一例的图。转移点组 合表18在与录制并行执行的CM广播区间检测动作时被更新，所以取环 形缓冲器的结构。因此，从读出指针到写入指针前面是CM广播区间检 测用的处理范围。在转移点组合表18内设有表示转移点的时间位置的 转移点GOP序号；表示后续转移点被视为CM时的最后转移点的时间位 置的连接结束GOP序号；表示后续转移点的个数的转移点计数器；转移 点的无音时间长度；转移点的场景转换差异值；以及表示该转移点的有 效/无效的有效无效标志。转移点GOP序号是检测到场景转换的GOP序号。在实施方式6中， 把场景转换的检测精度设为1G0P，所以能够利用从录制幵始后的GOP 的累计序号来表示时间。连接结束GOP序号是指以某个转移点为基点的CM广播区间的最后 转移点的GOP序号。在图14中，关于转移点GOP序号'10'，由于在GOP序号'io'、 '4o'、 'ior中连续检测到cm，所以gop序号'ior为连接结束GOP序号。在转移点检测部15中，在检测到转移点33g后，GOP序 号'130，与GOP序号'101，连接，从转移点33b到转移点33g被判定为CM 广播区间。并且，在没有转移点GOP序号后续的转移点时，连接结束 GOP序号为与转移点GOP序号相同的值。转移点计数器表示在CM广播区间中CM通过转移点连接时的转移 点数量。无音时间长度利用毫秒单位表示转移点的无音区间的长度。 场景转换差异值利用0到1的值表示转移点的场景转换的变化量。 场景转换差异值越大，意味着图像的变化量越大。有效无效标志是在转移点组合表内表示处理对象范围的标志，在转 移点被登记时，设定有效'l'，在CM滤波器16的处理中，例如像'40'这 样与先行转移点连接的转移点被变更为无效'O，。并且，在某个转移点偏 离处理对象范围时，例如在检测到'10'、 '40'、 '101'、 '131'作为CM区间的情况下，把'10，以前的'6'和'10'到'131'之间的所有转移点'62'、 '83'设 为无效'O'，由此可以实现处理的快速化和转移点组合表所需要的存储器 尺寸的减小。在CM滤波器16中，分别比较转移点组合表18的要素即转移点， 抽取转移点的间隔为预定的基准间隔、例如相当于15秒、30秒、60秒 或90秒的转移点。此时，根据检测误差、CM的帧水平的长度偏差等， CM的长度有可能偏离15秒，因此把其允许误差设为例如IGOP量。因 此，作为前面转移点的间隔，可以利用GOP的个数表示有效的间隔，可 以像30GOP士1GOP、 60GOP土1GOP、 120GOP土1GOP禾B 180GOP土1GOP 这样，利用设置有士IGOP的允许误差的GOP的数量来表示。在CM滤波 器16中，把上述转移点的间隔与按照上述方式预先设定的GOP间隔一 致的转移点的间隔作为CM候选间隔。另外，在CM候选间隔连续两个 以上时，把该区间作为CM广播区间。图15 (A) (E)是用于说明实施方式6的图像语音记录装置20 的CM广播区间检测动作的图。使用图15 (A) (E)说明确定CM广播区间的方法。说明通过无音检测部14检测到无音区间31a.....31m的情况。另一方面，如图15 (B)所示，假设存在场景转换32a、 ...、 32o。 关于无音区间，能够获得无音发生时刻和无音结束时刻，关于场景转换 能够获得发生了场景转换的GOP序号。在实施方式6中，使GOP的帧 数固定，所以能够利用GOP序号唯一地表示时间。比较无音和场景转换 的时刻，当在同一时刻发生了无音和场景转换时，把该点设为转移点。 在此，如图15 (C)所示，检测到转移点33a、 ...、 33i。另外，在各个 转移点33a、 ...、 33i之间，把与上述CM间隔一致的判定为CM。在此， 从转移点33b到转移点33c的间隔为30GOP，从转移点33c到转移点33f 的间隔为61GOP，从转移点33f到转移点33g的间隔为29GOP，所以各 自的区间被检测为CM，另夕卜，由于CM连续持续3个，所以判定转移点 33b、 ...、 33g是CM广播区间。另外，在从转移点33g经过201GOP后， 检测到转移点33i，但由于从转移点33g到转移点33i的间隔己超过预先 设定的CM广播区间的最大值即180GOP，所以可以判断为CM已结束，表示已结束CM广播区间检测。下面，使用图16说明CM滤波器16的CM检测处理步骤。在转移 点检测部15中检测到场景转换和无音区间同时发生的转移点后，该信息 被发送给CM滤波器16，由此开始CM滤波器16的动作(步骤S401)。 所检测的转移点的信息被保存在CM滤波器16内的转移点组合表18的 最末尾(步骤S402)。保存在CM滤波器16内的转移点组合表18中的信 息包括有效无效标志、转移点GOP序号、连接结束GOP序号、被检测 为连续CM的转移点的个数即转移点计数器值、所检测的转移点的无音 时间长度、以及表示场景转换的变化量的场景转换差异值。然后，设定 转移点组合表18的读出基点(步骤S403)。在图15 (C)中，例如假设 上次截止到转移点33a的处理已结束，此次把下一个转移点33b作为最 初基点。然后，设定转移点的终点侧(步骤S407)。在图15 (C)中，把 转移点33c作为终点。如果转移点组合表18中没有作为终点的转移点(步 骤S408)，则获取下一个基点(步骤S404)。在图15 (C)中表示基点为 转移点33a、终点为转移点33i时，把基点设为转移点33b的处理。在此， 如果没有发现下一个基点(步骤S404)，则结束CM检测处理(步骤S406)。 在基点和终点已经确定后，求出从基点到终点的时间长度(步骤S409)。 在图15 (C)中，在基点为转移点33b、终点为转移点33c时，基点'10' 与终点'40，之差(即转移点间隔)即30GOP是时间长度。如果该时间长 度与作为CM基准时间的30GOP土1GOP、 60GOP土1GOP、 120GOP土1GOP 和180GOP土1GOP中的任意一方一致(步骤S410)，则把基点的连接结束 GOP序号置换为终点的连接结束GOP序号(步骤S411)。另外，使终点 的有效无效标志无效(步骤S412)，将基点的转移点计数增加一个(步骤 S413)。并且，在步骤S410中判定为不是CM基准时间长度时，接下来 判断基点和终点之间的时间长度是否己超过最大CM基准时间长度即 180GOP土1GOP (步骤S414)，在判定为己超过时，把从基点到连接结束 GOP序号判定为CM广播区间，把CM广播区间的信息发送给录制控制 部8 (歩骤S415)。另外，把下一次CM广播区间检测处理的基点设定为 此次CM广播区间的最后转移点的下一个转移点，并且使所检测的最后转移点前面的转移点的有效无效标志无效(步骤S416)。通过在录制动作中持续执行上述步骤，可以实时地检测将要记录的广播节目的CM广播区间。通过CM滤波器16检测到的CM广播区间的 时刻信息被暂时发送给录制控制部8，并传送给处理所录制的节目的管理 信息的导航部12，通过文件系统10文件化，并记录在发挥CM广播区间 信息记录单元的作用的HDDll中。通过按照上述方式构成图像语音记录装置20，可以一面录制广播节 目一面检测CM广播区间。并且，在使用不具有场景转换检测功能的编码器时，通常需要在执 行录制后重新分析所录制的节目，但在本发明的结构中，可以与录制动 作并行地进行CM广播区间的检测，所以编码器的选择范围扩大，结果， 能够选择重视成本和可购性的编码器。另外，通过从流控制部9向场景转换检测部13和无音检测部14发 送流，可以对录制在HDDll中的节目进行CM广播区间检测。但是，在 该情况下，无音检测必须使用与场景转换相同的从流中分析的方法。并且，通过把场景转换检测结果和无音检测结果记录在作为临时存 储区域的转移点匹配缓冲器19中，并在转移点匹配缓冲器19的存储区 域中比较，可以实时地检测转移点。因此，可以与录制并行地检测CM 广播区间。并且，即使同时发生的场景转换和无音区间以某种程度的时 间差被通知给转移点检测部15，由于在转移点匹配缓冲器19中保持有信 息，所以能够执行CM广播区间的检测，而不会采信单方面的信息。并且，在检测场景转换时，只执行向作为临时存储区域的转移点匹 配缓冲器19的登记，而在检测到无音时，不仅进行向转移点匹配缓冲器 19的登记，而且在转移点匹配缓冲器19中检测与无音同时发生的场景转 换，还进行CM广播区间的检测处理，通过采用这种结构，可以与检测 次数较少的无音检测同步地进行处理，所以能够在CPU的处理时间减少、 而且系统负荷较小的状态下进行CM广播区间的检测。并且，通过把CM广播区间检测的单位设为例如GOP单位而不是帧 单位，不仅可以实现处理频次和处理负荷的降低，而且在CM的长度因每个CM而相差数帧时，也能够进行CM广播区间的检测，而不受各个 CM的长度差异的影响。并且，在以上的说明中，把场景转换检测单位设为IGOP，但是也 可以把场景转换检测单位设为多个GOP单位。而且，还可以按照任意数 量的每个帧设定场景转换检测单位。并且，在以上的说明中，作为进行场景转换和无音检测处理的方法， 示出了采用软件的示例，但也可以通过硬件来执行。并且，关于语音， 直接分析音频A/D转换部4的输出，但也可以根据编码流进行分析并检测无音。实施方式7在实施方式7中，说明在CM之间的交界处附近存在多个转移点时 选择判定为CM之间的交界的转移点的方法。通常，在CM的前后部分 临时显示进行宣传的企业名称或产品名称等字幕的情况居多。因此，在 CM之间的交界处附近同时发生无音和场景转换，连续发生多次转移点的 情况居多。另一方面，在CM广播区间的检测中，为了弥补CM的时间 长度误差、检测延时以及检测偏差，使作为基准的CM长度具有某种程 度的幅度来进行检测。例如，在实施方式6中，为了检测15秒的CM， 在30土1GOP的范围内进行检测。但是，在土1G0P的检测幅度中有时存在 多次转移点，需要从作为候选的转移点中选择一个转移点的指针。因此， 在实施方式7中，示出从作为候选的转移点中选择一个转移点的指针的3 个选择基准。图17 (A) (C)表示被选择为候选转移点的转移点。第1方法是 如下方法如图17(A)所示，如转移点间隔为30GOP、60GOP以及90GOP 这样，选择下一个转移点以使距基准时间为土0GOP。第2方法是如下方法如图17 (B)的GOP序号'30'到GOP序号'59' 所示，当在某个CM交界检测中选择出的转移点的间隔为29GOP (= 30GOP — 1GOP)时，按照图17 (B)的GOP序号'60，到GOP序号'90， 所示，以31GOP (=30GOP + 1GOP)为中心选择下一个CM交界检测中 选择出的转移点的间隔。在所选择的转移点临时偏离基准值时(相当于图17 (B)中的GOP序号'59')，下一个转移点优先选择抵消偏离的GOP (相当于图17 (B)中的GOP序号'90')。艮P，在以预先设定的基准时间 (例如30GOP)为中心的预定时间范围内(土IGOP的范围内)，在检测 到的场景转换和检测到的无音区间同时发生的转移点被检测到多个时， CM滤波器16把此前刚刚判定出的CM的时间长度和之后判定出的CM 的时间长度之合计接近所述预先设定的基准时间(例如30GOP)的整数 倍的程度较大的转移点，判定为用于规定CM广播区间的转移点。第3方法是选择使累计时间尽可能地为土0GOP的方法。如图17 (C) 所示，在把所选择的转移点设为GOP序号'0'、 '29，、 '58'后，不选择GOP 间隔为30土0GOP的GOP序号'88，，而选择GOP间隔为30+1GOP的GOP 序号'89，，在进行下一个检测时，GOP间隔不选择30GOP — 1GOP或 30GOP±0GOP，而选择GOP序号'120'，由此使转移点的偏离总体上达到 士0GOP。即，在以预先设定的基准时间(例如30GOP)为中心的预定时 间范围内(土1G0P的范围内)，检测到的场景转换和检测到的无音区间同 时发生的转移点被检测到多个时，CM滤波器16把使将要判定的CM广 播区间接近预先设定的基准时间(例如30GOP)的整数倍的程度较大的 转移点，判定为用于规定CM广播区间的转移点。通过釆用上述第2方法或第3方法，在由于检测误差等使得转移点 暂时偏离原来的CM之间的交界位置的情况下，也能够进行校正处理， 结果，可以提高CM广播区间检测精度。并且，通过优先选择转移点的偏离总体上达到土0GOP的转移点，可 以使检测到的CM广播区间接近基准时间，CM广播区间的检测精度提 咼。并且，为了使累计时间数或GOP数的累计值距基准时间的偏离达到 士0GOP，通过对检测到的转移点进行加权，可以降低如下问题用于检 测一个CM的误差即士1G0P在持续执行CM广播区间的过程中随着CM 的数量增加而累计，即，偏离原来的CM交界乃至由于偏离原来的CM 交界而使得应该检测的CM不能检测到。另外，在实施方式7中，上述以外的情况与上述实施方式6的情况相同。实施方式8在实施方式8中，说明使用转移点的无音时间长度提高CM广播区 间的检测精度的方法。一般，在电视广播节目中，在一个CM的前后存在约0.5秒左右的 无音部分，在CM与CM的连接处即交界处附近，存在双方的CM的无 音部分之和约l秒(—0.5秒x2)的无音部分。另一方面，在从节目本体 转入CM时、以及从CM转入节目本体时，节目本体侧的无音部分较短 的情况居多，只加入双方的无音部分之和约0.6秒左右的无音部分。图18是表示在包括实际广播的任意20个节目、591个CM的广播 区间中，某个CM与其后面的CM之间的无音部分的时间长度的测定结 果的曲线图。如图18所示，CM之间的无音部分大多存在于0.8秒 1.4秒之间。图19是表示在与图18的情况相同的任意20个节目的广播区间中， CM广播区间结束并转入节目本体时的无音部分的时间长度的测定结果 的曲线图。如图19所示可知，在从CM广播区间转入节目本体时，无音 部分的时间长度大多存在于约0.4秒 1.2秒之间。即，在实施方式6所 示的转移点的无音时间长度为0.4秒 0.8秒期间或者在1.4秒以上时， 在大多数情况下可以判断为CM己结束并转入节目本体。图20是表示使用CM之间的无音时间长度检测CM广播区间的方法 的流程图。在图20中，对与图16的步骤相同的步骤赋予相同符号。实 施方式8的CM广播区间的检测方法基本与实施方式6的情况相同，但 在实施方式8中追加以下步骤，在步骤S420对转移点的无音时间长度进 行验证，在检测到两个以上CM的状态下，如前面所述，如果无音时间 长度不在0.8秒 1.4秒(即第l规定范围)之间，则判定为CM已结束。 并且还追加以下步骤，在检测到CM广播区间的情况下，也验证是否存在 CM广播区间的各个转移点的无音时间长度中至少具有一个以上在0.8秒 1.4秒范围内的时间长度的无音部分(步骤S420)，如果不包含具有0.8秒 1.4秒范围内的时间长度的无音部分，则不用作CM广播区间。通过按照上述方式构成，可以检测CM广播区间的结束和本体开始 位置，可以提高CM广播区间的检测精度。尤其在从CM转入节目本体后，在以与CM间隔相同的间隔发生了 场景转换和无音时，有时会把节目本体的前头部分错误检测为CM，但是 根据无音时间长度，可以高精度地检测CM结束位置，可以降低把节目 本体前头错误检测为CM的情况的发生频次，结果，可以提高CM广播 区间的检测精度。另外，在节目本体中同时发生多个场景转换和无音区间，在其间隔 与CM广播区间的场景转换和无音区间的发生间隔相同的情况下，有时 会把节目本体错误检测为CM广播区间，但是由于把无音时间长度与CM 之间的无音时间长度一致设为条件，所以能够降低把节目本体错误检测 为CM的情况的发生频次。另外，在实施方式8中，上述以外的情况与上述实施方式6和7的 情况相同。实施方式9在实施方式9中，说明可以利用表示场景转换变化量的场景转换差 异值提高检测精度的CM广播区间的检测方法。图21是表示在实施方式9的图像语音记录装置中利用了场景转换差 异值的CM广播区间的检测方法的流程图。并且，图22是用于说明在实 施方式9的图像语音记录装置中利用了场景转换差异值的CM广播区间 检测方法的图。在图22中示出了检测到的CM广播区间、和位于CM广播区间的各个CM的交界处的转移点51a..... 51f。 一般，CM和节目本体之间或者CM和CM之间的图像的因果关系不足，因此场景转换的 变化量极大。在实施方式9中，示出利用CM和节目本体之间以及CM 和CM之间的场景转换差异值大于节目本体内的场景转换差异值的特点， 降低将节目本体错误视为CM的错误检测的方法。图21的流程图所示的动作以实施方式6的图16的流程图所示的动 作为基础，追加利用场景转换差异值的几个判断和处理。在图21中，对 与图16的步骤相同或对应的步骤赋予相同符号。首先，CM滤波器16在判定为从作为基点的转移点到作为终点的转移点的时间长度与CM基准时间长度(例如15秒、30秒、60秒、90秒 等)相同后(步骤S410)，判定该基点和终点是否是前头CM、且时间长 度是否是60秒或90秒(步骤S430)。在符合该条件时，比较基点的场景 转换差异值和终点的场景转换差异值(步骤S431)，如果基点的场景转换 差异值较大，则判定为CM从基点位置开始，返回步骤S411。在图22 中表示比较转移点51a和转移点51b的场景转换差异值，将场景转换差 异值较大者判定为节目本体和CM的交界。另一方面，当在步骤S431中判断为终点的场景转换差异值大于基点 的场景转换差异值时，CM滤波器16判定为CM从终点位置开始、即节 目本体在该基点和终点之间持续。同样，CM滤波器16在CM结束时也判定是否是最后CM、且时间 长度是否是60秒或90秒(步骤S432)，在符合该条件时，比较基点的场 景转换差异值和终点的场景转换差异值(步骤S433)，如果终点的场景转 换差异值大于基点的场景转换差异值，则判定为节目本体从终点位置开 始，使处理转入步骤S435。在图22中表示比较转移点51e的场景转换差 异值和转移点51f的场景转换差异值，将场景转换差异值较大者判定为 CM和节目本体的交界。另一方面，在判断为基点的场景转换差异值大于终点的场景转换差 异值时，CM滤波器16判定为节目本体从基点位置开始、即该基点和终 点之间已经进入节目本体。这样，在CM开始时或本体开始时长度为 60秒或90秒等、且将要广播的频次较少的CM的情况下，根据该区间前 后的哪一个图像变化量更大，判断节目本体和CM的交界。有时节目本 体的前头或最后成为一体的插曲或一角(comer)等编辑而成的单位，在 该情况下，有可能错误检测为CM，但是在实施方式9的CM广播区间检 测方法中，通过发现图像变化更大的CM交界，可以正确检测CM和节 目本体的交界。并且，在步骤S435中，检查所有转移点的场景转换差异值，并与大 于在场景转换的判定中使用的阈值的第2阈值比较，如果CM广播区间的至少一个转移点的场景转换差异值超过第2阈值，则转入步骤S415，将其作为CM广播区间处理，相反如果没有超过，则使该CM广播区间 无效(步骤S436)。在图14的说明中，假设场景转换差异值的阈值是0,9， 由于转移点33b、 33c、 33f、 33g中的转移点33b和33g的场景转换差异 值超过阈值0.9，所以将从转移点33b到转移点33g的期间判定为CM广 播区间。如上所述，通过在节目本体和CM的交界处的CM中，利用场景转 换差异值选择节目本体和CM的交界，可以判定节目本体和CM的交界， 可以降低把节目本体的前头或最后错误检测为CM的情况的发生频次。并且，当在检测到的CM广播区间内场景转换差异值的至少一个未 超过某阈值时，判定不是CM，由此可以降低将图像的变化量比CM少的 节目本体错误检测为CM的情况的发生频次。另外，在实施方式9中，上述以外的情况与上述实施方式6 8的情 况相同。实施方式10在实施方式10中，表示在所记录的流的前头存在数秒的CM，在该 CM之后记录有本体的情况下检测该数秒的被片断化的CM的方法。通 常，图像语音记录装置20大多构成为在判断为开始记录后到实际开始记 录之前需要一定时间，因此从预先设定的记录开始时刻起追溯数秒再开 始记录。并且，图像语音记录装置的内部所具有的时钟无法保证总是指 示正确时刻。因此，例如假设广播节目预定在PM9: OO开始、且本体正 好在PM9: OO开始，有时也会被记录在所记录的流的前头。在实施方式 10中，表示提取被记录在所记录的流的前头并被片断化的CM的方法。使用图23说明实施方式10。假设从所记录的流中检测到场景转换 和无音同时发生的点即转移点。该转移点把在图23的强制CM化区间61 中最后发生的转移点60c判断为CM和本体的交界，把从记录开始位置 62到60c之间视为CM。强制CM化区间根据图像语音记录装置的规格 确定，例如如果从预定记录时刻前的5秒开始记录，则把强制CM化区 间设为5秒即可。并且，也可以考虑图像语音记录装置的内部时钟的误差量例如2秒而将其设定为7秒。在此，把强制CM化区间的最后转移点60c用作CM和本体的交界，这是因为强制CM化区间的时间幅度被 设定为与实际记录开始时刻和预定记录时刻之差大致相等，并且CM内 的转移点发生频次远大于本体中的转移点发生频次。如上所述，由于不是正好从预先设定的预定记录时刻开始记录，在 从本体前的不需要的CM开始记录的图像语音记录装置中，也能够检测 本体前的不需要的CM。并且，即使图像语音记录装置的内部时钟不能保证正确的时刻，也 能够检测本体前的不需要的CM。并且，在实施方式10中，采取把强制CM化区间的最后转移点用作 CM和本体的交界的方法，但也可以构成为取代强制CM化区间，而采用 从记录开始时刻起经过例如5秒后的时刻作为强制CM化时刻，把最接 近该强制CM化时刻的转移点用作CM和本体的交界。在图23中表示把 60d和CM用作本体的交界的方法。并且，也可以选择性地组合实施方式6 10的各种结构来进行CM 广播区间的检测。
权利要求
1.一种图像记录装置，其特征在于，所述图像记录装置具有编码单元，其对图像数据进行编码并输出编码流；记录单元，其记录从所述编码单元输出的编码流；流控制单元，其把从所述编码单元输出的编码流转送给所述记录单元；图像变化点提取单元，其对从所述编码单元输出的编码流进行解码，提取该解码后的图像数据的场景转换；以及录制控制单元，其从所述编码单元按照编码流的编码单位获取编码结束通知，在获取了该编码结束通知时，输出针对所述图像变化点提取单元的场景转换提取指示。
2. 根据权利要求l所述的图像记录装置，其特征在于， 所述图像变化点提取单元具有解码单元，其对从所述编码单元输出的编码流进行解码；直方图生成单元，其生成所述解码后的图像数据的直方图；第1直方图缓冲器和第2直方图缓冲器，其按照预定的像素数交替 保持所述生成的直方图；差值提取单元，其求出保持在所述第1直方图缓冲器中的直方图和 保持在所述第2直方图缓冲器中的直方图的差异值；场景转换判定单元，其比较通过所述差值提取单元求出的差异值和 预先设定的阈值；以及场景转换命令控制单元，其根据来自所述录制控制单元的场景转换 提取指示，控制所述图像变化点提取单元。
3. 根据权利要求1所述的图像记录装置，其特征在于， 所述图像记录装置还具有临时存储单元，所述临时存储单元的数据写入速度和数据读出速度比所述记录单元快，所述临时存储单元临时存 储被输入到所述流控制单元的编码流，针对从所述临时存储单元读出的编码流，由所述图像变化点提取单元提取场景转换。
4. 根据权利要求l所述的图像记录装置，其特征在于，每当从所述编码单元输出一个或多个GOP的编码流时，从所述编码单元发送编码结束通知。
5. 根据权利要求l所述的图像记录装置，其特征在于，每当从所述编码单元输出一个或多个片的编码流时，从所述编码单元发送编码结束通知。
6. 根据权利要求l所述的图像记录装置，其特征在于，每当从所述 编码单元输出一个或多个宏块的编码流时，从所述编码单元发送编码结 束通知。
7. 根据权利要求l所述的图像记录装置，其特征在于，与从所述录 制控制单元接收场景转换提取指示同步地，由所述图像变化点提取单元 进行场景转换提取动作。
8. 根据权利要求i所述的图像记录装置，其特征在于， 所述图像变化点提取单元具有控制命令保持单元，所述控制命令保持单元临时保持来自所述录制控制单元的场景转换提取指示，根据从所述控制命令保持单元输出的场景转换提取指示，在与从所 述录制控制单元接收场景转换提取指示不同步的定时，由所述图像变化 点提取单元进行场景转换提取动作。
9. 根据权利要求8所述的图像记录装置，其特征在于，所述控制命 令保持单元多次保持所述场景转换提取指示，每当预定编码单位的场景 转换提取结束时，进行与所述场景转换提取指示对应的处理。
10. 根据权利要求l所述的图像记录装置，其特征在于， 所述编码单元使用DCT压縮图像数据，所述图像变化点提取单元在所述解码时，根据编码流的像素尺寸来 控制编码流的DCT系数的解码次数。
11. 根据权利要求10所述的图像记录装置，其特征在于，所述图像 变化点提取单元根据编码流的像素尺寸来控制编码流的解码片。
12. 根据权利要求2所述的图像记录装置，其特征在于，所述直方图生成单元判定所述直方图的分布是否适合于所指定的颜色分布，在判 定是所指定的颜色分布时，把所指定的颜色分布之外的直方图输出给所 述第1直方图缓冲器和所述第2直方图缓冲器。
13. —种场景转换提取方法，其特征在于，所述场景转换提取方法 包括通过编码单元对图像数据进行编码并输出编码流的步骤； 通过流控制单元转送所述编码流并记录到记录单元中的步骤；通过录制控制单元从所述编码单元按照编码流的编码单位获取编码 结束通知，在获取了该编码结束通知时，输出针对图像变化点提取单元的场景转换提取指示的步骤；以及通过所述图像变化点提取单元对从所述编码单元输出的编码流进行 解码，并提取该解码后的图像数据的场景转换的步骤。
14. 根据权利要求13所述的场景转换提取方法，其特征在于， 所述提取场景转换的步骤包括对从所述编码单元输出的编码流进行解码的步骤；生成所述解码后的图像数据的直方图的步骤；按照预定的像素数将所述生成的直方图交替保持到第1直方图缓冲 器和第2直方图缓冲器中的步骤；求出保持在所述第1直方图缓冲器中的直方图和保持在所述第2直 方图缓冲器中的直方图的差异值的步骤；比较所述求出的差异值和预先设定的阈值的步骤；以及根据来自所述录制控制单元的场景转换提取指示，控制所述图像变 化点提取单元的步骤。
15. 根据权利要求13所述的场景转换提取方法，其特征在于， 所述场景转换提取方法还包括在数据写入速度和数据读出速度比所述记录单元快的临时存储单元中临时存储被输入到所述流控制单元的编 码流的步骤，针对从所述临时存储单元读出的编码流，由所述图像变化点提取单 元提取场景转换。
16. 根据权利要求13所述的场景转换提取方法，其特征在于，每当 从所述编码单元输出一个或多个GOP的编码流时，从所述编码单元发送 编码结束通知。
17. 根据权利要求13所述的场景转换提取方法，其特征在于，每当 从所述编码单元输出一个或多个片的编码流时，从所述编码单元发送编 码结束通知。
18. 根据权利要求13所述的场景转换提取方法，其特征在于，每当 从所述编码单元输出一个或多个宏块的编码流时，从所述编码单元发送 编码结束通知。
19. 根据权利要求13所述的场景转换提取方法，其特征在于，与从 所述录制控制单元接收场景转换提取指示同步地，由所述图像变化点提 取单元进行场景转换提取动作。
20. 根据权利要求13所述的场景转换提取方法，其特征在于， 所述场景转换提取方法还包括使控制命令保持单元临时保持来自所述录制控制单元的场景转换提取指示的步骤，根据从所述控制命令保持单元输出的场景转换提取指示，在与从所 述录制控制单元接收场景转换提取指示不同步的定时，由所述图像变化 点提取单元进行场景转换提取动作。
21. 根据权利要求20所述的场景转换提取方法，其特征在于，在所述使控制命令保持单元临时保持场景转换提取指示的步骤中，使之多次 保持所述场景转换提取指示，每当预定编码单位的场景转换提取结束时， 进行与所述场景转换提取指示对应的处理。
22. 根据权利要求13所述的场景转换提取方法，其特征在于， 所述编码单元使用DCT压縮图像数据，所述图像变化点提取单元在所述解码时，根据编码流的像素尺寸来 控制编码流的DCT系数的解码次数。
23. 根据权利要求22所述的场景转换提取方法，其特征在于，根据 编码流的像素尺寸来控制编码流的解码片。
24. 根据权利要求14所述的场景转换提取方法，其特征在于，所述直方图生成单元判定所述直方图的分布是否适合于所指定的颜色分布， 在判定是所指定的颜色分布时，把所指定的颜色分布之外的直方图输出 给所述第1直方图缓冲器和所述第2直方图缓冲器。
25. —种图像语音记录装置，其特征在于，所述图像语音记录装置 具有-编码单元，其对所输入的图像数据和语音数据进行编码并输出编码流；记录单元，其记录从所述编码单元输出的编码流； 图像变化点检测单元，其对从所述编码单元输出的编码流进行解码，并根据该解码后的数据来检测图像的场景转换；无音检测单元，其根据所述语音数据来检测无音区间； 转移点检测单元，其检测通过所述图像变化点检测单元检测到的场景转换和通过所述无音检测单元检测到的无音区间同时发生的转移点； CM广播区间判定单元，其把通过所述转移点检测单元检测到的转移点的间隔在以预先设定的基准时间为中心的预定时间范围内的转移点的组合连续持续两个以上的区间，判定为CM广播区间；以及CM广播区间信息记录单元，其记录通过所述CM广播区间判定单元判定出的CM广播区间的时刻信息。
26. 根据权利要求25所述的图像语音记录装置，其特征在于， 所述转移点检测单元具有临时存储单元，所述临时存储单元临时保持通过所述图像变化点检测单元检测到的场景转换信息、以及通过所述 无音检测单元检测到的无音区间信息，所述转移点检测单元检测在所述临时存储单元中场景转换和无音区 间同时发生的时刻。
27. 根据权利要求25所述的图像语音记录装置，其特征在于，每当 通过所述无音检测单元检测到无音区间时，由所述转移点检测单元进行 转移点的检测动作并由所述CM广播区间判定单元进行CM广播区间的 判定动作。
28. 根据权利要求25所述的图像语音记录装置，其特征在于，按照把多个帧作为1单位的处理单位，由所述图像变化点检测单元 进行场景转换的检测动作，按照与所述图像变化点检测单元进行的场景转换的检测动作相同的处理单位，由所述CM广播区间判定单元进行所述CM广播区间的判定 动作。
29. 根据权利要求25所述的图像语音记录装置，其特征在于， 所述CM广播区间判定单元使用的所述基准时间是相当于预先设定数量的GOP的时间，所述CM广播区间判定单元使用的以所述基准时间为中心的预定时 间范围内，是以所述预先设定数量的GOP为中心的土1G0P的范围内。
30. 根据权利要求25所述的图像语音记录装置，其特征在于， 当在所述CM广播区间判定单元使用的以所述基准时间为中心的预定时间范围内检测到多个所述转移点时， 所述CM广播区间判定单元，在此前通过所述CM广播区间判定单元刚刚判定出的转移点间隔比 所述基准时间长第1值的情况下，优先选择使此后通过所述CM广播区 间判定单元判定出的转移点间隔比所述基准时间短第1值的转移点，作 为用于规定CM广播区间的转移点，在此前通过所述CM广播区间判定单元刚刚判定出的转移点间隔比 所述基准时间短第2值的情况下，优先选择使此后通过所述CM广播区 间判定单元判定出的转移点间隔比所述基准时间长第2值的转移点，作 为用于规定CM广播区间的转移点。
31. 根据权利要求25所述的图像语音记录装置，其特征在于， 当在所述CM广播区间判定单元使用的以所述基准时间为中心的预定时间范围内检测到多个转移点时，所述CM广播区间判定单元把通过所述CM广播区间判定单元判定 出的CM广播区间接近所述基准时间的整数倍的程度较大的转移点，判 定为用于规定CM广播区间的转移点。
32. 根据权利要求25所述的图像语音记录装置，其特征在于，所述无音检测单元检测语音数据的无音部分的发生时刻和无音时间 长度，如果无音时间长度在预先设定的第1规定范围内，则把所述无音 部分判定为检测所述转移点时使用的所述无音区间，如果检测到的第3个以后的转移点的无音时间长度在预先设定的第1规定范围外，则所述CM广播区间判定单元判定为CM广播区间已结束。
33. 根据权利要求32所述的图像语音记录装置，其特征在于，当在 通过所述CM广播区间判定单元判定出的CM广播区间的转移点中不存 在无音时间长度在第1规定范围内的转移点时，不将通过所述CM广播 区间判定单元判定出的所述CM广播区间记录到所述记录单元中。
34. 根据权利要求25所述的图像语音记录装置，其特征在于， 从所述图像变化点检测单元输出的信息包括场景转换发生时间、以及表示场景转换中的图像数据变化程度的场景转换差异值，当在通过所述CM广播区间判定单元检测到的CM广播区间的转移 点中不存在场景转换差异值大于预先设定的场景转换基准值的转移点 时，不将通过所述CM广播区间判定单元判定出的所述CM广播区间记 录到所述记录单元中。
35. 根据权利要求34所述的图像语音记录装置，其特征在于，在转 移点间隔为60秒或90秒、且位于CM和节目本体的交界处时，所述CM 广播区间判定单元根据作为基点的转移点的场景转换差异值和作为终点 的转移点的场景转换差异值的比较结果，判定CM广播区间和节目本体。
36. 根据权利要求25所述的图像语音记录装置，其特征在于，所述 CM广播区间判定单元把通过所述转移点检测单元检测到的转移点中、从 开始记录流起到在规定时间内发生于最末尾的转移点判定为CM广播区 间。
全文摘要
提供一种可以与图像的记录并行地进行图像的场景转换提取的图像记录装置和场景转换提取方法。图像记录装置(100)具有对图像数据PIN进行编码的编码器(101)；记录从编码器(101)输出的编码流的HDD(105)；把从编码器(101)输出的编码流转送给HDD(105)的流控制部(103)；场景转换提取部(110)，对从编码器(101)输出的编码流进行解码，提取被解码的图像数据的场景转换；以及录制控制部(102)，从编码器(101)按照编码流的编码单位获取编码结束通知I<sub>EN</sub>，并输出针对场景转换提取部(110)的场景转换提取指示C<sub>SC</sub>。
文档编号H04N5/91GK101238727SQ20068002916
公开日2008年8月6日 申请日期2006年3月17日 优先权日2005年8月11日
发明者大塚功, 楠惠明 申请人:三菱电机株式会社