视频音频记录再现装置和视频音频记录再现方法

专利名称：视频音频记录再现装置和视频音频记录再现方法
技术领域：
本发明涉及视频音频再现装置，该视频音频再现装置记录视频音频信号，并自动 生成元数据，该元数据辅助用户在再现时和编辑时决定应再现的场景和应编辑的场景。
背景技术：
在现有的视频记录再现装置中，不能预先知道用户要视听的视频以及视频中的场 景和内容，必须通过实际进行再现或快进等来发现想要观看的场景。为了解决这样的问题，在视频音频再现装置中，通过使用EPG(Electric Program Guide,电子节目指南)来预先提示用户要决定是否观看的视频节目的标题或内容，不用视 听视频自身，即可选择要观看的节目。并且，提出了一种将要再现的节目中的场景作为代表 图像来显示的技术。例如，有这样的方法通过在录像中检测成为录像对象的流的编码参 数，进行缩略图像的生成(例如参照专利文献1)。并且，还有一种方法是，自动检测数字广 播节目内的场景变化，确定索引位置(例如参照专利文献2)。而且，还有一种方法是，提取 录像中的编码流，可自动检测场景变化点。专利文献1日本特开2001-177804号公报(第3页，图3)专利文献2日本特开2000-224522号公报(第3 4页，图1 2)专利文献3日本特开2007-49516号公报(第7页，图1)然而，在现有的视频记录再现装置中，不能使用处理能力低的CPU，与录像处理并 行地生成缩略图像等表示AV流的特征的元数据。

发明内容
本发明正是为了解决上述课题而完成的，本发明的目的是，即使在使用处理能力 较低的CPU或系统结构的视频音频记录再现装置中，也能在录像执行中生成要录像的视频 音频内容的缩略图像等的元数据。本发明涉及的视频音频记录再现装置具有视频音频记录单元，其记录视频音频 数据；关键帧提取单元，其从所述视频音频数据中提取关键帧；关键帧暂时记录单元，其在 所述视频音频数据被记录期间，记录由所述关键帧提取单元提取出的所述关键帧；关键帧 记录读出单元，其对所述暂时记录单元进行所述关键帧的记录和读出；以及元数据生成单 元，其根据记录在所述关键帧暂时记录单元内的所述关键帧来生成元数据。本发明的视频音频再现装置采用这样的结构如上所述具有关键帧暂时记录单 元，并对该关键帧暂时记录单元进行关键帧的记录和读出，因而具有这样的效果即使在处 理能力较低的CPU或系统中，也能在录像执行中生成要录像的视频音频内容的缩略图像等 的元数据。


图1是示出本发明的实施方式1中的视频音频记录再现装置的结构的框图。
图2是示出本发明的实施方式1中的缩略图选择操作中的显示画面的一例的图。图3是示出本发明的实施方式1中的AV流、提取以及暂时存储的关键帧的关系的 图。图4是说明本发明的实施方式1中的表示关键帧在文件上的位置的关键帧文件表 的数据内容的图。图5是示出在本发明的实施方式1中，生成作为元数据的JPEG缩略图的结构的框 图。图6是示出在本发明的实施方式1中，根据从输入流控制部读出的关键帧生成元 数据的结构的框图。图7是示出在本发明的实施方式1中，从AV流记录部中读出关键帧并生成元数据 的结构的框图。图8是示出在本发明的实施方式1中，根据暂时记录于关键帧暂时记录部内的关 键帧生成元数据的结构的框图。图9是示出本发明的实施方式1中的AV缓存器和输入流控制部的关系的图。图10是说明本发明的实施方式1中的输入到AV缓存器的GOP数据及其改写的图。图11是示出本发明的实施方式1中的输入输出到AV缓存器的各GOP数据和处理 时间限制条件的图。图12是说明本发明的实施方式1中的关键帧提取处理和元数据生成的顺序图。图13(a)、13(b)是示出本发明的实施方式1中的元数据生成处理的动作流程的流 程图。图14(a)、14(b)是说明本发明的实施方式1中的关键帧提取所需要的系统负荷的 图。图15是说明本发明的实施方式1中的录像开始的顺序图。图16是说明本发明的实施方式1中的录像中的关键帧提取处理和数据生成处理 的顺序图。图17是说明本发明的实施方式1中的录像结束的顺序图。图18是示出本发明的实施方式2中的视频音频记录再现装置的结构的框图。图19是说明本发明的实施方式2中的录像中的关键帧提取处理和数据生成处理 的顺序图。图20是示出本发明的实施方式2中的场景变化和章的关系的图。图21是示出本发明的实施方式3中的视频音频记录再现装置的结构的框图。标号说明100，101，102 录像音频记录再现装置；2 系统控制部；3 数字调谐器；4 模拟调 谐器；5 外部输入端子；6 遥控器接收部；7 网络端子；8 监视器输出端子；10 录像控制 部；11 再现控制部；12 :AV编码器；13 :AV解码器；14 输入流控制部；15 输出流控制部 16 :AV流记录部；18 元数据生成控制部；19 元数据输出控制部；20 元数据生成部；21 元数据记录读出部；22 元数据记录部；23 元数据显示部；24 图形重叠部；25 加密部 26 解密部；27 :AV缓存器；28 缩略图选择框；29 第2解密部；30 关键帧提取控制部；31 关键帧提取部；32 关键帧记录读出部；33 关键帧暂时记录部；34 关键帧记录管理部35 流分析部；41 关键帧解码器；42 JPEG编码器；43 JPEG文件格式转换器；50 关键帧 提取部；91 天线；92 网络；93 监视器；94 遥控器；95 画面。
具体实施例方式实施方式1图1是示出本发明的实施方式1涉及的视频音频记录再现装置100的结构的框 图。视频音频记录再现装置100具有数字调谐器3、模拟调谐器4、外部输入端子5、监视器 输出端子8以及网络端子7，作为与外部设备的接口。数字调谐器3和模拟调谐器4与天线 91连接，可接收数字广播和模拟广播。外部输入端子5主要对应于被称为模拟输入的复合 输入、S影像输入、LR音频输入等。监视器93与监视器输出端子8连接，能对由视频音频 记录再现装置100生成的视频和音频信息进行显示和输出。并且，视频音频记录再现装置 100具有遥控器接收部6，该遥控器接收部6接收使用从用于远程操作装置的遥控器94发 送的红外线来发送的遥控器代码，视频音频记录再现装置100将接收到的遥控器代码发送 到系统控制部2。系统控制部2根据基于用户请求的遥控器94的控制信号控制视频音频记录再现 装置100。当从用户向系统控制部2进行了录像请求时，录像控制部10对录像开始、结束和 录像中的记录动作进行管理。参照图1，说明视频音频记录再现装置100中的数字广播录像功能。由数字调谐器 3接收到的数字广播作为全部TS (Transport Stream，传送流)被发送到输入流控制部14。 输入流控制部14进行如下处理暂时存储数据，视频并将数据稳定地写入到AV流记录部 16内，以便将作为视频音频数据的AV流稳定地记录在AV流记录部16内。并且，输入流控制部14还具有从全部TS中省去无需记录的分组等的部分TS化 的功能。并且，除了进行TS的PID和节信息的检测处理以外，还进行所记录的影像流中的 GOP (Group Of Picture，图片组)的开始位置的检测和作为关键帧的I图片的位置和尺寸 的检测等。AV流记录部16由HDD (Hard Disc Drive，硬盘驱动器)等构成。在将AV流记录到AV流记录部16内的情况下，为了实现在再现时的场景检索性的 提高、和在特殊再现时的针对任意时间的随机搜索，需要使记录在AV流记录部16内的AV 流的地址信息和时间信息相对应的地址映射图。录像控制部10在录像时，根据由输入流控 制部14检测出的GOP开始位置信息生成地址映射图，将其记录在AV流记录部16内。而 且，AV流记录部16除了记录所述的地址映射图以外还记录再现控制信息，该再现控制信息 包含有所记录的节目的标题、记录开始时间、记录结束时间、广播服务名、信道编号、视频编 码信息、音频编码信息、节目详细信息等。下面，说明模拟广播以及从外部输入的视频信号的录像功能。由天线91接收到的 模拟广播由模拟调谐器4仅取出由用户指定的信道的信号。对由模拟调谐器4取出的信号 进行视频信号化，由未图示的AD/DA转换器进行数字信号化，之后被输入到AV编码器12。 AV编码器12将视频信号编码成MPEG-2影像，并利用AAC对音频信号进行编码，将编码后 的视频和音频信号复用到MPEG-2传送流(Transport Stream)，生成AV流。AV流被发送到 输入流控制部14，记录在AV流记录部16内。从外部输入端子5输入的视频音频信号也一 样，在进行了 AD/DA转换之后，由AV编码器12转换成AV流，记录在AV流记录部16内。
6
参照图1，说明视频音频记录再现装置100中的再现功能。当用户按下设在遥控器 94上的“录像标题一览”按钮时，录制的节目标题的全部或者一部分显示在画面上。用户利 用设在遥控器94上的上下左右的光标键来使光标移动到期望的标题，通过按下“决定”按 钮来选择要再现的标题。表示所选择的标题的红外线信号从遥控器94被发送到遥控器接 收部6，转换成软件代码，之后被送到系统控制部2，更新画面。并且，在不是再现等待状态 或录像状态的情况下，这些代码被送到再现控制部11，调用对应的再现动作功能，变更再现 状态。以下，说明具体的再现动作。当用户决定了再现标题时，再现控制部11从AV流记录部16中读出与指定标题相 关的再现控制信息，将其输入到未图示的RAM上。再现控制部11使用再现控制信息中的地 址映射图，读出与随后应再现的流的再现开始时点对应的地址信息，从AV流记录部16中读 出该地址的AV流，发送到输出流控制部15。AV解码器13将从输出流控制部15传送的AV 流按其传送顺序进行解码，从监视器输出端子8输出到监视器93。输出流控制部15读出记录在AV流记录部16内的AV流，以便可继续视频音频数 据的解码，从而不会使AV解码器13产生下溢和上溢而使视频和音频中断。此时，输出流控 制部15利用作为H/W (硬件)助理的DMA (Direct Memory Access，直接存储器存取)传送 功能来向AV解码器进行传送。下面，说明视频音频记录再现装置100中的关键帧提取动作。关键帧是在输入流 控制部14上从传送到AV流记录部16的AV流中提取出的。例如以每5秒从AV流中提取 关键帧的情况为例来进行具体说明。当录像控制部10检测出5秒单位的周期时，对关键帧 提取控制部30发出关键帧提取指示。关键帧提取控制部30对关键帧提取部31进行指示 以提取指定时刻的关键帧。关键帧提取部31从存在于输入流控制部14内的AV流中检索出指定时刻的关键 帧，将其比特流送到关键帧记录读出部31。如果AV流是MPEG-2的流，则取得MPEG-2的I 图片。关键帧记录读出部31将提取出的关键帧保存在关键帧记录管理部34内的关键帧暂 时记录部33内。下面说明元数据生成。这里假定元数据的生成是在录像中或者录像结束处理中进 行的。作为具体的状况，假定在录像执行中，在利用未图示的CM检测机构进行了 CM区间的 检测的情况下，或者在检测出视频的场景变化的情况下，或者在音频信号中检测出特征音 频的情况下，进行元数据生成。这里以利用未图示的CM检测机构检测CM的结束时刻并生 成在该时刻的缩略图像的情况为例进行说明。录像控制部10根据从CM检测机构输入到录像控制部10的CM检测信号，对元数据 生成控制部18发出元数据生成指示。元数据生成控制部18指示元数据生成部20生成对 应时刻的元数据即缩略图。元数据生成部20请求关键帧记录读出部32读出关键帧数据。 关键帧记录读出部32从记录在关键帧暂时记录部33内的关键帧数据中提取对应的关键帧 数据，发送到元数据生成部20。如果不存在对应的关键帧，则提取前后的关键帧数据，发送到元数据生成部20。元 数据生成部20根据读出的关键帧，生成作为元数据的缩略图像。如果关键帧是MPEG-2的 I图片，则元数据生成部20执行对MPEG-2进行解码的功能，并还进行整形成能作为缩略图 像进行显示的格式即比特映射图的处理。所生成的比特映射图格式的缩略图像即元数据由
7元数据记录读出部21保存在元数据记录部22内。下面，说明在视频音频记录再现装置100中，使用作为元数据的缩略图信息来再 现任意场景的方法。图2示出AV流的再现视频和缩略图像重叠在监视器93上的状态。缩 略图像是在经由元数据记录读出部21读出保存在元数据记录部22内的缩略图信息，并在 元数据显示部23中进行了图像化之后，在图形重叠部24与再现视频重叠，显示在监视器93 上。当用户选择了期望的标题时，再现控制部11开始所选择的标题的再现。再现控制 部11将AV流从AV流记录部16读出到输出流控制部15。读出到输出流控制部15的AV流 由AV解码器13解码，显示在监视器93上。当用户按下用于起动图2所示的用户界面的设在遥控器94上的专用按钮时，再现 控制部11向元数据输出控制部19传递要再现的标题和再现视频的经过时间信息。元数据 输出控制部19经由元数据记录读出部21从元数据记录部22中读出经过时间(当前的缩 略图)及其前后各2张的合计5张缩略图。元数据输出控制部19根据缩略图数据生成缩 略图像，并生成缩略图选择框28，输出到元数据显示部23。元数据显示部23将缩略图的元 数据展开为图像，与选择框一起输出到图形重叠部24。通过上述处理，如图2所示，显示与当前的场景对应的缩略图(Scene(场景)17) 及其前后各2张的合计5张缩略图。在显示缩略图的初始状态中，遥控器选择框是按照当 前再现中的场景来显示的。这里，为了再现场景17而针对Scene 17的缩略图显示遥控器 选择框28。用户可使用遥控器94的左右键来使遥控器选择框28左右移动，可选择期望的 场景。与该遥控器动作联动地进行选择框的生成，以使缩略图选择框28左右移动。然后，当在遥控器选择框28到达画面的右端或左端的状态下进一步按下左右的 光标键时，所显示的缩略图整体朝与按下的光标键相反的方向移动，从而显示尚未显示的 场景的缩略图。当用户使光标对准期望的缩略图并按下“决定”键时，使再现控制部11暂 时停止再现中的内容的再现状态。然后，再现控制部11根据表示由用户选择出的场景的开始位置的输入项信息进 行指示，以便从根据场景的输入项信息指定的时间再次开始再现。再现控制部11使用记录 在AV流记录部16内的地址映射图信息，将输入项的时间信息转换成AV流的地址信息，发 送到输出流控制部15。输出流控制部15根据来自再现控制部11的地址信息，从AV流记录部16中读出 选择出的场景的AV流数据，输出到AV解码器13。AV解码器13对来自输出流控制部15的 AV流数据进行解码。由此，能进行与用户选择出的缩略图对应的场景的再现。图3使用MPEG-2比特流作为AV流的具体例，示出提取源的比特流和提取出的关 键帧的关系。MPEG-2比特流中的各GOP(Group OfPicture，图片组)具有I图片作为关键 帧。这里，I图片由K表示，并以阴影线表示。另外，I图片通常大多配置在GOP的开头。关键帧提取部31从输入流控制部14取得各GOP和I图片的尺寸信息，提取I图 片的数据。将提取出的关键帧即I图片经由关键帧记录管理部34内的关键帧记录读出部 32保存在关键帧暂时记录部33内。这里，作为关键帧的保存形式，将各关键帧按原比特流 的排列顺序进行结合，成为1个文件。以下将该文件称为关键帧文件。通过使各关键帧的实际数据成为1个文件，具有这样的优点对关键帧的存取可集中为1个文件，可使在文件存取时利用的文件处理数为“1”，并且，由于文件是1个，因而 能避免伴随以减少存储器或系统负荷为目的的文件存取的排他控制、以及写入在关键帧文 件内的数据的更新或改写处理的文件存取的冲突。并且还具有这样的优点在录像结束时 擦除关键帧文件的情况下，与分散到多个关键帧文件的状态相比，通过生成一个关键帧文 件，删除处理变得简单，处理时间缩短。这里，图4示出在将关键帧作为1个关键帧文件来保存的情况下，在对各关键帧的 数据进行存取的情况下使用的关键帧文件表的内容。在关键帧文件中，各关键帧的数据是 根据原比特流的顺序来进行记录的。在关键帧文件中最新的关键帧的数据被追加给关键帧 文件的最后来记录，与此同时，最新关键帧的图4所示的信息被追加给关键帧文件表信息 的最后来记录。这里，作为关键帧文件表信息，假定记录有各关键帧在文件上的地址信息、 尺寸信息以及AV流中的时刻信息。这里作为地址和尺寸信息的单位，不是以字节为单位，而是以包(pack)为单位进 行记录。一般在MPEG-2比特流的情况下，作为数据的传送单位使用包。这是因为，该单位在 对数据尺寸进行管理的情况下具有便利性，并在存储数据的区域尺寸设计中容易处理。这 里，假定使用MPEG-2的基准单位即包。顺便一提的是，在MPEG-2比特流中使用的包在传送 流(Transport Stream)的情况下，是188字节或192字节。另一方面，在节目流(Program Stream)的情况下，是2048字节。下面，说明在生成元数据的情况下的关键帧数据的读出。元数据生成部20参照图 4所示的关键帧文件表，取得想要生成元数据的关键帧的数据位置和尺寸，从记录在关键帧 暂时记录部33内的关键帧文件中提取关键帧数据。由于有关键帧文件表，因而即使是先前 的关键帧，关键帧提取部31也能取得，而与关键帧文件中的排列顺序没有关系。由此，能进 行元数据的生成，而与节目的时间位置没有关系。因此，即使从另行准备的场景变化检测机 构和CM检测机构等多个检测机构按不同顺序发出元数据生成请求，也能应对。下面，使用图5来说明元数据生成。由关键帧提取部31提取出的关键帧以关键帧 文件的形式经由构成关键帧记录管理部34的关键帧记录读出部32被记录在关键帧暂时记 录部33内。这里说明生成JPEG缩略图作为元数据的具体生成例的情况。根据MPEG-2的I图 片即关键帧生成JPEG缩略图的元数据生成部20由以下要素构成。关键帧解码器41进行 MPEG-2的I图片的解码处理，恢复成Y、Cb、Cr的非压缩图像数据。JPEG编码器42以JPEG 形式对Y、Cb、Cr格式的图像数据进行压缩编码，然后JPEG文件格式转换器43附加JPEG文 件用的文件头，进行文件化。生成的JPEG文件被送到元数据记录读出部21，记录在元数据 记录部22内。下面，使用图6来说明在不存在关键帧暂时记录部33的情况下从AV流到元数据 生成的数据流。这里，假定在AV流被记录于AV流记录部16内的情况下，由加密部25进行 加密。然后，在如图6所示从输入流控制部14提取关键帧并直接由元数据生成部20生成 元数据的情况下，从输入流控制部14提取出的关键帧立即被转换成元数据，保存在元数据 记录部22内。在该情况下，具有的优点是，从输入流控制部14以短的路径到达元数据记录 部22。然而，具有的问题是，能生成元数据的数据仅是与输入流控制部14连接的AV缓存
9器27上存在的数M字节、或者数秒的数据，以及即使是在AV缓存器27内某个时间存在的 数据，也在数秒后置换为别的数据，不能花充分的时间来生成元数据。下面，在图7中说明从AV流记录部16取得关键帧的情况。在该例子中，由于从AV 流记录部16中提取关键帧，因而对关键帧提取和元数据生成几乎没有时间限制，能花时间 进行元数据生成。然而，一般在将对从广播波取得的视频数据进行了压缩编码后的AV流、 或者从广播波直接取入的AV流记录在HDD等的AV流记录部16内的情况下，使用加密部25 来进行加密。由此，防止用户任意更换记录有AV流的HDD，或者从HDD中提取AV流，进行不 正当复制。为了从加密后的AV流解密成能再现的AV流，需要解密部26。解密部26设置在向 AV解码器13提供AV流的输出流控制部15的前面，AV解码器13可接收解密后的所谓的明 文AV流。然后，即使在从AV流记录部16生成元数据的情况下，也需要加密后的AV流的解 密处理。解密部26设置成再现专用，由于不能共用，因而需要进行元数据生成用途用的解 密的第2解密部29。在生成元数据的情况下，关键帧提取部31从AV流记录部16中提取加 密后的AV流中的指定时刻或位置的I图片，由第2解密部29进行解密，送到元数据生成部 20。元数据生成部20根据关键帧生成元数据，经由元数据记录读出部21，写入元数据记录 部22内。在该情况下，针对AV流记录部16，记录、再现、元数据生成的各功能同时进行读 写，因而有可能产生动作延迟的弊病，或者使记录视频或再现图像受到干扰等的不利影响。 并且，在H/W的结构上，具有的问题是，不能准备第2解密部，或者成本增加。因此，如图8所示，从输入流控制部14中仅提取关键帧，保存在关键帧暂时记录部 33内，在元数据生成部20生成元数据时，从关键帧暂时记录部33中读出期望的关键帧。在 该情况下，由于从输入流控制部14取得的关键帧不进行加密，因而无需另行准备解密部。 并且，由于在关键帧暂时记录部33内记录有录像中的节目的、至少当前的录像经过时间之 前的关键帧，因而能在任意时机生成与期望时间对应的元数据。下面，根据图9说明在与录像动作并行地生成元数据的情况下的问题。图9示出 不存在关键帧暂时记录部33的情况。在该情况下，从与输入流控制部14连接的AV缓存器 27中直接提取关键帧，由元数据生成部20生成元数据，由元数据记录读出部记录元数据。 这里，在AV缓存器27内写入比特流，并将其传送到HDD等的AV流记录部16。图10示意性示出比特流依次被写入到AV缓存器27内的状态。这里假定AV流是 MPEG-2，并以GOP为单位进行处理。从数字调谐器3或AV编码器12输出的各GOP按时间顺 序被记录在AV缓存器27内。这里假定按G0Pn、G0Pn+1、G0Pn+2、……那样依次记录在AV缓 存器27内。录像继续，在AV缓存器27没有剩余容量的G0Pn+4处，G0Pn+4被改写在GOPn的 位置，以后按时间顺序从老的数据进行改写。当然，向HDD等的传送必须在对该GOP进行别的GOP数据的改写之前执行，然而在 AV缓存器27上进行AV流的分析的情况下，必须注意当前分析中的数据由新的数据重写来 进行，时间限制非常严格。下面，使用图11来说明在生成元数据时的限制。当关注继续进行对AV缓存器27 的GOP写入处理和对HDD16的传送处理这方面时，作为在实际时间能处理元数据的条件，有必要使各GOP的记录处理所花的时间与分配给该GOP的元数据的生成时间之和为GOP的再 现时间以下。该元数据的生成以JPEG缩略图的生成为例，当包含MPEG-2的解码和JPEG的编码 时，需要数秒单位的处理时间。一般，在使用广播波发送的MPEG-2流中，GOP的再现时间是 约0. 5秒。由此，在上述情况下，必须针对IGOP包含元数据生成处理在内在0. 5秒以内完 成执行。然后，元数据生成所花的时间能分成各GOP的处理时间来执行，然而课题是，在生 成元数据的情况下，是否存在原始数据。也就是说，AV缓存器27如参照图10所说明那样是 环形缓存器，有时由于各GOP的数据由将来的GOP数据改写而使参照对象的数据消失。例 如，G0Pn+1在随后的G0Pn+5被写入之前的期间在AV缓存器27上是有效的，能利用。也就是 说，作为能直接参照AV缓存器27的条件，有必要使针对G0Pn+1的元数据生成时间在G0Pn+1 在AV缓存器27上由别的GOP数据改写之前的期间，也就是说G0Pn+5被写入之前完成。然而，在根据MPEG-2的视频生成JPEG缩略图方面，存在这样的情况赶在GOP的 处理所容许的时间内完成，以及在成为对象的GOP滞留于AV缓存器27内的时间内完成都 是困难的。因此，使用图12的顺序图来说明如图1和图8所示通过暂时蓄积关键帧可解决上 述问题的情况。这里，假定AV流的传送单位是G0P，并将全部GOP的关键帧记录在关键帧暂 时记录部33内。并且，这里要说明的是，在录像开始以后的稳定的录像持续状态下的任意 时间内的某GOP单位的录像处理。当输入流控制部14检测出GOPn时(SlOl)，向AV流记录 部16传送GOPn(S102)。然后，向录像控制部10通知GOPn已被传送到AV流记录部16、以及 从GOP的开头起的地址、尺寸、录像开始后的经过时间、关键帧的地址、尺寸等(S103)。录像控制部10对关键帧提取部31进行关键帧η的提取请求(S104)。该关键帧η 的提取请求包含有应提取的关键帧的地址和尺寸信息。关键帧提取部31根据从录像控制 部10发送的关键帧的信息，通过输入流控制部14执行期望的关键帧η的提取(S105)。然 后，将提取出的关键帧η写入到关键帧暂时记录部33内(S106)。以后，每当输入流控制部 14进行各GOP的检测时，重复上述动作直到录像动作结束为止(S121 S146)。下面，说明元数据的生成。假定例如本视频记录再现装置是这样的规格伴随录像 开始后的周期性的时间经过来生成元数据。在该情况下，录像控制部10根据时间周期性计 时器，实施元数据生成执行的触发。录像控制部10向元数据生成部20发出针对GOPn的元 数据生成指示(SllO)。元数据生成部20根据关键帧文件表的信息，从关键帧暂时记录部 33中读出关键帧n(Slll)。元数据生成部20根据取得的关键帧，使用例如图5所示的方法来生成元数据即缩 略图像。元数据的生成能与录像处理没关系地进行动作，在哪个时机开始元数据的生成、或 者元数据生成花的时间花了多少，不会对本来的录像动作和关键帧提取处理产生影响。并 且，即使对于处理关键帧的动作，只要遵守在写入关键帧n(S106)之后进行关键帧n(Slll) 的读入的进程，即不会特别产生问题。如上所述，通过由关键帧提取部31提取关键帧并记录在关键帧暂时记录部33内， 可使录像处理和元数据的提取处理独立进行动作。由此，即使是处理能力不高的CPU或系 统结构，也能在录像动作中容易地生成元数据。并且，关于元数据的生成，由于不对AV流记
11录部16进行存取，因而不会将负荷强加于AV流记录部16，结果，稳定的记录以及有可能同 时执行的再现处理都能稳定地执行。下面，使用图13 (a)、13(b)来示出关键帧提取处理和元数据生成处理的关系。 S200表示在输入流控制部14进行动作的GOP传送线程的处理。当录像开始时(S201)，输 入流控制部14进入等待从数字调谐器3或AV编码器12输入GOP的状态(S202)。当GOP 的数据进入输入流控制部14时，取得该GOP的数据位置、尺寸、时刻信息、该GOP内的I图 片的尺寸、位置等GOP的信息(S203)。然后，将该GOP数据写入到AV流记录部16 (S204)。 然后，使用非同步消息通信来向录像控制部10内的录像控制线程通知，该GOP已被传送到 AV流记录部16(S205)。当结束GOP的传送通知时，输入流控制部14再次进入GOP输入等 待状态(S202)。下面，说明录像控制部10内的录像控制线程的处理(S210)。当录像开始时 (S211)，录像控制线程进入等待从输入流控制部14通知GOP传送的状态(S212)。这里当 接收到来自输入流控制部14的GOP传送通知时，判定是否从该GOP中提取关键帧(S213)。 当判定为提取关键帧时，使用非同步消息通信来向关键帧提取部31的关键帧提取线程 (S220)发送关键帧提取请求(S214)。在关键帧提取请求处理完成，或者在关键帧提取判定中判定为不需要关键帧提取 的情况下，随后判定是否进行元数据的生成(S215)。在与元数据的判定条件一致的情况下， 使用非同步消息通信来向元数据生成部20的元数据生成线程(S230)发送元数据生成指 示。在针对元数据生成线程的元数据生成指示完成，或者在元数据生成判定中判断为不需 要元数据生成的情况下，录像控制线程再次进入等待来自输入流控制部14的GOP传送线程 的GOP传送通知的状态(S212)。下面，说明关键帧提取部31的关键帧提取线程(S220)。当录像开始时(S221)，关 键帧提取线程进入等待来自录像控制部10内的录像控制线程处理(S210)的关键帧提取请 求的状态(S222)。当从非同步消息通信机构接收到关键帧提取请求时，关键帧提取线程从 AV缓存器27中提取关键帧(S223)，将提取出的关键帧写入关键帧暂时记录部33的关键帧 文件的最后尾(S224)。之后，关键帧提取线程再次回到等待来自录像控制部10内的录像控 制线程(S210)的关键帧提取请求的状态。下面，对元数据生成部20中的元数据生成线程(S230)进行说明。当录像开始时 (S231)，元数据生成线程等待来自录像控制部10内的录像控制线程(S210)的元数据生成 指示(S232)。当经由非同步消息通信结构接收到来自录像控制线程(S210)的元数据生成 指示请求时，元数据生成线程从关键帧暂时记录部33的关键帧文件中读出相应的关键帧 数据(S233)。然后，元数据生成线程使用该关键帧数据来生成元数据(S234)，将生成的元 数据按各元数据作为文件写入元数据记录部22内(S235)。这里，在关键帧提取部31的关键帧提取处理(S220)和元数据生成部20的元数据 生成线程(S230)之间不存在处理进程的前后关系，仅存在这样的限制条件在元数据生成 线程(S230)生成某个关键帧的元数据的情况下，有必要使该关键帧已记录在关键帧暂时 记录部33内。而且，元数据生成线程在与输入流控制部14中的GOP传送线程(S200)或录像控 制部10中的录像控制线程(S210)之间仅存在非同步消息通信的关系，不会产生这样的弊
12病随着元数据生成线程(S230)的进展，GOP传送线程(S200)、录像控制线程(S210)以及 关键帧提取进程(S221)的处理延迟、或者等待处理。这是由于以下情况而成立的，即，元数 据生成线程不直接参照AV缓存器27，通过将关键帧数据暂时保存在关键帧暂时记录部33 内，能与记录流的保存处理分开来进行动作。因此，不会妨碍视频记录再现装置本来的录像处理，并且即使在需要利用处理能 力低的CPU使本视频记录再现装置的软件进行动作的情况下，或者在系统整体能力低的情 况下，也能与录像动作并行地生成元数据。并且，由于元数据生成线程(S230)能独立于GOP传送线程(S200)、录像控制线程 (S210)以及关键帧提取线程(S221)来进行动作，因而即使在元数据生成中进行处理负荷 高的处理，也不会对录像动作产生影响，因而作为元数据生成处理，可包含花时间的处理和 高负荷的处理。由此，作为视频记录装置可提供高附加值的功能。下面，使用图14 (a)、14 (b)来从CPU的负荷观点进行说明。图14 (a)示出从AV流 记录部16中提取在生成元数据的情况下使用的关键帧的情况。另一方面，图14(b)示出从 输入流控制部14 (或者AV缓存器27)中提取关键帧的情况。如图14(a)所示，在从AV流 记录部16中读出关键帧的情况下，CPU进行期望的关键帧的搜索，在发现的情况下，从AV流 记录部16中读出其比特流，进行元数据的生成和所生成的元数据的写入处理。此时知道， 系统负荷作用于关键帧的搜索、以及从AV流记录部16中读出关键帧的处理。图14(b)示出从输入流控制部14中读出关键帧的情况，从AV缓存器27中读出关 键帧，暂时记录在关键帧暂时记录部33内，当产生别的事件时，从该关键帧暂时记录部33 中再次读出，进行元数据生成和元数据写入。此时，对于从AV缓存器27中提取关键帧以及 向关键帧暂时记录部33内写入关键帧时的系统负荷，由于写入对象是容量比GOP数据少的 关键帧、以及用于AV缓存器27的存储器实际上使用具有高速传送频带的存储器，因而不产 生大的负荷上升。并且，即使在元数据生成时读入关键帧的情况下，由于与GOP相比是较小 尺寸的数据，因而也不会伴随大的负荷变动。下面，使用顺序图来说明动作。图15示出录像开始处理的顺序。当从系统控制部 2向录像控制部10发送了录像开始请求时(S500)，录像控制部10向关键帧提取控制部30 请求关键帧提取初始化处理(S501)。关键帧提取控制部30执行关键帧提取部31的初始化 处理(S502)，然后，关键帧提取部31执行关键帧记录管理部34的初始化处理(S503)。在 关键帧记录管理部34的初始化处理中，确保关键帧文件的文件生成和文件存取权的设定、 以及用于将数据作为文件来处理的存储空间(所谓的文件打开处理)。然后，录像控制部10执行元数据生成控制部18的元数据生成初始化处理(S504)。 元数据生成控制部18执行元数据生成部20的初始化处理(S505)，元数据生成部20执行元 数据记录读出部21的初始化处理(S506)。然后，录像控制部10指示AV流记录部16生成 AV流文件，并生成用于提高对AV流文件存取的便利性的地址映射图文件(S507)。之后，录 像控制部10指示输入流控制部14开始向AV流记录部传送比特流(S508)。下面使用图16来说明录像中的动作。这里，假定AV流的传送单位是G0P，在录像 节目的某时间位置，设定被称为输入项的存取点(所谓的章)，并生成与输入项对应的元数 据即缩略图像。当录像状态持续时，并且当新的GOP被输入到输入流控制部14时，进行GOP 检测(S600)，生成该GOP的地址映射图信息(S601)。然后，将检测出的GOP记录在AV流记
13录部16内，并将与该GOP对应的地址映射图追加记录在已记录的地址映射图内。输入流控制部14向录像控制部10通知在AV流记录部16内GOP的记录已完成、 以及所记录的GOP的信息(S603)。录像控制部10向系统控制部2通知例如录像持续时间 等的系统中的录像相关信息(S604)。下面，对在满足生成输入项的条件的状态下，系统控制 部2针对录像控制部10进行输入项生成请求(S605)的情况下的处理进行说明。接收到输 入项生成请求(S605)的录像控制部10向关键帧提取控制部30请求提取与输入项信息在 时间上一致的关键帧(S606)。关键帧提取控制部30向进行AV缓存器27上的数据和地址管理的输入流控制部 14请求该关键帧的地址信息和尺寸信息(S607)。关键帧提取控制部30对关键帧提取部31 进行指示，以便取得该关键帧(S608)。此时将上述取得的关键帧相关信息发送到关键帧提取部31。关键帧提取部31根 据从关键帧提取控制部30获得的关键帧的地址和尺寸信息，从输入流控制部14中取得相 应的关键帧(S609)，将关键帧经由关键帧记录管理部34记录在未图示的关键帧暂时记录 部 33 内(S610)。录像控制部10请求元数据生成控制部18生成元数据(S611)。元数据生成控制部 18确认满足元数据生成条件的情况(例如对应的关键帧是否存在于关键帧暂时记录部33 内等)，指示元数据生成部30生成对应的元数据(S612)。这里为了生成作为元数据的缩略 图，需要MPEG-2的解码处理和JPEG的编码处理，处理需要的时间根据画面尺寸、比特率和 CPU的处理能力不恒定，但总需要数秒以上的时间，因而为了生成1个缩略图而起动专用线 程。元数据生成部20起动专用线程来生成缩略图(S613)。起动后的元数据生成线程 首先经由关键帧记录读出部32从关键帧暂时记录部33取得对应的关键帧(S614)。然后开 始元数据的生成处理(S615)。这里由于假定元数据的生成花数秒以上，因而完成处理需要时间，而本处理是作 为元数据生成线程而独立的动作，因而不会妨碍录像控制部10执行的录像处理。在经过数 秒之后，当生成作为元数据的缩略图像时，将该元数据即缩略图像文件记录在元数据记录 部22内。当元数据的生成和记录完成时(S616)，该元数据生成线程废弃自身，或者进入休 眠状态，以备下一个元数据生成请求。另一方面，录像控制部10生成由作为存取点的地址 位置信息、时间信息以及缩略图像的文件名构成的输入项信息(S617)，完成输入项生成处理。如上所述，即使在录像状态持续过程中，也使比特流的GOP数据在AV流记录部16 内的记录处理、和用于元数据生成的关键帧存取独立化，并使根据关键帧生成元数据也独 立化，因而不会对录像处理产生不良影响，可进行元数据的生成。特别是，本处理在CPU低速、系统处理能力低、元数据的生成负荷高、或者元数据 的生成需要秒数量级以上的处理时间的情况下是有效的。最后，使用图17来说明录像结束动作。当从系统控制部2对录像控制部10发出 录像结束请求时(S700)，录像控制部10指示输入流控制部14结束流的传送处理(S701)。 于是以后，不对AV流记录部16进行数据传送。然后，为了停止元数据的生成处理，录像控
14制部10请求元数据生成控制部18结束元数据生成(S703)。元数据生成控制部18请求元 数据生成部20结束处理(S704)。元数据生成部20在有动作中的线程的情况下，使该动作中的线程停止，完成全部 元数据生成处理。元数据生成部20进一步对元数据记录读出部21进行指示，以便在有写 入途中的文件的情况下完成写入，并完成文件操作处理(S705)。然后，录像控制部10指示 关键帧提取控制部30结束关键帧提取处理(S706)。关键帧提取控制部30对关键帧提取 部31进行指示，以便在有执行中的关键帧的提取处理的情况下进行中断，完成全部关键帧 提取处理(S707)。然后，关键帧提取部31请求关键帧记录读出部32结束处理(S708)，被请求结束处 理的关键帧记录读出部32中断关键帧的写入和读出处理，停止对全部关键帧文件的存取， 进行该关键帧文件的删除。并且，关键帧记录读出部32还同时删除对关键帧文件中的各关 键帧的地址和尺寸、时间信息进行管理的关键帧文件表。关键帧文件和关键帧文件表仅在 录像执行中存在，在录像结束时进行删除。由此，在录像中，可与输入流控制部14、AV缓存器27、AV流记录部16等的AV流的 实体、以及能对实体进行存取的要素的状态无关地取得关键帧信息，另一方面，通过在录像 结束且不需要的时刻删除关键帧信息，可有助于削减关键帧暂时记录部33的数据区域。特 别是，由于以元数据生成为目的，采取仅记录关键帧的结构，因而冗余数据少，而且能利用1 个帧信息生成1个独立的图像信息。以上说明的本实施方式涉及的视频音频记录再现装置100具有关键帧提取部 31，其从成为记录对象的AV流中提取关键帧；关键帧暂时记录部33，其暂时记录所提取的 关键帧；元数据生成部20，其生成元数据；以及元数据记录部22，其保存所生成的元数据， 由于元数据生成部20能在进行元数据生成的任意时机生成元数据，因而无需高速生成元 数据。因此，即使是处理能力较低的CPU或系统结构，也能与AV流的录像处理的执行并行 地生成元数据。并且，将在元数据生成中要参照的数据即作为AV流的一部分的关键帧记录在关 键帧暂时记录部33内。因此，在执行元数据生成时，即使有必要参照AV流的数据，也无需 对AV流记录部16进行存取，只要从关键帧暂时记录部33中进行读出即可，因而不会对本 来的AV流记录部16的记录动作产生妨碍，因此能正常地持续作为AV流记录部16的主要 目的的AV流的记录动作。而且，由于AV流记录部16无需为了生成元数据而进行AV流的读出，因而能由处 理能力低的AV流记录部16构成。实质上，AV流记录部16由于由HDD或闪存构成，因而能 使用传送频带低且低价格的HDD或闪存。并且，对HDD的寿命延长和消耗功率降低也是有 效的。并且，通过从输入流控制部14进行关键帧的提取，在进行录像或者本视频音频记 录再现装置100内的再记录(例如，速率转换记录)的情况下，可与录像动作并行地实施关 键帧的提取。这是因为，利用输入流控制部14具有向AV流记录部16传送数据和传送数 据的地址管理功能这一情况，通过与关键帧提取部31连接，能进行任意的关键帧提取。并 且，不仅能提取关键帧，而且能根据地址管理功能生成所提取的关键帧的提取后的地址信 息(这里是关键帧文件表)。能根据该地址信息分别识别所提取的多个关键帧。
15
并且，关键帧暂时记录部33进行这样的暂时存储在录像开始时生成关键帧文 件，每当检测出关键帧时，就追加记录到关键帧文件内，然后在录像结束时删除关键帧文 件，因而即使多次执行录像，关键帧文件的数量和总尺寸也不会增加，因此无需将关键帧暂 时记录部33的尺寸取得较大，在成本方面和文件存取负荷方面是有利的。并且，在本实施方式中，作为关键帧的保存形式，将多个关键帧与1个文件结合来 保存，然而各关键帧也可以作为别的文件来保存。并且，也可以以录像单位形成一个目录， 在该目录中保存各关键帧文件。如上所述，在针对1个关键帧形成1个文件的情况下，也可以在生成元数据的时点 删除在任意的元数据生成中使用的对应的关键帧文件。由此，可削减关键帧暂时记录部33 的容量。并且，关键帧暂时记录部33既可以使用SDRAM等的易失性介质，也可以使用HDD 和闪存等的非易失性介质。当利用易失性介质时，能高速写入并读出关键帧信息。在是非 易失性介质的情况下，在成本方面有利，并且即使产生停电等，当之后恢复时也能根据保留 在非易失性介质内的信息生成元数据。在本实施方式中，AV流记录部16和关键帧暂时记录部33是分开的单独部件，由 此可针对各方设定最佳的存储介质和规格，可构建性价比良好的系统。并且，反之通过将AV流记录部16和关键帧暂时记录部33集成为构建在1个大的 HDD上等的一个存储介质，能削减成本。在该情况下，优选的是，采取将AV流记录部16和关 键帧暂时记录部33的区域通过分区来进行分割等的处置。不过，在一体化的情况下，不对 通过分区进行划分等的安装差异进行限制。并且，可以构成为，即使在1个大的HDD上兼用AV流记录部16和关键帧暂时记录 部33的情况下，也能通过向有必要高速写入大容量数据的AV流记录部16分配DMA功能， 减少CPU中的流传送负荷，另一方面，向进行写入和读出的数据尺寸小、不需要高速处理的 关键帧暂时记录部33分配使用CPU的写入和读出处理。并且，为了抑制针对系统的负荷上升，也可以在关键帧提取控制部30中进行关键 帧提取的抽选处理。由此，可实现将系统能力考虑在内的元数据生成，能进行稳定的记录动 作和元数据生成动作。并且，关键帧的提取也可以按预定的时间周期进行。在该情况下，执行关键帧提取 的判断基准变得简单，能简化安装处理，抑制不良事件的产生，通过简化执行判断基准来抑 制系统负荷。并且，也可以以来自用户的键操作为契机执行关键帧的提取。由此，能实现符合用 户喜好的元数据的生成、关键帧提取以及元数据生成的判断基准的简化。并且，通过将所生成的元数据与用于与记录在AV流记录部16内的AV流相关联的 标题ID等同时记录，可在再现录制出的节目时将元数据显示在画面上进行再现。而且，用 户可使用遥控器来选择显示在画面上的元数据，从而能从与选择出的元数据具有的时间信 息对应的位置执行再现。并且，作为在关键帧暂时记录部33上进行记录的形式，通过使多个关键帧数据成 为一个文件，无需进行数据即文件的单独管理(文件ID和文件名的管理)、和频繁的文件打 开/关闭处理，在程序尺寸和执行速度方面是有利的。并且，万一在本视频音频记录再现装
16置100在录像动作执行中意外停机，从而不能执行在录像结束时或者电源断开时应执行的 不需要的关键帧数据的删除处理，结果，在残留有关键帧数据的文件的情况下，由于关键帧 文件的数量和文件名为固定值，因而可在再起动时简单地检测不需要的关键帧数据的文件 进行删除。在本实施方式中，对作为从AV流中提取的数据的关键帧作了说明，然而重要的 是，包含在关键帧以外的从AV流中提取而暂时保存的数据，其自身能独立进行再现和显 示，并且在进行压缩、编码、加密的情况下能恢复原状。例如，可以暂时保存AV流中的 EPG(Electronic ProgramGuide,电子节目指南)，并根据该EPG生成文字和图形等的元数 据。由此，例如在广播节目的各场景内嵌入了与场景对应的数据的情况下，可由关键帧提取 部31提取本数据，保存在关键帧暂时记录部33内直到录像结束，然后由元数据生成部进行 元数据化，保存在元数据记录部22内，从而可在再现时在进行场景确定的情况下使用。在本实施方式中，作为元数据列举了缩略图，然而并不特别限定于缩略图。例如， 元数据也可以从音频信息中提取人的音频、音乐、特征音频。并且在视频方面，可以将从原 始视频中提取出的人物图像、部分的剪切图像和将多个图像组合后的图像等原始AV流以 任何形式用作元数据。并且，在本实施方式中，使用了压缩编码后的视频音频数据，然而也可以是进行压 缩编码前的数据。并且，本发明中记录相关的调谐器3和4、AV编码器7、输入流控制部8以及AV流 记录部17由于可以使用现有的来构成，因而可容易地应用于现有的视频音频记录再现装置。另外，本实施方式涉及的视频音频记录再现装置100具有再现功能，然而也可以 是仅具有记录功能的记录装置。这样的记录装置可通过设置将所记录的AV流、再现控制信 息以及元数据输出到外部的接口功能来实现。并且，还可以使用从这样的接口输出的数据、 或者记录有数据的介质来构成具有本实施方式涉及的再现功能的再现装置。实施方式2图18是示出本发明的实施方式2涉及的视频音频记录再现装置101的结构的框 图。本实施方式涉及的视频音频记录再现装置101的特征在于，与图1所示的视频音频记 录再现装置100相比，具有流分析部35。在本实施方式中，与实施方式1的不同点在于，流分析部35在录像执行时从输入 流控制部14提取所记录的AV流，进行其视频或音频的分析，将其分析结果发送到关键帧提 取控制部30或元数据生成控制部18，关键帧提取控制部30或元数据生成控制部18根据各 自的判定基准进行关键帧或元数据的生成。在本实施方式中，假定使用HTTP协议从网络接收MPEG-2传送流(以下称为TS)， 并将接收到的TS记录在AV流记录部16内。假定从网络接收到的TS流与高清晰度MPEG-2 影像流和AAC流复用。并且，假定这里生成的元数据是比特映射图形式的缩略图像。输入流控制部14将输入的TS流暂时保存在AV缓存器27内，在AV缓存器27内 进行MPEG-2的GOP的位置和尺寸以及I图片的位置和尺寸的检测。然后，利用未图示的内 置于输入流控制部14中的DMA机构来向由HDD构成的AV流记录部16进行TS流的传送。 并且，当GOP的检测和该GOP向AV流记录部16的传送完成时，将传送完成的GOP的位置和
17尺寸以及I图片的位置和尺寸信息传送到录像控制部10和流分析部35。接收到GOP传送通知的流分析部35使用接收到的I图片的信息，从输入流控制部 14中提取I图片的数据。这里，流分析部35具有进行MPEG-2的解码处理、以及根据解码视 频进行视频的特征分析的功能。由此，流分析部35对从输入流控制部14接收到的I图片 进行解码，然后求出与以前已解码的图像之间的差值，在该差值超过预先设定的阈值的情 况下，判断为产生场景变化。流分析部35还具有这样的功能参照以前分析后的多个图像 数据，在已将1个以上的图像判断为类似图像的情况下，判断为产生章。在产生场景变化的情况下，将产生场景变化的事件、和表示场景变化程度的差值 送入到关键帧提取控制部30和元数据生成控制部18内。关键帧提取控制部30根据来自 流分析部30的场景变化产生事件和差值决定是否进行关键帧提取处理。在满足关键帧提 取条件的情况下，关键帧提取控制部30向关键帧提取部31发出关键帧提取指示。以后的 关键帧提取处理与实施方式1相同。另一方面，接收到章产生事件的元数据生成控制部18确认在关键帧暂时记录部 33内是否有与指定的帧对应的关键帧，在不是这样的情况下，确认在指定帧的附近时间是 否存在关键帧。在存在对应的关键帧的情况下，元数据生成控制部18向元数据生成部20 发送元数据生成请求和成为对象的关键帧的信息。元数据生成部20从关键帧暂时记录部 33中读取所指定的元数据，进行MPEG-2的解码处理，使用比特映射图格式输出解码后的图 像。元数据记录读出部21将元数据生成部20生成的比特映射图数据保存在元数据记录部 22内。如上所述，使用流分析部35分析AV流，根据其分析结果控制关键帧的提取和元数 据的生成，从而可根据AV流的视频状态进行关键帧的提取和元数据的生成。由此，能生成 与所记录的视频音频的视频内容对应的元数据。并且，由于只有当实际视频进行了场景变 化时才进行关键帧的提取，因而不会提取不需要的关键帧，可有助于系统负荷的减少以及 关键帧暂时记录部33容量的缩小。这里，说明关键帧暂时记录部33中的数据尺寸。在记录BS数字广播的情况下，以 24Mbps的传送速率将AV流记录在AV流记录部16内。此时，输入流控制部14从AV缓存器 27中提取关键帧即I图片。此时，关键帧暂时记录部33的关键帧文件的容量以约IM字节 /秒增加。也就是说，在将录像节目长度设定为2小时的情况下，需要2G字节的容量，在是 一般的家庭用录像机的最大录像时间即8小时的情况下，需要28. 8G字节的容量。然而，假 定如本实施方式所示，只有当产生场景变化时才保存关键帧，并且对应于1个场景的一般 长度是5秒以上，每5秒记录1个I图片，则在2小时节目的情况下，可削减为0. 72G字节 的容量，在8小时的情况下，可削减为2. 88G字节的容量。下面，使用图19来说明具有流分析部35的视频记录再现装置的录像动作。当录 像状态在视频记录再现装置101中持续时，由输入流控制部14进行GOP的检测处理。这里 当进行了 GOPn的检测时(S800)，生成GOPn的地址映射图(S801)。然后，使用未图示的DMA 机构，将GOPn传送给AV流记录部16 (S802)。此时，同时将GOPn的地址映射图追加记录在 比已存在于AV流记录部16内的GOPn靠前的地址映射图内。当GOPn的传送处理完成时，向 录像控制部10通知GOPn的写入完成(S803)。然后，向系统控制部2通知当前的录像经过 时刻等的录像信息(S804)。另一方面，GOPn的传送通知还被通知给流分析部35 (S805)。
18
流分析部35当接收到GOPn的传送通知时，从输入流控制部14接收GOPn的关键帧 (S806)。然后，流分析部35进行作为关键帧的I图片的解码处理，并取与前一帧的差值，在 该差值是预先设定的阈值以上的情况下，判定为场景变化。并且，流分析部35具有这样的 功能将至少2个以上的比GOPn靠前的图像数据或图像的特征数据蓄积在内部，调查所蓄 积的图像间的相关性，找出相关性极低的区间。例如，当判断为在GOPnri与GOPm之间相关性 显著低时，判定为在GOPm的位置存在章。当在GOPn中产生场景变化时，向关键帧提取控制部30发送表示产生场景变化的 事件、和表示场景变化程度的差值(S807)。关键帧提取控制部30验证差值是否适当、以及 GOPn的时刻信息是否正确(S808)，在判断为能取得关键帧的情况下，对关键帧提取部31进 行指示，以便取得指定时刻的关键帧(S809)。关键帧提取部31从输入流控制部14取得对 应的关键帧(S810)，请求关键帧记录读出部32写入已取得的关键帧。关键帧记录读出部 32将GOPn的关键帧写入到关键帧暂时记录部33内(S811)。然后，假定流分析部35在检测出场景变化的同时，检测出在比GOPn靠前的GOPm中 图像间相关性显著低。于是，流分析部35向自身的另一线程通知在GOPm检测出章(S812)。 流分析部35内的另一线程接收GOPm中的章检测事件，然后向元数据生成控制部18发送章 产生事件(S813)。元数据生成控制部18判定与GOP1^f应的关键帧是否保存在关键帧记录 管理部32内的关键帧暂时记录部33内，在存在的情况下，指示元数据生成部20生成元数 据(S814)。元数据生成部20起动元数据生成线程(S815)，提取GOPm的关键帧(S816)，根据 提取出的关键帧生成元数据即比特映射图格式的缩略图像(S817)。当缩略图像的生成完成 时，元数据生成线程请求元数据记录读出部21将元数据写入到元数据记录部22内(S818)。 当元数据的写入完成时，元数据生成线程向流分析部35发送元数据生成完成通知(S819)。 接收到元数据生成完成通知的流分析部35向录像控制部10发出请求，以便生成用于在该 节目的再现中使用跳过按钮等对章产生部位进行简单存取的输入项信息(S820)，录像控制 部10生成输入项信息。此时，流分析部35检测出的章位置即GOPm、和GOPm的数据是已过去的数据，不存在 于与输入流控制部14连接的AV缓存器27内。因此，不能从AV缓存器27中读出。然而， 通过将关键帧保存在关键帧暂时记录部33内，能提取在过去时刻的关键帧。并且，AV流记录部16专门进行应录像的AV流的记录，有时在处理负荷方面严格。 并且，如实施方式1中说明那样，由于通常在与AV流记录部16对应的HDD内实施加密来进 行记录，因而当读出时需要解密处理，但由于存在节目再现的可能性，因而不能使用。然而， 如本实施方式所示，由于在录像时解除了加密的状态下将关键帧保存在关键帧暂时记录部 33内，因而不存在由于对AV流记录部16进行存取而引起的处理负荷的上升，并且，无需追 加安装解密功能。另外，在本实施方式中，假定当产生2个图像间的差即场景变化时保存关键帧，并 且在图像组相互间有大的场面转换的情况下认为产生章，生成作为元数据的缩略图。这里，使用图20来说明场景变化和章的不同。图示表示仅作为全部关键帧的I图 片在时间方向排列的状态。这里，假定在任意的图片和其紧在其之前的图片之间图像差值 超过预先设定的阈值的情况下，在该图片产生场景变化。图中，假定在P55、P72、P86、P98、
19P107产生场景变化。然后在这些产生场景变化的图像间，这里是邻接2个图片间求出图形
的差值。然后，判定这些差值是否大于比预先决定的场景变化检测用的阈值大的章检测用 的阈值。差值大意味着相关低。图中示出判定在2个图片间的相关是否小于阈值的情况。图 中，P72和P86的区间满足该条件。假定将满足该条件的位置作为章边界，生成作为元数据 的缩略图。如该图所示，与在邻接图像间进行场景变化判定相比，求出图像组相互间的差、 或者在时间上隔开的图像间的差，结果，在要生成过去相当长时间的缩略图像的情况下，由 于其图像数据已不在AV缓存器27内，因而以往必须从AV流记录部16中取得。然而，如上所述，AV流记录部16—般由HDD构成，并进行了加密处理，因而由于加 密解密块的资源数的限制而难以为了元数据生成目的而利用解密块。因此，利用关键帧提 取部31仅提取关键帧，并在录像完成之前的期间记录在关键帧暂时记录部33内，因而能生 成如上所述过去时间的图像的元数据。根据以上说明的本实施方式涉及的视频音频记录再现装置101，具有关键帧提 取部31，其从成为记录对象的AV流中提取关键帧；关键帧暂时记录部33，其暂时记录所提 取的关键帧；元数据生成部20，其生成元数据；元数据记录部22，其保存元数据；以及流分 析部35，其分析要记录的AV流，因而即使是处理能力较低的CPU或系统结构，也能与AV流 的录像处理的执行并行地生成元数据。根据本实施方式，由于可分析要记录的AV流，并根据其特性进行关键帧提取，因 而除了获得实施方式1的效果，还能获得下述效果。根据本实施方式，由于可分析要记录的AV流，并根据其特性进行关键帧提取，因 而可避免将很像的图像作为关键帧来保存，结果，可削减关键帧暂时记录部33的容量。并且，由于提取关键帧的次数、和将关键帧写入到关键帧暂时记录部33内的频度 减少，因而能减少系统整体的负荷。并且，由于可削减暂时记录的关键帧的数量，因而可削减作为各关键帧的属性的 尺寸以及记录有原始的AV流中的时间位置、保存目的地等的关键帧文件表的尺寸，能削减 记录介质的容量。并且，由于暂时记录的关键帧的数量减少，因而能缩短在元数据生成时检索对应 的关键帧的时间。并且，由于生成元数据的条件包含生成关键帧的条件，因而在生成元数据的情况 下，不会产生不存在关键帧的缺陷。并且，在想要采用作为元数据的视频和音频信号的特征数据的情况下，由于利用 流分析部35分析AV流的特征，因而可由流分析部35进行生成元数据所需要的条件判断。实施方式3图21是示出本发明的实施方式3涉及的视频音频记录再现装置102的结构的框 图。本实施方式涉及的视频音频记录再现装置102具有这样的特征读出记录在AV流记录 部16内的AV流，从输出流控制部15中提取关键帧，关键帧提取部31从输出流控制部15 取得关键帧。与此同时，关键帧提取控制部30和元数据生成控制部18具有接收来自再现 控制部11的控制的结构。除此以外，实施方式3涉及的视频音频记录再现装置102与图1 所示的视频音频记录再现装置100相同。并且，AV流也与实施方式1相同。
20
在本实施例中，在再现时进行元数据的提取。当用户按下遥控器94等上的再现相 关按钮时，再现的红外线信号到达遥控器接收部6，对应的信号被传递到系统控制部2。系 统控制部2向再现控制部11发出指示，以便再现所指定的节目。再现控制部11向输出流控 制部15发送指示，以便从AV流记录部16中读出对应的AV流，并传送到AV解码器13。从 输出流控制部15输出的AV流由AV解码器13解码成原始的显示图像，从监视器输出8提 供给监视器93进行显示。输出流控制部15在再现持续期间中，对AV流中的GOP的位置和 尺寸以及I图片的位置和尺寸进行检测。当输出流控制部15检测出GOP时，将GOP检测通知发送到再现控制部11，然后发 送到关键帧提取控制部30。关键帧提取控制部30向关键帧提取部31发出指示，以便提取 相应的GOP的I图片。以后，关键帧的提取处理与实施方式1相同。并且，取得了 GOP检测通知的再现控制部11指示元数据生成控制部18生成元数 据。此时，由于元数据生成大多需要时间，因而需要少于指示给关键帧提取控制部30的关 键帧提取指示的频度。接收到元数据生成指示的元数据生成控制部18与实施方式1 一样， 使用蓄积在关键帧暂时记录部33内的关键帧数据来生成元数据，将生成的元数据存储在 元数据记录部22内。当持续这样再现时，即使对于录制好的节目，也能生成元数据。然后当再现结束时，需要的元数据记录在元数据记录部22内，因而关键帧暂时记 录部33内的关键帧是不需要的，进行删除。这样，即使对于录制好的节目，也能生成元数 据，而且关键帧仅暂时存在，不会徒劳地需要关键帧暂时记录部33的容量。在生成的元数据是缩略图的情况下，经由元数据记录读出部21从元数据记录部 22中读出元数据输出控制部19需要的元数据，由元数据显示部23进行图像化，由图形重叠 部24与再现视频合成来进行显示，或者仅缩略图像进行显示(参照图2)。在再现时将AV流稳定地提供给解码器是非常重要的，例如在不采用本结构，而想 要在再现中直接从AV流取得需要的关键帧的情况下，有可能陷入不能确保再现所需要的 AV流的传送速率的状态，不能顺利显示图像，瞬间停止，最糟糕的是产生系统意外停机的缺 陷。然而，在从输出流控制部取得关键帧的本实施方式的情况下，不会将负荷上升强加给AV 流记录部16，可进行关键帧的提取。并且，由于提取出的关键帧暂时存储在关键帧暂时记录部33内，可在需要时读 出，因而可缓解针对元数据生成时机和元数据生成所需时间长度的限制。根据以上说明的本实施方式涉及的视频音频记录再现装置102，即使在再现时，关 键帧提取部31也从输出流控制部15取得关键帧，将取得的关键帧暂时保存在关键帧暂时 记录部33内，将关键帧发送到元数据生成部，从而即使在再现时也能生成元数据。这是因 为利用了在再现时输出流控制部15从AV流记录部16中读出AV流这一情况，为了读出AV 流而无需特别的单元和处理，只要从暂时存在于输出流控制部15内的AV流中提取需要的 关键巾贞，生成元数据即可。因此，即使是处理能力较低的CPU或系统结构，也能与AV流的再 现处理的执行并行地生成元数据。并且，尽管未图示，然而从输出流控制部15输出且由AV解码器13解码后的视频 被输入到AV编码器12，利用输入流控制部14再次记录在AV流记录部内，从而可在本视频 音频记录再现装置内进行再编码录像。即使在该情况下，关键帧提取部3也能如实施方式
211所示，从输入流控制部14中，或者如实施方式3所示，从输出流控制部15中提取关键帧， 将关键帧保存在关键帧暂时记录部33内，元数据生成部20能在期望的时机生成元数据。
权利要求
一种视频音频记录再现装置，其特征在于，该视频音频记录再现装置具有视频音频记录单元，其记录视频音频数据；输入流控制单元，其暂时存储所述视频音频数据，并将视频音频数据稳定地传送到所述视频音频记录单元；关键帧提取单元，其从所述输入流控制单元中提取关键帧；关键帧暂时记录单元，其在记录所述视频音频数据的期间，记录由所述关键帧提取单元提取出的所述关键帧；以及元数据生成单元，其根据记录在所述关键帧暂时记录单元内的所述关键帧来生成元数据。
2.根据权利要求1所述的视频音频记录再现装置，其特征在于，所述视频音频记录再 现装置具有元数据记录读出单元，该元数据记录读出单元进行由所述元数据生成单元生成 的元数据的记录和读出。
3.根据权利要求1所述的视频音频记录再现装置，其特征在于，所述关键帧暂时记录 单元是非易失性介质。
4.根据权利要求1所述的视频音频记录再现装置，其特征在于，记录在所述关键帧暂 时记录单元内的关键帧在录像结束时删除。
5.根据权利要求1所述的视频音频记录再现装置，其特征在于，所述关键帧暂时记录 单元由与所述视频音频记录单元相同的介质构成。
6.根据权利要求1所述的视频音频记录再现装置，其特征在于，所述视频音频记录再 现装置具有关键帧提取控制单元，该关键帧提取控制单元控制所述关键帧提取单元的提取 次数或提取时机。
7.根据权利要求6所述的视频音频记录再现装置，其特征在于，所述视频音频记录再现装置具有视频音频分析单元，该视频音频分析单元分析所述视 频音频数据的特征量，根据所述视频音频分析单元的分析结果来决定所述关键帧提取单元的提取时机。
8.根据权利要求1所述的视频音频记录再现装置，其特征在于，所述视频音频记录再 现装置具有元数据生成控制单元，该元数据生成控制单元控制所述元数据的生成时机和生 成次数。
9.根据权利要求8所述的视频音频记录再现装置，其特征在于，所述元数据生成控制 单元根据所述视频音频数据的特征量来决定所述元数据的生成时机。
10.根据权利要求1所述的视频音频记录再现装置，其特征在于，所述关键帧暂时记录 单元针对所述视频音频数据具有1个关键帧数据。
11.一种视频音频记录再现装置，其特征在于，该视频音频记录再现装置具有 视频音频记录单元，其记录视频音频数据；解码处理部，其对视频音频数据进行解码并进行再现；输出流控制部，其从所述视频音频记录单元中读出视频音频数据，传送到解码处理部；关键帧提取单元，其从输出流控制部所读出的视频音频数据中提取关键帧； 关键帧暂时记录单元，其在再现所述视频音频数据的期间，记录由所述关键帧提取单元提取出的所述关键帧；以及元数据生成单元，其根据记录在所述关键帧暂时记录单元内的所述关键帧来生成元数据。
12.一种视频音频记录再现方法，其特征在于，该视频音频记录再现方法具有 视频音频记录步骤，记录视频音频数据；输入流控制步骤，暂时存储所述视频音频数据，并将视频音频数据稳定地传送到所述 视频音频记录步骤；关键帧提取步骤，从所述输入流控制步骤中提取关键帧；关键帧暂时记录步骤，在记录所述视频音频数据的期间，记录在所述关键帧提取步骤 中提取出的所述关键帧；以及元数据生成步骤，根据在所述关键帧暂时记录步骤中记录的所述关键帧来生成元数据。
13.根据权利要求12所述的视频音频记录再现方法，其特征在于，所述视频音频记录 再现方法具有元数据记录读出步骤，在该元数据记录读出步骤中，进行在所述元数据生成 步骤中生成的元数据的记录和读出。
14.根据权利要求12所述的视频音频记录再现方法，其特征在于，所述关键帧暂时记 录步骤是针对非易失性介质来执行的。
15.根据权利要求12所述的视频音频记录再现方法，其特征在于，所述视频音频记录 再现方法具有在录像结束时删除在所述关键帧暂时记录步骤中记录的关键帧的步骤。
16.根据权利要求12所述的视频音频记录再现方法，其特征在于，所述视频音频记录 再现方法具有关键帧提取控制步骤，在该关键帧提取控制步骤中，控制所述关键帧提取步 骤的提取次数或提取时机。
17.根据权利要求16所述的视频音频记录再现方法，其特征在于，所述视频音频记录再现方法具有视频音频分析步骤，在该视频音频分析步骤中，分析 所述记录的视频音频数据的特征量，根据所述视频音频分析步骤的分析结果来决定所述关键帧提取步骤的提取时机。
18.根据权利要求12所述的视频音频记录再现方法，其特征在于，所述视频音频记录 再现方法具有元数据生成控制步骤，在该元数据生成控制步骤中，控制所述元数据的生成 时机和生成次数。
19.根据权利要求18所述的视频音频记录再现方法，其特征在于，所述元数据生成控 制步骤根据所述视频音频数据的特征量来决定所述元数据的生成时机。
20.根据权利要求12所述的视频音频记录再现方法，其特征在于，所述关键帧暂时记 录步骤针对所述视频音频数据处理1个关键帧数据。
全文摘要
本发明提供一种视频音频记录再现装置和视频音频记录再现方法。在现有的视频记录再现装置中，不能使用处理能力低的CPU，与录像处理并行地生成缩略图像等表示AV流特征的元数据。在本发明中，在记录视频音频时，根据要记录的视频音频流暂时记录关键帧，之后根据该暂时记录的关键帧生成元数据，从而即使在使用处理能力较低的CPU或系统结构的视频音频记录再现装置中，也能与录像动作并行地生成元数据。
文档编号G11B27/10GK101958136SQ20101023135
公开日2011年1月26日 申请日期2010年7月16日 优先权日2009年7月17日
发明者北原阳平, 岛田昌明, 楠惠明 申请人:三菱电机株式会社