媒体处理方法、媒体处理程序的制作方法

专利名称：媒体处理方法、媒体处理程序的制作方法
技术领域：
本发明涉及使计算机执行包括AV数据的解码处理或编码处理的 媒体处理的媒体处理方法、媒体处理程序。
背景技术：
近年来，执行包括AV数据的解码处理或编码处理的媒体处理的各种数字家电设备被产品化。有一种将控制用于迸行媒体处理的DSP的软件模块做成库 (library)来利用的技术(例如非专利文献l)。图l是表示控制现有 技术中的DSP的媒体处理用软件的结构的框图。在该图中，该软件包 括时间管理模块501、媒体处理控制模块502、数据变换处理库504。 数据变换处理库504包括多个库模块。各库模块以预定的数据单位来 处理音频编码/解码、音频滤波处理、图像编码/解码等。媒体处理控 制模块502通过数据变换API组合需要的库模块并调出，从而执行各种 媒体处理。为了确保实时性，时间管理模块501管理由媒体处理控制 模块502进行的库模块的调出时刻。由此，通过将通用的媒体处理的单位库模块化，从而可以再利用 软件。非专利文献l: Texas Instruments Incorporated, "TMS320 DSP Algorithm Standard Rules and Guidelines (Rev.E) ，，， 17 Oct 2002但是，根据上述现有技术，对于数字电视、便携终端、数字摄像 机、数字电影、DVD录像机、家庭服务器等不同的产品，需要对每个 产品单独开发库模块的上位软件模块，存在开发效率差的问题。此外，即使对于规格变更，也需要单独对应于产品，所以存在难 以保证软件的品质的问题。各产品中的规格变更考虑如下的因素。(a)根据用户的愿望，变更再现/停止那样的宏观级(level)的 控制、l帧/l图像解码那样的微观级控制那样的控制粒度的情况，(b) 根据应用程序功能或AV系统结构，追加/变更功能(特殊再现、AV再 现中摄像等)的情况、或变更系统控制方式(AV同步、外部输入输出 控制等)的情况，(c)基于标准版本升级或算法改善等的信号处理方 式的变更/追加的情况，(d)通过低成本化、处理效率化、其它硬件 沿用等，将一部分功能硬件化的情况。发明内容本发明的目的在于，提供一种提高软件的开发效率及软件的品质 的媒体处理方法及媒体处理程序。为了解决上述课题，本发明的媒体处理方法，通过使处理器执行多个程序模块，进行媒体处理，包括第一步骤，通过执行第一阶层 的第一程序模块，来控制媒体数据的输入输出，决定一个以上的调出 时刻，并在该时刻调出第一阶层之下的第二阶层的一个以上的第二程序模块；第二步骤，通过执行第二阶层的第二程序模块，来调出第二 阶层之下的第三阶层的一个以上的第三程序模块；及第三步骤，通过 执行第三阶虔的第三程序模块，来使处理器对上述媒体数据执行作为 媒体处理的最小构成要素的数据变换处理。根据该构成，能够提高实现媒体处理方法的软件的开发效率。艮P， 在每个阶层，将作用、功能、控制级、接口等标准化，从而扩大软件 模块的沿用性，由此，提高开发出的软件模块的再利用性，广泛地将 从移动设备到服务器那样的各种产品为对象，能够提高软件的开发效 率。进而，能够提高上述软件的设计品质。即，基于阶层化将软件设计思想明确化、通用化，从而提高软件的理解容易性。此外，通过再 利用标准化的软件结构，能够提高设计品质。这里，可以是上述第一程序模块包括第一程序段到第四程序段， 上述第一步骤包括指令处理步骤，通过执行第一程序段，分析从第 一阶层之上的阶层的主机程序来的指令；定时决定步骤，通过执行第二程序段，根据所分析的指令来决定第三程序段的动作定时和一个以上的上述调出时刻；输入输出控制步骤，通过执行第三程序段，根据 上述动作定时来控制媒体数据的输入输出；及第一调出步骤，通过执 行第四程序段，在一个以上的调出时刻调出第二程序模块。这里，可以是第一程序段通过第一应用程序接口来接收指示媒体 处理的开始、停止或暂停的上述指令。这里，可以是上述第二程序模块包括第五程序段到第七程序段， 上述第二步骤包括通过执行第五程序段，从第一程序模块接收处理 对象的数据的步骤；第二调出步骤，通过执行第六程序段，对所接收 的处理对象数据依次调出一个以上的第三程序模块；及发送步骤，通 过执行第七程序段，从调出的第三程序模块向第一程序模块发送数据 变换结果。这里，可以是在第二步骤中，通过执行第二程序模块，对于输入 数据依次调出一个以上的第三程序模块，将其结果返回到第一程序模 块，在第一步骤中，通过执行第一程序模块，控制从第二程序模块返 回的数据的输出。在此，在上述第一调出步骤中，可以指定上述一个以上的第三程 序模块。这里，在上述第一调出步骤中，可以指定上述一个以上的第三程 序模块的动作参数。在此，在上述第一调出步骤中，可以指定上述一个以上的第三程 序模块的执行顺序。根据上述构成，能够灵活地对应各种产品中的变更，能够提高程 序模块的通用性。例如，能够容易地对应控制粒度的变更。即，能够 对于再现/停止那样的宏观级控制、或1帧/1图像解码那样的微观级控 制那样的每个控制粒度容易地进行变更。此外，能够容易地对应依存于作为主机的应用程序的功能或系统 构成的控制方式的变更。根据应用功能或系统构成，将追加/变更了功能(特殊再现、AV再现中摄像等)的情况或系统控制方式(AV同步、 外部输入输出控制等)的情况的影响局部化。进而，能够容易地对应于AV编码的标准或AV信号处理方式的变 更或追加。即，将基于标准版本升级或算法改善等的信号处理方式的 变更和追加的影响局部化。此外，能够容易地对应于一部分功能的硬件化。通过低成本化、 处理效率化、向其它软件的沿用等，能够将与一部分功能硬件化的情 况对应的软件的影响局部化为与一部分功能对应的程序模块，能够最 小限度地抑制软件的变更。此外，本发明的程序，为了进行媒体处理而由处理器执行，包括: 第一阶层的第一程序模块，控制媒体数据的输入输出，决定一个以上 的调出时刻，并在该调出时刻调出属于第一阶层之下的第二阶层的一 个以上的第二程序模块；第二阶层的第二程序模块，调出第二阶层之 下的第三阶层的一个以上的第三程序模块；及第三阶层的一个以上的 第三程序模块，使处理器对上述媒体数据执行作为媒体处理构成要素 的数据变换。本发明的效果如下如上所述，根据本发明的媒体处理方法及程序，能够提高实现媒 体处理方法的软件的开发效率。此外，能够提高软件的设计品质。能 够灵活对应各种产品中的变更，能够提高程序模块的沿用性。


图1是表示现有技术中的控制DSP的媒体处理用媒体的构成的框图。图2是表示实施方式中的媒体处理用系统LSI的构成的框图。 图3A是表示控制媒体处理器的软件的构成的框图。 图3B是表示控制媒体处理器的软件的构成的一例的框图。 图4是表示媒体模块层的程序模块的构成的框图。 图5是表示媒体控制层的程序模块的构成的框图。 图6是表示媒体模块层的程序模块(音频再现MM)的构成例的框图。图7是表示媒体控制层的程序模块(音频再现MC)的构成例的框图。图8是表示媒体模块层的程序模块(音频录音MM)的构成例的框图。图9是表示媒体控制层的程序模块(音频录音MC)的构成例的框图。图10表示媒体控制层的程序模块(复用MC)的构成例的框图。 图ll表示媒体控制层的程序模块(复用分离MC)的构成例的框图。图12表示媒体模块层的程序模块(视频再现MM)的构成例的框图。图13表示媒体控制层的程序模块(视频再现MC)的构成例的框图。图14表示媒体模块层的程序模块(视频录像MM)的构成例的框图。图15表示媒体控制层的程序模块(视频录像MC)的构成例的框图。图16是表示应用了本发明的媒体处理方法的家电产品的具体例 子的图。图17是表示应用了本发明的媒体处理方法的音频再现装置的构 成的框图。图18是表示应用了本发明的媒体处理方法的音频录音装置的构 成的框图。图19是表示应用了本发明的媒体处理方法的视频再现装置的构 成的框图。图20是表示应用了本发明的媒体处理方法的视频录像装置的构 成的框图。图21是表示应用了本发明的媒体处理方法的视频再现装置的构成的框图符号说明11CPU12媒体处理器13数据流i/o部14存储器控制部15AV 1/0部16存储器21调谐器22光盘23硬盘24存储卡25显示器26摄像机30主机100设备控制级API101MM层程序模块101a音频再现MM101b音频录音MM101d视频再现MM101e视频录像MM102指令处理部103时间管理部104数据输入输出控制部105媒体数据变换控制部200媒体数据变换API201MC层程序模块201c音频再现MC201d音频录音MC201e复用MC201f复用分离MC201i视频再现MC201j视频录像MC202数据接收部203数据发送部204参数接收部205媒体数据变换部300单纯数字变换API301ML层程序模块具体实施方式
对本发明的实施方式的媒体处理方法、装置及程序进行说明。首 先，对进行媒体处理的硬件结构进行说明。图2是表示实施方式中的媒体处理用系统LSI的构成的框图。在 该图中，系统LSI 10具备CPU 11、媒体处理器12、数据流I/O部13、 存储器控制部14、 AV I/O部15。CPU ll对系统LSI IO与外部的指令收发、媒体处理器12的控 制等系统LSI 10整体进行控制。媒体处理器12在CPU 11的控制下 进行媒体处理。媒体处理包括声音的编码处理、声音的解码处理、动 图像的编码处理、动图像的解码处理、可视电话处理等。数据流I/0 部13输入输出数据流数据。数据流数据的输入输出例如是来自外部 的调谐器21的数据流数据输入、与光盘22、硬盘23或存储卡24之 间的数据流输入输出等。存储器控制部14控制对存储器16的存取。 AV 1/0部15输入输出AV (Audio、 Video)数据。AV数据的输入 输出例如是对显示器25的AV数据输出、来自摄像机26的AV数据 输入等。存储器16存储CPUU及媒体处理器12的软件、AV数据、数据流数据、或媒体处理中的中间数据等。图3A是表示控制媒体处理器12的软件的构成的框图。该软件是实现媒体处理器12中的媒体处理的程序，分为媒体模块层、媒体控制层、 媒体库层这3个阶层。这里，"阶层"是实现某种功能并向上层提供 其接口的程序模块的集合体。阶层之间由明确的API (Application Programming Interface:应用程序设计接口)分离。将该图中的阶层之 间的API称为设备控制级API100、媒体数据变换API200、单纯数据变 换API300。该图中的媒体模块层包括MM(MediaModule:媒体模块) 层程序模块101a。媒体控制层包括MC (Media Controller:媒体控制) 层程序模块201a、 202b。媒体库层包括ML (Media Library)层程序模 块301a 301f。媒体模块层利用媒体控制层实现AV再现、TV电话、音频录音等 独立的媒体处理功能。媒体模块层包括一个以上的MM层程序模块(简 称为媒体模块(MM))。MM层程序模块101a实现与CPU ll的接口、基于媒体控制层的启 动定时控制的实时处理保证、外部输入输出等的功能。在MM层程序 模块中，例如如图3B所示，有用于音频再现的MM层程序模块(称为 音频再现媒体模块)、用于AV数据的再现的MM层程序模块(称为AV 再现媒体模块。)、用于声音通话的MM层程序模块(称为声音通话 媒体模块)等。媒体控制层利用媒体库层向媒体模块层提供对音频、视频等每个 域定义的基本媒体处理功能。媒体控制层包括一个以上的MC层程序 模块(简称为媒体控制器(MC))。MC层程序模块201a、 202b分别进行媒体库之间的序列控制、排 他控制、资源管理等。此外，吸收每个媒体库的不同，向媒体模块层 提供统一的接口。在MC层程序模块中，例如如图3B所示，有用于音 频再现的MC层程序控制器(称为音频再现媒体控制器)、用于AV数 据的再现的MC层程序控制器(称为AV再现媒体控制器。)、用于声 音通话的MC层程序控制器(称为声音通话媒体控制器)等。媒体库层以其本身实现编码解码、过滤等独立的最小限度的媒体 处理功能。ML层程序模块301a 301傳，通过媒体处理器实现该最小限度的媒体处理功能。该最小限度的媒体处理功能是本实施方式中的 媒体处理功能的最小单位。在ML层程序模块中，例如如图3B所示， 有AAM音频解码用的ML层库(称为AAC解码媒体库)、MPEG2的AV 数据的再现用的ML层库(称为MPEG2解码媒体库)、用于声音通话 的ML层程序控制器(称为G.726媒体库)等。图4是表示媒体模块层的程序模块的构成的框图。MM层的所有程 序模块的控制粒度及API被统一，所以在该图中表示多个种类的MM层 程序模块101的代表性的构成。MM层程序模块101包括指令处理部 102、时间管理部103、数据输入输出控制部104、媒体数据变换控制 部105。指令处理部102提供主机用于利用媒体处理功能的接口。具体地， 进行与主机CPU应用之间的指令数据的收发处理、指令分析、媒体模 块的状态管理、主机CPU—媒体处理器之间的控制参数管理。此外， 如上所述，MM层程序模块101将媒体处理的开始、停止、或暂停等的 粗粒度的非实时控制作为基本。指令处理部102处理非实时的与主机 的通信，与下层的实时处理进行分离。由此，由指令处理部102吸收 来自主机的指令、控制定时的变更产生时的影响，能够降低向下层的 影响。换言之，从主机向指令处理部102的API，能够依存于安装了系 统LSI的系统而变化。这时，即使从指令处理部102向时间管理部103的接口，其系统要件相同，也不变化。时间管理部103根据由指令处理部102分析的指令来决定数据输 入输出控制部104的动作定时，对于来自媒体数据变换控制部105的 MC层程序模块201的调出，决定其调出时刻。该调出时刻是帧的每个 周期的时刻。这里，所谓"帧"，在视频数据中是构成动画的l张图 像，在音频数据中指预定数量(例如1024)的采样数据的集合。由此， 时间管理部103控制数据输入输出控制部104及媒体数据变换控制部 105的动作定时来保证实时性。此外，在如AV再现等那样所请求的媒 体处理功能跨越音频、视频等多个领域时，时间管理部103使这些多 个领域之间同步。数据输入输出控制部104根据由时间管理部103决定的动作定时， 控制对MC层程序模块201的媒体数据的输入输出。例如，在MM层程 序模块101是音频再现媒体模块的情况下，数据输入输出控制部104控 制从数据流I/0部13向音频再现媒体模块输入编码音频数据、和从音频 再现媒体模块向AVI/0部15输出解码音频数据。媒体数据变换控制部105在由时间管理部103决定的调出时刻，调 出MC层程序模块2(H。例如，在MM层程序模块101是AV数据再现媒 体模块的情况下，如图12所示，媒体数据变换控制部105调出用于从数据流中分离音频数据和视频数据的分离用MC层程序模块201e、音 频再现用的MC层程序模块201f、视频再现MC程序模块201g。图5是表示媒体控制层的程序模块的结构的框图。MC层的所有程 序模块，其控制粒度及API被统一，所以在该图中表示多种MC层程序 模块201的代表性的构成。该MC层程序模块201具备数据接收部202、 数据发送部203、参数接收部204、媒体数据变换部205。数据接收部202从MM层程序模块101接收处理对象的输入数据。数据发送部203将来自ML层程序模块301的数据变换结果，作为 输出数据向MM层程序模块101发送。参数接收部204从MM层程序模块101，接收多个ML层程序模块 301的指定、该调出顺序的指定、各ML层程序模块301的动作参数的 指定等。媒体数据变换部205为了处理由数据接收部202接收的输入数据， 依次调出多种ML层程序模块301g 301i等，并向数据发送部203移交最 终的数据处理结果。这时，各ML程序模块301的处理结果被移送到下 一个被调出的ML程序模块301。例如，MC层程序模块201是音频再现 媒体控制器201c的情况下，如图7所示地依次调出音频解码处理模块库 301j、音频滤波模块库301k、音频滤波模块模块库3011。并且，参数接收部204接收的上述指定内容可以省略其一部分或 全部。省略的情况下，媒体数据变换部205c可以使用预先设定的默认 数据。图6是表示媒体模块层的程序模块(音频再现MM)的构成例的框 图。该图的音频再现MM101b是与图4所示的MM层程序模块101相同的构成，被设计成音频再现用。指令处理部102b接收、分析与音频再现有关的指令。时间管理部 103b决定音频数据输入输出控制部104b的动作定时、及每个音频帧周 期的调出时刻。接收该决定，音频数据输入输出控制部104b控制来自数据流I/0部13的编码音频数据的输入和向AV 1/0部15输出解码音频 数据。媒体数据变换控制部105b在调出时刻调出音频再现MC201c。根据该构成，音频再现MM101b从主机接收再现、停止、设定等 动作指令，使状态转移的同时，基于状态进行向音频再现媒体控制器 的指示。在再现状态中，以一定时间间隔对音频再现媒体控制器进行 帧再现指示(自律动作)。 一并向音频再现媒体控制器供给来自主机 的编码数据。图7是表示媒体控制层的程序模块(音频再现MC)的构成例的框 图。该图的音频再现MC201c的结构与图5所示的MC层程序模块201相 同，被设计成用于音频再现。在该图中，数据接收部202c从音频再现 MM101b接收编码音频数据(音频编码数据)。数据发送部203c发送音频数据(音频再现数据)。参数接收部204c从音频再现MM101b，接收多个ML层程序模块 301 (音频解码模块301j、音频滤波模块301k、音频滤波模块3011)的指定、其调出顺序的指定、它们的动作参数的指定等。媒体数据变换部205c具备音频解码处理模块调出部205cl 、音频滤 波模块调出部205c2。音频解码处理模块调出部205cl调出对媒体库层 的编码音频数据进行解码的音频解码模块301j。音频滤波模块调出部 205c2调出对来自音频解码模块301j的解码音频数据实施第一阶段的 滤波处理的音频滤波模块301k，接着调出对第一阶段的滤波处理后的 音频数据实施第二阶段的滤波处理的音频滤波模块3011。根据该构成，音频再现MC201c当从音频再现媒体模块接收l帧再 现指示时，取得编码数据，进行解码、滤波处理，输出1帧的PCM数 据并停止(l次动作)。实际的解码、滤波处理分别调出执行音频解 码库、音频滤波库。此外，音频解码库通过从媒体控制器调出函数而 同步启动，进行MP3或AAC等的1帧的解码处理。图8是表示媒体模块层的程序模块(音频录音MM)的构成例的框图。该图的音频录音MM101c的结构与图4所示的MM层程序模块101相同，被设计成用于音频录音。指令处理部102接收与音频录音有关的指令进行分析。时间管理 部103c决定音频数据输入输出控制部104c的动作定时和音频帧周期的 调出时刻。接收该决定，音频数据输入输出控制部104c控制来自AV 1/0部15的音频数据的输入和向数据流I/0部13的编码音频数据的输 出。媒体数据变换控制部105c在调出时刻调出音频录音MC201d。图9是表示媒体控制层的程序模块(音频录音MC)的构成例的框 图。该图的音频录音MC201d的结构与图5所示的MC层程序模块201相 同，被设计成用于音频录音。在该图中，数据接收部202d从音频录音 MM101c接收音频数据(音频输入数据)。数据发送部203d向音频录 音MM101c发送编码音频数据(音频编码数据)。参数接收部204d从音频录音MM101c，接收多个ML层程序模块 301 (音频滤波模块301m、音频滤波模块301m、音频编码模块3(Uo)的指定、它们的调出顺序的指定、它们的动作参数的指定等。媒体数据变换部205d具备音频滤波模块调出部205dl和音频编码 处理模块调出部205d2。音频滤波模块调出部205dl调出对音频数据实 施第一阶段的滤波处理的音频滤波模块301m，接着调出对第一阶段的 滤波处理后的音频数据实施第二阶段的滤波处理的音频滤波模块 301m。音频编码处理模块调出部205d2调出对第二阶段的滤波处理之 后的音频数据进行编码的媒体库层的音频编码模块301j。图10表示媒体控制层的程序模块(复用MC)的构成例的框图。 该图的复用MC201e的结构与图5所示的MC层程序模块201相同，被设 计成对多个数据进行复用的复用用。数据接收部202e从AV数据编码 MM等接收编码音频数据、编码视频数据等多个输入数据。数据接收 部203e向AV数据编码MM等发送复用数据。参数接收部204e从视频录 像MM等接收ML层程序模块301 (复用处理模块301p)的指定、其动作参数的指定等。媒体数据变换部205e重复调出复用处理模块301p。图ll表示媒体控制层的程序模块(复用分离MC)的构成例的框 图。该图的复用分离MC201啲结构与图5所示的MC层程序模块201相 同，被设计成分离复用数据的分离用。数据接收部202f从视频再现 MM101d等接收复用数据。数据接收部203f向视频再现MM101d等发送 被分离的各个输出数据。参数接收部204f从视频再现MM等，接收ML 层程序模块301 (分离处理模块301q)的指定、其动作参数的指定等。 媒体数据变换部205虔复调出分离处理模块301q。图12表示媒体模块层的程序模块(视频再现MM)的构成例的框 图。该图的视频再现MM101d是与图4所示的MM层程序模块101相同 的构成，被设计成视频再现用。指令处理部102d接收、分析与视频再 现有关的指令。时间管理部103d决定AV数据输入输出控制部104d的动作定时、音频帧周期的调出时刻及视频帧周期的调出时刻。接收该决 定，AV数据输入输出控制部104d控制来自数据流I/0部13的AV数据的 输入和向AVI/0部15输出解码音频数据及解码视频数据。媒体数据变 换控制部105d具备分离处理控制部105dl和AV再现数据生成控制部 105d2。分离处理控制部105dl周期性地调出分离处理MC201f。八V再 现数据生成控制部105d2分别在调出时刻调出音频再现MC201c和视 频再现MC201i。图13表示媒体控制层的程序模块(视频再现MC)的构成例的框 图。该图的视频再现MC201i的结构与图5所示的MC层程序模块201相 同，被设计成用于视频再现。在该图中，数据接收部202i从视频再现 MM101d接收编码视频数据(视频编码数据)。数据发送部203i发送视频数据(视频再现数据)。参数接收部204i从视频再现MM101d，接收多个ML层程序模块 301 (视频解码模块301r、视频滤波模块301s、视频滤波模块301t)的 指定、其调出顺序的指定、它们的动作参数的指定等。媒体数据变换部205i具备视频解码处理模块调出部205il、视频滤 波模块调出部205i2。视频解码处理模块调出部205il调出对媒体库层 的编码视频数据进行解码的视频解码模块301r。视频滤波模块调出部 205i2调出对来自视频解码模块301r的解码视频数据实施第一阶段的 滤波处理的视频滤波模块301s，接着调出对第一阶段的滤波处理后的 视频数据实施第二阶段的滤波处理的视频滤波模块301t。图14表示媒体模块层的程序模块(视频录像MM)的构成例的框 图。该图的视频录像MM101e的结构与图4所示的MM层程序模块101 相同，被设计成用于视频录像。指令处理部102e接收与视频再现有关 的指令迸行分析。时间管理部103e决定AV数据输入输出控制部104e的动作定时和音频帧周期的调出时刻及视频帧周期的调出时刻。接收 该决定，AV数据输入输出控制部104e控制来自AVI/O部15的音频数据 及视频数据的输入和向数据流I/0部13的AV数据的输出。媒体数据变 换控制部05e具备AV编码数据生成控制部105el和复用处理控制部 105e2。AV编码数据生成控制部105el在各调出时刻调出音频录音 MC201h和视频录像MC201i。复用处理控制部105e2周期性地调出复用 处理MC201j。图15表示媒体控制层的程序模块(视频录像MC)的构成例的框 图。该图的视频录像MC201j的结构与图5所示的MC层程序模块201相 同，被设计成用于视频录像。在该图中，数据接收部202j从视频录像 MM101e接收视频数据(视频输入数据)。数据发送部203j向视频录 像MM101e发送编码视频数据(视频编码数据)。参数接收部204j从视频录像MM101e，接收多个ML层程序模块 301 (视频滤波模块301u、视频滤波模块301v、视频编码模块301w)的指定、它们的调出顺序的指定、它们的动作参数的指定等。媒体数据变换部205j具备视频滤波模块调出部205jl和视频编码处理模块调出部205j2 。视频滤波模块调出部205j 1调出对视频数据实 施第一阶段的滤波处理的视频滤波模块301u，接着调出对第一阶段的滤波处理后的视频数据实施第二阶段的滤波处理的视频滤波模块 301v。视频编码处理模块调出部205j2调出对第二阶段的滤波处理之后 的视频数据进行编码的媒体库层的视频编码模块301w。接着，对图3A所示的设备控制级API IOO进行说明。对主机的应用提供作为媒体处理系统的接口。主机的应用使用该接口来控制媒体 模块。设备控制级API100的主要功能是进行来自主机的控制指令、数 据流数据的收发处理和媒体模块层的控制。该处理内容是(a)来自主 机的指令处理、数据流数据处理及其响应处理、(b)媒体模块的状 态管理或控制参数管理。在MM层程序模块101中，对(a)配合媒体 模块内部状态来分析控制指令，进行控制，关于数据流数据仅进行收 发处理。此外，对于(b)，作为媒体模块的接口规格管理对主机应 用程序提供的状态转移和控制参数。控制参数还进行变换为在参数接 收部204中使用的内部参数的变换。设备控制级API IOO从主机以媒体模块单位启动，所以由至少一个 以上的线程(thread)构成。构成媒体模块的线程数量依存于系统。 来自主机的指令作为事件通知。因此，设备控制级API IOO进行事件驱 动型的动作。事件接收部进行考虑了内部状态的事件分析和基于分析 结果的下层的控制。这里所说的"事件"，有主机指令、流水线(pipeline) 通知、内部事件。主机指令是从主机CPU经由指令流水线通知的消息。 流水线通知是在从主机CPU向数据流流水线发送了数据时通知的事 件。内部事件有媒体处理器内部的线程间通信消息，中断通知等。此外，所谓"事件分析"是指从事件种类、内部状态来判断应进 行的处理的分析。如以上说明那样，根据本发明的媒体处理方法，第一，可以提高 软件开发效率。即，对每个阶层将作用、功能、控制级、接口标准化，从而扩大软件模块的沿用性。由此，提高所开发的软件模块的再利用 性，实现广泛地以从移动体到服务器的产品为目标的整个领域的开发 效率的提高。第二，能够提高软件的设计品质。即，通过使软件设计思想明确、 通用化，从而提高软件的易理解性。此外，通过再利用标准化的软件 结构，提高设计品质。第三，对于媒体处理部分的阶层结构的定义，特别地留意媒体处 理器特有的变更因素，通过定义对这些因素的抗性较高的软件阶层， 从而能够提高软件模块的沿用性。主要的变更因素有控制粒度的变更、控制方式的变更、AV信号处理方式的变更、 一部分功能的硬件化等。根据本发明的媒体处理方法，对于这些变更因素也能够灵活地对 应，能够提高程序模块的沿用性。例如，能够容易地对应控制粒度的 变更。即，能够容易变更再现/停止那样的宏观级控制、l帧/l图像解 码那样的微观级控制的每个控制粒度。并且，对依存于成为主机的应 用的功能或系统构成的控制方式的变更也能够容易地对应。根据应用 功能或系统构成，能够将追加/变更了功能(特殊再现、AV再现中摄 像等)的情况或变更了系统控制方式(AV同步、外部输入输出控制等) 的情况下的影响局限化。进而，能够容易地对应于基于AV编码的标准或处理方式的AV信号处理方式的变更或追加。即，将基于标准版本升级或算法改善等的 信号处理方式的变更、追加的影响局限化。此外，能够容易地对应于 一部分功能的硬件化。通过低本成化、处理高效化、其它硬件的沿用 等，将与对一部分功能进行硬件化的情况对应的软件的影响局限在对 应于一部分功能的程序模块中，能够最小限度地抑制软件的变更。 以下，对应用了本发明的媒体处理方法的产品的具体例子进行说明。图16是表示应用了本发明的媒体处理方法的家电产品的具体例 子的图。如该图所示，本发明的媒体处理方法或媒体处理程序应用于 小型音频播放机41、便携电话42、音响组合43、数字电视44、数字视 频录像机45、车载导航系统46、数字电影47等。对于这些各种家电产 品，图3A所示的MM层程序模块101、 MC程序模块201、媒体库301a 等的各程序模块能够灵活对应。这些程序模块在各种家电产品之间具 有较高的沿用性。图17是表示应用了本发明的媒体处理方法的音频再现装置4a的构 成的框图。该图的音频再现装置4a具备数据存储部401a、数据读取部 402a、数据输出部403a、指示输入部404a、设备控制部405a及音频再 现部406a。若比较该图与图2，数据存储部401a对应于光盘22、硬盘23 或存储卡24。数据读取部402a对应于数据流I/O部13。数据输出部403a 对应于AVI/0部15。设备控制部405a对应于CPU11。音频再现部406a 的硬件构成与媒体处理器12对应。音频再现部406a的软件构成与图6 的音频再现MM101b、图7的音频再现MC201c及媒体库301j 3011对应。数据存储部401a存储有编码音频数据。数据读取部402a从数据存储部401a读取编码音频数据，供给音频 再现部406a。数据输出部403a向外部装置输出由音频再现部406a生成的解码音 频数据。指示输入部404a接收来自用户的指示。设备控制部405a基于由指示输入部404a接收的指示，对音频再现 部406a指示音频再现的开始、结束或暂停。音频再现部406a通过如下的(a) (c)，进行将编码音频数据变 换成解码音频数据的媒体处理。(a)音频再现部406a执行第一阶层的 第一程序模块(这里，图6的音频再现MM101b)。由此，音频再现部 406a控制通过数据读取部402a读取出的编码音频数据的输入和向数据输出部403a的解码音频数据的输出，决定第二程序模块(这里是图7 的音频再现MC201c)的调出时刻，在该时刻调出第二阶层的第二程 序模块。(b)音频再现部406a通过执行调出的第二程序模块，从而调 出第三阶层的第三程序模块(这里，媒体库301h3011等)。(c)音 频再现部406a执行调出的第三程序模块，从而进行将所输入的编码音频数据变换成解码音频数据的媒体处理。这样，通过音频再现部406a执行图3A所示的3阶层的程序模块，为了音频再现，进行将编码音频数据解码的媒体处理。图18是表示应用了本发明的媒体处理方法的音频录音装置4b的 构成的框图。该图的音频录音装置4b具备数据存储部401b、数据写入 部402b、数据输入部403b、指示输入部404b、设备控制部405b及音频 录音部406b。若比较该图与图2，数据存储部401b对应于光盘22、硬盘 23或存储卡24。数据写入部402b对应于数据流I/O部13。数据输入部 403b对应于AVI/0部15。设备控制部405b对应于CPU 11。音频录音部 406b的硬件构成与媒体处理器12对应。音频录音部406b的软件构成与 图8的音频录音MM101c、图9的音频录音MC201d及媒体库301m 3(Ho 对应。数据存储部401b用于存储编码音频数据。数据写入部402b将从音频录音部406b输出的编码音频数据，写入 数据存储部401b。数据输入部403b从外部装置取得音频数据，向音频录音部406b输出。指示输入部404b接收来自用户的指示。设备控制部405b基于由指示输入部404b接收的指示，对音频录音 部406b指示音频录音的开始、结束或暂停。音频录音部406b通过如下的(a) ~ (c)，进行将音频数据变换成 编码音频数据的媒体处理。(a)音频录音部406b执行第一阶层的第一程序模块(这里，图8的音频录音MM101c)。由此，音频录音部406b 控制来自数据输入部403b的音频数据的输入和向数据写入部402b的 编码音频数据的输出，决定第二程序模块(这里是图9的音频录音 MC201d)的调出时刻，调出第二阶层的第二程序模块。(b)音频录 音部406b通过执行调出的第二程序模块，调出第三阶层的第三程序模 块(这里，媒体库301j 3011等)。(c)音频录音部406b执行调出的 第三程序模块，从而进行将所输入的音频数据变换成编码音频数据的 媒体处理。这样，通过音频录音部406b执行图3A所示的3阶层的程序模块，为了音频录音，进行将音频数据编码的媒体处理。图19是表示应用了本发明的媒体处理方法的视频再现装置4c的构 成的框图。该图的视频再现装置4c具备数据存储部401c、数据读取部 402c、数据输出部403c、指示输入部404c、设备控制部405c及视频再 现部406c。若比较该图与图2，数据存储部401c对应于光盘22、硬盘23 或存储卡24。数据读取部402c对应于数据流I/O部13。数据输出部403c 对应于AVI/0部15。设备控制部405c对应于CPU11。视频再现部406c 的硬件构成与媒体处理器12对应。视频再现部406c的软件构成与图12 的视频再现MM101d、图13的视频再现MC201i及媒体库301r 301t对 应。数据存储部401c存储有编码视频数据。数据读取部402c从数据存储部401c读取编码视频数据，供给视频 再现部406c。数据输出部403c向外部装置输出由视频再现部406c生成的解码视 频数据。指示输入部404c接收来自用户的指示。设备控制部405c基于由指示输入部404c接收的指示，对视频再现 部406c指示视频再现的开始、结束或暂停。视频再现部406c通过如下的(a) ~ (c)，进行将编码视频数据变 换成解码视频数据的媒体处理。(a)视频再现部406c执行第一阶层的 第一程序模块(这里，图12的视频再现MM101d)。由此，视频再现 部406c控制通过数据读取部402c读取出的编码视频数据的输入和向数 据输出部403c的解码视频数据的输出，决定第二程序模块(这里是图 13的视频再现MC201i)的调出时刻，在该时刻调出第二阶层的第二程 序模块。(b)视频再现部406c通过执行调出的第二程序模块，从而调 出第三阶层的第三程序模块(这里，媒体库301r 301t等)。(c)视 频再现部406c执行调出的第三程序模块，从而进行将所输入的编码视 频数据变换成解码视频数据的媒体处理。这样，通过视频再现部406c执行图3A所示的3阶层的程序模块，为了视频再现，进行将编码视频数据解码的媒体处理。图20是表示应用了本发明的媒体处理方法的视频录像装置4d的 构成的框图。该图的视频录像装置4d具备数据存储部401d、数据写入 部402d、数据输入部403d、指示输入部404d、设备控制部405d及视频 录像部406d。若比较该图与图2，数据存储部401d对应于光盘22、硬盘 23或存储卡24。数据写入部402d对应于数据流I/O部13。数据输入部 403d对应于AVI/0部15。设备控制部405d对应于CPU11。视频录像部 406d的硬件构成与媒体处理器12对应。视频录像部406d的软件构成与 图14的视频录像MM101e、图15的视频录像MC201j及媒体库 301u 301w对应。数据存储部401d用于存储编码视频数据。数据写入部402d将从视频录像部406d输出的编码视频数据，写入 数据存储部401d。数据输入部403d从外部装置取得视频数据，向视频录像部406d输出。指示输入部404d接收来自用户的指示。设备控制部405d基于由指示输入部404d接收的指示对视频录像 部406d指示视频录像的开始、结束或暂停。视频录像部406d通过如下的(a) (c)，进行将视频数据变换成 编码视频数据的媒体处理。(a)视频录像部406d执行第一阶层的第一 程序模块(哮里，图14的视频录像MM101e)。由此，视频录像部406d 控制来自数据输入部403d的视频数据的输入和向数据写入部40d的编 码视频数据的输出，决定第二程序模块(这里是图15的视频录像 MC201j)的调出时刻，调出第二阶层的第二程序模块。(b)视频录 像部406d通过执行调出的第二程序模块，调出第三阶层的第三程序模 块(这里，媒体库301u 301w等)。(c)视频录像部406d执行调出的 第三程序模块，从而进行将所输入的视频数据变换成编码视频数据的 媒体处理。这样，通过视频录像部406d执行图3A所示的3阶层的程序模块， 为了视频录像，进行将视频数据编码的媒体处理。图21是表示应用了本发明的媒体处理方法的视频再现装置4e的构 成的框图。该图的视频再现装置4e具备数据存储部401e、数据读取部 402e、数据输出部403e、指示输入部404e、设备控制部405e、数据统 合部406e及视频再现部407e、 408e，同时再现不同的两种编码视频数 据。该图与图19比较，不同点在于，取代视频再现部406c而具备视频 再现部407e、 408e这一点，新具备数据统合部406e这一点。除此以外 的对应的构成要素相同，所以省略说明，以不同点为中心进行说明。视频再现部407e及408e分别对不同的2种编码视频数据(称为第一 及第二编码视频数据)进行解码，输出2种解码视频数据(称为第一 及第二解码视频数据)。视频再现部407e和408e在一个媒体处理器上 实现。视频再现部407e及408e的软件构成分别与上述视频再现部406c 相同。数据统合部406e对第一及第二解码视频数据进行统合，以便显示在1个画面上。例如，数据统合部406e将从第一及第二解码视频数据得 到的2个视频的尺寸縮小为相同的大小，将缩小的视频在左右排列2 个。或者，将l个縮小为比另一个大地进行排列。并且，数据统合部 406e可以通过图2的媒体处理器实现，也可以做成与媒体处理器不同的 单元。并且，数据读取部402e从数据存储部401e读取第一及第二编码视 频数据，供给视频再现部406e。这时，也可以将第二编码视频数据依 次变更为不同的编码视频数据。这样，视频再现部407e、 408e通过分别执行图3A所示的3阶层的 程序模块，从而为了视频再现，进行将编码视频数据解码的媒体处理。并且，可以同时执行音频再现、音频录音、视频再现及视频录像 的录像再现装置也能够通过与上述的图17 21相同的构成实现。此外，取代上述数据存储部可以具备接收数字广播的调谐器。 工业可利用性本发明适合于进行媒体处理的各种装置，例如，适合于动画发行 的网页服务器、接收它的网络终端、可记录再现动画的数字摄像机、 带摄像机的便携电话、DVD录像/再现机、PDA、个人计算机等。
权利要求
1.一种媒体处理方法，通过使处理器执行多个程序模块来进行媒体处理，其特征在于，包括第一步骤，通过执行第一阶层的第一程序模块，来控制媒体数据的输入输出，决定一个以上的调出时刻，并在该时刻调出第一阶层之下的第二阶层的一个以上的第二程序模块；第二步骤，通过执行第二阶层的第二程序模块，来调出第二阶层之下的第三阶层的一个以上的第三程序模块；及第三步骤，通过执行第三阶层的第三程序模块，来使处理器对上述媒体数据执行作为媒体处理构成要素的数据变换。
2. 如权利要求l所述的媒体处理方法，其特征在于， 上述第一程序模块包括第一程序段到第四程序段， 上述第一步骤包括指令处理步骤，通过执行第一程序段，分析从第一阶层之上的阶 层的主机程序来的指令；定时决定步骤，通过执行第二程序段，根据所分析的指令来决定 第三程序段的动作定时和一个以上的上述调出时刻；输入输出控制步骤，通过执行第三程序段，根据上述动作定时来 控制媒体数据的输入输出；及第一调出步骤，通过执行第四程序段，在一个以上的调出时刻调 出第二程序模块。
3. 如权利要求2所述的媒体处理方法，其特征在于， 第一程序段通过第一应用程序接口来接收指示媒体处理的开始、停止或暂停的上述指令。
4. 如权利要求l所述的媒体处理方法，其特征在于， 上述第二程序模块包括第五程序段到第七程序段，上述第二步骤包括-通过执行第五程序段，从第一程序模块接收处理对象的数据的步骤；第二调出步骤，通过执行第六程序段，对所接收的处理对象数据 依次调出一个以上的第三程序模块；及发送步骤，通过执行第七程序段，从调出的第三程序模块向第一 程序模块发送数据变换结果。
5. 如权利要求4所述的媒体处理方法，其特征在于，在第二步骤中，通过执行第二程序模块，对于输入数据依次调出 一个以上的第三程序模块，将其结果返回到第一程序模块，在第一步骤中，通过执行第一程序模块，控制从第二程序模块返 回的数据的输出。
6. 如权利要求5所述的媒体处理方法，其特征在于， 在上述第一调出步骤中，指定上述一个以上的第三程序模块。
7. 如权利要求5所述的媒体处理方法，其特征在于， 在上述第一调出步骤中，指定上述一个以上的第三程序模块的动作参数。
8. 如权利要求5所述的媒体处理方法，其特征在于， 在上述第一调出步骤中，指定上述一个以上的第三程序模块的执行顺序。
9. 如权利要求l所述的媒体处理方法，其特征在于， 上述第一程序模块包括第一程序段到第四程序段， 上述第一步骤包括指令处理步骤，通过执行第一程序段，分析从第一阶层之上的阶 层的主机程序来的指令；定时决定步骤，通过执行第二程序段，在所分析的指令指示音频 再现时，决定第三程序段的动作定时和一个以上的上述调出时刻；输入输出控制步骤，通过执行第三程序段，根据上述动作定时来 控制编码音频数据的输入和解码音频数据的输出；及第一调出步骤，通过执行第四程序段，在一个以上的调出时刻调 出第二程序模块。
10. 如权利要求l所述的媒体处理方法，其特征在于， 上述第一程序模块包括第一程序段到第四程序段， 上述第一步骤包括指令处理步骤，通过执行第一程序段，分析从第一阶层之上的阶 层的主机程序来的指令；定时决定步骤，通过执行第二程序段，在所分析的指令指示音频 录音时，决定第三程序段的动作定时和一个以上的上述调出时刻；输入输出控制步骤，通过执行第三程序段，根据上述动作定时来 控制音频数据的输入和编码音频数据的输出；及第一调出步骤，通过执行第四程序段，在一个以上的调出时刻调 出第二程序模块。
11. 如权利要求2所述的媒体处理方法，其特征在于， 上述第二程序模块包括第五程序段到第七程序段， 上述第二步骤包括-通过执行第五程序段，从第一程序模块接收多个种类的数据的步骤；第二调出步骤，通过执行第六程序段，对所接收的多个种类的数 据调出用于复用的第三程序模块；及发送步骧，通过执行第七程序段，从调出的第三程序模块向第一 程序模块发送复用数据。
12. 如权利要求2所述的媒体处理方法，其特征在于，上述第二程序模块包括第五程序段到第七程序段， 上述第二步骤包括通过执行第五程序段，从第一程序模块接收复用数据的步骤； 第二调出步骤，通过执行第六程序段，对所接收的复用数据调出分离用的第三程序模块；及发送步骤，通过执行第七程序段，从调出的第三程序模块向第一程序模块发送多个种类的数据。
13. 如权利要求l所述的媒体处理方法，其特征在于， 上述第一程序模块包括第一程序段到第四程序段， 上述第一步骤包括指令处理步骤，通过执行第一程序段，分析从第一阶层之上的阶 层的主机程序来的指令；定时决定步骤，通过执行第二程序段，在所分析的指令指示视频 再现时，决定第三程序段的动作定时和一个以上的上述调出时刻；输入输出控制步骤，通过执行第三程序段，根据上述动作定时来 控制复用数据的输入和音频数据及视频数据的输出；及第一调出步骤，通过执行第四程序段，基于一个以上的调出时刻， 调出复用数据的分离用的第二程序模块、视频再现用的第二程序模块 及音频再现用的第二程序模块。
14. 如权利要求l所述的媒体处理方法，其特征在于， 上述第一程序模块包括第一程序段到第四程序段，上述第一步骤包括指令处理步骤，通过执行第一程序段，分析从第一阶层之上的阶 层的主机程序来的指令；定时决定步骤，通过执行第二程序段，在所分析的指令指示视频 录像时，决定第三程序段的动作定时和一个以上的上述调出时刻；输入输出控制步骤，通过执行第三程序段，根据上述动作定时来 控制音频数据及视频数据的输入和复用数据的输出；及第一调出步骤，通过执行第四程序段，根据上述一个以上的调出时刻，调出视频录像用的第二程序模块、音频再现用的第二程序模块 及复用用的第二程序模块。
15. —种计算机可读取的程序，为了进行媒体处理而由处理器执行，其特征在于，包括第一阶层的第一程序模块，控制媒体数据的输入输出，决定一个 以上的调出时刻，并在该调出时刻调出属于第一阶层之下的第二阶层 的一个以上的第二程序模块；第二阶层的第二程序模块，调出第二阶层之下的第三阶层的一个 以上的第三程序模块；及第三阶层的一个以上的第三程序模块，使处理器对上述媒体数据 执行作为媒体处理构成要素的数据变换。
16. 如权利要求15所述的计算机可读取的程序，其特征在于，上述第一程序模块包括第一程序段到第四程序段，第一程序段分析从第一阶层之上的阶层的主机程序来的指令；第二程序段决定第三程序段及第四程序段的动作定时；第三程序段根据上述动作定时来控制媒体数据的输入输出；及第四程序段根据上述动作定时调出第二程序模块。
17，如权利要求16所述的计算机可读取的程序，其特征在于，第一程序段通过第一应用程序接口来接收指示媒体处理的开始、停止或暂停的上述指令。
18.如权利要求17所述的计算机可读取的程序，其特征在于， 上述第二程序模块包括第五程序段到第七程序段， 第五程序段从第一程序模块接收处理对象的数据的步骤； 第六程序段，对所接收的处理对象数据依次调出一个以上的第三程序模块；及第七程序段，将从调出的第三程序模块来的数据变换结果向第一 程序模块发送。
19. 一种音频再现装置，其特征在于，具备 进行媒体处理的媒体处理器， 存储编码音频数据的存储部， 从上述存储部读取编码音频数据的读取部， 从用户接收指示的接收部，基于由上述接收部接收的指示对上述媒体处理器指示音频再现 的开始的控制部，及将由上述媒体处理器生成的解码音频数据向外部输出的输出部； 上述媒体处理器执行如下的媒体处理a) 通过执行第一阶层的第一程序模块，来控制由上述读取部读取 出的编码音频数据的输入和向上述输出部的解码音频数据的输出，决 定一个以上的调出时刻，并在该时刻调出第一阶层之下的第二阶层的 一个以上的第二程序模块；b) 通过执行调出的第二程序模块，调出第二阶层之下的第三阶 层的一个以上的第三程序模块；及c) 通过执行调出的第三程序模块，将所输入的编码音频数据变换 成解码音频数据。
20. —种音频录音装置，其特征在于，具备 进行媒体处理的媒体处理器， 存储编码音频数据的存储部， 从外部取得音频数据的取得部， 从用户接收指示的接收部，基于由上述接收部接收的指示对上述媒体处理器指示音频录音 的开始的控剁部，及将由媒体处理器生成的编码音频数据向上述存储部写入的写入部；上述媒体处理器执行如下的媒体处理a) 通过执行第一阶层的第一程序模块，来控制由上述取得部取得 的音频数据的输入和向上述写入部的编码音频数据的输出，决定一个 以上的调出时刻，并在该时刻调出第一阶层之下的第二阶层的一个以 上的第二程序模块；b) 通过执行调出的第二程序模块，调出第二阶层之下的第三阶 层的一个以上的第三程序模块；及c) 通过执行调出的第三程序模块，将所输入的音频数据变换成编 码音频数据。
21. —种视频再现装置，其特征在于，具备 进行媒体处理的媒体处理器， 存储编码视频数据的存储部， 从上述存储部读取编码视频数据的读取部， 从用户接收指示的接收部，基于由上述接收部接收的指示对上述媒体处理器指示视频再现 的开始的控制部，及将由上述媒体处理器生成的解码视频数据向外部输出的输出部； 上述媒体处理器执行如下的媒体处理a) 通过执行第一阶层的第一程序模块，来控制由上述读取部读取 出的编码视频数据的输入和向上述输出部的解码视频数据的输出，决 定一个以上的调出时刻，并在该时刻调出第一阶层之下的第二阶层的 一个以上的第二程序模块；b) 通过执行调出的第二程序模块，调出第二阶层之下的第三阶 层的一个以上的第三程序模块；及c) 通过执行调出的第三程序模块，将所输入的编码视频数据变换 成解码视频数据。
22. —种视频录像装置，其特征在于，具备-进行媒体处理的媒体处理器，存储编码视频数据的存储部，从外部取得视频数据的取得部，从用户接收指示的接收部，基于由上述接收部接收的指示对上述媒体处理器指示视频录像 的开始的控制部，及将由媒伴处理器生成的编码视频数据向上述存储部写入的写入部；上述媒体处理器执行如下的媒体处理a) 通过执行第一阶层的第一程序模块，来控制由上述取得部取得 的视频数据的输入和向上述写入部的编码视频数据的输出，决定一个 以上的调出时刻，并在该时刻调出第一阶层之下的第二阶层的一个以 上的第二程序模块；b) 通过执行调出的第二程序模块，调出第二阶层之下的第三阶 层的一个以上的第三程序模块；及c) 通过执行调出的第三程序模块，将所输入的视频数据变换成编 码视频数据。
23. —种视频再现装置，其特征在于，具备进行媒体处理的媒体处理器，存储第一及第二编码视频数据的存储部，从上述存储部读取第一及第二编码视频数据的读取部，从用户接收指示的接收部，基于由上述接收部接收的指示对上述媒体处理器指示开始第一 及第二编码视频数据的再现的控制部，及将由上述媒体处理器生成的第一及第二解码视频数据向外部输 出的输出部；上述媒体处理器执行如下的媒体处理a)通过执行第一阶层的第一程序模块，来控制由上述读取部读取出的第一编码视频数据的输入和向上述输出部的第一解码视频数据 的输出，决定一个以上的调出时刻，并在该时刻调出第一阶层之下的第二阶层的一个以上的第二程序模块；b) 通过执行调出的第二程序模块，调出第二阶层之下的第三阶 层的一个以上的第三程序模块；c) 通过执行调出的第三程序模块，将上述第一编码视频数据变换 成第一解码视频数据；d) 通过执行第一阶层的第四程序模块，来控制由上述读取部读 取出的第二编码视频数据的输入和向上述输出部的第二解码视频数 据的输出，决定一个以上的调出时刻，并在该时刻调出第一阶层之下 的第二阶层的一个以上的第五程序模块；e) 通过执行调出的第五程序模块，调出第二阶层之下的第三阶层 的一个以上的第六程序模块；f) 通过执行调出的第六程序模块，将上述第二编码视频数据变换 成第二解码视频数据。
全文摘要
本发明的媒体处理方法，通过使处理器执行多个程序模块来进行媒体处理，具有第一步骤，通过执行第一阶层的第一程序模块，来控制媒体数据的输入输出，决定一个以上的调出时刻，并在该时刻调出第二阶层的一个以上的第二程序模块；第二步骤，通过执行第二阶层的第二程序模块，来调出第二阶层之下的第三阶层的一个以上的第三程序模块；及第三步骤，通过执行第三阶层的第三程序模块，来使处理器对上述媒体数据执行作为媒体处理构成要素的数据变换。
文档编号G06F9/44GK101248417SQ200680030758
公开日2008年8月20日 申请日期2006年8月10日 优先权日2005年8月24日
发明者古贺义宏, 小谷谦介, 诸桥隆治, 隅田清彦 申请人:松下电器产业株式会社