专利名称：影像声音处理用集成电路的制作方法
技术领域：
本发明涉及影像声音处理用集成电路，特别涉及作为在各种应用中使 用的系统LSI实现的影像声音处理用集成电路。
背景技术：
随着近年来的数字技术、动态图像及声音的压縮扩展技术的迅速发展， 数字电视机(DTV)、 DVD录制机等数字视频记录机(DVR)、便携电话、 数字照相机等影像声音设备越来越寻求高功能化、小型化。为此，在这样 的影像声音设备的开发现场，开发期间的縮短化成为较大的课题。
以往，为了支持影像声音设备的开发，有将有关影像声音功能的处理 所需的多个功能块作为1个LSI实现的技术(例如参照非专利文献1)。
该以往的LSI具备媒体处理所需的DSP (Digital Signal Processor,数字 信号处理器)核心、各种视频I/0、 RGB、 I/O、 MPEG—2传输流I/^、 LAN 1/F等。设备的开发者通过使用这样的LSI,不需要分别开发影像^音处理
所需的各功能块中的硬件电路。
非专利文献l: "TMS320DM642 Technical Overview",亍年fW一y、乂 "社，p.4等
但是，上述以往的LSI由于不具备与利用声音等的电话的I/F、及电力 控制等用来实现低功耗的功能等，所以有不适合便携电话及数字照相机等 移动类用途的问题。因此，即使利用上述以往的LSI实现例如DTV等服务 器类设备，也不能将因此得到的软件等设计资源转用到便携电话等移动类 设备中。
进而，在利用上述以往的LSI开发影像声音设备的情况下，对于用来 暂时保存影像及声音数据的存储器和各处理块之间的接口，开发者必须独
12立地设计。例如，在设计能够由多个处理块共用的共用存储器的情况下，
必须确保各处理块与存储器之间的传送频带，并且考虑等待时间(latency) 的保证。为此，实际情况是不能削减高功能的影像声音设备的幵发工作量。
发明内容
所以，本发明是鉴于这样的以往的问题而做出的，目的是提供一种影 像声音处理用集成电路，该影像声音处理用集成电路不仅能够用于DTV及 DVR等服务器类影像声音设备，还能够作为便携电话及数字照相机等移动 类影像声音设备的系统LSI使用，并且在这些影像声音设备的开发中得到 的设计资源也能够转用到其他种类的影像声音设备中。
进而，本发明的目的是提供一种能够容易地确保保存影像及声音数据 的存储器与各处理块之间的接口的传送频带及等待时间保证的影像声音处 理用集成电路。
为了达到上述目的，有关本发明的影像声音处理用集成电路是处理影 像及声音信号的影像声音处理用集成电路，其特征在于，具备微型计算 机块，具有CPU;流输入输出块，在上述微型计算机块的控制下，与外部 装置进行影像及声音流的输入输出；媒体处理块，在上述微型计算机块的 控制下，执行媒体处理，该媒体处理包括输入到上述流输入输出块中的、 或者从上述流输入输出块输出的影像及声音流的压縮及扩展中的至少1 个；AV输入输出块，在上述微型计算机块的控制下，将由上述媒体处理块 进行媒体处理后的影像及声音流变换为影像及声音信号，并输出给外部设 备，或者从外部设备取得影像及声音信号，并变换为由上述媒体处理块进 行媒体处理的影像及声音流；存储器接口块，在上述微型计算机块的控制 下，控制上述微型计算机块、上述流输入输出块、上述媒体处理块及上述 AV输入输出块与存储器之间的数据传送。
由此，例如通过使上述微型计算机块、上述流输入输出块、上述媒体 处理块、以及上述AV输入输出块利用专用的数据总线与上述存储器接口 块连接，在上述微型计算机块、上述流输入输出块、上述媒体处理块、以及上述AV输入输出块之间，经由上述存储器进行上述影像及声音流的收 发，由此，4种处理块不是分别相互地连接，而是经由共用的存储器连接。 因而，对各处理块的控制编程都只要设计为与存储器之间输入输出数据就 可以，与其他处理块中的处理分离。由此，提高了应用程序相对于各处理 块的独立性，能够实现设计资源的转用。
这里，上述存储器接口块也可以中继数据传送，以便并行地进行上述 微型计算机块、上述流输入输出块、上述媒体处理块、以及上述AV输入 输出块与上述存储器之间的数据传送；上述微型计算机块、上述流输入输 出块、上述媒体处理块、以及上述AV输入输出块也可以在将上述影像及 声音流保存到上述存储器中之后，将己保存的消息通知给其他块。由此， 存储器成为经由存储器接口块被各处理块共有，通过使数据传送、协调的 控制及管理处理集中于存储器接口块，存储器与各处理块的接口的传送频 带的确保及等待事件保证变得容易。
此外，也可以是，上述流输入输出块例如具有与上述外部装置进行影 像及声音流的收发的接口部、进行所收发的影像及声音流的加密或解密的 加密处理部、以及控制上述外部装置与上述存储器的数据传送的直接内存 存取控制部；上述媒体处理块例如具有并行地执行多个信号处理指令的指 令并行处理器、执行运算处理的加速器、以及控制与上述存储器的数据传 送的直接内存存取控制部；上述AV输入输出块例如具有进行图像数据的 图形处理的图形引擎、以及变换影像信号的格式的格式变换部；上述存储 器接口块例如具有与上述微型计算机块、上述流输入输出块、上述媒体处 理块、以及上述AV输入输出块连接的多个端口、以及调整上述多个端口 各自的数据传送定时的存储器调度器。
进而，作为移动用的应用，上述微型计算机块优选地还具有接通/断开 向上述CPU时钟的供给的时钟控制部以及接通/断开电源的供给的电源控 制部中的至少1个。
此外，作为服务器用的应用，上述媒体处理块优选地还具备并行地执 行对多个数据的运算的数据并行处理器。此外，也可以是，上述影像声音处理用集成电路还具备将上述流输入 输出块和上述媒体处理块连接的信号线；上述媒体处理块执行影像及声音 流的媒体处理，该影像及声音流经由上述信号线从上述流输入输出块输入， 或者经由上述信号线输出给上述流输入输出块。这是因为，在从流输入输 出块发送来的流数据是低位速率的情况下，高速动作的媒体处理块直接接 收流数据并执行媒体处理，这样，由于不经由存储器的那部分，而安全性 提高，配合功耗的削减，可以提高处理效率。
此外，作为具体的应用，上述影像声音处理用集成电路被用作不同的 多个设备用的系统LSI;在上述设备中包括数字电视机、数字视频录制机、 摄像机及便携电话。
并且，在设上述设备中的1个为第1设备、设另1个为第2设备的情 况下，也可以使CPU的指令组具有互换性、或使媒体处理器的指令组具有
互换性、或使CPU或媒体处理器的核心具有软宏的共用性、或具有硬宏的
公用性、或具有存储器映象的共用性。
此外，也可以是，上述AV输入输出块还通过对从由上述媒体处理块
进行媒休处理后的影像流变换来的、或从外部设备取得的影像信号进行析 像度变换处理，生成记录用影像信号，并且生成区域特征信息，该区域特 征信息表示由上述记录用影像信号表示的影像区域的区域内总和以及区域
间差分的至少一个；上述媒体处理块还参照上述区域特征信息，将上述记 录用影像信号变换为记录用影像流。
此外，优选为，上述影像声音处理用集成电路还具备连接上述媒体处 理块和上述AV输入输出块的信号线;在上述媒体处理块及上述AV输入输 出块之间经由上述信号线进行上述区域特征信息的收发。
根据该结构，上述媒体处理块能够参照在上述AV输入输出块中获知 的区域特征信息，决定记录图像的压縮中的I图片、或动态地调整压縮率。 由此，上述影像声音处理用集成电路不会花费用来得到区域特征信息的重 复成本，能够在维持高速度性能的同时实现画质与数据量的良好协调。
此外，也可以是，上述媒体处理块与一个影像声音多路复用流相关联，
15一边时分割地执行流的多路复用或多路分离处理、图像数据的压縮或扩展 处理、声音数据的压縮或扩展处理， 一边禁止上述流的多路复用或多路分 离处理在规定的时间内多次启动。
此外，优选为，上述媒体处理块具有时分割地演绎多个逻辑处理器的 假想多处理器；上述流的多路复用或多路分离处理、上述图像数据的压縮 或扩展处理、上述声音数据的压縮或扩展处理分别由上述假想多处理器所 演绎的不同的逻辑处理器执行；执行上述流的多路复用或多路分离处理的 逻辑处理器在处理完上述流的规定单位后，进行休眠直到规定的定时器 (Timer)终止。
根据该结构，由于没有广播类、以及可过剩地输入流的存储类的区别， 自律地抑制了流处理的过剩执行，所以不仅将图像、声音处理的破绽防止 于未然，而且在流输入输出块中也不需要对向媒体处理块发送的流量进行 上限管理。作为它们的总体，应用程序相对于各处理块的独立性、简明性 提高，进而对设计资源的转用促进做出贡献。
另夕卜，本发明不仅可以作为这样的系统LSI实现，而且可以作为使用 了这样的系统LSI的设备的设计开发方法来实现。即，也可以作为如下的 设计开发方法来实现在设数字电视机、数字视频录制机、摄像机及便携 电话等设备中的1个为第1设备、设另1个为第2设备的情况下，由上述 第1设备用的影像声音处理用集成电路和上述第2设备用的影像声音处理 用集成电路共通地进行的处理在由上述第1设备用的影像声音处理用集 成电路的微型计算机块进行的情况下，由上述第2设备用的影像声音处理 用集成电路的微型计算机块进行上述处理；在由上述第1设备用的影像声 音处理用集成电路的流输入输出块进行的情况下，由上述第2设备用的影 像声音处理用集成电路的流输入输出块进行上述处理；在由上述第1设备 用的影像声音处理用集成电路的媒体处理块进行的情况下，由上述第2设 备用的影像声音处理用集成电路的媒体处理块进行上述处理；在由上述第 1设备用的影像声音处理用集成电路的AV输入输出块进行的情况下，由上 述第2设备用的影像声音处理用集成电路的AV输入输出块进行上述处理。发明效果
根据本发明，不仅对DTV及DVR等服务器类影像声音设备、对于便 携电话及摄像机等移动类影像声音设备也能够使用共用的系统LSI实现。 并且，在这些影像声音设备间能够实现设计资源的转用。
此外，保存影像及声音数据的存储器与各处理块之间的接口的传送频 带的确保及等待时间保证变得容易，能够在较短的期间内开发高功能的影 像声音设备。
这样，根据本发明，縮短了影像声音设备的开发期间，在对于影像声 音设备越来越要求高功能的影像声音处理的当今，实用价值很高。
图1是表示有关本发明的影像声音处理用集成电路的基本结构的功能 框图。
图2是影像声音处理用集成电路的构造图。
图3是表示适合于移动类应用的影像声音处理用集成电路的详细结构 的功能框图。
图4是表示影像声音处理用集成电路的动作步骤的流程图。 图5是表示图4所示的动作的数据流的图。
图6(a) 图6 (d)是表示图4所示的动作中的各处理块中的处理状 况的图。
图7是表示适合于服务器类应用的影像声音处理用集成电路的详细结 构的功能框图。
图8是表示影像声音处理用集成电路的特征的说明图。
图9是表示提高了影像处理的性能的影像声音处理用集成电路的详细 结构的功能框图。
图IO是表示影像声音处理用集成电路的动作步骤的流程图。
图11是表示图IO所示的动作的数据流的图。
图12 (a)、图12 (b)是表示图IO所示的动作的各处理块中的处理内容的图。
图13是表示适合于流处理的影像声音处理用集成电路的详细结构的功 能框图。
图14是表示有关流处理的假想多路处理器的动作步骤的流程图。 图15 (a)、图15 (b)是表示图14所示的动作中的假想处理器的分配 定时的图。
图16 (a) 图16 (c)是表示处理2个流时的假想处理器的分配定时 的图。
符号说明
1、 100、 100a、 200、 200a 影像声音la半导体基板
lb电路层
lc下位布线层
ld上位布线层
2、 10、 210微型计算机块
3、 20、 220媒体处理块
4、 30、 230AVIO块
5、 40、 240存储器IF块
6、 50、 250存储器IF块
7、 60控制总线
8a 8d、 71 75数据总线
9外部存储器
11DMA部
12CPU部
13微型计算机周边部
14时钟控制部
15电源控制部21指令并行处理器
21a假想多处理器
22定序器部
23 26加速器
27DMAC部
28流处理抑制定时器
32加密引擎部
33安全管理部
34DMAC部
35流处理部
36设备IF部
41图形引擎部
42视频输入格式变换部
43摄像处理引擎部
44音频IF部
45视频输出格式变换部
51存储器调度器
51a 51c子系统IF
52缓存部
53内置RAM
101快闪存储器
102其他CPU
102 104外部设备103存储卡
104PDA
105高速IF
106SDRAM
107LCD数字照相机
201外部总处理器
202TV调谐器
203以太网控制器
205USB
206硬盘
207光盘
208差动IF
210、 211外部存储器
212大型LCD
221数据并行处理器
231流处理部
232设备IF部
具体实施例方式
下面利用附图对本发明的实施方式详细地说明。
图1是表示有关本发明的影像声音处理用集成电路1的基本结构的功 能框图。有关本发明的影像声音处理用集成电路1如后述那样，能够通过 改变若干的电路结构而实现适合于便携电话及数字照相机等移动类影像声
音设备的电路结构，或者适合于DTV及DVR等服务器类影像声音设备， 但在哪个应用中都具有通用的架构，在本图中表示其通用的架构。
该影像声音处理用集成电路1是进行有关影像声音流的各种信号处理 的系统LSI，具有微型计算机块2、媒体处理块3、流I/O块4、 AVIO (Audio Visual Input Output,音频视频输入输出)块5及存储器IF块6。
微型计算机块2是控制影像声音处理用集成电路1整体的处理器，是 经由控制总线7控制各处理块3 6、或经由数据总线8b及存储器IF块6 访问外部存储器9的电路块。这里的处理是不依赖于影像声音的输出循环 (帧速率等)的非实时的通用(控制关联的)处理。流I/O块4是在微型计算机块2的控制下从存储媒体及网络等周边设. 备读入压縮图像声音流等流数据、并经由数据总线8a及存储器IF块6保 存在外部存储器9中、或进行其反方向的流传送的电路块。这里的处理是 不依赖于影像声音的输出循环(帧速率等)的非实时的IO处理。
媒体处理块3是在微型计算机块2的控制下经由数据总线8c及存储器 IF块6从外部存储器9读出压缩图像声音流等图像声音数据、进行压縮或 扩展等媒体处理后、再次经由数据总线8c及存储器IF块6将处理后的图 像数据及声音数据保存到外部存储器9中的电路块。这里的处理是依赖于 影像声音的输出循环(帧速率等)的实时的通用(媒体相关的)处理。
AVIO块5是在微型计算机块2的控制下经由数据总线8d及存储器IF 块6从外部存储器9读出图像数据及声音数据等、实施各种图形处理后、 作为图像信号及声音信号输出给外部的显示装置及扬声器等、或进行其反 方向的数据传送的电路块。这里的处理是依赖于影像声音的输出循环(帧 速率等)的实时的IO处理。
存储器IF块6是在微型计算机块2的控制下进行控制以便在各处理块 2 5与外部存储器9之间并行地进行数据请求的电路块。此B寸，根据来自 微型计算机块2的请求确保各处理块2 5与外部存储器9之间的传送频 带，并且进行等待时间保证。
由此，以媒体处理块3为代表的各块通过确保所提供的功能所需的带 宽，并且保证所要求的访问等待时间，能够实现在块单独或多个块的协同 动作下所提供的应用的性能保证及实时性的保证。
另外，用来确保带宽并保证等待时间的技术由于已在日本特开2004— 246862号公报中详细公开了其代表性的一例，所以这里省略详细的说明。
这样，有关本发明的影像声音处理用集成电路1除了具有由实时性和 处理的种类(10处理/非10 (通用的)处理)的组合而设定的4个特征处 理块2 5、即执行非实时的通用的处理的微型计算机块2、执行实施的通 用的处理的媒体处理块3、执行非实时的I/0处理的流I/0块4、以及执行 实时的I/0处理的AVIO块5以外，还具有将这4个处理块2 5和专用的数据总线8a 8d连接的存储器IF块6，具备移动类的应用和服务器类的应 用两者共用的架构。
即，4种处理块不是分别相互连接，而是经由共用的外部存储器9连接。 因而，对各处理块的控制编程都只要设计为与外部存储器9之间输入输出 数据就可以，与其他处理块中的处理分离。由此，应用程序相对于各处理 块的独立性变高，各处理块不会受到来自其他处理块的影响，只要仅考虑 各处理块与存储器IF之间的规格就可以，所以能够提高设计效率，并且即 使在向其他应用扩展的情况下，也能够通过只变更所需的块的结构来进行 该其他应用的处理，所以能够实现设计资源的转用。
例如，能够将为了组装到便携电话等移动类的影像声音设备中而开发 出的影像声音处理用集成电路的应用程序(例如将便携电话接收到的压缩 声音流用媒体处理块扩展的应用程序)转用作组装到DTV等服务器类影像 声音设备中的影像声音处理用集成电路的应用程序(例如将包含在DTV接 收到的传送流中的声音流用媒体处理块扩展的应用程序)。
艮口，在将DTV、 DVR、摄像机、便携电话等设备中的l个作为第l设 备、将另1个作为第2设备的情况下，由第1设备用的影像声音处理用集 成电路和第2设备用的影像声音处理用集成电路共用地进行的处理可以设 计开发为，在由第1设备用的影像声音处理用集成电路的微型计算机块进 行的情况下，由第2设备用的影像声音处理用集成电路的微型计算机块进
行该处理，在由第1设备用的影像声音处理用集成电路的流i/o块进行的
情况下，由第2设备用的影像声音处理用集成电路的流I/O块进行该处理， 在由第1设备用的影像声音处理用集成电路的媒体处理块进行的情况下， 由第2设备用的影像声音处理用集成电路的媒体处理块进行该处理，在由 第1设备用的影像声音处理用集成电路的AVIO块进行的情况下，由第2 设备用的影像声音处理用集成电路的AVIO块进行该处理。这样，通过使 第1设备用的影像声音处理用集成电路的各块的处理的分担与第2设备用 的影像声音处理用集成电路的各块的处理的分担共用化，能够转用各块的 硬件与软件的设计资源。另外，该影像声音处理用集成电路1是形成在1个半导体基板上的1
芯片LSI，但作为制造工序上的结构，如图2所示，具有半导体基板la、 电路层lb、下位布线层lc及上位布线层ld。电路层lb相当于各处理块2 5的电路要素，下位布线层lc相当于与各处理块2 5的电路要素连接的 各处理块2 5内的布线，上位布线层ld相当于将各处理块2 5之间连接 的总线(控制总线7及数据总线8a 8d)。这样，将布线层分离为各处理 块内的布线和将各处理块间连接的布线，通过进行不同的掩模设计，分离 为各处理块的内部与外部的布线设计，设计变得容易。
接着，更详细地说明有关本发明的影像声音处理用集成电路中的、适 合于便携电话及摄像机等移动类应用的类型的影像声音处理用集成电路。
图3是表示适合于移动类应用的影像声音处理用集成电路100的详细 结构的功能框图。
影像声音处理用集成电路100是适合于需要无线通信及低功耗化的功 能的移动类影像声音设备的系统LSI，具有微型计算机块10、媒体处理块 20、流1/0块30、 AVIO块40及存储器IF块50。
微型计算机块10是经由控制总线60控制各处理块20 40、或经由数 据总线71访问SDRAM (Synchronous DRAM:同步DRAM) 106的电路 块，具备DMA (Direct Memory Access:直接内存存取)部11、 CPU部12、 微型计算机周边部13、时钟控制部14及电源控制部15等。
DMA部11是直接内存存取用的控制器，例如通过将保存在经由外部 总线连接的快闪存储器101中的用户程序等直接传送给CPU部12内的程 序存储器等来下载。
CPU部12是具有定时功能及中断功能的处理器核心，按照保存在内部 的程序存储器等中的程序，进行该影像声音处理用集成电路IOO整体的控 制。另外，在内部的程序存储器等中，预先保存有OS等基本软件。
微型计算机周边部13是中断控制电路及周边I/O端口等。
时钟控制部14是对各电路供给时钟、并且通过在CPU部12等处于空 闲状态时停止向CPU部12等的时钟供给等来实现低功耗化的电路。电源控制部15是对各电路供给电源、并且通过在各处理块处于空闲状 态等时停止向各处理块的电源供给等来实现低功耗化的电路。
媒体处理块20是在微型计算机块10的控制下、将从SDRAM106经由 数据总线72a及72b读出的图像、音频、声音数据按照MPEG规格等压縮、 扩展的高速的DSP等，具备指令并行处理器21、定序器部22、第I 第4 加速器(ACC; accelerator)部23 26及DMAC部27等。另外，该媒体 处理块20也可以不经由SDRAM106，而是从流I/O块30经由数据总线74 直接获取流数据。这是因为，在从流I/O块30发送来的流数据是低位速率 的情况下，高速动作的媒体处理块20直接接收流数据并执行媒体处理，从 而因不经由SDRAM106那部分，而能够实现安全性提高、功耗削减、以及 处理效率提高。
指令并行处理器21是并行地执行多个指令(信号处理指令)的处理器， 进行各结构要素22 27的整体控制。
定序器部22在指令并行处理器21的控制下，控制第1 第4加速器部 23 26的处理次序。
第1 第4加速器部23 26分别并行地动作，是对图像、视频、声音 数据进行DCT (Discrete Cosine Transform:离散余弦变换)、反DCT、量 化、反量化、运动检测、运动补偿等压縮、扩展等的媒体处理的运算处理
DMAC部27是直接内存存取用的控制器，例如经由数据总线72a及 72b等控制与SDRAM106之间的数据的直接传送。
另外，该媒体处理块20是用于移动类应用的低电力化对应电路。具体 而言，不是功耗较高的通用的数据处理处理器，而是通过第1 第4加速 器部23 26那样的低功耗的专用硬件引擎实现的，具备自动检测不存在处 理数据等的空闲状态而停止(自动停止控制)、或切断时钟供给(选通时钟) 功能。
流I/O块30是从外部设备102 104接收流数据、经由数据总线70保 存到SDRAM106中、或进行相反的数据传送的电路块，具备加密引擎部32、安全管理部33、 DMAC部34、流处理部35及设备IF部36等。
加密引擎部32是将所输入的加密流数据及密钥数据等解密、或将传递 给外部设备102 104的密钥数据加密的加密器及解密器。
安全管理部33是与外部设备102 104之间进行所需的设备认证协议 等的执行控制、或保持私钥的耐篡改的电路。
DMAC部34是直接内存存取用的控制器，例如将经由设备IF部36输 入的流数据经由数据总线70直接传送给SDRAM106。
流处理部35将经由设备IF部36从外部设备102 104输入的流数据 多路分离。
设备IF部36是在便携电话等中使用的通信处理器等的用来与其他 CPU102之间进行收发的IO端口、用来与SD (商标)卡等存储卡103之 间读写的10端口、用来与PDA104等之间进行红外线通信等的IO端口等 的集合。
AVIO块40是将保存在SDRAM106中的影像及声音流经由数据总线 73a及73b读出、输出给LCD107等、或将从数字照相机108发送来的影 像数据经由数据总线73a及73b保存到SDRAM106中的电路块，具备图形 引擎部41、视频输入格式变换部42、摄像处理引擎部43、音频IF部44 以及视频输出格式变换部45等。
图形引擎部41是进行过滤处理、画面合成、曲线描绘、3D显示等图 形处理的高性能图形引擎。
视频输入格式变换部42将输入到该影像声音处理用集成电路100中的 影像数据的因色彩空间等所引起的信号格式变换为适合于内部处理的格 式。
摄像处理引擎部43进行对从数字照相机108等输入的静止图像及动态 图像的高画质摄像处理。
音频if部44是与麦克风、扬声器等之间输入输出声音信号的a/d变 换器、D/A变换器等。
视频输出格式变换部45将所输出的影像信号的因色彩空间等所引起的信号格式变换为适合LCD107等的格式。
存储器IF块50是控制在该影像声音处理用集成电路100和 SDRAM106等外部存储器及高速IF105之间的数据传送的接口电路，具备 存储器调度器51、缓存部52及内置RAM53等。
存储器调度器51是具有与各处理块10 40及高速IF105之间并行地 输入输出数据的端口 (子系统IF51a 51c)的定序器，按照来自微型计算 机块10的指示，对各子系统IF51a 51a的每一个确保一定的传送频带， 并且保证等待时间。
缓存部52是对SDRAM106和存储器调度器51之间的数据传送进行中 继的高速的缓冲存储器。
内置RAM53是存储器调度器51用来对各子系统IF51a 51a的每一个
保证一定频带的数据传送的数据保存用缓冲存储器。
接着，利用图4 图6对以上那样构成的影像声音处理用集成电路100 的动作进行说明。
图4是表示将压縮图像声音流从存储卡103读出并扩展后、作为图像 信号及声音信号输出时的影像声音处理用集成电路100的动作步骤的流程 图。图5是表示此时的数据流的图。图6是表示各处理块20 40中的处理 状况的图。
首先微型计算机块10按照内装的程序，进行各处理块20 40的初始 设定等(图4的SIO)。例如，对媒体处理块20指示基于MPEG4的扩展处 理，对流I/O块30指示读出保存在存储卡103中的压縮图像声音流，对AVI0 块40指示声音输出和向LCD107的影像输出。
接着，流I/O块30读出保存在存储卡103中的压縮图像声音流，经由 存储器IF块50保存在SDRAM106中(图4的S11、图5的S20)。该压縮 图像声音流例如如图6 (a)所示，是将图像与声音的位串多路复用后的构 造。
接着，媒体处理块20读出保存在SDRAM106中的压縮图像声音流， 根据其头信息等进行分析处理，来多路分离成图6 (b)所示那样的图像流和声音流，将分离后的各流数据经由存储器IF块50写回到SDRAM106中 (图4的S12、图5的S21)。
接着，媒体处理块20再次将图像流和声音流从SDRAM106读出，实 施了扩展处理后，作为图6 (c)所示的图像数据(例如对每个像素以8位 表现的图像数据)及声音数据(以16位/样本表现的声音数据)写回到 SDRAM106中(图4的S13、图5的S22)。
最后，AVIO块40从SDRAM106读出图像流和声音流，对于图像流实 施向REC656格式等的格式变换，对于声音数据实施D/A变换等后，分别 作为图像信号及声音信号，如图6 (d)所示，输出给LCD107及扬声器等 (图4的S14、图5的S23、 S24)。
另外，上述各处理块的处理(图4的S11 S14)对于图像流以数据包、 微块、切片(slice)、图片等单位进行流水线处理，对于声音流以数据包、 帧等单位进行流水线处理。此时，微型计算机块10、媒体处理块20、流1/0 块30及AVIO块40在已将图像及声音流的数据包等保存到SDRAM106中 的情况下，将已保存的消息通知给其他块。由此使各流水线工序流动。
这样，根据有关本发明的影像声音处理用集成电路IOO，从存储卡103 等外部设备得到的压縮图像声音流被多路分离为图像流和声音流并扩展 后，进行格式变换，作为图像信号及声音信号输出。即，能够仅通过l个 LSI和外部存储器(SDRAM106)进行保存在外部设备中的压缩图像声音 流的再现。
并且，根据该影像声音处理用集成电路100，并不具备对各处理块的每 个暂时保存图像数据及声音数据的缓冲存储器，而是具备所有的处理块共 用的共用存储器(SDRAM106)。因而，能够自由地决定分配给各处理块的 存储器容量，能够将该影像声音处理用集成电路IOO应用于各处理块中的 数据产生量及处理负荷不同的各种应用。此外，由于各块不需要独立具备 缓冲存储器，所以该影像声音处理用集成电路100整体能够縮小芯片尺寸。
接着，更详细地说明有关本发明的影像声音处理用集成电路中的、适 合于DTV及DVR等服务器类应用的类型的影像声音处理用集成电路。
27图7是表示适合于服务器类应用的影像声音处理用集成电路200的详 细结构的功能框图。
该影像声音处理用集成电路200是适合于需要与各种周边设备连接及 各种各样的媒体处理的服务器类影像声音设备的系统LSI，具有微型计算 机块210、媒体处理块220、流I/O块230、 AVIO块240及存储器IF块250。 各处理块210 250基本上具备与上述影像声音处理用集成电路100的各处 理块10 50同样的结构。以下，对于与上述影像声音处理用集成电路100 同样的结构要素赋予相同的标号并省略说明。
微型计算机块210具备从上述影像声音处理用集成电路100的微型计 算机块10中除去了时钟控制部14与电源控制部15之后的结构。因为在服 务器类的应用中不需要这些低功耗用电路。另外，该微型计算机块210也 可以经由外部总线与作为影像声音设备的主处理器的外部总处理器201连 接，在外部总处理器201的控制下动作。
媒休处理块220具备将上述影像声音处理用集成电路100的媒体处理 块20中的1个加速器代替为数据并行处理器221的结构。数据并行处理器 221是通过1个指令执行对多个数据的运算的SIMD (Single Instruction Multiple Data:单指令多数据)型的处理器，具备可并行执行的8个或16 个(低并行度或高并行度)的PE (处理器元素)，与加速器相比功耗较大， 但数据处理量较大，能够处理的运算的种类丰富，能够进行各种各样的媒 体处理。具体而言，能够进行对应于MPEG2&4的同时编码、解码、HDTV 的2频道的影像信号的解码、PS (Program Stream,程序流)和TS (Transport Stream,传送流)的综合处理、MPEG4—AVC的编码、解码等对应于多格 式的编码、解码处理。此外，还能够进行从MPEG2向MPEG4的变换、从 HD (高析像度视频信号)向SD (标准画质视频信号)的变换、低位速率 化等各种变换。进而，还能够进行对应于显示图像的显示器设备的高画质 化控制等，能够与服务器类应用所需的各种媒体处理相对应。
流I/O块230具备将上述影像声音处理用集成电路100的流I/O块30 中的流处理部35及设备IF部36代替为可与更丰富的周边设备连接的流处理部231及设备IF部232的结构。流处理部231除了影像声音处理用集成 电路100的流处理部35的功能以外，为了与广播及网络等对应还具备处理 来自连接到外部的TV调谐器202及以太网控制器203的流的功能。设备 IF部232是USB205、存储卡103用的接口、硬盘206及光盘207用的盘 驱动器用接口、差动IF208等的集合。
AVIO块240具备从上述影像声音处理用集成电路100的AVIO块40 除去了摄像处理引擎部43之后的结构，具有代替小型的LCD107而向与 SD/HD对应的大型LCD212输出图像的功能。
存储器IF块250具有与上述影像声音处理用集成电路100的存储器IF 块50同样的功能，但作为外部存储器210及211，还具备不仅与通常的 SDRAM、还与DDR (Double Data Rate:双数据率)型的SDRAM连接的 高速总线。
这样，有关本发明的影像声音处理用集成电路200具备许多种类的周 边设备用的接口电路，并且具备大容量且能够对应于各种各样的数据处理 的媒体处理用处理器，所以是适合于服务器类影像声音设备的系统LSI。 通过使用这样的影像声音处理用集成电路200，能够在较短的期间内开发 高功能的DTV及DVR等服务器类影像声音设备。
如上所述，有关本发明的影像声音处理用集成电路具备特征性的5个 处理块、即所有的影像声音设备共用的基本架构，并且具有通过变更各处 理块中的结构而能够定制为适合于移动类应用或服务器类应用的类型的设 计自由度。由此，能够将特定的设备的开发中的设计资源转用到其他设备 中。
进而，通过多个块协同动作，提供了下述功能，即，在处理了从TV 调谐器等输入的流后、以指定的编码译码方式，生成视频信号及音频信号， 图像输出给外部LCD等，或将声音输出给外部扬声器，但存储器IF块250 与各块之间分别确保所提供的功能所需的带宽，并且保证所要求的访问等 待时间。由此，上述的流处理、信号生成处理、输出处理等不会不满足所 需的性能，即、在TV功能的实现中，也不会发生影像失真、或声音断续，而能够容易地实现。
图8是表示有关本发明的影像声音处理用集成电路的特征的说明图。 这里，有关本发明的影像声音处理用集成电路可以作为具有2种架构 (移动用及服务器用)的系统LSI实现，这2种影像声音处理用集成电路 具有共通设计思想，并且显示出能够进行API (应用程序接口)的整合。 进而，表示了能够将移动用的影像声音处理用集成电路作为便携电话等移 动通信设备及摄像机等AVC移动设备的系统LSI，而将服务器用的影像声 音处理用集成电路作为BD录制器等AVC服务器及HDTV等DTV的系统 LSI使用。
以上，有关本发明的影像声音处理用集成电路大体地划分为2个用途 (移动类及服务器类)，若更详细地划分，可以作为4个用途(DTV、 AVC 服务器、AVC移动设备、移动通信设备)的影像声音设备的系统LSI使用， 并且能够进行这些设备中的设计资源的转用。
接着，更详细地说明有关本发明的影像声音处理用集成电路中的、提 高了影像处理(特别是与再现并行地进行的录像处理)的性能后的影像声 音处理用集成电路。
图9是表示提高了影像处理性能的影像声音处理用集成电路200a的详
细结构的功能框图。
该影像声音处理用集成电路200a是在例如一边视听高清晰度广播节目 (HD) —边用SD录像、或进而跟踪播放该SD影像的应用中实现影像处 理性能的提高的结构的系统LSI，具有微型计算机块210、媒体处理块220a、 流I/O块230、 AVIO块240a及存储器IF块250。
各处理块210、 220a、 230、 240a、 250基本上具备与上述影像声音处 理用集成电路200的处理块210 250同样的结构。该影像声音处理用集成 电路200a的特征点是对其后所提取的与图像流不同的较少量的区域特征 信息进行传送的数据总线75将媒体处理块220a与AVIO块240a连接而设 置。以下，对于与上述影像声音处理用集成电路200同样的结构要素赋予 相同的标号并省略说明。媒体处理块220a是继承了上述的媒体处理块20及220的特征的高速 DSP等，将从SDRAM210及211经由数据总线72a及72b读出的图像、音 频、声音数据按照MPEG规格等压縮、扩展。例如，在一边视听高清晰度 广播节目(HD) —边变换析像度录像到SD中的应用中，指令并行处理器 21或数据并行处理器221、或者两者同时执行所视听的压縮HD图像声音 多路复用流的多路分离及扩展处理、和用来得到所记录的压縮SD图像声 音多路复用流的压縮及多路复用处理，将各自的处理结果向SDRAM210及 211写回。
AVIO块240a将媒体处理块220a的多路分离及扩展处理的结果写回到 SDRAM210、 211中的HD图像数据经由总线73a、 73b取得并输出给大型 LCD212,并且将对该HD图像数据进行析像度变换处理而得到的SD图像 数据写回到SDRAM210、 211中。并且，将在该处理时获知的区域特征信 息(例如区域内综合信息、区域间差分信息)经由数据总线75反馈给媒体 处理块220a。
该析像度变换处理例如由AVIO块240a的视频输出格式变换部45进 行。视频输出格式变换部45如上所述，具有将输出的影像信号的因色彩空 间等所引起的信号格式变换为适合于影像输出设备的格式的功能，可以将 作为其具体功能的縮减取样及抽取滤波器功能用于该析像度变换处理。
媒体处理块220a再次参照该区域特征信息，判断发生场景变化的区域 及场景变化的频率。接着，根据该判断，将例如场景变化后的帧决定为I 图片，并且在较多地发生场景变化的期间与不是这样的期间相比提高压縮 率，实现压縮后的数据量的均匀化，同时将SD图像数据压縮为SD图像流， 再通过多路复用处理生成压縮SD图像声音多路复用流，将所生成的压縮 SD图像声音多路复用流写回到SDRAM210及211中。
接着，利用图10 图12对以上那样构成的影像声音处理用集成电路 200a的动作进行说明。
图10是表示一边从TV调谐器202读出作为高清晰度广播信号的压縮 HD图像声音多路复用流、并作为图像信号及声音信号输出、 一边向SD图像进行析像度变换并记录时的影像声音处理用集成电路200a的动作步骤 的流程图。
图11是表示此时的主要的数据流的图。 图12是表示处理块220a、 240a中的处理内容的图。 首先，微型计算机块IO按照内装的程序，进行各处理块220a、 230、 240a的初始设定等(图10的S30)。例如，对媒体处理块220a指示基于 MPEG4的扩展处理(HD)及基于MPEG2的压縮处理(SD)，对流I/O块 230指示从TV调谐器202取得压縮HD图像声音多路复用流并且将压縮 SD图像声音多路复用流记录到HDD206中，对AVIO块240a指示声音输 出和向大型LCD212的影像输出，并且指示从HD图像向SD图像的析像 度变换。
接着，流I/O块230从TV调谐器202读出压縮HD图像声音多路复用 流，媒休处理块220a通过根据头信息等进行分析处理等，来从该压縮HD 图像声音多路复用流多路分离为图像流和声音流，再对该图像流和声音流 实施扩展处理后，作为图像数据及声音数据写回到SDRAM210、 211中。
到此为止的动作基本上与上述影像声音处理用集成电路100的动作(参 照图4及图5)相同，不同的为，图像的析像度以及压縮图像声音多路复 用流是从存储卡得到还是从TV调谐器得到。图11中的有关到此为止的动 作的数据流的图示省略。
接着，AVIO块240从SDRAM210、 211读出HD图像数据和声音数据， 如图12 (b)所示，输出给大型LCD212及扬声器等(图10的S31、图11 的S40a、 S40b)。
与该HD图像的输出并行，AVIO块240将对该HD图像实施了图12 (a)所示那样的析像度变换处理而得到的SD图像数据写回到SDRAM210、 211中，并且生成在该处理时获知的区域内综合信息(表示区域的整体的 亮度)、区域间差分信息(表示与此前的区域的亮度的差)等区域特征信息。 该区域特征信息例如与SD图像数据的区域建立对应地存储在AVIO块 240a内的未图示的小规模的缓冲存储器中，经由数据总线75被供给作从媒体处理块220a的参照(图10的S32、图11的S41a、 S41b)。
然后，媒体处理块220a从SDRAM210、 211读出SD图像数据和声音 数据，并且经由数据总线75参照区域特征信息，决定I图片，并且通过一 边动态地变更压縮率一边将该SD图像数据和声音数据压縮处理，来生成 SD图像流及声音流，写回到SDRAM210、 211中(图10的S33、图11的 S42)。
接着，媒体处理块220a再次从SDRAM210、 211读出SD图像流和声 音流，将通过将它们多路复用而生成的压縮SD图像声音多路复用流写回 到SDRAM210、 211中(图10的S34、图11的S43)。
最后，流I/O块230从SDRAM210、 211读出压縮SD图像声音多路复 用流，将其记录至UHDD206中(图10的S35、图11的S44)。
该压縮SD图像声音多路复用流既可以作为高清晰度广播的录像记录 到HDD206中，也可以接着经过规定的时间后被读出，如图12 (b)所示 那样与高清晰度广播一起在场景显示中被跟踪播放。在后者的情况下，在 图10所示的动作中还追加将记录在HDD206中的压縮SD图像声音多路复 用流再现的步骤。
在上述各处理块中的一系列的处理(图10的S31 S35)中，所视听 的广播节目的流、所记录的流、还有在进行跟踪播放时跟踪播放用的流的、 2个到3个流，通过以数据包、微块、切片、图片、帧这样的公知的处理 单位进行流水线处理，来同时地被处理。
这样，根据有关本发明的影像声音处理用集成电路200a，媒体处理块 220a经由数据总线75参照在AVIO块240a中获知的区域特征信息，决定 记录图像的压縮中的I图片，并且动态地调节压縮率。由此，影像声音处 理用集成电路200a能够避免用来得到区域特征信息的重复成本而得到较 高的速度性能，并且能够实现画质与数据量的良好协调。
另外，数据总线75如上所述，将较少量的区域特征信息限定在媒体处 理块220a与AVIO块240a之间传送，所以对应用程序相对于各处理块的 独立性的影响很小，并且在影像声音处理用集成电路上占用的安装面积也较小。
到此为止，以高清晰度广播的录像这样显著的例子说明了通过从AVIO 块240a向媒体处理块220a供给区域特征信息而得到的良好的效果。除了 该例以外，在例如上述影像声音处理用集成电路100 (参照图3)中，如果 从AVIO块40向媒体处理块20供给同样的区域特征信息，则不仅在广播 的录像中、在从数字照相机等外部设备取得的影像的录像中也能够得到同 样的效果。
接着，更详细地说明有关本发明的影像声音处理用集成电路中的、适 合于广播类及存储类各自的影像处理的共用化的影像声音处理用集成电 路。这里，所谓的广播类是指有关从TV调谐器、以及因特网等得到的广 播节目的处理，所谓的存储类是指有关存储在HDD、 DVD、以及存储卡等 记录介质中的节目的处理。
图13是表示适合于广播类及存储类各自的影像处理的共用化的影像声 音处理用集成电路100a的详细结构的功能框图。
该影像声音处理用集成电路100a是具有广播类处理(例如从TV调谐 器得到的广播节目的再现)功能、以及存储类的处理(例如存储在HDD中 的节目的再现)功能的系统LSI，具有微型计算机块IO、媒体处理块20a、 流1/0块30、 AVIO块40、以及存储器IF块50。
该影像声音处理用集成电路100a的特征点是在媒体处理块20a中具 备具有流处理抑制定时器28的假想多处理器21a。其他结构基本上与上述 影像声音处理用集成电路100同样。
所谓的假想多处理器(VMP: Virtual Multiprocessor) —般是指将多个 逻辑处理器(LP: Logical Processor)的功能时分割地演绎的指令并行处理 器的一种(一个LP在实体上讲是设定在物理处理器(PP: Physical Processor) 的寄存器组中的一个上下关系)。通过管理分配给各LP的时间单位(TS: Time Slot)的频率，能够保持由各LP执行的应用间的负荷平衡。对于VMP 的结构及动作，由于其代表性的一例已在日本特开2003—271399号公报中 详细地公开，所以这里省略详细的说明。以下，对于与上述影像声音处理用集成电路100同样的结构要素赋予
相同的标号并省略说明。
媒体处理块20a与上述影像声音处理用集成电路100的媒体处理块20 同样，是进行有关压縮图像声音多路复用流的多路复用、多路分离处理、 以及图像声音数据的压縮、扩展处理的电路块，但具备在指令并行处理器 21上实现的假想多处理器21a。
假想多处理器21a对每个录像或再现的压縮图像声音多路复用流，使 用例如3个LP (流LP、图像LP、以及声音LP)，分别进行流的多路复用 或多路分离、图像的压縮或扩展、以及声音的压缩或扩展。
对于这些各LP，对应于流、图像及声音各自的特性来分配TS。例如， 考虑运算量而对图像LP分配比声音LP多的TS，或者为了防止广播信号 的丢失(所谓的丢失流)而将流LP设为每接收到1个数据包就分配TS的 事件驱动LP、或者在流处理抑制定时器28的控制下禁止规定时间内的TS 分配的带定时器抑制的事件驱动LP。
可知对各LP的这样的TS的分配良好地保持了各处理间的负荷平衡并 且起到防止丢失流的作用。以下，利用图14及图15说明使流LP作为带定 时器抑制的事件驱动LP对于广播类及存储类各自的影像处理(特别是再现 处理)的通用化起作用的情况。
图14是共通地执行广播类及存储类两者的流处理的带定时器抑制的事 件驱动LP的动作步骤的流程图。
图15是分别在处理广播类的流的情况及处理存储类流的情况下表示此 时的各事件的发生定时、以及流、图像、声音的各LP动作的TS的图。附 图的右方向对应于时间的经过，带表示TS的排列，其中的文字表示在TS 动作的LP (Stream、 Video及Audio分别表示流LP、图像LP、以及声音 LP，空白表示没有动作的LP)。
首先，对于广播类的情况，假设在每个时间InFreq发生从TV调谐器 取得数据包的输入事件，利用图14及图15 (a)进行说明。
最初，在输入事件等待中休眠的流LP (S50)被第N数据包的输入事件唤醒，在第ITS开始动作。接着，如果在时间StTime (N)将该数据包 处理并结束(S51)，则启动比时间(Infreq—StTime (N))短的时间的定时 器(S52)，进入定时器事件等待的休眠(S53)。第2及第3TS分别被分配 给图像及声音LP。
流LP在第4TS中发生的定时器事件下被唤醒。并且，如果在第5TS 开始动作，则确认输入事件(S54)，得知有第N+l个数据包的输入事件 (S55:是)，处理该数据包(S51)。以后，重复同样的动作。
这里，作为一个具体例，如果考虑假想多处理器的动作时钟频率是243 (MHz)、流以70 (MHz)输入的情况，则每1秒的数据包数是70 (Mbps) / (8 (bit) X188 (byte/Packet)) "46543 (Packet/sec)，数据包的处理周 其月InFreq为243 (Mclock/sec) /46543 (Packet/sec) "5221 (clock/packet )。
这样，在广播类的情况下，通过输入事件本身以较长的间隔发生来限 制流LP的处理，结果，良好地保持了流、影像、声音的各LP的负荷平衡。
接着，对于储存类的情况，假设在1数据包的处理中从HDD取得后续 数据包而发生接下来的输入事件，并且存在该后续数据包的处理想要在与 广播类相同的时间InFreq之后进行的请求，利用图14及图15 (b)进行说 明。
最初，在输入事件等待中休眠的流LP (S50)被第N数据包的输入事 件唤醒，在第ITS开始动作。接着，如果在时间StTime (N)将该数据包 处理并结束(S51)，则启动时间(Infreq—StTime (N))的定时器(S52), 进入定时器事件等待的休眠(S53)。流LP在第ITS中发生的第N+1数据 包的输入事件下并不被唤醒而继续休眠(图15 (b)的从第N+1输入事件 开始的粗虚线)。
只要流LP不处理第N+l数据包，不具有流用缓存器的流I/O块30 就不能读入后续数据包，第N+2数据包的读出处理被延期。第2及第3TS 分别被分配给图像及声音LP。
流LP在第4TS中发生的定时器事件下被唤醒。接着，如果在第5TS 开始动作，则确认输入事件(S54)，得知有第N+l个数据包的输入事件(S55:是)，处理该数据包(S51)，然后进入到定时器事件等待的休眠(S52、 S53)。流LP在第5TS中发生的第N+2数据包的输入事件下并不被唤醒而 继续休眠(图15 (b)的从第N+2输入事件开始的粗虚线)。以后，重复 同样的动作。
这样，在存储类的情况下，输入事件本身能够以较短的间隔发生，但 即使在这样的情况下，通过定时器事件等待的休眠，流LP的处理也被限制， 结果，良好地保持了流、影像、声音的各LP的负荷平衡。
如果在存储类中流LP在定时器事件等待中没有休眠，则只要处理了流 就产生输入事件，结果分配给流LP过剩的TS，对图像LP及声音LP没有 分配必要量的TS，图像、声音处理出现破绽。
以上，有关本发明的影像声音处理用集成电路100a通过媒体处理块20a 的假想多处理器21a的带定时器抑制的事件驱动LP来执行流处理。该处理 在广播类中、或者可过剩地输入流的存储类中也共通地使用，不仅自律地 抑制流处理的过剩执行来将图像、声音处理的破綻防止于未然，而且在流 I/O块30中也不需要对向媒体处理块20a发送的流量进行上限管理。作为 它们的总体，应用程序相对于各处理块的独立性、简明性提高，进而对设 计资源的转用促进做出贡献。
另外，带定时器抑制的事件驱动LP的流处理也能够适用于同时处理2 个频道的情况。
图16是分别针对(a)处理2个广播类的流的情况、(b)处理广播类 和存储类各自的流的情况、(c)处理2个存储类的流的情况、表示此时的 各事件的发生定时、以及流、图像、声音的各LP动作的TS的图。附图的 右方向对应于时间的经过，带表示TS的排列，其中的文字表示在TS动作 的LP (文字S、 V及A分别表示流LP、图像LP、以及声音LP，空白表示 没有动作的LP。此外，数字O、 l区别频道)。
如图示那样，根据各个流的广播类、存储类的区别，发生在上述说明 的定时(参照图15 (a)及图15 (b))的事件。在存储类中，输入事件的 唤醒被定时器事件等待的休眠延期，结果，防止流处理的过剩执行，这是与上述相同的。这样，带定时器抑制的事件驱动LP的流处理在同时处理2 个频道的情况下，也发挥良好地保持流、图像、及声音处理的负荷平衡的 效果。
以上，根据实施方式对有关本发明的影像声音处理用集成电路进行了 说明，但本发明并不限于该实施方式。
例如，有关本发明的影像声音处理用集成电路被分类为移动类和服务 器类的2类，但并不仅限于这些分类。例如，在如带AV功能的笔记本电 脑等那样应用到要求低功耗和高析像度显示的影像声音设备中的情况下， 只要采用同时具有时钟控制部14、电源控制部15及数据并行处理器221 的影像声音处理用集成电路就可以。
此外，适合于上述4个用途的影像声音处理用集成电路基本上只要具 备图1所示的共通架构就可以，各块不需要由完全相同的电路构成。例如， 在将属于上述4个用途的设备中的1个作为第1设备、将另1个作为第2 设备的情况下，在第1设备用的影像声音处理用集成电路和第2设备用的 影像声音处理用集成电路之间，只要有以下中的任一种的共通性就可以
(1) CPU的指令组的至少一部分具有互换性，(2)指令并行处理器的指 令组的至少一部分具有互换性，(3) CPU的核心具有相同的逻辑连接(软 宏)，(4)指令并行处理器的核心具有相同的逻辑连接，(5) CPU的核心 具有相同的掩模设计(硬宏)，(6) CPU的存储器映象上的各块的控制寄 存器(用来控制各块的寄存器)的地址相同、或者在各处理中使用的外部 存储器9的区域相同等。根据这样的共通性，能够以处理块的单位实现应 用程序的转用，或者能够实现作为系统LSI的制造工序上的转用等，作为 整体的开发效率提高。
此外，在本实施方式中，在各处理块中共有的存储器外装在系统LSI 上，但也可以内置于系统LSI中。
工业实用性
本发明能够作为处理影像声音的设备用的系统LSI、特别是作为DTV、DVD录制机等AVC服务器、数字照相机等AVC移动设备、便携电话等移 动通信设备等影像声音设备的系统LSI使用。
权利要求
1、一种集成电路，对信号进行处理，其特征在于，具备第一块，访问存储器；第二块，功能与上述第一块不同，访问上述存储器；以及存储器接口块，控制上述第一块及上述第二块和上述存储器之间的数据传送，以确保各块的功能所需的带宽。
2、 如权利要求1所记载的集成电路，其特征在于，上述第一块是微型计算机块、流输入输出块、媒体处理块以及音频和 视频输入输出块之中的某一个块；上述第二块是上述微型计算机块、上述流输入输出块、上述媒体处理 块以及上述音频和视频输入输出块之中的、与上述第一块不同的某一个块。
3、 如权利要求1所记载的集成电路，其特征在于，具有 时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给。
4、 如权利要求3所记载的集成电路，其特征在于， 上述第一块具有CPU部；上述时钟控制部在上述CPU部处于空闲状态时，控制向上述CPU部 的时钟供给。
5、 如权利要求1所记载的集成电路，其特征在于，具有 电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
6、 如权利要求1所记载的集成电路，其特征在于，具有 时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给；以及电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状 态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
7、 如权利要求l一6中的任意一项所记载的集成电路，其特征在于， 具有数据并行处理器，该数据并行处理器以1个命令执行对于多个数据的 运算。
8、 如权利要求1一6中的任意一项所记载的集成电路，其特征在于， 上述第一块和上述第二块利用专用的数据总线与上述存储器接口块连接。
9、 如权利要求1一6中的任意一项所记载的集成电路，其特征在于， 上述第一块和上述第二块经由上述存储器进行上述影像或声音流的收发。
10、 一种集成电路，对信号进行处理，其特征在于，具备 第一块，进行具有实时性的处理；第二块，进行具有非实时性的处理；以及存储器接口块，控制上述第一块及上述第二块和存储器之间的数据传
11、 如权利要求10所记载的集成电路，其特征在于， 上述第一块是媒体处理块或音频和视频输入输出块； 上述第二块是微型计算机块或流输入输出块。
12、 如权利要求10记载的集成电路，其特征在于，具有:时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第 一块的一部分的时钟供给。
13、 如权利要求12所记载的集成电路，其特征在于， 上述第一块具有CPU部；上述吋钟控制部在上述CPU部处于空闲状态时，控制向上述CPU部 的时钟供给。
14、 如权利要求10所记载的集成电路，其特征在于，具有 电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
15、 如权利要求10所记载的集成电路，其特征在于，具有时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给；以及电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状 态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
16、 如权利要求10—15中的任意一项所记载的集成电路，其特征在于，具有数据并行处理器，该数据并行处理器以1个命令执行对于多个数据的 运算。
17、 如权利要求10—15中的任意一项所记载的集成电路，其特征在于， 上述第一块和上述第二块利用专用的数据总线与上述存储器接口块连接。
18、 如权利要求10—15中的任意一项所记载的集成电路，其特征在于,上述第一块和上述第二块经由上述存储器进行上述影像或声音流的收发。
19、 一种集成电路，对影像或声音进行处理，其特征在于，具备 第一块，与影像或声音的帧速率独立地进行处理；第二块，依赖于影像或声音的帧速率而进行处理；以及 存储器接口块，控制上述第一块及上述第二块和存储器之间的数据传送。
20、 如权利要求19所记载的集成电路，其特征在于， 上述第一块是媒体处理块或音频和视频输入输出块； 上述第二块是微型计算机块或流输入输出块。
21、 如权利要求19记载的集成电路，其特征在于，具有 时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给。
22、 如权利要求21所记载的集成电路，其特征在于， 上述第一块具有CPU部；上述时钟控制部在上述CPU部处于空闲状态时，控制向上述CPU部 的时钟供给。
23、 如权利要求19所记载的集成电路，其特征在于，具有 电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
24、 如权利要求19所记载的集成电路，其特征在于，具有 时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给；以及电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状 态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
25、 如权利要求19一24中的任意一项所记载的集成电路，其特征在于， 具有数据并行处理器，该数据并行处理器以1个命令执行对于多个数据的 运算。
26、 如权利要求19一24中的任意一项所记载的集成电路，其特征在于， 上述第一块和上述第二块利用专用的数据总线与上述存储器接口块连接。
27、 如权利要求19一24中的任意一项所记载的集成电路，其特征在于， 上述第一块和上述第二块经由上述存储器进行上述影像或声音流的收发。
28、 一种集成电路，对影像进行处理，其特征在于，具备-第一块，对外部的影像显示装置直接进行数据输出；第二块，对外部的影像显示装置经由上述第一块进行数据输出；以及 存储器接口块，控制上述第一块及上述第二块和存储器之间的数据传送。
29、 如权利要求28所记载的集成电路，其特征在于， 上述第一块是音频和视频输入输出块； 上述第二块是媒体处理块、微型计算机块或流输入输出块。
30、 如权利要求28记载的集成电路，其特征在于，具有时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第 一块的一部分的时钟供给。
31、 如权利要求30所记载的集成电路，其特征在于， 上述第一块具有CPU部；上述时钟控制部在上述CPU部处于空闲状态时，控制向上述CPU部 的时钟供给。
32、 如权利要求28所记载的集成电路，其特征在于，具有 电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
33、 如权利要求28所记载的集成电路，其特征在于，具有 时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给；以及电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状 态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
34、 如权利要求28—33中的任意一项所记载的集成电路，其特征在于，具有数据并行处理器，该数据并行处理器以1个命令执行对于多个数据的 运算。
35、 如权利要求28—33中的任意一项所记载的集成电路，其特征在于， 上述第一块和上述第二块利用专用的数据总线与上述存储器接口块连接。
36、 如权利要求28—33中的任意一项所记载的集成电路，其特征在于，上述第一块和上述第二块经由上述存储器进行上述影像或声音流的收发。
37、 一种集成电路，对影像进行处理，其特征在于，具备 第一块，向外部输出图像；第二块，输出其他信号；以及存储器接口块，控制上述第一块及上述第二块和存储器之间的数据传送。
38、 如权利要求37所记载的集成电路，其特征在于， 上述第一块是音频和视频输入输出块； 上述第二块是媒体处理块、微型计算机块或流输入输出块。
39、 如权利要求37记载的集成电路，其特征在于，具有 时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给。
40、 如权利要求39所记载的集成电路，其特征在于， 上述第一块具有CPU部；上述时钟控制部在上述CPU部处于空闲状态时，控制向上述CPU部 的时钟供给。
41、 如权利要求37所记载的集成电路，其特征在于，具有 电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
42、 如权利要求37所记载的集成电路，其特征在于，具有 时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给；以及电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状 态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
43、 如权利要求37—42中的任意一项所记载的集成电路，其特征在于， 具有数据并行处理器，该数据并行处理器以1个命令执行对于多个数据的 运算。
44、 如权利要求37—42中的任意一项所记载的集成电路，其特征在于， 上述第一块和上述第二块利用专用的数据总线与上述存储器接口块连接。
45、 如权利要求37—42中的任意一项所记载的集成电路，其特征在于， 上述第一块和上述第二块经由上述存储器进行上述影像或声音流的收发。
46、 一种集成电路，对影像或声音进行处理，其特征在于，具备 第一块；第二块；以及存储器接口块，控制上述第一块及上述第二块和存储器之间的数据传送；上述第 一块不经由上述存储器接口而向外部进行数据的输出； 上述第二块经由上述存储器接口与上述第一块进行数据传送。
47、 如权利要求46所记载的集成电路，其特征在于， 上述第一块是音频和视频输入输出块； 上述第二块是媒体处理块、微型计算机块或流输入输出块。
48、 如权利要求46记载的集成电路，其特征在于，具有 时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给。
49、 如权利要求48所记载的集成电路，其特征在于， 上述第一块具有CPU部；上述时钟控制部在上述CPU部处于空闲状态时，控制向上述CPU部 的时钟供给。
50、 如权利要求46所记载的集成电路，其特征在于，具有 电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
51、 如权利要求46所记载的集成电路，其特征在于，具有 时钟控制部，在上述第一块的一部分处于空闲状态时，控制向上述第一块的一部分的时钟供给；以及电源控制部，在上述第一块及上述第二块之中的至少1个处于空闲状 态时，控制向上述第一块及上述第二块之中成为空闲状态的块的电源供给。
52、 如权利要求46—51中的任意一项所记载的集成电路，其特征在于， 具有数据并行处理器，该数据并行处理器以1个命令执行对于多个数据的 运算。
53、 如权利要求46 — 51中的任意一项所记载的集成电路，其特征在于， 上述第一块和上述第二块利用专用的数据总线与上述存储器接口块连接。
54、如权利要求46—51中的任意一项所记载的集成电路，其特征在于， 上述第一块和上述第二块经由上述存储器进行上述影像或声音流的收发。
全文摘要
提供能够将在影像声音设备的开发中得到的设计资源也转用到其他种类的影像声音设备中的影像声音处理用集成电路。具备微型计算机块(2)，具有CPU；流I/O块(4)，与外部装置进行影像及声音流的输入输出；媒体处理块(3)，执行媒体处理，该媒体处理包括输入到流I/O块(4)中的影像及声音流等的压缩及扩展中的至少1个；AVIO块(5)，将由媒体处理块(3)进行媒体处理后的影像及声音流变换为影像及声音信号，并输出给外部设备等；存储器IF块(6)，控制微型计算机块(2)、流I/O块(4)、媒体处理块(3)及AVIO块(5)与外部存储器(9)之间的数据传送。
文档编号G06F15/78GK101626473SQ20091016411
公开日2010年1月13日 申请日期2005年4月1日 优先权日2004年4月1日
发明者北村朋彦, 大古濑秀之, 山口良二, 山名章文, 山田信彦, 木村浩三, 水野洋, 清原督三, 道山淳儿, 黑田学 申请人:松下电器产业株式会社