专利名称：半导体装置及半导体集成电路的制作方法
技术领域：
本发明涉及半导体装置及半导体集成电路，特别涉及一边在多个存储器之间进行数据的传输、一边使多个处理并行动作的半导体装置及半导体集成电路。
背景技术：
近年来，使用超高速输出传感器和专用图像处理LSI (Large Scale Integration) 来标准搭载了超高像素的高速连拍功能、或超过每秒60帧的高速摄像功能和超低速再现功能的独特的数字照相机已商品化。为了实现这样的高速摄像等的高速动作的新的功能， 需要将图像处理及数据处理的存储器访问的总线通信量大幅扩展，并且提高多个任务的存储器访问的自由度。即，产生了实施提高对输入输出装置的处理的整体性的效率并实现高速应用的图像处理的需要。
在将高速动作的新的功能用1个专用图像处理LSI实施的情况下，当通过存储器访问实施多个处理时，目前的主流是一边对1个存储器进行访问请求(也记作存储器访问请求)的协调、一边将多个处理(任务处理)以并行动作执行(进行多任务处理)的方法。 此外，作为扩展存储器访问的总线通信量的方法，通常较普遍的是提高存储器访问的时钟速度的途径及数据总线宽度的扩展等。
此外，在实现图像处理的半导体集成电路中，在处理过程的细微化展开的同时，要求能够以高速、低电压、低耗电进行动作的基础技术的开发。进而，还预想到为了追加新的功能而输入输出部增加，在安装需要的半导体集成电路上的输入输出部的过程中，基于芯片的周边以外的布局的多针脚且小面积的半导体集成电路的实现、以及将多芯片安装到1 个封装中的技术也变得重要。
在以往的一般的图像记录再现装置中，为了将摄像的图像进行记录、此外将记录的图像进行再现，对A/D变换后的图像数据，作为经由存储器控制部的基本的多个任务处理而进行前处理、图像信号处理、显示处理、以及向介质的记录处理。这些任务处理通过按照来自CPU (Central Processing Unit)的命令、经由存储器控制部进行对将处理中途的图像临时存储的图像存储器的访问处理来执行。此时，上述的多个任务处理以看起来是同时执行的所谓多任务进行控制。
在这样以多任务进行控制时，在不同的任务同时要访问共用的输入输出装置(例如存储器控制部)的情况下，最早访问存储器控制部的任务执行存储器访问处理，并独占到该处理结束。之后要访问输入输出装置的任务在先访问的任务的存储器访问处理结束、 存储器访问的通信成为空闲状态后进行存储器访问处理。
在如上所述的向输入输出装置的访问方法中，即使紧急性较高的任务请求了向输入输出装置的访问，在有先访问着的任务的情况下也必须等待直到该任务向输入输出装置的访问结束。因此，存在使紧急性较高的任务(例如用户想要优先进行的处理等)被等待的问题。
对于上述问题，在专利文献1中，记载了在优先等级低的任务之中放入休眠、休眠中的任务在轮到处理的顺序时不进行处理而跳过、或者缩短访问共用设备的1次的时间等的技术。由此，紧急性高的任务能够优先地进行对共用设备的处理。
此外，在专利文献2中，记载有对优先顺序高的任务分配数据量较多的处理单位、 对优先顺序低的任务分配数据量较小的处理单位、按每个处理单位切换任务来执行的技术。
图7是表示专利文献2中记载的图像处理装置400的结构的模块图。在该图所示的图像处理装置400中，存储器401将从A/D变换器403输出的图像数据为了写入到记录媒体404中而暂时存储。此外，存储器401将从记录媒体404读出的图像数据为了显示在图像显示部405上而暂时存储。
在图7的图像处理装置400中，作为多个任务处理，例如执行从存储器401向记录媒体404写入图像数据的处理(写入处理)、和从记录媒体404向存储器401读出图像数据的处理(读出处理)。存储器控制部402判断哪个处理的优先级高，根据优先级将处理单位分配给各处理，按每个处理单位执行各处理。由此，能够优先进行优先级高的处理，并且提高处理的整体效率。
此外，在非专利文献1中，记载有将高速动作的新的功能不是由1个专用图像处理 LSI实施、而是将多个任务分配给两个以上的图像处理LSI来实现的技术。在该技术中，为了实现高速应用，安装专用的大容量DRAM (Dynamic Random Access Memory)，并且在图像处理的前处理和后处理中使用两个专用图像处理LSI进行处理的作用分担。
如上所述，在专利文献1及专利文献2所记载的技术中，按照优先级等来控制存储器访问请求的协调，从而能够提高存储器控制部的处理的整体的效率。此外，在非专利文献1所记载的技术中，通过使用两个以上的专用图像处理LSI执行图像处理，能够使处理分散，并且能够提高处理的效率。
先行技术文献 专利文献 专利文献1 日本特开平10-283204号公报 专利文献2 日本特开2006-87069号公报 非专利文献 非专利文献1 =NIKKEI ELECTRONICS 2008. 4. 21 p. 12 ρ· 13 发明的概要 发明要解决的问题 但是，在上述以往技术中，存在以下这样的问题。
首先，在专利文献1及专利文献2所记载的技术中，存在将更大的数据高速处理的情况下、存储器访问的总线通信量的绝对容量不足的问题。
具体而言，在专利文献1中，作为将有限的存储器总线通信量高效率地使用的方法，记载了基于优先等级决定1次的访问时间和休眠时间的技术，但根据这样的控制，在优先等级高的任务没有请求向共用设备的访问、而仅优先等级低的任务请求了向共用设备的访问的情况下，会发生全部的任务成为休眠的时间的情况。在这样的情况下，哪个任务都不对共用设备进行访问，处理效率变差。
此外，即使某个时点多个任务间的访问时间和休眠时间实现了较高的处理效率，但在多个任务中的例如某1个结束的情况下，还持续相同的访问时间和休眠时间。因此，特别是在优先等级高的任务结束的情况下，会发生继续进行处理的优先等级低的任务全成为休眠的时间的情况，处理效率变差。
进而，在多个任务访问共用设备时再追加了优先等级低的任务的情况下，结果上不发生优先等级低的任务全成为休眠的时间，多个任务只是按所设定的访问时间依次被处理，在优先等级高的任务的处理中花费时间。
此外，在专利文献2中，记载了根据优先级、按每个任务分配大小不同的处理单位、将各任务一边切换一边并行处理的技术，能够解决专利文献1的问题中的一些。但是， 与专利文献1同样，专利文献2所记载的技术是提高存储器控制部的处理效率的技术，而不是解决存储器访问的总线通信量的绝对容量的不足的技术。
这样，即使使用专利文献1或专利文献2所记载的技术来提高了存储器控制部的处理的效率，总线通信量的绝对容量的不足也得不到解决。因此，在必须高速处理通过超高像素的高速连拍得到的图像数据等的大容量的数据的情况下，不能以要求的处理速度进行处理。
的确，专利文献1和专利文献2所示的总线通信量的高效率的使用技术在传感器的像素是任意的像素数以下的情况下是有用的。但是，今后必须应对要实现使用超高像素传感器的高速摄像等的高速动作的新的功能的要求。在实现该要求时，如专利文献1及专利文献2所记载那样仅提高存储器控制部的处理效率是不够的，图像处理及数据处理的存储器访问的总线通信量的绝对容量会不足。
此外，在非专利文献1中，记载了安装专用的大容量DRAM、并且将多个任务分配给两个以上的图像处理LSI来实现的技术，但可以想到LSI间的大容量数据传输的发生、功能的重复等，在耗电、成本、以及安装面积的观点看并不是最佳的方法，到处都有改善的余地。
发明内容
所以，本发明是鉴于这样的情况而做出的，目的是提供一种能够将存储器访问的总线通信量大幅扩展、并且能够提高多个任务的存储器访问的自由度、提高对输入输出装置的处理的整体的效率的半导体装置及集成电路。
为了解决上述以往技术的问题，本发明的半导体装置，进行规定的功能处理的多个任务处理部能够相互独立地自由访问多个存储器，该半导体装置具备半导体基板；上述多个任务处理部，形成在上述半导体基板上，相互独立地从上述多个存储器之中选择1 个以上的存储器，并发出对所选择的存储器的存储器访问请求；以及能够相互独立地动作的多个存储器控制部，形成在上述半导体基板上，独立对应于上述多个存储器中的各个存储器，协调来自上述多个任务处理部的存储器访问请求，将发出了协调后的存储器访问请求的任务处理部与对应的存储器连接，以便能够传输数据。
由此，通过具备多个存储器控制部，能够将存储器之间的总线通信量大幅地扩展。 此外，多个任务处理部能够相互独立地经由多个存储器控制部对多个存储器进行访问，即能够任意地选择连接的存储器控制部，所以能够提高存储器访问的自由度。
此外，也可以是，上述多个任务处理部包括以下处理部中的至少1个图像处理部，对从外部输入的第1图像数据或者在上述多个存储器的至少1个存储器中存储的第2图像数据进行处理；压缩扩张处理部，变更上述第1图像数据、上述第2图像数据或者由上述图像处理部处理后的图像数据的尺寸；显示处理部，进行用于使显示装置显示上述第1 图像数据、上述第2图像数据或者由上述图像处理部或上述压缩扩张处理部处理后的图像数据的处理；以及处理器处理部，控制上述图像处理部、上述压缩扩张处理部及上述显示处理部中的至少一个。
由此，能够使要求更高速地处理大量的数据的图像处理高速化。
此外，也可以是，上述半导体装置还具备多端口接口部，该多端口接口部形成在上述半导体基板上，将上述多个任务处理部中的各个任务处理部与上述多个存储器控制部中的各个存储器控制部连接。
由此，能够容易地变更多个任务处理部与多个存储器控制部的连接关系。
此外，也可以是，上述多端口接口部具有向上述多个任务处理部中的各个任务处理部的输出端子、来自上述多个任务处理部中的各个任务处理部的输入端子、向上述多个存储器控制部中的各个存储器控制部的输出端子、以及来自上述多个存储器控制部中的各个存储器控制部的输入端子。
此外，也可以是，上述多端口接口部将上述多个任务处理部中的1个任务处理部与上述多个存储器控制部中的1个存储器控制部连接，将从连接的任务处理部输入的输入数据输出给连接的存储器控制部。
此外，也可以是，上述多端口接口部将上述多个任务处理部中的1个任务处理部与上述多个存储器控制部中的两个以上存储器控制部连接，将从连接的任务处理部输入的输入数据并行输出给连接的两个以上的存储器控制部。
此外，也可以是，上述多端口接口部将上述多个存储器控制部中的1个存储器控制部与上述多个任务处理部中的1个任务处理部连接，将从连接的多个存储器控制部输入的输入数据输出给连接的任务处理部。
此外，也可以是，上述多个任务处理部在同时进行有时间限制的多个处理的情况下，经由对各个任务处理部预先设定的存储器控制部，在与对应于该存储器控制部的存储器之间进行数据的传输。
由此，按照每个任务处理部预先设定要连接的存储器控制部，从而在同时使有时间限制的多个任务动作时，能够容易地管理存储器访问量的分散处理和分离处理。
此外，也可以是，上述多个任务处理部在同时进行有时间限制的多个处理的情况下，根据各个任务处理部进行的处理的种类，从上述多个存储器之中选择各个处理的数据的读出目标的存储器和写入目标的存储器，在与所选择的存储器之间进行数据的传输。
由此，根据处理的种类选择连接的存储器，所以在同时使有时间限制的多个任务动作时，能够容易地管理存储器访问量的分散处理和分离处理。例如，只要根据处理的种类选择连接的存储器、以使进行图像数据的处理的任务处理部与第1存储器连接、进行图像的大小调节处理的任务处理部与第2存储器连接就可以。
此外，也可以是，上述多个任务处理部中的各个任务处理部在分别同时进行有时间限制的多个处理的情况下，监视上述多个存储器控制部的访问状况，选择访问的空闲的比例比预先设定的阈值多的存储器控制部，经由所选择的存储器控制部在与对应于该存储器控制部的存储器之间进行数据的传输。
由此，根据访问状况选择连接的存储器，所以在同时使有时间限制的多个任务动作时，能够容易地管理存储器访问量的分散处理和分离处理。例如，只要根据存储器访问的空闲的比例选择连接的存储器控制部、以使得在存储器访问的空闲比某个阈值大的情况下与第1存储器控制部连接、在比该阈值小的情况下与第2存储器控制部连接就可以。
此外，也可以是，上述多个任务处理部在同时进行有时间限制的多个处理的情况下，在存储器访问处理比预先设定的阈值少时，仅选择上述多个存储器控制部中的1个存储器控制部，经由所选择的存储器控制部，在与对应于该存储器控制部的存储器之间进行数据的传输；上述多个存储器控制部中的、由上述多个任务处理部选择的存储器控制部以外的存储器控制部进行休眠动作。
由此，在访问处理较少的情况下，作为1个存储器控制部中的处理的集中动作，能够使其他存储器控制部进行休眠动作。由此能够实现节电。
此外，也可以是，上述多个任务处理部在同时进行有时间限制的多个处理的情况下，经由上述多个存储器控制部中的1个存储器控制部，在与对应于该存储器控制部的存储器之间进行数据的传输，还经由上述多个存储器控制部中的另一个存储器控制部，在与不同的存储器之间进行数据的传输。
由此，还能够根据需要而经由其他存储器控制部对其他存储器进行访问，所以能够使系统扩展动作。
此外，也可以是，上述多个任务处理部中的1个任务处理部在进行优先顺序比上述多个任务处理部中的其他任务处理部进行的处理高的处理的情况下，独占上述多个存储器控制部中的1个存储器控制部，经由独占的存储器控制部，在与对应于该存储器控制部的存储器之间进行数据的传输。
由此，1个任务处理部在进行优先顺序比其他任务处理部进行的处理高的处理的情况下独占1个存储器控制部，所以不需要来自其他处理部的中断带来的协调动作，所以能够高速地进行处理。这在搭载有多个CPU而执行网络协议处理、或软图形处理等的处理器处理的情况下特别有效。
此外，本发明的半导体集成电路，进行规定的功能处理的多个任务处理部能够相互独立地自由访问多个存储器，该半导体集成电路具备半导体基板；上述多个任务处理部，形成在上述半导体基板上，相互独立地从上述多个存储器之中选择1个以上的存储器， 并发出对所选择的存储器的存储器访问请求；以及能够相互独立地动作的多个存储器控制部，形成在上述半导体基板上，独立对应于上述多个存储器中的各个存储器，协调来自上述多个任务处理部的存储器访问请求，将发出了协调后的存储器访问请求的任务处理部与对应的存储器连接，以便能够传输数据。
由此，通过具备多个存储器控制部，能够将存储器之间的总线通信量大幅扩展。此外，由于多个任务处理部能够相互独立地经由多个存储器控制部对多个存储器进行访问， 即能够并行动作，所以能够提高存储器访问的自由度。
此外，也可以是，上述半导体集成电路将上述多个存储器的至少1个搭载在该半导体集成电路的芯片内部。
此外，也可以是，上述半导体集成电路与上述多个存储器的至少1个一起混载在同一个封装内部。
此外，也可以是，上述半导体集成电路在与作为上述多个存储器的外部的通用存储器之间传输数据。
由此，能够独立地对外部的通用存储器进行访问，所以通过充分地实现与现状的系统平台的亲和性，能够有效地利用过去的设计资产。
此外，本发明的摄像装置具备摄像部，通过拍摄来自被摄体的光而生成图像数据；多个存储器，存储由上述摄像部生成的图像数据；多个任务处理部，相互独立地从上述多个存储器之中选择1个以上的存储器，发出对所选择的存储器的存储器访问请求，并进行规定的功能处理；以及能够相互独立地动作的多个存储器控制部，独立对应于上述多个存储器中的各个存储器，协调来自上述多个任务处理部的存储器访问请求，将发出了协调后的存储器访问请求的任务处理部与对应的存储器连接，以便能够传输数据。上述多个任务处理部包括以下处理部中的至少1个图像处理部，对由上述摄像部生成的第1图像数据或者在上述多个存储器的至少1个存储器中存储的第2图像数据进行处理；压缩扩张处理部，变更上述第1图像数据、上述第2图像数据或者由上述图像处理部处理后的图像数据的尺寸；显示处理部，进行用于使显示装置显示上述第1图像数据、上述第2图像数据或者由上述图像处理部或上述压缩扩张处理部处理后的图像数据的处理；以及处理器处理部，控制上述图像处理部、上述压缩扩张处理部及上述显示处理部中的至少一个。
由此，能够将通过摄像得到的图像高速地处理，所以能够实现高像素的高速连拍功能、以及高速摄像功能等。
发明效果 根据本发明的半导体装置及半导体集成电路，能够将图像处理及数据处理的存储器访问的总线通信量大幅扩展，并且能够提高多个任务的存储器访问的自由度，提高存储器访问处理的整体的效率，实现高速应用。
图1是表示本实施方式的半导体装置的基本结构的模块图。
图2是表示具备本实施方式的半导体装置的摄像装置的结构的模块图。
图3A是表示具备本实施方式的半导体装置的数字静像照相机的一例的图。
图;3B是表示具备本实施方式的半导体装置的数字摄像机的一例的图。
图4是表示本实施方式的半导体装置进行的任务的信号的流向的一例的图。
图5是表示本实施方式的半导体装置的结构的变形例的一例的模块图。
图6A是表示本实施方式的半导体集成电路的安装例的图。
图6B是表示本实施方式的半导体集成电路的安装例的图。
图6C是表示本实施方式的半导体集成电路的安装例的图。
图7是表示以往的图像处理装置的结构的模块图。
具体实施例方式以下，按照附图对本发明的半导体装置及半导体集成电路的优选的实施方式详细地说明。本发明的半导体装置及半导体集成电路例如安装在将通过摄像得到的图像数据记录及再现的图像记录再现装置中。
图1是表示本实施方式的半导体装置100的基本结构的模块图。该图所示的半导体装置100在半导体基板(未图示)上具备存储器控制部101及102、任务处理部103及 104、和多端口接口 105及106。该半导体装置100对存储器110及111进行访问，一边进行数据的读写一边进行多个功能处理。另外，存储器110及111的至少1个也可以形成在相同的半导体基板上。
存储器控制部101及102分别独立地对应于外部的两个存储器110及111各自而装备，能够相互独立地访问对应的存储器110或111。例如，存储器控制部101协调来自任务处理部103及104的访问请求，按照协调后的访问请求从存储器110读出数据或向存储器110写入数据。存储器控制部102同样从存储器111读出数据，或者向存储器111写入数据。这些访问处理相互独立地执行。
任务处理部103及104分别进行能够同时动作的图像处理及数据处理。具体而言， 任务处理部103及104各自相互独立地从多个存储器110及111之中选择1个以上的存储器，发出对所选择的存储器的存储器访问请求，在各存储器之间传输数据。任务处理部103 及104经由多端口接口 105及106对两个存储器110及111任意地进行数据的传输。关于任务处理部103及104在怎样的情况下访问哪个存储器，使用具体例在后面叙述。
多端口接口 105及106将从任务处理部103及104输出的访问请求根据是对存储器110及111的哪个的访问请求，来输出给对应的存储器控制部101或102。多端口接口 105及106为了独立地访问两个存储器而能够独立地动作。
多端口接口 105及106具备多个任务处理部各自的输入端子和输出端子，还按照多个任务处理部的每个任务处理部而具备多个存储器控制部各自的输入端子和输出端子。 具体而言，多端口接口 105及106分别具有用来向任务处理部103及104分别输出数据的输出端子(任务处理部用)、和用来从任务处理部103及104分别输入数据的输入端子(任务处理部用)。还具有用来向存储器控制部101及102分别输出数据的输出端子(存储器控制部用)、和用来从存储器控制部101及102分别输入数据的输入端子(存储器控制部用)。
多端口接口 105例如基于从任务处理部103的控制，将任务处理部103与存储器控制部101连接，将从任务处理部103经由输入端子(任务处理部用)输入的数据经由输出端子(存储器控制部用)向存储器控制部101输出。或者，将从存储器控制部101经由输入端子(存储器控制部用)输入的数据经由输出端子(任务处理部用)向任务处理部103 输出。
此外，多端口接口 105也可以将任务处理部103与存储器控制部101及102的两者连接。并且，将从任务处理部103经由输入端子(任务处理部用)输入的数据经由两个输出端子(存储器控制部用)向存储器控制部101及102的两者输出。S卩，多端口接口 105 对存储器控制部101及102输出相同的数据。
如上所述，在本实施方式的半导体装置100中，每个存储器具备存储器控制部，从而多个任务处理部各自能够独立地自由访问多个存储器。
图2是表示具备本实施方式的半导体装置的摄像装置200的结构的模块图。该图的摄像装置200例如是如图3A及图;3B所示的、将摄像的被摄体的光学像变换为数字图像数据而记录到记录介质中的单板式的数字照相机(数字静像照相机或数字摄像机)。摄像装置200具备摄像部210、图像处理部220、存储器240及Ml、和操作面板250。另外，图像处理部220相当于图1所示的半导体装置100。
摄像部210具备光学透镜211、光学低通滤波器(LPF =Low Pass Filter) 212、滤色器213、摄像元件214、和模拟前端(AFE =Analog Front End)部215。
光学透镜211是将来自被摄体的光成像在摄像元件214上的透镜。通过了光学透镜211的光通过光学LPF212和滤色器213，在摄像元件214的受光面上成像。
光学LPF212将取决于摄像元件214的像素间距等的采样频率以上的高频率成分除去。由此，防止在信号处理后的图像中发生失真。
滤色器213是仅使指定的频率成分的透过的滤波器，例如构成为，按照摄像元件 214的每个像素仅使对应于RGB各自的频率成分透过。
摄像元件214是以CCD (Charge Coupled Device :电荷耦合器件)型、或 CMOS (Complementary Metal Oxide kmiconductor :互补金属氧化物半导体)型等为代表的图像传感器。在摄像元件214的受光面上2维排列有许多光电二极管(感光像素)，将通过了光学透镜211的光(被摄体信息)进行光电变换。具体而言，成像在摄像元件214的受光面上的被摄体像通过各光电二极管变换为对应于入射光量的量的信号电荷。并且，信号电荷基于从驱动电路(未图示)提供的脉冲，作为对应于信号电荷的电压信号(图像信号)依次被读出。
另外，摄像元件214具有通过快门栅极脉冲的定时来控制各光电二极管的电荷积蓄时间(快门速度)的电子快门功能。摄像元件214的动作(曝光及读出等)由CPU225 控制。
AFE部215对从摄像元件214输出的图像信号进行模拟增益的调节以及⑶S (相关双采样)等的处理，通过A/D变换处理变换为数字信号。
这样摄像部210如上述那样构成，通过将来自被摄体的光变换为电信号而生成数字的图像信号。将数字的图像信号输出到图像处理部220，根据需要而执行各种处理，记录到存储卡等的记录介质(未图示)中。
另外，在以CMOS型为代表的摄像元件214中，作为实现高速读出的机构，也可以在该摄像元件214内安装噪声处理部、A/D变换器和并行串行变换器，直接作为数字信号输出ο 图像处理部220根据需要对从摄像部210输入的图像数据执行图像处理，将处理后的图像数据记录到记录介质等中。图像处理部220具备前处理部221、图像信号处理部 222、压缩扩张处理部223、记录介质接口 224、CPU225、R0M(Read Only Memory) 226、RAM227、 显示处理部228、监视器接口 229、存储器控制部230及231。另外，前处理部221、图像信号处理部222、压缩扩张处理部223、记录介质接口 224、CPU225、显示处理部228、和监视器接口 2 相当于图1所示的任务处理部103及104。
前处理部221是对从图像处理部220的外部输入的图像数据处理图像数据的图像处理部之一。具体而言，前处理部221对从AFE部215供给的图像数据(图像信号)执行黑电平修正及增益修正等的处理(前处理)。被执行了前处理的图像数据经由存储器控制部230或231存储到存储器240或241中。此外，前处理部221包括在摄像部210摄像时进行自动曝光(AE Automatic Exposure)控制及自动焦点调节(AF =Auto-Focus)控制所需要的运算的自动运算部，根据随着操作面板250中包含的释放开关的半按下而取入的图像信号进行焦点评价值运算及AE运算等。
图像信号处理部222将存储在存储器240或241中的图像数据经由存储器控制部 230或231读出，对所读出的图像数据执行各种图像处理。例如，图像信号处理部222从存储器240或241读出由前处理部221执行前处理后的图像数据，并对所读出的图像数据执行图像处理。
图像处理例如是同步处理(对伴随着滤色器排列的颜色信号的空间偏移进行修正并计算各点的颜色的处理)、白平衡(WB:White Balance)调整、伽马修正、亮度-色差信号生成、轮廓强调、基于电子缩放功能的变倍(放大/缩小)处理、像素数的变换(大小调整)处理等。被适用了图像处理的图像数据经由存储器控制部230或231存储到存储器 240或Ml中。
压缩扩张处理部223将存储在存储器240或241中的图像数据经由存储器控制部 230或231读出，按照规定的压缩格式，将所读出的图像数据压缩。例如，压缩扩张处理部 223从存储器240或Ml读出由图像信号处理部222执行图像处理后的图像数据，将所读出的图像数据压缩或扩张。规定的压缩格式例如是基于JPEG(Joint Photographic Experts Group)形式、MPEG (Moving Picture Experts Group)形式、以及其他形式的压缩形式。在压缩扩张处理部223中，使用与所使用的压缩形式对应的压缩引擎。
记录介质接口 2M是在图像处理部220具备的各处理部(例如压缩扩张处理部 223等)以及存储器240及Ml、与记录介质(未图示)之间传输数据的接口。记录介质并不限定于以存储卡为代表的半导体存储器，可以使用磁盘、光盘、光磁盘等的各种媒体。此外，并不限于可移除介质，也可以是内置在摄像装置200中的记录媒体(内部存储器)。
CPU225是按照规定的程序综合控制摄像装置200的控制部，基于来自操作面板 250的指示信号，控制摄像装置200内的各处理部的动作。具体而言，CPU225根据从操作面板250输入的指示信号，按照各种摄像条件(曝光条件、闪光灯发光有无、摄像模式等)控制摄像元件214等的摄像部210，并且进行自动曝光(AE)控制、自动焦点调节(AF)控制、自动白平衡(AWB)控制、透镜驱动控制、图像处理控制、以及记录介质的读写控制等。
R0M226是存储CPU225执行的程序及控制所需要的各种数据等的存储器。
RAM227被作为CPU225的工作区域使用。
显示处理部2 进行用来使摄像装置200具备的图像显示用的监视器显示从存储器240或241读出的图像数据的处理。例如，显示处理部2 读出由图像信号处理部222 和压缩扩张处理部的至少1个处理后的图像数据，对所读出的图像数据进行用来使图像显示用的监视器显示的处理。例如，相应于监视器的像素数而变更图像数据的尺寸。
监视器接口 2 是为了使摄像装置200具备的图像显示用的监视器显示由显示处理部2 处理后的图像而在显示处理部228与监视器之间传输数据的接口。另外，图像显示用的监视器也可以是外部的显示器。
存储器控制部230及231协调来自图像处理部220具备的各处理部的存储器访问请求，使得在发出了协调的访问请求的处理部与存储器之间能够进行数据的传输。存储器控制部230及231分别对应于存储器240及M1，在与对应的存储器之间进行数据的传输。 另外，存储器控制部230及231分别相当于图1所示的存储器控制部101及102。
存储器240及241存储由摄像部210生成的图像数据。此外，存储器240及241 存储由图像处理部220实施了各种处理后的图像数据。另外，存储器240及241分别相当于图1的存储器110及111。
操作面板250是用于用户对摄像装置200输入各种指示的机构。例如，包括用来选择摄像装置200的动作模式的模式选择开关、输入菜单项目的选择操作(光标移动操作) 及再现图像的画面前进/画面后退等的指示的十字键、指示选择项目的确定(登记)及动作的执行的执行键、用来进行选择项目等的希望的对象的删除及指示的取消的取消键、电源开关、缩放开关及释放开关等的各种开关及触摸面板等的操作机构。
另外，图1所示的多端口接口 105及106将相当于图1所示的任务处理部103及 104的前处理部221、图像信号处理部222、压缩扩张处理部223、记录介质接口 224、CPU225 及显示处理部228、与存储器控制部230及231之间分别连接。
接着，对本实施方式的摄像装置200执行的从摄像处理到将通过该摄像处理得到的图像数据记录到记录介质中的处理为止的处理简单地说明。
首先，CPU225如果检测到释放开关的半按下，则进行自动焦点调节(AF)控制，如果检测到释放开关的全按下，则开始用来将记录用的图像取入的曝光及读出控制。此外， CPU225根据需要而对闪光灯控制电路(未图示)发送命令，控制氙管等的闪光发光管(发光部)的发光。
如果检测到释放开关的半按下，则前处理部221具备的自动运算部基于随着释放开关的半按下而取入的图像信号进行焦点评价值运算及AE运算等，将其运算结果传送给 CPU225。如果检测到释放开关的全按下，则CPU225基于焦点评价值运算的结果，控制透镜驱动用马达(未图示)，使光学透镜211移动到对焦位置，并且控制光圈及电子快门，进行曝光控制。由摄像元件214生成的电信号通过AFE部215变换为数字信号，作为图像信号被供给至图像处理部220。
图像处理部220按照记录模式，将从摄像部210供给的图像数据经由记录介质接口 2M记录到记录介质中。此时，图像数据能够以基于JPEG形式的图像记录模式、以及基于MPEG形式的运动图像记录模式进行记录，还能够以作为不执行压缩处理等的A/D变换紧后的图像来记录的RAW记录模式进行记录。以下，将以RAW模式记录的图像记载为CXDRAW 图像。此外，将由AFE部215进行A/D变换仅后的图像数据记载为RAW数据。
在将图像数据以JPEG形式记录的情况下，前处理部221对RAW数据执行前处理， 经由存储器控制部230或231将处理后的图像数据存储到存储器240或Ml中。另外，这里对经由存储器控制部230存储到存储器MO中的情况进行说明。
图像信号处理部222经由存储器控制部230将存储在存储器240中的图像数据读出，对所读出的图像数据执行图像处理。并且，经由存储器控制部231将处理后的图像数据存储到存储器Ml中。这样，前处理部221和图像信号处理部222经由相互不同的存储器控制部对相互不同的存储器进行访问，所以能够使相互的处理并行动作。
进而，压缩扩张处理部223经由存储器控制部231从存储器241读出图像数据，将所读出的图像数据按照JPEG形式的压缩格式压缩。压缩后的图像数据经由记录介质接口 2M记录到记录介质中。
另一方面，在RAW模式的情况下，RAW数据不被实施图像信号处理部222及压缩扩张处理部223等的信号处理，而经由存储器控制部230或231、和记录介质接口 2 记录到记录介质中。即，CXDRAW图像是没有进行伽马修正、白平衡调整、同步等的信号处理的图像， 是对应于滤色器213的排列图形、按每个像素仅保持1个不同的颜色信息的马赛克状的图像。当然也不被进行压缩处理，所以具有较大的文件尺寸。另外，在将CXDRAW图像记录到记录介质中时，既可以进行可逆的压缩而记录，也可以记录非压缩的数据。
如上所述，本实施方式的摄像装置200具备两个对应于存储器240及241各自的存储器控制部230及231。由此，能够将存储器与存储器控制部之间的存储器总线通信量的绝对容量大幅扩展。此外，通过具备对应于存储器的存储器控制部，各处理部能够独立地自由设定对哪个存储器进行访问，能够提高存储器访问的自由度。
接着，对通过如上述那样构成的摄像装置200实现摄像的高速应用之一的高像素下的高速连拍的方法进行说明。
图4是表示本实施方式的半导体装置100进行的任务的信号的流向的一例。在该图中，任务处理部103被分配给图2的前处理部221。任务处理部104被分配给图2的图像信号处理部222及压缩扩张处理部223。这些处理是在存储器访问的总线通信量中占用的比例较大的任务处理，通过整理这些任务处理的流向，能够容易地实现高速连拍。另外，以下说明以JPEG形式记录由摄像部210通过高速连拍而生成的图像数据的情况。
对于RAW数据，由分配给任务处理部103的前处理部221执行前处理。任务处理部103经由连接在存储器控制部101上的多端口接口 105向存储器110连续地写入连拍张数量的图像数据。
被分配给任务处理部104的图像信号处理部222与该写入动作并行而通过存储器控制部101的协调动作，经由多端口接口 106从存储器110读出图像数据。并且，任务处理部104执行同步处理、WB调整、伽马修正、亮度-色差信号生成、轮廓强调、基于电子缩放功能的变倍处理、像素数的变换处理等的各种处理。并且，任务处理部104经由与另一个存储器控制部102连接的多端口接口 106，向存储器111写入处理后的图像数据。
进而，被分配给任务处理部104的压缩扩张处理部223经由与存储器控制部102 连接的多端口接口 106，从存储器111读出处理后的图像数据。任务处理部104实施JPEG 压缩处理，经由多端口接口 106向存储器111写入压缩处理后的JPEG形式的图像数据。
如上所述，使处理负荷较高的处理、即存储器访问的总线通信量所示的比例较大的任务处理利用分别不同的存储器控制部，访问不同的存储器，从而能够有效地利用扩展的总线通信量。
另外，在上述说明的处理中，多端口接口 105将从任务处理部103的输入端子与向存储器控制部101的输出端子连接。此外，多端口接口 106将从存储器控制部101的输入端子与向任务处理部104的输出端子、将从任务处理部104的输入端子与向存储器控制部 102的输出端子、将从存储器控制部102的输入端子与向任务处理部104的输出端子分别连接。进行哪个连接例如通过CPU225等控制。
此外，说明了以JPEG形式实现连拍的信号的流向，但在帧速率较高的运动图像摄像的情况下也通过同样的处理、使用两个存储器控制部101及102来分散数据的总线通信量而实施处理。
此外，在图2中，作为任务处理，除此以外还有记录介质接口 224、CPU225及显示处理部2 等，也可以追加相当于这些处理部的任务处理部。即，通过将追加的任务处理部与存储器控制部101及102连接，使用两个存储器控制部101及102来分散数据的总线通信量而进行并行动作的图像信号的处理。
接着，说明本实施方式的半导体装置100具备的多个任务处理部在如图4所示同时执行有时间限制的多个处理的情况下、对哪个任务处理部在与哪个存储器之间进行数据的传输进行控制的处理。
例如，多个任务处理部103及104也可以根据各自进行的处理的种类而选择各自的数据的读出目标(源)的存储器和写入目标(目的地)的存储器。另外，例如由CPU225 决定哪个任务处理部利用哪个存储器。在图4所示的例子中，CPU225进行控制，以将被执行了前处理的图像数据存储到存储器110中，将被执行了图像信号处理的图像数据存储到存储器111中。
由此，能够执行存储器访问量的分散处理和分离处理。另外，也可以对任务处理部 103及104分别预先设定进行数据的传输的存储器。
此外，也可以根据存储器控制部的访问状况来决定进行数据的传输的存储器。具体而言，多个任务处理部103及104在动作之前监视多个存储器控制部101及102的访问状况。并且，任务处理部103及104分别选择访问的空闲的比例比预先设定的阈值多的存储器控制部。并且，在与对应于所选择的存储器控制部的存储器之间进行数据的传输，从而能够执行存储器访问量的分散处理和分离处理。
另外，这里，由于任务处理部103及104从两个存储器控制部101及102中选择存储器控制部，所以例如选择两个存储器控制部101及102中的、访问的空闲较多的存储器控制部。在半导体装置100具备3个以上的存储器控制部的情况下，任务处理部103及104 也可以选择访问的空闲最多的存储器控制部。
例如，在图4所示的例子中，在任务处理部103经由存储器控制部101对存储器 110写入了图像数据的情况下，任务处理部104经由存储器控制部101从存储器110读出图像数据。因而，通过这些处理，向存储器Iio的访问的空闲变少，所以任务处理部104通过经由存储器控制部102将处理后的图像数据写入到存储器111中，能够将存储器访问量分散。
此外，在存储器访问处理比预先设定的阈值少的情况下，也可以仅利用1个存储器控制部。具体而言，在摄像元件214具有的传感器的像素数比规定的阈值少的情况、或者在运动图像的帧速率比规定的阈值小的情况等的存储器访问处理较少的情况下，多个任务处理部103及104仅选择1个存储器控制部(例如存储器控制部101)，在与对应于所选择的存储器控制部的存储器(例如存储器110)之间进行数据的传输。在此情况下，所选择的存储器控制部101协调来自多个任务处理部103及104的存储器访问请求，经由多端口接口 105及106与协调后的任务处理连接，以在协调的任务处理部与存储器110之间传输数据。
由此，仅使用1个存储器控制部，所以能够使其他存储器控制部(例如存储器控制部102)休眠动作，能够减少耗电。
此外，在存储器访问处理比预先设定的阈值多的情况下等，1个任务处理部也可以利用多个存储器控制部。例如，任务处理部103也可以经由存储器控制部101向存储器110进行数据的传输，还经由存储器控制部102向存储器111进行数据的传输。由此，能够使存储器访问量分散。
此外，如图5所示，也可以通过增设存储器而使系统进行扩展动作。图5是表示本实施方式的半导体装置的结构的变形例的一例的模块图。该图所示的半导体装置IOOa与图1所示的半导体装置100相比，不同的是还具备存储器控制部121。
存储器控制部121对应于新增设的存储器130，在存储器130与任务处理部103及 104之间进行数据的传输。
这样，半导体装置IOOa在增设了存储器130的情况下，也通过事先具备存储器控制部121，能够在与增设的存储器130之间与其他存储器110或111同样进行数据的传输。 即，半导体装置IOOa只要为存储器的增设具有连接存储器的1个以上的插座、具备对应于该插座的数量的存储器控制部就可以。
此外，也可以使进行优先顺序高的处理的任务处理部独占1个存储器控制部。例如，在任务处理部103进行优先顺序比任务处理部104进行的处理高的处理的情况下，也可以独占存储器控制部101。由此，存储器控制部101也可以不进行由来自任务处理部104的中断带来的存储器访问请求的协调，所以能够在与任务处理部103之间高速进行数据的传输。
这在搭载多个CPU而执行网络协议处理、或者软图形处理等的处理器处理的情况下特别有效。
接着，对本实施方式的半导体装置100的安装例进行说明。
图6A 图6C是表示将本实施方式的摄像装置200具备的各处理部作为半导体集成电路安装到半导体基板上的情况下的安装例的图。在图6A所示的例子中，相当于图1的半导体装置100的任务功能LSI301被安装成与外部的通用存储器302及303连接。
在图6B所示的例子中，将任务功能LSI311和通用存储器313混载到1个封装内部中。任务功能LSI311被安装成将封装内部的通用存储器313与外部的通用存储器312 连接。
在图6C所示的例子中，任务功能LSI321在芯片内部中搭载通用存储器323。任务功能LSI321被安装成将芯片内部的通用存储器323与外部的通用存储器322连接。另外，本实施方式的半导体装置、即任务功能LSI也可以将以上的安装例组合，此外也可以与其他存储器连接，并没有限定安装方法。
如上所述，本实施方式的半导体装置及半导体集成电路通过安装多个能够独立地对多个存储器进行访问动作的存储器控制部，能够使多个任务处理部并行动作。由此，能够将多个任务处理部与多个存储器之间的存储器访问的总线通信量大幅扩展。此外，由于多个任务处理部能够相互独立地访问存储器，所以能够提高存储器访问的自由度。由此，能够提高存储器访问处理的整体的效率。
以上，基于实施方式对本发明的半导体装置及半导体集成电路进行了说明，但本发明并不限定于这些实施方式。只要不脱离本发明的主旨，对该实施方式实施了本领域技术人员想到的各种变形后的形态也包含在本发明的范围内。
例如，在图6A 图6C中，对多个存储器的中的1个存储器是外部的通用存储器的结构进行了说明，但也可以将多个存储器全部装备在芯片内部中。此外，也可以在1个封装
17中混载全部的通用存储器。
工业实用性 如以上说明，本发明的半导体装置及半导体集成电路能够利用于进行图像的摄像、记录、以及再现处理的摄像装置，例如作为高像素的高速连拍摄像、或高速摄像等的以高速动作的数字照相机具有实用性。
0149]标号说明0150]100、IOOa半导体装置0151]101、102、121、230、231、402 存储器控制部0152]103、104任务处理部0153]105、106多端口接口0154]110、111、130、240、241、401 存储器0155]200摄像装置0156]210摄像部0157]211光学透镜0158]212光学LPF0159]213滤色器0160]214摄像元件0161]215AFE 部0162]220图像处理部0163]221前处理部0164]222图像信号处理部0165]223压缩扩张处理部0166]2M记录介质接口0167]225CPU0168]226R0M0169]227RAM0170]228显示处理部0171]229监视器接口0172]250操作面板0173]301、311、321 任务功能 LSI0174]302、303、312、313、322、323 通用存储器0175]400图像处理装置0176]403A/D变换器0177]404记录媒体0178]405图像显示部
18
权利要求
1.一种半导体装置，进行规定的功能处理的多个任务处理部能够相互独立地自由访问多个存储器，该半导体装置具备半导体基板；上述多个任务处理部，形成在上述半导体基板上，相互独立地从上述多个存储器之中选择1个以上的存储器，并发出对所选择的存储器的存储器访问请求；以及能够相互独立地动作的多个存储器控制部，形成在上述半导体基板上，独立对应于上述多个存储器中的各个存储器，协调来自上述多个任务处理部的存储器访问请求，将发出了协调后的存储器访问请求的任务处理部与对应的存储器连接，以便能够传输数据。
2.如权利要求1所述的半导体装置，其中，上述多个任务处理部包括以下处理部中的至少1个图像处理部，对从外部输入的第1图像数据或者在上述多个存储器的至少1个存储器中存储的第2图像数据进行处理；压缩扩张处理部，变更上述第1图像数据、上述第2图像数据或者由上述图像处理部处理后的图像数据的尺寸；显示处理部，进行用于使显示装置显示上述第1图像数据、上述第2图像数据或者由上述图像处理部或上述压缩扩张处理部处理后的图像数据的处理；以及处理器处理部，控制上述图像处理部、上述压缩扩张处理部及上述显示处理部中的至少一个。
3.如权利要求1或2所述的半导体装置，其中，上述半导体装置还具备多端口接口部，该多端口接口部形成在上述半导体基板上，将上述多个任务处理部中的各个任务处理部与上述多个存储器控制部中的各个存储器控制部连接。
4.如权利要求3所述的半导体装置，其中，上述多端口接口部具有向上述多个任务处理部中的各个任务处理部的输出端子、来自上述多个任务处理部中的各个任务处理部的输入端子、向上述多个存储器控制部中的各个存储器控制部的输出端子、以及来自上述多个存储器控制部中的各个存储器控制部的输入端子。
5.如权利要求3或4所述的半导体装置，其中，上述多端口接口部将上述多个任务处理部中的1个任务处理部与上述多个存储器控制部中的1个存储器控制部连接，将从连接的任务处理部输入的输入数据输出给连接的存储器控制部。
6.如权利要求3或4所述的半导体装置，其中，上述多端口接口部将上述多个任务处理部中的1个任务处理部与上述多个存储器控制部中的两个以上存储器控制部连接，将从连接的任务处理部输入的输入数据并行输出给连接的两个以上存储器控制部。
7.如权利要求3或4所述的半导体装置，其中，上述多端口接口部将上述多个存储器控制部中的1个存储器控制部与上述多个任务处理部中的1个任务处理部连接，将从连接的多个存储器控制部输入的输入数据输出给连接的任务处理部。
8.如权利要求1 4中任一项所述的半导体装置，其中，上述多个任务处理部在同时进行有时间限制的多个处理的情况下，经由对各个任务处理部预先设定的存储器控制部，在与对应于该存储器控制部的存储器之间进行数据的传输。
9.如权利要求1 4中任一项所述的半导体装置，其中，上述多个任务处理部在同时进行有时间限制的多个处理的情况下，根据各个任务处理部进行的处理的种类，从上述多个存储器之中选择各个处理的数据的读出目标的存储器和写入目标的存储器，并在与所选择的存储器之间进行数据的传输。
10.如权利要求1 4中任一项所述的半导体装置，其中，上述多个任务处理部分别在同时进行有时间限制的多个处理的情况下，监视上述多个存储器控制部的访问状况，选择访问的空闲的比例比预先设定的阈值多的存储器控制部， 并经由所选择的存储器控制部在与对应于该存储器控制部的存储器之间进行数据的传输。
11.如权利要求1 4中任一项所述的半导体装置，其中，上述多个任务处理部在同时进行有时间限制的多个处理的情况下，在存储器访问处理比预先设定的阈值少时，仅选择上述多个存储器控制部中的1个存储器控制部，并经由所选择的存储器控制部，在与对应于该存储器控制部的存储器之间进行数据的传输；上述多个存储器控制部中的、由上述多个任务处理部选择的存储器控制部以外的存储器控制部进行休眠动作。
12.如权利要求1 4中任一项所述的半导体装置，其中，上述多个任务处理部在同时进行有时间限制的多个处理的情况下，经由上述多个存储器控制部中的1个存储器控制部，在与对应于该存储器控制部的存储器之间进行数据的传输，还经由上述多个存储器控制部中的另一个存储器控制部，在与不同的存储器之间进行数据的传输。
13.如权利要求1 4中任一项所述的半导体装置，其中，上述多个任务处理部中的1个任务处理部在进行优先顺序比上述多个任务处理部中的其他任务处理部进行的处理高的处理的情况下，独占上述多个存储器控制部中的1个存储器控制部，并经由独占的存储器控制部，在与对应于该存储器控制部的存储器之间进行数据的传输。
14.一种半导体集成电路，进行规定的功能处理的多个任务处理部能够相互独立地自由访问多个存储器，该半导体集成电路具备半导体基板；上述多个任务处理部，形成在上述半导体基板上，相互独立地从上述多个存储器之中选择1个以上的存储器，并发出对所选择的存储器的存储器访问请求；以及能够相互独立地动作的多个存储器控制部，形成在上述半导体基板上，独立对应于上述多个存储器中的各个存储器，协调来自上述多个任务处理部的存储器访问请求，将发出了协调后的存储器访问请求的任务处理部与对应的存储器连接，以便能够传输数据。
15.如权利要求14所述的半导体集成电路，其中，上述半导体集成电路将上述多个存储器中的至少1个存储器搭载在该半导体集成电路的芯片内部。
16.如权利要求14所述的半导体集成电路，其中，上述半导体集成电路与上述多个存储器中的至少1个存储器一起混载在同一个封装内部。
17.如权利要求14所述的半导体集成电路，其中，上述半导体集成电路在与作为上述多个存储器的外部的通用存储器之间传输数据。
18.一种摄像装置，具备摄像部，通过拍摄来自被摄体的光而生成图像数据；多个存储器，存储由上述摄像部生成的图像数据；多个任务处理部，相互独立地从上述多个存储器之中选择1个以上的存储器，发出对所选择的存储器的存储器访问请求，并进行规定的功能处理；以及能够相互独立地动作的多个存储器控制部，独立对应于上述多个存储器中的各个存储器，协调来自上述多个任务处理部的存储器访问请求，将发出了协调后的存储器访问请求的任务处理部与对应的存储器连接，以便能够传输数据。上述多个任务处理部包括以下处理部中的至少1个图像处理部，对由上述摄像部生成的第1图像数据或者在上述多个存储器的至少1个存储器中存储的第2图像数据进行处理；压缩扩张处理部，变更上述第1图像数据、上述第2图像数据或者由上述图像处理部处理后的图像数据的尺寸；显示处理部，进行用于使显示装置显示上述第1图像数据、上述第2图像数据或者由上述图像处理部或上述压缩扩张处理部处理后的图像数据的处理；以及处理器处理部，控制上述图像处理部、上述压缩扩张处理部及上述显示处理部中的至少一个。
全文摘要
将存储器访问的总线通信量大幅扩展，并且提高多个任务的存储器访问的自由度，提高对输入输出装置的处理的整体效率。一种半导体装置(100)，进行规定的功能处理的任务处理部(103、104)能够相互独立地自由访问存储器(110、111)，具备任务处理部(103、104)，相互独立地从存储器(110、111)之中选择1个存储器，发出对所选择的存储器的存储器访问请求；能够相互独立地动作的存储器控制部(101、102)，独立地对应于存储器(110、111)的每一个，协调来自任务处理部(103、104)的存储器访问请求，将发出了协调后的存储器访问请求的任务处理部与对应的存储器连接，以便能够进行数据的传输。
文档编号G06F12/06GK102187322SQ20098014087
公开日2011年9月14日 申请日期2009年4月20日 优先权日2008年10月15日
发明者秦野敏信 申请人:松下电器产业株式会社