专利名称：图像处理系统、装置、方法和计算机程序的制作方法
背景技术：
发明领域本发明涉及根据多个图像数据产生三维图像的图像处理系统和图像处理方法，每一图像数据包括深度信息和颜色信息。
相关技术的说明在产生三维图像的三维图像处理器(以下简称“图像处理器”)中，使用现有计算机系统中广泛通用的帧缓冲器和z-缓冲器。即这种图像处理器具有一个插值计算器和一个包括帧缓冲器和z-缓冲器的存储器，该插值计算器从图像处理单元接收通过几何处理生成的图形数据并且根据接收的图形数据进行插值计算以生成图像数据。
在帧缓冲器中，提取图像数据，该图像数据包括要处理的三维图像的诸如R(红)值、G(绿)值和B(蓝)值之类的颜色信息。在z-缓冲器中，每一代表距离特定视点的像素的深度距离，如操作员观看的显示器的表面的z-坐标被存储。插值计算器接收图形数据，例如用于三维图像的基本配置图形的多边形的绘图命令，三维坐标系统中多边形的顶点坐标和每一像素的颜色信息。插值计算器进行深度距离和颜色信息的插值计算以逐个像素地产生表示深度距离和颜色信息的图像数据。通过插值计算获得的深度距离被存储在z-缓冲器的预定地址中，而获得的颜色信息被存储在帧缓冲器的预定地址中。
在三维图像彼此重叠的情况下，它们通过z-缓冲器算法来调整。z-缓冲器算法指利用z-缓冲器进行的隐藏面处理，即删除由其它图像隐藏的位置上的彼此重叠部分的图像的处理。z-缓冲器算法对在一个一个像素基础上对需要形成的多个图像的相邻的z-坐标彼此进行比较，并且对于显示器表面前后调整图像之间的关系。然后，如果深度距离较短，即图像置于靠近视点的位置，则形成图像；另一方面，如果图像置于远离视点的位置，则不形成图像。由此，删除置于隐藏位置的重叠部分的图像。
使用多个这样的图像处理器的示例在文献“计算机图形原理和实践”中被称做“图像组合结构”。
引用在上述文献中的图像处理系统具有4个图像处理器和3个合并器A、B、C。4个图像处理器中，2个与合并器A相连而另2个与合并器B相连。合并器A和B与剩余的合并器C相连。
图像处理器生成包括颜色信息和深度距离的图像数据并把生成的图像数据分别传送给相对应的合并器A和B。每一合并器A和B会根据深度距离合并从相对应的图像处理器传送的图像数据以产生组合图像数据，并且把该组合图像数据传送给合并器C。合并器C合并从合并器A和B传送的图像数据以产生最终的组合图像数据，并且使显示单元(未示出)根据最终的组合图像数据显示组合图像。
在进行上述处理的图像处理系统中，图像处理器的输出应彼此完全同步并且合并器A、B的输出也应彼此完全同步。例如，当每一图像处理器和合并器均由半导体装置组成时，由于诸如每一半导体装置之间布线长度的因素，需要复杂的控制以使输出完全同步。
如果不建立同步，则不能正确进行合并，以致于不能获得正确的组合图像。当合并器为数目增加的多级连接时同步变得更为重要。
考虑到上述问题于是产生了本发明，本发明的目的是提供一种在上述图像处理系统的图像处理中成功地建立同步的技术。
发明内容
本发明提供了图像处理系统、图像处理装置、图像处理方法和计算机程序。
根据本发明的一个方面，提供了一种图像处理系统，该图像处理系统包括多个图像生成器，每一个用于生成要被处理的图像数据；数据存储单元用于捕获由多个图像生成器的每一个生成的图像数据，以暂时存储捕获的图像数据；同步信号生成器，用于产生使多个图像生成器的每一个输出图像数据的第一同步信号和产生使数据存储单元同步输出暂时存储的图像数据的第二同步信号；合并单元，用于与第二同步信号同步将从数据存储单元输出的图像数据合并以产生组合图像数据。
可以安排同步信号生成器产生第一同步信号早于第二同步信号预定时间，并且设定该预定时间长于所有多个图像生成器响应收到的第一同步信号输出图像数据及数据存储单元捕获所有输出的图像数据的时间。
可安排数据存储单元分割数据存储区每一个对应于每个图像生成器之一，每一被分割的数据存储区暂时存储从相对应的图像生成器输出的图像数据。
可安排把数据存储单元配置为首先输出第一个被输入进数据存储单元的图像数据。
可安排多个图像生成器、数据存储单元、同步信号生成器和合并单元部分或全部包含逻辑电路和半导体存储器，并且把逻辑电路和半导体存储器安置在半导体芯片上。
根据本发明的另一个方面，提供了一种图像处理系统，该图像处理系统包括多个图像生成器，每一个用于生成要被处理的图像数据；多个合并器，每一个用于从其前级捕获2个或多个图像数据并且合并所捕获的图像数据以生成组合图像数据，多个合并器的每一个在其前级与多个图像生成器中的至少2个、与多个合并器中的至少2个，或与多个图像生成器中的至少1个以及多个合并器中的至少1个相连，其中多个合并器中的每一个包括数据存储单元，用于捕获由至少2个图像生成器、由至少2个合并器或者由至少1个图像生成器和至少1个合并器生成的图像数据以暂时存储捕获的图像数据；同步信号生成器，用于生成第一同步信号，该信号使至少2个图像生成器、至少2个合并器或者至少1个图像生成器和至少1个合并器输出生成的图像数据，还用于生成第二同步信号，该信号使数据存储单元同步输出暂时存储的图像数据；以及合并器单元，用于与第二同步信号同步将从数据存储单元输出的图像数据合并以产生组合图像数据。
除了连接到末级的合并器外，可安排多个合并器的每一个将组合图像数据与连接到后级的相对应的合并器发出的第一同步信号同步提供给连接到后级的相对应的合并器，并且由同步信号生成器与从与后级相连的相对应的合并器发出的同步信号同步产生上述的用于前级的第一同步信号。
可安排同步信号生成器生成的第一同步信号早于第二同步信号预定时间，并且预定时间的设置长于所有至少2个图像生成器、所有至少2个合并器或者所有至少1个图像生成器以及至少1个合并器响应收到的第一同步信号输出生成图像数据以及数据存储单元捕获所有输出的图像数据的时间。
根据本发明的另一方面，提供了一个图像处理装置，该图像处理装置包括数据存储单元，用于暂时存储由多个图像生成器的每一个(即每一图像生成器)生成的图像数据；同步信号生成器，用于生成使每个图像生成器的每一个输出图像数据的第一同步信号并且还生成使数据存储单元同步输出暂时存储的图像数据的第二同步信号；合并单元，用于与第二同步信号同步合并从数据存储单元输出的图像数据以产生组合图像数据，其中数据存储单元、同步信号生成器和合并单元被安装在半导体芯片上。
根据本发明的另一方面，提供了一种在包括多个图像生成器和一个连接到多个图像生成器的合并器中执行的图像处理方法，该方法包括以下步骤使多个图像生成器的每一个生成要被处理的图像数据；使合并器在第一同步时间捕获多个图像生成器的每一个生成的图像数据并且在第二同步时间合并捕获的图像数据。
根据本发明的另一方面，提供了一个使计算机当做图像处理系统被操作的计算机程序，该系统包括多个图像生成器，每一个用于生成要被处理的图像数据；数据存储单元，用于捕获由多个图像生成器的每一个生成的图像数据以暂时存储捕获的图像数据；同步信号生成器，用于生成使多个图像生成器的每一个输出图像数据的第一同步信号并且还生成使数据存储单元同步输出暂时存储的图像数据的第二同步信号；合并装置，用于与第二同步信号同步合并从数据存储单元输出的图像数据以产生组合图像数据。
根据本发明的另一方面，提供了一种图像处理系统，该系统通过网络从多个图像生成器中捕获要被处理的图像数据，并且根据捕获的图像数据产生组合图像数据，该系统包括数据存储单元，用于捕获由多个图像生成器的每一个生成的图像数据以暂时存储捕获的图像数据；同步信号生成器，用于生成使多个图像生成器的每一个输出图像数据的第一同步信号并且还生成使数据存储单元同步输出暂时存储的图像数据的第二同步信号；合并单元，用于与第二同步信号同步合并从数据存储单元输出的图像数据用以产生组合图像数据。
根据本发明的另一方面，提供了一种图像处理系统，该图像处理系统包括多个图像生成器，每一个用于生成要被处理的图像数据；多个合并器，用于捕获由多个图像生成器生成的图像数据以合并捕获的图像数据；控制器，用于从多个图像生成器和多个合并器选择处理所必须的图像生成器和至少一个合并器，多个图像生成器、多个合并器和控制器通过网络彼此相连，其中至少一个合并器包括数据存储单元，用于捕获由所选择的图像生成器生成的图像数据以暂时存储捕获的图像数据；同步信号生成器，用于生成使所选择的图像生成器输出图像数据的第一同步信号并且还生成使数据存储单元同步输出暂时存储的图像数据的第二同步信号；合并单元，用于与第二同步信号同步合并从数据存储单元输出的图像数据用以产生组合图像数据。
可安排由控制器所选择的图像生成器中的至少一个为通过网络所构成的另一个图像处理系统。
附图的简要说明通过阅读下面详细的说明和附图，本发明的这些目的和其他目的以及优点将变得显而易见
图1是说明根据本发明的图像处理系统的一个实施例的系统配置图；图2是图像生成器的配置图；图3是说明根据本发明的合并器的配置示例的方框图；图4是说明提供到前级设备的外同步信号的产生时间和内同步信号的产生时间的示图，其中(A)示出了说明图像生成器和合并器的配置图，(B)示出了后级合并器的内同步信号，(C)示出了从后级合并器输出的外同步信号，(D)示出了前级合并器的内同步信号，(E)示出了从前级合并器输出的外同步信号；图5是说明根据本发明的合并块主要部分的配置示例的方框图；图6是说明使用根据本发明的图像处理系统的图像处理方法的步骤的视图；图7是说明根据本发明的图像处理系统的另一个实施例的系统配置图；图8是说明根据本发明的图像处理系统的另一个实施例的系统配置图；图9是说明根据本发明的图像处理系统的另一个实施例的系统配置图；图10是说明根据本发明的图像处理系统的另一个实施例的系统配置图；图11是通过网络实现图像处理系统的配置图；图12是在配置部件之间发送/接收数据的示例的视图；图13是说明确定构成图像处理系统的配置部件的步骤的视图；图14是通过网络实现图像处理系统的另一配置图；图15是在配置部件之间发送/接收数据的示例的视图。
优选实施例的详细说明下面将说明本发明的实施例，其中本发明的图像处理系统被应用到执行诸如游戏角色之类复杂图像组成的三维模型图像处理的系统中。
<整体结构>
图1是根据本发明实施例的图像处理系统的总的结构图。
图像处理系统100包括16个图像生成器101-116和5个合并器117-121。
图像处理器101-116和合并器117-121的每一个均分别具有逻辑电路和半导体存储器，并且逻辑电路和半导体存储器被安装在半导体芯片上。根据要处理的三维图像的种类、三维图像的数目和处理模式可适当地确定图像生成器和合并器的数量。
图像生成器101-116的每一个利用几何处理产生包括用于生成立体的3-D模型的每一多边形的每一顶点的三维坐标(x、y、z)、每一多边形的纹理的齐次坐标和齐次项q的图形数据。图像处理器也根据生成的图形数据进行有特色的润色处理(rendering processing)。甚至，当从连接到后级的合并器117-120接收到外同步信号时，图像生成器101-116从帧缓冲器分别输出经润色处理的颜色信息(R-值、G-值、B-值、A-值)到后级的合并器117-120。图像生成器101-116也分别从z-缓冲器输出z-坐标到后级的合并器117-120，每一坐标表明离具体视点的像素的深度距离，例如操作者观看的显示器的表面。此时，图像生成器101-116也输出写允许信号WE，该信号使得合并器117-120能够同时捕获颜色信息(R-值、G-值、B-值、A-值)和z-坐标。
帧缓冲器和z-缓冲器与现有技术表明的缓冲器相同，R-值、G-值、B-值分别是红、绿、蓝颜色的亮度值，A-值是表明半透明程度(α)的数字值。
合并器117-121的每一个通过数据捕获机构从相对应的图像生成器或其它合并器接收输出数据，特别是每一合并器接收包括表明每一像素的二维位置坐标(x、y)、颜色信息(R-值、G-值、B-值、A-值)和z-坐标(z)的图像数据。然后，根据z-缓冲器算法，利用z-坐标(z)确定图像数据，并且为了使图像数据距视点有较长的z-坐标(z)混合颜色信息(R-值、G-值、B-值、A-值)。通过这种处理，用于表达包括半透明图像的复杂三维图像的组合图像数据在合并器121被生成。
图像生成器101-116的每一个与后级的合并器117-120的任何一个相连，并且该合并器与合并器121相连。因此，能够在合并器之间形成多级连接。
在该实施例中，图像生成器101-116被分成四组，一个合并器提供给每一组。也就是说，图像生成器101-104与合并器117相连，并且图像生成器105-108与合并器118相连；图像生成器109-112与合并器119相连，并且图像生成器113-116与合并器120相连。在图像生成器113-116和合并器117-121的每一个中，通过下面要描述的同步信号可获得处理操作时间的同步。
关于图像生成器101-116和合并器117-121，下面将说明其具体的配置和功能。
<图像生成器>
图2是说明图像生成器的整个结构图。由于所有图像生成器101-116具有相同的结构组成，所以，为了方便起见，在图2中每一图像生成器统一用标号200表示。
图像生成器200以图形处理器201、图形存储器202、I/O接口电路203和润色电路204与总线205相连这种方式被设置。
根据应用程序的进程等，图形处理器201从存储图形原始数据的图形存储器202中读取必要的图形原始数据。然后，图形处理器201执行诸如坐标转换、剪贴处理、光处理等等之类的几何处理以读取图形原始数据来产生图形数据。之后，图形处理器201通过总线205将该图形数据提供给润色电路204。
I/O接口电路203具有从外部操作单元(图中未示出)捕获控制信号的功能，该控制信号用于控制诸如人物等之类的3-D模型的运动；或者具有捕获由外部图像处理单元生成的图形数据的功能。该控制信号被传送给图形处理器201以被用于控制润色电路204。
图形数据由浮点值(IEEE格式)组成，包括例如16位的x-坐标和y-坐标，24位的z-坐标，每一个12位(＝8+4)的R-值、G-值、B-值，每一个32位的s、t、q纹理坐标。
润色电路204具有映射处理器2041、存储器接口(存储器I/F)电路2046、CRT控制器2047和DRAM(动态随机存取存储器)2049。
以这种方式形成了本实施例的润色电路，即诸如映射处理器2041等之类的逻辑电路和存储图像数据、纹理数据等的DRAM 2049被安装在一个半导体芯片上。
映射处理器2041通过总线205对发送的图形数据进行线性插值。线性插值使它能够从图形数据获得颜色信息(R-值、G-值、B-值、A-值)和位于多边形表面的每一像素的z-坐标，该图形数据只表示颜色信息(R-值、G-值、B-值、A-值)和每一多边形顶点的z-坐标。而且，映射处理器2041使用包含在图形数据中的齐次坐标(s，t)和齐次项q计算纹理坐标和使用对应于导出纹理坐标的纹理数据进行纹理映射(mapping)。这使它能够获得更准确的显示图像。
采用这种方法，用包括表明每一像素的二维位置的(x、y)坐标、颜色信息和z-坐标的(x、y、z、R、G、B、A)表示的像素数据被产生。
存储器I/F电路2046响应设置在润色电路204的其它电路的请求存取(写入/读取)DRAM 2049。存取时的写入通道和读取通道被分别配置。也就是说，在写入时，通过写入通道写入写入地址ADRW和写入数据DTW，在读取时，通过读取通道读取数据DTR。
在本实施例中，根据预定的交错地址，存储器I/F电路2046以最大16像素为单位对DRAM 2049进行取存。
CRT控制器2047提出请求与由连接到后级的合并器所提供的外同步信号同步通过存储器I/F电路2046从DRAM 2049读取图像数据，即帧缓冲器2049b的像素的颜色信息(R-值、G-值、B-值、A-值)和z-缓冲器2049c的像素的z-坐标。然后，CRT控制器2047输出图像数据，该图像数据包括读取的颜色信息(R-值、G-值、B-值、A-值)和像素的z-坐标，还包括像素的(x、y)坐标和作为到后级合并器的写信号的写允许信号WE。
在本实施例中，每次存取从DRAM读取颜色信息和z-坐标并利用写允许信号WE输出给合并器的像素数量的最大值为16，它根据执行的应用程序的需要而变化。尽管每次存取和输出的像素数量可使用包括1的任何可能值，假定在下列说明中为了简化说明每次存取和输出的像素数量为16。而且由主控制器(未示出)确定每次存取的像素坐标(x、y)，并且通知到每一图像生成器101-116的CRT控制器2047以对合并器121发出的外同步信号做出响应。这样，每次存取的像素的坐标(x，y)在图像生成器101-116中是相同的。
DRAM 2049还在帧缓冲器2049b中存储纹理数据。
<合并器>
图3中说明了合并器的整个配置图。由于所有合并器117-121都具有同样的配置组成，所以为了方便，在图3中每一合并器统一用标号300表示。
合并器300包括FIFO(先入先出)301-304，同步信号生成电路305和合并块306。
FIFO 301-304与设置在前级的四个图像生成器一一对应，每个暂时存储从相对应的图像生成器输出的图像数据，即颜色信息(R-值、G-值、B-值、A-值)、16个像素的(x、y)坐标和z-坐标。在FIFO 301-304的每一个中，与相对应的图像生成器的写允许信号WE同步写入这样的图像数据。FIFO 301-304中写入的图像数据与由同步信号生成电路305生成的内同步信号Vsync同步被输出给合并块306。由于与内同步信号Vsync同步从FIFO 301-304输出图像数据，所以图像数据输出给合并器的输入时间可被自由设置到某一程度。因此，不需要图像生成器之间的完全同步操作。在合并器300中，FIFO 301-304各自的输出基本上由内同步信号Vsync同步。FIFO 301-304的每一个的输出可存储在合并块306中并以远离视点的位置的顺序进行混合。这使得FIFO 301-304输出的四个图像数据的合并变得容易，下面对此将进行详细描述。
尽管上述已说明了使用4个FIFO的例子，这是因为与一个合并器相连的图像生成器的数量为4。可设定FIFO的数量以对应于被连接的图像生成器的数量，而不必限定为4。此外物理上分离的存储器可被用做FIFO301-304，或者改为，一个存储器可逻辑上被分成多个区域以形成FIFO301-304。
从同步信号生成电路305，同时将从合并器300的后级装置(如显示器)输入的外同步信号SYNCIN同时提供给前级的图像生成器或合并器。
参照图4下面将说明从合并器提供给前级装置的外同步信号SYNCIN的生成时间和合并器的内同步信号的生成时间。
同步信号生成电路305生成外同步信号SYNCIN和内同步信号Vsync。这里，如图4(A)所说明的，解释了合并器121、合并器117和图像生成器101以三级方式相连的例子。
假定合并器121的内同步信号由Vsync2表示，其内同步信号由SYNCIN2表示。也假定合并器117的内同步信号由Vsync1表示，其外同步信号由SYNCIN1表示。
如图4(B)-(E)所说明的，与合并器的内同步信号Vsync2、Vsync1相比，外同步信号SYNCIN2、SYNCIN1的生成时间被加快了预定的时间。为了获得多级连接，合并器的内同步信号跟在由后级合并器提供的外同步信号后面。加速周期的目的是在图像生成器接收到外同步信号SYNCIN之后，在开始进行实际同步操作之前使得经过一段时间。根据合并器的输入，排列FIFO 301-304。于是，即使时间发生微小的变化，也不会产生什么问题。
以在从FIFO 301-304读出数据之前图像数据写入FIFO 301-304被终止这种方式设置加速周期。由于同步信号以固定的周期被重复，所以通过诸如计数器之类的时序电路可以很容易地实现加速周期。
通过后级的同步信号，诸如计数器之类的时序电路也可被重新设置，使得内同步信号能够跟在后级合并器提供的外部同步后面。
通过使用包含在四个图像数据中的z-坐标(z)，合并块306对与内同步信号Vsync同步由FIFO 301-304所提供的四个图像数据进行排序，并使用A-值以远离视点的位置的顺序执行颜色信息(R-值、G-值、B-值、A-值)的混合，即α混合，并且在预定时间将结果输出给后级合并器121。
图5是说明合并块306的主要配置的方框图。合并块306具有z-排序器3061和混合器3062。
排序器3061从每一FIFO 301-304接收16个像素的颜色信息(R-值、G-值、B-值、A-值)、(x、y)坐标和z坐标。然后z排序器3061选择具有相同(x、y)坐标的4个像素并且按照值的大小比较z坐标。在本实施例中，在16个像素中的(x、y)坐标的选择顺序被预先确定。如图5所示，假定来自FIFO 301-304的像素的颜色信息和z坐标分别由(R1、G1、B1、A1)至(R4、G4、B4、A4)和z1-z4表示。在z1-z4之间比较之后，z-排序器3061根据比较结果以z-坐标(z)降序将4个像素进行排序，即以远离视点的像素的位置排序，并且以较远离视点的像素位置的顺序将颜色信息提供给混合器3062。在图5的示例中，假定z1＞z4＞z3＞z2的关系被确立。
混合器3062具有4个混合处理器3062-1至3062-4。由被合并的颜色信息的数量可适当地确定混合处理器的数量。
混合处理器3062-1在例如方程(1)-(3)中计算以进行α混合处理。在这种情况下，使用根据排序位于离视点最远位置的像素的颜色信息(R1、G1、B1、A1)和颜色信息(Rb、Gb、Bb、Ab)进行计算，该颜色信息存储在寄存器(未示出)中并且与由显示器生成的图像的背景有关。如所了解的，具有与背景相关的颜色信息(Rb、Gb、Bb、Ab)的像素位于最远离视点的位置。然后，混合处理器3062-1将产生的颜色信息(R’值、G’值、B’值、A’值)提供给混合处理器3062-2。
R’＝R1×A1+(1-A1)×Rb…(1)G’＝G1×A1+(1-A1)×Gb…(2)B’＝B1×A1+(1-A1)×Bb…(3)A’值由Ab和A1求和得出。
混合处理器3062-2在方程(4)-(6)中计算以进行α混合处理。在这种情况下，使用根据排序结果距视点第二远位置的像素的颜色信息(R4、G4、B4、A4)和混合处理器3062-1的计算结果(R’、G’、B’、A’)进行计算。然后，混合处理器3062-2将生成的颜色信息(R”值、G”值、B”值、A”值)提供给混合处理器3062-3。
R”＝R4×A4+(1-A4)×R’…(4)G”＝G4×A4+(1-A4)×G’…(5)B”＝B4×A4+(1-A4)×B’…(6)A”值由A’和A4求和得出。
混合处理器3062-3在方程(7)-(9)中计算以进行α混合处理。在这种情况下，使用根据排序结果距视点第三远的像素的颜色信息(R3、G3、B3、A3)和混合处理器3062-2的计算结果(R”、G”、B”、A”)进行计算。然后，混合处理器3062-3将生成的颜色信息(R值、G值、B值、A值)提供给混合处理器3062-4。
R＝R3×A3+(1-A3)×R”…(7)G＝G3×A3+(1-A3)×G”…(8)B＝B3×A3+(1-A3)×B”…(9)A值由A”和A3求和得出。
混合处理器3062-4在方程(10)-(12)中计算以进行α混合处理。在这种情况下，使用根据排序结果距视点最近位置的像素的颜色信息(R2、G2、B2、A2)和自混合处理器3062-3的计算结果(R、G、B、A)进行计算。然后，混合处理器3062-4得到最终的颜色信息(Ro值、Go值、Bo值、Ao值)。
Ro＝R2×A2+(1-A2)×R…(10)Go＝G2×A2+(1-A2)×G…(11)Bo＝B2×A2+(1-A2)×B…(12)Ao值由A和A2求和得出。
然后z-排序器3061选择具有相同(x、y)坐标的下4个像素并且按照值的大小关系比较所选像素的z-坐标。然后z-排序器3061按照上述方式将这4个像素以z-坐标(z)降序排序，并且以较远离视点的像素位置的顺序将颜色信息提供给混合器3062。紧接着，混合器3062进行如方程(1)-(12)表示的上述处理并且得到最终的颜色信息(Ro值、Go值、Bo值、Ao值)。以这种方式，得到16个像素的最终颜色信息(Ro值、Go值、Bo值、Ao值)。
然后将16个像素的最终颜色信息(Ro值、Go值、Bo值、Ao值)发送给后级的合并器。就最后一级合并器121来说，根据已获得的最终颜色信息(Ro值、Go值、Bo值)，图像被显示在显示器上。
<操作模式>
使用图6，下面将说明图像处理系统的操作模式，重点是图像处理方法的过程。
当通过总线205将图形数据提供给图像生成器的润色电路204时，该图形数据被提供给润色电路204中的映射处理器(mapping processor)2041(步骤S101)。映射处理器2041根据图形数据进行线性插值、纹理映射等。当多边形移动单元长度时，根据多边形顶点的坐标和两个顶点之间的距离，映射处理器2041首先计算生成的偏差。接着从计算的偏差中，映射处理器计算多边形中每一像素的插值数据。插值数据包括坐标(x、y、z、s、t、q)、R-值、G-值、B-值和A-值。接下来，映射处理器2041根据包括在插值数据中的坐标值(s、t、q)计算纹理坐标(u、v)。映射处理器根据纹理坐标(u、v)从DRAM 2049中读出每一颜色信息。之后，增加读出的纹理数据的颜色信息(R-值、G-值、B-值)和包含在插值数据中的颜色信息(R-值、G-值、B-值)相乘以生成像素数据。生成的像素数据从映射处理器2041发送到存储器I/F电路2046。
存储器I/F电路2046将从映射处理器2041输入的像素数据与存储在z-缓冲器2049c的z-坐标进行比较，确定由像素数据形成的图像是否比以帧缓冲器2049b写入的图像更接近视点。在由像素数据形成的图像比由帧缓冲器2049b写入的图像更接近视点的情况下，相对于像素数据的z-坐标，缓冲器2049c被更新。在这种情况下，像素数据的颜色信息(R-值、G-值、B-值、A-值)被形成在帧缓冲器2049b中(步骤S102)。
此外，在存储器I/F电路2046控制下在显示区域的像素数据的相邻部分被排列以获得不同DRAM模块。
在合并器117-120的每一合并器中，同步信号生成电路305从后级合并器121中接收外同步信号SYNCIN，并且与接收的外同步信号SYNCIN同步提供一个外同步信号SYNCIN给每一个相对应的图像生成器(步骤S111、S121)。
在已经从合并器117-120接收外同步信号SYNCIN的图像生成器101-116的每一个中，将读取在帧缓冲器2049b形成的颜色信息(R-值、G-值、B-值、A-值)和读取存储在z-缓冲器帧2049b的z-坐标的请求与外同步信号SYNCIN同步从CRT控制器2047发送到存储器I/F电路2046。然后，将包括读取的颜色信息(R-值、G-值、B-值、A-值)和z-坐标的图像数据和作为写信号的写允许信号WE从CRT控制器2047发送到合并器117-120中的每一个(步骤S103)。
图像数据和写允许信号WE被从图像生成器101-104发送到合并器117，从图像生成器105-108发送到合并器118，从图像生成器109-112发送到合并器119，从图像生成器113-116发送到合并器120。
在合并器117-120的每一个中，图像数据被与相对应的图像生成器的写允许信号WE同步分别写入FIFO 301-304(步骤S112)。然后，与借助将外同步信号SYNCIN延迟预定时间生成的内同步信号Vsync同步读出写入FIFO 301-304的图像数据。然后，将读取的图像数据发送到合并块306(步骤S113、S114)。
合并器117-120的每一个的合并块306与内同步信号Vsync接收FIFO 301-304发送的图像数据，按照值的大小关系在包括在图像数据的z-坐标中进行比较，并且根据比较结果将图像数据排序。根据排序结果，合并块306以远离视点的位置的顺序将颜色信息(R-值、G-值、B-值、A-值)进行α混合(步骤S115)。与从合并器121发送的外同步信号同步将通过α混合获得的包括新的颜色信息(R-值、G-值、B-值、A-值)的图像数据输出到合并器121(步骤S116、122)。
在合并器121中，从合并器117-120接收图像数据并且执行和合并器117-120一样的处理(步骤S123)。根据由合并器121执行处理产生的图像数据确定最终的图像颜色等。通过上述处理的重复进行，可产生移动的图像。
按上述方式，已经产生了通过α混合进行了透明处理(transparentprocessing)的图像。
合并块306具有z-排序器3061和混合器3062。使得除根据z-缓冲器算法由z-排序器3061进行的常规隐藏表面处理之外，能够利用α混合进行由混合器3062执行的透明处理。对所有的像素进行此处理，使得易于生成组合图像，该组合图像中，由多个图像生成器生成的图像被合并。这使得能够正确处理混合半透明图形的复杂图形。因此，复杂的半透明目标能够以高清晰度显示，并且通过使用3-D计算机图形、VR(虚拟现实)、设计等，这可被用于诸如游戏之类的领域中。
<其他实施例>
本发明不限于上述实施例。在图1所说明的图像处理系统中，4个图像生成器与4个合并器117-120的每一个相连，并且4个合并器117-120与合并器121相连。除该实施例以外，如图7-10所说明的实施例也是可行的。
图7说明了多个图像生成器(在此例中是4个)与1个合并器135并连以获得最终输出的实施例。
图8说明了即使4个图像生成器连接到合并器135，3个图像生成器也可与1个合并器135并连以获得最终输出的实施例。
图9说明了所谓的对称性系统的实施例，其中4个图像生成器131-134以及136-139分别与合并器135和140相连，4个图象生成器可与该合并器相连。此外，合并器135和140的输出被输入到合并器141。
图10说明了以下实施例。特别是，如图9中所说明的，当以多级方式而不是以完全对称方式连接合并器时，4个图像生成器13-134与合并器135相连(4个图像生成器可连接到该合并器)，并且合并器135的输出和3个图像生成器136-138与合并器141相连(4个图像生成器是连接到该合并器)。
<在使用网络情况下的实施例>
每一个上述实施例的图像处理系统由彼此接近设置的图像生成器和合并器组成，这样的图像处理系统通过使用短传输线连接各自的装置来实现。这样的图像处理系统在一间屋子里就可容纳。
除了图像生成器和合并器在彼此接近设置这种情况之外，也可考虑这样一种情况，即图像生成器和合并器被设置在不同的位置。甚至这种情况，它们通过网络彼此相连以传输/接收数据，由此，使本发明的图像处理系统实现成为可能。下面将解释使用网络的实施例。
图11是说明通过网络实现图像处理系统的配置示例图。为了实现图像处理系统，多个图像生成器155和合并器156通过网络分别与交换台或交换机(switch)154相连。
图像生成器155具有与图2中所说明的图像生成器200相同的配置和功能。
合并器156与图3中所说明的合并器300具有相同的配置和功能。通过交换机154将由多个图像生成器155产生的图像数据发送到相对应的合并器156并将其在那里合并以产生组合图像。
除上述提到的以外，该实施例的图像处理系统包括视频信号输入装置150、总线主控装置151、控制器152和图形数据存储器153。视频信号输入装置150从外部接收输入的图像数据，总线主控装置151初始化网络并且管理网络上的每一配置部件，控制器152确定在配置部件之间的连接模式，图像数据存储器153存储图像数据。这些配置部件也通过网络与交换机154相连。
总线主控装置151在开始处理时获得有关地址和性能的信息，以及与所有连接到交换机154的配置部件相关的处理内容。总线主控装置151也产生一个包含获得的信息的地址映射。产生的地址映射发送到所有的配置部件。
控制器152通过网络对用于执行图像处理的配置部件进行选择和处理，即形成图像处理系统的配置部件。由于地址映射包括有关配置部件的性能信息，所以能够根据处理的负荷和要执行处理有关的内容选择配置部件。
将表明图像处理系统配置的信息发送到形成图像处理系统的所有配置部件以便被存储在包括交换机154的所有配置部件中。这使得能够了解哪一配置部件能够执行数据传输和接收。控制器152可与另一网络建立链接。
图形数据存储器153是一个诸如硬盘之类的具有大容量的存储器，存储由图像生成器155处理的图形数据。图形数据通过视频信号输入装置150从例如外部被输入。
交换机154控制数据传输通道以保证每一配置部件之间正确的数据传输和接收。
通过交换机154在每一配置部件之间传输和接收的数据包括表明诸如地址的接收方配置部件的数据，并且该数据最好采用例如分组数据形式。
交换机154将数据发送到由地址确认的配置部件。该地址专门用来表明网上的配置部件(总线主控装置151等)。在网络是互联网的情况下，可使用IP(互联网协议)地址。
图12中示出了这种数据的示例。每一数据包括接收方配置部件的地址。
数据“CP”表示由控制器152执行的程序。
数据“MO”表示由合并器156要处理的数据。如果设置了多个合并器，每一合并器可被分配一个数字以确定目标合并器。因此，“M0”表示要被分配了数字“0”的合并器处理的数据。同样地，“M1”表示要被分配了数字“1”的合并器处理的数据，“M2”表示要被分配了数字“2”的合并器处理的数据。
数据“A0”表示由图像生成器155处理的数据。同样地对合并器来说，如果设置了多个图像生成器，则每个图像生成器可被分配一个数字以便能够识别目标图像生成器。
数据“V0”表示由视频信号输入装置150处理的数据。数据“SD”表示存储在图形数据存储器153中的数据。
上述数据被单独或组合发送到接收方的配置部件。
参照图13将说明下列步骤以确定形成图像处理系统的配置部件。
首先，总线主控装置151将诸如处理内容、处理性能和地址之类的确认信息发送给与交换机154相连的所有配置部件。每一配置部件将包括处理内容、处理性能和地址的信息。数据发送到总线主控装置151作为对从总线主控装置151发送数据的响应(步骤S201)。
当总线主控装置151接收从各个配置部件发送的数据时，总线主控装置151产生关于处理内容、处理性能和地址的地址映射(步骤S202)。产生的地址映射被提供给所有的配置部件(步骤S203)。
根据地址映射，控制器152确定执行图像处理的候选配置部件(步骤S211、S212)。为了确定候选配置部件能否执行被请求的处理，控制器152将确认数据传输到该候选配置部件(步骤S213)。已从控制器152接收到确认数据的每一候选配置部件向控制器152发送表明该执行是可能还是不可能的数据。控制器152分析表明该执行是可能还是不可能的数据内容，根据分析结果，最终从接收的表明执行可能的数据的配置部件确定配置部件以请求处理(步骤S214)。然后，通过结合确定配置部件，确定通过网络的图像处理系统的配置内容。表明图像处理系统最终配置内容的数据称做“配置内容数据”。该配置内容数据被提供给形成图像处理系统的所有配置部件(步骤S215)。
通过上述步骤，确定用于图像处理的配置部件和根据最终配置内容数据确定图像处理系统的配置。例如，在使用16个图像生成器155和5个合并器156的情况下，可配置与图1相同的图像处理系统。在使用7个图像生成器155和2个合并器156的情况下，可配置与图10相同的图像处理系统。
按照这种方式，根据该目的，使用网络上不同的配置部件，能够自由确定图像处理系统的配置内容。
下面将解释使用本实施例的图像处理系统的图像处理的步骤。这些处理步骤基本上与图6的处理步骤相同。
通过使用润色电路204，图像生成器155的每一个对由图形数据存储器153提供的图形数据或由设置在图像生成器155中的图形处理器201产生的图像数据进行润色，并且产生图像数据(步骤S101、S102)。
在合并器156之中，执行最终图像组合的合并器156产生外同步信号SYNCIN并将该外同步信号SYNCIN发送到前级的合并器156或图像生成器155。在其他的合并器156被进一步设置在前级的情况下，每一已接收外同步信号SYNCIN的合并器156将外同步信号发送到这样的其他合并器156中相对应的合并器。在图像生成器被设置在前级的情况下，每一合并器156将发送外同步信号SYNCIN到图像生成器155中相对应的图像生成器(步骤S111、S121)。
每一图像生成器155与输入的外同步信号SYNCIN同步将产生的图像数据发送到后级的相对应的合并器156。在图像数据中，作为目标的合并器156的地址被加在数据头位置(步骤S103)。
已输入了图像数据的每一合并器156合并输入的图像数据(步骤S112-S115)以产生组合图像数据。每一合并器156与在下一次输入的外同步信号SYNCIN同步将组合图像数据发送到后级的合并器156(步骤S122、S116)。然后，由合并器156最终获得组合图像数据被用作整个图像处理系统的一个输出。
合并器156在从多个图像生成器155同步接收图像数据存在一定的困难。然而，对图3中的示例来说，图像数据被一次捕获在FIFO301-304中，然后从那里与内同步信号同步将其提供给合并块306。因此，图像数据的同步在图像合并时完全建立。这使得即使在通过网络建立的本实施例的图像处理系统中，在图像合并时对图像数据进行同步易于进行。
利用控制器152能够与另一个网络建立链接这个事实，使得利用其他网络上形成的另一图像处理系统作为配置部件来部分或全部实现集成图像处理系统成为可能。
换句话说，这可被当做带有“嵌套结构”的图像处理系统来执行。
图14是说明集成图像系统配置示例的示图，标号157所显示的部分表明具有1个控制器和多个图像生成器的图像处理系统。尽管图14未示出，图像处理系统157还可包括视频信号输入装置、总线主控装置、图形数据存储器和合并器作为在图11中示出的图像处理系统。在该集成图像处理系统中，控制器152与其他图像处理系统157中的控制器相联系，并且当确保同步时执行图像数据的传输和接收。
在这样的集成图像处理系统中，最好把图15中示出的分组数据做为被传输到图像处理系统157中的数据。假定由控制器152确定的图像处理系统是一个n-层系统，而图像处理系统157是一个(n-1)系统。
通过图像生成器155之一的一个图像生成器155a，使用n-层图像处理系统，图像处理系统157进行数据的传输和接收。将包括数据Dn的数据“An0”发送到图像生成器155a。如图15所示，数据“An0”包括数据Dn-1。从图像生成器155a中将包括在数据“An0”中的数据Dn-1发送到(n-1)层图像处理系统157。按照这种方式，将数据从n-层图像处理系统发送到(n-1)层图像处理系统。
一个(n-2)层图像处理系统进一步连接到图像处理系统157的一个图像生成器也是可能的。
使用图15中所示出的数据结构，能够将数据从n层配置部件发送到0层配置部件。
此外，使用可包含在和壳内的图像处理系统(如图1所说明的图像处理系统100)代替图14中连接到网络的图像生成器155中的一个来实现集成图像处理系统也是可能的。在这种情况下，必需提供一个网络接口以将图像处理系统连接到在集成图像处理系统中使用的网络。
在上述事实施例中，图像生成器和合并器都以半导体装置实现。然而，它们也能与通用计算机和程序的配合实现。特别是，通过读取和执行由计算机记录在记录介质上的程序，能够在计算机中构成图像生成器和合并器的功能。此外，部分图像生成器和合并器可通过半导体芯片实现，并且其他部分可通过计算机和程序配合来实现。
如上所述，根据本发明，首先产生用于使多个图像生成器中的每一个输出图像数据的第一同步信号，然后，与跟第一同步信号不同的第二同步信号同步读出根据第一同步信号从每一图像生成器捕获的并且暂时存储的图像数据。这使它能够达到这么一个效果，即不需要复杂的同步控制，图像处理中的同步操作就可可靠地执行。
在不脱离本发明的主要的精神和范围的前提下，可进行各种实施方式和变化。上述实施例的目的是说明本发明，而不是限定本发明的范围。通过后附权利要求书而不是实施例示出了本发明的范围。在本发明书的等同的范围内和权利要求书的范围内所进行的各种修改都将被认为是在本发明的范围内。
权利要求
1.一种图像处理系统，包括多个图像生成器，每一个用于生成要被处理的图像数据；数据存储单元，用于捕获由多个图像生成器的每一个生成的图像数据以暂时存储捕获的图像数据；同步信号生成器，用于生成使多个图像生成器的每一个输出图像数据的第一同步信号，还用于生成使所述数据存储单元同步输出暂时存储的图像数据的第二同步信号；以及合并单元，用于与所述第二同步信号同步合并从所述数据存储单元输出的图像数据以产生组合图像数据。
2.根据权利要求1的图像处理系统，其中所述同步信号生成器生成早于所述第二同步信号预定的时间的所述第一同步信号，所述预定时间设置为长于所有所述多个图像生成器响应接收到的所述第一同步信号输出图像数据以及所述数据存储单元捕获所有输出的图像数据的时间。
3.根据权利要求1的图像处理系统，其中所述数据存储单元分别对应于所述多个图像生成器之一分割每数据存储区，每一被分割的数据存储区暂时存储从相对应的图像生成器输出的图像数据。
4.根据权利要求1的图像处理系统，其中所述数据存储单元被设置为第一个输入到所述数据存储单元的图像数据被首先输出。
5.根据权利要求1的图像处理系统，其中所述多个图像生成器、所述数据存储单元、所述同步信号生成器和所述合并单元部分或全部包含逻辑电路和半导体存储器，所述逻辑电路和所述半导体存储器被安装在半导体芯片上。
6.一种图像处理系统，包括多个图像生成器，每一个用于生成要被处理的图像数据；多个合并器，每一个用于从其前级捕获2个或更多个图像数据并且合并捕获的图像数据以生成组合图像数据，在其前级的所述多个合并器的每一个与所述多个图像生成器的至少2个、所述多个合并器的至少2个，或者与所述多个图像生成器的至少1个以及所述多个合并器的至少1个相连，其中所述多个合并器的每一个包括数据存储单元，用于捕获由所述至少2个图像生成器、由所述至少2个合并器，或者由所述至少1个图像生成器以及由所述至少1个合并器生成的图像数据以暂时存储捕获的图像数据；同步信号生成器，用于生成使所述至少2个图像生成器、所述至少2个合并器，或者使所述至少1个图像生成器以及所述至少1个合并器输出生成的图像数据的第一同步信号，还用于生成使所述数据存储单元同步输出暂时存储的图像数据的第二同步信号；合并单元，用于与第二同步信号同步合并从所述数据存储单元输出的图像数据以产生组合图像数据。
7.根据权利要求6的图像处理系统，其中除了与最后一级相连的合并器外，多个合并器的每一个与从与后级相连的所述相对应的合并器发出的第一同步信号同步将组合图像数据提供到与其后级相连的相对应的合并器，并且由所述同步信号生成器与从与后级相连的所述相对应的合并器发出的第一同步信号同步生成上述的用于前级的第一同步信号。
8.根据权利要求6的图像处理系统，其中所述同步信号生成器生成早于所述第二同步信号预定时间的所述第一同步信号，并且所述预定时间设置为长于所有所述至少2个图像生成器、所有所述至少2个合并器，或者所有所述至少1个图像生成器以及所述至少1个合并器响应接收到的第一同步信号输出生成图像数据，以及所述数据存储单元捕获所有输出的图像数据的时间。
9.一种图像处理装置，包括数据存储单元，用于暂时存储由多个图像生成器的每一个(即每一图像生成器)生成的图像数据；同步信号生成器，用于生成使多个图像生成器的每一个输出图像数据的第一同步信号，还用于生成使所述数据存储单元同步输出暂时存储的图像数据的第二同步信号；合并单元，用于与第二同步信号同步合并从所述数据存储单元输出的图像数据以产生组合图像数据，其中所述数据存储单元、所述同步信号生成器和所述合并单元被安装在半导体芯片上。
10.一种在图像处理系统中执行的图像处理方法，该图像处理系统包括多个图像生成器和与多个图像生成器相连的合并器，所述方法包括以下步骤使所述多个图像生成器的每一个生成要被处理的图像数据；以及在第一同步时间，使所述合并器捕获来自所述多个图像生成器的每一个的图像数据，并且在第二同步时间合并捕获的图像数据。
11.一种使计算机作为图像处理系统来工作的计算机程序，该系统包括多个图像生成器，每一个用于生成要被处理的图像数据；数据存储单元，用于捕获由多个图像生成器的每一个生成的图像数据以暂时存储捕获的图像数据；同步信号生成器，用于生成使多个图像生成器的每一个输出图像数据的第一同步信号，还用于生成使所述数据存储单元同步输出暂时存储的图像数据的第二同步信号；合并单元，用于与所述第二同步信号同步合并从所述数据存储单元输出的图像数据以产生组合图像数据。
12.一种图像处理系统，用于通过网络从多个图像生成器捕获要被处理的图像数据，并且根据捕获的图像数据产生组合图像数据，所述系统包括数据存储单元，用于捕获由所述多个图像生成器的每一个生成的图像数据以暂时存储捕获的图像数据；同步信号生成器，用于生成使多个图像生成器的每一个输出图像数据的第一同步信号，还用于生成使所述数据存储单元同步输出暂时存储的图像数据的第二同步信号；合并单元，用于与所述第二同步信号同步合并从所述数据存储单元输出的图像数据以产生组合图像数据。
13.一种图像处理系统，包括多个图像生成器，每一个用于生成要被处理的图像数据；多个合并器，用于捕获由多个图像生成器生成的图像数据以合并捕获的图像数据；控制器，用于从所述多个图像生成器和所述多个合并器选择进行处理所必须的图像生成器和至少1个合并器，所述多个图像生成器、所述多个合并器和所述控制器通过网络互连，其中所述至少1个合并器包括数据存储单元，用于捕获由所选择的图像生成器生成的图像数据以暂时存储捕获的图像数据；同步信号生成器，用于生成使所述被选择的图像生成器输出图像数据的第一同步信号，还用于生成使数据存储单元同步输出暂时存储的图像数据的第二同步信号；合并单元，用于与所述第二同步信号同步合并从所述数据存储单元输出的图像数据以产生组合图像数据。
14.根据权利要求13的图像处理系统，其中由所述控制器所选择的至少1个图像生成器是通过网络建立的另一个图像处理系统。
全文摘要
一种图像处理系统包括多个图像生成器和一个合并器,其通过将图像生成器产生的图像数据进行合并生成组合图像数据。该合并器包括分别用于暂时存储从图像生成器接收的图像数据的FIFO。该合并器还包括同步信号生成器,用于生成使图像生成器输出图像数据的第一同步信号,还用于生成使FIFO输出存储的图像数据的第二同步信号。该合并器还包括合并单元,其与第二同步信号同步从FIFO接收图像数据并合并所接收的图像数据以产生组合图像数据。
文档编号G06T13/20GK1386262SQ01802136
公开日2002年12月18日 申请日期2001年7月24日 优先权日2000年7月24日
发明者藤田纯一, 今井雅敏, 日原大辅 申请人:索尼计算机娱乐公司