专利名称：数据处理装置及其控制方法
技术领域：
本发明涉及视频数据处理，特别涉及一种优选应用于通过网络进行图像传输的数据处理装置及其控制方法。
背景技术：
最近几年，随着因特网的普及，通常通过WWW(万维网)等发送信息。在这种情况下，出现了图像传感装置，它具有实时拍摄图像并通过网络传送图像的功能。
另一方面，在通过网络对用户提供摄像机图像传送服务时，有关于传送适合用户侧环境的图像数据的方案。
日本特开2001-197458号公报描述了一种图像处理装置，它将用于在用户侧进行图像显示的显示器(作为PC监视器的CRT、LCD等)的特有信息(γ校正量)传送到摄像机，然后，根据该信息，摄像机处理并传送所拍摄的图像。日本特开2001-197458号公报试图显示估计对该显示器最优的图像，以在用户侧显示图像。
此外，日本特开2004-151167号公报描述了一种服务器，它接收通过测量每个显示器(蜂窝电话的显示器)特有的亮度特性而获得的信息，根据每个显示器(蜂窝电话的显示器)的特性进行图像校正，然后，进行传送处理。
此外，日本特开2003-319364号公报描述的视频传送装置将摄像机拍摄的图像一次存储到专用图像生成服务器。通过WEB服务器，视频传送装置将以多个通过因特网访问专用WEB服务器的用户请求的视角提取的运动图像传送到各用户。
日本特开2001-197458号公报描述的结构用于将传送目的地的显示器特有的信息发送到摄像机侧，在利用该摄像机拍摄图像时，反映该信息。然而，当多个用户访问一个摄像机时，这种结构只能满足具有最高优先权的用户发出的请求。即，没有最高优先权的用户只能观看经具有最高优先权的用户处理过的图像，而且必须显示适合具有最高优先权的用户的显示器的图像数据。
为了满足多个用户发出的同时拍摄图像的请求，可以设想具有多个图像处理部分的结构。然而，在这种情况下，这种处理单元的数量限制了可以提供服务的内容。增加处理单元的数量可以放宽该限制。然而，网络摄像机服务器等具有视频传送系统的图像拍摄侧的功能，通常要求它们具有较小尺寸，而且在其内可以安装的处理单元的数量受到衬底/芯片的区域或热值等的限制。因此，存在的问题是，实际上限制了这种处理单元的数量。
此外，对于日本特开2003-319364号公报描述的技术，根据将摄像机的图像存储到服务器上、然后根据用户的请求处理并传送该图像的结构，在存储并进行了预定处理后，传送该图像。因此，存在的问题是，拍摄图像的时间与再现图像的时间之间存在显著偏差。如果是拍摄运动图像，而且由多个用户在多个实时性非常重要的地方进行监视等而在远程位置使用这些运动图像，则这种问题很严重。满足这些目的需要一种系统，该系统根据未编码状态的多个请求，对从图像传感装置输入的每秒30帧的未编码图像进行处理，然后，以请求的各种格式，分别编码各图像并发送图像。因此，可以同时将该图像传送到的用户的数量明显受到限制。
另一方面，可以考虑一种结构，在该结构中，对摄像机输出的图像进行某种不可逆编码处理，并将其存储到服务器，或者将摄像机传送的作为模拟图像的图像变换成数字信号，并将其存储到服务器。然而，根据这种结构，对通过从服务器读取编码数据并解码该数据而获得的图像，或者进行数模转换、然后进行模数转换的图像进行处理。因此，存在的问题是，与处理未编码图像或者未变换图像的情况相比，图像质量显著变差。
此外，日本特开2004-151167号公报局限于使用诸如蜂窝电话的有限的显示装置(LCD)的情况，而且它不能应用于不特定多数类型的显示器。
发明内容
鉴于上述问题，设计了本发明，而且本发明的目的是在不增大装置的尺寸的情况下，以短延迟、实时方式将根据来自多个显示装置的请求进行图像处理的运动图像发送到各装置。
根据本发明的一个方面实现上述目的的数据处理装置具有下面的结构。即，根据本发明的一个方面的数据处理装置包括多个图像处理装置，用于对输入图像数据执行不同的处理；编码装置，用于对图像数据进行编码；以及生成装置，用于使根据来自多个输出目的地的请求从所述多个图像处理装置中选择的图像处理装置按时间序列对每帧所述输入图像数据进行处理，并使所述编码装置对处理过的图像数据进行编码，从而生成多个满足来自所述多个输出目的地的请求的图像数据。
此外，根据本发明的另一方面实现上述目的的数据处理装置具有下面的结构。即，根据本发明的一个方面的数据处理装置包括多个图像处理装置，用于对输入图像数据执行不同的处理；编码装置，用于对图像数据进行编码；并行输出装置，能并行地将相同的图像数据提供给所述多个图像处理装置和所述编码装置；以及生成装置，用于使所述并行输出装置将每帧所述输入图像数据同时提供给根据来自多个输出目的地的请求从所述多个图像处理装置中选择的图像处理装置和所述编码装置，以对相同的数据同时进行图像处理和编码处理，从而生成多个满足来自所述多个输出目的地的请求的图像数据。
根据本发明的另一方面，提供一种数据处理装置的控制方法，包括多个图像处理步骤，用于对输入图像数据执行不同的处理；编码步骤，用于对图像数据进行编码；以及生成步骤，用于使根据来自多个输出目的地的请求从所述多个图像处理步骤中选择的图像处理步骤按时间序列对每帧所述输入图像数据进行处理，并使所述编码步骤对处理过的图像数据进行编码，从而生成多个满足来自所述多个输出目的地的请求的图像数据。
根据本发明的另一方面，提供一种数据处理装置的控制方法，包括多个图像处理步骤，用于对输入图像数据执行不同的处理；编码步骤，用于对图像数据进行编码；并行输出步骤，能同时将相同的图像数据提供给所述多个图像处理步骤和所述编码步骤；以及生成步骤，用于使所述并行输出步骤将每帧所述输入图像数据同时提供给根据来自多个输出目的地的请求从所述多个图像处理步骤中选择的图像处理步骤和所述编码步骤，以对相同的数据同时进行图像处理和编码处理，从而生成多个满足来自所述多个输出目的地的请求的图像数据。
根据下面结合附图所做的说明，本发明的其它特征和优点显而易见，在所有附图中，相同的附图标记表示相同或相似的部分。
引入说明书并作为说明书的一部分的附图示出了本发明的实施例，并与说明书一起用于解释本发明原理。
图1示出根据第一实施例的图像传感装置的硬件结构和系统结构；图2是示出根据第一实施例的图像传感装置和显示装置的操作的流程图；
图3A～3C示出根据第一实施例的连接到网络的显示装置的显示例子；图4是详细示出根据第一实施例的图像处理部分的方框图；图5示出根据第一实施例的图像处理部分的各处理部分的内部操作；图6示出根据第二实施例的图像处理部分的各处理部分的内部操作；图7A、7B示出根据第二实施例的可以连接到网络的显示装置侧的显示例子；图8是详细示出根据第三实施例的图像处理部分的方框图；图9示出根据第三实施例的图像处理部分的各处理部分的内部操作；图10是详细示出根据第四实施例的图像处理部分的方框图；图11示出根据第四实施例的图像处理部分的各处理部分的内部操作；图12是详细示出根据第五实施例的图像处理部分的方框图；图13示出根据第五实施例的图像处理部分的各处理部分的内部操作；图14是详细示出根据第六实施例的图像处理部分的方框图；图15是详细示出根据第六实施例的并行输出控制部分的方框图；图16示出根据第六实施例的图像处理部分的各处理部分的内部操作；图17是详细示出根据第七实施例的图像处理部分的方框图；图18是详细示出根据第七实施例的并行输出控制部分的方框图；以及图19示出根据第七实施例的图像处理部分的各处理部分的内部操作。
具体实施例方式
现在，将参考附图详细说明本发明的优选实施例。
第一实施例图1示出根据第一实施例的图像传感装置的结构的方框图。在图1中，图像传感装置5被粗略划分为3个部分图像处理部分1、图像传感部分2、以及通信部分3。图像传感部分2包括镜头21，对其输入图像；光电变换传感器(下面称为“传感器”)22，用于将由镜头21集聚的光变换为电信号；以及显影处理部分23，用于显影从传感器22获得的信号。显影处理部分23对从传感器22输出的数据(在是原色滤波器的情况下，是每个RGB元素的数据)进行亮度/颜色信号分离处理、降噪处理、基准γ校正处理、以及颜色校正/颜色信号抑制处理。从显影处理部分23输出的图像数据的最终输出数据变成4∶2∶2 YC数据。将显影处理部分23显影的信号送到图像处理部分1，作为图像数据。通过进行各种图像处理、编码处理，图像处理部分1将该图像数据变换为编码数据，并将该编码数据送到通信部分3。
在实现网络通信的通信部分3中，处理性能判定部分31分析通过网络连接到的显示装置61、62、63对图像传感装置5的请求，然后，将处理信息发送到图像处理部分1和图像传感部分2。
根据上述处理信息，图像处理部分1将为各显示装置编码的运动图像数据存储到数据缓冲器424(图4)。网络控制部分30进行处理，例如，根据目的地的网络模式，将输入到数据缓冲器424的运动图像编码数据分成包(packetizing)，然后，将其发送到网络接口部分32，作为传输数据。网络接口部分32将数据发送到模式与该网络的模式相对应的网络4。此外，通信部分3还设有存储部分33，用于存储从图像传感部分2输出的运动图像和要送到任意用户的运动图像。网络4可以是诸如Ethernet(注册商标)的有线LAN、利用IEEE802.11b等表示的无线LAN、或者诸如ISDN的公用交换网。
该实施例说明了图1中的不同模块图像处理部分1、图像传感部分2、以及通信部分3，但当利用硬件来构造该实施例时，不需要物理区分这些模块。可以以各种方式例如单独的IC来实现图像处理部分1、图像传感部分2、以及通信部分3，或者将这些部分集成(例如，集成显影处理部分23、图像处理部分1、以及网络控制部分30)在一个芯片上。因此，该方式不局限于以下实施例的说明。
此外，根据存储在CPU(控制单元，未示出)可读取的诸如ROM的存储介质中的程序，执行图像处理部分1、图像传感部分2和通信部分3。特别是，对于图像处理部分1，CPU对后面说明的控制序列发生器400发出指令。
此外，网络控制部分30中的处理性能判定部分31判定在1个视频周期内，图像处理部分1是否能处理显示装置61、62、63请求的所有处理内容。主要利用运行在CPU上的软件来实现该处理。这样，如果判定在1个视频周期内不能完成处理，则处理性能判定部分31拒绝在不能再进行处理时的请求和后续请求。然后，将拒绝通知给请求被拒绝的显示装置。然后，将送到请求被接受的其它显示装置的任意视频图像传送到请求被拒绝的显示装置。
图3A～3C示出根据该实施例可以连接到网络的显示装置61至63中的视频图像的显示例子。作为显示装置61至63，例如，可以使用个人计算机等。在图3A中，附图标记301表示将图像传感装置5发送的运动图像输出到显示装置侧的显示部分上的显示例子。附图标记302表示菜单图标，它是根据用户的操作显示的用户界面(UI)，而且选择该项目可以选择显示装置的各种功能。在选择菜单图标302时(例如，利用指示装置进行选择)，显示包括图标303至305的菜单。
图像选择图标303用于选择是显示来自图像传感装置5的图像，还是显示所存储的图像。根据该实施例，图像校正图标304用于选择图像校正处理。选择图像校正图标304显示包括图标315至319的菜单，如图3B所示，以便选择各种图像校正(亮度校正、色平衡调整、对比度调整、滤波处理、以及色区(color area)选择)。范围指定图标305用于指定要从图像中提取的所期望的范围。
在图3B中，显示310是通过选择图像校正图标304，由显示301变换得到的。亮度图标315用于调整整个显示图像的亮度。色平衡图标316用于调整整个显示图像的色平衡。对比度图标317用于调整整个显示图像的对比度。滤波图标318用于对整个显示图像进行滤波处理。色区选择图标319用于调整整个显示图像的色区。
例如，在选择亮度图标315时，图像变为包括用于调整亮度的用户界面的图像，如图3C中的显示320所示，从而语序调整亮度。选择亮度降低图标321，以使整个屏幕变暗；而选择亮度增强图标322，以使整个屏幕变亮。条形图标323表示整个屏幕的亮度级别的状态，条形图标323还允许用户通过操作该条形图标323逐渐改变整个屏幕的亮度级别。取消图标324是表示不改变亮度的图标(改变亮度)。亮度改变授权图标325是用于指示执行改变为亮度的图标(改变为亮度)。
图4是详细示出根据第一实施例包括在图像传感装置5内的图像处理部分1的方框图。
在图4中，控制序列发生器400与网络控制部分30内的处理性能判定部分31通信，而且实现显示装置侧请求的显示处理。为此，控制序列发生器400对图像处理部分1内的各部分发出适当的操作指令，以便在1个垂直同步周期内按时序多次对一帧图像进行任意处理。在此，图像处理部分1内的各部分是指图像读取DMA部分410、前(anterior)选择器部分411、前信号分离器部分412、图像校正执行部分413、后(posterior)选择器部分419、后信号分离器部分420、编码解码器部分421、编码解码器DMA部分423、以及工作存储器DMA部分422。
帧缓冲器401以1帧为单位存储从显影处理部分23输出的运动图像数据。根据控制序列发生器部分400的指令，图像读取DMA部分410从帧缓冲器401或者工作存储器425中的任一个读取任意视角的图像帧数据。根据来自控制序列发生器部分400的指令，前选择器部分411选择性地将图像读取DMA部分410输出的图像帧数据或后信号分离器部分420输出的图像帧数据中的任一个输出到前信号分离器部分412。根据来自控制序列发生器部分400的指令，前信号分离器部分412选择性地将前选择器部分411输出的图像帧数据输出到图像校正执行部分413内的各处理部分。
在图像校正执行部分413内，并行操作多个图像校正处理(414至418)。亮度校正部分414调整图像数据的亮度(Y)信号，改变该图像的亮度。颜色校正部分415调整图像数据的色差(Cb/Cr)信号，改变图像的色平衡。γ校正部分416对图像数据的色调曲线(tone curve)进行γ校正，改变该图像的对比度。滤波处理部分417对图像数据进行滤波处理，对图像进行轮廓增强和模糊掩盖锐化处理(unsharp masking)，以降低编码容量。色空间变换部分418改变图像数据的位数，并根据彩色矩阵系数，改变图像的色调。通过选择通路426，可以将未校正的图像数据提供给后选择器部分419。
根据控制序列发生器部分400发出的指令，后选择器部分419选择性地将图像校正执行部分413内的处理部分(414至418)输出的图像帧数据输出到后信号分离器部分420。根据控制序列发生器部分400发出的指令，后信号分离器部分420将后选择器部分419输出的图像帧数据输出到编码解码器部分421、工作存储器DMA部分422或者前选择器部分411中的任一个。
以诸如MJPEG、MPEG2或者MPEG4的格式，编码解码器部分421对后信号分离器部分420输出的图像帧数据进行编码。工作存储器DMA部分422将后信号分离器部分420输出的图像帧数据传送(DMA传送)到工作存储器425。编码解码器DMA部分423将编码解码器部分421输出的编码数据传送(DMA传送)到数据缓7中器424。数据缓冲器424存储编码解码器部分421编码的数据，根据网络控制部分30的请求，输出存储的数据。工作存储器425临时存储后信号分离器部分420输出的图像帧数据。根据控制序列发生器部分400发出的指令，存储在工作存储器425中的图像帧数据被再处理，或者再次对图像帧中的任意区域进行不同的图像校正处理。
还可以在同一IC上将帧缓冲器401、工作存储器425以及数据缓冲器424构造为单片(on-chip)存储器。此外，还可以利用位于IC之外、连接到该IC的存储器件(例如，诸如SDR(单数据速率)或者DDR(双数据速率)的SDRAM(同步DRAM)等)实现它们。此外，存储器还可以采用各种结构，例如，布置在不同存储器件上，或者布置在一个同样存储器件上。
图5示出根据该实施例的图像处理部分1的各处理部分的内部操作。图5示出对显影处理部分23输出的、存储在帧缓冲器401内的、对应于1个垂直扫描周期的帧图像进行校正处理的情况。即，图5示出在将对应于1个垂直扫描周期的1帧图像存储到帧缓冲器401后，对该帧图像进行校正处理的情况。然而，还可以以基本上在显影处理部分23输出帧图像并开始将该帧图像写入帧缓冲器401的同时进行第一校正处理的方式，来构造本发明。在这种情况下，进一步缩短了图像处理部分1的延迟时间。下面将详细说明图5。
接着，将参考图2说明根据第一实施例的图像传感装置和显示装置的操作。图2是用于说明根据该实施例图像传感装置5和显示装置61、62、63执行的处理的流程图。该实施例将说明3个显示装置均连接到一个图像传感装置上时的操作，但显然，本发明并不局限于这种结构。
在显示装置61访问图像传感装置5并建立通信时(步骤S201、S221)，在显示装置61与图像传感装置5之间进行设置信息的通信，将显示装置61的设置信息存储到图像传感装置5(步骤S202、S222)。设置信息包括显示装置61可以显示的图像的XY像素(还可以利用分辨率表示)的数量、编码格式以及传送速率等。当进一步详细说明时，显示装置61将该装置的设置信息发送给图像传感装置5。通过网络接口部分32，图像传感装置5接收传输数据。然后，图像传感装置5将接收的内容(设置信息)发送到显示装置61，以利用显示装置61确认接收到的设置信息是否正确。显示装置61判定接收到的内容是否与发送的内容匹配，当不存在问题时，显示装置61发送表示开始进行处理的命令(图2中的OK信号)。
在接收到表示开始进行处理的命令的图像传感装置5内，根据传输数据，处理性能判定部分31判定图像传感部分2和控制序列发生器部分400的设置(步骤S203)。接着，处理性能判定部分31指示图像传感部分2和控制序列发生器部分400输出图像(步骤S204)。接收到该指令后，图像处理部分1开始输出图像(步骤S205)，通过通信部分3和网络4将运动图像输出到显示装置61。在步骤S223和S224，显示装置显示输出图像。
根据图像处理部分1针对首先输出的运动图像的设置，输出运动图像，而不进行任何图像校正。即，图像读取DMA部分410读取存储在帧缓冲器401内的对应于1个垂直扫描周期的所有帧图像，通过前信号分离器部分412将其从前选择器部分411输入到图像校正执行部分413。在图像校正执行部分413内，选择用于将数据从前信号分离器部分412直接输出到后选择器部分419的通路426。此外，设置后信号分离器部分420的输出，以将其提供给编码解码器部分421。通过这样选择处理操作，通过通信部分3和网络4，将未进行图像校正的编码运动图像输出到显示装置61。
在该实施例中，假定处理性能判定部分31位于通信部分3的网络控制部分31内，但是本发明并不局限于此。例如，可以将处理性能判定部分31设置在图像处理部分1内，或者将其安装为内置在图像处理部分1的控制序列发生器部分400内的功能块，安装位置不限。
即使在显示装置62、63进行上述连接过程时，它们二者都不请求进行图像校正处理，因此，控制序列发生器部分400仅需要继续进行上述数据流处理。因此，在本实施例中，此时，通信部分3将同一个编码运动图像送到这3个显示装置。
接着，将说明在用户操作显示装置并请求进行校正处理时，显示装置与图像传感装置5的通信操作。作为例子，下面说明显示装置61请求进行校正处理时的情况。
接收到图像传感装置5输出的运动图像数据的显示装置61对接收到的运动图像进行解压缩处理，使该图像显示在显示装置61的屏幕上(步骤S223，S224)。图3A所示的显示301是在用户使显示装置61在运动图像上显示菜单图标302、图像选择图标303、图像校正图标304和范围指定图标305时的显示例子。例如，当用户观看该运动图像并想以稍高的亮度显示它时，用户选择图像校正图标304，这样可以使屏幕变为图3B上的显示310。当用户在该显示上选择亮度图标315时，该屏幕变为图3C所示的显示320。
在用户每次选择并操作条形图标323时(或者在用户每次操作亮度降低图标321和亮度增强图标322时)，显示装置61将图像校正项目和校正量发送到图像传感装置5。该处理对应于步骤S225、S226、S231、S232和S233。接收到该信息的图像传感装置5将接收到的设置按原样发送到显示装置61，以确认是否校正接收到的信息(步骤S206)。显示装置61判定接收到的内容是否与发送的内容匹配，如果没有问题，则它发送表示开始进行处理的命令(在该实施例中为OK信号)。通过网络控制部分30，接收到表示开始进行处理的命令的图像传感装置5判定接收到的数据内容。当网络控制部分30判定该信息与图像校正有关时(步骤S207)，在步骤S208，使图像处理装置1通过控制序列发生器400进行图像校正处理。
当如上所述校正图像的亮度时(步骤S231)，处理性能判定部分31根据校正项目和校正量判定控制序列发生器部分400的设置，并关于该设置，指示控制序列发生器部分400。这样，将亮度被校正的运动图像仅传送到显示装置61(步骤S208)。此外，在指示视角时(步骤S232)，根据所指示的视角输出图像(步骤S209)。在第二实施例中，将详细说明该处理。此外，当在步骤S233发送图像控制信息(图像输出停止、图像变化等)时，在步骤S210执行相应的图像控制。
接着，与用户在显示装置61上进行操作相同，说明在使用显示装置62的用户请求用于改变色平衡的设置和使用显示装置63的用户请求利用滤波器进行图像校正时，图像处理部分1的内部操作。在这种情况下，需要将色平衡被改变了的图像发送到显示装置62，而将进行了滤波处理的图像发送到显示装置63。即，需要对图像进行所请求的处理，获取多个被处理后的图像，并将该图像发送到各请求源。下面将参考图5说明在该实施例中实现这种图像处理和传输处理的方式。
将显影处理部分23输出的、进行了显影处理的帧图像510写入帧缓冲器401的任意区域A，作为N帧写入图像511。此外，将下一帧图像530写入帧缓冲器401的任意区域B，作为N+1帧写入图像532。这样，对帧缓冲器401的不同区域交替进行写入处理，对写入此时尚未进行写入处理的区域上的帧图像(N-1帧图像512，N帧图像531)进行图像校正。进行这种控制能成功处理以固定间隔发送的帧图像。在1个垂直扫描周期的约1/30ms的周期内，显影处理部分23输出帧显影处理图像510、530。
控制序列发生器部分400指示图像读取DMA部分410以至少比显影处理部分23输出帧图像的速度高的速度读取帧图像。即，当来自当前连接的显示装置的独立请求(不同请求)到达时(处理性能判定部分31判定所连接的显示装置的数量)，控制序列发生器部分400指示图像读取DMA部分410以可以对所有请求进行处理的速度读取帧图像。在该实施例中，因为连接了3个显示装置，如图5所示，所以以在1个垂直扫描周期内获得进行了3种校正处理后的图像数据的方式进行操作。下面将更详细说明图5所示的操作。请注意，根据控制序列发生器部分400发出的指令，实现下面描述的图像处理部分1的各部分的操作。
图像数据DMA部分410读取存储在区域B上的N-1帧图像(帧读取处理513)，将其作为帧图像传送到前选择器部分411，以进行显示装置61请求的亮度校正。前选择器部分411从图像读取DMA部分410选择数据，将输入的帧图像输出到前信号分离器部分412。前信号分离器部分412将输入的帧图像输出到亮度校正部分414，在亮度校正部分414执行帧亮度校正处理514。将由亮度校正部分414进行了亮度校正处理的帧图像输出到后选择器部分419。后选择器部分419将从亮度校正部分414输入的进行了亮度校正处理的帧图像输出到后信号分离器部分420。后信号分离器部分420将进行了亮度校正处理的帧图像输出到编码解码器部分421。编码解码器部分421以控制序列发生器部分400指示的格式进行图像编码(帧编码处理515)，将进行了亮度校正的帧编码图像输出到数据缓冲器DMA部分423。当数据缓冲器DMA部分423开始进行将N-1帧的帧编码图像记录到数据缓冲器424上的处理时，控制序列发生器部分400将显示装置61的运动图像编码数据的通信授权信号输出到网络控制部分30。根据该通信授权信号，网络控制部分30开始与显示装置61进行存储在数据缓冲器424上的运动图像编码数据的通信。
控制序列发生器部分400监视编码解码器部分421执行的编码处理。当检测到完成对N-1帧图像进行帧编码处理515时，控制序列发生器部分400指示图像读取DMA部分410读取N-1帧图像512，作为要进行显示装置62请求的颜色校正的帧图像。图像读取DMA部分410执行帧读取处理516，通过前选择器部分411和前信号分离器部分412将所读取的帧图像输入到颜色校正部分415。颜色校正部分415对该帧图像进行颜色校正处理517。通过后选择器部分419和后信号分离器部分420，将利用颜色校正处理517进行了颜色校正处理的帧图像输入到编码解码器部分421。编码解码器部分421以控制序列发生器部分400指示的格式进行图像编码(帧编码处理518)，将处理结果输出到数据缓冲器DMA部分423，作为要进行颜色校正的帧编码图像。当数据缓冲器DMA部分423开始进行将进行了颜色校正的帧编码图像记录到数据缓冲器424上的处理时，控制序列发生器部分400将显示装置62的运动图像编码数据的通信授权信号输出到网络控制部分30。根据该通信授权信号，网络控制部分30开始与显示装置62进行存储在数据缓冲器424内的运动图像编码数据的通信。
控制序列发生器部分400监视编码解码器部分421执行的编码处理。当检测到对经过颜色校正的帧图像进行的帧编码处理518完成时，控制序列发生器部分400指示图像读取DMA部分410读取N-1帧图像512，作为要进行显示装置63所请求的滤波处理的帧图像。在帧读取处理519中，通过前选择器部分411和前信号分离器部分412，将图像读取DMA部分410读取的N-1帧图像512输入到滤波处理部分417。在帧滤波处理520中，通过后选择器部分419和后信号分离器部分420，将滤波处理部分417处理过的帧图像输入到编码解码器部分421，作为进行了滤波处理的帧图像。编码解码器部分421以控制序列发生器部分400指示的格式进行图像编码(帧编码521)，然后，将处理结果输出到数据缓冲器DMA部分423，作为进行了滤波处理的帧编码图像。当数据缓冲器DMA部分423开始进行将滤波处理过的帧编码图像记录到数据缓冲器424上的处理时，控制序列发生器部分400将显示装置63的运动图像编码数据的通信授权信号输出到网络控制部分30。根据该通信授权信号，网络控制部分30开始与显示装置63进行存储在数据缓冲器424内的运动图像编码数据的通信。
如上所述，根据第一实施例，通过按时序改变图像处理部分1的内部连接，可以在1个垂直扫描周期内多次执行通过图像校正从帧图像读取到编码的处理。对每个垂直扫描周期(每1帧)重复进行多次执行的该处理，因此，可以同步输出多个连续运动图像编码文件。
此外，根据第一实施例，存储部分33设置在图像传感装置5的内部。因此，不仅可以将图像输出到网络，而且可以对利用自己的摄像机例如数字式摄像机或数字视频摄像机所拍摄的摄像机运动图像进行任意图像处理，存储该图像，并通过网络将任意运动图像同时输出到各外部显示装置。
尽管上述实施例描述了发送对3个连接目的地进行不同图像校正的校正结果的情况，但是，例如，通过提高处理频率的速度，可以根据图像传输目的地的连接数量，改变处理数量。此外，作为节省能源的措施，在仅进行一种处理的情况下、以及在1个垂直扫描周期内进行多种处理的情况下，还可以利用处理性能判定部分31等发出的指令，改变图像处理部分1的操作频率。或者，还可以始终以高速处理频率操作图像处理部分1，而在不进行处理的1个垂直扫描周期内，停止每个处理部分的操作。
第二实施例第一实施例描述了在对3个连接目的地同时对同一图像进行不同图像校正的情况下进行的处理。此外，第一实施例还描述了对各输出目的地执行一种图像处理，并输出处理结果的处理，但是还需要根据位于输出目的地的显示装置的请求，进行多种图像处理。例如，亮度校正+滤波处理，亮度校正+以要求的视角提取等。第二实施例将说明用于实现这种复合处理的结构。
与第一实施例的情况相同，图像传感装置5与多个显示装置通过网络连接起来(图1)。图6示出根据第二实施例的图像处理部分1的各处理部分的操作。图7A和7B示出根据第二实施例可以连接到网络的显示装置上的显示例子。
在图7A中，显示901是当显示整个帧图像时的UI显示例子，而通过选择范围指定图标305，示出裁剪区的框902显示在显示901上。当用户操作框902的位置和尺寸，选择任意区，然后，选择OK图标910以指示固定框位置，仅将框902内的运动图像发送到显示装置。
与第一实施例的情况相同，作为例子，说明连接3个显示装置61、62、63的情况。例如，假定在图7B所示的显示中
·显示装置61请求对整个摄像机图像(920)进行亮度校正，·显示装置62请求对部分摄像机图像(921)进行亮度校正和滤波处理，以及·显示装置63请求对部分摄像机图像(922)进行色空间变换处理和滤波处理。
在这种情况下，处理性能判定部分31判定用于所请求的视角的重叠和所请求的图像校正的内容，指示控制序列发生器部分400执行最有效的内部处理。在上述例子中，显示装置62所请求的视角921包括在显示装置61所请求的视角920中，而且图像校正处理还包括相同的亮度校正处理。因此，判定为确定以下序列对整个帧图像进行一次图像校正处理，将它存储到工作存储器425内，然后，分别读取并处理要处理的部分(部分图像921)。此外，显示装置63请求以仅对整个帧图像显示的指定部分进行多种图像校正的方式传送运动图像。在这种情况下，指定部分的视角922包括在显示装置61的视角920内，但是所请求的进行校正处理的内容不同，因此，处理性能判定部分31判定根据各读取进行校正和压缩。
参考图6，详细说明满足上述请求的图像处理部分1的操作。根据控制序列发生器部分400发出的指令，下面的各部分执行处理操作。此外，图6示出如何将N帧图像写入区域A以及如何对写入区域B的N-1帧图像进行处理，而且如图5所示，交替对区域A、B进行写入/读取。
首先，通过帧读取处理813，图像读取DMA部分410读取整个N-1帧图像812。通过前选择器部分411和前信号分离器部分412，将所读取的帧图像输入到执行亮度校正处理814的亮度校正部分414。通过后选择器部分419和后信号分离器部分420，将由亮度校正部分414进行了亮度校正处理的帧图像输入到工作存储器DMA部分422(工作存储器写入处理815)。
在将进行了亮度校正的帧图像写入到工作存储器425内的处理815完成时，执行工作存储器读取处理816。即，图像读取DMA部分410从存储在工作存储器425内的帧图像中读取对应于显示装置61所请求的视角920的图像，作为亮度校正图像。在该实施例中，显示装置61所指示的视角920是对应于整个帧的图像。通过通路426、后选择器部分419以及后信号分离器部分420，将图像读取DMA部分410在工作存储器读取处理816中从工作存储器425读取的亮度校正图像按原样提供给编码解码器部分421。编码解码器部分421对亮度校正图像进行编码处理817，然后，数据缓冲器DMA423将其写入数据缓冲器424，作为编码亮度校正图像。当工作存储器DMA部分423开始进行将编码图像记录到数据缓冲器424的处理时，控制序列发生器部分400将运动图像编码数据的通信授权信号输出到显示装置61的网络控制部分30。
接着，控制序列发生器部分400监视由编码解码器部分421执行的编码处理817，并检测编码处理817的完成。然后，控制序列发生器部分400指示图像读取DMA部分410从存储在工作存储器425内的帧图像中读取对应于显示装置62所请求的视角921的图像。这样可以从工作存储器425中经过亮度校正的帧图像中读取对应于显示装置62所请求的视角921(指定区)的部分图像数据，作为要进行显示装置62所请求的滤波处理的图像。
通过前选择器部分411和前信号分离器部分412，将图像读取DMA部分410读取的部分图像数据输入到滤波处理部分417。因此，对经过亮度校正、对应于从工作存储器425读取的指定区的部分图像数据进行滤波处理821。根据显示装置62，编码解码器部分421对经过滤波处理的指定区的部分图像数据821进行编码处理822，然后，编码解码器DMA部分423将其写入数据缓冲器424。通过该顺序处理，当各视角互相重叠且包括同样的校正处理时，可以实现共享处理。
接着，显示装置63所请求的图像处理是对指定区进行色空间变换处理和滤波处理，而不包括上述亮度校正。因此，从N-1帧图像812重新读取作为处理目标的部分图像数据。因此，图像读取DMA部分410从N-1帧图像812读取对应于显示装置63所请求的视角922的部分图像数据(指定区读取处理830)。通过前选择器部分411和前信号分离器部分412，将读取的部分图像数据输入到色空间变换部分418，对其进行预定变换处理。后信号分离器部分420再次将色空间变换处理部分处理过的部分图像数据传送到前选择器部分411，并将其输入到滤波处理部分417。这样可以对部分图像数据执行作为第二处理的滤波处理822。通过后选择器部分419和后信号分离器部分420，将这样进行了色空间变换处理和滤波处理的部分图像数据输入到对该部分图像数据进行编码处理834的编码解码器部分421。然后，通过数据缓冲器DMA 423，将部分图像数据输入数据缓冲器424。接着，通过图像读取DMA部分410，控制序列发生器部分400从N-1帧图像812中，从对应于显示装置63所请求的视角922的图像中读取位于第一读取图像之后的预定量部分，重复上述处理。通过重复这种顺序处理，可以对在其上指定了一个区域的帧图像进行多种校正处理。
第三实施例在第一实施例和第二实施例中，图像处理部分1具有如图4所示的内部结构，该结构并行布置各图像校正处理，以便分布图像数据，以进行由信号分离器部分指定的校正处理。然而，当采用这种结构时，由控制序列发生器部分400进行的数据流控制变得复杂，而且可能增加处理时间。
为了解决上述问题，第三实施例说明了对图像校正执行部分413进行修改的例子。如图8所示，根据第三实施例，图像校正执行部分1001中的各处理部分像流水线那样串联连接。在每个处理部分之前设置用于添加表示是否应执行每个校正处理的标志和表示每种校正的量的参数的标志处理部分1010，从而简化数据流控制并缩短处理时间。
图8是详细示出根据第三实施例的图像处理部分1的方框图。在图8中，控制序列发生器部分1000对每个DMA部分的读/写区进行设置，指示标志处理部分1010进行标志添加或者执行诸如转换编码解码器部分421的编码方式的处理。图像校正执行部分1001包括多个像流水线那样连接的校正处理模块。选择器部分1003判定添加到图像数据的标志，选择从图像读取DMA部分410输出的图像数据或从信号分离器1004输出的图像数据中的任一个，并将所选择的图像数据输出到图像校正执行部分1001。
信号分离器1004判定添加到从图像校正执行部分1001输出的图像数据的标志，并将输入数据输出到编码解码器部分421、工作存储器DMA部分422或选择器部分1003中的任一个。标志处理部分1010添加用于指示根据控制序列发生器部分1000的指令、应该对图像数据执行图像校正执行部分1001中的哪个处理的标志，并且添加用于指示所指定的校正处理的校正量的参数。
亮度校正部分1011判定由标志处理部分1010添加的标志，当设置了亮度校正处理执行标志时，执行亮度校正处理；当未设置该标志时，将数据输出到后面的颜色校正处理部分1012。颜色校正部分1012判定由标志处理部分1010添加的标志，当设置了颜色校正处理执行标志时，执行颜色校正处理；当未设置该标志时，将未进行颜色校正处理的数据输出到后面的γ校正部分1013。γ校正部分1013判定由标志处理部分1010添加的标志，当设置了γ校正处理执行标志时，执行γ校正处理；当未设置该标志时，将未进行γ校正处理的数据输出到后面的滤波处理部分1014。滤波处理部分1014判定由标志处理部分1010添加的标志，当设置了滤波处理执行标志时，执行滤波处理；当未设置该标志时，将未进行滤波处理的数据输出到后面的色空间变换部分1015。色空间变换部分1015判定由标志处理部分1010添加的标志，当设置了色空间变换执行标志时，执行色空间变换处理；当未设置该标志时，将未进行色空间变换的数据输出到信号分离器1004。
图9示出根据第三实施例的图像处理部分1的各处理部分的内部操作。将说明根据第三实施例具有图8所示结构的图像处理部分1的内部操作。下面说明对两个不同显示装置发出的请求进行处理的例子。例如，假定“执行预定亮度校正并显示整个帧图像”的请求和“执行预定亮度校正，然后进行滤波处理并显示指定视角的图像”的请求(然而，假定两个请求具有同样的亮度校正内容)。
控制序列发生器部分1000从处理性能判定部分31获取关于两个不同显示装置上的视角范围和校正处理内容的信息，并确定处理进度(schedule)。在显影处理部分23开始输出1个垂直扫描周期的N帧图像时，控制序列发生器部分1000开始将N帧图像写入帧缓冲器401的一个区域(区域A)。然后，响应该写入的开始，控制序列发生器部分1000指示图像读取DMA部分410从帧缓冲器401的另一个区(区域B)读取N-1帧图像512。响应该指令，图像读取DMA部分410读取N-1帧图像(N-1帧读取处理1113)。通过选择器部分1003，将读取的帧图像输入到标志处理部分1010。
根据控制序列发生器部分1000发出的指令，标志处理部分1010将用于指示“仅对整个图像进行亮度校正处理的处理，然后将其存储到工作存储器425”的标志添加到输入帧图像的开始处，并且添加表示亮度校正量的参数。将添加了上述标志和参数的帧图像提供给图像校正执行部分1001。首先，图像校正执行部分1001将帧图像提供给亮度校正部分1011。亮度校正部分1011检验添加到输入帧图像的开始位置的标志，判定是否进行亮度校正，并判定在进行亮度校正时应该对该图像的哪个部分进行处理。在该例子中，标志表示对整个图像进行亮度校正处理，因此，根据指定的参数对整个帧图像进行亮度校正处理(N-1帧亮度校正处理1114)。
将进行了亮度校正的帧图像输入到下一个校正处理颜色校正处理部分1012。在该例子中，未设置由标志处理部分1010添加的、用于进行颜色校正处理的标志，因此，不对该帧图像进行处理，而将其输出到后置γ校正处理部分1013。同样，在γ校正处理部分1013、滤波处理部分1014、以及色空间处理部分1015内未设置表示执行该处理的标志，因此，不进行校正处理，而将进行了亮度校正的帧图像输出到信号分离器部分1004。由于设置了将数据存储到工作存储器425内的标志，所以信号分离器部分1004将进行了亮度校正的N-1帧图像输出到工作存储器DMA部分422。
工作存储器DMA部分422将输入的帧图像写入工作存储器425(工作存储器写入处理1115)。
控制序列发生器部分1000监视该工作存储器写入处理1115的完成，当检测到该写入完成时，指示图像读取DMA部分410读取工作存储器425内的帧图像。图像读取DMA部分410从工作存储器425读取通过工作存储器写入处理1115写入的帧图像(工作存储器读取处理1116)。通过选择器部分1003，将通过工作存储器读取处理1116读取的帧图像提供给标志处理部分1010。根据控制序列发生器部分1000发出的指令，标志处理部分1010添加用于表示对帧图像进行编码解码器处理、而不进行任何图像校正处理的标志，然后，将该标志提供给图像处理执行部分1001。因此，将该帧图像输出到信号分离器部分1004，而不在图像处理执行部分1001进行任何校正处理(通过所有处理部分)，将其输入到编码解码器部分421。编码解码器部分421对输入的帧图像进行编码(编码处理1117)。
当控制序列发生器部分1000检测到完成了编码解码器部分421执行的编码处理117时，开始对不同的显示装置准备图像数据。首先，控制序列发生器部分1000指示图像读取DMA部分410从通过工作存储器写入处理1115写入工作存储器425并进行了亮度校正的帧图像中提取具有处理性能判定部分31所指定的视角的图像数据。接收到上述指令的图像读取DMA部分410从工作存储器425读取指定区中的图像(工作存储器指定区读取处理1120)。通过选择器部分1003，将读取的图像数据输入到标志处理部分1010。
根据控制序列发生器部分1000发出的指令，标志处理部分1010将用于进行滤波处理和编解码处理的标志和用于表示滤波处理的处理量的参数添加到指定区图像1120的开始处，然后，将其提供给图像校正执行部分1001。由于在亮度校正处理部分1011、颜色校正处理部分1012、以及γ处理部分1013未设置标志，所以不进行处理。根据参数的指令，滤波处理部分1014进行滤波处理(工作存储器指定区滤波处理1121)，并将处理结果输出到色空间变换部分1015。色空间变换部分1015不进行处理，而通过信号分离器部分1004，将该指定区滤波处理图像1121输入到编码解码器部分421，在指定的系统中进行编码处理。
如上所述，每个处理部分分别自动判定由标志处理部分添加的、用于指定处理的标志和参数，并进行数据流处理，从而简化对处理的判定，并因此缩短了处理时间。
第四实施例第三实施例将图像校正执行部分1001内的各校正处理部分像流水线一样串联连接起来，在图像校正执行部分1001之前，设置了用于添加用于表示是否进行各校正处理的标志和用于表示每种校正的校正量的参数的标志处理部分1010。利用这种结构，第三实施例意在简化数据流控制并缩短处理时间。然而，通过适当安排各校正处理部分并在控制序列发生器部分内嵌入用于进行标志处理的部分，可以进一步简化图像处理部分1的内部结构。如图10所示，根据第四实施例，在控制序列发生器部分1200内嵌入用于打开/关闭图像校正执行部分内的各校正处理部分的功能的功能，而且图像校正执行部分1201内的各校正处理部分像流水线一样串联起来。通过以这种方式删除标志处理部分，可以进一步节省芯片面积的空间，而且节省能量。
图10是详细示出根据第四实施例的图像处理部分1的方框图。在图10中，控制序列发生器部分1200执行对每个DAM部分设置读取区/写入区、打开/关闭每个校正处理部分的功能、以及指示编码解码器部分421改变编码方式的处理。对图像校正执行部分1201设置各种像流水线一样连接的处理模块。根据控制序列发生器部分1200发出的指令，亮度校正部分1211判定是否执行亮度校正处理。根据控制序列发生器部分1200发出的指令，颜色校正部分1212判定是否执行颜色校正处理。根据控制序列发生器部分1200发出的指令，γ校正部分判定是否执行γ校正处理。根据控制序列发生器部分1200发出的指令，色空间变换部分1214判定是否执行色空间变换处理。根据控制序列发生器部分1200发出的指令，滤波处理部分1215判定是否执行滤波处理。当部分1211～1215中的每个从控制序列发生器部分1200接收到不应该执行处理(关闭功能)的指令时，每个部分均不进行处理，而将该数据提供给后面的部分。
图11示出根据第四实施例的图像处理部分1的各处理部分的内部操作。
在图10所示的结构中，参考图11说明在对3个显示装置发出的请求进行处理时，根据第四实施例的图像处理部分1的内部操作。
根据处理性能判定部分31发出的信息，控制序列发生器部分1200判定关于3个不同显示装置中的校正处理内容的处理步骤。该实施例将说明第一显示装置请求亮度校正、第二显示装置请求颜色校正、以及第三显示装置请求γ校正和滤波处理的情况。
首先，控制序列发生器部分1200指示亮度校正处理部分1211对第一显示装置执行亮度校正和处理量参数。另一方面，控制序列发生器部分1200指示颜色校正处理部分1212、γ处理部分1213、色空间变换部分1214以及滤波处理部分1215不进行处理，而将数据传送到下一个处理部分。在显影处理部分23开始N+1帧图像的1个垂直扫描周期的输出时，开始向帧缓冲器401的一个区域(区域B)(512)写入。在开始该写入的同时，指示图像读取DMA部分410从帧缓冲器401的另一个区域(区域A)读取N帧图像531。图像读取DMA部分410读取N帧图像531(N帧读取处理1333)，将该N帧图像531输入到亮度校正部分1211。
由于亮度校正部分1211已经从控制序列发生器部分1200接收到执行亮度校正处理的指令，所以根据所指定的参数，对输入的图像数据进行亮度校正处理(N帧亮度校正处理1334)。将利用N帧亮度校正处理1334进行了亮度校正的图像输入到进行下一个校正处理的颜色校正处理部分1212，但是由于从控制序列发生器部分1200接收到使操作关闭(OFF)的指令，所以不对图像进行处理，而将其输出到后面的γ校正处理部分1213。同样，γ校正处理部分1213、色空间处理部分1214、以及滤波处理部分1215也从控制序列发生器部分1200接收到了使操作关闭的指令，因此，将该帧图像输出到编码解码器部分421，而不进行任何处理。根据控制序列发生器部分1200指示的编码方式，编码解码器部分421对进行了亮度校正的图像进行编码(N帧编码处理1335)。数据缓冲器DMA部分423将获得的编码数据写入数据缓冲器424，然后，网络控制部分30对显示装置进行传输处理。
检测到编码解码器部分421完成了编码处理1335的控制序列发生器部分1200指示颜色校正处理部分1212进行颜色校正和处理量参数，以对第二显示装置生成图像数据。此外，控制序列发生器部分1200还发出用于关闭其它处理部分(亮度校正处理部分1211、γ处理部分1213、色空间变换部分1214、滤波处理部分1215)的操作的指令。然后，控制序列发生器部分1200命令图像读取DMA部分410从帧缓冲器401的区域A读取N帧图像531。图像读取DMA部分410读取N帧图像(N帧读取处理1336)，然后，将读取的帧图像输入到亮度校正处理部分1211。
亮度校正处理部分1211从控制序列发生器部分1200接收到用于关闭操作的指令，因此，将该数据提供给后面的颜色校正处理部分1212，而不对该数据进行任何处理。颜色校正处理部分1212从控制序列发生器部分1200接收到用于进行颜色校正处理的指令，因此，根据指定的参数，对输入的图像数据进行颜色校正处理(N帧颜色校正处理1337)。将进行了颜色校正的N帧图像输入到后面用于进行校正处理的γ校正处理部分1213，但γ校正部分1213从控制序列发生器部分1200接收到用于关闭操作的指令时，因此，输出N帧图像，而不进行任何处理。同样，色空间处理部分1214和滤波处理部分1215也从控制序列发生器部分1200接收到用于关闭操作的指令，所以将N帧图像输出到编码解码器部分421，而不进行各种处理。根据控制序列发生器部分1200指示的编码方式，编码解码器部分421对输入的进行了颜色校正的N帧图像进行编码(编码处理1338)，然后，产生N帧编码数据。数据缓冲器DMA部分423将该N帧编码数据写入数据缓冲器424的数据缓冲器DMA部分423，然后，网络控制部分30对显示装置进行传输处理。
检测到编码解码器部分421完成了编码处理的控制序列发生器部分1200进一步产生用于第三显示装置的图像数据。因此，控制序列发生器部分1200将用于执行γ校正的指令和处理量参数提供给γ校正处理部分1213，将用于执行滤波处理的指令和处理量参数提供给滤波处理部分1215。控制序列发生器部分1200将用于关闭操作的指令提供给其它处理部分(亮度校正部分1211、颜色校正部分1212以及色空间变换部分1214)。然后，控制序列发生器部分1200命令图像读取DMA部分410从帧缓冲器401的区域A读取N帧图像531。图像读取DMA部分410读取N帧图像(N帧读取处理1340)，然后，将读取的帧图像输入到亮度校正部分1211。
亮度校正部分1211从控制序列发生器部分1200接收到用于关闭操作的指令，因此，将N帧图像输入到后面的颜色校正部分1212，而不对该图像进行任何处理。同样，颜色校正部分1212也从控制序列发生器部分1200接收到用于关闭操作的指令，因此，将该图像数据交给后面的γ校正部分1213，而不对该图像数据进行任何处理。γ校正部分1213从控制序列发生器部分1200接收到用于执行γ校正处理的指令，因此，根据指定的参数，对输入的图像数据进行γ校正处理(N帧γ校正处理1341)。将进行了γ校正的图像数据顺序输入到下一个色空间变换部分1214。色空间变换部分1214从控制序列发生器部分1200接收到用于关闭操作的指令，因此，将输入的图像数据输出到滤波处理部分1215。
滤波处理部分1215从控制序列发生器部分1200接收用于执行滤波处理的指令，因此，根据指定的参数，对输入的图像数据进行滤波处理(N帧滤波处理1342)。将滤波处理部分1215输出的图像数据顺序输入到编码解码器部分421，然后，根据控制序列发生器部分1200指示的编码方式，对其进行编码。因此，生成了N帧编码数据1343。数据缓冲器DMA部分423将该N帧编码数据写入数据缓冲器424，然后，网络控制部分30对显示装置进行传输处理。
如上所述，通过根据校正处理部分的最佳排列，实现流水线式处理系统，可以节省芯片面积的空间，而且可以节省能量，同时与第一实施例实现同样的效果。
通过提供与第三实施例所描述的工作存储器425有关的结构，第四实施例还可以实现以要求的视角进行提取的处理。
第五实施例在图像处理部分1的第一实施例和第二实施例的内部结构中，如图4所示并联设置各图像校正处理，而且信号分离器部分分布图像数据，以进行指定的校正处理。此外，在第三实施例和第四实施例的结构中，各处理部分和标志处理部分像流水线一样连接，以进行校正处理。
通过由控制序列发生器利用DMA，第五实施例对将数据输入到各校正处理部分和缓冲器或从各校正处理部分和缓冲器输出数据进行控制，从而与上述实施例实现同样的操作和效果。
图12是详细示出根据第五实施例的图像处理部分1的方框图。在图12中，根据处理性能判定部分31发出的指令，控制序列发生器部分1400对利用DMA将数据输入到每个处理部分和缓冲器或从每个处理部分和缓冲器输出数据进行控制。数据总线1410连接各处理部分和缓冲器。帧缓冲器1411存储显影处理部分23输出的1个垂直扫描周期的帧图像，而且通过DMA接口，连接到图像处理部分1内的其它处理部分。工作存储器1412是用于临时记录任意处理部分处理过的图像数据并通过DMA接口连接到图像处理部分1内的其它处理部分的工作存储器。数据缓冲器1413存储编码解码器部分1425输出的编码数据，然后，将存储的编码数据输出到网络控制部分30。数据缓冲器1413通过DMA接口连接到图像处理部分1内的其它处理部分。
通过相应的DMA接口，包括在图像校正执行部分1414内的亮度校正部分1420将数据输入到颜色校正部分1421、γ校正部分1422、以及色空间变换部分1424和编码解码器部分1425/；或者从颜色校正部分1421、γ校正部分1422、以及色空间变换部分1424和编码解码器部分1425输出数据。DMAC部分1426是直接存储器访问控制器，其监视图像处理部分1中的每个DMA接口的优先权、数据输入/输出顺序以及通过的地址，根据来自控制序列发生器1400的设置，执行DMA操作或停止DMA操作。
图13示出根据第五实施例的图像处理部分1的各处理部分的内部操作。将参考图12和图13说明在对来自3个显示装置的请求进行处理时，根据第五实施例具有上述结构的图像处理部分1的内部操作。
对于第一显示装置，利用DMA传送，控制序列发生器部分1400以任意数据量为单位顺序读取存储在帧缓冲器401A上的N帧图像531，将该N帧图像531直接输入到亮度校正部分1420。根据来自控制序列发生器部分1400的指令预先设置了操作的亮度校正部分1420处理通过DMA传送以任意数据量为单位输入的数据，并通过DMA传送将处理过的数据顺序输出到编码解码器部分1425。编码解码器部分1425对所输入的以任意数据量为单位的数据进行编码，并通过DMA传送将该数据传送到数据缓冲器部分1413。继续进行这一系列DMA传送，直到完成对所有N帧图像的处理。
对于第二显示装置，在检测到完成了对整个N帧图像进行编码处理1535时，控制序列发生器部分1400进行处理。即，通过DMA传送，控制序列发生器部分1400再次以任意数据量为单位顺序读取存储在帧缓冲器401A中的N帧图像531，将该数据直接输入到颜色校正部分1421。利用来自控制序列发生器部分1400的指令预先设置了操作的颜色校正部分1421，对通过DMA传送以任意数据量为单位输入的数据进行处理，并通过DMA传送将该数据顺序输出到编码解码器部分1425。编码解码器部分1425对所输入的以任意数据量为单位的数据进行编码，并通过DMA传送将该数据传送到数据缓冲器部分1413。继续进行这一系列DMA传送，直到完成对整个N帧图像的处理。
此外，对于第三显示装置，在检测到完成了对整个N帧图像进行编码处理1538时，控制序列发生器部分1400利用DMA传送，以任意数据量为单位顺序读取存储在帧缓冲器401A。将读取的图像数据直接输入到γ校正部分1422。根据来自控制序列发生器部分1400的指令预先设置了操作的γ校正部分1422，对通过DMA传送以任意数据量为单位输入的数据进行处理，并通过DMA传送将处理过的数据顺序输出到滤波处理部分1423。根据来自控制序列发生器部分1400的指令预先设置了操作的滤波处理部分1423，对通过DMA传送以任意数据量为单位输入的数据进行处理，并通过DMA传送将处理过的数据顺序输出到编码解码器部分1425。编码解码器部分1425对所输入的、以任意数据量为单位的数据进行编码，然后，通过DMA传送将该数据传送到数据缓冲器部分1413。继续进行这一系列DMA传送，直到完成对整个N帧图像的处理。
对各垂直扫描周期重复执行上述一系列处理，将存储在工作存储器1413中的编码数据输出到网络控制部分30，从而可以通过网络输出3个不同的编码运动图像。
第五实施例在DMA的控制下将进行了图像处理的数据存储到工作存储器1412，将该数据传送到其它处理部分，因此，它还可以产生进行了多种处理的图像数据。此外，如果从存储在工作存储器1412中的图像数据提取指定的范围，并将其提供给编码解码器部分1425，则可以获得以要求的视角提取的编码图像数据。
如上所述，通过利用DMA传送控制各处理部分，可以与其它实施例实现同样的效果。
第六实施例在第一实施例和第二实施例中，图像处理部分1具有如图4所示并行设置各图像处理部分、且利用信号分离器部分分布图像数据以进行指定的校正处理的内部结构。此外，第三实施例和第四实施例具有各处理部分和标志处理部分像流水线一样连接以进行校正处理的结构。此外，第五实施例利用DMA控制各校正处理部分，从而，与其它实施例实现同样的操作和效果。
第六实施例对各校正处理部分设置了用于将读取的图像数据同时提供给多个校正处理部分和编码解码器部分的装置(并行输出控制部分1610)。该结构可以与上述实施例实现同样的操作和效果，并提高预定单位时间的校正/编码处理效率，而且在实现同样的处理时，降低了存储器的使用率。
图14是详细示出根据第六实施例的图像处理部分1的方框图。在图14中，根据来自处理性能判定部分31的指令，控制序列发生器部分1600对利用DMA将数据输入到各处理部分和缓冲器、或从各处理部分和缓冲器输出的数据进行控制。数据总线1630连接各处理部分和缓冲器。利用图像输入部分DMA 1631，将显影处理部分23输出的1个垂直扫描周期的帧图像输入到图像输入部分1613，将其写入帧缓冲器1626。通过存储控制器1628，帧缓冲器1626连接到图像处理部分1内的其它处理部分。工作存储器1625是用于临时存储经过任意处理部分处理的图像数据、并通过存储控制器1628连接到图像处理部分1内的其它处理部分的工作存储器。数据缓冲器1627存储编码解码器部分1621输出的编码数据，将存储的编码数据输出到网络控制部分30内的处理性能判定部分31。数据缓冲器1627还通过存储控制器1628连接到图像处理部分1内的其它处理部分。
通过DMA 1633～1637，将数据输入到包括在图像校正执行部分1640中的亮度校正部分1614、颜色校正部分1615、γ校正部分1616、滤波处理部分1617，以及并行输出控制部分1610和编码解码器部分1621；或从包括在图像校正执行部分1640中的亮度校正部分1614、颜色校正部分1615、γ校正部分1616、滤波处理部分1617，以及并行输出控制部分1610和编码解码器部分1621输出数据。每个DMA分别是直接存储器访问控制器，根据来自控制序列发生器1600的设置，它控制图像处理部分1中的每个DMA的优先权、数据输入/输出顺序以及通过的地址，控制DMA操作的执行/停止DMA操作进行控制。
并行输出控制部分1610、包括在图像校正执行部分1640内的处理部分1614～1617以及编码解码器部分1621通过不同于DMA连接的独立的接口1641连接到数据总线1630。并行输出控制部分的DMA 1632从工作存储器1625、帧缓冲器1626以及数据缓冲器1627读取图像数据。将读取的图像数据同时提供给根据来自控制序列发生器1600的设置选择的各处理部分和编码解码器部分1621中的多个处理部分。此外，通过上述独立接口1641，将通过处理部分和编码解码器部分1621中的任一个进行了图像处理的图像数据提供给并行输出控制部分1610。根据来自控制序列发生器1600的设置，并行输出控制部分1610将图像数据同时送到各处理部分和编码解码器部分1621中的多个处理部分。
图15是示出并行输出控制部分1610的内部结构的方框图。在图15中，输入仲裁部分1821连接到并行输出控制部分DMA 1632和处理部分1614～1617和1621的输出部分1801至1806。输出部分1801至1806分别是并行输出控制部分DMA 1632、亮度校正部分1614、颜色校正输出部分1615、γ校正输出部分1616、滤波处理部分1617、以及编码解码器部分1621的输出部分。数据输出端口1824和输出忙信号1823连接在输入仲裁部分1821与各输出部分1801至1806之间。输出忙信号从输入仲裁部分1821输出到各输出部分1801至1806。
输出仲裁部分1820连接到并行输出控制部分DMA 1632和各处理部分1633至1637的输入部分1811至1816。输入部分1811至1816分别是并行输出控制部分DMA 1632、亮度校正部分1614、颜色校正输出部分1615、γ校正输出部分1616、滤波处理部分1617、以及编码解码器部分1621的输入部分。数据输出端口1831和输入忙信号1830连接在输出仲裁部分1820与各输入部分1811至1816之间。输入忙信号从各输入部分1811至1816输出到仲裁部分1820。
数据输出端口1824、输出忙信号1823、数据输入端口1831以及输入忙信号1830构成图14所示的独立接口1641。
根据来自控制序列发生器1600的设置，输入仲裁部分1821选择输入数据的输出部分。此外，在判定输入到输出仲裁部分1820的每个输入忙信号1830的情况时，输入仲裁部分1821控制输出忙信号1823，从而分别控制每个输出部分输出的数据。通过输入仲裁部分1821，将从数据输出端口1824输入的数据临时存储到数据存储部分1822。通过输出仲裁部分1820，将存储在数据存储部分1822的数据输出到根据来自控制序列发生器1600的设置从连接到输出仲裁部分1820的输入部分1811至1816中选择的多个输出部分。
上述独立接口1641具有输入端口和输出端口互相分离的结构，但是通过进行时分控制，即使输入端口和输出端口集成在一起，也可以实现同样的功能。
此外，该并行输出控制部分1610用于根据来自控制序列发生器1600的设置打开/关闭各输入/输出端口。因此，当输入部分和输出部分的数量增加或者减少时，可以构造并行输出控制部分1610，以事先准备许多端口，以便通过关闭未使用的端口，使其与要操作的端口的数量匹配。此外，通过将多个编码解码器部分连接到输出仲裁部分1820，可以满足许多网络输出请求。
图16示出根据第六实施例的图像处理部分1的各处理部分的内部操作。将参考图14至图16说明在对来自3个显示装置的请求进行处理时，根据第六实施例的具有上述结构的图像处理部分1的内部操作。
对于第一显示装置，利用并行输出控制部分DMA 1632的传送，控制序列发生器1600输入存储在帧缓冲器1626的区域B中的第N帧图像(下面称为“N帧图像”)1712。在该传送过程中，通过DMA输出部分1801，N帧数据以任意数据量为单位顺序输入到并行输出控制部分1610。然后，将该数据输出到亮度校正部分1614内的亮度校正输入部分1812和编码解码器部分1621内的编码解码器输入部分1816。根据来自控制序列发生器部分1600的指令设定了操作的亮度校正部分1614以任意数据量为单位对输入数据进行处理，然后，通过DMA传送，将处理后的数据顺序输出到工作存储器1625。根据来自控制序列发生器部分1600的指令预先设定了操作的编码解码器部分1621，以输入的任意数据量为单位进行编码，利用DMA传送，将该结果传送到数据缓冲器1627。继续进行这一系列DMA传送，直到对整个N帧读图像1713的处理完成。
在控制序列发生器1600检测到完成了对整个N帧图像进行亮度校正处理1714和编码处理1715时，它开始进行关于第二显示装置的处理。首先，通过颜色校正部分DMA 1634传送，控制序列发生器1600以任意数据量为单位顺序读取存储在工作存储器1625中的N帧亮度校正图像1716，直接将该亮度校正图像输入到颜色校正部分1615。根据来自控制序列发生器部分1600的指令预先设定了操作的颜色校正部分1615，以任意数据量为单位对利用DMA传送输入的数据进行颜色校正处理1721。颜色校正输出部分1803顺序输出该结果，将它输入到并行输出控制部分1610。控制序列发生器1600预先设定并行输出控制部分1610，以将数据输入到编码解码器部分1621和滤波处理部分1617的方式。因此，并行输出控制部分1610执行将从颜色校正输出部分1803输入的数据输出到编码解码器部分1621和滤波处理部分1617的处理。编码解码器部分1621以输入的任意数据量为单位对亮度/颜色校正图像数据进行编码1723，通过DMA 1637，将该结果传送到数据缓冲器1627。继续进行这一系列DMA传送，直到对整个N帧图像的处理完成。
滤波处理部分1617对从颜色校正处理部分1615输入的亮度/颜色校正图像以任意数据量为单位进行滤波处理，利用DMA1637，将完成了处理的数据1722顺序传送到工作存储器1625。将传送的数据存储到工作存储器1625，作为N帧亮度/颜色校正/滤波处理图像1724。继续进行这一系列DMA传送，直到对整个N帧亮度校正图像1716的处理完成。
此外，当对整个N帧亮度校正图像1716进行了颜色校正处理后，控制序列发生器部分1600检测到完成了编码处理1723和存储器写入1724时，它开始进行第三显示装置的处理。编码解码器部分DMA 1637以任意数据量为单位顺序读取存储在工作存储器1625中的N帧亮度/颜色校正/滤波处理图像1724(1730)。编码解码器部分1621对读取的N帧亮度/颜色校正/滤波处理图像1724进行编码，然后，通过数据编码解码器部分DMA 1637，将该结果传送到数据缓冲器1627。继续进行这一系列DMA传送，直到对整个N帧亮度/颜色校正/滤波处理图像1724的处理完成。
在每个垂直扫描周期，重复上面的一系列处理，将存储在数据缓冲器1627内的编码数据输出到网络控制部分30的处理性能判定部分31，从而，可以通过网络输出3个不同的编码运动图像。
第六实施例描述了一种仅存在一个编码解码器部分1621的情况，但是通过以与编码解码器部分1621同样的方式连接多个编码解码器，可以满足多个网络请求。
如上所述，第六实施例设置了并行输出控制部分1610，而且将同一个数据送到多个处理部分、存储器和编码解码器部分。这样可以与上述实施例实现同样的操作和效果，提高预定单位时间的校正/编码处理效率，而且在实现同样的处理时，可以降低存储器的使用率。
第七实施例根据第六实施例，图像处理部分1具有如图14所示的利用DMA将数据提供给每个图像校正处理的内部结构。第七实施例采用并行布置各图像校正处理、且信号分离器部分将图像数据分布到指定的处理部分的内部结构，而且它还设置了用于将读入每个校正处理部分的图像数据同时提供给多个校正处理部分和编码解码器部分的装置。这种结构可以与第六实施例实现同样的操作和效果。
图17是详细示出根据第七实施例的图像处理部分1的方框图。在图17中，根据来自处理性能判定部分31的指令，控制序列发生器1900对将数据输入到各处理部分和缓冲器、或从各处理部分和缓冲器输出数据进行控制。帧缓冲器1902存储通过图像输入部分1901从显影处理部分23输出的1个垂直扫描周期的帧图像。工作存储器1925是用于临时存储任意处理部分处理的图像数据并通过工作存储器写DMA 1922和第二图像读DMA 1910连接到图像处理部分1内的其它处理部分的工作存储器。数据缓冲器1924存储编码解码器部分1921输出的编码数据，将存储的编码数据输出到网络控制部分30内的处理性能判定部分31。
像在第六实施例中那样，利用独立接口连接并行输出控制部分1912和包括在图像校正执行部分1913内的亮度校正部分1914、颜色校正部分1915、γ校正部分1916和滤波处理部分1917以及编码解码器部分1921。第二图像输出DMA 1910从工作存储器1925和帧缓冲器1902读取图像数据，将该图像数据同时送到利用控制序列发生器1900的设置选择的多个处理部分。将该图像数据提供给单元1913内的多个处理部分1914至1917以及编码解码器部分1921选择的处理部分。此外，通过将在下面参考图18描述的输入/输出端口(2124、2131)，将利用处理部分1914至1917以及编码解码器部分1921中的任一个进行了图像处理的图像数据送到并行输出控制部分1912。并行输出控制部分1912可以将图像数据同时提供给根据来自控制序列发生器1900的设置从处理部分1914至1917和编码解码器部分1921中选择的多个处理部分。
图18是详细示出并行输出控制部分1912的内部结构的方框图。在图18中，输出部分2101至2106的数据输出端口2124分别连接到数据输出选择开关(下面称为“SW”)2001。输出部分2101至2106是第二图像读DMA 1910、亮度校正部分1914、颜色校正输出部分1915、γ校正输出部分1916、滤波处理部分1917以及编码解码器部分1921的输出部分。此外，输入部分2111至2116的数据输入端口2131连接到SW2001组。输入部分2111至2116是第二图像读DMA 1910、亮度校正部分1914、颜色校正输出部分1915、γ校正输出部分1916、滤波处理部分1917以及编码解码器部分1921的输入部分。SW2001组以交叉开关方式分别连接到每个输入/输出部分。然而，与传统的交叉开关不同，以对于每个输出部分的一个输入，指定控制序列发生器1900所指定的多个输入部分作为输出目的地的方式，构造SW2001。
图19示出根据第七实施例的图像处理部分1的各处理部分的内部操作。利用图17至图19，说明在上述结构内对来自3个显示装置的请求进行处理时根据第七实施例的图像处理部分1的内部操作。
首先，控制序列发生器1900对第一显示装置进行图像处理。通过第二图像读DMA 1910，以任意数据量为单位，控制序列发生器部分1900将存储在帧缓冲器1902内的第N帧(下面称为“N帧图像”)图像顺序输入到并行输出控制部分1912。并行输出控制部分1912将同一个数据输出到亮度校正部分1914内的亮度校正输入部分2112和编码解码器部分1921的编码解码器输入部分2116。根据来自控制序列发生器1900的指令设定了操作的亮度校正部分1914，以任意数据量为单位对输入数据进行处理，然后，利用DMA1922，将处理后的数据顺序传送到工作存储器1925。此外，根据来自控制序列发生器1900的指令设定了操作的编码解码器部分1921，以任意数据量为单位对输入的图像数据进行编码，通过DMA 1923，将该结果传送到数据缓冲器部分1924。继续进行这一系列DMA传送，直到对整个N帧读图像2013的处理完成。
当控制序列发生器1900检测到对整个N帧图像完成了亮度校正处理2014和编码处理2015时，它对第二显示装置进行处理。首先，通过第二图像读取DMA 1910以任意数据量为单位的传送，控制序列发生器部分1900连续读取存储在工作存储器1925中的N帧亮度校正图像2016，将它直接输入到颜色校正部分1915。根据来自控制序列发生器部分1900的指令设定了操作的颜色校正部分1915，对利用DMA传送以任意数据量为单位输入的数据进行颜色校正处理(2021)。将颜色校正输出部分2103输出的结果顺序输出到并行输出控制部分1912。
控制序列发生器1900预先设定并行输出控制部分1912，以将来自颜色校正输出部分2103的数据输出到编码解码器部分1921和滤波处理部分1917。因此，并行输出控制部分1912将从颜色校正输出部分2103输入的数据输出到编码解码器输入部分2116和滤波处理输入部分2115。编码解码器部分1921以任意数据量为单位对输入的数据进行编码(2023)，然后，通过DMA 1923，将该数据传送到数据缓冲器部分1924。继续进行这一系列DMA传送，直到对整个N帧读图像2013的处理完成。
另一方面，滤波处理部分1917以输入的任意数据量为单位进行滤波处理(2022)，然后，通过DMA 1922，将完成了处理的数据(N帧亮度/颜色校正/滤波处理图像2022)顺序传送到工作存储器1925。这样，将N帧亮度/颜色校正/滤波处理图像2024存储到工作存储器1925。继续进行这一系列DMA传送，直到整个N帧亮度校正图像2016的处理完成。
此外，当在对整个N帧亮度校正图像2016进行了编码处理2023和颜色校正处理后，控制序列发生器1900检测到存储器写入2024完成时，它开始对第三显示装置进行处理。首先，通过第二图像读DMA 1910，以任意数据量为单位，顺序读取存储在工作存储器1925内的N帧亮度/颜色校正/滤波处理图像2024(2030)，将它传送到编码解码器部分1921。编码解码器部分1921对传送数据进行编码，然后，通过编码解码器部分DMA 1923，将编码数据传送到数据缓冲器部分1927。继续进行这一系列DMA传送，直到整个N帧亮度/颜色校正/滤波处理图像2024的处理完成。
对每个垂直扫描周期重复进行上述一系列处理，将存储在数据缓冲器1924的编码数据输出到网络控制部分30内的处理性能判定部分31，从而，通过网络可以输出3个不同编码运动图像。
如上所述，第七实施例设置了并行输出控制部分1912，因此，可以将同一个数据送到多个处理部分、存储器和编码解码器部分。这样可以与上述实施例实现同样的操作和效果，提高预定单位时间的校正/编码处理效率，而且在实现同样的处理时，可以降低存储器的使用率。
如上所述，根据上述实施例，可以在1个垂直同步周期内以分时方式进行多种处理，因此，提供了可以以短延迟将运动图像实时传送到多个显示装置的图像传感装置。特别是在不使用因特网的闭合网络(closed network)中，几乎不存在网络传输时间延迟的影响，因此，与利用服务器的传统图像传送系统相比，可以实现更实时的运动图像传输。
此外，所有实施例的图像传感装置5均可以直接对未压缩运动图像进行图像校正处理。因此，使用以下服务器的系统可以传送进行了高质量图像处理的运动图像，该服务器扩展压缩图像或者模拟处理的图像，或者将它们变换为数字信号，然后，对该图像进行图像处理。
此外，所有实施例的图像传感装置5均可以对多个不同显示装置应用不同的图像校正处理和编码处理，发送运动图像。因此，可以根据显示器的特性和观看该显示装置的用户的任意操作/设置，传送运动图像。
此外，根据所连接的显示装置的数量和请求处理的内容，所有实施例的图像传感装置5均可以改变在1个垂直同步周期内处理的数量。在这种情况下，通过在处理的数量少时以较低频率工作，或者在处理的数量多时以较高频率工作，可以节省功率。
此外，所有实施例的图像传感装置5均在图像传感装置之内或者之外设有存储装置，因此，可以在存储基本运动图像的同时，根据外部显示装置的请求，提取任意视角并传送进行了图像校正的运动图像。
所有实施例的图像传感装置5均可以发送多个运动图像，而无需并联安装多个同样的处理单元，减小了衬底或者芯片的面积，而且降低了功耗等，因此，可以提供小型网络摄像机。
此外，根据第六实施例和第七实施例的图像传感装置5可以将数据同时提供给多个处理单元，而无需通过存储器，然后，以更低频率传送进行了多种处理的运动图像，因此，可以实现省电。
此外，根据第六实施例和第七实施例的图像传感装置5可以将同一个数据提供给多个处理单元，而无需通过任何存储器。因此，可以容易地增加1个垂直同步周期内的处理数量，因此，能根据更多的网络请求来传送运动图像。
此外，根据第六实施例和第七实施例的图像传感装置5可以将同一个数据提供给多个编码处理单元，而无需通过任何存储器。因此，可以增加1个垂直同步周期内的编码处理数量，因此，能根据更多的网络请求来传送运动图像。
本发明可以应用于由多个设备(例如，主机、接口设备、阅读器、打印机等)构成的系统，也可以应用于由一个设备(例如，复印机、传真机等)构成的装置。
由于在不脱离本发明的精神和范围的情况下，可以做出本发明很多明显不同的实施例，所以应该理解，除了由权利要求定义之外，本发明不局限于具体的实施例。
权利要求
1.一种数据处理装置，包括多个图像处理装置，用于对输入图像数据执行不同的处理；编码装置，用于对图像数据进行编码；以及生成装置，用于使根据来自多个输出目的地的请求从所述多个图像处理装置中选择的图像处理装置按时间序列对每帧所述输入图像数据进行处理，并使所述编码装置对处理过的图像数据进行编码，从而生成多个满足来自所述多个输出目的地的请求的图像数据。
2.根据权利要求1所述的数据处理装置，其特征在于进一步包括发送装置，用于将由所述生成装置生成的多个编码后的数据分别发送到所述多个输出目的地。
3.根据权利要求1或2所述的数据处理装置，其特征在于进一步包括用于生成所述图像数据的图像传感装置。
4.根据权利要求1所述的数据处理装置，其特征在于当所述输出目的地请求多个处理时，所述生成装置执行一系列处理，该一系列处理包括将由所选择的图像处理装置处理过的图像数据临时存储到存储器中、通过其它图像处理装置处理存储在所述存储器中的图像数据、以及通过所述编码装置对由所述其它图像处理装置处理过的图像数据进行编码的处理。
5.根据权利要求1所述的数据处理装置，其特征在于所述生成装置能执行一系列处理，该一系列处理包括将由所选择的图像处理装置处理过的图像数据临时存储到存储器中、从存储在所述存储器中的图像数据读取所期望的部分图像、以及对所得到的图像数据进行编码的处理。
6.根据权利要求4或5所述的数据处理装置，其特征在于存储在所述存储器中的图像数据可以用作与其它输出目的地相对应的一系列图像处理的图像数据。
7.根据权利要求1所述的数据处理装置，其特征在于在所述一系列处理中，通过将图像数据发送到由信号分离器所选择的图像处理装置，来执行所述图像处理装置的选择。
8.根据权利要求1所述的数据处理装置，其特征在于所述多个图像处理装置串联连接以进行流水线处理，未选择的图像处理装置使数据通过。
9.根据权利要求8所述的数据处理装置，其特征在于将表示选择/未选择所述多个图像处理装置的标志添加到图像数据，每个图像处理装置参考所述标志来判定是否执行处理。
10.根据权利要求8所述的数据处理装置，其特征在于进一步包括设置装置，用于根据来自输出目的地的请求在所述多个图像处理装置中设置选择/未选择状态。
11.一种数据处理装置，包括多个图像处理装置，用于对输入图像数据执行不同的处理；编码装置，用于对图像数据进行编码；并行输出装置，能并行地将相同的图像数据提供给所述多个图像处理装置和所述编码装置；以及生成装置，用于使所述并行输出装置将每帧所述输入图像数据同时提供给根据来自多个输出目的地的请求从所述多个图像处理装置中选择的图像处理装置和所述编码装置，以对相同的数据同时进行图像处理和编码处理，从而生成多个满足来自所述多个输出目的地的请求的图像数据。
12.根据权利要求11所述的数据处理装置，其特征在于进一步包括发送装置，用于将多个编码装置连接到所述并行输出装置，从而将多个编码后的数据分别发送到所述多个输出目的地。
13.根据权利要求11或12所述的数据处理装置，其特征在于进一步包括所述多个图像处理装置和编码装置的图像数据输入/输出系统中的多个不同的图像数据输入/输出装置。
14.根据权利要求11所述的数据处理装置，其特征在于所述并行输出装置包括用于以任意处理块为单位存储来自所述多个图像处理装置和编码装置的输出数据的存储装置，并根据来自同时处理相同的数据的图像处理装置和所述编码装置的请求，以任意处理块为单位输出所述存储装置中的数据。
15.根据权利要求11所述的数据处理装置，其特征在于所述并行输出装置包括端口连接控制装置，用于连接所述多个图像处理装置和编码装置的输出信号端口；以及所述多个图像处理装置和编码装置中的、同时输入数据的多个输入信号端口。
16.一种数据处理装置的控制方法，包括多个图像处理步骤，用于对输入图像数据执行不同的处理；编码步骤，用于对图像数据进行编码；以及生成步骤，用于使根据来自多个输出目的地的请求从所述多个图像处理步骤中选择的图像处理步骤按时间序列对每帧所述输入图像数据进行处理，并使所述编码步骤对处理过的图像数据进行编码，从而生成多个满足来自所述多个输出目的地的请求的图像数据。
17.一种数据处理装置的控制方法，包括多个图像处理步骤，用于对输入图像数据执行不同的处理；编码步骤，用于对图像数据进行编码；并行输出步骤，能同时将相同的图像数据提供给所述多个图像处理步骤和所述编码步骤；以及生成步骤，用于使所述并行输出步骤将每帧所述输入图像数据同时提供给根据来自多个输出目的地的请求从所述多个图像处理步骤中选择的图像处理步骤和所述编码步骤，以对相同的数据同时进行图像处理和编码处理，从而生成多个满足来自所述多个输出目的地的请求的图像数据。
全文摘要
本发明提供一种数据处理装置及其控制方法。该数据处理装置包括多个图像处理单元，用于对输入图像数据执行不同的处理；以及编码单元，用于对图像数据进行编码。根据来自多个输出目的地的请求，生成单元从多个图像处理单元中选择要使用的图像处理单元，以对输入的每帧图像数据进行处理。所选择的图像处理单元按时间序列对该图像数据进行处理，编码单元对处理过的图像数据进行编码。这样，可以生成多个对应于来自多个输出目的地的请求的图像数据。
文档编号H04N7/26GK1747529SQ200510102448
公开日2006年3月15日 申请日期2005年9月9日 优先权日2004年9月10日
发明者远藤吉之 申请人:佳能株式会社