存储控制器及方法、比率转换装置及方法、图像信号处理装置及方法

文档序号:6610728阅读:128来源:国知局
专利名称:存储控制器及方法、比率转换装置及方法、图像信号处理装置及方法
技术领域
本发明涉及存储控制器、存储控制方法、比率转换装置、比率转换方法、图像信号处理装置、图像信号处理方法和用于执行上述方法中每一个的程序。
更具体地,本发明涉及当为显示器将像素数转换成另一个时更适用的存储控制器等等。
背景技术
公知的显示器有平面显示器、液晶显示器(LCD)、等离子显示器(PDP)等。这三种显示器的图像质量的清晰度取决于它垂直方向和水平方向上的像素的数量。例如,已经存在如XGA(768×1024像素)、SXGA(1024×1280像素)等这样的标准。
此外,对于该图像信号,通常使用的有480i信号、720p信号、1080i信号等。这里,这些数值表示行数,“i”表示隔行型,而“p”表示逐行型。例如,480i信号具有720×480点的分辨率,720p信号具有1024×720点的分辨率,并且1080i信号具有1920×1080点的分辨率。
按照常规,在图像显示装置中,将像素数转换成另一个以使输入图像信号的一部分或全部显示在其显示器上。在这种情况下,比率转换装置用于转换显示器上垂直方向和水平方向上的像素数。
上述的比率转换装置可以包括一个第一存储器和一个第二存储器,其中,第一存储器例如是脉冲传输类型的大容量帧存储器,第二存储器是随机访问类型的双端口存储器。在这个装置中,输入图像信号临时存储在第一存储器中,并以行为单元连续地将该图像信号从第一存储器传送传送到第二存储器,并写入其中。然后,在转换后的像素周期和行周期中,从第二存储器中读出该图像信号,以获得输出图像信号。
然而,如果使用了这样的传送,在第一存储器和第二存储器之间很难保证稳定的数据传输带。因而这样的传送提供较小使用效率。
此外,在具有如上配置的比率转换装置中,通过相同的数据总线来实现向第一存储器中写入图像信号/读出第一存储器中的图像信号。
为了保证第一存储器和第二存储器之间的稳定的数据传输带,并提高具有上述配置的比率转换装置中的使用效率,可以想到,在每一个规定的时间执行从第一存储器到第二存储器的图像信号传输。这样的话,基于其中写入请求,通过数据总线将图像信号从写入缓冲器传送到第一存储器,并在其中写入。随后基于在每个规定的时间上的读出请求通过数据总线将该图像信号从第一存储器传送到读出缓冲器。最后,将该图像信号从该读出缓冲器传送到第二存储器。
然而,这依赖于依据写入请求的写入时间,以基于每个规定的时间输入的读出请求执行该读出操作。
另外,在上述比率转换装置中,例如使用第一图像信号的像素数据串,以按对应像素数的放大比率的比率使用相同的像素数据连续的方式生成在第二图像信号的水平方向上的有效像素部分的像素数据串。
例如,如果在这样的比率转换装置的后级,在水平方向上使用一些预定数目的抽头(tap)来提供用于创建对应于第二图像信号的水平方向的有效像素部分的每个像素位置的新像素数据的图像信号处理单元,可以想象,该比率转换装置在水平方向上对应于第二图像信号的水平方向的有效像素部分的每个像素位置创建了预定数目的抽头。
然而,这依赖于像素数的放大比率,以在比率转换之前,获得在该图像信号(第一图像信号)的像素数据的排列的水平方向上的预定数目的抽头。它还基于该像素数的放大比率,从比率转换之后的图像信号的像素数据串输入移位寄存器,直到从寄存器输出水平方向上预定数量的抽头改变输出启动延迟。
本发明的第一目的是保证第一存储器和第二存储器之间稳定的数据传输带,并且提高传输带的使用效率。
本发明的第二目的是能够在每个规定的时间读出请求的输入的基础上执行读出操作,而不依赖于写入请求的写入时间。
本发明的第三目的是在比率转换之前获得图像信号(第一图像信号)的像素数据的排列的水平方向上的预定数目的抽头,而不依赖于该像素数的放大比率。
本发明的第四目的是在每一行上从将在比率转换之后的图像信号的像素数据串输入移位寄存器、直到从寄存器输出水平方向上预定数量的抽头时的启动输出延迟可以固定,而不依赖于该像素数的放大比率。

发明内容
为了达到本发明的目的,根据本发明的第一方面,提供一种比率转换装置。该装置包括第一存储器,用于临时存储一个输入图像信号;和第二存储器,用于存储从第一存储器以行为单元逐次地传送的图像信号,以及在转换后的像素周期和行周期读出该图像信号,以获得输出图像信号。该装置还包括控制器,用于控制对第一和第二存储器的写入和读出。该控制器控制在每个规定的时间要执行的、从第一存储器到第二存储器的图像信号的传送。
根据本发明的第二方面,提供一种比率转换方法。该方法包括步骤在第一存储器中临时存储输入图像信号,以及在每个规定的时间将图像信号逐次地以行为单元从第一存储器传送到第二存储器,并且在其中写入图像信号。该方法还包括步骤在转换后的像素周期和行周期中从第二存储器中读出该图像信号,以获得输出图像信号。
涉及本发明的程序使得计算机能够执行上述比率转换方法。
涉及本发明的记录介质记录上述程序。
根据本发明,输入的图像信号临时存储在第一存储器中。然后,第二存储器逐次地以行为单元存储从第一存储器传送来的图像信号。第二存储器在转换后的像素周期和行周期中读出该图像信号以获得输出图像信号。例如,第一存储器是由脉冲传输型帧存储器构成,而第二存储器是由随机访问型双端口行存储器构成。
从第一存储器到第二存储器的图像信号的传送是在每个规定的时间执行的。用于传送的周期是通过以用于该输入图像信号的转换的行对象的数量来平均地划分该输出图像信号的单个垂直有效周期而获得的时间长度。根据一个等式来获得转换周期t,t=mo/mi/fo x no,其中“fo”是输出图像信号的像素频率,“mi”是用于该输入图像信号的转换的行对象的数量,“mo”是输出图像信号的单个垂直有效周期的行数,而“no”是所述输出图像信号的每行中像素的数量。
例如,如果有多个第二存储器,在每个时间划分方式的传送周期,通过同一数据总线将每行的图像信号从第一存储器传送到多个第二存储器。
当从第二存储器中读出该图像信号的时候,为了获得输出图像信号中单个水平周期的像素,该像素对应于输入图像信号的水平方向上的预定数量的像素,例如,重复地读出基于该像素数的一个比例而确定的预定像素或使其变稀疏。该像素的预定数量等于或小于单个图像水平周期的像素数量。
当从第二存储器中读出该图像信号的时候,为了获得输出图像信号中单个垂直周期的行,该行时应于输入图像信号的垂直方向上的预定数量的行,例如,重复地读出基于该行的一个比例而确定的预定的行被或使其变稀疏。该行的预定数量等于或小于单个垂直周期的行的数量。
如上所述,根据本发明,输入信号被临时存储在第一存储器中,并将该图像信号逐次地以行为单元从第一存储器传送到第二存储器。然后,通过在转换后的像素周期和行周期中从该第二存储器读出图像信号来获得输出图像信号。因而,输出图像信号从第一存储器到第二存储器的传送是在每个规定的时间执行的。这不会导致数据传输周期中发生偏差。保证了第一存储器和第二存储器之间稳定的数据传输带通,因而提高了它的使用数率。因而,可以提高每个数据传输周期中可从第一存储器传送到第二存储器的图像信号的行的数量。
如果不在每个规定的时间执行从第一存储器到第二存储器的图像信号传送,数据传输周期会变得不稳定,所以第一存储器和第二存储器之间的数据传输带是通由数据传输周期中的上级周期部分来规定的,因而妨碍了使用效率的提高。
例如,控制器包括写入缓冲器,用于临时存储图像信号以将其写入第一存储器,和读出缓冲器,用于临时存储从第一存储器读出的一个图像信号。该控制器还包括写入地址生成单元,用于生成第一存储器的写入地址,和读出地址生成单元,用于生成第一存储器的读出地址。该控制器进一步包括写入/读出控制单元,用于基于每次当将一行图像信号存储在写入缓冲器时提交的写入请求和在每个规定的时间提交的读出请求,控制该写入缓冲器、读出缓冲器、写入地址生成单元和读出地址生成单元。
写入/读出控制单元赋予一个控制的优先权大于另一个控制的优先权,其中,前面那个控制是基于写入请求,通过数据总线将图像信号从写入缓冲器传送到第一存储器,并将图像信号存储在其中,后面那个控制是基于读出请求,通过该数据总线将该图像信号从第一存储器传送到读出缓冲器,并将该图像信号存储在其中。这致使从第一存储器读出图像信号,而不受输入图像信号的比率的影响。
根据本发明的第三方面,这里提供了一种图像信号处理装置,用于将由若干像素数据的项目组成的第一图像信号转换成由若干像素数据的项目组成的第二图像信号。该图像信号处理装置包括比率转换器,和相位信息生成器,其中该比率转换器用于获得具有像素数据的第三图像信号,该像素数据对应于基于该第一图像信号组成该第二图像信号的像素数据,该相位信息生成器用于生成该第二图像信号中的目标位置的相位信息,该图像信号处理装置还包括像素数据生成器,用于基于由该相位信息生成器生成的相位信息,使用该第三图像信号,生成该第二图像信号中的目标位置的像素数据。
该比率转换器包括第一存储器,用于临时存储第一图像信号,和第二存储器,用于逐次地以行为单元存储从该第一存储器传送来的第一图像信号,并在转换后的像素周期和行周期中读出该第一图像信号,以获得该第三图像信号。比率转换器还包括一个控制器,用于控制对该第一存储器和第二存储器的写入和读出。该控制器控制在每个预定的时间执行从该第一存储器到该第二存储器的图像信号的传送。
根据本发明的第四个方面,提供了一种图像信号处理方法,用于将由若干像素数据的项目组成的第一图像信号转换成由若干像素数据的项目组成的第二图像信号。该转换方法包括一个比率转换步骤,通于获得具有像素数据的第三图像信号,该像素数据对应于基于该第一图像信号组成该第二图像信号的像素数据。该转换方法还包括一个相位信息生成步骤,用于生成该第二图像信号中的目标位置的相位信息。该转换方法进一步包括像素数据生成步骤,基于由该相位信息生成步骤所生成的相位信息,使用该第三图像信号,生成第二图像信号中的目标位置的像素数据。在该比率转换步骤中,第一图像信号临时存储在第一存储器中。在每个规定的时间,逐次地以行为单元将第一图像信号从第一存储器传送到第二存储器,并且写入第二存储器。然后,在转换后的像素周期和行周期中,从第二存储器中读出第一图像信号,以获得第三图像信号。
所以根据本发明的程序使得计算机能够执行上述图像信号转换方法。
涉及本发明的记录介质记录上述程序。
根据本发明,转换第一图像信号的像素数,以获得具有像素数据的第三图像信号,该像素数据对应于组成第二图像信号的像素数据。进一步,生成第二图像信号中的目标位置的相位信息。然后,使用基于该相位信息的第三图像信号,生成第二图像信号中的目标位置的像素数据。
使用例如一个估计等式来实现该像素数据的生成。也就是说,生成对应于该相位信息的估计等式中使用的系数数据。基于第三图像信号,提取位于第二图像信号中的目标位置附近的像素数据的若干项目。基于该估计等式,使用这些系数数据和像素数据的若干项目,计算第二图像信号中目标位置的像素数据。
当使用通过这样的学习处理得到的系数数据时,该学习处理使用一个对应于第二图像信号的教师信号,以及一个对应于第一图像信号的学生信号,使用这样的估计等式生成的像素数据作为第二图像信号中目标位置的像素数据,能够具有比根据线性插值等等获得的像素数据更高的精确度。
根据本发明,当使用该比率转换器转换比率时,在每个规定的时间执行从第一存储器到第二存储器的图像信号的传送。因为该数据传送的周期没有偏差,可以保证第一存储器和第二存储器之间的稳定的数据传输带通,因而提高了它的使用效率。由此,可以增加数据传送的每个周期中,从第一存储器传送到第二存储器的图像信号的行数,以使像素数据生成器可以使用更多行,以更高的精确度,生成第二图像信号中的目标位置的像素数据。
根据本发明的第五方面,提供了用于控制存储器的存储控制器,其中通过相同的数据总线,对该存储器执行图像信号的写入和读出。该存储控制器包括写入缓冲器,用于临时存储输入图像信号以将该图像信号写入该存储器,以及读出缓冲器,一个用于临时存储从该存储器读出的输出图像信号。该存储控制器还包括写入地址生成单元,用于生成所述存储器的写入地址,以及读出地址生成单元,用于生成该存储器的读出地址。该存储控制器进一步包括一个控制单元,用于基于每次当预定数量的输入图像信号存储在该写入缓冲器时提交的写入请求和在每个规定的时间提交的读出请求,控制该写入缓冲器、该读出缓冲器、该写入地址生成单元和该读出地址生成单元。第一控制基于该写入请求,通过数据总线控制将输入图像信号从该写入缓冲器传送到该存储器并在其中存储该输入图像信号,第二控制基于该读出请求,通过该数据总线控制将该输出图像信号从该存储器传送到该读出缓冲器并在其中存储该输出图像信号,该控制单元将一个大于另外一个的优先权赋予这两个控制中的任一个。
根据本发明的第六方面,提供了一种存储控制方法。该存储控制方法包括第一控制步骤,当预定数量的图像信号存储在该写入缓冲器中时,基于每次提交的写入请求,通过数据总线,将该图像信号从该写入缓冲器传送到一个存储器,并在其中写入该图像信号。该方法还包括第二控制步骤,基于每个规定的时间提交的读出请求,通过该数据总线将该图像信号从该存储器传送到读出缓冲器,并且在其中写入该图像信号。在该方法中,基于该写入请求的第一控制步骤和基于读出请求的第二控制步骤中的任一个以一个大于另外一个的优先权被执行。
与本发明相关的程序使得计算机能够执行上述存储控制方法。
涉及本发明的记录介质记录了上述程序。
根据本发明,当预定数量的图像信号存储在该写入缓冲器中时,基于每次提交的一个写入请求,通过数据总线,将该输入图像信号从该写入缓冲器传送到该存储器,并在其中写入该输入图像信号。进一步,基于每个规定的时间提交的读出请求,通过该数据总线,将输出图像信号从该存储器传送到该读出缓冲器,并且写入其中。
例如,存储器包括一个脉冲传输型帧存储器,例如SDRAM。如果这存储器是SDRAM,举例来说,在垂直空白周期执行刷新。例如,对应于该写入请求中的一个,将单个水平周期的n(n是一个整数)个图像信号写入该存储器,并且对应于该读出请求中的一个,将单个水平周期的m(m是一个整数并且m>n)个图像信号从该存储器读出。
在这种情况下,基于该写入请求的一个写入控制(第一控制)和基于该读出请求的一个读出控制(第二控制)中的任一个拥有大于另一个的优先权。这使得通过相同的数据总线所执行的写入和读出修改能够很好地被执行,因而能够在每个规定的时间基于读出请求的输入而读取输出图像信号,而不依赖于该写入请求的写入时间。
例如,将一个大于基于读出请求的读出控制的优先权赋予基于写入请求的写入控制。例如,当同时提交写入请求和读出请求时,基于该写入请求将写入操作执行到存储器里,而挂起读出请求。写入操作结束后,基于该被挂起的读出请求,执行从存储器的读出操作。
如果在写入存储器的过程中提交了一个读出请求,则挂起该读出请求并且在写入操作结束后,基于该被挂起的读出请求,执行从该存储器的读出操作。进一步,如果在从存储器读出的过程中提交了一个写入请求,则暂停该读出操作,并基于该写入请求,执行对该存储器的写入。在写入操作结束后,读出被停止读出的剩余部分。
因为将大于基于读出请求的读出控制的优先权赋予基于写入请求的写入控制,所以可以生成基于该读出请求的读出等待时间。例如,如果对应于单个信号写入请求,单个水平周期的“n”个图像信号被写入存储器,而对应于单个信号读出请求,单个水平周期的“m”(m>n)个图像信号被读出,那么最大等待时间成为用于处理“n”图像信号的周期,在将大于基于写入请求的写入控制的优先权赋予基于读出请求的读出控制的情况下,该周期比基于写入请求的写入等待时间的最大值(等于m)短。
根据本发明的第七方面,提供了另一种比率转换装置。该比率转换装置包括第一存储器,用于临时存储输入图像信号,以及第二存储器,用于逐次地以行为单元存储从该第一存储器传送来的图像信号,并在转换后的像素周期和行周期中读出该输入图像信号,以获得输出图像信号。该装置还包括控制器,用于控制对该第一存储器和第二存储器的写入和读出。
该控制器包括写入缓冲器,用于临时存储输入图像信号以将该输入图像信号写入该第一存储器,以及读出缓冲器,用于临时存储从该第一存储器读出的输出图像信号。该控制器还包括写入地址生成单元,用于生成该第一存储器的写入地址,以及读出地址生成单元,用于生成该第一存储器的读出地址。该控制器进一步包括一个写入/读出控制单元,用于基于每次当预定数量的输入图像信号存储在该写入缓冲器时提交的写入请求和在每个规定的时间提交的读出请求,控制该写入缓冲器、该读出缓冲器、该写入地址生成单元和该读出地址生成单元。第一控制基于该写入请求,通过数据总线控制将输入图像信号从该写入缓冲器传送到该第一存储器并在其中存储该输入图像信号,第二控制基于该读出请求,通过该数据总线控制将该输出图像信号从该第一存储器传送到该读出缓冲器并在其中存储该输出图像信号,该控制单元将一个大于另外一个的优先权赋予这两个控制中的任一个。
根据本发明的第八方面,这里提供了另一种图像信号处理装置,用于将由像素数据的若干项目组成的第一图像信号转换成由像素数据的若干项目组成的第二图像信号。该装置包括比率转换器,以及相位信息生成器,其中该比率转换器用于获得具有像素数据的第三图像信号,该像素数据对应于基于该第一图像信号组成该第二图像信号的像素数据,该相位信息生成器用于生成该第二图像信号中的目标位置的相位信息。该装置还包括像素数据生成器,用于基于由该相位信息生成器生成的相位信息,使用该第三图像信号,生成该第二图像信号中的目标位置的像素数据。该比率转换器包括第一存储器,用于临时存储该第一图像信号,以及第二存储器,用于逐次地以行为单元存储从该第一存储器传送来的第一图像信号,并在转换后的像素周期和行周期中读出该第一图像信号,以获得该第三图像信号。该比率转换器还包括一个控制器,用于控制对该第一存储器和第二存储器的写入和读出。
该控制器包括写入缓冲器,用于临时存储第一图像信号以将其写入第一存储器,以及读出缓冲器,用于临时存储从该第一存储器读出的第一图像信号。该控制器还包括写入地址生成单元,用于生成该第一存储器的写入地址,以及读出地址生成单元,用于生成该第一存储器的读出地址。该控制器进一步包括写入/读出控制单元,用于基于每次当预定数量的输入图像信号存储在该写入缓冲器时提交的写入请求和在每个规定的时间提交的读出请求,控制该写入缓冲器、该读出缓冲器、该写入地址生成单元和该读出地址生成单元。第一控制基于该写入请求,通过数据总线控制将第一图像信号从该写入缓冲器传送到该第一存储器并在其中存储该第一图像信号,第二控制基于该读出请求,通过数据总线控制将该第一图像信号从该第一存储器传送到该读出缓冲器并在其中存储该第一图像信号,该控制单元将一个大于另外一个的优先权赋予这两个控制中的任一个。
根据本发明,第一图像信号的像素数被转换,并且结果是,获得了具有像素数据的第三图像信号,该像素数据对应于组成第二图像信号的像素数据。进一步,生成第二图像信号中目标位置的相位信息。然后,基于该相位信息,使用第三图像信号生成第二图像信号中目标位置的像素数据。
同样,使用例如估计等式,来实现该像素数据的生成。也就是说,生成对应于该相位信息的估计等式中使用的系数数据。基于第三图像信号,提取位于第二图像信号中目标位置的附近的像素数据的若干项目。因而,基于该估计等式,通过使用这些系数数据和像素数据的若干项目,计算第二图像信号中目标位置的像素数据。
当使用通过这样的学习处理得到的系数数据时,其中该学习处理使用一个对应于第二图像信号的教师信号,以及一个对应于第一图像信号的学生信号,使用这样的估计等式生成的像素数据作为第二图像信号中目标位置的像素数据,能够具有比根据线性插值等等获得的像素数据更高的精确度。
根据本发明,当使用该比率转换器转换比率时,在每个规定的时间执行从第一存储器到第二存储器的图像信号的传送。因而,该数据传送的周期没有偏差,所以可以保证第一存储器和第二存储器之间的稳定的数据传输带通,因而提高了它的使用效率。因此,可以增加数据传送的每个周期中,从第一存储器传送到第二存储器的图像信号的行数。像素数据生成器可以使用更多行,以更高的精确度,生成第二图像信号中的目标位置的像素数据。
进一步,当预定数量的图像信号存储在写入缓冲器时,基于每次提交的写入请求,通过该数据总线,将图像信号从该写入缓冲器传送到第一存储器,并且写入其中。进一步,基于每个规定的时间提交的读出请求,通过该数据总线,将图像信号从第一存储器传送到读出缓冲器,并且写入其中。
在这种情况下,基于写入请求的一个写入控制(第一控制)和基于读出请求的一个读出控制(第二控制)中的任一个拥有大于另一个的优先权。这使得通过相同的数据总线所执行的写入和读出修改能够很好地被执行,因而能够在每个规定的时间基于读出请求的输入而读取该图像信号,而不依赖于该写入请求的写入时间。
根据本发明的第九方面,进一步提供了一种比率转换装置。该比率转换装置包括比率转换器,用于使用第一图像数据信号水平方向上有效像素部分中部分或全部的转换对象像素数据串,生成第二图像信号水平方向上有效像素部分的适当的像素数据串,其中第一图像数据信号具有按相应于像素数的放大比率的比率连续的同一像素数据,并且进一步地用于通过修改该适当的像素数据串获得一个修改后的像素数据串。该装置还包括一个移位触发生成器,用于生成对应于在该比率转换器中获得的该修改后的像素数据串中像素数据的改变位置的移位触发。该装置进一步包括一个抽头建立部分,该部分具有一个由与在水平方向上要建立的抽头的数量相同的寄存器组成的移位寄存器,用于使用由该移位触发生成器所生成的移位触发,将由该比率转换器获得的修改后的像素数据串的改变位置的像素数据放入移位寄存器,并用于建立对应于该第二图像信号的水平方向的有效像素部分的每个像素位置的在水平方向上的预定数量的抽头。为了使该抽头建立部分所建立的水平方向上的预定数量的抽头的中心抽头的改变与由该比率转换器所生成的适当的像素数据串的排列一致,由该比率转换器获得的修改后像素数据串是通过修改适当的像素数据串中的像素数据的改变位置而获得的。
根据本发明的第十方面,进一步提供了一种比率转换方法。该比率转换方法包括比率转换步骤,使用第一图像信号水平方向上有效像素部分中至少一部分转换对象像素数据串,生成第二图像信号水平方向上有效像素部分的适当的像素数据串,其中第一图像数据信号具有按相应于像素数的放大比率的比率连续的同一像素数据,以及修改该适当的像素数据串以便获得一个修改后的像素数据串。该方法还包括移位触发生成步骤,用于生成对应于在该比率转换步骤中获得的该修改后像素数据串中的像素数据的改变位置的移位触发。该方法进一步包括一个抽头建立步骤,使用由该移位触发生成步骤中所生成的移位触发,将在该比率转换步骤中获得的修改后的像素数据串的改变位置的像素数据放入由与水平方向要建立的抽头的数量相同的寄存器组成的移位寄存器,并建立对应于该第二图像信号的水平方向的有效像素部分的每个像素位置的在水平方向上的预定数量的抽头。为了使该抽头建立步骤所建立的水平方向上的预定数量的抽头的中心抽头的改变与由该比率转换步骤所生成的适当的像素数据串的排列一致,在该比率转换步骤中获得的修改后像素数据串是通过修改适当的像素数据串的像素数据的改变位置而获得的。
与本发明相关的程序使得计算机能够执行上述的比率转换方法。
涉及本发明的记录介质记录了上述程序。
根据本发明,第二图像信号的水平方向上的有效像素部分的适当像素数据串是从第一图像信号的水平方向上的有效像素部分的部分或全部转换对象像素数据串生成的。在这种情况下,通过使转换对象像素数据串的同一像素数据以相应于像素数的放大比率的比率保持连续,以增加像素数量。
以这种方法生成的适当的像素数据串实际上不提交给移位寄存器,但是通过修改该适当的像素数据串获得的修改后的像素数据串会提交给移位寄存器。进一步地,提交给该移位寄存器一个时应于修改后像素数据串中的像素数据的改变位置的移位触发。
该移位寄存器是由与水平方向上要建立的抽头数量相同数量的寄存器构成的。移位触发将修改后像素数据串的改变位置的像素数据逐次地放入该移位寄存器。这使得的水平方向上的预定数量的抽头能够通过对应于第二图像信号中的有效像素部分的每个像素位置的移位寄存器获得。
在该情况下,为使中心抽头的改变与适当的像素数据串的排列一致,通过修改适当的像素数据串的像素数据的改变位置来得到修改后的像素数据串。结果,中心抽头的改变与该适当的像素数据串的排列一致,因而在比率转换之前得到图像信号(第一图像信号)的像素数据排列的水平方向上的预定数量的抽头,而不取决于像素数的放大比率。
当在移位寄存器的一个输出端提供了“no”个寄存器,并且在它的一个输入端提供了关于用于输出该中心抽头的一个寄存器的“ni”个寄存器,把修改后像素数据串看作连续地改变最先的(no+ni)个像素数据的结果。接着,将像素数据的最先连续地改变的(no+ni)个项目放入在每行的移位寄存器中。由此,从将在比率转换之后的图像信号的像素数据串被输入到该移位寄存器中,直到从该给定的寄存器输出水平方向上预定数量的抽头的输出启动延迟可以固定在每行(no+ni)个时钟时间而不取决于该像素数的放大比率。
根据本发明的第十一方面,进一步提供一个图像信号处理装置,用于将由像素数据的若干项目组成的第一图像信号转换成由像素数据的若干项目组成的第二图像信号。该装置包括比率转换器,和相位信息生成器,其中该比率转换器用于获得具有像素数据的第三图像信号,该像素数据对应于基于该第一图像信号的组成该第二图像信号的像素数据,该相位信息生成器用于生成相关于该第一图像信号的像素位置的在该第二图像信号中的目标位置的相位信息。该装置还包括一个像素数据生成器,用于基于由该相位信息生成器生成的相位信息,使用由该比率转换器获得的该第三图像信号,生成在该第二图像信号中的目标位置的像素数据。
该比率转换器包括一个比率转换单元,用于使用第一图像数据信号水平方向上有效像素部分中部分或全部转换对象像素数据串,生成第三图像信号中水平方向上有效像素部分的适当的像素数据串,其中第一图像数据信号具有按相应于像素数的放大比率的比率连续的同一像素数据,并且进一步地用于通过修改该适当的像素数据串获得一个修改后的像素数据串。该转换器还包括一个移位触发生成单元,用于生成对应于在该比率转换单元中获得的该修改后像素数据串中的像素数据的改变位置的移位触发。该比率转换器进一步包括一个抽头建立部分,其具有一个由与水平方向上要建立的抽头的数量相同的寄存器组成的移位寄存器,用于使用由该移位触发生成器所生成的移位触发,将由该比率转换器获得的修改后的像素数据串的改变位置的像素数据置入移位寄存器,并用于建立对应于该第三图像信号的水平方向的有效像素部分的每个像素位置的在水平方向上的预定数量的抽头。
为了使该抽头建立单元所建立的水平方向上的预定数量的抽头的中心抽头的改变与由该比率转换单元所生成的适当的像素数据串的排列一致,由比率转换单元获得的修改后的像素数据串是通过修改适当的像素数据串中的像素数据的改变位置而获得的。
根据本发明,通过转换第一图像信号的像素数,得到具有对应于构成第二图像信号的像素数据的像素数据的第三图像信号。
在该情况下,第三图像信号中的水平方向上的有效像素部分的适当的像素数据串是从第一图像信号的水平方向上的部分或全部有效像素部分的转换对象像素数据串得到的。通过使转换对象像素数据串的相同像素数据以相应于像素数的放大比率的比率保持连续,以增加像素数。
以这种方式生成的适当的像素数据串实际上并不提交给移位寄存器,但是通过修改该适当的像素数据串获得的修改后的像素数据串会提交给移位寄存器。进一步地,提交给该移位寄存器一个对应于修改后像素数据串中的像素数据的改变位置的移位触发。
该移位寄存器是由与在水平方向上要建立的抽头数量相同的寄存器组成的。移位触发将修改后的像素数据串的改变位置逐次地置入移位寄存器。这使得的水平方向上的预定数量的抽头能够通过对应于第三图像数据中的有效像素部分的每个像素的移位寄存器获得。
在该情况下,为使中心抽头的改变与适当的像素数据串的排列一致,通过通过修改适当的像素数据串的像素数据的改变位置来得到修改后像素数据串。结果,中心抽头的改变与该适当的像素数据串的排列一致,因而在比率转换之前得到图像信号(第一图像信号)的像素数据排列的水平方向上的预定数量的抽头,而不取决于像素数量的放大比率。
当在移位寄存器的输出端提供“no”个寄存器,并且在它的输入端提供关于用于输出所述中心抽头的一个寄存器的“ni”个寄存器时,把修改后像素数据串看作连续地改变最先的(no+ni)个像素数据的结果。接着,将像素数据的最先连续地改变的(no+ni)个项目放入在每行的移位寄存器中。由此,从将在比率转换之后的图像信号的像素数据串被输入到该移位寄存器中,直到从该给定的寄存器输出水平方向上预定数量的抽头的输出启动延迟可以固定在每行的(no+ni)个时钟时间而不取决于该像素数的放大比率。
生成与第一图像信号的像素位置相关的第二图像信号中目标位置的相位信息。基于该相位信息,使用上述第三图像信号,生成第二图像信号的目标位置的像素数据。
同样,使用例如估计等式,来实现该像素数据的生成。也就是说,生成对应于该相位信息的估计等式中使用的系数数据。基于第三图像信号,提取位于第二图像信号中目标位置的附近的像素数据的若干项目。因而,基于该估计等式,通过使用系数数据和像素数据的若干项目,计算第二图像信号中目标位置的像素数据。
当使用通过这样的学习处理得到的系数数据时,其中该学习处理使用一个对应于第二图像信号的教师信号,以及一个对应于第一图像信号的学生信号,使用这样的估计等式生成的像素数据,作为第二图像信号中目标位置的像素数据,能够具有比根据线性插值等等获得的像素数据更高的精确度。
因而,在比率转换前,对应于该第三图像信号的有效像素部分的每个像素位置获得的在水平方向上的预定数量的抽头在该图像信号(第一图像信号中)的像素数据的排列中得到,而不取决于该像素数的放大比率。即使如果像素数的放大比率改变,水平方向上预定数量的抽头和该相位信息之间的对应关系也不会毁坏,所以可以极好地获得第二图像信号中目标位置的像素数据。
如上所述,从将在比率转换之后的图像信号的像素数据串被输入到该移位寄存器中,直到从该给定的寄存器输出水平方向上预定数量的抽头的输出启动延迟以固定在每行(no+ni)个时钟时间,而不依赖于像素数量的放大比率。因而,没有必要提供任何取决于像素数量的放大比率的能够改变延迟时间的可变延迟电路,用于在水平方向上预定数量的抽头和例如相位信息之间的时间调节。
本说明书的结束部分特别指出并直接要求了本发明的主题。然而,通过结合附图阅读说明书的剩余部分,其中相似的附图标记指示相似的部件,本领域技术人员可以最好地理解本发明的结构和操作方法,以及它的更多的优点和目的。


图1是一个框图,示出了根据本发明的图像信号处理装置的一个实施例的配置;图2A是示出了480i信号的行数和水平像素数的示图;图2B是示出了1080i信号的行数和水平像素数的示图;图3是示出了比率转换电路的配置的框图;图4用于说明比率转换的示图;图5是示出了在每个规定的时间当从帧存储器读出转换对象行时,输出图像信号的单个垂直有效周期中的行与输入图像信号的转换对象行之间的对应的示图;图6A、6B是示出了在每个规定的时间当从帧存储器读出转换对象行时,读出输入图像信号和输出图像信号之间的联系的示图;图7是示出了当与输出图像信号的行同步地从帧存储器中读出转换对象行时,输出图像信号的单个垂直有效周期中的行与输入图像信号的转换对象行之间的对应的示图;图8A、8B是示出了当与输出图像信号的行同步地从帧存储器中读出转换对象行时,读出输入图像信号和输出图像信号之间的联系的示图;图9是示出了亮度信号比率转换的例子,即,从亮度信号Ya的水平720像素和垂直240像素的比率转换对象单元AT,获得亮度信号Yc的水平1920像素和垂直480像素的有效像素部分,这种情况的例子的示图;图10是示出了色差信号的比率转换的例子,就是说,从色差信号Ua(Va)的水平360像素和垂直240像素的比率转换对象单元AT,获得色差信号Uc(Vc)的水平1920像素和垂直480像素的有效像素部分,这种情况的例子的示图;图11A-F是亮度信号在水平方向的像素量转换的时间图;
图12A-G是色差信号在水平方向的像素量转换的时间图;图13A-F是垂直方向的行数转换的时间图;图14A是示出了用于通过比率转换电路在获得的亮度信号中,提取类抽头和预测抽头的一个抽头区域的例子的示图;图14B是示出了用于通过比率转换电路在获得的色差信号中,提取类抽头和预测抽头的一个抽头区域的例子的示图;图15A是示出了用于通过比率转换电路在获得的亮度信号中,提取类抽头和预测抽头的一个抽头区域的例子的示图;图15B是示出了用于通过比率转换电路在获得的色差信号中,提取类抽头和预测抽头的一个抽头区域的例子的示图;图16A-C是示出了一个操作模型的示图,该模型用于获得在比率转换器中具有环结构的SRAM对于每个信号都应该具有的存储容量的理论值;图17是示出了Y抽头建立电路的配置的框图;图18A-E是示出了抽头建立的操作(用固定整数倍的像素量转换)实例的示图;图19A-F是示出了抽头建立的操作(以任意缩放比率的像素量转换)实例的示图;图20A-C是用于说明图19的操作实例中的移位寄存器状态的改变和中心抽头的改变的示图;图21A-C是用于说明在构成移位寄存器的寄存器数量增加了一个的情况下,移位寄存器状态的改变和中心抽头的改变的示图;图22A-G是示出了在提供了预读触发,以允许根据转换后亮度信号Yc中强度数据的排列来改变中心抽头的情况下的抽头建立操作(以任意的缩放比率的像素量转换)的实例的示图;图23A-C是示出了在图22的操作实例中,移位寄存器状态的改变和中心抽头的改变的示图;图24A-G是示出了在将预定项目的强度数据放入移位寄存器,处理具有输出启动延迟设置常数的输出图像信号Sc的比率的情况下的抽头建立操作(以任意的缩放比率的像素量转换)的例子的示图;图25是示出了构成比率转换电路的SDRAM控制器的配置的框图;
图26是示出了构成SDRAM控制器的读/写控制器的配置的框图;图27A-J是用于说明写/读控制器的操作的时间图;图28是示出了使用软件完成写/读控制器的操作的处理过程的流程图(1/2);图29是示出了使用软件完成写/读控制器的操作的处理过程的流程图(2/2);图30A、30B是示出了输入图像信号Sa的时间和SDRAM总线的数据传输状态的一个实例的示图;图31是示出了系数种子数据的生成方法的例子的示图;图32是示出了525i信号(SD信号)的像素位置和1050i信号(HD信号)的像素位置之间的关系的示图;图33是用于说明在垂直方向相位移位的八个步骤的示图;图34是用于说明在水平方向相位移位的八个步骤的示图;图35是示出了SD信号(525i信号)和HD信号(1050i信号)之间的相位关系的示图;图36是示出了系数种子数据的生成方法的例子的示图;图37是示出了系数种子数据生成装置的配置的框图;图38是示出了使用软件完成系数种子数据生成装置的配置的框图;图39是示出了图像信号处理的过程的流程图;图40是示出了系数种子数据生成处理的过程的流程图;图41A、41B是示出了用于在比率转换电路获得的亮度信号和色差信号中,提取类抽头和预测抽头的抽头区域的例子的示图;以及图42A、42B是示出了用于在比率转换电路获得的亮度信号和色差信号中,提取类抽头和预测抽头的抽头区域的例子的示图。
具体实施例方式
在下文中,将会参照附图描述本发明的优选实施例。图1示出了根据本发明的图像信号处理装置100的一个实施例的配置。该图像信号处理装置100将输入图像信号Sa转换成输出图像信号Sb。虽然为了解释的方便,下面描述是在假定图像信号Sa是480i信号而图像信号Sb是1080i信号的情况下进行的,但本发明并不限于该实例。480i信号是一个隔行型图像信号,其中扫描行的数量是525,有效扫描行的数量是480,有效像素数是横向×纵向=720×480,而采样频率是13.5MHz(见图2A)。1080i信号是隔行型图像信号,其中扫描行的数量是1125,有效扫描行数是1080,有效像素数是横向×纵向=1920×780,而采样频率是74.25MHz(见图2B)。
图像信号处理装置100包括一个微计算机,其包括系统控制器101,用于整个系统的操作,以及远程控制信号接收电路102,用于接收远程控制信号。该远程控制信号接收电路102连接到系统控制器101,并且接收远程控制信号RM,该远程控制信号RM是远程控制信号发射机103对应于用户的操作而输出的,用于将对应于该信号RM的操作信号提供给系统控制器101。
图像处理装置100包括输入终端104,图像信号Sa将被输入其中,以及比率转换电路105,其基于输入该输入终端104的图像信号Sa,处理对应于构成图像信号Sb的像素数据的像素数据,以便得到作为1080i信号的图像信号Sc。
进一步,图像信号处理装置100包括图像信号处理单元106,以及输出终端107,其中,图像信号处理单元106基于通过比率转换电路105获得的图像信号Sc生成图像信号Sb,并输出图像信号Sb,而输出终端107用于输出通过该图像信号处理单元106获得的图像信号。
下面将描述图1所示的图像信号处理装置100。作为480i信号的图像信号Sa,被提供给输入终端104并且该图像信号Sa被提供给比率转换电路105。该比率转换电路105转换图像信号Sa的水平像素和垂直像素的数量,以生成作为1080i信号的图像信号Sc。
根据本实施例,用户可以通过对远程控制信号射机103的操作,选择正常模式和放大模式。在正常模式下,图像信号Sa的所有有效像素部分都是比率转换的对象,以生成图像信号Sc。在放大模式的情况下,图像信号Sa的有效像素部分中用于转换的对象相应于用户所规定的放大比率而改变,以便生成对应于该图像的放大比率的图像信号Sc。在该情况下,随着图像的放大比率增长,图像信号Sa的有效像素部分中用于转换的对象变窄了。
由比率转换电路105得到的图像信号Sc被提交到图像信号处理单元106。该图像信号处理单元106基于该图像信号Sc生成图像信号Sb。图像信号Sb被输入输出终端107。上述的比率转换电路105重复地读出预定的像素,并且通过重复地读出预定的行,转换水平和垂直像素。对应于构成图像信号Sc的像素数据的项目中的每一个,该图像信号处理单元106根据一个估计等式,计算构成图像信号Sb的每个像素数据,在计算中图像信号处理单元106使用了对应于该像素数据相位信息的系数数据,以及位于该像素数据附近的像素数据的若干项目。
用户可以通过他或她对远程控制信号发期机103的操作,调节图像信号Sb的图像分辨率和噪声消除水平。在图像信号处理单元106中,如上所述,根据一个估计等式,计算构成图像信号Sb的每个像素数据。作为该估计等式的系数数据,使用根据一个生成等式生成的数据,该数据包括规定分辨率的参数f和规定噪声消除水平的参数g。用户通过对远程控制信号发射机103的操作调节参数f、g。相应地,由图像信号处理单元106所生成的关于图像信号Sb的图像分辨率和噪声消除水平也变得对应于调节后的参数f、g。
接下来,将详细地描述比率转换电路105。图3示出了比率转换电路105的配置。
比率转换电路105包括作为第一存储器的帧存储器201,用于临时存储输入图像信号。该帧存储器201由脉冲传送型大容量存储器构成。作为脉冲传送型大容量存储器,同步动态RAM(SRAM)、flash存储器等都可以使用。根据本实施例,帧存储器201由SDRAM构成。该帧存储器201包括用于若干域的存储容量。
该比率转换电路105具有SDRAM控制器202,用于控制对该帧缓冲器(SDRAM)201的写入和读出。该SDRAM控制器202通过SDRAM总线(数据总线)203等等连接到该帧存储器201。
SDRAM控制器202具有作为写入缓冲器的缓冲器204Y、204C。缓冲器204Y、204C连接到SDRAM总线203。缓冲器204Y、204C临时存储构成图像信号Sa(见图1)的亮度信号Ya和色差信号Ua/Va作为输入图像信号。
这里,色差信号Ua/Va是由蓝色差信号Ua和红色差信号Va组成的点时序信号。即,亮度信号Ya的采样比率是13.5MHz,而色差信号Ua、Va的采样比率是13.5/2MHz。缓冲器204Y、204C分别由用于两行的静态RAM(SRAM)构成。使用两行的SRAMs的原因如下。
即,写入一侧缓冲器需要连续地接收输入图像信号Sa。如果SDRAM总线203由读出操作下的数据占用,缓冲器的所有内容就不能被发送到帧存储器201。因而,如果缓冲器204Y、204C由单行的SRAM构成,就会发生时间抵触。由于这个原因,根据本实施例,204Y、204C由两行的SRAM组成,而如果SDRAM总线203被读出操作下的数据占用,将缓冲器的内容传送到帧存储器201的操作可以处于等待状态,以避免发生时间抵触。
与13.5MHz的输入时钟Cki同步,将亮度信号Ya和色差信号Ua/Va逐次地写入到缓冲器204Y、204C中。在该情况下,仅写入有效像素部分,以使每行(720像素)有待于根据输入时钟Cki在720个时钟周期内写入。
以时间划分的方式,与108MHz的存储器时钟CKm同步地将写入这些缓冲器204Y、204C的每行的亮度信号Ya和色差信号Ua/Va读出,并将其写入帧存储器201。在该情况下,8位的数据被转换为32位的数据,并且被传送。也就是说,并行地处理四个像素,并且根据存储器时钟CKm,在180个时钟的周期里,将每行(720像素)从缓冲器204Y、204C传送到帧存储器201,并写入其中。
进一步,为SDRAM控制器202提供缓冲器205Y、205C作为读出缓冲器。缓冲器205Y、205C临时存储从帧存储器201读出的图像信号,即亮度信号和色差信号。这些缓冲器205Y、205C连接到SDRAM总线203。
缓冲器205Y是由10行的SRAM构成的。使用10行的SRAM的原因是,相应于下面将更描述的单个请求RRQ而从帧存储器201读出的亮度信号Ya是10行。进一步,缓冲器205C是由两行的SRAM构成的。使用两行的SRAM的原因是,相应于下面将要描述的单个读出请求RRQ而从帧存储器201读出的色差信号Ua/Va是两行。
写入帧存储器201的每行的亮度信号Ya和色差信号Ua/Va被与108MHz的存储器时钟CKm同步地读出,并且写入缓冲器205Y、205C。在该情况下,并行地处理四个像素,以使根据存储器时钟CKm,在180个时钟周期中,将每行(720像素)从帧存储器201传送到缓冲器205Y、205C,并且写入其中。
在该情况下,以时间划分的方式,通过SDRAM总线203,从帧存储器201传送要写入构成缓冲器205Y的每个10行的SRAM的每行的亮度信号Ya以及要写入构成缓冲器205C的每个2行的SRAM的每行的色差信号Ua/Va。
进一步,SDRAM控制器202包括一个控制单元206。相应于从下面将要描述的输入定时信号发生器(输入TG)207提交的写入请求WRQ,该控制单元206生成要提交到缓冲器204Y、204C的读出地址RADi,以及一个要提交到帧存储器201的写入地址WADm。进一步地,相应于从下面将要描述的存储器定时信号发生器(存储器TG)211提交的读出请求RRQ,控制单元206生成要提交到帧存储器201的读出地址RADm,以及要提交到缓冲器205Y、205C的写入地址WADo。
比率转换电路105包括输入定时信号发生器(输入TG)207。该输入TG207由水平计数器208和垂直计数器209构成。与上述亮度信号Ya和色差信号Ua/Va同步的输入时钟Cki和水平同步信号HDi被提交到水平计数器208。与上述亮度信号Ya和色差信号Ua/Va同步的水平同步信号HDi和垂直同步信号VDi被提交到垂直计数器209。
垂直计数器209用垂直同步信号VDi把计数值复位为“0”,并且每次提交水平同步信号HDi时,它增加计数值,并将该计数值提交给水平计数器208。
水平计数器208用水平同步信号HDi把计数值复位为“0”,并且每次提交输入时钟Cki时,它增加计数值。基于来自垂直计数器209的计数值和它自身的计数值,相应于垂直方向上的有效像素部分和水平方向上的有效像素部分,水平计数器208在每行与输入时钟Cki同步地生成写入地址WADi,并且将它提交到SDRAM控制器202中的缓冲器204Y、204C。
进一步地,在水平计数器208相应于垂直方向上的有效象素部分,为每行水平方向上的有效像素部分生成一个写入地址WADi后,水平计数器208与水平同步信号HDi同步地生成一个写入请求WRQ,并且将该请求提交到SDRAM控制器202中的控制单元206。
比率转换电路105具有存储器定时信号发生器(存储器TG)211。该确储器TG211是由请求计数器212和垂直计数器213构成的。存储器时钟CKm被提交给请求计数器212。在输出图像信号Sc的垂直方向上的有效像素部分的启始时间,将垂直复位信号VRS从下文将要描述的输出定时信号发生器(输出TG)217提交到垂直计数器213。将从请求计数器212输出的一个读出请求RRQ提交到垂直计数器213。
垂直计数器213使用垂直复位信号VRS将计数值复位成“0”,并且每当提交了一个读出请求RRQ时,垂直计数器213增加该计数值,并且将增加后的计数值提交到请求计数器212。当计数值在0-N-1中时,请求计数器212基于来自垂直计数器213的计数值,生成每个读出请求RRQ,并将其提交到SDRAM控制器202中的控制单元206,然后将其提交到垂直计数器213。
尽管在该情况下,当来自垂直计数器213的计数值变成“0”时,请求计数器212生成读出请求RRQ,之后,每当计数到“n”个存储器时钟CKm时,生成读出请求RRQ。
当执行用于从图4中所示的输入图像信号Sa的部分或全部有效像素部分中获得输出图像信号Sc的有效像素部分的比率转换时,即垂直方向上av行(av≤240)和水平方向上的ah像素(ah≤720)的一个单元(比率转换对象单元AT),前述的N变成av。同时,由于图4示出了单个域,每个输入图像信号Sa和输出图像信号Sc的有效像素部分的垂直方向上的像素数量(行的数量)是图2所示的像素数量(行的数量)的一半。
当每次生成一个读出请求RRQ时,从帧存储器201读出10行的亮度信号Ya和2行的色差信号Ua/Va,并将这些信号提交到缓冲器205Y、205C。在该情况下,当图像信号处理单元106取得亮度信号Yb的目标位置的强度数据时,使用将在下面描述的10行的亮度信号Ya来获得预测抽头和类抽头。同样地,如后面要描述的,当图像信号处理单元106取得色差信号Ub/Vb的目标位置的色差数据时,使用2行的色差信号Ua/Va以得到预测抽头和类抽头。
当如图4所示执行比率转换时,对应于输入图像信号Sa的比率转换对象单元AT的av行的第一行的10行亮度信号Ya和2行色差信号Ua/Va被从帧存储器201读出,以对应于当垂直计数器213的计数值是“0”时,生成的一个读出请求RRQ,并将亮度信号Ya和色差信号Ua/Va提交到缓冲器205Y、205C。为了对应生成的读出请求PPQ,当垂直计数器213的计数值是1-N-1时,对应于该输入图像信号该Sa的比率转换对象单元AT的av行的第二行-N行的10行的亮度信号Ya和两行的色差信号Ua/Va,被从该帧存储器201读出并被提交到缓冲器205Y、205C。
在请求计数器212中生成的读出请求RRQ的周期是通过以作为用于该输入图像信号Sa的比率转换的对象的行数平均地划分该输出图像信号Sc的单个垂直有效周期而获得的时间。即,假定周期是“t”,输出图像信号Sc的像素频率是“fo”,用于输入图像信号Sa比率转换的对象的行数是“mi”,输出图像信号Sc的单个垂直有效周期的行数是“mo”,而输出图像信号Sc每行的像素数量是“no”,这里有一个关系t=mo/mi/fo×no。
如上所述,每当计数到“n”个存储器时钟CKm时,请求计数器212生成读出请求RRQ。这个“n”是通过用存储器时钟CKm的周期划分上述的周期“t”得到的。即,由于存储器时钟CKm是1/108MHz,它变成n=mo/mi×108MHz/fo×no。
为了便于理解,图5示出了,当每个规定的时间从帧存储器201读出用于转换的行对象,假设输入图像信号Sa用于转换的行对象的数量“mi”是5,而输出图像信号Sc的单个垂直有效周期中的行的数量“mo”是12的情况下,输出图像信号Sc的单个垂直有效周期中的行和输入图像信号Sa用于转换的行对象之间的对应参照图5,实线“a”表示输出图像信号Sc的行,而点划线“b”表示输入图像信号Sa用于转换的行对象。
图6A示出了要从帧存储器201读出的输入图像信号Sa用于转换的每个行对象。图6B示出了输出图像信号Sc的单个垂直有效周期中的每一行。在该情况下,由于从帧存储器201到缓冲器205Y、205C的数据传送周期没有偏差,可以保证稳定的数据传送带通。
与本实施例不同,图7示出了与输出图像信号Sc的行同步地从帧存储器201读出用于转换的行对象的情况下,输出图像信号Sc的单个垂直有效周期的行和输入图像信号Sa用于转换的行对象之间的对应。在图7中,实线“a”表示输出图像信号Sc的行,点划线“b”表示用于输入图像信号Sa的转换的行对象。
图8A示出了要从帧存储器201读出的用于输入图像信号Sa的转换的毒个行对象。图8B示出了输出图像信号Sc的单个垂直有效周期的每行。在该情况下,由于从帧存储器201到缓冲器205Y、205C的数据传输周期波动,通过其(传送周期的)短单元来规定数据传输带通的使用效率。
相应于读出请求RRQ,亮度信号Ya和色差信号Ua/Va被从帧存储器201传送到缓冲器205Y、205C,并且被存储在其中,在此之后,存储器TG211的请求计数器212生成要提交给缓冲器205Y、205C的读出地址RADo,以及要提交给比率转换单元215Y、215C的写入地址WADr,比率转换单元215Y、215C是作为将在后面描述的第二存储器的。
进一步地,比率转换电路105具有比率转换单元215Y、215C。上述缓冲器205Y由10行的SRAM构成,与此相应地,比率转换单元215Y由10行的双端口行存储器(SRAM)构成的。类似地,上述缓冲器205C是由2行的SRAM构成,与此相应地,比率转换单元215C由2行的双端口行存储器(SRAM)构成。每个系统的SRAM具有一个环结构,它具有大于预测的存储容量的容量,以便于在比率转换处理中,写入操作不会超过读出操作。
如上所述,读出地址RADo被从存储器TG211提交到缓冲器205Y、205C,写入地址WADr被提交到比率转换单元215Y、215C。因此,相应于每个读出请求RRQ,10行的亮度信号Ya和2行的色差信号Ua/Va,以时间划分的方式,被从帧存储器201传送到缓冲器205Y、205C后,被进一步并行地传输到比率转换单元215Y、215C,并且存储在其中。
进一步,比率转换电路105具有输出定时信号发生器(输出TG)217。该输出TG217包括地址生成单元218和垂直计数器219。与输出图像信号Sc同步的74.25MHz的输出时钟Cko被提交到地址生成单元218。地址生成单元218通过对输出时钟Cko进行计数,生成与输出图像信号Sc同步的水平同步信号HDo。水平同步信号HDo被提交到垂直计数器219。
进一步,与输出图像信号Sc同步的垂直同步信号VDo被提交到垂直计数器219。垂直计数器219用垂直同步信号VDo将计数值复位成“0”,并且每当提交一个水平同步信号HDo时,增加该计数值。然后,垂直计数器219基于该计数值,在输出图像信号Sc垂直方向的有效像素部分的起始像素位置,生成上述的垂直复位信号VRS,并将垂直复位信号VRS提交到存储器TG211的垂直计数器213。
垂直计数器219的计数值被提交到地址生成单元218。该地址生成单元218相应于输出图像信号Sc垂直方向的有效像素部分每行的水平方向的一个有效单元,生成读出地址RADr,并将其提交到比率转换单元215Y、215C。
在该情况下,地址生成单元218在输出图像信号Sc的水平方向和垂直方向的有效像素部分的起始像素位置(见图4中的点P),生成一个参考地址RADr0。这个参考地址RADr0表示相应于起始位置(见图4的点Q)的像素数据的记录位置,该起始位置是在比率转换单元215Y、215C中的输入图像信号Sa的比率转换对象单元AT的起始位置。
由于水平方向上有效像素部分的起始像素位置的相位信息是0,地址生成单元218将输出时钟Cko加到要提交的每个像素位置的水平扩展比率的反数Mh。如果加起来的值比4096小,该加起来的值被看作像素位置的水平方向的相位信息h。另一方面,如果添加值不比4096小,发生进位,以便将通过从该加起来的值减去4096得到的值看作该像素位置的水平方向上的相位信息h。同时,该相位信息“h”是,例如,通过时零点以下的数字进行四舍五入得到的值。这对于垂直方向上的相位信息“v”也一样。
如果该加起来的值比4096小,并且没有发生进位,作为相应于该像素位置的读出地址RADr,地址生成单元218输出与刚好在前面的像素位置相同的一个值作为像素位置。另一方面,如果发生进位,作为相应于该像素位置的读出地址RADr,它输出从刚好在前面的像素位置的地址前进1步的一个地址。
如上所述,当相加值比4096小并且没有进位时,输出与刚好在前面的像素位置相同的作为像素位置的值,作为相应于该像素位置的一个读出地址RADr,并且在该位置,从比率转换单元215Y、215C读出与刚好在前面的像素位置相同的像素数据,相应地,可以增加水平方向上像素的数量。
这里,可以根据一个等式Mh=(输入图像信号Sa的比率转换对象单元AT的水平方向上的像素数量)/(输出图像信号Sc的有效像素部分水平方向上的像素数量)×标准化常数,来得到扩展比率的反数Mh。根据本实施例,标准化常数是4096。这是输入图像信号Sa水平方向上的像素被4096等分的原因,以便确定输出图像信号的每个像素的水平方向的相位。例如,如果执行了如图4所示的比率转换,它便变成Mh=ah/1920×4096。
由于垂直方向的有效像素部分的起始像素位置的相位信息是0,地址生成单元218在每行加上垂直扩展比率的反数Mv,其中在每一行生成了水平同步信号HDo。当加起来的值比4096小时,该相加值被看作该行中垂直方向上的相位信息“v”。另一方面,如果该加起来的值不比4096小,发生进位,并且将通过从该相加值减去4096而得到的值看作该行的垂直方向上的相位信息“v”。
当该加起来的值比4096小而且没有发生进位时,作为对应于该行的读出地址RADr,该地址生成单元218输出与正好在前面的行相同的值。另一方面,如果发生了进位,作为相应于该行的读出地址RADr,它输出修改后的一个值以读出在输入图像信号Sa下一行的像素数据。
这里,可以根据方程Mv=(输入图像信号Sa的比率转换对象单元AT的垂直方向上的像素数量)/(输出图像信号Sc的有效像素部分垂直方向上的像素数量)×标准化常数,得到扩展比率的反数Mv。根据该实施例,标准化常数是4096。这是输入图像信号Sa的垂直方向上的像素被4096等分的原因,以确定输出图像信号的每个像素在垂直方向上的相位。例如,当执行如图4所示的比率转换时,它便变成Mv=av/540×4096。
如上所述,当该相加值比4096小并且没有生成进位时,输出与正好在前面的行相同的值,作为对应于该行的读出地址RADr,并且在该行从比率转换单元215Y、215C读出,作为与正好在前面的行的相同的像素数据。相应的,可以增加水平方向上的像素数量(行的数量)。
图9示出了从输入图像信号Sa的亮度信号Ya到输出图像信号Sc的亮度信号Yc的比率转换的一个实施例。根据该实施例,从亮度信号Ya的水平720像素和垂直240像素的比率转换对象单元AT得到亮度信号Yc的水平1920像素和垂直480像素的有效像素部分。
在该情况下,水平方向上扩展比率的反数“Mh”是Mh=720/1920×4096=1536,因此亮度信号Yc的水平方向上的每个像素位置的相位信息“phy”从0到1536到3072到512(=4608-4096)到2046到…变化。进一步,垂直方向上的扩展比率的反数“Mv”是Mv=240/540×4096≈1820,而亮度信号Yc的垂直方向上每个像素位置的相位信息“pvy”从0到1820到3640到1364(=5460-4096)到3184到…变化。
图10示出了从输入图像信号Sa的色差信号Ua(Va)到输出图像信号Sc的色差信号Uc的比率转换的实施例。根据该实施例,从色差信号Ua(Va)的水平360像素和垂直240像素的比率转换对象单元AT得到色差信号Uc(Vc)的水平1920像素和垂直480像素的有效像素部分。同时,如上所述,输入图像信号Sa的蓝色差信号Ua和红色差信信号Va是点序列信号,每一个的像素数量是亮度信号Ya的一半。因而,色差信号Ua(Va)的水平360像素对应于上述的亮度信号的水平720像素。
在该情况下,水平方向上扩展比率的反数“Mh”是Mh=360/1920×4096=768。这样色差信号Uc(Vc)的水平方向上的每个像素位置的相位信息“phc”从0到768到1536到2304到3072到3840到512(=4608-4096)到1280到…而变化。进一步,垂直方向上的扩展比率的反数“Mv”是Mv=240/540×4096≈1820,并且色差信号Uc(Vc)的垂直方向上每个像素位置的位置信息“pvc”从0到1820到3640到1364(=5460-4096)到3184到…而变化。
如上所述,输入图像信号Sa的蓝色差信号Ua和红色差信号Va是点序列信号,并且在比率转换单元215C中,将该点序列信号写入SRAM的两个系统中的每一个。然而,当在比率转换单元215C有一个输出时,独立地输出蓝色差信号Uc和红色差信号Vc。在该情况下,向比率转换单元215C提供一个用于蓝色差信号Uc的读出端口,,以及一个用于红色差信号Vc的读出端口。独立地提交蓝色差信号Uc和红色差信号Vc的地址,作为要从输出TG217的地址生成单元218输出的读出地址RADr。
图11A-F示出了用于转换对应于图9中所示的例子的亮度信号的水平方向的像素数量的时间图。图11A示出了与亮度信号Ya同步的水平同步信号HDi。图11B示出了亮度信号Ya的行,数字1、2、3…,表示第一像素数据、第二像素数据、第三像素数据…,其构成了比率转换对象单元AT。
图11C示出了从存储器TG211输出的读出请求RRQ,并提交给SDRAM控制器202中的控制单元206。图11D示出了相应于读出请求RRQ,从帧存储器201读出的亮度信号Ya,通过缓冲器205Y,亮度信号Ya被输入比率转换单元215Y。
图11E示出了与亮度信号Yc同步的水平同步信号HDo。图11F示出了包括亮度信号Yc的行,亮度信号Yc是从比率转换单元215Y输出的。数字1、2、3…,分别表示亮度信号Ya的第一像素数据、第二像素数据、第三像素数据等等的像素数据,它们构成了比率转换对象单元AT。
图12A-G示出了对应于图10的色差信号水平方向的像素数量的转换的时间图。图12A示出了与色差信号Ua/Va同步的水平同步信号HDi。图12B示出了包括色差信号Ua/Va的一个行。数字1、2、…,表示蓝色差信号Ua的第一像素数据、第二像素数据…,其构成了比率转换对象单元AT。数字1、2、…表示红色差信号Va的第一像素数据、第二像素数据…,其构成了比率转换对象单元AT。
图12C示出了从存储器TG211输出的读出请求RRQ,其被提交到SDRAM控制器202的控制单元206。图12D示出了色差信号Ua/Va,其相应于读出请求RRQ,被从帧存储器201读出,并通过缓冲器205C,被输入比率转换单元215C。
图12E示出了与蓝色差信号Uc和红色差信号Vc同步的水平同步信号HDo。图12F示出了包括从比率转换单元215C输出的蓝色差信号Uc的一行。数字1、2、3…,表示对应于蓝色差信号Ua的第一像素数据、第二像素数据、第三像素数据…的像素数据,其构成了比率转换对象单元AT。图12G示出了包括从比率转换单元215C输出的红色差信号Vc的一行。数字1、2、3…,表示对应于红色差信号Va的第一像素数据、第二像素数据、第三像素数据…的像素数据,其构成了比率转换对象单元AT。
图13A-F示出了有关图像信号(亮度信号、色差信号)垂直方向的行数的转换(像素的数量的转换)。图13A示出了与图像信号Sa(亮度信号Ya、色差信号Ua/Va)同步的垂直同步信号VDi。图13B示出了图像信号Sa的连续行,数字1、2、3…表示构成比率转换对象单元AT的第一行、第二行、第三行等等。
图13C示出了读出请求RRQ,其从存储器TG211输出并被提交到SDRAM控制器202中的控制单元206。图13D示出了图像信号Sa,其对应于读出请求RRQ,从帧存储器201中被读出,并通过缓冲器205Y、205C,被输入比率转换单元215Y、215C。
图13E示出了与图像信号Sc(亮度信号Yc、蓝色差信号Uc、红色差信号Vc)同步的垂直同步信号VDo。图13F示出了从比率转换单元215Y、215C输出的图像信号Sc的连续行。数字1、2、3…表示相应于构成比率转换对象单元AT的图像信号Sa的第一行、第二行、第三行…的那些行。
回到图3,如上所述,比率转换单元215Y由10行的SRAMs组成并且基于由输出TG217生成的读出地址RADr并行的输出10行的亮度信号Yc。此外,其也并行的输出具有行延迟的8行的亮度信号。在这种情况下,比率转换单元215Y的每行的SRAM具有一个环结构,以便通过仅以单个行的像素数通过另一端口从某一读出端口地址读出一个小的地址,来获得具有行延迟的亮度信号。
最后,并行的从比率转换单元215Y中获得18行的亮度信号Yc。当如下所述的图像信号处理单元106在亮度信号Yb中的目标位置上获得了构成输出图像信号Sb的强度数据时,使用18行的亮度信号Yc提取预测抽头和类抽头。
图14A示出了亮度信号的抽头区域的实例,由白色圆圈所表示的10行0-9表示没有行延迟的行,而由带阴影的圆圈所表示的8行10-17表示带有行延迟的行。在这种情况下,例如,行13位于中心位置。
图15A示出了亮度信号的抽头区域的另一实例,由白色圆圈所表示的10行0-9表示没有行延迟的行,而由带阴影的圆圈所表示的8行10-17表示带有行延迟的行。在这种情况下,例如,行13位于中心位置。
比率转换单元215C是由如上所述的2行的SRAM构成的,并且基于由输出TG217生成的读出地址RADr,并行输出关于蓝色差信号Uc和红色差信号Vc的2行色差信号。进一步,它并行地输出具有行延迟的、关于蓝色差信号Uc和红色差信号Vc的2行色差信号。在该情况下,比率转换单元215C的每行的SRAM具有一个环结构,以便通过仅以单个行的像素数通过另一端口从某一读出端口地址读出一个小的地址,来获得具有行延迟的亮度信号。
最后,并行的从比率转换单元215C中获得关于每个蓝色差信号Uc和红色差信号Vc的4行的色差信号。当如下所述的图像信号处理单元106在色差信号中的目标位置上获得构成输出图像信号Sb的色差数据时,使用4行的色差信号以提取预测抽头和类抽头。
图14B示出了色差信号的抽头区域的一个例子。由白圆圈所表示的两行0、1表示没有行延迟的行,而由带阴影的圆圈所表示的两行2、3表示带有行延迟的行。例如,在该情况下,行2位于中心位置。
图15B示出了色差信号的抽头区域的另一个例子。由白圆圈所表示的两行0、1表示没有行延迟的行,而由带阴影的圆圈所表示的两行2、3表示带有行延迟的行。例如,在该情况下,行2位于中心位置。
如上所述,比率转换单元215Y、215C具有的每行SRAM有一个环结构。在该情况下,SRAM的每行会需要多少存储容量,由以理论值模拟图16A-C所示的操作模型和实际使用条件来保证。
图16B示出了比率转换单元的输入行而图16C示出了它的输出行。图16A示出了对应于输入行的写入地址的转变(用虚线表示的)以及对应于输出行的读出地址的转变(用实线表示的)。图16A表明了每行SRAM的存储容量需要W或更多。
再次返回到图3,比率转换电路105具有抽头建立电路221Y、221C。当后面会说明的图像信号处理单元106在亮度信号Yb的目标位置上得到构成输出图像信号Sb的强度数据时,抽头建立电路221Y选择并建立一个水平抽头,该水平抽头用作关于每个18行的亮度信号Yc的预测抽头和类抽头,该亮度信号Yc是通过比率转换单元215Y得到的。
当后面会说明的图像信号处理单元106在蓝色色差信号Ub的目标位置得到构成输出图像信号Sb的色差数据时,抽头建立电路221C选择并建立一个水平抽头,该水平抽头用作关于每个4行的蓝色差信号的预测抽头和类抽头,该蓝色差信号是通过比率转换单元215C得到的。
进一步的,当后面会说明的图像信号处理单元106在红色差信号Vb的目标位置得到构成输出图像信号Sb的色差数据时,抽头建立电路221C选择并建立一个水平抽头,该水平抽头用作关于每个4行的红色差信号的预测抽头和类抽头,该红色差信号Vc是通过比率转换单元215C得到的。
下面将详细描述抽头建立电路221Y。
如图17所示,该抽头建立电路221Y具有对应于18行的亮度信号Yc的18个移位寄存器222-1到222-8,该亮度信号Yc是通过比率转换单元215Y得到的。构成每个移位寄存器的寄存器的数量与水平方向上要建立的抽头的数量相同。根据本实施例,要建立水平的5个抽头。
考虑这样一个情况,其中对应于每行的有效像素部分,只有经过如上述的比率转换后得到的亮度信号Yc的强度数据串,即它的适当的强度数据串被输入移位寄存器。同时,假设相应于亮度信号Yc的强度数据串的强度数据的改变位置移位触发STR被提交给移位寄存器,以便连续地得到亮度信号Yc的强度数据串的改变位置的强度数据。
首先,下面将描述这样一种情况用比率转换单元215Y将水平方向上像素数转换成一个整数时间,例如两倍。在该情况下,得到图18A-E所示的状态。图18B示出了包括比率转换后的亮度信号Yc的一行,数字1、2、3…,表示对应于第一强度数据、第二强度数据、第三强度数据…的强度数据,其构成了比率转换前亮度信号Ya的比率转换对象单元AT。图18C示出了相应于强度数据的改变点而生成的移位触发STR。图18A示出了比率转换前的亮度信号Ya的强度数据的每个项目的排列,其与亮度信号Yc的强度数据串的强度数据的改变位置一致。
当使用抽头建立电路221Y建立水平的5个抽头时,中心抽头的改变如图18E所示。同时,图18D示出了中心抽头的改变时间。
在该情况下,由于中心抽头的改变相应于比率转换后亮度信号Yc的强度数据串的排列,可以在比率转换前在亮度信号Ya的强度数据的排列中得到水平的5个抽头。
与此同时,将从开始将亮度信号Yc输入抽头建立单元221Y的周期到将水平的5个抽头的强度数据置入移位寄存器并且输出第一批水平的5个抽头的周期的时间看作输出启动延迟。将从把中心抽头的强度数据置入移位寄存器的周期到将上述强度数据作为中心抽头输出的周期的时间看作系统延迟。
输出启动延迟的偏差依赖于像素数的转换放大比率。因而,如果使用在抽头建立电路221Y中建立的亮度信号Yc的水平的5个抽头,晚些说明的图像信号处理单元106需要一个可变延迟电路,该电路可以依赖于像素数量的转换放大比率,而改变延迟时间,以使用其它系统的信号来执行时间调节。
接下来,下面将描述这样一种情况,通过比率转换单元215Y将水平方向的像素数量转换成一个任意的放大比率,例如,7/3的放大比率。
在该情况下,出现图19A-F所示的状态。图19B示出了包括比率转换后的亮度信号Yc的行,而且数字1、2、3…,表示构成相应于亮度信号Ya的比率转换对象单元AT的第一强度数据、第二强度数据、第三强度数据,…的强度数据。图19C示出了相应于强度数据的改变点而发生的移位触发STR。图19A示出了与亮度信号Yc的强度数据串的强度数据的改变位置一致的、比率转换之前亮度信号Ya的强度数据的每个项目的排列。
当用抽头建立电路221Y建立水平的5个抽头时,中心抽头的改如图19E所示。与此同时,图19D示出了中心抽头的改变。
在该情况下,这里生成了一个单元,在该单元中,中心抽头的改变与比率转换1后亮度信号Yc的强度数据串的排列不一致。也就是说,在时间tA,移位寄存器的状态如图20A所示,并且输出强度数据″4作为中心抽头。那么,由于在接下来的时间X提交移位寄存触发STR,移位寄存器的状态的改变如图20B所示,并且输出强度数据″5作为中心抽头。进一步,由于在接下来的时间tB,没有提交移位触发,移位寄存器的状态如图20C所示,与时间X的状态相似,并且输出强度数据″5作为中心抽头。
图19F示出了期望的中心抽头的改变,而且在时间X,作为中心抽头而输出的不是强度数据″4,而是强度数据″5。因而,在该情况下,不能从比率转换前在亮度信号Ya的强度数据的排列中得到水平的5个抽头。
那么考虑,构成移位寄存器的寄存器的数量只增加1,以便得到6个,并且随后通过从移位寄存器中选择寄存器来建立水平的5个抽头。在该情况下,在时间tA,移位寄存器的状态如图21A所示,并且寄存器1-5的输出作为一个抽头输出,以使中心抽头有强度数据″4。由于在接下来的时间X,提交了移位触发STR,移位寄存器的状态的改变如图21B所示,并且寄存器2-6输出一个抽头,以使中心抽头具有强度数据″4。进一步,由于接下来的时间tS,没有提交移位触发,移位寄存器的状态如图21C所示,与时间X的状态相似。因而,寄存器1-5输出一个抽头,以使中心抽头具有强度数据″5。
因此,中心抽头的改变与比率转换后亮度信号Yc的强度数据串的排列相对应,以便得到比率转换前,亮度信号Ya的强度数据的排列中的水平的5个抽头。然而,在该情况下,需要一个电路,用于计算相位和指定中心抽头的位置。同样,在该情况下,输出启动延迟的改变依赖于像素数量的转换放大比率。
接下来,要考虑的是修改亮度信号Yc的强度数据串的强度数据的改变位置,并且将修改后的强度数据串输入移位寄存器,以便使中心抽头的改变相应于比率转换后亮度信号Yc的强度数据串的排列。
在该情况下,将通过修改亮度信号Yc(图22B所示)而得到的图22E中所示的亮度信号Yc′从比率转换单元215Y提交到抽头建立单元221Y。在该情况下,如图22D所示,从比率转换单元215Y到抽头建立单元221Y的移位寄存器,提交一个移位触发STR′而不是移位触发STR,该移位触发STR′对应于亮度信号Yc′的强度数据串的强度数据的改变位置(如图22C所示)。
对应于移位寄存器输出了中心抽头的寄存器,在其输出端提供“no”寄存器,并且在其输入端提供“ni”寄存器。如上所述,当建立了水平的5个抽头时,这里的关系是no=ni=2。移位触发STR′是在其头部具有ni个预读触发的移位触发STR。预读触发的定时方法并不限于图22D所示的定时方法,而是如果强度数据″1、″2置入移位寄存器,就满足了它的要求。
当抽头建立电路221Y中建立了水平的5个抽头时,中心抽头的改变如图22G所示。图22F示出了中心抽头的改变时间。图22A示出了与亮度信号Yc的强度数据串的强度数据的改变位置一致的,比率转换前亮度信号Ya的强度数据的每个项目的排列。
在该情况下,在时间tA的移位寄存器的状态如图23A所示,并且输出作为中心抽头的强度数据″4。由于在接下来的时间X,没有提交移位触发STR,移位寄存器的状态如图23B所示,与tA的状态相似,并且输出作为中心抽头的强度数据″4。进一步,由于在接下来的时间tB提交一个移位触发STR′,其移位寄存器状态的改变如图23B所示,并且输出作为中心抽头的强度数据″5。
通过从比率转换单元215Y将亮度信号Yc′(如图22E所示)以及移位触发STR′(如图22D所示)提交到抽头建立电路221Y,中心抽头的改变对应于比率转换后亮度信号Yc的强度数据串的排列,以便在比率转换前的亮度信号Ya的强度数据的排列中,得到水平的5个抽头。
然而,输出启动延迟的改变依赖于像素数量的转换放大比率。因而,当使用由抽头建立电路221Y建立的亮度信号Yc的水平的5个抽头时,图像信号处理单元106需要一个可变延迟电路,该可变延迟电路能够根据像素数量的转换放大比率改变延迟时间,以使用其它信号来调节时间,例如,后面将要描述的相位信息(phy、pvy)(phc、pvc)。
因而,根据该实施例,将输出启动延迟修改成常数,而不依赖于像素数量的转换放大比率。
因而,要考虑的是,当与一个移位寄存器输出中心抽头的寄存器一致地在输出端提供“no”个寄存器并且在输入端提供“ni”个寄存器时,向移位寄存器输入强度数据串,其中强度数据的最先的(no+ni)项连续地改变。当如上所述建立了水平的5个抽头时,这里有关系no=ni=2并且no+ni=4。
在该情况下,如图24E所示,将通过修改亮度信号Yc(如图24B所示)得到的亮度信号Yc″从比率转换单元215Y提交到抽头建立单元221Y。在该情况下,如图24D所示,对应于亮度信号Yc″的强度数据串的强度数据的改变位置的移位触发STR″而不是移位触发STR,被从比率转换单元215Y提交到抽头建立单元221Y的移位寄存器(如图24C所示)。
如果使用抽头建立电路221Y建立了水平的5个抽头,中心抽头的改变如图24G所示。图24F示出了中心抽头的改变时间。图24A示出了与亮度信号Yc的强度数据串的强度数据的改变位置一致的比率转换前亮度信号Ya的强度数据的每个项目的排列。
通过向每行的移位寄存器输入一个强度数据串,其中强度数据的最先的(no+ni)项目连续地改变,输出启动延迟可以被固定在输出时钟Cko的时钟时间(no+ni)。
而且在该情况下,中心抽头的改变对应于比率转换后亮度信号Yc的强度数据串的排列,以便从比率转换前亮度信号Ya的强度数据的排列中得到水平的5个抽头。
虽然上面已经描述了,可以从比率转换单元215Y中得到移位触发STR′、STR″,还可以从比率转换单元215Y之外的其它单元得到STR′、STR″,例如,输出TG217。该输出TG217将读出地址RADr提交给比率转换单元215Y,因而可能很容易地得到与亮度信号Yc′、Yc″的强度数据串的强度数据的改变位置有关的信息。
虽然忽略了详细的描述,抽头建立电路221C的建立方式与上述的抽头建立电路221Y的相同。在该情况下,将色差信号Uc″、Vc″和移位触发STR″从比率转换单元215C提交到抽头建立电路221C,色差信号Uc″、Vc″和移位触发STR″的修改与上述的亮度信号Yc″和移位触发STR″相似。接着,抽头建立电路221C可以在比率转换之前在色差信号Ua、Va的排列中得到水平的5个抽头,并固定输出启动延迟。
接下来,将描述图3所示的比率转换电路105的操作。
将构成将要被输入至输入终端104(见图1)的图像信号Sa的亮度信号Ya和色差信号Ua/Va提交到SDRAM控制器202中的缓冲器204Y、204C。相应于水平方向的有效像素部分,将写入地址WADi从输入TG207提交到每行的缓冲器204Y、204C的每一个,并且连续地写入亮度信号Ya和色差信号Ua/Va。
每行的水平方向的有效像素部分结束后,从输入TG207生成写入请求WRQ。将该写入请求WRQ提交给SDRAM控制器202的控制单元206。控制单元206生成要提交到缓冲器204Y、204C的读出地址RADi,以及要提交到帧存储器201的写入地址WADm。
在控制单元206中生成的读出地址RADi被提交到缓冲器204Y、204C。在控制单元206中生成的写入地址WADm被提交到帧存储器201。相应地,从缓冲器204Y、204C中以时间划分的方式读出临时存储在缓冲器204Y、204C中的亮度信号Ya和色差信号Ua/Va的有效像素部分,通过SDRAM总线203将其传送到帧存储器201,然后写入该帧存储器201的一个预定地址。
进一步,从存储器TG211生成一个读出请求RRQ。在每个规定的时间生成该读出请求RRQ(见图5、6A、B)。使用垂直复位信号VRS,将存储器TG211的垂直计数器213复位为“0”,该垂直复位信号VRS是在来自输出TG217的输出图像信号Sc的垂直方向的有效像素部分的开始时间时提交的。尽管当该垂直计数器213的计数值变成″0时,该读出请求RRQ是最先生成的,但是在此之后,每当该存储器时钟CKm(108MHz)计数为n时生成它。
在该情况下,读出请求RRQ的周期“t”是一个通过用该输入图像信号Sa用于比率转换的行对象的数量来划分输出图像信号Sc的单个垂直有效周期而得到的时间。也就是说,当周期是“t”时,输出图像信号Sc的像素频率是“fo”,输入图像信号Sa的用于转换的行对象的数量是“mi”,输出图像信号Sc的单个垂直有效周期中的行的数量是“mo”,而输出图像信号Sc的每行的像素的数量是“no”,这里有关系t=mo/mi/fo×no。因而,上述的n变成n=t×108MHz。
将存储器TG211生成的读出请求RRQ提交到SDRAM控制器201中的控制单元206。对应于读出请求RRQ,控制单元206生成一个要提交给帧存储器201的读出地址RADm,以及一个要提交给缓冲器205Y、205C的写入地址WADo。将控制单元206生成的读出地址RADm提交到帧存储器201。进一步,将控制单元206生成的写入地址WADo提交到缓冲器205Y、205Y。
相应地,每当生成读出请求RRQ时,10行的亮度信号Ya和2行的色差信号Ua/Va被与存储时钟CKm(108MHz)同步地从帧存储器201中读出,并通过SDRAM总线203被提交给缓冲器205Y、205C。在该情况下,以时间划分的方式传送10行的亮度信号Ya和2行的色差信号Ua/Va,即12行的信号。
每个提交到缓冲器205Y的10行的亮度信号Ya被写入构成缓冲器205Y的10行的SRAM的每一个。类似地,提交到缓冲器205C的2行的色差信号Ua/Va被写入构成缓冲器205C的2行的SRAM的每一个。
在相应于读出请求RRQ将亮度信号Ya和色差信号Ua/Va从帧存储器201传送到缓冲器205Y、205C并写入其中之后,在存储器TG211生成要提交到缓冲器205Y、205C的读出地址RADo,以及要提交到将在后面描述的比率转换单元215Y、215C的写入地址WADr。将读出地址RADo提交到缓冲器205Y、205C。进一步,将写入地址WADr提交到比率转换单元215Y、215C。
每当生成一个读出请求RRQ时,将其从帧存储器201传送出来,并临时存储在缓冲器205Y、205C。10行的亮度信号Ya和2行的色差信号Ua/Va被与输出时钟CKm(108MHz)同步地传送到比率转换单元215Y、215C,然后被写入比率转换单元215Y、215C。
比率转换单元215Y是由10行的SRAM构成的,其相应于构成缓冲器205Y的10行的SRAM。类似地,比率转换单元215C是由2行的SRAM构成的,其相应于构成缓冲器205C的2行的SRAM,由此,10行的亮度信号Ya和两行的色差信号Ua/Va,即,12行的信号将从缓冲器205Y、205C并行地传送到比率转换单元215Y、215C,并且写入其中。
对应于输出图像信号Sc的垂直方向的有效像素部分的每一行的水平方向有效单元,从输出TG217的地址生成单元218生成读出地址RADr。将读出地址RADr提交到比率转换单元215Y、215C。
在该情况下,地址生成单元218在输出图像信号Sc的水平方向和垂直方向的有效像素部分的起始像素位置(见图4的点P),生成一个参考地址RADr0。该参考地址RADr0表示一个对应于比率转换单元215Y、215C的输入图像信号Sa的比率转换对象单元AT的起始位置(见图4的点Q)的像素数据的记录位置。
由于水平方向有效像素部分的起始像素位置的相位信息是0,地址生成单元218使用输出时钟Cko,为要提交的每个像素位置添加一个水平扩展比率的反数Mh,如果加起来的值比4096小,该加起来的值被看作像素位置的水平方向的相位信息“h”。另一方面,如果加起来的值不比4096小,发生进位,这样从该加起来的值中减去4096得到的值被看作该像素位置的水平方向上的相位信息“h”。
如果该加起来的值比4096小,并且没有发生进位,作为相应于该像素位置的读出地址RADr,地址生成单元218输出与刚好在前面的像素位置相同的一个值。另一方面,如果发生进位,作为相应于该像素位置的读出地址RADr,它输出从刚好在前面的像素位置的地址前进了1个的地址。
相应地,如果加起来的值比4096小,并且没有发生进位,作为相应于该像素位置的读出地址RADr,使用与刚好在前面的像素位置相同的值,并且在该像素位置从比率转换单元215Y、215C读出与刚好在前面的像素位置相同的像素数据。因而,比率转换单元215Y、215C得到比率转换后的亮度信号Yc和色差信号Uc/Vc,其中水平方向上像素数量相对于比率转换前亮度信号Ya和色差信号Ua/Va,相应于水平方向的扩展比率而增长。
由于垂直方向有效像素部分的起始像素位置的相位信息是0,地址生成单元218在每行添加一个垂直扩展比率的反数Mv,其中在该行中生成了水平同步信号HDo。如果加起来的值比4096小,该加起来的值被看作该行的垂直方向的相位信息“v”。另一方面,如果加起来的值不比4096小,发生进位,这样从该加起来的值中减去4096得到的值被看作该行的垂直方向上的相位信息“v”。
如果该加起来的值比4096小,并且没有发生进位,作为相应于该行的读出地址RADr,地址生成单元218输出与刚好在前面的行相同的一个值。另一方面,如果发生进位,作为相应于该行的读出地址RADr,地址生成单元218输出修改后的一个值以读出在输入图像信号Sa的下一行的像素数据。
如果加起来的值比4096小,并且没有发生进位,作为相应于该行的读出地址RADr,使用与刚好在前面的行相同的值,并且在该行从比率转换单元215Y、215C读出与刚好在前面的行相同的像素数据。因而,比率转换单元215Y、215C得到比率转换后的亮度信号Yc和色差信号Uc/Vc,其中垂直方向上像素数量相时于比率转换前亮度信号Ya和色差信号Ua/Va,相应于垂直方向的扩展比率而增长(见图9、10)。
从比率转换单元215Y,通过上述10行的SRAM得到10行的亮度信号Yc和8行的亮度信号Yc,10行的亮度信号Yc基于由输出TG217所生成的读出地址RADr,8行的亮度信号Yc基于小了一行像素数的地址。即,从比率转换单元215Y并行地得到18行的亮度信号Yc(见图14A、15A)。当图像信号处理单元106在亮度信号Yb的目标位置得到构成输出图像信号Sb的强度数据时,使用18行的亮度信号Yc去提取预测抽头和类抽头。
从比率转换单元215C,通过上述2行的SRAM得到基于由输出TG217所生成的读出地址RADr的2行的色差信号Uc、Vc和基于小了一行像素数的地址的2行的色差信号Uc、Vc。即,从比率转换单元215C并行的得到每个4行的色差信号Uc、Vc(见图14B、15B)。当图像信号处理单元106在色差信号Ub、Vb的目标位置得到构成输出图像信号Sb的色差数据时,使用每个为4行的色差信号Uc、Vc去提取预测抽头和类抽头。
通过比率转换单元215Y、215C得到18行的亮度信号Yc,而且每个4行的色差信号Uc、Vc在垂直方向和时间方向上伸展。虽然可以通过图像信号处理单元106很容易地提取垂直方向和时间方向的抽头(类抽头、预测抽头),水平方向的抽头是不伸展的,因而要提取水平方向上的抽头是不容易的。
基于10行的亮度信号Yc和每个2行的色差信号Uc、Vc,抽头建立电路221Y、221C建立水平方向的抽头,该亮度信号和色差信号是通过比率转换单元215Y、215C得到的。给抽头建立电路221Y提供对应于18行的亮度信号Yc的18个移位寄存器222-1到222-18(见图17)。类似地,给抽头建立电路221C提供对应于每个为4行的色差信号Uc、Vc的8个移位寄存器。因而,每个寄存器都是由与水平方向要建立的抽头数量相等的寄存器组成的。
将比率转换后的亮度信号输入组成抽头建立电路221Y的移位寄存器。对应于亮度信号的强度数据串的强度数据的改变位置的一个移位触发被提交到移位寄存器。每当移位触发被提交到移位寄存器时,连续地获取对应于亮度信号的强度数据串的转换位置的强度数据。这对于抽头建立电路221C也一样。
根据本实施例,对于一个要对应于比率转换后亮度信号Yc的强度数据串的排列的中心抽头的改变,将修改后的强度数据串输入移位寄存器,该数据串是通过修改亮度信号Yc的强度数据串强度数据的改变位置而得到的。当与要输出该中心抽头的寄存器一致时,在移位寄存器的输出边提供“no”个寄存器,而在它的输入边提供“ni”个寄存器,将修改后的强度数据串看作改变强度数据的连续最先的(no+ni)个项目的结果,并且连续地将(no+ni)个项目的强度数据置入移位寄存器。
根据本发明,通过修改亮度信号Yc的强度数据串(适当的强度数据串)获得的亮度信号Yc″,被从比率转换单元215Y输入抽头建立单元221Y。进一步,提交对应于这个亮度信号Yc″的强度数据串的强度数据的改变位置的移位触发STR″(见图24A-G)。这对于比率转换单元215C和抽头建立电路221C也同样。
相应地,相应于亮度信号Yc的排列、色差信号Uc、Vc的强度数据串、以及比率转换后的色差数据串,改变中心抽头,以便可以在比率转换前的亮度信号Ya和色差信号Ua、Va的强度数据和色差数据的排列中得到水平的5个抽头。进一步,抽头建立电路221Y、221C的输出启动延迟可以固定在输出时钟Cko的时钟时间(no+ni),所以不需要向图像信号处理单元106提供一个可变延迟电路,其中该延迟电路能够根据像素数量的转换放大比率来改变延迟时间,以便使用其它信号调节执行时间,例如相位信息(phy、pvy)(phc、pvc)。
在图3所示的比率转换电路105中,从存储器TG211生成读出请求RRQ,并基于该读出请求RRQ,将亮度信号Ya和色差信号Ua/Va通过缓冲器205Y、205C以行为单元从帧存储器201传送到比率转换单元215Y、215C。因而,在亮度信号Ya和色差信号Ua/Va从作为第一存储器的帧存储器201到作为第二存储器的比率转换单元215Y、215C的传送周期中没有偏差,所以可以在每个传送周期中保证稳定的数据传送带通。相应地,每个传送周期从帧存储器201到比率转换单元215Y、215C,比率转换电路105都能够稳定地传送10行的亮度信号Ya和2行的色差信号Ua/Va,即总共12行的信号。
接下来,将参照图25来进一步地详细描述SDRAM控制器202。在图25中,与图3中相应的组件的附图标记相同,并省略了对其的描述。
SDRAM控制器202包括作为写入缓冲器的缓冲器204Y和204C、作为读出缓冲器的缓冲器205Y和205C、命令生成器301、模式设置/刷新生成器302、写地址单元303、读地址单元304、读计数器305、写计数器306、读/写控制单元307。这里,命令生成器301、模式设置/刷新生成器302、写地址单元303、读地址单元304、读计数器305、写计数器306和读/写控制单元307对应于图3的控制单元206。
向SDRAM控制器202提交一个与输入图像信号Sa同步的垂直同步信号VDi,还提交输入图像信号Sa的水平方向的有效像素数量、输入图像信号Sa垂直方向的有效像素数量(有效行的数量)、输出信道的数量、中心位置区域以及其起始行和到每个输出信道的中心位置的差值,作为外部参数。
如上所述,对应于单个读出请求RRQ,从帧存储器201(SDRAM)读出10行的亮度信号Ya和2行的色差信号Ua/Va。这里,将单个行的数据作为1-信道数据。
该区域的中心位置相对位于写入帧存储器201区域的前面多少区域是指定的。假定它的起始行是相对于比率转换对象单元AT的av行的第一行(见图4)。进一步,假定每个信道的位置距离上述的中心位置有一些差值,就是说,距离中心位置±区域、±行。
读/写控制单元307生成一个写标志WFL,伴随对应于输入TG207提交的写入请求WRQ(见图1)的信道信息,而且进一步生成一个读出标志RFL,伴随对应于存储器TG211提交的读出请求RRQ(见图3)的信道信息。
相应于从读/写控制单元307提交的写标志WFL,读计数器305生成一个要提交到作为写入缓冲器的缓冲器204Y、204C的读出地址RADi。该读出地址RADi被提交到缓冲器204Y、204C。相应于从读/写控制单元307提交的写标志WFL,写地址单元303生成一个要提交到帧存储器201的写入地址WADm。通过命令生成器301将写入地址WADm提交到帧存储器201。
相应于从读/写控制单元307提交的读出标志RFL,读地址单元304生成一个要提交到帧存储器201的读出地址RADm。通过命令生成器301将该读出地址RADm提交到帧存储器201。相应于从读/写控制单元307提交的读出标志RFL,写计数器306生成一个要提交到作为读出缓冲器的缓冲器205Y、205C的写入地址WADo。该写入地址WADo被提交到缓冲器205Y、205C。
相应于每个域的第一个读出标志RFL,读地址生成单元304生成一个读出地址RADm,以读出相应于来自帧存储器201的输入图像信号Sa的比率转换对象单元AT的av行的第一行相关的12-信道数据。基于如上所述给出的作为外部参数的中心位置的区域与起始行之间的差值,或者与来自每个区域的垂直空白周期中每个输出信道的中心位置之间的差值,计算该读出地址RADm。
读地址生成单元304生成一个读出地址RADm,以读出与相应于来自帧存储器201的输入图像信号Sa的比率转换对象单元AT的av行的第2-N行相关的12-信道数据。在该情况下,通过逐渐增加用作第一行的读出地址RADm,可以得到用作第2-N行的读出地址RADm。
下面将描述SDRAM控制器202的通电(power ON)序列。由于帧存储器(SDRAM)201通电时它的状态是不清楚的,当通电时,在功率标准时间之后,规定它在所有存储体(banks)处执行预充电、模式复位和刷新。然而,由于如果输入一个垂直同步信号VDi,SDRAM控制器202将执行模式复位和刷新,所以当输入垂直同步信号VDi中的一些时,将自动执行powerON序列。
模式设置/刷新生成器302为帧存储器201的模式设置/刷新生成一个控制标志,该标志伴随着垂直同步信号VDi的输入。命令生成器301基于控制标志为帧存储器201的控制生成必要的命令。
这里将描述SDRAM的刷新周期。SDRAM需要一个刷新操作来保持已写入的数据。例如,根据本实施例,使用16Mbit×4存储体的SDRAM。至于该SDRAM,任何存储器产品的刷新周期被设置成4096次/64ms。根据本实施例,由于输入图像信号Sa的区域周期是60Hz或50Hz,每当输入垂直同步信号VDi时,使用该空白周期一次全部地执行刷新。
虽然在上面的描述中,为了解释的方便而说明输入图像信号Sa是480i信号(60Hz)而且输出图像信号Sb是1080i信号(60Hz),但输入图像信号Sa和输出图像信号Sb并不仅限于这些情况。在该情况下,由于输入图像信号Sa和输出图像信号Sb的格式不同,区域周期和空白周期是不同的,这里提供了一种刷新模式,其通过两次或三次输入垂直同步信号VDi来划分该刷新操作,而满足4096次/64ms的条件。
下面将描述图25所示的SDRAM控制器202的操作。
为了帧存储器201的模式设置/刷新,在从垂直同步信号VDi的输入开始的从帧存储器201读出或向其中写入之前,模式设置/刷新生成器302、写地址单元303、读地址单元304和写/读控制单元307计算该帧存储器201的一个写入地址WADm、以及其读出地址RADm。分别提供写地址单元303和读地址单元304的原因是,对帧存储器201的写入和从帧存储器201的读出是分别独立执行的。
当输入了垂直同步信号VDi时,在模式设置/刷新生成器302中提出一个控制标志,用于对帧存储器201执行模式设置和刷新。将该控制标志提交到命令生成器301。基于该控制标志,命令生成器301生成控制帧存储器201所需的命令。将该命令提交到帧存储器201。相应地,每次当输入垂直同步信号VDi时,执行帧存储器201的模式设置和刷新。
相应于每行的水平方向的有效像素部分,从输入TG207(见图3)向缓冲器204Y、204C提交写入地址WADi,并且逐次地写入构成输入图像信号Sa的亮度信号Ya和色差信号Ua/Va。
每行的水平方向的有效像素部分结束后,从输入TG207向读/写控制单元307提交写入请求WRQ。与此同时,由于发送了写入请求WRQ,缓冲器204Y、204C需要存储新输入的下一行亮度信号Ya和色差信号Ua、Va,直到执行读出操作。因而,双端口SRAM用作这些缓冲器204Y、204C。
读/写控制单元307判断帧存储器201中的写入或读出。当它确定帧存储器将处于写入操作时,它向读计数器305和写地址单元303提交一个伴随信道信息的写标志WFL。相应地,从读计数器305生成一个读出地址RADi,并将其提交给缓冲器204Y、204C,与此同时,从写地址单元303生成一个写入地址WADm,并通过命令生成器301,将其提交到帧存储器201。
从缓冲器204Y、204C将临时存储在缓冲器204Y、204C的每行的亮度信号Ya和色差信号Ua/Va的有效像素部分读出,通过SDRAM总线203,将其传送到帧存储器201,并且将其写入帧存储器201的预定地址。在该情况下,以8bit的速率和输入时钟Cki,将输入亮度信号Ya和色差信号Ua/Va输入缓冲器204Y、204C。从缓冲器204Y、204C到帧存储器201,输入亮度信号Ya和色差信号Ua/Va被转换成32位数据,并且被以存储器时钟CKm(108MHz)的速率传送。在该情况下,通过SDRAM总线203,以时间划分的方式将2-信道数据,即输入亮度信号Ya和色差信号Ua/Va传送到帧存储器201,并且写入其中。
进一步,从存储器TG211向读/写控制单元307提交一个读出请求RRQ。读/写控制单元307判断在帧存储器201中是写入还是读出。如果它确定帧存储器将进行读出操作时,它向写计数器306和读地址单元304提交一个伴随信道信息的读出标志RFL。相应地,从读地址单元304生成一个读出地址RADm,,并通过命令生成器301,将其提交到帧存储器201。从写计数器306生成一个写地址WADo,并将其提交到缓冲器205Y、205C。
因而,相应于一个读出请求RRQ,每当从读/写控制单元307生成一个读出标志时,与存储器时钟CKm(108MHz)同步地从帧存储器201读出一个12-信道数据,并且通过SDRAM总线203,传送到缓冲器205Y和缓冲器205C,并且写入其中。在该情况下,以时间划分的方式传送12-信道数据。
如上所述,相应于读出请求RRQ,将12-信道数据从帧存储器201传送到缓冲器205Y、205C之后,将读出地址RADo从存储器TG211(见图3)提交到缓冲器205Y、205C,并且将写地址WADr提交到比率转换单元215Y、215C(见图3)。
每当生成读出请求RRQ时,从帧存储器201传送的12-信道数据被临时存储在缓冲器205Y、205C,然后其被传送到比率转换单元215Y、215C,并且存储在其中。
图26示出了读/写控制单元307的配置。该读/与控制单元307包括一个写信道计数器311、读信道计数器312、读出请求挂起单元313和信道计数器314。将输入TG207中生成的读出请求WRQ(见图3)提交到写信道计数器311和读信道计数器312。进一步,将存储器TG211中生成的读出请求RRQ(见图3)提交到读信道计数器312和读出请求挂起单元313。
当接收到写入请求WRQ时,写信道计数器311设置写信道的数量作为其自身的计数值,每当对一个信道的写入开始时,对计数值减去1。当该计数值达到0时,结束写操作。当如上所述设置写信道的数量作为其自身的计数值时,写信道计数器311发送一个计数开始标志CSF到信道计数器314则开始信道计数314的计数。
当接收到写入请求WRQ时,写信道计数器311设置2作为其自身的计数值。设置2的原因是亮度信号Ya和色差信号Ua/Va是分别被写入帧存储器201的,因而需要一个2-信道的数据写入。
当提交了一个读出请求RRQ或请求挂起单元313中挂起了一个读出请求RRQ时,如果当检查写信道计数器311的计数值时写入状态不是ON,读信道计数器312设置读出信道的数量作为其自身的计数值。当每个信道的读出开始时,读信道计数器312的计数值递减。当该计数值达到0时,读出操作结束。
当如上所述设置读出信道的数量作为其自身计数值时,读信道计数器312发送一个计数开始标志CSF到信道计数器314,以开始信道计数器314的计数。当如上所述同时输入写入请求WRQ和读出请求RRQ时,设置读出信道的数量作为计数值,然而,不向信道计数器314提交计数开始标志CSF。
当接收到计数开始标志CSF时,信道计数器314开始它的计数操作。在该情况下,信道计数器314从0逐渐地与存储器时钟CKm(108MHz)同步地增加计数值,并且如果计数值达到与信道数据长度一致的最大值,该计数值返回0,以便状态变成待用状态,等待输入计数开始标志CSF。
这里,最大值相应于存储器时钟CKm的时钟数,其中该存储器时钟CKm相应于从缓冲器204Y、204C到帧存储器201的1-信道数据传送时间,或从帧存储器201到缓冲器205Y、205C的1-信道数据传送时间。如上所述,当输入图像信号Sa是480i信号时,水平方向的有效像素数量是720像素。由于8位的数据被转换成32位数据,并以此形式传送,最大值是MAX=720/4=180。
进一步,当计数值返回1时,信道计数器314生成一个开始标志SFL,并将其提交到写信道计数器311和读信道计数器312。进一步,当计数值达到最大时,信道计数器314生成一个结束标志EFL,并将其提交到写信道计数器311和读信道计数器312。
当提交来自信道计数器的开始标志SFL时,当自身计数值不为0的时候写信道计数器311生成一个伴随着相应与该计数值的信道信息的写标志WFL,并将其提交到读计数器305和写地址单元303,并且进一步减小该自身计数值。
相应地,从读计数器305生成用于读出相应于该信道信息的信道数据的读出地址RADi。从写地址单元303生成用于写入相应于该信道信息的信道数据的写地址WADm。从缓冲器204Y、204C将相应于信道信息的信道数据传送到帧存储器201,并且写入其中。
当从信道计数器314提交结束标志EFL时,当自身计数值不是0时,写信道计数器311生成用于写入下一信道的计数开始标志CSF,,并将其提交到信道计数器314。
当从信道计数器314提交开始标志SFL时,当写信道计数器311的计数值是0而该自身计数值不是0时,读信道计数器312生成一个伴随着相应于该计数值的信道信息的读出标志RFL,并将其提交到读地址单元304和写计数器306,然后减小自身计数值。
相应地,读地址单元304生成读出地址RADm,用于读出相应于信道信息的信道数据。写计数器306生成写地址WADo,用于写入相应于信道信息的信道数据。相应于信道信息的信道数据,被从帧存储器201传送到缓冲器205Y、205C,并且被写入其中。
当提交来自信道计数器314的结束标志EFL时,当写信道计数器311的计数值是0而自身计数值不是0,读出信道计数器312则生成计数开始标志CSF,用于读下一个信道,并且将其提交到信道计数器314。
进一步,当接收到读出请求RRQ时,读出请求挂起单元313增加所挂起的数量。进一步,读出请求挂起单元313基于读出请求RRQ,在读信道计数器312中设置读出信道的数量作为计数值,当该计数值变成0时,减小所挂起的数量。
写操作一端没有写入请求挂起。原因是写入请求WRQ的优先权大于读出的优先权,而且在写入过程中,没有以定时形式提交的写入请求WRQ。
就上述结构,下面将说明,读出请求RRQ和写入请求WRQ的待用状态。在一个开始状态,其中没有执行读出或写入,出现该状态。写信道计数器311、读信道计数器312、读出请求挂起单元313和信道计数器314在一个具有0的初始状态。写信道计数器311等待输入写入请求WRQ,而读信道计数器312等待输入读出请求RRQ。读出请求挂起单元313等待读出请求RRQ。
接下来,将使用如图27A-J所示“(1)独立地写入/读出”,描述一个在初始状态下独立地提交了一个写入请求WRQ的情况下的操作。
当和与输入图像信号Sa相关(图27A、B)的水平同步信号HDi同步地输入一个写入请求WRQ时,写信道计数器311设置2作为其自身计数值,并且向信道计数器314提交计数开始标志CSF,其中2是写信道的数量(图27E)。信道计数器314与存储器时钟CKm同步地增加计数值,并且当计数值达到1时,生成开始标志SEL。图27I示出了信道计数器314的计数值,以及一个没有0的单元表示着状态从1逐渐地改变到了最大值。
因而,写信道计数器311生成伴随了信道信息的写标志WFL(图27D)。相应地,开始对第一信道进行写入。在这时,写信道计数器311将自身的计数值减小到1(图27E)。图27J示出了SDRAM总线203的数据传送状态。
当信道计数器314的计数值达到相应于对第一信道的写入的结束的最大值时,该信道计数器314生成结束标志EFL。写信道计数器311再次向信道计数器314提交计数开始标志CSF,因为其自身计数值不是0而是1(图27E)。信道计数器314与存储器时钟CKm同步地增加计数值,当它的计数值变成1时,生成开始标志SFL。
因而,写信道计数器311生成伴随信道信息的写标志WFL(图27D)。作为结果,开始对第二信道进行写入。这时,写信道计数器311将自身计数递减小到0(图27E)。
相应于对第二信道的写入的结束,即,当信道计数器314的计数值达到最大值时,信道计数器314生成结束标志EFL。由于自身计数值是0,写信道计数器311制止生成计数开始标志CSF或其它的标志。相应地,通过输入写入请求WRQ,结束2信道的相同数量的写入。
接下来,将使用如图27A-J所示“(1)独立地写入/读出”,描述一个在起始状态下独立地提交了一个读出请求RRQ的情况下的操作。
当输入了读出请求RRQ时(图27C),读信道计数器312设置读出信道的数量作为其自身计数值(图27G),因为写信道计数器311的计数值是0(图27E)。虽然读出信道的数量实际上是12,但为了方便,在图27A-J的例子中设置的是4。如果输入了一个读出请求RRQ(图27C),读出请求挂起单元313将挂起的数量增加到1(图27H)。
在读信道计数器312设置了读出信道的数量后,它向信道计数器314提交计数开始标志CSF。信道计数器314与存储器时钟CKm同步地增加计数值,并且当计数值达到1时,生成一个开始标志SFL。因而,读信道计数器312生成一个伴随信道信息的读出标志RFL(图27F)。相应地,开始第一信道的读出。在这时,读信道计数器312减小其自身计数值(图27G)。
相应于从第一信道的读出的结束,即当信道计数器314的计数值达到最大值时,信道计数器314生成结束标志EFL。读信道计数器312再次向信道计数器314提交计数开始标志CSF,因为写信道计数器311的计数值是0而其自身计数值不是0。信道计数器314与存储器时钟CKm同步地增加计数值,当计数值达到1时,生成一个开始标志SFL。
因而读信道计数器312生成一个伴随信道信息的读出标志RFL(图27F)。结果,开始第二信道的读出。在这时,读信道计数器312进一步减小其自身计数值(图27G)。
以同样方法,执行直到对最后一个信道的读出。相应于最后一个信道的读出的结束,即,当信道计数器314的计数值达到它的最大值时,信道计数器314生成结束标志EFL。读信道计数器312制止计数开始标志CSF的生成或其它标志的生成,因为其自身计数值是0。相应地,通过读出请求RRQ的输入与读出信道数量相同的读出结束了。同时,当读信道计数器312的计数值变成0时,读出请求挂起单元313减小所挂起的数量。
接下来,描述一个在起始状态下在相同时间输入写入请求WRQ和读出请求RRQ的情况下的操作。
虽然读信道计数器312设置读出信道的数量作为其自身的计数值,由于它接收到的读出请求RRQ和写入请求WRQ,它制止向信道计数器314提交计数开始标志CSF。
在该情况下,写信道计数器311设置2作为其自身计数值,并且向信道计数器314提交计数开始标志CSF,其中,2是写信道的数量。因此,执行写操作的方法与单独提交写入请求WRQ时的方式相同。
当信道计数器314生成相应于结束对第二信道的写入的结束标志EFL时,如上所述,写信道计数器311制止计数开始标志CSF的生成或其它标志的生成,因为其自身计数值是0,然后,写操作结束。
因为在该情况下,写信道计数器311的计数值是0,而且其自身的计数值不是0,读信道计数器312向信道计数器314提交计数开始标志CSF。相应地,在写操作结束后,开始读出操作。执行该读出操作的方法与单独提交读出请求RRQ时的方法相同。
接下来,将使用如图27A-J所示“(2)在写入的过程中读出”,描述一个在写入操作的过程中提交了一个读出请求RRQ的情况下的操作。
当在写操作的过程中提交了一个读出请求时(图27C),读信道计数器312制止将读出信道的值设置为自身的计数值以及向信道计数器314提交计数开始标志CSF,因为写信道计数器311的计数值不是0。
在该情况下,读出请求挂起单元313将所挂起的读出请求RRQ的数量增加到1(图27H)。读信道计数器312基于写信道计数器311的计数值,确定是否在执行一个写操作。也就是说,当计数值不是0时,它确定正在执行写操作,而当计数值是0时,它确定没有在执行写操作。
当信道计数器314像上述的那样,相应于对第二信道的写操作的结束,生成结束标志EFL时,写信道计数器311制止生成计数开始标志CSF或其它的标志,因为自身计数值是0,然后,结束写操作。
在该情况下,读信道计数器312制止将读出信道的数量设置为自身的计数值,以及向信道计数器314提交计数开始标志CSF,因为写信道计数器311的计数值是0而其自身的计数值也是0。
然而,当有读出请求RRQ挂起在读出请求挂起单元313中时,读信道计数器312将读出信道的数量设置成自身的计数值(图27G),然后,向信道计数器314提交计数开始标志CSF。相应地,在写操作结束后,开始读出操作。执行该读出操作的方法与上述的单独提交读出请求RRQ时的方法相同。当读出操作已结束并且读信道计数器312的计数值变成0时,读出请求挂起单元313将挂起的数量减小到0(图27H)。
读信道计数器312基于读出请求挂起单元313的挂起数,确定是否有挂起的读出请求RRQ。就是说,当挂起数不是0时,它确定正在执行挂起操作,并且当挂起的值是0时,它确定没有在执行挂起操作。
接下来,将使用如图27中的“(3)在读出的过程中写入”,描述一个在读出操作的过程中提交了一个写入请求(93)WRQ的情况下操作。
当输入写入请求WRQ时(图27B),写信道计数器311设置2作为其自身的计数值(图27E),2是写信道的数量,并且向信道计数器314提交计数开始标志CSF。在该情况下,由于正在执行读出操作,信道计数器314已经基于来自读信道计数器312的计数开始标志CSF,开始了它的计数操作(图27I)。
当信道计数器314的计数值达到一个相应于读出信道的结束的最大值时,信道计数器314生成结束标志EFL。由于写信道计数器311的计数值不是0,读信道计数器312制止向信道计数器314提交计数开始标志CSF。
在这时,由于自身的计数值不是0,写信道计数器311生成计数开始标志CSF,并将其提交到信道计数器314。相应地,临时停止读出操作,并且开始写操作。
如果如上所述,相应于第二信道的写操作的结束,在信道计数器314中生成结束标志EFL,写信道计数器311制止生成计数开始标志CSF,因为其自身的计数值是0,然后,写操作结束。
在该情况下,读信道计数器312向信道计数器314提交计数开始标志CSF,因为虽然写信道计数器311的计数值是0,其自身的计数值不是0(如图27A-J所示的例子中,计数值是2)。相应地,在写操作结束后,读出操作重新开始。当读操作结束并且读信道计数器312的计数值达到0时,挂起的数量减小到0(图27H)。
图28、29的流程图示出了一个处理过程,用于使用软件完成上述写/读控制单元307的操作。
首先,在步骤ST11开始一个处理,并且在步骤ST12,设置W=0、R=0、RH=0以及CH=0。这里,W对应于写信道计数器311的计数值,R对应于读信道计数器312的计数值,RH对应于读出请求挂起单元313所挂起数,CH对应于信道计数器314的计数值。
接下来,在步骤ST13,确定是否有请求输入。如果同时存在写入请求WRQ和读出请求RRQ,在步骤ST14增加读出请求RRQ的挂起数RH。然后,在步骤ST15,例如,读出信道的数量是12,将12设置成计数值R。在步骤ST16,将写信道的数量2设置成计数值W。
如果在步骤ST13只输入了写入请求WRQ,过程立刻前进到步骤ST16,然后将写信道的数量2设置成计数值W。步骤ST16的处理之后,过程前进到步骤ST17。在步骤ST17中,输出计数开始标志CSF。然后,在步骤ST18,开始向上计数到计数值CH。该向上计数与存储器时钟CKm同步地执行。
接下来,在步骤ST19,确定是否设置了CH=1。如果CH=1,输出伴随对应于计数值W的信道信息的写标志WFL,并且将WFL提交到读计数器305和写地址单元303(见图26)。在步骤ST20中,减小计数值W。在步骤ST20的处理之后,过程前进到步骤ST21。
在步骤ST21,确定是否设置了CH=MAX。如果设置了CH=MAX,在步骤ST22,用CH=0停止向上计数。然后,在步骤ST23,确定计数值W是否为0。除非W=0,过程返回到执行下一信道的写处理的步骤ST17。
除非在步骤ST21中设置了CH=MAX,在步骤ST24,确定是否输入了读出请求RRQ。如果输入了读出请求RRQ,在步骤ST25中增加读出请求RRQ的挂起数RH。如果在步骤ST24中或步骤ST25的处理后没有输入读出请求RRQ,过程返回到步骤ST21。相应地,当在写操作过程中输入了读出请求RRQ,则挂起该读出请求RRQ。
当在步骤ST23中设置了W=0,写操作结束。然后,在步骤ST26确定计数值R是否为0。如果设置了R=0,在步骤ST27中确定读出请求RRQ的挂起数RH是否为0。如果设置了RH=0,没有发生读操作的中断或读出请求RRQ的挂起,因而,过程返回到其中发生了待用状态的步骤ST12。
如果在上述的步骤ST13仅输入了读出请求RRQ,在步骤ST28中增加挂起数RH,然后,过程前进到步骤ST29。在步骤ST29,读出信道的数量,例如,12,被设置成计数值R。然后,在步骤ST30,输出一个计数开始标志CSF。除非在步骤ST26中设置了R=0,过程前进到步骤ST30。然后,在步骤ST31,开始增加计数值CH的值。该向上计数与存储器时钟CKm同步。
接下来,在步骤ST32,确定是否设置CH=1。如果设置了CH=1,在步骤ST33输出伴随信道信息的读出标志RFL,该信道信息相应于计数值R,并且向读地址单元304和写计数器306提交RFL(见图26)。进一步,在步骤ST33确定计数值R。在步骤ST33的处理之后,过程前进到步骤ST34。
在步骤ST34,确定是否设置了CH=MAX。如果设置了CH=MAX,在步骤ST35中用CH=0停止向上计数。然后,在步骤ST36,确定计数值W是否是0。除非设置了W=0,它意味着在读出操作过程中输入了写入请求WRQ,这将在后面描述,并且过程返回到在其中执行写处理的步骤ST17。另一方面,当在步骤ST36中设置了W=0,处理返回到步骤ST37。
在步骤ST37中,确定计数值R是否为0。除非设置了R=0,过程返回到步骤ST30,其中过程进行到用于下一信道的读出处理。另一方面,当设置了R=0,在步骤ST38中减小读出请求RRQ的挂起数CH,因为与读出信道数量相同的读出操作已结束了。
接下来,在步骤ST39中确定挂起值RH是否为0。除非设置了RH=0,过程返回到步骤ST29,在其中进行到相应于所挂起的下一个读出请求RRQ的读出处理。另一方面,当设置了RH=0,过程返回到步骤ST=12,其中发生了待用状态,因为没有挂起任何读出请求RRQ。
除非在步骤ST34中设置了CH=MAX,在步骤ST40中确定是否输入了任何读出请求RRQ。如果输入了任何读出请求RRQ,在步骤ST41中增加读出请求RRQ的挂起数RH,并且然后,过程进行到步骤ST42。除非在步骤ST40中输入了任何读出请求RRQ,过程立刻进行到步骤ST42。相应地,如果在读出操作中输入了任何读出请求RRQ,则挂起该请求。
在步骤ST42,确定是否输入了任何写入请求WRQ。如果输入了任何写入请求WRQ,在步骤ST43中写信道的数量2被设置成计数值W。除非在步骤ST42中或在步骤ST43的处理之后,输入了任何写入请求WRQ,过程返回到步骤ST34。相应地,如果在读出操作过程中输入了任何写入请求WRQ,在步骤ST36中停止读出处理,然后,过程进行到写入处理。
除非在步骤ST26中设置了R=0,过程进行到步骤ST30,在其中发生了读出处理。如果在发生了写入请求WRQ的同时输入了读出请求RRQ,或如果在读出操作过程中输入了写入请求WRQ,那么停止读出处理,在写操作结束后,过程再改变到读出处理。
如上所述,如图25所示的SDRAM控制器202中,读/写控制单元307控制关于写入请求WRQ的写入操作和关于读出请求RRQ的读出操作。在该情况下,关于写入请求WRQ的写入操作的优先权大于关于读出请求RRQ的读出操作,而且通过相同的SDRAM总线203调节写入和读出操作的执行。相应地,如上所述,可以在每个规定的时间输入读出请求RRQ,然后不考虑写入请求WRQ的写时间,执行读出操作。
代替写入请求WRQ的优先权大于读出请求RRQ的优先权,读出请求RRQ可以有比写入请求WRQ大的优先权。如果那样的话,由于通过相同的SDRAM总线203执行写和读出操作的调节,有可能在每个预定时间输入读出RRQ,然后不考虑写入请求WRQ的写时间,执行读出操作。
如上所述,写信道的数量是2而且读出信道的数量是,例如,12。因而,如果写入请求WRQ的优先权大于读出请求RRQ的优先权,用读出请求RRQ的读出等待时间是至多两个信道。然而,如果读出请求RRQ的优先权大于写入请求WRQ的优先权,写入请求WRQ的写等待时间与至多与读出信道的数量相同,例如,12个信道。
与输入图像信号Sa的水平同步信号HDi同步地生成写入请求WRQ。如果该输入图像信号Sa是,例如,录像机(VTR)的复制信号,在水平周期会发生偏差。然而,如上所述,图25所示的SDRAM控制器202能够在每个规定的时间输入读出请求RRQ,并且将其读出,而不管写入请求WRQ的写时间。因而通过使用图25所示的SDRAM控制器202,可以消减输入图像信号Sa的水平周期的偏差,并且可以省略时基校正器(TBC)电路等用于消减该偏差的装置。
图30A、B示出了SDRAM总线203的输入图像信号Sa的定时以及数据传送条件的例子。图30A示出了输入图像信号Sa,着重其水平周期的偏差。图30B示出了SDRAM总线203的数据传送状态。在该例子中,写信道的数量是2,读出信道的数量是8。进一步,WD表示与用于写入的信道的数量相同的数据,而RD表示与用于读出要信道数量相同的数据。
接下来,返回图1,将更详细地描述图像信号处理单元106。
如上所述,比率转换电路105输出一个图像信号Sc,其中转换了水平方向和垂直方向上的像素的数量。该图像信号Sc包括亮度信号Yc和色差信号Uc、Vc。在该情况下,输出在时间方向、垂直方向、和水平方向并行的伸展的18行信号×水平的5个抽头,作为亮度信号Yc。类似地,作为每个色差信号Uc、Vc,并行地输出在时间方向、垂直方向、和水平方向伸展的4行信号×水平的5个抽头。
图像信号处理单元106独立地执行亮度信号Yc和色差信号Uc、Vc的处理。然而,这些处理是相似的。因而,这里,亮度信号Yc和色差信号Uc、Vc的处理将被描述成图像信号Sc的一个处理。
基于从比率转换电路105输出的图像信号Sc,图像信号处理单元106包括一个类抽头提取电路121,作为第二数据提取装置,用于提取位于图像信号Sb的目标位置的附近的像素数据的若干项目作为类抽头。根据该实施例,移动图像信号Sb的目标位置以扫描光栅。然后,比率转换电路105相应于每个目标位置,输出位于目标位置的附近的像素数据的若干项目。
在该情况下,在对亮度信号Yc的处理中,相应于图像信号Sb的每个目标位置,从18×5=90的强度数据中提取强度数据的预定的若干项目作为类抽头,其中该强度数据是并行地从比率转换电路105中输出的。类似地,在对每个色差信号Uc、Vc的处理中,相应于图像信号Sb的每个目标位置,从4×5=20的色差数据中提取色差数据的预定的若干项目作为类抽头,其中该色差数据是并行地从比率转换电路105中输出的。
图像信号处理单元106包括一个类分类电路,用于得到一个类代码CL,该类代码表示了基于通过类抽头提取电路121所提取的类抽头,图像信号Sb的目标位置的像素数据所属于的类。通过使用任何压缩处理,例如自适应动态排列编码(ADRC)、预测编码(DPCM)、向量量化(VQ)等执行类分类。
下面将描述执行K位的ADRC的情况。在K位的ADRC中,检测动态范围DR=MAX-MIN,并且基于该动态范围DR,再量化包括在类抽头中的每个像素数据,其中该动态范围DR是包括在类抽头中的像素数据的最大值和最小值之间的差值。
就是说,至于包括在类抽头中的每个像素数据,从像素数据中减去最小值MIN,而且该减法值通过DR/2K进行减法(量化)。相应地,包括在类抽头中的每个像素数据被再量化到K位,并且输出以预定的顺序排列的位串作为类代码CL。
因而,在1位的ADRC中,从包括在这个类抽头中的每个像素数据中减去最小值MIN,而且该减法值通过DR/2K进行减法(量化)。相应地,包括在类抽头中的每个像素数据被再量化到1位,并且输出以预定的顺序排列的位串作为类代码CL。
图像信号处理单元106具有只读存储器(ROM)123。ROM 123存储每个类的系数种子数据。一个估计的预测计算电路126,根据下面的估计方程(1),从作为预测抽头的像素数据xi和系数数据Wi得到图像信号Sb中目标位置的像素数据y,其中该预测计算电路126将在后面描述。
y=Σi=1nWi·xi...(1)]]>其中,“n”是作为预测抽头的像素数据xi的数量。
存储在ROM 123中的系数种子数据是生成方程的系数数据,该生成方程以相位信息“h、v”和图像质量调节信息“f、g”作为参数,用于生成上述估计方程的系数数据wi(i=1到n)。下面的方程(2)表示生成方程的一个例子。这里,相位信息“h”指的是水平方向的相位信息而相位信息“v”指的是垂直方向上的相位信息。进一步,图像质量调节信息“f”指的是用于调节分辨率的图像质量调节信息,而图像质量调节信息“g”指的是用于调节噪声抑制度的图像质量调节信息。ROM 123为每个类存储系数种子数据Wi0-Wi30(i=1到n),作为,例如,生成方程(2)中的系数数据。下面将描述系数种子数据的生成方法。
Wi=wio+wi1f+wi2g+wi3f2+wi4fg+wi5g2+wi6f3+wi7f2g+wi8fg2+wi9g3+wi10v+wi11vf+wi12vg+wi13vf2+wi14vfg+wi15vg2+wi16h+wi17hf+wi18hg+wi19hf2+wi20hfg+wi21hg2+wi22v2+wi23v2f+wi24v2g+wi25vh+wi26vhf+wi27vhg+wi28h2+wi29h2f+wi30h2g(2)图像信号处理单元106包括一个系数生成电路124,用于生成系数数据wi以在图像信号Sb的目标位置得到像素数据。该系数生成电路124读出由类代码CL显示的类的系数种子数据wi0-wi30,所述类代码CL是由类分类电路122得到的,系数生成电路124还使用相位信息“h、v”和图像质量调节信息“f、g”生成系数数据Wi,相位信息“h、v”是从比率转换电路105输出的图像信号Sb的目标位置的相位信息,图像质量调节信息“f、g”是根据生成方程(2)从系统控制器101提交的。
这里,相位信息“h、v”是在对亮度信号Yc的处理中,由比率转换电路105的输出TG217(见图3)得到的相位信息“phy、pvy”,另一方面,在对色差信号Uc、Vc的处理中,相位信息“h、v”是由比率转换电路105的输出TG217(见图3)得到的相位信息“phc、pvc”。由于在相位信息“h、v”和从比率转换电路105输出的图像信号Sc之间,存在图像信号Sc系统中的抽头建立电路221Y、221C,因而发生了时间偏差。
由于该原因,虽然未示出,例如,在相位信息“h、v”的系统上布置了用于时间调节的延迟电路。由于根据该实施例,抽头建立电路221Y、221C中的输出启动延迟被固定,而不管像素数量的转换放大比率,可以使用一个固定的延迟电路。
图像信号处理单元106包括作为第一数据提取装置的预测抽头提取电路125,用于基于从比率转换电路105输出的图像信号Sc,提取位于输入图像信号Sb的目标位置附近的像素数据的若干项目,作为预测抽头。
在该情况下,在对亮度信号Yc的处理中,相应于图像信号Sb的每个目标位置,从比率转换电路105中并行地输出的18×5=90的强度数据中提取强度数据的预定若干项目,作为预测抽头。类似地,在时每个色差信号Uc、Vc的处理中,相应于图像信号Sb的每个目标位置,从比率转换电路105中并行地输出的4×5=20的色差数据中提取色差数据的预定若干项目,作为预测抽头。
图像信号处理单元106包括一个估计预测计算电路126。估计预测计算电路126使用像素数据xi(i=1到n)和系数数据Wi(i=1到n),计算图像信号Sb的目标位置的像素数据,其中,该像素数据xi是作为预测抽头而由预测抽头提取电路125提取的,该系数数据Wi是根据估计方程(1)在系数生成电路124中生成的。估计预测计算电路126逐次地计算图像信号Sb的每个目标位置的像素数据y,并将其输出到输出终端107。
接下来,将描述图像信号处理单元106的操作。
从比率转换电路105输出的图像信号Sc被提交到类抽头提取电路121。该类抽头提取电路121基于图像信号Sc提取像素数据的若干项目作为类抽头,其中该像素数据位于图像信号Sb中目标位置的附近。
将类抽头提取电路121所提取的类抽头提交到类分类电路122。该类分类电路122对作为类抽头的像素数据的若干项目执行例如ADRC的压缩处理,以得到表示图像信号Sb的目标位置的像素数据所属的类的类代码CL。将该类代码CL提交到系数生成电路124。
比率转换电路105向系数生成电路124提交相位信息“h、v”,其中该相位信息“h、v”是图像信号Sc的目标位置的相位信息,并且进一步,系统控制器101向系数生成电路124提交图像质量调节信息“f、g”。结果,系数生成电路124读出系数种子数据wi0-wi30(i=1到n),其中该系数种子数据wi0-wi30表示相应于图像信号Sc的每个目标位置的来自ROM 123的类代码CL。系数生成电路124还根据生成方程(2),使用相位信息“h、v”和图像质量调节信息“f、g”,生成系数数据Wi(i=1到n)。
将从比率转换电路105输出的图像信号Sc提交到预测抽头提取电路125。该预测抽头提取电路125基于图像信号Sc提取像素数据的若干项目作为预测抽头,其中该像素数据位于图像信号Sb的目标位置附近。作为预测抽头的像素数据xi被提交到估计预测计算电路126。也向该估计预测计算电路126提交由系数生成电路124生成的系数数据Wi。
估计预测计算电路126相应于图像信号Sb的每个目标位置,使用由预测抽头提取电路125所提取的作为预测抽头的像素数据xi(i=1到n)和根据该估计方程,由系数生成单元124生成的系数数据Wi(i=1到n),计算图像信号Sb的目标位置的像素数据y。通过该估计预测计算电路126逐次地计算图像信号Sb的每个目标位置的像素数据y,并将其输出到输出终端107。
该图像信号处理单元106的目标是基于图像信号Sc,得到在图像信号Sb的每个目标位置的像素数据y,而不伴随比率转换的处理,其中该像素数据y从比率转换电路105输出,并被转换成与图像信号Sb相同的比率。因而,可以很容易地构造该单元。
该图像信号处理单元106使用像素数据的若干项目,该像素数据位于从比率转换电路105并行地输出的相应于图像信号Sb的每个目标位置的特定目标位置的附近,而且可以仅使用一个门锁电路,构造类抽头提取电路121和预测抽头提取电路125。因而,不需要任何用于在时间方向、垂直方向和水平方向扩展的延迟电路等设备。
如上所述,通过抽头建立电路221Y、221C得到的水平的5个抽头,其相应于亮度信号Yc和色差信号Uc、Vc的有效像素部分的每个像素位置,该水平的5个抽头可以在比率转换前的亮度信号Ya和色差信号Ua、Va的强度数据和色差数据的排列中得到,而不依赖于像素数的放大比率。因而,即使改变了像素数据的放大比率,也不会毁坏水平的5个抽头和相位信息“h、v”之间的关系,其中该关系是基于亮度信号Ya和色差信号Ua、Va的像素位置的,因而图像信号处理单元106可以很好地生成图像信号Sb中目标位置上的像素数据。
如上所述,在抽头建立电路221Y、221C中,从比率转换后图像信号的像素数据串被输入每行的移位寄存器,直到移位寄存器输出水平的5个抽头的输出启动延迟,固定在时钟时间(no+ni),而不依赖于像素数量的放大比率。因而,在图像信号处理单元106中,可以用一个固定的延迟电路执行在水平的5个抽头和相位信息“h、v”之间的时间调节,因而,不需要能够依赖于像素数量的放大比率来改变延迟时间的可变延迟电路。
进一步,图像信号处理单元106使用相位信息“h、v”作为图像信号Sb中的目标位置的相位信息“h、v”,因而不需要任何能够生成该相位信息“h、v”的电路,其中该相位信息“h、v”是在比率转换电路105中的输出TG217中得到的。
如上所述,关于每个类的系数种子数据wi0-wi30(i=1到n)存储在ROM 123中。生成该系数种子数据作为初步学习的结果。
首先,将描述一个生成方法的例子。下面示出了一个例子,用于得到生成方程(2)中的系数数据的系数种子数据wi0-wi30。
这里,为了后面的解释,在方程(3)中定义tj(j=1到30)。
T0=1,t1=f,t2=g,t3=f2,t4=fg,t5=g2,t6=f3,t7=f2g,t8=fg2,t9=g3,t10=v,t11=vf,t12=vg,t13=vf2,t14=vfg,t15=vg2,t16=h,t17=hf,t18=hg,t19=hf2,t20=hfg,t21=hg2,t22=v2,t23=v2f,t24=v2g,t25=vh,t26=vhf,t27=vhg,t28=h2,t29=h2f,t30=h2g(3)通过使用方程(3),可以将方程(2)重写成方程(4)。
最后,通过学习得到非特定的系数wij。就是说,通过使用Wi=Σj=030wij×ti...(4)]]>用于每个类的学生信号的像素数据和教师信号的像素数据,确定了可以最小化平方误差的系数。这是基于依据最小平方方法的一个求解方法。假定学习的数量是m,k(1<k<m)的学习数据的剩余物是ek,而且平方误差的总数是E,使用方程(1)和方程(2)以方程(5)的形式表达E。
E=Σk=1mek2]]>=Σk=1m[yk-(W1x1k+W2x2k+···+Wnxnk)]2]]>=Σk=1m{yk-[(t0w10+t1w11+···+t30w130)x1k+···]]>+(t0wn0+t1wn1+···+t30wn30)xnk]}2...(5)]]>其中,xik表达了在学生图像的i估计抽头位置的k像素数据,而yk表达了相应的教师图像的k像素数据。
依据最小平方方法的求解方法,得到wij,其中依据wij的方程(5)的部分微分是0。这表达在方程(6)中∂E∂wij=Σk=1m2[∂ek∂wij]ek=-Σk=1m2tjxikek=0...(6)]]>如果如方程(7)、(8)那样定义Xipjq、Yip,可以使用矩阵把方程(6)重写成方程(9)。
Xipjq=Σk=1mxiktpxjktq...(7)]]>Yip=Σk=1mxiktpyk...(8)]]>
…(9)方程(9)通常被称为正规方程。根据该正规方程,基于清除方法(高斯-乔丹消去法)来对wij进行求解,以计算系数种子数据。
图31示出了关于上述的系数种子数据的生成方法的原理,从作为教师信号的HD信号(1050i信号)生成一个SD信号(525i信号)作为学生信号。525i信号意味着具有525行的隔行型图像信号。1050i信号意味着具有1050行的隔行型图像信号。
图32示出了525i信号和1050i信号的像素位置之间的关系。这里,大点表示525i信号的像素,小点表示1050i信号的像素。进一步,用实线表示奇数区域中的像素位置,而用虚线表示偶数区域中的像素位置。
通过在垂直方向和水平方向上把SD信号的相位移位8级,生成8×8=64的SD信号,SD1-SD64。图33示出了垂直方向上8级的相位移位状态V1-V8。这里,SD信号垂直方向的像素间隙是4096。“o”表示奇数区域而“e”表示偶数区域。
V1状态意味着SD信号的移位量是0,而且在该情况下,HD信号的像素具有相对于SD信号的像素的相位0、1024、2048、3072。V2状态意味着SD信号的移位量是1,而且在该情况下,HD信号的像素具有相对于SD信号的像素的相位768、1792、2816、3840。V3状态意味着SD信号的移位量是2,而且在该情况下,HD信号的像素具有相对于SD信号的像素的相位512、1536、2560、3584。V4状态意味着SD信号的移位量是3,而且在该情况下,HD信号的像素具有相对于SD信号的像素的相位256、1280、2304、3328。
V5状态意味着SD信号的移位量是4,在该情况下,HD信号的像素具有相对于SD信号的像素的相位0、1024、2048、3072。V6状态意味着SD信号的移位量是5,在该情况下,HD信号的像素具有相对于SD信号的像素的相位768、1792、2816、3840。V7状态意味着SD信号的移位量是6,在该情况下,HD信号的像素具有相对于SD信号的像素的相位512、1536、2560、3584。V8状态意味着SD信号的移位数是7,在该情况下,HD信号的像素具有相对于SD信号的像素的相位256、1280、2304、3328。
图34示出了水平方向上8级的相位移位状态H1-H8。这里,SD信号水平方向的像素间隔是4096。
H1状态意味着SD信号的移位量是0,在该情况下,HD信号的像素具有相对于SD信号的像素的相位0、2048。H2状态意味着SD信号的移位量是1,在该情况下,HD信号的像素具有相对于SD信号的像素的相位1792、3840。H3状态意味着SD信号的移位量是2,在该情况下,HD信号的像素具有相对于SD信号的像素的相位1536、3584。H4状态意味着SD信号的移位量是3,在该情况下,HD信号的像素具有相对于SD信号的像素的相位1280、3328。
H5状态意味着SD信号的移位量是4,在该情况下,HD信号的像素具有相对于SD信号的像素的相位1024、3072。H6状态意味着SD信号的移位量是5,在该情况下,HD信号的像素具有相对于SD信号的像素的相位768、2816。H7状态意味着SD信号的移位量是6,在该情况下,HD信号的像素具有相对于SD信号的像素的相位512、2560。H8状态意味着SD信号的移位量是7,在该情况下,HD信号的像素具有相对于SD信号的像素的相位256、2304。
图35示出了当SD信号的像素放置在中心时,通过在垂直方向和水平方向各移位8级,得到64型的SD信号,以指示HD信号的相位。就是说,就SD信号的像素而言,HD信号的像素具有在同一个图形用带有阴影的圆圈显示的相位。
这里,作为相位移位的一个例子,下面将解释从一个过采样滤波器中仅提取想要的相位的方法。如果如上述的图像质量调节,采用分辨率调节和噪声抑制调节作为例子,通过改变过采样滤波器的频率特征,可以创建具有不同分辨率的学生图像。有了具有不同分辨率的学生图像,可以创建系数,不同的系数的用于提高分辨率的效果也不同。例如,如果有一个高光泽度的学生图像和一个低光泽度的学生图像,通过学习具有高光泽度的学生图像,可以生成具有用于提高分辨率的高效果的系数并且通过学习具有低光泽度的学生图像,可以生成具有用于提高比率的低效果的系数。
进一步,通过将噪声应用到具有不同分辨率的每一个学生图像,可以创建被应用了噪声的学生图像。通过改变应用的噪声量,可以生成具有不同噪声量的学生图像,而结果是,生成了具有不同噪声抑制效果的系数。例如,如果有对一个学生图像应用了大量噪声而对另一个学生图像应用了少量噪声,可以通过学习被应用了大量噪声的学生图像,创建具有高噪声抑制效果的系数,而且可以通过学习被应用了少量噪声的学生图像,创建具有低噪声抑制效果的系数。
至于应用的噪声量,如果如方程(10)所示,通过对学生图像的像素值x应用噪声n,创建该应用了噪声的学生图像的像素值x′,通过改变G调节所应用的噪声量。
x′=x+G·n(10)图36示出了最终学习效果的原理。这里,作为一个例子,假定将不同过采样滤波器的频率特征分类成8级,并且将噪声应用量也分类成8级。通过学习基于单独的频率特征的学生图像,创建相应于分辨率调节的系数数据,而且进一步,通过学习被应用了噪声的学生图像,创建相应于噪声抑制调节的系数数据。进一步,通过学习学生图像,创建系数种子数据,该系数种子数据用于相应于不同的相位生成像素,该学生图像具有单独的频率特征和噪声应用量,具有不同的相位。
图37示出了系数种子数据生成装置150的配置,该装置用于根据上述的原理生成系数种子数据。
系数种子数据生成装置150包括一个输入终端151,用于接收HD信号(1050i)作为教师信号;一个相位移位电路152A,用于通过在水平方向和垂直方向应用过采样滤波器,提取想要的相位,以得到SD信号(525i);一个噪声添加电路152B,用于对该SD信号添加噪声。
参数“f”用于指定过采样滤波器的频率特征,参数“h、v”用于在水平方向和垂直方向指定相位移位数量,将上述参数输入相位移位电路152A。参数“g”用于指定噪声增加比率,将参数“g”输入噪声添加电路152B。这里,参数“f”对应于图1中图像信号处理单元106中的分辨率调节信息“f”。参数“h、v”对应于图1中图像信号处理单元106中的相位信息“h、v”。参数“g”对应在于图1中图像信号处理单元106中的噪声抑制度调节信息“g”。
系数种子数据生成装置150包括一个类抽头提取电路154,用于基于噪声添加电路152B所输出的SD信号,提取像素数据的若干项目作为类抽头,该像素数据位于HD信号的目标位置附近;以及一个类分类电路,用于基于该类抽头得到表达一个类的类代码CL,其中,HD信号中的目标位置的像素数据属于该类。
进一步,系数种子数据生成装置150还包括一个预测抽头提取电路153,用于基于从噪声添加电路152B所输出的SD信号,提取像素数据的若干项目作为预测抽头,该像素数据位于HD信号的目标位置的附近。
系数种子数据生成装置150进一步包括一个正规方程生成电路160,用于生成正规方程(见方程(9)),该正规方程用于得到每个类的系数种子数据wi0-wi30(i=1到n)。基于从将要被输入输入终端151的HD信号提取的HD信号的每个目标位置的像素数据y、相应于每个目标位置的像素数据y而由预测抽头提取电路153所提取的作为预测抽头的像素数据xi、相应于每个目标位置的像素数据y而由类分类电路157得到的类代码CL、用于指定过采样滤波器的频率特征的参数“f”、用于指定垂直方向的相位移位量的参数“h、v”、以及基于用于指定噪声添加率的参数“g”,正规方程生成电路160生成该正规方程用于得到每个类的系数种子数据wi0-wi30(i=1到n)。
在该情况下,通过组合像素数据y的单个项和像素数据xi的n项,创建学习数据的单个项目,作为对应它的预测抽头。逐次地改变相位移位计数电路152A的参数“f、h、v”,以及噪声添加电路152B的参数“g”,以便相应于那里生成SD信号。相应地,正规方程生成单元160生成一个正规方程,其中记录许多学习数据的项目。通过逐次地创建SD信号并且记录该学习数据,可以得到用于获得关于任意分辨率调节的像素数据、噪声抑制度调节和水平/垂直相位。
系数种子数据生成装置150包括一个系数种子数据确定单元161,用于接收关于每个类的由正规方程生成单元160生成的噪声方程数据;以及通过解每个类的正规方程,得到用于每个类的系数种子数据wi0-wi30;以及系数种子存储器162,用于存储所得到的系数种子数据wi0-wi30。
下面将解释图37所示的系数种子数据生成装置150。
向输入终端151输入HD信号(1050i信号)作为教师信号。相应于该HD信号,相位移位电路152A通过在水平方向和垂直方向应用过采样滤波器,提取想要的相位,得到SD信号。在该情况下,逐次地生成在水平方向和垂直方向移位到8级的SD信号中的每一个。
相应于每个相位的SD信号,逐次地改变参数“f”和参数“g”,其中,以便逐次地生成相应的SD信号,该参数“f”要被输入到相位移位电路152A,该参数“g”要被输入到噪声添加电路152B。
类抽头提取电路154从每个SD信号中提取像素数据的若干项目作为类抽头,其中,该像素数据位于HD信号的目标位置附近,该SD信号是从噪声添加电路152B中输出的。将类抽头提交到类分类电路157。类分类电路157执行压缩操作,例如在作为类抽头的像素数据的若干项目上的ADRC,以便得到类代码CL,其中该类代码CL表达了图像信号Sb的目标位置的像素数据所隶属的一个类。向正规方程生成单元160提交类该别码CL。
进一步,预测抽头提取电路153从噪声添加电路152B输出的每个SD信号中提取作为预测抽头的像素数据的若干项目,其中该像素数据位于图像信号HD中目标位置附近。将作为该预测抽头的像素数据xi提交到正规方程生成单元160。
输入到输入终端151的HD信号波提交到正规方程生成单元160。基于从HD信号提取的HD信号的每个目标位置的像素数据y、相应于每个目标位置的像素数据y由预测抽头提取电路153所提取的作为预测抽头的像素数据xi的若干项目、相应于每个目标位置的像素数据y由类分类电路157得到的类代码CL、以及基于参数“f、h、v、g”,正规方程生成单元160生成一个正规方程,用于得到关于每个类的系数种子数据wi0-wi30(i=1到n)。
通过系数种子数据确定单元161求解正规方程,以便得到每个类的系数种子数据wi0-wi30。系数种子数据wi0-wi30被存储在为每个类划分地址的系数种子存储器162。
如图37所示的系数种子数据生成装置150,能够生成将要存储到图1所示的图像信号处理单元106的ROM 123中的每个类的系数种子数据wi0-wi30。
图1所示的图像信号处理装置100的处理,可以由图38所示的图像信号处理装置(计算机)500使用软件来执行。当使用软件执行一系列处理时,可以从专用硬件内置的计算机中安装组成该软件的一个程序,也可以从一台通用个人计算机安装该程序,通过安装不同种类的程序,该通用个人计算机能够执行不同种类的功能。
首先,将描述图38所示的图像信号处理装置500。图像信号处理装置500包括一个CPU 501,用于控制整个装置的操作;一个只读存储器(ROM)502,用于存储CPU 501的控制程序、系数种子数据等;一个构成了CPU 501的工作区域的随机访问存储器(RAM)。CPU 501、ROM 502、RAM 503分别连接到总线504。
图像信号处理装置500包括一个硬盘驱动器(HDD)505,作为外部存储单元;和一个驱动器506,其操作可移动存储介质519,例如可移动硬盘、只读光盘(CD-ROM)、磁光学(MO)盘、数字化视频光盘(DVD)、磁盘、半导体存储器等。驱动器505、506分别地连接到总线504。
图像信号处理装置500具有一个要连接到通信网络507的通信单元508,该通信网络可以是有线或无线的网络。通信单元508通过一个接口509连接到总线504。
图像信号处理装置500具有一个用户接口单元。该用户接口单元包括一个远程控制信号接收电路511,用于从一个远程控制信号发射器510接收远程控制信号RM;以及一个由阴极射线管(CRT)组成的显示器513、液晶显示屏(LCD)等组成的显示器513。接收电路511通过接口512连接到总线504,而且显示器513通过接口514连接到总线504。
图像信号处理装置500包括一个输入终端515,用于输入图像信号Sa,以及一个输出终端517,用于输出图像信号Sb。输入终端515通过接口516连接到总线504,而且输出终端517通过接口518连接到总线504。
例如,可以通过通信单元508,从例如是互联网的通信网络507下载控制程序,并且将其存储在硬盘驱动器505或RAM303中等待使用,而不是像上面描述的那样在ROM 502中存储控制程序等。进一步的,可以以可移动存储介质的形式提供控制程序。
可以以可移动存储介质的形式,或通过通信单元508从例如互联网的通信网络507下载图像信号Sa,而不是通过输入终端515输入将要处理的图像信号Sa。进一步的,可以向显示器513并行地提交处理后的图像信号Sb,并存储在硬盘驱动器505中,或通过通信单元508,将其传送到例如是互联网的通信网络507,而不是将图像信号Sb传送到输出终端517。
下面将参照图39中的流程图描述,如图38示所示的在图像信号处理装置500中用于从图像信号Sa得到图像信号Sb的过程,这个过程。
首先,在步骤ST51,开始该处理,并且在步骤ST52,根据预定的帧的数量或根据预定区域的数量输入图像信号Sa。当通过输入终端515输入图像信号Sa后,图像信号Sa临时存储在RAM 503中。进一步,如果图像信号Sa被记录在硬盘驱动器505中,从硬盘驱动器505读出图像信号Sa,并将其临时存储在RAM 503。随后,在步骤ST53,确定是否整个帧或整个区域上的图像信号Sa的处理结束了。当处理结束时,该过程在步骤ST54中结束。另一方面,若非处理结束了,过程进行到步骤ST55。
在步骤ST55,对在步骤ST52中输入的图像信号Sa执行比率转换处理,以生成图像信号Sc。在步骤ST52中,相应于图像信号Sc的每个像素数据,得到相位信息“h、v”。然后,在步骤ST56,基于用户的操作,同样得到图像质量调节信息“f、g”。
接下来,在步骤ST57,基于步骤ST55中生成的图像信号Sc,得到类抽头和预测抽头的像素数据,该像素数据相应于图像信号Sb的一个目标位置。然后,在步骤ST58,基于步骤ST57中提取的类抽头,生成表达一个类的类代码CL,其中,图像信号Sb目标位置的像素数据属于该类。
然后,在步骤ST59中,使用在步骤ST58中生成的由类代码CL表达的一个类的系数种子数据、在步骤ST55中得到的相应于图像信号Sb的目标位置的相位信息“h、v”、以及根据上述的方程(2)在步骤ST56中得到的图像质量调节信息“f、g”,生成一个估计方程的系数数据Wi,其中,该方程是用于得到图像信号Sb的目标位置的像素数据。
接下来,在步骤ST60,根据估计方程(1),使用在步骤ST59中生成的系数数据Wi以及在步骤ST57中提取的作为一个预测抽头的像素数据xi,生成图像信号Sb的目标位置的像素数据y。
接下来,在步骤ST61,确定在步骤ST52中输入的图像信号Sa的每个区域的处理是否已结束。如果该处理已结束,过程返回到步骤ST52,其中执行预定帧或预定区域中的图像信号Sa的输入处理。另一方面,除非该处理结束了,过程返回到步骤ST57,其中执行一个处理用于得到在图像信号Sb的下一个目标位置的像素数据y。
根据顺着图39所示的流程图的处理,处理输入的图像信号Sa,以便得到图像信号Sb。
虽然省略了处理装置的再现,但是图37中系数种子数据生成装置150中的处理,可以使用软件实现。
下面将参照图40中的流程图,描述用于生成系数种子数据的处理过程。
首先,在步骤ST71中开始处理,并且在步骤ST72中,选择用于学习的SD信号的相位移位值(例如,用参数“h、v”规定的)以及图像质量调节值(例如,用参数“f、g”规定的)。然后,在步骤ST73中,确定是否结束对于相位移位值和图像质量调节值的所有组合的学习。如果没有结束对于所有组合的学习,过程进行到步骤ST74。
在步骤ST74中,以单个帧或单个区域的数量,输入一个公知的HD信号。在步骤ST75中,确定是否结束对于所有帧或区域的HD信号的处理。如果它结束了,过程返回到步骤ST72,在其中选择下一个相位移位值和图像质量调节值,并且重复上述同一个处理。另一方面,除非它结束了,过程进行到步骤ST76。
在步骤ST76中,从步骤ST74中输入的HD信号生成一个SD信号,其中只根据在步骤ST72中选择的相位移位值对该SD信号进行相位移位,而且根据图像质量调节值调节该SD信号的图像质量(以分辨率或噪声的形式)。随后,在步骤ST77,相应于HD信号的目标位置,从步骤ST76中生成的SD信号中得到类抽头和预测抽头的像素数据。
接下来,在步骤ST78,基于步骤ST77中得到的类抽头,生成表达了一个类的类代码CL,其中,HD信号的目标位置的像素数据属于该类。使用在HD信号的目标位置的像素数据,以及被假定为学习数据的一个项目的在步骤ST77中得到的作为一个预测抽头的像素数据,执行用于得到正规方程(见方程(9))的加法。基于用于每个类的类代码CL执行该加法。
接下来,在步骤ST80,确定是否结束HD信号的整个域中的学习处理,该HD信号是在步骤ST74中输入的。如果结束了学习处理,过程返回到步骤ST74,其中根据下一个帧的数量或单个区域,输入HD信号,并重复上述的同样的处理。另一方面,除非学习处理结束了,过程返回到步骤ST77,其中执行关于HD信号中下一个目标位置的处理。
在步骤ST73中,结束用于所有相位移位值和图像质量调节值的组合的学习,处理进行到步骤ST81。在步骤ST81中,通过基于清除方法等求解正规方程,来计算每个类的系数种子数据,并且在步骤ST82中,将系数种子数据存储在一个存储器中,然后,在步骤ST83中,结束处理。
通过顺着如图40所示的流程图的处理,可以得到根据一个方法的每个类的系数种子数据,其中,该方法与图37中系数种子数据生成装置150中的方法相同。
根据上述实施例,在比率转换电路105中,相应于单个读出请求RRQ,从帧存储器201中读出10行的亮度信号Ya,并且最终,比率转换单元215Y并行地输出18行的亮度信号Yc。进一步,从帧存储器201中读出2行的色差信号Ua/Va,并且最终,比率转换单元215C输出4行的蓝色差信号Uc和4行的红色差信号Vc。
然而,相应于单个读出请求RRQ,应从帧存储器201读出的亮度信号Ya和色差信号Ua/Va的行的数量,并不限于本实施例。
例如,可以考虑相应于单个的读出请求RRQ,从帧存储器201读出5行的亮度信号Ya和单行的色差信号Ua/Va。在该情况下,还是通过比率转换单元215Y、215C中行延迟的处理,最终,可以得到18行的亮度信号Yc、4行的蓝色差信号Uc和4行的红色差信号Vc。
图41A示出了亮度信号的抽头区域,并且用白色圆圈表示没有行延迟的5行0-4,而用带阴影圆圈表示有行延迟13行5-17。在该情况下,将行10作为中心位置。图41B示出了色差信号的抽头区域的例子,而且用白色圆圈表示没有延迟的一行0,而用带阴影的圆圈表示的有延迟的3行1-3。在该情况下,将行1作为中心位置。
例如,可以考虑相应于一个读出请求RRQ,从帧存储器201读出用于4行的亮度信号Ya和用于2行的色差信号Ua/Va。在该情况下,通过比率转换单元215Y、215C中用于行延迟的处理,最终,可以得到可以得到用于14行的亮度信号Yc和用于8行的蓝色差信号Uc和用于8行的红色差信号Vc。
图42A示出了亮度信号的抽头区域的一个例子,由白色圆圈表示的4行0-3表示没有行延迟的行,而用带阴影的圆圈表示的10行4-13表示有行延迟的行。在该情况下,将行8看作中心位置。图42B示出了色差信号的抽头区域的一个例子,用白色圆圈表示的2行0、1表示没有行延迟的行,而用带阴影的圆圈表示的6行2-7表示有行延迟的行。在该情况下,将行3看作中心位置。
虽然根据上述实施例,示出了一个情况,在其中比率转换电路105中的抽头建立电路221Y、221C在水平方向建立了5个抽头,抽头的数量不限于本实施例。进一步,可以提供具有不同数量抽头的亮度信号和色差信号。
在上述实施例中,解释了一个情况,在其中系数种子数据存储在ROM123,而且系数生成电路124使用类代码CL表示的一个类中的系数种子数据,根据已解释的生成方程(2),相应于相位信息“h、v”和图像质量调节信息“f、g”,生成系数数据Wi。然而,可以将每个类的系数数据Wi存储在ROM 123,该系数数据Wi是关于所有相位信息“h、v”和图像质量调节信息“f、g”的组合的,并且可以相应于要使用的类代码CL所表达的一个类中的相位信息“h、v”和图像质量调节信息“f、g”读出系数数据Wi。
在该情况下,相位信息“h、v”和图像质量调节信息“f、g”的每个组合的系数数据Wi存储在信息存储体135中,并且可以通过学习SD信号得到该数据,其中,该SD信号是根据通过每个参数“f、g、h、v”的组合得到的。
在上述的实施例中,示出了一个情况,在该情况中当从图像信号Sa得到图像信号Sc,并在比率转换单元215Y、215C,要通过两次读出来增加像素的质量时,增加像素的数量。然而,根据图像信号Sa和图像信号Sc的格式,在比率转换的时候,像素的数量会减小。在该情况下,在比率转换单元215Y、215C中,通过细化减少像素的数量。
在上述的实施例中,示出了一个情况,在该情况中使用图像信号处理单元106,从在时间方向、垂直方向和水平方向上伸展的图像信号Sc中提取类抽头和预测抽头并使用,其中,该图像信号Sc是从比率转换电路105输出的。然而,对于比率转换电路105的抽头建立电路221Y、221C,允许提供一个用于得到类抽头的抽头建立电路,以及一个用于得到预测抽头的抽头建立电路,以便比率转换电路105可以直接地输出要在图像信号处理单元106中使用的类抽头和预测抽头。在该情况下,不需给图像信号处理单元106提供类抽头提取电路121或预测抽头提取电路125。
虽然在上述的实施例中,叙述了作为有关生成图像信号Sb的像素数据的估计方程的线性方程的使用,但是,本发明并不限于该实施例,例如,允许使用一个高级方程作为估计方程。
虽然在上述实施例中,示出了一个情况,在该情况中检测类代码CL,并且在估计方程中使用相应于该类代码CL的系数数据Wi,可以考虑省略类代码CL的检测单元。在这种情况中,系数种子数据的唯一的空间存储在ROM 123中。
根据本发明的一个方面,一个输入图像信号临时存储在第一存储器,并且逐次地以行为单元,从第一存储器传送到第二存储器,并且写入其中,然后在转换后的像素周期和行周期,从第二存储器中读出图像信号,以得到输出图像信号。在该情况下,控制图像信号从第一存储器到第二存储器的传送,以便可以在每个规定的时间执行该传送。相应地,可以保证第一存储器和第二存储器之间稳定的数据传送带,因而提高它的使用效率。
根据本发明的另一方面,第一控制基于一个写入请求,通过数据总线,从写入缓冲器传送图像信号到一个存储器并且将图像信号存储在该存储器中,第二控制基于读出请求,通过该数据总线,将该图像信号从该存储器传送到读出缓冲器并且将图像信号存储在读出缓冲器中,其中一个控制的优先权大于另一个,以便可以在一个很好的状态中通过相同的数据总线执行对写入或读出操作的调节。相应地,能够基于每个规定的时间输入的读出请求执行读出操作,而不依赖于写入请求的写时间。
根据本发明的另一个方面,基于写入请求的写控制的优先权大于基于读出请求的读出控制,并且可以基于该读出请求,生成一个用于读出操作的等待时间。然而,如果相应于一个写入请求,单个水平周期的n图像信号相应于单个读出请求被写入存储器,单个水平周期的m图像信号(m>n)被从存储器读出,最大等待时间是n。相应地,这在基于读出请求的读出控制的优先权大于基于写入请求的写控制的情况下,比用于基于一个写入请求的写入操作的最大等待时间(对于m)短。
根据本发明的另一个方面,通过使用第一图像信号的转换对象像素数据串,以便相应于像素数的放大比率,持续地按一个比率处理相同的像素数据,生成第二图像信号水平方向的有效像素部分的适当的像素数据串,并且将通过修改该适合的像素数据串得到的修改后的像素数据串提交到移位寄存器,并且使用移位触发,逐次地将修改后像素数据串的改变位置的像素数据传送到移位寄存器。相应地,相应于第二图像信号水平方向的有效像素部分,在水平方向建立特定数量的抽头,并且通过修改适当的像素数据串的像素数据的改变位置,得到修改后的像素数据串,以便使中心抽头的改变符合适当像素数据串的排列。
相应地,根据本发明,可以在比率转换之前得到图像信号(第一图像信号)的像素数据排列的水平方向的预定数量的抽头,而不取决于像素数量的放大比率。因而如果根据基于比率转换前的图像信号的像素位置的相位信息,使用水平方向上预定数量的抽头,来生成输出图像信号的目标位置的像素数据,即使像素的放大比率改变了,水平方向上预定数量的抽头和相位信息之间的相应关系不会被毁坏,以便可以在一个很好的状态下产生输出图像信号的目标位置的像素数据。
根据本发明的一个进一步的方面,当移位寄存器在一个输出中心抽头的寄存器的输出端和输入端,分别有“no”个寄存器和“ni”个寄存器时,可以看作修改后像素数据的最先的(no+ni)个像素数据持续地改变,以便在每行持续地将最先的(no+hi)个像素数据放入移位寄存器。
相应地,根据本发明,在每一行从将在比率转换之后的一个图像信号的像素数据串输入该移位寄存器,直到从该寄存器输出水平方向上预定数量的抽头的启动延迟可以被固定在每行(no+hi)个时钟时间,而不依赖于像素数量的放大倍数。因而如果基于输出图像信号的目标位置的相位信息,使用水平方向的预定数量的抽头,生成输出图像信号的目标位置的像素,没有必要提供任何可变延迟电路,用于水平方向上预定数量的抽头和相位信息之间的时间调节,其中,该可变延迟电路能够根据像素数量的放大比率改变延迟时间。
根据本发明,控制从第一存储器到第二存储器的图像信号的传送,使其在每个规定的时间执行,因而保证了第一存储器和第二存储器之间稳定的数据传送带通,以提高使用效率。本发明的应用目的可以是通过在第一存储器中临时存储输入图像信号,将图像信号从第一存储器逐次地以行为单元传送到第二存储器并写入其中,并在转换后的像素周期和行周期从第二存储器读出图像信号,得到输出图像信号。
相据本发明,可以顺利地通过相同数据总线执行写入和读出操作,以便基于每个规定的时间的读出请求的输入执行读出,而不依赖于写入请求的写时间。本发明的应用目标可以是通过在第一存储器中临时存储输入图像信号,将图像信号从第一存储器逐次地以行为单元传送到第二存储器并写入其中,并在转换后的像素周期和行周期从第二存储器读出图像信号,得到输出图像信号。
根据本发明,可以在比率转换前图像信号的像素数据的排列中,得到水平方向上预定数量的抽头,而不依赖于像素数据的放大比率。因而,本发明的应用目的可以是通过使用比率转换前水平方向的预定数量的抽头,在水平方向得到预定数量的抽头,以创建新的像素数据,其相应于输出图像信号的水平方向的有效像素部分的每个像素位置。
本发明包括与2003年8月19日在日本专利局提交的编号为JP2003-295511、JP2003-295512、JP2003-295513的日本专利申请相关的实质内容,在此引用其全部内容作为参考。
虽然前述的说明书描述了本发明的优选实施例,本领域的技术人员可以在不背离本发明主要方面的情况下,对优选实施例作出许多改动。因而,附加的权利要求意在覆盖落在本发明的真正范围和精神的所有这样的改动。
权利要求
1.一种存储控制器,用于控制通过相同的数据总线在其中写入和读出图像数据的存储器,所述存储控制器包括写入缓冲器,用于临时存储输入图像信号,以将该图像信号写入所述存储器;读出缓冲器,用于临时存储从所述存储器读出的输出图像信号;写入地址生成单元,用于生成所述存储器的写入地址;读出地址生成单元,用于生成所述存储器的读出地址;以及写入/读出控制单元,用于基于每次当预定数量的输入图像信号存储在所述写入缓冲器时提交的写入请求和在每个规定的时间提交的读出请求,控制所述写入缓冲器、所述读出缓冲器、所述写入地址生成单元和所述读出地址生成单元,并且其中,第一控制基于所述写入请求,控制通过数据总线将输入图像信号从所述写入缓冲器传送到所述存储器和在其中存储该输入图像信号,第二控制基于所述读出请求,控制通过所述数据总线将该输出图像信号从所述存储器传送到所述读出缓冲器并在其中存储该输出图像信号,所述控制单元将一个大于另外一个的优先权赋予这两个控制中的任一个。
2.如权利要求1所述的存储控制器,其中所述控制单元赋予所述第一控制的优先权大于所述第二控制。
3.如权利要求2所述的存储控制器,当同时提交所述写入请求和所述读出请求时,所述控制单元基于该写入请求控制对所述存储器的写入操作的执行,挂起该读出请求并且在所述写入操作结束后,基于该挂起的读出请求从所述存储器中读出该图像信号。
4.如权利要求2所述的存储控制器,其中当所述读出请求是在向所述存储器写入的过程中提交的,所述控制单元挂起该读出请求并且在所述写入操作结束后,基于所挂起的读出请求从所述存储器中读出图像信号。
5.如权利要求1所述的存储控制器,其中当所述写入请求是在从所述存储器读出的过程中提交的,所述控制单元临时停止所述读出操作,基于该写入请求,控制执行对所述存储器写入的操作,并且在写入操作结束后,读出停止的读出操作的剩余部分。
6.如权利要求1所述的存储控制器,其中所述存储器是一个脉冲传输型帧存储器。
7.如权利要求1所述的存储控制器,其中所述存储器是SDRAM并且所述存储控制器在垂直空白周期单元刷新。
8.如权利要求1所述的存储控制器,其中对应于所述写入请求,水平周期的n个图像信号(n是一个整数)存储在所述存储器中,而对应于所述读出请求水平周期的m个图像信号(m是一个整数,m>n)被从所述存储器读出。
9.一种存储控制器,用于控制一个通过相同的数据总线在其中写入和读出图像数据的存储器,所述存储控制器包括写入缓冲器,用于临时存储输入图像信号,以将该图像信号写入所述存储器;读出缓冲器,用于临时存储从所述储器读出的输出图像信号;写入地址生成装置,用于生成所述存储器的写入地址;读出地址生成装置,用于生成所述存储器的读出地址;以及控制装置,用于基于每次当预定数量的输入图像信号存储在该写入缓冲器时提交的写入请求和在每个规定的时间提交的读出请求,控制所述写入缓冲器、所述读出缓冲器、所述写入地址生成单元和所述读出地址生成单元,并且其中,第一控制基于所述写入请求,控制通过数据总线将输入图像信号从所述写入缓冲器传送到所述存储器和在其中存储该输入图像信号,第二控制基于所述读出请求,控制通过所述数据总线将该输出图像信号从所述存储器传送到所述读出缓冲器并在其中存储该输出图像信号,所述控制单元将一个大于另外一个的优先权赋予这两个控制中的任一个。
10.一种存储器控制方法,包括第一控制步骤,当预定数量的图像信号存储在该写入缓冲器中时,基于每次提交的写入请求,通过数据总线,将该图像信号从该写入缓冲器传送到存储器,并在其中写入该图像信号;以及第二控制步骤,基于每个规定的时间提交的读出请求,通过所述数据总线将该图像信号从所述存储器传送到该读出缓冲器,并且在其中写入该图像信号,其中,基于所述写入请求的所述第一控制步骤和基于所述读出请求的所述第二控制步骤中的任一个以一个大于另外一个的优先权被执行。
11.如权利要求10所述的存储器控制方法,其中所述第一控制步骤以一个大于所述第二控制步骤的优先权被执行。
全文摘要
存储控制器及方法、比率转换装置及方法、图像信号处理装置及方法。组成输入图像信号的亮度信号Ya和色差信号Ua/Va以行为单元与它的水平同步信号同步地被传送到帧存储器(第一存储器),并且写入其中。存储器TG211读出一读出请求RRQ。该请求RRQ的周期是一个基于输出图像信号Sc的单个垂直有效周期和用于输入图像信号Sa的比率转换的对象行的数量而计算的时间。通过缓冲器,将亮度信号Ya和色差信号Ua/Va以行为单元从帧存储器传送到比率转换单元(第二存储器)。在该转换周期以及每个转换周期中都没有发生偏差,因此可以保证稳定的数据传送带通。
文档编号G06F12/00GK101079230SQ20071012624
公开日2007年11月28日 申请日期2004年8月19日 优先权日2003年8月19日
发明者根本光太郎, 近藤哲二郎, 朝仓伸幸, 井上贤, 新妻涉, 石井达也, 绫田隆秀, 山中政宣, 立平靖 申请人:索尼株式会社
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1