用于利用空间划分方法产生3d图像信号的设备和方法

专利名称：用于利用空间划分方法产生3d图像信号的设备和方法
技术领域：
本发明涉及三维(3-D)图像的处理，并且更加具体地讲，涉及一种将多视点二维(2_D)图像信号转换为适合于三维图像显示设备的信号的接口设备。
背景技术：
诸如电视这样的图像处理系统已经发展到了产生更加逼真图像的程度。因此，图像显示系统需要3-D图像媒体和与3-D媒体相应的图像处理单元。3-D图像显示设备领域分为光学处理和图像处理。具体来说，3-D图像处理的发展集中于图像信号的压缩、还原(restoration)、传输和合成。传统上，立体化(二视点)型终端(即最简单的3-D信息终端)在游戏行业和医学行业得到了应用，并且在日本，目前利用立体化(二视点)型终端实现了3-D广播。来实现。
用于3-D广播的信息终端的技术领域分为图像压缩、多路复用、存储，反多路复用、图像还原和图像合成以及与显示设备进行联系。3-D多视点图像的研究在各种不同的领域中正在向前发展。然而，对图像压缩和还原还没有达成明显的一致，并且只有针对图像压缩和还原的标准在不断得到发展。因而，为了开发3-D多视点信息终端，需要通过不断考察MPEG委员会如何进展来继续进行显示设备制造领域的研发。
因此，需要不受图像压缩和还原技术进步的趋向影响的3-D多视点图像显示设备的专门研发。所以，将多视点图像信号重建为适合3-D图像显示设备的信号的3-D图像接口设备是必需的。

发明内容
本发明提供了一种将多视点图像信号重建为适合于用于实现3-D图像例如实时3-D电视的三维(3-D)图像显示设备的信号的多视点图像接口设备。
本发明还提供一种适合于多种多视点模式，并且不改变硬件配置的接口设备。
按照本发明的一个方面，提供一种3-D图像处理设备包括一个用于将从m*n空间划分模式排列的图像源接收到的模拟图像信号转变为数字图像信号的视频解码器；一个3-D图像处理单元，执行对该数字图像信号的3-D图像信号的处理，并且产生一个适合3-D图像显示设备的输出信号；一个用于存储数字图像信号的存储器；一个控制器，用于产生存储器写入地址和存储器读出地址，并且控制用于数字图像信号定标和垂直/水平多路复用的读/写命令。
该3-D图像处理单元可以包括一个将来自视频解码器的隔行扫描信号去隔行扫描(de_interlatiion)为逐行扫描信号的扫描转换器；一个将已转换为逐行扫描的信号根据预定的倍数在垂直方向上进行定标的垂直定标器；一个将定标后的数字图像信号在行方向上进行多路复用的垂直多路复用器；一个将定标后的数字图像信号在列方向上进行多路复用的水平多路复用器。
该3-D图像处理单元进一步可以包括一个空间划分模式转换器，可以对具有其他七种空间划分模式的图像信号利用具有4*4空间划分模式的硬件配置进行处理。
在8*1或8*2模式中，视频解码器将对应于从4*4排列的图像源接收到的图像信号的从非4*4排列的图像源接收到的图像信号进行输入，并且空间划分模式转换器包括一个8_x空间划分模式转换器，该转换器能够与4*4模式一样将8*1模式和8*2模式的输入图像信号进行定标，垂直多路复用和水平多路复用。
所述的8_x空间划分模式转换器包括一个数据选择器，根据用户模式选择信号，以及当从4*4排列的图像源接收到图像信号时，以每一第二时钟脉冲的8_x选择时钟信号，选择从非4*4排列的图像源接收到的图像信号。
所述的空间模式转换器进一步可以包括一个信号发送器，该信号发送器当空间划分模式的图像信号的数量少于16时，在8*1、4*2、4*1、2*2或2*1模式时，将存在输入到3-D图像处理单元的信号的输入端的信号发送到不存在输入到3-D图像处理单元的信号的输入端中。
该3-D图像信号处理设备进一步可以包括一个2_x模式图像信号分配器，用于在2*1或2*2模式时，生成从图像源接收到的图像信号，以及向没有从图像源输入图像信号的视频解码器输入端输出已生成的信号。
根据本发明的另一个方面，提供一种3-D多视点图像信号处理方法，包括将从以m*n空间划分模式的图像源接收到的模拟图像信号转变为数字图像信号；和对数字图像信号进行3-D图像处理和产生一个适合3-D图像显示方法的输出信号；其中3-D图像处理包括将数字图像信号从隔行扫描信号去隔行扫描为逐行扫描信号；在垂直方向上以规定的倍数定标已转换的逐行扫描信号；将定标后的数字图像信号在行方向上进行垂直多路复用；和将定标后的数字图像信号在列向上进行水平多路复用。
根据本发明的另一个方面，提供一种计算机可读媒体，其上存储包含用于实现权利要求18所述方法的HDL编码的指令。
根据本发明的另一个方面，提供一种现场可编程逻辑门阵列(FPGA)，利用实现权利要求18所述方法的HDL编码操作。


通过下面参照附图描述本发明示范性的实施例，使本发明的上述和其它特征、方面和优点将更加明显附图1示出了一个利用空间划分方法的三维(3-D)显示系统；附图2示出了将由16视点摄像头获得的2_D图像信号重组为3-D图像信号的过程；附图3示出了根据本发明的示范性的实施例的3-D图像信号处理设备的方框图；附图4a和4b是图3中视频解码器和同步信号发生器的方框图；附图5a和5b分别示出了去隔行扫描的编织(weave)模式和摆动(bob)模式；附图6示出了垂直定标功能；附图7示出了从第一行图像源获得的垂直多路复用信号；附图8示出了4*4模式中的垂直多路复用；附图9示出了在4*4模式中每个图像处理过程的输入/输出信号的数量和分辨率的关系；附图10示出了根据本发明的另一个示范性实施例的可用于多种空间划分模式的3-D图像信号处理设备的方框图；
附图11A示出了8_x空间划分模式转换器将8*2模式信号转换为4*4模式信号的示意图；附图11B示出了当进行8_x空间划分模式转换时，输入和输出信号之间的相关性；附图12示出了不同模式的发送器(router)内部配置；附图13A示出了用于由每一个3-D图像信号处理单元产生至少一个输入信号的配置；其中输入信号不是2*1模式和2*2模式输入到处理单元；附图13B示出了2_x模式图像信号分配器(distributor)的内部配置；附图14A和14B示出了转换器R656_R601的配置和功能；附图15A的时序图示出了4:2:2YCrCb信号和4:4:4YcrCb信号之间的相关性；附图15B示出了RGB转换器的硬件配置。
具体实施例方式
在下文中，将会参考附图对本发明进行更加全面的描述，在这些附图中，示出了本发明的示范性实施例。在全部附图中，相同的附图标记表示相同的元件。
首先，将参考附图1和附图2描述利用空间划分方法产生多视点图像信号的结构和输入到使用这种结构的本发明的设备中的图像信号的排列方式。
附图1示出了一个采用空间划分方法的三维(3-D)显示系统。不同于采用仅仅提供给观众图像内物体间的深度感觉的立体化(stereo)方法的3-D显示设备，采用无眼镜(non_eyeglass)方法的多视点3-D图像显示设备，通过给立体化方法增加环顾功能来提供给观众具有更高逼真感觉的图像。为了实现这个目的，就需要将根据多视点产生的2_D图像信息分割并重组为3-D图像信息，并且该3-D图像信息重组技术被称为空间划分方法。也就是，按照空间划分图像处理方法，该3-D图像显示设备通过利用光学处理重新排列各种2_D图像信息将预定的2_D图像信息会聚到预定的视点。
附图1示出了将最多由16个摄像头拍摄的16段图像信息利用一个接口系统重组为3-D图像信号，该接口是一个3-D图像转换设备。3-D图像在图像显示设备上显示，使得观众能够感觉到三维效果的16视点被利用3-D光学系统进行重组。由16个2_D摄像头拍摄的图像信息通过一个多视点3-D接口板被转换为适合于2_D图像显示设备的3-D图像信号。当显示3-D图像信号时，摄像头的每一个视点的2_D图像信息利用光学镜头会聚到预定的视点。因为依据观众眼睛的不同位置，可以显示出不同的2_D图像，因此实现了环顾功能。因而，利用无眼镜方法的多视点3-D图像显示装置提供给观众的三维图像比采用立体化方法的3-D图像显示装置提供的图像具有更高的逼真感觉。
附图2示出了将由最高16视点摄像头获得的2_D图像重组为3-D图像的过程。水平∶垂直的排列＝4∶4，由4*4表示，并且如图2所示，在4*4个块中安排了16个2_D图像。一个包括16个像素的3-D像素被称作宏像素，并且所述宏像素例如为这样的图像单位，即立方体显示设备中一个立方体表示的图像单位。例如，当使用分辨率为1920*1200的显示设备时，在4*4宏像素情况时，宏像素的数量是480*300，而在4*2宏像素情况时，宏像素的数量则是480*600。因为一个立方体通过以光学方式混合16个多视点图像显示一幅画面，因此观众依照观看角度可以看到不同的图像。因此，实现了环顾功能。
附图3是一个根据本发明示范性的实施例的3-D图像信号处理设备的方框图。参照附图3，该3-D图像信号处理设备包括一个输入单元100，该输入单元将从多个图像源10接收到的模拟图像信号11转换为适合于进行数字信号处理的数字图像信号111；一个3-D图像处理单元200，该处理单元将从输入单元100接收到的数字图像信号111处理为适合于显示装置的信号；一个存储器400，用于在3-D图像处理单元200处理从输入单元100接收到的数字图像信号111的同时，存储图像数据；一个控制器300，用于控制存储器400的输入和输出以及包含在3-D图像处理单元200中的各部件。
下面将详细介绍3-D图像信号处理设备各部件的功能，此时是将为4*4宏像素的16视点拍摄的输入图像信号转换为适合于1920*1200分辨率显示设备的3-D图像信号。
输入单元100包括将从多个图像源10接收到的模拟图像信号11转换为数字图像信号111的视频解码器(video decoder)110，和一个用于产生同步信号121和122的同步信号发生器120，该同步信号用于使视频解码器110与多个图像源10的操作同步。
视频解码器110通过对从多个图像源10接收到的模拟图像信号11(例如NTSC(1Vp_p)制图像信号)进行模数转换，以产生数字图像信号111，每一个图像源10与每一个视频解码器110相连。对于本领域的技术人员而言，视频解码器技术是普遍公知的技术，并且在使用Micronas的VPC 3230的情况下，视频解码器的输出信号和抽样信号的规格分别在下面的表格1和表格2中给出。在这里，一个具有480*240分辨率的摄像头被当作图像源，数据时钟的频率是13.5MHz，而且抽样时钟频率是20.25MHz。在本实施例中的视频解码器的输出信号是YCrCb型16位信号。
表格一

表格二

附图4A和4B是附图3中视频解码器110和同步信号发生器120的方框图。一个多视点图像处理设备包括多个图像源10和多个视频解码器110。因此，使图像源10和视频解码器110同步是很重要的。否则，不同时间拍摄到的像素就会和宏像素上形成的图像中的像素混叠在一起，那么3-D立体化显示器的感觉就无法实现，并且会产生诸如消隐(blanking)信号这样的不自然的图像。
在本实施例当中，上述的问题不是通过内部时钟解决的，而是通过视频解码器110的外部时钟解决的。如附图4a和4b所示，外部时钟响应于同步信号发生器120来操作。图像源10也可以像视频解码器110一样利用同步信号来进行同步。在这种情况下，由同步信号发生器120’产生的同步信号经过数字缓冲器分别被传送到图像源10的外部触发端。一个视频解码器(未示出)可以被当作同步信号发生器120’来使用，并且使用排除任何其它输入信号的同步信号。
该同步信号发生器120和120’可以通过设置成一行或分级地(hierarchically)设置成树状结构的缓冲器与视频解码器110和图像源10相连接。在使用16个图像源10时，采用了4*4树状结构缓冲器，其中4个缓冲器各自分级地与另外4个缓冲器相连接。如附图4b所示，所产生的频率为20.25MHz的抽样时钟信号，经过缓冲器501、缓冲器511到514以及缓冲器521到536按照分级同步的方式输入到视频解码器110中。较高级的同步可以利用具有树状结构的分级同步来实现。
由输入单元100产生的信号111被输入到3-D图像处理单元200。3-D图像处理单元200通过对数字图像信号进行去隔行扫描、定标和多路复用，将数字图像信号由16视点信号转换为适合于3-D显示设备的信号。
该3-D图像处理单元200包括一个扫描转换器210、一个垂直定标器220、一个垂直多路复用器230和一个水平多路复用器240。
所述的扫描转换器210将隔行图像转换为逐行(progressive)扫描图像信号以获得高分辨率(去隔行扫描)。去隔行扫描是通过以读出速度为写入速度的两倍来读出和内插存储在存储器400中的各帧(偶数半帧+奇数半帧)来实现的。去隔行扫描可以以编织模式和摆动模式进行。
附图5A和5B分别示出了在编织(weave)模式和摆动(bob)模式下的去隔行扫描，两种模式都可以很容易地通过对存储器400进行读取寻址来实现。
在附图5a所示的编织(weave)模式下，视频解码器110的输出Dwi_x以480*240的分辨率写入到存储器400。如果将一个以32位为单位的存储方式对数据进行控制的64兆SDRAM用作存储器400，，则由于视频解码器110的输出Dwi_x是16位YCrCb信号，因此可以将两个半帧(field)同时写入到信号存储单元中。如附图5a所示，第一图像源的第一半帧Ain1_1f和第二图像源的第一半帧Ain2_1f同时写入到了一个信号存储单元中。接下来，第一图像源的第二半帧Ain1_2f和第二图像源的第二半帧Ain2_2f同时写入到了同一信号存储单元。然而，在对它们进行读取的时候，通过改变控制器300的读取寻址信号，同时插入并读取了第一图像源的第一半帧Ain1_1f和第一图像源的第二半帧Ain1_2f。而且，由于读取速度是写入速度的两倍，因此产生了两个相同的帧Ain1_1F。此外，在其它的存储单元中，读取和写入是以同样的方式进行的。因此，一个扫描转换器210同时处理了4个视频解码器110的输出信号。当采用以32位为单位对数据进行控制的64兆SDRAM时，与每个扫描转换器210相接SDRAM的数量为4，则总位数是4*32＝128位。
附图5B示出了在摆动(bob)模式下的去隔行扫描。在摆动(bob)模式下将数据写入到存储器400的方法和在编织(weave)模式下是相同的。不过，在进行读取的时候，通过利用重复读取寻址在同一位置双倍地读取数据而产生两个双倍扫描帧Ain1_1F。此外，不同于编织(weave)模式，由于在摆动模式下产生的两帧Ain1_1F是通过加倍了同一个半帧而产生的，因此它们实际上是不同的图像。
由于在编织模式(时域内插)下，越过一个时间间隔的两半帧被混合在一起，所以编织模式适合于静止图像，而在摆动模式下(空域内插)，由于是通过加倍同一半帧而得到一帧的，因此摆动模式适合具有大量运动的运动画面。用户可以根据想要重现的图像类型来选择两种模式当中的一种。
由扫描转换器210进行了去隔行扫描的图像信号211由垂直定标器220定标为显示设备的垂直分辨率的信号。在本实施例中，因为去隔行扫描信号211具有480*480的分辨率，为了与垂直分辨率为1920*1200的显示设备相配合，需要将去隔行扫描信号211在垂直方向上定标为1200/480＝2.5倍。该定标可以通过在扫描转换器210的去隔行扫描处理中改变存储器寻址信号来实现。也就是说，响应于以1，2，3，4，...的顺序输入的写入存储器控制信号302，通过产生一个读取存储器控制信号303，借助该信号使得行地址得以以1，1，1，2，2，3，3，4，4，4，...的顺序重复地(以2.5倍)读取而实现该定标。附图6示出了垂直定标功能。
垂直定标的信号221被相继地输入给垂直多路复用器230和水平多路复用器240，以便垂直和水平地多路复用为适合于显示设备的分辨率。如上所述，从属于同一行(row)的4个图像源10接收到的信号11分别由4个视频解码器110转换为数字信号Dwi_x 111，并且利用存储输入/输出控制由扫描转换器210和垂直定标器220将这4个数字信号Dwi_x 111转换为分辨率为480*1200的数字信号Dro_x 221。
附图7示出了在多种模式下(X*4、X*2和X*1)从第一行的图像源10接收到的垂直多路复用信号。参考附图7和9，来自第一图像源K11的信号Dro_1具有1200个水平行，AL1，AL2，AL3，...，AL1200，来自第二图像源K21的信号Dro_2同样具有1200个水平行AL1，AL2，AL3，...，AL1200，并且第三K31和第四图像源K41也是这样的。假如多视点图像利用具有4列(即，以X*4模式)的图像源10的配置来处理，则垂直复用器230以AL1、BL2、CL3、DL4(AL5、BL6、CL7、DL8、...未示出)的顺序选择水平行，(也就是说，交替地选取Dro_1、Dro_2、Dro_3和Dro_4)，在X*2模式下，垂直复用器230以AL1、BL2、AL3、BL4(AL5、BL6、...未示出)的顺序选择水平行，(也就是说，交替地选取Dro_1和Dro_2)，在X*1模式下，垂直复用器230以AL1、AL2、AL3、AL4、BL5、BL6、...的顺序选择水平行，(也就是说，只有Dro_1被选择)。如附图7所示，依据这些模式的垂直已多路复用信号是Dvm_1n(X*4)、Dvm_1n(X*2)和Dvm_1n(X*1)。在此，1n表示来自第一行的图像源的信号被垂直多路复用，X表示每种模式下摄像头的行数。该多路复用可以由一个逻辑门电路来实现，并且对于本领域的技术人员而言，这种多路复用技术是广泛公知的。
附图8示出了在4*4模式下，将已经垂直多路复用了的信号231进行水平复用。
选择由4行图像源产生的信号Dvm_1n、Dvm_2n、Dvm_3n和Dvm_4n，从而使第一和第三行图像源接收到的信号与第二和第四行图像源接收到的信号分别交替。已交替的信号被分别输出为已水平多路复用的信号241 Dhm_1和Dhm_2。也就是说，输出信号Dhm_1从Dvm_1n信号中选择第一个480位垂直数据a1，在该Dvm_1n信号中，由第一行图像源接收到的信号被垂直多路复用，然后从Dvm_3n信号中选择第一个480位垂直数据c1，在该Dvm_3n信号中，由第三行图像源接收到的信号被垂直多路复用，也就是说，每一行的垂直数据都被交替选择(a1，c1，a2，c2，...)。输出信号Dhm_2交替地选择由第二和第三行(b1，d1，b2，d2)图像源接收到的图像信号。在此，多路复用速度，即，时钟速度，可以根据显示设备的信号技术要求进行改变。附图8示出了这样一种情况当显示设备的信号技术要求是162Hz时，3-D图像处理单元200的时钟速度是40.5Hz，并且多路复用速度是81MHz，这一速度是162Hz除以2得到的。输出信号Dhm_1和Dhm_2以81MHz的频率被同步，并且被分别输入到显示板链接设备(低电压差分信号LVDS)的第一和第二行，以便被输入到显示设备，并且以162MHz的频率在显示设备上显示。
附图9示出了输入/输出信号的数量与针对4*4模式下的图像源的设置方式的每个图像处理过程的分辨率之间的关系。
来自按照4*4模式设置的图像源10的16个图像信号K11到K44分别被输入到视频解码器Ain1到Ain16。在此，视频解码器的输出信号VD1到VD16是具有和图像源相同的分辨率480*240的隔行扫描数字图像信号。16个视频解码器Ain1到Ain16的输出端被分成4个单元，每个单元包含有4个视频解码器的输出端，并且每个单元按顺序对垂直多路复用器210当中的一个、垂直定标器220当中的一个、以及垂直多路复用器230当中的一个进行输入。垂直多路复用器230的输出信号是具有和输入给显示设备的信号所要求的垂直分辨率(*1200)一样的垂直分辨率(*1200)的逐行扫描数字图像信号(480*1200)。四个垂直多路复用器230的输出信号被输入到一个水平多路复用器240，被转换为两个显示设备输入信号(960*1200)，该信号参照将一个显示设备时钟(162MHz)二分的时钟(81MHz)，并且将该信号输出到显示设备。
在本实施例中，介绍了以4*4模式设置图像源的情况下的图像信号处理。然而，本发明可以被用于各种不同的图像源排列方法；也就是说，各种不同的空间划分模式。在下文中，将对用于在除了4*4模式以外的其它模式下实现图像信号处理的本发明的实施方式进行介绍。为此，将会引入一些附加的构成部件。
附图10是一个根据本发明的另一个示范性实施例的可以用于各种不同的空间划分模式的3-D图像信号处理设备的方框图。本实施例能够支持的空间划分模式是4*4、4*2、4*1、8*2、8*1、2*2和2*1模式。附加的构成部件有，一个空间划分模式转换器290和一个2_x模式图像信号分配器260。空间模式转换器290包括一个8_x空间划分模式转换器280和一个信号发送器270。现在，依模式对附加的构成部件进行介绍。
(1)8*X模式参考附图9，在4*4模式下，在一个单一的3-D图像信号处理单元200中，从扫描转换器210到垂直复用器230对4个图像源进行处理。然而，在8*X模式下，由于图像源的行数是8，因此8个图像信号不能通过硬件配置输入到一个单一的3-D图像信号处理单元200中。因此，需要对硬件配置进行修改。在本实施例中，可以利用现有的硬件配置对8*X模式信号进行处理，而无需引入新的3-D图像信号处理单元。
利用在4*4模式硬件配置中处理8*X模式信号之间的相关技术方法，通过将第五行(row)到第八行的图像信号Kx5，Kx6，Kx7，和Kx8当作4*4模式中的图像信号K31到K34，和K41到K44，对这些图像信号进行去隔行扫描，并进行去隔行扫描图像信号的垂直定标，并且在对经定标的图像进行垂直多路复用之前，将被定标的图像信号恢复到原始的图像信号位置。
附图11A是将8*2模式信号转换为4*4模式的信号8_x空间划分模式转换器280的示意图。在8*2模式下，图像信号K15到K18如同图像信号K31到K34一样分别被处理，并且图像信号K25到K28如同图像信号K41到K44一样分别被处理。也就是说，图像信号K15到K18输入到用于图像信号K31到K34的视频解码器的输入端，并且图像信号K25到K28输入到用于图像信号K41到K44的视频解码器的输入端。输入信号K15到K18和K25到K28采用相关的现有技术方法进行去隔行扫描和垂直定标，并且被输入到8_x空间划分模式转换器280。
信号1201，1202，1203，和1204分别是对图像信号K11，K21，K15和K25进行去隔行扫描和垂直定标得到的。为了使经过垂直定标的信号恢复为它们原始的图像信号设置，第一数据选择器1200响应于用户模式选择信号8X_SEL和8_x选择时钟信号CLK2，交替地选择图像信号1201和图像信号1203。也就是说，如果用户模式选择信号8X_SEL为启用，则第一数据选择器1200在8_x选择时钟信号CLK2的一个周期内选择并输出图像信号1203，而第三数据选择器1220选择一个接地输入并且不输出任何信号。因此，图像信号1203作为跟在图像信号1201后面的输出信号Dde_1输出，并且0作为输出信号Dde_3输出。同样地，第二和第三选择器1210和1230分别以同样的方式工作，并且因此，图像信号1204作为跟在图像信号1202后面的输出信号Dde_2输出，而0作为输出信号Dde_4输出。附图11B示出了附图11A的8_x空间划分模式转换器280的输入/输出信号之间的相互关系。
(2)图像源数量少于16个当图像源数量少于16个时，也就是说，在4*2、4*1、8*1、2*2和2*1模式的情况下，如果没有输入信号输入到3-D图像处理单元200相应的输入端，需要依据模式不同地设定垂直多路复用器230的硬件配置。上述问题可以通过在输入单元100和3-D图像处理单元200之间加入信号发送器270(附图10)来解决。
附图12示出了根据适当模式的信号发送器270的内部配置。为了方便描述，只示出了一个发送器270。在4*2模式中，输入到仅输入端Ain1和Ain2的图像信号也分别被发送到3-D图像处理单元200相应的输入端Ain3和Ain4。在4*1模式下，输入给输入端Ain1的图像信号也分别被发送给3-D图像处理单元200对应于输入端Ain2，Ain3和Ain4的所有端。在8*1模式下，输入到输入端Ain1的图像信号被发送到3-D图像处理单元200所有对应于输入端Ain1和Ain2的端，并且输入到输入端Ain3的图像信号被发送到3-D图像处理单元200所有对应于输入端Ain3和Ain4的端。因此，在3-D图像处理单元200中，没有一个输入端没有信号输入，并且垂直多路复用可以采用与4*4的模式相同的方式来处理。
在2*X模式下，在利用下面将描述的2_x模式图像信号分配器260(附图10)将图像信号转换为和4*X模式中图像信号一样的类型后，进行像上面描述的4*X模式下输入端的路由选定(routing)。
(3)2*X模式在2*2和2*1模式下，都有没有任何图像信号输入的3-D图像处理单元200，所以即使使用信号发送器270，3-D图像处理单元200中也需要包括有输入端。为了解决这一问题，在图像源10和输入单元100之间包括有一个2_x模式图像信号分配器260。
附图13A分别示出了在2*1和2*2模式下，用于至少产生一个输入信号给每一个没有任何输入信号的3-D图像处理单元200的配置。
在2*1模式下，因为4个视频解码器110连接于一个3-D图像处理单元200，所以没有任何图像信号输入到第三和第四3-D图像处理单元200。2_x模式图像信号分配器260将输入到第一视频解码器110的输入端Ain1的图像信号K11输入到与第三3-D图像处理单元200连接的第一视频解码器110的输入端Ain9，并且将输入到第五视频解码器110的输入端Ain5的图像信号K12输入到与第四3-D图像处理单元200连接的第一视频解码器110的输入端Ain13。因此，2_x模式图像信号分配器260输入至少一个图像信号到第三和第四3-D图像处理单元200中的每一个。
在2*2模式下，因为两个图像信号K11和K21被输入到第一3-D图像处理单元200，并且两个图像信号K12和K22被输入到第二3-D图像处理单元200，所以2_x模式图像信号分配器260将图像信号K11和K21输入到与第三3-D图像处理单元200连接的第一和第二视频解码器的输入端Ain9和Ain10中，并且将图像信号K12和K22输入到与第四3-D图像处理单元200连接的第一和第二视频解码器的输入端Ain13和Ain14中。
附图13B分别示出了2_x模式图像信号分配器260的内部配置。2_x模式图像信号分配器260包括一个模式改变开关1410，该开关按照在接收来自图像源Kx1和Kx2的信号的输入端和接收来自图像源Kx3和Kx4的信号的输入端之间进行交替的方式来输出信号。如果用户使得2_x模式图像信号分配器260能够使用2*X模式，模式改变开关1410将所有从图像源Kx1和Kx2接收到的图像信号输出给视频解码器1402的输入端Ain9和Ain13或Ain9、Ain10、Ain13和Ain14，如果目前的模式是4*4模式，从图像源Kx3和Kx4接收到的信号将输入给该解码器1402。此外，两个视频解码器1401和1402的输出信号OUT1和OUT2通过设定视频解码器1402的抽样周期来分别延时1/2时钟周期，并且已多路复用的输出信号OUT1和OUT2如附图11B所示产生。
当实际配置硬件设备时，该3-D图像处理单元200可以通过现场可编程逻辑门阵列(FPGA)利用HDL编码来实现或者使用ASIC码来批量产生。如果不考虑成本，在利用ASIC码大规模生产之前，当本发明用于测试设备时，可以利用改变HDL编码来使用FPGA实现多种技术是更便利的。
视频解码器110以YCrCb的格式输出数字图像信息，并支持具有13.5MHz频率16位的ITU_R601型输出数据和具有27MHz频率8位的ITU_656格式输出数据。因此，当3-D图像处理单元200通过FPGA实现时，考虑到大量的FPGA引脚，通过将ITU_R656格式信号转换为ITU_R601格式信号，布线的复杂度通常会降低。R656_R601转换器处在视频解码器110和3-D图像处理单元200之间，或者在使用FPGA时在FPGA内实现。附图14A和14B示出了R656_R601转换器的配置和功能。如附图14A所示R656_R601转换器可以包括有3个触发器门阵列，以及如附图14B所示，R656_R601转换器响应于时钟信号PIXCLK，输出一个由视频解码器110输出的8位信号Ddi_x转变为16位输出信号Dwi_x的信号。
此外，与上述的以YCrCb的格式输出的数字图像信息的相关技术的视频解码器110不同，因为通常的显示设备(例如LCD显示器)都采用RGB信号格式，就需要将YCrCb信号转变为RGB信号。YCrCb_RGB信号转换器将16位4:2:2格式的YCrCb信号转变为24位4:4:4格式的YCrCb信号，然后把24位4:4:4格式的YCrCb信号转变为24位RGB信号。
附图15A是表示4:2:2YCrCb信号和4:4:4YCrCb信号之间的相关性的时序图。因为Cr和Cb的值在4:2:2YCrCb信号Dro_x中的每一个第二象素被设定，所以Cr和Cb的值的值应当被内插以便Cr和Cb的值在每一个象素被设定。也就是说，4:2:2到4:4:4转换器是通过利用抽样零_阶(zero-order)内插将Cr和Cb的值插入到每一个象素中来实现转换的。
YCrCb到RGB转换器的方程式如下所示。
R＝Y+1.402*CRG＝Y_(0.34414*CB+0.71414*CR)B＝Y+1.722*CB上面的方程式通过使用8位乘法器来实现，方程式对于硬件实现的转换如下所示。
R＝Y+CR+{CR＜＜6+CR＜＜5+CR＜＜3_CR}＞＞8G＝Y_{CR＜＜6+CB＜＜4+CB＜＜3+CR＜＜7+CR＜＜6_CR＜＜3_CR}＞＞8B＝Y+CB+{CB＜＜7+CB＜＜6+CB＜＜2+CB＜＜1}＞＞8根据一个双结构，硬件配置分为TYPE I和TYPE II，并且R和B/G分别被分配给TYPE I和TYPE II。附图15B示出了根据转换方程式的RGB转换器的硬件配置。
如上所述，根据本发明的实施例，利用空间划分方法重建多视点图像信号为适合3-D图像显示设备的图像信号的多视点图像接口设备是可以实现的。因此，提供了一种用于实现例如实时3-D电视的3-D图像技术的硬件基础结构。
此外，因为提供了一种不用改变硬件配置就可以适用于多种多视点模式的接口设备，所以该接口设备可以用作不论任何空间划分模式的3-D图像显示设备的接口单元。
虽然本发明是参考其示范性实施例而具体表示和解释的，但是本领域的技术人员将会明白，可以对其进行各种不同的形式上和细节上的改变，而不会超出由所附的权利要求定义的本发明的思想和范围。。本文给出的四个实施例应当被看作仅仅具有说明性意义，而并不是为了限制的目的给出的。因此，本发明的范围不是由本发明的详细介绍定义的，而是由所附的权利要求书定义的，并且，并且不超出本发明范围的区别被认为已经包含在本发明中。
权利要求
1.一种3维(3-D)多视点图像信号处理设备，包括一个视频解码器，该视频解码器将从以m*n空间划分模式排列的图像源接收到的模拟图像信号转变为数字图像信号；一个3-D图像处理单元，该3-D图像处理单元对数字图像信号进行3-D图像处理并产生一个适合3-D图像显示设备的输出信号；一个存储数字图像信号的存储器；和一个控制器，该控制器产生该存储器的存储器写入地址和存储器读取地址并且控制用于定标和垂直/水平多路复用数字图像信号的写入/读取命令的控制器。
2.根据权利要求1所述的设备，其中所述3维图像处理单元包括一个扫描转换器，该扫描转换器将从视频解码器接收到的数字图像信号从隔行扫描信号去隔行扫描为逐行扫描信号；一个垂直定标器，该垂直定标器在垂直方向上以规定的倍数定标经转换的逐行扫描信号；一个垂直多路复用器，该垂直多路复用器将定标后的数字图像信号在行方向上进行多路复用；和一个水平多路复用器，该水平多路复用器将定标后的数字图像信号在列向上进行多路复用。
3.根据权利要求2所述的设备，其中的空间划分模式是4*4、4*2、4*1、8*2、8*1、2*2、或者2*1模式。
4.根据权利要求2所述的设备，其中的3-D图像处理进一步包括一个空间划分模式转换器，该空间划分转换器以具有预定空间划分模式的硬件配置的多个空间划分模式进行图像信号的数字图像信号处理。
5.根据权利要求4所述的设备，其中所述空间划分模式转换器包括一个8_x空间划分模式转换器，该8_x空间划分模式转换器将4*X空间划分模式图像信号转换为8*X空间划分模式图像信号。
6.根据权利要求5所述的设备，其中所述8*X空间划分模式是8*1模式或8*2模式，视频解码器输入对应于从4*4排列的图像源接收到的图像信号的从非4*4排列的图像源接收到的图像信号，并且所述8_x空间划分模式转换器将与4*4模式类似地以8*1模式或8*2模式进行输入图像信号的定标、垂直多路复用以及水平多路复用。
7.根据权利要求6所述的设备，其中所述8_x空间划分模式转换器包括一个数据选择器，用于当从4*4排列的图像源接收到的图像信号时，根据用户选择信号和在每一第二时钟脉冲的8_x选择时钟信号，选择从非4*4模式排列的图像源接收到的图像信号。
8.根据权利要求4的设备，其中的空间模式转换器进一步包括一个信号发送器，该信号发送器当空间划分模式的图像信号的数量少于16时，在8*1、4*2、4*1、2*2或2*1模式时，将存在输入到3-D图像处理单元的信号的输入端的信号发送到不存在输入到3-D图像处理单元的信号的输入端中。
9.根据权利要求4的设备，进一步包括一个2_x模式图像信号分配器，用于在2*1或2*2模式时，生成从图像源接收到的图像信号，以及向没有从图像源输入图像信号的视频解码器输入端输出已生成的信号。
10.根据权利要求9的设备，其中的2_x模式图像信号分配器在2*1模式时产生一个输入到第一和第九视频解码器的第一图像源信号，和输入到第五和第十三视频解码器的第二图像源输入信号，以及在2*2模式时产生一个输入到第一和第九视频解码器的第一行中第一图像源信号，一个输入到第五和第十三视频解码器的第二行中第一图像源信号，一个输入到第二和第十视频解码器的第一行中第二图像源信号，一个输入到第六和第十四视频解码器的第二行中第二图像源信号。
11.根据权利要求3的设备，其中的图像源和视频解码器接收由外部同步信号发生器产生的同步信号，并且该同步信号利用树状结构的数字缓冲器传输。
12.根据权利要求11的设备，其中的树状结构具有4个上部分枝，每一个上部分枝具有4个下部分枝，并且每一个用于同步控制的数字缓冲器与每一个上部和下部分枝分级连接。
13.根据权利要求4的设备，其中在编织模式或摆动模式下，扫描转换器进行去隔行扫描。
14.根据权利要求4的设备，其中垂直定标器采用加倍的方法进行定标。
15.根据权利要求4的设备，其中视频解码器的输出数字图像信号是ITU_R656格式，并且该设备进一步包括一个将ITU_R656格式的数字图像信号转换为ITU_R601格式的数字图像信号的R656_到_R601转换器。
16.根据权利要求4的设备，其中视频解码器的输出信号是4:2:2YCrCb信号，并且该设备进一步包括一个将4:2:2YCrCb信号转变为4:4:4RGB信号的RGB信号转换器。
17.根据权利要求16的设备，其中RGB转换器包括一个利用加倍Cr信号和Cb信号将4:2:2YCrCb信号转变为4:4:4YCrCb信号的位转换单元；和一个将4:2:2YCrCb信号转变为4:4:4RGB信号的格式转换单元。
18一种3-D多视点图像信号处理方法，包括将从以m*n空间划分模式的图像源接收到的模拟图像信号转变为数字图像信号；和对数字图像信号进行3-D图像处理和产生一个适合3-D图像显示方法的输出信号；其中3-D图像处理包括将数字图像信号从隔行扫描信号去隔行扫描为逐行扫描信号；在垂直方向上以规定的倍数定标已转换的逐行扫描信号；将定标后的数字图像信号在行方向上进行垂直多路复用；和将定标后的数字图像信号在列向上进行水平多路复用。
19.根据权利要求18的方法。其中空间划分模式是4*4、4*2、4*1、8*2、8*1、2*2或者2*1模式。
20.根据权利要求19的方法，其中的3-D图像处理进一步包括利用4*4空间划分模式的硬件配置对每一种空间划分模式的图像信号进行数字图像信号处理。
21.根据权利要求20的方法，其中，当空间划分模式是8*1模式或8*2模式时，视频解码器将从非4*4排列的图像源接收到的图像信号与从4*4排列的图像源接收到的图像信号一样分别输入到视频解码器，其中空间划分模式转换包括将以8*1模式或8*2模式输入的图像信号像4*4模式一样进行定标，垂直多路复用以及水平多路复用。
22.根据权利要求21的方法，其中的8_x空间划分模式转换包括当4*4排列的图像源接收到图像信号时，从根据用户选择信号和在每一第二时钟脉冲的8_x选择时钟信号，选择由非4*4模式排列的图像源接收到的图像信号。
23.根据权利要求22的方法，其中的空间模式转换进一步包括当空间划分模式的图像信号数量少于16时，在8*1、4*2、4*1、2*2或2*1模式时，将其中有输入到3-D图像处理单元的信号存在的输入端的信号发送到其中没有输入到3-D图像处理单元的信号存在的输入端中。
24.根据权利要求23的方法，进一步包括一个在2*1或2*2空间划分模式时，生成从图像源接收到的图像信号，以及向其上没有从图像源输入图像信号的视频解码器输入端输出已生成的信号。
25.根据权利要求24的方法，其中的2_x模式图像信号分配包括在2*1模式时产生一个输入到第一和第九视频解码器的第一图像源信号，和输入到第五和第十三视频解码器的第二图像源输入信号；和在2*2模式时产生一个输入到第一和第九视频解码器的第一行中第一图像源信号，一个输入到第五和第十三视频解码器的第二行中第一图像源信号，一个输入到第二和第十视频解码器的第一行中第二图像源信号，一个输入到第六和第十四视频解码器的第二行中第二图像源信号。
26.根据权利要求19的方法，其中的视频解码包括利用由外部同步信号发生器产生的同步信号同步视频解码器，其中该同步信号利用树状结构的数字缓冲器传输。
27.根据权利要求26的方法，其中的树状结构具有4个上部分枝，每一个上部分枝具有4个下部分枝，并且每一个用于同步控制的数字缓冲器与每一个上部和下部分枝分级连接。
28.根据权利要求20的方法，其中的去隔行扫描在编织模式或摆动模式下进行去隔行扫描。
29.根据权利要求20的方法，其中的垂直定标采用加倍的方法进行定标。
30.根据权利要求20的方法，其中的视频解码输出数字图像信号是ITU_R656格式，并且该方法进一步包括将ITU_R656格式的数字图像信号转换为ITU_R601格式的数字图像信号。
31.根据权利要求20的方法，其中视频解码的输出信号是4:2:2YCrCb信号，并且该方法进一步包括将4:2:2YCrCb信号转变为4:4:4RGB信号的RGB信号。
32.根据权利要求31的方法，其中的RGB信号转换包括利用加倍Cr信号和Cb信号将4:2:2YCrCb信号转变为4:4:4YCrCb信号；和将4:4:4YCrCb信号转变为4:4:4RGB信号。
33.一种计算机可读媒体，其上存储包含用于实现权利要求18所述方法的HDL编码的指令。
34.一种现场可编程逻辑门阵列(FPGA)，利用实现权利要求18所述方法的HDL编码操作。
全文摘要
一种三维(3－D)图像信号处理方法和设备。该3－D图像信号处理设备将多视点2_D图像信号转变为适合于三维图像显示设备的信号。该3－D图像信号处理设备包括一个用于将从以m*n空间划分模式排列的图像源接收到的为模拟图像信号转变为数字图像信号的视频解码器；一个3－D图像处理单元，实现对该数字图像信号的3－D图像信号的处理，并且产生一个适合3－D图像显示设备的输出信号；一个用于存储数字图像信号的存储器；一个控制器，用于产生存储器写入地址和存储器读出地址，并且控制用于图像信号定标和垂直/水平复用的读/写命令。根据本发明的3－D图像信号处理设备，可以实现一个显示接口设备应用于多种多视点模式。
文档编号H04N13/04GK1607840SQ200410092189
公开日2005年4月20日 申请日期2004年8月5日 优先权日2003年8月5日
发明者成埈豪, 金成植, 金在锡 申请人:三星电子株式会社