专利名称：三维影像产生装置的制作方法
技术领域：
本发明涉及一种影像处理技术，尤其涉及一种三维影像产生装置。
背景技术：
随着科技以及影像获取技术的日益发展，诸多厂商积极研发立体影像获取技术，让人们也可自行拍摄出具有立体效果的视频影像。图1是现有的一种三维(threedimensional ；3D)数码相机100的实施方框图。数码相机100利用两个影像传感器110、112分别获取左眼、右眼的两张二维影像。影像处理单元130通过传输控制单元120依序接收上述左右眼影像，经由影像处理以产生两个处理后的二维影像，并同时将这左右眼影像处理为3D影像。若需要进行即时显示(Live View)，影像处理单元130利用显示控制单元136将3D影像传送到显示单元160。若需要储存这些三维的静态影像(still image),影像处理单元130通过数据传输单元134将上述3D影像储存于可携式储存单元170 (例如，记忆卡)当中。由于数码相机100仅具有单颗影像处理单元130，因此，影像处理单元130无法同时处理左右两眼的二维影像，仅能通过传输控制单元120往复循环地以“左眼、右眼、左眼、右眼、左眼...”的顺序来依序处理每一张二维影像。另一个已获取的二维影像则需要额外的存储器来进行缓冲处理。处理完左右两眼的影像后，单颗影像处理单元130还需依序3D影像格式来整合左右眼影像。藉此，数码相机100不但需要足够大的暂存存储器来进行缓冲，其影像处理的速度还会受限于影像处理单元130的处理速度。传输控制单元120在影像传输顺序上也需要重新设计，增加了实现难度。美国专利号US 2008151044A1揭示另一种3D影像获取的实现方式，其揭示的立体相机通过两组透影镜头及影像处理部件，以同时接收与处理左右眼的二维影像。相较于图1中的数码相机100，其揭示的影像处理部件仅分别对左右眼影像进行色彩转换(colorconvention)后，便通过系统总线将左右眼影像储存至立体相机的存储器中，因此立体相机需要比数码相机100更大的暂存存储器来缓冲左右眼影像的信息，需要额外增加芯片面积。因此，此技术适合用于低解析度(例如低于一百万像素)的影像系统。相对地，对于高解析度的影像系统，由于芯片内部所需的存储器过大，成本太高，因此上述架构并不适合实现高解析度的影像系统。另一方面，整合3D影像的动作是由立体相机中另一个总体控制部件(overall control section)来进行,许多影像处理时间皆耗费在读写存储器中,造成无谓的时间耗费并缓慢了处理速度。因此，上述两种方式皆难以达到实质上的3D影像即时显示，并且耗费过多的缓冲存储器。
发明内容
本发明提供一种三维影像产生装置，此三维影像产生装置利用两个处理单元分别处理左右眼的二维影像以整合成三维影像。藉此，本三维影像产生装置不需大量的暂存存储器，因此可大幅节省建置成本、保有良好的影像处理效率、增加三维影像的整合处理速度。本发明于第一实施例提出一种三维影像产生装置，其主要利用两个处理器以及单个存储单元来进行三维影像的即时显示。此三维影像产生装置包括第一存储单元、第一(主要)处理器以及第二(次要)处理器。第一存储单元可储存所产生的三维影像。第一(主要)处理器包括第一影像处理单元、数据读写单元、第一指令与数据传输接口以及第一任务控制单元。第一影像处理单元的输入端接收代表人类第一眼的原始影像的多个像素数据，并经过影像处理，产生处理后的第一影像的多个影像像素。数据读写单元耦接至第一影像处理单元与第一存储单元，其接收来自第一影像处理单元处理后的第一影像的影像像素，并依一选定的三维影像格式写入第一存储单元的相对应储存地址当中。一第一指令与数据传输接口耦接至所述数据读写单元。第一任务控制单元则发送指令与参数至上述第一影像处理单元、数据读写单元、以及第一指令与数据传输接口，藉以负责协调与执行所述第一(主要)处理器的运作。第二(次要)处理器耦接至第一(主要)处理器，且第二(次要)处理器包括第二影像处理单元、第二指令与数据传输接口以及第二任务控制单元。第二影像处理单元的输入端接收代表人类第二眼的原始影像的多个像素数据，并经过影像处理产生处理后的第二影像的多个影像像素。第二指令与数据传输接口耦接至第二影像处理单元与第一(主要)处理器的第一指令与数据传输接口。所述第一指令与数据传输接口以及所述第二指令与数据传输接口负责所述第二(次要)处理器与第一(主要)处理器的指令与数据传输。第二任务控制单元，通过该第二指令与数据传输接口和该第一(主要)处理器沟通并发送指令至所述第二影像处理单元、第二数据读写单元、以及第二指令与数据传输接口，藉以负责协调与执行该第二(次要)处理器的运作。第二影像处理单元处理后的第二影像的多个影像像素会通过所述第二指令与数据传输接口传输至第一(主要)处理器的第一指令与数据传输接口，进而传送至第一(主要)处理器中的数据读写单元，并依一选定的三维影像格式将影像像素写入第一存储单元的相对应储存地址当中，藉以产生所述的二维影像。另一方面，本发明于第二实施例提出一种三维影像产生装置，其利用两个影像处理单元以及其各自具有的存储单元来进行三维影像的即时显示、静态影像储存或是动态影像录影(video clip)。此三维影像产生装置包括第一存储单元、第一(主要)处理器、第二存储单元以及第二(次要)处理器。第一存储单元用以储存代表人类第一眼的原始图案的第一影像的多个或全部的像素数据，并可储存所产生的三维影像。第一(主要)处理器包括第一影像处理单元、第一数据读写单元、第一指令与数据传输接口以及第一任务控制单元。第一数据读写单元耦接至第一存储单元，藉以负责写入或读取储存于第一存储单元的数据。第一影像处理单元耦接至第一数据读写单元，其通过第一数据读写单元以读取第一影像的像素数据，经过影像处理后，产生处理后的第一影像的多个影像像素，并依一选定的三维影像格式写入第一存储单元的相对应储存地址。第一指令与数据传输接口则耦接至该第一数据读写单元。第一任务控制单元则发送指令至第一影像处理单元、第一数据读写单元、以及第一指令与数据传输接口，藉以负责协调与执行该第一(主要)处理器的运作。承接上述，第二存储单元用以储存代表人类第二眼原始图案的一第二影像的多个或全部的像素数据。第二(次要)处理器则包括第二数据读写单元、第二影像处理单元、第二指令与数据传输接口以及第二任务控制单元。第二数据读写单元耦接至所述第二存储单元，负责写入与读取储存于第二存储单元的数据。第二影像处理单元耦接至第二数据读写单元，其通过第二数据读写单元读取第二影像的像素数据，经过影像处理后产生处理后的第二影像的多个影像像素。第二指令与数据传输接口耦接至第二影像处理单元与第一(主要)处理器的第一指令与数据传输接口。其中，第一指令与数据传输接口以及第二指令与数据传输接口负责第二(次要)处理器与第一(主要)处理器的数据传输。第二任务控制单元通过第二指令与数据传输接口和第一(主要)处理器沟通，并发送指令至第二影像处理单元、第二数据读写单元、以及第二指令与数据传输接口，藉以负责协调与执行第二(次要)处理器的运作。其中，第二影像处理单元处理后的第二影像的多个影像像素通过第二指令与数据传输接口传输至第一(主要)处理器的第一指令与数据传输接口，进而传送至第一(主要)处理器中的数据读写单元，并依一选定的三维影像格式将这些影像像素写入第一存储单元的相对应储存地址，藉以产生所述的三维影像。再者，本发明于第三实施例提出一种三维影像产生装置，其利用两个数据读写单元以及单个存储单元，并依据三维影像格式分别将像素数据写入到存储单元的对应储存地址，直接在存储单元中产生三维影像，藉以进行三维影像的静态影像储存或是动态影像录影(video clip)。此三维影像产生装置包括第一存储单元、第一(主要)处理器与第二(次要)处理器。第一存储单元用以储存所产生的三维影像。第一(主要)处理器包括第一影像处理单元、第一数据读写单元、第一指令与数据传输接口以及第一任务控制单元。第一(主要)处理器中的各个元件与上述第一实施例相似，在此不予赘述。第二(次要)处理器耦接至所述第一(主要)处理器，其包括第二影像处理单元、第二数据读写单元、第二指令与数据传输接口以及第二任务控制单元。第二(次要)处理器与上述第一实施例及第二实施例中所描述第二(次要)处理器的差异在于，第二(次要)处理器中的第二数据读写单元耦接至第二影像处理单元与第一存储单元。第二数据读写单元接收来自第二影像处理单元处理后的第二影像的像素数据，并依一选定的三维影像格式写入第一存储单元的相对应储存地址，以产生所述的三维影像。第二(次要)处理器中未揭示的其他元件则与上述第一、第二实施例相似，在此不予赘述。基于上述，本发明实施例的三维影像产生装置利用两个影像处理单元来分别处理左右两眼的二维影像，并且通过主要处理单元或是两个数据读写单元，依据一选定的三维影像格式将这两个二维影像即时地整合成三维影像。藉此，本三维影像产生装置不需大量的暂存存储器，因此可大幅节省建置成本、保有良好的影像处理效率、增加三维影像的整合处理速度。为让本发明的上述特征和优点能更明显易懂，下文特举实施例，并配合所附图式作详细说明如下。
图1是现有的一种三维数码相机的实施方框图；图2是依照本发明第二实施例说明一种三维影像产生装置及使用其的三维影像获取设备的功能方框图；图3是依照本发明第一实施例说明在三维影像产生、即时显示与储存的影像信息流的处理不意图4A至图4C分别为目前使用的三种三维影像格式的示意图；图5是依照本发明第二实施例说明一种三维影像产生装置及使用其的三维影像获取设备的功能方框图；图6是依照本发明第二实施例说明在三维影像产生、即时显示与储存的影像信息流的处理不意图；图7是依照本发明第三实施例说明一种三维影像产生装置及使用其的三维影像获取设备的功能方框图；图8是依照本发明第三实施例说明在三维影像产生、即时显示与储存的影像信息流的处理示意图。附图标记:100:三维数码相机；110、112、210、212:影像传感器；120:传输控制单元；130:影像处理单元；134:数据传输单元；136:显示控制单元；160:显示单元；170:可携式储存单元；200、500、700:三维影像产生装置；205、505、705:三维影像获取设备；220:第一(主要)处理器；230:第二(次要)处理器；221、521、721、731:数据读写单元；222、232:影像处理单元；223、233:传感器接口；224、234:任务控制单元；225、235:指令与数据传输接口；225a、235a:12C 接口；225b、235b:GP10 接口；225c、235c:SD10 接口；228:SDIO 传输接口；229:HDMI 接口；240:第一存储单元；540:第二存储单元；740:第一存储单元/双端口存储单元；Al A3、BI B3、Cl C2:虚线箭头；CS:时脉信号；L、L_H、L_V、L_odd、L_even、R、R_H、R_V、R_odd、R_even: 二维影像；MB、SB:影像总线。
具体实施例方式现将详细参考本发明的示范性实施例，在附图中说明所述示范性实施例的实例。另外，凡可能之处，在附图及实施方式中使用相同标号的元件/构件/符号代表相同或类似部分。第一实施例图2是依照本发明第一实施例说明一种三维影像产生装置200及使用其的三维影像获取设备205的功能方框图。三维影像获取设备205包括有两个影像传感器210、220以及三维影像产生装置200。此处所指的三维影像获取设备200可以是可获取立体影像的数码相机、摄影机或相关设备，本实施例不应受限于上述举例。本实施例的影像传感器210、212则以互补金氧半导体影像传感器(CMOS IMAGESENSOR ；CIS)或是电荷藕合元件(Charge Couple Device ;CO))影像传感器作为实现方式。第一影像传感器210经由影像总线MB耦接至三维影像产生装置200的第一(主要)处理器220，其可获取代表人类第一眼(例如，右眼)的二维原始影像，并将此二维原始影像输出至第一(主要)处理器220。同样地，第二影像传感器212经由影像总线SB耦接至三维影像产生装置200的第二(次要)处理器230，其可获取代表人类第二眼(例如，左眼)的二维原始影像，并将此二维原始影像输出至第二(次要)处理器230。此处所谓的“原始影像”，是指影像传感器210、212输出的数码影像，除了可能乘上增益值，并减去偏移量(offset)夕卜，未经过复杂的演算法(例如去杂讯与影像增强)处理，基本上维持彩色滤光片的编排方式输出。举例说明，若影像传感器210、212的彩色滤光片编排是贝尔图案(Bayer pattern),则使环境光线能够以彩色的面貌投影在影像传感器210、212的感光元件上，所感测得到并以贝尔图案(Bayer pattern)输出的二维影像就是本发明所称的“原始影像”。另有一些影像传感器其彩色滤光片的编排不是贝尔图案，而是其它型式，只要输出影像维持彩色滤光片的编排方式，本发明称之为“原始影像”。继续参照图2，三维影像产生装置200包括第一存储单元240、第一(主要)处理器220以及第二(次要)处理器230。于本实施例中，第一存储单元240利用动态随机存取存储器(Dynamic Random Access Memory ；DRAM)来实现。第一存储单元240主要用以储存所产生的三维影像。第一(主要)处理器220及第二(次要)处理器230则可以是应用于影像处理(image processing)的特定应用集成电路(Application-specific integratedcircuit ;ASIC),或是利用现场可编程门阵列(FPGA)加以实现。在此详细说明第一(主要)处理器220及第二(次要)处理器230中各个元件的功能用途。第一(主要)处理器220主要包括第一影像处理单元222、第一数据读写单元221、第一指令与数据传输接口 225以及第一任务控制单元224，上述这些位在第一(主要)处理器220中的各个元件在本实施例中统一利用第一(主要)总线来传输信息。其中，第一指令与数据传输接口以第一指令传输接口(例如，I2C接口 225a及通用输入输出(GPIO)接口 225b)以及第一数据传输接口(例如，安全数码输入输出(SDIO)接口 225c)来实施。藉此，第一指令与数据传输接口 225会耦接至第一数据读写单元221。第一(主要)处理器220还包括与影像传感器210相耦接的传感器接口 223、以及对外传输接口。于本实施例中，对外传输接口可以是耦接至外部可携式储存单元170的SDIO传输接口 228，也可以是高解析度多媒体(HDMI)接口 329，或者两者皆有。第一任务控制单元224则是在进行本实施例中所述的影像处理任务(task)时，会依照任务的编排顺序以及通过第一指令与数据传输接口和第二(次要)处理器230的第二任务控制单元234进行沟通，并发送指令与参数至第一(主要)处理器220中第一影像处理单元222、第一数据读写单元221、第一指令与数据传输接口 225甚至是影像传感器210，藉以负责协调与执行第一(主要)处理器220的运作。另一方面，第一数据读写单元221耦接至第一影像处理单元222与第一存储单元240，且本实施例以DRAM控制器加以实施。于本实施例中，第一(主要)处理器220中第一任务控制单元224会输出相关指令与参数至第一影像传感器210，藉以控制第一影像传感器210的运作。此外，第一任务控制单元224的指令与参数也会同时输出至第二(次要)处理器230的第二任务控制单元234，藉以通过第二任务控制单元234来控制第一影像传感器210的运作。换句话说，第一影像传感器210与第二影像传感器212皆会接收来自于第一(主要)处理器220的指令与参数进行运作。例如，本实施例利用I2C接口 232来控制影像传感器210、212的影像获取参数与控制指令，藉以控制二维影像的焦距、光圈、传输速率等等。第二(次要)处理器230则耦接至第一(主要)处理器220。第二(次要)处理器主要包括第二影像处理单元232、第二指令与数据传输接口 235以及第二任务控制单元234。第二(次要)处理器230还包括与影像传感器212相耦接的传感器接口 233。上述这些位在第二(次要)处理器230中的各个元件在本实施例中统一利用第二(次要)总线来传输信息。上述第二指令与数据传输接口 235是以第二指令传输接口(例如，I2C接口 235a及通用输入输出(GPIO)接口 235b)以及第二数据传输接口(例如，SDIO接口 235c)来实施。藉此，第一指令与数据传输接口 225跟第二指令与数据传输接口 235互相耦接，例如，I2C接口 225a耦接至I2C接口 235a，GPIO接口 225b耦接至GPIO接口 235b，藉以负责第一(主要)处理器220与第二(次要)处理器230的沟通。另一方面，第一数据传输接口(SD10接口 225c)与第二数据传输接口(SD10接口 235c)互相耦接，藉以负责第一(主要)处理器220与第二(次要)处理器230之间的影像数据传输。此外，类似于第一任务控制单元224，第二任务控制单元234则是在进行影像处理任务时，将会通过第二指令与数据传输接口和第一(主要)处理器220的第一任务控制单元224进行沟通，并发送指令与参数至第二(次要)处理器230中第二影像处理单元232、第二数据读写单元231、第二指令与数据传输接口、甚至是影像传感器212，藉以负责协调与执行第二(次要)处理器230的运作。此外，第二指令与数据传输接口耦接至第二影像处理单元232与第一(主要)处理器220的第一指令与数据传输接口。第一指令与数据传输接口以及第二指令与数据传输接口负责第二(次要)处理器230与第一(主要)处理器220的指令与数据传输。于本实施例中，第一影像处理单元222与第二影像处理单元232可以分别还包含一个影像压缩单元。此影像压缩单元可以分别将第一影像处理单元222或第二影像处理单元232处理完后的第一影像与第二影像分别进行影像压缩后，才进行输出。藉此，经由第一影像处理单元222与第二影像处理单元232处理后的第一影像与第二影像可大幅缩小其文件大小。
在此以详细说明三维影像产生装置200在即时显示时影像信息流的制动流程，图3是依照本发明第一实施例说明三维影像产生、即时显示与储存的影像信息流的处理示意图。首先，第一影像处理单元222的输入端经由传感器接口 223以接收由影像传感器210所获取、代表人类右眼的原始影像的多个像素数据，如同虚线箭头Al所示。然后，第一影像处理单元222对代表人类右眼的原始影像即时性地进行影像处理，并在经过影像处理后产生第一影像(右眼影像)的多个影像像素。接着，第一数据读写单元221接收来自第一影像处理单元222处理后的第一影像的影像像素，并依照一选定的、现今较常使用的三维影像格式，将上述第一影像的影像像素写入第一存储单元240的人类右眼相对应储存地址当中(虚线箭头A2)。在进行上述虚线箭头Al的同时，第二影像处理单元232的输入端也会同时接收代表人类左眼的原始影像的多个像素数据，如同虚线箭头BI所示。然后，第二影像处理单元232对代表人类左眼的原始影像即时性地进行影像处理，并在经过影像处理后产生第二影像(左眼影像)的多个影像像素。接着，第二影像处理单元232处理后的第二影像的影像像素便会通过SDIO接口235c (也就是第二指令与数据传输接口中的第二数据传输接口)传输至第一(主要)处理器220的SDIO接口 225c (第一指令与数据传输接口中的第一数据传输接口)，进而传送至第一(主要)处理器220中的第一数据读写单元221中，如虚线箭头B2所示。藉此，第一数据读写单元221便可依据一选定的三维影像格式，将上述第二影像的影像像素写入第一存储单元240的人类左眼相对应储存地址当中。藉此，虚线箭头A2及B2应该可以同时进行写入，藉以加速处理效率。其中，第一数据读写单元221与第一存储单元240之间的传输速度至少需快过数据传输接口 225c与235c的传输速度2倍以上。如此，第一数据读写单元221便可先行储存第一影像的影像像素(也就是先处理箭头A2)，再储存第二影像的影像像素(也就是处理箭头A2完后再行处理箭头B2)。在影像数据写入第一存储单元240之前，主要处理器220中的任务控制单元224会通过第一数据读写单元221先行针对第一存储单元240依一选定的三维影像格式进行相对应储存地址的设定。换句话说，主要处理器220会对第一存储单元240中的特定储存地址先行写入三维影像的文件标头(file header)，并将储存地址进行分配，让数据读写单元221得知右眼影像与左眼影像所需存入的相应存储器地址，以利于箭头A2与B2的实现。在此说明上述“三维影像格式”在实施上的举例，图4A至图4C分别为目前最常使用的三种三维影像格式的示意图。详言之，图4A、图4B及图4C分别为三种三维影像格式:影像集合(frame packing)格式、并行排列(side-by-side horizontal)格式以及上下排列(top-bottom)格式，在第一存储单元240中相对应的存储器储存区块示意图。标示为“L”的二维影像表示为图3中影像传感器210获取并处理后的左眼影像的影像像素，而标示为“R”的二维影像则表示为图3中影像传感器212获取并处理后的右眼影像的影像像素。请同时参考图3与图4A，如果主要处理器220利用影像集合格式来整合左眼影像L与右眼影像R时，第一种影像集合格式是将完整的左眼影像L先储存于三维影像数据前端的存储器区块，加上具有多条空白扫描线的主动空白区域之后，再存入完整的右眼影像R于三维影像数据后端的存储器区块，以整合出符合影像集合格式的三维影像。
另一种影像集合格式则是将左眼影像L的奇数条扫描线、偶数条扫描线分别存入二维影像L_odd及L_even的相应存储器地址，右眼影像R亦如同左眼影像L 一般地被存入二维影像R_odd及R_even的相应存储器地址，并依据图4A最右方的排列方式，在每个影像之间加上具有多条空白扫描线的主动空白区域，藉以整合出符合影像集合格式的三维影像。并行排列格式则如图4B所示，图3的第一数据读写单元221会分别舍弃左眼影像L及右眼影像R中每条扫描线像素个数的一半，例如，舍弃每条扫描线中奇数个影像像素或偶数个影像像素，而存入未被舍弃的二维影像L_H及R_H至图3的第一存储单元240，并依据图4B右方的排列方式来整合出符合并行排列格式的三维影像。相似地，上下排列格式如图4C所示，图3的主要影像单元220会分别舍弃左眼及右眼影像L与R中扫描线数量的一半，例如，舍弃奇数条或偶数条扫描线，而存入未被舍弃的二维影像L_V及R_V，并依据图4C右方的排列方式来整合出符合上下排列格式的三维影像。基于上述可知，第一(主要)处理器220与第二(次要)处理器230的差异在于，第一(主要)处理器220具有第二(次要)处理器230所无的第一数据读写单元221以及对外传输接口(SD10传输接口 228和/或HDMI接口 329)。因此，利用相同的2个处理器来便可分别执行第一(主要)处理器220与第二(次要)处理器230的功能，需仅禁用第二(次要)处理器230中的数据读写单元以及对外传输接口即可。或是，第一(主要)处理器220与第二(次要)处理器230也可利用不同的2个处理器来加以实施，并且上述第一(主要)处理器220中的第一影像处理单元222与第二(次要)处理器230中的第二影像处理单元232基本上产生相同的影像处理结果。有鉴于此，当通过上述教示而在第一存储单元240中产生三维影像之后，主要处理器220便可通过HDMI接口 229将具三维影像格式的三维影像即时地传输至显示单元160，藉以进行即时显示(箭头Cl)，或是，主要处理器220通过SDIO传输接口 228将上述三维影像存入可携式储存单元170中(箭头C2),例如安全数码(Secure Digital ；SD)卡,藉以完成三维静态影像获取或动态影像录影。于其他实施例中，通过传输时序的配合，三维影像产生装置200也可以不需要第一存储单元240来暂存，而可直接依照上述三维影像格式的顺序，将取得的左右眼影像直接传输到HMDI接口 229和/或SDIO传输接口 228，即可实现更为快捷且不需缓冲的即时显示、静态影像储存。第二实施例图5是依照本发明第二实施例说明一种三维影像产生装置500及使用其的三维影像获取设备505的功能方框图。第二实施例与第一实施例相类似，两者的差异在于，三维影像产生装置500还包括一第二存储单元540，第二(次要)处理器230也还包括第二数据读写单元521。第一数据读写单元221耦接至第一存储单元240，藉以负责写入与读取储存于第一存储单元240中的数据。相类似地，第二数据读写单元耦接至第二存储单元540，其负责写入与读取储存于第二存储单元540中的数据。第二任务控制单元234也会发送指令到第二数据读写单元521，藉以负责协调与执行第二(次要)处理器230的运作。藉此，三维影像产生装置500便可利用两个影像处理单元220、230以及其各自具有的存储单元240、540来处理具有较大文件尺寸的3D影像，藉以进行3D影像的即时显示、高解析度的静态影像储存或是动态影像录影(video clip)。其他有关于三维影像产生装置500的元件及功能用途皆与第一实施例相类似，在此不予赘述。图6是依照本发明第二实施例说明在三维影像产生、即时显示与储存的的影像信息流的处理示意图。本实施例的影像传感器210、212主要是应用于较高的解析度与较快的影像传输速度，其超过第一影像处理单元222与第二影像处理单元232即时运算的能力，因而需要足够的缓冲存储器，以先行暂存这些二维视频影像。因此，如同虚线箭头Al、BI所示，影像传感器210、212所获取代表人类左眼、右眼的原始图案的左眼影像或右眼影像中部分或是全部的像素数据分别通过传感器接口 223、233储存于第一存储单元240与第二存储单元中。上述“部分或是全部的像素数据”的数据大小可以依据影像处理单元230、232的处理速度来进行调整，使影像处理单元230、232能够达到最佳化的处理效能。图6中，影像传感器210、212所获取代表人类左眼、右眼的原始图案的左眼影像或右眼影像中部分或是全部的像素数据分别由传感器接口 223与233接收后，依虚线箭头Al、BI分别通过第一影像处理单元222与第二影像处理单元232，经过一个或多个可即时运算的预处理，例如减去直流偏移量(DC offset)、乘上数码增益(digital gain)、伽玛(Gamma)校正等，再分别通过第一数据读写单元221与第二数据读写单元521写入第一存储单元240与第二存储单元540中。于部分实施例中，图6中影像传感器210、212所获取代表人类左眼、右眼的原始图案的左眼影像或右眼影像中部分或是全部的像素数据分别由传感器介面223与233接收后，虚线箭头A1、B1也可以跳过(未示意于图6)第一影像处理单元222与第二影像处理单元232，使其未经过任何预处理而直接分别通过第一数据读写单元221与第二数据读写单元521写入第一存储单元240与第二存储单元540中。影像传感器210、212所获取的二维影像大小与获取速率应该相同。因此，当第一存储单元240与第二存储单元540同时储存到固定大小的右眼与左眼原始影像的像素数据时，第一影像处理单元222与第二影像处理单元232分别通过第一数据读写单元221与第二数据读写单元521来读取第一影像(右眼影像)与第二影像(左眼影像)的像素数据，并经过影像处理后，分别产生第一影像(右眼影像)与第二影像(左眼影像)的多个影像像素，如虚线箭头A2、B2所示。之后，第一(主要)处理器220通过第一数据读写单元221以依一选定的三维影像格式写入第一存储单元240的相对应储存地址(虚线箭头A3)。与此同时，如虚线箭头B4所示，第二影像处理单元232处理后的第二影像的多个影像像素则会通过第二指令与数据传输接口(SID0接口 235c)传输至第一(主要)处理器220的第一指令与数据传输接口(SID0接口 225c)，进而传送至第一(主要)处理器220中的第一数据读写单元221，并依一选定的三维影像格式将这些第二影像的影像像素写入第一存储单元240的相对应储存地址。除此之外，第二影像处理单元232处理后的第二影像的多个影像像素也可如虚线箭头B3所示，先通过第二数据读写单元521暂储存于第二存储单元240，等到累积到一定的像素数目之后，再通过第二数据读写单元521读取送至第二指令与数据传输接口(SID0接口 235c)，传输至第一(主要)处理器220的第一指令与数据传输接口(SID0接口 225c)，进而传送至第一(主要)处理器220中的第一数据读写单元221，并依一选定的三维影像格式将这些第二影像的影像像素写入第一存储单元240的相对应储存地址。在三维影像数据写入第一存储单元240之前，主要处理器220中的任务控制单元224会通过第一数据读写单元221先行针对第一存储单元240依一选定的三维影像格式进行相对应储存地址的设定。换句话说，主要处理器220会对第一存储单元240中的特定储存地址先行写入三维影像的文件标头(file header)，并将储存地址进行分配，让数据读写单元221得知右眼影像与左眼影像所需存入的相应存储器地址，以利于箭头A3、B3与B4的实现。由于本实施例将两个存储单元240、540分别配置给处理器220、230以进行缓冲，因此三维影像产生装置500便可以应用于具备较高解析度与较快的影像传输速度的影像传感器210与212上，并将产生的三维影像储存于在第一存储单元240中。藉此，主要处理器220便可通过HDMI接口 229将上述的三维视频影像传送至显示单元160，藉以进行即时显示(箭头Cl)。或是，主要处理器220通过SDIO传输接口 228将上述三维视频影像存入可携式储存单元170中(箭头C2)，从而完成三维静态影像获取或动态影像录影。于其他实施例中，图5及图6所述的第二实施例也可以假设本实施例的影像传感器210、212将会获取较低解析度的二维影像或是利用较慢的传输速度经由传感器接口接收原始影像。在此应用下，图三所描述的控制流程也可适用于本案的第二实施例，在此不予赘述相关实施细节。第三实施例图7是依照本发明第三实施例说明一种三维影像产生装置700及使用其的三维影像获取设备705的功能方框图。第三实施例与上述第一、第二实施例相类似，与上述实施例的差异在于，三维影像产生装置700的第一(主要)处理器220及第二(次要)处理器230分别包括第一数据读写单元721与第二数据处理单元731。第一数据读写单元721与第二数据处理单元731分别利用第一读写总线与第二读写总线以共同耦接至第一存储单元740。也就是说,第一存储单元740是一种双端口(dual port)存储单元,其至少包含第一读写总线(耦接至第一数据读写单元721)与第二读写总线(耦接至第二数据读写单元731)，藉以同时被两个处理器写入数据与读取数据。相对而言，第一与第二实施例的存储单元240与540是单端口 (single port)存储单元。藉此，三维影像产生装置700便利用两个数据读写单元721、731以及单一个双端口存储单元740，并依据三维影像格式分别将左眼影像及右眼影像的像素数据同时写入到第一存储单元740的对应储存地址。三维影像产生装置700便可直接在第一存储单元740中产生所需的三维影像，从而得以进行三维影像的静态影像储存或是动态影像录影(videoclip)。此外，第一(主要)处理器220与第二(次要)处理器230中的各个元件与上述第一实施例相似，在此不予赘述。图8是依照本发明第三实施例说明在三维影像产生、即时显示与储存的影像信息流的处理示意图。本实施例主要是应用在影像传感器210、212具备较高的解析度与较快的影像传输速度，并超过第一影像处理单元222与第二影像处理单元232即时运算的能力，因而需要足够的缓冲存储器，以先行暂存这些二维视频影像。
如同虚线箭头A1、B1所示，影像传感器210、212所获取代表人类左眼、右眼的原始图案的左眼影像或右眼影像中部分或是全部的像素数据分别通过传感器接口 223、233储存于第一存储单元740中。上述“部分或是全部的像素数据”的数据大小可以依据影像处理单元230、232的处理速度来进行调整，使影像处理单元230、232能够达到最佳化的处理效能。图8中影像传感器210、212所获取代表人类左眼、右眼的原始图案的左眼影像或右眼影像中部分或是全部的像素数据分别由传感器接口 223与233接收后，依虚线箭头Al、BI分别通过第一影像处理单元222与第二影像处理单元232，经过一个或多个可即时运算的预处理，例如减去直流偏移量(DC offset)、乘上数码增益(digital gain)、伽玛(Gamma)校正等，再分别通过第一数据读写单元721与第二数据读写单元731写入第一存储单元740。于部分实施例中，图8中影像传感器210、212所获取代表人类左眼、右眼的原始图案的左眼影像或右眼影像中部分或是全部的像素数据分别由传感器接口 223与233接收后，依虚线箭头A1、B1也可以跳过(未示意于图8)第一影像处理单元222与第二影像处理单元232，使其未经过任何预处理而直接分别通过第一数据读写单元721与第二数据读写单元731写入第一存储单元740中。影像传感器210、212所获取的二维影像大小与获取速率应该相同。因此，当第一存储单元740同时储存到固定大小的右眼与左眼原始影像的像素数据时，第一影像处理单元222与第二影像处理单元232分别通过第一数据读写单元721与第二数据读写单元731来读取第一影像(右眼影像)与第二影像(左眼影像)的像素数据，并经过影像处理后，分别产生第一影像(右眼影像)与第二影像(左眼影像)的多个影像像素，如虚线箭头A2、B2所示。之后，第一(主要)处理器220通过第一数据读写单元721以依一选定的三维影像格式将处理后的第一影像(右眼影像)写入第一存储单元740的相对应储存地址(虚线箭头A3)。与此同时，如虚线箭头B3所示，第二(次要)处理器230通过第二数据读写单元731以依一选定的三维影像格式将处理后的第二影像(左眼影像)的多个影像像素写入第一存储单元740的相对应储存地址。在三维影像数据写入该双端口存储单元740之前，主要处理器220中的任务控制单元224会通过第一数据读写单元221先行针对该双端口存储单元740依一选定的三维影像格式进行相对应储存地址的设定。换句话说，主要处理器220会对该双端口存储单元740中的特定储存地址先行写入三维影像的文件标头(file header)，并将储存地址进行分配，让数据读写单元221得知右眼影像与左眼影像所需存入的相应存储器地址，以利于箭头A3与B3的实现。藉此，由于本实施例将一个双端口存储单元740配置给处理器220、230以进行缓冲，因此三维影像产生装置700便可以应用于具备较高解析度与较快的影像传输速度的影像传感器210与212上，并将产生的三维影像储存于在第一存储单元740中。藉此，主要处理器220便可通过HDMI接口 229将三维影像传输至显示单元160，以进行即时显示(箭头Cl)。主要处理器220也可通过SDIO传输接口 228将上述三维影像存入可携式储存单元170中(箭头C2)，藉以完成三维静态影像获取或动态影像录影。
基于上述实施例，此处所述的三维影像产生装置利用两个影像处理单元来分别处理左右两眼的二维影像，并且通过主要处理单元220或是两个数据读写单元，依据一选定的三维影像格式将这两个二维影像即时地整合成三维影像。藉此，本三维影像产生装置不需大量的暂存存储器，因此可大幅节省建置成本、保有良好的影像处理效率、增加三维影像的整合处理速度。此外，次要处理器230由于不需要整合三维影像，因此可选用运算效能较第一(主要)处理器220为低的运算装置。另一方面，第二(次要)处理器230中也可以不需要对外传输接口(例如，HDMI接口 229或是SDIO传输接口 228)。因此，本实施例的三维影像产生装置以及使用其的三维影像获取设备可通过上述设计来大幅节省建置成本，并同时保有良好的影像处理效率。虽然本发明已以实施例揭示如上，然其并非用以限定本发明，任何所属技术领域的普通技术人员，当可作些许更动与润饰，而不脱离本发明的精神和范围。
权利要求
1.一种三维影像产生装置，包括: 一第一存储单元，储存所产生的一三维影像； 一第一处理器，其包括: 一第一影像处理单元，其输入端接收代表人类第一眼的原始影像的多个像素数据，并经过影像处理以产生该第一影像处理单元处理后的一第一影像的多个像素数据； 一数据读写单元，稱接至该第一影像处理单元与该第一存储单元，接收来自该第一影像处理单元处理后的该第一影像的该些像素数据，并依一选定的一三维影像格式写入该第一存储单元的相对应储存地址； 一第一指令与数据传输接口，耦接至该数据读写单元；以及 一第一任务控制单元，发送指令与参数至该第一影像处理单元、该数据读写单元、以及该第一指令与数据传输接口，负责协调与执行该第一处理器的运作；以及一第二处理器，耦接至该第一处理器，其包括: 一第二影像处理单元，其输入端接收代表人类第二眼的原始影像的多个像素数据，并经过影像处理以产生该第二影像处理单元处理后的一第二影像的多个像素； 一第二指令与数据传输接口，耦接至该第二影像处理单元与该第一处理器的该第一指令与数据传输接口，其中该第一指令与数据传输接口以及该第二指令与数据传输接口负责该第二处理器与该第一处理器的指令与数据传输；以及 一第二任务控制单元，通过该第二指令与数据传输接口和该第一处理器沟通，并发送指令至该第二影像处理单元、该第二数据读写单元、以及该第二指令与数据传输接口，负责协调与执行该第二处理器的运作； 其中，该第二影像处理单元处理后的该第二影像的多个像素通过该第二指令与数据传输接口传输至该第一处理器的该第一指令与数据传输接口，进而传送至该第一处理器中的该数据读写单元，并依一选定的该三维影像格式将该些像素数据写入该第一存储单元的相对应储存地址，以产生该三维影像。
2.根据权利要求1所述的三维影像产生装置，其中该第一影像处理单元与该第二影像处理单元还分别包含一压缩单元，将该处理完后的该第一影像与该第二影像分别压缩后输出。
3.根据权利要求1所述的三维影像产生装置，其中该第一指令与数据传输接口分别以一第一指令传输接口与一第一数据传输接口来实施，该第二指令与数据传输接口分别以一第二指令传输接口与一第二数据传输接口来实施， 其中，该第一指令传输接口与该第二指令传输接口互相耦接，负责该第一处理器与该第二处理器的沟通；该第一数据传输接口与该第二数据传输接口互相耦接，负责该第一处理器与该第二处理器之间的影像数据传输。
4.根据权利要求1所述的三维影像产生装置，其中还包括: 一第一影像传感器，耦接至该第一处理器，用以获取代表人类第一眼的二维的原始影像并输出至该第一处理器；以及 一第二影像传感器，耦接至该第二影像处理单元，用以获取代表人类第二眼的二维的原始影像并输出至该第二处理器， 其中，该第一影像传感器与第二影像传感器接收来自该第一处理器的指令与参数进行运作。
5.根据权利要求4所述的三维影像产生装置，其中该第一处理器的指令与参数先行输出至该第二处理器，再通过该第二处理器传递到该第二影像传感器，藉以控制该第二影像传感器的运作。
6.根据权利要求1所述的三维影像产生装置，其中该第一处理器与该第二处理器利用相同的2个处理器来实施，其分别执行该第一处理器与该第二处理器的功能。
7.根据权利要求1所述的三维影像产生装置，其中该第一处理器与该第二处理器利用不同的2个处理器来实施，且该第一处理器中的该第一影像处理单元与该第二处理器中的该第二影像处理单元基本上产生相同的影像处理结果。
8.一种三维影像产生装置，包括: 一第一存储单元，用以储存至少一代表人类第一眼的一第一影像的多个或全部的像素数据，并储存所产生的一三维影像； 一第一处理器，其包括: 一第一数据读写单元，耦接至该第一存储单元，负责写入或读取储存于该第一存储单元的数据； 一第一影像处理单元，耦接至该第一数据读写单元，通过该第一数据读写单元读取该第一影像的该些像素数据，经过 影像处理后以产生该第一影像处理单元处理后的该第一影像的多个影像像素，并依一选定的一三维影像格式写入该第一存储单元的相对应储存地址； 一第一指令与数据传输接口，耦接至该第一数据读写单元；以及一第一任务控制单元，发送指令至该第一影像处理单元、该第一数据读写单元、以及该第一指令与数据传输接口，负责协调与执行该第一处理器的运作；以及 一第二存储单元，用以储存至少一代表人类第二眼的一第二影像的多个或全部的像素数据； 一第二处理器，其包括: 一第二数据读写单元，耦接至该第二存储单元，负责写入或读取储存于该第二存储单元的数据； 一第二影像处理单元，耦接至该第二数据读写单元，通过该第二数据读写单元读取该第二影像的该些像素数据，经过影像处理后以产生该第二影像处理单元处理后的该第二影像的多个影像像素； 一第二指令与数据传输接口，耦接至该第二影像处理单元与该第一处理器的该第一指令与数据传输接口，其中该第一指令与数据传输接口以及该第二指令与数据传输接口负责该第二处理器与该第一处理器的数据传输；以及 一第二任务控制单元，通过该第二指令与数据传输接口和该第一处理器沟通，并发送指令至该第二影像处理单元、该第二数据读 写单元、以及该第二指令与数据传输接口，负责协调与执行该第二处理器的运作； 其中，该第二影像处理单元处理后的该第二影像的多个像素通过该第二指令与数据传输接口传输至该第一处理器的该第一指令与数据传输接口，进而传送至该第一处理器中的该第一数据读写单元，并依一选定的该三维影像格式将该些像素数据写入该第一存储单元的相对应储存地址。
9.根据权利要求8所述的三维影像产生装置，其中该第一影像处理单元与该第二影像处理单元还分别包含一压缩单元，将该处理完后的该第一影像与该第二影像分别压缩后输出。
10.根据权利要求8所述的三维影像产生装置，其中该第一指令与数据传输接口分别以一第一指令传输接口与一第一数据传输接口来实施，该第二指令与数据传输接口可分别以一第二指令传输接口与一第二数据传输接口来实施， 其中，该第一指令传输接口与该第二指令传输接口互相耦接，负责该第一处理器与该第二处理器的沟通；该第一数据传输接口与该第二数据传输接口互相耦接，负责该第一处理器与该第二处理器之间的影像数据传输。
11.根据权利要求8所述的三维影像产生装置，其中还包括: 一第一影像传感器，耦接至该第一处理器，用以获取代表人类第一眼的二维的原始影像并输出至该第一处理器，并经由该第一处理器内的该第一数据读写单元写入该第一存储单元；以及 一第二影像传感器，耦 接至该第二处理器，用以获取代表人类第二眼的二维的原始影像并输出至该第二处理器，并经由该第二处理器内的该第二数据读写单元写入该第二存储单元， 其中，该第一影像传感器与第二影像传感器接收来自该第一处理器的指令与参数进行运作。
12.根据权利要求11所述的三维影像产生装置，其中该第一处理器的指令与参数先行输出至该第二处理器，再通过该第二处理器传递到该第二影像传感器，藉以控制该第二影像传感器的运作。
13.根据权利要求8所述的三维影像产生装置，其中该第一处理器与该第二处理器利用相同的2个处理器来实施，其分别执行该第一处理器与该第二处理器的功能。
14.根据权利要求8所述的三维影像产生装置，其中该第一处理器与该第二处理器利用不同的2个处理器来实施，且该第一处理器中的该第一影像处理单元与该第二处理器中的第二影像处理单元基本上产生相同的影像处理结果。
15.一种三维影像产生装置，包括: 一第一存储单元，至少包含一第一读写总线与一第二读写总线，用以储存所产生的一二维影像； 一第一处理器，其包括: 一第一影像处理单元，其输入端接收代表人类第一眼的原始影像的多个像素数据，并经过影像处理以产生该第一影像处理单元处理后的一第一影像的多个像素数据； 一第一数据读写单元，耦接至该第一影像处理单元与该第一存储单元的第一读写总线，接收来自该第一影像处理单元处理后的代表人类第一眼的影像的该些像素数据，依一选定的一三维影像格式写入该第一存储单元的相对应储存地址； 一第一指令与数据传输接口，耦接至该第一数据读写单元；以及 一第一任务控制单元，发送指令与参数至该第一影像处理单元、该第一数据读写单元、以及该第一指令与数据传输接口，负责协调与执行该第一处理器的运作；以及一第二处理器，耦接至该第一处理器，其包括: 一第二影像处理单元，其输入端接收代表人类第二眼的原始影像的多个像素数据，并经过影像处理以产生该第二影像处理单元处理后的一第二影像的多个像素； 一第二数据读写单元，耦接至该第二影像处理单元与该第一存储单元的第二读写总线.一第二指令与数据传输接口，耦接至该第二影像处理单元与该 第一处理器的该第一指令与数据传输接口，其中该第一指令与数据传输接口以及该第二指令与数据传输接口负责该第二处理器与该第一处理器的指令与数据传输；以及 一第二任务控制单元，通过该第二指令与数据传输接口和该第一处理器沟通，并发送指令至该第二影像处理单元、该第二数据读写单元、以及该第二指令与数据传输接口，负责协调与执行该第二处理器的运作； 其中，该第二数据读写单元接收来自该第二影像处理单元处理后的该第二影像的该些像素数据，并将代表人类第二眼的影像依一选定的该三维影像格式写入该第一存储单元的相对应储存地址，以产生该三维影像。
16.根据权利要求15所述的三维影像产生装置，其中该第一影像处理单元与该第二影像处理单元还分别包含一压缩单元，将该处理完后的该第一影像与该第二影像分别压缩后输出。
17.根据权利要求15所 述的三维影像产生装置，其中该第一指令与数据传输接口分别以一第一指令传输接口与一第一数据传输接口来实施，该第二指令与数据传输接口分别以一第二指令传输接口与一第二数据传输接口来实施， 其中，该第一指令传输接口与该第二指令传输接口互相耦接，负责该第一处理器与该第二处理器的沟通；该第一数据传输接口与该第二数据传输接口互相耦接，负责该第一处理器与该第二处理器之间的影像数据传输。
18.根据权利要求15所述的三维影像产生装置，其中还包括: 一第一影像传感器，耦接至该第一处理器，用以获取代表人类第一眼的二维的原始影像并输出至该第一处理器；以及 一第二影像传感器，耦接至该第二影像处理单元，用以获取代表人类第二眼的二维的原始影像并输出至该第二处理器， 其中，该第一影像传感器与第二影像传感器接收来自该第一处理器的指令与参数进行运作。
19.根据权利要求18所述的三维影像产生装置，其中该第一处理器的指令与参数先行输出至该第二处理器，再通过该第二处理器传递到该第二影像传感器，藉以控制该第二影像传感器的运作。
20.根据权利要求15所述的三维影像产生装置，其中该第一处理器与该第二处理器利用相同的2个处理器来实施，其分别执行该第一处理器与该第二处理器的功能。
21.根据权利要求15所述的三维影像产生装置，其中该第一处理器与该第二处理器利用不同的2个处理器来实施，且该第一处理器中的该第一影像处理单元与该第二处理器中的该第二影像处理单元基本上产生相同的影像处理结果。
全文摘要
一种三维影像产生装置，其包括第一存储单元、第一(主要)处理器以及第二(次要)处理器。第一处理器与第二处理器各自包括第一及第二影像处理单元。第一处理器还包括数据读写单元。第一及第二影像处理单元接收代表人类第一眼或第二眼的影像，并经过影像处理以产生第一影像或第二影像。数据读写单元接收来自第一影像处理单元处理后的第一影像，并依一选定的三维影像格式写入第一存储单元。第二影像处理单元处理后的第二影像传输至第一处理器中的数据读写单元，并依选定的三维影像格式写入第一存储单元。
文档编号H04N13/02GK103188512SQ20111044757
公开日2013年7月3日 申请日期2011年12月28日 优先权日2011年12月28日
发明者潘佳河, 廖明俊, 陈水淋 申请人:华晶科技股份有限公司