专利名称：图像信号处理器复用的制作方法
图像信号处理器复用背景本文描述的主题一般涉及图像处理领域，且尤其涉及图像信号处理器复用的系统和方法。诸如移动电话、个人数字助理、便携计算机等电子设备可包括相机以捕捉图像。作为示例，移动电话可包括设置在电话背面上的相机以捕捉图像。电子设备可配备有图像信号处理流水线以捕捉由相机收集的图像、处理图像并将图像存储在存储器中和/或显示图像。用于使电子设备配备有多个相机的技术可找到实用。 附图简述参考附图来描述具体实施方式
。图I是根据一些实施例用于图像信号处理器复用的电子设备的示意图。图2是根据实施例用于图像信号处理器复用的组件的示意图。图3是根据一些实施例的图像信号处理器复用中的数据流的示意图。图4是示出根据一些实施例的图像信号处理器复用的流程图。
具体实施例方式本文描述的是用于图像信号处理器复用的示例性系统和方法。在以下描述中，阐述了许多具体细节以提供对各实施例的透彻理解。然而，本领域的技术人员将理解无需这些具体细节就可实践各实施例。在其它实例中，并未对公知方法、程序、组件以及电路进行详细图示和描述以免模糊具体实施例。在一些实施例中，本文描述的主题使得电子设备能够配备有多个相机而不需要独立的图像信号处理器信道。因此，本文描述的系统和方法使得电子设备能够通过单个图像处理器流水线复用来自多个相机的图像信号。图像信号可被存储在存储器中和/或显示在显示设备上。图I是根据一些实施例用于图像信号处理器复用的电子设备的示意图。参考
图1，在一些实施例中，电子设备Iio可体现为移动电话、个人数字助理(PDA)等。电子设备110可包括用于收发RF信号的RF收发机150和用于处理由RF收发机150接收的信号的信号处理模块152。RF收发机可经由诸如蓝牙或802. IlX之类的协议实现本地无线连接。遵守IEEE802. 11a、b或g的接口(参见，例如，用于IT-电信和LAN/MAN系统之间的信息交换的IEEE标准一第二部分无线LAN媒体访问控制(MAC)和物理层(PHY)规范修订4 :在2. 4GHz频带中的更高数据率扩展，802. 11G-2003)。无线接口的另一个示例是通用分组无线电服务(GPRS)接口(参见例如，GPRS手机要求指南，全球移动通信系统/GSM协会，版本3. O. 1,2002年12月)。电子设备110还可包括一个或多个处理器154和存储器模块156。正如本文所使用的，术语“处理器”表示任意类型的计算元件，诸如但不限于微处理器、微控制器、复杂指令集计算(CSIC)微处理器、精简指令集(RISC)微处理器、超长指令字(VLIW)微处理器或任何其它类型的处理器或处理电路。在一些实施例中，处理器154可以是可从从美国加利福尼亚州圣克拉拉市的英特尔公司购买到的Intel PXA27x处理器族中的一个或多个处理器。或者，可使用其它CPU,诸如英特尔的丨tanium 、XEON 和CeleroiT 处理器。而且，可利用来自其它制造者的一个或多个处理器。此外，处理器可具有单核或多核设计。在一些实施例中，存储器模块156包括随机存取存储器(RAM);然而，可利用诸如动态RAM (DRAM)、同步DRAM (SDRAM)等其它存储器类型实现存储器模块156。电子设备110还可包括诸如键盘158和一个或多个显不器160之类的一个或多个输入/输出接口。在一些实施例中，电子设备110包括两个或更多个相机162和图像信号处理器164。作为示例而非限制，第一相机162可定位在电子设备110的前面，而第二相机可定位在电子设备110的背面。将参考图2-4进一步详细地解释相机和图像信号处理器164及相关联的流水线的各方面。图2是根据实施例用于图像信号处理器复用的组件的示意图。参考图2，在一些实施例中，ISP模块164可被实现为集成电路或其组件，或芯片组，或芯片上系统(SOC)内·的模块。在可选实施例中，ISP模块164可被实现为在例如现场可编程门阵列(FPGA)之类的可编程设备中编码的逻辑，或被实现为通用处理器上的逻辑指令或诸如数字信号处理器(DSP)或单指令多数据(SMD)向量处理器之类的专用处理器上的逻辑指令。在图2所述的实施例中，ISP模块164包括图像信号处理器212、任务管理器220、第一相机接收器222和第二相机接收器224、直接存储器访问(DMA)引擎226和存储器管理单元(MMU)228。ISP模块164耦合于存储器模块156。存储器模块156保持第一寄存器230和第二寄存器232、帧缓冲器A 240和帧缓冲器A’242、帧缓冲器B 250和帧缓冲器B’252。每个相机的3A (自动白平衡、自动聚焦、自动曝光)的两个线程400A和400B运行在主CPU上，主CPU可对应于图I描述的处理器154。参考图2-4解释电子设备的操作。在一些实施例中，来自第一相机162A的图像被输入到第一接收器222 (操作410)，而来自第二相机162B的图像被输入到第二接收器224(操作415)。在一些实施例中，相机162A和162B (在本文中有时由附图标记162共同指代)可包括光学配置，例如，耦合到例如电荷耦合器件(CCD)的图像捕捉设备的一个或多个透镜。电荷耦合器件的输出可以是拜耳帧(Bayer frame)格式。可及时采样从C⑶或CMOS设备输出的拜耳帧，以产生一系列拜耳帧，这些帧被引导到接收器222、224。这些未经处理的图像帧在本文中有时被称为原始帧。本领域的技术人员将意识到原始图像帧可体现为数据值的阵列或矩阵。在一些实施例中，用于调节聚焦、白平衡和曝光的控制程序被实现在进程线程3A、400A和400B中。在操作420 (图4)，原始帧被存储在帧缓冲器中。参考图2和3，来自相机162的图像被输入到接收器222、224。在一些实施例中，直接存储器访问引擎220检索来自接收器A 216的图像帧并将该图像帧存储在帧缓冲器A 240中。类似地，DMA引擎220检索来自接收器B 218的图像帧并将该图像帧存储在帧缓冲器B 250中。操作425-440限定一环路，通过该环路帧缓冲器240、250中的原始帧被处理成视频流格式。在一些实施例中，帧处理每次完成来自每个相机源的一个帧，使得帧处理是交织的。因此，在操作425，帧缓冲器A的内容通过图像信号处理器接口 214输入到图像信号处理器212，它将帧缓冲器A的内容馈送到图像信号处理器流水线216。如图3所示，在流水线216中处理帧缓冲器A的内容，例如，通过将帧缓冲器240的内容从原始拜耳帧转换成适当的视频格式，例如相应数量的YUV视频帧。图像信号处理器222可利用线程3A 400A传送来自帧缓冲器A的参数。处理线程3A 400A可使用这些参数来设置相机162上的适当设置。可通过首先存储在寄存器A中来传送3A参数和用于处理帧缓冲器A中的帧的参数。在操作430，直接存储器访问(DMA)引擎226在存储器156的存储器缓冲器242中存储YUV视频帧。如果在操作435，未完成帧处理，则控制传回操作425，且帧缓冲器中的更多的原始帧以交织方式被处理成视频流格式。作为示例，在利用两个或更多个相机的实施例中，帧缓冲器B的内容通过图像信号处理器接口 214被输入到图像信号处理器，它将帧缓冲器B的内容馈送到图像信号处理器流水线216。在流水线中处理帧缓冲器B的内容，例如，通过将帧缓冲器的内容从原始拜耳帧转换成适当的视频格式，例如相应数量的YUV视频帧。基于通过寄存器B传送的参数处理3A 400帧B。在操作430，从缓冲器中的原始视频帧生成 的视频流被存储在存储器中。在一些实施例中，DMA引擎226在存储器156的第二帧缓冲器B’ 252中存储从帧缓冲器B 240生成的视频流。在一些实施例中，视频流可被存储在画中画视图中。在一些实施例中，可通过多视频编码器/解码器(编解码器)将视频流编码并保持为两个流，使得视频流可显示在任何目标设备上。而且，如果在操作435，未完成帧处理，则控制传送到操作440，且处理从接收器B切换回接收器A。因此，操作425-435限定一环路，通过该环路，来自多个相机的原始帧可被复用成视频流并存储在电子设备的存储器中。相反，如果在操作435，帧缓冲器完成处理，则控制传送到操作445，且使视频流适合显示。在一些实施例中，视频流可被组合成画中画视图。在操作450，视频流可被呈现在显示器上。本文中引用的术语“逻辑指令”涉及可被一个或多个机器理解以执行一个或多个逻辑操作的表达式。例如，逻辑指令可包括能被处理器编译器解释以对一个或多个数据对象执行一个或多个操作的指令。然而，这仅仅是机器可读指令的示例，且实施例不限于此方面。本文中引用的术语“计算机可读介质”涉及能够维持可被一个或多个机器理解的表达式的介质。例如，计算机可读介质可包括一个或多个存储设备，用于存储计算机可读指令或数据。这种存储设备可包括诸如光、磁或半导体存储介质的存储介质。然而，这仅仅是计算机可读介质的示例，且实施例不限于此方面。本文中引用的术语“逻辑”涉及用于执行一个或多个逻辑操作的结构。例如，逻辑可包括基于一个或多个输入信号提供一个或多个输出信号的电路。这种电路可包括接收数字输入并提供数字输出的有限状态机或响应于一个或多个模拟输入信号提供一个或多个模拟输出信号的电路。这种电路可设置在专用集成电路(ASIC)或现场可编程门阵列(FPGA)中。同样，逻辑可包括存储在与处理器电路结合的存储器中的机器可读指令，以执行这些机器可读指令。然而，这些仅仅是可提供逻辑的结构的示例，且实施例不限于此方面。本文描述的一些方法可体现为计算机可读介质上的逻辑指令。当在处理器上执行时，逻辑指令导致处理器被编程为实现所述方法的专用机器。处理器在通过逻辑指令配置成执行本文所述的方法时，构成用于执行所述方法的结构。或者，本文所述的方法可被简化为例如现场可编程门阵列(FPGA)、专用集成电路(ASIC)等上的逻辑。在说明书和权利要求书中，可使用术语耦合和连接及其衍生词。在特定实施例中，可使用“连接的”来指示两个或更多元件彼此直接物理和/或电气接触。耦合可表示两个或多个元件直接物理或电气接触。然而，耦合还可表示两个或更多元件相互不直接接触，但仍相互协作或相互作用。在本说明书中对“一个实施例”或“实施例”的参考表示结合实施例描述的特定特征、结构或特性包括在至少一个实现中。在说明书的各位置出现的短语“在一个实施例中”不一定全指同一实施例。
虽然用结构特征和/或方法动作专属语言描述了本发明的实施例，但是应当理解所保护的主题可不限于所描述的具体特征或动作。相反，该特定特征和动作被公开作为实现所保护主题的样本形式。
权利要求
1.一种方法，包括 将来自第一相机的第一组输入帧接收到第一缓冲器中，以及将来自第二相机的第二组输入帧接收到第二缓冲器中； 利用一个或多个处理参数处理来自第一帧缓冲器的第一组输入帧以生成第一视频流； 利用一个或多个处理参数处理来自第二帧缓冲器的第二组输入帧以生成第二视频流；以及 在存储器模块中存储第一视频流和第二视频流。
2.如权利要求I所述的方法，其特征在于，将来自第一相机的第一组输入帧接收到第一缓冲器中包括将来自第一相机的第一组输入帧接收到第一相机接收器中，且还包括 执行对第一组输入帧的从第一相机接收器至第一缓冲器的直接存储器访问读取。
3.如权利要求2所述的方法，其特征在于，将来自第二相机的第二组输入帧接收到第二缓冲器中包括将来自第二相机的第二组输入帧接收到第二相机接收器中，且还包括 执行对第二组输入帧的从第二相机接收器至第二缓冲器的直接存储器访问读取。
4.如权利要求I所述的方法，其特征在于，利用存储在第一存储器中的一个或多个处理参数处理来自第一帧缓冲器的第一组输入帧以生成第一视频流包括将一个或多个原始帧转换成一个或多个YUV视频帧。
5.如权利要求4所述的方法，其特征在于，利用存储在第二存储器中的一个或多个处理参数处理来自第二帧缓冲器的第二组输入帧以生成第二视频流包括将一个或多个原始帧转换成相应数量的YUV视频帧。
6.如权利要求I所述的方法，其特征在于 在存储器模块中存储第一视频流和第二视频流包括从第一视频流和第二视频流生成合成图像，且还包括在电子设备的显示设备上呈现合成图像。
7.—种电子设备,包括 第一相机和第二相机； 用于接收来自第一相机的第一组输入帧的第一缓冲器以及用于接收来自第二相机的第二组输入帧的第二缓冲器； 耦合到第一缓冲器和第二缓冲器的单个图像信号处理器，用于利用存储在第一存储器中的一个或多个处理参数处理来自第一帧缓冲器的第一组输入帧以生成第一视频流，并且用于利用存储在第二存储器寄存器中的一个或多个处理参数处理来自第二帧缓冲器的第二组输入帧以生成第二视频流；以及 存储器模块，用于存储第一视频流和第二视频流。
8.如权利要求7所述的电子设备，其特征在于，还包括 第一相机接收器，用于接收来自第一相机的第一组输入帧； 直接存储器引擎，用于执行对第一组输入帧的从接收器至帧缓冲器的直接存储器访问读取。
9.如权利要求8所述的电子设备，其特征在于，还包括 第二相机接收器，用于接收来自第二相机的第二组输入帧； 直接存储器引擎，用于执行对第二组输入帧的从接收器至帧缓冲器的直接存储器访问读取。
10.如权利要求7所述的电子设备，其特征在于，所述图像处理器将来自第一组输入帧的一个或多个原始帧转换成相应数量的YUV视频帧。
11.如权利要求10所述的电子设备，其特征在于，所述图像处理器将来自第二组输入帧的一个或多个原始帧转换成一个或多个YUV视频帧。
12.如权利要求7所述的电子设备，其特征在于，所述存储器存储从第一视频流和第二视频流生成的合成图像。
13.如权利要求12所述的电子设备，其特征在于，还包括用于呈现合成图像的显示器。
14.一种设备，包括 单个图像信号处理器，包括用于执行以下动作的逻辑 利用存储在第一存储器寄存器中的一个或多个处理参数处理来自第一接收器的第一组输入帧以生成第一视频流；以及 利用存储在第二存储器寄存器中的一个或多个处理参数处理来自第二帧缓冲器的第二组输入帧以生成第二视频流。
15.如权利要求14所述的设备，其特征在于，还包括 第一相机接收器，用于接收来自第一相机的第一组输入帧； 直接存储器引擎，用于执行对第一组输入帧的从接收器至帧缓冲器的直接存储器访问读取。
16.如权利要求15所述的设备，其特征在于，还包括 第二相机接收器，用于接收来自第二相机的第二组输入帧； 直接存储器引擎，用于执行对第二组输入帧的从接收器至帧缓冲器的直接存储器访问读取。
17.如权利要求15所述的设备，其特征在于，所述图像处理器将来自第一组输入帧的一个或多个原始帧转换成相应数量的YUV视频帧。
18.如权利要求16所述的设备，其特征在于，所述图像处理器将来自第二组输入帧的一个或多个原始帧转换成相应数量的YUV视频帧。
19.如权利要求14所述的设备，其特征在于，还包括存储器模块，用于存储从第一视频流和第二视频流生成的合成图像。
20.如权利要求19所述的设备，其特征在于，还包括用于呈现合成图像的显示器。
全文摘要
在一些实施例中，一种电子设备包括第一相机和第二相机；用于接收来自第一相机的第一组输入帧的第一缓冲器以及用于接收来自第二相机的第二组输入帧的第二缓冲器；耦合到第一缓冲器和第二缓冲器的单个图像信号处理器，用于利用存储在第一存储器中的一个或多个处理参数处理来自第一帧缓冲器的第一组输入帧以生成第一视频流，并且用于利用存储在第二存储器寄存器中的一个或多个处理参数处理来自第二帧缓冲器的第二组输入帧以生成第二视频流；以及存储器模块，用于存储第一视频流和第二视频流。
文档编号H04N1/387GK102918560SQ201180027454
公开日2013年2月6日 申请日期2011年6月13日 优先权日2010年6月28日
发明者M·S·艾瑟瑞亚, J·周 申请人:英特尔公司