专利名称：在移动设备中的图像重叠的制作方法
技术领域：
本发明涉及移动设备中的图像捕捉及呈现的领域，尤其涉及在单一装置上组合来自两个不同相机的图像。
背景技术：
许多移动设备装备有可看到用户的前置相机及可看到位于用户前面的背景或景物的后置相机两者。前置相机通常用于用户与朋友的视频电话呼叫及肖像，而后置相机通常更多地用作常规的静态及视频相机。在一些装置中，经由蜂窝式、Wi-Fi或蓝牙无线电连接使来自后置相机的视频流送至另一用户是可能的。然而，同时使用移动设备的两个相机是不可能的或不可行的。此等装置当前包括蜂窝式电话、便携式媒体播放器及平板计算机，然而，随着装置分类改变及发展，移动设备及相机的特定名称、类型及特征亦可改变。在当前移动设备中，用户可在装置的显示器上看到由相机之一所记录的图像或视 频。可将此视图与相机控制、通信控制及来自另一装置的图像或视频组合。举例而言，当用作静态相机时，装置的显示器充当取景器及控制接口。用户首先看到的前场景的相机视图及用于曝光、聚焦、色彩平衡等的捕捉控制。在捕捉图像后，用户通常在同一屏幕上看到所捕捉的图像以及观看及编辑控制。当用作视频电话时，显示器展示远程方的视频，且在一些状况下，用户的视频亦叠加于屏幕上。然而，此等装置不准许显示器在同一显示器上同时展示来自两个相机的所捕捉图像。该等装置亦不准许自两个相机所捕捉的图像同时传输至另一移动设备。这限制了两个相机在移动设备上使用。
参照附图描述了本发明的非限制性、非穷举的实施例，在附图中，除非另行指出，类似的附图标记指代相似的部分。图I是根据本发明的实施例展示背景视频的移动设备显示器的视图。图2是根据本发明的实施例展示用户的前景视频的移动设备显示器的视图。图3是根据本发明的实施例展示图2的用户视频重叠于图3的背景视频上的移动设备显示器的视图。图4是根据本发明的实施例的用户视频周围具有边线的图3的移动设备显示器的视图。图5是根据本发明的实施例的用户视频呈现于不同位置处的图4中移动设备显示器的视图。图6是根据本发明的实施例展示具有边线的图3的背景视频重叠于图2的用户视频上的移动设备显示器的视图。图7是根据本发明的实施例在显示器的一区域中展示图3的背景视频及在该显示器的另一区域中展示图2的用户视频的移动设备显示器的视图。
图8是根据本发明的实施例说明建立传达所描绘视频的呼叫的过程流程图。图9是根据本发明的实施例说明具有两个独立连接至基带的相机的移动设备的功能框图。图10是根据本发明的实施例说明具有两个彼此连接且一起连接至基带的相机的移动设备的功能框图。图11是根据本发明的另一实施例说明具有两个彼此连接且一起连接至基带的相机的移动设备的功能框图。图12是根据本发明的实施例说明图10的两个相机模块的功能框图。
具体实施例方式
本文中描述用于移动设备中的图像重叠的系统及方法的实施例。在以下描述中，阐述众多特定细节以提供对该等实施例的透彻理解。然而，本领域技术人员将认识到，本文中所描述的技术可在无特定细节中的一个或多个的情况下或藉由其它方法、组件、材料等来实践。在其它情况下，未详细展示或描述熟知结构、材料或操作以避免混淆某些方面。遍及本说明书中对“ 一个实施例”或“一实施例”的引用意味着结合该实施例所描述的特定特征、结构或特性包括于本发明的至少一个实施例中。因此，遍及本说明书词组“在一个实施例中”或“在一实施例中”出现在各处未必均指同一实施例。另外，可在一个或多个实施例中以任何合适方式组合特定特征、结构或特性。在一实施例中，用户能够使用单一移动设备记录来自后置相机的背景视频且亦记录来自前置相机的同时描绘(narration)。可组合该描绘作为用户在背景图像或视频上的实况重叠。可使用两个单独图像或视频处理器提供此功能，或单一控制器可接收两个视频流且在软件或特殊硬件图像处理或图形处理模块中将其合并。或者，可藉由用以控制从属图像传感器的主图像传感器来提供此功能。在本描述中，描述能够产生静态图像及视频图像的相机。然而，本发明并非局限于此。可藉由相机或在另一过程中使此等图像与音频同步。该等静态图像可为原始的或经压缩的，且该视频可为原始的或经压缩的及模拟的或数字的。为了达成在本描述中的一致性，“图像”用以指代作为静态摄影的单一图像的一图像或指代在视频摄影序列中的一连串图像中的一个。本文中的“视频”用以指代可以伴随或不伴随有音频的一连串时控图像。类似地，“静态图像”亦可以伴随或不伴随有音频。图I中描绘移动设备显示屏幕101的一实例。在此实例中，用户已行进至海岸红杉树林103 (世界上最高的树，在北美太平洋海岸上)，且使用后向相机捕捉其前面的树的图像或视频。这些树立于移动设备的后向相机或主相机前面。用户可捕捉树的单一图像或视频且记录该视频或使用内建至移动设备的无线电设备或连网装置的无线电设备将其发送至其它人或至远程储存器。图2是由前置相机所捕捉的展示用户105的同一移动设备显示屏幕的实例。使用前置相机，用户可捕捉其自身描述树、森林、地方感或任何其它事物的视频。在图3中，移动显示器被配置成组合来自后置相机的树图像与来自前置相机的用户图像。用户的图像重叠至树的图像上。这提供用户的插图107以及较大的背景图像。如在其它实例中，任一图像或两个图像可为静态图像或视频图像。
在图4中，插图107藉由边线或边框109增强，该边线或边框109使该插图更容易区别于主图像。基于该主图像，该边线的大小、颜色、不透明度、图案及其它特征可由用户配置或可完全或部分地自动确定。可向用户提供额外选项。如在图5中所展示，可将该插图的位置移动至主图像上的不同位置。这可允许用户暴露主图像的本该被插图遮盖的不同部分。在图6中，使该等图像颠倒以使得树103的图像现填充该插图，而用户105的图像为主图像。可由用户执行对该两个图像的此操纵及许多其它操作来控制自两个相机的捕捉及如何显示该等图像。举例而言，除了改变插图的位置的外，可改变插图的相对大小。在图7的实例中，两个图像定位于彼此旁边，而不是重叠。在此实例中，森林103定位于显示器的上半部中在用户105上方，用户105定位于显示器的下半部中。可改变该两个图像的相对大小及位置来配合特定的用户偏好。尽管展示水平位置，但该等图像亦可 垂直地并列放置。虽然该两个图像展示为大小相等，但可改变相对大小来配合特定用户偏 好或出于任何其它理由。可使用键盘、定点设备或使用触控屏幕上的屏幕示意来控制图I至图7的不同视图。一些移动设备以游戏板或光标移动开关或板及选择按钮为特征。在此状况下，可例如藉由在插图上移动光标、选择插图且接着移动操纵杆以将图像移动至新位置来移动插图。或者，可将图像移动至在主图像上的四个或四个以上预定位置。其它移动设备以触控屏幕为特征，在此种状况下，可触碰插图且接着将其拖曳至新位置。多种不同命令、示意及控制可用以实现图I至图6的效果。另外，移动设备亦可提供多种图像捕捉控制，诸如聚焦控制、变焦控制、照明控制、曝光控制等。移动设备亦可提供选项以用图像之一代替另一图像(例如，储存于装置的存储器中的图像或自另一移动设备接收的图像)。以此方式，用户可在描绘背景至描绘前一背景或视频至接收来自另一连接的用户的另一背景或论述的视频之间切换。在一实例中，插图用于与另一用户的视频聊天或视频通话，而主图像可在后置相机的视图、另一用户的后置相机视图与被视为感兴趣或与视频聊天会话(chat session)相关的其它图像或视频之间切换。在图I至图7的实例中，是在将移动电话带至森林公园的情形中描述显示器。然而，描述既不限于特定位置，亦不限于特定装置。许多不同类型的移动设备提供或可经调适以提供具有不同视图的多个相机。除了蜂窝式电话之外，笔记本计算机、平板计算机、个人媒体播放器、便携式游戏控制台及个人数字助理均亦可提供有具有不同视图的多个相机。本发明亦可应用于个人导航装置、健身追踪器及甚至自装备有相机的机器人、远程车辆、汽车及卡车的车辆上的多个相机。一些汽车当前装备有后视相机、前视相机、侧视相机及内部相机。车辆内部的单一显示器允许用户看到相机视图。一些汽车亦允许驾驶员将相机图像发送至在车辆外的蜂窝式电话。可藉由移动设备将图I至图7的视图中的任一个或多个发送至本地存储器、至远程存储器或至另一用户。图8展示使用移动设备的示例流程，该移动设备使用所说明的显示器。该过程开始，且在步骤201处用户发起一呼叫。该呼叫可经由蜂窝式连接、广域连接、局域连接或个人网络连接。可使用电话应用或分开的视频呼叫应用发起该呼叫。对于其它装置，该呼叫可能并非适当的电话呼叫，而是例如经由个人或广域网络的网络会话。该呼叫亦可为与一远程服务器的会话，可将数据自该远程服务器中继至一个或多个其它用户。在203处，用户启动后置相机以捕捉背景视图，且在205处，用户启动前置相机以捕捉用户的描绘。可在发起呼叫之前或之后执行这些操作。虽然前置相机及后置相机或针对蜂窝式电话的典型选择，但其它装置可提供具有不同视图的不同相机。举例而言，汽车可提供后视视图、前视视图、侧视视图及内部视图。在207处，用户判定是否应调整如在显示器中所展示的视图。如果是，则接着在步骤209处调整视图。可藉由改变视图、焦点、变焦水平、曝光等或改变实际图像来完成此操作。另外，可改变图像的位置及分辨率。在调整之后，或若不需要调整，则接着在步骤211处经由网络传输来自两个相机的两个视图。在213处，用户接收对传输的响应。消息、图像、视频及音频的交换可贯穿呼叫或会话过程。只要呼叫在215处继续，用户便可调整视图、进行传输及接收。当呼叫结束时，则该过程结束。
尽管在用户操作移动设备的情形中描述此过程，但该等操作亦可由移动设备自动执行。可提供不同程度的自动化。在一实例中，移动设备评估相机图像及所接收到的图像，且基于该评估改变图像的相对大小、位置及选择。当双方在选定时间段内停止产生新内容时，可结束会话。类似地，可基于程序化的偏好、图像识别等，使呼叫或会话的开始在不同程度上自动化。作为另一替代方案，用户可在不发起呼叫的情况下执行图8的操作。该等操作可响应于自另一方接收到的呼叫或无任何呼叫。可针对本地存储或针对远程存储产生描绘的视频。可将描绘的视频上载至博客网站或独立于任一呼叫的其它公共目的地。其亦可本地保存以供稍后在移动设备上或附连取景器上私自展现。步骤209处的视图调整可包括在图I至图7的情形中所提及的所有类型的改变。其亦可包括展示从被叫方接收到的图像。所接收到的图像可为呼叫者的或呼叫者背景的图像，且可重叠至移动设备的前置相机视图或后置相机视图上或可排除移动设备的任何相机视图而展示。用户可在呼叫期间任一时间具体地调整展示哪些图像。亦可存在一个以上的被叫方。呼叫或会话可具有三方或三方以上，在此状况下，用户可选择从其他方接收到的图像中的哪个(若有)可展示在显示器上。在一实例中，用户将本地图像传输至该呼叫的其他方，但仅显示所接收到的图像。上文所展示的各种方法及视图允许具有及不具有描绘或伴随聊天或交谈的视频发送至其它移动设备或固定装置。伴随描绘可作为额外视频或仅作为音频而发送。这允许移动设备用户不仅描绘当前事件，且亦论述邻近固定对象，诸如地景、建筑物、设备或文件。将图8的操作描述为由操作移动设备的用户执行。然而，亦可在无用户的情况下执行该等操作。该等操作中的任一个或多个或全部可由移动设备控制器来执行，该移动设备控制器执行适当的软件或固件以操作相机且将组合图像传输至另一装置。图9是适合与本发明的实施例一起使用的移动设备硬件平台的框图。移动设备900具有基带处理器901，该基带处理器901可采用中央处理单元、微控制器、基带或其它通用控制器的形式。该基带耦接至用于与基地台、接入点及其它用户通信的一或多个无线电设备以及用于数据交换的外围装置。在所说明的实例中，无线电设备包括蜂窝式无线电设备903、网络无线电设备905及蓝牙无线电设备907。替代所展示的无线电设备或除了所展示的无线电设备的外，可使用其它无线电设备，例如，定位系统接收器。该等无线电设备耦接至天线(图中未绘示)及对于特定通信接口而言适当的其它装置。该移动设备基带还耦合至传感器909，诸如加速计、回转仪、罗盘、定向传感器、磁力计、近接传感器、环境光传感器等。存储器911耦合至控制器以提供程序化指令、配置数据及大容量存储。该存储器可包括内部存储器及用于附加可移除存储器的端口、槽或插口。另外，对于一些实施例，可存在用于外部存储器的连接器以提供媒体文件或其它较大文件。该控制器还耦合至用户1/0(输入/输出)913，诸如键盘、定点装置、触控屏幕传感器、麦克风、扬声器及其它装置。用户I/O还可包括用于附加外围装置的端口，诸如USB(通用串行总线)端口或其它外围装置接口。
该移动设备进一步包括如上文所论述的两个相机模块。第一相机模块925为具有至控制器的功率控制线926连接、至控制器的数据总线928连接及至控制器的控制总线930连接的前置相机。经由此等连接，该控制器可操作该相机模块，开启及关闭该相机模块及从其传感器接收所捕捉的图像及视频。第二相机模块933代表后置相机或任何其它相机且还包括至该控制器的功率控制线932连接、数据总线934连接及控制总线930连接。经由此等连接，可藉由该控制器独立地控制及操作两个相机，且可以以所期望的任何方式组合来自两个相机的图像以实现图I至图7的显示。在此实例中，取决于特定实施，功率控制与该控制总线分离，可组合功率连接、控制连接及数据连接中的任一个或多个。另外，该控制总线930展示为由该两个相机共享。在一实例中，此为I2C(集成电路间)总线，该移动设备的若干其它组件也连接至该I2C总线。取决于特定实施，可使用任何其它控制总线且不同装置可共享该等总线中的一些或全部。如图9中所展示，该控制器还耦合至图形处理器919，该图形处理器919从该控制器接收由相机所捕捉的图形数据。该图形处理器在需要时呈现数据且将所呈现的图形传递至显示器921。该显示器可接着呈现图I至图7的显示101等等。该显示器可为内建至该移动设备中的内部显示器或经由电缆、衔接件(dock)或无线接口耦合的外部显示器。每个相机模块包括传感器(图中未绘示)及用以将图像聚焦至该传感器上的透镜929、935。该等相机模块可具有像素阵列以及用以控制及处理从该像素阵列接收的信号的图像信号处理器。相机模块还可包括其它组件(图中未绘示)，诸如聚焦控制、变焦控制、孔径控制、快门、曝光传感器及其它装置。该相机模块可进一步包括用于闪光与捕捉同步及其它特征的外部接口(图中未绘示)。该第二相机模块931展示为包括至LED/闪光灯937的连接。通常，此闪光灯将安装于该移动设备上透镜附近且可使用任一类型的光源。然而，取决于该闪光灯或照明系统的设计特征，可使用任一类型的光源。任一相机模块或两个相机模块可以配备有闪光灯或至闪光灯的连接。或者，该两个相机可使用同一闪光灯或照明系统。使用图9的系统900，来自任一相机或两个相机的视图可由该控制器接收且可由该图形处理器呈现于显示器上。用户接口可用以控制相机的操作及如何呈现视图。另外，可经由连接的无线电设备中的任一个或多个传输来自任一相机或两个相机的视图。类似地，无线电设备中的任一个或多个可接收来自其它装置(无论是移动或是固定的)的图像且向基带控制器提供这些图像。这些图像可与其它图像或控制特征组合并呈现于显示器上。图10是适合与本发明的实施例一起使用的移动设备硬件平台1000的替代配置的框图。如图9中，移动设备1000具有基带处理器1001，该基带处理器1001耦合至一个或多个无线电设备，诸如蜂窝式无线电设备1003、网络无线电设备1005及蓝牙无线电设备1007。亦可使用包括GPS(全球定位系统)无线电设备的其它无线电设备。移动设备基带也耦合至传感器1009、存储器1011及用户I/O 1013。该控制器1001也耦合至从该控制器接收由相机所捕捉的图形数据的图形处理器1019。该图形处理器在需要时呈现数据且将所呈现的图形传递至显示器1021。相机模块包括传感器(图中未绘示)及用以将图像聚焦至该传感器上的透镜1029、1035以及至少用于较大后置相机的闪光灯1037。如在图9的实例中，该移动设备1000进一步包括两个相机模块，例如前置相机1025及后置相机1031。相机的精确位置及其各自视场可经调适以适合不同应用。如在图9的实例中，该第二相机模块1033具有至该控制器的功率控制线1032连接、数据总线1034 连接及控制总线1030连接。在此实例中，该控制器仅具有一个相机连接接口，因此该单一连接由该两个相机模块共享。在一些移动设备中，两个相机直接连接至单一接口。取决于哪个相机活动，在两个相机之间切换连接。为此，一次仅可使用一个相机。这使得图3至图7的呈现是不可能的。然而，在图10的实例中，该前置相机模块1025未连接至该控制器而是连接至该后置相机模块1031。换言之，在本实例中，较小的前置相机直接耦合至较大的后置相机且该后置相机耦合至控制器。主相机将充当用于辅助相机的控制集线器。该基带将仅需要与主相机连接和通信且经由I2C发送命令以启用和停用辅助相机与主相机。来自前置相机的所有图片数据在被传递至控制器之前传递通过后置相机。在典型的蜂窝式电话中，后置相机具有在表面积及像素方面较大的传感器。因此，为支持该后置相机传感器，后置相机所需的相机模块的处理能力比前置相机大。因此，藉由将较小且较弱的前置相机连接至较大且较强的后置相机来简化硬件架构。然而，可使这些连接颠倒以使得后置相机连接至前置相机且前置相机连接至控制器。这更适于相机的不同硬件配置或适于前置相机较大的不同类型的装置。在所说明的实例中，前置相机具有连接至后置相机的功率控制线1026及连接至后置相机的数据总线1028。因此，来自前置相机的全部图像传感器数据传递通过后置相机图像处理器。来自该控制器的控制总线1030展示为独立地连接至前置相机及后置相机两者。这允许该控制器彼此独立地控制两个相机的操作。若该控制器使用共享的总线(诸如I2C)，则至该控制器的主节点的单一连接允许该控制器在该总线上将外围装置中的全部当作从属装置来加以控制。可藉由在基带1001中的主节点，在同一总线上控制一个、两个、三个或一百个相机。因此，在所说明的实例中，前置相机1025经由共享总线直接耦合至该控制器。若使用不同的总线或需要不同的控制协议，则前置相机控制线可改为耦合至后置相机，如图11中所示。对于I2C，这将要求后置相机用作至该控制器的从属节点及至前置相机的主节点两者。然而，针对其它控制总线及协议，可存在其它要求。经由这些连接，该控制器可操作两个相机模块，开启及关闭该等相机模块及从其传感器接收所捕捉的图像及视频。后置相机可将由前置相机所捕捉的图像重叠至由后置相机所捕捉的图像上。因为前置相机数据捕捉是由后置相机接收，所以后置相机可组合两个相机的捕捉且在需要时以图2至图7中所建议的方式中的任一个将其组合。接着可藉由该后置相机将单一组合图像或视频发送至该控制器。若仅一个相机活动，则可如图I及图2中所建议般将其图像或视频在未改变的情况下发送至该控制器。如上文所描述，后置相机能够经由I2C控制该辅助相机或前置相机以将其开启。其还能够将SPI (串行外围接口)输入译码至主相机中且将经解密的串行数据转换为并行数据并经由用于基带的并行数据总线(诸如MIPI (移动产业处理器接口))将其发送。若辅助相机被基带选定为活动，则主相机也能够向外多路复用辅助相机视频数据。在如此操作时，主相机可进入低功率模式，同时多路复用从辅助相机输出的数据。图11为适合与本发明的实施例一起使用的移动设备硬件平台的另一替代配置的框图。在图11中，前置相机与基带完全隔离且仅连接至后置相机或主相机。主相机完全控制辅助相机及其至该移动设备的剩余部分的连接。如在图9中，移动设备1100具有耦合至一或多个无线电设备1103、1105、1107的基带处理器1101。该移动设备基带还耦合至传感器1109、存储器1111及用户I/O 1113。 控制器1101经由经耦合的图形处理器1119将图形发送至显示器1121。在此附图及其它附图中，取决于对系统的特定要求，该图形处理器可并入至该基带或该显示器中。相机模块1125、1131各自包括相机1127、1131及用以将图像聚焦至该传感器上的透镜1129、1135以及用于至少较大后置相机的可选闪光灯1137。如在图9的实例中，第二相机模块1133具有至控制器的功率控制线1132连接、数据总线1134连接及控制总线1130连接。在此实例中，该控制器仅具有一个相机连接接口，因此此单一连接由两个相机模块共享。然而，在图11的实例中，前置相机模块1125未连接至该控制器而是连接至后置相机模块1131。换言之，在本实例中，较小的前置相机直接耦合至较大的后置相机且该后置相机耦合至该控制器。主相机将充当用于辅助相机的控制集线器。该基带将仅需要与主相机连接及通信且经由I2C将命令发送至主相机以启用及停用辅助相机与主相机。来自前置相机的所有图片数据在被传递至该控制器之前传递通过后置相机。在所说明的实例中，前置相机具有均连接至后置相机的功率控制线1126、数据总线1128及控制线。因此，来自前置相机的所有图像传感器数据、功率及控制传递通过后置相机图像处理器。而在图10中，来自控制器的控制总线1030展示为使用单一总线连接至前置相机及后置相机两者。在图11的实例中，该基带控制线未连接至辅助相机。因此辅助相机依赖于主相机。若该控制器使用共享总线(诸如I2C)，则该控制器可使用单一主节点控制一个或两个相机。因此，图10及图11的实例需要在该基带控制器上的相同数目的连接接口。然而，通过将控制信号仅连接至主相机，该基带控制器可将两个相机当作单一装置来对待。这可简化该基带的固件或软件实施。该主相机可用以解译命令及控制相机以执行所接收到的控制指令。后置相机接收来自前置相机的图像数据且在需要时将此数据与任何后置相机数据组合来达到该基带控制器所请求的效果。这些效果可包括如图2至图7中同时使用两个相机来展示插图。图12展示图10的两个相机模块1025、1031的更详细视图。每一相机模块包括各自像素阵列1227、1231及多种其它组件，可提供这些组件作为如所展示的离散组件或作为各自图像信号处理器的部分。未详细展示用于控制、数据及功率的连接中的许多，以免混淆下文所描述的特征。另外，该等相机模块中的一个或两个可包括附加组件，这些组件也未展示以免混淆所描述的特征。主相机模块是通过经由控制总线1030(在一实例中为I2C总线)至基带控制器1001的连接来控制。控制总线1030可如所展示般连接至两个模块或如图11中仅连接至该主相机模块。该主相机模块在此状况下控制该辅助模块。辅助相机或前置相机模块将由其像素阵列1227所捕捉的图像数据经由两个相机模块之间的数据连接1028发送至主相机或后置相机模块。在一实例中，此连接为SPI (串行外围互连)总线连接。主相机模块取决于来自控制器的命令经由控制信号来组合或选择来自两个相机的图像，且将选定或组合的图像经由第二数据总线1034转递至该控制器，该第二数据总线1034也可以是SPI总线。相机模块也具有如上文所提及的功率连接1026、1032及如所示的多种时钟及同步连接。
SPI接口具有编码器1207及解码器1209且减少了将相当高位率的视频从前置相机传送至主相机所需的阵脚数。然而，可使用多种其它接口中的任一个以替代SPI。考虑主相机，由其传感器或像素阵列1231所捕捉的图像数据可作为RAW输出或以任何其它格式经由SOC(芯片上系统)管线1201而发送以待转换为YUV(照度、色度色空间)格式，且然后被发送至输出接口块以待作为YUV图像或视频数据经由数据总线1203而发送至控制器1001。类似地，辅助相机1027输出可发送至辅助相机模块上的SOC管线1205以用于转换至YUV格式并接着发送至主相机输出块1203以用于经由同一总线1034而传输。在所说明的实例中，为了在主相机与辅助相机之间发送YUV图像数据，在辅助相机模块处使用SPI编码器1207或接口以经由SPI总线将数据发送至主相机模块上的SPI解码器1209。接着该SPI解码器从该总线接收YUV数据且将其传输至输出接口块。如所指示，主相机模块具有多路复用器1211以接收来自SOC管线的主相机YUV信号及来自SPI解码器的辅助相机YUV信号，且然后选择适当的信号以将其提供至输出接口块1203。如上文所提及，可基于在控制总线1030上来自该控制器的命令或在一些其它基础上作出向基带控制器提供哪个信号的选择。或者，原始相机数据可发送至主相机且由在主相机中的SOC管线处理。然后，可移除在辅助相机中的SOC管线以减少成本。该主相机的图像信号处理器的SOC管线、SPI数据总线及输出接口块允许移动设备或用户在例如图I的显示与图2的显示之间选择。在所描述的实例中，相机像素阵列将RAW数据(其是未经处理的数据)从传感器提供至图像信号处理器，该图像信号处理器包括将图像数据转换为YUV信号的SOC管线。或者，这些像素阵列可对所记录图像执行一些原位处理且向该SOC管线提供多种其它格式中的任一种。该SOC管线可在一些或所有模式中将RAW图像数据传递至该控制器。举例而言，在质量静态摄影模式中，用户可偏好仅记录用于在移动设备上的操纵或用于在另一图像处理机器上的后处理的RAW数据。可以例如由JPEG (联合照相专家组)、MPEG (动画专家组)、VCEG (视频编码专家组)或任何其它开放或封闭的格式设定团体公布的多种不同图像格式中的任一个来提供来自SOC管线的信号输出。YUV信号虽通常用于视频，但也用于静态图像，且可使用YUV的任何所要变体或其它静态或视频图像格式。
除了选择来自这些相机中的一个或另一个图像且向该控制器仅提供选定视频的能力之外，这些相机模块还能够提供上文在图I至图7的情形中所描述的其它特征。使用例如在图12中所展示的图像信号处理器组件的主相机模块1031能够重叠图像以建立至该控制器的组合图像输出1034。在图12的实例中，通过由选择线所控制的多路复用器来提供重叠功能。选择线是由主控制器使用控制总线1030来控制。在一实例中，该主控制器寻址耦合至特定多路复用器的寄存器。该主控制器写入选择该多路复用器的操作模式的一位。以此方式，该控制器可控制特定多路复用器是采用一个输入、另一输入或是以一种或多种不同方式组合该两个输入。可以此方式控制本文中所描述的多路复用器中的任一个。主相机模块的重叠多路复用器1215允许系统针对主相机、辅助相机或重叠组合块1219选择图像。多路复用器具有三个输入,三个选择中的每个选择一个输入。主相机输入直接耦合至主相机1033以直接从相机捕捉输出。取决于特定实施例，这可以是原始输出或其它格式的输出。辅助相机输入直接耦合至接收来自该辅助相机的图像数据的SPI解码器1209。这虽指示为原始输入，然而，可改为提供其它格式或作为用户的选择。
重叠组合块1219组合来自该辅助相机的原始输入。用户可使重叠至主相机图像上的辅助相机的大小为可调的。该重叠组合块可执行该缩放，或该辅助相机可具备缩放能力以使得可将大小恰当的图像传输至该主相机以用于重叠。重叠组合块1219被耦合以接收与重叠多路复用器、主相机及辅助相机直接输入相同的前两个输入作为原始或其它类型的图像文件。该重叠组合块基于从控制器接收到的命令或基于自动或固定的例程而采用此两个图像文件且将其组合。在如图3所展示的一实例中，重叠组合块采用来自辅助相机的图像的像素且使用这些像素以替换来自主相机的图像的像素的一部分。在当前典型高质量移动设备中，前置相机可具有I. 3MP(百万像素)的分辨率且后置相机可具有8MP的分辨率。因此，在无任何缩放的情况下，前置相机插图将覆盖后置相机视图的约六分之一。插图的特定位置可由用户决定，由该重叠组合块自动选择或默认为固定的。在另一实施例中，该重叠块接收前置相机图像且将其缩放至所要大小，从而增加或减少其像素计数。该缩放可在该重叠组合块内、在该辅助相机处或任何其它所要位置处执行，且可使用多种已知技术中的任一种来执行。缩放量可由用户或以任何其它方式确定。接着将经缩放的图像重叠至该后置相机图像上。在如图6中所示使背景与插图颠倒时，缩放尤其有用。此处，在组合两个图像的前，可增加前置相机的像素计数或大小以填满屏幕，同时可减少后置相机的像素计数或大小以仅填充该屏幕的一部分。类似地，针对在图7的实例的情形中所建议的并列视图或上下视图，对于待呈现为相同大小的两个图像，可将图像中的任一个或两个缩放为彼此相等。该重叠组合块的输出为组合图像，该组合图像具有来自以多种不同方式中的任一种组合的两个图像的像素或数据。在本描述中，将这些图像描述为一图像叠加于另一图像上，因为此情形为其向用户所呈现的。举例而言，在图3及图4中，看起来好像用户的图像置于树的图像上。事实上，重叠区块可在使一图像在另一图像上成层的意义上来叠加这些图像。这甚至可以通过不同程度的透明度或不透明度来完成，以使得背景图像(在此状况下为树)可呈现为透过插像在某种程度上可见。或者，如上文所论述，该重叠组合块可将一图像的像素替换为其它图像的像素。在此状况下，经替换的像素丢失且不经由数据总线1034发送至控制器。类似地，针对部分透明的插图，背景及插图的实际像素可由为两种像素的混合物的像素替换，且原始像素并不发送至控制器。如图12中所展示，重叠选择器多路复用器1215的输出耦合至SOC管线且从该处以与如上文所描述的仅有主相机图像时的方式相同的方式而输送至输出接口块1203。辅助相机模块包括可如所展示般仅在辅助相机模块中提供、在主相机模块中或在两者中提供的边线像素多路复用器1221、1223。边线像素允许将图4的边线效果109添加至插图。针对插图为主相机图像且该插图还包括边线的图5的实例，可在主相机模块中提供一组类似的多路复用器。或者，可在重叠组合块或在相机模块的一些其它子系统中添加边线。第一边线像素多路复用器1221具有一个输入，该输入是作为原始或其它图像格式的紧接相机输出。其它输入是启用或停用边线像素的控制线。在此状况下，多路复用器具有储存于本地或内部存储器中的一组边线像素位置以及值。作为一实例，对于VGA(640X480)前置相机，所存储的边线像素可包括针对像素的I: I、1: 2、1:3至1:640的 黑色(或任何其它颜色)值。多路复用器以来自相机的值替换这些值以建立横跨图像的顶部的薄黑边线的第一部分。最终边线在图像的所有四侧上可具有5或10行或更多及5或10列或更多的边线颜色。该边线的实际厚度可提供为用户设定或可供用户选择的一组默认值。第二边线多路复用器1223接收来自该SOC管线的YUV或其它格式的信号。这允许此多路复用器使用不同技术来适应来自该SOC管线的图像的不同特性。如同该第一边线多路复用器，该第二边线多路复用器具有作为其唯一输入的图像输入(在此状况下，来自SOC管线)，及启用或停用边线像素的控制信号输入。该两个边线多路复用器均耦合至最终输出选择多路复用器1225。此多路复用器判定是向SPI编码器1207提供具有边线或无边线的原始相机输出或是具有边线或无边线的YUV相机输出，该SPI编码器充当辅助相机模块的输出区块。本发明的所说明实施例的以上描述(包括在“摘要”中所描述的内容)不旨在为穷举或将本发明限于所揭示的精确形式。如本领域技术人员所将认识到，虽然在本文中出于说明性目的而描述本发明的特定实施例及实例，但在本发明的范畴内各种修改是可能的。可鉴于以上详细描述而对本发明进行这些修改。在所附权利要求书中所使用的术语不应被解释为将本发明限于本说明书中所揭示的特定实施例。相反，本发明的范畴将完全由所附权利要求书确定，权利要求书应根据既定准则加以解释。
权利要求
1.一种移动通信设备的成像系统，包括 第一相机，具有至控制器的控制接口以及至所述控制器的数据接口； 第二相机，具有至所述第一相机的数据接口 ；以及 处理器，组合经由所述第二相机数据接口所接收到的来自所述第二相机的图像与来自所述第一相机的图像，且经由所述数据接口将经组合的图像发送至所述控制器。
2.如权利要求I所述的系统，其特征在于，所述第二相机进一步包括至所述控制器的控制接口以从所述控制器接收控制信号。
3.如权利要求I所述的系统，其特征在于，所述第二相机进一步包括至所述第一相机的控制接口以从所述第一相机接收控制信号。
4.如权利要求I所述的系统，其特征在于，所述处理器与所述第一相机整合。
5.如权利要求I所述的系统，其特征在于，至所述控制器的所述控制接口包括串行控制总线接口。
6.如权利要求I所述的系统，其特征在于，所述处理器包括将来自所述第二相机的像素重叠于来自所述第一相机的像素上以产生经组合的图像的重叠组合块。
7.如权利要求I所述的系统，其特征在于，进一步包括耦合至所述控制器以将所述经组合的图像从所述控制器发送至远程装置的无线电设备。
8.如权利要求I所述的系统，其特征在于，进一步包括多路复用器，所述多路复用器在将来自所述第二相机的图像与来自所述第一相机的图像组合之前将边线施加至来自所述第二相机的图像。
9.一种方法，其包括 选择主图像且使用移动通信设备的第一相机捕捉所述图像； 选择辅助图像且使用所述移动通信设备的第二相机捕捉所述辅助图像； 组合所述主图像与所述辅助图像以产生组合图像；及 经由所述移动通信设备的无线电设备将所述组合图像发送至远程移动通信设备。
10.如权利要求9所述的方法，其特征在于，组合包括将所述主图像叠加于所述辅助图像上O
11.如权利要求9所述的方法，其特征在于，组合包括将所述辅助图像叠加于所述主图像上O
12.如权利要求9所述的方法，其特征在于，所述第一相机安装于所述设备的第一表面上且所述第二相机安装于所述设备的第二表面上。
13.如权利要求12所述的方法，其特征在于，所述第二表面是与所述第一表面相反的表面。
14.如权利要求12所述的方法，其特征在于，所述第一相机为前置相机以及后置相机中的一个，且所述第二相机为前置相机以及后置相机中的另一个。
15.如权利要求9所述的方法，其特征在于，进一步包括记录与所述第一图像相关联的音频，以及经由所述无线电设备发送所记录的音频与所述组合图像。
16.如权利要求9所述的方法，其特征在于，进一步包括配置所述主图像的位置，所述辅助图像是叠加于所述位置上。
17.如权利要求9所述的方法，其特征在于，进一步包括针对所述辅助图像配置边线。
18.如权利要求9所述的方法，其特征在于，捕捉主图像包括捕捉主视频流，且捕捉辅助图像包括捕捉辅助视频流。
19.如权利要求18所述的方法，其特征在于，所述主视频流与所述辅助视频流为同步的。
20.—种相机模块,包括 像素阵列，用以捕捉第一图像； 透镜，用以将图像聚焦至所述像素阵列上； 数据接口，用以接收来自第二相机模块的第二图像； 图像信号处理器，用以将所述第一图像呈现为图像数据信号以及组合所述第一图像与所述第二图像； 第二数据接口，用以将经组合的图像传输至外部装置；及 控制接口，用以接收来自外部装置的控制信号以控制所述第一图像如何与所述第一图像组合。
21.如权利要求20所述的相机模块，其特征在于，进一步包括用以控制所述第二相机模块的操作的第二控制接口。
22.如权利要求20所述的相机模块，其特征在于，所述图像信号处理器经由所述第二控制接口控制由所述第二相机模块向所述第二图像施加边线。
23.如权利要求20所述的相机模块，其特征在于，组合所述第二图像作为在所述第一图像上的插图。
24.如权利要求20所述的相机模块，其特征在于，所述图像信号处理器包括用以将第一组合图像呈现为色度、照度信号的芯片上系统。
25.如权利要求20所述的相机模块，其特征在于，所述第二数据接口包括解码器，所述解码器用以从所述第二相机模块接收呈压缩形式的原始图像数据且将其解码并解压缩为原始图像数据。
全文摘要
本发明描述在移动设备中的图像重叠。在一实施例中，移动通信设备的成像系统包括第一相机，具有至控制器的控制接口以及至该控制器的数据接口；第二相机，具有至该第一相机的数据接口；以及处理器，用以组合经由该第二相机数据接口所接收的来自该第二相机的图像与来自该第一相机的图像，且经由该数据接口将经组合的图像发送至该控制器。
文档编号H04N5/232GK102761702SQ20111026632
公开日2012年10月31日 申请日期2011年8月30日 优先权日2011年4月26日
发明者S·崇, X·罗 申请人:美商豪威科技股份有限公司