电子设备以及用于电子设备的控制方法与流程

文档序号:15213377发布日期:2018-08-21 15:46阅读:142来源:国知局

本公开涉及一种电子装置以及一种控制电子装置的方法,更具体地说,涉及通过控制多个图像传感器所生成的图像信号的读取时间来高效地使用存储器。



背景技术:

电子装置可以处理图像传感器所获得的图像。此外,近来的电子装置已经达到涵盖其它装置的功能的移动聚合的阶段电子装置可以提供呼叫功能和消息交换功能,并且可以进一步通过包括图像传感器来提供拍照功能等。

图像传感器可以经由像素将接收到的光信号转换为电信号。像素可以被布置在预设色彩模式的像素阵列中。例如,图像传感器的像素可以包括红色(r)、绿色(g)和蓝色(b)像素,并且红色(r)、绿色(g)和蓝色(b)像素可以被布置在预设色彩模式的像素阵列中。此外,像素也可以被布置在色彩和亮度图案的像素阵列中。例如,图像传感器的像素可以包括红色(r)、绿色(g)、蓝色(b)和白色(w)像素,并且红色(r)、绿色(g)、蓝色(b)和白色(w)像素可以被布置在预设色彩模式的像素阵列中。

可以在电子装置中提供单个图像传感器或两个或更多个图像传感器。电子装置可以合成两个或更多个图像传感器所捕获的图像,并且生成一个图像。



技术实现要素:

技术问题

当通过使用多个图像传感器执行拍摄时,从多个图像传感器读取的数据受存储或处理,需要增加的量的电子装置的硬件以基于从每个图像传感器读取的数据的量而提供临时存储器或处理电路,并且增加的量的硬件可能增加总体花费。

因此,根据各个实施例,提供一种电子装置以及一种控制电子装置的方法。电子装置被配置为:通过调整从多个图像传感器读取的数据的读取定时来优化临时存储器的容量并且高效地形成硬件。

问题的解决方案

根据本公开一方面,一种电子装置,包括:多个图像传感器,其包括第一图像传感器和第二图像传感器;以及处理器,其电连接到所述多个图像传感器,并且被配置为将读取控制信号和同步信号输出到所述多个图像传感器,其中,所述处理器进一步被配置为:将第一读取控制信号输出到所述第一图像传感器,并且接收从所述第一图像传感器读取的第一数据;将第二读取控制信号输出到所述第二图像传感器,并且将从所述第二图像传感器读取的第二数据存储在临时存储器中;以及基于所述第一读取控制信号与下一第一读取控制信号之间所生成的输出控制信号而输出所述临时存储器中所存储的所述第二数据,并且生成融合所述第一数据和所述第二数据的融合的数据。

根据本公开另一方面,一种控制包括包含第一图像传感器和第二图像传感器的多个图像传感器的电子装置的方法,包括:经由处理器将第一读取控制信号输出到所述第一图像传感器并且接收从所述第一图像传感器读取的第一数据;将第二读取控制信号输出到所述第二图像传感器,并且将从所述第二图像传感器读取的第二数据存储在临时存储器中;控制基于所述第一读取控制信号与下一第一读取控制信号之间所生成的输出控制信号而输出所述临时存储器中所存储的所述第二数据;以及生成融合所述第一数据和所述第二数据的融合的数据。

根据本公开另一方面,一种非瞬时记录介质,其上已经记录用于执行所述控制电子装置的方法的程序。

本公开的有利效果

根据实施例,电子装置可以在具有临时存储器的最小容量的同时高效地存储从多个图像传感器读取的数据,并且可以生成合成式数据。

附图说明

图1是根据实施例的电子装置的外部形状的视图。

图2是根据实施例的网络环境中的电子装置是示图。

图3是图1所示的电子装置的示意性框图。

图4是用于描述图1所示的电子装置的图像传感器模块的示例视图。

图5是用于描述图1所示的电子装置的图像传感器中所包括的像素的示例视图。

图6是用于描述图1所示的电子装置的图像传感器中所包括的像素的示例视图。

图7是根据实施例的用于描述经由电子装置发送图像信号的处理的视图。

图8是根据实施例的用于描述经由电子装置基于处理器的同步信号而发送图像信号的处理的视图。

图9是根据另一实施例的控制电子装置的方法的流程图。

图10和图11示出根据实施例的经由电子装置将多个图像合成为一个图像的结果。

图12是根据另一实施例的控制电子装置的方法的流程图。

图13是根据另一实施例的用于描述经由电子装置基于处理器的同步信号而发送图像信号的处理的视图。

具体实施方式

下文中,将参照附图描述各个实施例。然而,实施例不应理解为限制本公开的技术范围,而其将理解为涵盖各种修改、等同和/或替代。关于附图的描述,相同标号可以指代相同要素。

在本公开中,当部分“具有”、“可以具有”、“包括”或“可以包括”要素时,应理解,部分包括要素(例如数值、功能、操作、组件等),但部分不排除其它附加要素。

在本公开中,例如“a或b”、“a或/和b中的至少一个”、“a或/和b中的一个或多个”等的表述可以包括所布置的条目的所有可能组合。例如,表述“a或b”、“a和b中的至少一个”以及“a或b中的至少一个”可以指代所有以下情况:(1)包括至少一个a,(2)包括至少一个b,以及(3)既包括至少一个a又包括至少一个b。

本公开中所使用的例如“第一”、“第二”等的表述可以修饰各种组件,而无论顺序和/或重要性如何,并且可以用于区分一个要素与另一要素,而不应理解为限制组件。例如,第一用户设备和第二用户设备可以指示不同的用户设备,而无论顺序或重要性如何。也就是说,在不脱离权利要求所限定的本公开的范围的情况下,第一组件可以称为第二组件,并且替代地,第二组件可以称为第一组件。

当要素(例如第一要素)“可操作地或以通信方式耦合于/到或连接到”另一要素(例如第二要素)时,应理解,要素可以直接耦合于/到或连接到该另一要素,或可以经由又一要素(例如第三要素)耦合于/到或连接到该另一要素。然而,当要素(例如第一要素)“直接连接到”或“直接耦合于/到”另一要素(例如第二要素)时,应理解,要素可以连接到或耦合于/到该另一要素,而无需它们之间介入的另一要素(例如第三要素)。

取决于情况,本公开中所使用的术语“被配置为”可以替代地用作例如“适合于”、“具有……的角色”、“被设计为”、“适用于”、“使得”、“能够”。术语“被配置为”可以不一定表示以硬件方式“具体地被设计为”。此外,在一些情况下,表述“设备,被配置为”可以表示设备通过其它设备或组件“能够进行某事”。例如,表述“被配置为执行a、b以及c的处理器”可以表示被配置为执行操作的专用处理器(例如嵌入式处理器)或被配置为通过执行存储器设备中所存储的一个或多个软件程序来执行操作的通用处理器(例如中央处理单元(cpu)或应用处理器(ap))。

本文所使用的术语仅用于描述特定实施例的目的,而并非意图限制本公开。如本文所使用的那样,单数形式“一(a)”、“一(an)”以及“该”旨在同样包括复数形式,除非上下文另外清楚指明。本文所使用的所有术语(包括技术和科学术语)具有与本公开所属领域技术人员通常理解的相同意义。还应理解,例如在常用字典中所定义的术语应解释为具有与它们在现有技术的上下文中的意义一致的意义,并且除非另外清楚地定义,否则不应以理想化或过度正式的意义来解释。取决于情况,虽然在本公开中定义一些术语,但它们不应解释为排除本公开实施例。

根据实施例的电子装置可以包括例如以下项中的至少一个:智能电话、平板个人计算机(pc)、移动电话、视频电话、电子(e)书阅读器、台式pc、膝上型pc、上网本计算机、工作站、服务器、个人数字助理(pda)、便携式多媒体播放器(pmp)、mp3播放器、移动医疗设备、相机和可穿戴设备。根据实施例,可穿戴设备可以包括以下项中的至少一个:配件类型可穿戴设备(例如手表、耳环、手镯、踝环、项链、眼镜、隐形眼镜或头戴式设备(hmd))、织物或服装集成类型可穿戴设备(例如电子服装)、身体安装类型可穿戴设备(例如皮肤垫或纹身)以及生物可植入电路类型可穿戴设备。

在一些实施例中,电子装置可以包括家电。家电可以包括例如以下项中的至少一个:电视、数字视频能盘(dvd)播放器、音频播放器、冰箱、空调、真空吸尘器、炉、微波、洗衣机、空气净化器、机顶盒、家庭自动化控制面板、安全性控制面板、tv盒、游戏控制台、电子字典、电子钥匙、摄像机和电子相框。

根据其它实施例,电子装置可以包括以下项中的至少一个:各种医疗设备(例如各种便携式测量设备(血糖测量设备、心跳测量设备、血压测量设备、体温测量设备等)、磁共振血管造影(mra)、磁共振成像(mri)、计算层析(ct)、超声设备等);导航设备;全球导航卫星系统(gnss);事件数据记录器(edr);飞行数据记录器(fdr);车辆信息娱乐设备;用于货运的电子装备(例如用于货运的导航设备、陀螺仪等);航空电子设备;安全设备;车辆头灯单元;工业或家用机器人;金融机构的自动柜员机;商店的销售点;以及物联网(iot)设备(例如灯泡、各种传感器、电表或水表、洒水器、火警器、恒温器、街灯、烤面包机、体育装备、热水箱、加热器、锅炉等)。

在一些实施例中,电子装置可以包括以下项中的至少一个:家具、建筑/结构的部分、电子板、电子签名接收设备、投影仪以及各种测量设备(例如给水、电力、燃气和无线电波测量设备)。根据实施例,电子装置可以包括所描述的装置中的一个或多个的组合。

在一些实施例中,电子装置可以包括柔性电子装置。此外,根据本公开的电子装置不限于上述装置,并且可以根据技术的发展而包括新的电子装置。

下文中,将通过参照附图描述根据实施例的电子装置。在该说明书中,术语“用户”可以指代使用电子装置的人或使用电子装置的装置(例如人工智能(ai)电子装置)。

图1是根据实施例的电子装置100的外部形状的视图。

参照图1,电子装置100可以实施为用于各种目的的设备。例如,电子装置100可以实施为例如蜂窝电话、智能电话、笔记本计算机、平板设备等,如上所述,但不限于此。

参照图1的(a),显示器110可以安装在电子装置100的前表面101上。被配置为接收其它方的语音的扬声器120可以安装在显示器110之上。被配置为发送电子装置100的用户的语音的麦克风103可以安装在显示器110之下。

根据实施例,被配置为执行电子装置100的各种功能的组件可以被布置在扬声器120周围。组件可以包括至少一个传感器模块140。至少一个传感器模块140可以包括例如以下项中的至少一个:照度传感器(例如光传感器)、接近度传感器、红外传感器以及超声传感器。组件可以包括相机150。根据实施例,组件可以包括发光二极管(led)指示器160,被配置为:向用户通知关于电子装置100的状态的信息。

电子装置100可以通过使用相机150捕获对象。图1的(b)是电子装置100的侧视图。参照图1的(b),电子装置100可以还包括相机150’。然而,电子装置100不限于此,并且可以还包括相机。电子装置100的相机150和150’可以形成各种视角。视角可以包括例如30度、50度、90度以及180度。电子装置100可以将相机150和150’所捕获的图像生成为分离的图像,或可以将所捕获的图像合成为一个图像。例如,当相机150和150’具有180度视角时,电子装置100可以生成具有360度视角的图像。可以捕获具有360度视角的图像的相机可以称为全向相机或360度相机。根据实施例的电子装置100不限于全向相机或360度相机,并且可以包括多个相机或能够合成多个图像传感器所捕获的多个图像的相机。

图2是根据各个实施例的网络环境200中的电子装置201的示图。电子装置201可以包括图1的电子装置100。

参照图2,电子装置201可以包括总线210、处理器220、存储器230、输入和输出接口250、显示器260以及通信接口270。在一些实施例中,电子装置201可以省略组件中的至少一个,或可以还包括其它组件。

总线210可以互连组件210至270,并且可以包括用于启用组件210至270之间的通信的电路(例如用于发送控制消息和/或数据的电路)。

处理器220可以包括cpu、ap、通信处理器(cp)以及图像信号处理器中的一个或多个。处理器220可以执行与电子装置201的其它组件中的一个或多个的控制和/或通信有关的计算或数据处理。

存储器230可以包括易失性存储器和/或非易失性存储器。例如,存储器230可以存储与电子装置201的一个或多个其它组件有关的命令或数据。根据实施例,存储器230可以存储软件和/或程序240。程序240可以包括例如内核241、中间件243、应用编程接口(api)245和/或应用程序(或“应用”)247。内核241、中间件243和api245中的至少一个可以称为操作系统(os)。

例如,内核241可以控制或管理用于执行其它程序(例如中间件243、api245或应用程序247)所实现的操作或功能的系统资源(例如总线210、处理器220、存储器230等)。此外,内核241可以经由中间件243、api245或应用程序247存取电子装置201的分离组件,由此提供可以控制或管理系统资源的接口。

例如,中间件243可以执行介入功能,从而api245或应用程序247可以与内核241通信并且交换数据。

此外,中间件243可以根据优先级顺序来处理从应用程序247接收到的一个或多个操作请求。例如,中间件243可以向应用程序247中的至少一个分配用于使用电子装置201的系统资源(例如总线210、处理器220、存储器230等)的优先级顺序。例如,中间件243可以根据分配给应用程序247中的至少一个的优先级顺序来处理一个或多个操作请求,并且因此,可以关于一个或多个操作请求执行调度或负载平衡。

例如,api245可以是应用程序247可以控制内核241或中间件243所提供的功能的接口。例如,api245可以包括用于控制文件、窗口、文本、图像的处理等的至少一个接口或功能(例如指令)。

例如,输入和输出接口250可以执行接口的功能,以将从用户或其它外部装置输入的命令或数据发送到电子装置201的其它组件。此外,输入和输出接口250可以将从电子装置201的其它组件接收到的命令或数据输出到用户或其它外部装置。

例如,显示器260可以包括液晶显示器(lcd)、led显示器、有机led(oled)显示器、微电机系统(mems)显示器或电子纸显示器。例如,显示器260可以向用户显示各种内容(例如文本、图像、视频、图标、符号等)。显示器260可以包括触摸屏。例如,显示器260可以接收使用电子笔或用户的身体部分输入的触摸、手势、接近度或悬停。

例如,通信接口270可以在电子装置201与外部装置(例如第一外部电子装置202、第二外部电子装置204或服务器206)之间建立通信。例如,通信接口270可以经由无线通信或有线通信连接到网络262,并且可以与外部装置(例如第二外部电子装置204或服务器206)进行通信。

无线通信可以包括例如蜂窝通信协议,并且可以包括例如以下项中的至少一个:长期演进(lte)、lte高级(lte-a)、码分多址(cdma)、宽带cdma(wcdma)、全球移动通信系统(umts)、无线宽带(wibro)以及全球移动通信系统(gsm)。此外,无线通信可以包括例如短距离无线通信264。短距离无线通信264可以包括例如以下项中的至少一个:无线保真(wifi)、蓝牙、近场通信(nfc)以及全球导航卫星系统(gnss)。基于使用区域或带宽,gnss可以包括例如以下项中的至少一个:全球定位系统(gps)、全球导航卫星系统(glonass)、北斗导航卫星系统(下文中,“北斗”)、伽利略以及基于欧洲全球卫星的导航系统。下文中,在该说明书中,“gps”可以与“gnss”可互换地使用。有线通信可以包括例如以下项中的至少一个:通用串行总线(usb)、高清晰度多媒体接口(hdmi)、推荐标准232(rs-232)以及普通旧式电话服务(pots)。网络262可以包括电信网络。例如,网络262可以包括以下项中的至少一个:计算机网络(例如局域网(lan)或广域网(wan))、互联网以及电话网络。

第一外部电子装置202和第二外部电子装置204中的每一个可以是与电子装置201相同的装置或与电子装置201不同的装置。根据实施例,服务器206可以包括一个或多个服务器的群组。根据实施例,电子装置201所执行的所有或部分操作可以由另一电子装置或多个其它电子装置(例如第一外部电子装置202和第二外部电子装置204或服务器206)执行。根据实施例,当电子装置201待自动地或响应于请求而执行特定功能或服务时,电子装置201可以从其它电子装置(例如第一外部电子装置202和第二外部电子装置204或服务器206)至少请求与特定功能或服务有关的功能,附加地,或并非电子装置201对其自身执行特定功能或服务。其它电子装置(例如第一外部电子装置202和第二外部电子装置204或服务器206)可以执行所请求的功能或附加功能,并且可以将执行的结果发送到电子装置201。电子装置201可以通过无损地提供接收到的结果或通过附加地处理接收到的结果来提供所请求的功能或服务。为此,例如,可以使用云计算、分布式计算或客户机-服务器计算技术。

根据实施例,电子装置201以及第一外部电子装置202和第二外部电子装置204可以通过使用所描述的通信方法将电子装置201以及第一外部电子装置202和第二外部电子装置204中的每一个的相机所捕获的图像发送到一个电子装置,并且可以将各图像合成为一个图像。例如,电子装置201所捕获的具有180度视角的图像以及第二外部电子装置202所捕获的具有180度视角的图像可以得以合成,以生成具有360度视角的图像。

图3是图1所示的电子装置100的示意性框图。

参照图3,电子装置100可以包括处理器310、临时存储器320、图像传感器a330以及图像传感器b340。图3所示的组件并非都是根据实施例的电子装置100的必要组件,并且电子装置100可以包括比图3所示的组件更多或更少的组件。例如,电子装置100可以包括例如触摸板、实体键、接近度传感器、生物计量传感器作为输入模块,并且可以包括存储器、模拟/数字(a/d)转换器、电源等。在此,处理器310可以表示被配置为控制图像传感器a330和图像传感器b330并且通过接收图像数据来执行图像处理的处理器。

图像传感器a330和图像传感器b340可以接收通过透镜(未示出)入射的光,并且将光转换为电信号。图像传感器a330可以称为第一图像传感器,并且图像传感器b340可以称为第二图像传感器。第一图像传感器330和和第二图像传感器340可以包括被配置为感测至少两个混合色彩信息的像素传感器(例如白色(w)像素和亮度像素)。例如,第一图像传感器330和第二图像传感器340可以包括像素阵列,其中,红色(r)、绿色(g)和蓝色(b)以及白色(w)像素传感器被布置在所设置的图案中。

临时存储器320可以临时存储从第二图像传感器340生成并且读取的图像信号。临时存储器320可以是与处理器310分离地提供的,并且可以包括缓冲存储器或行存储器。图像信号可以指示并且存储为各电子装置之间所发送的普通数据格式。临时存储器320可以临时存储从两个图像传感器330和340中的仅一个读取的图像信号。如图3所示,第一图像传感器330所生成的图像信号可以直接发送到处理器310,而不经过临时存储器320,并且第二图像传感器340所生成的图像信号可以临时存储在临时存储器320中并且发送到处理器310。处理器310可以控制在结束接收从第一图像传感器330读取的图像信号的时间点接收临时存储器320中所存储的图像信号。在处理器310从临时存储器320接收图像信号的同时,处理器310不能接收从第一图像传感器330读取的图像信号,并且因此,处理器310可以关于输出到第一图像传感器330的读取控制信号插入消隐时段,从而不允许从第一图像传感器330和第二图像传感器340接收到的图像信号彼此重叠。以下将参照图8描述关于设置消隐时段的方面。根据本实施例的电子装置100可以实现临时存储器320,其被配置为:仅经由与从一个图像传感器输出的图像信号对应的行存储器存储从两个图像传感器330和340输出的图像信号(例如一个水平行的数据),由此减少所需的行存储器的数量。此外,电子装置100可以像从一个图像传感器输入的图像信号那样处理从两个图像传感器330和340输入的图像信号。在包括多个传感器或透镜的相机(例如三维(3d)相机、双相机或360度全向相机)的情况下,使用根据本实施例的电子装置,曝光精确地同时开始并且结束,并且因此,即使捕获快速对象,用户也可以方便地获得经由一个传感器捕获对象的效果。

描述根据本实施例的电子装置100包括两个图像传感器330和340。然而,当电子装置100包括n(n是等于或大于2的整数)个图像传感器时,电子装置100可以通过基于同步信号和控制信号而同时地或分离地控制n个图像传感器来接收数据,并且可以通过使用n-1个行存储器生成同时融合的图像。

处理器310可以控制所描述的组件的操作。例如,处理器310可以生成同步信号,从而在特定时间点或按特定时间间隔生成图像信号。处理器310可以控制将所生成的图像信号依次发送到临时存储器320。例如,在图像传感器a330所生成的一些信号可以发送到临时存储器320之后,图像传感器b340所生成的一些信号可以发送到临时存储器320。

电子装置100可以附加地包括被配置为处理图像信号的图像处理器(未示出),或可以在处理器310中具有图像处理器。下文中,假设处理器310处理图像。处理器310可以通过使用经由临时存储器320接收到的图像信号来执行各种后处理。例如,处理器310可以关于接收到的图像信号执行增益调整或波形标准化的信号处理。

处理器310可以关于图像信号执行移除噪声的处理。例如,处理器310可以执行用于图像质量改进的信号处理(例如伽马校正、滤色器阵列内插、色彩矩阵、色彩校正、色彩增强等)。

在图像传感器模块401中可以包括第一图像传感器330和和第二图像传感器340中的每一个。图4示出根据实施例的电子装置100的图像传感器模块401。

参照图4,根据各个实施例的图像传感器模块401可以包括遮盖构件450、透镜410、透镜筒420、线圈部分430、磁体部分440、基底470、图像传感器460以及电路衬底480。

遮盖构件450可以形成图像传感器模块401的外部边界。遮盖构件450可以保护图像传感器模块401内部所布置的各个组件。

透镜410可以包括多个透镜。例如,多个透镜可以包括关于自动聚焦操作而移动的透镜、关于变焦操作而移动的透镜等。从透镜410获得的图像可以发送到图像传感器460。

透镜筒420可以在其中容纳透镜410。线圈部分430可以被布置在透镜筒420的外部。磁体部分440可以被布置在与线圈部分430对应的位置处。磁体部分440可以被布置为面对线圈部分430。根据实施例,电子装置100可以通过使用光学图像稳定器(ois)驱动模块(未示出)通过基于磁体部分440与线圈部分430之间的电磁场或磁场的交互而移动透镜410来关于用户振动执行光学图像稳定。

例如,当电力施加到线圈部分430时,电子装置100可以基于从线圈部分430所生成的电磁场和从磁体部分440生成的磁场的交互而移动透镜410。据此,电子装置100可以感测用户的手握持并且在与手握持的方向相反的方向上移动透镜410,从而防止图像中的模糊。根据实施例的电子装置100可以感测用户的手握持并且在与手握持的方向相反的方向上移动图像传感器460,从而防止图像中的模糊。

基底470可以耦合到遮盖构件450。基底470可以支撑遮盖构件450的底侧。防红外滤波器可以进一步在其与图像传感器460对应的位置处被布置在基底470上。基底470可以操作为被配置为保护图像传感器460的传感器保持器。

图像传感器460可以被布置在电路衬底480上。图像传感器460可以经由引线键合电连接到电路衬底480,或可以通过使用导电胶经由倒装键合电连接到电路衬底480。

电路衬底480可以包括多个电路图案(未示出),并且可以向处理器310发送使用图像传感器460所转换的信号。

图像传感器460可以包括彩色像素传感器(例如r、g、b像素)和白色像素(例如w像素)被布置在所设置的图案中的像素阵列。像素阵列可以将通过透镜410入射的外部对象的光图像信号转换为电图像信号。图5示出根据实施例的电子装置的图像传感器中所包括的像素501。

如图5所示,像素501中的每一个可以将光信号转换为电信号。像素501中的每一个可以包括至少一个微透镜(未示出)、至少一个滤色器510以及至少一个光电二极管520。

微透镜可以聚焦从外部入射的光。

滤色器510可以包括以下项中的至少一个:红色滤波器、绿色滤波器、蓝色滤波器、白色滤波器、青色滤波器、洋红色滤波器以及黄色滤波器。

光电二极管650可以将光信号转换为电信号。

图6是根据实施例的用于描述电子装置的图像传感器中所包括的像素的示例视图。

如图5和图6所示,红色滤波器可以允许红色波长范围的光通过此处。绿色滤波器可以允许绿色波长范围的光通过此处。蓝色滤波器可以允许蓝色波长范围的光通过此处。白色滤波器可以允许所有可见波长范围的光通过此处。青色滤波器可以允许绿色波长范围和蓝色波长范围的光通过此处。洋红色滤波器可以允许红色波长范围和蓝色波长范围的光通过此处。黄色滤波器可以允许红色波长范围和绿色波长范围的光通过此处。

图7是根据实施例的用于描述电子装置将图像信号发送到临时存储器730的情况的视图。下文中,假设图像传感器包括8x8像素。

参照图7,处理器310可以通过控制图4所示的图像传感器模块401来捕获对象。处理器310可以控制多个图像传感器a710和图像传感器b720,以通过使用同步信号等实质上同时地捕获对象。图像传感器a710和图像传感器b720可以将接收到的光信号转换为图像信号。为此,图像传感器a710和图像传感器b720可以将像素711和721中的每一个中所生成的电荷(即光信号)发送到处理器310。在此情况下,从图像传感器a710读取的图像信号可以直接发送到处理器310,而从图像传感器b720读取的图像信号可以发送到临时存储器730。

图像传感器a710和图像传感器b720可以基于每个行而将图像信号发送到处理器310和临时存储器730。详细地说,图像传感器a710可以将图像信号从第一行715发送到处理器310。图像传感器b720可以将图像信号从第一行725发送到临时存储器730。相应地,在临时存储器730中仅存在用于接收图像传感器b720的第一行725的数据的空间,并且因此,接收到的数据可以平滑地输出到处理器310。当处理器310完成接收第一行715的数据(所述数据是从图像传感器a710读取的)时,临时存储器730可以向处理器310输出第一行725的数据(所述数据是从图像传感器b720读取并且存储在临时存储器730中的)。因此,根据实施例的电子装置可以通过仅包括一个临时存储器(例如仅图像传感器b720的行(即被配置为存储8个像素的数据的行存储器))从处理器310同时接收从图像传感器a710和图像传感器b720中的每一个读取的图像信号,并且生成融合式图像。处理器310可以在从临时存储器730接收图像信号的同时不从图像传感器a710接收下一图像信号a9至a16,并且因此,可以将输出被配置为控制从图像传感器a710读取图像信号的下一水平同步信号或下一读取控制信号之前的区段设置为消隐时段。

以下将在图8中描述图像信号通过临时存储器730从图像传感器a710和图像传感器b720发送到处理器310的详细处理。

处理器310可以通过连接从图像传感器a710接收到的第一行715与从图像传感器b720接收到的第一行725形成一个行。通过重复该处理,处理器310可以通过合成图像传感器a710所生成的图像和图像传感器b720所生成的图像来生成一个图像。

图8是根据实施例的用于描述电子装置基于处理器310的同步信号而发送图像信号的处理的视图。

参照图7和图8,处理器310可以通过使用垂直同步信号810和水平同步信号812来控制图像传感器a710和图像传感器b720中的每一个。垂直同步信号810被配置为同步帧中的每一个,并且水平同步信号812被配置为同步帧中所包括的行中的每一个。在此,垂直同步信号810和/或水平同步信号812可以是被配置为控制从图像传感器a710和图像传感器b720中的每一个读取数据的读取控制信号。在此,处理器310可以同时或依次输出对图像传感器a710和图像传感器b720输出的读取控制信号。此外,处理器310可以同步或异步读取控制信号,并且将读取控制信号输出到图像传感器a710和图像传感器b720。

基于垂直同步信号810和水平同步信号812,图像传感器a710可以将与第一行715对应的图像信号或数据发送到处理器310。

在时间点t1,当图像传感器a710可以输出第一行715的数据时,处理器310可以开始接收第一行715的数据。以相同方式,图像传感器b720可以将第一行725的数据输出到临时存储器730,并且第一行725的数据可以依次存储在临时存储器730中。

在时间点t2,可以结束从图像传感器a710接收数据,并且临时存储器730中的数据可以输出到处理器310。此外,处理器310可以在控制在从临时存储器730接收数据的同时不从图像传感器a710接收第二行的数据a9至a16。为此,被配置为控制从图像传感器a710接收第二行的数据a9至a16的水平同步信号812的定时可以受控。也就是说,从临时存储器730接收数据的时间点t2与从图像传感器a710接收第二行的数据a9至a16的时间点t3之间的区段可以设置为消隐时段。

在处理器310在从图像传感器a710接收到所有数据之后通过临时存储器730从图像传感器b720接收到所有数据之后,处理器310可以响应于下一水平同步信号而从图像传感器a710接收第二行的数据a9至a16,并且从图像传感器b720读取的数据b9至b16可以再次存储在临时存储器730中。然后,处理器310可以在处理器310完成从图像传感器a710接收数据a9至a16的时间点接收临时存储器730中所存储的数据b9至b16。

相应地,如上所述,通过在读取从图像传感器a710接收到的数据的区段中插入特定消隐时段,处理器310可以通过仅使用与图像传感器b720的一个行对应的行存储器来平滑地接收从两个图像传感器a710和图像传感器b720输出的数据。

如以上参照图7详细描述的那样,当接收到图像传感器a710的第一行715的所有数据以及图像传感器b720的第一行725的所有数据时,处理器310可以将两个行(即成像设备710和720的水平行)连接为一个行。此外,处理器310可以累加并且融合来自图像传感器a710和图像传感器b720的所有行,并且可以生成一个图像。

图9是根据另一实施例的控制电子装置100的方法的流程图。

在操作s910中,电子装置100可以基于事件(例如用户输入等)而生成捕获信号。当生成捕获信号时,电子装置100可以通过操作例如图像传感器模块401来捕获对象。在操作s920中,电子装置100可以通过使用图像传感器a710和图像传感器b720来捕获对象。

在操作s930中,电子装置100可以将图像传感器a710的第一行715直接发送到处理器310,而不经过临时存储器730。

在操作s940中,处理器310可以开始将图像传感器b720的第一行725存储在临时存储器730中。在此,可以同时地或在时间上依次地执行操作s930和s940。

在操作s950中,当处理器310接收到图像传感器a710的第一行715的最后数据时,临时存储器730中所存储的图像传感器b720的第一行725的第一数据可以发送到处理器310。

在操作s960中,处理器310可以将图像传感器a710的第一行715和图像传感器b720的第一行725融合为一个连续行。在接收到图像传感器a710和图像传感器b720的第一行715和725或水平行的所有数据之后,处理器310可以生成一个水平行的融合式图像数据。此外,有选择地,在接收到图像传感器a710和图像传感器b720的第一行715和725或水平行的所有数据之后接收到第二行和第三行的所有数据之后,处理器310可以生成以帧单元中所融合的图像数据。

电子装置100可以通过关于从图像传感器a710和图像传感器b720发送的行重复这些操作来生成一个合成式图像。

根据控制电子装置100的方法,根据实施例,可以通过关于从多个图像传感器读取的数据仅使用与一个图像传感器的一个行对应的临时存储器来形成硬件,并且可以调整图像传感器的同步信号的定时,从而通过具有临时存储器的最小容量,可以高效地存储从多个图像传感器读取的数据,并且可以生成合成式图像。

图10是根据实施例的经由电子装置100将两个图像融合为一个图像的结果的视图。

参照图10的(a),图像11010可以是图像传感器a710所生成的图像。图像传感器a710可以包括例如位于图1所示的电子装置100的前表面处的相机150中所包括的图像传感器。图像11010可以包括例如具有180度视角的图像。

图像21020可以包括图像传感器b720所生成的图像。图像传感器b720可以包括例如位于与图1的电子装置100的前表面相对的表面处的相机150’中所包括的图像传感器。图像21020可以包括具有180度视角的图像。

参照图10的(b),图像31030可以是通过融合图像11010和图像21020所生成的图像。图像11010和图像21020中的每一个具有180度视角,并且因此,通过融合两个图像所生成的图像1030可以具有360度视角。

当通过使用根据本实施例的电子装置100捕获对象时,用户可以经由一次捕获来容易地获得具有360度视角的图像。

图11是根据实施例的经由电子装置100将四个图像合成为一个图像的结果的视图。

参照图11的(b),图像11110可以是第一图像传感器所生成的图像,并且可以是例如具有90度视角的图像。图像21120可以是第二图像传感器所生成的图像,并且可以是例如具有90度视角的图像。图像31130可以是第三图像传感器所生成的图像,并且可以是例如具有90度视角的图像。图像41140可以是第四图像传感器所生成的图像,并且可以是例如具有90度视角的图像。

参照图11的(b),图像51150可以是通过融合图像11310、图像21320、图像31330以及图像41340所生成的图像。图像中的每一个具有90度视角,并且因此,各图像得以融合的图像51150具有360度视角。

当通过使用根据本实施例的电子装置100捕获对象时,用户可以经由一次捕获来容易地获得具有360度视角的图像。

图12是根据另一实施例的控制电子装置的方法的流程图。

参照图12,在操作s1200中,处理器可以将第一读取控制信号输出到第一图像传感器,并且接收所读取的第一数据。

在操作s1210中,处理器可以将第二读取控制信号输出到第二图像传感器,并且将所读取的第二数据存储在临时存储器中。

可以同时地或依次地执行操作s1200和s1210。第一读取控制信号和第二读取控制信号可以是输出到图像传感器的水平同步信号或与水平同步信号对应的传感器控制信号。

在操作s1220中,处理器可以控制基于第一读取控制信号与下一第一读取控制信号之间所生成的输出控制信号而输出临时存储器中所存储的第二数据。在此,消隐时段可以插入在用于读取第一图像传感器的第一行的数据的第一读取控制信号与用于读取第一图像传感器的第二行的数据的下一第一读取控制信号之间。因此,处理器可以在从第一图像传感器接收第一数据之后接收临时存储器中所存储的第二数据,并且可以在接收第二数据的同时不从第一图像传感器接收数据。可以通过考虑图像传感器的数量、图像传感器的一个行的大小等可变地设置消隐时段的长度。

在操作s1230中,处理器可以生成融合第一数据和第二数据的融合的数据。

依据根据实施例的控制电子装置的方法,仅通过关于多个图像传感器中的特定传感器的数据读取定时而设置特定消隐时段,可以使得临时存储器的使用最小化,并且即使数据输入时钟和数据输出时钟是相同的,处理器合成多条图像数据也可以并非是不便的。

图13是根据另一实施例的用于描述电子装置将图像信号发送到临时存储器的情况的视图。与图8的实施例相比,根据图13的实施例的电子装置不包括附加临时存储器。在此,可以调整图像传感器a710和图像传感器b720的读取定时,从而图像传感器a710和图像传感器b720可以依次将数据输出到处理器310,而无需临时存储器。

参照图13,处理器310可以通过使用垂直同步信号810和水平同步信号812来控制图像传感器a710和图像传感器b720。

在时间点t1,当图像传感器a710输出第一行715的数据a1至a8时,处理器310可以开始接收第一行715的数据a1至a8。在处理器310完成接收第一行715的数据a1至a8的定时,图像传感器b720的第一行725的数据b1至b8可以开始输出到处理器310。也就是说,图像传感器a710和图像传感器b720的传感器输出定时可以具有时间点t2与时间点t1之间的差。此外,处理器310可以控制在从图像传感器b720接收数据b1至b8的同时不从图像传感器a710接收数据。为此,处理器310可以控制被配置为控制从图像传感器a710接收第二行的数据a9至a16的水平同步信号812的定时。也就是说,消隐时段可以设置在从临时存储器730接收数据的时间点t2与从图像传感器a710接收第二行的数据a9至a16的时间点t3之间。

在从图像传感器a710接收到所有数据a1至a8之后从图像传感器b720接收到所有数据b1至b8之后,处理器310可以响应于下一水平同步信号而从图像传感器a710接收第二行的数据a9至a16。此外,处理器310可以在处理器310完成从图像传感器a710接收数据a9至a16的时间点从图像传感器b720接收下一行的数据b9至b16。

相应地,如上所述,处理器310可以将图像传感器a710和图像传感器b720的数据读取定时控制为不同的,并且可以关于图像传感器a710的读取控制信号而设置特定消隐时段,从而以非重叠方式从图像传感器a710和图像传感器b720接收数据,并且生成同时融合的图像数据,而不使用临时存储器。

根据实施例的装置(例如其模块或功能)和方法(例如操作)中的至少一个可以实现为计算机指令,其可以由各个计算机部件执行并且记录在非瞬时计算机可读记录介质上。当处理器(例如处理器310)执行指令时,一个或多个处理器可以执行与指令对应的功能。非瞬时计算机可读记录介质可以包括例如存储器130。

非瞬时计算机可读记录介质可以包括硬盘、软盘、磁介质(例如磁带)、光介质(例如压缩盘-只读存储器(cd-rom)或数字多功能盘(dvd))、磁光介质(例如软光盘)以及硬件设备(例如只读存储器(rom)、随机存取存储器(ram)或闪存)。程序命令的示例包括可以由计算机使用解释器执行的高级编程语言代码以及编译器进行的机器语言代码。硬件设备可以被配置为操作为一个或多个软件模块,以执行根据各个实施例的操作,并且反之亦然。

根据各个实施例的模块或程序模块可以包括或省略所描述的组件中的至少一个,并且可以还包括其它组件。可以按依次、并行、重复式或启发式方法执行根据实施例的模块、程序模块或其它组件所执行的操作。此外,可以按不同顺序执行或省略一些操作,或可以添加其它操作。本公开的范围由权利要求而非由本公开的具体实施方式指示,并且应理解,本公开的范围中包括权利要求以及从权利要求的概念抽取的所有修改或修改后的形式。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1