用于校准立体相机的方法和电子装置与流程

文档序号:18457556发布日期:2019-08-17 01:44阅读:158来源:国知局
用于校准立体相机的方法和电子装置与流程

本公开涉及用于校准立体相机的方法和执行该方法的电子装置。



背景技术:

随着信息技术的发展,相机已经从传统的胶片相机演变为数字相机。现今,正在开发一种能够检测三维距离或深度的立体相机。

立体相机可以包括多个相机模块,并且可以合成由相机模块拍摄的图像数据。用户可以从所合成的图像中感觉到深度。

由于立体相机通过使用多个相机模块来拍摄单个被摄体,所以两个相机之间的校准应该是非常重要的。作为用于进行校准的数据的校准参数在制造过程期间被预先设置。因此,如果镜头或图像传感器由于外部物理震动、外部温度的急剧改变或老化劣化而导致变形,则可能难以正常地合成图像。



技术实现要素:

技术问题

本公开的各个方面是为了至少解决上述问题和/或缺点,并且至少提供以下描述的优点。

因此,本公开的一方面是为了提供一种用于在由于特定事件而发生镜头或图像传感器的变形的情况下或在存在由于特定事件而发生镜头或图像传感器的变形的可能性的情况下,基于先前在指定条件下所累积的图像数据来计算并更新恰当的校准参数的校准方法、使用更新的校准参数的校准方法以及执行所述方法的电子装置。

技术方案

根据本公开的一方面,一种电子装置可以包括:第一相机,其获得第一图像;第二相机,其获得与第一图像具有视差的第二图像;存储器,其存储第一校准参数;以及处理器,其通过使用第一校准参数来校准第一图像和第二图像中的至少一个并合成第一图像和第二图像。处理器可以被配置为:如果发生指定事件,则收集在指定事件发生之后从第一相机和第二相机获得的图像并将所收集的图像存储在存储器中,如果满足指定条件,则基于在指定事件发生之后获得的图像计算第二校准参数,以及用第二校准参数更新第一校准参数。

根据本公开的另一方面,一种校准方法可以包括:获得第一图像和与第一图像具有视差的第二图像;通过使用第一校准参数来校准第一图像和第二图像中的至少一个并合成第一图像和第二图像;如果发生指定事件,则收集在指定事件发生之后从第一相机和第二相机获得的图像并将所收集的图像存储在存储器中;如果满足指定条件,则基于在指定事件发生之后获得的图像计算第二校准参数;以及用第二校准参数更新第一校准参数。

发明的有益效果

根据本公开的各种实施例,在由于外部震动、外部温度的急剧改变或老化劣化而在第一图像和第二图像之间发生平移和/或旋转的情况下,可以计算最恰当的校准参数,并且可以用由此计算的最恰当的校准参数更新先前的校准参数。因此,可以有效地合成立体相机的图像并减少电子装置被专业人员修理的次数。

附图说明

从结合附图的以下描述中,本公开的某些实施例的以上以及其他方面、特征和优点将更显而易见,在附图中:

图1示出了根据本公开的各种实施例的电子装置;

图2示出了根据本公开的各种实施例的电子装置的框图;

图3a和图3b是用于描述立体相机的校准的视图;

图4示出了根据本公开的实施例的电子装置的框图;

图5是示出了根据本公开的实施例的校准方法的流程图;

图6是用于描述执行根据本公开的实施例的校准方法时的时间点的视图;

图7是用于描述根据本公开的实施例的指定事件的流程图;以及

图8是示出了根据本公开的另一实施例的校准方法的流程图。

应该注意,贯穿附图,相似的附图标记用于描绘相同或相似的元件、特征和结构。

具体实施方式

在下文中,将参考附图描述本公开的各种实施例。因此,本领域技术人员将认识到,在不背离本公开的范围和精神的情况下,可以对本文中所描述的各种实施例做出各种修改、等同和/或替换。贯穿说明书和附图,相同或相似的附图标记可以用于指代相同或相似的元件。

在本公开中,表述“具有”、“可以具有”、“包含”和“包括”或“可以包含”和“可以包括”指示存在对应的特征(例如,诸如数值、功能、操作或组件之类的要素),但不排除存在附加的特征。

在本公开中,表述“a或b”、“a或/和b中的至少一个”或者“a或/和b中的一个或多个”等可以包括相关联列出的项目中的一个或多个的任意和所有组合。例如,术语“a或b”、“a和b中的至少一个”或者“a或b中的至少一个”可以指代以下所有情况:(1)包括至少一个a,(2)包括至少一个b,或者(3)包括至少一个a和至少一个b这两者。

在本公开中使用的诸如“第一”、“第二”等的术语可以用于指代各种要素,而不管顺序和/或优先级如何,以及用于将相关要素与其他要素加以区分,但不限制要素。例如,“第一用户装置”和“第二用户装置”指示不同的用户装置,而不管顺序或优先级如何。例如,在不脱离本公开的范围的情况下,第一要素可以被称为第二要素,类似地,第二要素可以被称为第一要素。

将理解,当一个元件(例如,第一元件)被称为“(操作地或通信地)耦接到”或“连接到”另一元件(例如,第二元件)时,其可以直接耦接到或连接到该另一元件,或者可以存在中间元件(例如,第三元件)。相反,当一个元件(例如,第一元件)被称为“直接耦接到”或“直接连接到”另一元件(例如,第二元件)时,应该理解,不存在中间元件(例如,第三元件)。

根据情况,本公开中所使用的表述“(被)配置为”可以与例如表述“适用于”、“具有...的能力”、“(被)设计为”、“适于”、“(被)制造为”或“能够”互换使用。术语“(被)配置为”不仅仅意味着在硬件方面“被专门设计为”。相反,表述“被配置为...的装置”可以意指该装置“能够”与另一装置或其他组件一起操作。例如,“被配置(或设置)为执行a、b和c的处理器”可以意指用于执行对应操作的专用处理器(例如,嵌入式处理器)或通过执行存储在存储器装置中的一个或多个软件程序来执行对应操作的通用处理器(例如,中央处理单元(cpu)或应用处理器)。

本公开中使用的术语用于描述特定实施例,而不旨在限制另一实施例的范围。除非另外指定,否则单数形式的术语可以包括复数形式。本文中使用的所有术语(包括技术术语或科学术语)可以具有与本领域技术人员通常理解的含义相同的含义。还将理解,在字典中定义并且常用的术语也应该被解释为相关技术中的惯例,而不应该被理想化或过度正式,除非在本公开的各种实施例中明确地如此定义。在一些情况下,即使在本公开中定义了某些术语,也不可将它们解释为排除本公开的实施例。

根据本公开的各种实施例的电子装置可以包括:智能电话、平板个人计算机(pc)、移动电话、视频电话、电子书阅读器、台式pc、膝上型pc、上网本计算机、工作站、服务器、个人数字助理(pda)、便携式多媒体播放器(pmp)、运动图像专家组(mpeg-1或mpeg-2)音频层3(mp3)播放器、移动医疗装置、相机或可穿戴装置。根据各种实施例,可穿戴装置可以包括:饰品型(例如,手表、戒指、手链、脚链、项链、眼镜、隐形眼镜或头戴式装置(hmd))、衣料或服饰集成型(例如,电子服装)、身体附着型(例如,皮肤贴或纹身)或生物植入型(例如,可植入电路)。

根据各种实施例,电子装置可以是家用电器。家用电器可以包括:电视(tv)、数字多功能盘(dvd)播放器、音响、冰箱、空调、吸尘器、烤箱、微波炉、洗衣机、空气净化器、机项盒、家庭自动控制面板、安全控制面板、tv盒(例如,samsunghomesynctm、appletvtm和googletvtm)、游戏机(例如,xboxtm和playstationtm)、电子词典、电子钥匙、摄像机、电子相框等。

根据另一实施例,电子装置可以包括:各种医疗装置(例如,各种便携式医疗测量装置(例如,血糖监控装置、心率测量装置、血压测量装置、体温测量装置等)、磁共振血管造影(mra)、磁共振成像(mri)、计算断层扫描(ct)、扫描仪和超声装置)、导航装置、全球导航卫星系统(gnss)、事件数据记录仪(edr)、飞行数据记录仪(fdr)、车辆信息娱乐装置、船用电子装置(例如,导航系统和陀螺罗盘)、航空电子设备、安全装置、车头单元、工业或家用机器人、自动柜员机(atm)、销售点(pos)装置或物联网(iot)装置(例如,灯泡、各种传感器、电表或气表、洒水器装置、火警、恒温器、街灯、烤面包机、运动器材、热水箱、加热器、锅炉等)。

根据实施例,电子装置可以包括以下项中的至少一个:家具或建筑物/结构的一部分、电子板、电子签名接收装置、投影仪或各种测量仪器(例如,水表、电表、气表或波长计等)。电子装置可以是上述装置之一或其组合。电子装置可以是柔性电子装置。此外,电子装置不限于上述电子装置,并且可以包括其他电子装置和根据技术发展的新型电子装置。

在下文中,将参考附图描述根据各种实施例的电子装置。在本公开中,术语“用户”可以指代使用电子装置的人,或者可以指代使用电子装置的装置(例如,人工智能电子装置)。

图1示出了根据各种实施例的电子装置的框图。

参考图1,根据各种实施例,电子装置101、102、104或服务器106可以通过网络162或局域无线通信164彼此连接。电子装置101可以包括总线110、处理器120、存储器130、输入/输出接口150、显示器160和通信接口170。根据实施例,电子装置101可以不包括上述元件中的至少一个,或者还可以包括其他元件。

总线110可以将上述元件110至170互连,并且可以包括用于在上述元件之间传送通信(例如,控制消息和/或数据)的电路。

处理器120可以包括中央处理单元(cpu)、应用处理器(ap)或通信处理器(cp)中的一个或多个。处理器120可以执行与电子装置101的至少一个其他元件的控制和/或通信相关联的算数运算或数据处理。

存储器130可以包括易失性和/或非易失性存储器。存储器130可以存储与电子装置101的其他元件相关联的指令或数据。根据实施例,存储器130可以存储软件和/或程序140。例如,程序140可以包括内核141、中间件143、应用编程接口(api)145和/或应用程序(或“应用”)147。内核141、中间件143或api145中的至少一部分可以被称为“操作系统(os)”。

内核141可以控制或管理执行其他程序(例如,中间件143、api145和应用147)的操作或功能所使用的系统资源(例如,总线110、处理器120、存储器130等)。此外,内核141可以提供允许中间件143、api145或应用147访问电子装置101的分立元件以便控制或管理系统资源的接口。

例如,中间件143可以起中介作用,使得api145或应用147与内核141进行通信以交换数据。

此外,中间件143可以根据优先级来处理从应用147接收的一个或多个任务请求。例如,中间件143可以向应用147中的至少一个分配使其可以使用电子装置101的系统资源(例如,总线110、处理器120、存储器130等)的优先级。中间件143可以根据所分配的优先级处理一个或多个任务请求,这使其可以对一个或多个任务请求执行调度或负载均衡。

api145可以是例如如下接口,应用147通过该接口控制由内核141或中间件143提供的功能,并且api145可以包括例如用于文件控制、窗口控制、图像处理、字符控制等的至少一个接口或功能(例如,指令)。

例如,输入/输出接口150可以用作向电子装置101的其他元件发送从用户或另一外部装置输入的指令或数据的接口。此外,输入/输出接口150可以向用户或另一外部装置输出从电子装置101的其他元件接收的指令或数据。

例如,显示器160可以包括液晶显示器(lcd)、发光二极管(led)显示器、有机led(oled)显示器、微机电系统(mems)显示器或电子纸显示器。例如,显示器160可以向用户显示各种内容(例如,文本、图像、视频、图标、符号等)。显示器160可以包括触摸屏,并且可以接收例如使用电子笔或用户的身体部位进行的触摸、手势、接近或悬停输入。

通信接口170可以在电子装置101与外部装置(例如,第一外部电子装置102、第二外部电子装置104或服务器106)之间建立通信。例如,通信接口170可以通过无线通信或有线通信连接到网络162,以与外部装置(例如,第二外部电子装置104或服务器106)通信。

无线通信可以包括蜂窝通信,其采用长期演进(lte)、高级lte(lte-a)、码分多址(cdma)、宽带cdma(wcdma)、通用移动电信系统(umts)、无线宽带(wibro)、全球移动通信系统(gsm)等作为蜂窝通信协议。根据实施例,无线通信可以包括例如以下项中的至少一个:无线保真(wi-fi)、蓝牙、蓝牙低能耗(ble)、zigbee、近场通信(nfc)、磁条传输(mst)、射频(rf)、体域网(ban)和全球导航卫星系统(gnss)。

mst可以响应于传输数据,使用电磁信号生成脉冲,脉冲可以生成磁场信号。电子装置101可以向pos发送磁场信号,pos可以使用mst读取器检测磁场信号。pos可以通过将检测到的磁场信号转换为电信号来恢复数据。

基于可用区域、带宽等,gnss可以包括:全球定位系统(gps)、全球导航卫星系统(glonass)、北斗导航卫星系统(北斗)或欧洲基于全球卫星的导航系统(伽利略)。下文中,在本公开中,“gps”和“gnss”可以互换使用。有线通信可以包括:通用串行总线(usb)、高清多媒体接口(hdmi)、推荐标准-232(rs-232)、普通老式电话服务(pots)等。网络162可以包括电信网络中的至少一个,例如计算机网络(例如,lan或wan)、互联网或电话网络。

第一外部电子装置102和第二外部电子装置104中的每一个可以是类型与电子装置101不同或相同的装置。服务器106可以包括具有一个或多个服务器的组。根据各种实施例,可以由另一电子装置或多个电子装置(例如,电子装置102和104或服务器106)执行在电子装置101中执行的全部操作或部分操作。在电子装置101自动地执行或者响应于请求而执行任何功能或服务的情况下,电子装置101可以不是内部地执行所述功能或服务,而是可以向其他装置(例如,电子装置102或104或服务器106)请求与电子装置101相关联的功能的至少一部分。其他电子装置(例如,电子装置102或104或服务器106)可以执行所请求的功能或附加功能,并可以向电子装置101发送执行结果。电子装置101可以使用接收到的结果提供所请求的功能或服务,或者可以附加地对接收到的结果进行处理以提供所请求的功能或服务。可以使用云计算、分布式计算或客户端-服务器计算。

图2示出了根据各种实施例的电子装置的框图。

参考图2,电子装置201可以包括例如图1所示的电子装置101的整体或一部分。电子装置201可以包括一个或多个处理器(例如,应用处理器(ap))210、通信模块220、用户识别模块229、存储器230、传感器模块240、输入装置250、显示器260、接口270、音频模块280、相机291、电力管理模块295、电池296、指示器297和电机298。

处理器210可以操作例如操作系统(os)或应用,以控制连接到处理器210的多个硬件或软件元件,并且可以处理和计算各种数据。处理器210可以使用片上系统(soc)来实现。根据实施例,处理器210还可以包括图形处理单元(gpu)和/或图像信号处理器。处理器210可以包括图2所示的元件的至少一部分(例如,蜂窝模块221)。处理器210可以将从至少一个其他元件(例如,非易失性存储器)接收到的指令或数据加载到易失性存储器中,并处理所加载的指令或数据。处理器210可以将各种数据存储在非易失性存储器中。

通信模块220可以被配置为与图1的通信接口170相同或相似。通信模块220可以包括蜂窝模块221、wi-fi模块222、蓝牙(bt)模块223、gnss模块224(例如,gps模块、glonass模块、北斗模块或伽利略模块)、近场通信(nfc)模块225、mst模块226和射频(rf)模块227。

蜂窝模块221可以通过通信网络提供语音通信、视频通信、字符服务、互联网服务等。根据实施例,蜂窝模块221可以通过使用用户识别模块(sim)229执行在通信网络内对电子装置201的区分和认证。根据实施例,蜂窝模块221可以执行处理器210所提供的功能的至少一部分。根据实施例,蜂窝模块221可以包括通信处理器(cp)。

例如,wi-fi模块222、bt模块223、gnss模块224、nfc模块225或mst模块226中的每一个可以包括用于对通过对应模块交换的数据进行处理的处理器。根据实施例,蜂窝模块221、wi-fi模块222、bt模块223、gnns模块224、nfc模块225或mst模块226中的至少一部分(例如,两个或更多个)可以被包括在一个集成电路(ic)或ic封装内。

rf模块227可以发送和接收通信信号(例如,rf信号)。rf模块227可以包括收发器、功率放大器模块(pam)、频率滤波器、低噪声放大器(lna)、天线等。根据另一实施例,蜂窝模块221、wi-fi模块222、bt模块223、gnss模块224、nfc模块225或mst模块226中的至少一个可以通过单独的rf模块发送和接收rf信号。

sim229可以包括例如包含用户识别模块在内的卡和/或嵌入式sim,并且可以包括唯一身份信息(例如,集成电路卡标识符(iccid))或用户信息(例如,国际移动用户身份(imsi))。

存储器230可以包括内部存储器232或外部存储器234。内部存储器232可以包括:易失性存储器(例如,动态随机存取存储器(dram)、静态ram(sram)、同步dram(sdram)等)、非易失性存储器(例如,一次性可编程只读存储器(otprom)、可编程rom(prom)、可擦除可编程rom(eprom)、电可擦除可编程rom(eeprom)、掩模rom、闪速rom、闪存(例如,nand闪存或nor闪存)等)、硬盘驱动器或固态驱动器(ssd)。

外部存储器234可以进一步包括闪速驱动器,例如紧凑型闪存(cf)、安全数字(sd)、微型安全数字(micro-sd)、迷你型安全数字(mini-sd)、极限数字(xd)、多媒体卡(mmc)、记忆棒等。外部存储器234可以通过各种接口与电子装置201可操作地和/或物理地连接。

安全模块236可以是包括安全等级比存储器230的安全等级更高的存储空间的模块,并且可以是确保安全的数据存储和受保护的执行环境的电路。安全模块236可以用单独的电路实现,并且可以包括单独的处理器。安全模块236可以在可移除的智能芯片或安全数字(sd)卡中,或者可以包括嵌入在电子装置201的固定芯片中的嵌入式安全元件(ese)。此外,安全模块236可以基于与电子装置201的os不同的os进行操作。安全模块236可以基于java卡开放平台(jcop)os进行操作。

传感器模块240可以测量物理量,或可以检测电子装置201的操作状态。传感器模块240可以将测量到的或检测到的信息转换为电信号。传感器模块240可以包括以下项中的至少一个:手势传感器240a、陀螺仪传感器240b、大气压力传感器240c、磁性传感器240d、加速度传感器240e、握持传感器240f、接近传感器240g、颜色传感器240h(例如,红、绿、蓝(rgb)传感器)、生物特征传感器240i、温度/湿度传感器240j、照度传感器240k和uv传感器240m。尽管未示出,但是附加地或通常地,传感器模块240还可以包括例如电子鼻传感器、肌电图(emg)传感器、脑电图(eeg)传感器、心电图(ecg)传感器、红外(ir)传感器、虹膜传感器和/或指纹传感器。传感器模块240还可以包括用于控制包括在其中的一个或多个传感器的控制电路。根据实施例,电子装置201还可以包括作为处理器210的一部分或独立于处理器210且被配置为控制传感器模块240的处理器。该处理器可以在处理器210保持在睡眠状态时控制传感器模块240。

输入装置250可以包括触摸面板252、(数字)笔传感器254、按键256和超声输入单元258。触摸面板252可以使用电容式、电阻式、红外式和超声式检测方法。此外,触摸面板252还可以包括控制电路。触摸面板252还可以包括用于向用户提供触觉反应的触觉层。

例如,(数字)笔传感器254可以是触摸面板的一部分或可以包括用于识别的附加片。例如,按键256可以包括物理按钮、光学按键或键区。超声输入装置258可以通过麦克风288检测(或感测)从输入装置生成的超声信号,并且可以检查与所检测到的超声信号相对应的数据。

显示器260可以包括面板262、全息装置264和投影仪266。面板262可以与图1所示的显示器160相同或相似。例如,面板262可以被实现为柔性的、透明的或可穿戴的。面板262和触摸面板252可以集成在单个模块中。全息装置264可以使用光的干涉现象在空间中显示立体图像。投影仪266可以将光投影到屏幕上以便显示图像。屏幕可以布置在电子装置201内部或外部。根据实施例,面板262可以包括测量用户的触摸压力强度的压力传感器(或力传感器)。压力传感器可以与触摸面板252集成地实现,或者可以实现为独立于触摸面板252的至少一个传感器。根据实施例,显示器260还可以包括用于控制面板262、全息装置264和投影仪266的控制电路。

接口270可以包括高清多媒体接口(hdmi)272、通用串行总线(usb)274、光学接口276或d-超小型(d-sub)278。接口270可以被包括在图1所示的通信接口170中。附加地,接口270可以包括移动高清链路(mhl)接口、sd卡/多媒体卡(mmc)接口或红外数据协会(irda)标准接口。

音频模块280可以双向地转换声音和电信号。音频模块280的至少一部分可以被包括在图1所示的输入/输出接口150中。音频模块280可以处理通过扬声器282、接收器284、耳机286或麦克风288输入或输出的声音信息。

相机291可以拍摄静止图像或视频。根据实施例,相机模块291可以包括一个或多个图像传感器(例如,前置传感器或后置传感器)、镜头、图像信号处理器(isp)或闪光灯(例如,led或氙气灯)。

电力管理模块295可以管理电子装置201的电力。根据实施例,电力管理模块295中可以包括电力管理集成电路(pmic)、充电器ic或电池表。pmic可以具有有线充电方法和/或无线充电方法。无线充电方法可以包括磁共振方法、磁感应方法或电磁方法,并且还可以包括附加电路,例如线圈环路、谐振电路、整流器等。例如,电池表可以测量电池296的剩余容量以及当对电池充电时电池的电压、电流或温度。电池296可以包括可再充电电池和/或太阳能电池。

指示器297可以显示电子装置201或其一部分(例如,处理器210)的指定状态,例如引导状态、消息状态、充电状态等。电机298可以将电信号转换为机械振动,并且可以生成振动、触觉效果等。尽管未示出,但电子装置201中可以包括用于支持移动tv的处理装置(例如,gpu)。用于支持移动tv的处理装置可以根据数字多媒体广播(dmb)、数字视频广播(dvb)、mediaflotm等标准处理媒体数据。

根据本公开中所描述的各种实施例的电子装置的上述元件中的每一个可以配置有一个或多个组件,且元件名称可以根据电子装置的类型而改变。电子装置可以包括上述元件中的一个,并且可以省略一些元件或可以添加其他附加元件。此外,可以将根据各种实施例的电子装置的元件中的一些元件彼此组合,以便形成一个实体,使得可以以与组合之前相同的方式执行这些元件的功能。

图3a和图3b是用于描述立体相机的校准的视图。

参考图3a,根据实施例的立体相机可以包括设置在左侧以面向被摄体31的第一相机301l和设置在右侧以面向被摄体31的第二相机301r。

第一相机301l可以响应于快门的操作而接收从被摄体31反射的光。所述光可以在包括在第一相机301l中的图像传感器中引起光电转换。可以通过光电转换将所述光转换为电信号,并且可以通过对该电信号执行模数转换来创建第一图像310l的数字数据。第二相机301r可以接收从被摄体31反射的光以创建第二图像310r。

根据实施例,第一图像310l与第二图像310r可以具有指定的视差。例如,在第一图像310l中,被摄体31l可以在x轴方向上相对于第一图像310l的x轴方向的中心设置在左侧“d1”处。此外,例如,在第二图像310r中,被摄体31r可以在x轴方向上相对于第二图像310r的x轴方向的中心设置在右侧“d2”处。在这种情况下,第一图像310l和第二图像310r可以具有“d1+d2”的视差。视差可以具有根据第一相机301l和第二相机301r的布置设计而预先设置的值。可以通过由电子装置的处理器执行的校准和合成,将第一图像310l和第二图像310r变换为单个图像(立体图像)。

参考图3b,如图3a中那样,第一相机302l和第二相机302r可以接收从被摄体31反射的光,以分别创建第一图像320l和第二图像320r。第一图像320l与第二图像320r可以具有指定的视差。

根据实施例,第二相机302r的镜头、图像传感器的布置可能由于外部冲击、外部温度的急剧变化或老化劣化而微小地改变。这样,在由第二相机302r获得的第二图像320r中可能发生“δy”的平移。如果通过使用图3a中所使用的校准参数对第一图像320l和其中发生了平移的第二图像320r进行校准和合成,则可能难以正常合成。

可以在图3b中仅考虑y轴方向的平移。然而,由于外部冲击、外部温度的急剧变化、老化劣化,可能发生x轴、y轴和z轴方向的水平平移,并且可能发生围绕x轴、y轴和z轴的旋转。根据本公开的各种实施例,在由于外部因素而在第一相机或第二相机中发生物理变形(例如,平移或旋转)的情况下,可以提供一种通过软件处理对从第一相机和第二相机获得的图像进行校准的方式。下面,将描述图像校准方法和执行该方法的电子装置的配置和操作。

图4示出了根据本公开的实施例的电子装置的框图。

参考图4,根据实施例的电子装置401可以包括第一相机410l、第二相机410r、图像传感器接口(i/f)420、图像信号处理器(在下文中,被称为“isp”)430、gps模块440、通信电路445、显示器450、存储器460、传感器模块470和充电接口480以及处理器490。图4中所示的电子装置401可以对应于图1或图2中所示的电子装置,此处可以不再重复参考图1或图2的对应元件所给出的描述。可以在没有一些元件的情况下实现电子装置401,或者可以将其实现为还包括未在图4中示出的一个或多个元件。

第一相机410l可以包括镜头411、光学稳像(ois)驱动器模块412和415、光圈413、图像传感器414和快门419。根据各种实施例,可以在没有一些元件的情况下实现第一相机410l,或者可以将其实现为还包括未在图4中示出的一个或多个元件。第二相机410r包括与第一相机410l相同的配置,因此其描述被替换为对第一相机410l的描述。

镜头411可以聚焦从外部入射在第一相机410l上的光。聚焦的光可以通过光圈413到达图像传感器414。也就是说,镜头411可以允许由被摄体反射的光或从被摄体产生的光到达图像传感器414的像素阵列。

光圈413可以调节到达图像传感器414(或入射在图像传感器414上)的光量(辐射强度)。通常,到达图像传感器414的光量可以随着光圈值变大而减少,并且可以随着光圈值变小而增加。

图像传感器414可以包括像素阵列,其中多个像素二维地布置成栅格形状。像素阵列可以包括数百万或数千万个像素,并且可以向每个像素分配多种预定颜色之一。例如,多种预定颜色可以包括“红色、绿色和蓝色(rgb)”或“红色、绿色、蓝色和白色(rgbw)”。例如,可以使用电荷耦合器件(ccd)或互补金属氧化物半导体(cmos)实现图像传感器414。

根据实施例,图像传感器414可以基于从外部接收的光生成电信号,并且可以基于电信号生成数字图像数据(例如,拜耳图像数据)。第一相机410l的图像传感器414可以获得被摄体的第一图像数据(也简称为“第一图像”)。第二相机410r的图像传感器414可以获得与被摄体的第一图像具有视差的被摄体的第二图像数据(也简称为“第二图像”)。

快门419可以调节图像传感器414暴露于光的时间。如果快门419缓慢操作,则大量光可以入射在图像传感器414上,如果快门419快速操作,则少量光可以入射在图像传感器414上。可以基于快门速度来调节快门419操作的时间。快门419可以包括用于控制图像传感器的方式的机械快门或电子快门。

ois驱动器模块412和415可以动态地调节镜头411或图像传感器414的布置(或位置)。ois驱动器模块412和415可以沿与握持电子装置401的手的移动方向相反的方向精细地调节镜头411或图像传感器414的布置。因此,可以校正由于手的移动而引起的图像模糊。根据各种实施例,ois驱动器模块412和415可以被称为减振(vr)模块、图像稳定器(is)、光学稳定器(os)、防抖(as)模块、稳定拍摄模块等,这取决于电子装置401的制造商。

图像传感器接口(i/f)420可以居间促成图像传感器414与另一元件(例如,isp430)之间的数据交换。图像传感器接口(i/f)420可以向isp430传送在图像传感器414中生成的图像数据。

isp430可以包括多个图像处理块(在下文中,被称为“ip块”)。isp430可以通过多个ip块校正从第一相机410l获得的第一图像和从第二相机410r获得的第二图像。ip块可以包括各种ip块,例如用于颜色插值的ip块、用于镜头阴影校正的ip块、用于自动白平衡的ip块、用于横向色差校正的ip块、用于光学逆校正的ip块、用于降噪的ip块、用于边缘增强的ip块、用于伽马校正的ip块或用于失焦的ip块。多个ip块也可以被称为“图像处理滤波器”、“图像处理模块”等。此外,根据各种实施例,isp430可以被包括在处理器490中。在这种情况下,可以在校准或合成之后由处理器490执行isp430的处理。

gps模块440可以通过与gps卫星的交互来测量电子装置401的位置。gps可以与“gnss”互换使用,并且例如,gps可以被称为“glonass”、“北斗”或“伽利略”,这取决于使用地区或带宽。根据各种实施例,gps模块440可以被包括在通信电路445中并在其中实现。

例如,通信电路445可以通过基于诸如gsm、cdma或lte之类的协议的蜂窝通信网络向基站(例如,nodeb、e-nodeb等)发送信号和从基站接收信号。通信电路445可以包括收发器、功率放大器(pam)、频率滤波器、低噪声放大器(lan)、天线等。

显示器450可以向用户可视地输出各种内容(例如,文本、图像、视频、图标、微件、符号等)。根据实施例,显示器450可以包括触摸传感器,其中显示器450可以接收通过使用电子笔或用户的身体部位进行的触摸、手势、接近或悬停输入。

存储器460可以包括易失性和/或非易失性存储器。存储器460可以存储与电子装置401的至少一个其他元件相关联的命令或数据。存储器460可以存储指令,当指令被执行时,使得处理器490执行本文中所公开的各种操作(例如,参考图5至图8)。在用诸如应用程序、os或固件之类的软件实现了指令之后,可以将指令存储在存储器460中,或者可以将指令嵌入在硬件中。

根据实施例,存储器460可以存储第一校准参数。第一校准参数可以以查找表(lut)格式存储在存储器460中,并且可以用于对从第一相机410l和第二相机410r获得的图像的校准。

传感器模块470可以测量或感测在安装在电子装置401上的元件中或在电子装置401的外围环境中获得的物理量,并且可以将物理量转换为电信号。传感器模块470可以包括震动检测传感器471和温度/湿度传感器472。图4中仅示出了震动检测传感器471和温度/湿度传感器472。然而,根据各种实施例,传感器模块470还可以包括图2的传感器模块240中所包括的传感器240a至240m中的至少一个。

震动检测传感器471可以检测物理震动。震动检测传感器471可以包括陀螺仪传感器和/或加速度传感器。可以将与由震动检测传感器471所检测到的物理震动相关联的信号(或数据)报告给处理器490。

温度/湿度传感器472可以测量电子装置401的外围温度和/或湿度。可以将温度/湿度传感器472中所检测到的温度和/或湿度报告给处理器490。

为了向电子装置401供电,可以通过与外部电源有线或无线连接来连接充电接口480。充电接口480可以包括pmic、充电器ic等,并且可以被电连接。充电接口480可以包括诸如usb接口之类的有线充电接口或在无线充电联盟(wpc)、电源事务联盟(pma)、无线电力联盟(aw4p)等中定义的无线充电接口。

处理器490可以与包括在电子装置401中的元件410至480电连接,以执行与包括在电子装置401中的元件410至480的控制和/或通信相关联的操作或数据处理。

根据实施例,响应于快门419的操作,处理器490可以从第一相机410l获得第一图像,以及可以从第二相机410r获得第二图像。处理器490可以通过使用存储在存储器460中的第一校准参数来校准第一图像和第二图像中的至少一个(所谓的静态校准)。处理器490可以合成第一图像和第二图像,并且可以创建单个合成图像作为合成结果。

根据实施例,可以在制造电子装置401时,根据相机410l和410r中的每一个的镜头411和图像传感器414的安装布置来设置第一校准参数,使得不发生图像之间的平移和旋转。

根据实施例,如果发生了指定事件,则处理器490可以收集在指定事件发生之后从第一相机410l和第二相机410r获得的全部图像或部分图像,并且可以将所收集的图像存储在存储器460中。

指定事件可以包括各种事件,例如由于外部因素而引起的第一相机410l和第二相机410r中的每一个的镜头411和图像传感器414的安装布置的改变。例如,指定事件可以包括:震动检测传感器471检测到指定值或更大值的震动的情况、温度/湿度传感器472检测到温度改变超出指定范围的情况、gps模块440感测到与在国家之间的移动相对应的电子装置401的位置改变的情况以及通信电路445基于从基站接收到的信号感测到在国家之间的移动的情况。

指定事件可以包括:以两种或更多种技术检测到的到被摄体的距离之间的差不小于指定值的情况。处理器490可以基于焦距之间的差,即通过使用自动对焦(af)功能,检测包括在第一图像和第二图像中的被摄体的第一距离(从电子装置401到被摄体的距离)。此外,处理器490可以通过使用第一图像和第二图像之间的视差来检测被摄体的第二距离(从电子装置401到被摄体的距离)。如果第一距离和第二距离之间的差不小于指定值,则处理器490可以确定发生了指定事件。

如果发生了上述类型的事件,则处理器490可以将关于事件的信息存储在存储器460中。关于事件的信息可以包括与在震动检测传感器471中所检测到的脉动、在温度/湿度传感器472中所检测到的温度或湿度的变化、通过使用gps模块440或通信电路445所感测到的在国家之间的移动相关联的信息。存储在存储器460中的关于事件的信息可以用于由专业人员对电子装置401进行修理。

根据实施例,在指定事件发生之后所获得的图像可以包括从第一相机410l和第二相机410r获得的图像的原始数据,或者可以包括从第一相机410l和第二相机410r获得的图像中所包括的特征。特征可以包括根据尺度不变特征变换(sift)算法或加速鲁棒特征(surf)的特征点。根据sift算法和surf的特征点是(但不限于)能够从图像中提取的特征的示例。特征可以包括能够通过其他技术提取的特征(例如,定向梯度直方图(hog)描述符)。

根据实施例,处理器490可以从在指定事件发生之后所获得的图像中选择性地收集满足指定标准的图像。例如,处理器490可以在选择性地收集的图像的附加信息(例如,可交换图像文件格式(exif)数据)中写入指定的指示,或者可以将选择性地收集的图像的识别信息单独存储在存储器460中。

处理器490可以收集灵敏度属于指定范围的图像。当获得图像时,灵敏度可以由iso(国际标准化组织)12232:1998值、iso12232:2006值或其组合来表示。

处理器490可以收集亮度属于指定范围的图像。当获得图像时,亮度可以用光圈值和/或曝光时间(快门速度)来表示。

处理器490可以收集从中提取出的特征(例如,sift和surf)的数量超过阈值的图像。如果特征的数量增加或者如果特征在图像中均匀地分布,则可以由处理器490更加精确地进行校准。

处理器490可以收集图像合成失败的图像。图像合成失败的情况可以意味着不可能通过使用存储在存储器460中的第一校准参数恰当地执行图像合成。

在指定事件发生之后所获得的图像中不存在满足上述参考的图像的情况下,处理器490可以向用户提供引导消息(例如,向用户提供样本图像),使得用户可以拍摄计算第二校准参数所需的图像。

根据实施例,如果满足指定条件,则处理器490可以基于在指定事件发生之后从第一相机410l和第二相机410r获得的图像来计算第二校准参数(所谓的动态校准参数计算)。通过将在指定事件发生之后从第一相机410l获得的第一图像和从第二相机410r获得的第二图像进行比较,处理器490可以检测第一图像和第二图像之间的平移和旋转,并且可以通过使用检测结果来计算第二校准参数。

处理器490可以基于在图像的附加信息(例如,exif数据)中写入了指定指示的图像来计算第二校准参数。处理器490可以基于存储在存储器460中的识别信息所指示的图像来计算第二校准参数。

指定条件可以包括通过充电接口480从外部向电子装置401供电的情况。原因是基于在指定事件发生之后所获得的图像计算第二校准参数消耗相对多的计算资源和计算资源所需的电力。根据各种实施例,即使没有通过充电接口480向电子装置401供电,指定条件也可以基于通过用户接口的用户输入得到满足。

处理器490可以用计算的第二校准参数更新存储在存储器460中的第一校准参数。之后,处理器490可以通过使用计算的第二校准参数和/或在计算第二校准参数之后新获得的图像来对在指定事件发生之后所获得的图像进行校准,并且可以合成校准图像。也就是说,处理器490可以合成在指定事件发生之后的每次快门操作时获得的并通过使用第二校准参数校准的第一图像和第二图像。如果合成失败,则处理器490可以向用户提供指定通知。指定通知可以包括建议向专业人员请求修理的消息。

在本公开中,被描述为“电子装置”的操作的至少一些操作应该被理解为处理器490的操作。

图5是示出了根据实施例的校准方法的流程图。

参考图5,根据实施例的校准方法可以包括操作501至操作515。操作501至操作515可以由图4中所示的电子装置401执行。可以用能够由电子装置401的处理器490执行(或运行)的指令来分别实现操作501至操作515。指令可以被存储在计算机可读记录介质或图4中所示的电子装置401的存储器460中。在下文中,可以使用图4的附图标记描述操作501至操作515,并且这里将不再重复与参考图4所述相同的描述。

在操作501中,响应于快门419的操作,电子装置401的处理器490可以从第一相机410l获得第一图像,并且可以从第二相机410r获得第二图像。

在操作503中,处理器490可以通过使用第一校准参数来校准第一图像和/或第二图像(静态校准)。

在操作505中,处理器490可以合成第一图像和第二图像。在图5中,在操作503之后执行操作505,然而,本公开的实施例可以不限于此。根据各种实施例,可以在操作503之前执行操作505的合成。

在操作507中,处理器490可以确定是否发生了指定事件。如果确定发生了指定事件,则过程可以进行到操作509;否则,过程可以返回到操作501。例如,指定事件可以包括各种事件,例如第一相机410l和第二相机410r中的每一个的镜头411和图像传感器414的安装布置的改变。

指定事件可以包括:震动检测传感器471检测到指定值或更大值的震动的情况、温度/湿度传感器472检测到温度改变超出指定范围的情况、gps模块440感测到与在国家之间的移动相对应的电子装置401的位置改变的情况以及通信电路445基于从基站接收到的信号感测到在国家之间的移动的情况。指定事件可以包括以不同方法检测到的被摄体的距离之间的差不小于指定值的情况(将在图7中描述)。

如果发生了指定事件,则在操作509中,处理器490可以收集在指定事件发生之后从第一相机410l和第二相机410r获得的全部图像或部分图像,并且可以将所收集的图像存储在存储器460中。

在指定事件发生之后获得的图像可以包括从第一相机410l和第二相机410r获得的图像的原始数据,或者可以包括从第一相机410l和第二相机410r获得的图像中所包括的特征。特征可以包括根据sift算法或surf的特征点。

在操作511中,处理器490可以确定是否满足指定条件。如果确定满足指定条件,则过程可以进行到操作513;否则,过程可以返回到操作507。指定条件可以包括通过充电接口480从外部向电子装置401供电的情况。即使没有通过充电接口480向电子装置401供电,指定条件也可以基于通过ui的用户输入得到满足。

如果满足指定条件,则在操作513中,处理器490可以基于在指定事件发生之后从第一相机410l和第二相机410r获得的图像来计算第二校准参数(动态校准参数计算)。

在操作515中,处理器490可以用在操作513中计算的第二校准参数来更新存储在存储器460中的第一校准参数。

图6是用于描述执行根据实施例的校准方法时的时间点的视图。

在图6中示出了用于描述执行根据实施例的校准方法时的时间点的时间线。将通过使用图4的附图标记来描述该时间线。

在制造产品(即,电子装置401)的时间61处,可以在制造过程中设置第一校准参数,然后可以将第一校准参数存储在电子装置401的存储器460中。这样,电子装置401的处理器490可以通过使用第一校准参数,对根据多个快门操作611而从第一相机410l和第二相机410r获得的第一图像和第二图像进行校准。可以将如此校准的第一图像和第二图像合成为单个图像,并且可以将该单个图像存储在存储器460中或可以将其输出给显示器450。

如果在使用电子装置401的同时发生了指定事件(在时间62处),则从指定事件发生的时间点62到满足指定条件的时间点63,处理器490可以收集响应于快门操作612而从第一相机410l和第二相机410r获得的第一图像和第二图像,并且可以将所收集的图像存储在存储器460中。

指定事件可以包括:震动检测传感器471检测到指定值或更大值的震动的情况、温度/湿度传感器472检测到温度超出指定范围的情况、gps模块440感测到与在国家之间的移动相对应的电子装置401的位置改变的情况以及通信电路445基于从基站接收到的信号感测到在国家之间的移动的情况。指定事件可以包括以不同方法检测到的被摄体的距离之间的差不小于指定值的情况。

根据实施例,处理器490可以收集从指定事件发生的时间点62到满足指定条件的时间点63所获得的全部图像,或者可以根据指定参考选择性地收集所获得的图像。处理器490可以收集具有指定范围内的灵敏度的图像、具有指定范围内的亮度的图像、从中提取出的特征(例如,sift和surf)的数量超过阈值的图像或图像合成失败的图像。

如果满足指定条件(在时间63处),则处理器490可以基于从指定事件发生的时间点62到满足指定条件的时间点63响应于快门操作612而获得的图像来计算第二校准参数。当通过充电接口480从外部向电子装置401供电时或者通过用户操纵,可以满足指定条件。

如果计算了第二校准参数,则处理器490可以用计算的第二校准参数更新预先存储在存储器460中的第一校准参数。基于第二校准参数,处理器490可以对从指定事件发生的时间点62到满足指定条件的时间点63响应于快门操作612而获得的图像和/或在满足指定条件的时间点63之后响应于快门操作613而获得的图像进行校准。

图7是用于描述根据实施例的指定事件的流程图。

如上所述,根据各种实施例,指定事件可以包括:震动检测传感器471检测到特定值或更大值的震动的情况、温度/湿度传感器472检测到温度超出指定范围的情况、gps模块440感测到与在国家之间的移动相对应的电子装置401的位置改变的情况或通信电路445基于从基站接收到的信号感测到在国家之间的移动的情况。

另外,参考图7中所示的操作701至操作711,指定事件可以包括以两种或更多种技术检测到的到被摄体的距离之间的差不小于指定值的情况。例如,操作701至操作711可以由图4中所示的电子装置401执行。例如,可以用能够由电子装置401的处理器490执行(或执行)的指令分别实现操作701至操作711。例如,指令可以被存储在计算机可读记录介质或图4中所示的电子装置401的存储器460中。下面,可以使用图4的附图标记描述操作701至操作711,并且这里将不再重复与参考图4至图6所述相同的描述。

在操作701中,响应于快门419的操作,电子装置401的处理器490可以从第一相机410l获得第一图像,并且可以从第二相机410r获得第二图像。操作701可以对应于图5中所示的操作501。

在操作703中,处理器490可以通过使用自动对焦(af)功能来测量从电子装置401到被摄体的第一距离。例如,处理器490可以基于焦距之间的差来测量包括在第一图像和第二图像中的被摄体的第一距离。

在操作705中,处理器490可以使用双目视差,基于被摄体的深度信息来测量被摄体的第二距离(从电子装置401到被摄体的距离)。

在操作707中,处理器490可以通过比较第一距离和第二距离来计算在操作703中测量的第一距离与在操作705中测量的第二距离之间的差。

在操作709中,处理器490可以确定在操作707中计算的差是否不小于(或超过)指定值。如果确定该差不小于(或超过)指定值,则过程可以进行到操作711;否则,过程可以返回到操作503。

在操作711中,由于在操作707中计算的第一距离与第二距离之间的差不小于(或超过)指定值,所以处理器490可以确定发生了指定事件并且可以进行到图5中所示的操作509。

图8是示出了根据另一实施例的校准方法的流程图。

参考图8,根据实施例的校准方法可以包括操作801至操作825。例如,操作801至操作825可以由图4中所示的电子装置401执行。例如,可以用要由电子装置401的处理器490执行(或运行)的指令来实现操作801至操作825中的每一个。指令可以被存储在计算机可读记录介质或图4中所示的电子装置401的存储器460中。下面,可以使用图4的附图标记描述操作801至操作825,这里将不再重复与参考图4和图5所述相同的描述。

在操作801中,响应于快门419的操作,电子装置401的处理器490可以从第一相机410l获得第一图像,并且可以从第二相机410r获得第二图像。

在操作803中,处理器490可以通过使用第一校准参数来校准第一图像和/或第二图像(静态校准)。

在操作805中,处理器490可以合成第一图像和第二图像。在图8中,操作805在操作803之后执行,然而,本公开的实施例可以不限于此。根据各种实施例,可以在操作803之前执行操作805。

在操作807中,处理器490可以确定是否发生了指定事件。如果确定发生了指定事件,则过程可以进行到操作809;否则,过程可以返回到操作801。指定事件可以包括各种事件,例如第一相机410l和第二相机410r中的每一个的镜头411和图像传感器414的安装布置的改变。

指定事件可以包括:震动检测传感器471检测到指定值或更大值的震动的情况、温度/湿度传感器472检测到温度超出指定范围的情况、gps模块440感测到与在国家之间的移动相对应的电子装置401的位置改变的情况以及通信电路445基于从基站接收到的信号感测到在国家之间的移动的情况。指定事件可以包括以不同方法检测到的被摄体的距离之间的差不小于指定值的情况。

根据各种实施例,如果发生了上述类型的事件,则处理器490可以将关于事件的信息存储在存储器460中。关于事件的信息可以包括:与在震动检测传感器471中检测到的脉动、在温度/湿度传感器472中检测到的温度或湿度的变化、通过使用gps模块或通信电路445感测到的在国家之间的移动相关联的信息。存储在存储器460中的关于事件的信息可以用于由专业人员对电子装置401进行修理。

如果发生了指定事件,则在操作809中,处理器490可以从在指定事件发生之后从第一相机410l和第二相机410r获得的图像中选择性地收集满足指定条件的图像。

处理器490可以收集灵敏度在指定范围内的图像、亮度在指定范围内的图像、从中提取出的特征(例如,sift和surf)的数量超过阈值的图像或图像合成失败的图像。在指定事件发生之后所获得的图像中不存在满足上述参考的图像的情况下,处理器490可以向用户提供引导消息(例如,向用户提供样本图像),使得用户可以拍摄计算第二校准参数所需的图像。

在操作811中,处理器490可以向在操作809中选择性地收集的图像写入附加信息(例如,exif数据)。根据各种实施例,处理器490可以将选择性地收集的图像的识别信息单独存储在存储器460中。

在操作813中,处理器490可以确定是否满足指定条件。如果确定满足指定条件,则过程可以进行到操作815;否则,过程可以返回到操作807。指定条件可以包括通过充电接口480从外部向电子装置401供电的情况。即使没有通过充电接口480向电子装置401供电,指定条件也可以基于通过ui的用户输入得到满足。

如果满足指定条件,则在操作815中,处理器490可以基于在指定事件发生之后从第一相机410l和第二相机410r获得的图像来计算第二校准参数。

根据实施例,处理器490可以基于其中向图像写入了附加信息(例如,exif数据)的图像来计算第二校准参数。处理器490可以基于存储在存储器460中的识别信息所指示的图像来计算第二校准参数。

在操作817中,处理器490可以用在操作815中计算的第二校准参数来更新存储在存储器460中的第一校准参数。

在操作819中,处理器490可以通过使用在操作817中更新的第二校准参数对在指定事件发生之后获得的图像进行校准。备选地,处理器490可以通过使用第二校准参数对在计算了第二校准参数之后新获得的图像进行校准。

在操作821中,处理器490可以将在操作819中校准的图像进行合成。处理器490可以将在根据快门操作获得之后被校准的第一图像和第二图像进行合成。

在操作823中,处理器490可以确定在操作821中执行的第一图像和第二图像的合成是否成功。如果合成成功,则处理器490可以结束根据实施例的校准方法,并且可以将合成图像存储在存储器460中,或者可以将合成图像输出给显示器450。相反,如果合成失败,则过程可以进行到操作825。

如果操作821的合成失败,则在操作825中,处理器490可以向用户提供指定通知。例如,指定通知可以包括:向显示器450输出建议向专业人员请求修理的消息。

根据本公开的各种实施例,在由于外部震动、外部温度的急剧改变或老化劣化而在第一图像和第二图像之间发生平移和/或旋转的情况下,可以计算最恰当的校准参数,并且可以用由此计算的最恰当的校准参数更新先前的校准参数。因此,可以有效地合成立体相机的图像并减少电子装置被专业人员修理的次数。

如上所述,根据实施例的电子装置可以包括:第一相机,获得第一图像;第二相机,获得与第一图像具有视差的第二图像;存储器,存储第一校准参数;以及处理器,通过使用第一校准参数对第一图像和第二图像中的至少一个进行校准,并合成第一图像和第二图像。处理器可以被配置为:如果发生指定事件,则收集在指定事件发生之后从第一相机和第二相机获得的图像并将所收集的图像存储在存储器中,如果满足指定条件,则基于在指定事件发生之后获得的图像计算第二校准参数,以及用第二校准参数更新第一校准参数。

如果满足指定条件,则处理器可以被配置为通过使用所计算的第二校准参数对在指定事件发生之后获得的图像进行校准以合成图像。

处理器可以被配置为:如果合成失败,则向用户提供指定通知。

在指定事件发生之后获得的图像可以包括从第一相机和第二相机获得的图像的原始数据。

在指定事件发生之后获得的图像可以包括从第一相机和第二相机获得的图像中所包括的特征。

特征可以包括根据尺度不变特征变换(sift)算法或加速鲁棒特征(surf)的特征点。

处理器可以被配置为从在指定事件发生之后获得的图像中选择性地收集满足指定标准的图像。

处理器可以被配置为收集灵敏度均在指定范围内的图像。

处理器可以被配置为收集亮度均在指定范围内的图像。

处理器可以被配置为收集从中提取出的特征的数量超过阈值的图像。

处理器可以被配置为收集图像合成失败的图像。

处理器可以被配置为:在选择性地收集的图像的附加信息中写入指定指示,并且如果满足指定条件,则基于其中写入了指定指示的图像计算第二校准参数。

处理器可以被配置为:存储选择性地收集的图像的识别信息,并且如果满足指定条件,则基于识别信息所指示的图像计算第二校准参数。

电子装置还可以包括震动检测传感器,震动检测传感器被配置为感测来自外部的物理震动。指定事件可以包括:在震动检测传感器处检测到特定值或更大值的震动。

电子装置还可以包括温度传感器,温度传感器被配置为测量电子装置的外围温度。指定事件可以包括:检测到超出指定范围的温度改变。

电子装置还可以包括gps模块,gps模块被配置为测量电子装置的位置。指定事件可以包括:与在国家之间的移动相对应的电子装置的位置改变。

电子装置还可以包括通信电路,通信电路被配置为向基站发送信号和从基站接收信号。指定事件可以包括:基于从基站接收到的信号检测到在国家之间的移动。

处理器可以被配置为:基于焦距之间的差检测距第一图像和第二图像中包括的被摄体的第一距离,通过使用第一图像和第二图像之间的视差检测到被摄体的第二距离,并且如果第一距离和第二距离之间的差不小于指定值,则确定发生了指定事件。

处理器可以被配置为:如果发生了指定事件,则将关于指定事件的信息存储在存储器中。

指定事件可以包括从外部向电子装置供电的事件。

例如,在本公开中使用的术语“模块”可以表示包括硬件、软件和固件的一个或多个组合在内的单元。术语“模块”可以与术语“单元”、“逻辑”、“逻辑块”、“组件”和“电路”互换使用。“模块”可以是集成组件的最小单元或者可以是其一部分。“模块”可以是用于执行一个或多个功能的最小单元或其一部分。可以用机械方式或电子方式实现“模块”。例如,“模块”可以包括已知的或将来开发的用于执行一些操作的专用ic(asic)芯片、现场可编程门阵列(fpga)和可编程逻辑器件。

根据各种实施例的装置(例如,其模块或功能)或方法(例如,操作)的至少一部分可以由以程序模块的形式存储在计算机可读存储介质中的指令实现。指令在由处理器(例如,处理器120)执行时,可以使得一个或多个处理器执行与该指令相对应的功能。计算机可读存储介质可以是存储器130。

计算机可读记录介质可以包括硬盘、软盘、磁介质(例如,磁带)、光学介质(例如,压缩光盘只读存储器(cd-rom)和数字通用盘(dvd))、磁光介质(例如,软光盘)以及硬件装置(例如,只读存储器(rom)、随机存取存储器(ram)或闪存)。此外,程序指令不仅可以包括诸如由编译器生成的事物之类的汇编代码,而且包括使用解释器可在计算机上执行的高级语言代码。以上硬件单元可以被配置为经由用于执行根据各种实施例的操作的一个或多个软件模块进行操作,反之亦然。

根据各种实施例的模块或程序模块可以包括以上元件,或者可以省略以上元件的一部分,或者还可以包括附加的其他元件。由根据各种实施例的模块、程序模块或其他元件执行的操作可以顺序地、并行地、重复地或者以启发式方法执行。此外,一些操作可以以不同顺序执行,或者可以省略。备选地,可以添加其他操作。

根据本公开的各种实施例,在由于外部震动、外部温度的急剧改变或老化劣化而发生镜头或图像传感器的变形的情况下,可以计算最恰当的校准参数,并用由此计算的最恰当的校准参数更新先前的校准参数。因此,可以有效地合成立体相机的图像并减少电子装置被专业人员修理的次数。此外,可以提供通过本公开直接或间接理解的各种效果。

虽然已经参考本公开的各种实施例示出并描述了本公开,但是本领域技术人员将理解,在不脱离由所附权利要求及其等同物所限定的本公开的精神和范围的情况下,可以对其形式和细节进行各种改变。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1