控制摄像设备的方法、装置、电子设备和存储介质与流程

文档序号:32403426发布日期:2022-12-02 19:47阅读:34来源:国知局
控制摄像设备的方法、装置、电子设备和存储介质与流程

1.本发明属于电子设备技术领域,特别是控制摄像设备的方法、装置、电子设备和存储介质。


背景技术:

2.低功耗摄像设备是一种电池供电的、可长期为用户提供环境变化监控的摄像头设备。此类设备的技术要求主要包括:低功耗保证待机时间长以及当检测到触发源时能够快速出图。
3.低功耗摄像设备包含片上系统(system-on-chip,soc)、微控制器(microcontroller unit,mcu)和图像传感器。soc和图像传感器通常处于断电状态,mcu通常处于常电状态。当检测到触发源(比如有人走过)时,mcu控制soc和图像传感器上电。soc上电后,初始化图像信号处理(image signal processing,isp)模块。isp模块被初始化后,对图像传感器采集的图像数据执行isp,从而完成出图。
4.然而,isp模块的初始化过程需要时间,在isp模块完成初始化后才出图,导致出图时间(即图像数据的最早采集时刻)滞后。


技术实现要素:

5.本发明实施方式提出控制摄像设备的方法、装置、电子设备和存储介质。
6.本发明实施方式的技术方案如下:一种控制摄像设备的方法,所述摄像设备包括mcu、soc和图像传感器,所述soc包括isp模块,所述方法适用于所述mcu,所述方法包括:当检测到触发源时,上电所述soc和所述图像传感器;向所述图像传感器发送第一配置信息;从所述图像传感器接收基于所述第一配置信息采集的第一图像数据,其中所述第一图像数据是在所述soc完成所述isp模块的初始化前采集的;将第一图像数据存储到存储介质中;其中第二图像数据以及从所述存储介质中获取的所述第一图像数据,被所述soc组合为第三图像数据,所述第二图像数据是在所述soc完成所述初始化后、所述图像传感器采集的图像数据。
7.在示范性实施方式中,所述向所述图像传感器发送第一配置信息包括:通过所述mcu的通用输入输出(general purpose input/output,gpio)端口,建立所述mcu与所述图像传感器的第一i2c连接;经由所述第一i2c连接向所述图像传感器发送所述第一配置信息。
8.在示范性实施方式中,还包括:从soc接收用于告知已完成所述初始化的通知消息;基于所述通知消息,断开所述第一i2c连接;
其中在所述第一i2c连接断开后,所述soc建立与所述图像传感器的第二i2c连接,所述第二i2c连接适配于承载soc向所述图像传感器发送的第二配置信息,其中所述图像传感器基于所述第二配置信息采集所述第二图像数据。
9.一种控制摄像设备的方法,所述摄像设备包括mcu、soc和图像传感器,所述soc包括isp模块,所述方法适用于所述soc,所述方法包括:在被mcu上电后,初始化所述isp模块;从所述图像传感器接收第二图像数据,其中所述第二图像数据是在所述soc完成所述初始化后、所述图像传感器采集的图像数据;从存储介质中获取第一图像数据,所述第一图像数据是所述soc完成所述初始化前、所述图像传感器基于mcu发送的第一配置信息采集的图像数据,其中mcu将所述第一图像数据存储到所述存储介质;将所述第一图像数据和所述第二图像数据,组合为第三图像数据。
10.在示范性实施方式中,还包括:在完成所述初始化后,向mcu发送用于告知已完成所述初始化的通知消息,其中mcu接收到所述通知消息后,断开用于承载所述第一配置信息的、mcu与所述图像传感器的第一i2c连接;建立与所述图像传感器之间的第二i2c连接;基于所述第二i2c连接,向所述图像传感器发送第二配置信息;其中所述图像传感器基于所述第二配置信息采集所述第二图像数据。
11.在示范性实施方式中,所述将第一图像数据和第二图像数据,组合为第三图像数据包括:基于所述isp模块,对所述第一图像数据执行isp;基于所述isp模块,对所述第二图像数据执行isp;将执行isp后的第一图像数据和执行isp后的第二图像数据,组合为所述第三图像数据。
12.一种控制摄像设备的装置,所述摄像设备包括mcu、soc和图像传感器,所述soc包括isp模块,所述装置适用于所述mcu,所述装置包括:上电模块,被配置为当检测到触发源时,上电所述soc和所述图像传感器;发送模块,被配置为向所述图像传感器发送第一配置信息;接收模块,被配置为从所述图像传感器接收基于所述第一配置信息采集的第一图像数据,其中所述第一图像数据是在所述soc完成所述isp模块的初始化前采集的;存储模块,被配置为将第一图像数据存储到存储介质中;其中第二图像数据以及从所述存储介质中获取的所述第一图像数据,被所述soc组合为第三图像数据,所述第二图像数据是在所述soc完成所述初始化后、所述图像传感器采集的图像数据。
13.一种控制摄像设备的装置,所述摄像设备包括mcu、soc和图像传感器,所述soc包括isp模块,所述装置适用于所述soc,所述装置包括:初始化模块,被配置为在被mcu上电后,初始化所述isp模块;第一获取模块,被配置为从所述图像传感器获取第二图像数据,其中所述第二图
像数据是在所述初始化模块完成所述初始化后、所述图像传感器采集的图像数据;第二获取模块,被配置为从存储介质中获取第一图像数据,所述第一图像数据是所述初始化模块完成所述初始化前、所述图像传感器基于mcu发送的第一配置信息采集的图像数据,其中mcu将所述第一图像数据存储到所述存储介质;组合模块,被配置为将所述第一图像数据和所述第二图像数据,组合为第三图像数据。
14.一种摄像设备,包括图像传感器、mcu和soc,所述soc包括isp模块,其中:所述mcu,被配置为当检测到触发源时,上电所述soc和所述图像传感器,向所述图像传感器发送第一配置信息;所述soc,被配置为在被mcu上电后,初始化所述isp模块;所述图像传感器,被配置为基于所述第一配置信息采集第一图像数据,其中所述第一图像数据是在所述soc完成所述isp模块的初始化前采集的;所述mcu,还被配置为将第一图像数据存储到存储介质中;所述soc,还被配置从所述图像传感器接收第二图像数据,其中所述第二图像数据是在所述soc完成所述初始化后、所述图像传感器采集的图像数据;从存储介质中获取第一图像数据;将所述第一图像数据和所述第二图像数据,组合为第三图像数据。
15.在示范性实施方式中,所述mcu,被配置为通过所述mcu的gpio端口建立与所述图像传感器的第一i2c连接;经由所述第一i2c连接向所述图像传感器发送所述第一配置信息;当从soc接收用于告知已完成所述初始化的通知消息时,断开所述第一i2c连接;所述soc,被配置为当所述第一i2c连接断开后,通过所述soc的gpio端口建立与所述图像传感器的第二i2c连接,经由所述第二i2c连接向所述图像传感器发送第二配置信息,其中所述图像传感器基于所述第二配置信息采集所述第二图像数据。
16.一种电子设备,包括:存储器;处理器;其中所述存储器中存储有可被所述处理器执行的应用程序,用于使得所述处理器执行如上任一项所述的控制摄像设备的方法。
17.一种计算机可读存储介质,所述计算机可读存储介质上存储有计算机可读指令,所述计算机可读指令在被处理器执行时,使所述处理器执行如上任一项所述的控制摄像设备的方法。
18.从上述技术方案可以看出,在本发明实施方式中,当检测到触发源时,上电soc和图像传感器;向图像传感器发送第一配置信息;从图像传感器接收基于第一配置信息采集的第一图像数据,其中第一图像数据是在soc完成isp模块的初始化前采集的;将第一图像数据存储到存储介质中;其中第二图像数据以及从存储介质中被获取的第一图像数据,被soc组合为第三图像数据,第二图像数据是在soc完成初始化后、图像传感器采集的图像数据。由此可见,本发明实施方式在完成isp模块的初始化前,图像传感器基于mcu下发的配置信息实现图像采集,无需等待isp模块完成初始化,提前了图像传感器的配置时间。
19.另外,保存isp模块完成初始化前的第一图像数据,等待isp模块完成初始化后再附加到第二图像数据之前,显著提前了出图时间。
附图说明
20.图1为现有技术的低功耗摄像设备的结构图。
21.图2是现有技术的低功耗摄像设备的控制时序示意图。
22.图3为根据本发明实施方式的低功耗摄像设备的示范性结构图。
23.图4为根据本发明实施方式的低功耗摄像设备的控制时序的示范性示意图。
24.图5为根据本发明实施方式控制摄像设备的方法的第一示范性流程图。
25.图6为根据本发明实施方式控制摄像设备的方法的第二示范性流程图。
26.图7为根据本发明实施方式控制摄像设备的装置的第一示范性结构图。
27.图8为根据本发明实施方式控制摄像设备的装置的第二示范性结构图。
28.图9为本发明实施方式的电子设备的示范性结构图。
具体实施方式
29.为使本发明的目的、技术方案和优点更加清楚,下面结合附图对本发明作进一步的详细描述。
30.为了描述上的简洁和直观,下文通过描述若干代表性的实施方式来对本发明的方案进行阐述。实施方式中大量的细节仅用于帮助理解本发明的方案。但是很明显,本发明的技术方案实现时可以不局限于这些细节。为了避免不必要地模糊了本发明的方案,一些实施方式没有进行细致地描述,而是仅给出了框架。下文中,“包括”是指“包括但不限于”,“根据
……”
是指“至少根据
……
,但不限于仅根据
……”
。由于汉语的语言习惯,下文中没有特别指出一个成分的数量时,意味着该成分可以是一个也可以是多个,或可理解为至少一个。
31.以下,对本公开实施方式涉及的术语进行解释说明。
32.mcu:采用超大规模集成电路技术,将具有数据处理能力的中央处理器、随机存储器(ram)、只读存储器(rom)、多种i/o端口和中断系统、定时器/计数器等功能(还可以包括显示驱动电路、脉宽调制电路、模拟多路转换器、a/d转换器等电路)等集成到一起所构成的微型计算机系统。
33.soc:指的是在单个芯片上集成一个完整的系统,对所有或部分必要的电子电路进行包分组的技术。
34.i2c: 一种两线式串行总线,用于连接微控制器及其外围设备。
35.gpio:其接脚可以供使用者使用,pin脚可作为通用输入、通用输出或通用输入与输出。
36.针对低功耗摄像设备,需要保证待机时间长以及当检测到触发源时能够快速出图。
37.图1为现有技术的低功耗摄像设备的结构图。在图1中,低功耗摄像设备包含soc、mcu和图像传感器。低功耗摄像设备还可以包含电池、被动红外探测器(passive infrared,pir)或雷达传感器等元件(图1中未示出)。soc和图像传感器通常处于断电状态,mcu通常处于常电状态。soc还包含isp模块(图1中未示出)。isp模块可以实施为具有电路结构的硬件模块,还可以实施为包含功能算法的软件模块。
38.图2是现有技术的低功耗摄像设备的控制时序示意图。当检测到触发源(比如有人走过、有人按门铃或动物经过,等等)时,pir或雷达传感器触发mcu中断,mcu向soc和图像传
感器分别发送上电指令。图像传感器相比较soc较快完成上电复位,因此图像传感器需要等待soc。
39.当soc上电复位后,首先加载系统内核,然后配置图像传感器(比如,配置图像传感器中寄存器的地址值和初始值,其中初始值可以包括:图像分辨率初始值、图像增益初始值、图像曝光时间初始值、图像帧率初始值或图像传感器时钟值,等等)。图像传感器完成配置后,即可以持续采集图像数据。
40.soc配置图像传感器后,初始化isp模块。当isp模块初始化后,isp模块对图像传感器此时所采集的图像数据执行isp以输出图像。
41.可见:在现有技术中,需要等待isp模块初始化后才可以出图。针对isp模块初始化前的时刻,无法出图,因此具有出图时间(即图像数据的最早采集时刻)滞后的技术缺点。比如,目前从soc上电复位到出图,一般需要200-300毫秒(ms)。
42.在本发明实施方式中,将配置图像传感器的主机从soc变换为mcu,无需等待soc上电复位即可配置图像传感器,可以更快配置图像传感器,提前了图像传感器的配置时间,因此图像传感器可以采集到更早的图像数据。
43.mcu将图像传感器采集到的、isp模块初始化成功前的图像数据(称为第一图像数据)存储至存储介质,以等待isp模块初始化成功后再使用。当isp模块初始化成功后,soc接替mcu以接收图像传感器采集到的、isp模块初始化成功后的图像数据(称为第二图像数据)。soc从存储介质中获取第一图像数据,并利用isp模块对第一图像数据和第二图像数据执行isp,再将执行isp后的第一图像数据衔接到执行isp后的第二图像数据之前,以生成组合图像数据(称为第三图像数据)。然后,可以对第三图像数据执行编码等后续操作,并输出图像给用户。
44.可见,由于输出图像包含isp模块初始化成功前的图像数据,因此显著提前了出图时间。
45.可以将本发明实施方式实施到各种类型的摄像设备。优选地,将本发明实施方式实施到低功耗摄像设备。下面以低功耗摄像设备为例对本发明实施方式进行说明。
46.图3为根据本发明实施方式的低功耗摄像设备的示范性结构图。在图3中,低功耗摄像设备包含soc、mcu和图像传感器。低功耗摄像设备还可以包含电池、被动红外探测器或雷达传感器等元件(图3中未示出)。soc和图像传感器通常处于断电状态,mcu通常处于常电状态。soc还包含isp模块(图3中未示出)。isp模块可以实施为具有电路结构的硬件模块,还可以实施为包含功能算法的软件模块。
47.mcu和soc分别可以与图像传感器建立串行总线连接(比如,承载于gpio端口的i2c连接)。举例,图像传感器的i2c接口被配置为多主一从模式,其中mcu和soc分别为主机,图像传感器为从机。mcu和soc之间可以建立串行总线连接,比如i2c连接。图像传感器还经由数据传输接口(比如,移动产业处理器接口(mipi))与mcu和soc分别具有数据传输连接。mcu和soc共同连接到存储介质。
48.图4为根据本发明实施方式的低功耗摄像设备的控制时序的示范性示意图。
49.当检测到触发源(比如有人走过、有人按门铃或动物经过,等等)时, pir或雷达传感器触发mcu中断,mcu向soc和图像传感器发送上电指令,然后等待图像传感器上电复位完毕。soc上电复位后,需要加载系统内核,再初始化isp模块。
50.图像传感器相比较soc可以较快完成上电复位。当图像传感器上电复位完毕后,mcu通过与图像传感器的第一i2c连接,向图像传感器下发第一配置信息以配置图像传感器。其中:可以通过mcu的gpio端口,建立mcu与图像传感器的第一i2c连接。第一配置信息用于配置图像传感器的图像采集参数,以使图像传感器能够采集图像数据,比如第一配置信息包含图像传感器中寄存器的地址值和初始值,其中初始值可以包括:图像分辨率初始值、图像增益初始值、图像曝光时间初始值、图像帧率初始值或图像传感器时钟值,等等。图像传感器完成配置后,即可以持续采集图像数据。可见:利用处于常电状态的mcu配置图像传感器,不同于现有技术中等soc上电复位和加载系统内核后才配置图像传感器,因此图像传感器可以更早地采集图像数据。
51.mcu经由与图像传感器的数据传输连接,将图像传感器采集的、isp模块初始化成功前的图像数据(称为第一图像数据)存储到存储介质中。
52.当isp模块初始化成功后,soc接替mcu以接收图像传感器采集到的、isp模块初始化成功后的图像数据(称为第二图像数据)。比如,在完成isp模块的初始化后,soc向mcu发送用于告知已完成初始化的通知消息,mcu接收到通知消息后,断开第一i2c连接。
53.soc接替mcu后,可以向图像传感器下发第二配置信息,以对基于第一配置信息所设置的图像传感器的图像采集参数进行变更。soc可以建立与图像传感器之间的第二i2c连接,基于第二i2c连接,向图像传感器发送第二配置信息。第二配置信息通常是对第一配置信息的细微调整,比如调节图像增益、图像曝光时间和图像帧率,等等。举例:当期望变更图像增益时,第二配置信息包含图像增益更新值,图像传感器利用图像增益更新值替换基于第一配置信息所设置的图像增益初始值,然后图像传感器基于图像增益更新值采集第二图像数据。
54.在本发明实施方式中,mcu向图像传感器下发的第一配置信息用于使图像传感器能够采集图像数据。soc接替mcu后,当环境(比如,环境亮度)发生变化或图像需求(比如,图像帧率)发生变化时,soc可以向图像传感器下发第二配置信息。图像传感器基于第二配置信息,对基于第一配置信息所配置的图像采集参数进行变更。
55.在一个实施方式中,soc也可以不向图像传感器下发第二配置信息,从而由图像传感器继续按照第一配置信息采集第二图像数据。
56.在一个可选实施方式中,soc从存储介质中获取第一图像数据,通过isp模块对第一图像数据和第二图像数据分别执行isp,并将执行isp后的第一图像数据存储到执行isp后的第二图像数据之前以得到组合图像,并输出组合图像。在另一个可选实施方式中,isp模块对第一图像数据和第二图像数据同时执行isp,并将执行isp后的第一图像数据存储到执行isp后的第二图像数据之前以得到组合图像,并输出组合图像。
57.相比较现有技术,本发明实施方式节省了soc的初始化时间、isp模块的初始化时间及图像传感器的配置时间。可见,本发明实施方式可以提供从图像传感器完成配置时刻起计时的输出图像,由于图像传感器的完成配置时刻得到提前,因此显著提前出图时间。举例,相比较现有技术,本发明实施方式的出图时间可以达到150ms左右。
58.下面描述本发明实施方式的一个典型实施过程。
59.步骤1:当检测到外部触发源触发时,mcu的gpio端口接收触发信号。
60.步骤2:mcu从休眠模式切换至工作模式,将图像传感器和soc上电复位。
61.步骤3:在图像传感器首先复位后,mcu通过与图像传感器之间的第一i2c连接将第一配置信息下发至图像传感器,图像传感器基于第一配置信息完成配置,并开始采集图像数据。第一配置信息为图像传感器的基础配置信息,通常包括图像传感器中寄存器的地址值和初始值,其中初始值可以包括:图像分辨率初始值、图像增益初始值、图像亮度初始值,等等。
62.步骤4:mcu经由与图像传感器的数据传输连接,接收图像传感器采集的图像数据,并将图像数据同步存储到存储介质中,记录为第一图像数据。
63.步骤5:soc复位后,完成cpu和相关硬件的初始化,加载系统内核(包括通讯驱动)后,初始化isp模块。
64.步骤6:mcu断开第一i2c连接(即i2c的sda线拉成高阻态),同时断开mcu和图像传感器之间的图像数据传输连接。soc接管图像传感器的i2c连接和图像传输连接,并控制图像传感器的配置。比如,图像传感器可以利用第一配置信息继续采集图像数据。或者,soc向图像传感器下发对第一配置信息中的图像采集参数进行细微调整的第二配置信息,图像传感器利用调整后的图像采集参数继续采集图像数据(未被第二配置信息调整的图像采集参数保存不变)。
65.步骤7:isp模块初始化成功,soc经由与图像传感器的数据传输连接,接收图像传感器采集的图像数据,记录为第二图像数据。利用isp模块对第二图像数据执行isp,比如自动曝光(ae)、线性纠正、噪声去除、坏点校正、自动白平衡(awb)、自动对焦,等等。
66.步骤8:soc通过通讯接口与存储介质通讯,获取第一图像数据。利用isp模块对第一图像数据执行isp处理后,将执行isp后的第一图像数据保存至执行isp后的第二图像数据的前面,以生成组合图像。通常,第一图像数据的采集时间范围为100ms左右(也就是,采集了100ms的时间范围内的第一图像数据)。可见,显著提前了出图时间。
67.下面以mcu为执行主体,描述本发明实方式的实现过程。图5为根据本发明实施方式控制摄像设备的方法的第一示范性流程图。摄像设备包括mcu、片上系统soc和图像传感器,soc包括isp模块。如图5所示,该方法包括:步骤101:当检测到触发源时,上电soc和图像传感器。
68.步骤102:向图像传感器发送第一配置信息。
69.步骤103:从图像传感器接收基于第一配置信息采集的第一图像数据,其中第一图像数据是在soc完成isp模块的初始化前采集的。
70.步骤104:将第一图像数据存储到存储介质中;其中第二图像数据以及从存储介质中获取的第一图像数据,被soc组合为第三图像数据,第二图像数据是在soc完成初始化后、图像传感器采集的图像数据。
71.在一个实施方式中,向图像传感器发送第一配置信息包括:通过mcu的gpio端口,建立mcu与图像传感器的第一i2c连接;经由第一i2c连接向图像传感器发送第一配置信息。
72.在一个实施方式中,还包括:从soc接收用于告知已完成初始化的通知消息;基于通知消息,断开第一i2c连接;其中在第一i2c连接断开后,soc建立与图像传感器的第二i2c连接,第二i2c连接适配于承载soc向图像传感器发送的第二配置信息,其中图像传感器基于第二配置信息采集第二图像数据。
73.下面以soc为执行主体,描述本发明实方式的实现过程。图6为根据本发明实施方
式控制摄像设备的方法的第二示范性流程图。摄像设备包括mcu、片上系统soc和图像传感器,soc包括isp模块。如图6所示,该方法包括:步骤201:在被mcu上电后,初始化isp模块。
74.步骤202:从图像传感器接收第二图像数据,其中第二图像数据是在soc完成初始化后、图像传感器采集的图像数据。
75.步骤203:从存储介质中获取第一图像数据,第一图像数据是soc完成初始化前、图像传感器基于mcu发送的第一配置信息采集的图像数据,其中mcu将第一图像数据存储到存储介质。
76.步骤204:将第一图像数据和第二图像数据,组合为第三图像数据。
77.在示范性实施方式中,还包括:在完成初始化后,向mcu发送用于告知已完成初始化的通知消息,其中mcu接收到通知消息后,断开用于承载第一配置信息的、mcu与图像传感器的第一i2c连接;建立与图像传感器之间的第二i2c连接;基于第二i2c连接,向图像传感器发送第二配置信息;其中图像传感器基于第二配置信息采集第二图像数据。
78.在示范性实施方式中,将第一图像数据和第二图像数据,组合为第三图像数据包括:基于isp模块,对第一图像数据执行isp;基于isp模块,对第二图像数据执行isp;将执行isp后的第一图像数据和执行isp后的第二图像数据,组合为第三图像数据。
79.图7为根据本发明实施方式控制摄像设备的装置的第一示范性结构图。摄像设备包括mcu、soc和图像传感器,soc包括isp模块。装置300适用于mcu,装置300包括:上电模块301,被配置为当检测到触发源时,上电soc和图像传感器;发送模块302,被配置为向图像传感器发送第一配置信息;接收模块303,被配置为从图像传感器接收基于第一配置信息采集的第一图像数据,其中第一图像数据是在soc完成isp模块的初始化前采集的;存储模块304,被配置为将第一图像数据存储到存储介质中;其中第二图像数据以及从存储介质中获取的第一图像数据,被soc组合为第三图像数据,第二图像数据是在soc完成初始化后、图像传感器采集的图像数据。
80.图8为根据本发明实施方式控制摄像设备的装置的第二示范性结构图。摄像设备包括mcu、soc和图像传感器,soc包括isp模块。装置400适用于soc,装置400包括:初始化模块401,被配置为在被mcu上电后,初始化isp模块;第一获取模块402,被配置为从图像传感器获取第二图像数据,其中第二图像数据是在初始化模块完成初始化后、图像传感器采集的图像数据;第二获取模块403,被配置为从存储介质中获取第一图像数据,第一图像数据是初始化模块完成初始化前、图像传感器基于mcu发送的第一配置信息采集的图像数据,其中mcu将第一图像数据存储到存储介质;组合模块404,被配置为将第一图像数据和第二图像数据,组合为第三图像数据。
81.本发明实施方式还提出一种摄像设备。摄像设备包括图像传感器、mcu和soc,soc包括isp模块,其中:mcu,被配置为当检测到触发源时,上电soc和图像传感器,向图像传感器发送第一配置信息;soc,被配置为在被mcu上电后,初始化isp模块;图像传感器,被配置为基于第一配置信息采集第一图像数据,其中第一图像数据是在soc完成isp模块的初始化前采集的;mcu,还被配置为将第一图像数据存储到存储介质中;soc,还被配置从图像传感器接收第二图像数据,其中第二图像数据是在soc完成初始化后、图像传感器采集的图像数据;从存储介质中获取第一图像数据;将第一图像数据和第二图像数据,组合为第三图像数
据。
82.在示范性实施方式中,mcu,被配置为通过mcu的gpio端口建立与图像传感器的第一i2c连接;经由第一i2c连接向图像传感器发送第一配置信息;当从soc接收用于告知已完成初始化的通知消息时,断开第一i2c连接;soc,被配置为当第一i2c连接断开后,通过soc的gpio端口建立与图像传感器的第二i2c连接,经由第二i2c连接向图像传感器发送第二配置信息,其中图像传感器基于第二配置信息采集第二图像数据。
83.优选地,摄像设备为低功耗摄像设备。
84.本发明还分别提出一种电子设备。电子设备包括:处理器;存储器;其中存储器中存储有可被处理器执行的应用程序,用于使得处理器执行如上实施方式的控制摄像设备的方法。其中,存储器具体可以实施为电可擦可编程只读存储器(eeprom)、快闪存储器(flash memory)、可编程程序只读存储器(prom)等多种存储介质。处理器可以实施为包括一或多个中央处理器或一或多个现场可编程门阵列,其中现场可编程门阵列集成一或多个中央处理器核。具体地,中央处理器或中央处理器核可以实施为cpu、mcu或数字信号处理器(dsp)。
85.图9为本发明实施方式的电子设备的示范性结构图。优选地,电子设备800可以实施为低功耗摄像设备。
86.电子设备800包括:处理器801和存储器802。处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用数字信号处理(digital signal processing,dsp)、现场可编程门阵列(field-programmable gate array,fpga)、可编程逻辑阵列(programmable logic array,pla)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称中央处理器(central processing unit,cpu);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施方式中,处理器801可以在集成有图像处理器(graphics processing unit,gpu),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施方式中,处理器801还可以包括ai处理器,该ai处理器用于处理有关机器学习的计算操作。比如,ai处理器可以实施为神经网络处理器。
87.存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。
88.在一些实施方式中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令,至少一个指令用于被处理器801所执行以实现本公开中各个实施方式提供的控制摄像设备的方法。在一些实施方式中,电子设备800还可选包括有:外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地,外围设备包括:射频电路804、触摸显示屏805、摄像头组件806、音频电路807、定位组件808和电源809中的至少一种。外围设备接口803可被用于将输入/输出(input /output,i/o)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施方式中,处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上;在一些其他实施方式中,处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施方式对此不加以限定。
89.射频电路804用于接收和发射射频(radio frequency,rf)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或无线保真(wireless fidelity,wi-fi)网络。在一些实施方式中,射频电路804还可以包括近距离无线通信(near field communication,nfc)有关的电路,本公开对此不加以限定。
90.显示屏805用于显示用户界面(user interface,ui)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时,显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时,显示屏805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施方式中,显示屏805可以为一个,设置在电子设备800的前面板;在另一些实施方式中,显示屏805可以为至少两个,分别设置在电子设备800的不同表面或呈折叠设计;在一些实施方式中,显示屏805可以是柔性显示屏,设置在电子设备800的弯曲表面上或折叠面上。甚至,显示屏805还可以设置成非矩形的不规则图形,也即异形屏。显示屏805可以采用液晶显示屏(liquid crystal display,lcd)、有机发光二极管(organic light-emitting diode,oled)等材质制备。
91.摄像头组件806用于采集图像或视频。可选地,摄像头组件806包括前置摄像头和后置摄像头。通常,前置摄像头设置在终端的前面板,后置摄像头设置在终端的背面。在一些实施方式中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及虚拟现实(virtual reality,vr)拍摄功能或者其它融合拍摄功能。在一些实施方式中,摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。
92.音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施方式中,音频电路807还可以包括耳机插孔。定位组件808用于定位电子设备800的当前地理位置,以实现导航或基于位置的服务(location based service,lbs)。定位组件808可以是基于美国的全球定位系统(global positioning system,gps)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。电源809用于为电子设备800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池
可以支持有线充电或无线充电。
93.本领域技术人员可以理解,上述的结构并不构成对电子设备800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。需要说明的是,上述各流程和各结构图中不是所有的步骤和模块都是必须的,可以根据实际的需要忽略某些步骤或模块。各步骤的执行顺序不是固定的,可以根据需要进行调整。各模块的划分仅仅是为了便于描述采用的功能上的划分,实际实现时,一个模块可以分由多个模块实现,多个模块的功能也可以由同一个模块实现,这些模块可以位于同一个设备中,也可以位于不同的设备中。各实施方式中的硬件模块可以以机械方式或电子方式实现。例如,一个硬件模块可以包括专门设计的永久性电路或逻辑器件(如专用处理器,如fpga或asic)用于完成特定的操作。硬件模块也可以包括由软件临时配置的可编程逻辑器件或电路(如包括通用处理器或其它可编程处理器)用于执行特定操作。至于具体采用机械方式,或是采用专用的永久性电路,或是采用临时配置的电路(如由软件进行配置)来实现硬件模块,可以根据成本和时间上的考虑来决定。
94.本发明还提供了一种机器可读的存储介质,存储用于使一机器执行如本技术方法的指令。具体地,可以提供配有存储介质的系统或者装置,在该存储介质上存储着实现上述实施方式中任一实施方式的功能的软件程序代码,且使该系统或者装置的计算机(或cpu或mpu)读出并执行存储在存储介质中的程序代码。此外,还可以通过基于程序代码的指令使计算机上操作的操作系统等来完成部分或者全部的实际操作。还可以将从存储介质读出的程序代码写到插入计算机内的扩展板中所设置的存储器中或者写到与计算机相连接的扩展单元中设置的存储器中,随后基于程序代码的指令使安装在扩展板或者扩展单元上的cpu等来执行部分和全部实际操作,从而实现上述实施方式中任一实施方式的功能。用于提供程序代码的存储介质实施方式包括软盘、硬盘、磁光盘、光盘(如cd-rom、cd-r、cd-rw、dvd-rom、dvd-ram、dvd-rw、dvd+rw)、磁带、非易失性存储卡和rom。可选择地,可以由通信网络从服务器计算机或云上下载程序代码。
95.以上,仅为本发明的较佳实施方式而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1