图像前处理芯片及电子设备的制作方法

1.本技术涉及电子技术领域，特别涉及一种图像前处理芯片及电子设备。


背景技术：

2.诸如智能手机等电子设备中，通常设置有主处理芯片，主处理芯片用于对电子设备的数据进行处理以及对电子设备进行整体监控。此外，电子设备中通常还设置有执行特殊功能的芯片，例如图像前处理芯片。图像前处理芯片可以用于对拍照过程或者拍照获取到的图像数据进行前处理，例如对逆光拍照、高动态范围图像(high-dynamic range，简称hdr)拍照等进行前处理。然而，执行特殊功能的芯片通常需要设置大量的接口，使得芯片的接口设计困难。


技术实现要素：

3.本技术实施例提供一种图像前处理芯片及电子设备，可以简化图像前处理芯片的接口设计。
4.本技术实施例提供一种图像前处理芯片，包括：
5.移动产业处理器接口，被配置为：接收固件，所述固件用于启动所述图像前处理芯片的操作系统；
6.处理器，与所述移动产业处理器接口电连接，所述处理器被配置为：加载所述固件，以启动所述操作系统。
7.本技术实施例还提供一种电子设备，包括：
8.图像前处理芯片，所述图像前处理芯片为上述图像前处理芯片；
9.主处理芯片，与所述图像前处理芯片电连接，所述主处理芯片被配置为：接收所述图像前处理芯片发送的中断信号，并对所述中断信号进行处理。
10.本技术实施例提供的图像前处理芯片中，在所述图像前处理芯片启动时，由于通过mipi接收固件，因此无需在所述图像前处理芯片中设置用于接收固件的专用接口，从而可以简化所述图像前处理芯片的接口设计。
附图说明
11.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
12.图1为本技术实施例提供的电子设备的第一种结构示意图。
13.图2为本技术实施例提供的图像前处理芯片的结构示意图。
14.图3为本技术实施例提供的电子设备的第二种结构示意图。
15.图4为本技术实施例提供的电子设备的第三种结构示意图。
16.图5为本技术实施例提供的电子设备的第四种结构示意图。
17.图6为本技术实施例提供的电子设备中图像前处理芯片与主处理芯片的交互示意图。
18.图7为本技术实施例提供的电子设备的第五种结构示意图。
具体实施方式
19.下面将结合本技术实施例中的附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术一部分实施例，而不是全部的实施例。基于本技术中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
20.本技术实施例提供一种电子设备。所述电子设备可以是智能手机、平板电脑等设备，还可以是游戏设备、ar(augmented reality，增强现实)设备、汽车装置、数据存储装置、音频播放装置、视频播放装置、笔记本电脑、桌面计算设备等。
21.参考图1，图1为本技术实施例提供的电子设备100的第一种结构示意图。
22.电子设备100包括显示屏11、壳体12、电路板13以及电池14。
23.其中，显示屏11设置在壳体12上，以形成电子设备100的显示面，用于显示图像、文本等信息。所述显示屏11可以包括液晶显示屏(liquid crystal display，lcd)或有机发光二极管显示屏(organic light-emitting diode，oled)等类型的显示屏。
24.可以理解的，显示屏11上还可以设置盖板，以对显示屏11进行保护，防止显示屏11被刮伤或者被水损坏。其中，所述盖板可以为透明玻璃盖板，从而用户可以透过盖板观察到显示屏11显示的内容。例如，所述盖板可以为蓝宝石材质的玻璃盖板。
25.壳体12用于形成电子设备100的外部轮廓，以便于容纳电子设备100的电子器件、功能组件等，同时对电子设备内部的电子器件和功能组件形成密封和保护作用。例如，电子设备100的摄像头、电路板、振动马达都功能组件都可以设置在壳体12内部。
26.电路板13设置在所述壳体12内部。其中，电路板13可以为电子设备100的主板。所述电路板13上可以集成有摄像头、耳机接口、加速度传感器、陀螺仪、马达等功能组件中的一个或多个。
27.电池14设置在壳体12内部。其中，电池14电连接至所述电路板13和所述显示屏11，以实现电池14为电子设备100供电。可以理解的，电路板13上可以设置有电源管理电路。所述电源管理电路用于将电池14提供的电压分配到电子设备100中的各个电子器件。
28.在一些实施例中，所述电路板13上集成有图像前处理芯片20。所述图像前处理芯片20可以用于执行预设功能。例如，所述图像前处理芯片20可以用于进行图像前处理，例如对逆光拍照、高动态范围图像(high-dynamic range，简称hdr)拍照等进行前处理。再例如，所述图像前处理芯片20还可以用于对音频数据进行处理，例如对音频数据进行加密/解密处理。
29.参考图2，图2为本技术实施例提供的图像前处理芯片20的结构示意图。
30.可以理解的，所述图像前处理芯片20具有操作系统。所述操作系统例如可以为实时操作系统(real time operating system，rtos)。所述图像前处理芯片20在上电启动后，先运行操作系统。所述操作系统可以对所述图像前处理芯片20的资源进行监控和分配。其
中，所述操作系统用于运行应用程序，所述应用程序用于实现预设功能。例如，所述应用程序可以为图像处理应用，所述图像处理应用用于对图像数据进行处理。再例如，所述应用程序可以为音频处理应用，所述音频处理应用用于对音频数据进行处理。
31.其中，图像前处理芯片20包括移动产业处理器接口(mobile industry processor interface，mipi)21、处理器22以及系统总线23。
32.所述mipi 21被配置为接收固件，所述固件用于启动所述图像前处理芯片20的操作系统。可以理解的，所述固件可以包括操作系统代码。例如，电子设备100还可以包括主处理芯片，所述主处理芯片例如可以包括电子设备100的主处理器。当所述图像前处理芯片20启动时，所述主处理芯片可以向所述图像前处理芯片20发送固件，所述mipi 21用于接收所述主处理芯片发送的固件。
33.可以理解的，由于通过所述mipi 21接收所述固件，因此所述图像前处理芯片20上无需单独设置用于接收固件的专用接口，从而可以简化所述图像前处理芯片20的接口设计。
34.所述处理器22与所述mipi 21电连接。例如，所述mipi 21、所述处理器22可以分别与所述系统总线23电连接，以实现所述mipi 21与所述处理器22之间的电信号传输。
35.其中，所述处理器22被配置为加载所述固件，以启动所述图像前处理芯片20的操作系统。此外，可以理解的，所述处理器22还可以被配置为对所述图像前处理芯片20进行整体监控，以及在所述图像前处理芯片20处理任务时进行数据运算。
36.参考图3，图3为本技术实施例提供的电子设备100的第二种结构示意图。
37.其中，电子设备100包括上述图像前处理芯片20和主处理芯片30。所述主处理芯片30也可以集成在电子设备100的电路板13上。所述主处理芯片30可以用于运行电子设备100的操作系统，例如运行安卓(android)、ios等系统，从而实现对电子设备100的整体监控，以及对电子设备100的资源进行分配和调度。
38.所述主处理芯片30与所述图像前处理芯片20电连接，从而所述主处理芯片30可以与所述图像前处理芯片20进行交互，例如所述主处理芯片30可以向所述图像前处理芯片20发送所述固件。其中，所述图像前处理芯片20可以向所述主处理芯片30发送中断信号，所述主处理芯片30接收所述中断信号，并对所述中断信号进行处理，从而实现与所述图像前处理芯片20的交互。
39.其中，所述主处理芯片30包括mipi 31、存储器32、应用处理器33、系统总线34以及互连总线接口35。
40.所述mipi 31与所述图像前处理芯片20的mipi 21电连接。所述mipi 31被配置为向所述mipi 21发送所述固件，例如在所述图像前处理芯片20启动时向所述mipi 21发送所述固件。
41.所述存储器32用于存储电子设备100的各种数据。例如，可以用于存储所述图像前处理芯片20与所述主处理芯片30的交互数据，可以用于存储电子设备100的操作系统对应的数据，可以用于存储计算机程序对应的指令，还可以用于存储诸如图像数据、音频数据等。此外，需要说明的是，所述存储器32作为电子设备100的主存储器，在电子设备100上电工作的过程中持续处于运行状态，因此所述存储器32还可以用于存储所述图像前处理芯片20的固件。
42.所述应用处理器33可以作为电子设备100的控制中心和计算中心，利用各种接口和线路连接电子设备100的各个部分，通过运行或调用存储在所述存储器32中的计算机程序和数据，执行电子设备100的各种功能以及进行数据处理，从而实现对电子设备100的整体监控和调度。
43.所述mipi 31、所述存储器32、所述应用处理器33可以分别与所述系统总线34电连接，以实现所述mipi 31、所述存储器32、所述应用处理器33之间的电信号传输。例如，在所述图像前处理芯片20启动时，所述应用处理器33可以通过所述系统总线34对所述mipi 31进行控制，使所述mipi 31将存储在所述存储器32中的固件传输给所述图像前处理芯片20的mipi 21。
44.所述互连总线接口35与所述系统总线34电连接，从而实现所述互连总线接口35与所述mipi 31、所述存储器32、所述应用处理器33之间的电信号传输。其中，所述互连总线接口35用于实现所述主处理芯片30与所述图像前处理芯片20的电连接，以实现所述主处理芯片30与所述图像前处理芯片20的交互。
45.可以理解的，所述图像前处理芯片20还可以包括互连总线接口24。所述互连总线接口24与所述图像前处理芯片20的系统总线23电连接，从而实现所述互连总线接口24与所述mipi 21、所述处理器22之间的电信号传输。其中，所述互连总线接口24与所述主处理芯片30的互连总线接口35电连接，以实现所述主处理芯片30与所述图像前处理芯片20的电连接。
46.在一些实施例中，参考图4，图4为本技术实施例提供的电子设备100的第三种结构示意图。
47.其中，所述图像前处理芯片20还包括存储器25以及直接存储访问控制器(direct memory access,dma)26。
48.所述存储器25可以用于存储数据，诸如存储图像数据、系统数据等。例如，所述mipi 21接收到所述主处理芯片30传输的固件后，所述存储器25可以用于存储所述固件。
49.所述dma 26被配置为搬移数据。例如，所述主处理芯片30向所述图像前处理芯片20发送所述固件时，所述mipi 31向所述mipi 21发送所述固件，所述mipi 21接收所述固件时，首先将所述固件存储在所述mipi 21的寄存器内，随后所述dma 26将所述固件由所述mipi 21搬移至所述存储器25。随后，所述处理器22加载所述存储器25中存储的所述固件，以启动所述图像前处理芯片20的操作系统。
50.在一些实施例中，所述存储器25可以为双倍速率同步动态随机存储器(double data rate sdram，ddr)。可以理解的，由于ddr需要在初始化后才能存储数据，因此在所述图像前处理芯片20启动时，所述处理器22还被配置为对所述存储器25进行初始化，所述mipi 21被配置为在所述存储器25初始化完成后，再接收所述固件，随后所述dma 26将所述固件由所述mipi 21搬移至所述存储器25。
51.在一些实施例中，所述存储器25还可以为静态随机存取存储器(static random access memory，sram)。可以理解的，sram不需要进行初始化即可存储数据，因此在所述图像前处理芯片20启动时，所述mipi 21可以直接接收所述固件，并由所述dma 26将所述固件由所述mipi 21搬移至所述存储器25。
52.可以理解的，在一些实施例中，在所述图像前处理芯片20的启动过程中，还可以通
过二级启动程序引导所述固件的加载，以启动所述图像前处理芯片20的操作系统。其中，二级启动程序也可以称为启动引导程序，二级启动程序对应的数据量很小。例如，二级启动程序对应的数据可以只包括少量的代码和指令。
53.其中，所述二级启动程序可以存储在所述主处理芯片30中，例如存储在所述存储器32中。在所述图像前处理芯片20启动时，所述主处理芯片30首先向所述图像前处理芯片20发送所述二级启动程序对应的数据。
54.因此，所述图像前处理芯片20中，所述处理器22还被配置为：运行二级启动程序，所述二级启动程序用于引导所述固件的加载。所述mipi 21被配置为：在所述处理器22运行所述二级启动程序后，接收所述固件。
55.可以理解的，所述mipi 21还可以被配置为：接收所述二级启动程序对应的数据。例如，所述二级启动程序对应的数据可以存储在所述主处理芯片30的存储器32中。在所述图像前处理芯片20启动时，所述应用处理器33控制所述mipi 31向所述图像前处理芯片20的mipi 21发送所述二级启动程序对应的数据。随后，所述处理器22即可加载所述mipi 21接收到的所述二级启动程序对应的数据。
56.在一些实施例中，参考图5，图5为本技术实施例提供的电子设备100的第四种结构示意图。
57.其中，所述图像前处理芯片20还包括串行外设接口(serial peripheral interface，spi)27。所述串行外设接口27与所述系统总线23电连接。所述串行外设接口27被配置为接收所述二级启动程序对应的数据。
58.所述主处理芯片30还包括串行外设接口36。所述串行外设接口36与所述系统总线34电连接。所述串行外设接口36被配置为发送所述二级启动程序对应的数据。
59.其中，所述图像前处理芯片20的串行外设接口27与所述主处理芯片30的串行外设接口36电连接，从而所述串行外设接口36可以向所述串行外设接口27发送所述二级启动程序对应的数据。
60.例如，所述二级启动程序对应的数据可以存储在所述主处理芯片30的存储器32中。在所述图像前处理芯片20启动时，所述应用处理器33控制所述串行外设接口36向所述图像前处理芯片20的串行外设接口27发送所述二级启动程序对应的数据。随后，所述处理器22即可加载所述串行外设接口27接收到的所述二级启动程序对应的数据。
61.可以理解的，在所述图像前处理芯片20启动时，所述处理器22可以向所述主处理芯片30发送第一中断信号，所述第一中断信号用于向所述主处理芯片30请求所述二级启动程序对应的数据。所述主处理芯片30接收到所述第一中断信号后，向所述图像前处理芯片20发送所述二级启动程序对应的数据。随后，所述处理器22加载所述二级启动程序对应的数据，以运行所述二级启动程序。
62.随后，在所述处理器22运行所述二级启动程序后，所述处理器22向所述主处理芯片30发送第二中断信号，所述第二中断信号用于向所述主处理芯片30请求所述固件。所述主处理芯片30接收到所述第二中断信号后，向所述图像前处理芯片20发送所述固件。随后，所述处理器22加载所述固件，以启动所述图像前处理芯片20的操作系统。
63.参考图6，图6为本技术实施例提供的电子设备中图像前处理芯片20与主处理芯片30的交互示意图。
64.当电子设备100需要启动图像前处理芯片20以执行预设功能时，所述主处理芯片30首先控制图像前处理芯片20上电。图像前处理芯片20上电后，所述图像前处理芯片20的处理器22向所述主处理芯片30发送第一中断信号。所述主处理芯片30接收到所述第一中断信号后，向所述图像前处理芯片20发送所述二级启动程序对应的数据，例如通过mipi或者串行外设接口向所述图像前处理芯片20发送所述二级启动程序对应的数据。随后，所述处理器22加载所述二级启动程序对应的数据，以运行所述二级启动程序。随后，所述处理器22向所述主处理芯片30发送第二中断信号。所述主处理芯片30接收到所述第二中断信号后，向所述图像前处理芯片20发送所述固件，例如通过mipi向所述图像前处理芯片20发送所述固件。随后，所述图像前处理芯片20通过mipi 21接收所述固件，并由所述处理器22加载所述固件，以启动所述图像前处理芯片20的操作系统。
65.在本技术的描述中，需要理解的是，诸如“第一”、“第二”等术语仅用于区分类似的对象，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。
66.在一些实施例中，参考图7，图7为本技术实施例提供的电子设备100的第五种结构示意图。
67.所述图像前处理芯片20接收的固件包括操作系统代码和神经网络模型代码。所述操作系统代码用于启动所述图像前处理芯片20的操作系统，所述神经网络模型代码用于运行神经网络模型，以对图像数据进行处理。
68.其中，所述图像前处理芯片20还包括神经网络处理器(neural-network processing unit，npu)28。所述神经网络处理器28与所述系统总线23电连接。所述神经网络处理器28被配置为：加载所述神经网络模型代码，以运行神经网络模型，所述神经网络模型用于对图像数据进行处理，例如对逆光拍照、高动态范围图像拍照等进行前处理。
69.在一些实施例中，所述电子设备100还包括图像传感器40。所述图像传感器40用于获取图像数据。可以理解的，所述图像传感器40例如可以包括摄像头。
70.其中，所述图像前处理芯片20与所述图像传感器40电连接。例如，如图7所示，所述图像前处理芯片20还包括图像数据接口29。所述图像数据接口29与所述系统总线23电连接，并且所述图像数据接口29与所述图像传感器40电连接，以实现所述图像前处理芯片20与所述图像传感器40的电连接。从而，所述图像传感器40获取到的图像数据可以通过所述图像数据接口29传输至所述图像前处理芯片20进行处理。在一些实施例中，所述图像数据接口29也可以为mipi。
71.所述图像前处理芯片20用于对所述图像传感器40获取的图像数据进行处理，例如所述图像前处理芯片20的操作系统运行的图像处理应用用于对所述图像传感器40获取的图像数据进行处理，譬如对图像数据进行前处理。可以理解的，所述图像前处理芯片20的操作系统运行的图像处理应用例如可以为所述神经网络处理器28运行的神经网络模型，从而对图像数据进行前处理。
72.在一些实施例中，所述图像数据接口29还与所述mipi 21电连接。所述mipi 21还被配置为传输图像数据。例如，所述图像传感器40获取到的图像数据传输到所述图像前处理芯片20后，由所述神经网络处理器28对所述图像数据进行前处理，随后所述mipi 21将经过前处理后的图像数据传输至所述主处理芯片30的mipi 31，从而可以由所述主处理芯片30继续对所述图像数据进行处理。
73.再例如，所述图像数据接口29接收到所述图像传感器40获取到的图像数据后，将所述图像数据发送到所述mipi 21，所述mipi 21将所述图像数据传输至所述主处理芯片30的mipi 31，从而可以直接通过所述主处理芯片30对所述图像数据进行处理。
74.可以理解的，由于所述图像前处理芯片20在运行操作系统后，才能对图像数据进行处理，而在运行操作系统前不能对图像数据进行处理，因此在所述图像前处理芯片20运行操作系统前，可以通过所述mipi 21接收所述固件，而在所述图像前处理芯片20运行操作系统后，可以通过所述mipi 21传输图像数据。因此，可以实现对所述mipi 21的分时复用，从而无需在所述图像前处理芯片20上设置用于接收固件的专用接口，可以简化所述图像前处理芯片20的接口设计。
75.本技术实施例提供的电子设备100中，在图像前处理芯片20启动时，由于通过mipi 21接收固件，因此无需在所述图像前处理芯片20中设置用于接收固件的专用接口，从而可以简化所述图像前处理芯片20的接口设计。
76.以上对本技术实施例提供的图像前处理芯片及电子设备进行了详细介绍。本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术。同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。