多媒体处理芯片、电子设备和动态图像处理方法与流程

1.本技术涉及电子技术领域，具体涉及一种多媒体处理芯片、电子设备和动态图像处理方法。


背景技术：

2.各种可以进行视频拍摄和拍照功能的多媒体设备(如数码相机、智能手机、平板电脑等)中，一般都具有获取图像的图像传感器，可以进行图像处理的多媒体处理芯片、以及应用处理器(ap，application processor)。图像传感器可以通过mipi(mobile industry processor interface，移动产业处理器接口)线连接到多媒体处理芯片，多媒体处理芯片可以通过mipi线连接到ap。
3.多媒体处理芯片一般采用图像信号处理器(image signal processor，isp)对图像传感器获取的图像进行处理，多媒体处理芯片对图像处理完成后，将其处理结果存储到存储器中，并将存储于存储器的处理结果传输到ap。


技术实现要素：

4.本技术实施例提供了一种多媒体处理芯片、电子设备和动态图像处理方法，可以节省带宽。
5.第一方面，本技术实施例提供了一种多媒体处理芯片，包括图像信号处理器、神经网络处理器和接口，所述多媒体处理芯片至少基于所述神经网络处理器对图像数据进行预处理，以得到预处理结果；
6.其中，所述图像信号处理器用于从图像数据中提取出相位对焦状态信息；
7.其中，所述接口包括n路通路，所述n路通路中的m路通路用于将所述预处理结果传输到应用处理芯片，所述n路通路中处于空闲状态的一路通路用于将所述相位对焦信息传输到应用处理芯片；
8.其中n为大于2的自然数，m为小于n的正整数。
9.第二方面，本技术实施例提供一种电子设备，包括：
10.摄像头，所述摄像头用于采集图像数据；
11.多媒体处理芯片，所述多媒体处理芯片为如上所述的多媒体处理芯片；
12.应用处理芯片，所述应用处理芯片被配置为：
13.接收所述多媒体处理芯片发送的相位对焦状态信息和预处理结果；
14.基于所述相位对焦状态信息计算出相位对焦参数，将所述相位对焦参数配置给所述摄像头；
15.对所述预处理结果进行后处理。
16.第三方面，本技术实施例提供一种动态图像处理方法，包括：
17.多媒体处理芯片获取动态图像数据；
18.所述多媒体处理芯片从所述动态图像数据中提取出相位对焦状态信息，并直接将
所述相位对焦状态信息传输到应用处理芯片；
19.所述多媒体处理芯片对所述动态图像数据进行预处理以得到预处理结果，并将所述预处理结果传输到所述应用处理芯片；
20.所述应用处理芯片接收所述相位对焦状态信息，并基于所述相位对焦状态信息计算出相位对焦参数，且将所述相位对焦参数配置给摄像头；
21.所述应用处理芯片接收所述预处理结果，并对所述预处理结果进行后处理。
22.本技术实施例多媒体处理芯片从图像数据中提取出的相位对焦状态信息可直接传输到应用处理芯片，无需经过中间存储过程，可以减少对带宽的占用，减少出现卡顿的可能性。
附图说明
23.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍。
24.图1是本技术实施例提供的电子设备的第一结构示意图。
25.图2是本技术实施例提供的电子设备的第二结构示意图。
26.图3是本技术实施例提供的多媒体处理芯片的结构示意图。
27.图4是本技术实施例提供的电子设备的第三结构示意图。
28.图5是本技术实施例提供的电子设备的第四结构示意图。
29.图6是本技术实施例提供的动态图像处理方法的流程示意图。
具体实施方式
30.本技术实施例提供一种多媒体处理芯片、电子设备和动态图像处理方法。下面请参阅附图，从本技术实施例所提供的电子设备处理图像数据的角度进行描述。其中附图中相同的组件符号代表相同的组件，本技术的原理是以实施在一适当的运算环境中来举例说明。以下的说明是基于所例示的本技术具体实施例，其不应被视为限制本技术未在此详述的其它具体实施例。
31.请参阅图1，图1为本技术实施例提供的电子设备的第一结构示意图。电子设备20可包括摄像头600、多媒体处理芯片200和应用处理芯片400。摄像头600与多媒体处理芯片200通信连接，多媒体处理芯片200和应用处理芯片400通信连接。其中通信连接可以理解为两个部件之间的通信连接关系，诸如采用无线连接的方式实现通信，再比如采用有线连接的方式实现通信。其中有线连接可以理解为信号线诸如导线连接，或者两个元器件直接焊接在一起。
32.其中，摄像头600可以采集图像数据，也可以将图像数据理解为图像信息。摄像头600可以为一个或多个，诸如摄像头600可以包括主摄像头、广角摄像头和长焦摄像头中的至少一个，摄像头600还可以包括微距摄像头、普通黑白摄像头中的至少一个。摄像头600可以是电子设备20的前置摄像头，也可以是电子设备20的后置摄像头。
33.摄像头600可以包括图像传感器和镜头，图像传感器可以为互补金属氧化物半导体(complementary metal-oxide-semiconductor，cmos)图像传感器、电荷藕合器件(charge coupled device，ccd)图像传感器等。摄像头600可以采集原始图像数据诸如raw
域数据，并可以将其采集到的图像数据传输到多媒体处理芯片200，以供多媒体处理芯片200内部的图像处理器进行处理。
34.摄像头600所采集到的图像数据可以称为原始图像数据，也可以称为初始图像数据。可以理解的是，图像数据对应有图像，诸如用户在拍照过程中，摄像头600所采集到的图像数据可以从电子设备20的预览窗口进行预览。具体来说，摄像头600所采集到的图像数据先后由多媒体处理芯片200和应用处理芯片400进行处理，处理完成后显示到电子设备20的显示屏。从而用户可以通过电子设备20的预览窗口预览到图像，可以将其定义为预览图像。
35.其中，图像数据可以为静态图像数据，也可以为动态图像数据。其中静态图像数据诸如为存储于存储器中的图片的数据、摄像头600所采集到的静态图像数据。其中动态图像数据可以为预览图像的数据、视频录制的数据、视频播放的数据。
36.多媒体处理芯片200可以对图像数据进行处理，多媒体处理芯片200可以处理来自摄像头600所采集的图像数据诸如动态图像数据。多媒体处理芯片200也可以处理不来自摄像头600所采集的图像数据诸如存储于一存储器内的动态图像数据。多媒体处理芯片200可将其处理结果通过其接口传输到应用处理芯片400，以便于应用处理芯片400再在多媒体处理芯片200的处理结果的基础上进行处理。从而可以提高图像的显示质量。
37.其中，多媒体处理芯片200对图像数据进行处理可以称为前处理、预处理等，应用处理芯片400对图像数据进行处理可以称为后处理。
38.请参阅图2，图2为本你申请实施例提供的电子设备的第二种结构示意图。电子设备20还包括显示屏800，显示屏800可显示画面。多媒体处理芯片200和应用处理芯片400对图像数据处理完后可以由显示屏800显示画面。当然，多媒体处理芯片200和应用处理芯片400对图像数据处理完后还可以将图像存储于电子设备20的存储器。
39.需要说明的是，本技术实施例多媒体处理芯片200所处理的图像数据可以为raw图像数据，应用处理芯片200可以先对raw图像数据进行处理，然后将raw图像数据的格式转换为yuv图像数据格式，最后再将yuv图像数据进行存储和显示。raw图像数据相比其他图像数据诸如yuv图像数据，raw图像数据保留的更多细节。本技术实施例对raw图像数据进行处理可以在更多细节上提升图像质量。
40.多媒体处理芯片200可被配置为：获取图像数据诸如动态图像数据，从其获取的图像数据中提取出相位对焦状态信息，直接将其所提取出的相位对焦状态信息传输到应用处理芯片400；以及对该图像数据进行预处理以得到预处理结果，并将该预处理结果输到应用处理芯片400。多媒体处理芯片200在对其获取到的图像数据进行处理过程中，可以先从图像数据中提取出或者说抽取出相位对焦信息，然后直接将其所抽取到的相位对焦信息传输到应用处理芯片400，而不对该相位对焦状态信息进行存储处理，就可以节省多媒体处理芯片200的带宽，降低因带宽不足而导致延时增加，出现卡顿的可能性。
41.其中，图像信号处理器210可以通过数据类型(datatype)标志分解出相位对焦状态信息。
42.请参阅图3，图3为本技术实施例提供的多媒体处理芯片的结构示意图。多媒体处理芯片200可以包括图像信号处理器(image signal processing，isp)210、神经网络处理器(neural-network processing unit，npu)220和第二接口202。
43.多媒体处理芯片200至少基于神经网络处理器220对图像数据进行预处理，以得到
预处理结果。诸如多媒体处理芯片200基于神经网络处理器220对图像数据进行神经网络算法处理。再比如多媒体处理芯片200基于图像信号处理器210先对图像数据进行第一次预处理，再由神经网络处理器220对图像数据进行第二次预处理。还比如多媒体处理芯片200基于图像信号处理器210先对图像数据进行第一次预处理，再由神经网络处理器220对第一次预处理后的图像数据进行第二次预处理，然后由神经网络处理器210对第二次预处理后的图像数据进行第三次预处理。
44.需要说明的是，本技术实施例多媒体处理芯片200对图像数据进行预处理的方式并不限于此，以上仅为本技术实施例对图像数据进行预处理的几种具体举例说明，并不构成本技术实施例对图像数据进行预处理的限缩。
45.其中，多媒体处理芯片200所处理的图像数据可以来自摄像头600所采集的图像数据。
46.请参阅图4，图4为本技术实施例提供的电子设备的第三种结构示意图。多媒体处理芯片200还可以包括第一接口201，第一接口201与摄像头600通信连接，摄像头600所采集到的图像数据诸如动态图像数据可以传输到第一接口201。第一接口201还与图像信号处理器210通信连接，第一接口201可以将其从所述摄像头600所接收到的图像数据传输到图像信号处理器210。
47.需要说明的是，多媒体处理芯片200还可以处理其他图像数据，诸如多媒体处理芯片200的图像数据由电子设备20的存储器传输到多媒体处理芯片200。诸如采用通过高速互联总线接口(peripheralcomponent interconnectexpress，pcie)和/或低速互联总线接口传输。
48.图像信号处理器210对图像数据进行第一次预处理包括线性化处理、坏点补偿和黑电平校正等优化处理中的至少一种。图像信号处理器210可以将其第一次预处理后的结果存储到存储器诸如存储器230中。图像信号处理器210也可以将其第一次预处理的结果直接传输到神经网络处理器220。
49.神经网络处理器220对图像数据进行第二次预处理诸如采用神经网络算法对图像数据进行处理。神经网络算法诸如语义分割算法、hdr算法、降噪算法、超分辨率算法、夜景算法、模糊算法等。神经网络处理器220处理图像数据的效率高，对图像质量的提升明显。神经网络处理器220对图像数据处理的结果可以存储到存储器诸如存储器230。
50.需要说明的是，本技术实施例先由图像信号处理器210对图像数据进行第一次预处理，诸如坏点补偿、线性化处理等不仅可以优化图像，提升图像质量，而且可以加快神经网络处理器220的收敛速度。从而可以降低神经网络处理器220处理一帧图像数据所需的时间，以实现快速、实时处理图像数据的目的。
51.当多媒体处理芯片200所处理图像数据的位宽与应用处理芯片400所处理图像数据的位宽不同时，本技术实施例多媒体处理芯片200对图像数据进行预处理还包括由图像信号处理器210对第二次预处理后的图像数据进行第三次预处理，该第三次预处理包括位宽调整处理。
52.举例来说，本技术实施例神经网络处理器220对图像数据进行处理的位宽可以为第一位宽，诸如14比特(bit)、16比特。本技术实施例应用处理芯片400对图像数据进行处理的位宽可以为第二位宽，诸如为12比特。在神经网络处理器220所处理图像数据的位宽与应
用处理芯片400所处理图像数据的位宽不同时，可以由图像信号处理器210对神经网络处理器220处理过的图像数据进行位宽调整处理，以将图像数据的位宽调整与应用处理芯片400所需处理图像数据的位宽相同。然后再将图像数据传输到应用处理芯片400进行后处理。
53.需要说明的是，图像信号处理器210对图像数据进行处理并不限于此，诸如对图像数据裁剪处理、缩小处理等。
54.本技术实施例图像信号处理器210、神经网络处理器220均与系统总线240连接。其中，存储器230也与系统总线240连接，该存储器230可以外置，也可以内置。该存储器230可以存储各种数据，诸如存储器230存储多媒体处理芯片200的系统、多媒体处理芯片200对图像数据进行预处理的预处理结果等。
55.需要说明的是，由于本技术实施例多媒体处理芯片200对图像数据的预处理至少基于神经网络处理器220对图像数据进行预处理，可以理解的是，神经网络处理器220对图像数据诸如raw图像数据进行处理往往会改变raw图像数据的状态信息。在多媒体处理芯片200对图像数据预处理完成后，由于状态信息的损坏，应用处理芯片400可能无法对预处理结果进行后处理诸如对焦参数的计算、白平衡处理等。
56.基于此，本技术实施例在神经网络处理器220对图像数据处理之前，先由图像信号处理器210对图像数据进行处理，以获得图像数据的状态信息。诸如相位对焦状态信息、自动曝光状态信息、自动白平衡状态信息、镜头阴影校正状态信息等。图像信号处理器210可以从图像数据中直接提取出或者说抽取出相位对焦状态信息。图像信号处理器210可以采用预设算法从图像数据中统计出自动曝光状态信息、自动白平衡状态信息、镜头阴影校正状态信息。需要说明的是，图像信号处理器210还可以采用预设算法从图像数据中统计出其他对焦状态信息诸如反差对焦状态信息。
57.由此本技术实施例在神经网络处理器220对图像数据进行处理之前，先由图像信号处理器210对图像数据统计和提取，以得到图像数据的各种状态信息。神经网络处理器220再对图像数据处理时，仍然保留有各种状态信息，即使神经网络处理器220处理后会改变图像数据的状态信息。应用处理芯片400仍然可以基于图像信号处理器210所获得的各种状态信息进行各种处理。
58.需要说明的是，各种状态信息尤其是相位对焦状态信息的数据占比非常大。且全像素对焦的应用越来越多。即存储器230用来存储相位对焦状态信息空间(buffer)与用来存储图像数据的空间(buffer)一样大。而如果将所有的数据都先存储到存储器230中，则会导致存储器230的带宽消耗比较大，如果带宽无法满足需求，可能导致延时增加，而出现卡顿现象。基于此，本技术实施例在图像信号处理器210获取到各种状态信息尤其是相位对焦状态信息时，不将该相位对焦状态信息存储到存储器230中，而是由图像信号处理器210直接将其所提取到的相位对焦状态信息传输到第二接口202，并通过第二接口202传输到第三接口402，由应用处理芯片400计算该相位对焦状态信息，以计算出相位对焦参数，并将该相位对焦参数配置给摄像头600。从而摄像头600可以基于该相位对焦参数进行对焦。
59.其中，图像信号处理器210可以通过datatype标志分解出相位对焦状态信息。
60.由此本技术实施例就可以节省带宽，降低因带宽不足导致延时增加，降低卡顿的可能性。从而就提高图像的质量，进而提高图像预览的流畅度。
61.图像信号处理器210还可以将其获取到的其他状态信息诸如自动白平衡状态信息
和自动曝光状态信息不存储到存储器230，而直接传输到第二接口202，并由第二接口202传输到第三接口402。应用处理芯片400可以计算该自动白平衡状态信息，以计算出自动白平衡参数，并基于该自动白平衡参数对多媒体处理芯片200的预处理结果进行白平衡处理，以提升图像质量。应用处理芯片400还可以计算自动曝光状态信息，以计算出曝光参数，并将该自动曝光参数配置给摄像头600。摄像头600可以基于该自动曝光参数进行一次曝光。
62.图像信号处理器210还可以将其获取到的其他状态信息诸如镜头阴影校正状态信息不存储到存储器230，而直接传输到第二接口202，并由第二接口202传输到第三接口402。应用处理芯片400可以计算该镜头阴影校正状态信息，以计算出镜头阴影校正参数，并基于该镜头阴影校正参数对多媒体处理芯片200的预处理结果进行镜头阴影校正，以提升图像质量。
63.第一接口201、第二接口202和第三接口402均可以为移动产业处理器接口(mobile industry processor interface，mipi)。本技术实施例第二接口202可以包括n路通路，n为大于2的自然数。诸如3。需要说明的是，为了节省功耗，以及防止升温过高，本技术实施例可以采用第二接口202中的其中一部分诸如m路通路来传输图像数据。或者说本技术实施例可以将采用第二接口202中的其中一部分诸如m路通路来传输多媒体处理芯片200的预处理结果。
64.其中，m为小于n的正整数，诸如2。
65.由此，本技术实施例多媒体处理芯片200在将其预处理结果传输到应用处理芯片400的过程中，第二接口202的n路通路中可以空闲出至少一路(n-m)路通路。n-m诸如为1。即本技术实施例可以通过第二接口202的一路处于空闲状态的通路将相位对焦状态信息传输到第三接口402对应的通路。
66.在一些实施例中，第二接口202的n路通路中的m路通路用于将预处理结果传输到应用处理芯片400，第二接口202的n路通路中处于空闲状态的至少一路通路用于将相位对焦信息等状态信息直接传输到应用处理芯片400。举例来说，第二接口202的n路通路中的m路通路用于将存储于存储器230的预处理结果传输到应用处理芯片400，第二接口202的n路通路中处于空闲状态的一路通路用于直接将图像信号处理器210所提取出的相位对焦状态信息传输到应用处理芯片40。
67.需要说明的是，若第二接口202还具有处于空闲状态的其他通路时，还可以传输其他数据。举例来说，第二接口202处于空闲状态的通路还可以传输其他状态信息诸如自动曝光状态信息、自动白平衡状态信息。可以理解的是，自动曝光状态信息、自动白平衡状态信息等也可以采用其他接口传输到应用处理芯片400。
68.可以理解的是，第一接口201也可以具有三路通路，第三接口402也可以具有三路通路。
69.其中，应用处理芯片400可以先对raw图像数据进行处理诸如白平衡处理、镜头阴影校正等处理。然后对处理后的raw图像数据进行格式转换，诸如将raw图像数据转换为yuv图像数据的格式。进而可以通过显示屏800显示，也可以存储到电子设备20的存储器。可以理解的是，应用处理芯片400还可与对yuv图像数据进行图像处理。
70.需要说明的是，多媒体处理芯片200的元器件并不限于此，诸如多媒体处理芯片200还可以包括直接存储访问控制器，其可以实现图像数据的搬移。比如其可以将存储于存
储器230内的预处理结果搬移到第二接口202，并通过第二件接口202将该预处理结果传输到第三接口402。
71.请参阅图5，图5为本技术实施例提供的电子设备的第四种结构示意图。多媒体处理芯片200还可以包括数字信号处理器250，数字信号处理器250可以与系统总线240连接，其可以处理静态图像数据，诸如从多帧图像中选择出一帧图像作为拍照图像。在一些实施例中，当数字信号处理器250处理静态图像数据时，可以由神经网络处理器220来处理动态图像数据。需要说明的是，本技术实施例所限定的数字信号处理器250主要是用来辅助神经网络处理器220对图像数据进行处理。
72.其中，应用处理芯片400和多媒体处理芯片200对图像数据可以进行差异化处理，诸如多媒体处理芯片200对图像数据进行降噪处理，而应用处理芯片400不再对图像数据进行降噪处理。再比如多媒体处理芯片200对图像数据进行语义分割处理，而应用处理芯片400不再对图像数据进行语义分割处理，而进行其他处理诸如对焦处理。从而本技术实施例就可以大大节省应用处理芯片400对图像数据进行处理的功耗。可以通过多媒体处理芯片200对图像数据进行专门化处理，以在节省应用处理芯片400功耗的情况下，以提升图像数据的质量。
73.当然，应用处理芯片400和多媒体处理芯片200对图像数据也可以不进行差异化处理，诸如应用处理芯片400和多媒体处理芯片200均对图像数据进行降噪处理。
74.需要说明的是，虽然图1-2以及图4-5未示出，本技术实施例所限定的电子设备20还可以包括其他器件，诸如电池、扬声器、受话器等器件。
75.下面从动态图像处理方法的角度进行说明。
76.请参阅图6，图6为本技术实施例提供的动态图像处理方法的流程示意图，结合图1至图5。
77.6001，多媒体处理芯片200获取动态图像数据。多媒体处理芯片200可以通过第一接口201从摄像头600获取动态图像数据。第一接口201获取到动态图像数据后，先传输到图像信号处理器210。
78.6002，多媒体处理芯片200从该动态图像数据中提取出相位对焦状态信息，并直接将该相位对焦状态信息传输到应用处理芯片200。图像信号处理器210可以通过datatype标志分解出相位对焦状态信息。图像信号处理器210获取到相位对焦信息后不将该相位对焦状态信息存储到存储器230，而是直接将该相位对焦状态信息传输到第二接口202，由第二接口202的一部分通路传输到第三接口402。
79.需要说明的是，图像信号处理器210还可以采用预设算法以统计出其他状态信息诸如自动白平衡状态信息、自动曝光状态信息、镜头阴影校正状态信息。可以理解的是，图像信号处理器210获取到的其它状态信息也可以直接传输到第二接口202，由第二接口202的一部分通路传输到第三接口402。
80.6003，多媒体处理芯片200对该动态图像数据进行预处理以得到预处理结果，并将预处理结果传输到应用处理芯片400。需要说明的是，多媒体处理芯片200对动态图像数据进行预处理可以基于神经网络处理器220对图像数据进行预处理，以得到预处理结果，也可以基于图像数据信号处理器210对图像数据进行第一次预处理、神经网络处理器220对第一次预处理后的动态图像数据进行第二次预处理。还可以基于图像数据信号处理器210对图
像数据进行第一次预处理、神经网络处理器220对第一次预处理后的动态图像数据进行第二次预处理、由图像信号处理器210对第二次处理后的动态图像数据进行第三次预处理。图像信号处理器210对动态图像数据的处理可以参阅以上图像信号处理器210对图像数据的处理，在此不再赘述。其中神经网络处理器220对动态图像数据的处理可以参阅以上神经网络处理器220对图像数据的处理，在此不再赘述。
81.多媒体处理芯片200在通过其内部的处理器对动态图像数据进行预处理后，可以将预处理结果存储到存储器230。然后，再将存储于存储器230的预处理结果传输到第二接口202，第二接口202通过其中一部分通路诸如两路通路传输到第三接口402。
82.6004，应用处理芯片400接收该相位对焦状态信息，并基于该相位对焦状态信息计算出相位对焦参数，且将该相位对焦参数配置给摄像头600。应用处理芯片400的第三接口402从第二接口202接收到该相位对焦状态信息，应用处理芯片400可以通过相位对焦模块来解析、计算和处理该相位对焦信息，比如先解析、计算该相位对焦状态信息，以得到相位对焦参数，然后将该相位对焦参数配置给摄像头600。
83.6005，应用处理芯片400接收该预处理结果，并对该预处理结果进行后处理，以提升图像质量。
84.可以理解的是，应用处理芯片400还可以接收其他状态信息，诸如自动白平衡状态信息、自动曝光状态信息等。应用处理芯片400可以执行相关算法计算出自动白平衡参数以及自动曝光参数，并将自动曝光参数配置给摄像头600，以及基于自动白平衡参数对预处理结果进行白平衡处理。
85.由此，本技术实施例不仅可以提升图像质量，还可以节省带宽占用，以减少卡顿。
86.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。
87.以上对本技术实施例所提供的一种多媒体处理芯片、电子设备和动态图像处理方法进行了详细介绍，本文中应用了具体个例对本技术的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本技术的方法及其核心思想；同时，对于本领域的技术人员，依据本技术的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本技术的限制。