图像处理方法、装置及芯片系统与流程

1.本技术属于图像处理技术领域，尤其涉及一种图像处理方法、装置及芯片系统。


背景技术：

2.图像处理技术是用计算机等电子设备对图像数据进行处理的技术。例如，图像处理技术可以实现图像滤波、颜色空间变换、目标识别、目标跟踪、轨迹预测等功能。
3.图像处理的速度决定了图像处理装置在固定时间内的图像数据吞吐量，可表征为图像处理装置应用时的延迟特征。因此图像处理的速度越快，则图像处理装置的延迟越低、实时性越好。
4.由于图像处理具有运算复杂、数据量大等特点。因此通常需要设置存储模块，用于暂存待处理图像数据。但是，这会增加图像数据存入存储模块和从存储模块中取出图像数据的步骤，增加图像数据的传输时间，从而降低图像处理的速度。


技术实现要素：

5.有鉴于此，本技术实施例提供了一种图像处理方法、装置及芯片系统，可以减少图像数据的传输时间，从而提高图像处理的速度。
6.本技术实施例的第一方面提供了一种图像处理装置，包括：
7.设有第一图像输入接口和第一图像输出接口的第一总线，第一总线被配置为传输数据。
8.设有第一接口和第二接口的第一存储模块，第一接口和第二接口分别与第一总线连接，第一接口和第二接口为不同的接口。第一存储模块被配置为通过第一接口从第一图像输入接口获取并存储第一待处理图像数据；以及被配置为通过第一接口将存储的第一已处理图像数据发送至第一图像输出接口。
9.第一处理模块，与第一总线连接，被配置为通过第二接口从第一存储模块中获取并处理第一待处理图像数据，得到第一已处理图像数据；以及被配置为通过第二接口将第一已处理图像数据发送至第一存储模块。
10.其中，第二接口仅用于与第一处理模块进行第一待处理图像数据和第一已处理图像数据的传输。
11.本技术实施例的第二方面提供了一种图像处理装置，包括：
12.设有第二图像输入接口和第二图像输出接口的第二总线，第二总线被配置为传输数据。
13.设有第三接口和第四接口的第二存储模块，第三接口和第四接口分别与第二总线连接，第三接口和第四接口为不同的接口。第二存储模块被配置为通过第三接口从第二图像输入接口获取并存储第二待处理图像数据；以及被配置为通过第三接口将存储的第二已处理图像数据和第三已处理图像数据发送至第二图像输出接口。
14.与第二总线连接的第二处理模块，被配置为通过第三接口从第二存储模块中获取
并处理第二待处理图像数据，得到第二已处理图像数据；以及被配置为通过第三接口将第二已处理图像数据发送至第二存储模块。
15.与第二总线连接的第三处理模块，被配置为通过第四接口从第二存储模块中获取并处理第二待处理图像数据，得到第三已处理图像数据；以及被配置为通过第四接口将第三已处理图像数据发送至第二存储模块。
16.其中，第四接口仅用于与第三处理模块进行第二待处理图像数据和第三已处理图像数据的传输。
17.本技术实施例的第三方面提供了一种图像处理方法，应用于图像处理装置，图像处理装置包括第一总线、第一存储模块以及与第一总线连接的第一处理模块，第一总线设有第一图像输入接口和第一图像输出接口，第一存储模块设有分别与第一总线连接的第一接口和第二接口，第一接口和第二接口为不同的接口。
18.图像处理方法包括：
19.第一流程：控制第一存储模块通过第一接口从第一图像输入接口获取并存储第一待处理图像数据。
20.第二流程：控制第一处理模块通过第二接口从第一存储模块中获取并处理第一待处理图像数据，得到第一已处理图像数据。
21.第三流程：控制第一处理模块通过第二接口将第一已处理图像数据发送至第一存储模块。
22.第四流程：控制第一存储模块通过第一接口将存储的第一已处理图像数据发送至第一图像输出接口。
23.其中，第二接口仅用于与第一处理模块进行第一待处理图像数据和第一已处理图像数据的传输。
24.本技术实施例的第四方面提供了一种图像处理方法，应用于图像处理装置，图像处理装置包括第二总线、第二存储模块以及分别与第二总线连接的第二处理模块和第三处理模块，第二总线设有第二图像输入接口和第二图像输出接口，第二存储模块设有分别与第二总线连接的第三接口和第四接口，第三接口和第四接口为不同的接口。
25.图像处理方法包括：
26.第一流程：控制第二存储模块通过第三接口从第二图像输入接口获取并存储第二待处理图像数据。
27.第二流程：控制第二处理模块通过第三接口从第二存储模块中获取并处理第二待处理图像数据，得到第二已处理图像数据。
28.第三流程：控制第二处理模块通过第三接口将第二已处理图像数据发送至第二存储模块。
29.第四流程：控制第三处理模块通过第四接口从第二存储模块中获取并处理第二待处理图像数据，得到第三已处理图像数据。
30.第五流程：控制第三处理模块通过第四接口将第三已处理图像数据发送至第二存储模块。
31.第六流程：控制第二存储模块通过第三接口将存储的第二已处理图像数据和第三已处理图像数据发送至第二图像输出接口。
32.其中，第四接口仅用于与第三处理模块进行第二待处理图像数据和第三已处理图像数据的传输。
33.本技术实施例的第五方面提供了一种芯片系统，包括上述第一方面提供的图像处理装置，或者包括上述第二方面提供的图像处理装置。
34.本技术实施例的第六方面提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述第三方面提供的图像处理方法的步骤，或者实现上述第四方面提供的图像处理方法的步骤。
35.本技术实施例的第七方面提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行上述第三方面提供的图像处理方法的步骤，或者执行上述第四方面提供的图像处理方法的步骤。
36.本技术实施例与现有技术相比存在的有益效果是：
37.在本技术实施例中，第一存储模块设置有第一接口和第二接口。第一接口和第二接口为不同的接口，第二接口仅用于与第一处理模块进行第一待处理图像数据和第一已处理图像数据的传输。在进行图像处理时，可以交替使用第一接口和第二接口传输第一待处理图像数据或第一已处理图像数据。使得图像数据的传输在时间维度上达到类似并行传输的效果，减少数据传输时间，从而提高图像处理的速度。
附图说明
38.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
39.图1是本技术一实施例提供的图像处理装置的结构示意图；
40.图2是本技术一实施例提供的图像处理方法的流程示意图；
41.图3是本技术一实施例提供的图像处理装置的结构示意图；
42.图4是本技术一实施例提供的图像处理装置的结构示意图；
43.图5是本技术一实施例提供的图像处理方法的流程示意图；
44.图6是本技术一实施例提供的图像处理装置的结构示意图；
45.图7是本技术一实施例提供的图像处理装置的结构示意图；
46.图8是本技术一实施例提供的图像处理方法的流程示意图；
47.图9是本技术一实施例提供的图像处理装置的结构示意图；
48.图10是本技术一实施例提供的图像处理方法的流程示意图；
49.图11是本技术一实施例提供的芯片系统的结构示意图。
具体实施方式
50.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
51.图像处理装置可以利用图像处理技术，对图像数据进行图像处理。图像处理技术可以实现图像滤波、颜色空间变换、目标识别、目标跟踪、轨迹预测等功能，为安防监控、无人驾驶等领域提供重要的技术支持。
52.图像处理装置一般包括：总线、分别与总线连接的存储模块和处理模块。总线设有图像输入接口和图像输出接口。总线被配置为传输数据。
53.图像处理一般包括以下步骤：
54.(1)存储模块从图像输入接口获取待处理图像数据。例如，图像输入接口可以连接摄像机。摄像机中的待处理图像数据通过图像输入接口传输给存储模块。
55.(2)处理模块从存储模块中获取并处理待处理图像数据，得到已处理图像数据。
56.(3)处理模块将已处理图像数据发送至存储模块。
57.(4)存储模块将存储的已处理图像数据发送至图像输出接口。例如，图像输出接口连接手机终端或者上述的摄像机。手机终端或者上述的摄像机通过图像输出接口接收已处理图像数据。
58.在一些实施例中，图像输入接口和图像输出接口可以共用一个接口。
59.在一些实施例中，由于图像数据通常是由多个图像帧组成。因此在上述步骤(1)至步骤(4)中，可以以图像帧作为最小单元，进行图像数据传输。
60.例如，首先通过步骤(1)传输若干帧图像数据，然后通过步骤(2)和步骤(3)对该若干帧图像数据进行处理和转存，再通过步骤(1)传输后续的若干帧图像数据，接着再执行步骤(2)和步骤(3)进行处理和转存。上述过程循环进行，直至所有待处理图像数据被处理为已处理图像数据，且存储在存储模块中。最后再通过步骤(4)输出已处理图像数据。其中，若干帧表示一帧以及一帧以上的含义。
61.通过上述分析发现，存储模块一方面需要与图像输入接口和图像输出接口进行数据传输，另一方面又需要与处理模块进行数据传输。但是，存储模块通常只有一个通用接口与总线连接。通用接口中的“通用”的含义是指，如果与总线连接的各个模块需要和存储模块进行通信或者数据传输时，均可以通过该通用接口进行。其中，各个模块包括上述的图像输入接口、图像输出接口、处理模块以及其他未列出的模块。在实际利用中，这会降低数据传输的效率，从而降低图像处理的速度。例如，在步骤(1)至步骤(4)中，通用接口需要经常切换与之通信或进行数据传输的目标，造成存储模块的响应速度慢，从而导致数据传输的效率低，耗时长。
62.有鉴于此，本技术实施例提供了一种图像处理装置，其存储模块设置有两个接口。一个为通用接口，一个为与处理模块进行数据传输的专用接口。专用接口中的“专用”的含义是指，相比于其他模块，处理模块对该专用接口的访问具有较高的优先级。作为示例而非限定，专用接口可以配置为仅接收处理模块的访问请求。
63.通过交替使用通用接口和专用接口，可以使上述步骤(1)与步骤(2)或步骤(3)交替执行。和/或，使上述步骤(3)与步骤(4)交替执行。这些交替执行可以在时间维度上实现类似并行传输的效果，以提高数据传输的效率，从而提高图像处理的速度。
64.在本技术实施例中，图像处理装置是指具有图像处理功能的设备。本技术实施例对该设备的具体类型不作任何限定。作为示例而非限定，该图像处理装置的具体类型包括集成电路、电路板、芯片、手机、电脑、可穿戴设备等。
65.为了说明本技术所述的技术方案，下面通过具体实施例来进行说明。
66.图1示出了本技术一实施例提供的图像处理装置的结构示意图。
67.该图像处理装置包括：第一总线11、分别与第一总线11连接的第一存储模块14和第一处理模块17。
68.第一总线11被配置为传输数据。作为示例而非限定，为了提高传输速度，第一总线11可以设置为具备高速传输能力的互联总线。
69.第一总线11设有第一图像输入接口12和第一图像输出接口13。第一图像输入接口12用于输入第一待处理图像数据。第一待处理图像数据经由第一处理模块17处理后，得到第一已处理图像数据。第一已处理图像数据经由第一图像输出接口13输出。
70.应理解，第一图像输入接口12可以通过有线或者无线连接方式，连接第一设备。该第一设备存储有第一待处理图像数据。作为示例而非限定，第一设备可以是手机、摄像机、优盘等各种设备。本实施例对第一设备的具体类型不作任何限定。
71.应理解，第一图像输出接口13可以通过有线或者无线连接方式，连接第二设备。第二设备用于接收第一已处理图像数据。作为示例而非限定，第二设备可以是手机、摄像机、优盘等各种设备。本实施例对第二设备的具体类型不作任何限定。
72.在一些实施例中，第一图像输入接口12和第一图像输出接口13可以共用同一接口。
73.在一些实施例中，第一设备和第二设备可以是指同一设备，也可以是指不同的设备。
74.第一存储模块14设有第一接口15和第二接口16。第一接口15和第二接口16分别与第一总线11连接。第一接口15和第二接口16为不同的接口。
75.在一些实施例中，第一接口15和第二接口16均可以是硬件端口。作为示例而非限定，第一接口15可以设置为上述的通用接口，使得与第一总线11连接的各个模块可以通过第一接口15与第一存储模块14进行通信或者数据传输。第二接口16可以设置为上述的专用接口，使得第二接口16仅接受第一处理模块17的访问，或者第一处理模块17对第二接口16的访问具有最高或较高的优先级，以便减少对第一存储模块14的访存冲突，加快第一存储模块14的响应速度。
76.其中，第一存储模块14被配置为通过第一接口15从第一图像输入接口12获取并存储第一待处理图像数据。第一存储模块14还被配置为通过第一接口15将存储的第一已处理图像数据发送至第一图像输出接口13。
77.第一处理模块17与第一总线11连接。第一处理模块17被配置为通过第二接口16从第一存储模块14中获取并处理第一待处理图像数据，得到第一已处理图像数据。第一处理模块17还被配置为通过第二接口16将第一已处理图像数据发送至第一存储模块14。
78.需要说明的是，为了避免各个模块对第一存储模块14的访问之间存在冲突。需要对来自第一接口15的第一访问和来自第二接口16的第二访问进行访问地址和操作类型的判定。根据判定结果决定第一访问和第二访问的执行顺序。
79.作为示例而非限定，当第一访问和第二访问的访问地址不同时，则第一存储模块14可以以轮询的方式响应第一访问和第二访问。
80.作为示例而非限定，当第一访问和第二访问的访问地址相同，但不同时为读操作
时，则第一存储模块14根据预设的处理程序决定访问顺序。
81.作为示例而非限定，当第一访问和第二访问的访问地址相同，且同时为读操作时，则第一存储模块14可以同时响应第一访问和第二访问。
82.本实施例通过交替使用第一接口15和第二接口16传输第一待处理图像数据或第一已处理图像数据，使得图像数据的传输在时间维度上达到类似并行传输的效果，且可以加快第一存储模块14的响应速度，减少数据传输时间，从而提高图像处理的速度。
83.如图2和图3所示，作为本实施例的一种可选实施方式，图像处理装置还包括与第一总线11连接的第一控制模块18。
84.作为一种可选实施方式，本实施例提供的图像处理装置的图像处理方法包括以下步骤：
85.s201、第一控制模块18控制第一存储模块14通过第一接口15从第一图像输入接口12获取并存储第一待处理图像数据。
86.s202、第一控制模块18控制第一处理模块17通过第二接口16从第一存储模块14中获取并处理第一待处理图像数据，得到第一已处理图像数据。
87.s203、第一控制模块18控制第一处理模块17通过第二接口16将第一已处理图像数据发送至第一存储模块14。
88.s204：第一控制模块18控制第一存储模块14通过第一接口15将存储的第一已处理图像数据发送至第一图像输出接口13。
89.由于图像数据传输是以图像帧进行传输，且可以交替使用第一接口15和第二接口16传输图像数据，因此步骤s201与步骤s202或步骤s203可以交替执行。步骤s203与步骤s204也可以交替执行。这些交替执行可以使得图像数据的传输在时间维度上达到类似并行传输的效果，可以减少数据传输时间，从而提高图像处理的速度。
90.需要说明的是，交替执行的时间间隔、第一接口15每次使用时长、以及第二接口16每次使用时长，均可以根据需要进行设定，本技术实施例对此不作具体限定。
91.作为示例而非限定，可以按照图像帧的帧数对交替执行的时间间隔、第一接口15每次使用时长、以及第二接口16每次使用时长进行限定。例如，每传输预设数量的图像帧时，完成一次接口交替。
92.需要说明的是，本实施例对第一存储模块14的具体类型不作任何限定，技术人员可以根据需要进行选择。
93.作为示例而非限定，第一存储模块14可以选为双倍速率同步动态随机存储器。
94.需要说明的是，本实施例对第一控制模块18的具体类型不作任何限定，技术人员可以根据需要进行选择。
95.作为示例而非限定，第一控制模块18包括分别与第一总线11连接的第一微控制单元20和第一dma(direct memory access)控制器19。在执行上述步骤s201至s204时，第一控制模块18的工作原理如下：
96.(11)第一微控制单元20配置待传输数据的起始地址、数据传输长度、以及待传输数据的目的地址。
97.(12)第一微控制单元20使能第一dma控制器19。
98.(13)第一dma控制器19向数据传输方发起读操作，并接收待传输数据。
99.(14)在预设延迟后，第一dma控制器19向数据接收方发起写操作，发送待传输数据。此时待传输数据的读、写操作将并行执行，此时待传输数据可视为从数据传输方发送至数据接收方。
100.如图4所述，在一些实施例中，第一处理模块17包括分别与第一总线11连接的第一存储单元22和第一计算单元21。
101.作为示例而非限定，第二接口16仅用于与第一存储单元22进行第一待处理图像数据和第一已处理图像数据的传输。
102.第一存储单元22被配置为通过第二接口16从第一存储模块14中获取并存储第一待处理图像数据。第一存储单元22还被配置为通过第二接口16将存储的第一已处理图像数据发送至第一存储模块14。
103.第一计算单元21被配置为从第一存储单元22中获取并计算第一待处理图像数据，得到第一已处理图像数据。第一计算单元21还被配置为将第一已处理图像数据发送至第一存储单元22。
104.需要说明的是，图像处理的实质是对图像数据进行计算。例如，卷积计算、缩放计算。经过计算处理的图像数据，可以实现图像滤波、颜色空间变换、目标识别、目标跟踪或轨迹预测等功能。
105.在一些实施例中，一个第一处理模块17包括一个第一计算单元21。本实施例对第一计算单元21的具体计算算法不作任何限制。
106.本实施例对第一存储单元22的具体类型不作任何限定。作为示例而非限定，第一存储单元22为静态随机存储器。
107.结合图1或图3所示实施例，本实施例可以交替使用第一接口15和第二接口16传输图像数据，使得图像数据的传输在时间维度上达到类似并行传输的效果。同时，由于第一计算单元21在进行计算(例如卷积、缩放)操作时，不对第一存储单元22进行访问。因此可以同时进行第一待处理数据的传输以及第一已处理数据的传输。例如，与计算同时进行的操作有：第一存储单元22通过第二接口16从第一存储模块14中获取第一待处理数据，或者第一存储单元22通过第二接口16将第一已处理图像数据发送至第一存储模块14，或者第一存储模块14通过第一接口15从第一图像输入接口12获取第一待处理图像数据，或者第一存储模块14将第一已处理图像数据发送至第一图像输出接口13。
108.本实施例中，可以在第一计算单元21进行计算的同时，交替使用第一接口15和第二接口16传输第一待处理图像数据或第一已处理图像数据，实现并行处理，以提高图像处理的速度。
109.如图5所示，在一些实施例中，步骤s202包括以下步骤：
110.s2021、第一控制模块18控制第一存储单元22通过第二接口16从第一存储模块14中获取并存储第一待处理图像数据。
111.s2022、第一控制模块18控制第一计算单元21从第一存储单元22中获取第一待处理图像数据。
112.s2023、第一控制模块18控制第一计算单元21计算第一待处理图像数据，得到第一已处理图像数据。
113.步骤s203包括以下步骤：
114.s2031、第一控制模块18控制第一计算单元21将第一已处理图像数据发送至第一存储单元22。
115.s2032、第一控制模块18控制第一存储单元22通过第二接口16将存储的第一已处理图像数据发送至第一存储模块14。
116.其中，步骤s201与步骤s2021或步骤s2032交替执行；和/或，步骤s2032与步骤s204交替执行；和/或，步骤s2023与步骤s2021或步骤s2032同时执行。
117.本实施例中，可以在第一计算单元21进行计算的同时，交替使用第一接口15和第二接口16传输第一待处理图像数据或第一已处理图像数据，实现并行处理，以提高图像处理的速度。
118.如图6所示，在一些实施例中，图像处理装置还包括第一掉电保护模块23。第一掉电保护模块23与第一总线11连接。第一掉电保护模块23被配置为在第一处理模块17掉电时，存储第一处理模块17在掉电前的第一状态信息。
119.第一处理模块17还被配置为在上电后，从第一掉电保护模块23中获取第一状态信息，以恢复掉电前的状态，从而接续图像处理，提高图像处理的速度。
120.在本实施例中，第一掉电保护模块23应包括用于存储第一状态信息的非易失性存储介质。本实施例对非易失性存储介质的具体类型不作任何限定。
121.作为示例而非限定，第一掉电保护模块23的工作原理为：
122.(21)当检测到掉电状态时，发出中断信号至第一微控制单元20，并启用备用电池放电。
123.(22)第一微控制单元20进入中断处理程序，关闭第一存储模块14以及其他外部设备的时钟以降低当前功耗。
124.(23)第一微控制单元20置位第一掉电保护模块23的使能位。
125.(24)第一掉电保护模块23将第一微控制单元20进入中断前的控制状态信息和第一图像处理模块的第一状态信息，存储至非易失性存储介质中。
126.(25)再次上电后，第一微控制单元20与第一图像处理模块自第一掉电保护模块23中的非易失性存储介质中读取中断前的控制状态信息和第一状态信息。实现掉电前的现场恢复，从而快速进入图像处理流程，提高图像处理的速度。
127.本实施例提供的图像处理装置，可以在第一处理模块17上电后，通过第一掉电保护模块23获取第一状态信息，以快速恢复掉电前的状态，从而提高断电重启后的图像处理速度。
128.如图7所示，基于上述实施例，在本技术的另一实施例中，提供了一种图像处理装置。
129.该图像处理装置包括第二总线71、分别与第二总线71连接的第二存储模块74、第二处理模块77和第三处理模块78。
130.第二总线71被配置为传输数据。例如，第二总线71可以设置为具备高速传输能力的互联总线。
131.第二总线71设有第二图像输入接口72和第二图像输出接口73。它们与图1所示实施例中的第一图像输入接口12和第一图像输出接口13的作用类似。例如，第二图像输入接口72用于输入第二待处理图像数据。第二图形输出接口用于接收第二已处理图像数据。具
体参见图1所示实施例中的描述，此处不再赘述。
132.在一些实施例中，第二图像输入接口72和第二图像输出接口73可以共用同一接口。
133.第二存储模块74设有与第二总线71连接的第三接口75和第四接口76。第三接口75和第四接口76为不同的接口。
134.在一些实施例中，第三接口75和第四接口76均可以是硬件端口。作为示例而非限定，第三接口75可以设置为上述的通用接口，使得与第二总线71连接的各个模块可以通过第三接口75与第二存储模块74进行通信或者数据传输。第四接口76可以设置为上述的专用接口，使得第二处理模块77或第三处理模块78对第二存储模块74的访问具有最高或者较高的优先级。例如，第四接口76仅接受第三处理模块78的访问。上述设置可以减少对第二存储模块74的访存冲突，加快第二存储模块74的响应速度。
135.第二存储模块74被配置为通过第三接口75从第二图像输入接口72获取并存储第二待处理图像数据。第二存模块还被配置为通过第三接口75将存储的第二已处理图像数据和第三已处理图像数据发送至第二图像输出接口73。
136.第二处理模块77被配置为通过第三接口75从第二存储模块74中获取并处理第二待处理图像数据，得到第二已处理图像数据。第二处理模块77还被配置为通过第三接口75将第二已处理图像数据发送至第二存储模块74。
137.第三处理模块78被配置为通过第四接口76从第二存储模块74中获取并处理第二待处理图像数据，得到第三已处理图像数据。第三处理模块78还被配置为通过第四接口76将第三已处理图像数据发送至第二存储模块74。
138.需要说明的是，为了避免各个模块对第二存储模块74的访问之间存在冲突。需要对来自第三接口75的第三访问和来自第四接口76的第四访问进行访问地址和操作类型的判定。根据判定结果决定第三访问和第四访问的执行顺序。具体如何判定可参见图1所示实施例中的描述，此处不再赘述。
139.与图1所示实施例相比，由于本实施例需要对第二待处理图像数据分别进行两种处理操作，因此需要第二处理模块77和第三处理模块78。
140.本实施例可以通过交替使用第三接口75和第四接口76传输第二待处理图像数据，或者交替传输第二已处理图像数据和第三已处理图像数据。使得图像数据的传输在时间维度上达到类似并行传输的效果，减少数据传输时间，从而提高图像处理的速度。
141.如图8和图9所示，作为本实施例的一种可选实施方式，图像处理装置还包括与第二总线71连接的第二控制模块79。本实施例提供的图像处理装置的图像处理方法包括以下步骤：
142.s801、第二控制模块79控制第二存储模块74通过第三接口75从第二图像输入接口72获取并存储第二待处理图像数据。
143.s802、第二控制模块79控制第二处理模块77通过第三接口75从第二存储模块74中获取并处理第二待处理图像数据，得到第二已处理图像数据。
144.s803、第二控制模块79控制第二处理模块77通过第三接口75将第二已处理图像数据发送至第二存储模块74。
145.s804、第二控制模块79控制第三处理模块78通过第四接口76从第二存储模块74中
获取并处理第二待处理图像数据，得到第三已处理图像数据。
146.s805、第二控制模块79控制第三处理模块78通过第四接口76将第三已处理图像数据发送至第二存储模块74。
147.s806、第二控制模块79控制第二存储模块74通过第三接口75将存储的第二已处理图像数据和第三已处理图像数据发送至第二图像输出接口73。
148.由于图像数据传输是以图像帧进行传输，且可以交替使用第三接口75和第四接口76传输图像数据，因此步骤s802与步骤s804可以交替执行。步骤s803与步骤s805也可以交替执行。这些交替执行使得图像数据的传输在时间维度上达到类似并行传输的效果，可以减少数据传输时间，从而提高图像处理的速度。
149.需要说明的是，交替执行的时间间隔、第三接口75每次使用时长、以及第四接口76每次使用时长，均可以根据需要进行设定，本技术实施例对此不作具体限定。
150.作为示例而非限定，可以按照图像帧的帧数对交替执行的时间间隔、第三接口75每次使用时长、以及第四接口76每次使用时长进行限定。例如，每传输预设数量的图像帧时，完成一次接口交替。
151.需要说明的是，本实施例对第二存储模块74的具体类型不作任何限定，技术人员可以根据需要进行选择。
152.作为示例而非限定，第二存储模块74可以选为双倍速率同步动态随机存储器。
153.需要说明的是，本实施例对第二控制模块79的具体类型不作任何限定，技术人员可以根据需要进行选择。
154.作为示例而非限定，第二控制模块79包括分别与第二总线71连接的第二微控制单元81和第二dma控制器80。第二控制模块79控制执行上述步骤s801至s806的工作原理，可参见图2和图3所示实施例的描述，此处不再赘述。
155.在一些实施例中，第二处理模块77包括分别与第二总线71连接的第二存储单元和第二计算单元。
156.在一些实施例中，第三处理模块78包括分别与第二总线71连接的第三存储单元和第三计算单元。
157.作为示例而非限定，第四接口76仅用于与第三存储单元进行第二待处理图像数据和第三已处理图像数据的传输。
158.在一些实施例中，第二存储单元被配置为通过第三接口75从第二存储模块74中获取并存储第二待处理图像数据。第二存储单元还被配置为通过第三接口75将存储的第二已处理图像数据发送至第二存储模块74。
159.在一些实施例中，第二计算单元被配置为从第二存储单元中获取并计算第二待处理图像数据，得到第二已处理图像数据。第二计算单元还被配置为将第二已处理图像数据发送至第二存储单元。
160.在一些实施例中，第三存储单元被配置为通过第四接口76从第二存储模块74中获取并存储第二待处理图像数据。第三存储单元还被配置为通过第四接口76将存储的第三已处理图像数据发送至第二存储模块74。
161.在一些实施例中，第三计算单元被配置为从第三存储单元中获取并计算第二待处理图像数据，得到第三已处理图像数据。第三计算单元还被配置为将第三已处理图像数据
发送至第三存储单元。
162.需要说明的是，第二计算单元和第三计算单元，分别用于对第二待处理图像数据进行不同的计算。本实施例对第二计算单元和第三计算单元的具体计算算法不作任何限制。
163.作为示例而非限定，第二计算单元实现卷积计算；第三计算单元实现缩放计算。
164.在一些实施例中，一个第二处理模块77包括一个第二计算单元。一个第三处理模块78包括一个第三计算单元。
165.本实施例对第二存储单元和第三存储单元的具体类型不作任何限定。
166.作为示例而非限定，第二存储单元和第三存储单元为静态随机存储器。
167.结合图7或图9所示实施例，本实施例可以交替使用第三接口75和第四接口76传输图像数据，使得图像数据的传输在时间维度上达到类似并行传输的效果。同时，由于第二计算单元在进行计算(例如卷积、缩放)操作时，不对第二存储单元进行访问。因此可以同时进行第二待处理数据的传输以及第二已处理数据的传输。或者，由于第三计算单元在进行计算(例如卷积、缩放)操作时，不对第三存储单元进行访问。因此可以同时进行第二待处理数据的传输以及第三已处理数据的传输。
168.因此，在本实施例中，可以在第二计算单元进行计算的同时，交替使用第三接口75和第四接口76传输第二待处理图像数据或第二已处理图像数据。或者，可以在第三计算单元进行计算的同时，交替使用第三接口75和第四接口76传输第二待处理图像数据或第三已处理图像数据。这些同时进行的操作，可以实现并行处理，从而提高图像处理的速度。
169.如图10所示，在一些实施例中，步骤s802包括以下步骤：
170.s8021、控制第二存储单元通过第三接口75从第二存储模块74中获取并存储第二待处理图像数据。
171.s8022、控制第二计算单元从第二存储单元中获取第二待处理图像数据。
172.s8023、控制第二计算单元计算第二待处理图像数据，得到第二已处理图像数据。
173.步骤s803包括以下步骤：
174.s8031、控制第二计算单元将第二已处理图像数据发送至第二存储单元。
175.s8032、控制第二存储单元通过第三接口75将存储的第二已处理图像数据发送至第二存储模块74。
176.步骤s804包括以下步骤：
177.s8041、控制第三存储单元通过第四接口76从第二存储模块74中获取并存储第二待处理图像数据。
178.s8042、控制第三计算单元从第三存储单元中获取第二待处理图像数据。
179.s8043、控制第三计算单元计算第二待处理图像数据，得到第三已处理图像数据。
180.步骤s805包括以下步骤：
181.s8051、控制第三计算单元将第三已处理图像数据发送至第三存储单元。
182.s8052、控制第三存储单元通过第四接口76将存储的第三已处理图像数据发送至第二存储模块74。
183.其中，步骤s8021与步骤s8041交替执行；和/或，步骤s8032与步骤s8052交替执行；和/或，步骤s8023与步骤s8021或步骤s8032同时执行；和/或，步骤s8043与步骤s8041或步
骤s8052同时执行。
184.本实施例中，可以在第二计算单元进行计算的同时，交替使用第三接口75和第四接口76传输第二待处理图像数据或第二已处理图像数据。或者，可以在第三计算单元进行计算的同时，交替使用第三接口75和第四接口76传输第二待处理图像数据或第三已处理图像数据。这些同时进行的操作，可以实现并行处理，从而提高图像处理的速度。
185.在一些实施例中，图像处理装置还包括第二掉电保护模块。第二掉电保护模块与第二总线71连接。第二掉电保护模块被配置为在第二处理模块77和/或第三处理模块78掉电时，存储第二处理模块77和/或第三处理模块78在掉电前的第二状态信息。
186.第二处理模块77和第三处理模块78还被配置为在上电后，从第二掉电保护模块中获取第二状态信息，以恢复掉电前的状态，从而接续图像处理，提高图像处理的速度
187.在本实施例中，第二掉电保护模块应包括用于存储第二状态信息的非易失性存储介质。本实施例对非易失性存储介质的具体类型不作任何限定。
188.需要说明的是，第二掉电保护模块的工作原理参见图6所示实施例的描述，此处不再赘述。
189.本实施例提供的图像处理装置，可以在第二处理模块77和/或第三处理模块78上电后，通过第二掉电保护模块获取第二状态信息，以快速恢复掉电前的状态，从而提高断电重启后的图像处理速度。
190.在本技术的另一实施例中，还提供了一种芯片系统。该芯片系统具备图像处理功能，包括图1、图3、图4、图6、图7或图9所示实施例提供的图像处理装置。因此，该芯片系统也具备这些实施例具备的有益效果，即可以减少图像数据传输的时间，提高图像处理的速度。
191.需要说明的是，本实施例对芯片系统的类型不作任何限定。
192.作为示例而非限定，芯片系统可以是系统级芯片(soc，system on chip)。系统级芯片也称为片上系统，意指它是一个产品，是一个有专用目标的集成电路。在一些实施例中，系统级芯片为专用于图像处理的芯片系统。
193.如图11所示，在本技术的另一实施例中，提供了一种系统级芯片。该芯片包括互联总线111，互联总线111被配置为传输数据。
194.互联总线111上设置有千兆以太网接口gmac、全双工高速串行总线接口pcie、移动产业处理器摄像头串行接口mipi csi。
195.千兆以太网接口gmac可用于自局域网接收待处理图像数据以及发送已处理图像数据至局域网。
196.全双工高速串行总线接口pcie可用于自片外接收待处理图像数据以及发送已处理图像数据至片外模块。其中，片外是指系统级芯片以外部分。
197.移动产业处理器摄像头串行接口mipi csi用于与摄像机通信，获取待处理图像数据。
198.系统级芯片还包括分别与互联总线111连接的微控制单元mcu、dma控制器、ddr sdram(双倍速率同步动态随机存储器)、第一图像处理单元115、第二图像处理单元116和掉电保护单元112。
199.第一图像处理单元115包括随机静态存储器sram0和卷积计算单元113。第二图像处理单元116包括随机静态存储器sram1和缩放计算单元114。
200.微控制单元mcu用于对系统级芯片进行初始化配置、执行应用程序以及处理芯片内部的异常。
201.掉电保护单元112用于在掉电后，保存微控制单元mcu、第一图像处理单元115和第二图像处理单元116的状态信息。在重新上电后，微控制单元mcu、第一图像处理单元115和第二图像处理单元116可以根据该状态信息恢复掉电前的状态。
202.ddr sdram包括接口n1和接口n2，分别与互联总线111的接口m3和接口m4连接。其中，接口n1可配置为上述的“通用接口”。接口n2可配置为上述的“专用接口”。作为示例而非限定，接口n2可设置为仅接受互联总线111上的接口m1或接口m2的访问。
203.ddr sdram用于存储待处理图像数据和已处理图像数据。ddr sdram可通过接口n1和接口n2交替传输待处理图像数据或已处理图像数据，从而减少图像数据传输的时间，提高图像处理的速度。
204.作为示例而非限定，待处理图像数据来源于千兆以太网接口gmac、全双工高速串行总线接口pcie或移动产业处理器摄像头串行接口mipi csi。
205.作为示例而非限定，已处理图像数据最终传输给千兆以太网接口gmac、全双工高速串行总线接口pcie、移动产业处理器摄像头串行接口mipi csi或其他片外模块。
206.应理解，该系统级芯片的工作原理可参见图1、图3、图4、图6、图7和图9所示实施例的描述，此处不再赘述。
207.本实施例提供的系统级芯片，同样可以减少图像数据传输时间以及提高图像处理的速度。
208.上述实施例提供的图像处理方法可以应用于芯片系统、手机、平板电脑和可穿戴设备等终端设备上，本技术实施例对终端设备的具体类型不作任何限定。
209.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
210.应当理解，当在本技术说明书和所附权利要求书中使用时，术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
211.还应当理解，在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
212.如在本技术说明书和所附权利要求书中所使用的那样，术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。
213.另外，在本技术说明书和所附权利要求书的描述中，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。还应理解的是，虽然术语“第一”、“第二”等在文本中在一些本技术实施例中用来描述各种元素，但是这些元素不应该受到这些术语的限定。
214.在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是
所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
215.本技术实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
216.本技术实施例提供了一种计算机程序产品，当计算机程序产品在终端设备上运行时，使得终端设备执行时可实现上述各个方法实施例中的步骤。
217.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
218.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
219.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
220.以上所述实施例仅用以说明本技术的技术方案，而非对其限定；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使对应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。