影像处理装置、影视子系统与影视处理电路的制作方法

本发明是关于影像处理，尤其是关于影像处理装置、影视子系统、影视处理电路与影像帧处理方法。

背景技术：

随着集成电路的设计与制程的进步，原本需藉由多个装置来执行的众多功能被整合至单一电子装置像是一智慧型手机、一平板电脑等等。在众多功能中，摄影功能(或称为影像/影视撷取与编码功能)可能是最受欢迎的功能，通常会被整合至一多功能电子装置中。然而，由于一多功能电子装置通常只有一个应用处理器来处理由软/硬件所执行的不同功能的设定与控制，一摄影功能在发送一或多个中断信号(interrupt(s))或要求(request(s))至该应用处理器后，常需等待该应用处理器的回应，此等待会减损该摄影功能的效能表现、大量耗费该应用处理器的资源、以及降低使用者体验。

相关先前技术可见于下列文献：

电子工程专辑的报导，“Mobile video：ARM vs.DSP vs.hardware”，公开于下列网址http：//www.eetimes.com/document.asp？docid＝1275550。

美国专利，“Integrated camera image signal processor and video encoder”，专利号7,859,574。

美国专利，“Motion picture encoding device and method，motion picture decoding device and method，motion picture recording device，program，and data structure”，专利号8,699,569。

技术实现要素：

鉴于先前技术的问题，本发明的一个目的在于提供一影像处理装置、一影视子系统与一影视处理电路以改善先前技术。

本发明揭露一种影像处理装置，用来藉由一应用处理器与一影视处理电路来处理影像原始数据，其中该影视处理电路不同于该应用处理器，该影像处理装置的一个实施例包含：一应用处理器；一影视处理电路接口单元；以及一影视处理电路。所述应用处理器用来依据一预设设定或一使用者设定来输出至少一参数与至少一指令至一影视处理电路接口单元，该影视处理电路接口单元介于该应用处理器与该影视处理电路之间。所述影视处理电路接口单元包含：一共用存储器，用来储存该至少一参数；以及一处理器间通信电路，用来传递该至少一指令至该影视处理电路以及向该应用处理器回报该影视处理电路如何处理该至少一指令。所述影视处理电路用来依据该至少一参数存取该共用存储器以及处理影像原始数据，并用来执行或拒绝执行该至少一指令所指示的一操作。

本发明亦揭露一种影视子系统，该影视子系统的一个实施例包含一影视处理电路接口单元以及一影视处理电路。所述影视处理电路接口单元包含：一共用存储器，用来储存至少一参数，该至少一参数来自该影视子系统之外的一外部电路：以及一处理器间通信电路，用来传递至少一指令至该影视处理电路以及向该外部电路回报该影视处理电路如何处理该至少一指令，其中该至少一指令来自该外部电路。所述影视处理电路用来依据该至少一参数存取该共用存储器以及处理影像原始数据，并用来执行或拒绝执行该至少一指令所指示的一操作。

本发明进一步揭露一种影视处理电路，该影视处理电路的一个实施例包含：一影视处理器，用来依据至少一参数及/或至少一指令输出至少一影像处理参数以及至少一编码参数，其中该至少一参数与该至少一指令来自该影视处理电路之外的一外部电路；一影像信号处理器，用来依据该至少一影像处理参数将影像原始数据转换成低解析度影视数据以及高解析度影视数据；一串流转换电路，用来将该高解析度影视数据转换为转换数据；以及一编码器，用来依据该至少一编码参数来编码该低解析度影视数据与该转换数据。

本发明进一步揭露一种影像帧处理方法，用来藉由一影像处理装置处理复数个输入影像帧，该影像帧处理方法的一个实施例包含：接收复数个输入影像帧；以及处理该复数个输入影像帧以产生一第一数量的第一输出影像帧以及一第二数量的第二输出影像帧，其中该第一输出影像帧的解析度不同于该第二输出影像帧的解析度，该第一数量不同于该第二数量，该第一输出影像帧中的一第一帧与该第二输出影像帧中的一第二帧是源自于该复数个输入影像帧中的同一帧。

本发明进一步揭露一种影像帧处理方法，用来藉由一影视处理电路来处理复数个输入影像帧，该方法的一个实施例包含下列步骤：接收复数个输入影像帧；处理所述这些输入影像帧以产生一第一数量的第一输出影像帧与一第二数量的第二输出影像帧，其中该第一输出影像帧的解析度不同于该第二输出影像帧的解析度，且该第一数量不同于该第二数量；以及藉由复数个编码参数的一第一部分与一第二部分来编码该第一输出影像帧的一第一帧，并藉由该些编码参数的该第一部分与一第三部分来编码该第二输出影像帧的一第二帧，其中该些编码参数的该第二部分不同于该些编码参数的该第三部分，且该些编码参数的该第一部分是在编码该第一输出影像帧的一先前帧时被产生。

附图说明

有关本发明的特征、实作与功效，兹配合图式作较佳实施例详细说明如下。

图1显示本发明的影像处理装置的一个实施例的示意图；

图2显示图1的影视处理电路的一个实施例的示意图；

图3显示本发明的影像处理装置的另一个实施例的示意图；

图4显示本发明的影像处理装置的有一个实施例的示意图；

图5是依据本发明的一个实施例显示图4的影视处理器如何产生编码参数；

图6是依据本发明的一个实施例显示图4的影视处理器如何侦测影像帧之间的影像撷取的变动；

图7显示本发明的影像帧处理方法的一个实施例的示意图；以及

图8显示本发明的影像帧处理方法的一个实施例的示意图。

具体实施方式

以下说明内容的技术用语是参照本技术领域的习惯用语，如本说明书对部分用语有加以说明或定义，该部分用语的解释是以本说明书的说明或定义为准。另外，在实施为可能的前提下，本说明书所描述的物件或事件间的相对关系，其涵义可包含直接或间接的关系，所谓「间接」是指物件间尚有中间物或物理空间之存在，或指事件间尚有中间事件或时间间隔之存在。再者，以下内容是关于影像处理，对于本领域习见的技术或原理，若不涉及或无甚相关于本发明的技术特征，本说明书将不予赘述。此外，图示中元件的形状、尺寸、比例以及流程的步骤顺序等仅为示意，是供本技术领域具有通常知识者了解本发明之用，而非对本发明的实施范围加以限制。

以下说明内容的各实施例分别具有一或多个技术特征，然此并不意味着使用本发明者必需同时实施任一实施例中的所有技术特征，或仅能分开实施不同实施例中的一部或全部技术特征。换句话说，只要实施为可能，本技术领域具有通常知识者可依据本发明的揭露内容，并视自身的需求或设计规范，选择性地实施任一实施例中部分或全部的技术特征，或者选择性地实施复数个实施例中部分或全部的技术特征的组合，藉此增加本发明实施时的弹性。

请参阅图1，其显示本发明的影像处理装置的一个实施例的示意图。图1的影像处理装置100被适当设定，以藉由一应用处理器110与一影视处理电路130来处理影像原始数据，其中该影视处理电路130不同于该应用处理器110，该影像处理装置100包含：前述应用处理器110；一影视处理电路接口单元120；以及前述影视处理电路130。该应用处理器110用来依据一预设设定或一使用者设定以经由至少一传输线(例如一系统总线)来输出至少一参数与至少一指令至该影视处理电路接口单元120，其中该影视处理电路接口单元120位于该应用处理器110与该影视处理电路130之间。

请参阅图2。该影视处理电路接口单元120包含：一共用存储器122，用来储存该至少一参数；以及一处理器间通信电路124，用来传递该至少一指令至该影视处理器132，并向该应用处理器110回报该影视处理电路130如何处理该至少一指令。依据该处理器间通信电路124的一个实施例，该应用处理器110与该影视处理器132相互发送中断信号(interrupts)，以告知对方该处理器间通信电路124中的可用信息。

请参阅图2，该影视处理电路130的一个实施例包含：一影视处理器132；一影像信号处理器(ISP)134；一串流转换电路136；以及一编码器138。所述影视处理器132用来依据前述至少一参数及/或前述至少一指令来输出至少一影像处理参数与至少一编码参数。所述ISP 134用来依据输入至该ISP 134的该影像原始数据来按光栅扫描顺序产生影视数据。所述串流转换电路136用来将该影视数据的一串流从光栅扫描顺序转换成区块基础顺序。所述编码器138用来依据该影视数据以及该至少一编码参数产生编码数据。

前述应用处理器110经由该影视处理电路接口单元120告知该影视处理器132关于处理后的影视输出的条件(requirements of processed video output)，并告知该影视处理器132关于一特定群组的帧的影视处理的开端(start of video processing for a specified group of frames)。

该影视处理器132以每个帧为准及/或以子帧的层级为准来控制该ISP 134、该串流转换电路136以及该编码器138，以尽力地执行影像处理，从而达到该应用处理器110所设定的处理后的影视输出的条件。

该影视处理器132经由该影视处理电路接口单元120来告知该应用处理器110关于前述特定群组的帧的处理结束。

该应用处理器110衡量关于该处理后的影视输出的顺序的信息、为下一群组的帧来调整该处理后的影视输出的条件、以及告知该影视处理器132关于影视处理的开端。

该应用处理器110使用该共用存储器122以传递关于该处理后的影视输出的条件的信息至该影视处理器132，该影视处理器132使用该共用存储器122以传递关于该处理后的影视输出的信息至该应用处理器110，应用于或源自于ISP 134与编码器138的处理信息与处理结果是储存于该共用存储器122中，如此一来该ISP 134与该编码器138能够共用信息，所述信息的一范例为该ISP 134所侦测到的场景变化，此场景变化信息可被该编码器138使用。

基于图1与图2之揭露，图4显示前述串流转换电路136的一实施例，其包含一串流缓冲器410以及一区块基础压缩器420。该串流缓冲器410用来将影视数据的一串流从光栅扫描顺序转换为区块基础顺序。该串流转换电路136可依该区块基础顺序串流地输出该影视数据至该编码器138。该区块基础压缩器420可藉由减少一区块中的冗余信息以压缩该区块基础影视串流，换言之，该区块基础压缩器420可藉由下列手段的至少其中之一以压缩该区块基础影视串流：减少编码冗余数据(coding redundancy)；减少像素间冗余数据(interpixel redundancy)；以及减少心理视觉冗余数据(psychovisual redundancy)。所述区块基础压缩影视数据被串流地输出至一外部存储器(例如图4的存储器430，其一实施例为一双倍数据传输率(DDR)存储器或是一静态随机存取存储器(SRAM))以供后续的影视处理之用，而前述的压缩操作可减少对该外部存储器的频宽与容量的要求。

基于图1与图2之揭露，图4显示该影像信号处理器134的一实施例，其进一步用来依据一影像撷取装置所撷取的影像来产生复数种解析度的复数张影像。在上述复数张影像中，较低解析度的影像可直接用于或进一步地被处理后以用于短期储存(例如短期地储存于挥发性或非挥发性储存装置)、传输、即时显示等等；较高解析度的影像可被编码并储存于系统中的一长期储存装置(例如非挥发性储存装置)，或可用于其它用途。该ISP 134可直接地按光栅扫描顺序将上述较低解析度的影像(图中标示为LR)串流地输出至一系统存储器430。该ISP 134可将前述较高解析度的影像(图中标示为HR)串流地输出至该串流转换电路136，该串流转换电路136可据以产生区块基础压缩影视数据串流，并接着将该压缩影视数据串流串流地输出至该系统存储器430。该ISP 134可串流地输出该较高解析度影像(HR)至该串流转换电路136，该串流转换电路136再将该区块基础影视数据串流串流地输出至该编码器138。该编码器138会将该区块基础影视数据串流编码成一位元串流(bitstream)以符合一特定标准影视压缩规范，并将该编码后的单位位元串流写入该系统存储器430。

该影视处理器132偕同该编码器138以将影视编码成一位元串流以符合一标准影视压缩规范像是MPEG、MPEG2、H.264、HEVC、VP8、VP9等等。在一实施例中，该影视处理器132对一位元串流标头(header)进行编码，再将其写入该存储器430，且该编码器138会产生前述单位位元串流，并将其写入该系统存储器430。所述位元串流标头以及单元位元串流被依序地放在一起，以产生一编码后的位元串流符合该标准影视压缩规范。

基于图1、图2、与图5之揭露，该影视处理器132的一实施例能够用来产生编码参数以供该编码器138来编码一低解析度第(N+1)帧(于图5中标示为(N+1)th(LR))，并能用来产生共用编码参数以供该编码器138基于该低解析度第(N+1)帧的编码结果来编码一低解析度第(N+2)帧(于图5中标示为(N+2)th(LR))，该共用编码参数可被重复用来编码一高解析度第(N+2)帧(于图5中标示为(N+2)th(HR))，后续的参数产生与利用可仿照上述说明以类推。请注意，除了上述共用编码参数是用于低解析度与高解析度帧的编码外，该编码器138仍需要不同的编码参数来分别完成该低解析度与高解析度帧的编码。另请注意，图5的虚线是用来指出何种基础(例如编码结果)被采用以供该影视处理器132及/或该编码器138来执行作业。

进一步而言，该影视处理器132用来在该编码器138编码一高解析度第N影像帧(于图5中标示为Nth(HR))的期间内产生前述编码参数，并用来在该低解析度第(N+1)帧的编码与该低解析度第(N+2)帧的编码之间的间隔内产生该共用编码参数，之后，该共用编码参数被用于该低解析度第(N+2)帧与该高解析度第(N+2)帧的编码，后续的参数产生与利用可仿照上述以类推。简言之，该影视处理器132可用来产生特定的共用编码参数以供该编码器138对源自于同一影像的高解析度帧与低解析度帧进行编码，从而为该影视处理器132节省用于计算编码参数的资源

基于图1、图2与图6之揭露，该影视处理器132的一实施例能够侦测(N+2)th(LR)帧(亦即低解析度第(N+2)帧)与(N+1)th(LR)帧(亦即低解析度第(N+1)帧)之间的影像撷取的变动，其中该(N+2)th(LR)帧与该(N+1)th(LR)帧是由该ISP 134所依序输出，并储存于一存储器(例如图4的存储器430)，且该存储器可被该影视处理器132存取。所述变动的侦测结果可被用来计算编码参数，从而藉由移除或减轻影像撷取的变动的影响以使一编码后的影视得以稳定。

在另一实施例中，该影视处理器132藉由硬件的帮助来加速前述影像撷取的变动的侦测，由于前述的二相邻帧(即该(N+2)th(LR)帧与该(N+1)th(LR)帧)均为低解析度帧，因此对于该影视处理器132而言只需花较少的运算资源即能完成相关分析并产生编码参数，从而令一编码后的影视得以稳定。在产生该编码参数后，该编码器138即可藉由移除或减轻影像撷取的变动的影响来编码一低解析度帧(例如该(N+2)th(LR)帧)与一高解析度帧(例如(N+2)th(HR)帧，亦即高解析度第(N+2)帧)。请注意，前述的每个序数(例如Nth及其同类)是一影像帧的序数，源自于影像撷取顺序。另请注意，图6的虚线是用来指示何种基础(例如编码结果)被采用以供该影视处理器132及/或该编码器138执行作业。

值得注意的是前述影视处理电路接口单元120与影视处理电路130可构成一影视子系统，该影视子系统所属的电路范围并不包含该应用处理器110，更明确地说，该影视子系统相较于先前技术较不需要去发送一中断信号(interrupt)及/或一要求(request)至该应用处理器110以执行影视处理，这是因为使用了该影视处理电路接口单元120以及因为该影视处理电路的影视处理器132是专用于影视相关软件处理以及该ISP 134与编码器138的控制。

本发明进一步揭露一种影像帧处理方法，用来藉由一影像处理装置处理复数个输入影像帧，该影像帧处理方法的一实施例包含：

步骤S710：接收复数个输入影像帧；以及

步骤S720：处理该复数个输入影像帧以产生一第一数量的第一输出影像帧以及一第二数量的第二输出影像帧，其中该第一输出影像帧的解析度不同于(例如高于)该第二输出影像帧的解析度，该第一数量不同于(例如少于)该第二数量，该第一输出影像帧中的一第一帧与该第二输出影像帧中的一第二帧是源自于该复数个输入影像帧中的同一帧。

在本实施例中，在图4中的该影像信号处理器134系依据一影像撷取装置所撷取的影像来产生复数种解析度的复数张影像(即，包括有高解析度的第一数量张影像以及低解析度的第二数量张影像)。在本实施例的一范例中，该输入影像帧的数量等于该第二数量。在本实施例的一范例中，在图5的高解析度帧的数量是少于低解析度帧的数量；于一较佳范例中，该第一数量为该第二数量的一半；当然，该第一数量与该第二数量的比例也可以是其他数值比例。在本实施例的一范例中，本实施例进一步包含：侦测该第二输出影像帧的二相邻帧之间的影像撷取的变动，以输出一变动侦测结果，其中该二相邻帧包含该第二帧；以及依据该变动侦测结果处理该第一与第二帧。在本实施例的一范例中，产生该第一输出影像帧的步骤包含：依据该复数个输入影像帧产生一区块基础影视串流；以及依据一区块基础压缩演算法压缩该区块基础影视串流。在本实施例的一范例中，于该第一输出影像帧的一在先帧的编码期间内，复数编码参数的一第一部分被产生，以供该第一与第二帧的编码之用，其中该在先帧的编码期间早于该第一与第二帧的编码期间。在本实施例的一范例中，本实施例进一步包含一步骤用来依据复数编码参数的一第一部分与一第二部分编码该第一帧，以及包含另一步骤用来依据该复数编码参数的该第一部分与一第三部分编码该第二帧，其中下列特征的至少其中之一被采用：该第二部分不同于该第三部分；于该第一输出影像帧的一在先帧的编码期间内，该复数编码参数的该第一部分被产生；该在先帧的编码期间早于该第一与第二帧的编码期间；该第一数量为该第二数量的一半；本范例进一步侦测该第二输出影像帧的二相邻帧之间的影像撷取的变动，并输出一变动侦测结果，其中该二相邻帧包含该第二帧，以及本范例进一步依据该变动侦测结果处理该第二帧；该变动侦测结果包含于该复数编码参数的该第一部分中；以及该第二帧的编码期间早于该第一帧的编码期间。

由于本领域具有通常知识者能够藉由前揭装置实施例的揭露来推知本方法实施例的细节与变化，亦即前揭装置实施例的技术特征均可合理地应用于本方法实施例中，因此，在不影响揭露要求与可实施性的前提下，重复及冗余的说明在此予以节略。

本发明进一步揭露一种影像帧处理方法，用来藉由一影视处理电路来处理复数个输入影像帧，该方法的一实施例包含下列步骤：

步骤S810：接收复数个输入影像帧；

步骤S820：处理这些输入影像帧以产生一第一数量的第一输出影像帧与一第二数量的第二输出影像帧，其中该第一输出影像帧的解析度不同于(例如高于)该第二输出影像帧的解析度，且该第一数量不同于(例如少于)该第二数量；以及

步骤S830：藉由复数个编码参数的一第一部分与一第二部分来编码该第一输出影像帧的一第一帧，并藉由这些编码参数的该第一部分与一第三部分来编码该第二输出影像帧的一第二帧，其中这些编码参数的该第二部分不同于这些编码参数的该第三部分，且这些编码参数的该第一部分是在编码该第一输出影像帧的一先前帧时被产生。

在本实施例的一范例中，该在先帧的编码期间早于该第一与第二帧的编码期间。于本实施例的一范例中，该第一数量为该第二数量的一半。于本实施例的一范例中，该第二帧的编码期间早于该第一帧的编码期间。在本实施例的一范例中，本实施例进一步包含下列步骤：侦测该第二输出影像帧的二相邻帧之间的影像撷取的变动，以输出一变动侦测结果，其中该二相邻帧包含该第二帧；以及依据该变动侦测结果处理该第一与第二帧。在上一范例中，该变动侦测结果可选择性地包含于这些编码参数的该第一部分中。

由于本领域具有通常知识者能够藉由前揭装置实施例的揭露来推知本方法实施例的细节与变化，亦即前揭装置实施例的技术特征均可合理地应用于本方法实施例中，因此，在不影响揭露要求与可实施性的前提下，重复及冗余的说明在此予以节略。

综上所述，本发明的影像处理装置、影视子系统与影视处理电路相较于先前技术较不需要发送中断信号至一应用处理器，且使用了特定共用编码参数以对低解析度与高解析度帧进行编码，并可侦测低解析度帧的影像撷取的变动，以及可藉由移除或减轻影像撷取的变动的影响来产生编码参数以对低解析度与高解析度影视进行编码，从而产生稳定的影视。简言之，本发明的影像处理装置、影视子系统与影视处理电路改善了摄影功能的效能，耗用较少的应用处理器的资源，并增强了使用者体验。

虽然本发明的实施例如上所述，然而该些实施例并非用来限定本发明，本技术领域具有通常知识者可依据本发明所明示或隐含的内容对本发明的技术特征施以变化，凡此种种变化均可能属于本发明所寻求的专利保护范畴，换言之，本发明的专利保护范围须视本说明书的权利要求所界定者为准。

【符号说明】

100 影像处理装置

110 应用处理器

120 影视处理电路接口单元

122 共用存储器

124 处理器间通信电路

130 影视处理电路

132 影视处理器

134 影像信号处理器(ISP)

136 串流转换电路

138 编码器

310 系统总线

320 系统存储器

410 串流缓冲器

420 压缩器

Nth(LR) 低解析度第N帧

Nth(HR) 高解析度第N帧

(N+1)th(LR) 低解析度第(N+1)帧

(N+2)th(LR) 低解析度第(N+2)帧

(N+2)th(HR) 高解析度第(N+2)帧

(N+3)th(LR) 低解析度第(N+3)帧

S710～S720 步骤

S810～S830 步骤