专利名称：影像处理方法
技术领域：
本发明涉及一种影像处理方法，特别是涉及一种可在影像处理程序中断后，实现比特流接合(bitstream stitching)技术的影像处理方法。
背景技术：
由于有些数字相机像素并不高，例如300万像素或500万像素，所以处理时间不长，处理时间可以被使用者所接受。以影像编译码为例，对于高像素的数字相机而言，光是编码一整张影像就需花不少的时间，所以如果是对整张影像编码完后再播放，使用者会因编码时间太长而觉得产品不好用。因此，现行的做法是先产生另外一张小图做播放，然后于背景再慢慢编码整张影像。然而，若是使用者想要马上将刚撷取的影像和之前截取的影像做比较，解决方法还是只能等整张影像编码完后，才能译码之前截取的影像来做显示，所以仍然无法完全解决处理延迟的问题。目前是利用下列两个方法来克服上述问题。第一个方法是直接对尚未完成编码的部分丢掉并且先进行译码，让使用者不会有延迟播放的感觉，此方法的缺点是需要回到记忆卡，把之前存在记忆卡中的已编码部分全删除，等到译码完毕后再回来背景继续做编码处理。如果使用者想继续看别张影像的话，则此影像的编码就一直无法完成，而且要把之前编码的部分全部删除不仅控制不易，也会浪费电源及运算资源。另外一个方法就是要等现在的编码程序完成后，才去处理使用者需要的译码程序。所以如果编码时间太长，使用者就必须等很久。此外，上述两个方法在影像尺寸越来越大的情况下，所造成的影响也会越来越严重。
发明内容
本发明的目的在于提供一种影像处理方法，可在影像处理程序中断后，利用比特流接合(bitstream stitching)技术来接续先前的处理，并继续完成影像待处理部分，以解决上述问题。基于上述目的，本发明提供一种影像处理方法，用以对一影像进行处理，其中所述影像由N个片段组成，且N是一大于1的正整数。所述影像处理方法包括下列步骤对所述 N个片段中的第i个片段进行处理，从而产生多个第一处理数据，其中i是一小于N的正整数；将所述第一处理数据存储于一记忆单元；判断所述第i个片段是否已完成处理；若所述第i个片段已完成处理，判断是否有一中断要求产生；如果有所述中断要求产生，纪录关于所述第一处理数据中的最后一个第一处理数据的一接合信息；根据所述中断要求中断对所述影像进行处理；在所述中断要求结束后，准备对所述N个片段中的第i+Ι个片段进行处理，从而产生多个第二处理数据；以及根据所述接合信息，将所述第二处理数据接在所述最后一个第一处理数据后存储于所述记忆单元。根据上述技术方案，本发明的影像处理方法至少具有下列优点及有益效果本发明的影像处理方法可以位、字节或大于1字节(例如双字组)为单位，来实现比特流接合 (bitstream stitching)技术。如果在对影像进行处理的过程中有中断要求(例如浏览要求或其它操作要求)产生，本发明会在处理完此影像的目前片段后，纪录关于已完成处理的最后一个处理数据的接合信息，并且中断影像处理去执行中断要求。在中断要求结束后， 再根据此接合信息，从已完成处理的最后一个处理数据开始，继续对此影像未完成处理的片段进行处理。因此，不仅可在对影像进行处理的过程中实时执行使用者所想要输入的功能(例如浏览前一张影像)，也可以使硬件有效地减少重新处理的时间。上述说明仅是本发明技术方案的概述，为了能够更清楚地了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举多个实施例，并配合附图，详细说明如下。
图1是根据本发明一实施例的影像处理装置的功能方块图。图2A与图2B是根据本发明第一实施例的影像处理方法的流程图。图3是处理数据存储于缓存单元的示意图。图4A与图4B是根据本发明第二实施例的影像处理方法的流程图。图5A与图5B是根据本发明第三实施例的影像处理方法的流程图。其中，附图标记说明如下1影像处理装置 10处理单元11记忆单元12存储单元14控制单元16缓存单元17接合信息纪录单18外部存储单元元Img影像DW_0-DW_n 双字组的内存地址S100-S132 步骤S200-S232 步骤S300-S324 步骤
具体实施例方式请参考图1，图1是根据本发明一实施例的影像处理装置1的功能方块图。影像处理装置1可用以对一影像Liig进行处理，例如编码处理或影像处理等，其中影像Liig由N 个片段组成，且N是一大于1的正整数。需说明的是，本发明可根据实际应用来决定将影像 Liig分成几个片段，也就是可以用一个或多个片段(Slice)作为影像处理的基本单位。如图1所示，影像处理装置1包括一处理单元10、一记忆单元11、一控制单元14 以及一接合信息纪录单元17，且记忆单元11包括一存储单元12以及一缓存单元16。影像处理装置1可电性连接一外部存储单元18，从而进行数据交换，例如影像处理装置1可将数据上传至外部存储单元18，或从外部存储单元18下载数据。影像处理装置1可应用于电子装置，如数字相机、数字摄影机、具有数字摄像功能的行动电话或其它具有数字摄像功能的电子装置等。
于此实施例中，处理单元10可以是一具有影像编码(encoding)或影像处理 (image processing)功能的模块。存储单元12可以是一动态随机存取内存(dynamic random access memory, DRAM)，缓存单元16可以是一缓冲存储器(buffer)或静态随机存取内存(static random access memory, SRAM)，接合信息纪录单元17可以是一缓存器 (register)，且控制单元14可以是一具有数据处理/运算功能的控制器或处理器。于实际应用中，影像Img是通过电子装置中的影像传感器(未显示于图中)所撷取，其中影像传感器可以是电荷耦合组件(charge coupled device, (XD)影像传感器或互补式金氧半导体 (complementary metal oxide semiconductor, CMOS)影像传感器，外部存储单元 18 可以是一记忆卡(memory card)。底下将进一步揭示在影像处理程序中断后，利用比特流接合技术来接续先前的处理，并继续完成影像待处理部分。为了方便说明，底下以处理单元10具影像编码功能的模块为实施例，说明影像处理装置1收到一中断要求而发生影像编码程序中断，之后如何利用比特流接合技术接续先前的编码。同理，如果处理单元10是具影像处理功能的模块，例如原本在处理编码或是影像前处理(pre-processing)程序，而影像处理装置1收到一影像后处理(post-processing)程序中断要求而停止目前的程序，先执行影像后处理程序，执行影像后处理程序完毕后要接续先前影像前处理程序的方式是类似的，所以不再赘述。于此实施例中，处理单元10受控制单元14控制，以对影像Img进行编码处理，从而产生多个处理数据，例如编码数据。接着，控制单元14先将处理数据存储于缓存单元16， 在缓存单元16存满处理数据后，再将处理数据从缓存单元16转移至存储单元12，最后依存储单元12的大小依序将处理数据移至外部存储单元18。请参考图2A、图2B以及图3，图2A与图2B是根据本发明第一实施例的影像处理方法的流程图，其适用于硬件架构或处理单元10的比特流输出量是双字组(double word) 的限制；图3是处理数据存储于缓存单元16的示意图。请一并参阅图1。举例而言，当处理单元10正在对影像Liig的N个片段中的第i个片段进行编码处理，从而产生多个第一处理数据时(步骤S100)，此时，处理单元10会先完成对第i个片段进行编码处理，并且控制单元14会将所产生的第一处理数据存储于缓存单元16(步骤S102)，其中i是一小于N的正整数。控制单元14会先判断第i个片段是否已完成编码处理(步骤S104)。如果第i个片段尚未完成编码处理，则进行步骤S108。如果第i个片段已完成编码处理，则进行步骤 Sioeo于步骤S108中，控制单元14判断缓存单元16是否已存满第一处理数据。如果缓存单元16尚未存满第一处理数据，则回到步骤S102。在缓存单元16存满第一处理数据后， 控制单元14再将第一处理数据一次从缓存单元16转移至存储单元12(步骤Sl 10)。相同的，控制单元14判断存储单元12是否已存满第一处理数据(步骤S112)。如果存储单元 12尚未存满第一处理数据，则回到步骤S102。在存储单元12存满第一处理数据后，控制单元14再将第一处理数据一次从存储单元12转移至外部存储单元18(步骤Sl 14)。于此实施例中，硬件架构或处理单元10具有输出比特流大小是双字组的限制，且缓存单元16和存储单元12的内存地址最小单位是双字组，第一处理数据有双字组对齐格式(double-word alignment)限制。每一片段完成编码处理过程中如果控制单元14收到一中断要求，例如浏览要求(浏览已完成编码处理的影像)或其它操作要求，控制单元14 会先判断第i个片段是否已完成编码(步骤S104)。如果第i个片段尚未完成编码处理，则进行步骤S108。如果第i个片段已完成编码处理，则进行步骤S106。需说明的是，因控制单元14需处理其它程序而收到中断要求，就会中断编码处理程序，所以缓存单元16所存储的第一处理数据未必符合双字组对齐格式。如图3所示，Dff_0至DW_n分别代表双字组的内存地址，以影像Img的第1片段为例，由于编码处理完成的第1片段，其最后一个第一处理数据不符合双字组对齐格式，因此无法填满双字组的内存地址DW_6。控制单元14判断是否有中断要求产生(步骤S106)。如前所述，当处理单元 10正在对第i个片段进行编码处理时，控制单元14如果收到一中断要求，在第i个片段编码处理完毕后，控制单元14计算最后一个第一处理数据在缓存单元16中的有效字节 (byte)数(步骤S116)。接着，控制单元14将关于最后一个第一处理数据的接合信息纪录于接合信息记录单元17(步骤S118)，其中接合信息包括存储单元12中的一双字组地址 (double-wordaddress)以及最后一个第一处理数据中的有效字节数及双字组数据。然后， 将第一处理数据从缓存单元16中转移至存储单元12(步骤S120)，再将第一处理数据从存储单元12中转移至外部存储单元18 (步骤S122)。接着，控制单元14根据中断要求控制处理单元10中断对影像hg进行编码处理(步骤SlM)，并且根据中断要求去执行所需任务 (步骤SU6)。在根据中断要求去执行所需任务结束后，控制单元14控制处理单元10准备对影像Img的N个片段中的第i+Ι个片段进行编码处理，从而产生多个第二处理数据(步骤SU8)，其中第二处理数据由于硬件架构或处理单元限制也有双字组对齐格式限制。接着，控制单元14根据上述的接合信息，去读取最后一个第一处理数据的接合信息纪录确认上一次的有效数据后，将第二处理数据接在最后一个第一处理数据中的有效字节数后，存储于缓存单元16(步骤S130)。如果控制单元14没收到一中断要求(步骤S106)，控制单元14控制处理单元10 准备对影像Img的N个片段中的第i+Ι个片段进行编码处理，从而产生多个第二处理数据 (步骤S128)，也就是说继续对影像Img的N个片段中的第i+Ι个片段进行编码处理。最后，控制单元14判断影像Img的N个片段中的最后一个片段是否已完成编码处理(步骤S 132)，若否，则回到步骤S100，继续对影像Liig进行编码处理直到完成编码处理动作，若是， 则结束编码处理程序。此外，图2A与图2B的影像处理方法也适用于硬件架构或处理单元的比特流输出量是双字组(double word)的限制，且内存地址的最小单位是一个字节(byte)。更详细的说，当缓存单元16是以一个字节为单元时，就不需存储有效的字节数，所以能直接透过追溯最后一笔处理数据的有效字节地址，而接续处理。因此如果内存地址最小单位是一个字节，则可用有效字节地址来纪录下一次处理流程从哪里开始。请参考图4A以及图4B，图4A与图4B是根据本发明第二实施例的影像处理方法的流程图，其适用于硬件架构或处理单元10的比特流输出量是位(bit)的限制，且内存地址最小单位是字节。第二实施例与前述的第一实施例的主要不同之处在于，如果硬件架构或处理单元10具有输出比特流大小是位的限制，且第一处理数据有字节对齐格式(byte alignment)限制，则步骤S218所纪录的接合信息包括存储单元12中的一字节地址(byte address)以及最后一个第一处理数据中的有效位数及字节数据。因此，在根据中断要求去执行所需任务结束后，控制单元14控制处理单元10准备对影像Img的N个片段中的第i+1 个片段进行编码处理，从而产生多个第二处理数据(步骤，其中第二处理数据也有字节对齐格式限制。接着，控制单元14根据上述的接合信息，去读取最后一个第一处理数据的接合信息纪录确认上一次的有效数据后，将第二处理数据接在最后一个第一处理数据中的有效位数后，存储于缓存单元16(步骤S230)。需说明的是，图4A、4B中的步骤S200-S216、S220_S226、S232与图2A、2B中的步骤 S100-S116、S120-S126、S132大致相同，在此不再赘述。需说明的是，对于前述第一、第二实施例，图1中的影像处理装置1的记忆单元11 也可以不包括缓存单元16。此时，控制单元14将数据直接存储于存储单元12。请参考图5A以及图5B，图5A与图5B是根据本发明第三实施例的影像处理方法的流程图，适用于硬件架构或处理单元10的比特流输出量与内存地址的最小单位相同的情况，如硬件架构或处理单元10的比特流输出量与内存地址的最小单位都是位，或都是字节。第三实施例与前述的第二实施例的主要不同之处在于，硬件架构或处理单元10具有输出比特流大小是位的限制，且第一处理数据有位对齐格式(bit alignment)限制。再者，实施第三实施例的影像处理装置可以包括缓存单元16，也可以不包括缓存单元16，底下是以影像处理装置不包括缓存单元16来说明，至于影像处理装置包括缓存单元的情况可参考前述第一或第二实施例，因此不再赘述。控制单元14是直接将所产生的第一处理数据存储于存储单元12 (步骤S302)，且步骤S312所纪录的接合信息包括存储单元12中的一位地址(bitaddress)及/或最后一个第一处理数据中的有效位数及字节数据(也就是说，接合信息也可以只包括位地址)。因此，在根据中断要求去执行所需任务结束后，控制单元14控制处理单元10准备对影像Liig 的N个片段中的第i+Ι个片段进行编码处理，从而产生多个第二处理数据(步骤S320)，其中第二处理数据也有位对齐格式限制。接着，控制单元14根据上述的接合信息，去读取最后一个第一处理数据的接合信息纪录确认上一次的有效数据后，将第二处理数据接在最后一个第一处理数据后存储于存储单元12 (步骤S322)。需说明的是，图5A、5B 中的步骤 S300, S304-S310, S314-S318, S324 与图 2A、2B 中的步骤 S100、S104-S106、S112-S114、S122-S126、S132 大致相同，在此不再赘述。此外，前述第一、第二实施例通过不包括缓存单元16的影像处理装置实施，作法类似于图5A与图5B，因此不再赘述。根据上述技术方案，本发明的影像处理方法至少具有下列优点及有益效果本发明的影像处理方法可以位、字节或大于1字节(例如双字组)为单位，来实现比特流接合 (bitstream stitching)技术。如果在对影像进行处理的过程中有中断要求(例如浏览要求或其它操作要求)产生，本发明会在处理完此影像的目前片段后，纪录关于已完成处理的最后一个处理数据的接合信息，并且中断影像处理去执行中断要求。在中断要求结束后， 再根据此接合信息，从已完成处理的最后一个处理数据开始，继续对此影像未完成处理的片段进行处理。因此，不仅可在对影像进行处理的过程中实时执行使用者所想要输入的功能(例如浏览前一张影像)，也可以使硬件有效地减少重新处理的时间。以上所述仅为本发明的优选实施例，凡依本发明权利要求所做的均等变化与修饰，皆应属本发明的涵盖范围。
权利要求
1.一种影像处理方法，用以对一影像进行处理，所述影像由N个片段组成，N是一大于 1的正整数，其特征在于，所述影像处理方法包括下列步骤对所述N个片段中的第i个片段进行处理，从而产生多个第一处理数据， i是一小于N的正整数； 将所述第一处理数据存储于一记忆单元； 判断所述第i个片段是否已完成处理； 如果所述第i个片段已完成处理，判断是否有一中断要求产生； 如果有所述中断要求产生，纪录关于所述第一处理数据中的最后一个第一处理数据的一接合信息；根据所述中断要求中断对所述影像进行处理；在所述中断要求结束后，准备对所述N个片段中的第i+Ι个片段进行处理，从而产生多个第二处理数据；以及根据所述接合信息，将所述第二处理数据接在所述最后一个第一处理数据后存储于所述记忆单元。
2.如权利要求1所述的影像处理方法，其特征在于，所述第一处理数据以及所述第二处理数据有双字组对齐格式限制，且所述接合信息包括一双字组地址以及所述最后一个第一处理数据中的有效字节数及双字组数据。
3.如权利要求2所述的影像处理方法，其特征在于，所述影像处理方法更包括下列步骤根据所述接合信息，将所述第二处理数据接在所述最后一个第一处理数据中的有效字节数后存储于所述记忆单元。
4.如权利要求1所述的影像处理方法，其特征在于，所述第一处理数据以及所述第二处理数据有字节对齐格式限制，且所述接合信息包括一字节地址以及所述最后一个第一处理数据中的有效位数及字节数据。
5.如权利要求4所述的影像处理方法，其特征在于，所述影像处理方法更包括下列步骤根据所述接合信息，将所述第二处理数据接在所述最后一个第一处理数据中的有效位数后，存储于所述记忆单元。
6.如权利要求1所述的影像处理方法，其特征在于，所述第一处理数据以及所述第二处理数据有位对齐格式限制，且所述接合信息包括一位地址及/或所述最后一个第一处理数据中的有效位数及字节数据。
7.如权利要求1所述的影像处理方法，其特征在于，所述影像处理方法更包括下列步骤如果有所述中断要求产生，在所述第i个片段处理完毕后，计算所述最后一个第一处理数据在所述记忆单元中的有效字节数或有效位数。
8.如权利要求1所述的影像处理方法，其特征在于，所述记忆单元包括一存储单元及/或一缓存单元。
全文摘要
本发明公开了一种影像处理方法，包括下列步骤对影像的N个片段中的第i个片段进行处理，从而产生多个第一处理数据；将第一处理数据存储于一记忆单元；如果有一中断要求产生，纪录关于最后一个第一处理数据的一接合信息；根据中断要求中断对影像进行处理；在中断要求结束后，准备对N个片段中的第i+1个片段进行处理，从而产生多个第二处理数据；以及根据接合信息，将第二处理数据接在最后一个第一处理数据后存储于记忆单元。本发明可在影像处理程序中断后，实现比特流接合技术。
文档编号H04N5/232GK102457676SQ20101053028
公开日2012年5月16日 申请日期2010年10月29日 优先权日2010年10月29日
发明者张达铭, 林伯荣, 潘佳河, 邓延枰, 陈水淋 申请人:华晶科技股份有限公司