专利名称：图像处理的装置、图像处理的方法、程序和存储介质的制作方法
技术领域：
本发明涉及一种用于静态(静止)图像或移动(运动)图像的图像处理装置，尤其涉及在编码状态处理图像的编码数据的图像处理装置。
背景技术：
在数字照相机、数字摄影机、监视摄像机和监测系统的情况下，例如，通常把通过该照相机获得的图像的数据进行压缩和编码，然后把它存储在记录介质(或存储介质)上。JPEG或MPEG被广泛用作图像压缩和编码方法。在JPEG或MPEG的情况下，当对已压缩和编码的图像数据进行进一步的压缩时，对该已压缩和编码的图像数据进行临时的解码和扩展(或首先解压缩)，然后进行再一次地压缩和编码。
通过考虑存储编码数据的存储介质的容量，来预先设置压缩和编码步骤的压缩比率。例如，按照已公开的日本专利申请No.5-64001，当判定编码数据的大小大于存储器的大小时，图像处理装置解码和扩展该编码数据，并且以较高的压缩比率再一次地压缩再生的图像数据。
最近，普遍认为JPEG 2000(ISO/IEC FCD 15444-1)和Motion-JPEG 2000(动画JPEG)压缩算法(ISO/IEC FCD 15444-3)作为新的压缩和编码的方法，可以取代JPEG或MPEG。在JPEG的情况下，在再压缩的时候由于一个产生(generation)(一种压缩类型)出现了图像退化。另一方面，在通过JPEG2000进行数据编码的情况下，在编码状态可以调整代码的数量(压缩比率)，并且没有出现诸如在JPEG中的由于一个生成(generation)引起的图像退化。在Motion-JPEG 2000的情况下，对用来构成移动图像的多个连续的静态图像以各自帧的方式进行处理，但是每帧的编码数据都遵循JPEG 2000。在“下一代图像编码方法JPEG 2000”(作者Yasuyuki Nomizu，由Triceps公司在2001年2月13日公开)中可以找到关于JPEG 2000的详细的描述。
当存储编码的图像数据的存储介质的剩余容量变得不足时，有一种情况需要减少编码数据的代码量。在这种情况下，由于要考虑图像质量，为了确定适当的所减少的代码量，最好重新从头开始进行代码量的缩减。然而，希望能够防止在再压缩的时候由于一个生成而造成的图像质量退化。
在确认移动图像的内容的情况下，为了减少再生的时间而减少将要被再生的帧的数目是有效的。尤其是，在由监测摄像机获得的移动图像的情况下，如果能够只再生包括目标人物的帧或只再生相应于目标动作的帧，则有可能有效地确认移动图像的内容。而且，为了详细的确认移动图像的内容，最好也对根据需要没被再生的帧的图像进行再生。同时，方便的作法是适当地放弃被确认为是具有较不重要内容的帧。
发明内容
本发明的一个目的是提供一种新颖的图像处理装置和图像处理方法来实现上述的一个或多个期望。
按照本发明的一个方面，提供了一种图像处理装置，包括部分代码流截断装置，用于根据选择性的截断命令，部分地截断图像的用来生成截断代码流的某种形式的普通编码的数据来创建截断了的代码流；和恢复装置，用于恢复原始的编码数据，从该原始的编码数据中通过部分代码流截断装置可临时创建被截断的代码流。
根据本发明的另一个方面，提供部分代码流截断装置，该装置用于通过把原始编码数据变成第二编码数据来截断所截断的某种形式的普通编码数据，所述把原始的编码数据变成第二编码数据使得被截去的代码流被存储，而第二编码数据不包括被截去的代码流，并且提供恢复装置，用于把第二编码数据和存储的被截去的代码流结合起来以恢复原始的编码数据。
按照本发明的另一个方面，提供部分代码流截断装置，用于把原始编码数据的原始标签信息变成表示被截去的代码流不受解码影响的第二标签信息，和提供恢复装置，用来把第二标签信息变回到原始标签信息以恢复原始的编码数据。
按照本发明的另一个方面，该图像是具有帧组的移动图像，提供部分代码流截断装置，用来从移动图像的帧组中临时截去该移动图像的至少一个帧的全部的编码数据，作为被截去的代码流，以使该移动图像的至少一个帧的全部的编码数据被存储，提供恢复装置，用来在移动图像的帧组中包括该至少一个帧的全部的编码数据，以恢复原始的编码数据。
按照本发明的另一个方面，该图像是具有若干帧的移动图像，提供部分代码流截断装置，用来向移动图像的至少一个帧的全部的编码数据增加用来表示全部的编码数据作为被截去的代码流不受解码影响的信息，和提供恢复装置，用来放弃添加给该至少一个帧的编码数据的信息以恢复原始的编码数据。
按照本发明的另一个方面，通过图像处理装置或图像处理方法步骤的图像的编码数据基于JPEG 2000或Motion-JPEG 2000，或基于一种类似于JPEG2000或Motion-JPEG 2000的格式，其中能在编码状态下对数据进行处理。
在结合附图阅读时，本发明其它的目的、特征和优点从下列详细的说明中将变得更加显而易见。
图1是用来说明JPEG 2000算法的方框图；图2说明了在分解水平数为3的情况下的二维小波变换；图3说明了JPEG 2000的编码数据的格式；图4是区域和代码块的示意图；图5说明了删剪包和层的一个例子；图6说明了在LRCP行进顺序的情况下包的排列顺序和解释顺序的一个例子；图7说明了按照本发明的图像处理装置的示范性结构；图8是用于说明对各个图像执行部分代码流截断步骤、恢复步骤和代码行删除步骤的操作模式的流程图；
图9是代码行临时截断步骤的示意图；图10是恢复步骤的示意图；图11是用于说明对移动图像的帧依次执行代码行临时截断步骤的操作模式的流程图；图12是用于说明逐帧依次地临时删剪移动图像的操作模式的流程图；图13是移动图像的逐帧的临时代码行的删剪和恢复步骤的示意图；图14A到14D说明了在每个方向上的摄像机抖动和高频成分量之间的关系；图15说明了主头部的结构；图16A和16B说明了板块头部的结构；图17是标记和标记段列表；图18说明了SIZ标记段的结构；图19说明了COD标记段的结构；图20说明了COC标记段的结构；图21说明了QCD标记段的结构；图22说明了QCC标记段的结构；图23说明了COM标记段的结构；和图24是用于说明再生已经进行了逐帧的代码行临时截断处理的移动图像的操作模式的流程图。
具体实施例方式
现在将结合一些图对本发明的实施例进行描述。在下列的实施例中，静态图像的编码数据可以以JPEG 2000(ISO/IEC FCD 15444-1)为基础，而移动图像的编码数据可以以Motion-JPEG 2000(ISO/IEC FCD 15444-3)为基础。
虽然在上述文件中对JPEG 2000的算法进行了详细的描述，但是还要在适合描述下列实施例的范围内对JPEG 2000的算法进行描述。
图1表示了JPEG 2000算法的简化的方框图。把将被压缩和编码的图像数据的每个成分(在处理移动图像的情况下，图像数据的每个成分对应于每个帧)分成板块(tile)。这些板块是互不重叠的矩形区域。图像数据按每一成分的板块进行处理。应该注意到可使板块的大小和图像的大小相同，也就是，不用把图像数据分成板块就可以执行处理。
为了提高压缩比率，在图1中所示的步骤S1，在板块图像上执行从RGB数据或CMY数据到YCrCb数据的色彩空间转换。但是，可能省略色彩空间转换。
在步骤S2，色彩空间转换之后，在每个成分的每个板块图像上执行二维小波变换(离散小波变换DWT)。
图2A到2D是其中分解水平数为3的情况下的示意图。在分解水平为0的板块图像上(如图2A所示)执行二维小波变换，由此可将图2A中的板块图像分成子带(sub-band)1LL，1HL，1LH和1HH，如图2B所示。把二维小波变换应用于子带1LL的系数，由此可将子带1LL分成子带2LL，2HL，2LH和2HH，如图2C所示。把二维小波变换应用于子带2LL的系数，由此可将子带2LL分成子带3LL，3HL，3LH和3HH，如图2D所示。
在步骤S3，对每个子带，量化通过低频成分(子带LL的系数)的这种倍频程划分(octave division)所获得的小波系数。在JPEG 2000中，有可能执行无损的(可逆的)压缩或者有损的(不可逆的)压缩。而且，在JPEG 2000中，在无损压缩的情况下，量化步距总是“1”，因此不执行量化。
在执行量化之后，在步骤S4对每个子带的系数进行熵编码。此处使用的熵编码是一种称作EBCOT(Embedded Block Coding with Optimized Truncating，具有优化截断的嵌入块编码)的编码方法，该方法包括块划分，系数建模，和二进制算术编码。在熵编码中，对量化后的每个子带的系数的位平面从高位平面到低位平面按称作代码块的块进行编码。
最后两个步骤S5和S6是代码形成步骤。在步骤S5，把在步骤S4生成的代码收集起来形成一个包。接着，在步骤S6，把在步骤S5创建的包按照行进顺序(progression order)排列起来，并且把必要的标签信息添加到排列好的包中，以便以预定的格式形成编码数据。在JPEG 2000中，为控制编码的顺序定义了五种行进顺序的类型，这五种行进顺序基于分辨率水平，位置，层，和成分(色彩成分)的组合。
图3说明了JPEG 2000的如此编码的数据的格式。如图3所示，编码数据从一个称作SOC标记的标签开始，该SOC标记表明编码数据的开始。被称作主头部的标签信息跟在SOC标记之后。主头部描述了编码参数，量化参数等等。在主头部之后，每个板块的代码数据从称作SOT标记的标签开始。每个板块的代码数据包括称作板块头部的标签信息，称作SOD标记的标签，和具有每个板块的代码行的内容的板块数据。在最后一个板块数据之后，放置一个称作EOC标记的标签用来表明结束。在本说明书中，术语“代码行”意思是代码流的一部分。
根据JPEG 2000算法，在高压缩比(低比特率)下可得到很好的图像质量。这样的JPEG 2000算法有许多特性。
关于JPEG 2000算法的一个特性是，有可能通过执行后量化(post-quantization)而不用执行再压缩来调整全部代码量，结果编码数据的代码被截断。这种代码截断可以按各种单位进行，例如板块区域，成分，分解水平(分辨率水平)，位平面，子位平面，包，和层(在多层的情况下)。图2D中显示了分解水平和分辨率水平之间的关系，其中圆括号内的数字表示相应子带的分辨率水平。关于JPEG算法的另一个特性，在编码状态可以很容易的将编码数据分成两个或多个编码数据，并且这些编码数据能被合并以恢复原始的编码数据。关于JPEG 2000算法的另一个特性，仅仅通过重写(改变)编码数据的标签信息，执行解码时就可以象代码行实际上被部分截断一样。
接着，将要对分区(precinct)，代码块，包和层进行简要的描述。有下列的大小关系图像大小≥板块的大小≥子带大小≥分区大小≥代码块大小。
分区指的是一个子带的矩形区域。如图4所示，把位于具有相同分解水平的子带HL，LH和HH的相同空间位置上的三个区域的组合作为一个分区对待。然而，对子带LL，把一个区域就作为一个分区对待。可以使分区的大小等于子带的大小。代码块是通过划分分区创建的矩形区域。为简单起见，在分解水平为1时分区和一个代码块如图4所示。
通过拾取并收集包含在分区中的所有代码块的代码的一部分(例如，从最高的位平面到第三位平面的三个位平面的代码)来创建包。可以允许具有空代码的包。这样，收集代码块的代码来创建包，并且按照所希望的行进顺序来排列包由此形成编码数据。在图3中，在SOD之后的板块数据(每个板块的一部分)和收集的包相对应。
通过收集所有分区(即，所有的代码块，所有的子带)的包，把全部图像区域的代码的一部分(例如，这部分相应于全部图像区域的小波系数的最高位平面到第三位平面的代码)创建为一个层。然而，如下列例子所示，层不一定必须包括所有分区的包。因此，当在扩展的时候对很多层进行解码时，大大改善了再生图像的图像质量。换句话说，可以将层看作是图像质量单位。通过收集所有的层，全部图像区域的所有的位平面的代码就生成了。
图5说明了在分解水平数为2(分辨率水平数为3)的情况下包和层的一个例子。在图5中，在垂直方向上具有较长长度的矩形是包，并且在这些矩形中显示的数字是包的号码。层是对应于分别为暗和亮色彩的矩形。也就是说，具有包的号码为0到16的包的代码组成了层0，具有包的号码为17到33的包的代码组成了层1，具有包的号码为34到50的包的代码组成了层2，具有包的号码为51到67的包的代码组成了层3，具有包的号码为68到84的包的代码组成了层4，具有包的号码为85到101的包的代码组成了层5，具有包的号码为102到118的包的代码组成了层6，具有包的号码为119到135的包的代码组成了层7，具有包的号码为136到148的包的代码组成了层8，具有包的号码为149到161的包的代码组成了层9。包和分区之间的对应关系依赖于不同的行进顺序和所划分的层的数目而改变。在图5中显示的层的结构仅仅是一个例子。
JPEG 2000有另一特性，其中在编码状态中编码数据的行进顺序可以改变。在JPEG 2000中，定义了五个行进顺序LRCP，RLCP，RPCL，PCRL和CPRL，其中L表示层，R表示分辨率水平，G表示成分，和P表示分区(位置)。
在LRCP行进的情况下，包的排列顺序(在编码的时候)或包的解释顺序(在解码的时候)用下列的循环嵌套格式按L，R，C，P的次序进行表示。
for(层){for(分辨率水平){for(成分){for(区域){排列包当编码时解释包当解码时}}}}在一个具体的例子中，图像大小是100×100像素(没有板块划分)，层的数目是2，分辨率水平的数目是3(水平0到2)，成分数目是3，分区大小是32×32。在这个例子中，以在图6中显示的方式对36个包进行排列和解释。
此外，在RLCP行进的情况下，用下列顺序执行包的排列(在编码的时候)或包的解释(在解码的时候)for(分辨率水平){for(层){for(成分){for(分区){排列包当编码解释包当解码时}}}}同样在其它行进顺序的情况下，包的排列顺序或包的解释顺序可以用嵌套的循环来确定。
标签信息和标签信息的重写(改变)将在后面进行描述。
在下文中，将对本发明的第一个实施例进行描述。
图7是第一个实施例的方框图。具有如图7所示结构的图像处理装置包括作为用于输入静态图像或移动图像的编码数据的装置的接口单元1000。接口单元1000直接从诸如外部的个人计算机这样的装置中经由有线传输线或无线网络接收编码数据。该图像处理装置包括另一个接口单元1001，其从诸如外部的个人计算机这样的装置中经由有线传输线或无线网络接接收图像数据。该图像处理装置进一步包括图像获取单元1002(例如，监视摄像机)，其通过对拍摄对象进行拍摄来输入静态图像或移动图像的图像数据。该图像处理装置进一步包括图像压缩单元1003，其以JPEG 2000为基础并且压缩和编码从接口单元1001或图像获取单元1002输入的图像数据来产生编码数据。然而，可以把图像处理装置设定为仅仅包括接口单元1000。在另一个例子中，可以把图像处理装置设定为不包括图像获取单元1002或不包括接口单元1001。而且，根据本发明，接口单元1000可以替换为用于从存储介质如存储卡中读取编码数据的装置。该图像处理装置进一步包括存储单元(A)1004A，其存储输入的编码数据。该图像处理装置可以包括如图7中所示的其它单元。
在该图像处理装置中，代码行临时截断处理单元1010起着用来在控制单元1020的控制下执行代码行临时删除步骤的装置的作用。根据代码行截断命令(选择性截断命令)，代码行临时截断处理单元1010读取从存储单元(A)1004A中输入的编码数据或通过恢复步骤恢复的编码数据，从原始代码行中截断要截去的目标代码行(原始代码行的一部分)，创建第二编码数据，其中从原始的代码行中截断要截去的目标代码行，在存储于存储单元(A)1004A中的原始编码数据上重写原始编码数据的第二编码数据，并且在存储单元(B)1004B中存储截去的代码行。存储单元(A)1004A和存储单元(B)1004B不需要彼此物理上的独立，而是可以在相同的存储单元中分别被分配不同的存储区域。截断的代码行可以以任何形式存储，但是在第一个实施例中，代码行临时截断处理单元1010只以JPEG 2000格式创建截断的代码行的编码，以用于恢复步骤，并且存储单元(B)1004B存储该由代码行临时截断处理单元1010创建的编码数据。代码行临时截断处理单元1010也能以用于移动图像的帧(图像)的方式(即，以帧为单位的方式)执行代码行删除(对帧的临时剔除)。在这种情况下，把移动图像的帧的原始编码数据存储在存储单元(B)1004B中，并且截断存储在存储单元(A)1004A中的帧的原始编码数据。也就是说，实际上从移动图像的帧组中截断这些帧。
该图像处理装置的恢复处理单元1011起着在控制单元1020的控制下作为恢复编码数据的装置作用，其中该编码数据是在代码行临时截断步骤被执行之前的数据。根据取消命令，恢复处理单元1011读取存储在存储单元(A)1004A中的已经执行了代码行临时截断的编码数据，以及存储在存储单元(B)1004B中的由截去的代码行组成的编码数据。然后恢复处理单元把已经过代码行临时截断处理的编码数据和由截去的代码行组成的编码数据结合起来，以便恢复原始(输入)的编码数据。在存储单元(A)1004A中的已经过代码行临时截断处理的编码数据上，重写恢复的编码数据，并且从存储单元(B)1004B中擦除由截去的代码行组成的编码数据。在由代码行临时截断步骤临时删剪移动图像的帧的情况下，把由恢复处理单元恢复的帧的编码数据简单地写入存储单元(A)1004A中，并且仅仅擦除存储在存储单元(B)1004B中的临时被删剪(截去)的帧的编码数据。这意味着使临时被删剪的帧返回移动图像的帧组中。
代码行放弃处理单元1012起着在控制单元1020的控制下作为放弃临时截去的代码行的装置的作用。在控制单元1020的控制下，代码行放弃处理单元1012擦除存储在存储单元(B)1004B中的编码数据，该存储单元包括由代码行临时截断步骤截去的编码的代码行。在执行了代码行放弃步骤之后，便不可能恢复包括被放弃的代码行的原始编码数据。在临时删剪帧的情况下，在执行了代码行放弃步骤之后，便也不可能恢复放弃的帧。
图像扩展单元1013起着用于根据JPEG 2000(或Motion-JPEG 2000)的算法解码和扩展存储在存储单元(A)1004A中的编码数据以再生图像数据的装置的作用。再生的图像数据由显示单元1014作为图像进行显示。显示单元1014不仅仅用于显示再生的图像而且还用于图像选择或与用户交换信息。
控制单元1020起着用于控制该图像处理装置的操作和/或该图像处理装置的每个单元的操作的装置的作用。操作单元1021是由用户操作的输入装置，并且用于将图像选择指令，代码行截断指令，代码行截断方法(截断的单位)，取消指令，取消释放指令等等输入到控制单元1020中。分析单元1022起着用于分析编码数据以获得用于选择将被临时删除的帧的信息的装置的作用。控制单元1020根据由分析单元1022的分析获得的信息，发出代码行截断命令，取消命令，和取消释放命令。
代码行临时截断处理单元1010，恢复单元1011，代码行放弃处理单元1012，分析单元1022等等可以用硬件实现，但也可以通过使用通用计算机如个人计算机，或特殊的计算机如微型电子计算机以软件的方式实现。类似的，控制单元1020，图像压缩单元1003，和图像扩展单元1013可以以硬件和/或软件的方式实现。此外，这些单元可以以硬件和软件相结合的方式实现。本发明的范围包括这些单元对应的程序，以及存储程序的计算机可读存储(记录)介质。本发明这样的范围适用于本发明的第二实施例(在后面描述)。
接下来，将要对该图像处理装置的操作进行描述。
首先，操作模式(1-1)，在其中用户指定图像的编码数据(例如，静态图像或移动图像的一个帧)，并且当用户能确认该代码行截断的结果时执行指定的编码数据的代码行截断。图8说明了这个操作模式(1-1)的流程图。
在步骤S101，当指定了图像(例如，移动图像的一个帧)时，从存储单元(A)1004A中读取指定图像的编码数据，并且由图像扩展单元1013解码和扩展以便可以在显示单元1014上显示再生的图像数据。
当用户通过观察显示的图像确定了必须或希望进行代码行截断，则用户指定截断方法，并输入代码行临时截断指令。指定代码行截断方法指的是指定将要被截断的单位。具体地，例如，指定代码行截断方法指的是以层的方式(将被截断的层的数目)指定代码行截断，以分辨率水平的方式(将被截断的分辨率水平的数目)指定代码行截断，以位平面(将被截断的位平面的数目)的方式指定代码行截断，或以成分的方式(将被截断的成分)指定代码行截断。用户可以通过输入表示该单位的指令来选择代码行截断单位(例如，层，分辨率水平数，等等)。
在步骤S102，控制单元1020确定由用户输入的内容，并且根据输入的内容执行控制。
当用户的输入是代码行截断指令，从控制单元1020中发出包括关于由用户指定的代码行截断方法信息的代码行截断命令到代码行临时截断处理单元1010，以便能在控制单元1020的控制下，根据由用户指定的代码行截断方法在编码数据上执行代码行临时截断步骤。接着，在步骤S104，在控制单元1020的控制下，编码数据从存储单元(A)1004A中被读出，由图像扩展单元1013进行解码和扩展，并且把解码和扩展的图像数据显示在显示单元1014上，在所述编码数据中要截去的目标代码行已经通过代码行临时截断步骤被截断。
用户可以确认所显示图像的质量。当用户想要从头重新执行代码行截断步骤，用户可以输入取消指令。另一方面，当用户想要确定当前代码行截断步骤的结果，用户可以输入取消释放指令。进一步的，当用户想要结束操作时，用户可以输入结束指令。
在步骤S105，当输入取消指令时，从控制单元1020发出取消命令到恢复处理单元1011，并且通过恢复处理单元1011执行恢复步骤。然后，在步骤S106，在控制单元1020的控制下，恢复的编码数据(如，在执行代码行截断步骤之前的原始编码数据)从存储单元(A)1004A中被读出，并且在图像扩展单元1013中进行解码和扩展，并且把解码和扩展的图像显示在显示单元1014上。用户可以输入代码行截断命令，再一次地使用用于编码数据的不同的代码截断方法。
用这样的方式，用户可以重复地执行编码数据的代码量的缩减。由于没有对编码数据进行再压缩，因此没有产生由一个生成引起的图像退化。
在步骤S107，当由用户输入取消释放指令时，从控制单元1020发出取消释放命令到代码行放弃处理单元1012，其用来执行代码行放弃步骤。换句话说，擦除了存储在存储单元(B)1004B中的、包括从原始代码行中截去的要截去的目标代码行的编码数据。因此，具有要截去的目标代码行的原始编码数据不能再被恢复。
当存储单元(A)1004A可利用的容量不足时，编码数据的代码量被缩减，这时执行代码行放弃步骤以便使存储单元(A)1004A的可利用容量能够得到增加。
在执行了代码行临时截断步骤之后，可以输入结束指令来结束操作。然而，在另一个时间点，可以再一次这个操作模式(1-1)，并且对操作已结束的编码数据，可以输入取消命令或取消释放命令，以便可以执行恢复步骤或代码行放弃步骤。
图9和10的示意图分别明确表明了按板块方式执行的代码行临时截断步骤和恢复步骤。如图9所示，代码行临时截断步骤把图像2001的编码数据2000转换成图像2003的编码数据2002，结果在图像2003中，图像2001的下半部分的四个板块被截断。把具有图像2001的下半部分的四个板块的图像2005的代码行作为编码数据2004来存储。如图10所示，当输入取消指令时，恢复步骤把编码数据2002和编码数据2004相结合来恢复原始的编码数据2000。在这个例子中，当在代码行临时截断步骤之后输入取消释放指令时，编码数据2004被放弃，所以便不可能恢复原始编码数据2000。应注意到在代码行放弃步骤之后，可以在编码数据2002上再一次执行代码行临时截断步骤。
此外，当输入代码行截断指令时，如有必要，也可以指示改变编码数据的行进顺序。当提出改变行进顺序的指令时，代码行临时截断处理单元1010在执行代码行临时截断步骤之前改变行进顺序。
该图像处理装置有操作模式(1-2)，其中在移动图像的所有帧上以Motion-JPEG 2000的形式执行和在操作模式(1-1)中一样的代码行临时截断步骤。图11是操作模式(1-2)的流程图。
在步骤S151，选择在存储单元(A)1004A中的编码数据，以便首先选择开始帧的编码数据。在步骤S152，从控制单元1020中发出对应于默认的代码行截断方法或由用户指定的代码行截断方法的代码行截断命令，并且代码行临时处理单元1010在所选择的帧的编码数据上执行代码行临时截断步骤。重复步骤S151和S152，并且当对最后一个帧进行处理时(在步骤S153中的“是”)，这个操作模式就结束了。
该图像处理装置也有用于恢复由操作模式(1-2)中的代码行临时截断步骤所处理的所有帧的编码数据的操作模式(1-3)。这个操作模式(1-3)的流程图从略，但是可以从控制单元1020发出取消命令，并且在控制单元1020的控制下，恢复处理单元1011以移动图像的帧的方式执行恢复步骤。
该图像处理装置也有用于放弃移动图像中已经在操作模式(1-2)被临时截去的所有帧的代码行的操作模式(1-4)。该操作模式(1-4)的流程图从略，但控制单元1020发出取消释放命令，且在控制单元1020的控制下，由若干帧的被截去的代码行组成的存储单元(B)1004B中的编码数据被擦除。此后，该若干帧的原始编码数据不能被恢复。
所述图像处理装置还具有操作模式(1-5)，用于对Motion-JPEG 2000形式的移动图像的编码数据进行帧的临时删剪(进行逐帧的代码行临时截断处理)。图12是该操作模式(1-5)的流程图。用户预先选择将临时被删剪的帧的选择方法。例如，作为选择将临时被删剪的帧的方法，这里有一种选择每第N(＞＝1)幅帧的方法、一种选择与在先帧差异较小的帧(即选择较少移动的帧)的方法、一种从移动图像中选择与具有大幅摄像机抖动的图像相应的帧的方法，以及一种选择未包括人物的帧的方法。
在步骤S201中，从起始帧开始，控制单元1020从移动图像中依次选择帧，并决定被选择的帧是否应在步骤202中被临时截断，其中该移动图像的编码数据被存储在存储单元(A)1004A中。例如，当选择临时选择每第N幅帧的方法时，控制单元1020便基于帧的数目来作出所述决定。当选择临时选择与先前帧差异较小(较少移动图像)的帧的方法或临时选择大幅摄像机抖动帧的方法时，控制单元1020便基于分析单元1022的分析结果来作出所述决定。分析单元1022的操作将在后面进行描述。
在步骤S203中，从控制单元1020中发出对被确定为临时截断的帧进行逐帧代码行临时截断命令，在代码行临时截断处理单元1010中对这些帧的编码数据逐帧执行代码行临时截断处理。特别是，在逐帧代码行临时截断过程中，临时被截去(被选择)的帧的编码数据被存于存储单元(B)1004B中，存储单元(A)1004A中的相应于被选择的帧的编码数据被擦除。即，该帧从移动图像的帧组中被截去，但是该被截帧的编码数据被存储。以这种方式，步骤S201、S202和S203的过程被一直重复直到该操作到达最后一帧。当处理最后一帧时，结束该操作模式的过程。
该图像处理装置进一步包括再生在存储单元(A)1004A中累积的帧组的操作模式(1-6)。该操作模式(1-6)的流程图从略。然而，在该操作模式(1-6)中，在控制单元1020的控制下，存储在存储单元(A)1004A中的移动图像的帧组中的帧的编码数据被依次解码和解压缩，以使再生帧图像可被显示在显示单元1014上。
在对操作模式(1-5)中的移动图像的每第N幅帧或较少移动帧进行删剪后，如果使该图像处理装置在操作模式(1-6)中操作，则确认移动图像的内容要求所耗的时间量要小于未执行临时帧删剪时所耗的时间量。特别是，对于由监视摄像机获得的移动图像的情况，通过临时删剪较少移动图像或不包括人物的帧，可有效确认移动图像的内容。
该图像处理装置进一步包括在已临时被删剪的帧(即，包括帧组中的被删剪帧的编码数据)的情况下来恢复原始编码数据的操作模式(1-7)。该操作模式的流程图从略。然而，取消命令从控制单元1020发出，且在控制单元1020的控制下，存储在存储单元(B)1004B中的临时被删剪帧的编码数据通过恢复处理单元1011而被写入存储单元(A)中，且存储单元(B)1004B中相应于写入存储单元(A)中的编码数据的编码数据被擦除。执行此恢复过程之后，便可能通过使用操作模式(1-6)，恢复原始移动图像。并且，在执行恢复过程后，可以指定另一临时删剪帧的方法，以通过使用操作模式(1-5)来临时删剪帧。
如上所述，执行代码行临时删剪以使移动图像的内容可被有效确认，在此之后，便有可能恢复移动图像在完全状态中的所有帧。
并且，在操作模式(1-1)中，可逐幅指定临时被删剪的帧，以在帧组中包括所指定的帧。在用户确认移动图像的内容后，当用户需要包括被确定为被包括的临时被删剪帧时，这是有利的。
图13是移动图像的帧的临时删剪和恢复的图解。在图13中，标号2100指明在帧临时被删剪之前的移动图像的帧组。当在操作模式(1-5)中执行临时帧删剪过程时，例如，在帧组2100中的具有网状图案的帧的编码数据临时被删剪，且具有网状图案的被删剪帧的编码数据行2101被存储在存储单元(B)1004B中。排除了具有网状图案的临时被删剪帧的帧的编码数据行2102保留在存储单元(A)1004A中。其后，当在操作过程(1-7)中执行恢复过程时，临时被删剪帧的编码数据行2101被包括在(返回到)存储单元(A)1004A中，以恢复原始帧组2100。
该图像处理装置更进一步包括放弃临时被删剪的所有帧的编码数据的操作模式(1-8)。该操作模式(1-8)的流程图从略。然而，由控制单元1020发出取消释放命令，且在控制单元1020的控制下，已临时被删剪并存于存储单元(B)1004B中的帧的编码数据被代码行放弃处理单元1012所擦除。在执行代码行放弃过程之后，便无可能恢复临时被删剪帧的编码数据。
应该注意的是，代码行临时截断过程可在操作模式(1-2)中用于已经过代码行放弃处理的移动图像。即，帧删剪和每帧代码行截断可联合运用于移动图像。
作为另一例子，可在操作模式(1-2)中对移动图像的所有帧执行代码行临时截断，然后可在操作模式(1-4)中执行代码行放弃过程。其后，在操作模式(1-5)中执行帧临时删剪。
下面，描述分析单元1022。分析单元1022包括用于识别较少移动帧的分析装置、用于识别大幅摄像机抖动帧的分析装置，和/或用于识别未包括人物的帧的分析装置。
当输入移动图像的编码数据时，用于识别较少移动帧的分析装置比较每一当前帧的编码数据的代码量(不包括标签信息的数量)和前一帧的编码数据的代码量。当当前帧的编码数据的代码量和前一帧的编码数据的代码量之间的差异小于一个临界值时，当前帧被确定为较少移动帧。在包括具有所获得的较大移动场景的部分，代码量在帧之间发生较大变化。另一方面，在包括所获较少移动场景的部分，代码量在帧之间发生较小变化。用于估算代码量的合适的方法包括估算全部图像区域的代码量的方法、估算特殊图像区域的代码量的方法(例如，图像的中心部分)和估算特定成分的代码量的方法。可替换地，在移动图像的图像数据被输入的场合中，用于识别较少移动图像的分析装置可分析输入图像数据以检测连续帧之间的移动。本发明的范围也包括该操作。
基于在通过图像压缩单元1003来压缩和编码每帧的过程中所获得的小波系数，用于识别较大摄像机抖动帧的分析装置确定每帧的摄像机抖动程度。例如，在分解水平3上执行二维小波变换的情况中，可获得如图2D所示的子带系数。子带HL的系数是图像的垂直方向中的高频成分，子带LH的系数是图像的水平方向中的高频成分。用于在垂直方向上的高频成分的测量的高频成分量Yv通过以下的公式(1)、利用如图2D所示的在各个水平上的子带HL的系数而被计算。用于在水平方向上的高频成分的测量的高频成分量Yh通过以下的公式(2)、利用在各个水平上的子带LH的系数而被计算。
公式(1)为Yv＝av·∑|1HL|+bv·∑|2HL|+cv·∑|3HL|；公式(2)为Yh＝ah·∑|1LH|+bh·∑|2LH|+ch·∑|3LH|在公式(1)和(2)中，av，bv，cv，ah，bh和ch都是等于或大于零的常量。
在这个例子中，分解水平数目为3。然而，当分解水平数目大于或小于3时，高频成分量可通过使用相似的公式而被计算。并且，可使用在一部分水平(例如，仅在水平1)上的多波段的系数。另外，公式可被更改。
主要拍摄目标通常位于图像的中心部分，图像的其它部分或背景经常不在焦点上。因此，仅有相应于图像的中心部分的小波系数可被用于计算高频成分量。然而，相应于全部图像的系数可被用于计算高频成分量。
根据上述方式而被计算的高频成分量和如图14A到14D所示的摄像机抖动有关。如图14D所示，当不存在摄像机抖动时，垂直方向上的高频成分量和水平方向上的高频成分量都较大，且高频成分量Yv和Yh之间的的差异不大。如图14A所示，当水平方向上存在摄像机抖动时，水平方向上的高频成分量与不存在摄像机抖动的情况相比大大减少。如图14B所示，当垂直方向上存在摄像机抖动时，垂直方向上的高频成分Yv大大减少。如图14C所示，当倾斜方向上存在摄像机抖动时，高频成分量Yv和Yh都减少。通过利用摄像机抖动的这种性质，基于高频成分量Yv和Yh的值，用于识别大幅摄像机抖动帧的分析装置可确定每帧的摄像机抖动是大还是小。
此外，对于摄像机抖动的相似关系经常在编码数据的子带HL和LH的代码量之间被识别，因此，分析装置可基于该代码量而执行摄像机抖动判定。本发明的范围包括该操作。当图像获取单元1002包括诸如加速传感器之类的摄像机抖动检测传感器，分析装置可基于摄像机检测传感器的输出而识别大幅摄像机抖动帧。本发明的范围包括该结构。
用于识别未包括人物的帧的分析装置执行一个过程，该过程为来自图像获取单元1021或接口单元1001的每帧输入的图像数据而辨别人物的脸部。这时，其中人脸未被辨别的帧被确定作为不包括人物的帧。在图像获取单元1021为自动白色平衡调节(white balance adjustment)而检测色温的情况中，当帧的被测色温接近人的肤色时，该帧可被确定为包括人物的帧。当帧的被测色温与人的肤色相差甚远时，该帧可被确定为不包括人物的帧。本发明的范围包括该过程和用于该过程的结构。
至少一个上述各分析装置的分析结果可被存储于诸如分析单元1022或控制单元1020的内部存储器和/或存储单元(B)1004B等存储装置中。
接下来将描述本发明的第二个实施例。
对于JPEG 2000代码的情况，以一种次序安排包，该次序通过与行进次序相应的上述嵌套循环来确定。相应的，例如，对于LRCP行进的情况，如果标签信息被重写以至于层的循环仅仅被执行两次，则在译码器一侧只有层0和1的包被处理。类似的，对于RLCP行进的情况，如果标签信息被重写以至于层的循环仅仅被执行两次，则在译码器一侧只有层0和1的包被解码。
因此，在JPEG 2000代码的情况下，通过使用重写标签信息的操作，可在解码器一侧部分执行解码。换言之，尽管一部分原始代码行实际上未被截断，然而使解码器确定该部分原始代码行已被截断。
为准确地执行该部分解码而被要求重写的信息是行进次序中的最高元素的数目以及相关信息。该最高元素是循环的元素，该元素在嵌套循环最外层。例如，在LRCP行进的情况下，最高元素是一个层，在RLCP的情况下，最高元素是一个分辨率。
在第二个实施例中，通过重写标签信息来执行代码行临时截断步骤。通过将已重写标签信息复原为具有在重写之前的内容的标签信息来执行解码步骤。执行代码行放弃步骤，结果在代码行临时截断被执行之后将被截去的目标代码行从编码数据中真正被截断和放弃。
在下文中，将在示范性的范围内描述被添加到JPEG 2000的编码数据的标签信息的概要。图15示出主头部的结构。SIZ、COD和QCD的标记段是基本段，而其它标记段是可选段。
图16A和16B示出板块头部的结构。图16A示出被添加到板块数据顶部的头部，图16B示出当板块行被分为多个部分时，被添加到所分的部分板块行顶部的头部。在板块头部中没有基本板块标记段，且所有板块标记段都是可选的。
图17示出标记和标记段的列表。SIZ标记段的结构在图18中被示出，COD标记段的结构在图20中被示出，QCD标记段的结构在图21中被示出，QCC标记段的结构在图22中被示出，COM标记段的结构在图23中被示出。
以下是几个在代码行临时截断步骤中重写标签信息的具体例子(a)到(d)。
在例子(a)中，在LRCP行进的编码数据中，代码行临时截断步骤按层执行。在本例中，将被重写的标签信息是如图19所示的COD标记段的层的数目SGcod。
在例子(b)中，在RLCP或RPCL行进的编码数据中，代码行临时截断按分辨率水平执行。在本例中，将被重写的标签信息是如图18所示的SIZ标记段的Xsiz、Ysiz、XTsiz和YTsiz、如图19所示的COD标记段的分解水平的数目SPcod以及如图21所示的QCD标记段的Lqcd和SPqcd。除此之外，当存在如图20所示的COC标记段时，COC标记段的分解水平数目SPcoc也被重写。并且，当存在如图22所示的QCC标记段时，QCC标记段的分解水平数目SPqcc也被重写。
在例子(c)中，在以任意的行进次序编码的数据的代码行按板块执行临时截断。在本例中，将被重写的标签信息是如图18所示的SIZ标记段的Xsiz和Ysiz。
在例子(d)中，在CPRL行进的编码数据中，代码行临时截断按成分执行。在本例中，将被重写的标签信息是如图18所示的SIZ标记段的Lsiz、Csiz、Ssiz、、Xrsiz和Yrsiz。并且，当如图19所示的用于COD标记段的SGcod的成分变换包括“1”时，成分变换“1”在必要时被改为“0”，因为JPEG 2000是用于仅仅在前三个成分上执行成分变换的场合下的一种规约。例如，在JPEG 2000中，当四个成分中的前三个成分需要保留时，每一成分变换可为“1”，但是当四个成分中仅仅一个或两个成分需要保留时，相应于截断步骤的成分变换需要被改为“0”。
同样在第二个实施例中，代码行临时截断(临时帧删剪)可在Motion-JPEG2000的移动图像的编码数据上按帧执行。在这种情况下，用于识别临时被删剪帧的信息可被添加到这些帧上，但是这些帧实际上未从移动图像的帧组中被删剪。在本例中，在将临时被删剪的帧的编码数据的主头部中，大意为帧已临时被删剪的注释被描述为COM标记段(如图23所示)的Ccom。可执行恢复步骤，以放弃表示该帧临时被删剪的注释。只要可在该图像处理装置中识别用于标识临时被删剪帧的信息，则此信息可以任何形式添加到帧上。例如，SIZ标记在无效的位行中被重写，并且执行恢复步骤以使SIZ标记从无效位行被恢复为有效位行。
接下来，将描述根据本发明的第二实施例的图像处理装置的结构或操作。
在第二实施例中，图像处理装置的结构部分不同于第一实施例的装置，所以参照图7来描述在第二实施例中的结构。在第二实施例中，修改了代码行临时截断装置处理单元1010，以通过上述的重写标签信息而在静态图像或移动图像的每帧上执行代码行临时截断步骤，并且通过添加上述注释来执行临时帧删剪。修改了恢复处理单元1011，以通过将已重写的标签信息转换为原始标签信息而在静态图像或单个的帧图像上执行恢复步骤，并且通过放弃注释而在移动图像的临时被删剪帧上执行恢复步骤。修改了代码行放弃处理单元1012，以在编码数据经过代码行临时截断之后从静态图像的编码数据或单个帧图像中真正地放弃被截去的目标代码行。并且，修改了代码行放弃处理单元1012以创建编码数据，其中已从原始代码行中截去了被截去的目标代码行，并且适合放弃临时被删剪帧的编码数据。在第二实施例中，没必要分别使用两个存储单元(存储区域)1004A和1004B，因此存储单元1004A和1004B一起被称为存储单元1004。其它单元与第一实施例中可能相同。
根据第二实施例的图像处理装置具有相应于第一实施例的操作模式(1-1)到(1-8)的操作模式(2-1)到(2-8)。操作模式(2-1)到(2-8)将被依次描述。
参照图8描述操作模式(2-1)。在操作模式(2-1)中，首先，用户指定一幅图像，且在指定图像的编码数据上执行代码行临时截断步骤。用户可确认该代码行临时截断步骤的结果。
当图像(例如，静态图像或移动图像的一帧)被指定时，在步骤S101中，在控制单元1020的控制下，被指定的图像的编码数据从存储单元1004中被读出，并被输入到图像扩展单元1013中，以使解码和扩展图像数据可被显示在显示单元1014上。
当用户观看显示图像并确定代码行(原始代码行的一部分)需要从原始代码行中被截断时，用户指定代码行截断方法，并输入代码行截断指令。指定的代码行截断方法与第一实施例中的相同。
在步骤S102中，控制单元1020确定用户输入的内容，并根据输入的内容来执行控制。
当用户输入是代码行截断指令时，从控制单元1020向代码行临时截断处理单元1010发出代码行截断命令，该命令包括关于由用户指定的代码行截断方法的信息，并且在控制单元1020的控制下，代码行临时步骤被代码行临时截断处理单元1010所执行，以在步骤S103中根据指定的代码行截断方法来重写编码数据的标签信息。随后，在控制单元1020的控制下，其中标签信息已被重写的编码数据从存储单元1004中被读出，并在图像扩展单元1013中被解码和扩展，在步骤S104中，解码和扩展数据的图像数据被显示在显示单元1014上。此时，标签信息已被重写，以使被截去的目标代码行不受解码影响和扩展。按照这种方式，通过重写标签信息，便有可能再生与被截去的目标代码行真正被截断的情况下相同的图像。
用户确认显示图像的质量或类似参数。当用户确定应重新执行代码行截断时，用户可输入取消指令。另一方面，当用户确定当前代码行截断的结果应被固定时，用户可输入取消释放指令，当用户希望结束操作时，可输入结束指令。
当输入取消指令时，从控制单元1020向存储单元1011发出取消命令，恢复步骤被恢复处理单元1011所执行，以使被代码行临时截断步骤所重写的编码数据的标签信息在步骤S105中被恢复为原始内容。随后，在控制单元1020的控制下，所恢复的编码数据从存储单元1004中被读出，并在图像扩展单元1013中被解码和扩展，在步骤S106中，解码和扩展图像被显示在显示单元1014上。至于显示图像的编码数据，用户可再次输入带有不同的代码行截断方法的代码行截断指令，以便以不同的方法来执行代码行临时截断步骤。
其间，当用户输入取消释放指令时，从控制单元1020向代码行放弃处理单元1012发出取消释放命令，且在步骤S107中，代码行放弃处理单元1012执行代码行放弃步骤。在该代码行放弃步骤中，已经过代码行临时截断处理的编码数据的被截去的目标代码行被真正地放弃(擦除)，并且只有在该代码行放弃步骤之后的编码数据被存储在存储单元1004中。结果是，具有被截去的目标代码行的原始数据不可再被恢复。
在代码行临时截断步骤部执行之后，用户可输入结束指令以结束该操作，在另一时刻，通过使用操作模式(2-1)来为编码数据输入取消指令或取消释放指令，以使恢复步骤或代码行放弃步骤可被执行。
当输入代码行截断指令时，用户可根据需要指示改变编码数据的行进次序。当用于改变行进次序的该指令被提供时，代码行临时截断处理单元1010改变行进次序，然后以改变后的行进次序来执行代码行临时截断步骤。
接下来，在类似于操作模式(2-1)的代码行临时截断步骤在Motion-JPEG2000的移动图像的所有帧上被执行的情况下，参照图11来描述操作模式(2-2)。
在步骤S151中，控制单元1020从起始帧开始依次选择存储单元1004中的编码数据的帧。从控制单元1020中发出代码行截断命令，该代码行截断命令带有用户指定的代码行截断方法或默认的代码行截断方法，代码行临时截断处理单元1010在所选帧的编码数据上执行代码行临时截断步骤，以在步骤S151中重写编码数据的标签信息。相同的步骤被重复，直到最后一帧被处理为止。当最后一帧被处理时(步骤S153的“是“)结束该操作模式(2-2)的操作。
该图像处理装置具有恢复所有帧的编码数据的操作模式(2-3)，所述帧已在操作模式(2-2)中经过代码行临时截断处理。操作模式(2-2)的流程图从略。然而，在操作模式(2-3)中，从控制单元1020发出取消命令，并且在控制单元1020的控制下，移动图像的帧被恢复处理单元1011依次恢复，以使标签信息被转换为原始信息。
该图像处理装置也具有在移动图像的所有帧上执行的操作模式(2-4)，所述移动图像已在操作模式(2-2)中经过代码行临时截断处理。操作模式(2-4)的流程图从略。然而，在操作模式(2-4)中，从控制单元1020发出取消释放命令，并且在控制单元1020的控制下，存储单元1004中的每帧的编码数据的被截去的目标代码行被代码行放弃处理单元1012所放弃。
接下来，将参照图12来描述其中在Motion-JPEG 2000形式的移动图像的编码数据上执行帧临时删剪的操作模式(2-5)。用户可事先指定帧临时删剪的方法。该帧临时删剪方法与第一实施例中的相同。
在步骤S201中，从起始帧开始，控制单元1020依次选择其编码数据被存储在存储单元1004中的移动图像的帧，并确定当前所选帧是否应在步骤S202中被截断。例如，当临时删剪每第N幅帧的方法被指定时，控制单元1020基于帧的编号来进行确定。当指定临时删剪稍许不同于在先帧的帧的方法或临时删剪具有大幅摄像机抖动的帧的方法，控制单元基于分析单元1022的分析结果来作出判定。
对被确定为将临时被删剪的帧，从控制单元1020发出帧临时删剪命令，在步骤S203中，大意为帧已临时被删剪的注释被代码行临时删剪处理单元1010写到该帧的编码数据的主头部的COM标记段中。步骤S201，S202和S203被重复，直到移动图像的最后一帧被处理为止。当最后一帧被处理(在步骤S204中的”是“)时，该操作模式被结束。
接下来，将参照图24来描述操作模式(2-6)，用来再生其编码数据在存储单元1004中被累积的移动图像，图24是操作模式(2-6)的流程图。
在步骤S301中，从起始帧开始，控制单元1020依次选择帧的编码数据，所选帧的主头部的COM标记段的内容在步骤S302被检查。当大意为帧已临时被删剪的注释在COM标记段中被描述时(在步骤S302的“是“)，该帧不被再生，且下一帧被选择。另一方面，当大意为帧已临时被删剪的注释在COM标记段中未被描述时，图像扩展单元1013读出该帧的编码数据，并解码和扩展该帧的编码数据，并在步骤S303中将解码和扩展数据的图像显示在显示单元1014上。步骤S301，S302和S303被重复，直到最后一帧被处理为止。当最后一帧被处理时(在步骤S304中的“是“)，该操作模式(2-6)被结束。
例如，当帧组2100中具有如图13所示的网状图案的帧已临时被删剪时，仅有如图13所示的帧组2102被依次再生。结果是，与没有临时删剪帧的情况相比，有可能在短时间内有效确认移动图像的内容。
该图像处理装置还具有恢复临时被删剪帧的编码数据的操作模式(2-7)。操作模式(2-7)的流程图从略。然而，在操作模式(2-7)中，从控制单元102中发出取消命令，并且在控制单元1020的控制下，恢复处理单元1011连续地从存储单元1004中读出临时被删剪帧的编码数据，并放弃用来识别临时被删剪帧和在帧的COM标记段中被描述的注释。在执行该恢复步骤之后，可通过使用操作模式(2-6)来再生原始移动图像。其后，通过使用操作模式(2-1)，另一种临时帧删剪方法可被指定，以使临时帧删剪能以该方法被执行。
该图像处理装置还具有放弃临时被删剪的所有帧的编码数据的操作模式(2-8)。操作模式(2-8)的流程图从略。然而，在操作模式(2-8)中，从控制单元1020发出取消释放命令，并且在控制单元1020的控制下，代码行放弃处理单元1012依次擦除存储单元1004中的各个临时被删剪帧的编码数据。在该代码行放弃步骤被执行之后，便不可能恢复临时被删剪帧。
并且，可在经过代码行放弃处理的移动图像上以操作模式(2-2)来执行代码行临时截断。即，临时帧删剪和对每帧的代码行临时截断可联合用于移动图像。
可替换地，能以操作模式(2-2)在移动图像的每帧上执行代码行临时截断，然后能以操作模式(2-4)来执行代码行放弃步骤，并且其后，能以操作模式(2-5)来执行临时帧删剪。
如从上述描述所理解的，根据本发明，通过使用代码行临时截断步骤和恢复步骤，有可能重复尝试静态图像或移动图像的帧的编码数据的截断。由于代码行临时截断步骤和恢复步骤不带有编码数据的再压缩，因此即使重复执行代码量缩减，也不会发生由一个生成所导致的图像退化。并且，当不需要恢复原始编码数据时，移动图像的不必要的代码行或帧可被代码行放弃步骤所放弃，以便有可能有效使用存储编码数据的存储媒体。另外，由于帧临时截断步骤可减少将被再生的移动图像的帧的数目，因此便有可能在短时间内确认移动图像的内容。尤其是，可在移动图像的未包括人物或具有较少移动的帧上自动执行临时删剪步骤，以便有可能非常有效地确认监视摄像机所捕获的移动图像的内容。甚至在执行帧临时截断步骤之后，原始移动图像可被恢复步骤所完全恢复，以便有可能多次执行帧临时删剪步骤。
权利要求
1.一种图像处理装置，包括部分代码流截断装置，用于根据选择性的截断命令来部分截断图像的某种形式的普通编码数据，以创建被截断的代码流；恢复装置，用于根据取消命令来恢复原始编码数据，该被截断的代码流由所述部分代码流截断装置从原始编码数据临时创建。
2.如权利要求1所述的图像处理装置，其中，所述部分代码流截断装置被用于通过将原始编码数据转换成第二编码数据来部分截断所述要截断的某种形式的普通编码数据，以便所述原始编码数据转换成第二编码数据使被截断的代码流被存储，借此所述第二编码数据不包括所述被截断的代码流，和所述恢复装置被用于结合所述第二编码数据和所存储的被截断的代码流，以恢复所述原始编码数据。
3.如权利要求2所述的图像处理装置，进一步包括根据取消释放命令来放弃所存储的被截断的代码流的代码行放弃装置。
4.如权利要求1所述的图像处理装置，其中，所述部分代码流截断装置被用于将所述原始编码数据的原始标签信息更改为第二标签信息，该信息表明所述被截断的代码流不受解码影响，和所述恢复装置被用于将所述第二标签信息改回成所述原始标签信息，以恢复所述原始编码数据。
5.如权利要求4所述的图像处理装置，进一步包括用于根据取消释放命令来放弃被截断的代码流的代码行放弃装置，关于该被截断的代码流的代码行，该截断装置已将所述原始标签信息改为所述第二标签信息。
6.如权利要求1所述的图像处理装置，其中，所述图像是具有帧组的移动图像，所述部分代码流截断装置被用于临时截断作为所述被截断的代码流的来自所述移动图像的帧组的所述移动图像的至少一幅帧的全部编码数据，以存储该至少一幅帧的全部编码数据，所述恢复装置被用于在所述移动图像的帧组中包括该至少一幅帧的全部编码数据，以恢复所述原始编码数据。
7.如权利要求1所述的图像处理装置，其中，所述图像是具有若干帧的移动图像，所述部分代码流截断装置被用于将信息添加到所述移动图像的至少一幅帧的全部编码数据中，该信息表明作为被截断的代码流的全部编码信息不受解码影响，所述恢复装置被用于放弃被添加到所述至少一幅帧的编码数据中的所述信息，以恢复所述原始编码数据。
8.如权利要求6所述的图像处理装置，进一步包括用于根据取消释放命令来放弃所存储的所述至少一幅帧的全部编码数据的代码行放弃装置。
9.如权利要求7所述的图像处理装置，进一步包括用于放弃至少一幅帧的全部编码数据的代码行放弃装置，关于该至少一幅帧的全部编码数据，该截断装置将所述信息添加到所述至少一幅帧的编码数据中。
10.如权利要求2所述的图像处理装置，进一步包括用于允许用户选择作为所述被截断的代码流而被处理的单位的装置。
11.如权利要求6所述的图像处理装置，进一步包括用于允许用户选择一种方法的装置，该方法用于选择作为所述被截断的代码流而被处理的帧。
12.如权利要求7所述的图像处理装置，进一步包括用于使用户选择一种方法的装置，该方法用于选择作为所述被截断的代码流而被处理的帧。
13.如权利要求6所述的图像处理装置，进一步包括选择装置用于自动选择作为所述被截断的代码流而被处理的帧。
14.如权利要求7所述的图像处理装置，进一步包括选择装置用于自动选择作为所述被截断的代码流而被处理的帧。
15.如权利要求13所述的图像处理装置，其中，所述选择装置自动选择作为所述被截断的代码流的较少移动帧、每第N幅帧、具有大幅摄像机抖动的帧或者未包括人物的帧。
16.如权利要求14所述的图像处理装置，其中，所述选择装置自动选择作为所述被截断的代码流的较少移动帧、每第N幅帧、具有大幅摄像机抖动的帧或者未包括人物的帧。
17.如权利要求1所述的图像处理装置，其中，所述图像是具有若干帧的移动图像，所述被截断的代码流是所述移动图像的至少一幅帧的全部编码数据，较少移动帧之一、每第N幅帧、具有大幅摄像机抖动的帧和未包括人物的帧，这些都作为所述被截断的代码流而被自动选择。
18.如权利要求17所述的图像处理装置，其中，所述较少移动帧被选择，并且所述图像处理装置进一步包括分析装置，该分析装置用于比较所述移动图像的当前帧的代码量和先于所述当前帧的帧的代码量，并且当所述当前帧的代码量和先于所述当前帧的一幅帧的代码量之间的差值小于一个临界值时，确定所述当前帧作为所述较少移动帧。
19.如权利要求17所述的图像处理装置，其中，所述具有大幅摄像机抖动的帧被选择，并且所述图像处理装置进一步包括用于基于当所述移动图像的每一幅帧被压缩和编码时所获得的小波系数来确定摄像机抖动的程度的分析装置。
20.如权利要求19所述的图像处理装置，其中，所述分析装置基于下列值来确定摄像机抖动的程度Yv＝av·∑|1HL|+bv·∑|2HL|+cv·∑|3HL|；Yh＝ah·∑|1LH|+bh·∑|2LH|+ch·∑|3LH|其中，值Yv和Yh基于分解水平0、1、2和3上的二维小波变换，Yv相应于所述帧的垂直方向，Yh相应于所述帧的水平方向，1HL、2HL和3HL分别相应于在所述分解水平1、2和3上的所述小波系数的高频子带，1LH、2LH、和3LH分别相应于在所述分解水平1、2和3上的所述小波系数的高频子带，av、bv、cv、ah、bh和ch为等于或大于零的常量。
21.如权利要求17所述的图像处理装置，进一步包括分析装置，该分析装置用于识别人物的脸部，并确定未包括识别出脸部的帧作为未包括人物的所述帧。
22.如权利要求1所述的图像处理装置，进一步包括用于解码并扩展第二编码数据以基于所述第二编码数据来再生图像的装置，通过部分截断所述要截断的某种形式的普通编码数据来生成所述第二编码数据；和用于显示所述再生图像的装置。
23.如权利要求1所述的图像处理装置，进一步包括用于解码和解压缩所述原始编码数据或所存储的原始编码数据，以再生所述图像的装置；和用于显示所述再生图像的装置。
24.如权利要求1所述的图像处理装置，其中，所述原始编码数据基于JPEG 2000或Motion-JPEG 2000。
25.如权利要求10所述的图像处理装置，其中作为所述被截断的代码流而被处理的单位是层、分辨率水平、位平面、板块、包和成分中的一种。
26.一种处理图像的方法，包括下列步骤(a)根据选择性的截断命令来部分截断图像的要截断的某种形式的普通编码数据，以创建被截断的代码流；以及(b)根据取消命令来恢复原始编码数据，该被截断的代码流由所述部分代码流截断手段从原始编码数据临时创建。
27.如权利要求26所述的方法，步骤(a)包括下列步骤将所述原始编码数据转换为第二编码数据，以使所述第二编码数据不包括所述被截断的代码流；以及存储被截断的代码流；步骤(b)包括下列步骤结合所述第二编码数据和所存储的被截断的代码流，以恢复所述原始编码数据。
28.如权利要求27所述的方法，进一步包括根据取消释放命令来放弃所存储的被截断的代码流的步骤。
29.如权利要求26所述的方法，步骤(a)包括下列步骤将所述原始编码数据的原始标签信息更改为第二标签信息，该第二标签信息表明所述被截断的代码流不受解码影响，步骤(b)包括下列步骤将所述第二标签信息改回成所述原始标签信息。
30.如权利要求29所述的方法，进一步包括根据取消释放命令来放弃被截断的代码流的步骤，关于该被截断的代码流，已将所述原始标签信息更改为所述第二标签信息。
31.如权利要求26所述的方法，其中，所述图像是具有帧组的移动图像，步骤(a)包括下列步骤从所述移动图像的帧组中，临时截断作为要被截断的代码流的所述移动图像的至少一幅帧的全部编码数据；以及存储所述至少一幅帧的所存储的全部编码数据，并且步骤(b)包括在帧组中包括临时截断的所述至少一幅帧的全部编码数据。
32.如权利要求26所述的方法，其中，所述图像是具有若干帧的移动图像，步骤(a)包括下列步骤添加信息到所述移动图像的至少一幅帧的编码数据，所述信息表明作为所述被截断的代码流的所述至少一幅帧的全部编码数据不受解码影响，并且步骤(b)包括下列步骤放弃添加给至少一幅帧的编码数据的所述信息。
33.如权利要求31所述的方法，进一步包括步骤根据取消释放命令，放弃已存储的至少一个帧的全部的编码数据。
34.如权利要求32所述的方法，进一步包括步骤根据取消释放命令，放弃至少一个被添加了所述信息的帧的全部的编码数据。
35.如权利要求27所述的方法，其中作为被截断的代码流而被处理的单位是由用户选择的。
36.如权利要求35所述的方法，其中作为被截断的代码流而被处理的单位是层、分辨率水平、位平面、板块、包和成分中的一种。
37.如权利要求31所述的方法，进一步包括步骤(c)自动选择作为被截断的代码流而被处理的帧。
38.如权利要求32所述的方法，进一步包括步骤(c)自动选择作为被截断的代码流而被处理的帧。
39.如权利要求37所述的方法，其中，步骤(c)自动选择较少移动的帧，每第N幅帧，具有大幅摄像机抖动的帧，或不包括人物的帧。
40.如权利要求38所述的方法，其中，步骤(c)自动选择较少移动的帧，每第N个帧，具有大幅摄像机抖动的帧，或不包括人物的帧。
41.如权利要求26所述的方法，其中原始的编码数据以JPEG 2000或Motion-JPEG 2000为基础。
42.如权利要求26所述的方法，进一步包括步骤基于第二编码数据来解码和扩展第二编码数据以再生图像，第二编码数据是通过部分截断所要截断的某种形式的普通编码数据而产生的；和显示所再生的图像。
43.如权利要求26所述的方法，进一步包括步骤解码和扩展原始的编码数据或所恢复的原始的编码数据来再生图像；和显示所再生的图像。
44.一种处理图像的程序，包括根据选择性的截断命令，部分截断所要截断的某种形式的图像的普通编码数据，来创建被截断的代码流的程序代码(a)；和根据取消命令，恢复原始编码数据的程序代码(b)，已从该原始编码数据中通过部分代码流截断手段临时创建被截断的代码流。
45.如权利要求44所述的程序，程序代码(a)包括把原始编码数据变成第二编码数据，以使第二编码数据不包括被截断的代码流的程序代码；和存储被截断的代码流的程序代码，程序代码(b)包括把第二编码数据和已存储的被截断的代码流相结合，以恢复原始的编码数据的程序代码。
46.如权利要求45所述的程序，进一步包括根据取消释放命令放弃存储的被截断的代码流的程序代码。
47.如权利要求44所述的程序，程序代码(a)包括把原始编码数据的原始标签信息变成表示被截断的代码流不受解码影响的第二标签信息的程序代码，程序代码(b)包括把第二标签信息变回到原始的标签信息。
48.如权利要求47所述的程序，进一步包括根据取消释放命令，放弃被截断的代码流的程序代码，关于该被截断的代码流，原始标签信息被变成第二标签信息。
49.如权利要求44所述的程序，其中所述图像是具有帧组的移动图像，程序代码(a)包括从移动图像的帧组中临时截断所述移动图像的至少一个帧的全部的编码数据，作为被截断的代码流的程序代码；和存储该至少一个帧的已存储的全部的编码数据的程序代码，并且程序代码(b)包括在该帧组中包括临时被截断的至少一个帧的全部的编码数据的程序代码。
50.如权利要求44所述的程序，其中，所述图像是移动图像，程序代码(a)包括把表示作为被截断的代码流的至少一个帧的全部的编码数据不受解码影响的信息添加给所述移动图像的至少一个帧的编码数据的程序代码，并且程序代码(b)包括放弃添加给至少一个帧的编码数据的信息的程序代码。
51.如权利要求49所述的程序，进一步包括根据取消释放命令，放弃已存储的至少一个帧的全部的编码数据的程序代码。
52.如权利要求50所述的程序，进一步包括根据取消释放命令，放弃被添加了所述信息的至少一个帧的全部的编码数据的程序代码。
53.如权利要求45所述的程序，其中，作为被截断的代码流而被处理的单位是由用户选择的。
54.如权利要求53所述的程序，其中作为被截断的代码流而被处理的单位是层、分辨率水平、位平面、板块、包和成分中的一种。
55.如权利要求49所述的程序，进一步包括自动选择作为被截断的代码流而被处理的帧的程序代码(c)。
56.如权利要求50所述的程序，进一步包括自动选择作为被截断的代码流而被处理的帧的程序代码(c)。
57.如权利要求55所述的程序，其中，程序代码(c)包括自动选择较少移动的帧，每第N个帧，具有大幅照相机抖动的帧，或不包括人物的帧的程序代码。
58.如权利要求56所述的程序，其中，程序代码(c)包括自动选择较少移动的帧，每第N个帧，具有大幅摄像机抖动的帧，或不包括人物的帧的程序代码。
59.一种存储了处理图像的程序的计算机可读存储介质，该程序包括根据选择性的截断命令，部分截断所要截断的某种形式的图像的普通编码数据，来创建被截断的代码流的程序代码(a)；和根据取消命令，恢复原始编码数据的程序代码(b)，已从该原始编码数据中通过部分代码流截断手段临时创建被截断的代码流。
60.如权利要求59所述的计算机可读存储介质，程序代码(a)包括把原始编码数据变成第二编码数据这样以致于第二编码数据不包括被截断的代码流的程序代码；和存储被截断的代码流的程序代码，程序代码(b)包括把第二编码数据和已存储的被截断的代码流相结合，以恢复原始的编码数据的程序代码。
61.如权利要求60所述的计算机可读存储介质，程序进一步包括根据取消释放命令放弃存储的被截断的代码流的程序代码。
62.如权利要求59所述的计算机可读存储介质，程序代码(a)包括把原始编码数据的原始标签信息变成表示被截断的代码流不受解码影响的第二标签信息的程序代码，程序代码(b)包括把第二标签信息变回到原始的标签信息。
63.如权利要求62所述的计算机可读存储介质，该程序进一步包括根据取消释放命令，放弃被截断的代码流的程序代码，关于该被截断的代码流，原始标签信息被变成第二标签信息。
64.如权利要求59所述的计算机可读存储介质，其中所述图像是具有帧组的移动图像，程序代码(a)包括从移动图像的帧组中临时截断所述移动图像的至少一个帧的全部的编码数据，作为被截断的代码流的程序代码；和存储该至少一个帧的已存储的全部的编码数据的程序代码，并且程序代码(b)包括在该帧组中包括临时被截断的至少一个帧的全部的编码数据的程序代码。
65.如权利要求59所述的计算机可读存储介质，其中所述图像是移动图像，程序代码(a)包括把表示作为被截断的代码流的至少一个帧的全部的编码数据不受解码影响的信息添加给所述移动图像的至少一个帧的编码数据的程序代码，并且程序代码(b)包括放弃添加给至少一个帧的编码数据的信息的程序代码。
66.如权利要求64所述的计算机可读存储介质，程序进一步包括根据取消释放命令，放弃已存储的至少一个帧的全部的编码数据的程序代码。
67.如权利要求65所述的计算机可读存储介质，程序进一步包括根据取消释放命令，放弃被添加了所述信息的至少一个帧的全部的编码数据的程序代码。
全文摘要
根据部分代码流截断命令，部分代码流截断处理单元临时截断编码数据的代码行。部分代码流截断处理单元也可临时逐帧地截断代码行。根据取消命令，恢复处理单元恢复已临时被截断的代码行的编码数据。该临时被截断帧被包括在移动图像的帧组中。根据取消释放命令，代码行放弃单元放弃临时被截断去的码行或帧。编码数据具有JPEG或Motion－JPEG 2000格式。
文档编号H04N7/24GK1501689SQ03164970
公开日2004年6月2日 申请日期2003年9月6日 优先权日2002年9月6日
发明者矢野隆则, 井上隆夫, 夫, 一, 高桥彰, 幸, 池辺庆一, 作山宏幸, 子, 児玉卓, 草津郁子, 牧隆史 申请人:株式会社理光