专利名称：Roi设置方法和设备、电子照相机设备、程序和记录介质的制作方法
技术领域：
广义地，本发明涉及图像处理领域，具体地，本发明涉及用于在诸如电子照相机设备这样的电子处理设备中设置图像的感兴趣区域(ROI)的技术。
背景技术：
在例如数字照相机这样的电子设备中，捕获的图像通常在被记录到记录介质上之前被压缩。
目前，JPEG被广泛用于压缩图像数据；然而，正在进行相当大数量的研究来促进新的图像压缩技术也就是JPEG 2000(ISO/IEC FCD 15444-1)的使用。JPEG 2000具有可选择的区域图像质量改进功能(ROI功能)，用于降低图像的感兴趣区域的压缩比(提高图像质量)而不用降低整个图像的压缩比。
这个ROI功能尤其对电子照相机设备有吸引力。通过将被捕获图像的重要区域设置为ROI，能够在重要的区域中保持较高的图像质量，同时能够显著地减少除重要区域之外的整个图像的数据量。
为了使用ROI功能，有必要指明每个单独的被捕获图像中的ROI。例如，在日本专利公开出版物No.2001-230947中公开了用于指明ROI的为大众所熟知的技术。在这个文件中，公开了具有显示导向框或者模板图像的EVF(电子取景器)屏幕的电子照相机设备。导向框或者模板图像被用作用于定位和捕获图像的基像。然后，导向框以内的区域或者不同于模板图像的区域在捕获图像的压缩过程中被处理为ROI。同样的，ROI信息被记录在相应图像文件的头部，因此在图像重现过程中ROI能够被显示在重现图像的剩余部分上。
同样的，日本专利公开出版物No.2001-119625公开了一种数字照相机，它依据用户的操作来确定所捕获图像的主要目标的范围，将这个范围处理为ROI，用比其他各区域更低的压缩比来压缩对应的范围，并且在相应的被压缩图像文件的头部上描述ROI信息。该公开出版物提到可以根据图像的边界或者柱状图信息来自动确定主要目标的范围。然而，在这个文件中没有显示提及了JPEG 2000。
如在日本专利公开出版物No.2001-230947中所公开的使用导向框或者模板图像的ROI设置方法限制了定位和场景捕获操作的灵活性。
同样的，如日本专利公开出版物No.2001-119625中所公开的将主要目标的范围手动设置为ROI的方法，存在着手动操作可能非常麻烦并且此方法可能不能用于静止图像的连续捕获或者移动图像的捕获等的问题。尽管提到了根据图像的边界和频率曲线来自动确定主要目标的范围，但在这个文件中没有显示已经公开了用于确定ROI的详细方法。诸如上述确定方法等因素决定了所确定的ROI的正确性。
同样的，一般而言，在将ROI设置操作自动化的过程中需要考虑很多种的场景捕获操作。此外，因为用户偏好可以千变万化，所以更可行的作法也许是容许用户在某种程度上干预捕获操作。
发明内容
本发明的构想针对着先有技术的上述问题，并且其一般性目的是提供ROI设置设备和方法，该设备和方法能够在如电子照相机设备等图像处理设备中实现更加实用的ROI设置功能。本发明的另一个一般性目的是提供诸如数字照相机等电子照相机设备，该设备具有更加实用的ROI设置功能。
依据本发明的一个方面，ROI设置设备包括多个ROI识别装置，每个都适用于根据预定的方法来识别图像数据的ROI并且由此获得识别结果；和ROI控制单元，适用于从多个ROI识别装置选择ROI识别装置并且根据由所选ROI识别装置获得的识别结果来设置ROI信息。
因为能够使用对应于ROI识别方法的多个不同的ROI识别装置，所以能够执行合适的ROI设置操作，用于多种捕获场景的各种图像数据。值得注意的是，本发明的ROI设置设备可以用在静止图像的连续捕获或者移动图像的捕获中。
此外，ROI控制单元可以依据来自用户的指令来选择ROI识别装置。用户能够如愿地改变ROI识别方法以便于可以进行最佳ROI设置操作。
在本发明的一个实施例中，ROI控制单元可以依据用户选择的场景类型来选择ROI识别装置。用户可只选择场景类型，而ROI可根据这个场景类型的最佳ROI识别方法来设置。
此外，在本发明的一个实施例中，ROI控制单元可以依据所选区域设置ROI信息，该所选区域选自由所选ROI识别装置识别的多个区域，该所选区域的选择依据诸如来自用户的指令。用户能够更改自动识别的ROI来设置适合用户偏好的最佳ROI。
另外，在本发明的一个实施例中，ROI控制单元可以依据用户的指令来放大或者缩小由所选的ROI识别装置识别的区域。用户能够更改自动识别的ROI来设置适合用户偏好的最佳ROI。
同样的，在本发明的一个实施例中，多个ROI识别装置中的每一个都可以包括一个识别条件，并且ROI控制单元可以依据来自用户的指令来改变所选ROI识别装置的识别条件。用户能够调整ROI识别条件来设置适合用户偏好的最佳ROI。
此外，在本发明的一个实施例中，多个ROI识别装置中至少有一个适合于检测包含面部的图像数据区域并且将上述区域用作基本区域以便于识别ROI。例如，肖像图像的面部部分可以被设置为ROI。
另外，在本发明的一个实施例中，多个ROI识别装置中至少有一个适合于检测高频成分集中的图像数据区域并且将此区域用作基本区域以便于识别ROI。例如，风景图像的细致部分可以被设置为ROI。
同样的，在本发明的一个实施例中，多个ROI识别装置中至少有一个适合于检测集中了具有显著对比图案的图像数据区域并且将此区域用作基本区域以便于识别ROI。包括条形码或者字母的图像区域能够被设置为ROI。
另外，在本发明的一个实施例中，多个ROI识别装置中至少有一个适合于检测在包括目标的图像数据的中心部分处的区域并且将此区域用作基本区域以便于识别ROI。包括经常位于图像的中心部分的目标的区域能够被设置为ROI。
同样的，在本发明的一个实施例中，多个ROI识别装置中至少有一个适合于将用于图像数据的图像捕获操作的AF评估区域作为基本图像以便于识别ROI。包括在其上进行聚焦的目标的区域能够被设置为ROI。
另外，在本发明的一个实施例中，多个ROI识别装置中至少有一个适合于将用于图像数据的图像捕获操作的AE评估区域作为基本图像以便于识别ROI。包括在其上进行曝光的目标的区域能够被设置为ROI。
同样的，在本发明的一个实施例中，多个ROI识别装置中至少有一个适合于检测其中察觉到移动的图像数据的区域并且将此区域用作基本区域以便于识别ROI。在移动目标的所捕获图像中包括移动目标的区域能够被设置为ROI。
另外，在本发明的一个实施例中，多个ROI识别装置中至少有一个适合于抽取比恰好在图像捕获操作之前获得的监视图像数据的对应区域显著明亮的图像数据的区域并且将此区域用作基本区域以便于识别ROI。所捕获的闪光图像中，包括不远处目标的部分能够被设置为ROI。
同样的，在本发明的一个实施例中，多个ROI识别装置中至少有一个适合于检测图像数据高亮区域并且将此区域用作基本区域以便于识别ROI。包括目标的图像的明亮部分能够被设置为ROI。
另外，在本发明的一个实施例中，多个ROI识别装置中至少有一个适合于检测图像数据的高亮区域，将在图像数据预定部分的高亮区域部分从上述区域中去除，并且将所得结果的区域用作基本区域以便于识别ROI。除了表示天空的图像的上部分以外，图像的明亮部分能够被设置为ROI。
同样的，在本发明的一个实施例中，多个ROI识别装置中至少有一个适合于根据图像数据的被压缩数据的数据包的大小来识别ROI。如下面所述，依据JPEG 2000，板块(tile)数据是被称为分区(precincts)的各个区域的数据包，具有较大包尺寸(代码的数量)的分区有可能是图像的重要部分。能够根据每个分区的数据包的大小来设置ROI。
在本发明的另一个实施例中，电子照相机设备包括依据本发明的ROI设置设备。能够设置最佳ROI用于各种被捕获场景，并且还能够依据用户偏好来设置ROI。
在本发明的另一个方面中，依据本发明，程序允许计算机起到ROI识别设备的多个ROI识别装置和ROI控制单元的功能。此外，在本发明的另一个方面中，计算机可读记录介质存储依据本发明的程序。通过利用这些程序和/或者记录介质，本发明的ROI设置设备能够通过例如个人计算机或者微型计算机这样的计算机来实现。
在本发明的另一个方面，ROI设置方法包括第一步，从多个ROI识别方法中选择ROI识别方法；第二步，依据在第一步中所选的ROI识别方法来识别图像数据的ROI并且由此获得识别结果；以及第三步，依据在第二步中所获的识别结果来设置ROI信息。
图1是图解说明本发明的实施例的示意性的方框图；图2是图解说明JPEG 2000图像压缩/解压缩算法的示意性的方框图；图3A-3D是图解说明二维小波变换处理的示意图；图4是显示依据JPEG 2000所产生的被压缩图像数据(代码流)的结构的示意图；图5是ROI设置操作的流程图；图6是如图5中所示的步骤S2的流程图；图7是ROI识别装置(1)的流程图；图8是ROI识别装置(2)的流程图；图9是ROI识别装置(3)的流程图；图10是ROI识别装置(4)的流程图；图11是ROI识别装置(5)的流程图；图12是ROI识别装置(6)的流程图；图13是ROI识别装置(7)的流程图；图14是ROI识别装置(8)的流程图；图15是ROI识别装置(9)的流程图；具体实施方式
在如下所述的本发明的优选实施例中，符合JPEG 2000的算法被用于图像的压缩过程中。例如，“新一代图像编码技术JPEG 2000”(Next GenerationImage Encoding Technique JPEG 2000，Yasuyuki Nomizu，Triceps，Co.Ltd.)中详细描述了依据JPEG 2000的图像压缩算法。在下文中，参考图2到4给出该算法的简要描述。
图2是图解说明依据JPEG 2000的图像压缩/解压缩步骤的示意性方框图。在这里，待压缩处理的图像数据(例如，在处理移动图像时每帧图像数据)被分成彼此互不重叠的被称为板块的矩形区域。在DC电平/颜色空间转换/反转换单元200中，执行电平漂移操作和颜色空间转换过程以便于增加压缩比。电平漂移操作包括从如RGB这样无代码的整形值中减去动态范围的一半。在有代码的整形值上不进行电平漂移操作，因此，如果输入的图像数据对应YCrCb数据，例如，已经附加了代码的Cr和Cb部分将不经过电平漂移操作。颜色空间转换过程包括当输入的图像数据对应RGB数据或者CMY数据的时候将输入的图像数据转换成YCrCb数据。应注意在可替换的实施例中，可以省略这个DC电平/颜色空间转换器/反转换单元200。
然后，在二维小波变换/反变换单元202中，对已经被DC电平/颜色空间转换器/反转换单元200处理过的每个板块的每个成分的图像数据进行二维小波变换(离散小波变换DWT)。
图3A-3D是图解说明在分解级别为三时的示意性的二维小波变换过程。具体的，随着二维小波变换过程，如图3A中所示的板块图像被分成如图3B中所示的子带1LL、1HL、1L和1HH。然后，通过在子带1LL的系数上进行进一步的二维小波变换，子带1LL被分成如图3C中所示的子带2LL、2HL、2LH和2HH。然后，通过在子带2LL的系数上进行进一步的二维小波变换，子带2LL被分成如图3D中所示的子带3LL、3HL、3LH、3HH。
回过来参考图2，从低频率成分(子带LL的系数)的递归划分(倍频程划分，octave division)而获得的每个子带系数被量化/反量化单元204所量化，此后通过熵编码/解码单元206来编码数据。在JPEG 2000中，可逆压缩(无损压缩)和不可逆压缩(有损压缩)两种都是有可能的。在可逆压缩情况中，量化节距宽度是1，即量化在这个阶段实际上并不被执行。
熵编码/解码单元206在小波系数上进行熵编码。在上述熵编码中，使用了被称作EBCOT(具有优化截断的嵌入式块编码)块基位平面编码方案，包括块的划分、系数建模和二进制算术编码。待编码的小波系数或者是正整数或者是负整数，并且当以指定的次序执行这些系数的扫描操作的时候，从较高位平面到较低位平面一次一个位平面地对以绝对值表示的系数进行编码。
在熵编码/解码单元206中生成的编码序列被发送到标签处理单元208中，其中编码序列被排列成其上具有附加标签信息的代码流，然后输出代码流。
图4是图解说明代码流(被压缩的图像数据)的结构的图。如图中所示，代码流起始于SOC标记，其后为主头部，用来描述参数，例如用于编码操作的参数或者用于量化处理的参数。然后是各个板块的代码流。每个板块的代码流起始于SOT标记，其后紧跟着板块头部，然后是SOD标记，和板块数据。此外，在代码流中最后一个板块数据组之后放置一个指示代码流结束的EOC标记。每组板块数据对应于在被称作分区的每个区域中的子带系数代码的数据包。
在这里，应该注意到除高压缩比(低位比)下实现极好的图像品质之外，依据JPEG 2000的算法还具有许多其他特征。
JPEG 2000算法的一个特征是如上所述的选择性区域图像品质改进功能(ROI功能)。依据JPEG 2000的基本方法(JPEG 2000，部分1)，采用了在编码小波系数之前将被选区域的小波系数值移动到较高位平面并且将其他区域的小波系数移动到低位平面的ROI方法(最大位移方法，maxshift)。可替代的，可以通过使用比在其他区域使用的更为细致的量化节距来量化ROI的小波系数值，在量化过程中实现ROI功能。在任一情况中，所述ROI方法都能够实现代码总量的减少而不降低图像的ROI图像品质。
回过去参考图2，代码流的解压缩过程是压缩过程的相反过程。即，读取输入代码流的标签信息，并且借助标签处理单元208将其分成各个板块的各个成分的代码序列。然后，借助熵编码/解码单元206以依据标签信息的顺序将所得结果的序列解码成小波系数。通过量化/反量化单元204将解码的小波系数反量化，此后借助二维小波变换/反变换单元202对反量化数据执行二维小波反变换以便于重现各个板块的各个成分的图像数据。然后，DC电平/颜色空间转换/反转换单元200在各个板块的各个部分的图像数据上进行与在压缩过程中执行的转换相反的转换，然后输出图像。
图1是图解说明本发明的实施例的示意性的方框图。如此图中所示的电子照相机设备具有图像捕获单元100、存储单元102、显示单元104、压缩/解压缩单元106、写/读单元108、包括ROI控制单元120和ROI识别单元122的ROI设置设备、和用于用户输入ROI设置操作有关指令的操作单元124。
图像捕获单元100通过光学镜头利用图像传感器捕获目标图像并且输出所捕获得图像数据，就如同数字照相机的传统的图像捕获单元。此外，图像捕获单元100具有静止图像捕获模式和移动图像捕获模式。同样的，图像捕获单元100可以具有诸如自动聚焦(AF)功能，自动曝光(AE)功能和闪光功能。在本实施例中，假设电子照相机设备使用AF配置和AE配置以便于根据图像的多个评估区域来确定聚焦条件或者曝光条件。
存储单元102用于临时存储由图像捕获单元100输出的图像数据或者由压缩/解压缩单元106解压缩的图像数据。显示单元104用于在LCD面板上显示例如存储在存储单元102中的图像数据和其他信息，并且还被用作EVF(电子取景器)。压缩/解压缩单元106用于利用依据如上所述的JPEG 2000的算法来在图像数据上执行压缩处理并且在代码流上执行解压缩过程。写/读单元108用于将从压缩/解压缩单元106输出的代码流写入记录介质110中作为图像文件或者从记录介质110中读取图像文件。
ROI识别单元122被设置为自动识别图像的ROI，包括十种不同的ROI识别装置(1)到(10)，每一个都符合彼此互不相同的ROL识别方法。这些识别装置的每一个ROI识别方法将在后面详细描述。ROI控制单元120用于依据对与ROI识别单元122的ROI识别装置的选择、所选ROI识别装置的控制和被ROI识别装置所识别的ROI(候选)的有关的信息来最终设置ROI信息。ROI控制单元120还存储ROI识别条件(参数值)。
将来自用户的有关ROI设置操作的指令从操作单元124输入到ROI控制单元120。在下面，给出了从操作单元124输入的指令的实例。
(a)执行涉及用户的ROI设置操作的指令；(b)在涉及用户的ROI设置操作期间给出的指令，在已经自动识别了多个ROI(候选)的情况中指示特殊区域的选择；(c)在涉及用户的ROI设置操作期间给出的指令，指示已经被自动识别的ROI(候选)的放大/缩小；(d)在涉及用户的ROI设置操作期间给出的指令，指示改变有关ROI识别过程的参数；(e)选择ROI识别方法(装置)的指令；(f)自动设置静止图像的ROI的指令；(g)捕获移动图像时自动设置ROI的指令。
同样的，图像捕获单元100将图像捕获条件信息提供给ROI控制单元120，诸如图像捕获模式信息(区别静止图像捕获模式和移动图像捕获模式的信息)、闪光信息(指示闪光模式的信息)、AF信息(关于用在用于图像捕获操作的聚焦评估中的AF评估区域的信息)、AE信息(关于用在用于图像捕获操作的最佳曝光评估中的AE评估区域的信息)和场景选择信息(指示被场景选择开关选择的场景的类型的信息)等等。
图5是图解说明涉及用户的ROI设置操作的流程图，该操作在诸如每次捕获静止图像的时候被执行。在这样的情况中，在静止图像捕获模式中，在监视操作期间(或者通过图像[through image]显示的期间)可以给出执行涉及用户的ROI设置操作的指令(a)，在此操作期间，被图像捕获单元100捕获的图像(监视图像或者通过图像)在显示单元104上被连续显示。
如图5中所示，在步骤S1中，ROI控制单元120选择在ROI识别单元122中被实现的ROI识别装置中的一个。在图像捕获单元100的场景选择开关已选择某特殊场景类型的情况下，依据场景选择信息选择用于被选场景类型的ROI识别装置。在没有选择场景类型的情况下，选择默认ROI识别装置或者由用户预先指定的ROI识别装置。
图像捕获单元100执行场景监视直到按下释放开关。在这里，图像捕获单元100连续地输出监视图像的数据，这些数据被存储在存储单元102中。然后，在显示单元104上显示监视图像。应该注意到监视图像通常是其中略去一些扫描线的图像。
当按下释放开关时，图像捕获单元100捕获静止图像。没有略去扫描线的被捕获的静止图像的数据被存储在存储单元102中，在此之后，在显示单元104上显示这个被捕获的图像。在这里，至少一个刚好在图像捕获操作之前获得的监视图像的数据也被存储在存储单元102中。
在步骤S2中，ROI控制单元120管理所选ROI识别装置从而在这个被捕获的静止图像数据上执行ROI识别过程，并且还管理显示单元104从而在被捕获的静止图像上显示被识别的ROI。此时，有可能进行诸如放大/缩小操作或者选择被自动识别的ROI，或者改变确定ROI识别条件的参数值。这些操作将在后面详细描述。
在步骤S3中，如果用户通过操作单元124输入指令来确认ROI，则在步骤S5中，ROI控制单元120基于当前ROI确认ROI信息，并且将这个信息设置到压缩/解压缩单元106和写/读单元108。同样的，ROI控制单元120存储用于这个ROI识别过程的参数值。然后在步骤S6中，通过压缩/解压缩单元106来压缩存储在存储单元102中的被捕获的静止图像数据，并且借助写/读单元108将所得结果的代码流写在记录介质110上作为图像文件。在这个压缩过程中，依据所设置的ROI信息，用比其他区域更低的压缩比来压缩ROI。同样的，在图像文件的头部中描述ROI信息。
此外，如果用户在步骤S2以后输入指令(e)来选择ROI识别装置，则可以改变ROI识别装置。为响应这个指令，ROI控制单元120在步骤S4中选择不同于当前所选ROI识别装置的一个ROI识别装置，并且管理新的所选ROI识别装置来重新执行ROI识别过程并且在显示单元104上显示被识别的ROI。
图6是图解说明用于步骤2的操作的详细处理步骤的流程图。
首先，在步骤S11中，ROI控制单元120设置用于控制所选ROI识别装置(方法)的识别条件的参数值(下面描述)。参数值可以是默认值或者先前使用并存储的值。然后，在步骤S12中，ROI控制单元120管理ROI识别装置以便于执行ROI识别，并且管理显示单元104来在捕获的图像上显示被识别的ROI(在此时仍然是候选ROI)。
因此，用户能够看见被显示的候选ROI，然后如果必要或者需要，能够输入指令(b)、(c)和/或者(d)。更明确的，当识别出多个候选ROI的时候，例如，用户可以在显示单元104的屏幕上利用光标来指定必须或者想要的区域和不需要的区域(指令(b))。同样的，用户可以使用显示在显示单元104的屏幕上的放大/缩小指示器来指示被识别的候选ROI中所需区域的放大/缩小，或者使用光标指示每个候选ROI的放大/缩小(指令(c))。同样的，用户可以利用显示在显示单元104上的参数值指示器来指示控制ROI识别条件的参数值的增加或者减少(指令(d))。
在步骤S14中，ROI控制单元120确定从操作单元124输入的指令的类型，并且依据确定的指令来执行适当的操作。
在输入区域选择指令(b)的情况中，过程进行到步骤S15，其中ROI控制单元120使得用户从多个被识别的候选ROI中所选择的区域失效。因此，当识别出多个候选ROI的时候用户能够使得优选的候选ROI生效。可以重复执行这个过程，并且在每次执行这个过程以后，在步骤S12中重新布置显示。
在输入区域放大/缩小指令(c)的情况中，过程进行到步骤S16，其中ROI控制单元120依据这个指令来放大或者缩小候选ROI。因此，用户能够按需要或必要放大或者缩小自动识别的候选ROI。可以重复执行这个过程，在每次执行这个过程以后，在步骤S12中重新布置显示。
在输入参数改变指令(d)的情况中，过程进行到步骤S17，其中ROI控制单元120改变参数值，并且管理ROI识别装置来再次执行识别过程以便于在步骤S12中在显示单元104上显示新识别出的候选ROI。
接下来，将描述在ROI识别单元122中执行的每个ROI识别装置和有关每个ROI识别装置的各自的参数。
参考图7，依据ROI识别装置(1)，在步骤S21中在图像数据上执行面部部分识别过程以便于特别考虑人的眼睛、鼻子、嘴和其他面部特征并且从图像中检测人的面部的中心区域。然后在步骤S22中，检测具有显著对比并且包括中心区域(基本区域)的范围，并且在步骤S23中，轻微放大检测到的范围并且将这个放大的范围识别为候选ROI。在这里，显著对比的确定阀值和/或者范围的放大程度符合这个ROI识别装置(1)的参数值。此外，当通过场景选择开关将“人”选作场景类型时，选择这个ROI识别装置(1)。同样的，在步骤S22中检测到的范围可以被用作候选ROI而不用被放大。
参考图8，依据ROI识别装置(2)，在步骤S31中检测高频成分集中的图像区域。然后在步骤S32中，检测具有显著对比并且包括这个区域(基本区域)的范围，并且在步骤S33中，轻微放大检测到的范围并且将这个放大的范围识别为候选ROI。在这里，高频成分检测阀值、显著对比确定阀值和/或者范围的放大程度都符合这个ROI识别装置(2)的参数值。此外，在步骤S32中检测到的范围可以被用作候选ROI而不用被放大。
参考图9，依据ROI识别装置(3)，在步骤S41中检测其中集中了具有诸如条码或者字母等明显对比图案的图像区域。然后在步骤S42中，检测具有显著对比并且包括这个区域(基本区域)的范围，并且在步骤S43中，轻微放大检测到的范围并且将这个放大的范围识别为候选ROI。在这里，显著对比确定检测阀值、显著对比确定阀值和/或者范围的放大程度都符合这个ROI识别装置(3)的参数值。此外，在步骤S42中检测到的范围可以被用作候选ROI而不用被放大。
参考图10，依据ROI识别装置(4)，在步骤S51中识别位于图像中心部分的目标。然后，在步骤S52中，检测具有显著对比并且包括所识别的目标区域(基本区域)的范围。然后，在步骤S53中，轻微放大检测到的范围并且将这个放大的范围识别为候选ROI。在这里，显著对比确定检测阀值和/或者范围的放大程度都符合这个ROI识别装置(4)的参数值。此外，在步骤S52中检测到的范围可以被用作候选ROI而不用被放大。
参考图11，依据ROI识别装置(5)，在步骤S61中检测具有显著对比并且包括用在聚焦确定中的最终AF评估区域(由图像捕获单元100作为AF信息提供)的范围。然后在步骤S62中，轻微放大检测到的范围并且将这个放大的范围识别为候选ROI。在这里，显著对比确定阀值和/或者范围的放大程度都符合这个ROI识别装置(5)的参数值。此外，在步骤S61中检测到的范围可以被用作候选ROI而不用被放大。同样的，为了在记录介质110中记录的图像上使用ROI识别装置(5)，可以在相应的图像文件的头部上记录捕获这个图像时所获得的AF信息。
参考图12，依据ROI识别装置(6)，在步骤S71中检测具有显著对比并且包括用在最佳曝光确定中的最终AE评估区域(由图像捕获单元100作为AE信息提供)的范围。然后在步骤S72中，轻微放大检测到的范围并且将这个放大的范围识别为候选ROI。在这里，显著对比确定阀值和/或者范围的放大程度都符合这个ROI识别装置(6)的参数值。此外，在步骤S71中检测到的范围可以被用作候选ROI而不用被放大。同样的，为了在记录介质110中记录的图像上使用ROI识别装置(6)，可以在相应的图像文件的头部上记录捕获这个图像时所获得的AE信息。
参考图13，依据ROI识别装置(7)，在步骤S81检测在待处理图像中能够检测到移动的区域，其中移动的检测基于诸如待处理图像和恰好在图像捕获操作之前的空闲图像之间的对比。然后在步骤S82中，检测具有显著对比并且包括这个区域(基本区域)的范围。然后在步骤S83中，轻微放大检测到的范围并且将这个放大的范围识别为候选ROI。在这里，移动确定阀值、显著对比确定阀值和/或者范围的放大程度都符合这个ROI识别装置(7)的参数值。此外，在步骤S82中检测到的范围可以被用作候选ROI而不用被放大。当通过场景选择开关将“移动目标”选择作为场景类型的时候选择这个ROI识别装置。同样的，为了在记录介质110中记录的静止图像上使用ROI识别装置(7)，可以在图像捕获阶段中检测发生移动的范围并将这个信息记录在相应的图像文件的头部上。
参考图14，依据用在闪光图像捕获操作中的ROI识别装置(8)，在步骤S91中检测比恰好在打开闪光之前的空闲图像中对应区域显著更亮的待处理图像(例如，人或者一些其他目标)区域。然后在步骤S92中，检测具有显著对比并且包括这个区域(基本区域)的范围，并且在步骤S93中，轻微放大检测到的范围并且将这个放大的范围识别为候选ROI。在这里，用于确定在所处理图像中比在空闲图像中更亮的区域的阀值、显著对比确定阀值和/或者范围的放大程度都符合这个ROI识别装置(8)的参数值。此外，在步骤S92中检测到的范围可以被用作候选ROI而不用被放大。
参考图15，依据ROI识别装置(9)，在步骤S101中检测图像的高亮区域，然后在步骤S102中，检测具有显著对比并且包括这个区域(基本区域)的范围。然后，在步骤S103中，轻微放大检测到的范围并且将这个放大的范围识别为候选ROI。在这里，高亮确定阀值、显著对比确定阀值和/或者范围的放大程度都符合这个ROI识别装置(9)的参数值。此外，在步骤S102中检测到的范围可以被用作候选ROI而不用被放大。
ROI识别装置(10)用与ROI识别装置(9)的方式相同的方式来识别区域。然而，ROI识别装置(10)还从ROI识别装置(9)所检测到的高亮区域中减去一个高亮区域部分，所减去的高亮区域部分(例如，对应于天空的区域)超过预定值并且位于图像的预定区域(例如，上部区域)，并且将所得结果的区域识别为候选ROI。
现在，回过来参考图5，将描述在给定用于在静止图像捕获模式中自动设置ROI的指令(f)的基础上执行的操作。
在这个情况中，在步骤S1中，ROI控制单元120选择用户所预先指定的ROI识别装置或者对应于场景选择开关所选场景类型的ROI识别装置。在步骤S2中，对每个捕获图像通过ROI识别装置来识别候选ROI。对用于ROI识别过程的参数值，如果存储了用于所选ROI识别装置的参数值，则使用存储的参数值，如果没有存储用于所选识别装置的参数值，则将默认参数值设置给ROI识别装置。然后，在步骤S5中，不用等待来自用户的确认指令，将所识别的候选ROI确认为ROI，并且将这个ROI信息设置给压缩/解压缩单元106和写/读单元108。此外，在这个情况中，尽管可以进行ROI识别装置的改变(步骤4)，但是不可以进行区域的选择(图6，步骤S15)、区域的放大/缩小(图6，步骤S16)和参数的改变(图6，步骤S17)。
另一方面，当给定了用于在移动图像捕获模式中自动设置ROI的指令(g)的时候，执行与在响应用于在静止图像捕获模式中自动设置ROI的指令(f)所执行的相同的操作，不同之处仅在于对于所捕获的移动图像相应的每个捕获帧的每张图像，ROI被自动设置。此外，对于移动图像数据，每个所捕获的帧的图像被单独压缩，像静止图像一样，在此之后全部帧的图像数据以移动JPEG 2000(ISO/IEC FCD 15444-1)文件格式记录在记录介质110上。
当在图像重放模式中给定执行涉及用户的ROI设定的指令(a)时，用户可以干预设置静止图像或者移动图像的每帧图像的ROI，所述图像的ROI通过无损压缩或者低比例压缩并且记录在记录介质110上。下面参考图5描述在这种情况中执行的操作。
在示范性的图像重放模式中，可以在显示单元104上显示已经记录在记录介质110上的多个图像的缩略图或者列表，并且用户能够选择所需图像。
当选择了特定图像时，写/读单元108读出对应的图像文件并且通过压缩/解压缩单元106来解压缩。然后在存储单元102中存储被解压缩的图像数据，并在显示单元104上显示图像。然后，在步骤S2中，借助所选的ROI识别装置来识别ROI。剩下的操作与图像捕获操作随后的ROI设置操作完全相同。然而，不可使用ROI识别装置(5)和/或者ROI识别装置(6)，除非在对应的图像文件的头部中描述了AF信息和/或者AE信息。同样的，在重放静止图像的情况中，不可使用ROI识别装置(7)和ROI识别装置(8)。在重放移动图像的情况中，因为能够在相邻帧的图像之间检测移动，所以可以使用ROI识别装置(7)，但是不可使用ROI识别装置(8)。
如果在重放的图像中已经设置了ROI，则将在对应的图像文件的头部中描述这个ROI信息。因此，ROI控制单元120管理显示单元104以便于依据这个ROI信息在图像上显示ROI。
在上述示范性操作中，使用了ROI识别单元122。可替代的，还能够实现ROI识别方法而不用利用ROI识别单元122。下面参考图5描述这种操作的示例。
当在步骤S1或者S4中选择上述ROI识别方法而不用使用ROI识别单元122的时候，ROI控制单元120管理压缩/解压缩单元106以便于在步骤S2中在图像数据上执行无损或者低比例压缩过程。例如，可以在分解级别1时在小波系数上进行压缩过程。然后，通过压缩/解压缩单元106来获得每个板块数据中每个数据包的大小(代码数量)，并且将其与确定阈值进行比较。然后，将对应于具有比确定的阀值更大的尺寸的数据包的区域(分区)识别为ROI。换句话说，依据这个操作，ROI控制单元120与压缩/解压缩单元106合作来起到ROI识别装置的功能。可替代的，可以独立于ROI控制单元120设置用于执行ROI识别的方法。在步骤S6中，将ROI信息设置到压缩/解压缩单元106以便于执行压缩过程。同样的，将ROI信息设置到写/读单元108以便于在将被写在记录介质110上的图像文件的头部中描述这个信息。
此外，在这个ROI识别方法中，也可能进行涉及用户的ROI识别。在这样的情况中，首先在显示单元104上显示所识别的ROI。在这里，用户能够指令诸如区域的选择(对应于图6的步骤S15)、区域的放大/缩小(对应于图6的步骤S16)和/或者数据包大小确定阀值的改变(对应于图6的步骤S17)。然后，当用户输入完成指令的时候，ROI控制单元120确认ROI并且设置ROI信息(图5的步骤S5)。
此外可替代的，可以设置压缩/解压缩单元106来执行压缩过程而不用考虑ROI，并且可以重写具有超出数据包大小确定阀值的尺寸的数据包的头部以便于将对应于这个数据包的分区(precinct)设置成ROI。
从上述描述中很容易看出，还可以通过在诸如个人计算机或者微机这样的计算机中执行的程序来实现如图1中所示的ROI控制单元120、ROI识别单元122和部分或者全部压缩/解压缩单元106(和/或者它们的功能和/或者过程)。这样的程序和在其上记录程序的各种记录(存储)介质也都包括在本发明的范围中。同样的，依据本发明的ROI设置设备和方法不局限于在诸如数字照相机这样的电子照相机设备和它的方法中实现；相反，本发明可以应用到能够通过图像压缩记录图像的各种其他类型的图像处理设备。
依据本发明，诸如电子照相机设备这样的图像处理设备能够减少图像成帧中的限制，同时还能减少完全手动操作所产生的麻烦。此外，本发明还可以适合于各种场景和用户偏好，能够实现适用于诸如静止图像的连续捕获或者移动图像的捕获等各种操作的实用的ROI设置功能。
本申请基于并且要求早先于2002年8月9日申请的日本优先申请No.2002-232475中主张的权利，该申请的全部内容融入本文作为参考。
权利要求
1.ROI设置设备包括多个ROI识别装置，每个都适用于依据预定的方法来识别图像数据的ROI并且由此获得识别结果；和ROI控制单元，它适用于从多个ROI识别装置中选择某ROI识别装置并且基于通过所选ROI识别装置获得的识别结果设置ROI信息。
2.如权利要求1所述ROI设置设备，其中ROI控制单元依据来自用户的指令来选择ROI识别装置。
3.如权利要求1所述ROI设置设备，其中ROI控制单元依据用户所选场景类型来选择ROI识别装置。
4.如权利要求1所述ROI设置设备，其中ROI控制单元根据所选区域设置ROI信息，该所选区域从多个由所选ROI识别装置所识别的区域中选择，该所选区域依据用户的指令来选择。
5.如权利要求1所述ROI设置设备，其中ROI控制单元依据来自用户的指令来改变由所选ROI识别装置所识别的区域的大小。
6.如权利要求1所述ROI设置设备，其中多个ROI识别装置每个都包括识别条件并且ROI控制单元依据来自用户的指令来改变所选ROI识别装置的识别条件。
7.如权利要求1所述ROI设置设备，其中多个ROI识别装置中至少有一个适用于检测包括面部的图像数据的区域并且将上述区域用作基本区域以便于识别ROI。
8.如权利要求1所述ROI设置设备，其中多个ROI识别装置中至少有一个适用于检测高频成分集中的图像数据区域并且将上述区域用作基本区域以便于识别ROI。
9.如权利要求1所述ROI设置设备，其中多个ROI识别装置中至少有一个适用于检测集中了具有明显对比图案的图像数据区域并且将上述区域作为基本区域以便于识别ROI。
10.如权利要求1所述ROI设置设备，其中多个ROI识别装置中至少有一个适用于检测包括目标的图像数据中心部分的区域并且将上述区域用作基本区域以便于识别ROI。
11.如权利要求1所述ROI设置设备，其中多个ROI识别装置中至少有一个适用于将用在图像数据的图像捕获操作中的AF评估区域用作基本图像以便于识别ROI。
12.如权利要求1所述ROI设置设备，其中多个ROI识别装置中至少有一个适用于将用在图像数据的图像捕获操作中的AE评估区域用作基本图像以便于识别ROI。
13.如权利要求1所述ROI设置设备，其中多个ROI识别装置中至少有一个适用于检测其中发生移动的图像数据区域并且将上述区域用作基本区域以便于识别ROI。
14.如权利要求1所述ROI设置设备，其中多个ROI识别装置中至少有一个适用于提取比恰好在图像捕获操作之前获得的监视图像数据的对应区域显著明亮的图像数据区域并且将上述区域用作基本区域以便于识别ROI。
15.如权利要求1所述ROI设置设备，其中多个ROI识别装置中至少有一个适用于检测图像数据的高亮度区域并且将上述区域用作基本区域以便于识别ROI。
16.如权利要求1所述ROI设置设备，其中多个ROI识别装置中至少有一个适用于检测图像数据的高亮度区域，从上述区域减去在图像数据预定部分的高亮度区域部分，并将所得结果区域用作基本区域以便于识别ROI。
17.如权利要求1所述ROI设置设备，其中多个ROI识别装置中至少有一个适用于基于图像数据的压缩数据的数据包大小识别ROI。
18.电子照相机设备，包括ROI设置装置，具有多个ROI识别装置，每个都适用于依据预定的方法来识别图像数据的ROI并且由此获得识别结果；以及ROI控制单元，适用于从多个ROI识别装置中选择ROI识别装置，并且根据由所选ROI识别装置获得的识别结果来设置ROI信息。
19.管理计算机的程序，用来实现如下功能多种ROI识别装置，用来依据预定的ROI识别方法来识别图像数据的ROI，并且由此获得识别结果；以及ROI控制单元，用来从多种ROI识别装置中选择某种ROI识别装置，并且根据由所选ROI识别装置所获得的识别结果来设置ROI信息，所述ROI识别装置和所述ROI控制单元在ROI设置设备中实现。
20.计算机可读记录介质，适用于存储程序，该程序用于管理计算机以实现如下功能多种ROI识别装置，用来依据预定的ROI识别方法来识别图像数据的ROI，并且由此获得识别结果；以及ROI控制单元，用来从多种ROI识别装置中选择某种ROI识别装置，并且根据由所选ROI识别装置所获得的识别结果来设置ROI信息，所述ROI识别装置和所述ROI控制单元在ROI设置设备中实现。
21.ROI设置方法，包括第一步，从多种ROI识别方法选择一种ROI识别方法；第二步，依据第一步所选ROI识别方法，识别图像数据的ROI并且由此获得识别结果；和第三步，根据第二步所获得的识别结果，设置ROI信息。
22.如权利要求21所述ROI设置方法，其中第一步包括以下步骤依据来自用户的指令来选择ROI识别方法。
23.如权利要求21所述ROI设置方法，其中第一步包括以下步骤依据用户所选场景类型来选择ROI识别方法。
24.如权利要求21所述ROI设置方法，其中第三步包括以下步骤根据从第二步识别的多个区域中选择的区域，设置ROI信息，上述被选区域依据来自用户的指令选择。
25.如权利要求21所述ROI设置方法，其中第二步包括以下步骤依据来自用户的指令来改变由所选ROI识别装置所识别的区域的大小。
26.如权利要求21所述ROI设置方法，其中多种ROI识别方法中的每一种都包括识别条件，并且第二步包括依据来自用户的指令来改变识别条件的步骤。
全文摘要
提供了包括ROI识别单元和ROI控制单元的ROI设置设备。ROI识别单元包括用于依据各种方法来识别图像数据的ROI并且由此获得识别结果的多个ROI识别装置。ROI控制单元从多个ROI识别装置中选择一个ROI识别装置并且根据识别的结果来设置ROI信息。依据用户通过操作单元所输入的指令或者由图像捕获单元的场景选择开关所选场景类型来选择ROI识别装置。ROI控制单元执行例如对由ROI识别装置所识别的ROI的选择、放大或者缩小，或者依据用户通过操作单元输入的各指令来改变ROI识别条件等的操作。
文档编号H04N7/26GK1496110SQ0315868
公开日2004年5月12日 申请日期2003年8月9日 优先权日2002年8月9日
发明者牧隆史, 一, 池边庆一, 作山宏幸, 幸, 児玉卓, 子, 则, 山城郁子, 夫, 矢野隆则, 高桥彰, 井上隆夫 申请人:株式会社理光