图像处理设备、图像处理方法和程序的制作方法

图像处理设备、图像处理方法和程序的制作方法
【专利摘要】本发明涉及图像处理设备、图像处理方法和程序。一种图像处理设备，包括：聚焦区域判断单元，被配置为判断目标图像数据中的聚焦区域；分布信息产生单元，被配置为以由聚焦区域判断单元判断的聚焦区域作为目标来产生边缘评估值的分布信息；阈值设置单元，被配置为使用由分布信息产生单元产生的分布信息来可变地设置用于判断强调显示部分的阈值；以及显示数据产生单元，被配置为使用由阈值设置单元设置的阈值来选择图像数据中的强调显示部分并产生用于强调显示所选择的部分的显示数据。
【专利说明】图像处理设备、图像处理方法和程序
[0001] 相关申请的交叉引用
[0002] 本申请要求于2013年4月23日提交的日本在先专利申请JP2013-090518的权益， 该专利申请的全部内容以引用的方式并入本文。

【背景技术】
[0003] 本公开涉及用于强调地显示图像上的聚焦部分的图像处理设备、图像处理方法和 程序。
[0004] 已知诸如数字静止照相机和数字摄像机的图像拾取设备具有如下功能：在图像拾 取监视图像(直通图像）上强调显示拾取图像上的聚焦区域，并且，将其呈现给用户，以便聚 焦或聚焦检查。
[0005] 日本专利申请公开No. 2010-114556 (在下文中被称为专利文献1)公开了在强调 显示对象的轮廓(边缘部分）的情况下改变用于选择要强调显示的部分的阈值的技术(所谓 的峰值法)。
[0006] 日本专利申请公开No. 2003-46844 (在下文中被称为专利文献2)公开为了促进聚 焦部分的识别而检测每一个图像区域是否被聚焦并强调显示聚焦区域的边缘的技术。


【发明内容】

[0007] 另外，当在如上所述强调显示边缘的情况下在目标图像中存在许多边缘时，强调 显示部分的数量变得太大，由此，难以看见图像。相反，在具有小的对比度的图像中，边缘几 乎不被强调。
[0008] 在专利文献1中公开的技术的情况下，通过基于图像改变用于确定要强调显示的 一部分的阈值，改进了上述的情形。但是，对于具有离焦的多个离焦部分的图像，阈值变低， 并且，甚至轻微的边缘也进行强调显示，由此偏离强调聚焦部分的初衷。
[0009] 此外，在专利文献2中公开的技术的情况下，由于阈值被固定，所以，例如，当在聚 焦区域的图像中存在许多边缘时，如上所述，强调显示部分的数量变得太大，由此导致难以 看见图像。
[0010] 在这一方面，需要这样的技术，通过强调显示拾取图像上的聚焦部分，该技术使得 要呈现给用户的图像能够是要适当地呈现的容易看见的图像和聚焦部分，而不管目标图像 内容如何。
[0011] 首先，根据本公开的实施例，提供一种图像处理设备，该图像处理设备包括：聚焦 区域判断单元，被配置为判断目标图像数据中的聚焦区域；分布信息产生单元，被配置为以 由聚焦区域判断单元判断的聚焦区域作为目标来产生边缘评估值的分布信息；阈值设置单 元，被配置为使用由分布信息产生单元产生的分布信息来可变地设置用于判断强调显示部 分的阈值；以及显示数据产生单元，被配置为使用由阈值设置单元设置的阈值来选择图像 数据中的强调显示部分并产生用于强调显示所选择的部分的显示数据。
[0012] 当用于选择图像数据中的强调显示部分的阈值被固定时，在具有许多边缘的图像 的情况下，强调显示部分的数量变得太大，导致难以看见图像，并且，在具有较少边缘的图 像的情况下，几乎不进行强调显示。当根据图像改变阈值时，可以改进这一点，但是，根据图 像的状态(边缘的数量或聚焦状态）并不一定获得适当的阈值。在这一方面，根据本公开的 实施例，在图像的聚焦区域作为目标的情况下，产生边缘评估值的分布信息，并且，使用分 布信息来设置阈值。换句话说，仅仅以聚焦区域作为目标，观测到图像中的边缘状况。结果， 阈值的可变设置并不受离焦部分的影响。
[0013] 第二，在根据本公开的实施例的图像处理设备中，显示数据产生单元可产生用于 强调显示图像数据内的基于与阈值的比较的结果而被选择的聚焦区域内部的一部分的显 示数据。
[0014] 换句话说，要强调显示的部分仅仅是聚焦区域。例如，即使当在聚焦区域之外存在 其边缘评估值高于阈值的像素时，也不强调显示该部分。
[0015] 第三，在根据本公开的实施例的图像处理设备中，阈值设置单元可设置与阈值相 对应的强调效果量信息，并且，显示数据产生单元可将强调效果量信息用于强调显示的像 素数据转换运算中。
[0016] 基于分布信息可变地设置的阈值在其上反映图像状态(边缘的数量等)。在这一方 面，通过根据阈值设置强调效果量信息，可以执行与图像状态相对应的强调显示。
[0017] 第四，在根据本公开的实施例的图像处理设备中，显示数据产生单元可使用强调 效果量信息来设置强调显示部分的亮度值。
[0018] 换句话说，基于亮度来调整强调显示的级别。
[0019] 第五，在根据本公开的实施例的图像处理设备中，分布信息产生单元可使用作为 相邻像素数据之间的亮度的微分值获得的对比度差作为边缘评估值来产生边缘评估值的 分布信息。
[0020] 适当的边缘评估值作为相邻像素数据之间的亮度的微分值被获得。
[0021] 第六，在根据本公开的实施例的图像处理设备中，基于由分布信息产生单元产生 的分布信息，阈值设置单元可使用边缘评估值来设置阈值，通过该边缘评估值，从分布高阶 侧起的累积像素计数变成设置的像素计数比。
[0022] 采用这种结构，可控制要强调显示的部分的像素计数。
[0023] 第七，在根据本公开的实施例的图像处理设备中，阈值设置单元可对要设置的阈 值提供上限和下限。
[0024] 采用这种结构，可防止阈值取极值。
[0025] 根据本公开的实施例，提供一种图像处理方法，该图像处理方法包括：判断目标图 像数据中的聚焦区域；以判断的聚焦区域作为目标，产生边缘评估值的分布信息；使用产 生的分布信息来可变地设置用于判断强调显示部分的阈值；以及使用设置的阈值来选择图 像数据中的强调显示部分并产生用于强调显示所选择的部分的显示数据。
[0026] 因此，可以通过适当的阈值设置来提供容易看见的强调显示。
[0027] 根据本公开的实施例，提供一种使得运算处理设备执行上述的图像处理方法的处 理的程序。
[0028] 根据本公开的实施例，可以实现不管目标图像内容如何都以容易看见的方式将聚 焦部分适当地呈现给用户的强调显示。
[0029] 根据下面对如附图所示的本公开的最佳实施方式的详细描述，本公开的这些和其 它目的、特征和优点将变得更加清楚。

【专利附图】

【附图说明】
[0030] 图1是示出根据本公开的实施例的图像处理设备的框图；
[0031] 图2是根据实施例的强调显示的说明图；
[0032] 图3是示出根据实施例的图像处理方法的流程图；
[0033] 图4是示出根据实施例的图像拾取设备的框图；
[0034] 图5是根据实施例的聚焦区域判断的说明图；
[0035] 图6是示出在根据实施例的图像拾取设备的自动聚焦期间进行的处理的流程图；
[0036] 图7是示出在根据实施例的图像拾取设备的手动聚焦期间进行的处理的流程图；
[0037] 图8是根据实施例的分布信息的说明图；
[0038] 图9是示出根据实施例的阈值确定处理的流程图；
[0039] 图10是根据实施例的阈值和强调效果量的说明图；
[0040] 图11是示出根据实施例的显示数据产生单元的处理的流程图；
[0041] 图12是根据实施例的强调显示的说明图；
[0042] 图13是根据实施例的强调显示的说明图；
[0043] 图14是根据实施例的强调效果量不同的强调显示的说明图；以及
[0044] 图15是示出根据实施例的计算机设备的框图。

【具体实施方式】
[0045] 在下文中，将按照下述顺序描述本公开的实施例。
[0046] 〈1.本实施例的图像处理设备的结构和处理示例〉
[0047] 〈2.图像拾取设备的结构〉
[0048] 〈3.在图像拾取设备中的强调显示处理〉
[0049] 〈4.对于计算机设备的应用和程序〉
[0050] 〈5.变型例〉
[0051] 〈1.本实施例的图像处理设备的结构和处理示例〉
[0052] 图1示出本实施例的图像处理设备1的结构示例。
[0053] 图像处理设备1包括聚焦区域判断单元2、分布信息产生单元3、
[0054] 阈值设置单元4和显示数据产生单元5。
[0055] 图像处理设备1以输入图像数据Din作为目标，产生和输出用于强调显示图像中 的聚焦部分的边缘的显示数据Dout。
[0056] 例如，从如图2A所示的作为拾取图像的图像数据Din产生如图2B所示的作为强 调显示边缘的图像的显示数据Dout。显示数据Dout被供应给显示设备(未示出）,从而显示 如图2B所示的图像。结果，用户可以容易地确认图像数据Din的聚焦部分。应该注意，虽 然强调显示部分在图2B中用粗线指示，但是，强调显示通过如下方式来执行：升高聚焦部 分的边缘的亮度(或整体上降低具有高亮度的图像的亮度)，将边缘的颜色转换为黄色、红 色等，或者，实际上将线增厚为边缘。
[0057] 在图1中示出的图像处理设备1中，聚焦区域判断单元2判断目标图像数据Din 中的聚焦区域。图像数据Din是经过诸如数字静止照相机的图像拾取设备中的成像器件进 行的光电转换和预定的处理的拾取图像。聚焦区域判断单元2将单个帧中的聚焦区域和离 焦区域识别为图像数据Din，并且输出指示聚焦区域的聚焦区域信息Iar。
[0058] 分布信息产生单元3基于聚焦区域信息Iar识别由聚焦区域判断单元2判断的聚 焦区域。然后，分布信息产生单元3以图像数据Din的单个帧中的聚焦区域为目标产生边 缘评估值的分布信息Ihs。例如，分布信息产生单兀3产生与每一个边缘评估值相对应的像 素计数的直方图。
[0059] 应该注意，例如，边缘评估值是作为相邻像素数据之间的亮度的微分值获得的对 比度差值。具有高边缘评估值的像素对应于图像上的边缘(例如，轮廓部分)。另一方面，作 为平坦图像的一部分的像素具有低边缘评估值。
[0060] 阈值设置单兀4使用由分布信息产生单兀3产生的分布信息Ihs (直方图)来可变 地设置用于判断强调显示部分的阈值th。例如，当存在许多具有高边缘评估值(高边缘比） 的像素的情况下，阈值th被设置为相对较高。另一方面，当存在许多具有低边缘评估值(低 边缘比）的像素的情况下，阈值th被设置为相对较低。
[0061] 显示数据产生单元5使用由阈值设置单元4设置的阈值th来选择图像数据Din中 的强调显示部分并产生用于强调显示选择的部分的显示数据Dout。换句话说，以边缘评估 值超过阈值th的像素作为要强调显示的边缘部分，这种像素被选择作为强调显示的目标。 然后，通过升高像素的亮度、改变颜色信息等的方法来进行强调显示。显示数据Dout如上 所述被产生并输出到显示设备(未示出）。
[0062] 应该注意，显示数据产生单元5产生用于强调显示由聚焦区域信息Iar指定的聚 焦区域中的像素的显示数据(尤其是在单个帧的图像数据Din中)，其基于与阈值th的比较 结果而被选择。
[0063] 因此，针对图2A的图像进行如图2B所示的显示。
[0064] 图3示出由图像处理设备1进行的处理过程。
[0065] 每当在步骤F1中输入图像数据Din的单个帧时，进行图3中示出的处理。
[0066] 在步骤F2中，聚焦区域判断单元2判断单个帧中的聚焦区域并获得聚焦区域信息 Iar〇
[0067] 在步骤F3中，分布信息产生单元3以由聚焦区域信息Iar指示的聚焦区域为目标 获得每一个像素的边缘评估值，并且产生边缘评估值的分布信息Ihs。例如，对于聚焦区域 中的每一个像素，获得用于评估图像中的边缘性的值(边缘评估值)，例如，亮度的微分值。
[0068] 然后，计算每一个边缘评估值的像素计数，以产生直方图（分布信息Ihs)。
[0069] 在步骤F4中，阈值设置单元4使用分布信息Ihs来设置阈值th。例如，阈值th被 设置为使得从较高侧选择与整个值的10%相对应的边缘评估值。
[0070] 在步骤F5中，显示数据产生单元5选择由聚焦区域信息Iar指示的聚焦区域中的 其边缘评估值高于阈值th的像素，并且将其设置为强调显示部分。
[0071] 在步骤F6中，对于选择的像素，显示数据产生单元5通过升高或降低亮度值、进行 颜色信息转换等的方法来转换用于强调显示的像素数据(亮度数据或颜色数据)。转换后的 图像数据变成显示数据Dout。
[0072] 在步骤F7中，显示数据产生单元5输出产生的显示数据Dout。
[0073] 通过上述处理，可以执行适当地呈现容易看见的聚焦部分的强调显示。
[0074] 应该注意，在图1的结构中，包括聚焦区域判断单元2、分布信息产生单元3、阈值 设置单元4和显示数据产生单元5的图像处理设备1可由作为操作处理设备的CPU (中央 处理单元)、DSP (数字信号处理器）等来实现。此外，也可以在多个CPU或一个CPU、图像处 理DSP等中分散地实现各个单元，并且把图像处理设备1的功能实现为操作处理设备的组 合操作。
[0075] 〈2.图像拾取设备的结构〉
[0076] 在下面的描述中，含有上述的图像处理设备1的图像拾取设备10被作为示例，并 且，将详细地描述其结构和操作(聚焦部分的强调显示)。
[0077] 在图4中示出本实施例的图像拾取设备10的结构示例。
[0078] 图像拾取设备10是所谓的数字静止照相机或数字摄像机，其拾取/记录静止图像 或运动图像，并且在其中含有根据权利要求所述的图像拾取设备。图像拾取设备10执行作 为所谓的直通图像(对象监视图像）的运动图像显示中的聚焦部分的强调显示。
[0079] 如图4所示，图像拾取设备10包括光学系统11、成像器件12、光学系统驱动单元 13、传感器单元14、记录单元15、通信单元16、数字信号处理单元20、控制器30、显示单元 34和操作单元35。
[0080] 光学系统11包括透镜(例如，盖透镜、变焦透镜和聚焦透镜）和光圈机构。通过光 学系统11，来自对象的光由成像器件12收集。
[0081] 成像器件12包括(XD (电荷耦合器件）型、CMOS (互补金属氧化物半导体）型等的 图像拾取装置。
[0082] 成像器件12对通过由图像拾取装置进行光电转换获得的电信号进行⑶S(相关双 采样）处理、AGC (自动增益控制）处理等，并且还进行A/D (模拟/数字）转换处理。然后， 作为数字数据的图像拾取信号被输出到后续的数字信号处理单元20。
[0083] 在控制器30的控制下，光学系统驱动单元13驱动光学系统11的聚焦透镜并执行 聚焦操作。光学系统驱动单元13还在控制器30的控制下驱动光学系统11的光圈机构并 执行曝光调整。在控制器30的控制下，光学系统驱动单元13还驱动光学系统11的变焦透 镜并执行变焦操作。
[0084] 应该注意，除了作为控制器30根据拾取图像的聚焦状态检测来控制光学系统驱 动单元13的操作的自动聚焦被驱动以外，聚焦透镜还作为其中控制器30根据由用户对聚 焦操作器进行的操作控制光学系统驱动单元13的操作的手动聚焦被驱动。
[0085] 数字信号处理单元20由DSP等被构造为图像处理处理器。数字信号处理单元20 对于来自成像器件12的数字信号(拾取的图像数据）进行各种信号处理。
[0086] 例如，数字信号处理单元20包括预处理单元21、同步单元22、YC产生单元23、分 辨率转换单元24、编解码器单元25、显示数据产生单元26、聚焦区域判断单元27和自动聚 焦判断单元28 (在下文中被称为AF判断单元)。
[0087] 预处理单元21对来自成像器件21的拾取的图像数据进行将R、G和B的黑电平柑 位到预定电平的柑位处理，R、G和B的颜色信道之间的校正处理等。
[0088] 同步单元22进行去马赛克处理（de-mosaic processing),使得每一个像素的图 像数据都包括R、G和B的颜色成分。
[0089] YC产生单元23从R、G和B图像数据产生(分离）亮度（Y)信号和颜色（C)信号。
[0090] 分辨率转换单元24对经过各种信号处理的图像数据执行分辨率转换处理。
[0091] 例如，编解码器单元25对经过分辨率转换处理的图像数据进行用于记录或通信 的编码处理。
[0092] 例如，聚焦区域判断单元27输入经过同步单元22的处理的拾取图像数据，识别作 为拾取的图像数据的单个帧中的聚焦区域和离焦区域，并且，将指示聚焦区域的聚焦区域 信息输出到控制器30。
[0093] 具体地，例如，聚焦区域判断单元27将单个帧的拾取的图像数据分成大量的区 域，如图5A所示。在该图中示出的示例仅仅是说明性的示例，但是，设置类似区域wl至《36 的区域。只需要适当地设置区域的实际的分割数。
[0094] 对于区域wl至《36中的每一个是聚焦区域还是离焦区域进行判断。
[0095] 例如，对于一个区域w(n)进行如图5B中所示的处理。换句话说，对于构成区域 w (η)的每一个像素数据进行从Y产生单元41到积分器46的处理。
[0096] Υ信号仅仅由Υ产生单元41产生。然后，产生的Υ信号经过由HPF (高通滤波器） 42进行的高频提取，并且由绝对值转换单元43进一步转换为绝对值。换句话说，高频成分 被提取作为绝对值。然后，在核心单元44中进行高频成分噪声去除，并且，由限幅器45进 行限幅器处理。此后，由积分器46进行积分处理。
[0097] 换句话说，对于每一个区域w(n)，构成区域w(n)的图像数据的高频成分被积分， 并且，作为积分的结果，获得评估值CS。边缘成分在聚焦区域中变得突出，结果，作为高频成 分的积分值的评估值CS变高。因此，通过将评估值CS与预定聚焦区域判断阈值进行比较， 可以获得指示区域w(n)是聚焦区域和离焦区域中的哪一种的判断信息。
[0098] 例如，如上所述，聚焦区域判断单元27判断区域wl至《36中的每一个是聚焦区域 和离焦区域中的哪一种，并且，聚焦区域判断单元27将作为判断结果的聚焦区域信息输出 到控制器30。
[0099] 应该注意，除了方形形状的区域以外，通过设置具有圆形形状、多边形形状等或不 规则形状的区域，可执行聚焦区域判断。
[0100] 在控制器30的控制下，例如，显示数据产生单元26产生作为要输出到显示单元34 的直通图像的显示数据。
[0101] 作为直通图像的显示数据基本上是作为经过由分辨率转换单元24进行的分辨率 转换的拾取图像数据(主图像）的每一帧的数据。显示数据产生单元26通常产生用于显示 拾取的图像数据的直通图像的显示数据。显示数据被供应给显示单元34,使得执行直通图 像显示。
[0102] 此外，在执行强调显示时，显示数据产生单元26使用从控制器30接收到的稍后描 述的阈值th来选择要强调显示的像素，并且，产生用于强调显示选择的部分的显示数据。 通过稍后描述的处理，阈值th由控制器30可变地设置。显示数据产生单元26使用针对 每一个帧图像数据可变地设置的阈值th来选择对于每一帧要强调显示的像素作为直通图 像。然后，例如，通过针对选择的像素升高和降低亮度值、进行颜色信息转换等的方法，转换 像素数据(亮度数据或颜色数据)，使得可执行强调显示。转换后的图像数据作为显示数据 被传输到显示单元34,该显示数据作为要强调显示的直通图像。
[0103] 应该注意，稍后描述的显示数据产生单元26也将强调效果参数EF与来自控制器 30的阈值th-起接收。强调效果参数EF是用于控制强调显示的级别的参数。例如，显示 数据产生单元26根据强调效果参数EF设置用于强调显示的亮度值。
[0104] 应该注意，虽然在图4中示出的示例中聚焦区域判断单元27和显示数据产生单元 26是由数字信号处理单元20执行的功能结构，但是，这仅仅是示例，并且，作为聚焦区域判 断单元27和显示数据产生单元26的处理可由控制器30执行。
[0105] 在自动聚焦操作中，AF判断单元28检查帧图像数据的当前聚焦状态。例如，通过 图像数据的高频成分能量检测，获得用于判断聚焦状态的评估值。在自动聚焦操作期间，控 制器30在检查来自AF判断单元28的评估值的同时使得光学系统驱动单元13执行聚焦透 镜的驱动，由此控制聚焦状态。
[0106] 控制器30由包括CPU、ROM (只读存储器)、RAM (随机存取存储器）和闪存的微计 算机(操作处理设备）构成。
[0107] CPU通过执行在ROM、闪存等中存储的程序来总地控制整个图像拾取设备10。
[0108] 在执行各种数据处理时，RAM作为CPU的工作区域临时地存储数据、程序等。
[0109] 除了由CPU用来控制各个单元和内容文件(例如，图像文件）的0S (操作系统）以 夕卜，ROM和闪存(非易失性存储器）存储用于各种操作的应用程序、固件等。在本示例中，特 别地，还存储用于执行用于强调显示功能的处理的程序。
[0110] 这种控制器30控制与数字信号处理单元20中的各种信号处理的指令有关的必需 单元的操作，与用户操作相对应的图像拾取操作或记录操作，对记录的图像文件的再现操 作，用于变焦、聚焦、曝光调整等的照相机操作，用户界面操作等。
[0111] 此外，在本实施例的情况中，控制器30包括作为分布信息产生单元30a和阈值设 置单元30b的功能。
[0112] 分布信息产生单元30a基于来自聚焦区域判断单元27的聚焦区域信息来掌握当 前帧的聚焦区域。例如，掌握上述的区域wl至w36之中的一个或多个聚焦区域。然后，仅 仅以聚焦区域为目标，产生聚焦区域中包括的像素的边缘评估值(对比度差值）的分布信息 (直方图）。
[0113] 阈值设置单元30b使用由分布信息产生单元30a产生的分布信息来可变地设置用 于判断强调显示部分的阈值th。然后，阈值th被供应给显示数据产生单元26。
[0114] 包括如上所述的分布信息产生单元30a和阈值设置单元30b的控制器30针对拾 取的图像数据的每一帧产生分布信息，并且，与数字信号处理单元20协作地基于分布信息 来设置阈值th。阈值设置单元30b还设置与阈值th相对应的强调效果参数EF。
[0115] 应该注意，分布信息产生单元30a和阈值设置单元30b可被实现为数字信号处理 单元20的功能。
[0116] 例如，显示单元34是针对用户（摄影者等）执行各种显示的显示单元，并且包括在 图像拾取设备10的壳体上形成的显示装置(例如，IXD (液晶显示器)和有机EL (电致发光） 显示器)。应该注意，显示单元34可使用LCD、有机EL显示器等以所谓的取景器的形式被形 成。
[0117] 显示单元34由显示装置和导致显示装置执行显示的显示驱动器构成。显示驱动 器基于来自控制器30的指令执行显示装置上的各种显示。例如，显示驱动器显示被拾取 和记录到记录介质上的静止图像或运动图像的再现，并且，根据来自显示数据产生单元26 的显示数据，使得直通图像被显示在显示装置的屏幕上，该直通图像是通过在释放(快门操 作）待机期间拾取的每一帧的拾取图像数据获得的运动图像。还执行对直通图像的强调显 示。此外，显示单元34导致各种操作菜单、图标、消息等（S卩，⑶I (图形用户界面)）被显示 在屏幕上。
[0118] 操作单元35包括用于输入用户操作的输入功能并将与输入操作相对应的信号发 送到控制器30。
[0119] 操作单元35被实现为在图像拾取设备10的壳体上设置的各种操作器、在显示单 元34上形成的触摸面板等。
[0120] 作为壳体上的操作器，存在再现菜单激活按钮、确定按钮、箭头键、取消按钮、变焦 键、滑动键、快门按钮(释放按钮)、聚焦环等。
[0121] 使用由显示单元34显示的图标、菜单等，各种操作也可通过触摸面板和触摸面板 操作来实现。
[0122] 记录单元15由例如非易失性存储器构成，并且，充当存储区域，该存储区域存储 静止图像数据、运动图像数据等的图像文件（内容文件)，图像文件属性信息、缩略图图像 等。
[0123] 图像文件以JPEG (联合照片专家组)、TIFF (标记图像文件格式)、GIF (图形交换 格式）等的形式存储。
[0124] 记录单元15的实际形式可以改变。例如，记录单元15可以是被包含到图像拾取 设备10中的闪存，或者，可以采取相对于图像拾取设备10可拆卸的存储器卡(例如，便携式 闪存)和对存储器卡执行记录/再现/访问的卡记录/再现单元的形式。此外，作为被包含 到图像拾取设备10的形式，记录单元15可以被实现为HDD (硬盘驱动器）等。
[0125] 此外，用于使得控制器30执行用于强调显示的用于产生分布信息、设置阈值等的 处理的程序可以被存储在记录单元15中。
[0126] 通信单元16以有线或无线的方式与外部设备执行数据通信和网络通信。
[0127] 例如，通信单元16与外部显示设备、记录设备、再现设备等执行拾取图像数据(静 止图像文件和运动图像文件）的通信。
[0128] 此外，通过使用诸如互联网、家庭网络和LAN (局域网）的各种网络执行通信，通信 单元16可以作为网络通信单元与网络上的服务器、终端等交换各种数据。
[0129] 传感器单元14包括各种传感器。设置陀螺仪传感器(角速度传感器)、加速度传感 器等，用于检测整个图像拾取设备10的运动，例如，手的运动以及图像拾取设备10的位置 和运动(摇摄运动，倾斜运动等)。
[0130] 还可以设置用于检测用于曝光调整等的外部照度的照度传感器和用于测量物距 的距离测量传感器。
[0131] 此外，作为传感器单元14,在一些情况中可设置用于检测光学系统11中的变焦透 镜的位置的变焦透镜位置传感器和用于检测聚焦透镜的位置的聚焦透镜位置传感器。
[0132] 此外，作为传感器单元14,在一些情况中可设置用于检测机械光圈（光圈机构）的 开口量的传感器。
[0133] 传感器单元14的各种传感器均将检测到的信息发送到控制器30。控制器30能够 使用由传感器单元14检测到的信息来执行各种控制。
[0134] 在如上所述的图像拾取设备10中，参照图1描述的图像处理设备1的结构部分如 下。
[0135] 与图1中示出的图像处理设备1的聚焦区域判断单元2、分布信息产生单元3、阈 值设置单元4和显示数据产生单元5相对应的结构变成聚焦区域判断单元27、分布信息产 生单元30a、阈值设置单元30b和显示数据产生单元26。换句话说，图像处理设备1由数字 信号处理单元20和控制器30实现。当然，可以仅仅在控制器30侧形成图像处理设备1，或 者，可以仅仅在数字信号处理单元20侧形成图像处理设备1。
[0136] 〈3.在图像拾取设备中的强调显示处理〉
[0137] 将描述用于在上述构造的图像拾取设备10中强调显示聚焦部分的处理操作。例 如，为了方便用户进行聚焦或聚焦检查，进行聚焦部分的强调显示。例如，在自动聚焦期间， 在用户通过半按快门按钮来执行聚焦检查时，进行聚焦部分的强调显示。此外，在用户执行 聚焦环操作等的手动聚焦期间，在进行手动聚焦操作的同时（即，在完全按压快门按钮之前 正在显示直通图像的同时）进行聚焦部分的强调显示。
[0138] 首先，将参照图6和图7描述在自动聚焦和手动聚焦期间进行的处理。在正在显 示直通图像的同时，执行图6和图7中示出的处理，以便控制器30执行强调显示。
[0139] 将参照图6描述在自动聚焦期间进行的处理。
[0140] 当用户使用图像拾取设备10拾取静止图像时，控制器30在步骤F101中执行直通 图像显示控制。具体地，控制器30使得数字信号处理单元20 (显示数据产生单元26)基于 单个帧的当前拾取图像数据来产生作为直通图像的单个帧的显示数据并将显示数据输出 到显示单元34。因此，直通图像显示数据与由成像器件拾取的每一帧相对应地传输到显示 单元34,并且，由显示单元34执行直通图像显示。用户可在显示单元34的屏幕上检查当前 对象图像。
[0141] 当正在显示直通图像的同时，在步骤F102中，控制器30监视用户的快门按钮操 作，并且检查按钮是否被半按。
[0142] 当用户半按快门按钮时，在步骤F103中，控制器30执行聚焦锁定控制。具体地， 作为自动聚焦控制，在由AF判断单元28获得的评估值被监视以找到聚焦位置并设置聚焦 状态的同时，由光学系统驱动单元13执行聚焦透镜驱动。
[0143] 在如上所述通过自动聚焦控制设置聚焦状态之后，在步骤F104至F107中，控制器 30执行强调显示控制。
[0144] 首先，在步骤F104中，控制器30通过聚焦区域判断单元27获取聚焦区域信息。
[0145] 接下来，在步骤F105中，通过分布信息产生单元30a的功能，控制器30以聚焦区 域作为目标来产生边缘评估值的直方图。
[0146] 在步骤F106中，通过阈值设置单元30b的功能，控制器30使用产生的直方图来进 行用于强调显示的阈值确定处理。
[0147] 在步骤F107中，控制器30将确定的阈值th移交给显示数据产生单元26并执行 控制，以对直通图像执行强调显示。通过显示数据产生单元26基于阈值th选择要强调显 示的像素，进行用于强调显示的像素数据转换，产生显示数据并将其传输到显示单元34,在 显示单元34中在直通图像上强调显示聚焦部分，由此，用户只需要看屏幕来清楚地检查聚 焦部分。
[0148] 应该注意，在步骤F107中，控制器30还将稍后描述的强调效果参数EF移交到显 示数据产生单元26。显示数据产生单元26根据强调效果参数EF执行用于强调显示的像素 数据转换。例如，要添加的诸如亮度值的强调效果量被设置为强调效果参数EF。
[0149] 应该注意，稍后将详细地描述步骤F105至F107的处理。
[0150] 在步骤F108中，控制器30检查用户是否完全按压快门按钮（S卩，释放操作)。当没 有完全按压时，控制器30在步骤F109中检查是否保持半按。
[0151] 在保持半按的同时，重复步骤F104至F107的处理。因此，在半按期间，针对每一 个帧重复用于强调显示的处理，并且，在显示的直通图像上在该时间点处强调显示对象图 像上的聚焦部分。
[0152] 当释放半按时，控制器30返回到步骤F101，并且指示显示数据产生单元26执行正 常的直通图像显示。换句话说，停止强调显示。因此，在本示例的情况下，在用户正在半按 快门按钮的同时，即，在用户正在执行半按操作以执行自动聚焦和检查聚焦部分的同时，进 行强调显示，
[0153] 当用户完全按压快门按钮时，处理从步骤F108前进到步骤F110,并且，控制器30 执行图像拾取记录控制。换句话说，控制器30指示数字信号处理单元20和记录单元15进 行将此时的帧图像数据记录为静止图像的操作。因此，执行一个静止图像数据的图像拾取 记录。应该注意，要记录的静止图像数据当然是不强调显示的拾取的图像数据。
[0154] 当使用如上所述的自动聚焦时，用户半按按钮以通过强调显示检查是否如所预期 的那样执行聚焦，并且，当如预期的那样聚焦时，用户完全按压快门按钮以执行静止图像拾 取记录。当没有如预期的那样聚焦时，用户只需要重新半按快门按钮或者如下面描述的那 样执行手动聚焦。
[0155] 随后，将参照图7描述在手动聚焦期间进行的处理。
[0156] 当用户如自动聚焦那样通过图像拾取设备10执行静止图像拾取时，控制器30在 步骤F201中执行直通图像显示控制。显示数据产生单元26产生显示数据作为直通图像并 将其传输到显示单元34,使得在显示单元34中执行直通图像显示。
[0157] 当正在执行直通图像显示的同时，用户可执行聚焦操作作为手动操作。
[0158] 在执行手动聚焦操作时，控制器30根据操作控制光学系统驱动单元13来执行与 该操作相对应的聚焦透镜移动。可替换地，在采用根据在透镜筒中形成的聚焦环的操作机 械地移动聚焦透镜的结构的情况下，控制器30不需要特别地执行聚焦透镜驱动控制。
[0159] 当通过如上所述的手动聚焦来执行聚焦时，由于在直通图像显示时段(在用户完 全按压快门按钮之前的时段)期间执行聚焦部分的强调显示，所以控制器30进行步骤F203 至F206的处理，其与上述的步骤F104至F107的处理相同。
[0160] 然后，在步骤F207中，控制器30检查用户是否完全按压快门按钮（S卩，释放操作)。 在没有执行释放操作时，重复步骤F201至F206的处理。因此，在用户执行释放操作之前， 如果在执行直通图像显示的同时有聚焦部分，则执行强调显示。
[0161] 当用户完全按压快门按钮时，处理从步骤F207前进到步骤F208,并且，控制器30 执行图像拾取记录控制。换句话说，控制器30指示数字信号处理单元20和记录单元15进 行将此时的帧图像数据记录为静止图像的操作。因此，执行单个静止图像数据的图像拾取 记录。
[0162] 当通过如上所述的手动聚焦来执行聚焦时，用户可以在观看强调显示的同时调整 聚焦，并且，当预期的部分的边缘被强调时，用户可以判断该部分被聚焦，由此执行静止图 像拾取记录。
[0163] 如上面参照图6和7所述的，在本实施例中，作为用于强调显示的处理，进行步骤 F104至F107的处理或者步骤F203至F206的处理。将描述用于强调显示的处理。
[0164] 在步骤F104和F203中，控制器30获取聚焦区域信息。这是如上面参照图5描述 的从聚焦区域判断单元27接收指示帧图像数据中的每一个区域是否为聚焦区域的信息的 处理。
[0165] 在步骤F105和F204中，控制器30产生直方图。在这种情况下，控制器30参考获 取的聚焦区域信息并仅以聚焦区域为目标产生直方图。
[0166] 例如，假设图5A中示出的区域wl5、wl6、w21和w22被判断为聚焦区域，在以构成 区域wl5、wl6、w21和w22的像素为目标的同时，产生边缘评估值的直方图。
[0167] 例如，每一个像素的边缘评估值被如下计算。
[0168] 例如，获取根据X方向（水平方向）上的像素数据的亮度的微分值的绝对值(关于 两侧的像素的对比度差)。另外，获取根据y方向（纵向方向)上的像素数据的亮度的微分值 的绝对值(关于上方和下方的像素的对比度差)。此外，获得根据第一倾斜方向的像素数据 的亮度的微分值的绝对值(关于右上方像素和左下方像素的对比度差)。此外，获得根据第 二倾斜方向的像素数据的亮度的微分值的绝对值(关于左上方像素和右下方像素的对比度 差)。作为微分值的4个绝对值之和的值用作边缘评估值。
[0169] 边缘评估值是用于判断每一个像素是否为构成纵向、水平或倾斜边缘图像的像素 的值。
[0170] 例如，对于构成图像中的对象的纵向线的像素，X方向上的微分值变高。此外，对 于构成图像中的对象的水平线的像素，y方向上的微分值变高。换句话说，对于构成边缘的 像素，作为边缘评估值的值变高。
[0171] 应该注意，按照包括X方向、y方向、第一倾斜方向和第二倾斜方向的4个方向，这 里正在讨论关于某一像素周围的8个周边像素的对比度差。但是，方向的数量并不总是必 须为4,并且，例如，可以从包括X方向和y方向的2个方向计算边缘评估值。可替换地，根 据仅仅X方向或仅仅y方向（即，一个方向）上的像素数据的对比度差可用作边缘评估值。
[0172] 如上所述，对于聚焦区域中的每一个像素，获得边缘评估值，由此，产生如图8所 示的直方图。纵坐标表示像素计数，而横坐标表示边缘评估值。
[0173] 图8A是具有小量的边缘的图像数据的直方图的示例。如图所示，存在许多具有低 边缘评估值的像素。
[0174] 图8B是具有大量的边缘的图像数据的直方图的示例。如图所示，存在比图8A多 的具有高边缘评估值的像素。
[0175] 如本示例中，像素计数分布基于作为对象被拾取的图像的内容波动。
[0176] 在图6的步骤F106和图7的步骤F205中，使用如上所述产生的直方图来设置阈 值。
[0177] 在图9中具体地示出步骤F106或F205的阈值确定处理。
[0178] 首先，在步骤F301中，控制器30从直方图的高阶侧执行累积操作，并且，判断边缘 评估值Ea，通过该边缘评估值Ea，获得设置的像素计数比。具体地，从直方图的高阶BIN起 算的数量被累积，并且，判断包括与作为整个数量的a%的第η个数相对应的样本的BIN的 值（S卩，BIN评估值)。
[0179] 如图8A和8B的示例中所示，获得BIN的边缘评估值Ea。
[0180] 接下来，在图9的步骤F302中，控制器30将用于提取强调显示像素的阈值th设 置为fl(Ea)。具体地，边缘评估值Ea被代入函数Π 并被确定为阈值th。应该注意，函数 Π 可以是简单的系数运算函数(包括系数=1)，由此，边缘评估值Ea可以被原样确定为阈值 th，或者可以经过系数运算，从而与边缘评估值Ea成比例的阈值th被确定为阈值th。例如， 也可以使用根据如图10A中所示的拾取图像中的边缘成分的数量来设置阈值th的函数。
[0181] 在图10A的示例中，当边缘评估值Ea高于预定的值E2时，设置阈值th=th2。当 边缘评估值Ea低于预定的值E1时，设置阈值th=thl。当边缘评估值Ea在预定值E1至E2 的范围内时，阈值th根据Ea值取thl至th2的范围内的值。
[0182] 通过将阈值th的范围限制在如上所述的thl至th2的范围内，可以避免阈值th 根据图像状态变成极低或极高的状态。
[0183] 随后，在图9的步骤F303中，控制器30将强调效果参数EF设置为EF=f2(Ea)。换 句话说，边缘评估值Ea被代入函数f2并用作强调效果参数EF。
[0184] 强调效果参数EF是指示强调效果量的参数。例如，当对用于强调显示的像素数据 的亮度值进行加/减或者乘/除时，强调效果参数EF变成用于设置加/减值或者乘/除值 的参数。
[0185] 函数f2可以是简单的系数运算函数(包括系数=1)，由此，边缘评估值Ea可以被原 样确定为强调效果参数EF，或者可以经过系数运算，从而与边缘评估值Ea成比例的强调效 果参数EF被确定为强调效果参数EF。例如，也可以使用根据如图10B中所示的拾取图像中 的边缘成分的数量来设置强调效果参数EF的函数。
[0186] 在图10B的示例中，当边缘评估值Ea高于预定的值E2时，设置强调效果参数 EF=EF2。当边缘评估值Ea低于预定的值E1时，设置强调效果参数EF=EF1。当边缘评估值 Ea在预定值E1至E2的范围内时，强调效果参数EF根据Ea值取EF1至EF2的范围内的值。
[0187] 通过将强调效果参数EF的范围限制在如上所述的EF1至EF2的范围内，可以避免 强调效果根据图像状态变成太大或太小的状态。
[0188] 在图10B的示例中，强调效果量随着图像中的边缘成分的数量增大而变小。大量 的边缘成分意味着在图像上具有许多要强调显示的边缘。因此，当强调效果量被增大得太 多时，担心强调显示过于突出，导致令人烦恼的图像。在这一方面，通过在存在许多边缘成 分时降低强调效果量，可由显示单元34提供用户友好的强调显示。
[0189] 在图6的步骤F106和图7的步骤F205中确定阈值th并设置强调效果参数EF时， 控制器30在步骤F107或F206中将阈值th和强调效果参数EF移交到显示数据产生单元 26,并指示产生用于强调显示的显示数据。
[0190] 根据上述的控制器30的处理，数字信号处理单元20 (显示数据产生单元26)进行 用于强调显示的显示数据产生处理。
[0191] 在图11中示出显示数据产生单元26的处理示例。
[0192] 显示数据产生单元26在步骤F401中获取单个帧作为拾取图像数据。在这种情况 下，显示数据产生单元26获取经过由分辨率转换单元24进行的分辨率转换的拾取图像数 据。通过分辨率转换单元24以直通图像大小(显示单元34的纵向和横向像素大小)产生分 辨率转换后的拾取图像数据，显示数据产生单元26可原样地使用获取的拾取图像数据作 为直通图像数据。
[0193] 在不执行强调显示时，处理从步骤F402前进到步骤F403,并且，要用作直通图像 的经过分辨率转换的拾取图像数据原样地用作显示数据。然后，在步骤F406中，显示数据 被输出到显示单元34,从而执行直通图像显示。
[0194] 到此为止已经描述了在图6的步骤F101或图7的步骤F201中指示直通图像显示 的情况。
[0195] 当在图6的步骤F107或图7的步骤F206中指示强调显示时，显示数据产生单元 26针对每一帧执行图11的步骤F404和F405。
[0196] 在步骤F404中，显示数据产生单元26使用从控制器30供应的阈值th来选择当 前帧的直通图像数据中的要强调显示的像素。具体地，具有比阈值th高的边缘评估值的像 素被选择作为要强调显示的像素。
[0197] 应该注意，在这种情况下，要与阈值th比较的像素被限制为由聚焦区域判断单元 27判断为聚焦区域的区域中的像素。
[0198] 换句话说，对于离焦区域中的像素，即使当存在具有比阈值th高的边缘评估值的 像素时，这种像素也不用作要强调显示的像素。因此，显示数据产生单元26也参考由聚焦 区域判断单元27获得的聚焦区域信息来选择要强调显示的像素。
[0199] 在步骤F405中，通过转换亮度或颜色信息、执行诸如特殊轮廓的图像合成等，对 要强调显示的像素执行像素数据转换。在这种情况下，通过像素数据转换获得的强调级别 对应于强调效果参数EF。经过用于强调显示的数据转换的直通图像数据用作显示数据。
[0200] 在步骤F406中，显示数据产生单元26将包括上述的强调显示像素的显示数据传 输到显示单元34并导致伴随聚焦部分的强调显示执行直通图像显示。
[0201] 将参照图12至图14描述由上述的控制器30和数字信号处理单元20的处理执行 的强调显示的示例。
[0202] 图12A是具有很多纵向线的图像的示例。在这种拾取图像数据的帧中，由虚线Fa 包围的范围正被聚焦。在这种情况下，对于在虚线Fa的范围中包括的区域w(n)中的像素， 产生上述的直方图，并且，基于该直方图来设置阈值th。
[0203] 然后，以虚线Fa的范围内的聚焦区域为目标，基于阈值th来选择强调显示像素， 然后，执行强调显示。例如，执行如图12B的粗线所示的强调显示。由于本示例示出在聚焦 区域中具有许多纵向和横向边缘的图像，所以阈值th被设置为高，由此，要强调显示的像 素被限制为具有相当高的边缘评估值的像素。因此，可避免不必要地强调边缘线的情形，并 且，执行足够的强调显示。
[0204] 另外，对于虚线Fa以外的离焦区域，不执行强调显示。
[0205] 图13A示出作为虚线Fa内部的区域聚焦的部分中的具有小量边缘的图像的示例。
[0206] 在作为拾取的图像数据的帧中，对于在虚线Fa的范围中包括的区域w(n)中的像 素，产生上述的直方图，并且，基于该直方图来设置阈值th。
[0207] 然后，以虚线Fa的范围内的聚焦区域为目标，基于阈值th来选择强调显示像素， 并且执行强调显示。例如，执行如图13B的粗线所示的强调显示。由于本示例示出聚焦区 域中的具有小量边缘的图像，所以阈值th被设置为低，由此，即使像素甚至具有相当低的 边缘评估值，也被选择作为要强调显示的像素。因此，可避免根本不强调边缘线的情形，并 且，执行充分的强调显示。
[0208] 此外，在这种情况下，对于虚线Fa以外的离焦区域，不执行强调显示。因此，即使 当如图所示在离焦区域（由于它不是聚焦区域，所以一部分虽然模糊但是具有相对较高的 边缘评估值）中存在具有高边缘评估值的边缘线时，该边缘线也不被强调显示，并且，适当 地表达聚焦部分的强调显示被实现。
[0209] 图14示出用于说明与强调效果参数EF相对应的强调效果量的示例。
[0210] 例如，图14A示出在虚线Fa内部的聚焦区域中具有大量的边缘线的图像的情况， 并且，图14B示出在聚焦区域中具有较少的边缘线的图像的示例。
[0211] 例如，假设基于强调效果参数EF来控制用于强调显示的亮度，并且，粗线指示高 的亮度。当如图10B所示设置强调效果参数EF时，在如图14A中的具有很多边缘成分的图 像的情况中，强调效果量通过强调效果参数EF而减少，并且，减少亮度的升高级别。另一方 面，在如图14B中的具有较少的边缘成分的图像的情况中，强调效果量通过强调效果参数 EF而增加，并且，增大亮度的升高级别。
[0212] 通过与上述的强调效果参数EF相对应的强调效果量设置，实现容易看见的强调 显示。换句话说，如果在存在很多强调显示部分时强调效果量被增加得太多(亮度被增加)， 则很多高亮度部分出现在屏幕上，由此，导致难以看见图像。在这一方面，通过在存在很多 边缘成分时降低强调效果量，实现充分容易看见的强调显示。另一方面，通过在存在小量的 边缘成分时将强调效果量升高到某一程度，用户对聚焦部分的识别性被增强。
[0213] 应该注意，随着强调效果的程度升高和降低强调显示部分的亮度仅仅是示例。例 如，还假设将边缘线以粗线的形式显示为聚焦部分的强调显示。在这种情况下，可基于强调 效果参数EF来改变边缘线的厚度。
[0214] 此外，还假设以不同的颜色(例如，用红色或黄色显示）将边缘线显示为聚焦区域 的强调显示。在这种情况下，边缘线颜色的色度和亮度中的一个或两个可根据强调效果参 数EF复合地改变。当然，可以基于强调效果参数EF来选择强调显示颜色自身。
[0215] 在任意一种情况下，基于强调效果参数EF控制要强调显示的图像上的强调程度 是有利的。
[0216] 在上述的本实施例的图像拾取设备10中，可获得下述效果。
[0217] 具体地，图像拾取设备10包括：聚焦区域判断单元27,其判断每一帧的拾取图像 数据中的聚焦区域；分布信息产生单元30a，其以聚焦区域为目标产生边缘评估值的分布 信息(直方图）；阈值设置单元30b，其使用分布信息可变地设置用于判断强调显示部分的阈 值th ;以及显示数据产生单元26,其使用可变地设置的阈值th来选择图像数据中的强调显 示部分和产生用于强调显示选择的部分的显示数据。
[0218] 当用于选择图像数据中的强调显示部分的阈值被固定时，在具有许多边缘的图像 的情况中，强调显示部分的数量变得太大，导致难以看见图像。换句话说，获取具有太多的 强调边缘的杂乱的印象的图像。另外，在具有低对比度的图像的情况中，几乎不进行强调显 /_J、1 〇
[0219] 在这一方面，在本实施例的图像拾取设备中，根据图像改变阈值th。特别地，以拾 取图像数据的聚焦区域为目标，产生边缘评估值的分布信息，并且，使用分布信息来设置阈 值th。换句话说，通过在仅仅以聚焦区域为目标的同时观看图像中的边缘状况，防止阈值 th的可变设置受离焦部分的影响。
[0220] 具体地，在具有高边缘比的图像中，阈值th被设置为相对较高，并且，在基于低边 缘比的图像中，阈值th被设置为相对较低。
[0221] 通过使用如上所述的阈值th来选择强调显示像素，可提供有助于可见性并几乎 不弄乱图像的聚焦辅助功能，
[0222] 此外，可减轻峰值显示突出太多或根本不显示的情形。换句话说，可实现这样的强 调显示，在具有很多边缘的图像的情况中，强调显示适度地强调，而没有太多地弄乱图像， 并且，在具有较少的边缘的图像的情况中，强调显示甚至对弱边缘作出反应。
[0223] 如果在产生分布信息时除了聚焦区域以外还包括所有的其它部分的同时执行计 算，则在具有很多模糊的离焦部分的图像中阈值th变低，并且，以小量的边缘进行强调显 示。但是，在本实施例的情况中，不会发生这种问题，并且，执行适当的强调显示。具体地， 通过将要被反映到分布信息上的像素限制为聚焦区域中的像素，可以去除离焦部分的影响 并正确地捕获图像特征，由此，可以适当地设置阈值th。
[0224] 此外，通过以聚焦区域为目标从边缘评估值的分布信息设置阈值th，防止发生在 使用用于焦点检查的聚焦的强调显示时由于焦点位置的变化而导致的不自然的强调显示。
[0225] 显示数据产生单元26产生用于强调显示作为直通图像的拾取图像数据中的聚焦 区域中的一部分的显示数据，该部分作为与阈值th的比较的结果而被选择。换句话说，要 强调地显示的部分仅仅是聚焦区域。例如，即使当存在其边缘评估值高于阈值th的像素 时，也不强调地显示该部分。因此，实现了根据强调聚焦区域中的对象以允许用户检查该部 分的初衷的适当的强调显示。
[0226] 此外，控制器30 (阈值设置单元30b)设置强调效果参数EF(=f2(Ea))。由于使用 从分布信息判断的边缘评估值Ea，所以强调效果参数EF变成与阈值th相对应的参数值。 然后，显示数据产生单元26使用用于强调显示的像素数据转换运算中的强调效果参数EF。 基于分布信息可变地设置的阈值th在其上反映图像状态(边缘的数量等)。在这一方面，通 过设置与阈值th相对应的强调效果参数EF (强调效果量信息)，与图像状态相对应的强调 显示变成可能。结果，可以提高强调显示的可见性和用户对聚焦部分的识别性。
[0227] 例如，通过使用强调效果参数EF来设置强调显示部分的亮度值，强调显示的级别 可由亮度来调整，由此，可适当地进行图像上的强调显示。
[0228] 此外，以作为相邻像素数据之间的亮度的微分值而获得的对比度差作为边缘评估 值，控制器30 (分布信息产生单元30a)产生边缘评估值的分布信息(直方图）。通过获得作 为相邻像素数据之间的亮度的微分值的适当的边缘评估值，边缘评估值有助于适当的阈值 设置。
[0229] 此外，控制器30 (阈值设置单元30b)使用边缘评估值Ea来设置阈值th，通过边 缘评估值Ea，从分布高阶侧(高阶BIN侧)算起的累积像素计数变成基于分布信息的设置的 像素计数比。结果，可设置不管图像内容如何都可以使要强调显示的像素的数量几乎恒定 的阈值th，并且，实现如上所述的容易看见的强调显示。
[0230] 此外，如图10A所示，控制器30 (阈值设置单元30b)对阈值th设置上限（th2)和 下限（thl)。因此，可以防止极值被设置为阈值th，由此，在具有小量的边缘的图像中，阈值 th不会被设置得太低，并且，在具有很多边缘的图像中，阈值th不会被设置得太高。因此， 甚至在具有极大(小）量的边缘成分的图像中，作为原始聚焦部分的边缘也可以被准确地呈 现给用户。
[0231] 〈4.程序和对于计算机设备的应用〉
[0232] 到此为止，已经描述了图像拾取设备10的实施例，但是，上述的用于强调显示功 能的处理可以通过硬件或软件来执行。
[0233] 本实施例的程序是使得诸如CPU (中央处理单元）和DSP (数字信号处理器）的运 算处理设备执行上述实施例中描述的处理的程序。
[0234] 具体地，本实施例的程序是使得运算处理设备执行如下处理的程序：判断目标图 像数据中的聚焦区域的处理；以判断的聚焦区域为目标产生边缘评估值的分布信息的处 理；使用产生的分布信息来可变地设置用于判断强调显示部分的阈值的处理；以及使用设 置的阈值来选择图像数据中的强调显示部分并产生用于强调显示选择的部分的显示数据 的处理。
[0235] 具体地，本实施例的程序只需要是使得运算处理设备执行图3中示出的处理的程 序。
[0236] 通过这种程序，执行上述的强调显示功能的设备可以由运算处理设备实现。
[0237] 这种程序可以预先被记录到作为合并到诸如计算机设备的设备中的记录介质的 HDD、包括CPU的微计算机中的ROM等上。
[0238] 可替换地，程序可以被临时或永久地存储(记录）在诸如⑶-ROM (压缩盘只读存储 器)、M0 (磁光）盘、DVD (数字多功能盘)、蓝光（Blu-ray，注册商标）盘、磁盘、半导体存储器 和存储器卡的可移动记录介质中。这种可移动记录介质可以作为所谓的封装软件而提供。
[0239] 此外，除了从可移动记录介质安装在个人计算机等中以外，这种程序可通过诸如 LAN (局域网）和互联网的网络从下载站点下载。
[0240] 这种程序适合于本实施例的图像处理设备的宽范围的设置。例如，通过将该程序 下载在个人计算机、移动信息处理设备、蜂窝电话、游戏设备、视频设备、PDA (个人数字助 理）等中，个人计算机等可用作本公开的图像处理设备。
[0241] 例如，与用于上述的图像处理设备1和图像拾取设备10的强调显示功能的处理相 同的处理可以在如图15所示的计算机设备中被执行。
[0242] 在图15中，计算机设备的CPU71根据在R0M72中存储的程序或者从存储装置78 加载到RAM73中的程序来执行各种处理。RAM73还适当地存储CPU71执行各种处理所需的 数据。
[0243] CPU7UR0M72和RAM73通过总线74相互连接。输入/输出接口 75也被连接到总 线74。
[0244] 与输入/输出接口 75连接的是：由键盘、鼠标等构成的输入单元76,由CRT (阴极 射线管)、LCD、有机EL面板等构成的显示器，由扬声器等构成的输出单元77,由硬盘等构成 的存储装置78,以及由调制解调器等构成的通信单元79。通信单元79通过包括互联网的 网络进行通信处理。
[0245] 驱动器80在必要的时候也被连接到输入/输出接口 75,并且，诸如磁盘、光谱、磁 光盘和半导体存储器的可移动介质81被适当地加载，使得在必要的时候在存储装置78中 安装从其读出的计算机程序。
[0246] 当上述的用于强调显示的处理通过软件来执行时，构成软件的程序从网络或记录 介质被安装。
[0247] 例如，如图15所示，记录介质由与设备主体分离的被分发用于向用户传送程序且 其上记录有程序的可移动介质81构成，该可移动介质81诸如为磁盘(包括软盘)、光盘(包 括蓝光盘、⑶-ROM和DVD)、磁光盘(包括MD (迷你盘)）和半导体存储器。可替换地，记录介 质由记录程序的R0M72、存储装置78中包含的硬盘等构成，该程序在记录介质被预先合并 到设备主体中的情况下被传送给用户。
[0248] 在通过通信单元79的接收操作、驱动器80 (可移动介质81)或存储装置78的再 现操作等输入运动图像数据时，通过CPU71基于程序执行图3中示出的上述的处理，这种 计算机设备70可伴随用于输入图像数据的强调显示执行显示操作。例如，通过输入由图像 拾取设备拍摄的图像数据，用户可通过计算机设备70的显示器(输出单元77)在图像拾取 设备侧检查聚焦状态。
[0249] 〈5.变型例〉
[0250] 上述实施例可以各种方式修改。
[0251] 在上述的实施例中，从关于聚焦区域中的像素的边缘评估值的分布信息产生阈值 th，并且，强调显示部分被限制为聚焦区域。但是，甚至通过强调显示，离焦区域也可被包括 在内。这是因为，例如，甚至在离焦区域中，在一些情况中边缘评估值部分地变得相当高。 应该注意，用于选择离焦区域中的要强调显示的像素的阈值可以高于用于聚焦区域的阈值 th〇
[0252] 强调显示方法包括升高亮度或改变颜色。但是，该方法可以改变。在改变亮度时， 在一些情况中通过降低亮度来实现强调显示。例如，在整个图像具有极高亮度的图像的情 况中，通过仅仅降低强调显示部分的亮度，用户可以容易地识别聚焦区域。
[0253] 但是，要强调显示的像素并不限于边缘，并且，例如，由作为通过阈值th选择的边 缘的轮廓包围的整个对象部分可以被强调显示。
[0254] 此外，虽然上述实施例采用了拍摄静止图像的示例，但是强调显示在拍摄运动图 像时也是有效的。例如，在开始运动图像的拾取/记录之前，在待机状态中对直通图像进行 强调显示。可替换地，对正在监视的直通图像执行强调显示是有用的。
[0255] 用于强调显示的处理不必针对每一帧被执行，并且，可以针对诸如每隔一个帧和 每2帧的间歇帧执行。因此，减轻了用于强调显示功能的处理负荷。
[0256] 应该注意，本公开还可以采取下述结构。
[0257] (1) 一种图像处理设备，包括：
[0258] 聚焦区域判断单元，被配置为判断目标图像数据中的聚焦区域；
[0259] 分布信息产生单元，被配置为以由聚焦区域判断单元判断的聚焦区域作为目标来 产生边缘评估值的分布信息；
[0260] 阈值设置单元，被配置为使用由分布信息产生单元产生的分布信息来可变地设置 用于判断强调显示部分的阈值；以及
[0261] 显示数据产生单元，被配置为使用由阈值设置单元设置的阈值来选择图像数据中 的强调显示部分并产生用于强调显示所选择的部分的显示数据。
[0262] (2)根据上述（1)的图像处理设备，
[0263] 其中，显示数据产生单元产生用于强调显示图像数据内的基于与阈值的比较的结 果而被选择的聚焦区域内部的一部分的显示数据。
[0264] (3)根据上述（1)或（2)的图像处理设备，
[0265] 其中，阈值设置单元设置与阈值相对应的强调效果量信息，并且
[0266] 显示数据产生单元将强调效果量信息用于强调显示的像素数据转换运算。
[0267] (4)根据上述（3)的图像处理设备，
[0268] 其中，显示数据产生单元使用强调效果量信息来设置强调显示部分的亮度值。
[0269] (5)根据上述（1)至（4)中的任何一项的图像处理设备，
[0270] 其中，分布信息产生单元使用作为相邻像素数据之间的亮度的微分值获得的对比 度差作为边缘评估值来产生边缘评估值的分布信息。
[0271] (6)根据上述（1)至（5)中的任何一项的图像处理设备，
[0272] 其中，基于由分布信息产生单元产生的分布信息，阈值设置单元使用边缘评估值 来设置阈值，通过该边缘评估值，从分布高阶侧起的累积像素计数变成设置的像素计数比。
[0273] (7)根据上述（1)至（6)中的任何一项的图像处理设备，
[0274] 其中，阈值设置单元对要设置的阈值设置上限和下限。
[0275] (8) -种图像处理方法，包括：
[0276] 判断目标图像数据中的聚焦区域；
[0277] 以判断的聚焦区域作为目标，产生边缘评估值的分布信息；
[0278] 使用产生的分布信息来可变地设置用于判断强调显示部分的阈值；以及
[0279] 使用设置的阈值来选择图像数据中的强调显示部分并产生用于强调显示所选择 的部分的显示数据。
[0280] (9) 一种程序，使得操作处理设备执行如下处理：
[0281] 判断目标图像数据中的聚焦区域；
[0282] 以判断的聚焦区域作为目标，产生边缘评估值的分布信息；
[0283] 使用产生的分布信息来可变地设置用于判断强调显示部分的阈值；以及
[0284] 使用设置的阈值来选择图像数据中的强调显示部分并产生用于强调显示所选择 的部分的显示数据。
[0285] 本领域的技术人员应该理解，可以根据设计要求和其它因素进行各种修改、组合、 子组合和替换，只要它们在所附权利要求或其等同物的范围内即可。
【权利要求】
1. 一种图像处理设备，包括： 聚焦区域判断单元，被配置为判断目标图像数据中的聚焦区域； 分布信息产生单元，被配置为以由聚焦区域判断单元判断的聚焦区域作为目标来产生 边缘评估值的分布信息； 阈值设置单元，被配置为使用由分布信息产生单元产生的分布信息来可变地设置用于 判断强调显示部分的阈值；以及 显示数据产生单元，被配置为使用由阈值设置单元设置的阈值来选择图像数据中的强 调显示部分并产生用于强调显示所选择的部分的显示数据。
2. 根据权利要求1所述的图像处理设备， 其中，显示数据产生单元产生用于强调显示图像数据内的基于与阈值的比较的结果而 被选择的聚焦区域内部的一部分的显示数据。
3. 根据权利要求1所述的图像处理设备， 其中，阈值设置单元设置与阈值相对应的强调效果量信息，并且 显示数据产生单元将强调效果量信息用于强调显示的像素数据转换运算。
4. 根据权利要求1所述的图像处理设备， 其中，显示数据产生单元使用强调效果量信息来设置强调显示部分的亮度值。
5. 根据权利要求1所述的图像处理设备， 其中，分布信息产生单元使用作为相邻像素数据之间的亮度的微分值获得的对比度差 作为边缘评估值来产生边缘评估值的分布信息。
6. 根据权利要求1所述的图像处理设备， 其中，基于由分布信息产生单元产生的分布信息，阈值设置单元使用边缘评估值来设 置阈值，通过该边缘评估值，从分布高阶侧起的累积像素计数变成设置的像素计数比。
7. 根据权利要求1所述的图像处理设备， 其中，阈值设置单元对要设置的阈值设置上限和下限。
8. -种图像处理方法，包括： 判断目标图像数据中的聚焦区域； 以判断的聚焦区域作为目标，产生边缘评估值的分布信息； 使用产生的分布信息来可变地设置用于判断强调显示部分的阈值；以及 使用设置的阈值来选择图像数据中的强调显示部分并产生用于强调显示所选择的部 分的显示数据。
9. 一种程序，使得操作处理设备执行如下处理： 判断目标图像数据中的聚焦区域； 以判断的聚焦区域作为目标，产生边缘评估值的分布信息； 使用产生的分布信息来可变地设置用于判断强调显示部分的阈值；以及 使用设置的阈值来选择图像数据中的强调显示部分并产生用于强调显示所选择的部 分的显示数据。
【文档编号】H04N5/225GK104125377SQ201410157267
【公开日】2014年10月29日 申请日期:2014年4月16日 优先权日:2013年4月23日
【发明者】木下雅也, 佐佐哲 申请人:索尼公司