专利名称：图像处理设备和方法、以及程序的制作方法
技术领域：
本公开涉及图像处理设备和方法、以及计算机程序产品，更具体地涉及可以允许在没有触摸显示屏幕的情况下选择和执行分配给图标等的功能的图像处理设备和方法、以及计算机程序产品。
背景技术：
根据现有技术，已经尝试扩展⑶I (图形用户界面)功能。例如，作为采用图标的GUI ，GUI显示在触摸屏上，该触摸屏由显示图标等的诸如液晶面板的显示面板和检测用户的手指的触摸的触摸面板一体地构成。在使用触摸屏的GUI中，当触摸在触摸屏上显示的图标时，执行分配给该图标的功能。另外，还提出了这样的技术其中，检测手指接近显示屏幕，并且，对图标进行放大显示(例如，参见专利文献I和专利文献2)。引文列表专利文献I JP-A-2006-236143专利文献2 JP-A-2005-5187
发明内容
技术问题然而，在专利文献I和专利文献2中，为了选择和执行分配给图标的功能，必需触摸在其上显示图标的显示屏幕。如上所述，当用手指触摸诸如液晶面板的显示屏幕时，诸如皮脂的污染物可以被附着到其上。另外，当对显示屏幕强按压多次时，液晶面板等可能会被损坏。另一方面，例如，在无需触摸显示屏幕而允许执行分配给图标的功能的情况中，存在难以向用户返回反馈的问题，通过向用户返回反馈，用户会清楚地地感觉到对图标等的选择。在这种情形下，希望在没有触摸显示屏幕的情况下允许选择和执行分配给图标等的功能。解决问题的方案根据一个实施例，一种控制单元包括控制电路，该控制电路控制在显示器上显示的图形用户界面的一部分的深度显示，当检测到物体接近显示器时，该控制电路改变该部分的显示的深度。根据本实施例的一个方面，控制单元通过减少显示的深度来改变显示的深度。根据本实施例的另一个方面，所述一部分是在显示器上显示的图标。根据本实施例的另一个方面，
图标是用户可选择的图标，并且，控制电路响应于检测到物体处于离图标的预定距离内而改变显示的深度。根据本实施例的另一个方面，当检测到物体处于显示器的预定距离内时，控制电路将图标从第一状态改变为第二状态，该第二状态使得该图标视觉上被感知在与第一状态不同的距离处。根据本实施例的另一个方面，所述单元还包括
传感器，该传感器检测物体何时与显示器相距预定距离。根据本实施例的另一个方面，传感器是作为显示器的组成部分而被包括在内的静电电容式传感器。根据本实施例的另一个方面，所述单元还包括显示器,该显示器是3维显示器。根据本实施例的另一个方面，3维显示器包含左图像和右图像。根据本实施例的另一个方面，控制电路改变所述一部分的视差，以便在所述一部分的显示深度上产生视觉上感知的变化。根据本实施例的另一个方面，图形用户界面的所述一部分是图标，并且在物体与显示器相距第一距离时，控制电路改变所述一部分的显示的深度，并且当检测到物体处于离显示器的第二距离内时，控制电路执行与该图标相关联的功能，该第二距离小于第一距离。根据本实施例的另一个方面，当物体处于离显示器的第二距离内时，控制电路改变图标的颜色。根据本实施例的另一个方面，响应于检测到物体处于第二距离内并触发功能的执行，控制电路使得图标逐渐地消失。根据方法实施例，一种方法包括在显示器上显示图形用户界面的一部分；检测物体接近显示器；用控制电路控制图形用户界面的所述一部分的深度显示，该控制包括改变所述一部分的显示的深度。根据本方法的一个方面，所述控制包括通过减少显示的深度来改变显示的深度。根据本方法的一个方面，所述一部分是显示在显示器上的图标。根据本方法的一个方面，图标是用户可选择的图标，并且响应于检测到物体处于离图标的预定距离内，所述控制改变显示的深度。根据本方法的一个方面，
所述控制包括当检测到物体处于显示器的预定距离内时将图标从第一状态改变为第二状态，该第二状态使得该图标视觉上被感知在与第一状态不同的距离处。根据本方法的一个方面，所述方法还包括用传感器检测物体何时与显示器相距预定距离。根据非暂态计算机可读存储装置实施例，存储装置具有当由处理电路执行时实现显示控制方法的计算机可读指令，该方法包括在显示器上显示图形用户界面的一部分；检测物体接近显示器；
用控制电路控制图形用户界面的所述一部分的深度显示，该控制包括改变所述一部分的显示的深度。有益效果根据本公开的实施例，可以在没有触摸显示屏幕的情况下允许选择和执行分配给图标等的功能。
图I是图示产生3D图像的方法的示图。图2是图示显示3D图像的显示器的配置例子的示图。图3是图示在这样的情况中的例子的示图即，其中，通过被接通的视差屏障(parallax barrier)显不图像。图4是图示在这样的情况中的例子的示图即，其中，通过被断开的视差屏障显示图像。图5A和5B是图示作为应用本公开的技术的图像处理设备的实施例的成像设备的外观配置例子的示图。图6是图示在图5A和5B中的成像设备的内部配置例子的框图。图7是图示由CPU执行的软件的功能配置例子的框图。图8是图示在触摸屏上显示的图像的例子的示图。图9A和9B是图示在选择图标的情况中的触摸屏的显示屏幕中的转变的示图。图IOA和IOB是图示在选择图标的情况中的触摸屏的显示屏幕中的转变的示图。图IlA和IlB是图示在选择图标的情况中的触摸屏的显示屏幕中的转变的示图。图12是图示图标选择和显示控制处理的例子的示图。图13是图示图标选择和显示控制处理的另一例子的示图。图14是图示个人计算机的配置例子的框图。图15是图示控制单元的配置例子的框图。
具体实施例方式下文中将参照附图描述本公开的实施例。在下面描述的实施例中，显示3D图像(3维地显示的图像)。因此，在描述本公开的实施例之前，将提供易于理解本公开的实施例的产生包括左眼图像和右眼图像的3D图像的方法的概要。
图I示出图示产生3D图像的方法的示图。第一产生方法是使用设置有两个透镜的成像设备的方法。也就是说，在第一产生方法中，用户以两个透镜设置在近似水平的方向上的方式保持成像设备，并且拍摄一次图片。然后，在两个透镜中，左眼图像的数据是由透射通过左侧透镜的光产生的，右眼图像的数据是由透射通过右侧透镜的光产生的。另外，在不使用成像设备等的情况下，可以对应于通过CG(计算机制图)产生的图像来产生左眼图像数据和右眼图像数据。以这样的方式产生的左眼图像和右眼图像中的每一个都包括在与成像设备的两个透镜之间的距离相对应地隔开的位置处的对应物体。这里，左眼图像和右眼图像中的每一个中包含的对应物体的基本上水平的方 向上的布置位置之间的差(即，距离)被称为视差。视差越大，三维地显示的物体的深度变得越深。也就是说，不均匀度变得越强。因此，具有上述特性的视差可以用作确定三维地显示的物体的不均匀度的参数。图2示出图示显示上述3D图像的显示器的配置例子的示图。在该同一图中示出的显示器是3D显示器30，该3D显示器通过称为视差屏障系统的系统显示3D图像，并且，允许用户通过用裸眼观察3D显示器30来感知三维地显示的物体的不均匀度。如图2所示，3D显示器30包括显示层31和视差屏障层32。在显示层31中，对于水平方向上的每一个单位像素(一列)交替地显示左眼图像和右眼图像。在该同一图中，显示左眼图像的显示层31的列用“L”指示，显示右眼图像的列“R”用“R”指示。视差屏障层32由具有与显示层31上的图像的周期性列相同的周期性列的格子型屏障形成，并且，该屏障的开口部分被设置为具有与显示层31的一个图像列的宽度相同的宽度。当用户通过视差屏障层32从以预定距离隔开的位置观看在显示层31上显示的图像时，“L”和“R”图像分开地呈示给用户的左眼和右眼，从而出现视差。例如，如图3所示，当用户40通过视差屏障层32从以预定距离隔开的位置观看在显示层31上显示的图像时，由左眼图像的列构成的图像被呈示给用户40的左眼，并且，由右眼图像的列构成的图像被呈示给用户40的右眼。在该同一图的例子中，由“Ll(表示第一左眼图像)”、……、“Ln(表示第η左眼图像)”、……、“LN(表示第N左眼图像)”的每一个列构成的图像被呈示给用户40的左眼。另外，由“R1 (表示第一右眼图像)”、……、“Rn (表示第η右眼图像)”、……、“RN(表示第N右眼图像)”的每一个列构成的图像被呈示给用户40的右眼。以这样的方式，可以允许用户40通过用裸眼观察3D显示器30来感知三维地显示的物体的不均匀性。另外，通过视差屏障层32观察的图像可以表示显示层31最初在水平方向上具有的分辨率的一半。因此，3D显示器30可以如图3所示通过被接通的视差屏障来显示图像，并且可以如图4所示通过被断开的视差屏障来显示图像。图4示出图示这样的例子的示图即，其中，通过被断开的视差屏障显示图像。在图4中的例子的情况中，在显示层31的每一列中显示的图像分别被呈示给用户40的左眼和右眼。因此，在通过被断开的视差屏障显示图像的情况中，在显示层31的每一列中显示被呈示给左眼和右眼两个眼的图像“LR1”、“LR2”、……，从而可以以显示层31最初在水平方向上具有的分辨率显示该图像。然而，在图4的情况中，由于具有视差的图像没有被呈示给用户，所以难以三维地显示图像，并且，只能执行二维显示(2D显示)。
以这样的方式，3D显示器30被配置为如图3所示地3D显示图像或者如图4所示地2D显示图像。图5A和5B示出图示作为应用本公开的技术的图像处理设备的实施例的成像设备50的外观配置例子的示图。图5A示出成像设备50的正面，图5B示出其后面。例如，如图5A所示，透镜单元111被设置在成像设备50的正面的右侧，该成像设备50被配置为数字照相机。透镜单元111包括光学系统，例如，使从被摄体发出的光会聚的聚光透镜、调整焦点的聚焦透镜和光圈等(全部未示出)。透镜单元111在成像设备50的电源接通时从成像设备50的壳体突出，并且，在电源断开时被收纳在成像设备50的壳体中。在图5A中，透镜单元111被收纳在成像设 备50的壳体中。AF (自动聚焦)辅助光发射单元112被设置在成像设备50的正面的透镜单元111的右上侧。AF辅助光发射单元112在透镜单元111的光学系统的光轴方向上发射光作为AF辅助光，从而照射被摄体。以这样的方式，例如，所谓的自动聚焦功能操作，其中，即使在暗的地方，也捕获被摄体的图像，并且，基于该图像使被摄体聚焦。闪光器(strobe) 113被设置在成像设备50的正面的中上侧。在接通和断开电源时操作的电源按钮114被设置在当从正面侧观看时的成像设备50的顶面的右侧，并且，在记录捕获的图像时操作的快门按钮(释放按钮)115被设置在当从正面侧观看时的成像设备50的顶面的左侧。如图5B中所示，变焦按钮116被设置在成像设备50的后面的右上侧。例如，当用户通过使用成像设备50捕获被摄体的图像时，用户在作出望远摄影(Tele)的指示时按压变焦按钮116中的由“T”标记的部分(下文中被称为T按钮)。另一方面，用户在作出广角摄影(Wide)的指示时按压变焦按钮116中的由“W”标记的部分(下文中被称为W按钮)。另外，用户可以通过保持T按钮或W按钮的按压状态来连续地作出望远摄影(Tele)或广角摄影(Wide)的指示。模式盘(mode dial) 117被设置在变焦按钮116的下侧。在选择成像设备50的各种模式等时操作该模式盘117。作为成像设备50的操作模式，例如，可以例示对被摄体进行摄影的摄影模式、或者显示作为对被摄体进行摄影的结果而获得的摄影图像的图像显示模式。另外，作为与在摄影模式的各种操作有关的模式，可以例示强制地接通或断开闪光器113的发光的模式、使用自拍器的模式、在稍后描述的液晶面板120上显示菜单屏幕的模式
坐寸ο操作按钮118被设置在模式盘117的下侧。当用户执行预先分配的指示操作时，使用该操作按钮118。例如，用户操作操作按钮118，从而移动菜单屏幕上的光标，并且，作为其结果，可以选择处于光标的布置位置中的项目。触摸屏119包括一体地形成的液晶面板120和设置在液晶面板120上的接近面板121。触摸屏119通过液晶面板120显示各种图像，并且通过接近面板121接收用户的操作。例如，液晶面板120被配置为具有与上面参照图2至4描述的3D显示器30的配置相同的配置的显示器，并且，在必要的时候被配置为二维地或三维地显示图像。
接近面板121通过与静电电容方法的触摸屏相同的方法来检测静电电容的变化，从而检测到用户的手指等与其接近。接近面板121检测在面板上的预定位置处的静电电容的变化，并且输出指示用户的手指等在该位置处的接近程度的信号。图6示出图示在图5A和5B中的成像设备50的内部配置的框图。另外，在图6中，没有绘出图5A和5B中的AF辅助光发射单元112和闪光器113。CXD(电荷耦合器件)131根据从定时发生器(TG) 141供应的定时信号来操作。CXD131接收通过透镜单元111入射的来自被摄体的光，执行光电转换，并且将模拟图像信号作为与接收到的光量相对应的电信号供应给模拟信号处理单元132。
模拟信号处理单元132根据CPU (中央处理单元)136的控制对从CXD 131供应的模拟图像信号执行诸如放大的模拟信号处理等，并且，将作为模拟信号处理的结果而获得的图像信号供应给A/D (模拟/数字)转换单元133。A/D转换单元133根据CPU 136的控制对作为从模拟信号处理单元132供应的模拟信号的图像信号执行A/D转换，并且，将作为转换结果而获得的数字信号的图像数据供应给数字信号处理单元134。根据CPU 136的控制，数字信号处理单元134针对从A/D转换单元133供应的图像数据执行诸如噪声去除的数字信号处理，并且将处理之后的图像数据供应给液晶面板120。以这样的方式，在液晶面板120上显示与供应的图像(B卩，正被摄影时的摄影图像(下文中被称为通过透镜的图像))的数据相对应的图像。另外，数字信号处理单元134通过例如JPEG(联合图片专家组)方法等对从A/D转换单元133供应的图像数据进行压缩和编码，并且将作为其结果而获得的压缩的编码数据供应给记录装置135以便记录在其中。另外，数字信号处理单元134对记录在记录装置135中的压缩的编码数据进行解压和解码，并且将作为其结果而获得的图像数据供应给液晶面板120。以这样的方式，在液晶面板120上显示与供应的图像(即，记录的摄影图像)的数据相对应的图像。另外，数字信号处理单元134根据CPU 136的控制来控制在液晶面板120上显示的GUI (例如，稍后描述的菜单屏幕)的显示。例如，记录装置135包括诸如DVD (数字多功能盘)的盘、诸如存储器卡的半导体存储器和其它的可移动记录介质，并且被设置为容易地从成像设备50拆卸下来。在记录装置135中，记录摄影图像的数据。CPU 136执行在程序R0M(只读存储器)139中记录的程序，控制构成成像设备50的每一个单元，并且，根据从接近面板121供应的信号或从操作单元137供应的信号执行各种处理。操作单元137由用户操作，并且将与该操作相对应的信号供应给CPU 136。另外，操作单元137包括如图5A和5B中所示的电源按钮114、快门按钮115、变焦按钮116、模式盘117、操作按钮118等。根据CPU 136的控制，除了给成像设备50设置的各种信息以外，EEPROM(电可擦除可编程ROM) 138还存储即使在成像设备50的电源断开时也必须保持的数据等。程序ROM 139存储由CPU 136执行的程序和为了 CPU 136执行程序所需的数据。RAM(随机存取存储器)140临时地存储为了 CPU136执行各种处理所需的程序或数据。定时发生器141根据CPU 136的控制将定时信号供应给(XD131。CXD 131中的曝光时间(快门速度)等由从定时发生器141供应给CCD 131的定时信号控制。电机驱动器142根据CPU 136的控制驱动包括电机的致动器143。当致动器143被驱动时，透镜单元111从成像设备50的壳体突出，或者被收纳在成像设备50的壳体中。另外，当致动器143被驱动时，执行构成透镜单元111的光圈的调整或者构成透镜单元111的聚焦透镜的移动。在如上所述地配置的成像设备50中，CXD 131接收通过透镜单元111入射的来自被摄体的光，执行光电转换，并且，输出作为转换的结果而获得的模拟图像信号。从CCD 131输出的模拟图像信号在通过模拟信号处理单元132和A/D转换单元133时变成数字信号的图像数据，并且被供应给数字信号处理单元134。数字信号处理单元134将从A/D转换单元133供 应的图像数据供应给液晶面板120，并且作为其结果，在液晶面板120上显示通过透镜的图像。当用户操作快门按钮115 (图5A和5B)时，与该操作相对应的信号从操作单元137供应给CPU 136。当从操作单元137供应与快门按钮115的操作相对应的信号时，CPU 136控制数字信号处理单元134，以压缩从A/D转换单元133供应到数字信号处理单元134的图像数据，并且将作为压缩的结果而获得的压缩图像数据记录在记录装置135中。以这样的方式，执行所谓的摄影。另外，CPU 136执行预定的程序，并且产生3D图像的图像数据。在产生3D图像的情况中，CPU 136设置视差d。在视差d被设置为具有大值的情况中，用具有视差的图像显示的物体的透视感(三维地显示的物体的不均匀度)变大。例如，在视差d被设置为具有大值的情况中，在观察屏幕的用户的一侧，物体看起来好像从屏幕大大地向前突出(或者，屏幕好像深深地引进去(draw))。另一方面，在视差d被设置为具有小值的情况中，用具有视差的图像显示的物体的透视感(三维地显示的物体的不均匀度)变小。例如，在视差d被设置为具有小值的情况中，在观察屏幕的用户的一侧，物体看起来好像与屏幕基本上齐平地呈示。CPU 136获取作为3D图像的产生的起源的图像数据，设置其中显示要三维地显示的物体的要处理的区域，并且在要处理的区域的水平方向上的预定位置处设置基准点P。CPU 136产生与基准点P间隔对应于视差d确定的相同距离的左右区域的相应数据作为左眼图像数据和右眼图像数据。与以这样的方式产生且具有视差d的左眼图像数据和右眼图像数据相对应的图像被显示在触摸屏119上，由此，用户能够观察3D图像。图7示出图示由CPU 136执行的程序等的软件的功能配置例子的框图。接近确定单元181基于从接近面板121输出的接近检测信号来确定用户手指等相对于触摸屏119的接近程度。例如，当用户的手指等接近触摸屏119直到离触摸屏119的距离变成小于预定的阈值时，接近确定单元181产生并输出指示该情形的预定数据。另外，当接近触摸屏119的用户的手指等远离触摸屏119直到离触摸屏119的距离变成大于等于预定的阈值时，接近确定单元181产生并输出指示该情形的数据。另外，在由接近确定单元181产生的数据中，包含指示用户的手指等是否接近触摸屏119的一部分(接近面板121)的信息。视差调整单元182设置由3D图像产生单元183产生的3D图像的视差。例如，基于从接近确定单元181输出的数据来指定用户的手指等的接近程度，并且，基于接近程度来设置3D图像的视差。例如，当指定用户的手指接近小于第一阈值的距离的情况中，设置视差dl，并且，当指定用户的手指接近小于第二阈值的距离的情况中，设置视差d2，其中，第二阈值小于第一阈值，视差d2大于视差dl。另外，视差调整单元182获取作为3D图像的产生的起源的图像的数据(例如，稍后描述的菜单屏幕的图像)，并且，指定显示要三维地显示的物体的要处理的区域。此时，例如，基于在从接近确定单元181输出的数据中包含的且指示用户的手指等是否接近触摸屏119的哪一部分的信息，指定要三维地显示的物体(例如，在下面描述的菜单屏幕上显示的图标)。另外，例如，视差调整单元182在要三维地显示的物体的中央位置处设置基准点P。
3D图像产生单元183产生与上述基准点间隔对应于视差确定的相同距离的左右区域的相应数据作为左眼图像数据和右眼图像数据。以这样的方式，产生3D图像的数据。当基于从接近确定单元181输出的数据来指定要三维地显示的物体与用户的手指等之间的接近程度时，选择执行指示单元184基于该接近程度来确定选择物体，并且给出用于执行对应于该物体的功能的指示。例如，确定选择在下面描述的菜单屏幕上显示的预定图标，并且，给出用于执行对应于该图标的功能的指示。图8示出在触摸屏119上显示的图像的例子。图8被视为当通过成像设备50中的上述模式盘117选择例如显示菜单屏幕的模式时显示的菜单屏幕。在该菜单屏幕中，显示各种图标。例如，显示被显示为“简单模式”的图标201、被显示为“微笑快门”(smile shutter)的图标202、……、被显示为“显示设置”的图标208。用户使用手指来接近在触摸屏119上显示的图标，并且可以选择期望的图标。当选择该图标时，执行对应于该图标的功能，或者，执行预定设置。例如，当用户使用手指接近图标207时，选择该图标，并且执行“脸部检测”的功能。这里，“脸部检测”是这样的功能，即，自动检测作为与从CXD 131输出的图像信号相对应的图像被拍摄的被摄体中的人的脸部，并且，执行自动聚焦，以使检测到的脸部进一步聚焦。参照图9A至11B，针对在用户选择图标207的情况中的触摸屏119的显示屏幕的转变进行描述。图9A示出图示在用用户眼睛观察触摸屏119时获得的图像的例子的示图。如图9A所示，用户通过使用手指221接近触摸屏119的显示图标207的一部分。此时，假设手指221没有充分地接近触摸屏119。例如，假设手指221和触摸屏119之间的距离大于等于阈值Thl。图9B示出当用户从图9A的左侧方向观看触摸屏119时获得的示图，该示示作为观察触摸屏119的结果的、用户感知的触摸屏119的图标207与手指221之间的距离的虚拟感。另外，图9B图示用户从3D图像感知的透视感，然而，实际上，图标207仅仅是在触摸屏119的表面上显示的图像(即，没有厚度和深度的平面物品)。如图9B所示，图标207没有从触摸屏119突出。也就是说，手指221和触摸屏119之间的距离大于等于阈值Thl，从而没有产生具有视差的图像，并且，从用户看见的图标207似乎位于触摸屏119的表面上。
图IOA图示在用用户眼睛观察触摸屏119时获得的图像的另一例子。如图IOA所示，用户通过使用手指221进一步接近触摸屏119的显示图标207的一部分。此时，例如，假设手指221和触摸屏119之间的距离小于阈值Thl且大于等于阈值Th2。图IOB示出当用户从图IOA的左侧方向观看触摸屏119时获得的示图，该示示作为观察触摸屏119的结果的、用户感知的触摸屏119的图标207与手指221之间的距离的虚拟感。另外，图IOB图示用户从3D图像感知的透视感，然而，实际上，图标207仅仅是在触摸屏119的表面上显示的图像(即，没有厚度和深度的平面物品)。如图IOB所示，图标207从触摸屏119突出，并且变得靠近手指221。也就是说，手指221和触摸屏119之间的距离小于阈值Thl，从而产生具有视差的图像，并且，从用户看见的图标207看起来好像从触摸屏119突出。图IlA图示在用用户眼睛观察触摸屏119时获得的图像的另一例子。如图IlA所示，用户通过使用手指221进一步接近触摸屏119的显示图 标207的一部分。此时，例如，假设手指221和触摸屏119之间的距离小于阈值Th2。图IlB示出当用户从图IlA的左侧方向观看触摸屏119时获得的示图，该示示作为观察触摸屏119的结果的、用户感知的触摸屏119的图标207与手指221之间的距离的虚拟感。另外，图IlB图示用户通过3D图像感知的透视感，然而，实际上，图标207仅仅是在触摸屏119的表面上显示的图像(即，没有厚度和深度的平面物品)。如图IlB所示，图标207从触摸屏119突出，并且与手指221接触。也就是说，手指221和触摸屏119之间的距离小于阈值Th2，从而产生具有更大的视差的图像，并且，从用户看见的图标207看起来好像从触摸屏119进一步突出。另外，图IOA和图IlA中所示的图标207可以被放大显示。也就是说，当向用户一侧观看时，与其它图标相比，图标207可以看起来好像从触摸屏119突出，并且同时图标207看起来好像被放大了。以这样的方式，可以允许用户清楚地感觉到图标207的选择。当它达到了图IlA和IlB中所示的状态时，执行分配给图标207的功能。也就是说，执行这样的功能(脸部检测)即，自动检测作为与从CCD 131输出的图像信号相对应的图像被拍摄的被摄体中的人的脸部，并且，执行自动聚焦，以使检测到的脸部聚焦。另外，当执行分配给图标207的功能时，例如，可以改变图标207的颜色。另外，当执行分配给图标207的功能时，例如，可以动画显示图标207，以逐渐地消失(渐隐)。以这样的方式，用户可以清楚地感觉到图标207的选择。另外，以这样的方式，可以向用户反馈该图标的选择操作，使得可以允许用户清楚地感觉到图标207的选择。另外，当三维地显示菜单屏幕时，或者，当执行该图标的功能时，可以输出预定的声首效果等。接下来，将参照图12的流程图描述由成像设备50执行的图标选择和显示控制处理的例子。例如，当成像设备50通过触摸屏119接收用户的操作时，执行该处理。在步骤S21中，CPU 136控制数字信号处理单元134，并且在液晶面板120 (触摸屏119)上显示菜单屏幕。例如，以这样的方式，显示上面参照图8描述的菜单屏幕。在步骤S22中，接近确定单元181确定是否检测到用户的手指221的接近，并且，当确定手指221尚未接近时，本处理返回到步骤S21。例如，在图9A和9B中所示的状态的情况中，确定用户的手指221尚未接近。当在步骤S22中确定检测到用户的手指221接近的情况中，本处理进入步骤S23。例如，在图IOA和IOB中所示的状态的情况中，确定检测到用户的手指221接近。例如，在手指221和触摸屏119之间的距离小于阈值Thl的情况中，确定检测到用户的手指221接近。在步骤S23中，视差调整单元182指定要三维地显示的图标。此时，例如，基于在从接近确定单元181输出的数据中包含的且指示用户的手指221接近触摸屏119的哪一部分的信息，指定要三维地显示的图标。另外，例如，基准点P被设置为要三维地显示的图标的中央位置。在步骤S24中，视差调整单元182指定触摸屏119和手指221之间的距离。例如，基于根据从接近确定单元181输出的数据获得的接近程度来指定触摸屏119和手指221之间的距离。 在步骤S25中，视差调整单元182设置由3D图像产生单元183产生的3D图像的视差。此时，例如，设置与在步骤S24中指定的距离相对应的视差。例如，当指定用户的手指接近小于第一阈值的距离的情况中，设置视差dl，并且，当指定用户的手指接近小于第二阈值的距离的情况中，设置视差d2，其中，第二阈值小于第一阈值，视差d2大于视差dl。在步骤S26中，基于在步骤S25中的处理中设置的视差和根据步骤S23中的处理设置的基准点，3D图像产生单元183产生数据作为左眼图像数据和右眼图像数据。以这样的方式，产生3D图像数据。另外，基于该3D图像数据，三维地显示触摸屏119的菜单屏幕。在步骤S27中，视差调整单元182确定触摸屏119和手指221之间的距离是否改变，并且，在确定触摸屏119和手指221之间的距离不改变的情况中，本处理返回到步骤S26。在步骤S27中，在确定触摸屏119和手指221之间的距离改变的情况中，本处理进入步骤S28。在步骤S28中，视差调整单元182确定触摸屏119和手指221之间的距离是否充分小。例如,在触摸屏119和手指221之间的距离小于阈值Th2的情况中，在步骤S28中，确定触摸屏119和手指221之间的距离充分小。在步骤S28中，在确定触摸屏119和手指221之间的距离不是充分小的情况中，本处理返回到步骤S22。另一方面，在步骤S28中，在触摸屏119和手指221之间的距离充分小的情况中，本处理进入步骤S29。例如，在图IlA和IlB中所示的状态的情况中，在步骤S28中，确定触摸屏119和手指221之间的距离充分小。例如，在触摸屏119和手指221之间的距离小于阈值Th2的情况中，确定离用户的手指221之间的距离充分小。在步骤S29中，视差调整单元182设置相对较大的视差作为由3D图像产生单元183产生的3D图像的视差。在步骤S30中，3D图像产生单元183与在步骤S29的处理中设置的视差相对应地产生数据作为左眼图像数据和右眼图像数据。以这样的方式，产生3D图像数据，因此，三维地显示触摸屏119的菜单屏幕。在步骤S31中，选择执行指示单元184确定在步骤S23的步骤中指定的图标的选择。在步骤S32中，选择执行指示单元184允许执行在步骤S31中确定其选择的图标的功能。此时，例如，如图IlA和IB中所示，选择图标207，并且，执行这样的功能(脸部检测)即，自动检测作为与从CCD 131输出的图像信号相对应的图像被拍摄的被摄体中的人的脸部，并且，执行自动聚焦，以使检测到的脸部聚焦。以这样的方式，执行图标选择和显示控制处理。以这样的方式，例如，如上面参照图9A至图IlB所述，当用户的手指221接近图标207时，图标207看起来好像从触摸屏119突出。另外，当用户的手指221进一步接近图标207时，图标207看起来好像从触摸屏119进一步突出并与手指221接触。因此，在手指221没有接触屏幕119的情况中，可以允许用户清楚地感觉到图标207的选择和执行该图标的功能的事实。 另外，在上述的例子中，当手指接近时，图标被显示为其看起来好像从触摸屏突出，但是，图标也可以以其它的方式被显示。例如，可以以这样的方式执行显示即，看起来好像在触摸屏的深度方向中陷入的图标在手指接近图标时看起来好像其升起来。要点在于，可以产生显示数据，使得当手指接近图标时，该图标看起来好像其靠近手指。然而，在上面参照图12描述的例子中，例如，在触摸屏119和手指221之间的距离小于阈值Thl的情况中，检测到接近，并且，在该距离小于阈值Th2的情况中，确定图标的选择。也就是说，在两个步骤中执行触摸屏119和手指221之间的距离的确定。然而，可以在三个以上的步骤中执行触摸屏119和手指221之间的距离的确定。以这样的方式，可以执行真实的3D显示。另外，可以使用单个阈值来执行触摸屏119和手指221之间的距离的确定。在这种情况下，图标选择和显示控制可以相对较简单。图13示出图示由成像设备50执行的图标选择和显示控制处理的另一例子的流程图。本处理是变得比图12的图标选择和显示控制处理简单的处理。在步骤S51中，CPU 136控制数字信号处理单元134，以在液晶面板120 (触摸屏119)上显示菜单屏幕。在步骤S52中，接近确定单元181确定是否检测到用户的手指221的接近，并且，当确定手指221尚未接近时，本处理返回到步骤S51。例如，在图9A和9B中所示的状态的情况中，确定用户的手指221尚未接近。当在步骤S52中确定检测到用户的手指221接近的情况中，本处理进入步骤S53。例如，在触摸屏119和手指211之间的距离小于阈值Thl的情况中，确定检测到用户的手指221接近。在步骤S53中，视差调整单元182执行要三维地显示的图标。此时，例如，基于在从接近确定单元181输出的数据中包含的且指示用户的手指221接近触摸屏119的哪一部分的信息，指定要三维地显示的图标。另外，例如，基准点P被设置为要三维地显示的图标的中央位置。在步骤S54中，视差调整单元182设置由3D图像产生单元183产生的3D图像的视差。此时，例如，设置预先确定的视差。在步骤S55中，基于在步骤S54中的处理中设置的视差和根据步骤S53中的处理设置的基准点，3D图像产生单元183产生数据作为左眼图像数据和右眼图像数据。以这样的方式，产生3D图像数据。另外，基于该3D图像数据，三维地显示触摸屏119的菜单屏幕。在步骤S56中，选择执行指示单元184确定在步骤S53的步骤中指定的图标的选择。在步骤S57中，选择执行指示单元184允许执行在步骤S31中确定其选择的图标的功能。此时，例如，如图IlA和IB中所示，选择图标207，并且，执行这样的功能(脸部检测)即，自动检测作为与从CCD 131输出的图像信号相对应的图像被拍摄的被摄体中的人的脸部，并且，执行自动聚焦，以使检测到的脸部聚焦。以这样的方式，可以执行图标选择和显 示控制处理。在上文中，描述了本技术被应用于成像设备50的例子，但是，本技术可以被应用于除了成像设备以外的其它电子设备。本技术可以被应用于任意设备，只要执行使用触摸屏等的操作即可。另外，在上文中，描述了其中通过使用手指等来操作在触摸屏上显示的图标等的例子，但是，例如，本技术可以被应用于其中通过使用触笔(stylus pen)等来操作在触摸屏上显不的图标等的情况。另外，在上文中，描述了其中在选择在触摸屏上显示的菜单屏幕中的图标时执行3D显示的例子，但是，本技术的应用不限于此。要点在于，只要在触摸屏等上显示GUI部分并操作该GUI部分，就可以应用本技术。另外，在上文中，描述了其中通过具有采用了视差屏障系统的3D显示器的触摸屏来执行3D显示的例子，但是，即使在使用除视差屏障系统以外的系统来执行3D显示的情况中，也可以应用本公开。例如，可以使用具有采用了微透镜系统(lenticular system)的3D显示器的触摸屏。另外，可以使用具有允许用户佩戴特殊眼镜来观察它的3D显示器的触摸屏，该3D显示器不同于允许用户用裸眼观察它的3D显示器。另外，上述的系列处理可以通过硬件或软件来执行。在上述的系列处理通过软件来执行的情况中，构成软件的程序可以通过网络或者从记录介质被安装在组装有专用硬件的计算机或者例如图14中所示的通用个人计算机700上，所述计算机可以通过安装各种程序来执行各种功能。在图14中，CPU(中央处理单元)701根据存储于R0M(只读存储器)702中的程序或者从存储单元708加载到RAM(随机存取存储器)703中的程序来执行各种处理。在RAM703中，适当地存储由CPU 701执行各种处理所需的数据。CPU 70KROM 702和RAM 703通过总线704相互连接。另外，I/O接口 705连接到总线704。诸如键盘和鼠标的输入单元706、诸如IXD (液晶显示器)的显示器、诸如扬声器的输出单元707、诸如硬盘的存储单元708、以及诸如调制解调器和包括LAN卡等的网络接口卡的通信单元709连接到I/O接口 705。通信单元709通过包括互联网的网络执行通信处理。驱动器710在必要的时候连接到I/O接口 705，并且，适当地安装诸如磁盘、光盘、磁光盘和半导体存储器的可移动介质711，由此，在必要的时候，可以在存储单元708中安装从这些介质读出的计算机程序。在通过软件执行上述系列处理的情况中，构成该软件的程序可以通过诸如互联网的网络或者诸如可移动介质711的记录介质被安装。另外，与图14中所示的设备的主体分开的该记录介质不仅可以由被分发用于向用户传送程序并记录有程序的可移动介质711构成，而且可以由在被预先安装到该设备的主体的状态中被分发给用户且记录有程序的ROM 702或在存储单元708中包含的硬盘等构成，可移动介质711包括磁盘(包括软盘(注册商标))、光盘(包括CD-ROM(压缩盘-只读存储器)和DVD (数字多功能盘))、磁光盘(包括MD (迷你盘，Mini-Disc (注册商标)))、半导体存储器等。
接下来，参照图15，图示了一种控制单元500。该控制单元500包括显示器501和控制电路503。显示器501显示图形用户界面的一部分。控制电路503控制所述图形用户界面的一部分的深度显示并且在检测到物体接近显示器时改变所述一部分的显示的深度。另外，控制单元500还可以包括传感器502。传感器502检测物体何时与显示器相距预定距离。控制电路503还可以包括接近检测单元、部分指定单元以及图像数据产生单元。接近检测单元检测操作⑶I部分的物体相对于显示该⑶I部分的显示单元是否接近。部分指定单元指定在物体接近的情况中操作的GUI部分。图像数据产生单元产生控制显示单元的深度显示的图像数据使得指定的GUI部分看起来靠近物体。另外，控制电路503还可以包括功能执行单元。功能执行单元在图像数据产生单元产生图像数据之后执行分配给指定的⑶I部分的功能。此外，控制电路503可以包括第一改变单元、第二改变单元、第三改变单元、第四改变单元、深度改变单元、功能执行单元、颜色改变单元和图标淡出单元中的至少一个。第一改变单元通过减少显示的深度来改变显示的深度。第二改变单元响应于检测到物体处于离图标的预定距离内而改变显示的深度。当检测到物体处于显示器的预定距离内时，第三改变单元将图标从第一状态改变为第二状态，其中第二状态使得该图标视觉上被感知在与第一状态不同的距离处。第四改变单元改变所述一部分的视差，以便在所述一部分的显示深度上产生视觉上感知的变化。深度改变单元在物体与显示器相距第一距离时改变所述一部分的显示的深度。当检测到物体处于离显示器的第二距离内时，功能执行单元执行与图标相关联的功能，其中第二距离小于第一距离。当物体处于离显示器的第二距离内时，颜色改变单元改变图标的颜色。图标淡出单元响应于检测到物体处于第二距离内并触发功能的执行使得图标逐渐地消失。应该注意，本公开还可以采取下述配置。[I]一种图像处理设备，包括接近检测单元，其检测操作⑶I部分的物体相对于显示该⑶I部分的显示单元是否接近；部分指定单元，该部分指定单元指定在物体接近的情况中操作的GUI部分；以及图像数据产生单元，其产生控制显示单元的深度显示的图像数据，使得指定的⑶I部分看起来靠近物体。
[2]根据[I]所述的图像处理设备，其中，图像数据产生单元根据物体相对于显示单元的接近程度来产生控制显示单元的深度显示的图像数据。[3]根据[2]所述的图像处理设备，其中，将接近程度与预先设置的阈值进行比较，并且，与比较结果相对应地设置用于控制显示单元的深度显示的视差。
[4]根据[I]所述的图像处理设备，其中，图像数据产生单元产生图像数据，使得指定的⑶I部分被放大显示。[5]根据[I]所述的图像处理设备，其中，图像数据产生单元产生图像数据，使得指定的GUI部分的颜色改变。[6]根据[I]所述的图像处理设备，还包括功能执行单元，在图像数据产生单元产生图像数据之后，该功能执行单元执行分配给指定的GUI部分的功能。[7]根据[I]所述的图像处理设备，其中，显示器包括采用视差屏障系统的3D显示器。[8]根据[I]所述的图像处理设备，其中，接近检测单元包括触摸屏。[9]根据[I]所述的图像处理设备，其中，图像数据产生单元通过基于与⑶I部分的显示位置相对应的基准点产生具有预定视差的左眼图像数据和右眼图像数据来产生图像数据。[10]一种显示操作屏幕的方法，包括通过接近检测单元,允许该接近检测单元检测操作GUI部分的物体相对于显示该GUI部分的显示单元是否接近；通过部分指定单元，允许该部分指定单元指定在物体接近的情况中操作的GUI部分；以及通过图像数据产生单元，允许该图像数据产生单元产生控制显示单元的深度显示的图像数据，使得指定的GUI部分看起来靠近物体。[11]一种允许计算机充当图像处理设备的程序，其中，图像处理设备包括
接近检测单元,其检测操作⑶I部分的物体相对于显示该⑶I部分的显示单元是否接近；部分指定单元，其指定在物体接近的情况中操作的GUI部分；以及图像数据产生单元，其产生控制显示单元的深度显示的图像数据，使得指定的⑶I部分看起来靠近物体。另外，本说明书中的上述系列处理不仅包括根据描述的顺序按时序执行的处理，而且包括并行地或分开地执行的处理，即使这些处理不必按时序执行。另外，本公开的实施例不限于上述实施例，并且，可以在不脱离本公开的范围的情况下进行各种改变。 附图标记列表50 :成像设备119:触摸屏120 :液晶面板121 :接近面板134 :数字信号处理单元136 : CPU137 :操作单元138 :EEPROM139 :程序 ROM140 : RAM181 :接近确定单元182 :视差调整单元183 3D图像产生单元184 :选择执行单元201 至 208:图标。
权利要求
1.一种控制单元，包括 控制电路，该控制电路控制在显示器上显示的图形用户界面的一部分的深度显示，当检测到物体接近显示器时，所述控制电路改变所述一部分的显示的深度。
2.根据权利要求I所述的控制单元，其中 控制电路通过减少显示的深度来改变显示的深度。
3.根据权利要求I所述的控制单元，其中 所述一部分是显示在显示器上的图标。
4.根据权利要求3所述的控制单元，其中 图标是用户可选择的图标，并且，控制电路响应于检测到物体处于离图标的预定距离内而改变显示的深度。
5.根据权利要求3所述的控制单元，其中 当检测到物体处于显示器的预定距离内时，控制电路将图标从第一状态改变为第二状态，所述第二状态使得该图标视觉上被感知在与第一状态不同的距离处。
6.根据权利要求I所述的控制单元，还包括 传感器，该传感器检测物体何时与显示器相距预定距离。
7.根据权利要求6所述的控制单元，其中 传感器是作为所述显示器的组成部分而被包括在内的静电电容式传感器。
8.根据权利要求I所述的控制单元，还包括 显示器，所述显示器是3维显示器。
9.根据权利要求8所述的控制单元，其中 所述3维显示器包含左图像和右图像。
10.根据权利要求I所述的控制单元，其中 控制电路改变所述一部分的视差，以便在所述一部分的显示深度上产生视觉上感知的变化。
11.根据权利要求I所述的控制单元，其中 图形用户界面的所述一部分是图标，以及 在物体与显示器相距第一距离时，控制电路改变所述一部分的显示的深度，并且当检测到物体处于离显示器的第二距离内时，控制电路执行与图标相关联的功能，所述第二距离小于第一距离。
12.根据权利要求11所述的控制单元，其中 当物体处于离显示器的第二距离内时，控制电路改变图标的颜色。
13.根据权利要求11所述的控制单元，其中 响应于检测到物体处于第二距离内并触发功能的执行，控制电路使得图标逐渐地消失。
14.一种显不控制方法,包括 在显示器上显示图形用户界面的一部分； 检测物体接近显示器； 用控制电路控制图形用户界面的所述一部分的深度显示，所述控制包括改变所述一部分的显示的深度。
15.根据权利要求14所述的显示控制方法，其中 所述控制包括通过减少显示的深度来改变显示的深度。
16.根据权利要求14所述的显示控制方法，其中 所述一部分是显示在显示器上的图标。
17.根据权利要求16所述的显示控制方法，其中 图标是用户可选择的图标，并且 响应于检测到物体处于离图标的预定距离内，所述控制改变显示的深度。
18.根据权利要求16所述的显示控制方法，其中 所述控制包括当检测到物体处于显示器的预定距离内时将图标从第一状态改变为第二状态，所述第二状态使得该图标视觉上被感知在与第一状态不同的距离处。
19.根据权利要求14所述的显示控制方法，还包括 用传感器检测物体何时与显示器相距预定距离。
20.一种非暂态计算机可读存储装置，具有当由处理电路执行时实现显示控制方法的计算机可读指令，所述方法包括 在显示器上显示图形用户界面的一部分； 检测物体接近显示器； 用控制电路控制图形用户界面的所述一部分的深度显示，所述控制包括改变所述一部分的显示的深度。
全文摘要
本发明涉及图像处理设备和方法、以及程序。一种控制单元、方法和计算机程序产品协作提供图形用户界面的至少一部分的显示的可控制的深度。而且，控制单元包括控制电路，该控制电路控制作为图形用户界面的一部分的图标的深度显示，该图标可以是用户可选择的图标。当检测到物体接近显示器时，控制电路改变图标的显示的深度。以这样的方式，当用户与图形用户界面交互时，向用户提供视觉的反馈。
文档编号G06F3/041GK102685527SQ20121005259
公开日2012年9月19日 申请日期2012年3月2日 优先权日2011年3月9日
发明者中川舞子 申请人:索尼公司