图像处理装置以及操作事件判别方法

图像处理装置以及操作事件判别方法
【专利摘要】图像处理装置以及操作事件判别方法，在检测到用户的手势操作的情况下，降低CPU的负载，并能够高效地确定对应于用户的输入操作的操作事件，该图像处理装置具有：触摸传感器（6a），检测对于显示画面的用户的输入操作；分组部（31），将显示画面包含的多个画面结构部分，作为通过接受相同的操作事件的画面结构部分汇集的封闭区域而分组，对各组关联共通的操作事件；以及操作事件判定部（33），伴随检测用户的输入操作，从被分组的至少1个封闭区域中，确定检测到输入操作的封闭区域，从多个操作事件判定例行程序中，仅启动对应于与该确定了的封闭区域的组相关联的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件。
【专利说明】图像处理装置以及操作事件判别方法
【技术领域】
[0001]本发明涉及图像处理装置以及操作事件判别方法。
【背景技术】
[0002]以往，智能手机和平板电脑终端等的显示装置，能够检测单点接触操作和多点接触操作等，由用户进行的复杂的手势操作(参照专利文献1，2)。例如，在专利文献I中，公开了对于显示装置的多点接触感知区域预先定义手势组合，如果在多点接触感知区域中操作被检测，则确定该手势组合包括的一个或者更多的手势事件的装置。此外，在专利文献2中，公开了通过对于显示装置的区域预先设定多点接触标记，对于该区域用户能够进行多点接触操作的技术。
[0003]近年来,在网络印刷机和MFP (Multifunction Peripheral,多功能外围设备)等的图像处理装置中，检测由用户进行的复杂的手势操作，能够进行作业的设定操作等的装置不断地普及。因此，根据用户对于图像处理装置的操作面板，进行单击和双击、长敲击、轻滑、拖拽、捏紧以及捏开的各种各样的手势操作，变得能够高效地进行作业的设定操作和图像数据的确认操作等。
[0004]如上所述的图像处理装置，由于需要正确地检测由用户进行的手势操作，因此，作为单击，双击，长敲击，轻滑，拖拽，捏紧，捏开的成为检测对象的每个操作事件，预先装载多个操作事件判定例行程序。然后，如果对于操作面板的用户输入操作被检测，通过依次全部启动这些多个操作事件判定例行程序，确定由用户执行的输入操作的操作事件，执行对应该操作事件的处理。
[0005]现有技术文献
[0006]专利文献
[0007]专利文献I特表2009-525538号公报
[0008]专利文献2特开2009-211704号公报
[0009]然而，图像处理装置的操作面板所显示的显示画面有各种各样的画面，每个显示画面用户能够进行的手势操作不同。此外，在I个显示画面内，存在例如用户仅简单地执行单击操作的区域，以及能够执行用于滚动移动的轻滑操作和拖拽操作等的区域，混在一起的情况，每个区域用户能够执行的手势操作不同。也就是说，根据操作面板显示的显示画面的画面结构部分，也存在对应轻滑和捏等的操作事件的处理未被定义的情况。
[0010]可是，上述的以往的图像处理装置，如果在显示画面内用户输入操作被检测，则由于依次全部启动多个操作事件判定例行程序，即使作为对于对应轻滑操作的处理未被定义的显示画面的操作，用于检测轻滑操作的操作事件判定例行程序也被启动。于是，以往的图像处理装置，根据操作面板显示的画面结构，由于执行无用的操作事件判定例行程序，存在(PU资源被占用的问题。
[0011]特别是，该种类的图像处理装置，在扫描作业和复印作业、打印作业、以及数据发送接收作业的执行中，在能够接受用户的输入操作的状态下，如果作业的执行中用户的输入操作被检测，则为了确定该对应输入操作的操作事件，与作业的执行并行而依次启动全部的操作事件判定例行程序。因此，即使在作业的执行中显示的画面结构是对应轻滑操作的处理未定义的画面结构，如果用户作为误操作执行轻滑操作，则CPU，在作业的执行的后台依次启动全部的操作事件判定例行程序，确定用户输入的操作事件是轻滑。但是，由于在显示画面中对应轻滑操作的处理未被任何定义，因此即使能够确定为操作事件是轻滑，CPU其后也不进行任何特殊的处理。
[0012]此外，即使在作业执行中用户进行的操作不是误操作的情况下，如果根据用户的输入操作被检测而依次启动全部的操作事件判定例行程序，则不能够高效地确定对应用户的输入操作的操作事件，CPU的占有率不必要地上升。
[0013]如上所述伴随用户的输入操作被检测，依次启动全部的操作事件判定例行程序的结构，特别是在需要处理作业的执行中多数的页面的图像数据的情况下，或者在需要处理高分辨率的图像数据的情况下，在CPU中由于执行无用的操作事件判定例行程序而延迟图像处理，产生图像处理装置的生产效率下降的问题。

【发明内容】

[0014]所以，本发明为了解决如上所述的以往的问题，作为其目的:提供在检测到用户的输入操作的情况下，不依次启动全部的操作事件判定例行程序，而是能够根据输入操作被检测的区域仅启动需要的操作事件判定例行程序，高效地确定对应于用户输入操作的操作事件的图像处理装置以及操作事件判别方法。
[0015]为了达到上述的目的，技术方案I的发明是图像处理装置，其特征在于，具备:显示部件，显示各种显示画面；输入检测部件，检测对于所述显示部件的显示画面的用户的输入操作；分组部件，将所述显示部件所显示的显示画面所包含的多个画面结构部分，作为通过接受相同的操作事件的画面结构部分汇集的封闭区域而分组，将所述相同的操作事件，作为所述组共通的操作事件，与所述组关联；操作事件判定部件，伴随通过所述输入检测部件检测用户的输入操作，从由所述分组部件分组的至少I个封闭区域之中，确定检测到所述输入操作的封闭区域，从多个操作事件判定例行程序之中，仅启动对应于与该确定了的封闭区域的组相关联的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件；控制部件，进行基于由所述操作事件判定部件所确定的操作事件的控制。
[0016]技术方案2的发明，其结构的特征在于:在技术方案I所述的图像处理装置中，所述分组部件，基于从外部输入的指示信息，将显示画面所包含的多个画面结构部分分组，并且对各组关联共通的操作事件。
[0017]技术方案3的发明，其结构的特征在于:在技术方案I所述的图像处理装置中，所述分组部件，通过分析所述显示部件所显示的显示画面所包含的多个画面结构部分，将能够接受相同的操作事件、并且在显示画面内位于规定距离的范围内的2个以上的画面结构部分分组为I个组，对该I个组关联共通的操作事件。
[0018]技术方案4的发明，其结构的特征在于:在技术方案I至3的任一项所述的图像处理装置中，所述分组部件，从包含轻滑、拖拽、单击、双击、长敲击以及捏的多个操作事件之中，选择并关联各组所包含的画面结构部分共通地能够接受的操作事件。
[0019]技术方案5的发明，其结构的特征在于:在技术方案I至4的任一项所述的图像处理装置中，所述画面结构部分包含，对应于操作键的图标图像、以列表形式显示信息的列表显示区域，显示略缩图图像的略缩图图像显示区域或者显示预览图像的预览显示区域。
[0020]技术方案6的发明，其结构的特征在于:在技术方案I至5的任一项所述的图像处理装置中，所述分组部件，能够生成被包括于I个封闭区域的其他的封闭区域并分组，将在所述I个封闭区域和所述其他的封闭区域的双方中共通的操作事件与对应于所述I个封闭区域的组关联，将仅在所述其他的区域中共通的操作事件与对应于所述其他的区域的组关联。
[0021]技术方案7的发明，其结构的特征在于:在技术方案6所述的图像处理装置中，所述操作事件判定部件，在通过所述输入检测部件检测到用户的输入操作的封闭区域是所述其他的封闭区域的情况下，依次启动对应于与所述其他的封闭区域和所述I个封闭区域的各自的组相关联的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件。
[0022]技术方案8的发明，其结构的特征在于:在技术方案7所述的图像处理装置中，所述操作事件判定部件，在通过所述输入检测部件检测到用户的输入操作的封闭区域是所述其他的封闭区域的情况下，在启动对应于与所述其他的封闭区域的组相关联的操作事件的操作事件判定例行程序后，启动对应于与所述I个封闭区域的组相关联的操作事件的操作事件判定例行程序。
[0023]技术方案9的发明，其结构的特征在于:在技术方案I至8的任一项所述的图像处理装置中，所述显示部件所显示的显示画面所包含的画面结构部分能够追加、删除或者变更，所述分组部件，对所述显示部件所显示的显示画面所包含的画面结构部分被追加、删除或者变更的组相关联的共通的操作事件。
[0024]技术方案10的发明，其结构的特征在于:在技术方案I至8的任一项所述的图像处理装置中，所述显示部件所显示的显示画面所包含的画面结构部分能够追加、删除或者变更，所述分组部件，伴随所述显示部件所显示的显示画面所包含的画面结构部分被追加、删除或者变更，再次进行该显示画面所包含的多个画面结构部分的分组。
[0025]技术方案11的发明，其结构的特征在于:在技术方案I至10的任一项所述的图像处理装置中，所述分组部件，对包含能够将相同信息以不同的显示方式表示的画面结构部分的组，关联对应该画面结构部分的显示方式的操作事件。
[0026]技术方案12的发明，其结构的特征在于:在技术方案I至11的任一项所述的图像处理装置中，所述操作事件判定部件，在通过所述输入检测部件检测到用户的输入操作的封闭区域跨越多个封闭区域的情况下，仅启动对应于与最初检测到输入操作的封闭区域的组相关联的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件。
[0027]技术方案13的发明，基于对显示各种显示画面的显示部件进行的用户的输入操作，判别对应于该输入操作的操作事件是操作事件判别方法，其结构的特征在于，具有:分组步骤，将所述显示部件所显示的显示画面所包含的多个画面结构部分，作为通过接受相同的操作事件的画面结构部分汇集的封闭区域而分组，将所述相同的操作事件作为在所述组中共通的操作事件，与所述组关联；操作检测步骤，在所述显示部件中I个显示画面被显示的状态检测由用户进行的输入操作；操作事件确定步骤，伴随检测用户的输入操作，从在所述I个显示画面中被分组的至少I个封闭区域之中，确定检测到所述输入操作的封闭区域，从多个操作事件判定例行程序之中，仅启动对应于与该确定了的封闭区域的组相关联的共通的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件。
[0028]此外，操作事件判别方法包含，具有与技术方案2至12的各个的发明相同主旨的特征的方法发明。
[0029]通过本发明，检测到对于显示画面的用户的输入操作的情况下，不依次启动多个操作事件判定例行程序的全部，而是按照检测到输入操作的画面区域仅启动需要的操作事件判定例行程序，因此变得能够高效地确定对应于用户的输入操作的操作事件。
【专利附图】

【附图说明】
[0030]图1是表示画面处理装置的外观结构的一例的图。
[0031]图2是表示画面处理装置的硬件结构的一例的方框图。
[0032]图3是表示程序的概念的结构的图。
[0033]图4是表示通过启动主程序在CPU中实现的功能方框的一例的图。
[0034]图5是说明分组部的分组处理的概念的图。
[0035]图6是说明分组部的分组处理的概念的图。
[0036]图7是表示对将多个表示画面的各自分组而得到的各区域，关联了共通的操作事件的状态的一例的图。
[0037]图8是表示在图像处理装置中进行的处理步骤的一例的流程。
[0038]图9是表示功能选择画面的一例的图。
[0039]图10 Ca)?(C)是表示能够以列表形式显示多个目标地址信息的目标地址选择画面的一例的图。
[0040]图11 (a)?(b)是表示进行图像的预览显示的预览显示画面的一例的图。
[0041]图12 Ca)?(C)是表示对预览区域用户能够进行的操作的一例的图。
[0042]图13是表示用户进行各种设定操作时的应用设定画面的一例的图。
[0043]图14是表示用户进行各种设定操作时的基本设定画面的一例的图。
[0044]图15是表示I个封闭区域被分组为被包括于其他的封闭区域的状态的基本设定画面的图。
[0045]图16是表示在具有亲子关系的封闭区域中检测到输入操作的情况的循环处理的处理步骤的一例的流程。
[0046]图17 (a)?(b)是表不盒子内文档一览的文档一览显不画面的一例的图。
[0047]图18是在表示文档一览显示画面中进行长敲击操作的情况的画面变化的一例的图。
[0048]图19 (a)?(b)是表不以与图17不同的显不方式显不盒子内文档一览的文档一览显示画面的其他的例的图。
[0049]图20 (a)?(b)是表示对基本设定画面进行图标图像的追加注册的情况的画面定制的一例的图。
[0050]图21是表示在进行显示画面的定制的情况下，为了再分组而执行的处理步骤的一例的流程。
[0051]图22是表示在应用设定画面中用户跨越多个封闭区域而进行的手势操作的一例的图。
[0052]标号说明
[0053]I图像处理装置
[0054]4操作面板
[0055]5显示部(显示部件)
[0056]6a接触传感器(输入检测部件)
[0057]11 CPU
[0058]13 程序
[0059]31分组部(分组部件)
[0060]32显示控制部
[0061]33操作事件判定部(操作事件判定部件)
[0062]34控制执行部(控制部件)
【具体实施方式】
[0063]下面，相关本发明的优选的实施方式，参照附图进行详细说明。另外，在下面说明的实施方式中，对相互共通的部件附上相同的标号，省略对此的重复的说明。
[0064]图1是表示本实施方式的图像处理装置I的外观结构的一例的图。该图像处理装置I由MFP (Multifunction Peripheral多功能外围设备)构成，具备扫描功能和印刷功能、复印功能、传真功能、网络功能、电子邮件发送接收功能等的各种各样的功能，执行由用户指定的作业。该图像处理装置1，在装置本体的上部，具有在执行扫描作业的时候动作的扫描仪部2。扫描仪部2具备光学地读取原稿的图像的图像读取部2a和对图像读取部2a一张一张地自动传输原稿的原稿传输部2b，读取由用户设置的原稿而生成图像数据。此外，图像处理装置1，在装置本体的中央下部，具有执行印刷作业的时候动作的印刷机部3。印刷机部3具有，基于输入的图像数据进行通过电子照片方式等的图像形成并进行输出的图像形成部3a和对该图像形成部3a —张一张地传输印刷用纸等的板材的供纸传输部3b，基于由用户指定的图像数据而进行印刷输出。
[0065]此外，图像处理装置I的正面设置，在用户使用图像处理装置的时候作为用户界面发挥作用的操作面板4。该操作面板4具备，对用户显示各种信息的显示部5，用于用户进行操作输入的操作部6。显示部5，例如由具有规定的画面大小的彩色液晶显示屏等构成，能够显示各种各样的显示画面。操作部6具备，配置于显示部5的图像上的接触传感器6a，和配置于显示部5的画面周围的多个按键式的操作键6b。从而，用户参照显示部5所显示的显示画面的同时，通过对操作部6进行各种各样的输入操作，能够对图像处理装置I进行用于作业的执行的设定操作，或者指示作业的执行。
[0066]配置于显示部5的画面上的接触传感器6a，不仅能够检测用户的单点接触操作，也可以检测多点接触操作。单点接触操作是，接触显示部5的显示画面上的I点的操作，例如包含单击和双击、长敲击、轻滑、拖拽等的操作。多点接触操作是，同时接触显示部5的显示画面上的多个点的操作，例如包含捏紧、捏开等的捏操作和旋转操作等。该接触传感器6a，如果显示部5的显示画面上的至少I点被触摸，则能够确定该触摸位置，并且，其后变得能够检测该触摸状态的释放、触摸位置的移动。因此，用户对显示部5显示画面进行各种各样的手势操作的同时，能够进行作业的设定等。
[0067]另外，配置于显示部5的画面周围的操作键6b，由附上了从O至9的数字的数字键等构成。这些的操作键6b，仅检测用户的按压操作。
[0068]图2是显示画面处理装置I的硬件结构的一例的方框图。图像处理装置I除了上述的扫描仪部2、印刷机部3、操作面板4之外，如图2所示具备:控制部10、传真部20、网络接口 21、无线接口 22、以及存储装置23，这些各部经由数据总线19能够相互地进行数据的输入输出。
[0069]控制部10总括地控制图2所示的操作面板4、扫描仪部2、印刷机部3、传真部20、网络接口 21、无线接口 22以及存储装置23的各自。传真部20经由省略图示的公用电话线路而进行传真数据的发送接收。网络接口 21是，用于连接到图像处理装置I与LAN(LocalArea Network，局域网)等的网络的接口。无线接口 22是，用于进行外部的装置和NFC(NearField Communication,近场通信)等的无线通信的接口。存储装置23是,例如由硬盘驱动器(HDD)和固态驱动器(SSD)等构成的非易失性的存储部件，能够暂时地保存经由网络接收的图像数据和扫描仪部2生成的图像数据。
[0070]此外，如图2 所示，控制部 10 具备=CPUlU ROMl2, SRAM14、NVRAM15、以及 RTC17。CPUll伴随向图像处理装置I电源被接通，读取存储于R0M12的程序13并执行。由此，控制部10，如上所述开始各部的控制动作。特别是，CPUll是图像处理装置I的控制动作的主要部，不只是作业的执行动作，也控制作为用户界面发挥作用的操作面板4的动作。S卩，CPUll将操作面板4的显示部5所显示的显示画面进行切换的控制，并且在通过接触传感器6a以及操作键6b检测到用户的输入操作的情况下，确定该输入操作是什么样的操作事件，执行对应于该确定的操作事件的控制。操作事件，是用户的输入操作，例如在对于接触传感器6a的输入操作中，存在单击，双击，长敲击，轻滑，拖拽，捏，旋转的多个操作事件。此外，对应于操作事件的控制包含，例如切换显示画面的控制、开始作业的执行的控制，停止作业的执行的控制等。另外，关于这样的CPUll的动作，后面详细地进行说明。
[0071]SRAM14是提供CPUll的作业用的存储区域的存储器，例如存储CPUll通过执行程序13而产生的临时的数据等。
[0072]NVRAMl5是被电池备份的非易失性存储器，预先存储图像处理装置I的各种设定值和信息等。在该NVRAM15中，如图2所示预先存储画面信息16。画面信息16由在操作面板4的显示部5中显示的多个显示画面相关的信息组成。在各显示画面的画面信息16中，包含用于接受用户的手势操作的各种各样的画面结构部分。在那样的画面结构部分中，包含例如用户能够操作的操作键、进行各种信息的列表显示的列表显示区域、显示略缩图图像的略缩图图像显示区域、以及显示预览图像的预览显示区域等。这些的画面结构部分，被设定为能够接受各个不同的操作事件，并且对于能够接受的操作事件个别地设定应该执行的处理。通过这样的画面结构部分的组合，各种显示画面的画面结构被定义，成为用户能够进行各种各样的手势操作的画面结构。然后，显示部5所显示的多个显示画面画面结构各自不同，因此在用户对于接触传感器6a进行了手势操作的情况下，能够接受的操作事件各自不同。
[0073]RTC17作为实时时钟，是对时刻持续计数的时钟电路。
[0074]接着图3是表示由CPUll执行的程序13的概念的结构的图。程序13具备:在向图像处理装置I通电时由CPUll自动地读取并启动的主程序13a、以及作为该主程序13a的子例行程序预先准备的多个操作事件判定例行程序13b、13c、13d、13e、13f、13g、13h。多个操作事件判定例行程序13b?13h是在接触传感器6a检测到用户的输入操作(手势操作)的情况下，用于确定该输入操作相应于单击、双击、长敲击、轻滑、拖拽、捏以及旋转的哪一个操作事件的子例行程序，由于每个成为确定对象的操作事件具体的判定处理的内容或者步骤不同，所以作为个别的子例行程序事先准备。然后，本实施方式构成为，若接触传感器6a检测用户的输入操作，则通过CPUll从多个操作事件判定例行程序13b?13h之中仅启动需要的操作事件判定例行程序，高效地确定对应于输入操作的操作事件。下面，说明这样的CPUll的具体的处理内容。
[0075]图4是表示CPUll通过启动主程序13a实现的功能方框的一例的图。如图4所示，CPUll通过执行主程序13a，作为分组部31、显示控制部32、操作事件判定部33、控制执行部34、以及作业执行部35发挥作用。
[0076]分组部31是,按每个显示部5所表示的显示画面,将该显示画面包含的多个画面结构部分分组，对各组关联操作事件的处理部。该分组部31，通过从I个显示画面包含的多个画面结构部分中，汇集能够接受相同的操作事件的画面结构部分而在画面内形成封闭区域，将多个画面结构部分以至少I个封闭区域分组。也就是说，在显示画面内形成的I个封闭区域中，包含能够接受相同的操作事件的I个或者多个画面结构部分。此外在I个显示画面包含接受各自不同的操作事件的多个画面结构部分的情况下，这些多个画面结构部分被各自区分至其它的封闭区域，在该显示画面内生成多个组。然后，分组部31，对于将显示画面所包含的多个画面结构部分分组而生成的各组，进行预先关联在各自的组共通并能够接受的操作事件的设定。即，分组部31按每个由分组形成的封闭区域，将该封闭区域包含的画面结构部分能够接受的相同的操作事件，作为共通的操作事件，与该封闭区域全体关联。
[0077]分组部31也可以基于经由操作面板4，或者，经由网络接口 21从外部输入的指示信息，进行如上所述的处理。此时，分组部31基于经由操作面板4，或者，经由网络接口 21从外部输入的指示信息，将各显示画面包含的多个画面结构部分的各自分组，对各组关联共通的操作事件。从而，此时进行对于各显示画面的操作的用户，或者，设计各显示画面的设计者等能够通过手动操作将多个画面结构部分分组。
[0078]此外分组部31也可以通过读取存储于NVRAM15的画面信息16并分析，确定各显示画面所包含多个画面结构部分的各自能够接受的操作事件，基于该确定了的操作事件而分组，自动地进行对各组关联共通并能够接受的操作事件的处理。
[0079]图5以及图6是说明分组部31的分组处理的概念的图。首先，如图5所示，示例在显示部5所显示的显示画面Gl中包含多个画面结构部分Pl?P12的情况。这里,在画面结构部分Pl?P8是能够接受例如单击、双击、长敲击、拖拽以及轻滑的操作键，画面结构部分P9?P12是能够接受例如单击和拖拽的操作键的情况下，通过画面结构部分Pl?P8与P9?P12能够接受的操作事件变得各自不同。在这样的情况下，分组部31将能够接受相同的操作事件、并且在显示画面Gl内位于规定距离的范围内的2个以上的画面结构部分分组为I个组，对该I个组关联共通的操作事件。其中，在能够接受相同的操作事件的其他的画面结构部分不在规定距离的范围内的情况下，将I个画面结构部分单独地分组，关联该I个画面结构部分能够接受的操作事件。在图5的例的情况下，分组部31将能够接受单击、双击、长敲击、拖拽以及轻滑的画面结构部分Pl~P8汇集成I个组并生成封闭区域R1，再者将能够接受单击和拖拽的画面结构部分P9~P12汇集成其他的I个组并生成封闭区域R2。然后，对封闭区域Rl的组，作为共通的操作事件，关联单击、双击、长敲击、拖拽以及轻滑的5个的操作事件。此外,对封闭区域R2的组，作为共通的操作事件，关联单击和拖拽的2个操作事件。
[0080]接着如图6所示,在示例显示部5所显示的显示画面G2中包含多个画面结构部分P13~P16的情况。这里，在画面结构部分P13是能够接受例如双击、拖拽、捏以及旋转的预览显示区域，画面结构部分P14~P16是能够接受例如单击和拖拽的滚动条的情况下，通过画面结构部分P13和P14~P16能够接受的操作事件各自不同。这样的情况下，分组部31仅将能够接受双击、拖拽、捏以及旋转的画面结构部分P13汇集成I个组并生成封闭区域R3，再者将能够接受单击和拖拽的画面结构部分P14~P16汇集成其他的I个组而生成封闭区域R4。然后，对封闭区域R3的组，作为共通的操作事件，关联双击、拖拽、捏以及旋转的4个的操作事件。此外,对封闭区域R4的组，作为共通的操作事件，关联单击和拖拽的2个操作事件。
[0081]图7是表示对将显示部5所表示的多个显示画面的各自分组而得到的各区域，关联了共通的操作事件的状态的一例的图。分组部31，如上所述通过将各显示画面包含的多个画面结构部分以相同的操作事件分组，如图7所示，显示部5所显示的各显示画面被分类为I个或者多个区域，成为共通的操作事件被对各区域关联的状态。另外，在图7中附加了“〇”的操作事件是对各区域被关联的操作事件。
[0082]分组部31，在如上所述而分组的时候，分组以便于显示画面所包含的多个画面结构部分的各自一定被分类为某I个组。然后，分组部31，例如，对于各显示画面的画面信息16，通过添加关于各组的封闭区域、以及与各组关联的共通的操作事件的信息，注册分组的结果。另外，分组部 31，对I个组，关联单击、双击、长敲击、轻滑、拖拽、捏、以及旋转的多个操作事件之中的至少I个，例如在能够接受全部的操作事件的组的情况下，作为共通的操作事件关联这些全部的操作事件。
[0083]此外，将显示画面所包含的多个画面结构部分分组并关联了共通的操作事件的信息，可以在图像处理装置I的出厂时，在画面信息16被存储于NVRAM15的时刻预先被添加。但是，被存储于的画面信息16，即使在图像处理装置I出厂后，也存在通过选择功能的追加、新的应用程序的安装、以及显示画面的定制等更新的情况。若画面信息16被更新，则各显示画面的画面结构变化，因此，之前不能够接受的操作事件，在画面信息16的更新后变得能够接受。因此，分组部31优选为，伴随CPUll启动主程序13a而发挥作用，在进行图像处理装置I的启动处理的期间，通过分析各显示画面的画面结构，进行多个画面结构部分的分组，对各组，从多个操作事件之中关联基于用户的输入操作而成为检测对象的操作事件并设定。
[0084]回到图4，显示控制部32，读取存储于NVRAM15的画面信息16，通过从多个显示画面中选择I个显示画面并输出至显示部5,将该选择的显示画面在显示部5上显示。该显示控制部32，若图像处理装置I的启动处理完成，则从多个显示画面中选择初始画面并在显示部5上显示。其后，显示控制部32，基于来自控制执行部34的画面更新指示，依次更新显示部5的显示画面。[0085]操作事件判定部33是，在操作面板4的接触传感器6a检测到对于显示画面的用户的输入操作(手势操作)的情况下，确定对应于该输入操作的操作事件的处理部。该操作事件判定部33是通过主程序13a被实现的功能的I个，若通过接触传感器6a检测用户的输入操作，则该时刻在显示部5上正在显示的显示画面中被分组的封闭区域之中，确定检测到用户的输入操作的封闭区域，决定与该确定的封闭区域预先关联的操作事件。然后，操作事件判定部33，通过仅启动对应于该决定的操作事件的操作事件判定例行程序，判定对应于用户的输入操作的操作事件。
[0086]S卩，操作事件判定部33，若检测对于显示画面的用户的输入操作，为了仅判定在该显示画面中能够接受的操作事件，从多个操作事件判定例行程序13b?13h之中，仅启动对应于与检测到该输入操作的封闭区域相关联的操作事件的操作事件判定例行程序。此时，对于检测到输入操作的封闭区域，多个操作事件被关联。例如，检测到输入操作的封闭区域能够接受单击、双击、轻滑的3个的操作事件的情况。在那样的情况下，操作事件判定部33，通过依次启动对应于这些3个的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件。照这样，操作事件判定部33，在由用户进行对于接触传感器6a的某种的输入操作的情况下，不是每次启动全部的操作事件判定例行程序13b?13h，通过仅启动对应于在检测到该输入操作的封闭区域中能够接受的操作事件的操作事件判定例行程序，不启动没用的判定例行程序，能够高效地确定对应于用户的输入操作的操作事件。
[0087]然后，操作事件判定部33，通过仅启动需要的操作事件判定例行程序，若能够确定对应于用户的输入操作的操作事件，则将该确定的操作事件输出至控制执行部34。另一方面，存在如上所述仅启动需要的操作事件判定例行程序，不能确定对应于用户的输入操作的操作事件的情况。例如，在对能够接受单击、双击、以及轻滑的3个的操作事件的封闭区域，用户进行了长敲击、拖拽、捏、以及旋转等的操作的情况下，即使启动对应于单击、双击、以及轻滑的3个的操作事件的各自的操作事件判定例行程序13b、13c、以及13e，也不能确定对应于用户的输入操作的操作事件。在那样的情况下，操作事件判定部33不进行对于控制执行部34的输出处理。
[0088]此外，操作事件判定部33，即使在例如依次启动3个的操作事件判定例行程序的情况下，在通过最初启动的操作事件判定例行程序能够确定对应于用户的输入操作的操作事件的情况下，不启动之后的操作事件判定例行程序，将该确定的操作事件输出至控制执行部34。另外，在通过第二地启动的操作事件判定例行程序能够确定操作事件的情况下，与此相同。也就是说，操作事件判定部33，即使在启动多个操作事件判定例行程序的情况下，若通过某I个操作事件判定例行程序能够确定操作事件，则不启动之后的操作事件判定例行程序。
[0089]控制执行部34，是在用户进行对于操作面板4的操作的情况下，执行基于该操作的控制的处理部。该控制执行部34，在由用户进行对于接触传感器6a的手势操作的情况下，输入通过上述的操作事件判定部33被确定的操作事件，执行基于该操作事件的控制。对此，由用户进行对于操作键6b的操作的情况下，控制执行部34从该操作键6b接收直接操作信号，基于该操作信号确定由用户进行的操作(操作事件)，执行基于该操作的控制。
[0090]控制执行部34基于用户的输入操作执行的控制，有例如更新在显示部5上显示的显示画面的控制、作业的执行开始和停止的控制等。因此，控制执行部34，如图4所示，控制显示控制部32和作业执行部35。S卩，控制执行部34，在基于用户的输入操作更新显示画面的时候，对显示控制部32指示画面更新，在进行作业的执行开始和停止的时候，对作业执行部35指示作业的执行开始或者停止。由此，显示控制部32，基于来自控制执行部34的指令，更新在显示部5上显示的显示画面。此外，作业执行部35，基于来自控制执行部34的指示开始作业的执行，或者停止已执行中的作业。其中，控制执行部34在执行的控制中，也可以包含上述以外的控制。
[0091]作业执行部35，通过控制设置于图像处理装置I的各部的动作，控制由用户指定的作业的执行。该作业执行部35，在图像处理装置I中进行作业的执行的期间，常驻于CPUll而总括地控制各部的动作。
[0092]接着说明在具有如上所述的功能结构的CPUll中进行的具体的处理步骤。图8是通过图像处理装置I的CPUll进行的处理步骤的一例的流程。该处理是向图像处理装置I电源被接通，CPUll通过启动程序13包含的主程序13a而开始的处理。
[0093]首先，CPUll若启动主程序13a，则读取画面信息16 (步骤S I )，基于该画面信息16将各显示画面包含的多个画面结构部分分组为I个或者多个封闭区域(步骤S 2)，对各组进行共通的操作事件的关联(步骤S 3)。然后，若对于各显示画面的分组处理、操作事件的关联处理全部完结，则CPUll在操作面板4的显示部5上表示初始画面(步骤S 4)。若用这种方法显示画面在显示部5上被显示，则CPUlI变成能够接受用户的输入操作的状态，在通过接触传感器6a以及操作键6b的任意一个检测输入操作之前，变成待机的状态(步骤S5)。
[0094]若检测用户的输入操作(步骤S 5中“是”)，则CPUll判断是否通过接触传感器6a检测到该输入操作(步骤S 6)，若在接触传感器6a中检测到(步骤S 6中“是”)，则确定检测到该输入操作的封闭区域(步骤S 7)。然后，CPUll设置对应于与确定的封闭区域相关联的I个或者多个操作事件的操作事件判定例行程序(步骤S 8)，依次启动这些I个或者多个操作事件判定例行程序并执行用于确定对应于用户的输入操作的操作事件的循环处理(步骤 S 9， S 10， S 11)。
[0095]该循环处理(步骤S 9，S 10，S 11)，不依次启动程序13包含的全部的操作事件判定例行程序13b?13h，作为在步骤S 8中被设置的操作事件判定例行程序，仅启动对应于在检测到用户的输入操作的封闭区域中共通并能够接受的操作事件的操作事件判定例行程序。此外，在通过循环处理依次启动多个操作事件判定例行程序的情况下，若通过任I个操作事件判定例行程序确定对应于用户的输入操作的操作事件，在该时刻结束循环处理前进至接下来的步骤S 12。也就是说，该循环处理(步骤S 9，S 10，S 11)，不总是启动通过步骤S 8被设置的多个操作事件判定例行程序的全部，若启动全部之前在中途能够确定对应于用户的输入操作的操作事件，则不启动之后预定启动的操作事件判定例行程序，结束循环处理。
[0096]然后，若循环处理(步骤S 9，S 10, S 11)结束，则CPUll判断通过循环处理(步骤S 9，S 10，S 11)是否能够确定操作事件(步骤S 12)。存在不能通过显示中的显示画面接受的手势操作被用户进行的情况，因此需要步骤S 12的判断。然后，在不能确定对应于用户的输入操作的操作事件情况下(步骤S 12中“否”)，CPUll不前进至其后的处理(步骤S13)，在再次检测用户的输入操作之前返回到待机的状态(步骤S 5)。对此，在循环处理(步骤S 9，S 10，S 11)中能够确定对应于用户的输入操作的操作事件的情况下(步骤S 12中“是”)，CPUll的处理前进至接下来的步骤S 13。
[0097]此外，检测用户的输入操作(步骤S 5中“是”)，在通过操作键6b检测到该输入操作的情况下(步骤S 6中“否”)，CPUll的处理前进至步骤S 13。即，在用户操作了操作键6b的情况下，通过该操作信号能够确定操作事件，因此前进至能够确定操作事件的情况的处理(步骤S 13)。
[0098]CPU11，若确定对应于用户的输入操作的操作事件，则执行对应于该输入操作的控制(步骤S 13)。即，如上所述，进行将显示部5的显示画面更新为其他的画面的控制、作业的执行控制、以及该其他的控制等。然后，CPUll的处理返回至步骤S 5，在再次检测用户的输入操作之前变成待机的状态(步骤S 5)。然后，CPUll其后重复上述的处理。
[0099]通过CPUll进行如上所述的处理，用户进行了对应于操作面板4的操作的情况下，能够进行对应于该操作的处理。特别是存在如上所述的处理在作业的执行中并行进行的情况，但是在用户进行了对于显示画面的手势操作时，以在该手势操作被进行的区域中仅确定能够接受的操作事件作为目的，仅启动需要最小程度的操作事件判定例行程序，不启动在作业的执行中没用的操作事件判定例行程序，能够高效地确定对应于用户的手势操作的操作事件。
[0100]接下来,表示在本实施方式中在显示部5上被显示的几个显示画面的具体例，同时说明与这些各显示画面的各区域相关联的操作事件。
[0101]图9是表示功能选择画面GlO的一例的图。该功能选择画面GlO具有，对应于用户能够选择的功能的多个图标图像BI，作为画面结构部分(操作键)被配置于画面内的画面结构。在该功能选择画面GlO内被显示的图标图像BI，存在通过选择功能的追加、新的应用程序的安装、显示画面的定制等被追加的情况。例如，在显示画面的定制中，将原来在其他的显示画面中被显示的图标图像在功能选择画面GlO中作为快捷键而追加注册的定制等。
[0102]在图9的画面例中，对于在功能选择画面GlO中一次能够显示的图标图像BI的数量是12个，表示注册的图标图像BI的数量是22个，因此通过在左右方向上滚动移动图标图像BI被表示的区域，变为能够表示这些22个图标图像BI的全部的画面结构。于是，在功能选择画面GlO的左右端部，为了在滚动移动的前后用户进行滚动移动，单击能够操作的操作键B2作为画面结构部分被表示。
[0103]在这样的画面结构的情况下，用户对多个图标图像BI的各自能够进行的操作是:作为功能选择操作的图标图像BI的单击操作、用于在左右方向上滚动移动图标图像BI被标示的区域的轻滑操作、以及用于表更图标图像BI的表示位置的拖拽操作的3个的操作。轻滑操作是，例如如图9所示，用户在保持用指尖触摸画面上的一点Pa的状态下，使该触摸位置向滚动移动方向Fl迅速地移动的同时，从画面上释放的操作。通过由用户对功能选择画面GlO的多个图标图像BI被表示的区域进行轻滑操作，如图9所示，多个图标图像BI向左右横方向滚动移动，全部的图标图像BI被表示。此外，单击操作是，用户用指尖触摸画面上的一点之后迅速地从画面上释放指尖的操作。通过对图标图像BI的表示位置进行单击操作，能够从多个图标图像BI之中选择I个图标图像BI。此外，拖拽操作是，与轻滑操作相同，用户在保持用指尖触摸了画面上的一点Pa的状态下，移动该触摸位置并在其他的位置释放的操作，但是移动方向可以不是直线方向，此外移动速度也可以是比较慢的速度。通过对图标图像BI进行拖拽操作，能够使该图标图像BI的表示位置移动到任意的位置。这样，多个图标图像BI，变成能够接受单击、拖拽、以及轻滑的3个操作事件，不接受那些以外的操作事件的画面结构部分。
[0104]另一方面，功能选择画面GlO的端部表示的操作键B2是，只能够接受用户的单击操作的画面结构部分。也就是说，若用户对该操作键B2进行单击操作，则多个图标图像BI向左右方向滚动移动，其他的图标图像BI被表示。
[0105]从而，如图9所示的画面结构的情况，分组部31汇集多个图标图像BI而形成I个封闭区域R10，同时形成仅包含操作键B2的其他的封闭区域R11。然后，分组部31，对封闭区域RlO的组关联单击、轻滑、以及拖拽的3个操作事件，同时对封闭区域Rll的组仅关联单击的I个操作事件。
[0106]图10是能够以列表形式显示多个目标地址信息的目标地址选择画面Gll的一例的图。该目标地址选择画面Gll是，如图10所示，将以列表形式显示多个目标地址信息的列表显示区域R12和使列表显示区域R12显示的目标地址信息滚动移动的滚动条B3，作为画面结构部分而包含的画面结构。
[0107]在这样的画面结构的情况下，作为用户对列表显示区域R12能够进行的操作，有例如如图10(a)所示从以列表形式显示的多个的目标地址信息之中选择I个目标地址信息的单击操作、以及如图10 (b)所示用于使列表显示区域R12表示的多个目标地址信息向上下方向滚动移动的轻滑操作。例如如图10 (b)所示，通过用户在触摸了列表显示区域Rll的一点的状态下，向滚动移动方向F2或者F3进行轻滑操作，能够滚动列表显示区域Rll表示的目标地址信息而显示。此外，除此以外，用户对列表显示区域R12能够进行:用于移动以列表形式表示的目标地址信息的显示位置的拖拽操作、用于选择I个目标地址信息并向该目标地址的详细设定图像转移的双击操作、用于选择I个目标地址信息并表示该目标地址的详细信息的长敲击操作等。双击操作是，将与单击操作相同的操作在规定时间内进行2次的操作。此外长敲击操作是，在保持触摸了画面上的一点的状态下，不移动该触摸位置并持续保持一定时间以上触摸状态的操作。这样，列表显示区域R12，变成能够接受单击、拖拽、轻滑、双击、以及长敲击的5个操作事件，不接受那些以外的操作事件的画面结构部分。
[0108]另一方面，列表显示区域R12的右侧显示的滚动条B3是能够接受用户的单击操作和拖拽操作的画面结构部分。也就是说，若用户对该滚动条B3进行单击操作，则能够根据该触摸位置，使列表显示区域Rll显示的目标地址信息滚动并显示。此外，若用户进行滚动条B3的拖拽操作，则能够根据该拖拽操作的移动量，使列表显示区域Rll显示的目标地址信息滚动并显示。
[0109]从而，在如上所述的目标地址选择画面Gll的情况下，分组部31，如图10 (C)所示，形成仅包含列表显示区域R12的封闭区域R12、仅包含滚动条B3的封闭区域R13的2个区域R12、R13。然后，分组部31，对封闭区域R12的组关联单击、轻滑、拖拽、双击、以及长敲击的5个操作事件，同时对封闭区域R13的组关联单击和拖拽的2个操作事件。
[0110]图11是表示进行图像的预览显示的预览显示画面G12的一例的图。该预览显示画面G12，将用于预览显示由用户选择的图像的预览区域R14、用于变更预览区域R14显示的图像的显示位置的滚动条B4，B5、以及用于放大或缩小预览区域R14显示的图像的操作键B6，B7作为画面结构部分而包含。[0111]图12是表示用户对预览区域R14能够进行的操作的一例的图。对预览区域R14显示预览图像的时候，用户如图12所示，能够进行用于缩小、放大、或者旋转预览图像的捏操作和旋转操作。此外捏操作包含，用于缩小预览图像的捏紧操作和用于放大的捏开操作。捏紧操作是，如在图12 (a)中通过箭头F5表示，在用2根指尖触摸了预览区域R14显示的预览图像的2点的状态下，移动以便于缩短这两点间的距离的操作。通过这样的捏紧操作，预览区域R14显示的预览图像变得被缩小显示。此外，捏开操作是，如在图12 (b)中通过箭头F6所示，在用2根指尖触摸了预览区域R14显示的预览图像的2点的状态下，移动以便于放大这2点间的距离的操作。通过这样的捏开操作，预览区域R14显示的预览图像变得被放大显示。进而，旋转操作是，在图12 (c)中通过箭头F7所示，在用2根指尖触摸了预览区域R14显示的预览图像的2点的状态下，移动以便于旋转这2点的位置的操作。通过这样的旋转操作，预览区域R14显示的预览图像变得被旋转显示。
[0112]此外，预览区域R14，不限于如上所述的捏操作和旋转操作，也能够接受双击操作和拖拽操作。即，在对预览区域R14显示的预览图像的I点进行双击操作的情况下，进行以该I点为中心将预览图像放大并显示的处理。进而，在预览区域R14中对预览图像进行了拖拽操作的情况下，进行将该预览图像的显示部分移动并显示的处理。这样，预览区域R14，变成能够接受双击、拖拽、捏、以及旋转的4个操作事件，不接受那些以外的操作事件的画面结构部分。
[0113]另一方面，预览区域R14的右侧以及下侧显示的滚动条B4，B5，是能够接受用户的单击操作和拖拽操作的画面结构部分，基于这些的操作能够使预览区域R14显示的预览图像的显示部分移动并显示。再者，用于放大或者缩小预览区域R14显示的图像的操作键B6，B7，是仅能够接受用户的单击操作的画面结构部分。
[0114]从而，在如上所述的预览显示画面G12的情况下，分组部31，如图11 (b)所示，形成仅包含预览区域R14的封闭区域R14、仅包含滚动条B4的封闭区域R15、仅包含滚动条B5的封闭区域R16、以及包含2个操作键B6，B7的封闭区域R17。然后，分组部31，对封闭区域R14的组关联双击、拖拽、捏、以及旋转的4个操作事件，对封闭区域R15关联单击和拖拽的2个操作事件，对封闭区域R16关联单击和拖拽的2个操作事件，对封闭区域R17仅关联单击的I个操作事件。另外，也可以是将封闭区域R15和R16进而汇集至I个封闭区域的组。
[0115]图13是表示用户进行各种设定操作时的应用设定画面G13的一例的图。该应用设定画面G13，将为了进行各种各样的应用设定预先注册的多个图标图像B8、用于使这些多个图标图像B8的显示位置向左右横方向滚动移动的滚动条B9、以及用于将多个图标图像B8的显示位置通过一次接触向左右横方向切换的能够单击操作的操作键BlO作为画面结构部分而包含。即，图13的例是，应用设定画面G13预备注册的图标图像B8的数量，超过一次能够显示的图标图像的数量，通过使应用设定画面G13注册的多个图标图像B8在横方向上滚动移动，能够显示各图标图像B8的画面结构。
[0116]在这样的画面结构的情况下，用户对多个图标图像B8的各自能够进行的操作是，作为设定项目的选择操作的图标图像B8的单击操作、用于使图标图像B8被显示的区域在左右方向上滚动移动的轻滑操作、用于向任意的位置变更图标图像B8的显示位置的拖拽操作的3个操作。这样，多个图标图像B8，变成能够接受单击、拖拽、以及轻滑的3个操作事件，不接受那些以外的操作事件的画面结构部分。[0117]此外，用户对滚动条B9能够进行的操作是，与上述的其他的滚动条相同，单击操作和拖拽操作的2个操作。进而，用户对操作键BlO能够进行的操作是，与上述的其他的操作键相同，仅单击操作。
[0118]从而，在如上所述的应用设定画面G13的情况下，分组部31，如图13所示，形成包含多个图标图像B8的封闭区域R18、仅包含滚动条B9的封闭区域R19、以及包含操作键BlO的封闭区域R20。然后，分组部31，对封闭区域R18的组关联轻滑、拖拽、以及单击的3个操作事件，对封闭区域R19关联单击和拖拽的2个操作事件，对封闭区域R20仅关联单击的I个操作事件。
[0119]图14表示用户进行各种设定操作时的基本设定画面G14的一例的图。该基本设定画面G14，将为了进行关于作业的执行的基本的设定而预先注册的多个图标图像B11、用于将这些多个图标图像Bll的显示对象通过一次接触切换的能够单击操作的操作键B14，作为画面结构部分而包含。即，图14的例是，基本设定画面G14预先注册的图标图像Bll的数量，超过一次能够显示的图标图像的数量，能够将在基本设定画面G14中被显示的图标图像Bll切换并显示的画面结构。
[0120]在这样的画面结构的情况下，用户对多个图标图像Bll的各自能够进行的操作是，作为设定项目的选择操作的图标图像Bll的单点触摸操作、用于将基本设定画面G14显示图标图像Bll切换为其他的图标图像的轻滑操作的2个操作。也就是说，多个图标图像B11，变成能够接受单击以及轻滑的2个操作事件，不接受那些以外的操作事件的画面结构部分。
[0121]此外，用户对操作键B14能够进行的操作，与上述的其他的操作键相同，仅有单击操作。因此，操作键B14，变为能够接受单点触摸的I个操作事件，不接受这以外的操作事件的画面结构部分。
[0122]从而，在如上所述的基本设定画面G14的情况下，分组部31，如图14所示，形成包含多个图标图像Bll的封闭区域R21、包含操作键B14的封闭区域R22。然后，分组部31，对封闭区域R21的组关联单击和轻滑的2个操作事件，对封闭区域R22仅关联单击的I个操作事件。
[0123]顺便说一下，在图14表示的基本设定画面G14中，通过分组部31形成的2个封闭区域R21，R22相互地邻接，并且，与一方的封闭区域R22相关联的操作事件，和与另一方的封闭区域R21相关联的多个操作事件的一部分有共通的关系。因此，分组部31，在将有如上所述的关系的2个封闭区域分组的时候，相互地共通的操作事件能够汇总判定，以被包括于一方的封闭区域R22的方式,形成另一方的封闭区域R21。
[0124]图15是表示I个封闭区域R21被分组为被包括于其他的封闭区域R22的状态的基本设定画面G14的图。分组部31，如图15所示，若在封闭区域R22的内侧重叠其他的封闭区域R21而形成，则这2个封闭区域R21，R22形成亲子关系。也就是说，变成亲区域R22包含子区域R21的全体的关系。分组部31，在形成了这样的亲子关系的情况下，对亲区域R22关联在亲区域R22和子区域R21的双方共通的操作事件，对子区域R21关联与亲区域R22不相关联的子区域R21特有的操作事件。图15的例是，对亲区域R22关联在亲区域R22和子区域R21的双方共通的单击的操作事件，对子区域R21关联子区域R21特有的轻滑的操作事件的状态。[0125]如上所述对2个封闭区域R21，R22设定亲子关系的情况下，操作事件判定部33，若在子区域R21检测用户的输入操作，则通过依次启动对应于与亲区域R22和子区域R21的各自相关联的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件。此时，操作事件判定部33优选为优先启动对应于与子区域R21相关联的操作事件的操作事件判定例行程序。
[0126]图16是表示检测到用户的输入操作的区域包含具有亲子关系的2个封闭区域的情况的上述的循环处理(步骤S 9，S 10，S 11)的处理步骤的一例的流程。如图16所示，CPUll在上述的循环处理(步骤S 9，S 10，S 11)中，首先启动对应于与子区域R21相关联的操作事件的操作事件判定例行程序(步骤S 20)。例如，在图15那样的亲子关系的情况下，在步骤S 20中首先启动对应于轻滑的操作事件判定例行程序13e，判定用户的输入操作是否是轻滑。另外，若多个操作事件与子区域R21相关联，则通过在步骤S 20中依次启动这些多个操作事件判定例行程序，判定用户进行的输入操作是否是与子区域R21相关联的操作事件。
[0127]接下来CPUll判断在步骤S 20中是否已能够确定对应于用户的输入操作的操作事件(步骤S 21)。在仅通过子区域R21的判定已能够确定对应于用户的输入操作的操作事件的情况下(步骤S 21中“是”)，不进行关于亲区域R22的判定，结束循环处理。
[0128]对此，在仅通过子区域R21的判定未能够确定对应于用户的输入操作的操作事件的情况(步骤S 21中“否”)，CPU11接着启动对应于与亲区域R22相关联的操作事件的操作事件判定例行程序(步骤S 22)。例如，在图15那样的亲子关系的情况下，在步骤S 22中启动对应于单击的操作事件判定例行程序13b，判定用户的输入操作是否是单击。另外，若多个操作事件与亲区域R22相关联，则通过在步骤S 22中依次启动这些多个操作事件判定例行程序，判定由用户进行的输入操作是否是与亲区域R22相关联的操作事件。
[0129]在通过分组部31设定了具有亲子关系的封闭区域的情况下，通过如上所述优先启动对应于与子区域相关联的操作事件的操作事件判定例行程序，在子区域检测到用户的输入操作的时候，变成优先判断是否是该子区域特有的操作事件。因此，能够在比较早的时刻确定子区域特有的操作事件，具有提高处理效率的优点。
[0130]接着说明表示保存于存储装置23的盒子(存储区域)的文档数据的一览的画面例。图17以及图19是表示分别表示盒子内文档一览的文档一览显示画面G15，G16的一例的图。图17所示的文档一览显示画面G15，将保存于由用户指定的盒子的文档数据，作为略缩图图像而一览显示。此外图19所示的文档一览显示画面G16，将保存于由用户指定的盒子的文档数据以列表形式而一览显示。也就是说，图17以及图19所示的文档一览显示画面G15，G16以不同的方式分别显示相同的信息。
[0131]图17 (a)所示的文档一览显示画面G15，将显示文档数据的略缩图图像的略缩图图像显示区域R23、用于使略缩图图像显示区域R23显示的略缩图图像滚动移动的滚动条B15作为画面结构部分而包含。S卩，图17 (a)的文档一览显示画面G15，变成能够通过使对应于保存于由用户指定的盒子的全部的文档数据的略缩图图像滚动移动，而显示的画面结构。在这样的画面结构的情况下，用户对略缩图图像显示区域R23能够进行的操作是，选择I个略缩图图像的单击操作、选择I个略缩图图像并放大显示的双击操作、选择I个略缩图图像并在该略缩图图像的周围显示图标图像等的长敲击操作，使略缩图图像滚动移动的轻滑操作、以及使略缩图图像的显示位置移动的拖拽操作的5个操作。也就是说，略缩图图像显示区域R23，变成能够接受单击、双点触摸、长敲击、轻滑以及拖拽的5个操作事件，不接受那些以外的操作事件的画面结构部分。
[0132]这里，更详细地说明对于略缩图图像显示区域R23的长敲击操作。如图18所示，若用户选择I个略缩图图像进行长敲击操作，则在该附近位置与选择了的略缩图图像相同内容的半透明图像Ml被显示，并且在该半透明图像Ml的周围至少I个快捷图标图像M2被显示。半透明图像Ml是用于对用户告知正在进行长敲击操作的图像。此外，快捷图标图像Ml是，通过拖拽用户正在选择的略缩图图像(或者半透明图像Ml )，能够指定对于图像数据的处理的图标图像。另外，这些半透明图像Ml以及快捷图标图像M2，若检测用户在I个略缩图图像的显示位置正在进行长敲击操作，则通过显示控制部32被显示。
[0133]此外，用户对滚动条B15能够进行操作是，与上述的其他的滚动条相同，单击操作和拖拽操作的2个。因此，滚动条B15，变成能够接受单击和拖拽的2个操作事件，不接受那些以外的操作事件的画面结构部分。
[0134]从而，在图17 (a)所示的文档一览显示画面G15的情况下，分组部31，如图17(b)所示，形成仅包含略缩图图像显示区域R23的封闭区域R23、包含滚动条B15的封闭区域R24。然后,分组部31,对封闭区域R23的组关联单击、双击、长敲击、轻滑、以及拖拽的5个操作事件，对封闭区域R24关联单点触摸和拖拽的2个操作事件。
[0135]对此，图19 (a)所示的文档一览显示画面G16，将以列表形式显示关于文档数据的信息的列表显示区域R25、用于使列表显示区域R25显示的信息滚动移动的滚动条B16，作为画面结构部分而包含。即，图19 (a)的文档一览显示画面G16，变成能够通过使关于保存于由用户指定的盒子的全部的文档数据的信息滚动移动，而显示的画面结构。在这样的画面结构的情况下，用户对列表显示区域R25能够进行的操作是，选择I个文档数据的单击操作、选择I个文档数据并显示详细的文件信息的长敲击操作、使列表显示区域R25显示的信息滚动移动的轻滑操作、使列表显示区域R25显示的信息的显示位置移动的拖拽操作的4个操作。也就是说，列表显示区域R25，变成能够接受单击、长敲击、轻滑、以及拖拽的4个操作事件，不能接受那些以外的操作事件的画面结构部分。此外，用户对滚动条B16能够进行的操作是，与上述的其他的滚动条相同，单点触摸操作和拖拽操作的2个。因此，滚动条B16，变成能够接受单点触摸和拖拽的2个操作事件，不接受那些以外的操作事件的画面结构部分。
[0136]从而，在图19 (a)所示的文档一览显示画面G16的情况下，分组部31，如图19(b)所示，形成仅包含列表显示区域R25的封闭区域R25、包含滚动条B16的封闭区域R26。然后，分组部31，对封闭区域R25的组关联单击、长敲击、轻滑、以及拖拽的4个操作事件，对封闭区域R26关联单击和拖拽的2个操作事件。
[0137]像这样在本实施方式中，以不同的显示方式显示相同信息的显示画面G15，G16，通过基于各显示画面G15，G16包含的画面结构部分进行分组，变得能够关联对应各画面结构部分的显示方式的操作事件。于是，在用户在图19所示的文档一览显示画面G16被显示的状态，进行了对于列表显示区域R15的手势操作的情况下，与图17那样的文档一览显示画面G17的情况不同，由于用于判定双击的操作事件判定例行程序13c未被启动，因此变得能够高效地确定对应于用户的输入操作的操作事件。[0138]接着说明显示部5显示的显示画面被定制的情况的分组部31的再分组。例如，图14的基本设定画面G14，示例了预先注册的图标图像Bll的数量超过一次能够显示的图标图像的数量，能够将在基本设定画面G14中显示的图标图像Bll切换并显示的画面结构。但是，在图标图像Bll的注册数量没有超过一次能够显示的图标图像的数量的情况下，不需要将图标图像的显示切换并显示。然后，在不需要将图标图像的显示切换并显示的状态下，通过进行显示画面的定制，图标图像Bll被追加注册，若基本设定画面G14显示图标图像Bll的数量超过一次能够显示的图标图像的数量，此后需要将图标图像Bll切换并显示。
[0139]图20是显示如上所述对基本设定画面G14进行图标图像Bll追加注册的情况的画面定制的一例的图。首先，如图20 (a)所述，在基本设定画面G14预先注册的多个图标图像Bll能够一次全部显示的情况下，多个图标图像Bll的右侧显示的操作键B14之中，不显示用于切换图标图像Bll的显示的操作键B14a, B14b,仅显示用于从基本设定画面G14向应用设定画面G13切换的操作键B14c。从而，图20 (a)所示的基本设定画面G14，不能够切换图标图像Bll的显示，因此，用户对多个图标图像Bll的各自能够进行的操作，仅有作为设定项目的选择操作的图标图像Bll的单击操作的I个。此外，用户对操作键B14c能够进行的操作，也仅有单击操作的I个。分组部31，若对如图20 (a)所示的基本设定画面G14进行分组的处理，则汇集多个图标图像Bll和操作键B14c而形成I个封闭区域R27，成为对该封闭区域R27仅关联单击的I个操作事件的状态。
[0140]然后，对图20 (a)的基本设定画面G14追加注册图标图像B11，若基本设定画面G14显示的图标图像Bll的数量超过一次能够显示的图标图像的数量,如图20 (b)所示，用于切换图标图像Bll的显示的操作键B14a，B14b被追加显示，变为能够将在基本设定画面G14中被显示的图标图像Bll切换并显示的画面结构。此时，作为图20 (b)的基本设定画面G14显示的图标图像Bll能够接受的操作事件，轻滑被追加注册。从而，通过图标图像Bll的追加注册，用户对多个的图标图像Bll的各自能够进行的操作被切换为，作为设定项目的选择操作的图标图像Bll的单击操作、用于将基本设定画面G14显示的图标图像Bll切换至其他的图标图像的轻滑操作的2个操作。
[0141]此外，从图20 (b)表示的状态删除图标图像Bll而被定制成图20 (a)所示的状态的情况下，从基本设定画面G14显示图标图像Bll能够接受的操作事件中，删除轻滑。
[0142]像这样通过显示部5所显示的显示画面的定制，在进行了画面结构部分的追加、删除或者变更的情况，有时在该显示画面包含的画面结构部分中能够接受的操作事件变化。因此，分组部31，伴随进行显示画面的定制，判断是否需要该显示画面的再分组，在需要的情况下，进行再次分组，同时再次执行关联操作事件的处理。
[0143]图21是表示在进行了显示画面的定制的情况下，为了再分组而执行的处理步骤的一例的流程。该处理是，在显示画面的定制作业完成的时刻，通过CPUll执行的处理。CPU11，若开始该处理，从NVRAM15读取定制的画面信息16 (步骤S 30)，判断对定制的显示画面是否进行了画面结构部分的追加、删除或者变更(步骤S 31)。其结果，在未进行画面结构部分的追加、删除或者变更的情况下(步骤S 31中“否”)，结束该处理。对此，在进行了画面结构部分的追加、删除或者变更的情况下(步骤S 31中“是”)，CPUll判断是否需要变更与各组相关联的共通的操作事件(步骤S 32)。然后，在需要操作事件的情况下(步骤S32)，CPUll判断是否需要再分组(步骤S 33)。然后，在需要再分组的情况下(步骤S 33中“是”)，CPUll执行定制的显示画面包含的多个画面结构部分的再分组(步骤S 34)。此时，也可以如上所述形成变成亲子关系的封闭区域。另外，在不需要再分组的情况下，不执行再分组。然后，CPUll对在定制的显示画面上形成的各封闭区域(组)，关联共通的操作事件(步骤S 35)。另一方面，即使在进行了画面结构部分的追加、删除或者变更的情况下(步骤S
31中“是”)，在不需要变更与各组相关联的共通的操作事件的情况下(步骤S 32中“否”)，不进行再分组，就那样结束处理。
[0144]像这样显示部5所显示的显示画面被定制的情况，通过执行如上所述的处理，基于定制后的显示画面进行再次分组，在该结果得到的各组中成为共通的检测对象的操作事件被关联。因此，在定制后，能够以最佳的状态确定对应于用户的输入操作的操作事件。
[0145]接着，说明对显示部5所显示的显示画面，用户跨越多个封闭区域进行了手势操作的情况。图22是显示在上述的应用设定画面G13中用户跨越多个封闭区域R18，R19进行的手势操作的一例的图。如图22所示，例如用户最初触摸在应用设定画面G13的I个封闭区域R18的一点Pa，使该触摸位置向矢印F8显示的方向移动并进行了轻滑操作或者拖拽操作的情况下，用户的手势操作，变成跨越I个封闭区域R18与其他的封闭区域R19而进行。在此时，在2个封闭区域R18，R19中检测用户的输入操作。但是，若依次启动对应于与这2个封闭区域R18，R19的各自相关联的操作事件的操作事件判定例行程序，CPUll的占有率升高，高效的处理的实现变得困难。于是，在本实施方式中，在如上所述用户跨越多个封闭区域而进行了输入操作的情况下，操作事件判定部33，仅启动对应于与最初检测到的输入操作的封闭区域的组相关联的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件。
[0146]若具体地说明，CPU11，在图8所示的流程图的步骤S 8中，设置对应于与最初检测到用户的输入操作的封闭区域相关联的I个或者多个操作事件的操作事件判定例行程序。然后，在循环处理(步骤S 8，S 10，S 11)中，依次启动对应于与检测到最初的输入操作的封闭区域相关联的I个或者多个操作事件的操作事件判定例行程序，而确定对应于用户的输入操作的操作事件。即，在该循环处理(步骤S 9，S 10，S 11)中，即使由用户进行了跨越多个封闭区域的手势操作，与未最初检测到用户的操作的封闭区域相关联的操作事件被从判定对象移除。于是，能够防止执行多个操作事件判定例行程序13b?13h的全部，因此，变得能够高效的处理，能够使CPUll的占有率降低。
[0147]如上所述本实施方式的图像处理装置I具备:分组部31，将显示部5所显示的显示画面包含的多个画面结构部分，通过接受相同的操作事件的画面结构部分汇集并作为封闭区域分组，对各组关联共通并能够接受的操作事件；操作事件判定部33，伴随检测对于显示画面的用户的输入操作，从通过分组部31被分组的至少I个封闭区域之中，确定检测到输入操作的封闭区域，从多个操作事件判定例行程序之中，仅启动对应于与该确定了的封闭区域的组相关联的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件；控制执行部34，进行基于通过该操作事件判定部33确定的操作事件的控制。通过这样的结构，图像处理装置1，即使在检测到对于显示画面的用户的输入操作的情况下，变得不需要依次启动预先准备的多个操作事件判定例行程序13b?13h的全部，能够根据检测到用户的输入操作的画面内的区域，仅启动需要的操作事件判定例行程序，因此CPUll的负载降低，能够高效地确定对应于用户的输入操作的操作事件。然后，其结果，图像处理装置I的作业的执行效率降低的问题被解除，能够使图像处理装置I的生产效率提高。
[0148]以上，关于本发明的一种实施方式进行了说明，但是，本发明并不限定于在上述实施方式中说明的内容，能够适用于各种各样的变形例。
[0149]例如在上述实施方式中，示例了图像处理装置I由MFP构成的情况。但是，图像处理装置1，并不限定于MFP，也可以是打印机专用机、传真专用机、复印专用机、扫描仪专用机等。此外，图像处理装置1，并不一定限定于如上所述的执行作业的装置，也可以是便携式终端装置等。
[0150]此外，在上述中，示例了作为用户对显示画面能够进行的手势操作，轻滑、拖拽、单击、双击、长敲击、捏、以及旋转的多个操作，但是，也可以包含这些多个操作以外的操作，相反地也可以不包含上述多个操作之中的某一个。
【权利要求】
1.一种图像处理装置，其特征在于具备: 显示部件，显示各种显示画面； 输入检测部件，检测对于所述显示部件的显示画面的用户的输入操作； 分组部件，将所述显示部件显示的显示画面所包含的多个画面结构部分，作为通过接受相同的操作事件的画面结构部分汇集的封闭区域而分组，将所述相同的操作事件，作为对所述组共通的操作事件，与所述组关联； 操作事件判定部件，伴随通过所述输入检测部件检测用户的输入操作，从由所述分组部件分组的至少I个封闭区域之中，确定检测到所述输入操作的封闭区域，从多个操作事件判定例行程序之中，仅启动对应于与该确定的封闭区域的组相关联的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件；以及 控制部件，进行基于由所述操作事件判定部件所确定的操作事件的控制。
2.如权利要求1所述的图像处理装置，其特征在于: 所述分组部件，基于从外部输 入的指示信息，将显示画面所包含的多个画面结构部分分组，并且对各组关联共通的操作事件。
3.如权利要求1所述的图像处理装置，其特征在于: 所述分组部件，通过分析所述显示部件所显示的显示画面所包含的多个画面结构部分，将能够接受相同的操作事件、并且在显示画面内位于规定距离的范围内的2个以上的画面结构部分分组为I个组，对该I个组关联共通的操作事件。
4.如权利要求1至3的任一项所述的图像处理装置，其特征在于: 所述分组部件，从包含轻滑、拖拽、单击、双击、长敲击以及捏的多个操作事件之中，选择并关联各组所包含的画面结构部分共通地能够接受的操作事件。
5.如权利要求1至4的任一项所述的图像处理装置，其特征在于: 所述画面结构部分包含:对应于操作键的图标图像、以列表形式显示信息的列表显示区域、显示略缩图图像的略缩图图像显示区域或者显示预览图像的预览显示区域。
6.如权利要求1至5的任一项所述的图像处理装置，其特征在于: 所述分组部件，能够生成被包括于I个封闭区域的其他的封闭区域并分组，将在所述I个封闭区域和所述其他的封闭区域的双方中共通的操作事件与对应于所述I个封闭区域的组关联，将仅在所述其他的区域中共通的操作事件与对应于所述其他的区域的组关联。
7.如权利要求6所述的图像处理装置，其特征在于: 所述操作事件判定部件，在通过所述输入检测部件检测到用户的输入操作的封闭区域是所述其他的封闭区域的情况下，依次启动对应于与所述其他的封闭区域和所述I个封闭区域的各自的组相关联的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件。
8.如权利要求7所述的图像处理装置，其特征在于: 所述操作事件判定部件，在通过所述输入检测部件检测到用户的输入操作的封闭区域是所述其他的封闭区域的情况下，在启动对应于与所述其他的封闭区域的组相关联的操作事件的操作事件判定例行程序后，启动对应于与所述I个封闭区域的组相关联的操作事件的操作事件判定例行程序。
9.如权利要求1至8的任一项所述的图像处理装置，其特征在于:所述显示部件所显示的显示画面所包含的画面结构部分能够追加、删除或者变更， 所述分组部件，对所述显示部件所显示的显示画面所包含的画面结构部分被追加、删除或者变更的组相关联的共通的操作事件进行变更。
10.如权利要求1至8的任一项所述的图像处理装置，其特征在于: 所述显示部件所显示的显示画面所包含的画面结构部分能够追加、删除或者变更， 所述分组部件，伴随所述显示部件所显示的显示画面所包含的画面结构部分被追加、删除或者变更，再次进行该显示画面所包含的多个画面结构部分的分组。
11.如权利要求1至10的任一项所述的图像处理装置，其特征在于: 所述分组部件，对包含能够将相同信息以不同的显示方式显示的画面结构部分的组，关联对应该画面结构部分的显示方式的操作事件。
12.如权利要求1至11的任一项所述的图像处理装置，其特征在于: 所述操作事件判定部件，在通过所述输入检测部件检测到用户的输入操作的封闭区域跨越多个封闭区域的情况下，仅启动对应于与最初检测到输入操作的封闭区域的组相关联的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件。
13.一种操作事件判别方法，基于对显示各种显示画面的显示部件进行的用户的输入操作，判别对应于该输入操作的操作事件，其特征在于具有:` 分组步骤，将所述显示部件所显示的显示画面所包含的多个画面结构部分，作为通过接受相同的操作事件的画面结构部分汇集的封闭区域而分组，将所述相同的操作事件作为在所述组中共通的操作事件，与所述组关联； 操作检测步骤，在所述显示部件中I个显示画面被显示的状态检测由用户进行的输入操作； 操作事件确定步骤，伴随检测用户的输入操作，从在所述I个显示画面中被分组的至少I个封闭区域之中，确定检测到所述输入操作的封闭区域，从多个操作事件判定例行程序之中，仅启动对应于与该确定了的封闭区域的组相关联的共通的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件。
14.如权利要求13所述的操作事件判别方法，其特征在于: 所述分组步骤基于从外部输入的指示信息，将显示画面所包含的多个画面结构部分分组，并且对各组关联共通的操作事件。
15.如权利要求13所述的操作事件判别方法，其特征在于: 所述分组步骤，通过分析所述显示部件所显示的显示画面所包含的多个画面结构部分，将能够接受相同的操作事件、并且在显示画面内位于规定距离的范围内的2个以上的画面结构部分分组为I个组，对该I个组关联共通的操作事件。
16.如权利要求13至15的任一项所述的操作事件判别方法，其特征在于: 所述分组部件，从包含轻滑、拖拽、单击、双击、长敲击以及捏的多个操作事件之中，选择并关联各组所包含的画面结构部分共通地能够接受的操作事件。
17.如权利要求13至16的任一项所述的操作事件判别方法，其特征在于: 所述画面结构部分包含:对应于操作键的图标图像、以列表形式显示信息的列表显示区域、显示略缩图图像的略缩图图像显示区域或者显示预览图像的预览显示区域。
18.如权利要求13至17的任一项所述的操作事件判别方法，其特征在于:所述分组步骤，能够生成被包括于I个封闭区域的其他的封闭区域并分组，将在所述I个封闭区域和所述其他的封闭区域的双方中共通的操作事件与对应于所述I个封闭区域的组关联，将仅在所述其他的区域中共通的操作事件与对应于所述其他的区域的组关联。
19.如权利要求18所述的操作事件判别方法，其特征在于: 所述操作事件确定步骤，在通过所述操作检测步骤检测到用户的输入操作的封闭区域是所述其他的封闭区域的情况下，依次启动对应于与所述其他的封闭区域和所述I个封闭区域的各自的组相关联的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件。
20.如权利要求19所述的操作事件判别方法，其特征在于: 所述操作事件确定步骤，在通过所述操作检测步骤检测到用户的输入操作的封闭区域是所述其他的封闭区域的情况下，在启动对应于与所述其他的封闭区域的组相关联的操作事件的操作事件判定例行程序后，启动对应于与所述I个封闭区域的组相关联的操作事件的操作事件判定例行程序。
21.如权利要求13至20的任一项所述的操作事件判别方法，其特征在于: 所述显示部件所显示的显示画面所包含的画面结构部分能够追加、删除或者变更， 所述分组部件，对所述显示部件所显示的显示画面所包含的画面结构部分被追加、删除或者变更的组相关联的共通的操作事件进行变更。
22.如权利要求13至21的任一项所述的操作事件判别方法，其特征在于: 所述显示部件所显示的显示画面所包含的画面结构部分能够追加、删除或者变更， 所述分组步骤，伴随所述显示部件所显示的显示画面所包含的画面结构部分被追加、删除或者变更，再次进行该显示画面所包含的多个画面结构部分的分组。
23.如权利要求13至22的任一项所述的操作事件判别方法，其特征在于: 所述分组步骤，对包含能够将相同信息以不同的显示方式显示的画面结构部分的组，关联对应该画面结构部分的显示方式的操作事件
24.如权利要求13至23的任一项所述的操作事件判别方法，其特征在于: 所述操作事件确定步骤，在通过所述操作检测步骤检测到用户的输入操作的封闭区域跨越多个封闭区域的情况下，仅启动对应于与最初检测到输入操作的封闭区域的组相关联的操作事件的操作事件判定例行程序，确定对应于用户的输入操作的操作事件。
【文档编号】H04N1/00GK103731580SQ201310472908
【公开日】2014年4月16日 申请日期:2013年10月11日 优先权日:2012年10月11日
【发明者】篠崎佑介, 浅井伸一, 黑畑贵夫, 永谷健太郎, 勇川淳一, 来正洋一 申请人:柯尼卡美能达株式会社