数据处理装置以及操作受理方法
数据处理装置以及操作受理方法
【专利摘要】本发明提供数据处理装置以及操作受理方法。在内容包含执行与浏览程序不同的应用程序的描述的情况下恰当地执行应用程序。数据处理装置包括：浏览部（61），显示与内容对应的显示图像；鼠标事件生成部（85），生成表示由用户指示的1个以上的位置的鼠标事件；手势事件决定部（83），基于1个以上的鼠标事件的组决定一个手势事件，浏览部（61）包括：显示图像生成部（71），生成将执行应用程序而生成的嵌入图像配置到嵌入区域的显示图像；以及选择部（75），在由1个以上的鼠标事件表示的位置处于嵌入区域内的情况下，选择手势事件和1个以上的鼠标事件的组中的某一方。
【专利说明】数据处理装置以及操作受理方法
【技术领域】
[0001]本发明涉及数据处理装置以及操作受理方法，特别涉及具备了应对多点触摸的触摸面板的数据处理装置、在该数据处理装置中执行的操作受理方法。
【背景技术】
[0002]近年来，在以复合机(MFP)为代表的数据处理装置中，有如下装置，该装置具备能够检测用户同时指示的多个位置的应对多点触摸的触摸面板作为用户接口。另一方面，MFP有能够安装应用程序的复合机，用户能够通过安装与使用方式相应的应用程序来定制MFP。该应用程序有:能够受理多点触摸操作的规格的应用程序；和不能受理多点触摸操作而能够受理单点触摸操作的规格的应用程序。因此，在同时执行多个应用程序的情况下，必须根据应用程序而将由用户输入的操作切换为是作为多点触摸操作而受理、还是作为单点触摸操作而受理。
[0003]例如，在日本特开2009-211704号公报中，记载了多点触摸设备中的应对鼠标事件的方法，其特征在于，包括:显示I个或者I个以上的视图的步骤；执行各自与确定的视图建立了关联的I个或者I个以上的软件要素的步骤；对各个视图关联多点触摸标志或者排他性触摸标志的步骤；在所述I个或者I个以上的视图中接收I个或者I个以上的触摸的步骤；基于所述多点触摸标志以及排他性触摸标志的值，将针对各自接收到的触摸所描述的I个或者I个以上的鼠标事件，选择性地向与接收到触摸的所述I个或者I个以上的视图建立有关联的I个或者I个以上的所述软件要素进行发送的步骤。
[0004]但是，根据应用程序，存在在该应用程序所输出的图像(视图)中包括受理多点触摸操作的区域和受理单点触摸操作的区域的情况。因此，在以往的的方法中，根据视图将由用户输入的操作切换为是作为多点触摸操作而受理、还是作为单点触摸操作而受理，所以存在如下问题:不能应对在一个视图(图像)中包括受理多点触摸操作的区域和受理单点触摸操作的区域的情况。
【发明内容】
[0005]本发明是为了解决上述问题而作成的，本发明的目的之一在于提供在内容包含执行与浏览程序不同的应用程序的描述的情况下，能够恰当地执行应用程序的数据处理装置。
[0006]本发明的其它目的在于提供能够将用户进行的I个操作作为适合于浏览程序以及应用程序各自的操作而受理的操作受理方法。
[0007]为了达成上述的目的，根据本发明的某一方面，数据处理装置具备:显示单元，能够显示图像；位置检测单元，在显示单元的显示面中，能够检测由用户指示的I个以上的位置；以及控制单元，
[0008]控制单元包括:浏览单元，执行浏览程序，从外部获取用置标语言描述的内容，将与所获取到的内容对应的显示图像的至少一部分显示到显示单元，并且与输入分别对应于通过浏览程序规定的多个种类的处理的多个手势事件中的某一个相应地，执行多个种类的处理中的与所输入的手势事件对应的种类的处理；鼠标事件生成单元，与通过位置检测单元检测出I个以上的位置相应地，生成鼠标事件，该鼠标事件包含表示I个以上的位置各个的位置信息；以及手势事件决定单元，基于通过鼠标事件生成单元生成的I个以上的鼠标事件的组，决定多个手势事件中的某一个，
[0009]浏览单元包括:显示图像生成单元，在内容包含显示执行与浏览程序不同的应用程序而生成的嵌入图像的描述的情况下，生成将执行应用程序而生成的嵌入图像配置到通过内容规定的嵌入区域中的显示图像；以及选择单元，在由成为了决定通过手势事件决定单元决定的手势事件的基础的I个以上的鼠标事件中的某一个鼠标事件示出的位置处于嵌入区域内的情况下，基于所决定的手势事件的种类，选择通过手势事件决定单元决定的手势事件和成为了决定该手势事件的基础的I个以上的鼠标事件的组中的某一方。
[0010]根据该方面，与检测到由用户指示的I个以上的位置相应地，生成包含表示I个以上的位置各个的位置信息的鼠标事件，基于I个以上的鼠标事件的组，从多个手势事件中决定某一个，在从外部接收到的内容包含显示执行与浏览程序不同的应用程序而生成的嵌入图像的描述的情况下，生成将嵌入图像配置到通过内容规定的嵌入区域中的显示图像，在由成为了决定手势事件的基础的I个以上的鼠标事件中的某一个鼠标事件示出的位置处于嵌入区域内的情况下，选择手势事件和成为了决定该手势事件的基础的I个以上的鼠标事件的组中的某一方。因此，能够将用户进行的I个操作检测为鼠标事件和手势事件，并且从所检测到的鼠标事件和手势事件中受理与浏览程序以及应用程序分别相适应的一方。其结果，能够提供即使在内容包含执行与浏览程序不同的应用程序的描述的情况下也能够恰当地执行应用程序的数据处理装置。
[0011]优选地,选择单元包括:鼠标事件选择单元,在通过手势事件决定单元决定的手势事件不是规定的种类的情况下，选择成为了决定通过手势事件决定单元决定的手势事件的基础的I个以上的鼠标事件；以及手势事件选择单元，在通过手势事件决定单元决定的手势事件为规定的种类的情况下，选择通过手势事件决定单元决定的手势事件。
[0012]根据该方面，能够将用户进行的I个操作检测为鼠标事件和手势事件，并且在手势事件为规定的种类的情况下，使手势事件对应于浏览程序，在手势事件不是规定的种类的情况下，使鼠标事件对应于应用程序。因此，能够将用户进行的I个操作受理为针对浏览程序以及应用程序中的某一方的操作。
[0013]优选地，手势事件决定单元包括判断单元，在由通过鼠标事件生成单元生成的第I鼠标事件示出的第I位置、与通过从生成了第I鼠标事件起规定时间以内生成的第2鼠标事件生成的第2位置之间的间隔不是规定的距离以上的情况下，判断单元判断为不决定手势事件。
[0014]根据该方面，在由第I鼠标事件示出的第I位置、与通过从生成第I鼠标事件起规定时间以内生成的第2鼠标事件生成的第2位置之间的间隔不是规定的距离以上的情况下，不决定手势事件。因此，能够将在用户进行了指示的状态下移动的操作检测为手势事件。
[0015]优选地,浏览单元还包括:保留单元，将通过鼠标事件生成单元生成的I个以上的鼠标事件保留至通过手势事件决定单元决定手势事件时为止、或者通过判断单元判断为不决定手势事件时为止；以及指示单元，在通过选择单元选择I个以上的鼠标事件的组的情况下，将所保留的组中所包含的I个以上的鼠标事件输出到执行应用程序的任务，更新在嵌入区域中显示的嵌入图像。
[0016]根据该方面，由于保留基于所输入的用户进行的操作而生成的鼠标事件至决定不是规定的种类的手势事件时为止、或者判断为不决定手势事件时为止，所以能够将用户进行的操作设为有效。
[0017]优选地,浏览单元还包括删除单元,在通过选择单元选择I个以上的鼠标事件的组的情况下，在所保留的组中包含的I个以上的鼠标事件通过指示单元被输出到执行应用程序的任务之后，该删除单元删除在所保留的组中包含的I个以上的鼠标事件，在通过选择单元选择手势事件的情况下，在通过选择单元选择了手势事件的时间点，该删除单元删除在所保留的组中包含的I个以上的鼠标事件。
[0018]根据该方面，关于所保留的组中包含的I个以上的鼠标事件，在被输出到执行应用程序的任务之后进行删除，在手势事件被选择的情况下，在选择了手势事件的时间点进行删除。因此，能够防止将一个鼠标事件输出多次的现象。
[0019]优选地，浏览单元还包括决定单元，该决定单元在手势事件被选择的情况下，通过执行多个种类的处理中的与被选择的手势事件对应的种类的处理，从而决定显示图像中的用于显示到显示单元的显示部分。
[0020]根据该方面，能够按照手势事件执行浏览程序。
[0021]优选地，控制单元还包括关联建立单元，该关联建立单元在安装浏览程序的阶段，与浏览程序对应地，关联与浏览程序所规定的多个种类的处理对应的多个手势事件，手势事件决定单元以与通过鼠标事件生成单元生成的I个以上的鼠标事件的组对应的手势事件通过关联建立单元与浏览程序对应地与多个种类的处理的某一个建立有关联为条件，决定手势事件。
[0022]根据该方面，在安装浏览程序的阶段，关联与浏览程序所规定的多个种类的处理对应的多个手势事件，所以能够仅检测与浏览程序所规定的多个种类的处理分别对应的手势事件。
[0023]根据本发明的其它方面，提供一种在数据处理装置中执行的操作受理方法，该数据处理装置包括:显示单元，能够显示图像；以及位置检测单元，在显示单元的显示面中，能够检测由用户指示的I个以上的位置，操作受理方法包括:浏览步骤，执行浏览程序，从外部获取用置标语言描述的内容，将与所获取到的内容对应的显示图像的至少一部分显示到显示单元，并且与输入分别对应于通过浏览程序规定的多个种类的处理的多个手势事件中的某一个相应地，执行多个种类的处理中的与所输入的手势事件对应的种类的处理；鼠标事件生成步骤，与通过位置检测单元检测出I个以上的位置相应地，生成鼠标事件，该鼠标事件包含表示I个以上的位置各个的位置信息；以及手势事件决定步骤，基于在鼠标事件生成步骤中生成的I个以上的鼠标事件的组，决定多个手势事件中的某一个，
[0024]浏览步骤包括:显示图像生成步骤，在内容包含显示执行与浏览程序不同的应用程序而生成的嵌入图像的描述的情况下，生成将执行应用程序而生成的嵌入图像配置到通过内容规定的嵌入区域中的显示图像；以及选择步骤，在由成为了决定在手势事件决定步骤中决定的手势事件的基础的I个以上的鼠标事件中的某一个鼠标事件示出的位置处于嵌入区域内的情况下，基于所决定的手势事件的种类，选择在手势事件决定步骤中决定的手势事件和成为了决定该手势事件的基础的I个以上的鼠标事件的组中的某一方。
[0025]根据该方面，能够将用户进行的I个操作检测为鼠标事件和手势事件，并且从所检测到的鼠标事件和手势事件中受理与浏览程序以及应用程序分别相适应的一方。其结果，能够提供可将用户进行的I个操作受理为与浏览程序以及应用程序分别相适应的操作的操作受理方法。
[0026]优选地，选择步骤包括:鼠标事件选择步骤，在手势事件决定步骤决定的手势事件不是规定的种类的情况下，选择成为了决定在手势事件决定步骤中决定的手势事件的基础的I个以上的鼠标事件；以手势事件选择步骤，在手势事件决定步骤中决定的手势事件为规定的种类的情况下，选择在手势事件决定步骤中决定的手势事件。
[0027]优选地，手势事件决定步骤包括判断步骤，在判断步骤中，在由在鼠标事件生成步骤中生成的第I鼠标事件示出的第I位置、与通过从生成了第I鼠标事件起规定时间以内生成的第2鼠标事件生成的第2位置之间的间隔不是规定的距离以上的情况下，判断为不决定手势事件。
[0028]优选地，浏览步骤还包括:保留步骤，将在鼠标事件生成步骤中生成的I个以上的鼠标事件的组保留至在手势事件决定步骤中基于该组决定手势事件时为止、或者在判断步骤中判断为不决定手势事件时为止；以及指示步骤，在选择步骤中选择I个以上的鼠标事件的组的情况下，将所保留的组中包含的I个以上的鼠标事件输出到执行应用程序的任务，更新在嵌入区域中显示的嵌入图像。
[0029]优选地，浏览步骤还包括删除步骤，在该删除步骤中，在选择步骤中选择I个以上的鼠标事件的组的情况下，在所保留的组中包含的I个以上的鼠标事件在指示步骤中被输出到执行应用程序的任务之后，删除在所保留的组中包含的I个以上的鼠标事件，在选择步骤中选择手势事件的情况下，在选择步骤中选择了手势事件的时间点，删除在所保留的组中包含的I个以上的鼠标事件。
[0030]优选地，浏览步骤还包括决定步骤，在该决定步骤中，在手势事件被选择的情况下，通过执行多个种类的处理中的与被选择的手势事件对应的种类的处理，从而决定显示图像中的用于显示到显示单元的显示部分。
[0031]优选地，还包括关联建立步骤，在该关联建立步骤中，在安装浏览程序的阶段，与浏览程序对应地，关联与浏览程序所规定的多个种类的处理对应的多个手势事件，手势事件决定步骤包括如下步骤:以与在鼠标事件生成步骤中生成的I个以上的鼠标事件的组对应的手势事件在关联建立步骤中与浏览程序对应地与多个种类的处理的某一个建立有关联为条件，决定手势事件。
【专利附图】
【附图说明】
[0032]图1是示出本实施方式之一中的MFP的外观的立体图。
[0033]图2是示出操作面板的一例的平面图。
[0034]图3是示出MFP的硬件结构的概要的一例的框图。
[0035]图4是示出MFP所具备的CPU的软件架构的一例的图。
[0036]图5是将MFP所具备的CPU所具有的功能的一例与存储在HDD中的信息一起示出的框图。
[0037]图6是示出主表的一例的图。
[0038]图7是示出用户进行的操作和MFP执行的处理的流程的一例的图。
[0039]图8是示出手势事件决定处理的流程的一例的流程图。
[0040]图9是示出浏览处理的流程的一例的流程图。
[0041]图10是示出显示图像的一例的图。
[0042]图11是示出显示图像中的显示部分的一例的第I图。
[0043]图12是示出显示图像中的显示部分的一例的第2图。
[0044]图13是示出显示图像中的显示部分的一例的第3图。
【具体实施方式】
[0045]以下，参照【专利附图】
【附图说明】本发明的实施方式。在以下的说明中，对同一部件附加相同的符号。它们的名称以及功能也相同。因此，不重复关于它们的详细说明。
[0046]图1是表不本实施方式之一中的MFP的外观的立体图。图2是表不操作面板的一例的平面图。参照图1以及图2，MFP100包括:原稿读取部130，用于读取原稿；自动原稿搬送装置120，用于将原稿搬送到原稿读取部130 ;图像形成部140，用于基于原稿读取部130读取原稿而输出的图像数据，在纸张等上形成图像；供纸部150，用于向图像形成部140供给纸张；以及作为用户接口的操作面板160。
[0047]操作面板160设置于MFP100的上表面。操作面板160包括显示部161、触摸面板165、硬键部167。显示部161是例如液晶显示装置(IXD),显示针对用户的指示菜单、与所获取的图像数据相关的信息等。硬键部167包括分别表示了 “BOX”、“FAX”、“COPY”、“ECO”字符的4个硬键167A?167D。触摸面板165是与显示部161重叠地设置在显示部161的上表面或者下表面的应对多点触摸的触摸面板，检测在显示部161的显示面中由用户指示的位置。用户指示触摸面板165的操作包括:对于触摸面板165，用手指同时指示多处的多点触摸操作；以及用手指一次指示一处的单点触摸操作。
[0048]自动原稿搬送装置120将设置于原稿供纸托盘上的多张原稿一张一张地自动地搬送到设定于原稿读取部130的稿台玻璃上的规定的原稿读取位置，将由原稿读取部130读取了原稿图像的原稿排出到原稿排纸托盘上。原稿读取部130包括对搬送到原稿读取位置的原稿照射光的光源以及对在原稿反射的光进行感光的光电转换元件，扫描与原稿的尺寸相应的原稿图像。光电转换元件将所感光到的光转换为作为电信号的图像数据，并输出到图像形成部140。供纸部150将收纳于供纸托盘上的纸张搬送到图像形成部140。
[0049]图像形成部140是通过公知的电子照相方式形成图像的图像形成部，基于对从原稿读取部130输入的图像数据实施了“黑斑”校正等各种数据处理的数据处理后的图像数据或者从外部接收到的图像数据，在由供纸部150搬送的纸张上形成图像。
[0050]图3是示出MFP的硬件结构的概要的一例的框图。参照图3，MFP100包括主电路110。主电路 110 包括 CPUl 11、通信接口(Ι/F)部 112、ROM (Read Only Memory，只读存储器)113、RAM (Random Access Memory，随机存取存储器)114、作为大容量存储装置的硬盘驱动器(HDD) 115、传真部116、外部存储装置117。CPUlll与自动原稿搬送装置120、原稿读取部130、图像形成部140、供纸部150以及操作面板160相连接，对MFP100的整体进行控制。
[0051]ROMl 13存储CPUlll所执行的程序、或者为了执行该程序所需要的数据。RAM114用作CPUlll执行程序时的工作区域。另外，RAMl 14暂时存储从原稿读取部130连续地送来的读取图像。
[0052]传真部116连接于公用交换电话网(PSTN)，向PSTN发送传真数据、或者从PSTN接收传真数据。传真部116将接收到的传真数据存储到HDD115、或者转换为能够通过图像形成部140打印的打印数据，并输出到图像形成部140。由此，图像形成部140将由传真部116接收到的传真数据，在纸张上形成图像。另外，传真部116将由原稿读取部130读取的数据、或者存储在HDD115中的数据转换为传真数据，发送到连接于PSTN的传真装置。
[0053]通信Ι/F部112是用于将MFP100连接到网络的接口。通信Ι/F部112按照TCP(Transmission Control Protocol,传输控制协议)或者 FTP(File Transfer Protocol,文件传输协议)等通信协议，与连接于网络的其他计算机进行通信。另外，用于通信的协议不特别限定，可以使用任意的协议。而且，通信Ι/F部112所连接的网络例如是局域网(LAN)，连接方式既可以是有线方式也可以是无线方式。另外，网络不限于LAN，也可以是利用了广域网(WAN)、公用交换电话网(Public Switched Telephone Networks)的网络等。进而，网络连接于因特网。因此，MFP100能够与连接于因特网的服务器等计算机进行通信。
[0054]外部存储装置117 由 CPUlll 控制，安装了 CD-ROM (Compact Disk Read OnlyMemory:只读光盘存储器)118或者半导体存储器。CPUlll能够经由外部存储装置117访问⑶-R0M118或者半导体存储器。CPUlll将安装于外部存储装置117的⑶-R0M118中记录的或者半导体存储器中记录的程序加载到RAM114来执行。另外，CPUlll所执行的程序不限于记录在⑶-R0M118中的程序，也可以将存储在HDDl 15中的程序加载到RAMl 14来执行。在该情况下，与网络连接的其他计算机也可以经由与通信Ι/F部112连接的网络，改写存储在MFP100的HDD115中的程序、或者追加写入新的程序。进而，MFP100也可以从连接于网络的其他计算机下载程序，并将该程序存储到HDD115。在此所说的程序不仅包括CPUlll能够直接执行的程序，还包括源程序、被压缩处理的程序、被加密的程序等。
[0055]此外，作为存储CPU111所执行的程序的介质，不限于⑶-ROM118，也可以是光盘(MOCMagnetic Optical Disc:磁光盘)/MD(Mini Disc:迷你光盘)/DVD(Digital VersatileDisc:数字通用光盘))、IC 卡、光卡、掩模型 ROM、EPROM (Erasable Programable ROM,可擦可编程只读存储器)、EEPR0M (Electrically EPR0M,电可擦可编程只读存储器)等半导体存储器。
[0056]操作面板160包括显示部161和操作部163。显示部161是液晶显示装置(IXD)、有机ELD (Electro-Luminescence Display)等显示器,显示针对用户的指示菜单、与所获取的图像数据相关的信息等。操作部163包括触摸面板165和由多个键构成的硬键部167。硬键部167所包含的多个键分别包括触点开关，连接于CPU111。硬键在被操作用户按下时闭合触点，闭合与CPUlll连接的电路。硬键在被操作MFP100的操作用户按下的期间闭合电路，在未被操作用户按下的期间断开电路。
[0057]当硬键部167所具有的多个键被按下时，操作部163接受与被按下的键对应的指示、字符、数字等数据的输入。触摸面板165被设置于显示部161的上表面或者下表面，将由操作用户指示的位置的坐标输出到CPU111。触摸面板165检测操作用户通过手指或者触控笔指示的位置，将所检测到的位置的坐标输出到CPU111。触摸面板165是应对多点触摸的触摸面板，在用户输入了多点触摸操作的情况下，将与由用户同时指示的多个位置分别对应的多个坐标输出到CPU111。另外，触摸面板165在用户输入单点触摸操作的情况下，将与由用户指示的单一的位置对应的坐标输出到CPUlll。
[0058]触摸面板165的尺寸优选与显示部161的显示面相同或者其以上。由于触摸面板165与显示部161重叠地设置，所以如果操作用户指示显示部161的显示面，则触摸面板165将在显示部161的显示面中由操作用户指示的位置的坐标输出到CPUlll。触摸面板165可以使用例如电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式，不限定其方式。
[0059]操作部163能够受理的操作包括:按下硬键部167所具有的多个键的操作、指示触摸面板165的单点触摸操作以及多点触摸操作。进而，硬键部167包括分别表示有“BOX”、“FAX”、“C0PY”、“EC0”字符的 4 个硬键 167A ?167D。分别表示有“B0X”、“FAX”、“C0PY”字符的3个硬键167A、167B、167C是处理切换键，该处理切换键被分配有用于指示切换使MFP100执行的处理的处理切换操作。表示有“ECO”字符的硬键167D是模式切换键，该模式切换键被分配有用于指示将MFP100从通常模式切换到功耗比通常模式低的省电模式的模式切换操作。操作部163在硬键167A、167B、167C中的某一个被按下的情况下，接受处理切换操作，在硬键167D被按下的情况下，接受模式切换操作。
[0060]图4是示出MFP所具备的CPU的软件架构的一例的图。参照图4，CPUlll中形成有操作系统(OS)层，在其上的层中形成有MFP处理层。在MFP处理层的上层，按照应用平台(PF)层、应用层的顺序形成。
[0061]CPUlll执行OS程序的任务属于OS层。属于OS层的任务执行控制MFP100的硬件资源的处理。硬件资源在此包括通信Ι/F部112、ROMl 13, RAMl 14, HDD115、传真部116、外部存储装置117、自动原稿搬送装置120、原稿读取部130、图像形成部140、供纸部150、操作面板160。属于OS层的任务按照从MFP处理层输入的操作命令，控制硬件资源。另外，OS层在与MFP处理层之间，共享操作识别信息，属于OS层的任务与通过操作部163检测到由操作用户进行的操作的情况相应地，将表示所检测出的操作的操作识别信息输出到MFP处理层，其中，所述操作识别信息是用于识别作为硬件资源之一的操作部163能够受理的多个种类的各个操作的信息。
[0062]CPUlll执行应用程序的任务属于应用层。在MFP100中安装多个种类的应用程序的情况下，有时分别执行多个种类的应用程序的多个任务属于应用层。
[0063]执行应用程序的任务执行由应用程序规定的多个种类的处理。多个种类的处理包括使属于MFP处理层的任务执行在MFP处理层中执行的处理的处理。执行应用程序的任务在使属于MFP处理层的任务执行处理的情况下，输出应用命令。应用命令是作为API(Application Program Interface:应用程序接口)公开的命令。因此,能够容易地制作使MFP100执行处理的应用程序。公开是指，能够由制造MFP100的制造商以外的第三者使用的状态。因此，第三者能够使用应用命令来开发能够安装到MFP100的应用程序。
[0064]进而，执行应用程序的任务根据操作MFP100的操作用户所输入的操作，从由应用程序规定的多个种类的处理中确定要执行的处理，并执行处理。操作MFP100的操作用户所输入的操作通过操作用户操作操作部163而输入，由此在OS层中被受理。[0065]应用PF层配置于应用层与MFP处理层之间，对属于应用层的多个任务进行调停并且对属于应用层的多个任务所输出的应用命令进行控制的任务属于应用PF层。具体而言，应用PF层受理属于应用层的多个任务分别输出的应用命令，通过将所受理的应用命令按照预先规定的规则转换为内部命令来进行标准化，将内部命令输出到MFP处理层。因此，能够应对多个应用程序之间版本不同的情况等。另外，应用PF层将属于应用层的多个任务中的某一个决定为当前状态。然后，将在OS层中受理、且从属于MFP处理层的任务输入的操作输出到属于应用层的多个任务中的决定为当前状态的当前任务。
[0066]在OS层中受理的用户输入的操作包括:用一根手指指示触摸面板165的单点触摸操作、和用两根以上的手指同时指示触摸面板165的多点触摸操作。单点触摸操作以及多点触摸操作分别被操作系统检测为鼠标事件，从应用PF层被输入到属于应用层的多个任务中的当前任务。而且，I个以上的鼠标事件在MFP处理层中被转换为手势事件，从应用PF层被输入到属于应用层的多个任务中的当前任务。因此，应用层在与MFP处理层之间共享能够由应用程序受理的I个以上的手势事件，执行应用程序的任务从属于应用PF层的任务输入能够由应用程序受理的I个以上的手势事件。执行应用程序的任务执行多个种类的处理中的与手势事件或者鼠标事件中的某一个对应的处理。
[0067]将应用命令和内部命令预先对应起来。例如，设为存储将应用命令和内部命令对应起来的命令对应表即可。应用命令和内部命令可以一对一地对应，也可以对I个应用命令对应2个以上的内部命令的组。进而，对于版本不同的多个应用命令，也可以对应I个内部命令或者由多个内部命令构成的I个组。因此，能够应对多个应用程序之间版本不同的情况等。内部命令是依赖于MFP100的硬件资源的命令。内部命令通常不被公开，但也可以被公开。
[0068]MFP处理层配置于应用PF层与OS层之间，CPUlll执行MFP处理程序的任务属于MFP处理层。MFP处理层将属于应用PF层的任务输出的内部命令转换为属于OS层的任务能够解释的操作命令，为了控制硬件资源而将操作命令输出到属于OS层的任务。此外，实际上，有时将内部命令转换为属于OS层的任务能够执行的I个以上的操作命令，但在此为了方便说明，设为内部命令与属于OS层的任务能够执行的I个以上的操作命令的关系是一对一来进行说明。
[0069]应用程序是用于使MFP100执行浏览处理、复制处理、扫描处理、打印处理、传真发送接收处理、数据发送处理等的应用程序，在以下的说明中，主要说明使CPUlll执行应用程序的处理中的、与控制操作面板160的处理相关的部分。
[0070]图5是将MFP所具备的CPU所具有的功能的一例与存储在HDD中的信息一起示出的框图。图5示出的功能是通过MFP100所具备的CPUlll执行存储在R0M113、HDD115或者⑶-ROMl 18中的程序从而由CPUlll实现的功能。具体而言，通过CPUlll执行OS程序、MFP处理程序、操作受理程序以及应用程序来由CPUlll实现。在此，示出了在MFP100中安装第I应用程序以及第2应用程序作为应用程序的情况下的CPUlll的功能。
[0071]参照图5，CPUl 11包括应用部51、调停部53、操作转换部55、操作部57。应用部51在图4示出的软件架构中属于应用层。应用部51包括:执行作为第I应用程序的浏览程序的浏览部61 ;以及执行与浏览程序不同的第2应用程序的副执行部63。
[0072]浏览部61包括显示图像生成部71、决定部73、选择部75以及指示部77。显示图像生成部71从连接于因特网的服务器下载用HTML (HyperText Markup Language,超文本标记语言)等置标语言(markup language)描述的内容即Web页面,并解释Web页面来生成与Web页面对应的显示图像,将显示图像的至少一部分显示到显示部161。Web页面可以是操作MFPlOO的操作用户所指定的用URL (Uniform Resource Locator:统一资源定位符)识别的Web页面，也可以是用浏览部61中预先规定的URL识别的Web页面。
[0073]具体而言，显示图像生成部71为了将与Web页面对应的显示图像的至少一部分显示到显示部161，将应用命令输出到调停部53。由此，通过后述的操作部57将显示图像存储到显示部161所具备的VRAM (Video RAM:视频随机存取存储器)，并将显示图像的至少一部分显示到显示部161。关于在显示图像中显示到显示部161的部分，能够任意决定。例如，既可以预先决定，也可以根据Web页面决定，还可以根据显示图像的尺寸和显示部161的尺寸来决定。
[0074]另外，显示图像生成部71在从服务器获取的Web页面包括显示执行与浏览程序不同的第2应用程序而生成的嵌入图像的描述的情况下，向副执行部63输出启动指示。由此，在CPUlll中形成副执行部63。显示图像生成部71在Web页面包括显示嵌入图像的描述的情况下，在显示图像中，在由Web页面决定的嵌入区域中不配置图像。嵌入区域是在显示图像中配置嵌入图像的区域。
[0075]启动指示包含表示显示图像中的嵌入区域的位置的位置信息。另外，有时启动指示包含确定与Web页面不同的嵌入内容的内容识别信息。内容识别信息例如是网络地址，优选是URL。
[0076]副执行部63与从显示图像生成部71输入启动指示相应地启动。副执行部63执行用JAVA (注册商标)、JAVASCRIPT (注册商标)等目标指向编程语言描述的程序。副执行部63包括执行与浏览程序不同的第2应用程序的情况、和使作为经由网络连接的外部的计算机的服务器执行与浏览程序不同的第2应用程序的情况。
[0077]在副执行部63使与网络连接的服务器执行第2应用程序的情况下，副执行部63有被包含于浏览部61的情况和不被包含于浏览部61的情况。副执行部63被包含于浏览部61的情况例如是副执行部63执行用JAVASCRIPT (注册商标)描述的应用程序的情况。在该情况下，用JAVASCRIPT (注册商标)描述的应用程序被描述在作为第I应用程序的浏览程序中。副执行部63不被包含于浏览部61的情况例如是副执行部63执行用JAVA (注册商标)描述的应用程序的情况。在该情况下，用JAVA (注册商标)描述的应用程序是与作为第I应用程序的浏览程序不同的程序。
[0078]副执行部63将由服务器执行的第2应用程序所确定的内容的图像获取为嵌入图像。副执行部63为了使服务器执行通过第2应用程序预先规定的处理而将处理请求发送到服务器。然后，副执行部63从服务器接收服务器按照处理请求执行处理而生成的图像，将接收到的图像获取为嵌入图像。在由服务器决定了要显示的内容的情况下，处理请求不需要包含内容识别信息。相反，也可以设为在Web页面中确定内容，并向服务器发送包含启动指示中所包含的内容识别信息的处理请求，使服务器处理用内容识别信息确定的内容，并使其返回内容的图像。另外，副执行部63使得执行处理的服务器可以与浏览部61下载了 Web页面的服务器相同，也可以是与其不同的服务器。
[0079]另外，在副执行部63执行与浏览程序不同的第2应用程序的情况下，第2应用程序是与浏览程序不同的应用程序，例如是生成作为内容的静止画或者动画的再现程序。副执行部63执行作为第2应用程序的再现程序，使CPUlll执行再现用包含在启动指示中的内容识别信息确定的内容的图像的处理。
[0080]副执行部63将从服务器接收到的内容的图像、或者通过执行第2应用程序而生成的内容的图像作为嵌入图像显示到显示部161。具体而言，副执行部63为了将嵌入图像配置到显示图像的嵌入区域，将应用命令输出到调停部53。另外，副执行部63向浏览部61输出显示要求。由此，通过后述的操作部57将嵌入图像存储到显示部161所具备的VRAM所存储的显示图像中的嵌入区域。应用命令包含启动指示中包含的位置信息。
[0081]此外，浏览部61以及副执行部63执行的应用程序不限于此，也可以是用于如下的程序:为了使MFP100执行复制处理、扫描处理、打印处理、传真发送接收处理、数据发送接收处理等而定制用户接口等。
[0082]调停部53以及操作转换部55是通过CPUlll执行操作受理程序的任务而实现的功能。调停部53在图4示出的软件架构中属于应用PF层。操作转换部55在图4示出的软件架构中属于应用PF层。另外，将操作转换部55所具有的功能的全部设为了应用PF层的功能，但也可以将操作转换部55所具有的功能的至少一部分设为应用PF层的功能，将其它部分设为MFP处理层的功能。
[0083]在应用部51中执行应用程序的任务为多个的情况下，调停部53将多个任务中的某一个决定为当前状态。以下，将调停部53决定为当前状态的任务称为当前任务。在本实施方式中，应用部51包括浏览部61和副执行部63，副执行部63通过浏览部61而被启动，因此将浏览部61决定为当前任务状态。
[0084]调停部53输入浏览部61以及副执行部63分别输出的应用命令，向操作转换部55输出用于识别输出了应用命令的任务的应用识别信息和应用命令。
[0085]在从浏览部61以及副执行部63输出多个应用命令的情况下，调停部53决定它们的顺序，并按顺序向操作转换部55输出。例如，在不能同时执行多个应用命令的情况下，等待一个应用命令的操作转换部55中的执行结束而将另一个应用命令输出到操作转换部55。另外，在如果不是执行了一个应用命令之后则不能执行另一个应用命令的情况下，即便另一个应用命令比一个应用命令先输入的情况下，也先输出一个应用命令。
[0086]操作转换部55从调停部53输入应用命令，通过按照命令对应表将应用命令转换为内部命令来进行标准化。在命令对应表中，对I个应用命令对应I个以上的内部命令。有时命令对应表中包含的应用命令包含版本不同的同种类的应用命令，在该情况下，将不同版本的应用命令各自对应到I个以上的内部命令。因此，能够安装描述了不同版本的应用命令的应用程序。在出现新的应用命令的情况下，用对新出现的应用命令对应了 I个以上的内部命令的命令对应表更新命令对应表。因此，能够安装描述了新的应用命令的应用程序。
[0087]进而，操作转换部55将被标准化的内部命令转换为操作命令,将操作命令输出到操作部57。操作命令是在操作转换部55与操作部57之间预先规定的、操作部57能够解释的命令。
[0088]操作部57是通过CPUlll执行OS程序的任务而执行的功能。操作部57在图4示出的软件架构中属于OS层。[0089]操作部57输入操作转换部55输出的操作命令，按照操作命令控制硬件资源。作为硬件资源，在此以显示部161、操作部163的触摸面板165以及HDD115为例进行说明。操作部57控制显示部161，使显示部161显示图像。另外，操作部57控制HDDl 15，使HDDl 15存储数据，而且，读出存储在HDD115中的数据。进而，操作部57以规定时间间隔使触摸面板165检测由用户指示的位置，以规定时间间隔从触摸面板165获取位置信息。
[0090]如果操作用户指示显示部161的显示面，则触摸面板165检测由操作用户指示的位置，将表示显示部161的显示面的位置的位置信息输出到CPU111。操作部57在从触摸面板165输入位置信息的情况下，将位置信息输出到操作转换部55。操作部57有时从触摸面板165同时输入2个以上的位置信息。例如，当操作用户用两个手指同时指示显示部161的显示面的不同的2个部分的情况下，接受分别表示所指示的显示面的2个位置的2个位置信息。操作部57在从触摸面板165同时接受2个以上的位置信息的情况下，将2个以上的位置信息输出到操作转换部55。
[0091]操作转换部55包括关联建立部81、手势事件决定部83、鼠标事件生成部85以及显示控制部87。关联建立部81在安装浏览程序的阶段，将浏览程序所决定的多个种类的处理各自关联到多个手势事件中的某一个。具体而言，关联建立部81生成主表，并存储到HDD115，其中，在主表中，对浏览程序所决定的多个种类的处理的处理识别信息分别关联了浏览程序能够受理的手势事件。
[0092]图6是不出主表的一例的图。参照图6,主表91针对多个处理识别信息的每一个处理识别信息包含主记录。主记录包括处理的项目和手势的项目。处理的项目中设定有处理识别信息，手势的项目中设定有用于识别手势事件的手势识别信息。
[0093]例如，在对处理的项目设定了处理识别信息“翻页”的主记录中，对手势的项目设定手势识别信息“快速滑动(swipe)”。用处理识别信息“翻页”确定的处理是将画面变更为下一页的画面而显示的处理。用手势识别信息“快速滑动”确定的手势事件对应于一边指示触摸面板165、一边使手指以比规定的速度快的速度移动到上下左右的某一处的用户的操作。由于在使手指以比规定的速度快的速度移动的操作中使手指移动的方向是确定的，所以用手势识别信息“快速滑动”确定的手势事件在参数中包括使手指移动的方向。
[0094]在对处理的项目设定了处理识别信息“放大”的主记录中，对手势的项目设定手势识别信息“撑开(pinch out)”。用处理识别信息“放大”确定的处理是将画面放大而显示的处理。用手势识别信息“撑开”确定的手势事件对应于一边指示触摸面板165的2处、一边使所指示的2处的至少一方以2处的间隔变长的方式移动的操作。由于在以2处的间隔变长的方式移动的操作中2处的间隔发生变化，因此用手势识别信息“撑开”确定的手势事件在参数中包括表示2处的间隔的变化的比例的倍率。
[0095]在对处理的项目设定了处理识别信息“缩小”的主记录中，对手势的项目设定手势识别信息“捏合(pinch in)”。用处理识别信息“缩小”确定的处理是将画面缩小而显示的处理。用手势识别信息“捏合”确定的手势事件对应于一边指示触摸面板165的2处、一边使所指示的2处的至少一方以2处的间隔变短的方式移动的操作。由于在以2处的间隔变短的方式移动的操作中2处的间隔发生变化，所以用手势识别信息“捏合”确定的手势事件在参数中包括表示2处的间隔的变化的比例的倍率。
[0096]在对处理的项目设定了处理识别信息“旋转”的主记录中，对手势的项目设定手势识别信息“转动”。用处理识别信息“旋转”确定的处理是使画面旋转而变更画面的方向的处理。用手势识别信息“转动”确定的手势事件在输入了如下操作的情况下被检测到:一边指示触摸面板165的2处、一边使所指示的2处的至少一方以连接2处的直线的朝向变更的方式移动。例如是以2处的一方为中心而用另一方描绘圆弧的操作。由于描绘圆弧的方向有顺时针和逆时针，所以用手势识别信息“转动”确定的手势事件在参数中包括顺时针和逆时针中的某一方向。
[0097]在对处理的项目设定了处理识别信息“滚动”的主记录中，对手势的项目设定手势识别信息“轻拂(Flick)”。用处理识别信息“滚动”确定的处理是使画面上下左右滚动的处理。用手势识别信息“轻拂”确定的手势事件对应于一边指示触摸面板165、一边使手指以比快速滑动的手势事件的操作中的阈值慢的速度移动到上下左右的某一方的操作。由于在使手指以比阈值慢的速度移动的操作中使手指移动的方向是确定的，因此用手势识别信息“轻拂”确定的手势事件在参数中包括使手指移动的方向。
[0098]在对处理的项目设定了处理识别信息“内容选择”的主记录中，对手势的项目设定手势识别信息“双击”。用处理识别信息“内容选择”确定的处理是选择内容的处理。
[0099]返回到图5，显示控制部87将从浏览部61或者副执行部63输入的应用命令转换为用于使显示部161显示图像的操作命令，并输出到操作部57。由此，将由浏览部61生成的显示图像以及由副执行部63生成的嵌入图像存储到显示部161的VRAM，显示图像的至少一部分显示在显示部161中。
[0100]鼠标事件生成部85与从操作部57输入位置信息相应地生成鼠标事件。进而，每当生成鼠标事件时，鼠标事件生成部85将所生成的鼠标事件输出到手势事件决定部83，并经由调停部53输出到浏览部61。鼠标事件生成部85在从操作部57同时输入多个位置信息的情况下，生成与多个位置信息各自对应的多个鼠标事件。鼠标事件生成部85在生成I个以上的鼠标事件的情况下，将所生成的I个以上的鼠标事件输出到手势事件决定部83，并且经由调停部53输出到浏览部61。位置信息表示操作用户所指示的显示部161的显示面中的位置。
[0101]操作用户指示显示部161的显示面的操作包括:用户指示显示部161的显示面的任意的位置的指示开始操作；用户一边指示显示部161的显示面、换言之一边触碰显示部161的显示面一边移动所指示的位置的移动操作；用户结束显示部161的显示面的指示的结束操作。鼠标事件生成部85当从操作部57输入位置信息时，判断操作用户进行的操作是指示开始操作、移动操作、结束操作中的哪一个。如上所述，由于每当从触摸面板165输出位置信息时操作部57输出该位置信息，所以基于随着时间的经过而连续地输入的位置信息的连续性，来判断操作用户进行的操作是指示开始操作、移动操作、结束操作中的哪一个。
[0102]鼠标事件生成部85对于在从操作部57未输入位置信息的状态经过了规定时间之后输入的位置信息，判断为操作用户进行的操作是指示开始操作，生成包含位置信息和用于识别指示开始操作的状态识别信息“Press (按压)”的鼠标事件。
[0103]鼠标事件生成部85在检测到状态识别信息“Press”的鼠标事件之后，在从操作部57连续地输入I个以上的位置信息的情况下，对于I个以上的位置信息各自判断为操作用户进行的操作是移动操作。鼠标事件生成部85对于从操作部57连续地输入的I个以上的位置信息的每一个，生成包含其位置信息和用于识别移动操作的状态识别信息“Move (移动)”的鼠标事件。
[0104]鼠标事件生成部85在检测到状态识别信息“Move”的鼠标事件之后，在未从操作部57输入位置信息的情况下，对于最后输入的位置信息，判断为操作用户进行的操作是结束操作，生成包括最后输入的位置信息和用于识别结束操作的状态识别信息“Release (释放)”的鼠标事件。
[0105]更具体而言，鼠标事件生成部85根据从操作部57在第I时间输入的位置信息和在与第I时间相比规定时间后的第2时间输入的位置信息，决定鼠标事件的状态。鼠标事件生成部85对于在第I时间输入的位置信息,在与第I时间相比规定时间前未输入表不从用在第I时间输入的位置信息确定的位置起规定的距离的范围内的位置的位置信息的情况下，将针对在第I时间输入的位置信息的鼠标事件的状态决定为“Press”。用在第I时间输入的位置信息确定的位置不存在于从用在第2时间输入的位置信息确定的位置起规定的距离的范围内的情况下，鼠标事件生成部85将针对在第2时间输入的位置信息的鼠标事件的状态决定为“Press”。
[0106]另外，在用在第I时间输入的位置信息确定的位置存在于从用在第2时间输入的位置信息确定的位置起规定的距离的范围内的情况下，鼠标事件生成部85将针对在第2时间输入的位置信息的鼠标事件的状态决定为“Move”。进而，未在第2时间输入从用在第I时间输入的位置信息确定的位置起规定的距离的范围内的位置信息的情况下，鼠标事件生成部85在第2时间将针对在第I时间输入的位置信息的鼠标事件的状态决定为“Release”。
[0107]手势事件决定部83基于从鼠标事件生成部85连续地输入的多个鼠标事件来决定手势事件。手势事件决定部83在从鼠标事件生成部85连续地输入一次一个的鼠标事件的情况下，确定从最初的第I鼠标事件被输入起经过规定时间之后输入的第2鼠标事件，在用第I鼠标事件确定的位置与用第2鼠标事件确定的位置之间的距离为规定的距离以上的情况下，决定手势事件，但在两个位置之间的距离小于规定的距离的情况下不决定手势事件。规定的时间可以任意决定。规定的时间可以设为例如触摸面板165检测位置的间隔的几倍。而且，规定的距离可以任意决定，但优选设为例如40像素。
[0108]手势事件决定部83在从鼠标事件生成部85同时输入2个以上的鼠标事件的情况下，基于2个以上的鼠标事件决定手势事件。因此，当用户输入多点触摸操作的情况下，手势事件决定部83决定手势事件。具体而言，手势事件决定部83在从鼠标事件生成部85同时输入第I鼠标事件和第2鼠标事件这两个鼠标事件的情况下，基于针对第I鼠标事件连续地输入的多个鼠标事件的第I组和针对第2鼠标事件连续地输入的多个鼠标事件的第2组，决定手势事件。第I组中包含的多个鼠标事件的位置信息相同或者位置信息连续。连续是指2个位置信息表示邻接的位置。第2组中包含的多个鼠标事件的位置信息相同或者位置信息连续。因此，关于同时输入的多个鼠标事件属于第I组和第2组中的哪一组，手势事件决定部83用在它们中包含的位置信息进行判断。
[0109]手势事件决定部83从鼠标事件生成部85连续地输入鼠标事件的情况下，最初输入的鼠标事件的状态识别信息是“Press”。然后，在输入状态识别信息为“Move”的鼠标事件时，手势事件决定部83根据状态识别信息为“Press”的鼠标事件的位置信息和状态识别信息为“Move”的鼠标事件的位置信息计算2点间的距离，如果距离为规定的阈值TH以上则检测出用户进行的快速滑动操作，如果距离短于规定的阈值TH则检测出用户进行的轻拂操作。另外，在输入多个鼠标事件的情况下，有时通过最初的多个鼠标事件而检测出用户进行的快速滑动操作，通过之后的多个鼠标事件而检测出用户进行的轻拂操作。手势事件决定部83在检测出快速滑动操作或者轻拂操作的情况下，计算从用最初的位置信息确定的位置朝向用之后的位置信息确定的位置的方向，以显示部161的显示面为基准而将上下左右这4个方向中与所计算出的方向最接近的方向决定为参数，决定包含参数的手势识别信息。在检测出快速滑动操作的情况下，手势识别信息“快速滑动”的手势事件包括表示方向的参数。在检测出轻拂操作的情况下，手势识别信息“轻拂”的手势事件包括表示方向的参数。
[0110]手势事件决定部83从鼠标事件生成部85同时输入2个鼠标事件的情况下，最初输入的2个鼠标事件各自的状态是“Press”。在该情况下，根据2个鼠标事件各自中包含的位置信息，计算2点间的距离LI以及连接2点间的直线的角度R1。关于连接2点间的直线的角度，以显示部161的横向为基准线，设为连接2点间的直线与基准线所成的角度即可。连接2点间的直线与基准线所成的角度是从基准线以顺时针形成的角度。然后，手势事件决定部83根据之后连续地输入的2个鼠标事件的位置信息，计算2点间的距离L2以及连接2点间的直线的角度R2。
[0111]如果角度Rl和角度R2相同、且距离L2和距离LI不同，则手势事件决定部83检测出用户进行的撑开操作或者捏合操作。角度Rl和角度R2相同包含角度Rl与角度R2之差在规定的范围内的情况。由于检测用户的手指的运动，所以包含误差。如果距离L2大于距离LI则检测出撑开操作，如果距离L2小于距离LI则检测出捏合操作。手势事件决定部83在检测出撑开操作或者捏合操作的情况下，通过距离L2除以距离LI来计算倍率，将所计算出的倍率决定为参数，决定包含参数的手势识别信息。在检测出撑开操作的情况下，手势识别信息“撑开”的手势事件包含表示倍率的参数，在检测出捏合操作的情况下，手势识别信息“捏合”的手势事件包含表示倍率的参数。
[0112]在角度Rl和角度R2不同的情况下，手势事件决定部83检测出用户进行的转动操作。角度Rl和角度R2不同是指角度Rl与角度R2之差为规定的范围外的情况。由于检测用户的手指的运动，所以包含误差。手势事件决定部83在检测出转动操作的情况下，通过从角度R2减去角度Rl来决定旋转方向，将所决定的旋转方向决定为参数，决定包含参数的手势识别信息。如果从角度R2减去角度Rl而得到的值为正，则旋转方向是顺时针，如果从角度R2减去角度Rl而得到的值为负，则旋转方向是逆时针。手势识别信息“转动”的手势事件包含表示旋转方向的参数。
[0113]手势事件决定部83在决定手势事件的情况下，从HDDl 15读出与由调停部53设定的当前任务的应用识别信息对应的主表91。具体而言，将用于读出主表91的操作命令输出到操作部57，获取操作部57控制HDD115而读出的主表91。以下，说明浏览部61为当前任务的情况。
[0114]手势事件决定部83与决定手势事件相应地，基于手势事件，从主表91中规定的多个种类的处理之中，确定与由调停部53设定为当前状态的应用程序对应地建立了关联的处理。在此，通过调停部53将浏览部61设定为当前任务，所以手势事件决定部83确定通过主表91与手势事件建立了关联的处理。更具体而言，手势事件决定部83从主表91抽出在手势的项目中设定有所决定的手势事件的手势识别信息的主记录，获取在所抽出的主记录的处理的项目中设定的处理识别信息。手势事件决定部83在获取到处理识别信息的情况下，将所决定的手势事件输出到调停部53，但在未获取到处理识别信息的情况下，不将所决定的手势事件输出到调停部53。另外，手势事件决定部83在从鼠标事件生成部85连续地一次输入I个的鼠标事件、且不决定手势事件的情况下，将表示不决定手势事件的未决定信号输出到调停部53。
[0115]手势事件决定部83仅将与由调停部53设定为当前状态的浏览部61能够执行的处理对应的手势事件输出到调停部53，调停部53将手势事件输出到作为当前任务的浏览部61。因此，能够使执行浏览程序的浏览部61执行作为输入到触摸面板165的操作、且由多个鼠标事件的组确定的手势事件。换言之，在开发浏览程序的阶段中，不用意识到在MFP100中能够由触摸面板165受理的手势事件就能够开发。例如，能够开发不受理转动操作的浏览程序。
[0116]调停部53从鼠标事件生成部85输入鼠标事件，从手势事件决定部83输入手势事件，并将这些包含到应用部51，输出到CPUlll执行应用程序的多个任务中的当前任务。在此，应用部51包括浏览部61和副执行部63，副执行部63通过浏览部61启动，所以调停部53将浏览部61设定为当前状态。因此，浏览部61是当前任务。调停部53与从鼠标事件生成部85输入鼠标事件相应地，将鼠标事件输出到浏览部61。调停部53与从手势事件决定部83输入手势事件相应地，将手势事件输出到浏览部61。
[0117]浏览部61从调停部53输入鼠标事件生成部85输出的鼠标事件，从调停部53输入手势事件决定部83输出的手势事件。手势事件由I个以上的鼠标事件的组决定，所以针对操作用户输入的I次单点触摸操作或者I次多点触摸操作同时发生手势事件和决定手势事件的I个以上的鼠标事件的组。
[0118]浏览部61按照操作MFP100的操作用户在触摸面板165中输入的单点触摸操作或者多点触摸操作中的被决定了手势事件的单点触摸操作或者多点触摸操作，从通过浏览程序规定的多个种类的处理之中确定要执行的处理,并执行处理。
[0119]浏览部61执行的多个种类的处理包括使在显示部161中显示的图像变化的处理。使图像变化的处理例如包括:将所显示的图像变更为其它内容的图像的处理；在显示部161中显示有图像的一部分的情况下，变更图像中的在显示部161显示的部分的滚动处理；翻页处理；放大图像而显示的放大处理；缩小图像而显示的缩小处理；以及变更图像的方向的旋转处理。
[0120]另外，副执行部63按照操作MFP100的操作用户在触摸面板165中输入的单点触摸操作中的在嵌入区域内输入、且未被决定手势事件的单点触摸操作，执行处理。具体而言，副执行部63在执行与浏览程序不同的第2应用程序的情况下，从通过与浏览程序不同的第2应用程序规定的多个种类的处理之中确定要执行的处理，执行所确定的处理。在该情况下，副执行部63执行的多个种类的处理包括使在显示部161中显示的图像变化的处理。使图像变化的处理例如包括:将所显示的图像变更为其它内容的图像的处理；在显示部161中显示有图像的一部分的情况下，变更图像中的在显示部161显示的部分的滚动处理；翻页处理；放大图像而显示的放大处理；缩小图像而显示的缩小处理；以及变更图像的方向的旋转处理。[0121]另外，副执行部63在使作为经由网络连接的外部的计算机的服务器执行与浏览程序不同的第2应用程序的情况下，将包含与单点触摸操作对应的鼠标事件的处理请求发送给服务器。
[0122]浏览部61所具备的选择部75选择鼠标事件和手势事件中的某一方。选择部75在选择鼠标事件的情况下，将鼠标事件输出到指示部77，在选择手势事件的情况下，将手势事件输出到决定部73。
[0123]在对选择部75输入手势事件的情况下，输入在此以前成为了决定手势事件的基础的I个以上的鼠标事件。选择部75暂时存储从鼠标事件生成部85经由调停部75输入的鼠标事件，直至从手势事件决定部83经由调停部53输入手势事件为止、或者直至从手势事件决定部83经由调停部53输入表示不决定手势事件的信号为止。选择部75包括从调停部53 —次输入I个鼠标事件的情况和同时输入2个鼠标事件的情况。当用户输入了单点触摸操作的情况下，输入I个鼠标事件，当用户输入了多点触摸操作的情况下，输入多个鼠标事件。
[0124]<单点触摸操作的情况>
[0125]选择部75在从调停部53输入鼠标事件的情况下，判断用该鼠标事件中包含的位置信息表示的位置是否处于由显示图像生成部71生成的显示图像中的嵌入区域内。在用鼠标事件中包含的位置信息表示的位置处于嵌入区域内、且从手势事件决定部83经由调停部53输入表示不决定手势事件的信号的情况下，选择部75选择鼠标事件。另外，在用鼠标事件中包含的位置信息表示的位置处于嵌入区域内、且从手势事件决定部83经由调停部53输入手势事件的情况下，如果手势事件为规定的种类，则选择部75不选择鼠标事件，如果手势事件不是规定的种类，则选择部75选择鼠标事件。进而，在用鼠标事件中包含的位置信息表示的位置处于嵌入区域外的情况下，选择部75不选择鼠标事件。
[0126]另外，如果用鼠标事件中包含的位置信息表示的位置处于嵌入区域外，则选择部75选择手势事件。在用鼠标事件中包含的位置信息表示的位置处于嵌入区域内、且从手势事件决定部83经由调停部53输入手势事件的情况下，如果手势事件为规定的种类则选择部75选择手势事件，但如果手势事件不是规定的种类则选择部75不选择手势事件。规定的种类的手势事件是通过浏览程序预先规定的。在本实施方式中，在图6示出的主表91中，作为能够通过浏览程序受理的手势事件，有快速滑动、撑开、捏合、转动、轻拂、双击。可以从能够通过浏览程序受理的手势事件中，任意地决定规定的种类。例如，可以将快速滑动、撑开、捏合、转动以及轻拂作为规定的种类的手势事件。在该情况下，双击不是规定的种类的手势事件。
[0127]<多点触摸操作的情况>
[0128]选择部75在从调停部53同时输入多个鼠标事件的情况下，不选择鼠标事件。另夕卜，选择部75在同时输入多个鼠标事件的情况下，不论用多个鼠标事件各自中包含的位置信息表示的位置如何，如果从手势事件决定部83经由调停部53输入手势事件，则选择该手势事件。进而，选择部75在用鼠标事件中包含的位置信息表示的位置处于嵌入区域外的情况下，不选择鼠标事件。
[0129]另外，如果用鼠标事件中包含的位置信息表示的位置处于嵌入区域外，则选择部75选择手势事件。在用鼠标事件中包含的位置信息表示的位置处于嵌入区域内、且从手势事件决定部83经由调停部53输入手势事件的情况下，如果手势事件为规定的种类则选择部75选择手势事件，但如果手势事件不是规定的种类则选择部75不选择手势事件。
[0130]指示部77在从选择部75输入鼠标事件的情况下，将鼠标事件输出到副执行部63。在使作为经由网络连接的外部的计算机的服务器执行与浏览程序不同的第2应用程序的情况下，副执行部63与从指示部77输入鼠标事件相应地，向服务器发送包含鼠标事件的处理请求，用从服务器接收的图像更新嵌入图像。具体而言，将在显示部161所具备的VRAM中改写从服务器接收到的图像的应用命令输出到显示控制部87。由此，用从服务器接收到的图像改写显示部161所具备的VRAM中存储的显示图像的嵌入区域。
[0131]另外，当副执行部63执行与浏览程序不同的第2应用程序的情况下，副执行部63从通过第2应用程序规定的多个种类的处理之中，确定基于鼠标事件执行的处理，并执行处理。例如，如果用鼠标事件中包含的位置信息确定的位置处于嵌入图像中包含的按钮的图像内，则确定与该按钮的图像对应起来的处理。例如，如果是放大按钮的图像，则执行放大图像的处理，用放大了嵌入图像之后的图像进行更新。具体而言，将在显示部161中所具备的VRAM中改写更新后的图像的应用命令输出到显示控制部87。由此，用更新后的图像改写显示部161所具备的VRAM中存储的显示图像的嵌入区域。
[0132]决定部73在从选择部75输入手势事件的情况下，执行通过浏览程序规定的多个种类的处理之中的与手势事件对应的种类的处理。具体而言，决定显示图像中的用于在显示部161显示的显示部分。决定部73将使显示部161显示所决定的显示部分的应用命令输出到显示控制部87。由此，将由决定部73从显示部161所具备的VRAM所存储的显示图像中决定的部分的图像显示在显示部161中。例如，如果从选择部75输入的手势事件与处理识别信息“滚动”对应，则将使显示图像中显示在显示部161中的部分从该部分滑到上下左右的某一方的部分显示到显示部161中。
[0133]接下来，在本实施方式中的MFP100中，以从与因特网连接的服务器300下载Web页面并显示作为Web页面的图像的显示图像的情况为例，说明用户的操作和MFP100执行的处理的流程的一例。
[0134]图7是示出用户进行的操作和MFP执行的处理的流程的一例的图。参照图7，从左按顺序，关于用户进行的操作、操作部57的处理、副执行部63的处理、浏览部61的处理以及服务器300的处理，示出与各自对应的轴，各个轴从上到下表示时间的推移。
[0135]首先，如果用户输入启动浏览程序的操作，则通过操作部57受理该操作。在此，说明服务器300中存储的Web页面的URL被同时指定的情况。按照用户进行的操作，操作部57使CPUlll执行浏览程序，从而作为CPUlll执行浏览程序的任务的浏览部61启动。而且，操作部57将由用户输入的URL输出到浏览部61。
[0136]浏览部61向服务器300发送内容请求，所述内容请求是将用从操作部57输入的URL确定的Web页面发送到用URL确定的服务器300的要求。服务器300接收到内容请求时，返回用URL确定的Web页面，所以浏览部61从服务器300接收Web页面。进而，浏览部61解析Web页面，生成与Web页面对应的显示图像，向操作部57输出将显示图像存储到VRAM的指示和将显示部分进行显示的指示。与此相伴，操作部57将显示图像存储到显示部161的VRAM,并且将显示部分显示到显示部161。
[0137]在此，设为Web页面包含启动JAVA (注册商标)程序的命令的描述。因此，浏览部61使CPUlll执行JAVA (注册商标)程序，从而作为CPUlll执行JAVA (注册商标)程序的任务的副执行部63启动。
[0138]在此，设为通过JAVA (注册商标)程序规定了使服务器300发送存储在该服务器300中的内容的图像的处理。副执行部63向服务器300发送作为执行发送内容的图像的处理的要求的处理请求。与此相伴，服务器300返回内容的图像，所以副执行部63将从服务器300接收的内容的图像作为嵌入图像接收。进而，副执行部63将嵌入图像存储到显示部161的VRAM中，并且将显示要求输出到浏览部61。与此相伴，操作部57将嵌入图像存储到显示部161的VRAM中。另外，浏览部61向操作部57输出将显示部分进行显示的指示，操作部57将在嵌入区域中配置了嵌入图像的显示图像中的显示部分显示到显示部161。因此，如果显示部分包含嵌入区域，则嵌入图像被显示于显示部161。
[0139]接下来，如果用户输入单点触摸操作或者多点触摸操作，则通过操作部57受理该操作。通过操作转换部55生成与单点触摸操作或者多点触摸操作对应的鼠标事件，基于I个以上的鼠标事件决定手势事件。鼠标事件和手势事件被输入到浏览部61。
[0140]浏览部61在用鼠标事件中包含的位置信息表示的位置处于嵌入区域内的情况下和处于嵌入区域外的情况下使处理不同。浏览部61在用鼠标事件中包含的位置信息表示的位置处于嵌入区域内的情况下，进而根据手势事件是否为规定的种类而使处理不同。在手势事件不是规定的种类的情况下，将鼠标事件输出到副执行部63。副执行部63将包含鼠标事件的处理请求发送到服务器300。服务器300在接收到处理请求时，与通过处理请求中包含的鼠标事件确定的嵌入图像中的位置对应地，执行通过服务器300执行的第2应用程序规定的处理，并返回处理后的内容的图像。例如，在通过第2应用程序规定了放大图像的处理的情况下，返回对内容的图像进行了放大的图像。副执行部63将从服务器300接收的内容的图像作为嵌入图像接收。进而，副执行部63将嵌入图像存储到显示部161的VRAM中，并且将显示要求输出到浏览部61。与此相伴，操作部57将显示图像存储到显示部161的VRAM中。另外，浏览部61向操作部57输出对显示部分进行显示的指示，操作部57将在嵌入区域中配置了嵌入图像的显示图像中的显示部分显示到显示部161。因此，如果显示部分包含嵌入区域，则通过服务器300被放大之后的嵌入图像被显示于显示部161。
[0141]在用鼠标事件中包含的位置信息表示的位置处于嵌入区域内、且手势事件为规定的种类的情况下，浏览部61执行基于手势事件的处理。在该情况下，不将鼠标事件输出到副执行部63。基于手势事件的处理是通过浏览程序规定的。例如，如果基于手势事件的处理是往下方向滚动的处理，则向操作部57输出将使显示图像的显示部分往下方移动之后的显示部分进行显示的指示。操作部57将显示图像中的显示部分显示到显示部161。因此，显示图像中的被移动后的显示部分被显示于显示部161。
[0142]另一方面，用鼠标事件中包含的位置信息表示的位置处于嵌入区域外的情况下，执行基于手势事件的处理。在该情况下，不将鼠标事件输出到副执行部63。
[0143]图8是示出手势事件决定处理的流程的一例的流程图。手势事件决定处理是通过MFP100所具备的CPUlll执行存储在R0M113、HDD115或者⑶-ROMl 18中的操作受理程序而由CPUlll执行的处理。参照图8，CPU111判断是否检测到鼠标事件(步骤S01)。如果用户指示触摸面板165，则基于通过触摸面板165检测到的位置来检测鼠标事件。直至检测出鼠标事件为止成为待机状态(步骤SOl中“否”)，如果检测到鼠标事件(步骤SOl中“是”)，则使处理进入步骤S02。换言之，手势事件决定处理是以用户指示触摸面板165并且检测出鼠标事件为条件而执行的处理。
[0144]在步骤S02中，判断检测到的鼠标事件是否为单数。如果检测到一个鼠标事件，则使处理进入步骤S03，但如果检测到多个鼠标事件，则使处理进入步骤S17。
[0145]在步骤S03中，根据鼠标事件的状态而使处理分支。如果鼠标事件的状态为“Press”，则使处理进入步骤S04，如果是“Move”，则使处理进入步骤S09，如果是“Release”，则使处理进入步骤S05。在步骤S04中，使定时器T开始，使处理返回到步骤S01。定时器T对从检测到状态为“Press”的鼠标事件起的经过时间进行计时。
[0146]在步骤S09中，判断定时器T的值是否为阈值TT以下。如果定时器T的值为阈值TT以下，则使处理进入步骤S10，否则使处理进入步骤Sll。在步骤SlO中，判断间隔是否为阈值TL以上。如果间隔为阈值TL以上，则使处理进入步骤S12，否则使处理进入步骤S11。间隔是用最初检测到的鼠标事件、换言之状态为“Press”的鼠标事件中包含的位置信息确定的位置、与用在步骤SOl中检测到的刚刚之前的鼠标事件中包含的位置信息确定的位置之间的距离。在步骤Sll中，输出表示不决定鼠标事件的未决定信号，结束处理。在从检测到状态为“Press”的鼠标事件起的经过时间为阈值TT以内、且未检测到表示从用“Press”的鼠标事件示出的位置离开了阈值TL以上的位置的鼠标事件的情况下，不决定手势事件而结束处理。这是因为即使从用户指示起经过阈值TT的时间所指示的位置也不移动的情况下不决定手势事件。此外，也可以决定将相同位置指示规定时间的手势事件。
[0147]处理进入步骤S12的情况是鼠标事件的状态为“Move”的情况，在该鼠标事件的刚刚之前输入了其它鼠标事件。其它鼠标事件的状态有“Press”的情况和“Move”的情况。在步骤S12中，决定指示方向。决定从用刚刚之前输入的其它鼠标事件中包含的位置信息确定的位置朝向用在步骤SOl中检测到的鼠标事件中包含的位置信息确定的位置的方向。在此决定的方向是以显示部161的显示面为基准的上下左右的4个方向中的与所计算出的方向最近的方向。
[0148]在接下来的步骤S13中，计算指示距离L。将用刚刚之前输入的其它鼠标事件中包含的位置信息确定的位置与用在步骤SOl中检测到的鼠标事件中包含的位置信息确定的位置之间的距离计算为指示距离L。然后，判断指示距离L是否为阈值TH以上(步骤S14)。如果指示距离L为阈值TH以上，则使处理进入步骤S15，否则使处理进入步骤S16。
[0149]在步骤S15中，将手势事件决定为快速滑动，使处理进入步骤S27。在步骤S16中，将手势事件决定为轻拂，使处理进入步骤S27。
[0150]在处理进入步骤S05的情况下，在步骤SOl中检测到的鼠标事件的状态为“Release”。在鼠标事件的状态为“Release”的情况下，在该鼠标事件的刚刚之前输入有其它鼠标事件。其它鼠标事件的状态有“Press”的情况和“Move”的情况。在步骤S05中，根据刚刚之前输入的其它鼠标事件的状态而使处理分支。如果刚刚之前输入的其它鼠标事件的状态为“Press”，则使处理进入步骤S06，否则使处理返回到步骤S01。
[0151]在步骤S06中，判断与在步骤SOl中检测到的鼠标事件中包含的位置信息相同的位置信息是否存储在RAMl 14中。如果存储在RAMl 14中，则使处理进入步骤S07，否则使处理进入步骤S08。另外，在此所说的相同的位置信息包括用2个位置信息分别确定的2个的位置之间的距离为规定的长度以内的情况。由于检测用户指示相同位置的操作，所以包含误差。
[0152]在步骤S08中，将在步骤SOl中检测到的鼠标事件中包含的位置信息暂时存储到RAM114，使处理进入步骤S29。处理进入步骤S08的情况是刚刚之前输入的鼠标事件的状态为“Press”、接下来输入的鼠标事件的状态为“Release”、并且在RAM114中未存储相同的位置信息的情况。换言之，是用户输入最初的触摸操作的情况。
[0153]在步骤S07中，将手势事件决定为双击，使处理进入步骤S27。处理进入步骤S07的情况是刚刚之前输入的鼠标事件的状态为“Press”、在步骤SOl中检测到的鼠标事件的状态为“Release”、并且是在RAM114中存储有相同的位置信息的情况。换言之，是用户在输入了最初的触摸操作之后对与最初的触摸操作相同的位置进行触摸操作的情况。
[0154]处理进入步骤S17的情况是检测到2个鼠标事件的情况。在步骤S17中，判断2个鼠标事件中的至少一方的状态是否为“Move”。如果2个鼠标事件中的至少一方的状态为“Move”，则使处理进入步骤S18，否则使处理返回到步骤S01。
[0155]在步骤S18中计算角度。以显示部161的显示面的规定的基准边为基准，计算连接用2个鼠标事件各自中包含的位置信息确定的2个位置的直线与基准边所成的角度。在接下来的步骤S19中，判断在步骤S18中计算出的角度是否有变化。如果在步骤S18中计算出的角度与基于刚刚之前输入的其它2个鼠标事件计算出的角度的差为规定的角度以上，则判断为角度发生了变化。如果角度发生了变化，则使处理进入步骤S20，否则使处理进入步骤S21。在步骤S20中，将手势事件决定为转动，使处理进入步骤S27。
[0156]在步骤S21中，计算距离。计算用2个鼠标事件各自中包含的位置信息确定的2个位置之间的距离。在接下来的步骤S22中，判断在步骤S21中计算出的距离是否有变化。如果在步骤S21中计算出的距离与基于刚刚之前输入的其它2个鼠标事件计算出的距离的差为规定的长度以上，则判断为距离发生了变化。如果距离发生了变化，则使处理进入步骤S23，否则使处理返回到步骤S01。
[0157]在步骤S23中，决定倍率。将在步骤S21中计算出的距离除以基于刚刚之前输入的其它2个鼠标事件计算出的距离而得到的值决定为倍率。在接下来的步骤S24中，判断倍率是否大于I。如果倍率大于1，则使处理进入步骤S25，否则使处理进入步骤S26。
[0158]在步骤S25中，将手势事件决定为撑开，使处理进入步骤S27。在步骤S26中，将手势事件决定为捏合，使处理进入步骤S27。
[0159]在步骤S27中，判断是否定义有与所决定的手势事件对应的处理。通过在HDD115中存储的主表91中所规定的多个种类的处理之中是否存在与被设定为当前状态的应用程序对应地关联有手势事件的处理来进行判断。如果在主表91中对所决定的手势事件关联有处理，则判断为与被设定为当前状态的应用程序对应地定义有与所决定的手势事件对应的处理。如果定义有与所决定的手势事件对应的处理，则使处理进入步骤S28，否则使处理进入步骤S29。
[0160]在步骤S28中，输出所决定的手势事件，结束处理。在步骤S29中，输出未决定信号，结束处理。
[0161]图9是示出浏览处理的流程的一例的流程图。浏览处理是通过MFP100所具备的CPU111执行存储在ROMl 13、HDD115或者⑶-ROM118中的浏览程序来由CPU111执行的处理。参照图9，CPU111获取内容(步骤S31)。具体而言，从与因特网连接的服务器下载Web页面而作为内容。Web页面是用操作MFPlOO的操作用户所指定的URL识别的Web页面。另外，也可以是用预先规定的URL识别的Web页面。
[0162]在步骤S32中，判断所获取的Web页面是否包含嵌入图像的描述。嵌入图像的描述是显示执行与浏览程序不同的第2应用程序而生成的嵌入图像的描述。如果从服务器获取到的Web页面包含嵌入图像的描述，则使处理进入步骤S33，否则使处理进入步骤S35。在步骤S35中，按照Web页面的描述生成显示图像，使处理进入步骤S36。具体而言，将显示图像存储到显示部161所具备的VRAM。
[0163]在步骤S33中，生成包含嵌入区域的显示图像。具体而言，将包含嵌入区域的显示图像存储到显示部161所具备的VRAM中。由此，在显示部161所具备的VRAM中存储执行浏览程序的任务所生成的显示图像。但是，关于显示图像的嵌入区域，通过执行浏览程序的任务而什么都不存储。
[0164]在步骤S34中，启动应用，使处理进入步骤S36。按照Web页面的描述，使CPUlll或者服务器执行与浏览程序不同的第2应用程序，使执行第2应用程序的任务生成嵌入图像。具体而言，在根据Web页面中描述的JAVA (注册商标)脚本由服务器执行第2应用程序的情况下，向服务器发送要求内容的生成的处理请求，将从服务器返回的内容的图像存储到显示部161所具备的VRAM中存储的显示图像的嵌入区域中。由此，在显示部161所具备的VRAM中存储的显示图像的嵌入区域中，将通过服务器执行第2应用程序而生成的图像存储为嵌入图像。另外，在Web页面包含启动CPUlll能够执行的再现程序等第2应用程序的指示的情况下，使CPUlll执行第2应用程序，将CPUlll执行第2应用程序的任务所生成的图像存储到显示部161所具备的VRAM中存储的显示图像的嵌入区域中。由此，在显示部161所具备的VRAM中存储的显示图像的嵌入区域中，存储通过CPUlll执行第2应用程序的任务而生成的嵌入图像。
[0165]如此，执行浏览程序的任务改写显示图像，用由CPUlll或者服务器的某一个执行第2应用程序的任务而生成的图像来改写嵌入区域。换言之，能够与执行浏览程序的任务无关地用通过服务器或者CPUlll的某一个执行第2应用程序的任务而生成的图像来更新嵌入区域。
[0166]在步骤S36中，将显示图像进行显示。将显示部161的VRAM中存储的显示图像显示到显示部161。此时，既可以部分地显示显示图像，也可以显示显示图像的整体。
[0167]在步骤S37中，判断是否输入了鼠标事件。如果操作用户用手指指示显示部161的显示面，则检测到通过触摸面板165指示的位置，输入包含该位置信息的鼠标事件。如果输入了鼠标事件(步骤S37中“是”)，则使处理进入步骤S38，否则使处理进入步骤S50。
[0168]在步骤S38中，判断鼠标事件是否为一个。如果鼠标事件为单数则使处理进入步骤S39，如果为多个则使处理进入步骤S48。在步骤S39中，判断鼠标事件是否为针对嵌入区域的操作。如果用鼠标事件中包含的位置信息确定的位置处于显示图像中的嵌入区域内，则判断为鼠标事件是针对嵌入区域的操作。如果鼠标事件是针对嵌入区域的操作，则使处理进入步骤S40，否则使处理进入步骤S48。
[0169]在步骤S40中判断是否输入了未决定信号。在上述的手势事件决定处理中，在判断为未基于在步骤S37中输入的鼠标事件而决定手势事件的情况下，输入未决定信号。如果输入了未决定信号，则使处理进入步骤S41，否则使处理进入步骤S43。在步骤S41中，向执行在步骤S34中启动的第2应用程序的任务输出鼠标事件，使处理进入步骤S42。在此输出的鼠标事件除了包括在步骤S37中输入的鼠标事件以外，还包括在后述的步骤S47中暂时存储的鼠标事件。在输出多个鼠标事件的情况下，按照所输入的顺序输出鼠标事件。具体而言，在按照Web页面中描述的JAVA (注册商标)脚本由服务器执行第2应用程序的情况下，向服务器发送包含鼠标事件的处理请求，接收从服务器返回的内容的图像，将所接收到的图像存储到显示部161所具备的VRAM中存储的显示图像的嵌入区域中。另外，在Web页面包含启动CPUlll能够执行的再现程序等第2应用程序的指示的情况下，CPUlll中形成有执行第2应用程序的任务。因此，对CPUlll执行第2应用程序的任务输出鼠标事件，使其执行基于鼠标事件的处理，将CPUlll执行第2应用程序的任务所生成的内容的图像存储到显示部161所具备的VRAM中存储的显示图像的嵌入区域。
[0170]在输入了鼠标事件时，服务器或者CPUlll执行第2应用程序的任务从通过第2应用程序规定的多个处理之中执行通过鼠标事件确定的处理。具体而言，执行通过第2应用程序规定的多个处理中的、分配到用鼠标事件中包含的位置信息确定的位置的处理。例如，如果嵌入图像包含被分配了放大处理的按钮、且用鼠标事件中包含的位置信息确定的位置处于被分配了放大处理的按钮内，则执行放大处理。然后，用放大处理后的嵌入图像，更新显示部161所具备的VRAM中存储的显示图像中的嵌入区域。因此，只有显示在显示部161中的显示图像中所包含的嵌入区域的图像被放大而显示。
[0171]在接下来的步骤S42中，删除在步骤S47中暂时存储的鼠标事件，使处理进入步骤S50。这是为了不将I个鼠标事件重复地输出到执行第2应用程序的任务。另一方面，在步骤S43中，判断是否决定了手势事件。执行图8所示的手势事件决定处理，判断是否基于在步骤S37中输入的鼠标事件决定了手势事件。如果决定了手势事件，则使处理进入步骤S44，否则使处理进入步骤S47。在步骤S47中，暂时存储在步骤S37中输入的鼠标事件，使处理进入步骤S50。
[0172]在步骤S44中，判断基于在步骤S37中输入的鼠标事件决定的手势事件是否为规定的种类。如果所决定的手势事件为规定的种类，则使处理进入步骤S45，否则使处理进入步骤S41。在浏览程序中预先确定有规定的种类的手势事件。
[0173]在步骤S45中，执行与手势事件对应的处理，使处理进入步骤S46。执行通过浏览程序规定的多个处理中的、通过手势事件确定的处理。具体而言，如果手势事件为轻拂，则将显示图像中的显示于显示部161的部分向通过手势事件决定的方向移动。更具体而言，将显示部161所具备的VRAM中存储的显示图像中的显示于显示部161的区域向通过手势事件决定的方向移动，将移动后的区域显示到显示部161。因此，显示部161中显示的显示图像的部分被变更。在步骤S46中，与步骤S42同样地，删除在步骤S47中暂时存储的鼠标事件，使处理进入步骤S50。
[0174]另一方面，处理进入步骤S48的情况是在步骤S37中输入多个鼠标事件的情况。在步骤S48中，判断是否决定了手势事件。执行图8所示的手势事件决定处理，判断是否基于在步骤S37中输入的鼠标事件决定了手势事件。如果决定了手势事件则使处理进入步骤S49，否则使处理进入步骤S50。在步骤S49中，执行与手势事件对应的处理，使处理进入步骤 S50。
[0175]在步骤S50中，判断是否受理了结束内容的显示的指示。例如，如果指示了硬键部167中包括的多个键中的、被分配了结束浏览程序的指示的键，则受理结束内容的显示的指示。如果受理了结束内容的显示的指示，则结束处理，否则使处理返回到步骤S37。
[0176]图10是示出显示图像的一例的图。图10所示的显示图像对应于从与因特网连接的服务器下载的Web页面。在此，对于Web页面，以描述了介绍销售商品的店铺的内容的情况为例进行说明。参照图10，显示图像300在Web页面中包括配置通过与浏览程序不同的第2应用程序生成的嵌入图像的2个嵌入区域310、311。配置于嵌入区域310、311的嵌入图像是与因特网连接的服务器通过执行安装于该服务器的第2应用程序而生成的。
[0177]在嵌入区域310中，将表示该店的场所的地图的图像配置为嵌入图像，在嵌入区域311中，将显示该店销售的商品的列表的图像配置为嵌入图像。用虚线表示的区域301、303表示在显示图像300中显示于显示部161的显示部分。此外,表示区域301、303的虚线是为了说明而附加的，在显示图像300中实际不存在。
[0178]图11是示出显示图像300中的显示部分的一例的第I图。参照图11，显示部分331是在图10所示的显示图像300中的用区域301示出的部分。显示部分331包含配置在显示图像300中的嵌入区域310。嵌入区域310包括:表示有上下左右的4个箭头的按钮群313;表示有“ + ”以及符号的按钮群315。关于按钮群313、315，通过安装于服务器的第2应用程序对各个按钮分配有处理。在此，如果用户用手指指示按钮群315的表示有“ + ”符号的按钮，则发生包含位置信息的鼠标事件，该位置信息表示包含在显示有“ + ”符号的按钮的范围内的位置。具体说明该情况下的图8所示的手势事件决定处理以及图9所示的浏览处理的流程。在图8所示的手势事件决定处理中，如果用户用手指指示按钮群315的表示有“ + ”符号的按钮，则在步骤S03中检测到鼠标事件的状态“Release”，处理进入步骤S06，但判断为未存储相同的位置，执行步骤S08以及步骤S29。因此，未检测到手势事件，输出未决定信号。进而，在图9所示的浏览处理中，如果用户用手指指示按钮群315的表示有“ + ”符号的按钮，则在步骤S37中判断为输入了鼠标事件，处理进入步骤S38。用户用手指指示按钮群315的表示有“ + ”符号的按钮的操作中，指示位置为一个、且处于嵌入区域内，所以处理进入步骤S40。在图8所示的手势事件决定处理中，如果用户用手指指示按钮群315的表示有“ + ”符号的按钮，则输出未决定信号，所以执行浏览处理的步骤S41，输出鼠标事件。因此，该鼠标事件被发送到生成在嵌入区域310中配置的图像的服务器，通过服务器执行放大图像的处理。于是，用通过服务器执行放大的处理之后的图像更新嵌入区域310。
[0179]图12是示出显示图像300中的显示部分的一例的第2图。参照图12，显示部分331是图10所示的显示图像300中的用区域301表示的部分。显示部分331包括配置于显示图像300的嵌入区域310。显示于嵌入区域310的嵌入图像与在图11所示的嵌入区域310中所配置的图像相比，成为放大了的图像。但是，图12所示的显示图像300的显示部分331中的除了嵌入区域310以外的部分与图11所示的显示部分331相同。
[0180]进而，如果操作用户用手指触碰图12所示的显示图像300的显示部分331的某一处来输入快速滑动操作，则发生手势事件。具体说明该情况下的图8所示的手势事件决定处理以及图9所示的浏览处理的流程。在图8所示的手势事件决定处理中，如果用户输入快速滑动操作，则在步骤S03中检测到鼠标事件的状态“Move”，处理进入步骤S09，但快速滑动操作中所指示的位置移动、且每单位时间的移动距离为阈值TH以上，所以处理进入步骤S15。由此，决定快速滑动的手势事件。进而，在图9所示的浏览处理中，如果用户输入快速滑动操作，则在步骤S37中判断为输入了鼠标事件，处理进入步骤S38。快速滑动操作是使用I根手指指示的位置移动的操作，所以处理进入步骤S40或者步骤S48。在处理进入步骤S40的情况下，换言之，进行了快速滑动操作的位置处于嵌入区域内的情况下，在图8所示的手势事件决定处理中决定快速滑动的手势事件，所以处理进入步骤S45。另一方面，在处理进入步骤S48的情况下，换言之，进行了快速滑动操作的位置处于嵌入区域以外的情况下，在图8所示的手势事件决定处理中决定滑动的手势事件，所以处理进入步骤S49。如此，如果用户用手指触碰的位置处于显示部分331内，则也可以是嵌入区域310内。与手势事件一起还发生鼠标事件，但手势事件是通过浏览程序预先确定的规定的处理，所以鼠标事件被废除。与快速滑动的手势事件对应地，通过浏览程序规定有对显示图像的显示部分进行变更的翻页处理。在此，以执行翻页处理而显示图像300中的区域301被变更为区域303的情况为例进行说明。
[0181]图13是示出显示图像300中的显示部分的一例的第3图。参照图13，示出了在图12所示的显示部分331显示于显示部161的阶段，输入了快速滑动操作之后显示于显示部161的显示图像300的显示部分341。显示部分341是图10所示的显示图像300中的用区域303表示的部分。显示部分341包括配置于显示图像300的嵌入区域311。在嵌入区域311中显示的嵌入图像与在图10所示的嵌入区域311中配置的图像相同。
[0182]如以上说明那样，本实施方式中的MFP100作为数据处理装置发挥功能，与通过触摸面板165检测由用户指示的I个以上的位置相应地，生成包含表示I个以上的位置各自的位置信息的鼠标事件，基于所生成的I个以上的鼠标事件的组，从多个手势事件之中决定某一个。另一方面，在从外部接收的Web页面包含显示执行与浏览程序不同的应用程序而生成的嵌入图像的描述的情况下，生成将嵌入图像配置到由Web页面规定的嵌入区域的显示图像。然后，在显示图像包含嵌入区域的情况下，在由成为了决定手势事件的基础的I个以上的鼠标事件中的某一个鼠标事件所表示的位置处于嵌入区域内的情况下，选择手势事件、和成为了决定该手势事件的基础的I个以上的鼠标事件的组的某一方。因此，能够将用户指示显示部161的显示面的I次操作检测为I个以上的鼠标事件和手势事件，并且能够从所检测到的鼠标事件和手势事件中受理和浏览程序以及与浏览程序不同的应用程序分别相适应的一方。其结果，即使在Web页面包含执行与浏览程序不同的应用程序的描述的情况下，也能够恰当地执行应用程序。
[0183]另外，将用户指示显示部161的显示面的I次操作检测为I个以上的鼠标事件和手势事件，并且在手势事件为规定的种类的情况下，使手势事件对应于浏览程序，在手势事件不是规定的种类的情况下，使I个以上的鼠标事件对应于应用程序。因此，能够将用户进行的I个操作作为针对浏览程序以及与浏览程序不同的应用程序的某一个的操作而受理。另外，在浏览程序与手势事件对应、应用程序与鼠标事件对应的情况下，能够恰当地执行应用程序。
[0184]另外，在通过第I鼠标事件示出的第I位置与第2位置之间的间隔不是规定的距离以上的情况下，不决定手势事件，该第2位置是通过从生成第I鼠标事件起规定时间以内生成的第2鼠标事件生成的。因此，能够将在用户指示触摸面板165的状态下移动的操作检测为手势事件。
[0185]另外，将所生成的I个以上的鼠标事件保留至决定手势事件时为止、或者判断为不决定手势事件时为止，在I个以上的鼠标事件的组被选择的情况下，将所保留的I个以上的鼠标事件输出到执行应用程序的任务。因此，由于在决定不是规定的种类的手势事件时之前、或者判断为不决定手势事件时之前保留基于所输入的用户进行的操作而生成的鼠标事件，所以能够将用户进行的操作设为有效，用户不需要再次输入相同的操作。
[0186]进而，关于所保留的I个以上的鼠标事件，在输出到执行应用程序的任务之后进行删除，在手势事件被选择的情况下，在选择了手势事件的时间点进行删除。因此，能够防止将I个鼠标事件输出多次的现象。
[0187]另外，在选择鼠标事件的情况下，将鼠标事件输出到执行应用程序的任务，更新在嵌入区域中显示的嵌入图像。因此，能够使执行应用程序的任务按照鼠标事件执行处理。
[0188]进而，在选择手势事件的情况下，执行浏览程序能够执行的多个种类的处理中的与被选择的手势事件对应的种类的处理。因此，能够执行决定显示图像中的用于显示于显示部161的显示部分的处理。能够使执行浏览程序的任务按照手势事件执行处理。
[0189]进而，在安装浏览程序的阶段中，将关联了与浏览程序所规定的多个种类的处理对应的多个手势事件的主表91存储到HDD115，所以能够仅检测与浏览程序所规定的多个种类的处理分别对应的手势事件。
[0190]此外，在上述的实施方式中，作为数据处理装置的一例说明了 MFP100，但也可以将发明掌握为使控制MFP100的CPUlll执行图8以及图9所示的处理的操作受理方法以及用于使CPUlll执行该操作受理方法的浏览程序，这是显然的。
[0191]本次公开的实施方式在全部点上是例示，应当认为不是限制性的。本发明的范围不是通过上述说明示出而是通过权利要求书示出，试图包含权利要求书和与其均等的意义以及范围内的所有变更。
【权利要求】
1.一种数据处理装置，具备: 显示单元，能够显示图像； 位置检测单元，在所述显示单元的显示面中，能够检测由用户指示的I个以上的位置；以及 控制单元， 所述控制单元包括: 浏览单元，执行浏览程序，从外部获取用置标语言描述的内容，将与所获取到的内容对应的显示图像的至少一部分显示到所述显示单元，并且与输入分别对应于通过所述浏览程序规定的多个种类的处理的多个手势事件中的某一个相应地，执行所述多个种类的处理中的与所输入的手势事件对应的种类的处理； 鼠标事件生成单元，与通过所述位置检测单元检测出I个以上的位置相应地，生成鼠标事件，该鼠标事件包含表示所述I个以上的位置各个的位置信息；以及 手势事件决定单元，基于通过所述鼠标事件生成单元生成的I个以上的鼠标事件的组，决定多个手势事件中的某一个， 所述浏览单元包括: 显示图像生成单元，在所述内容包含显示执行与所述浏览程序不同的应用程序而生成的嵌入图像的描述的情况下，生成将执行所述应用程序而生成的嵌入图像配置到通过所述内容规定的嵌入区域中的显示图像；以及· 选择单元，在由成为了决定通过所述手势事件决定单元决定的手势事件的基础的I个以上的鼠标事件中的某一个鼠标事件示出的位置处于所述嵌入区域内的情况下，基于所决定的所述手势事件的种类，选择通过所述手势事件决定单元决定的手势事件和成为了决定该手势事件的基础的I个以上的鼠标事件的组中的某一方。
2.根据权利要求1所述的数据处理装置，其特征在于， 所述选择单元包括: 鼠标事件选择单元，在通过所述手势事件决定单元决定的手势事件不是规定的种类的情况下，选择成为了决定通过所述手势事件决定单元决定的手势事件的基础的I个以上的鼠标事件；以及 手势事件选择单元，在通过所述手势事件决定单元决定的手势事件为所述规定的种类的情况下，选择通过所述手势事件决定单元决定的手势事件。
3.根据权利要求1或者2所述的数据处理装置，其特征在于， 所述手势事件决定单元包括判断单元，在由通过所述鼠标事件生成单元生成的第I鼠标事件示出的第I位置、与通过从生成了所述第I鼠标事件起规定时间以内生成的第2鼠标事件生成的第2位置之间的间隔不是规定的距离以上的情况下，所述判断单元判断为不决定手势事件。
4.根据权利要求3所述的数据处理装置，其特征在于， 所述浏览单元还包括: 保留单元，将通过所述鼠标事件生成单元生成的I个以上的鼠标事件保留至通过所述手势事件决定单元决定了手势事件时为止、或者通过所述判断单元判断为不决定所述手势事件时为止；以及指示单元,在通过所述选择单元选择所述I个以上的鼠标事件的组的情况下，将所保留的组中所包含的I个以上的鼠标事件输出到执行所述应用程序的任务，更新在所述嵌入区域中显示的嵌入图像。
5.根据权利要求4所述的数据处理装置，其特征在于， 所述浏览单元还包括删除单元，在通过所述选择单元选择所述I个以上的鼠标事件的组的情况下，在将所保留的组中所包含的I个以上的鼠标事件通过所述指示单元输出到执行所述应用程序的任务之后，该删除单元删除在所保留的所述组中包含的I个以上的鼠标事件，在通过所述选择单元选择手势事件的情况下，在通过所述选择单元选择了手势事件的时间点，该删除单元删除在所保留的所述组中包含的I个以上的鼠标事件。
6.根据权利要求1~5中的任一项所述的数据处理装置，其特征在于， 所述浏览单元还包括决定单元，该决定单元在所述手势事件被选择的情况下，通过执行所述多个种类的处理中的与被选择的所述手势事件对应的种类的处理，从而决定所述显示图像中的用于显示到所述显示单元的显示部分。
7.根据权利要求1~6中的任一项所述的数据处理装置，其特征在于， 所述控制单元还包括关联建立单元，该关联建立单元在安装所述浏览程序的阶段，与所述浏览程序对应地，关联与所述浏览程序所规定的所述多个种类的处理对应的多个手势事件， 所述手势事件决定单元以与通过所述鼠标事件生成单元生成的I个以上的鼠标事件的组对应的手势事件通过所述关联建立单元与所述浏览程序对应地与所述多个种类的处理的某一个建立有关联为条件，决定所述手势事件。
8.一种操作受理方法，是在数据处理装置中执行的操作受理方法，该数据处理装置包括:显示单元，能够显示图像；以及位置检测单元，在所述显示单元的显示面中，能够检测由用户指示的I个以上的位置，` 所述操作受理方法包括: 浏览步骤，执行浏览程序，从外部获取用置标语言描述的内容，将与所获取到的所述内容对应的显示图像的至少一部分显示到所述显示单元，并且与输入分别对应于通过所述浏览程序规定的多个种类的处理的多个手势事件中的某一个相应地，执行所述多个种类的处理中的与所输入的所述手势事件对应的种类的处理； 鼠标事件生成步骤，与通过所述位置检测单元检测出I个以上的位置相应地，生成鼠标事件，该鼠标事件包含表示所述I个以上的位置各个的位置信息；以及 手势事件决定步骤，基于在所述鼠标事件生成步骤中生成的I个以上的鼠标事件的组，决定多个手势事件中的某一个， 所述浏览步骤包括: 显示图像生成步骤，在所述内容包含显示执行与所述浏览程序不同的应用程序而生成的嵌入图像的描述的情况下，生成将执行所述应用程序而生成的嵌入图像配置到通过所述内容规定的嵌入区域中的显示图像；以及 选择步骤，在由成为了决定在所述手势事件决定步骤中决定的手势事件的基础的I个以上的鼠标事件中的某一个鼠标事件示出的位置处于所述嵌入区域内的情况下，基于所决定的所述手势事件的种类，选择在所述手势事件决定步骤中决定的手势事件和成为了决定该手势事件的基础的I个以上的鼠标事件的组中的某一方。
9.根据权利要求8所述的操作受理方法，其特征在于， 所述选择步骤包括: 鼠标事件选择步骤，在所述手势事件决定步骤中决定的手势事件不是规定的种类的情况下，选择成为了决定在所述手势事件决定步骤中决定的手势事件的基础的I个以上的鼠标事件；以及 手势事件选择步骤，在所述手势事件决定步骤中决定的手势事件为所述规定的种类的情况下，选择在所述手势事件决定步骤中决定的手势事件。
10.根据权利要求8或者9所述的操作受理方法，其特征在于， 所述手势事件决定步骤包括判断步骤，在所述判断步骤中，在由在所述鼠标事件生成步骤中生成的第I鼠标事件示出的第I位置与通过从生成了所述第I鼠标事件起规定时间以内生成的第2鼠标事件生成的第2位置之间的间隔不是规定的距离以上的情况下，判断为不决定手势事件。
11.根据权利要求10所述的操作受理方法，其特征在于， 所述浏览步骤还包括: 保留步骤，将在所述鼠标事件生成步骤中生成的I个以上的鼠标事件的组保留至通过所述手势事件决定步骤基于该组决定手势事件时为止、或者在所述判断步骤中判断为不决定所述手势事件时为止；以及 指示步骤，在所述选择步骤中选择所述I个以上的鼠标事件的组的情况下，将所保留的所述组中包含的I个以上的鼠标事件输出到执行所述应用程序的任务，更新在所述嵌入区域中显示的嵌入图像。
12.根据权利要求11所述的操作受理方法，其特征在于， 所述浏览步骤还包括删除步骤，在该删除步骤中，在所述选择步骤中选择所述I个以上的鼠标事件的组的情况下，在将所保留的所述组中包含的I个以上的鼠标事件在所述指示步骤中输出到执行所述应用程序的任务之后，删除在所保留的所述组中包含的I个以上的鼠标事件，在所述选择步骤中选择手势事件的情况下，在所述选择步骤中选择了手势事件的时间点，删除在所保留的所述组中包含的I个以上的鼠标事件。
13.根据权利要求8~12中的任一项所述的操作受理方法，其特征在于， 所述浏览步骤还包括决定步骤，在该决定步骤中，在所述手势事件被选择的情况下，通过执行所述多个种类的处理中的与所选择的所述手势事件对应的种类的处理，从而决定所述显示图像中的用于显示到所述显示单元的显示部分。
14.根据权利要求8~13中的任一项所述的操作受理方法，其特征在于， 还包括关联建立步骤，在该关联建立步骤中，在安装所述浏览程序的阶段，与所述浏览程序对应地，关联与所述浏览程序所规定的所述多个种类的处理对应的多个手势事件， 所述手势事件决定步骤包括如下步骤:以与在所述鼠标事件生成步骤中生成的I个以上的鼠标事件的组对应的手势事件在所述关联建立步骤中与所述浏览程序对应地与所述多个种类的处理的某一个建立有关联为条件，决定所述手势事件。
【文档编号】G06F3/01GK103853327SQ201310612708
【公开日】2014年6月11日 申请日期:2013年11月27日 优先权日:2012年11月28日
【发明者】伊藤步, 河本将之 申请人:柯尼卡美能达株式会社
【专利摘要】本发明提供数据处理装置以及操作受理方法。在内容包含执行与浏览程序不同的应用程序的描述的情况下恰当地执行应用程序。数据处理装置包括：浏览部（61），显示与内容对应的显示图像；鼠标事件生成部（85），生成表示由用户指示的1个以上的位置的鼠标事件；手势事件决定部（83），基于1个以上的鼠标事件的组决定一个手势事件，浏览部（61）包括：显示图像生成部（71），生成将执行应用程序而生成的嵌入图像配置到嵌入区域的显示图像；以及选择部（75），在由1个以上的鼠标事件表示的位置处于嵌入区域内的情况下，选择手势事件和1个以上的鼠标事件的组中的某一方。
【专利说明】数据处理装置以及操作受理方法
【技术领域】
[0001]本发明涉及数据处理装置以及操作受理方法，特别涉及具备了应对多点触摸的触摸面板的数据处理装置、在该数据处理装置中执行的操作受理方法。
【背景技术】
[0002]近年来，在以复合机(MFP)为代表的数据处理装置中，有如下装置，该装置具备能够检测用户同时指示的多个位置的应对多点触摸的触摸面板作为用户接口。另一方面，MFP有能够安装应用程序的复合机，用户能够通过安装与使用方式相应的应用程序来定制MFP。该应用程序有:能够受理多点触摸操作的规格的应用程序；和不能受理多点触摸操作而能够受理单点触摸操作的规格的应用程序。因此，在同时执行多个应用程序的情况下，必须根据应用程序而将由用户输入的操作切换为是作为多点触摸操作而受理、还是作为单点触摸操作而受理。
[0003]例如，在日本特开2009-211704号公报中，记载了多点触摸设备中的应对鼠标事件的方法，其特征在于，包括:显示I个或者I个以上的视图的步骤；执行各自与确定的视图建立了关联的I个或者I个以上的软件要素的步骤；对各个视图关联多点触摸标志或者排他性触摸标志的步骤；在所述I个或者I个以上的视图中接收I个或者I个以上的触摸的步骤；基于所述多点触摸标志以及排他性触摸标志的值，将针对各自接收到的触摸所描述的I个或者I个以上的鼠标事件，选择性地向与接收到触摸的所述I个或者I个以上的视图建立有关联的I个或者I个以上的所述软件要素进行发送的步骤。
[0004]但是，根据应用程序，存在在该应用程序所输出的图像(视图)中包括受理多点触摸操作的区域和受理单点触摸操作的区域的情况。因此，在以往的的方法中，根据视图将由用户输入的操作切换为是作为多点触摸操作而受理、还是作为单点触摸操作而受理，所以存在如下问题:不能应对在一个视图(图像)中包括受理多点触摸操作的区域和受理单点触摸操作的区域的情况。
【发明内容】
[0005]本发明是为了解决上述问题而作成的，本发明的目的之一在于提供在内容包含执行与浏览程序不同的应用程序的描述的情况下，能够恰当地执行应用程序的数据处理装置。
[0006]本发明的其它目的在于提供能够将用户进行的I个操作作为适合于浏览程序以及应用程序各自的操作而受理的操作受理方法。
[0007]为了达成上述的目的，根据本发明的某一方面，数据处理装置具备:显示单元，能够显示图像；位置检测单元，在显示单元的显示面中，能够检测由用户指示的I个以上的位置；以及控制单元，
[0008]控制单元包括:浏览单元，执行浏览程序，从外部获取用置标语言描述的内容，将与所获取到的内容对应的显示图像的至少一部分显示到显示单元，并且与输入分别对应于通过浏览程序规定的多个种类的处理的多个手势事件中的某一个相应地，执行多个种类的处理中的与所输入的手势事件对应的种类的处理；鼠标事件生成单元，与通过位置检测单元检测出I个以上的位置相应地，生成鼠标事件，该鼠标事件包含表示I个以上的位置各个的位置信息；以及手势事件决定单元，基于通过鼠标事件生成单元生成的I个以上的鼠标事件的组，决定多个手势事件中的某一个，
[0009]浏览单元包括:显示图像生成单元，在内容包含显示执行与浏览程序不同的应用程序而生成的嵌入图像的描述的情况下，生成将执行应用程序而生成的嵌入图像配置到通过内容规定的嵌入区域中的显示图像；以及选择单元，在由成为了决定通过手势事件决定单元决定的手势事件的基础的I个以上的鼠标事件中的某一个鼠标事件示出的位置处于嵌入区域内的情况下，基于所决定的手势事件的种类，选择通过手势事件决定单元决定的手势事件和成为了决定该手势事件的基础的I个以上的鼠标事件的组中的某一方。
[0010]根据该方面，与检测到由用户指示的I个以上的位置相应地，生成包含表示I个以上的位置各个的位置信息的鼠标事件，基于I个以上的鼠标事件的组，从多个手势事件中决定某一个，在从外部接收到的内容包含显示执行与浏览程序不同的应用程序而生成的嵌入图像的描述的情况下，生成将嵌入图像配置到通过内容规定的嵌入区域中的显示图像，在由成为了决定手势事件的基础的I个以上的鼠标事件中的某一个鼠标事件示出的位置处于嵌入区域内的情况下，选择手势事件和成为了决定该手势事件的基础的I个以上的鼠标事件的组中的某一方。因此，能够将用户进行的I个操作检测为鼠标事件和手势事件，并且从所检测到的鼠标事件和手势事件中受理与浏览程序以及应用程序分别相适应的一方。其结果，能够提供即使在内容包含执行与浏览程序不同的应用程序的描述的情况下也能够恰当地执行应用程序的数据处理装置。
[0011]优选地,选择单元包括:鼠标事件选择单元,在通过手势事件决定单元决定的手势事件不是规定的种类的情况下，选择成为了决定通过手势事件决定单元决定的手势事件的基础的I个以上的鼠标事件；以及手势事件选择单元，在通过手势事件决定单元决定的手势事件为规定的种类的情况下，选择通过手势事件决定单元决定的手势事件。
[0012]根据该方面，能够将用户进行的I个操作检测为鼠标事件和手势事件，并且在手势事件为规定的种类的情况下，使手势事件对应于浏览程序，在手势事件不是规定的种类的情况下，使鼠标事件对应于应用程序。因此，能够将用户进行的I个操作受理为针对浏览程序以及应用程序中的某一方的操作。
[0013]优选地，手势事件决定单元包括判断单元，在由通过鼠标事件生成单元生成的第I鼠标事件示出的第I位置、与通过从生成了第I鼠标事件起规定时间以内生成的第2鼠标事件生成的第2位置之间的间隔不是规定的距离以上的情况下，判断单元判断为不决定手势事件。
[0014]根据该方面，在由第I鼠标事件示出的第I位置、与通过从生成第I鼠标事件起规定时间以内生成的第2鼠标事件生成的第2位置之间的间隔不是规定的距离以上的情况下，不决定手势事件。因此，能够将在用户进行了指示的状态下移动的操作检测为手势事件。
[0015]优选地,浏览单元还包括:保留单元，将通过鼠标事件生成单元生成的I个以上的鼠标事件保留至通过手势事件决定单元决定手势事件时为止、或者通过判断单元判断为不决定手势事件时为止；以及指示单元，在通过选择单元选择I个以上的鼠标事件的组的情况下，将所保留的组中所包含的I个以上的鼠标事件输出到执行应用程序的任务，更新在嵌入区域中显示的嵌入图像。
[0016]根据该方面，由于保留基于所输入的用户进行的操作而生成的鼠标事件至决定不是规定的种类的手势事件时为止、或者判断为不决定手势事件时为止，所以能够将用户进行的操作设为有效。
[0017]优选地,浏览单元还包括删除单元,在通过选择单元选择I个以上的鼠标事件的组的情况下，在所保留的组中包含的I个以上的鼠标事件通过指示单元被输出到执行应用程序的任务之后，该删除单元删除在所保留的组中包含的I个以上的鼠标事件，在通过选择单元选择手势事件的情况下，在通过选择单元选择了手势事件的时间点，该删除单元删除在所保留的组中包含的I个以上的鼠标事件。
[0018]根据该方面，关于所保留的组中包含的I个以上的鼠标事件，在被输出到执行应用程序的任务之后进行删除，在手势事件被选择的情况下，在选择了手势事件的时间点进行删除。因此，能够防止将一个鼠标事件输出多次的现象。
[0019]优选地，浏览单元还包括决定单元，该决定单元在手势事件被选择的情况下，通过执行多个种类的处理中的与被选择的手势事件对应的种类的处理，从而决定显示图像中的用于显示到显示单元的显示部分。
[0020]根据该方面，能够按照手势事件执行浏览程序。
[0021]优选地，控制单元还包括关联建立单元，该关联建立单元在安装浏览程序的阶段，与浏览程序对应地，关联与浏览程序所规定的多个种类的处理对应的多个手势事件，手势事件决定单元以与通过鼠标事件生成单元生成的I个以上的鼠标事件的组对应的手势事件通过关联建立单元与浏览程序对应地与多个种类的处理的某一个建立有关联为条件，决定手势事件。
[0022]根据该方面，在安装浏览程序的阶段，关联与浏览程序所规定的多个种类的处理对应的多个手势事件，所以能够仅检测与浏览程序所规定的多个种类的处理分别对应的手势事件。
[0023]根据本发明的其它方面，提供一种在数据处理装置中执行的操作受理方法，该数据处理装置包括:显示单元，能够显示图像；以及位置检测单元，在显示单元的显示面中，能够检测由用户指示的I个以上的位置，操作受理方法包括:浏览步骤，执行浏览程序，从外部获取用置标语言描述的内容，将与所获取到的内容对应的显示图像的至少一部分显示到显示单元，并且与输入分别对应于通过浏览程序规定的多个种类的处理的多个手势事件中的某一个相应地，执行多个种类的处理中的与所输入的手势事件对应的种类的处理；鼠标事件生成步骤，与通过位置检测单元检测出I个以上的位置相应地，生成鼠标事件，该鼠标事件包含表示I个以上的位置各个的位置信息；以及手势事件决定步骤，基于在鼠标事件生成步骤中生成的I个以上的鼠标事件的组，决定多个手势事件中的某一个，
[0024]浏览步骤包括:显示图像生成步骤，在内容包含显示执行与浏览程序不同的应用程序而生成的嵌入图像的描述的情况下，生成将执行应用程序而生成的嵌入图像配置到通过内容规定的嵌入区域中的显示图像；以及选择步骤，在由成为了决定在手势事件决定步骤中决定的手势事件的基础的I个以上的鼠标事件中的某一个鼠标事件示出的位置处于嵌入区域内的情况下，基于所决定的手势事件的种类，选择在手势事件决定步骤中决定的手势事件和成为了决定该手势事件的基础的I个以上的鼠标事件的组中的某一方。
[0025]根据该方面，能够将用户进行的I个操作检测为鼠标事件和手势事件，并且从所检测到的鼠标事件和手势事件中受理与浏览程序以及应用程序分别相适应的一方。其结果，能够提供可将用户进行的I个操作受理为与浏览程序以及应用程序分别相适应的操作的操作受理方法。
[0026]优选地，选择步骤包括:鼠标事件选择步骤，在手势事件决定步骤决定的手势事件不是规定的种类的情况下，选择成为了决定在手势事件决定步骤中决定的手势事件的基础的I个以上的鼠标事件；以手势事件选择步骤，在手势事件决定步骤中决定的手势事件为规定的种类的情况下，选择在手势事件决定步骤中决定的手势事件。
[0027]优选地，手势事件决定步骤包括判断步骤，在判断步骤中，在由在鼠标事件生成步骤中生成的第I鼠标事件示出的第I位置、与通过从生成了第I鼠标事件起规定时间以内生成的第2鼠标事件生成的第2位置之间的间隔不是规定的距离以上的情况下，判断为不决定手势事件。
[0028]优选地，浏览步骤还包括:保留步骤，将在鼠标事件生成步骤中生成的I个以上的鼠标事件的组保留至在手势事件决定步骤中基于该组决定手势事件时为止、或者在判断步骤中判断为不决定手势事件时为止；以及指示步骤，在选择步骤中选择I个以上的鼠标事件的组的情况下，将所保留的组中包含的I个以上的鼠标事件输出到执行应用程序的任务，更新在嵌入区域中显示的嵌入图像。
[0029]优选地，浏览步骤还包括删除步骤，在该删除步骤中，在选择步骤中选择I个以上的鼠标事件的组的情况下，在所保留的组中包含的I个以上的鼠标事件在指示步骤中被输出到执行应用程序的任务之后，删除在所保留的组中包含的I个以上的鼠标事件，在选择步骤中选择手势事件的情况下，在选择步骤中选择了手势事件的时间点，删除在所保留的组中包含的I个以上的鼠标事件。
[0030]优选地，浏览步骤还包括决定步骤，在该决定步骤中，在手势事件被选择的情况下，通过执行多个种类的处理中的与被选择的手势事件对应的种类的处理，从而决定显示图像中的用于显示到显示单元的显示部分。
[0031]优选地，还包括关联建立步骤，在该关联建立步骤中，在安装浏览程序的阶段，与浏览程序对应地，关联与浏览程序所规定的多个种类的处理对应的多个手势事件，手势事件决定步骤包括如下步骤:以与在鼠标事件生成步骤中生成的I个以上的鼠标事件的组对应的手势事件在关联建立步骤中与浏览程序对应地与多个种类的处理的某一个建立有关联为条件，决定手势事件。
【专利附图】
【附图说明】
[0032]图1是示出本实施方式之一中的MFP的外观的立体图。
[0033]图2是示出操作面板的一例的平面图。
[0034]图3是示出MFP的硬件结构的概要的一例的框图。
[0035]图4是示出MFP所具备的CPU的软件架构的一例的图。
[0036]图5是将MFP所具备的CPU所具有的功能的一例与存储在HDD中的信息一起示出的框图。
[0037]图6是示出主表的一例的图。
[0038]图7是示出用户进行的操作和MFP执行的处理的流程的一例的图。
[0039]图8是示出手势事件决定处理的流程的一例的流程图。
[0040]图9是示出浏览处理的流程的一例的流程图。
[0041]图10是示出显示图像的一例的图。
[0042]图11是示出显示图像中的显示部分的一例的第I图。
[0043]图12是示出显示图像中的显示部分的一例的第2图。
[0044]图13是示出显示图像中的显示部分的一例的第3图。
【具体实施方式】
[0045]以下，参照【专利附图】
【附图说明】本发明的实施方式。在以下的说明中，对同一部件附加相同的符号。它们的名称以及功能也相同。因此，不重复关于它们的详细说明。
[0046]图1是表不本实施方式之一中的MFP的外观的立体图。图2是表不操作面板的一例的平面图。参照图1以及图2，MFP100包括:原稿读取部130，用于读取原稿；自动原稿搬送装置120，用于将原稿搬送到原稿读取部130 ;图像形成部140，用于基于原稿读取部130读取原稿而输出的图像数据，在纸张等上形成图像；供纸部150，用于向图像形成部140供给纸张；以及作为用户接口的操作面板160。
[0047]操作面板160设置于MFP100的上表面。操作面板160包括显示部161、触摸面板165、硬键部167。显示部161是例如液晶显示装置(IXD),显示针对用户的指示菜单、与所获取的图像数据相关的信息等。硬键部167包括分别表示了 “BOX”、“FAX”、“COPY”、“ECO”字符的4个硬键167A?167D。触摸面板165是与显示部161重叠地设置在显示部161的上表面或者下表面的应对多点触摸的触摸面板，检测在显示部161的显示面中由用户指示的位置。用户指示触摸面板165的操作包括:对于触摸面板165，用手指同时指示多处的多点触摸操作；以及用手指一次指示一处的单点触摸操作。
[0048]自动原稿搬送装置120将设置于原稿供纸托盘上的多张原稿一张一张地自动地搬送到设定于原稿读取部130的稿台玻璃上的规定的原稿读取位置，将由原稿读取部130读取了原稿图像的原稿排出到原稿排纸托盘上。原稿读取部130包括对搬送到原稿读取位置的原稿照射光的光源以及对在原稿反射的光进行感光的光电转换元件，扫描与原稿的尺寸相应的原稿图像。光电转换元件将所感光到的光转换为作为电信号的图像数据，并输出到图像形成部140。供纸部150将收纳于供纸托盘上的纸张搬送到图像形成部140。
[0049]图像形成部140是通过公知的电子照相方式形成图像的图像形成部，基于对从原稿读取部130输入的图像数据实施了“黑斑”校正等各种数据处理的数据处理后的图像数据或者从外部接收到的图像数据，在由供纸部150搬送的纸张上形成图像。
[0050]图3是示出MFP的硬件结构的概要的一例的框图。参照图3，MFP100包括主电路110。主电路 110 包括 CPUl 11、通信接口(Ι/F)部 112、ROM (Read Only Memory，只读存储器)113、RAM (Random Access Memory，随机存取存储器)114、作为大容量存储装置的硬盘驱动器(HDD) 115、传真部116、外部存储装置117。CPUlll与自动原稿搬送装置120、原稿读取部130、图像形成部140、供纸部150以及操作面板160相连接，对MFP100的整体进行控制。
[0051]ROMl 13存储CPUlll所执行的程序、或者为了执行该程序所需要的数据。RAM114用作CPUlll执行程序时的工作区域。另外，RAMl 14暂时存储从原稿读取部130连续地送来的读取图像。
[0052]传真部116连接于公用交换电话网(PSTN)，向PSTN发送传真数据、或者从PSTN接收传真数据。传真部116将接收到的传真数据存储到HDD115、或者转换为能够通过图像形成部140打印的打印数据，并输出到图像形成部140。由此，图像形成部140将由传真部116接收到的传真数据，在纸张上形成图像。另外，传真部116将由原稿读取部130读取的数据、或者存储在HDD115中的数据转换为传真数据，发送到连接于PSTN的传真装置。
[0053]通信Ι/F部112是用于将MFP100连接到网络的接口。通信Ι/F部112按照TCP(Transmission Control Protocol,传输控制协议)或者 FTP(File Transfer Protocol,文件传输协议)等通信协议，与连接于网络的其他计算机进行通信。另外，用于通信的协议不特别限定，可以使用任意的协议。而且，通信Ι/F部112所连接的网络例如是局域网(LAN)，连接方式既可以是有线方式也可以是无线方式。另外，网络不限于LAN，也可以是利用了广域网(WAN)、公用交换电话网(Public Switched Telephone Networks)的网络等。进而，网络连接于因特网。因此，MFP100能够与连接于因特网的服务器等计算机进行通信。
[0054]外部存储装置117 由 CPUlll 控制，安装了 CD-ROM (Compact Disk Read OnlyMemory:只读光盘存储器)118或者半导体存储器。CPUlll能够经由外部存储装置117访问⑶-R0M118或者半导体存储器。CPUlll将安装于外部存储装置117的⑶-R0M118中记录的或者半导体存储器中记录的程序加载到RAM114来执行。另外，CPUlll所执行的程序不限于记录在⑶-R0M118中的程序，也可以将存储在HDDl 15中的程序加载到RAMl 14来执行。在该情况下，与网络连接的其他计算机也可以经由与通信Ι/F部112连接的网络，改写存储在MFP100的HDD115中的程序、或者追加写入新的程序。进而，MFP100也可以从连接于网络的其他计算机下载程序，并将该程序存储到HDD115。在此所说的程序不仅包括CPUlll能够直接执行的程序，还包括源程序、被压缩处理的程序、被加密的程序等。
[0055]此外，作为存储CPU111所执行的程序的介质，不限于⑶-ROM118，也可以是光盘(MOCMagnetic Optical Disc:磁光盘)/MD(Mini Disc:迷你光盘)/DVD(Digital VersatileDisc:数字通用光盘))、IC 卡、光卡、掩模型 ROM、EPROM (Erasable Programable ROM,可擦可编程只读存储器)、EEPR0M (Electrically EPR0M,电可擦可编程只读存储器)等半导体存储器。
[0056]操作面板160包括显示部161和操作部163。显示部161是液晶显示装置(IXD)、有机ELD (Electro-Luminescence Display)等显示器,显示针对用户的指示菜单、与所获取的图像数据相关的信息等。操作部163包括触摸面板165和由多个键构成的硬键部167。硬键部167所包含的多个键分别包括触点开关，连接于CPU111。硬键在被操作用户按下时闭合触点，闭合与CPUlll连接的电路。硬键在被操作MFP100的操作用户按下的期间闭合电路，在未被操作用户按下的期间断开电路。
[0057]当硬键部167所具有的多个键被按下时，操作部163接受与被按下的键对应的指示、字符、数字等数据的输入。触摸面板165被设置于显示部161的上表面或者下表面，将由操作用户指示的位置的坐标输出到CPU111。触摸面板165检测操作用户通过手指或者触控笔指示的位置，将所检测到的位置的坐标输出到CPU111。触摸面板165是应对多点触摸的触摸面板，在用户输入了多点触摸操作的情况下，将与由用户同时指示的多个位置分别对应的多个坐标输出到CPU111。另外，触摸面板165在用户输入单点触摸操作的情况下，将与由用户指示的单一的位置对应的坐标输出到CPUlll。
[0058]触摸面板165的尺寸优选与显示部161的显示面相同或者其以上。由于触摸面板165与显示部161重叠地设置，所以如果操作用户指示显示部161的显示面，则触摸面板165将在显示部161的显示面中由操作用户指示的位置的坐标输出到CPUlll。触摸面板165可以使用例如电阻膜方式、表面弹性波方式、红外线方式、电磁感应方式、静电电容方式，不限定其方式。
[0059]操作部163能够受理的操作包括:按下硬键部167所具有的多个键的操作、指示触摸面板165的单点触摸操作以及多点触摸操作。进而，硬键部167包括分别表示有“BOX”、“FAX”、“C0PY”、“EC0”字符的 4 个硬键 167A ?167D。分别表示有“B0X”、“FAX”、“C0PY”字符的3个硬键167A、167B、167C是处理切换键，该处理切换键被分配有用于指示切换使MFP100执行的处理的处理切换操作。表示有“ECO”字符的硬键167D是模式切换键，该模式切换键被分配有用于指示将MFP100从通常模式切换到功耗比通常模式低的省电模式的模式切换操作。操作部163在硬键167A、167B、167C中的某一个被按下的情况下，接受处理切换操作，在硬键167D被按下的情况下，接受模式切换操作。
[0060]图4是示出MFP所具备的CPU的软件架构的一例的图。参照图4，CPUlll中形成有操作系统(OS)层，在其上的层中形成有MFP处理层。在MFP处理层的上层，按照应用平台(PF)层、应用层的顺序形成。
[0061]CPUlll执行OS程序的任务属于OS层。属于OS层的任务执行控制MFP100的硬件资源的处理。硬件资源在此包括通信Ι/F部112、ROMl 13, RAMl 14, HDD115、传真部116、外部存储装置117、自动原稿搬送装置120、原稿读取部130、图像形成部140、供纸部150、操作面板160。属于OS层的任务按照从MFP处理层输入的操作命令，控制硬件资源。另外，OS层在与MFP处理层之间，共享操作识别信息，属于OS层的任务与通过操作部163检测到由操作用户进行的操作的情况相应地，将表示所检测出的操作的操作识别信息输出到MFP处理层，其中，所述操作识别信息是用于识别作为硬件资源之一的操作部163能够受理的多个种类的各个操作的信息。
[0062]CPUlll执行应用程序的任务属于应用层。在MFP100中安装多个种类的应用程序的情况下，有时分别执行多个种类的应用程序的多个任务属于应用层。
[0063]执行应用程序的任务执行由应用程序规定的多个种类的处理。多个种类的处理包括使属于MFP处理层的任务执行在MFP处理层中执行的处理的处理。执行应用程序的任务在使属于MFP处理层的任务执行处理的情况下，输出应用命令。应用命令是作为API(Application Program Interface:应用程序接口)公开的命令。因此,能够容易地制作使MFP100执行处理的应用程序。公开是指，能够由制造MFP100的制造商以外的第三者使用的状态。因此，第三者能够使用应用命令来开发能够安装到MFP100的应用程序。
[0064]进而，执行应用程序的任务根据操作MFP100的操作用户所输入的操作，从由应用程序规定的多个种类的处理中确定要执行的处理，并执行处理。操作MFP100的操作用户所输入的操作通过操作用户操作操作部163而输入，由此在OS层中被受理。[0065]应用PF层配置于应用层与MFP处理层之间，对属于应用层的多个任务进行调停并且对属于应用层的多个任务所输出的应用命令进行控制的任务属于应用PF层。具体而言，应用PF层受理属于应用层的多个任务分别输出的应用命令，通过将所受理的应用命令按照预先规定的规则转换为内部命令来进行标准化，将内部命令输出到MFP处理层。因此，能够应对多个应用程序之间版本不同的情况等。另外，应用PF层将属于应用层的多个任务中的某一个决定为当前状态。然后，将在OS层中受理、且从属于MFP处理层的任务输入的操作输出到属于应用层的多个任务中的决定为当前状态的当前任务。
[0066]在OS层中受理的用户输入的操作包括:用一根手指指示触摸面板165的单点触摸操作、和用两根以上的手指同时指示触摸面板165的多点触摸操作。单点触摸操作以及多点触摸操作分别被操作系统检测为鼠标事件，从应用PF层被输入到属于应用层的多个任务中的当前任务。而且，I个以上的鼠标事件在MFP处理层中被转换为手势事件，从应用PF层被输入到属于应用层的多个任务中的当前任务。因此，应用层在与MFP处理层之间共享能够由应用程序受理的I个以上的手势事件，执行应用程序的任务从属于应用PF层的任务输入能够由应用程序受理的I个以上的手势事件。执行应用程序的任务执行多个种类的处理中的与手势事件或者鼠标事件中的某一个对应的处理。
[0067]将应用命令和内部命令预先对应起来。例如，设为存储将应用命令和内部命令对应起来的命令对应表即可。应用命令和内部命令可以一对一地对应，也可以对I个应用命令对应2个以上的内部命令的组。进而，对于版本不同的多个应用命令，也可以对应I个内部命令或者由多个内部命令构成的I个组。因此，能够应对多个应用程序之间版本不同的情况等。内部命令是依赖于MFP100的硬件资源的命令。内部命令通常不被公开，但也可以被公开。
[0068]MFP处理层配置于应用PF层与OS层之间，CPUlll执行MFP处理程序的任务属于MFP处理层。MFP处理层将属于应用PF层的任务输出的内部命令转换为属于OS层的任务能够解释的操作命令，为了控制硬件资源而将操作命令输出到属于OS层的任务。此外，实际上，有时将内部命令转换为属于OS层的任务能够执行的I个以上的操作命令，但在此为了方便说明，设为内部命令与属于OS层的任务能够执行的I个以上的操作命令的关系是一对一来进行说明。
[0069]应用程序是用于使MFP100执行浏览处理、复制处理、扫描处理、打印处理、传真发送接收处理、数据发送处理等的应用程序，在以下的说明中，主要说明使CPUlll执行应用程序的处理中的、与控制操作面板160的处理相关的部分。
[0070]图5是将MFP所具备的CPU所具有的功能的一例与存储在HDD中的信息一起示出的框图。图5示出的功能是通过MFP100所具备的CPUlll执行存储在R0M113、HDD115或者⑶-ROMl 18中的程序从而由CPUlll实现的功能。具体而言，通过CPUlll执行OS程序、MFP处理程序、操作受理程序以及应用程序来由CPUlll实现。在此，示出了在MFP100中安装第I应用程序以及第2应用程序作为应用程序的情况下的CPUlll的功能。
[0071]参照图5，CPUl 11包括应用部51、调停部53、操作转换部55、操作部57。应用部51在图4示出的软件架构中属于应用层。应用部51包括:执行作为第I应用程序的浏览程序的浏览部61 ;以及执行与浏览程序不同的第2应用程序的副执行部63。
[0072]浏览部61包括显示图像生成部71、决定部73、选择部75以及指示部77。显示图像生成部71从连接于因特网的服务器下载用HTML (HyperText Markup Language,超文本标记语言)等置标语言(markup language)描述的内容即Web页面,并解释Web页面来生成与Web页面对应的显示图像,将显示图像的至少一部分显示到显示部161。Web页面可以是操作MFPlOO的操作用户所指定的用URL (Uniform Resource Locator:统一资源定位符)识别的Web页面，也可以是用浏览部61中预先规定的URL识别的Web页面。
[0073]具体而言，显示图像生成部71为了将与Web页面对应的显示图像的至少一部分显示到显示部161，将应用命令输出到调停部53。由此，通过后述的操作部57将显示图像存储到显示部161所具备的VRAM (Video RAM:视频随机存取存储器)，并将显示图像的至少一部分显示到显示部161。关于在显示图像中显示到显示部161的部分，能够任意决定。例如，既可以预先决定，也可以根据Web页面决定，还可以根据显示图像的尺寸和显示部161的尺寸来决定。
[0074]另外，显示图像生成部71在从服务器获取的Web页面包括显示执行与浏览程序不同的第2应用程序而生成的嵌入图像的描述的情况下，向副执行部63输出启动指示。由此，在CPUlll中形成副执行部63。显示图像生成部71在Web页面包括显示嵌入图像的描述的情况下，在显示图像中，在由Web页面决定的嵌入区域中不配置图像。嵌入区域是在显示图像中配置嵌入图像的区域。
[0075]启动指示包含表示显示图像中的嵌入区域的位置的位置信息。另外，有时启动指示包含确定与Web页面不同的嵌入内容的内容识别信息。内容识别信息例如是网络地址，优选是URL。
[0076]副执行部63与从显示图像生成部71输入启动指示相应地启动。副执行部63执行用JAVA (注册商标)、JAVASCRIPT (注册商标)等目标指向编程语言描述的程序。副执行部63包括执行与浏览程序不同的第2应用程序的情况、和使作为经由网络连接的外部的计算机的服务器执行与浏览程序不同的第2应用程序的情况。
[0077]在副执行部63使与网络连接的服务器执行第2应用程序的情况下，副执行部63有被包含于浏览部61的情况和不被包含于浏览部61的情况。副执行部63被包含于浏览部61的情况例如是副执行部63执行用JAVASCRIPT (注册商标)描述的应用程序的情况。在该情况下，用JAVASCRIPT (注册商标)描述的应用程序被描述在作为第I应用程序的浏览程序中。副执行部63不被包含于浏览部61的情况例如是副执行部63执行用JAVA (注册商标)描述的应用程序的情况。在该情况下，用JAVA (注册商标)描述的应用程序是与作为第I应用程序的浏览程序不同的程序。
[0078]副执行部63将由服务器执行的第2应用程序所确定的内容的图像获取为嵌入图像。副执行部63为了使服务器执行通过第2应用程序预先规定的处理而将处理请求发送到服务器。然后，副执行部63从服务器接收服务器按照处理请求执行处理而生成的图像，将接收到的图像获取为嵌入图像。在由服务器决定了要显示的内容的情况下，处理请求不需要包含内容识别信息。相反，也可以设为在Web页面中确定内容，并向服务器发送包含启动指示中所包含的内容识别信息的处理请求，使服务器处理用内容识别信息确定的内容，并使其返回内容的图像。另外，副执行部63使得执行处理的服务器可以与浏览部61下载了 Web页面的服务器相同，也可以是与其不同的服务器。
[0079]另外，在副执行部63执行与浏览程序不同的第2应用程序的情况下，第2应用程序是与浏览程序不同的应用程序，例如是生成作为内容的静止画或者动画的再现程序。副执行部63执行作为第2应用程序的再现程序，使CPUlll执行再现用包含在启动指示中的内容识别信息确定的内容的图像的处理。
[0080]副执行部63将从服务器接收到的内容的图像、或者通过执行第2应用程序而生成的内容的图像作为嵌入图像显示到显示部161。具体而言，副执行部63为了将嵌入图像配置到显示图像的嵌入区域，将应用命令输出到调停部53。另外，副执行部63向浏览部61输出显示要求。由此，通过后述的操作部57将嵌入图像存储到显示部161所具备的VRAM所存储的显示图像中的嵌入区域。应用命令包含启动指示中包含的位置信息。
[0081]此外，浏览部61以及副执行部63执行的应用程序不限于此，也可以是用于如下的程序:为了使MFP100执行复制处理、扫描处理、打印处理、传真发送接收处理、数据发送接收处理等而定制用户接口等。
[0082]调停部53以及操作转换部55是通过CPUlll执行操作受理程序的任务而实现的功能。调停部53在图4示出的软件架构中属于应用PF层。操作转换部55在图4示出的软件架构中属于应用PF层。另外，将操作转换部55所具有的功能的全部设为了应用PF层的功能，但也可以将操作转换部55所具有的功能的至少一部分设为应用PF层的功能，将其它部分设为MFP处理层的功能。
[0083]在应用部51中执行应用程序的任务为多个的情况下，调停部53将多个任务中的某一个决定为当前状态。以下，将调停部53决定为当前状态的任务称为当前任务。在本实施方式中，应用部51包括浏览部61和副执行部63，副执行部63通过浏览部61而被启动，因此将浏览部61决定为当前任务状态。
[0084]调停部53输入浏览部61以及副执行部63分别输出的应用命令，向操作转换部55输出用于识别输出了应用命令的任务的应用识别信息和应用命令。
[0085]在从浏览部61以及副执行部63输出多个应用命令的情况下，调停部53决定它们的顺序，并按顺序向操作转换部55输出。例如，在不能同时执行多个应用命令的情况下，等待一个应用命令的操作转换部55中的执行结束而将另一个应用命令输出到操作转换部55。另外，在如果不是执行了一个应用命令之后则不能执行另一个应用命令的情况下，即便另一个应用命令比一个应用命令先输入的情况下，也先输出一个应用命令。
[0086]操作转换部55从调停部53输入应用命令，通过按照命令对应表将应用命令转换为内部命令来进行标准化。在命令对应表中，对I个应用命令对应I个以上的内部命令。有时命令对应表中包含的应用命令包含版本不同的同种类的应用命令，在该情况下，将不同版本的应用命令各自对应到I个以上的内部命令。因此，能够安装描述了不同版本的应用命令的应用程序。在出现新的应用命令的情况下，用对新出现的应用命令对应了 I个以上的内部命令的命令对应表更新命令对应表。因此，能够安装描述了新的应用命令的应用程序。
[0087]进而，操作转换部55将被标准化的内部命令转换为操作命令,将操作命令输出到操作部57。操作命令是在操作转换部55与操作部57之间预先规定的、操作部57能够解释的命令。
[0088]操作部57是通过CPUlll执行OS程序的任务而执行的功能。操作部57在图4示出的软件架构中属于OS层。[0089]操作部57输入操作转换部55输出的操作命令，按照操作命令控制硬件资源。作为硬件资源，在此以显示部161、操作部163的触摸面板165以及HDD115为例进行说明。操作部57控制显示部161，使显示部161显示图像。另外，操作部57控制HDDl 15，使HDDl 15存储数据，而且，读出存储在HDD115中的数据。进而，操作部57以规定时间间隔使触摸面板165检测由用户指示的位置，以规定时间间隔从触摸面板165获取位置信息。
[0090]如果操作用户指示显示部161的显示面，则触摸面板165检测由操作用户指示的位置，将表示显示部161的显示面的位置的位置信息输出到CPU111。操作部57在从触摸面板165输入位置信息的情况下，将位置信息输出到操作转换部55。操作部57有时从触摸面板165同时输入2个以上的位置信息。例如，当操作用户用两个手指同时指示显示部161的显示面的不同的2个部分的情况下，接受分别表示所指示的显示面的2个位置的2个位置信息。操作部57在从触摸面板165同时接受2个以上的位置信息的情况下，将2个以上的位置信息输出到操作转换部55。
[0091]操作转换部55包括关联建立部81、手势事件决定部83、鼠标事件生成部85以及显示控制部87。关联建立部81在安装浏览程序的阶段，将浏览程序所决定的多个种类的处理各自关联到多个手势事件中的某一个。具体而言，关联建立部81生成主表，并存储到HDD115，其中，在主表中，对浏览程序所决定的多个种类的处理的处理识别信息分别关联了浏览程序能够受理的手势事件。
[0092]图6是不出主表的一例的图。参照图6,主表91针对多个处理识别信息的每一个处理识别信息包含主记录。主记录包括处理的项目和手势的项目。处理的项目中设定有处理识别信息，手势的项目中设定有用于识别手势事件的手势识别信息。
[0093]例如，在对处理的项目设定了处理识别信息“翻页”的主记录中，对手势的项目设定手势识别信息“快速滑动(swipe)”。用处理识别信息“翻页”确定的处理是将画面变更为下一页的画面而显示的处理。用手势识别信息“快速滑动”确定的手势事件对应于一边指示触摸面板165、一边使手指以比规定的速度快的速度移动到上下左右的某一处的用户的操作。由于在使手指以比规定的速度快的速度移动的操作中使手指移动的方向是确定的，所以用手势识别信息“快速滑动”确定的手势事件在参数中包括使手指移动的方向。
[0094]在对处理的项目设定了处理识别信息“放大”的主记录中，对手势的项目设定手势识别信息“撑开(pinch out)”。用处理识别信息“放大”确定的处理是将画面放大而显示的处理。用手势识别信息“撑开”确定的手势事件对应于一边指示触摸面板165的2处、一边使所指示的2处的至少一方以2处的间隔变长的方式移动的操作。由于在以2处的间隔变长的方式移动的操作中2处的间隔发生变化，因此用手势识别信息“撑开”确定的手势事件在参数中包括表示2处的间隔的变化的比例的倍率。
[0095]在对处理的项目设定了处理识别信息“缩小”的主记录中，对手势的项目设定手势识别信息“捏合(pinch in)”。用处理识别信息“缩小”确定的处理是将画面缩小而显示的处理。用手势识别信息“捏合”确定的手势事件对应于一边指示触摸面板165的2处、一边使所指示的2处的至少一方以2处的间隔变短的方式移动的操作。由于在以2处的间隔变短的方式移动的操作中2处的间隔发生变化，所以用手势识别信息“捏合”确定的手势事件在参数中包括表示2处的间隔的变化的比例的倍率。
[0096]在对处理的项目设定了处理识别信息“旋转”的主记录中，对手势的项目设定手势识别信息“转动”。用处理识别信息“旋转”确定的处理是使画面旋转而变更画面的方向的处理。用手势识别信息“转动”确定的手势事件在输入了如下操作的情况下被检测到:一边指示触摸面板165的2处、一边使所指示的2处的至少一方以连接2处的直线的朝向变更的方式移动。例如是以2处的一方为中心而用另一方描绘圆弧的操作。由于描绘圆弧的方向有顺时针和逆时针，所以用手势识别信息“转动”确定的手势事件在参数中包括顺时针和逆时针中的某一方向。
[0097]在对处理的项目设定了处理识别信息“滚动”的主记录中，对手势的项目设定手势识别信息“轻拂(Flick)”。用处理识别信息“滚动”确定的处理是使画面上下左右滚动的处理。用手势识别信息“轻拂”确定的手势事件对应于一边指示触摸面板165、一边使手指以比快速滑动的手势事件的操作中的阈值慢的速度移动到上下左右的某一方的操作。由于在使手指以比阈值慢的速度移动的操作中使手指移动的方向是确定的，因此用手势识别信息“轻拂”确定的手势事件在参数中包括使手指移动的方向。
[0098]在对处理的项目设定了处理识别信息“内容选择”的主记录中，对手势的项目设定手势识别信息“双击”。用处理识别信息“内容选择”确定的处理是选择内容的处理。
[0099]返回到图5，显示控制部87将从浏览部61或者副执行部63输入的应用命令转换为用于使显示部161显示图像的操作命令，并输出到操作部57。由此，将由浏览部61生成的显示图像以及由副执行部63生成的嵌入图像存储到显示部161的VRAM，显示图像的至少一部分显示在显示部161中。
[0100]鼠标事件生成部85与从操作部57输入位置信息相应地生成鼠标事件。进而，每当生成鼠标事件时，鼠标事件生成部85将所生成的鼠标事件输出到手势事件决定部83，并经由调停部53输出到浏览部61。鼠标事件生成部85在从操作部57同时输入多个位置信息的情况下，生成与多个位置信息各自对应的多个鼠标事件。鼠标事件生成部85在生成I个以上的鼠标事件的情况下，将所生成的I个以上的鼠标事件输出到手势事件决定部83，并且经由调停部53输出到浏览部61。位置信息表示操作用户所指示的显示部161的显示面中的位置。
[0101]操作用户指示显示部161的显示面的操作包括:用户指示显示部161的显示面的任意的位置的指示开始操作；用户一边指示显示部161的显示面、换言之一边触碰显示部161的显示面一边移动所指示的位置的移动操作；用户结束显示部161的显示面的指示的结束操作。鼠标事件生成部85当从操作部57输入位置信息时，判断操作用户进行的操作是指示开始操作、移动操作、结束操作中的哪一个。如上所述，由于每当从触摸面板165输出位置信息时操作部57输出该位置信息，所以基于随着时间的经过而连续地输入的位置信息的连续性，来判断操作用户进行的操作是指示开始操作、移动操作、结束操作中的哪一个。
[0102]鼠标事件生成部85对于在从操作部57未输入位置信息的状态经过了规定时间之后输入的位置信息，判断为操作用户进行的操作是指示开始操作，生成包含位置信息和用于识别指示开始操作的状态识别信息“Press (按压)”的鼠标事件。
[0103]鼠标事件生成部85在检测到状态识别信息“Press”的鼠标事件之后，在从操作部57连续地输入I个以上的位置信息的情况下，对于I个以上的位置信息各自判断为操作用户进行的操作是移动操作。鼠标事件生成部85对于从操作部57连续地输入的I个以上的位置信息的每一个，生成包含其位置信息和用于识别移动操作的状态识别信息“Move (移动)”的鼠标事件。
[0104]鼠标事件生成部85在检测到状态识别信息“Move”的鼠标事件之后，在未从操作部57输入位置信息的情况下，对于最后输入的位置信息，判断为操作用户进行的操作是结束操作，生成包括最后输入的位置信息和用于识别结束操作的状态识别信息“Release (释放)”的鼠标事件。
[0105]更具体而言，鼠标事件生成部85根据从操作部57在第I时间输入的位置信息和在与第I时间相比规定时间后的第2时间输入的位置信息，决定鼠标事件的状态。鼠标事件生成部85对于在第I时间输入的位置信息,在与第I时间相比规定时间前未输入表不从用在第I时间输入的位置信息确定的位置起规定的距离的范围内的位置的位置信息的情况下，将针对在第I时间输入的位置信息的鼠标事件的状态决定为“Press”。用在第I时间输入的位置信息确定的位置不存在于从用在第2时间输入的位置信息确定的位置起规定的距离的范围内的情况下，鼠标事件生成部85将针对在第2时间输入的位置信息的鼠标事件的状态决定为“Press”。
[0106]另外，在用在第I时间输入的位置信息确定的位置存在于从用在第2时间输入的位置信息确定的位置起规定的距离的范围内的情况下，鼠标事件生成部85将针对在第2时间输入的位置信息的鼠标事件的状态决定为“Move”。进而，未在第2时间输入从用在第I时间输入的位置信息确定的位置起规定的距离的范围内的位置信息的情况下，鼠标事件生成部85在第2时间将针对在第I时间输入的位置信息的鼠标事件的状态决定为“Release”。
[0107]手势事件决定部83基于从鼠标事件生成部85连续地输入的多个鼠标事件来决定手势事件。手势事件决定部83在从鼠标事件生成部85连续地输入一次一个的鼠标事件的情况下，确定从最初的第I鼠标事件被输入起经过规定时间之后输入的第2鼠标事件，在用第I鼠标事件确定的位置与用第2鼠标事件确定的位置之间的距离为规定的距离以上的情况下，决定手势事件，但在两个位置之间的距离小于规定的距离的情况下不决定手势事件。规定的时间可以任意决定。规定的时间可以设为例如触摸面板165检测位置的间隔的几倍。而且，规定的距离可以任意决定，但优选设为例如40像素。
[0108]手势事件决定部83在从鼠标事件生成部85同时输入2个以上的鼠标事件的情况下，基于2个以上的鼠标事件决定手势事件。因此，当用户输入多点触摸操作的情况下，手势事件决定部83决定手势事件。具体而言，手势事件决定部83在从鼠标事件生成部85同时输入第I鼠标事件和第2鼠标事件这两个鼠标事件的情况下，基于针对第I鼠标事件连续地输入的多个鼠标事件的第I组和针对第2鼠标事件连续地输入的多个鼠标事件的第2组，决定手势事件。第I组中包含的多个鼠标事件的位置信息相同或者位置信息连续。连续是指2个位置信息表示邻接的位置。第2组中包含的多个鼠标事件的位置信息相同或者位置信息连续。因此，关于同时输入的多个鼠标事件属于第I组和第2组中的哪一组，手势事件决定部83用在它们中包含的位置信息进行判断。
[0109]手势事件决定部83从鼠标事件生成部85连续地输入鼠标事件的情况下，最初输入的鼠标事件的状态识别信息是“Press”。然后，在输入状态识别信息为“Move”的鼠标事件时，手势事件决定部83根据状态识别信息为“Press”的鼠标事件的位置信息和状态识别信息为“Move”的鼠标事件的位置信息计算2点间的距离，如果距离为规定的阈值TH以上则检测出用户进行的快速滑动操作，如果距离短于规定的阈值TH则检测出用户进行的轻拂操作。另外，在输入多个鼠标事件的情况下，有时通过最初的多个鼠标事件而检测出用户进行的快速滑动操作，通过之后的多个鼠标事件而检测出用户进行的轻拂操作。手势事件决定部83在检测出快速滑动操作或者轻拂操作的情况下，计算从用最初的位置信息确定的位置朝向用之后的位置信息确定的位置的方向，以显示部161的显示面为基准而将上下左右这4个方向中与所计算出的方向最接近的方向决定为参数，决定包含参数的手势识别信息。在检测出快速滑动操作的情况下，手势识别信息“快速滑动”的手势事件包括表示方向的参数。在检测出轻拂操作的情况下，手势识别信息“轻拂”的手势事件包括表示方向的参数。
[0110]手势事件决定部83从鼠标事件生成部85同时输入2个鼠标事件的情况下，最初输入的2个鼠标事件各自的状态是“Press”。在该情况下，根据2个鼠标事件各自中包含的位置信息，计算2点间的距离LI以及连接2点间的直线的角度R1。关于连接2点间的直线的角度，以显示部161的横向为基准线，设为连接2点间的直线与基准线所成的角度即可。连接2点间的直线与基准线所成的角度是从基准线以顺时针形成的角度。然后，手势事件决定部83根据之后连续地输入的2个鼠标事件的位置信息，计算2点间的距离L2以及连接2点间的直线的角度R2。
[0111]如果角度Rl和角度R2相同、且距离L2和距离LI不同，则手势事件决定部83检测出用户进行的撑开操作或者捏合操作。角度Rl和角度R2相同包含角度Rl与角度R2之差在规定的范围内的情况。由于检测用户的手指的运动，所以包含误差。如果距离L2大于距离LI则检测出撑开操作，如果距离L2小于距离LI则检测出捏合操作。手势事件决定部83在检测出撑开操作或者捏合操作的情况下，通过距离L2除以距离LI来计算倍率，将所计算出的倍率决定为参数，决定包含参数的手势识别信息。在检测出撑开操作的情况下，手势识别信息“撑开”的手势事件包含表示倍率的参数，在检测出捏合操作的情况下，手势识别信息“捏合”的手势事件包含表示倍率的参数。
[0112]在角度Rl和角度R2不同的情况下，手势事件决定部83检测出用户进行的转动操作。角度Rl和角度R2不同是指角度Rl与角度R2之差为规定的范围外的情况。由于检测用户的手指的运动，所以包含误差。手势事件决定部83在检测出转动操作的情况下，通过从角度R2减去角度Rl来决定旋转方向，将所决定的旋转方向决定为参数，决定包含参数的手势识别信息。如果从角度R2减去角度Rl而得到的值为正，则旋转方向是顺时针，如果从角度R2减去角度Rl而得到的值为负，则旋转方向是逆时针。手势识别信息“转动”的手势事件包含表示旋转方向的参数。
[0113]手势事件决定部83在决定手势事件的情况下，从HDDl 15读出与由调停部53设定的当前任务的应用识别信息对应的主表91。具体而言，将用于读出主表91的操作命令输出到操作部57，获取操作部57控制HDD115而读出的主表91。以下，说明浏览部61为当前任务的情况。
[0114]手势事件决定部83与决定手势事件相应地，基于手势事件，从主表91中规定的多个种类的处理之中，确定与由调停部53设定为当前状态的应用程序对应地建立了关联的处理。在此，通过调停部53将浏览部61设定为当前任务，所以手势事件决定部83确定通过主表91与手势事件建立了关联的处理。更具体而言，手势事件决定部83从主表91抽出在手势的项目中设定有所决定的手势事件的手势识别信息的主记录，获取在所抽出的主记录的处理的项目中设定的处理识别信息。手势事件决定部83在获取到处理识别信息的情况下，将所决定的手势事件输出到调停部53，但在未获取到处理识别信息的情况下，不将所决定的手势事件输出到调停部53。另外，手势事件决定部83在从鼠标事件生成部85连续地一次输入I个的鼠标事件、且不决定手势事件的情况下，将表示不决定手势事件的未决定信号输出到调停部53。
[0115]手势事件决定部83仅将与由调停部53设定为当前状态的浏览部61能够执行的处理对应的手势事件输出到调停部53，调停部53将手势事件输出到作为当前任务的浏览部61。因此，能够使执行浏览程序的浏览部61执行作为输入到触摸面板165的操作、且由多个鼠标事件的组确定的手势事件。换言之，在开发浏览程序的阶段中，不用意识到在MFP100中能够由触摸面板165受理的手势事件就能够开发。例如，能够开发不受理转动操作的浏览程序。
[0116]调停部53从鼠标事件生成部85输入鼠标事件，从手势事件决定部83输入手势事件，并将这些包含到应用部51，输出到CPUlll执行应用程序的多个任务中的当前任务。在此，应用部51包括浏览部61和副执行部63，副执行部63通过浏览部61启动，所以调停部53将浏览部61设定为当前状态。因此，浏览部61是当前任务。调停部53与从鼠标事件生成部85输入鼠标事件相应地，将鼠标事件输出到浏览部61。调停部53与从手势事件决定部83输入手势事件相应地，将手势事件输出到浏览部61。
[0117]浏览部61从调停部53输入鼠标事件生成部85输出的鼠标事件，从调停部53输入手势事件决定部83输出的手势事件。手势事件由I个以上的鼠标事件的组决定，所以针对操作用户输入的I次单点触摸操作或者I次多点触摸操作同时发生手势事件和决定手势事件的I个以上的鼠标事件的组。
[0118]浏览部61按照操作MFP100的操作用户在触摸面板165中输入的单点触摸操作或者多点触摸操作中的被决定了手势事件的单点触摸操作或者多点触摸操作，从通过浏览程序规定的多个种类的处理之中确定要执行的处理,并执行处理。
[0119]浏览部61执行的多个种类的处理包括使在显示部161中显示的图像变化的处理。使图像变化的处理例如包括:将所显示的图像变更为其它内容的图像的处理；在显示部161中显示有图像的一部分的情况下，变更图像中的在显示部161显示的部分的滚动处理；翻页处理；放大图像而显示的放大处理；缩小图像而显示的缩小处理；以及变更图像的方向的旋转处理。
[0120]另外，副执行部63按照操作MFP100的操作用户在触摸面板165中输入的单点触摸操作中的在嵌入区域内输入、且未被决定手势事件的单点触摸操作，执行处理。具体而言，副执行部63在执行与浏览程序不同的第2应用程序的情况下，从通过与浏览程序不同的第2应用程序规定的多个种类的处理之中确定要执行的处理，执行所确定的处理。在该情况下，副执行部63执行的多个种类的处理包括使在显示部161中显示的图像变化的处理。使图像变化的处理例如包括:将所显示的图像变更为其它内容的图像的处理；在显示部161中显示有图像的一部分的情况下，变更图像中的在显示部161显示的部分的滚动处理；翻页处理；放大图像而显示的放大处理；缩小图像而显示的缩小处理；以及变更图像的方向的旋转处理。[0121]另外，副执行部63在使作为经由网络连接的外部的计算机的服务器执行与浏览程序不同的第2应用程序的情况下，将包含与单点触摸操作对应的鼠标事件的处理请求发送给服务器。
[0122]浏览部61所具备的选择部75选择鼠标事件和手势事件中的某一方。选择部75在选择鼠标事件的情况下，将鼠标事件输出到指示部77，在选择手势事件的情况下，将手势事件输出到决定部73。
[0123]在对选择部75输入手势事件的情况下，输入在此以前成为了决定手势事件的基础的I个以上的鼠标事件。选择部75暂时存储从鼠标事件生成部85经由调停部75输入的鼠标事件，直至从手势事件决定部83经由调停部53输入手势事件为止、或者直至从手势事件决定部83经由调停部53输入表示不决定手势事件的信号为止。选择部75包括从调停部53 —次输入I个鼠标事件的情况和同时输入2个鼠标事件的情况。当用户输入了单点触摸操作的情况下，输入I个鼠标事件，当用户输入了多点触摸操作的情况下，输入多个鼠标事件。
[0124]<单点触摸操作的情况>
[0125]选择部75在从调停部53输入鼠标事件的情况下，判断用该鼠标事件中包含的位置信息表示的位置是否处于由显示图像生成部71生成的显示图像中的嵌入区域内。在用鼠标事件中包含的位置信息表示的位置处于嵌入区域内、且从手势事件决定部83经由调停部53输入表示不决定手势事件的信号的情况下，选择部75选择鼠标事件。另外，在用鼠标事件中包含的位置信息表示的位置处于嵌入区域内、且从手势事件决定部83经由调停部53输入手势事件的情况下，如果手势事件为规定的种类，则选择部75不选择鼠标事件，如果手势事件不是规定的种类，则选择部75选择鼠标事件。进而，在用鼠标事件中包含的位置信息表示的位置处于嵌入区域外的情况下，选择部75不选择鼠标事件。
[0126]另外，如果用鼠标事件中包含的位置信息表示的位置处于嵌入区域外，则选择部75选择手势事件。在用鼠标事件中包含的位置信息表示的位置处于嵌入区域内、且从手势事件决定部83经由调停部53输入手势事件的情况下，如果手势事件为规定的种类则选择部75选择手势事件，但如果手势事件不是规定的种类则选择部75不选择手势事件。规定的种类的手势事件是通过浏览程序预先规定的。在本实施方式中，在图6示出的主表91中，作为能够通过浏览程序受理的手势事件，有快速滑动、撑开、捏合、转动、轻拂、双击。可以从能够通过浏览程序受理的手势事件中，任意地决定规定的种类。例如，可以将快速滑动、撑开、捏合、转动以及轻拂作为规定的种类的手势事件。在该情况下，双击不是规定的种类的手势事件。
[0127]<多点触摸操作的情况>
[0128]选择部75在从调停部53同时输入多个鼠标事件的情况下，不选择鼠标事件。另夕卜，选择部75在同时输入多个鼠标事件的情况下，不论用多个鼠标事件各自中包含的位置信息表示的位置如何，如果从手势事件决定部83经由调停部53输入手势事件，则选择该手势事件。进而，选择部75在用鼠标事件中包含的位置信息表示的位置处于嵌入区域外的情况下，不选择鼠标事件。
[0129]另外，如果用鼠标事件中包含的位置信息表示的位置处于嵌入区域外，则选择部75选择手势事件。在用鼠标事件中包含的位置信息表示的位置处于嵌入区域内、且从手势事件决定部83经由调停部53输入手势事件的情况下，如果手势事件为规定的种类则选择部75选择手势事件，但如果手势事件不是规定的种类则选择部75不选择手势事件。
[0130]指示部77在从选择部75输入鼠标事件的情况下，将鼠标事件输出到副执行部63。在使作为经由网络连接的外部的计算机的服务器执行与浏览程序不同的第2应用程序的情况下，副执行部63与从指示部77输入鼠标事件相应地，向服务器发送包含鼠标事件的处理请求，用从服务器接收的图像更新嵌入图像。具体而言，将在显示部161所具备的VRAM中改写从服务器接收到的图像的应用命令输出到显示控制部87。由此，用从服务器接收到的图像改写显示部161所具备的VRAM中存储的显示图像的嵌入区域。
[0131]另外，当副执行部63执行与浏览程序不同的第2应用程序的情况下，副执行部63从通过第2应用程序规定的多个种类的处理之中，确定基于鼠标事件执行的处理，并执行处理。例如，如果用鼠标事件中包含的位置信息确定的位置处于嵌入图像中包含的按钮的图像内，则确定与该按钮的图像对应起来的处理。例如，如果是放大按钮的图像，则执行放大图像的处理，用放大了嵌入图像之后的图像进行更新。具体而言，将在显示部161中所具备的VRAM中改写更新后的图像的应用命令输出到显示控制部87。由此，用更新后的图像改写显示部161所具备的VRAM中存储的显示图像的嵌入区域。
[0132]决定部73在从选择部75输入手势事件的情况下，执行通过浏览程序规定的多个种类的处理之中的与手势事件对应的种类的处理。具体而言，决定显示图像中的用于在显示部161显示的显示部分。决定部73将使显示部161显示所决定的显示部分的应用命令输出到显示控制部87。由此，将由决定部73从显示部161所具备的VRAM所存储的显示图像中决定的部分的图像显示在显示部161中。例如，如果从选择部75输入的手势事件与处理识别信息“滚动”对应，则将使显示图像中显示在显示部161中的部分从该部分滑到上下左右的某一方的部分显示到显示部161中。
[0133]接下来，在本实施方式中的MFP100中，以从与因特网连接的服务器300下载Web页面并显示作为Web页面的图像的显示图像的情况为例，说明用户的操作和MFP100执行的处理的流程的一例。
[0134]图7是示出用户进行的操作和MFP执行的处理的流程的一例的图。参照图7，从左按顺序，关于用户进行的操作、操作部57的处理、副执行部63的处理、浏览部61的处理以及服务器300的处理，示出与各自对应的轴，各个轴从上到下表示时间的推移。
[0135]首先，如果用户输入启动浏览程序的操作，则通过操作部57受理该操作。在此，说明服务器300中存储的Web页面的URL被同时指定的情况。按照用户进行的操作，操作部57使CPUlll执行浏览程序，从而作为CPUlll执行浏览程序的任务的浏览部61启动。而且，操作部57将由用户输入的URL输出到浏览部61。
[0136]浏览部61向服务器300发送内容请求，所述内容请求是将用从操作部57输入的URL确定的Web页面发送到用URL确定的服务器300的要求。服务器300接收到内容请求时，返回用URL确定的Web页面，所以浏览部61从服务器300接收Web页面。进而，浏览部61解析Web页面，生成与Web页面对应的显示图像，向操作部57输出将显示图像存储到VRAM的指示和将显示部分进行显示的指示。与此相伴，操作部57将显示图像存储到显示部161的VRAM,并且将显示部分显示到显示部161。
[0137]在此，设为Web页面包含启动JAVA (注册商标)程序的命令的描述。因此，浏览部61使CPUlll执行JAVA (注册商标)程序，从而作为CPUlll执行JAVA (注册商标)程序的任务的副执行部63启动。
[0138]在此，设为通过JAVA (注册商标)程序规定了使服务器300发送存储在该服务器300中的内容的图像的处理。副执行部63向服务器300发送作为执行发送内容的图像的处理的要求的处理请求。与此相伴，服务器300返回内容的图像，所以副执行部63将从服务器300接收的内容的图像作为嵌入图像接收。进而，副执行部63将嵌入图像存储到显示部161的VRAM中，并且将显示要求输出到浏览部61。与此相伴，操作部57将嵌入图像存储到显示部161的VRAM中。另外，浏览部61向操作部57输出将显示部分进行显示的指示，操作部57将在嵌入区域中配置了嵌入图像的显示图像中的显示部分显示到显示部161。因此，如果显示部分包含嵌入区域，则嵌入图像被显示于显示部161。
[0139]接下来，如果用户输入单点触摸操作或者多点触摸操作，则通过操作部57受理该操作。通过操作转换部55生成与单点触摸操作或者多点触摸操作对应的鼠标事件，基于I个以上的鼠标事件决定手势事件。鼠标事件和手势事件被输入到浏览部61。
[0140]浏览部61在用鼠标事件中包含的位置信息表示的位置处于嵌入区域内的情况下和处于嵌入区域外的情况下使处理不同。浏览部61在用鼠标事件中包含的位置信息表示的位置处于嵌入区域内的情况下，进而根据手势事件是否为规定的种类而使处理不同。在手势事件不是规定的种类的情况下，将鼠标事件输出到副执行部63。副执行部63将包含鼠标事件的处理请求发送到服务器300。服务器300在接收到处理请求时，与通过处理请求中包含的鼠标事件确定的嵌入图像中的位置对应地，执行通过服务器300执行的第2应用程序规定的处理，并返回处理后的内容的图像。例如，在通过第2应用程序规定了放大图像的处理的情况下，返回对内容的图像进行了放大的图像。副执行部63将从服务器300接收的内容的图像作为嵌入图像接收。进而，副执行部63将嵌入图像存储到显示部161的VRAM中，并且将显示要求输出到浏览部61。与此相伴，操作部57将显示图像存储到显示部161的VRAM中。另外，浏览部61向操作部57输出对显示部分进行显示的指示，操作部57将在嵌入区域中配置了嵌入图像的显示图像中的显示部分显示到显示部161。因此，如果显示部分包含嵌入区域，则通过服务器300被放大之后的嵌入图像被显示于显示部161。
[0141]在用鼠标事件中包含的位置信息表示的位置处于嵌入区域内、且手势事件为规定的种类的情况下，浏览部61执行基于手势事件的处理。在该情况下，不将鼠标事件输出到副执行部63。基于手势事件的处理是通过浏览程序规定的。例如，如果基于手势事件的处理是往下方向滚动的处理，则向操作部57输出将使显示图像的显示部分往下方移动之后的显示部分进行显示的指示。操作部57将显示图像中的显示部分显示到显示部161。因此，显示图像中的被移动后的显示部分被显示于显示部161。
[0142]另一方面，用鼠标事件中包含的位置信息表示的位置处于嵌入区域外的情况下，执行基于手势事件的处理。在该情况下，不将鼠标事件输出到副执行部63。
[0143]图8是示出手势事件决定处理的流程的一例的流程图。手势事件决定处理是通过MFP100所具备的CPUlll执行存储在R0M113、HDD115或者⑶-ROMl 18中的操作受理程序而由CPUlll执行的处理。参照图8，CPU111判断是否检测到鼠标事件(步骤S01)。如果用户指示触摸面板165，则基于通过触摸面板165检测到的位置来检测鼠标事件。直至检测出鼠标事件为止成为待机状态(步骤SOl中“否”)，如果检测到鼠标事件(步骤SOl中“是”)，则使处理进入步骤S02。换言之，手势事件决定处理是以用户指示触摸面板165并且检测出鼠标事件为条件而执行的处理。
[0144]在步骤S02中，判断检测到的鼠标事件是否为单数。如果检测到一个鼠标事件，则使处理进入步骤S03，但如果检测到多个鼠标事件，则使处理进入步骤S17。
[0145]在步骤S03中，根据鼠标事件的状态而使处理分支。如果鼠标事件的状态为“Press”，则使处理进入步骤S04，如果是“Move”，则使处理进入步骤S09，如果是“Release”，则使处理进入步骤S05。在步骤S04中，使定时器T开始，使处理返回到步骤S01。定时器T对从检测到状态为“Press”的鼠标事件起的经过时间进行计时。
[0146]在步骤S09中，判断定时器T的值是否为阈值TT以下。如果定时器T的值为阈值TT以下，则使处理进入步骤S10，否则使处理进入步骤Sll。在步骤SlO中，判断间隔是否为阈值TL以上。如果间隔为阈值TL以上，则使处理进入步骤S12，否则使处理进入步骤S11。间隔是用最初检测到的鼠标事件、换言之状态为“Press”的鼠标事件中包含的位置信息确定的位置、与用在步骤SOl中检测到的刚刚之前的鼠标事件中包含的位置信息确定的位置之间的距离。在步骤Sll中，输出表示不决定鼠标事件的未决定信号，结束处理。在从检测到状态为“Press”的鼠标事件起的经过时间为阈值TT以内、且未检测到表示从用“Press”的鼠标事件示出的位置离开了阈值TL以上的位置的鼠标事件的情况下，不决定手势事件而结束处理。这是因为即使从用户指示起经过阈值TT的时间所指示的位置也不移动的情况下不决定手势事件。此外，也可以决定将相同位置指示规定时间的手势事件。
[0147]处理进入步骤S12的情况是鼠标事件的状态为“Move”的情况，在该鼠标事件的刚刚之前输入了其它鼠标事件。其它鼠标事件的状态有“Press”的情况和“Move”的情况。在步骤S12中，决定指示方向。决定从用刚刚之前输入的其它鼠标事件中包含的位置信息确定的位置朝向用在步骤SOl中检测到的鼠标事件中包含的位置信息确定的位置的方向。在此决定的方向是以显示部161的显示面为基准的上下左右的4个方向中的与所计算出的方向最近的方向。
[0148]在接下来的步骤S13中，计算指示距离L。将用刚刚之前输入的其它鼠标事件中包含的位置信息确定的位置与用在步骤SOl中检测到的鼠标事件中包含的位置信息确定的位置之间的距离计算为指示距离L。然后，判断指示距离L是否为阈值TH以上(步骤S14)。如果指示距离L为阈值TH以上，则使处理进入步骤S15，否则使处理进入步骤S16。
[0149]在步骤S15中，将手势事件决定为快速滑动，使处理进入步骤S27。在步骤S16中，将手势事件决定为轻拂，使处理进入步骤S27。
[0150]在处理进入步骤S05的情况下，在步骤SOl中检测到的鼠标事件的状态为“Release”。在鼠标事件的状态为“Release”的情况下，在该鼠标事件的刚刚之前输入有其它鼠标事件。其它鼠标事件的状态有“Press”的情况和“Move”的情况。在步骤S05中，根据刚刚之前输入的其它鼠标事件的状态而使处理分支。如果刚刚之前输入的其它鼠标事件的状态为“Press”，则使处理进入步骤S06，否则使处理返回到步骤S01。
[0151]在步骤S06中，判断与在步骤SOl中检测到的鼠标事件中包含的位置信息相同的位置信息是否存储在RAMl 14中。如果存储在RAMl 14中，则使处理进入步骤S07，否则使处理进入步骤S08。另外，在此所说的相同的位置信息包括用2个位置信息分别确定的2个的位置之间的距离为规定的长度以内的情况。由于检测用户指示相同位置的操作，所以包含误差。
[0152]在步骤S08中，将在步骤SOl中检测到的鼠标事件中包含的位置信息暂时存储到RAM114，使处理进入步骤S29。处理进入步骤S08的情况是刚刚之前输入的鼠标事件的状态为“Press”、接下来输入的鼠标事件的状态为“Release”、并且在RAM114中未存储相同的位置信息的情况。换言之，是用户输入最初的触摸操作的情况。
[0153]在步骤S07中，将手势事件决定为双击，使处理进入步骤S27。处理进入步骤S07的情况是刚刚之前输入的鼠标事件的状态为“Press”、在步骤SOl中检测到的鼠标事件的状态为“Release”、并且是在RAM114中存储有相同的位置信息的情况。换言之，是用户在输入了最初的触摸操作之后对与最初的触摸操作相同的位置进行触摸操作的情况。
[0154]处理进入步骤S17的情况是检测到2个鼠标事件的情况。在步骤S17中，判断2个鼠标事件中的至少一方的状态是否为“Move”。如果2个鼠标事件中的至少一方的状态为“Move”，则使处理进入步骤S18，否则使处理返回到步骤S01。
[0155]在步骤S18中计算角度。以显示部161的显示面的规定的基准边为基准，计算连接用2个鼠标事件各自中包含的位置信息确定的2个位置的直线与基准边所成的角度。在接下来的步骤S19中，判断在步骤S18中计算出的角度是否有变化。如果在步骤S18中计算出的角度与基于刚刚之前输入的其它2个鼠标事件计算出的角度的差为规定的角度以上，则判断为角度发生了变化。如果角度发生了变化，则使处理进入步骤S20，否则使处理进入步骤S21。在步骤S20中，将手势事件决定为转动，使处理进入步骤S27。
[0156]在步骤S21中，计算距离。计算用2个鼠标事件各自中包含的位置信息确定的2个位置之间的距离。在接下来的步骤S22中，判断在步骤S21中计算出的距离是否有变化。如果在步骤S21中计算出的距离与基于刚刚之前输入的其它2个鼠标事件计算出的距离的差为规定的长度以上，则判断为距离发生了变化。如果距离发生了变化，则使处理进入步骤S23，否则使处理返回到步骤S01。
[0157]在步骤S23中，决定倍率。将在步骤S21中计算出的距离除以基于刚刚之前输入的其它2个鼠标事件计算出的距离而得到的值决定为倍率。在接下来的步骤S24中，判断倍率是否大于I。如果倍率大于1，则使处理进入步骤S25，否则使处理进入步骤S26。
[0158]在步骤S25中，将手势事件决定为撑开，使处理进入步骤S27。在步骤S26中，将手势事件决定为捏合，使处理进入步骤S27。
[0159]在步骤S27中，判断是否定义有与所决定的手势事件对应的处理。通过在HDD115中存储的主表91中所规定的多个种类的处理之中是否存在与被设定为当前状态的应用程序对应地关联有手势事件的处理来进行判断。如果在主表91中对所决定的手势事件关联有处理，则判断为与被设定为当前状态的应用程序对应地定义有与所决定的手势事件对应的处理。如果定义有与所决定的手势事件对应的处理，则使处理进入步骤S28，否则使处理进入步骤S29。
[0160]在步骤S28中，输出所决定的手势事件，结束处理。在步骤S29中，输出未决定信号，结束处理。
[0161]图9是示出浏览处理的流程的一例的流程图。浏览处理是通过MFP100所具备的CPU111执行存储在ROMl 13、HDD115或者⑶-ROM118中的浏览程序来由CPU111执行的处理。参照图9，CPU111获取内容(步骤S31)。具体而言，从与因特网连接的服务器下载Web页面而作为内容。Web页面是用操作MFPlOO的操作用户所指定的URL识别的Web页面。另外，也可以是用预先规定的URL识别的Web页面。
[0162]在步骤S32中，判断所获取的Web页面是否包含嵌入图像的描述。嵌入图像的描述是显示执行与浏览程序不同的第2应用程序而生成的嵌入图像的描述。如果从服务器获取到的Web页面包含嵌入图像的描述，则使处理进入步骤S33，否则使处理进入步骤S35。在步骤S35中，按照Web页面的描述生成显示图像，使处理进入步骤S36。具体而言，将显示图像存储到显示部161所具备的VRAM。
[0163]在步骤S33中，生成包含嵌入区域的显示图像。具体而言，将包含嵌入区域的显示图像存储到显示部161所具备的VRAM中。由此，在显示部161所具备的VRAM中存储执行浏览程序的任务所生成的显示图像。但是，关于显示图像的嵌入区域，通过执行浏览程序的任务而什么都不存储。
[0164]在步骤S34中，启动应用，使处理进入步骤S36。按照Web页面的描述，使CPUlll或者服务器执行与浏览程序不同的第2应用程序，使执行第2应用程序的任务生成嵌入图像。具体而言，在根据Web页面中描述的JAVA (注册商标)脚本由服务器执行第2应用程序的情况下，向服务器发送要求内容的生成的处理请求，将从服务器返回的内容的图像存储到显示部161所具备的VRAM中存储的显示图像的嵌入区域中。由此，在显示部161所具备的VRAM中存储的显示图像的嵌入区域中，将通过服务器执行第2应用程序而生成的图像存储为嵌入图像。另外，在Web页面包含启动CPUlll能够执行的再现程序等第2应用程序的指示的情况下，使CPUlll执行第2应用程序，将CPUlll执行第2应用程序的任务所生成的图像存储到显示部161所具备的VRAM中存储的显示图像的嵌入区域中。由此，在显示部161所具备的VRAM中存储的显示图像的嵌入区域中，存储通过CPUlll执行第2应用程序的任务而生成的嵌入图像。
[0165]如此，执行浏览程序的任务改写显示图像，用由CPUlll或者服务器的某一个执行第2应用程序的任务而生成的图像来改写嵌入区域。换言之，能够与执行浏览程序的任务无关地用通过服务器或者CPUlll的某一个执行第2应用程序的任务而生成的图像来更新嵌入区域。
[0166]在步骤S36中，将显示图像进行显示。将显示部161的VRAM中存储的显示图像显示到显示部161。此时，既可以部分地显示显示图像，也可以显示显示图像的整体。
[0167]在步骤S37中，判断是否输入了鼠标事件。如果操作用户用手指指示显示部161的显示面，则检测到通过触摸面板165指示的位置，输入包含该位置信息的鼠标事件。如果输入了鼠标事件(步骤S37中“是”)，则使处理进入步骤S38，否则使处理进入步骤S50。
[0168]在步骤S38中，判断鼠标事件是否为一个。如果鼠标事件为单数则使处理进入步骤S39，如果为多个则使处理进入步骤S48。在步骤S39中，判断鼠标事件是否为针对嵌入区域的操作。如果用鼠标事件中包含的位置信息确定的位置处于显示图像中的嵌入区域内，则判断为鼠标事件是针对嵌入区域的操作。如果鼠标事件是针对嵌入区域的操作，则使处理进入步骤S40，否则使处理进入步骤S48。
[0169]在步骤S40中判断是否输入了未决定信号。在上述的手势事件决定处理中，在判断为未基于在步骤S37中输入的鼠标事件而决定手势事件的情况下，输入未决定信号。如果输入了未决定信号，则使处理进入步骤S41，否则使处理进入步骤S43。在步骤S41中，向执行在步骤S34中启动的第2应用程序的任务输出鼠标事件，使处理进入步骤S42。在此输出的鼠标事件除了包括在步骤S37中输入的鼠标事件以外，还包括在后述的步骤S47中暂时存储的鼠标事件。在输出多个鼠标事件的情况下，按照所输入的顺序输出鼠标事件。具体而言，在按照Web页面中描述的JAVA (注册商标)脚本由服务器执行第2应用程序的情况下，向服务器发送包含鼠标事件的处理请求，接收从服务器返回的内容的图像，将所接收到的图像存储到显示部161所具备的VRAM中存储的显示图像的嵌入区域中。另外，在Web页面包含启动CPUlll能够执行的再现程序等第2应用程序的指示的情况下，CPUlll中形成有执行第2应用程序的任务。因此，对CPUlll执行第2应用程序的任务输出鼠标事件，使其执行基于鼠标事件的处理，将CPUlll执行第2应用程序的任务所生成的内容的图像存储到显示部161所具备的VRAM中存储的显示图像的嵌入区域。
[0170]在输入了鼠标事件时，服务器或者CPUlll执行第2应用程序的任务从通过第2应用程序规定的多个处理之中执行通过鼠标事件确定的处理。具体而言，执行通过第2应用程序规定的多个处理中的、分配到用鼠标事件中包含的位置信息确定的位置的处理。例如，如果嵌入图像包含被分配了放大处理的按钮、且用鼠标事件中包含的位置信息确定的位置处于被分配了放大处理的按钮内，则执行放大处理。然后，用放大处理后的嵌入图像，更新显示部161所具备的VRAM中存储的显示图像中的嵌入区域。因此，只有显示在显示部161中的显示图像中所包含的嵌入区域的图像被放大而显示。
[0171]在接下来的步骤S42中，删除在步骤S47中暂时存储的鼠标事件，使处理进入步骤S50。这是为了不将I个鼠标事件重复地输出到执行第2应用程序的任务。另一方面，在步骤S43中，判断是否决定了手势事件。执行图8所示的手势事件决定处理，判断是否基于在步骤S37中输入的鼠标事件决定了手势事件。如果决定了手势事件，则使处理进入步骤S44，否则使处理进入步骤S47。在步骤S47中，暂时存储在步骤S37中输入的鼠标事件，使处理进入步骤S50。
[0172]在步骤S44中，判断基于在步骤S37中输入的鼠标事件决定的手势事件是否为规定的种类。如果所决定的手势事件为规定的种类，则使处理进入步骤S45，否则使处理进入步骤S41。在浏览程序中预先确定有规定的种类的手势事件。
[0173]在步骤S45中，执行与手势事件对应的处理，使处理进入步骤S46。执行通过浏览程序规定的多个处理中的、通过手势事件确定的处理。具体而言，如果手势事件为轻拂，则将显示图像中的显示于显示部161的部分向通过手势事件决定的方向移动。更具体而言，将显示部161所具备的VRAM中存储的显示图像中的显示于显示部161的区域向通过手势事件决定的方向移动，将移动后的区域显示到显示部161。因此，显示部161中显示的显示图像的部分被变更。在步骤S46中，与步骤S42同样地，删除在步骤S47中暂时存储的鼠标事件，使处理进入步骤S50。
[0174]另一方面，处理进入步骤S48的情况是在步骤S37中输入多个鼠标事件的情况。在步骤S48中，判断是否决定了手势事件。执行图8所示的手势事件决定处理，判断是否基于在步骤S37中输入的鼠标事件决定了手势事件。如果决定了手势事件则使处理进入步骤S49，否则使处理进入步骤S50。在步骤S49中，执行与手势事件对应的处理，使处理进入步骤 S50。
[0175]在步骤S50中，判断是否受理了结束内容的显示的指示。例如，如果指示了硬键部167中包括的多个键中的、被分配了结束浏览程序的指示的键，则受理结束内容的显示的指示。如果受理了结束内容的显示的指示，则结束处理，否则使处理返回到步骤S37。
[0176]图10是示出显示图像的一例的图。图10所示的显示图像对应于从与因特网连接的服务器下载的Web页面。在此，对于Web页面，以描述了介绍销售商品的店铺的内容的情况为例进行说明。参照图10，显示图像300在Web页面中包括配置通过与浏览程序不同的第2应用程序生成的嵌入图像的2个嵌入区域310、311。配置于嵌入区域310、311的嵌入图像是与因特网连接的服务器通过执行安装于该服务器的第2应用程序而生成的。
[0177]在嵌入区域310中，将表示该店的场所的地图的图像配置为嵌入图像，在嵌入区域311中，将显示该店销售的商品的列表的图像配置为嵌入图像。用虚线表示的区域301、303表示在显示图像300中显示于显示部161的显示部分。此外,表示区域301、303的虚线是为了说明而附加的，在显示图像300中实际不存在。
[0178]图11是示出显示图像300中的显示部分的一例的第I图。参照图11，显示部分331是在图10所示的显示图像300中的用区域301示出的部分。显示部分331包含配置在显示图像300中的嵌入区域310。嵌入区域310包括:表示有上下左右的4个箭头的按钮群313;表示有“ + ”以及符号的按钮群315。关于按钮群313、315，通过安装于服务器的第2应用程序对各个按钮分配有处理。在此，如果用户用手指指示按钮群315的表示有“ + ”符号的按钮，则发生包含位置信息的鼠标事件，该位置信息表示包含在显示有“ + ”符号的按钮的范围内的位置。具体说明该情况下的图8所示的手势事件决定处理以及图9所示的浏览处理的流程。在图8所示的手势事件决定处理中，如果用户用手指指示按钮群315的表示有“ + ”符号的按钮，则在步骤S03中检测到鼠标事件的状态“Release”，处理进入步骤S06，但判断为未存储相同的位置，执行步骤S08以及步骤S29。因此，未检测到手势事件，输出未决定信号。进而，在图9所示的浏览处理中，如果用户用手指指示按钮群315的表示有“ + ”符号的按钮，则在步骤S37中判断为输入了鼠标事件，处理进入步骤S38。用户用手指指示按钮群315的表示有“ + ”符号的按钮的操作中，指示位置为一个、且处于嵌入区域内，所以处理进入步骤S40。在图8所示的手势事件决定处理中，如果用户用手指指示按钮群315的表示有“ + ”符号的按钮，则输出未决定信号，所以执行浏览处理的步骤S41，输出鼠标事件。因此，该鼠标事件被发送到生成在嵌入区域310中配置的图像的服务器，通过服务器执行放大图像的处理。于是，用通过服务器执行放大的处理之后的图像更新嵌入区域310。
[0179]图12是示出显示图像300中的显示部分的一例的第2图。参照图12，显示部分331是图10所示的显示图像300中的用区域301表示的部分。显示部分331包括配置于显示图像300的嵌入区域310。显示于嵌入区域310的嵌入图像与在图11所示的嵌入区域310中所配置的图像相比，成为放大了的图像。但是，图12所示的显示图像300的显示部分331中的除了嵌入区域310以外的部分与图11所示的显示部分331相同。
[0180]进而，如果操作用户用手指触碰图12所示的显示图像300的显示部分331的某一处来输入快速滑动操作，则发生手势事件。具体说明该情况下的图8所示的手势事件决定处理以及图9所示的浏览处理的流程。在图8所示的手势事件决定处理中，如果用户输入快速滑动操作，则在步骤S03中检测到鼠标事件的状态“Move”，处理进入步骤S09，但快速滑动操作中所指示的位置移动、且每单位时间的移动距离为阈值TH以上，所以处理进入步骤S15。由此，决定快速滑动的手势事件。进而，在图9所示的浏览处理中，如果用户输入快速滑动操作，则在步骤S37中判断为输入了鼠标事件，处理进入步骤S38。快速滑动操作是使用I根手指指示的位置移动的操作，所以处理进入步骤S40或者步骤S48。在处理进入步骤S40的情况下，换言之，进行了快速滑动操作的位置处于嵌入区域内的情况下，在图8所示的手势事件决定处理中决定快速滑动的手势事件，所以处理进入步骤S45。另一方面，在处理进入步骤S48的情况下，换言之，进行了快速滑动操作的位置处于嵌入区域以外的情况下，在图8所示的手势事件决定处理中决定滑动的手势事件，所以处理进入步骤S49。如此，如果用户用手指触碰的位置处于显示部分331内，则也可以是嵌入区域310内。与手势事件一起还发生鼠标事件，但手势事件是通过浏览程序预先确定的规定的处理，所以鼠标事件被废除。与快速滑动的手势事件对应地，通过浏览程序规定有对显示图像的显示部分进行变更的翻页处理。在此，以执行翻页处理而显示图像300中的区域301被变更为区域303的情况为例进行说明。
[0181]图13是示出显示图像300中的显示部分的一例的第3图。参照图13，示出了在图12所示的显示部分331显示于显示部161的阶段，输入了快速滑动操作之后显示于显示部161的显示图像300的显示部分341。显示部分341是图10所示的显示图像300中的用区域303表示的部分。显示部分341包括配置于显示图像300的嵌入区域311。在嵌入区域311中显示的嵌入图像与在图10所示的嵌入区域311中配置的图像相同。
[0182]如以上说明那样，本实施方式中的MFP100作为数据处理装置发挥功能，与通过触摸面板165检测由用户指示的I个以上的位置相应地，生成包含表示I个以上的位置各自的位置信息的鼠标事件，基于所生成的I个以上的鼠标事件的组，从多个手势事件之中决定某一个。另一方面，在从外部接收的Web页面包含显示执行与浏览程序不同的应用程序而生成的嵌入图像的描述的情况下，生成将嵌入图像配置到由Web页面规定的嵌入区域的显示图像。然后，在显示图像包含嵌入区域的情况下，在由成为了决定手势事件的基础的I个以上的鼠标事件中的某一个鼠标事件所表示的位置处于嵌入区域内的情况下，选择手势事件、和成为了决定该手势事件的基础的I个以上的鼠标事件的组的某一方。因此，能够将用户指示显示部161的显示面的I次操作检测为I个以上的鼠标事件和手势事件，并且能够从所检测到的鼠标事件和手势事件中受理和浏览程序以及与浏览程序不同的应用程序分别相适应的一方。其结果，即使在Web页面包含执行与浏览程序不同的应用程序的描述的情况下，也能够恰当地执行应用程序。
[0183]另外，将用户指示显示部161的显示面的I次操作检测为I个以上的鼠标事件和手势事件，并且在手势事件为规定的种类的情况下，使手势事件对应于浏览程序，在手势事件不是规定的种类的情况下，使I个以上的鼠标事件对应于应用程序。因此，能够将用户进行的I个操作作为针对浏览程序以及与浏览程序不同的应用程序的某一个的操作而受理。另外，在浏览程序与手势事件对应、应用程序与鼠标事件对应的情况下，能够恰当地执行应用程序。
[0184]另外，在通过第I鼠标事件示出的第I位置与第2位置之间的间隔不是规定的距离以上的情况下，不决定手势事件，该第2位置是通过从生成第I鼠标事件起规定时间以内生成的第2鼠标事件生成的。因此，能够将在用户指示触摸面板165的状态下移动的操作检测为手势事件。
[0185]另外，将所生成的I个以上的鼠标事件保留至决定手势事件时为止、或者判断为不决定手势事件时为止，在I个以上的鼠标事件的组被选择的情况下，将所保留的I个以上的鼠标事件输出到执行应用程序的任务。因此，由于在决定不是规定的种类的手势事件时之前、或者判断为不决定手势事件时之前保留基于所输入的用户进行的操作而生成的鼠标事件，所以能够将用户进行的操作设为有效，用户不需要再次输入相同的操作。
[0186]进而，关于所保留的I个以上的鼠标事件，在输出到执行应用程序的任务之后进行删除，在手势事件被选择的情况下，在选择了手势事件的时间点进行删除。因此，能够防止将I个鼠标事件输出多次的现象。
[0187]另外，在选择鼠标事件的情况下，将鼠标事件输出到执行应用程序的任务，更新在嵌入区域中显示的嵌入图像。因此，能够使执行应用程序的任务按照鼠标事件执行处理。
[0188]进而，在选择手势事件的情况下，执行浏览程序能够执行的多个种类的处理中的与被选择的手势事件对应的种类的处理。因此，能够执行决定显示图像中的用于显示于显示部161的显示部分的处理。能够使执行浏览程序的任务按照手势事件执行处理。
[0189]进而，在安装浏览程序的阶段中，将关联了与浏览程序所规定的多个种类的处理对应的多个手势事件的主表91存储到HDD115，所以能够仅检测与浏览程序所规定的多个种类的处理分别对应的手势事件。
[0190]此外，在上述的实施方式中，作为数据处理装置的一例说明了 MFP100，但也可以将发明掌握为使控制MFP100的CPUlll执行图8以及图9所示的处理的操作受理方法以及用于使CPUlll执行该操作受理方法的浏览程序，这是显然的。
[0191]本次公开的实施方式在全部点上是例示，应当认为不是限制性的。本发明的范围不是通过上述说明示出而是通过权利要求书示出，试图包含权利要求书和与其均等的意义以及范围内的所有变更。
【权利要求】
1.一种数据处理装置，具备: 显示单元，能够显示图像； 位置检测单元，在所述显示单元的显示面中，能够检测由用户指示的I个以上的位置；以及 控制单元， 所述控制单元包括: 浏览单元，执行浏览程序，从外部获取用置标语言描述的内容，将与所获取到的内容对应的显示图像的至少一部分显示到所述显示单元，并且与输入分别对应于通过所述浏览程序规定的多个种类的处理的多个手势事件中的某一个相应地，执行所述多个种类的处理中的与所输入的手势事件对应的种类的处理； 鼠标事件生成单元，与通过所述位置检测单元检测出I个以上的位置相应地，生成鼠标事件，该鼠标事件包含表示所述I个以上的位置各个的位置信息；以及 手势事件决定单元，基于通过所述鼠标事件生成单元生成的I个以上的鼠标事件的组，决定多个手势事件中的某一个， 所述浏览单元包括: 显示图像生成单元，在所述内容包含显示执行与所述浏览程序不同的应用程序而生成的嵌入图像的描述的情况下，生成将执行所述应用程序而生成的嵌入图像配置到通过所述内容规定的嵌入区域中的显示图像；以及· 选择单元，在由成为了决定通过所述手势事件决定单元决定的手势事件的基础的I个以上的鼠标事件中的某一个鼠标事件示出的位置处于所述嵌入区域内的情况下，基于所决定的所述手势事件的种类，选择通过所述手势事件决定单元决定的手势事件和成为了决定该手势事件的基础的I个以上的鼠标事件的组中的某一方。
2.根据权利要求1所述的数据处理装置，其特征在于， 所述选择单元包括: 鼠标事件选择单元，在通过所述手势事件决定单元决定的手势事件不是规定的种类的情况下，选择成为了决定通过所述手势事件决定单元决定的手势事件的基础的I个以上的鼠标事件；以及 手势事件选择单元，在通过所述手势事件决定单元决定的手势事件为所述规定的种类的情况下，选择通过所述手势事件决定单元决定的手势事件。
3.根据权利要求1或者2所述的数据处理装置，其特征在于， 所述手势事件决定单元包括判断单元，在由通过所述鼠标事件生成单元生成的第I鼠标事件示出的第I位置、与通过从生成了所述第I鼠标事件起规定时间以内生成的第2鼠标事件生成的第2位置之间的间隔不是规定的距离以上的情况下，所述判断单元判断为不决定手势事件。
4.根据权利要求3所述的数据处理装置，其特征在于， 所述浏览单元还包括: 保留单元，将通过所述鼠标事件生成单元生成的I个以上的鼠标事件保留至通过所述手势事件决定单元决定了手势事件时为止、或者通过所述判断单元判断为不决定所述手势事件时为止；以及指示单元,在通过所述选择单元选择所述I个以上的鼠标事件的组的情况下，将所保留的组中所包含的I个以上的鼠标事件输出到执行所述应用程序的任务，更新在所述嵌入区域中显示的嵌入图像。
5.根据权利要求4所述的数据处理装置，其特征在于， 所述浏览单元还包括删除单元，在通过所述选择单元选择所述I个以上的鼠标事件的组的情况下，在将所保留的组中所包含的I个以上的鼠标事件通过所述指示单元输出到执行所述应用程序的任务之后，该删除单元删除在所保留的所述组中包含的I个以上的鼠标事件，在通过所述选择单元选择手势事件的情况下，在通过所述选择单元选择了手势事件的时间点，该删除单元删除在所保留的所述组中包含的I个以上的鼠标事件。
6.根据权利要求1~5中的任一项所述的数据处理装置，其特征在于， 所述浏览单元还包括决定单元，该决定单元在所述手势事件被选择的情况下，通过执行所述多个种类的处理中的与被选择的所述手势事件对应的种类的处理，从而决定所述显示图像中的用于显示到所述显示单元的显示部分。
7.根据权利要求1~6中的任一项所述的数据处理装置，其特征在于， 所述控制单元还包括关联建立单元，该关联建立单元在安装所述浏览程序的阶段，与所述浏览程序对应地，关联与所述浏览程序所规定的所述多个种类的处理对应的多个手势事件， 所述手势事件决定单元以与通过所述鼠标事件生成单元生成的I个以上的鼠标事件的组对应的手势事件通过所述关联建立单元与所述浏览程序对应地与所述多个种类的处理的某一个建立有关联为条件，决定所述手势事件。
8.一种操作受理方法，是在数据处理装置中执行的操作受理方法，该数据处理装置包括:显示单元，能够显示图像；以及位置检测单元，在所述显示单元的显示面中，能够检测由用户指示的I个以上的位置，` 所述操作受理方法包括: 浏览步骤，执行浏览程序，从外部获取用置标语言描述的内容，将与所获取到的所述内容对应的显示图像的至少一部分显示到所述显示单元，并且与输入分别对应于通过所述浏览程序规定的多个种类的处理的多个手势事件中的某一个相应地，执行所述多个种类的处理中的与所输入的所述手势事件对应的种类的处理； 鼠标事件生成步骤，与通过所述位置检测单元检测出I个以上的位置相应地，生成鼠标事件，该鼠标事件包含表示所述I个以上的位置各个的位置信息；以及 手势事件决定步骤，基于在所述鼠标事件生成步骤中生成的I个以上的鼠标事件的组，决定多个手势事件中的某一个， 所述浏览步骤包括: 显示图像生成步骤，在所述内容包含显示执行与所述浏览程序不同的应用程序而生成的嵌入图像的描述的情况下，生成将执行所述应用程序而生成的嵌入图像配置到通过所述内容规定的嵌入区域中的显示图像；以及 选择步骤，在由成为了决定在所述手势事件决定步骤中决定的手势事件的基础的I个以上的鼠标事件中的某一个鼠标事件示出的位置处于所述嵌入区域内的情况下，基于所决定的所述手势事件的种类，选择在所述手势事件决定步骤中决定的手势事件和成为了决定该手势事件的基础的I个以上的鼠标事件的组中的某一方。
9.根据权利要求8所述的操作受理方法，其特征在于， 所述选择步骤包括: 鼠标事件选择步骤，在所述手势事件决定步骤中决定的手势事件不是规定的种类的情况下，选择成为了决定在所述手势事件决定步骤中决定的手势事件的基础的I个以上的鼠标事件；以及 手势事件选择步骤，在所述手势事件决定步骤中决定的手势事件为所述规定的种类的情况下，选择在所述手势事件决定步骤中决定的手势事件。
10.根据权利要求8或者9所述的操作受理方法，其特征在于， 所述手势事件决定步骤包括判断步骤，在所述判断步骤中，在由在所述鼠标事件生成步骤中生成的第I鼠标事件示出的第I位置与通过从生成了所述第I鼠标事件起规定时间以内生成的第2鼠标事件生成的第2位置之间的间隔不是规定的距离以上的情况下，判断为不决定手势事件。
11.根据权利要求10所述的操作受理方法，其特征在于， 所述浏览步骤还包括: 保留步骤，将在所述鼠标事件生成步骤中生成的I个以上的鼠标事件的组保留至通过所述手势事件决定步骤基于该组决定手势事件时为止、或者在所述判断步骤中判断为不决定所述手势事件时为止；以及 指示步骤，在所述选择步骤中选择所述I个以上的鼠标事件的组的情况下，将所保留的所述组中包含的I个以上的鼠标事件输出到执行所述应用程序的任务，更新在所述嵌入区域中显示的嵌入图像。
12.根据权利要求11所述的操作受理方法，其特征在于， 所述浏览步骤还包括删除步骤，在该删除步骤中，在所述选择步骤中选择所述I个以上的鼠标事件的组的情况下，在将所保留的所述组中包含的I个以上的鼠标事件在所述指示步骤中输出到执行所述应用程序的任务之后，删除在所保留的所述组中包含的I个以上的鼠标事件，在所述选择步骤中选择手势事件的情况下，在所述选择步骤中选择了手势事件的时间点，删除在所保留的所述组中包含的I个以上的鼠标事件。
13.根据权利要求8~12中的任一项所述的操作受理方法，其特征在于， 所述浏览步骤还包括决定步骤，在该决定步骤中，在所述手势事件被选择的情况下，通过执行所述多个种类的处理中的与所选择的所述手势事件对应的种类的处理，从而决定所述显示图像中的用于显示到所述显示单元的显示部分。
14.根据权利要求8~13中的任一项所述的操作受理方法，其特征在于， 还包括关联建立步骤，在该关联建立步骤中，在安装所述浏览程序的阶段，与所述浏览程序对应地，关联与所述浏览程序所规定的所述多个种类的处理对应的多个手势事件， 所述手势事件决定步骤包括如下步骤:以与在所述鼠标事件生成步骤中生成的I个以上的鼠标事件的组对应的手势事件在所述关联建立步骤中与所述浏览程序对应地与所述多个种类的处理的某一个建立有关联为条件，决定所述手势事件。
【文档编号】G06F3/01GK103853327SQ201310612708
【公开日】2014年6月11日 申请日期:2013年11月27日 优先权日:2012年11月28日
【发明者】伊藤步, 河本将之 申请人:柯尼卡美能达株式会社
相关技术
网友询问留言
已有0条留言
- 还没有人留言评论。精彩留言会获得点赞！
1