图像显示装置和图像显示方法

图像显示装置和图像显示方法
【专利摘要】本发明公开了一种图像显示装置和图像显示方法。所述图像显示装置包括：确定单元，其被配置为确定图像中包括的多个对象的显示的相继顺序；设置单元，其被配置为根据至少图像中包括的多个对象中的显示目标对象的尺寸设置缩放因数；缩放单元，其被配置为以设置单元设置的缩放因数缩放包括多个对象的整个图像；以及显示控制单元，其被配置为执行控制，以便在画面上显示部分图像，所述部分图像是缩放单元缩放的整个图像的一部分，并且所述部分图像包括显示目标对象以及围绕显示目标对象的区域，其中，显示控制单元执行控制，根据确定单元确定的显示的相继顺序将画面上显示的显示目标对象切换为图像中包括的多个对象中的下一个显示目标。
【专利说明】图像显示装置和图像显示方法
[0001 ] 本申请是针对申请日为2013年03月07日、申请号为201310079392.0、发明创造名称为“图像显示装置和图像显示方法”的发明申请的分案申请。
技术领域
[0002]本发明涉及一种适于在较小屏幕上浏览图像数据的图像显示装置和图像显示方法。
【背景技术】
[0003]传统上，在较小的图像显示装置上显示具有高像素的文档页面图像时，例如在个人计算机、个人数字助理(PDA)、智能手机、平板电脑等设备上，页面图像的各个部分被相继显示。常见的页面图像包括由各种布局元素构成的多个部分，例如段落、标题、图形、照片、表格等。为了阅读文档，用户需要反复执行滚动、放大和缩小操作，以便在图像显示装置上显示页面的期望的部分。
[0004]通过操作输入装置，例如开关、轮子、跟踪球、操纵杆和触摸屏，用户滚动、放大或缩小显示的部分。具体地，许多具有高精度触摸屏的图像显示装置能产生直接操作(或直接操纵)的感觉，例如通过滑动操作在竖直、水平和倾斜方向上滚动，通过捏大(pinch-out)操作进行放大，以及通过捏小(pinch-1 η)操作进行缩小。
[0005]日本专利JP4094512讨论了一种技术，其根据阅读文档图像的顺序通过一维操作(向右箭头键操作)实现屏幕的二维滚动，从而以100%的缩放比例在屏幕上顺次显示文档图像的各个区域。
[0006]然而，由于用户需通过滑动操作而在期望的方向滚动显示的部分、通过捏大操作放大显示的部分以及通过捏小操作缩小显示的部分，以便能够在页面上顺次阅读图像，因此显示的部分的尺寸和位置需要微调才能使用户期望的显示范围和屏幕匹配。这样的处理很繁琐。
[0007]由于日本专利JP4094512讨论的技术响应于箭头键的操作而根据阅读的顺序以100%的缩放比例顺次显示各个区域，这种技术不能调整各区域的显示尺寸。日本专利JP4094512讨论的技术假定用户利用箭头键执行操作，而不考虑这种情况:用户可以执行滑动操作和缩放操作。

【发明内容】

[0008]本发明的一个方面提供了一种用于显示包含多个对象的图像的图像显示装置，所述图像显示装置包括:设置单元，其中如果指定了用于显示包含在所述图像中的每个对象的第一显示模式，那么设置单元则根据显示目标对象的属性设置显示缩放比例和显示位置；以及显示控制单元，显示控制单元根据设置单元设置的显示缩放比例和显示位置执行控制，以便在屏幕上显示包含所述显示目标对象的图像。
[0009]根据本发明的示例性实施方式，用于显示对象的第一显示模式能够根据各个对象的属性以易于浏览的形式在屏幕上显示每个对象。
[0010]根据下述示例性实施方式的详细描述并结合附图，本发明的其他特征及各方面将显而易见。
【附图说明】
[0011]附图包含在说明书中并构成说明书的一部分，附图描述了本发明的示例性实施方式、特征和各方面，并和说明书一起用于解释本发明的原理。
[0012]图1是方块图，其示出了本发明第一示例性实施方式的图像处理系统。
[0013]图2是方块图，其示出了图1所示的多功能外围设备(MFP)。
[0014]图3是流程图，其示出了第一示例性实施方式的第一数据处理。
[0015]图4是流程图，其示出了第一示例性实施方式的从扫描仪读取图像的处理。
[0016]图5是流程图，其示出了第一示例性实施方式的从个人计算机将数据转换为位图数据的处理。
[0017]图6是流程图，其示出了第一示例性实施方式的元数据附加处理。
[0018]图7展示了示例对象分割的结果。
[0019]图8展示了执行对象分割时的块信息和对每种属性输入的文件信息。
[0020]图9是流程图，其示出了第一示例性实施方式的矢量化处理。
[0021]图1O展示了矢量化处理中的角度提取处理。
[0022]图11展示了矢量化处理中的轮廓线条收集处理。
[0023]图12是流程图，其示出了基于轮廓的矢量化处理。
[0024]图13展示了第一示例性实施方式的矢量化处理得到的数据。
[0025]图14是流程图，其示出了应用图像数据生成处理。
[0026]图15是流程图，其示出了文档结构树生成处理。
[0027]图16展示了被执行文档结构树生成处理的文档。
[0028]图17展示了经过图15所示的处理生成的文档结构树。
[0029]图18展示了本发明第一示例性实施方式的可缩放矢量图形(SVG)格式的一个例子。
[0030]图19是方块图，其示出了PDA的配置。
[0031]图20是方块图，其示出了PDA的软件模块配置。
[0032]图21A至21L展示了发生各事件时的手势事件的名称以及将发送的信息。
[0033]图22是流程图，其示出了PDA接收应用图像数据时执行的处理。
[0034]图23展示了PDA的触摸式用户界面(UI)的示例性屏幕显示。
[0035]图24是方块图，其示出了与应用图像数据的操作控制相关的软件模块的配置。
[0036]图25是流程图，其示出了第一示例性实施方式的模式改变处理。
[0037]图26A、26B展示了PDA的触摸式UI的示例性屏幕显示。
[0038]图27是流程图，其示出了第一示例性实施方式的局部区域显示范围确定处理。
[0039]图28是流程图，其示出了第一示例性实施方式的下一个对象选择处理。
[0040]图29是流程图，其示出了第一示例性实施方式的上一个对象选择处理。
[0041]图30是流程图，其示出了第一示例性实施方式的移动范围限制处理。
[0042]图31是流程图，其示出了第一示例性实施方式的缩小时显示模式改变处理。
[0043]图32是流程图，其示出了第一示例性实施方式的对象选择处理。
[0044]图33A、33B展示了PDA的触摸式UI的示例性屏幕显示。
[0045]图34A、34B展示了PDA的触摸式UI的示例性屏幕显示。
[0046]图35A、35B、35C展示了PDA的触摸式UI的示例性屏幕显示。
[0047]图36A、36B、36C展示了PDA的触摸式UI的示例性屏幕显示。
[0048]图37是流程图，其包括图37A、37B，展示了本发明第二示例性实施方式的移动范围限制处理。
【具体实施方式】
[0049]下文将结合附图详细描述本发明的各种示例性实施方式、特征以及各方面。
[0050]图1是方块图，其示出了本发明第一示例性实施方式的图像处理系统的配置。
[0051 ] 参照图1，具有多种功能(复印、打印、发送功能等W^MFP 100和客户端PC 101通过建立在办公室内的局域网(LAN)102连接。另外，代理服务器103、文档管理服务器106、文档管理服务器106的数据库105以及PDA(便携式信息终端)107通过有线方式或无线方式和LAN102连接。LAN 102通过代理服务器103和网络104连接。在客户端PC 101向MFP 100发送打印数据时，例如，基于所述打印数据的打印产品可以在MFP 100上打印。图1所示的配置可以看作是一个例子。具有相似配置的多个办公室可以连接至网络104。
[0052]各个终端(例如客户端PC 101以及代理服务器103)均配置有配置在通用型计算机上的标准元件(如中央处理单元(CPU)、随机存取存储器(RAM)、只读存储器(R0M)、硬盘、网络接口(I/F)、显示器、键盘、鼠标等)。网络104典型地被应用为下列任一种之一:因特网、LAN、广域网(WAN)、电话线、租用的数字网络、异步传输模式(ATM)的帧中继网络、通信卫星网络、有线电视网络以及数字广播用的无线网络。当然，只要能实现数据发送和接收，网络104也可以是由上述网络组合而成的通信网络。
[0053]图2是方块图，其示出了图1所示的MFP100的功能配置。参照图2，MFP 100包括图像读取单元110、存储装置(下文称为“盒子(BOX)”)111、记录装置112、数据处理装置115、输入装置113、显示装置116以及网络接口 114。图像读取单元110配置有自动文档进纸器(下文称为ADF)。成束的纸或一张纸的图像被来自光源的光照射，然后反射的图像通过透镜形成在固态图像传感器上。固态图像传感器生成含有预定分辨率(例如600dpi)和预定亮度级(例如8字节)的图像读取信号。基于图像读取信号，形成包括栅格数据的图像数据。执行普通复印功能时，图像读取单元110获取位图图像数据，数据处理装置115对位图图像数据实施扫描图像处理(下文描述)从而将位图图像数据转换成记录信号，然后记录装置112形成图像(输出打印产品)。在复印多张纸时，数据处理装置115首先在盒子111中存储一页的记录信号，然后向记录装置112顺次输出记录信号，从而在记录纸上形成记录图像。MFP 100经由LAN 102和网络接口 114接收从客户端PC 101 (或其他通用型PC(未示出))的驱动程序输出的页面描述语言(PDL)数据，然后基于接收到的TOL数据在记录装置112中记录图像。具体地，从客户端PC 101的驱动程序输出的TOL数据从LAN 102输入，经由网络接口 114输入至数据处理装置115。然后，MFP 100翻译并处理所述语言，以便将图像数据转换成可记录的记录信号，然后将记录信号以记录图像的形式记录在记录纸上。
[0054]盒子111配置有存储通过绘制来自图像读取单元110的数据而生成的数据的功能，以及存储由客户端PC 101经由驱动程序输出的TOL数据的功能。MFP 100经由配置在其自身上的键操作单元(输入装置113)而被操作。操作和输入状态被显示在显示装置116上。
[0055]下文将结合图3描述本示例性实施方式的生成应用图像数据的处理。
[0056]图3是流程图，展示了基于MFP100的图像读取单元110获取的位图图像数据和通过在MFP 100中绘制由客户端PC 101上的应用软件生成的文档而生成的位图图像数据，用于生成将显示在PDA 107上的、具有预定格式(下文称为应用图像数据)的数据的处理。
[0057]在步骤S301中，数据处理装置115向位图图像数据实施对象分割处理，从而将其分割为多个具有不同属性的对象。经过对象分割后的对象属性类型包括文本、照片、图形(图画、线条图、表格和线条)以及背景。在步骤S302中，数据处理装置115判定每个分割对象的对象类型(文本、照片、图形或背景)。若有对象被判定为照片或背景(在步骤S302中为“照片/背景”)，那么在步骤S303中，数据处理装置115向相关对象的位图图像实施JPEG压缩。若相关对象被判定为文本或图形(在步骤S302中为“文本/图形”)，那么在步骤S304中，数据处理装置115向所述相关对象实施矢量化处理，以便将所述相关对象转换为路径数据(矢量数据)。在步骤S305中，数据处理装置115判定相关对象是否为文本。若相关对象被判定为文本(在步骤S305中为“文本”)，那么在步骤S308中，数据处理装置115向所述相关对象实施光学字符识别(OCR)处理，以便得到字符编码数据(即经过OCR处理后得到的字符编码数据)。数据处理装置115将在步骤S303和S304中得到的每个对象的数据(JPEG数据或矢量数据)和在步骤S308中得到的字符编码数据收集到一个文件中。在步骤S306中，数据处理装置115向每个对象附加最合适的元数据。在步骤S307中，基于每个被附加元数据的对象，数据处理装置115生成可以在PDA 107上显示的应用图像数据。在步骤S309中，数据处理装置115向PDA107发送生成的应用图像数据。
[0058]下文将结合图4、图5描述本示例性实施方式的生成位图图像数据(文档图像数据)的处理。图4是流程图，展示了利用MFP 100的图像读取单元110执行的位图图像数据生成处理。图5是流程图，展示了利用客户端PC 101上的应用程序执行的位图图像数据生成处理。数据处理装置115对由图4、图5所示的流程图中的处理生成的位图图像数据实施图3所示的处理。
[0059]下文将结合图4描述利用MFP100的图像读取单元110执行的处理。在步骤S401中，图像读取单元110读取图像作为位图图像数据。在步骤S402中，根据图像读取单元110，数据处理装置115对位图图像数据实施扫描图像处理。扫描图像处理是指，例如，彩色处理和过滤处理。
[0060]下文将结合图5描述利用客户端PC101上的应用程序执行的处理。在步骤S501中，利用客户端PC 101上的应用程序产生的数据经由客户端PC 101上的打印驱动程序被转换为打印数据，然后被发送至MFP 100。打印数据是指PDL数据，例如LBP图像处理系S(LIPS)(商标)和Postscript(商标)。在步骤S502中，数据处理装置115经由存在于MFP 100中的解释程序生成显示列表。在步骤S503中，数据处理装置115绘制所述显示列表，从而生成位图图像数据。
[0061]下文将结合图6中的流程图详细描述图3所示的步骤S306中的附加元数据的处理。
[0062]在步骤S601中，数据处理装置115选择最近的存在于每个被分割的在步骤S301中形成的对象附近的文本对象。在步骤S602中，数据处理装置115对选择的对象实施形态分析。在步骤S603中，数据处理装置115向每个对象附加在步骤S602中经过形态分析得出的结果中提取的词语作为元数据。
[0063]不仅能够通过形态分析生成元数据，还可以通过图形特征数量提取和语法分析生成元数据。数据处理装置115可在MFP 100的盒子111和数据库105中存储的文档以及这些文档包含的对象中执行类似的图像检索，然后与具有高相似性的相似图像的对象执行关联处理。
[0064]下文将结合图7、图8详细描述在步骤S301中执行的对象分割处理。图7展示了经过将位图图像数据分割为多个对象的对象分割处理后得到的结果的一个例子。图8展示了在执行对象分割时的每个对象的块信息和输入文件信息。
[0065]在步骤S301中，数据处理装置115对输入的图像(如图7左侧所示)实施对象分割处理，以便将其分割成具有不同属性的长方形块(如图7右侧所示)。如上所述，长方形块的属性包括文本、照片以及图形(图画、线条图、表格和线条)。作为对象分割处理的示例方法，以以下方式执行处理。首先，数据处理装置115对存储在MFPl 00的RAM(未示出)中的图像数据实施单色二值化处理，以便提取出被黑色像素轮廓包围的黑色像素群(即被黑色像素连接的部分)。然后，数据处理装置115评估以此方式提取的黑色像素群的尺寸，并对具有预定尺寸值或更大尺寸值的黑色像素群中的白色像素群(即被白色像素连接的部分)实施轮廓追踪处理。然后，数据处理装置115评估白色像素群的尺寸，并对白色像素群中的黑色像素群实施轮廓追踪处理。利用此种方式，只要内部像素群具有预定尺寸值或更大尺寸值，那么数据处理装置115就重复执行内部像素群提取和轮廓追踪处理。例如，以像素群的面积评估像素群的尺寸。数据处理装置115生成长方形块，所述长方形块限定以上述方式获取的像素群并基于生成的长方形块的尺寸和形状判定属性。例如，具有接近I的宽高比和固定尺寸的长方形块被认为是相当于文本的块，它很有可能是文本区域长方形块。如果距离很近的相当于文本的块规整地对齐，那么数据处理装置115就通过收集这些相当于文本的块生成新的长方形块，并将新的长方形块识别为文本区域长方形块。包含扁平的像素块的黑色像素块或具有预定尺寸值或更大尺寸值的规整地对齐的长方形白色像素块被认为是图形区域长方形块。具有不规则形状的像素块被认为是照片区域长方形块。
[0066]在步骤S301中，对于每一个以此方式生成的长方形块来讲，数据处理装置115均生成块信息(包括属性等)并输入如图8所示的文件信息。参照图8，块信息包括属性、X坐标和Y坐标的位置、宽度W、高度H以及每个块的OCR信息。属性由数字1、2、3表示，分别代表文本区域长方形块、照片区域长方形块和图形区域长方形块。X坐标和Y坐标是输入图形的每个长方形块的起点(左上角的坐标值)的X坐标和Y坐标。宽度W是长方形块在X坐标方向上的宽度，高度H是长方形块在Y坐标方向上的高度。OCR信息表示是否存在经过步骤S308中的OCR处理后生成的字符编码数据的指针信息。输入的文件信息包括块的总数N，其代表长方形块的数目。
[0067]每个长方形块的块信息将被用于具体区域的矢量化处理。在合并具体的区域和其他区域时，块信息能够允许识别相对位置关系、合并矢量化区域和位图区域并保持输入图像的布局。
[0068]下文将结合图9所示的流程图详细描述图3所示的步骤S304中的矢量化处理。
[0069]在步骤S901中，数据处理装置115判定具体区域是否是文本区域长方形块。若该具体区域被判定为文本区域长方形块(在步骤S901中为“是”)，那么处理就推进至步骤S902和后续步骤。否则，若该具体区域被判定不是文本区域长方形块(在步骤S901中为“否”)，那么处理就推进至步骤S912。
[0070]在步骤S902至S907中，数据处理装置115利用图案匹配等方法执行字符识别处理，以便得到相应的字符编码。例如在步骤S902中，数据处理装置115获取具体区域中关于像素值的横向和纵向投影，以判定该具体区域是横向书写还是纵向书写(判定排版方向)。在步骤S903中，数据处理装置115评估在步骤S902中获取的投影的方差。若横向投影的方差比较大，那么数据处理装置115就判定为横向书写。若纵向投影的方差比较大，那么数据处理装置115就判定为纵向书写。在步骤S904中，基于在步骤S903中获得的评估结果，数据处理装置115判定排版方向、剪切行，然后剪切字符以便获取文本图像。具体地，数据处理装置115将文本图像分解为字符串和字符。如果是横向书写的文本区域，那么数据处理装置115基于横向投影点击行，并基于所剪切的行的纵向投影剪切字符。如果是纵向书写的文本区域，那么数据处理装置115以相反的方式执行处理。(具体地，数据处理装置115基于纵向投影剪切列，并基于所剪切的列的横向投影剪切字符。)在剪切行和字符时，可以检测出字符尺寸。在步骤S905中，对于在步骤S904中剪切的每个字符，通过将所述特征(从所述文本图像中获取的)转换为具有几十维数的数字序列，数据处理装置115提取出观察特征矢量。已知有多种提取特征矢量的技术。例如，一种技术将字符分割为网格模式，计算每个网格中字符的行数作为每个方向的线素，然后提取具有等于所计算的值的维数的特征矢量。在步骤S906中，数据处理装置115将在步骤S905中得到的观察特征矢量和预先获取的每种字体类型的词典特征矢量作比较，以计算观察特征矢量和词典特征矢量之间的距离。在步骤S907中，数据处理装置115评估在步骤S906中计算出的距离，并将具有最短距离的字体类型作为字符识别的结果。
[0071]在步骤S908中，数据处理装置115判定在步骤S907中的距离评估处理中获得的最短距离是否大于预定值，即判定相似度。若最短距离被判定为等于或大于预定值(为低相似度)，那么就有可能错误地将字符识别为词典特征矢量中具有相似形状的其他字符。于是，若最短距离被判定为等于或大于预定值(为低相似度，即在步骤S908中为“低”)，那么数据处理装置115就不采用步骤S907中的字符识别结果，然后处理推进至步骤S911。相反，若最短距离被判定为小于预定值(为高相似度，即在步骤S908中为“高”)，那么数据处理装置115就采用步骤S907中的字符识别结果，然后处理推进至步骤S909。
[0072]在步骤S909中，数据处理装置115识别字体类型。为了方便在字符识别时的使用，对多种字体类型(即字符形状)准备了多个词典特征矢量。在执行图案匹配时，同时输出字体类型和字体编码以允许字体识别。在步骤S910中，基于在字符识别和字体识别处理中获得的字符编码和字体信息，数据处理装置115利用为每个字符准备的轮廓数据将每个字符转换为矢量数据。若输入的图像是彩色图像，那么数据处理装置115从该彩色图像中提取每个字符的颜色，然后记录所述颜色以及所述矢量数据。
[0073]在步骤S911中，数据处理装置115以与处理图形类似的方式勾画字符的轮廓。具体地，对于很有可能被错误地识别的字符，数据处理装置115生成明显符合位图数据格式的轮廓矢量数据。
[0074]在步骤S912中(在具体区域不是文本区域长方形块时，即具体区域是图形区域长方形块时)，数据处理装置115基于图像的轮廓实施矢量化处理。
[0075]上述处理能够允许将属于文本和图形区域长方形块的图像信息转换为矢量数据。
[0076]下文将结合图10-12详细描述在步骤S912中对图形区域长方形块实施的矢量化处理。基于从相关区域中提取的黑色像素群的轮廓，数据处理装置115对图形区域长方形块实施矢量化处理。图10展示了矢量化处理中的角度提取处理。图11展示了矢量化处理中的轮廓线条收集处理。图12是流程图，其详细展示了图形区域中的矢量化处理。在图12所示的步骤S1201中，数据处理装置115检测“角”，所述“角”将曲线分割为多个部分(像素行)以代表作为直线和/或曲线的组合的线条图。角是指曲率被最大化的点。如图10所示，数据处理装置115以以下方式判定曲线上的像素Pi是否为角。具体地，像素Pi_k、Pi+k分别被沿着所述曲线在两个方向上以预定距离与像素Pi隔开，所述预定距离用像素数(k)表示。像素P1-k、Pi+k由线段L连接。像素P1-k、Pi+k之间的距离为dl。线段L、Pi之间的距离为d2。像素P1-k、Pi+k之间的沿着所述曲线的弧长为A。当距离d2最大时或dl/A的比值等于或小于预定值时，数据处理装置115就判定像素Pi是角。然后，数据处理装置115使由所述角分割的像素行近似为直线或曲线。近似直线的处理是利用最小平方的方法实现的，近似曲线的处理是利用三次样条函数实现的。分割像素行的角的像素作为近似直线或曲线的起点或终点。数据处理装置115进一步判定矢量化轮廓中是否存在白色像素群的内部轮廓。若判定存在内部轮廓，则数据处理装置115使内部轮廓矢量化。同样，只要存在内部轮廓，数据处理装置115就反复使倒置的像素的内部轮廓矢量化。如上所述，利用轮廓分割线近似法能够使具有任何形状的图形的轮廓矢量化。若原始文档是彩色的，那么数据处理装置115从彩色图像中提取图形的颜色，并记录所述颜色以及矢量数据。
[0077]在步骤S1202中，若在步骤S1201中获得的轮廓线距离很近，那么数据处理装置115则收集这些轮廓线以形成具有一定粗度的线条。如图11所述，若外部轮廓PRj与内部轮廓PRj+Ι或某一目标部分中的另一外部轮廓距离很近，那么数据处理装置115可以收集两个或更多轮廓线条，并用具有一定粗度的线条表示它们。例如，数据处理装置115计算轮廓PRj+1上的像素Pi和轮廓PRj上的像素Qi之间的最短距离PQi。利用距离PQi的较小方差，数据处理装置115可利用沿像素Pi和Qi之间的中点Mi的点序列的直线或曲线接近目标部分。例如，近似直线和近似曲线的粗度被认为是距离PQi的平均值。将平板划线(线条和线条组)作为具有一定粗度的线条组有助于有效的矢量表达。
[0078]在步骤S1203中，数据处理装置115计算每部分矢量数据的起点和终点。
[0079]在步骤S1204中，数据处理装置115基于在步骤S1203中获得的起点和终点检测图形要素。图形要素是指由分段线组成的闭合图形。为了检测图形要素，数据处理装置115连接作为起点和终点的共角的像素处的矢量。这一处理是基于以下原理:每个组成闭合形状的矢量在其两端有连接矢量。
[0080]在步骤S1205中，基于矢量数据，数据处理装置115去除两端未被连接的不必要的矢量以便只提取形成闭合图形的矢量。
[0081]在步骤S1206中，从任意矢量的边缘点(起点或终点)开始，数据处理装置115依次检索在固定方向上形成闭合图形的每个矢量，例如在顺时针方向上。具体地，在相关矢量的另一边缘点处，数据处理装置115检索其他矢量的边缘点，并将处于预定距离内最近的边缘点作为连接矢量的边缘点。在数据处理装置115完成形成所述闭合图形的所有矢量的检索后(并回到起点)，数据处理装置115收集所有被追踪的矢量，将其作为形成图形要素的闭合图形。数据处理装置115也收集存在于闭合图形中的形成所述闭合图形的所有矢量。数据处理装置115从未被收集的矢量的起点开始进一步重复同样的处理。
[0082]在步骤S1207中，在步骤S1205中被去除的不必要的矢量中，数据处理装置115检测具有接近在步骤S1206中被归类为闭合图形的任意矢量的边缘点的矢量，并将被检测的矢量归类为图形要素。这样能允许存在于图形要素中的其他图形要素或分段线形成图像对象。进一步，如果图形要素中不存在其他图形要素或分段线，数据处理装置115则将所述图形要素看作是图像对象。
[0083]上述处理能够允许将图形区域长方形块转换为矢量对象。
[0084]下文将结合图13、14详细描述步骤S307中生成应用图像数据的处理。图13展示了第一示例性实施方式的矢量化处理得到的数据配置。图14是流程图，其详细示出了应用图像数据生成处理。
[0085]在步骤S1401中，数据处理装置115获取在步骤S304中的矢量化处理中生成的中间数据。在本示例性实施方式中，认为中间数据将被以文档分析输出格式(下文称为DA0F)存储。如图13所示，DAOF包括标题1301、布局描述数据部分1302、字符识别描述数据部分130 3、表格描述数据部分1304以及图像描述数据部分1305。标题1301存储关于目标输入图形的信息。布局描述数据部分1302存储关于输入图像的长方形块的属性的信息，例如文本、图形(线条图、图画、表格和线条)、照片等以及属性已被识别的长方形块的位置信息。字符识别描述数据部分1303存储通过字符识别得到的来自文本区域长方形块的字符识别结果。表格描述数据部分1304存储具有表格属性的图形区域长方形块的详细表格结构。在命令执行矢量化处理的具体区域中，图像描述数据部分1305存储通过矢量化处理得到的块的内部结构以及表示图像形状和字符编码的数据组。在所述具体区域以外的未被执行矢量化处理的长方形块中，图像描述数据部分1305存储被分割为对象的位图图像数据。
[0086]在步骤S1402中，数据处理装置115生成文档结构树(下文描述)。
[0087]在步骤S1403中，基于生成的文档结构树，数据处理装置115获取DAOF中的实际数据以生成应用图像数据(下文描述)。
[0088]下文将结合图15-17描述在步骤S1402中生成文档结构树的处理。图15是流程图，其示出了文档结构树生成处理。图16展示了被执行文档结构树生成处理的示例文档。图17展示了经过文档结构树生成处理后生成的文档结构树。
[0089]作为如图15所示的文档结构树生成处理总体控制的基本规则，处理流程从小块(单长方形块)切换至大块(长方形块组)。下文中，“长方形块”是指小块和大块。
[0090]在步骤S1501中，数据处理装置115基于在竖直方向上的关系以长方形块为单位使长方形块重新归类。尽管可能会重复执行图15所示的处理，但是在归类处理开始后，数据处理装置115立即以小块为单位做决定。所述关系由以下特征定义:例如短距离以及几乎相同的块宽度(如果在横向上就是块的高度)。提取以下信息，称之为DAOF:例如距离、宽度和高度。例如，参照图16所示的文档，长方形块Tl、T2被横向地置于顶部。横向分离器SI位于长方形块Tl、Τ2下方。长方形块Τ3-Τ7位于横向分离器SI下方。长方形块Τ3-Τ5在竖直方向上被布置在横向分离器SI下方的区域的左半部分。长方形块Τ6-Τ7在竖直方向上被布置在横向分离器SI下方的区域的左半部分。在数据处理装置115基于在步骤S1501中的竖直方向上的关系执行归类处理时，长方形块T3-T5被归类为Vl组(长方形块)，长方形块T6-T7被归类为另一组一V2组(长方形块KVUV2组属于同一层级。
[0091]在步骤S1502中，数据处理装置115检查是否存在竖直分离器。分离器是在DAOF中具有线条属性的对象，并具有清晰地分割块的功能。若检测到分离器，那么数据处理装置115就在目标层级中将输入图像的区域分割为右侧部分和左侧部分。图16所示的文档中不存在竖直分离器。
[0092]在步骤S1503中，数据处理装置115判定在竖直方向上各组高度的总和是否等于输入图像的高度。具体地，在执行横向归类并同时在目标区域内在竖直方向上(例如从上往下)移动时，数据处理装置115判定各组高度的总和是否等于输入图像的高度，从而判定对整个输入图像的归类处理是否完成。若判定归类处理已经完成(在步骤S1503中为“是”)，那么处理退出流程图。相反，若判定归类处理没有完成(在步骤S1503中为“否”)，那么处理推进至步骤S1504。
[0093]在步骤S1504中，数据处理装置115基于横向上的关系执行归类处理。这样，例如，图16所示的长方形块Tl、T2被归类到Hl组(长方形块)中，长方形块Vl、V2被归类到H2组(长方形块)中。H1、H2组属于同一层级。在此情况下，在归类处理开始后，数据处理装置115即刻以小块为单位做出判定。
[0094]在步骤S1505中，数据处理装置115检测是否存储横向分离器。若检测到横向分离器，那么数据处理装置115就利用所述分离器作为目标层级的边界，在竖直方向上分割输入图像的区域。图16中有横向分离器SI。上述处理的结果被记录为图17所示的树形。参照图17，输入的I页位图图像数据VO的最高层级中具有组H1、H2以及分离器SI。第二层级的长方形块T1、T2属于Hl组。第二层级的V1、V2组属于H2组。第三层级的长方形块T3-T5属于Vl组。第三层级的长方形块T6-T7属于V2组。在本示例性实施方式中，VO代表页码，页码VO下的各层级的其他元素都是对象。
[0095]在步骤S1506中，数据处理装置115判定横向的组的总长度是否等于输入图像的宽度，以便判定对于整个输入图像的横向归类处理是否完成。若判定横向的组的总长度等于输入图像的宽度(在步骤S1506中为“是”)，那么处理退出流程图(结束文档树生成处理)。若判定横向的组的总长度不等于输入图像的宽度(在步骤S1506中为“否”)，那么处理返回至步骤S1501，以便从更高层级中在竖直方向上的关系检测开始重复上述处理。
[0096]下文将结合图18描述本示例性实施方式的应用图像数据的示例格式。在本示例性实施方式中，可缩放矢量图形(SVG)格式被用作应用图像数据的示例格式。
[0097]参照图18，对各对象的解释被围在方框1801-1804中。每个对象都有区域信息，区域信息表示对象所处的区域以及在DAOF的实际数据中获得的图画元素。另外，也可能存在仅有区域信息而没有图画元素的对象(例如，图17所示的Hl、H2、V1、V2)。具有照片属性的方框1801表示关于照片对象的区域的区域信息以及作为图画元素的位图信息。方框1802表示关于文本对象的信息。方框1803表示作为矢量化对象的方框1802的内容。方框1804表示图形对象，例如线条图。
[0098]尽管在本示例性实施方式中用SVG格式来描述应用图像数据，但是格式并不局限于此，也可以是能够完成描述并保持文档的意思和结构的任何图像格式。
[0099]图19是方块图，其示出了本示例性实施方式的PDA107的示例配置。
[0100]PDA 107包括主板1900、液晶显示器(LCD) 1901、触摸板1902以及按钮装置1903。LCD 1901和触摸板1902—起被称为触摸式UI 1904。
[0101]主板1900主要包括cpu 1905、无线局域网模块1906、电力供给控制器1907、显示器控制器(DISPC) 1908、面板控制器(PANELC) 1909、R0M 1910,RAM 1911、次级电池1912以及计时器1913。模块1905-1913通过总线(未示出)互相连接。
[0102]CPU 1905是控制连接到总线的各模块的处理器，并将存储在ROM 1910中的软件模块2000(下文描述)加载到RAM 1911中。RAM 1911作为CPU 1905的主存储器和工作区域、将视频图像显示到IXD 1901上的区域以及从MFP 100发送的上述应用图像数据的存储区域。
[0103]DISPC 1908响应于来自CPU 1905的请求，迅速切换加载到RAM 1911中的视频图像输出数据，并向IXD 1901输出同步信号。然后，RAM 1911中的视频图像和DISPC1908的同步信号同时被输入到IXD 1901，然后IXD 1901上显示相关的图像。
[0104]PANELC 1909响应于来自CPU 1905的请求，控制触摸板1902以及按钮装置1903。利用这些控制，由手指或指示装置(记录笔)按压到触摸板1902上的位置以及按压到按钮装置1903上的按键编号被通知给CPU 1905。关于按压位置的信息包括代表触摸板1902在横向上的绝对位置的坐标值(下文称为横坐标)以及代表触摸板1902在纵向上的绝对位置的坐标值(下文称为纵坐标)。触摸板1902能够检测出多个按压电的位置并将关于多个按压点的位置的信息告知给CPU 1905。
[0105]电力供给控制器1907与外部电源(未示出)相连接，以便从外部电源接收电力。在电力供给控制器1907向整个TOA 107供电的同时，也对与电力供给控制器1907连接的次级电池1912充电。如果外部电源不供给电力，那么电力供给控制器1907从次级电池1912向整个PDA 107供电。
[0106]无线局域网模块1906在CPU 1905的控制下和与上述LAN 102连接的无线接入点(未示出)上的无线局域网模块建立无线通信，以便作为与TOA 107通信的中介。无线局域网模块1906的例子是IEEE 802.1lb0
[0107]计时器1913在CPU 1905的控制下向手势事件生成单元2001生成时钟中断，下文将详细描述。
[0108]图20是方块图，示出了由TOA107的CPU 1905执行的软件模块2000的配置。下文将描述软件模块2000的各个单元。
[0109]手势事件生成单元2001响应于用户的触摸输入生成各种手势事件(下文将描述)，并将生成的手势事件发送给手势事件处理单元2002。接收到由手势事件生成单元2001生成的手势事件后，手势事件处理单元2002根据接收到的手势事件和应用图像数据中描述的文档结构执行处理。画图单元2003根据手势事件处理单元2002的处理结果在LCD 1901上画出从MFP 100发送的应用图像数据。下文将描述显示应用图像数据的方法。
[0110]图21A至21L展示了发生各事件时由手势事件生成单元2001生成的手势事件的名称以及将向手势事件处理单元2002发送的信息。
[0111]图21A展示了触压事件。当触压事件发生时，触摸坐标的最新坐标值和最新触摸坐标数被发送给手势事件处理单元2002。触摸坐标是指用户的手指在触摸板1902上触摸的点的一对坐标值(横坐标和纵坐标)。触摸坐标数是指用户的手指在触摸板1902上触摸的触摸坐标的数目。出现下列情况时触摸坐标就被更新:当用户的手指触摸到触摸板1902时；当手指在触摸板1902上移动时；当手指从触摸板1902上离开时；以及当计时器1913发出中断时。
[0112]图21B展示了滑动事件。当发生滑动事件时，最新触摸坐标的坐标值以及基于最新触摸坐标的坐标值和上次触摸坐标的坐标值之间的差别计算出的移动距离被发送至手势事件处理单元2002。滑动是指在任何方向上移动指尖(和划动运动相似)且同时保持与触摸板1902接触的运动。
[0113]图21C展示了捏小事件。当发生捏小事件时，两点的最新的触摸坐标的平均坐标值以及基于连接两点的触摸坐标的直线减少的距离计算出的捏小缩小倍率被发送至手势事件处理单元2002。捏小是指使两个指尖互相靠近(与夹捏运动相似)且同时保持与触摸板1902接触的运动。
[0114]图21D展示了捏大事件。当发生捏大事件时，两点的最新的触摸坐标的平均坐标值以及基于连接两点的触摸坐标的直线增加的距离计算出的捏大放大倍率被发送至手势事件处理单元2002。捏大是指使两个指尖互相分离(与放宽运动相似)且同时保持与触摸板1902接触的运动。
[0115]图21E展示了两点滑动事件。当发生两点滑动事件时，两点的最新的触摸坐标的坐标值以及基于两点的最新触摸坐标的坐标值和两点的上次触摸坐标的坐标值之间的差别计算出的移动距离被发送至手势事件处理单元2002。当两点的触摸坐标在同一方向上移动时就发生两点滑动事件。
[0116]图21F展示了旋转事件。当发生旋转事件时，基于连接两点的最新触摸坐标计算出的旋转中心坐标值以及基于两点的最新的触摸坐标的坐标值和上次触摸坐标的坐标值计算出的旋转角被发送至手势事件处理单元2002。旋转是指使两个指尖相对于触摸板1902旋转且同时保持与触摸板1902接触的运动。
[0117]图21G展示了轻拂事件。当发生轻拂事件时，最新的触摸坐标的坐标值以及基于最新的和上次的坐标值计算出的手指的移动速度被发送至手势事件处理单元2002。轻拂是指在滑动操作过程中从触摸板1902离开(与弹起运动相似)的运动。
[0118]图21H展示了触摸释放事件。当发生触摸释放事件时，在用户的手指从触摸板1902离开时的最新的触摸坐标的坐标值以及坐标的数目被发送至手势事件处理单元2002。
[0119]图211展示了双击事件。当发生双击事件时，最新的触摸坐标的坐标值被发送至手势事件处理单元2002。双击是指在预定时间段内发生一次单击事件(下文描述)的事件。
[0120]图21J展示了单击事件。当发生单击事件时，最新的触摸坐标的坐标值被发送至手势事件处理单元2002。单击是指在预定时间段内发生上述触压事件然后发生触摸释放事件的事件。
[0121]图21K展示了长击事件。当发生长击事件时，最新的触摸坐标的坐标值被发送至手势事件处理单元2002。长击是指发生上述触压事件经过预定时间段后发生触摸释放事件的事件。
[0122]图21L展示了触摸-保持事件。当发生触摸-保持事件时，最新的触摸坐标的坐标值被发送至手势事件处理单元2002。触摸-保持是指从用户的手指触摸所述触摸板1902以后经过预定时间段用户的手指仍然与触摸板1902保持接触而没有移动的事件。
[0123]尽管在上述例子中用户使用手指用于触摸输入，但也可使用记录笔。
[0124]下文将结合图22-23描述本示例性实施方式的TOA107在接收到应用图像数据以后执行的处理。图22是流程图，展示了 TOA 107在接收到应用图像数据以后执行的处理。图23展示了本示例性实施方式的PDA 107的触摸式UI 1904的示例屏幕显示。
[0125]在步骤S2200中，PDA 107经由无线局域网模块1906从MFP 100接收应用图像数据，并将接收到的应用图像数据存储在RAM 1911中。
[0126]在步骤S2201中，PDA 107分析存储在RAM 1911中的应用图像数据的语法，并读取第一页以及第一页包含的对象。
[0127]在步骤S2202中，画图单元203根据每个对象的起点坐标、宽度和高度对读取的第一页包含的所有对象(背景、文本、照片和图形)进行绘制，以刷新触摸式UI 1904的屏幕显示。在此情况下，如图23的页面2300所示，PDA 107根据触摸式UI 1904的宽度控制第一页的显示缩放率。如果页面的高度(在缩小到显示的缩放倍率后)小于触摸式UI 1904的高度，那么I3DA 107就控制触摸式UI 1904上的坐标中页面2300的起点，以便该页面显示在触摸式UI1904的中心。相反，如果页面的高度(在缩小到显示的缩放倍率后)大于触摸式UI 1904的高度，那么PDA 107就控制触摸式UI 1904上的坐标中页面2300的起点，以便该起点与触摸式UI 1904的起点对齐(例如，屏幕的左上角)。在本示例性实施方式中，整个页面在触摸式UI1904上以此方式显示的显示控制模式被称为页面显示模式。
[0128]下文将结合图23-24描述本示例性实施方式的TOA107的与应用图像数据的操作控制相关的软件模块。
[0129]图24是方块图，展示了与应用图像数据的操作控制相关的手势事件处理单元2002的软件模块配置。
[0130]手势事件处理单元2002从手势事件产生单元2001接收如图21所示的手势事件。显示改变事件处理单元2400处理由手势事件处理单元2002接收到的手势事件中的单击事件(如图21J所示)。接收到单击事件以后，显示改变事件处理单元2400判定单击事件的触摸坐标的坐标值是否对应于如图23所示的“改变模式”按钮2301、“下一个”按钮2302和“上一个”按钮2303中的一个。若单击事件的触摸坐标对应于“改变模式”按钮2301，那么显示改变事件处理单元2400就执行“模式改变处理”(下文描述)。若单击事件的触摸坐标对应于“下一个”按钮2302，那么显示改变事件处理单元2400就执行“下一个选择处理”(下文描述)。若单击事件的触摸坐标对应于“上一个”按钮2303，那么显示改变事件处理单元2400就执行“上一个选择处理”(下文描述)ο “下一个选择处理”和“上一个选择处理”由显示改变事件处理单元2400中的显示顺序控制单元2402和显示范围控制单元2403执行。
[0131]滑动事件处理单元2401处理图21B所示的滑动事件。接收到滑动事件以后，手势事件处理单元2002根据滑动事件的移动距离在触摸式UI 1904上的坐标中移动页面2300的起点，然后刷新触摸式UI 1904的屏幕显示。显示改变事件处理单元2400中的移动范围限制单元2404执行移动范围限制处理(下文描述)，以限制显示在触摸式UI 1904上的页面2300的移动范围。
[0132]放大和缩小处理单元2405处理图21C所示的捏小事件及图21D所示的捏大事件。接收到捏小或捏大事件后，手势事件处理单元2002即分别根据上述两事件的缩小或放大率来改变页面2300的显示缩放比例，并更新触摸式UI 1904的屏幕显示。放大和缩小处理单元2405中的缩小时显示模式改变单元2406执行缩小时显示模式改变处理(将在下文中描述)。
[0133]对象选择处理单元2407处理图211中所示的双击事件。在接收到所述双击事件后，手势事件处理单元2002即利用双击事件的触摸坐标的坐标值来执行对象选择处理(将在下文中描述)。对象选择处理由对象选择事件处理单元2407控制，使得所述处理仅在页面显示模式下才执行。
[0134]下文将结合图23、25、26A及26B来描述显示改变事件处理单元2400所执行的模式改变处理。图25是流程图，示出了用户轻击“改变模式”按钮2301时所执行的模式改变处理。图26A和26B示出了本示例性实施方式的PDA 107的触摸式UI 1904的示例性屏幕显示。
[0135]在步骤S2500中，当用户轻击该“改变模式”按钮时，显示改变事件处理单元2400获取在PDA 107中设置的显示模式。显示模式是指PDA 107所使用的、用于在触摸式UI 1904上显示应用图像数据的方法。本示例性实施方式的PDA 107具有两种显示模式:页面显示模式，其适用于显示整个页面；以及局部区域显示模式，其适用于放大页面上的局部区域(即:页面图像中的各对象)，如图26A和26B中所示。上文已描述，在TOA 107接收到应用图像数据后，即设置页面显示模式。如图26A和26B所示，局部区域显示模式是这样一种显示模式:该模式中控制页面2300的显示缩放比例和起点，从而放大页面2300中的各对象。图26B示出了当文本对象2601被选为放大对象时所显示的屏幕。图26A中所画的围绕对象2601的虚线用于帮助更好地理解描述，其并未真实存在于页面2300上。在本示例性实施方式中，如图26B所示，通过在页面2300上叠加半透明掩模2600，使得只有目标对象才可以容易看到。半透明掩模2600对于要放大的对象2601的区域是透明的，而对于其他对象的区域则是半透明灰色。叠加上述半透明掩模可以突出显示目标对象，同时模糊显示其他对象，从而允许用户可以轻松识别出目标对象的区域。如果轻击“改变模式”按钮2301时设置的显示模式为局部区域显示模式(在步骤S2500中为“局部区域”)，则处理推进至步骤S2501。如果此时的显示模式为页面显示模式(在步骤S2500中为“页面”)，则处理推进至步骤S2504。
[0136]在步骤S2501中，显示改变事件处理单元2400执行设置，从而不显示半透明掩模2600，如图26A中所示(关闭半透明掩模)，并改变显示模式为页面显示模式。
[0137]在步骤S2502中，如上文所述，显示改变事件处理单元2400根据触摸式UI 1904的宽度来控制页面2300的显示缩放比例，并控制页面2300的起点，以便确定页面显示范围。
[0138]在步骤S2503中，基于已确定的页面显示范围，显示改变事件处理单元2400更新触摸式UI 1904的屏幕显示。
[0139]如果轻击“改变模式”按钮时所设置的显示模式为页面显示模式(在步骤S2500中为“页面”)，那么在步骤S2504中，显示改变事件处理单元2400改变显示模式为局部区域显示模式，并执行设置，从而显示半透明掩模2600(开启半透明掩模)。
[0140]在步骤S2505中，显示改变事件处理单元2400读取页面2300上的第一对象，并获取第一对象的起点、宽度及高度。第一对象是指在应用图像数据的文档结构树中首先被读取的对象。
[0141]在步骤S2506中，显示改变事件处理单元2400中的显示范围控制单元2403执行局部区域显示范围的确定处理(将在下文中描述)。在步骤S2503中，基于已确定的局部区域显示范围，显示范围控制单元2403更新触摸式UI 1904的屏幕显示。在步骤S2506中局部区域显示范围的确定处理中，显示变化事件处理单元2400根据对象(步骤S2505中所读取)的属性来控制页面的显示缩放比例和起点，以便确定将要显示在触摸式UI 1904上的局部区域的显示范围。下文将详细描述局部区域显示范围的确定处理。在此情况下，半透明(灰色)掩模被应用到除了目标对象的局部区域之外的区域中，以允许用户能轻易识别出目标对象。
[0142]下文将结合图27所示的流程图来描述步骤S2506中显示范围控制单元2403所执行的局部区域显示范围的确定处理。
[OH3]在步骤S2700中，显示范围控制单元2403判定读取的对象的属性。如果判定属性为文本(在步骤S2700中为“文本”)，那么处理推进至步骤S2701。如果判定属性为表格(在步骤S2700中为“表格”)，那么处理推进至步骤S2711。另外，如果判定属性为其他属性(在步骤S2700中为“其他属性”)，那么处理推进至步骤S2712。
[0144]在步骤S2701中，显示范围控制单元2403判定具有文本属性且将要被显示的对象(下文称为显示目标对象)是否处于分项形式。处于分项形式的对象是指具有一个点或者数字来作为各字符串或行的行头字符的对象。所述行头字符可以从OCR处理结果中获得。如果判定对象并未处于分项形式，而是普通字符串(在步骤S2701中为“否”)，那么处理推进至步骤S2702。否则，如果判定对象处于分项形式(在步骤S2701中为“是”)，那么处理推进至步骤S2712。
[0145]在步骤S2702中，显示范围控制单元2403获取对象的文本排版方向。所述对象的文本排版方向已经在步骤S304中的矢量化处理中获得。
[0146]在步骤S2703中，显示范围控制单元2403判定排版方向。如果排版方向为纵向(步骤S2703中为“纵向/第一列”)，那么处理推进至步骤S2704。否则，如果排版方向为横向(步骤S2703中为“横向/第一行”)，那么处理推进至步骤S2705。
[0147]在步骤S2704中(文本排版方向为纵向时)，显示范围控制单元2403设置页面的显示缩放比例，从而使得相关对象的高度适合触摸式UI 1904的高度。
[0148]在步骤S2705中(文本排版方向为横向时)，显示范围控制单元2403设置页面的显示缩放比例，从而使得相关对象的宽度适合触摸式UI 1904的宽度。
[0149]在步骤S2706中，显示范围控制单元2403判定是否可以在触摸式UI 1904上显示整个已被缩小为步骤S2704或S2705中设置的显示缩放比例的对象。如果判定整个对象比触摸式UI 1904大，从而不能在UI 1904上显示整个对象(步骤S2706中为“是”)，那么处理推进至步骤S2707。否则，如果判定整个对象不大于触摸式UI 1904，从而整个对象都可以显示在UI1904上(步骤S2706中为“否”)，那么处理推进至步骤S2710。
[0150]在步骤S2707中，显示范围控制单元2403判定相关对象的文本排版方向。如果判定相关对象的文本排版方向为纵向(步骤S2707中为“纵向”)，那么处理推进至步骤S2708。否贝1J，如果判定文本排版方向为横向(步骤S2707中为“横向/第一行/第一列”)，那么处理推进至步骤S2709。
[0151]在步骤S2708中，由于整个对象显示了不能在触摸式UI 1904上显示的纵向文本区域，因此显示范围控制单元2403设置上述页面2300的起点位置，从而使得相关对象的右上角与触摸式UI 1904的右上角对齐。具体而言，显示范围控制单元2403设置显示位置，从而显示用于纵向书写的第一行。
[0152]在步骤S2709中，显示范围控制单元2403显示了不能在触摸式UI 1904上显示的横向文本区域。因此，显示范围控制单元2403设置页面2300的起点，从而使得相关对象的左上角与触摸式UI 1904的左上角对齐。具体而言，显示范围控制单元2403设置显示位置，从而显示用于横向书写的第一行。
[0153]在步骤S2710中，由于整个对象适合触摸式UI1904的屏幕，因此显示范围控制单元2403设置页面2300的起点，从而使得相关对象的中心与触摸式UI 1904的中心对齐。
[0154]如果判定对象的属性为表格(步骤S2700中为“表格”)，那么在步骤S2711中，显示范围控制单元2403检测表格的报头位置。例如，基于第一行(首行)和第一列(最左列)字符的字体是否加粗、矢量化时矢量数据的近似曲线的粗度、表格划线的粗度以及表格中每个单元的背景色，可以判定报头位置。如果判定步骤S2711中检测到的表格的报头位置为第一行(步骤S2703中为“横向/第一行”)，那么处理从步骤S2703推进至步骤S2705。否则，如果判定表格的报头位置为第一列(步骤S2703中为“纵向/第一列”)，那么处理从步骤S2703推进至步骤S2704。由于表格报头通常出现在首行或者最左列(步骤S2707中为“横向/第一行/第一列”)，因此处理推进至步骤S2709。在步骤S2709中，显示范围控制单元2403设置页面的起点，从而使得对象的左上角与触摸式UI的左上角对齐。因此，显示位置被设为能显示表格报头。
[0155]如果判定对象的属性为其他属性(除文本和表格外的属性，S卩:步骤S2700中为“其他属性”)，或者如果判定对象处于分项形式(步骤S2701中为“是”)，那么在步骤S2712中，显示范围控制单元2403设置页面的显示缩放比例，从而使得整个相关对象均适合触摸式UI1904。在步骤S2710中，显示范围控制单元2403设置页面2300的起点，从而使得对象的中心与触摸式UI 1904的中心对齐。
[0156]下文将结合图28所示的流程图来描述用户轻击(指示)“下一个”按钮2302时所执行的“下一个选择处理”。
[0157]在步骤S2800中，当轻击“下一个”按钮2302时，显示改变事件处理单元2400获取设置在PDA 107中的显示模式。如果获取的显示模式是局部区域显示模式(步骤S2800中为“局部区域”)，那么处理推进至步骤S2801。否则，如果获取的显示模式是页面显示模式(步骤S2800中为“页面”)，那么处理推进至步骤S2805。
[0158]在步骤S2801中，基于文档结构树，显示顺序控制单元2402从页面的所有读取对象中选择下一个显示目标对象，并读取相关对象。在本示例性实施方式中，文档树形结构中的对象从最高层级向下依次被显示。具体而言，按照下述顺序显示:属于最高层级的对象、属于次层级的对象等等。当所有属于较低层级的对象均已显示后，接着从较高层级向较低层级显示对象，具体而言，按照下述顺序来显示:属于下一个较高层级的对象、属于较低层级的对象等等。例如，参照图17，页面VO的对象Hl首先被读取。在局部区域显示模式下当触摸式UI 1904上显示对象Hl时，如果执行“下一个选择处理”，那么属于较低(第二)层级的对象Tl被读取。当对象Tl被显示时，如果执行“下一个选择处理”，那么与Tl处于同一个层级的对象T2就被读取，因为对象Tl并不具有更低的层级。当对象T2被显示时，如果执行“下一个选择处理”，那么又一个属于最高层级的对象SI被读取，因为对象T2并不具有更低的层级，因此在相关层级上不再存在对象。尽管在本示例性实施方式中，不具有图画元素的对象Hl被选中并读取，当然也可以只选择具有图画元素的图画元素Tl和T2。进一步地，可以只选择具有特定属性(例如文本属性)的对象，或者也可以不选择具有特定属性的对象。
[0159]在步骤S2802中，显示顺序控制单元2402判定在步骤S2801中是否已经读取下一个对象。如果判定在步骤S2801中已经读取了下一个对象(存在可选对象时，S卩:步骤S2802中为“否”)，那么处理推进至步骤S2506以处理所读取的对象。步骤S2506中的局部区域显示范围的确定处理与图27所示的处理类似，因此不再赘述。在步骤S2803中，利用基于读取对象的属性、起点、宽度及高度而被控制的页面的显示缩放比例和起点，显示顺序控制单元2402更新触摸式UI 1904的屏幕显示。
[0160]另外，如果判定在步骤S2801中未读取下一个对象(不存在可选对象时，S卩:步骤S2802中为“是”)，那么在步骤S2802中，显示顺序控制单元2402判定页面上最后一个对象已经被读取，且已经完成对所有对象的显示处理，然后处理推进至步骤S2804。在步骤S2804中，显示顺序控制单元2402退出局部区域显示模式，执行设置从而不显示半透明掩模2600，并改变显示模式为页面显示模式。
[0161]在步骤S2805中，由于进入了页面显示模式，因此显示顺序控制单元2402分析存储在RAM 1911中的应用图像数据的语法，并读取下一个页面及其所包含的对象。
[0162]在步骤S2806中，显示顺序控制单元2402判定是否已经读取下一个页面。如果在步骤S2805中已经读取下一个页面(步骤S2806中为“否”)，那么处理推进至步骤S2807。如果已经读取了存储在RAM 1911中的应用图像数据的最后一个页面，因此在步骤S2805中未读取下一个页面(步骤S2806中为“是”)，那么处理推进至步骤S2808。在步骤S2808中，显示顺序控制单元2402分析存储在RAM 1911中的应用图像数据的语法，并读取第一个页面及其所包含的对象。
[0163]在步骤S2807中，如上文所述，显示范围控制单元2403根据触摸式UI 1904的宽度控制页面的显示缩放比例，控制页面的起点，并确定页面的显示范围。在步骤S2803中，基于确定的页面显示范围，显示范围控制单元2403更新触摸式UI 1904的屏幕显示。
[0164]下文将结合图29所示的流程图描述当用户轻击(指示)“上一个”按钮2302时所执行的“上一个选择处理”。
[0165]由于“上一个选择处理”与上文所描述的“下一个选择处理”有着几乎相同的过程，因此下文不再赘述其详细过程，仅描述与“下一个选择处理”不同的部分(步骤S2900、S2901及S2902)。
[0166]在步骤S2900中，基于文档结构树，显示顺序控制单元2402从当前读取的对象中选择下一个显示目标对象，并读取相关对象。在本示例性实施方式中，当“上一个”按钮2302被点击时，文档树形结构中的对象从最低层级向上位层依次被显示。具体而言，按照下述顺序显示:属于最低层级的对象、属于次最低层级的对象等等。当所有属于较低层级的对象均已显示后，再显示属于较高层级的对象。例如，参照图17，属于最低层级的最后一个对象T7被首先读取。在局部区域显示模式下，在触摸式UI1904上显示对象T7时，如果执行“上一个选择处理”，那么处于同一个层级的对象T6被读取。进一步地，当对象T6被显示时，如果执行“上一个选择处理”，那么由于不存在其他处于同一个层级的对象，因此属于较高层级的对象V2被读取。当对象V2被显示时，如果执行“上一个选择处理”，那么由于对象Vl处于与其相同的层级，且Vl具有更低层级的对象，因此属于对象Vl更低层级的最后一个对象T5被读取。与“下一个选择处理”类似，在“上一个选择处理”中，同样可以只选择具有图画元素的对象，只选择具有特定属性的对象，或不选择具有特定属性的对象。
[0167]下文将参照图30所示的流程图来描述移动范围限制单元2404执行的移动范围限制处理。
[0168]在步骤S3000中，当执行滑动操作时，移动范围限制单元2404获取设置在PDA
[0169]107中的显示模式，并判定显示模式是否为局部区域显示模式。如果判定显示模式为局部区域显示模式(步骤S3000中为“局部区域”)，那么处理推进至步骤S3001。否则，如果判定显示模式为页面模式(步骤S3000中为“页面”)，那么处理退出流程图。
[0170]如果判定显示模式为局部区域显示模式(步骤S3000中为“局部区域”)，那么在步骤S3001中，移动范围限制单元2404判定当前读取对象在以当前页面的显示缩放比例显示时的宽度是否大于触摸式UI 1904的屏幕的宽度。如果相关对象的宽度大于触摸式UI的屏幕宽度(步骤S3001中为“是”)，那么处理推进至步骤S3002ο否则(步骤S3002中为“否”)，处理推进至步骤S3004。
[0171]在步骤S3002中，当滑动事件处理单元2401根据滑动事件的移动距离移动包含有相关对象的页面的显示位置时，移动范围限制单元2404判定对象的左端或右端是否已经移至触摸式UI 1904的屏幕中。如果判定对象的左端或右端位于触摸式UI 1904的屏幕内(步骤S3002中为“是”)，那么处理推进至步骤S3003。否则(步骤S3002中为“否”)，处理推进至步骤S3006。
[0172]在步骤S3003中，移动范围限制单元2404校正页面起点的横坐标，以便将已经移至屏幕内的相关对象的左端或右端分别移动到触摸式UI 1904屏幕的左端或右端，从而可以尽可能多地显不相关对象。
[0173]如果判定相关对象的宽度不大于触摸式UI1904的屏幕宽度(步骤S3001中为“否”)，那么在步骤S3004中，当滑动事件处理单元2401根据滑动事件的移动距离移动包含相关对象的显示位置时，移动范围限制单元2404判定对象的左端或右端是否已移出触摸式UI 1904的屏幕。如果判定相关对象的左端或右端处于触摸式UI 1904的屏幕之外(步骤S3004中为“是”)，那么处理推进至步骤S3005。否则(步骤S3004中为“否”)，处理推进至步骤S3006o
[0174]在步骤S3005中，移动范围限制单元2404校正页面起点的横坐标，以便将相关对象的左端或右端分别移动到屏幕的左端或右端，从而可以显示整个相关对象。
[0175]在步骤S3006中，移动范围限制单元2404判定当前读取对象在以当前页面的显示缩放比例显示时的高度是否大于触摸式UI 1904的屏幕的高度。如果相关对象的高度大于触摸式UI的屏幕高度(步骤S3006中为“是”)，那么处理推进至步骤S3007。否则(步骤S3006中为“否”)，处理推进至步骤S3009。
[0176]在步骤S3007中，当滑动事件处理单元2401根据滑动事件的移动距离移动包含有相关对象的页面的显示位置时，移动范围限制单元2404判定对象的顶端或底端是否已经移至触摸式UI 1904的屏幕中。如果判定对象的顶端或底端位于触摸式UI 1904的屏幕内(步骤S3007中为“是”)，那么处理推进至步骤S3008。否则(步骤S3007中为“否”)，处理推进至步骤S3011。
[0177]在步骤S3008中，移动范围限制单元2404校正页面起点的纵坐标，以便将相关对象的顶端或底端分别移动到屏幕的顶端或底端，从而可以尽可能多地显示相关对象。
[0178]如果判定相关对象的高度不大于触摸式UI1904的屏幕高度(步骤S3006中为“否”)，那么在步骤S3009中，当滑动事件处理单元2401根据滑动事件的移动距离移动包含相关对象的显示位置时，移动范围限制单元2404判定对象的顶端或底端是否已移出触摸式UI 1904的屏幕。如果判定相关对象的顶端或底端处于触摸式UI 1904的屏幕之外(步骤S3009中为“是”)，那么处理推进至步骤S3010。否则(步骤S3009中为“否”)，处理推进至步骤S3011o
[0179]在步骤S3010中，移动范围限制单元2404校正页面起点的纵坐标，以便将相关对象的顶端或底端分别移动到屏幕内，从而可以显示整个相关对象。
[0180]在步骤S3011中，根据页面的显示缩放比例和起点，显示改变事件处理单元2400更新触換式UI 1904的屏蒂显不。
[0181]因此，通过限制对象的移动范围，用户可以很容易地识别出对象的端部。
[0182]下文将参照图31所示的流程图来描述执行捏小操作时，由缩小时显示模式改变单元2406执行的缩小时显示模式改变处理。
[0183]在步骤S3100中，当用户执行捏小操作时，缩小时显示模式改变单元2406获取设置在PDA 107中的显示模式。如果判定获取的显示模式为局部区域显示模式(步骤S3100中为“局部区域”)，那么处理推进至步骤S3101。否则，如果判定显示模式为页面显示模式(步骤S3100中为“页面”)，那么处理退出流程图。
[0184]在步骤S3101中，缩小时显示模式改变单元2406判定当前读取对象在以当前页面的显示缩放比例显示时的宽度是否小于触摸式UI 1904的屏幕的宽度。如果判定相关对象的宽度小于触摸式UI 1904的屏幕宽度(步骤S3101中为“是”)，那么处理推进至步骤S3102。否则(步骤S3101中为“否”)，处理退出流程图。
[0185]在步骤S3102中，缩小时显示模式改变单元2406判定当前读取对象在以当前页面的显示缩放比例显示时的高度是否小于触摸式UI 1904的屏幕的高度。如果判定相关对象的高度小于触摸式UI 1904的屏幕高度(步骤S3102中为“是”)，那么处理推进至步骤S3103。否则(步骤S3102中为“否”)，处理退出流程图。
[0186]在步骤S3103中，缩小时显示模式改变单元2406判定包含相关对象的页面的显示缩放比例是否将被进一步缩小。具体而言，缩小时显示模式改变单元2406判定接收到的事件是否为捏小事件。如果页面将被进一步缩小(步骤S3103中为“是”)，那么处理推进至步骤S3104。否则(步骤S3103中为“否”)，处理退出流程图。
[0187]在步骤S3104中，缩小时显示模式改变单元2406执行设置，以便不显示半透明掩模2600，并将PDA 107的显示模式从局部区域显示模式改变为页面显示模式。
[0188]在步骤S3105中，根据基于捏小事件确定的页面的显示缩放比例和起点，显示改变事件处理单元2400更新触摸式UI 1904的屏幕显示。
[0189]下文将参照图32所示的流程图来描述执行双击操作时，由对象选择处理单元2407执行的对象选择处理。
[0190]在步骤S3200中，当用户执行双击操作时，对象选择处理单元2407获取设置在PDA107中的显示模式。如果判定获取的显示模式为页面显示模式(步骤S3200中为“页面”)，那么处理推进至步骤S3201。否则，如果判定显示模式为局部区域显示模式(步骤S3200中为“局部区域”)，那么处理退出流程图。
[0191]在步骤S3201中，对象选择处理单元2407为接收到的双击事件获取触摸坐标的坐标值。由于触摸坐标的坐标值为触摸式UI 1904上的坐标值，因此，基于显示在触摸式UI1904上的页面的显示缩放比例和起点，对象选择处理单元2407将上述坐标值转换为页面上的坐标值。
[0192]在步骤S3202中，对象选择处理单元2407读取关于显示在触摸式UI 1904上的当前页面上所有对象中的第一个对象的信息。
[0193]在步骤S3203中，对象选择处理单元2407判定在步骤S3201中获取的页面上的坐标值是否包括在读取对象的区域信息中。如果页面上的坐标值被包括在读取对象的区域信息中(步骤S3203中为“是”)，那么处理推进至步骤S3204。否则(步骤S3203中为“否”)，处理推进至步骤S3206。
[0194]在步骤S3204中，对象选择处理单元2407将TOA 107的显示模式从页面显示模式改变为局部区域显示模式。同时，对象选择处理单元2407显示半透明掩模2600，以便将半透明掩模应用到所述范围上，而不是被双击的对象上。然后，处理推进至步骤S2506。
[0195]在步骤S2506中，对象选择处理单元2407对在步骤S3202或S3206中读取的对象(双击对象)执行局部区域显示范围的确定处理。上文已经描述了局部区域显示范围的确定处理，因此不再赘述。
[0196]在步骤S3205中，根据在局部区域显示范围确定处理中确定的页面的显示缩放比例和起点，显示改变事件处理单元2400更新触摸式UI 1904的屏幕显示。
[0197]在步骤S3206中，对象选择处理单元2407读取关于当前页面上所有对象中居于当前读取对象之后的对象的信息。
[0198]在步骤S3207中，对象选择处理单元2407判定在步骤S3206中是否已经读取上述下一个对象。如果判定上述下一个对象已经被读取(步骤S3207中为“否”)，那么处理返回至步骤S3203。如果判定下一个对象未被读取(步骤S3207中为“是”)，那么处理退出流程图。
[0199]尽管在本示例性实施方式中，对象选择处理单元2407判定页面上的坐标值是否包括在当前显示在页面上的所有对象中的每个对象的区域信息中，但是上述处理并不局限于此。例如，与“上一个选择处理”和“下一个选择处理”类似，上述处理也可以忽略不具有图画元素的对象而仅选择具有图画元素的对象。进一步地，也可以仅选择具有特定属性的对象(例如，具有文本属性的对象)或只排除具有特定属性的对象。
[0200]下文将参照图26A、26B、33A、33B、34A及34B来描述本示例性实施方式的局部区域显示模式下的显示处理。图33A、33B、34A及34B示出了本示例性实施方式中PDA 107的触摸式UI 1904的示例性屏幕显示。
[0201]参照图26A和26B，对象2601是具有用于横向书写的文本属性的对象。如图26A所示，对象2601的区域信息被虚线包围。由于对象2601具有文本属性，因此在对象2601被读取后，页面的显示缩放比例立即被设置为上述局部区域显示范围确定处理中所述的、使得相关对象的宽度适合触摸式UI 1904的屏幕宽度的缩放比例。根据上述设置的页面的缩放比例，由于对象2601的高度小于触摸式UI 1904的屏幕高度，因此页面的起点被设置为使得相关对象的中心与触摸式UI 1904的中心对准，从而所述页面被显示得如图26B中所示的那样。
[0202]参照图33A和33B，对象3300是具有用于纵向书写的文本属性的对象。如图33A所示，对象3300的区域信息被虚线包围。由于对象3300具有文本属性，因此在该对象3300被读取后，页面的显示缩放比例立即被设置为上述局部区域显示范围确定处理中所述的、使得相关对象的高度适合触摸式UI 1904的屏幕高度的缩放比例。根据上述设置的页面的缩放比例，由于对象3300的宽度大于触摸式UI 1904的屏幕宽度，因此页面的起点被设置为使得相关对象的右上角与触摸式UI 1904的右上角对准，从而所述页面被显示得如图33B中所示的那样。
[0203]参照图34A和34B，对象3400是具有图形属性的对象。如图34A所示，对象3400的区域信息被虚线包围。由于对象3400具有图形属性，因此在该对象3400被读取后，页面的显示缩放比例立即被设置为上述局部区域显示范围确定处理中所述的、使得相关对象的宽度和高度分别适合触摸式UI 1904的屏幕宽度和高度的缩放比例。进一步地，页面的起点被设置为使得相关对象的中心与触摸式UI 1904的中心对准，如图33B中所示。
[0204]下文将参照图34A、34B、35A、35B、35C、36A、36B及36C描述本示例性实施方式的在上述移动范围限制处理中的示例性限制。图34A、34B、35A、35B、35C、36A、36B及36C示出了本示例性实施方式中PDA 107的触摸式UI 1904的示例性屏幕显示。
[0205]图35A示出了当在触摸式UI 1904上显示对象3400时的示例性屏幕显示。参考图35A，对象3400的宽度和高度分别小于触摸式UI 1904的屏幕宽度和高度，从而使得对象3400适合触摸式UI 1904的屏幕。图35B示出了当用户手指在从位置3500至位置3501 (S卩:从左至右)间执行滑动操作时的示例性屏幕显示。每当接收到滑动事件后，滑动事件处理单元2401就以所述移动距离移动页面起点，并更新触摸式UI 1904的屏幕显示。参考图35B，通过用户的滑动操作，对象3400的左端已经移出触摸式UI 1904的屏幕。图35C示出了在页面起点被校准为使得对象3400(如图35B所示，其左端曾被滑动事件处理单元2401移出屏幕)被通过上述移动范围限制处理移回屏幕之后的触摸式UI 1904的示例性屏幕显示。具体而言，由于对象3400的宽度和高度均小于触摸式UI 1904的屏幕宽度和高度，因此页面起点被移动范围限制处理校准为使得整个对象3400显示在屏幕中。
[0206]图36A示出了在对象3400通过捏大操作被放大后触摸式UI1904的示例性屏幕显示。参考图36A，由于显示的对象3400的宽度大于触摸式UI 1904的屏幕宽度，因此对象3400的右端和左端均显示在触摸式UI 1904的屏幕外，而其顶端和底端显示在屏幕内。图36B示出了当用户手指在从位置3600至位置3601 (S卩:从右至左)间执行滑动操作时的示例性屏幕显示。每当接收到滑动事件后，滑动事件处理单元2401就以所述移动距离移动页面起点，并更新触摸式UI 1904的屏幕显示。参考图36B，通过用户的滑动操作，对象3400的右端已经移入触摸式UI 1904的屏幕中。图36C示出了在页面起点被校准为使得对象3400 (如图36B所示，其右端曾被滑动事件处理单元2401移入屏幕中)被上述移动范围限制处理移动，从而使对象3400的右端几乎与触摸式UI 1904的屏幕右端对齐之后的触摸式UI 1904的示例性屏幕显示。具体而言，由于对象3400的宽度大于触摸式UI 1904的屏幕宽度，因此在对象3400的右端或左端被移入屏幕中时，页面起点被移动范围限制处理校准为使得相关对象的右端或左端分别与屏幕右端或左端对齐，从而尽可能多地显示相关对象。
[0207]在本示例性实施方式中，MFP100向TOA 107发送将在其上显示的应用图像数据，PDA 107接收所述应用图像数据。当然，也可以生成应用程序，并将所述应用程序分配给PDA107，所述应用程序可以由存储应用图像数据的PDA 107执行。可以由PDA 107执行的应用程序包括控制应用图像数据的手势事件处理单元2002(本示例性实施方式中描述的软件模块)D
[0208]进一步地，MFP 100可以向文档管理服务器106发送生成的应用图像数据，并向PDA107发送表明应用图像数据位置的地址。在这种情况下，PDA 107不具有应用图像数据实体，而是根据需要从存储文档管理服务器106的数据的数据库105处获取页面及对象信息，并显示所述信息。
[0209]上文已经描述，本示例性实施方式实现了通过滑动和夹捏操作来随意滚动、放大及缩小对象从而浏览页面，且实现了在局部区域显示模式下，根据其内容，以容易查看的形式仅显示期望的对象。本示例性实施方式还可以仅通过操作“下一个”和“上一个”按钮，以适当顺序相继显示页面上的合适范围，从而使得用户可以不用执行精确调整就可轻松读取页面上的信息。当在局部区域显示模式下利用滑动操作来移动对象时，本示例性实施方式基于相关对象的端部位置来限制其移动范围，使得用户可以轻松识别出相关对象的范围。因此，用户可以清楚地区分开相关对象和其他对象。
[0210]在本发明第二示例性实施方式中，在限制对象的移动范围时，移动范围限制单元2404曾限制移动范围，然后又取消对移动范围的限制。因此，当用户再次命令将相关对象移出范围外时，所述对象可以被移动。
[0211]第二示例性实施方式与上述第一示例性实施方式的不同仅在于图30所示的移动范围限制处理中的部分处理。因此，相似的部分被分配了相同的参考数字。下文将只描述不同的部分。
[0212]图37是流程图，其由图37A和37B组成，描述了第二示例性实施方式中由移动范围限制单元2404执行的移动范围限制处理。所述移动范围限制处理与第一示例性实施方式(如图30所示)中的移动范围限制处理不同之处在于其使用了横向限制取消标记和纵向限制取消标记。当然，当读取页面和对象时，横向限制取消标记和纵向限制取消标记被初始化为“假”。
[0213]如果判定相关对象的宽度大于屏幕宽度(步骤S3001中为“是”)，且判定相关对象的左端或右端已移入触摸式UI 1904的屏幕中(步骤S3002中为“是”)，那么处理推进至步骤S3700。在步骤S3700中，移动范围限制单元2404确认横向限制取消标记的状态。如果在步骤S3700中判定横向限制取消标记为“真”，那么移动范围限制单元2404不限制相关对象的移动范围，处理推进至步骤S3006。如果在步骤S3700中判定横向限制取消标记为“假”，那么在步骤S3003中，移动范围限制单元2404—旦限制了相关对象的移动范围，则在步骤S3701中，移动范围限制单元2404即设置横向限制取消标记为“真”，然后处理推进至步骤S3006。如果判断相关对象的左端或右端未移入触摸式UI 1904的屏幕中(步骤S3002中为“否”)，那么在步骤S3702中，移动范围限制单元2404设置横向限制取消标记为“假”，然后处理推进至步骤S3006o
[0214]如果判定相关对象的宽度不大于屏幕宽度(步骤S3001中为“否”)，且判定相关对象的左端或右端已移出触摸式UI 1904的屏幕外(步骤S3004中为“是”)，那么处理推进至步骤S3703。在步骤S3703中，移动范围限制单元2404确认横向限制取消标记的状态。如果在步骤S3703中判定横向限制取消标记为“真”，那么移动范围限制单元2404不限制相关对象的移动范围，处理推进至步骤S3006。如果在步骤S3703中判定横向限制取消标记为“假”，那么在步骤S3005中，移动范围限制单元2404—旦限制了相关对象的移动范围，则在步骤S3704中，移动范围限制单元2404即设置横向限制取消标记为“真”，然后处理推进至步骤S3006。如果判定对象的左端或右端未移出触摸式UI 1904的屏幕(步骤S3004中为“否”)，那么在步骤S3705中，移动范围限制单元2404设置横向限制取消标记为“假”，然后处理推进至步骤S3006o
[0215]如果判定相关对象的高度大于屏幕高度(步骤S3006中为“是”)，且判定对象的顶端或底端已移入触摸式UI 1904的屏幕中(步骤S3007中为“是”)，那么处理推进至步骤S3706。在步骤S3706中，移动范围限制单元2404确认纵向限制取消标记的状态。如果在步骤S3706中判定纵向限制取消标记为“真”，那么移动范围限制单元2404不限制相关对象的移动范围，处理推进至步骤S3011。如果在步骤S3706中判定纵向限制取消标记为“假”，那么在步骤S3008中，移动范围限制单元2404—旦限制了相关对象的移动范围，则在步骤S3707中，移动范围限制单元2404即设置纵向限制取消标记为“真”，然后处理推进至步骤S3011。如果判定对象的顶端或底端未移入触摸式UI 1904的屏幕中(步骤S3007中为“否”)，那么在步骤S3708中，移动范围限制单元2404设置纵向限制取消标记为“假”，然后处理推进至步骤S3011o
[0216]如果判定相关对象的高度不大于屏幕高度(步骤S3006中为“否”)，且判定对象的顶端或底端已移出触摸式UI 1904的屏幕外(步骤S3009中为“是”)，那么处理推进至步骤S3709。在步骤S3709中，移动范围限制单元2404确认纵向限制取消标记的状态。如果在步骤S3709中判定纵向限制取消标记为“真”，那么移动范围限制单元2404不限制相关对象的移动范围，处理推进至步骤S3011。如果在步骤S3709中判定纵向限制取消标记为“假”，那么在步骤S3010中，移动范围限制单元2404—旦限制了相关对象的移动范围，则在步骤S3710中，移动范围限制单元2404即设置纵向限制取消标记为“真”，然后处理推进至步骤S3011。如果判定对象的顶端或底端未移出触摸式UI 1904的屏幕外(步骤S3009中为“否”)，那么在步骤S3711中，移动范围限制单元2404设置纵向限制取消标记为“假”，然后处理推进至步骤S3011o
[0217]上文已经描述，本示例性实施方式实现了通过滑动和捏小/捏大操作来随意滚动、放大及缩小对象从而浏览页面，且实现了在局部区域显示模式下，根据其内容，以容易查看的形式仅显示期望的对象。本示例性实施方式还可以仅通过操作“下一个”和“上一个”按钮，以适当顺序相继显示页面上的合适范围，从而使得用户可以不用执行精确调整就可轻松读取页面上的信息。当在局部区域显示模式下利用滑动操作来移动对象时，本示例性实施方式基于相关对象的端部位置来限制其移动范围，使得用户可以轻松识别出相关对象的范围。另外，在相关对象的移动范围被限制后，如果用户命令再次移动相关对象，则所述对象可以被移动。
[0218]本发明的各方面还可以通过系统或装置的、用于读出并执行记录在存储介质(例如，非临时性计算机可读存储介质)上的计算机可执行指令以完成本发明中一个或多个实施方式功能的计算机来实现;所述发明的各方面也可以通过方法来实现，该方法的各步骤由系统或装置的计算机、通过如从存储介质读出并执行计算机可执行指令以完成本发明一个或多个实施方式功能来执行。计算机可以包括中央处理单元(CPU)、微处理单元(MPU)及其他电路中的一个或多个，也可以包括独立计算机网络或独立计算机处理器网络。计算机可执行指令可以从例如网络或存储介质提供给计算机。存储介质可以包括例如硬盘、随机存取存储器(RAM)、只读存储器(ROM)及分布式计算系统存储器、光盘(例如激光唱片(CD)、数字化通用光盘(DVD)或蓝光光盘(BD)?)、闪存装置、存储卡等中的一个或多个。
[0219]虽然已经结合示例性实施方式描述了本发明，应当注意到，本发明并不局限于公开的示例性实施方式。下列权利要求的范围应当适合最广泛的解释，以便囊括所有改动、等同结构和功能。
【主权项】
1.一种图像显示装置，所述图像显示装置包括: 确定单元，其被配置为确定图像中包括的多个对象的显示的相继顺序； 设置单元，其被配置为根据至少图像中包括的多个对象中的显示目标对象的尺寸设置缩放因数； 缩放单元，其被配置为以设置单元设置的缩放因数缩放包括多个对象的整个图像；以及 显示控制单元，其被配置为执行控制，以便在画面上显示部分图像，所述部分图像是缩放单元缩放的整个图像的一部分，并且所述部分图像包括显示目标对象以及围绕显示目标对象的区域， 其中，显示控制单元执行控制，根据确定单元确定的显示的相继顺序将画面上显示的显示目标对象切换为图像中包括的多个对象中的下一个显示目标。2.根据权利要求1所述的图像显示装置，其中，确定单元基于图像中包括的多个对象的分析结果确定图像中包括的多个对象的显示的相继顺序。3.根据权利要求2所述的图像显示装置，其中，分析结果是图像中包括的多个对象的层级结构。4.根据权利要求1所述的图像显示装置，其中，根据用户指示执行显示控制单元进行的画面上显示的显示目标对象的切换。5.根据权利要求2所述的图像显示装置，其中，通过在画面上按下按钮输入用户指示。6.根据权利要求1所述的图像显示装置，其中，显示控制单元至少促使在画面上显示显示目标对象的开始点。7.根据权利要求4所述的图像显示装置，其中，基于对象的属性设置显示控制单元促使在画面上显示的显示目标对象的开始点。8.根据权利要求1所述的图像显示装置，其中，在显示目标对象具有文本属性时，设置单元基于构成显示目标对象的字符是否处于分项形式及显示目标对象是纵向书写还是横向书写设置缩放因数显示比例。9.根据权利要求1所述的图像显示装置，其中，在显示目标对象具有表格属性时，设置单元检测表格报头，并基于报头的位置设置显示比例。10.根据权利要求1所述的图像显示装置，其中，在显示目标对象具有文本属性和表格属性之外的属性时，设置单元设置显示比例，以便显示整个显示目标对象。11.根据权利要求1所述的图像显示装置，其中，当指定显示下一对象的第一按钮或显示上一对象的第二按钮时，设置单元根据指定的按钮设置下一对象或上一对象作为新的显示目标对象，设置单元根据新的显示目标对象的尺寸设置缩放因数，显示控制单元执行控制，以便以设置的缩放因数在画面上显示包括新的显示目标对象和围绕新的显示目标对象的区域的部分图像。12.根据权利要求1所述的图像显示装置，其中，显示控制单元促使在围绕显示目标对象的围绕区域处以重叠的方式显示半透明掩模。13.根据权利要求1所述的图像显示装置，其中，所述围绕区域包括位于显示目标对象之后的邻接对象。14.一种图像显示方法，所述图像显示方法包括: 确定步骤，确定图像中包括的多个对象的显示的相继顺序； 设置步骤，根据至少图像中包括的多个对象中的显示目标对象的尺寸设置缩放因数； 缩放步骤，以设置步骤设置的缩放因数缩放包括多个对象的整个图像；以及控制步骤，执行控制，以便在画面上显示部分图像，所述部分图像是缩放步骤缩放的整个图像的一部分，并且所述部分图像包括显示目标对象以及围绕显示目标对象的区域， 其中，执行控制，根据确定步骤确定的显示的相继顺序将画面上显示的显示目标对象切换为图像中包括的多个对象中的下一个显示目标。15.—种图像处理系统，所述图像处理系统包括图像处理装置和图像显示装置，所述图像处理系统包括: 确定单元，其被配置为确定图像中包括的多个对象的显示的相继顺序； 设置单元，其被配置为根据至少图像中包括的多个对象中的显示目标对象的尺寸设置缩放因数； 缩放单元，其被配置为以设置单元设置的缩放因数缩放包括多个对象的整个图像；以及 显示控制单元，其被配置为执行控制，以便在画面上显示部分图像，所述部分图像是缩放单元缩放的整个图像的一部分，并且所述部分图像包括显示目标对象以及围绕显示目标对象的区域， 其中，显示控制单元执行控制，根据确定单元确定的显示的相继顺序将画面上显示的显示目标对象切换为图像中包括的多个对象中的下一个显示目标。16.根据权利要求15所述的图像处理系统，还包括: 分析单元，其被配置为分析图像中包括的多个对象。17.根据权利要求16所述的图像处理系统，其中，分析单元分析图像中包括的多个对象的层级结构。
【文档编号】G06K9/00GK106056038SQ201610307352
【公开日】2016年10月26日
【申请日】2013年3月7日
【发明人】橿渕洋, 橿渕洋一, 山本雅仁, 角尾弘, 池田元气
【申请人】佳能株式会社