对文档计算机化的图像处理系统及其控制方法和存储介质与流程

本发明涉及对文档进行计算机化和使用计算机化文档时的图形用户界面(gui)。

背景技术：

传统上，已经通过对通过扫描诸如订货单的商业表单获得的扫描图像执行光学字符识别处理(ocr处理)来提取字符串，并将字符串用作文件名称等。日本特开no.2019-115011公开了一种技术，该技术通过从文档图像之内包括的字符串提取包括特定关键字的字符串来自动生成文件名称，并将文件名称连同文档图像的预览显示一起呈现给用户。利用这种技术，用户可以在检查文档图像的同时容易地设置文件名称。然后，还将从扫描图像提取的字符串作为元数据进行保存和管理，并将元数据用作文件名称等。

作为通过使用通过ocr处理获得的识别字符串来设置文件名称或元数据时的应用程序的ui屏幕的配置，包括预览窗格和属性窗格的双窗格配置是众所周知的。这里，预览窗格是用于预览显示计算机化目标扫描图像的区域，而属性窗格是用于在列表中显示属性内容的区域，属性内容诸如是文件名称和元数据。在对诸如订货单或账单的文档进行计算机化的情况下，扫描图像中包括多个字符区域(文本块)，并且用户可以通过预览窗格在视觉上识别每个文本块。此外，通过属性窗格，用户可以检查各种设置项目的内容，诸如“客户名称”、“日期”和“地址”。例如，假设用户在上述双窗格配置ui屏幕上为属性窗格之内的“客户名称”设置项目选择了预览窗格之内的文本块“xyz公司”。结果，与设置项目“客户名称”相关联地保存扫描图像之内识别的字符串“xyz公司”。在这种情况下，如果预览窗格之内存在多个文本块，并且属性窗格之内也存在多个设置项目，用户就难以立即把握哪个块与哪个设置项目相关联。

考虑到上述问题做出了本发明，目的是使用户可以容易在具有预览窗格和属性窗格的ui屏幕上把握文本块和设置项目之间的对应关系。

技术实现要素：

根据本发明的一种对文档进行计算机化的图像处理系统，包括：显示单元，其被配置成显示用户界面屏幕，所述用户界面屏幕用于对通过扫描所述文档获得的扫描图像设置属性；以及控制单元，其被配置成控制所述用户界面屏幕上的显示，其中，在所述用户界面屏幕上，至少存在预览窗格和属性窗格，所述预览窗格是预览显示所述扫描图像的区域，所述属性窗格是输入所述属性的各设置项目的设置值的区域，以及其中，利用相同颜色或相似颜色，对所述属性窗格中显示的设置项目的字段的至少一部分和与所述预览窗格中预览显示的所述扫描图像中的设置项目相对应的文本块进行着色。

根据本发明的一种图像处理系统的控制方法，所述图像处理系统对文档进行计算机化，所述图像处理系统包括显示器和控制器，所述显示器用于显示用户界面屏幕，所述用户界面屏幕用于为通过扫描所述文档获得的扫描图像设置属性，所述控制器用于控制所述用户界面屏幕上的显示，其中，在所述用户界面屏幕上，至少存在预览窗格和属性窗格，所述预览窗格是预览显示所述扫描图像的区域，所述属性窗格是输入所述属性的各设置项目的设置值的区域，以及其中，利用相同颜色或相似颜色，对所述属性窗格中显示的设置项目的字段的至少一部分和与所述预览窗格中预览显示的所述扫描图像中的设置项目相对应的文本块进行着色。

根据本发明的一种非暂时性计算机可读存储介质，其存储程序，所述程序用于使计算机执行以下操作：显示用户界面屏幕，所述用户界面屏幕用于对通过扫描文档获得的扫描图像设置属性，其中，在所述用户界面屏幕上，至少存在预览窗格和属性窗格，所述预览窗格是预览显示所述扫描图像的区域，所述属性窗格是输入所述属性的各设置项目的设置值的区域；以及进行控制，以利用相同颜色或相似颜色，对所述属性窗格中显示的设置项目的字段的至少一部分和与所述预览窗格中预览显示的所述扫描图像中的设置项目相对应的文本块进行着色。

从以下参考附图对示范性实施例作出的描述，本发明的其他特征将变得显而易见。

附图说明

图1是示出图像处理系统的整体配置的图；

图2是示出信息处理设备的硬件配置的框图；

图3是示出图像处理系统的软件配置的图；

图4a是说明ui屏幕的状态转换的图；

图4b是说明正交坐标系的图；

图5是说明ui屏幕的状态转换的图；

图6是示出根据第一实施例的ui屏幕控制处理的流程图；

图7是说明修改示例2的问题的图；

图8是说明修改示例2的效果的图；

图9是示出根据修改示例2的着色控制处理细节的流程图；

图10a是说明颜色相似性确定的图，而图10b是说明项目颜色变化的图；

图11是示出根据修改示例3的着色控制处理细节的流程图；

图12是说明修改示例3的效果的图；

图13是示出根据第二实施例的ui屏幕控制处理的流程图；

图14是说明ui屏幕的状态转换的图；以及

图15是说明ui屏幕的状态转换的图。

具体实施方式

在下文中，参考附图，根据优选实施例详细说明本发明。以下实施例中示出的配置仅仅是示范性的，并且本发明不限于示意性示出的配置。

[第一实施例]

<系统配置>

图1是示出根据本实施例对文档进行计算机化的图像处理系统的整体配置的图。该图像处理系统包括扫描文档处理服务器111、客户端终端121和工作服务器131。客户端终端121经由诸如因特网和内联网的网络101与扫描文档处理服务器111和工作服务器131连接，以便能够进行通信。除了个人计算机、膝上型计算机、平板计算机、智能电话等之外，客户端终端121还可以是包括扫描仪功能的mfp(多功能外围设备)等。图1中示出的图像处理系统的配置是示例，并且该配置不限于此。例如，客户端终端121还可以具有扫描文档处理服务器111的功能。在以下说明中，通过扫描诸如估计表单的处理目标文档而获得的扫描图像被称为“扫描文档”。

<硬件配置>

图2是示出扫描文档处理服务器111、客户端终端121和工作服务器131的硬件配置的框图，其每者都作为信息处理设备。用户界面(ui)201由显示器、键盘、鼠标、按钮、触摸面板等实现并输入和输出信息和信号。不包括诸如此类硬件的计算机也可以通过远程桌面、远程外壳等从另一计算机进行连接和操作。网络接口202连接到网络101并与另一信息处理设备和未示意性示出的网络装置进行通信。通信方法可以是有线或无线的。cpu203是负责控制整体设备的计算装置并执行从rom204、ram205、辅助存储装置206等读取的程序。rom204存储并入的程序和各种数据。ram205临时存储各种数据，并且还充当cpu203的工作存储器。辅助存储装置206是由hdd和闪存存储器表示的大容量存储装置。上文描述的每个单元都经由输入/输出接口207彼此连接。

<软件配置>

图3是示出根据本实施例的图像处理系统的软件配置的图。每种软件分别安装于上述扫描文档处理服务器111、客户端终端121和工作服务器111中并由每种设备的cpu203执行。在下文中，说明每种软件。

<<扫描文档处理服务器的软件>>

扫描文档处理应用程序311是安装于扫描文档处理服务器111中的网络(web)应用程序。然而，扫描文档处理应用程序311可以采用web应用程序之外的应用程序安装形式。api312是由扫描文档处理应用程序311提供的api(应用编程接口)。webui313是由扫描文档处理应用程序311提供的web用户界面。

数据存储器321是保存和存储由扫描文档处理应用程序311或稍后描述的后端应用程序331使用的数据的存储区域。在数据存储器321中，存在扫描文档存储单元322、扫描文档作业队列323、属性管理单元324和扫描图像处理结果存储单元325。扫描文档存储单元322对扫描图像自身的数据归档并保存为诸如jpeg的图像文件或诸如pdf(可移植文档格式)的文档文件。扫描文档作业队列323存储队列，该队列管理要进行如稍后所述的属性输入处理的作业。属性管理单元324管理与需要针对每个扫描文档附加的诸如文件名称、文件夹路径和元数据的属性有关的设置项目的列表以及每个设置项目的名称或值的格式(字符串、数字等)、以及稍后描述的项目颜色信息等。扫描文档处理结果存储单元325存储ocr处理结果和商业表单确定结果。此外，扫描文档处理结果存储单元325针对每个扫描文档存储与设置项目相关联的字符区域信息(文本块信息)、设置值等。

后端应用程序331是用于执行后台处理的应用程序。后端应用程序331是负责各种可以在后台顺序执行的处理(具体而言，ocr处理、商业表单处理和通信处理)的应用程序。ocr处理单元332从扫描文档存储单元322获取处理目标扫描文档并针对所获取的扫描文档执行ocr处理。在ocr处理中，提取指定每个文本块的信息(具体而言，与矩形区域的起点坐标、宽度、高度有关的信息)和与每个文本块的所识别字符串有关的信息。商业表单处理单元333通过使用与处理目标扫描文档、通过ocr处理获得的文本块的布置模式以及所识别字符串有关的信息来确定扫描目标文档(商业表单)的类型。这种确定处理可以是任何方法，诸如模式识别和机器学习。通信处理单元334执行处理以向作为外部设备的工作服务器131传输扫描文档及其分析处理结果。在不必传输扫描文档及其分析处理结果的情况下，可以省去通信处理单元334。

<<客户端终端的软件>>

客户端应用程序351执行上述扫描文档处理应用程序311的web应用程序。例如，客户端应用程序351通过利用web浏览器显示webui313并利用api312进行必要数据的传输和接收，来执行web应用程序。

<<工作服务器的软件>>

工作应用程序361是用于辅助公司的各种工作(诸如文件管理、文档管理、订单接收和核算)的应用程序。工作数据存储装置362保存各种由工作应用程序361使用的数据。工作应用程序361接收扫描文档处理服务器111处理的结果并为结果执行必要处理且存储结果。

<客户端应用程序的ui屏幕>

承接上文，说明客户端终端121的用户界面201上显示的用户界面屏幕(在下文中描述为“ui屏幕”)。图4a示出了根据本实施例由客户端应用程序351在用户界面201上显示的ui屏幕的示例。

图4a中所示的ui屏幕具有预览窗格401和属性窗格411的双窗格配置。这里，在预览窗格401之内，预览显示了扫描文档“purchaseorder(采购订单)”的页面图像402。在预览窗格401中，可以通过滚动或缩放页面图像402来显示页面图像402中的任何位置。属性窗格411是用于显示和编辑要附加于处理目标扫描图像的属性的窗格。被设置为属性的项目包括主项目和从项目，主项目诸如是“文件名称”、“文件夹路径”和“元数据”，从项目诸如是“公司名称”、“日期”和“地址”，从项目是配置主项目的要素。以“元数据”被设置并注册为主项目的情况为例给出以下说明。

图4a中ui屏幕是在商业表单确定处理中确定处理目标扫描文档的商业表单类型为“purchaseorder(采购订单)”的情况下的示例。然后，状态为使得三个从项目“客户名称”、“地址”和“支票接收人”被显示为要附加于扫描文档的主项目“元数据”的内容。在以下说明中，元数据的从项目被称为“元数据项目”。

图4b是说明指示页面图像402和每个文本块之间关系的正交坐标系的图。在图4b中，存在三个文本块421、422和423。在页面图像402中，还有三个文本块，但这里省略了它们。通过ocr处理检测到的文本块分别由起点坐标、宽度和高度识别，如阴影矩形所示的。例如，对应于字符串“xyz公司”的文本块423被以像素为单位表示为“起点坐标(1200,700)”、“宽度：720”和“高度：120”。

图5是说明页面图像402之内的文本块与图4a中的ui屏幕上的元数据项目相关联的方式的图。这里，状态为使得对应于页面图像402之内的字符串“xyz公司”的文本块501与元数据项目“客户名称”(项目510a)彼此相关联。然后，为了使得用户能够容易识别，在文本块501上，以透明叠加的方式显示基于项目颜色信息分配给每个元数据项目的以某种颜色着色的矩形(在图5的示例中，“红色”被分配给元数据项目“客户名称”)。着色方法不限于透明叠加显示，并且可以是着色框线的叠加显示等。属性窗格411之内的水平伸长的矩形510a到510c是显示字段，在其中针对作为主项目的元数据显示并编辑作为从项目的元数据项目的设置值等。此外，垂直伸长的矩形511a到511c是项目颜色区域，它们均设置于显示字段之内的一部分处，并且均显示分配给每个元数据项目的颜色(项目颜色)，以便使得用户能够识别该颜色。然后，水平伸长的矩形512a到512c均为显示与用户所选的文本块相对应的图像(从页面图像402剪切的图像)的区域(剪切图像区域)。在尚未与任何文本块进行关联的阶段中，状态为使得如剪切图像区域512b和512c那样显示“+”按钮，并且不显示项目颜色区域511b和511c的项目颜色。位于剪切图像区域512a到512c的每个下方的水平伸长的矩形513a到513c均为编辑区域，在其中显示与用户选择有关的文本块中所包括的所识别字符串，并且用户可以利用未示意性示出的软键盘等来编辑所显示内容。

<ui屏幕控制处理>

接下来，利用图6中的流程图来说明在上述ui屏幕上将文本块与每个元数据项目相关联的控制处理，该控制处理由客户端终端121的客户端应用程序351执行。在开始执行图6中所示的流程之前，首先，由扫描文档处理服务器111的扫描文档处理应用程序311向客户端应用程序351提供要处理的作业队列。在用户选择用户希望通过使用客户端应用程序351开始处理的扫描文档的作业的情况下，扫描文档处理应用程序311从数据存储器321获取对应于所选扫描文档的必要信息。具体而言，扫描文档处理应用程序311从扫描文档存储单元322获取对应的图像文件并从扫描文档处理结果存储单元325获取对应的ocr处理结果和商业表单类型确定结果。此外，扫描文档处理应用程序311从属性管理单元324获取针对每种商业表单类型的元数据项目列表以及用于识别事先为每个元数据项目分配的预定颜色的项目颜色信息。从扫描文档处理应用程序311向客户端应用程序351提供所获取的这些条数据并开始图6中的流程。在以下说明中，符号“s”表示步骤。

在s601，加载要在预览窗格401中进行显示的页面图像的数据和ocr处理结果(所识别字符串)。在接下来的s602，加载项目颜色信息和与商业表单类型相对应的元数据项目列表。在接下来的s603，在ui屏幕上反映s601和s602加载的数据的内容。具体而言，在预览窗格401之内显示页面图像，并在属性窗格411之内显示元数据项目列表中包括的每个元数据项目。通过迄今执行的s601到s603的处理，引起了图4a中所示ui屏幕的状态。在这个时间点，尚未对属性窗格411之内的每个元数据项目的项目颜色区域511a到511c进行着色，并且项目颜色区域511a到511c处于默认(例如，灰色)状态。原因在于：连同前述剪切图像区域512中的“+”按钮显示一起通过在视觉上表示尚未确定着色，以容易看到的方式向用户表明尚未设置元数据，并且提示用户设置元数据。

然后，在s604，检测到属性窗格411之内的元数据项目之一中的剪切图像区域512a到512c的“+”按钮的选择操作的操作事件。这一选择操作是用户利用手指或触摸笔对触摸面板上的“+”按钮进行触摸等的操作，或者利用鼠标进行的点击操作。通过这种方式，在元数据项目列表中包括的一个或多个元数据项目中确定与用户选择有关的一个元数据项目。在下文中，用户选择的元数据项目被称为“选定元数据项目”。在接下来的s605，根据在s602加载的项目颜色信息对在s604确定的选定元数据项目的项目颜色区域着色。这里，假设在项目颜色信息中，特定颜色与主项目之内存在的每个从项目的次序相关联。例如，事先定义蓝色、绿色、黄色和红色四种颜色作为可用颜色，并且事先将项目次序和颜色彼此相关联，使得第一设置项目与“蓝色”相关联，第二设置项目与“绿色”相关联，第三设置项目与“黄色”相关联，第四设置项目与“红色”相关联。在这种情况下，主项目“元数据”的“客户名称”、“地址”和“支票接收人”三个从项目呈这种次序，因此，分别分配“蓝色”、“绿色”和“黄色”作为项目颜色。通过如上所述将特定颜色与多个设置项目的次序相关联，可以在多种设置项目中使得项目颜色信息共同。还可以事先向项目颜色信息中的每个个体特定设置项目分配特定颜色。此外，通过突出显示用户已经执行选择操作的选定元数据项目的显示字段(例如，诸如改变该显示字段之内除项目颜色区域之外的区域的颜色)，使得用户更容易识别当前选择的元数据项目。由于使得能够识别当前选择的元数据项目的方法不限于改变颜色的方法，并且例如，还可以通过利用粗线框围绕显示字段来突出显示元数据项目的显示字段。

然后，在s606，检测到操作事件，诸如对预览窗格401之内的页面图像402中存在的文本块之一的触摸操作等。通过这种方式，从页面图像中包括的一个或多个文本块选择任意一个文本块。在下文中，用户选择的文本块被称为“选定文本块”。在接下来的s607，利用与对s605着色的选定元数据项目之内的项目颜色区域已经执行着色所采用的颜色相同的颜色对s606确定的选定文本块着色。然后，在s608，在选定元数据项目之内的剪切图像区域中显示与s607着色的选定文本块相对应的剪切图像。此外，在s604确定的选定元数据项目的编辑区域之内显示s607着色的选定文本块中包括的所识别字符串。通过迄今执行的s604到s608的处理，带来了如图5中所示ui屏幕的状态。即，用户选择的元数据项目和文本块彼此相关联，并且确定要使用哪个文本块来输入在选定元数据项目中使用的字符串。

在针对元数据项目列表之内的所有元数据项目完成以上处理并且通过用户的操作触摸“注册”按钮514的情况下，在s609，注册元数据的请求被传输到扫描文档处理服务器111。在这一元数据注册请求中，包括了将所有元数据项目中的编辑值与文本块彼此相关联的信息。在扫描文档处理服务器111中，扫描文档处理应用程序311在扫描文档处理结果存储单元325中保存从客户端终端121接收的元数据注册请求中包括的上述信息。此时，在外部工作服务器131中执行元数据注册的情况下，经由通信处理单元334向工作服务器131传输元数据注册请求。在完成所有必要处理之后，扫描文档处理应用程序311使队列从扫描文档作业队列323出列。通过这种方式，完成了这一处理。

以上是根据本实施例的客户端应用程序351中的ui屏幕控制处理的内容。在本实施例中，为每个设置项目的每个显示字段提供指示为每个设置项目分配的颜色的项目颜色区域，但并不强制提供每个个体项目颜色区域。即，用于指示设置项目被用户选择的突出显示的区域(除了每个显示字段中的剪切图像区域和编辑区域之外的区域)也可以显示项目颜色。在进行配置以使得在除了每个显示字段之内的剪切图像区域和编辑区域之外的区域中显示项目颜色的情况下，作为指示用户已经选择了设置项目的突出显示，例如通过附加围绕选定显示字段的粗线框、改变颜色密度等来产生突出显示，这就足够了。

<修改示例1>

在上述图6中的流程中，在伴随用户选择感兴趣元数据项目(检测到对剪切图像区域之内的“+”按钮的触摸操作)的突出显示的定时(s605)，对项目颜色区域进行着色。然而，对项目颜色区域的着色的定时不限于此。例如，也可以与在s607对选定文本块进行着色相同的定时，对选定元数据项目之内的项目颜色区域进行着色。

<修改示例2>

在上述图6中的流程中，通过用与选定元数据项目的项目颜色区域相同的颜色对预览窗格之内的选定文本块着色，使得用户能够把握到元数据项目和文本块之间的对应关系。此时，存在用于着色的颜色与选定文本块之内的字符颜色或背景颜色彼此相似的可能性。在这种情况下，用于对选定文本块着色的颜色的视觉可识别性发生劣化。因此，作为修改示例2，说明了根据需要改变用于着色的颜色的方面。

图7是说明本修改示例的问题的图，图7对应于前述图5。在图7中的页面图像402'中，三个字符颜色为黑色的字符串“xyz公司”、“1pumpkinroad,newyork,ny”和“(123)456-7890”被格线围绕，并且浅蓝色的背景颜色被附于其内部。这里，状态为使得与页面图像402'之内的字符串“xyz公司”相对应的文本块701与元数据项目“客户名称”彼此相关联。然后，在三个元数据项目中，“客户名称”是第一设置项目，并且因此，在其显示字段510a之内的项目颜色区域511a中显示蓝色。作为其结果，作为围绕字符串“xyz公司”的格线之内的背景颜色的浅蓝色和用于对文本块701着色的蓝色彼此相似(相似颜色)。在这种状况中，用户难以把握文本块701和元数据项目“客户名称”彼此相关联。

图8是说明应用本修改示例的情况的效果的图。如图7中所示，状态为使得与页面图像402'之内的字符串“xyz公司”相对应的文本块701与元数据项目“客户名称”彼此相关联。然而，在图8中，在元数据项目“客户名称”的项目颜色区域511a中，替代初始蓝色，显示红色。作为其结果，在作为围绕字符串“xyz公司”的格线之内的背景颜色的浅蓝色和对文本块701着色的红色之间，发生颜色对比，并且因此，使得用户能够容易把握关联性。

这里，参考图9中的流程图说明根据本修改示例的控制对设置项目和文本块的着色的处理的细节。替代前述图6中的流程中的s607，执行图9中的流程中所示的着色控制处理。

在s901，经由扫描文档处理应用程序311从扫描文档处理结果存储单元325获取与s606已经检测到操作事件的选定文本块中所包括的字符串的字符颜色和文本块的背景颜色有关的信息。这里，在假设获取到与指示黑色为字符颜色的值(r,g,b＝0,5,5)以及指示浅蓝色为背景颜色的值(r,g,b＝188,213,254)有关的信息的情况下，继续说明。

在s902，获取与用于在s605基于项目颜色信息进行着色的颜色(即，被分配为选定元数据项目的项目颜色并用于对项目颜色区域着色的颜色)有关的信息。假设将“蓝色”分配给第一设置项目、将“绿色”分配给第二设置项目、将“黄色”分配给第三设置项目并将“红色”分配给第四设置项目，这被定义为本修改示例中的项目颜色信息中的默认内容。这里，在选择元数据窗格411之内的三个元数据项目中的第一“客户名称”的情况下，对项目颜色区域以“蓝色”着色，并且因此，在这种情况下，获取指示“蓝色”的信息(例如，rgb值)。

在接下来的s903，比较被分配为选定元数据项目的项目颜色的颜色与选定文本块之内的字符颜色和背景颜色，并确定它们是否彼此相似。例如，如图10a中所示，分别比较被分配为选定元数据项目的项目颜色的颜色的rgb值与在s901获取的字符颜色和背景颜色的rgb值，并确定它们之间的差异是否在预定阈值之内。此时，希望设置阈值，例如，通过该阈值来确定色相接近蓝色的色相的浅蓝色或紫色“类似于”蓝色。这里，假设被分配为选定元数据项目“客户名称”的项目颜色的蓝色被确定为类似于作为选定文本块的背景颜色的浅蓝色。在通过这种方式确定被分配为选定元数据项目的项目颜色的颜色类似于选定文本块之内的字符颜色或背景颜色的情况下，处理进行到s904。另一方面，在确定它们不相似的情况下，处理进行到s905。

在s904，执行用以将当前被分配为选定元数据项目的项目颜色的颜色改变为项目颜色信息中所定义的另一种不同颜色的处理。具体而言，改变候选颜色信息中的项目次序和每种颜色之间的关联，并向选定元数据项目分配不同颜色。在上述示例的情况下，选定元数据项目“客户名称”的次序是第一个。因此，如图10b中所示的，将颜色改变为与次序为最后并且在上述示例中未使用的第四选定元数据项目相关联的颜色(在这种情况下为“红色”)，执行用以将“蓝色”与第四选定元数据项目相关联的处理。通过以这种方式在第一和第四选定元数据项目之间交换颜色，可以保持第二和第三选定元数据项目之间的颜色关联，并且因此，可以将改变造成的影响抑制到最小。在通过这种方式改变作为选定元数据项目的项目颜色的颜色并根据该改变更新项目颜色信息之后，处理返回到s903，并再次进行相似性确定。重复这种处理，直到确定结果指示被分配为项目颜色的颜色不再类似于选定文本块之内的字符颜色或背景颜色。

然后，在s905，根据需要更新选定元数据项目的项目颜色区域的颜色的显示。即，在被分配为选定元数据项目的项目颜色的颜色在s904被改变为另一种颜色的情况下，用新改变的颜色进行着色。

在s906，通过使用与选定元数据项目的项目颜色区域中显示的颜色相同的颜色对选定文本块着色。因此，带来了如前述图8中所示的ui屏幕的状态。在完成着色的情况下，处理返回图6中的流程，并且执行s608的显示处理。

以上是示出根据修改示例2的着色控制处理的内容。如第一实施例中所述，还可以进行控制，使得不对选定元数据项目之内的项目颜色区域进行着色直到对选定文本块进行着色为止，并且对项目颜色区域和选定文本块两者的着色是在相同的定时进行的。

<修改示例3>

随着设置项目数量增加，可能会发生如下情况：难以从项目颜色信息中定义的颜色中选择不类似于字符颜色或背景颜色的颜色并分配该颜色。因此，作为修改示例3，说明了确定并分配作为每个设置项目的项目颜色的颜色而该确定和分配不基于项目颜色信息的方面。

参考图11中的流程图说明根据本修改示例的用以控制对设置项目和文本块的着色的处理的细节。假设替代前述图6中的流程中的s602，执行图11中的流程中所示的着色控制处理。然后，在图6中的流程中的s605，在应用本修改示例的情况下，替代基于项目颜色信息确定的颜色，通过使用稍后描述的处理所确定的颜色对项目颜色区域进行着色。

在s1101，加载元数据项目列表。即，在本修改示例的情况下，不加载项目颜色信息。在接下来的s1102，从在s601加载的ocr处理结果来获取与页面图像之内所有文本块中所包括的字符串的字符颜色和文本块的背景颜色有关的信息。

在s1103，在s1102处获取的字符颜色和背景颜色中，指定出现频率高的彩色颜色。例如，假设页面图像之内存在100个文本块，并且黑色被用作所有字符颜色。一方面，对于背景颜色而言，假设有80个使用白色的文本块、18个使用浅蓝色的文本块、以及两个使用黄绿色的文本块。在这种情况下，彩色颜色为浅蓝色和黄绿色，并且因此，将使用次数大的浅蓝色指定为出现频率高的彩色颜色。排除作为非彩色颜色的黑色和白色的原因在于它们不适于用作旨在用于识别的项目颜色，因为黑色和白色通常用于商业表单等中。

在s1104，基于在s1103指定的频繁出现的彩色颜色，确定针对每个元数据项目的项目颜色。具体确定方法的示例如下。

第一种方法是利用色相环的方法。在这种情况下，以频繁出现的彩色颜色为基准，将位于色相环中远处位置的颜色确定为针对每个元数据项目的项目颜色。例如，在频繁出现的彩色颜色为浅蓝色且将其用作基准的情况下，色相环中位于最远位置的颜色是橙色，并且因此，以橙色为中心在预定范围(例如，从黄色到紫色的范围)中确定被分配为项目颜色的颜色。此时，在存在要分配项目颜色的多个设置项目且需要确定多种颜色的情况下，选择多种颜色，使得例如色相环中的间隔基本相等，以便在多种颜色之间进行区分，就足够了。

第二种方法是在事先确定的多种候选颜色中将不与频繁出现的彩色颜色相似的颜色确定为项目颜色的方法。例如，作为候选颜色，事先确定红色、绿色、黄色、蓝色和紫色五种颜色。然后，在频繁出现的彩色颜色为浅蓝色的情况下，除了类似于浅蓝色的蓝色之外，从剩余四种颜色(红色、绿色、黄色、紫色)中顺序分配该颜色作为项目颜色。根据被假定为处理目标的商业表单的格式等来确定此时的候选颜色的数量，这就足够了。此外，在确定要排除的颜色时，如修改示例2的s903处所说明的那样进行相同的相似性确定，这就足够了。

上文说明的两种方法为示例，并且可以使用任何方法，只要该方法能够分配用户以频繁出现的彩色颜色为基准能够容易地与另一种颜色区分的颜色作为项目颜色即可。

图12是说明应用本修改示例的情况的效果的图。在本示例中，围绕字符串“xyz公司”的格线之内的背景颜色为浅蓝色，并且因此，确定与浅蓝色不相似的三种颜色作为项目颜色并进行分配。即，分别向三个元数据项目“客户名称”、“地址”和“总价”分配红色、橙色和黄色作为项目颜色。因此，用于对三个文本块1201到1203进行着色的颜色是醒目的，并且因此，使得用户能够容易地把握该颜色和与每个选定元数据项目相对应的选定文本块之间的关联性。

以上是示出根据修改示例3的着色控制处理的内容。可以有多种颜色被指定为频繁出现的彩色颜色。此外，还可以通过仅取例如诸如页面图像的顶部等的部分区域中存在的文本块作为目标替代页面图像之内存在的所有文本块来指定频繁出现的彩色颜色。如在修改示例2那样，还可以进行控制，使得不对选定元数据区域之内的项目颜色区域进行着色直到对选定文本块进行着色为止，并且对项目颜色区域和选定文本块两者的着色是在相同定时进行的。

如上所述，根据本实施例，即使在页面图像之内存在多个文本块并且具有预览窗格和属性窗格的ui屏幕上的属性窗格之内存在多个设置项目(从项目)的情况下，用户也能够容易把握到其间的对应关系。

[第二实施例]

在第一实施例中，说明了在假设执行一个文本块与一个元数据项目相关联的一对一关联的情况下的ui屏幕控制。接下来，作为第二实施例，说明还能够应对执行一对n关联的情况的ui屏幕控制，在一对n关联中，同一文本块与多个元数据项目相关联。与第一实施例共同的那些内容(诸如系统配置)的说明被省略，在下文中，主要说明不同点。

<ui屏幕控制处理>

利用图13中的流程图说明根据本实施例的ui屏幕控制处理，该处理是由客户端终端121的客户端应用程序351执行的。这里，在如下假设的前提下给出说明：已经沿着第一实施例的图6中的流程在三个元数据项目“客户名称”、“地址”和“支票接收人”的每个与文本块之间进行了关联，并且带来了图14中所示的ui屏幕的状态。

在图14中的ui屏幕上，在页面图像402之内的文本块501的左上部，附着标签1401，该标签1401指示文本块相关联的元数据项目的数量(这里为“二”)。在将同一文本块与多个元数据项目相关联的定时(即，在元数据项目的数量变为二或更大的时间点)显示这个标签，但这并不受限制，并且也可以在文本块与元数据项目之一相关联的定时显示该标签。然后，这里，在与多个元数据项目进行关联的情况下，文本块501是以默认颜色(这里为灰色)着色的状态。与此相比，以对应项目颜色区域511b指示的蓝色对仅与一个元数据项目“地址”相关联的文本块1402进行着色。

假设在ui屏幕处于图14中所示状态的情况下，用户选择了(利用手指的触摸操作等)属性窗格411之内的每个元数据项目的显示字段510a到510c之一。在s1301，检测到用户的诸如触摸操作等的操作事件。这里，假设检测到针对显示字段510c“支票接收人”的操作事件。在接下来的s1302，确定与用户选择的元数据项目相关联的文本块是否还与另一个元数据项目相关联。在确定结果为“否”的情况下，完成这一处理。另一方面，在确定结果为“是”的情况下，处理进行到s1303。这里，文本块501与用户选择的元数据项目“支票接收人”相关联，并且此外，文本块501还与元数据项目“客户名称”相关联。因此，在这种情况下的确定结果为“是”，并且因此处理进行到s1303。

在s1303，利用与选定元数据项目的项目颜色区域的颜色相同的颜色对与选定元数据项目相关联的文本块着色。这里，文本块501的颜色从作为默认颜色的灰色变为元数据项目“支票接收人”的显示字段之内的项目颜色区域511c指示的黄色。图15中所示的ui屏幕示出了如下状态：伴随着对元数据项目“支票接收人”的选择，文本块501的颜色已经从灰色被改变为黄色。

在接下来的s1304，显示用于取消选定元数据项目和文本块之间的关联的按钮。在图15中的ui屏幕上，出现于文本块501右上角的“×”标记按钮1501指示取消按钮。在接下来的s1305，确定是否对取消按钮进行了触摸操作等。在检测到诸如对取消按钮的触摸操作等的操作事件的情况下，处理进行到s1306，并且在未检测到操作事件的情况下，退出该处理。

在s1306，取消选定元数据项目和文本块之间的关联，并更新指示当前关联的元数据项目的数量的标签。具体而言，作为取消了与选定元数据项目的关联的结果，从标签指示的元数据项目的数量减去“一”。在图15中的示例中，标签1401的数值从“二”变为“一”。此外，与此伴随地，与选定元数据项目相对应的显示字段被初始化，并带来了空白状态。这里，选定元数据项目为“支票接收人”，并且因此，对应显示字段510c被初始化。

以上是根据本实施例的客户端应用程序351中的ui屏幕控制处理的内容。

如上所述，根据本实施例，即使在同一文本块与多个设置项目(从项目)相关联的情况下，用户也可以准确且容易地把握到从项目和文本块之间的对应关系。

[其他实施例]

本发明的实施例还可以通过如下的方法来实现，即，通过网络或者各种存储介质将执行上述实施例的功能的软件(程序)提供给系统或装置，该系统或装置的计算机或是中央处理单元(cpu)、微处理单元(mpu)读出并执行程序的方法。

根据本发明的技术，在具有预览窗格和属性窗格的ui屏幕上，用户可以容易地把握到文本块和设置项目之间的对应关系。

尽管已经参考示范性实施例描述了本发明，但要理解的是，本发明不限于公开的示范性实施例。随附权利要求的范围要被赋予最宽的解释，以便涵盖所有此类修改和等价结构和功能。