图像处理系统、图像处理装置以及图像处理方法与流程

本申请享受2016年3月29日在先提出的日本国专利申请号2016-065759的优先权的利益，并且包括在先申请的全部内容。

实施方式涉及图像处理系统、图像处理装置以及图像处理方法。

背景技术：

为了将表单中所填写的字符、图像等信息保存在数据库中，有ocr(opticalcharacterreader)等用字符读取装置读取表单并将所填写的字符变换为文本数据的技术。在此情况下，为了应对误识别，由作业者人工来进行识别结果确认和修改的工序。

在上述的工序中，作业者例如使手写填写的文件的读取图像和由字符读取装置读取的读取数据显示在用于进行修改的作业用终端装置的画面上并对两者进行比较，由此来对字符读取装置的读取数据的错误进行修改。

技术实现要素：

在将该误识别的应对工序以众包(crowdsourcing)等形式外包时，存在个人信息保护等在遵纪守法方面的制约大的问题。

本发明的实施方式的目的在于，提供一种图像处理系统、图像处理装置以及图像处理程序，在确保表单等文书中包含的隐秘信息的安全性的同时，能够进行从表单识别出的字符的修改。

实施方式图像处理系统是将对文书的图像进行识别的图像处理装置与具备输入部及显示部的终端装置通过网络进行连接而构成的。图像处理装置具备：识别部，对图像进行字符识别处理；隐秘信息检测部，从识别部的识别结果检测隐秘信息；以及加工部，基于隐秘信息，制作将图像中的隐秘信息部分碎片化而得到的第1加工图像。终端装置具备：显示部，显示第1加工图像；以及输入部，输入第1加工图像的修改数据。

附图说明

图1是表示实施方式的图像处理系统的硬件构成的概略图。

图2是表示实施方式的图像处理系统的功能构成的一例的框图。

图3是表示实施方式的图像处理系统的动作的一例的流程图。

图4是表示实施方式的图像处理系统中的图像的一例的图。

图5是表示实施方式的图像处理系统中的图像的一例的图。

图6是表示实施方式的图像处理系统中的隐秘信息检测处理和加工处理的一例的概略图。

图7是表示实施方式的图像处理系统的框线图像的一例的概略图。

具体实施方式

以下，参照附图对本发明的实施方式的一例进行说明。

首先，参照图1对本实施方式的图像处理系统的构成进行说明。图1是表示本实施方式的图像处理系统100的硬件构成的框图。

图像处理系统100具备扫描器101、搭载有软件102的服务器装置103(以下称为图像处理装置)、存储图像数据及图像处理装置103的处理结果等的存储装置104、搭载有网络浏览器107的作业者用终端装置106、以及将图像处理装置103与作业者用终端装置106连接的网络105。

另外，所谓的“连接”，不是一定指物理上通过布线等连接，表示的是在构成要素间能够收发数据、信号。即，图像处理装置103与作业者用终端装置106经由网络105能够互相通信。此外，图像处理装置103可以不是单一的，也可以是多个服务器装置互相协同地构成一个系统。

扫描器101读取作为由图像处理装置103进行处理的对象的表单等文书，并制作文书整体或者文书的一部分的图像(文书图像)。扫描器101将制作出的图像输入至图像处理装置103。图像处理装置103将所输入的图像存储在存储装置104中。另外，图像例如也能够通过用摄影机摄影来制作。

软件102实现图像处理装置103的各种功能。此外，软件102按照来自网络浏览器107的操作，控制作业者用终端装置106中的显示。

图像处理装置103进行图像的识别，并将图像识别结果向作业者用终端装置发送。本实施方式的识别对象的图像，通过扫描器101来制作，并被输入至图像处理装置103。图像处理装置103将所输入的图像存储于存储装置104。此外，图像处理装置103将图像识别结果存储于存储装置104。

存储装置104例如通过硬盘驱动器构成。存储装置104存储被输入至图像处理装置103的图像、图像处理装置103的图像识别结果。此外，存储装置104预先存储有图像处理装置103进行图像处理所需的信息。

作业者用终端装置106由个人计算机、便携电话、平板电脑、智能手机等构成，具备：显示部，显示从图像处理装置103接收到的图像识别结果；以及输入部，输入与所显示的图像有关的修改数据。即，作业者能够使用作业者用终端装置106来进行图像处理装置103的图像识别结果的修改处理。

通过上述的构成，本实施方式的图像处理系统100能够去除图像中所包含的隐秘信息。此外，图像处理系统100能够在作业者用终端装置106上显示已去除了隐秘信息的图像，使得作业者能够对所显示的图像的识别结果进行修改作业。即，能够以不提供隐秘信息的方式将图像的识别结果的修改作业委托给外部。此外，图像处理系统100通过从去除了隐秘信息的图像复原出原来的图像，能够将修改作业所输入的内容反映到图像处理装置103的识别结果中。

参照图2，对图像处理装置系统100的功能进行说明。图2表示图像处理系统100的功能构成的一例。

如图2所示，图像处理装置103具备框线检测部130、识别部140、隐秘信息检测部150、加工部160以及修改部170，对所输入的图像进行图像处理。

在本实施方式中，扫描器101读取到的图像数据被预先存储在存储装置104中，图像处理装置103在被输入存储于存储装置104的图像(以下称为原图像)201时进行图像处理。另外，也可以根据需要对图像施以二值化等预处理。

框线检测部130对原图像201进行框线检测处理，检测表单上的填写框。

框线检测部130将检测到的填写框的信息即框线信息202存储于存储装置104。

构成填写框的框线是直线，因此能够通过霍夫变换等来检测。例如，将具有预定的阈值以上的粗细度以及长度的直线确定为框线候选，检测框线。此外，可以想到构成框线的线段的端点是位于其他框线上的，所以也可以是，从由此检测到的直线中仅将端点位于其他直线上的直线筛选为构成填写框的框线候选。

此外，在预先知道表单的构造的情况下，也可以预先设定填写框的信息，并作为框线信息202存储在存储装置104中。

识别部140基于框线信息202，制作按照每个表单的填写框进行截取而得到的局部图像(以下称为截取图像)。另外，识别部140基于由后述的修改部170修改过的填写框来制作截取图像的情况也是存在的。

此外，识别部140进行表单图像以及从表单截取的截取图像的字符识别。即，识别部140从图像数据中检测字符串，并识别检测到的字符串。

从图像中检测字符串的方法，例如有将位于由框线检测部130检测到的填写框的内部的字符串视为字符串的方法。或者，在预先知道表单的构造的情况下也可以预先赋予字符串的位置。

即，识别部140基于框线信息202，在图像的填写框中进行字符识别，并输出识别结果203。识别结果203包含截取图像、字符以及字符的位置信息。另外，识别部140也可以输出识别结果203的可靠度。识别部140将识别结果203存储于存储装置104。

隐秘信息检测部150在识别部140输出的识别结果203所包含的字符信息中，检测应当隐秘的信息(以下称为隐秘信息)204所对应的部分。隐秘信息204中存在有：如例如姓名和住所等个人信息那样能够根据字符串的内容判定出来的信息、以及如某些密码那样难于根据字符串的内容进行判断的信息。

在预先知道表单的构造的情况下，隐秘信息检测部150通过将图像上的隐秘信息204的字符串位置预先设定为知识，由此能够检测隐秘信息204。即，隐秘信息检测部150将识别部140的识别结果203的字符串的位置中的、符合预先设定的隐秘信息204的字符串位置的字符串的位置判断为隐秘信息204。

在不知道表单的构造的情况下，隐秘信息检测部150基于识别结果203所包含的字符信息来检测隐秘信息204。例如，也能够通过如下等方法进行检测，即，预先将隐秘信息204的项目名登记为知识，在识别结果203所包含的字符与隐秘信息的项目名一致的情况下判定为隐秘信息204。此外，隐秘信息检测部150将检测到的隐秘信息204保存在存储装置104中。

加工部160在检测到隐秘信息的情况下，基于检测到的隐秘信息204，对截取图像的隐秘信息部分进行加工处理，制作加工图像(第1加工图像)205。

加工部160进行的对隐秘信息部分的加工处理例如为，对隐秘信息部分的图像进行的消除、弱化、打马赛克等使图像的信息量减少的加工；字符位置的重新排序，等等。即，对加工图像205中的隐秘信息部分的加工处理是将隐秘信息碎片化的加工，不知道加工部的处理内容则无法根据加工图像205分别复原隐秘信息，但如果知道加工部的处理内容，则能够根据需要通过使加工图像205分别组合来复原隐秘信息。另外，加工部160制作出的加工图像205也有时会根据隐秘信息的碎片化的方法而成为多张。

作为加工处理的具体例子，加工部160对于电话号码等其自身不具有含义的数字及记号串，制作将字符以随机地选择的顺序重新排序而得到的加工图像。由此，在后述的修改部170的修改处理中，能够不对作业者提供与原来的字符串有关的信息。在图像数据的提供源，将由作业者输入的修改数据按照原来的顺序重新排序，从而能够将被作出的修改正确地应用于识别结果。

加工部160在未检测到隐秘信息的情况下，基于框线信息202，制作将截取图像的除填写框以外的部分去除而得到的框线图像(第2加工图像)。

加工部160将制作出的第1加工图像和第2加工图像作为加工图像205存储在存储装置104中。

修改部170对作业者用终端装置106，发送作业者进行识别结果203的修改所需要的数据(以下称为修改处理数据)。所发送的修改处理数据被显示于作业者用终端装置106，作业者从所显示的画面进行识别结果203的修改处理。对作业者用终端装置106发送的修改处理数据例如是加工图像205。根据需要，除了加工图像205以外，还可以将由框线检测部130检测到的框线信息202、识别结果203增加到修改处理数据中。

作业者参照作业者用终端装置106上显示的修改处理数据，进行加工图像205的修改内容(修改数据)的输入。所输入的修改数据是加工图像205上显示的字符的输入。或者，在识别结果203与加工图像205一起包含于修改处理数据的情况下，输出进行字符的正误判定及修改的字符。

此外，在加工图像205是框线图像的情况下，所输入的修改数据是所显示的框线的正误判定以及框线的修改。

修改部170从作业者用终端装置106经由网络105接收修改数据。此外，修改部170从加工图像205和修改数据复原出隐秘信息。

参照图3，对本实施方式的图像处理系统100的动作的一例进行说明。图3是表示图像处理系统100的动作的一例的流程图。

首先，扫描器101读取字符识别对象的表单并制作图像数据(步骤s10)。

在图4中，作为原图像201的一例，示出了图像a。图像a是记载有表格的表单的图像数据，在左侧的列中记载有项目名21，在右侧的列中按每个项目设有填写栏22，记载有字符。图像a的第1行的项目名21是会员编号。图像a的第2行的项目名21是姓名。图像a的第3行的项目21是电话号码。

图像a被输入至图像处理装置103，通过图像处理装置103在存储装置104中作为原图像201存储。

图像处理装置103的框线检测部130对存储装置104的原图像201进行框线检测处理，检测表单的填写框(步骤s20)。

框线检测部130按检测到的每个填写框，将包含填写框在原图像201中的位置信息的框线信息202存储在存储装置104中。

识别部140制作检测到的每个填写框的截取图像，并对制作出的截取图像进行字符识别处理(步骤s30)。识别部140将识别结果203存储于存储装置104。

图5中表示本实施方式中的截取图像的一例。图5是从图像a制作出的截取图像。如图5所示，从图像a制作出截取图像1～3这3个截取图像。

隐秘信息检测部150从识别结果203的字符检测个人信息等隐秘信息204(步骤s40)。隐秘信息检测部150将检测到的隐秘信息204存储在存储装置104中。

在检测到隐秘信息204的情况下(步骤s50中为是)，加工部160基于检测到的隐秘信息204，进行作为隐秘信息204的检测源的、截取图像的加工(步骤s60)。即，加工部160制作对被检测到了隐秘信息204的截取图像中的隐秘信息部分进行加工而得到的加工图像205(也称为第1加工图像)。加工部160将加工图像205存储在存储装置104中。

使用图6来说明在截取图像2中由隐秘信息检测部150进行的隐秘信息检测处理以及由加工部160进行的加工处理。图6是本实施方式的对截取图像2进行的隐秘信息检测处理和加工处理的概略图。

如图6所示，在对截取图像2进行了步骤s40的隐秘信息检测处理时，基于识别结果203的字符和与隐秘信息有关的知识检测到“东芝”和“太郎”这2个作为隐秘信息204。

基于该隐秘信息检测结果，加工部160对截取图像2进行加工处理，制作加工图像205。这里，加工部160进行将2个检测到的隐秘信息204的“姓”和“名”中的一方保留而将另一方删除的加工，制作加工图像205－1和加工图像205－2。

返回到图3的说明。修改部170向作业者用终端装置106发送包含对隐秘信息部分进行了加工后的加工图像205的修改处理数据(步骤s70)。另外，修改部170发送的修改处理数据也可以根据需要而包含框线信息202、识别结果203。此时识别结果203所包含的隐秘信息204被进行与加工图像205中的加工同样的处理，使得隐秘信息不被知道。

作业者用终端装置106对作业者显示包含接收到的加工图像205的修改处理数据。基于所显示的加工图像205，由作业者对作业者用终端装置106输入修改数据(步骤s80)。另外，在应当遵守内容相同等一定规则的加工图像205有多个的情况下，也可以将它们重叠或者并列地一次显示。关于例如性别等、填写内容限于少数选项的内容的项目，通过将多个成为同一识别结果的加工图像205重叠或者并列地一次显示，能够高效地发现被误识别的少数的加工图像205。

作业者用终端装置106向图像处理装置103发送由作业者输入的修改数据(步骤s90)。修改部170基于接收到的修改数据、加工图像205进行识别结果203的修改处理(步骤s100)。例如，修改部170对加工图像205进行比对，由此从加工图像205复原出截取图像并且从修改数据复原出隐秘信息。使用隐秘信息被复原出来的修改数据，修改部170修改截取图像的识别结果203。此时的修改例如有如下方法，即，对修改数据与识别结果203分别比较字符，在有不同的字符的情况下，将不同的字符和与该字符对应的部分的图像显示于作业者用终端装置106，使作业者选择某个。

在从识别结果203未检测到隐秘信息204的情况下(步骤s50中为否)，加工部160对截取图像中的除由框线检测部130检测到的填写框以外的部分进行加工处理，制作框线图像(第2加工图像)(步骤s110)。即，加工部160对截取图像中的除填写框以外的部分进行消除、弱化或者改变等加工。

图7中示出了本实施方式的制作框线图像的过程的示意图。图7是表示框线图像的一例的概略图。

图7中的左侧的截取图像4，是由框线检测部130从图像a截取的局部图像数据的一例。在该截取图像4中虚线部分被检测为填写框。由于填写框的检测出错，2个填写框被检测成了一个填写框。因此，进行了隐秘信息检测处理的结果为，未检测到隐秘信息204。在此情况下，加工部160检测截取图像4中的除填写框以外的像素，并将检测到的像素删除。由此，加工部160制作框线图像。

修改部170向作业者用终端装置106发送框线图像(步骤s120)。

作业者用终端装置106显示接收到的框线图像。作业者确认所显示的框线图像，并判定是否需要进行被检测为填写框的框线的修改。即，在需要进行填写框的修改的情况下，由作业者进行框线的修改，并输入至作业者用终端装置106(步骤s130)。框线的修改例如能够通过如下的方法等来进行，即，在作业者选择了作业者用终端装置106上显示的框线图像上的框线之中的被认为错误的框线时，修改部170将所选择的框线删除。

作业者用终端装置106向图像处理装置103发送框线的修改数据(步骤s140)。

修改部170在接收到框线图像的修改数据时，判定是否进行了框线图像的修改(步骤s150)。在进行了框线图像的修改的情况下(步骤s150中为是)，识别部140基于修改后的框线制作截取图像，并进行字符识别(步骤s160)。然后，返回到步骤s40，隐秘信息检测部150从识别结果203检测隐秘信息。由此，基于正确的填写框进行字符识别，因此能够以高精度进行隐秘信息的检测。

在未被进行框线图像的修改的情况下(步骤s150中为否)，即识别结果203中不包含隐秘信息204的情况下，而且是正确地检测到填写框的情况下，修改部170将作为该框线图像的加工源的截取图像向作业者用终端装置106发送(步骤s170)。作业者基于作业者用终端装置106上显示的截取图像，进行步骤s80以后的处理，进行识别结果的修改。

如以上说明那样，本实施方式的图像处理系统100能够实现包含个人信息等应当隐秘的信息的图像不被提供给外包方的状态下的字符识别结果的修改作业。

例如，在检测到隐秘信息204并从一个截取图像制作多个加工图像205的情况下，在图像处理装置103对多个加工图像进行比对而复原出了加工源的原图像的基础上，再分别提供给不同的作业者，由此能够将个人信息的修改外包。

另一方面，在隐秘信息检测部150未检测到隐秘信息204的情况下，有时是在原图像201中发生了框线检测部130的框线的检测错误。在此情况下，加工部160制作将隐秘信息检测源的截取图像的除框线以外的成分抹掉后的图像。制作出的图像被修改部170向作业者用终端装置106发送而被提示给作业者。在作业者基于被提示的图像选择了正确的框线时，基于所选择的框线由字符识别部120再次进行字符识别。

由此，根据本实施方式的图像处理系统100，能够防止包含有隐秘信息的图像被提供给外包方。即，能够防止由于未正确地检测到框线而未正确地检测到隐秘信息。

以上，对本实施方式的图像处理系统100进行了说明，但该实施方式是作为例子而提示的，无意限定发明的范围。该新的实施方式能够以其他各种各样的方式实施，在不脱离发明的主旨的范围内，能够进行各种省略、置换、变更。该实施方式及其变形，包含于发明的范围及主旨，并且包含于权利要求书所记载的发明及其等同的范围中。

例如，加工部160也可以是，对原图像201中的电话号码等其自身不具有含义的数字及记号串，输出将字符以随机地选择的顺序重新排序而得到的1张加工图像。或者，也可以是，输出仅将第奇数个字符抹掉而得到的加工图像和仅将第偶数个字符抹掉的加工图像这2张加工图像。

由此，在修改处理中不对作业者提供与原来的字符串有关的信息，在提供源将修改输入按照原来的顺序重新排序，能够正确地修改识别结果。

此外，作为加工部160的处理的别的例子可以想到，在作为原图像、同一样式且记载有不同内容的表单的图像数据存在有多个的情况下，通过将各个原图像中检测到的隐秘信息的一部分替换，能够输出多个加工图像。替换的隐秘信息的位置处于各原图像的同一位置。

例如，在从2张原图像分别检测到姓名作为隐秘信息的情况下，加工部160将第1张原图像中包含的姓名中的名的部分删除并用第2幅原图像中包含的姓名中的名来置换。同样，加工部160将第2幅原图像中包含的姓名中的名删除并用第1幅图像中包含的姓名中的名的图像来置换。