收据处理装置、程序的存储介质以及报告的制作方法与流程

本发明涉及用于提取印刷于收据的费用信息的收据处理装置等。

背景技术：

以往以来，已知一种光学地读取而识别印刷于收据的费用信息、并管理购买历史的技术，例如利用于确定申告、家庭收支簿的制作等。在该情况下的收据的读取方法中，可列举进行单面扫描而读取收据的表面的方法、以及进行双面扫描而选择地使用表面图像的方法。在其中的前者的读取方法中，用户需要将收据的表背一致地放置于扫描仪装置，以便正确地读取表面。

与此相对，在后者的读取方法中，具有能够不特别考虑表背地将收据汇集放置于扫描仪装置的优点。但是，需要从读取到的表背两个面的图像中选择表面图像，该选择全部由用户来进行，所以较费事。解决该问题的技术之一有将白纸的面判定为背面的技术。例如，专利文献1中公开了一种在未从读取到的图像提取到字符行的情况下将该面判定为背面的方法(例如参照专利文献1)。

专利文献1：日本特开平11-219408号公报

然而，收据的背面并不限于白纸，例如也存在印刷了销售店铺的信息(销售店铺的店铺名、住所、电话号码，主页地址等。以下称作店铺信息)、广告等的情况。因此，仅应用专利文献1的技术来判定背面，在减少用户删除背面所需的工时方面不够充分。

技术实现要素：

鉴于此，本发明将要解决的技术问题在于，提供一种与现有技术相比能够进一步减少读取背面不是白纸的收据的情况下的用户的工时的技术。

本发明的一方式涉及一种收据处理装置，具备：扫描控制部，使扫描仪部进行收据的双面扫描，从而生成作为包含第一图案的第一面的图像的第一图像与作为包含第二图案的第二面的图像的第二图像；判定部，分别分析上述第一图案与上述第二图案，针对上述第一图像与上述第二图像分别判定是表面图像还是背面图像；废弃部，废弃上述背面图像；以及输出部，基于分析上述表面图像而得的结果，提取印刷于上述收据的费用信息而输出报告。

本发明的一方式涉及一种程序的存储介质，所述程序使计算机作为取得部、判定部以及输出部发挥功能，上述取得部取得由扫描仪部进行收据的双面扫描而生成的作为包含第一图案的第一面的图像的第一图像与作为包含第二图案的第二面的图像的第二图像，上述判定部分别分析上述第一图案与上述第二图案，针对上述第一图像与上述第二图像分别判定是表面图像还是背面图像，上述输出部基于分析上述表面图像而得的结果，提取印刷于上述收据的费用信息而输出报告。

本发明的一方式涉及一种报告的制作方法，是制作费用信息的报告的制作方法，具备：取得工序，取得由扫描仪部进行收据的双面扫描而生成的作为包含第一图案的第一面的图像的第一图像与作为包含第二图案的第二面的图像的第二图像；判定工序，分别分析上述第一图案与上述第二图案，针对上述第一图像与上述第二图像分别判定是表面图像还是背面图像；以及报告工序，基于分析上述表面图像而得的结果，提取印刷于上述收据的费用信息而制作报告。

附图说明

图1是表示收据的表面的一个例子的示意图。

图2是表示图1所示的收据的背面的例子的示意图。

图3是表示收据的表面的其他例的示意图。

图4是表示图3所示的收据的背面的例子的示意图。

图5是表示收据的表面的其他例的示意图。

图6是表示图5所示的收据的背面的例子的示意图。

图7是示意地表示废弃执行画面的一个例子的示意图。

图8是示意地表示报告输出画面的一个例子的示意图。

图9是表示收据处理装置的功能构成例的框图。

图10是表示表背识别数据的数据构成例的图。

图11是表示报告输出处理的流程的流程图。

图12是表示一次表背判定处理的流程的流程图。

图13是表示二次表背判定处理的流程的流程图。

图14是表示收据的表面的其他例的示意图。

图15是表示收据的背面的其他例的示意图。

图16是表示收据的背面的其他例的示意图。

附图标记说明

10…收据处理装置；110…操作输入部；130…显示部；150…通信部；170…运算处理部；171…扫描控制部；173…ocr处理部；180…表背判定部；181…白纸判断部；182…使用颜色判断部；183…数字判断部；184…字符串方向判断部；185…重复判断部；186…特定字符串判断部；190…废弃部；191…图像显示控制部；193…识别变更部；195…报告输出控制部；200…存储部；210…收据处理程序；220…收据图像数据；223…第一图像数据；225…第二图像数据；230…字符识别结果数据；240…表背识别数据；250…报告数据。

具体实施方式

以下，参照附图，对本发明的优选的实施方式进行说明。另外，本发明不被以下说明的实施方式限定，能够应用本发明的形态并不限定于以下的实施方式。另外，在附图的记载中，对同一部分标注同一个附图标记。

[原理]本实施方式的收据处理装置从收据提取费用信息而进行输出报告的报告输出处理。对其大致的流程进行说明，在报告输出处理中，首先，使作为连接于收据处理装置的扫描仪部的扫描仪装置双面扫描收据，对于放置于扫描仪部的读取对象的收据的各个取得作为包含第一图案的第一面的图像的第一图像与作为包含第二图案的第二面的图像的第二图像。这里，图案这一术语作为字符、符号、图案或者它们与色彩的结合的通称而使用。由此，第一图案为第一图像所含的内容这一意思，第二图案为第二图像所含的内容这一意思。另外，为了避免理解的混乱，以下，有时适当地将第一图像所含的第一图案简称为第一图像，将第二图像所含的第二图案简称为第二图像。取得第一图像以及第二图像之后，分别对第一图像以及第二图像进行ocr(opticalcharacterrecognition/reader)处理，基于该ocr处理下的分析结果即字符识别结果，进行将印刷于收据的费用信息提取的费用信息提取处理而输出报告。

这里，必要的费用信息印刷于收据的表面，不需要从背面读取到的信息。另一方面，收据并不限于将表背一致地放置于扫描仪部，因此需要先于费用信息提取处理地确定第一图像以及第二图像中的哪一个是表面图像。作为为此的处理，在本实施方式中，判断预定的判断项目来使用、并进行判定取得的第一图像以及第二图像的表背的表背判定。以下，列举本实施方式中的六个判断项目，参照图1～图6所例示的收据对表背判定的原理进行说明。

(1)在白纸项目收据之中，有在其背面印刷有例如销售店的店铺名、住所、电话号码、邮件地址、主页的url(uniformresourcelocator)这类店铺信息、广告、退货时的注意书等的收据，也有背面为白纸的收据。而且，因为在表面必定记载费用信息，因此如果读取到的一个面为白纸，则该白纸的面是背面。因此，在本实施方式中，作为第一个判断项目即白纸项目，判断是否第一图像与第二图像的一方是白纸的图像。而且，在第一图像与第二图像的一方是白纸的图像的情况下，将该一方的图像判定为背面图像。

在该情况下，将另一方的图像作为表面，使用其字符识别结果进行后续的费用信息提取处理。

另外，在背面不是白纸的收据的情况下，对于白纸项目判断为第一图像以及第二图像中的哪一个都不是白纸的图像。由此，在该情况下，不根据白纸项目的判断结果判定背面图像。

(2)使用颜色项目一般来说，以黑色、灰色、深蓝这类非彩色或者低彩度颜色来印刷表面的费用信息。与此相对，背面的广告等有时以高彩度颜色的彩色来印刷。因此，作为第二个判断项目即使用颜色项目，判断第一图像与第二图像所使用的颜色。而且，在仅第一图像与第二图像中的一方是满足预定的低彩度条件的颜色的情况下，将该一方的图像判定为表面图像。在该情况下，使用该表面图像的字符识别结果进行后续的费用信息提取处理。在低彩度条件中，可以设定黑色、灰色等非彩色或者低彩度颜色、并且是可使用于费用信息的印刷的一个或者多个颜色，也可以设定彩度的数值条件。

然而，也可能存在表面的记载内容的一部分被彩色印刷的收据。例如，可列举在表面上使店铺名为彩色的收据、在表面记载广告并使其为彩色等。在该情况下，对于使用颜色项目，判断为第一图像以及第二图像中的哪一个都不是仅满足低彩度条件的颜色的图像。由此，在该情况下，不根据使用颜色项目的判断结果判定表面图像。

(3)数字项目表面的费用信息由于包含金额信息，因此必定包含数字。另一方面，背面的记载内容也可能有不包含数字的情况。因此，作为第三个判断项目即数字项目，根据第一图像以及第二图像的字符识别结果判断各图像是否包含数字。为了更加准确，判断第一图像所含的第一图案以及第二图像所含的第二图案是否包含数字。而且，在仅第一图像与第二图像中的某一方不包含数字的图像的情况下，将该一方的图像判定为背面图像。

例如，在于图1中示出表面、于图2中示出背面的收据中，作为表面的图1的面的记载内容包含数字，另一方面，作为背面的图2的面的字符不包含数字。对这样的收据进行数字项目下的判断的结果是，图2的面的图像被判定为该收据的背面图像。在该情况下，将作为另一方的图像的图1的面的图像作为表面图像，使用该表面图像的字符识别结果进行后续的费用信息提取处理。

其中，例如在背面记载有销售店铺的住所、电话号码等的收据等的背面的记载内容包含数字的收据的情况下，对于数字项目判断第一图像以及第二图像都是包含数字图像。由此，在该情况下，不根据数字项目的判断结果判定背面图像。

(4)字符串方向项目表面的费用信息一般是以收据的长度方向为上下的水平书写，另一种说法就是以沿着纸张的短边方向的水平书写记载。与此相对，背面的广告等有时是以收据的短边方向为上下的水平书写，另一种说法就是以沿着纸张的长度方向的水平书写记载，或通过以该短边方向为上下的垂直书写来记载。

另外，除此之外，也考虑相对于收据的长度方向、短边方向倾斜地配置字符而记载广告等的情况。

鉴于此，作为第四个判断项目即字符串方向项目，根据第一图像以及第二图像的字符识别结果判断各图像的每一个的图案所含的字符的朝向。更详细来说，在本实施方式中，将字符的上下沿着收据的长度方向的字符的朝向设为0°，将字符的上下沿着收据的短边方向的字符的朝向设为90°，按照每个字符判断字符的朝向。而且，在仅第一图像与第二图像的一方中的全部字符的朝向满足预定的不适当方向条件的情况下，将该一方的图像判定为收据的背面图像。这里，不适当方向条件在本实施方式中基于字符的朝向与收据的长度方向的相对角度而确定，例如能够预先设定为“该相对角度是20°以上且160°以下或者200°以上且340°以下”等。

例如，在于图3中示出表面、于图4中示出背面的收据中，作为背面的图4的面的记载内容通过以收据的短边方向为上下的水平书写来记载。对这样的收据进行字符串方向项目下的判断的结果是，图4的面的图像被判定为该收据的背面图像。在该情况下，将作为另一方的图像的图3的面的图像作为表面图像，使用该表面图像的字符识别结果进行后续的费用信息提取处理。

(5)重复项目收据的背面的记载方式之一，具有店铺信息、广告等被重复印刷的方式。具体而言，可列举在其背面将店铺信息隔开预定的间隔地重复印刷的收据、商品的广告、或退货时的注意书等被重复印刷的收据等。因此，作为第五个判断项目即重复项目，根据第一图像以及第二图像的字符识别结果，判断第一图像所含的第一图案与第二图像所含的第二图案中是否重复有作为相同的字符串的重复印刷体。

在本实施方式中，对于第一图像内或者第二图像内的由10个字符以上构成的字符串，在该图像内进行搜索，在与其相同的字符串包含n个以上的情况下，判断为该图像中的作为该字符串的重复印刷体重复。在本实施方式中设为n＝2，但n也可以是3以上。而且，在仅有第一图像与第二图像中的某一方中重复了重复印刷体的情况下，将该一方的图像判定为背面图像。

例如，在于图5中示出表面、于图6中示出背面的收据中，在图6的背面图像中，如由虚线p11、p13、p15包围所示，含有多个由15个字符构成的相同的字符串“xyzshoppingmall”。在图6中含有三个。对这样收据进行重复项目下的判断的结果是，图6的面的图像被判定为该收据的背面图像。在该情况下，将作为另一方的图像的图5的图像作为表面，使用该表面图像的字符识别结果进行后续的费用信息提取处理。

其中，例如在购买了多个相同的品种的情况下，有时该品种的字符串重复等、收据的表面的记载内容包含多个含相同的字符串。在该情况下，对于重复项目判断为第一图像以及第二图像都重复了重复印刷体。由此，在该情况下，不根据重复项目的判断结果判定表面图像。

(6)特定字符串项目表面的费用信息一般如图1、图3以及图5所示，包含“tax”、“total”这类特定的字符串。因此，作为第六个判断项目即特定字符串项目，根据第一图像以及第二图像的字符识别结果判断各图像是否包含特定字符串。更准确地说，判断第一图像所含的第一图案以及第二图像所含的第二图案是否包含特定字符例。而且，在仅有第一图像与第二图像中的某一方是包含特定字符串的图像的情况下，将该一方的图像判定为表面图像。在该情况下，使用该表面图像的字符识别结果进行后续的费用信息提取处理。对于特定字符串，除了例示的“tax”以及“total”之外，例如预先设定“card”、“cash”“change”等可能记载于收据的表面的字符串即可。

这里，以上列举的判断项目中的白纸项目以及使用颜色项目这两个项目能够根据第一图像以及第二图像的像素值来判断。另一方面，数字项目、字符串方向项目、重复项目以及特定字符串项目这四个项目根据第一图像以及第二图像的字符识别结果来判断。由此，前者的两个项目不进行ocr处理也能够判断，其结果，只要判定表背，则对于背面图像不需要ocr处理。与此相对，在后者的四个项目的判断中，对于第一图像以及第二图像这两方进行ocr处理。因此，在本实施方式中，在ocr处理之前针对白纸项目以及使用颜色项目依次进行判断。然后，在哪个判断项目中都未判定表背的情况下，对第一图像以及第二图像进行ocr处理，对于数字项目、字符串方向项目、重复项目以及特定字符串项目依次进行判断，由此实现处理负载的减少。

另外，在以上说明的表背判定中，可能产生在六个判断项目中全部未完成表背的判定的情况。另外，即使在判定出表背的情况下，也有误判定的情况。因此，在本实施方式中，对于某个读取对象的收据，对于其第一图像与第二图像识别是表面图像还是背面图像并显示，从而将每个该收据的表背判定结果提示给用户。然后，接收用户的识别变更操作而变更是表面图像还是背面图像的识别，并且在被进行了废弃执行操作输入的情况下，废弃被视作背面图像。

图7是示意地表示背面废弃执行画面的一个例子的示意图。如图7所示，背面废弃执行画面w1具备表背判定结果识别显示部w11、选择收据面显示部w13、以及废弃执行按钮b1。废弃执行按钮b1用于用户输入废弃执行操作，例如，将指示选中背面而废弃执行操作的消息一并配置于画面内。

在表背判定结果识别显示部w11按照收据所固有的读取编号的每一个，排列显示其第一图像以及第二图像的缩略图。具体而言，基于表背判定的结果的表面的缩略图向左侧、背面的缩略图向右侧地配置，例如如图7中的缩略图t11那样，在表背判定中，对于被判定为背面或者表面的收据，从最初起以对右侧的缩略图标注了表示背面的复选框c11的状态显示。另一方面，对于表背判定的结果是未判定出背面或者表面的收据，例如假定第一图像是表面，第二图像是背面，如图7中的缩略图t13那样，在左侧配置第一图像，在右侧配置第二图像，以未选择的状态显示背面的复选框c13。另外，这里，从最初起以对右侧的缩略图标注了表示背面的复选框c11的状态显示指的是，用扫描仪读取新的收据，将读取到的收据的图像追加到显示中，同时或者仅错开不受理用户的操作那样的短时间标注复选框c11。

在该表背判定结果识别显示部w11中，用户通过选择或者变更复选框而输入识别变更操作。即，用户在表背判定结果识别显示部w11中确认背面是否被正确地检查，如果有错误，则重新对正确的缩略图勾选复选框。另外，对于未选择复选框的收据选择背面并将复选框打勾。此时，能够通过适当地选择缩略图，使其收据面的图像较大地显示于选择收据面显示部w13来确认内容。在图7的例子中，缩略图t15被选择，并放大显示于选择收据面显示部w13。

例如，在缩略图t13是背面图像的情况下，用户对缩略图t13勾选复选框c13。另外，在缩略图t11不是背面而是表面图像的情况下，用户去掉缩略图t11的复选框c11的勾选，对缩略图t17勾选复选框c17。

然后，用户一旦确认背面的复选框，结束其选择、变更，就点击废弃执行按钮b1。于是，背面图像被全部废弃。据此，能够在费用信息提取处理之前将表背判定结果提示给用户，根据用户的操作输入适当修正该表背判定结果，之后废弃背面图像。由此，用户只需进行对表背判定的结果是未自动地判定出表背者选择背面，并且如果有误判定则选择正确的背面的操作即可。因此，能够大幅度减少废弃在双面扫描中读取到的收据的背面图像时的用户的工时。另外，虽然设为选中背面来说明，但也当然构成为可以选中表面，并废弃未选中的面的图像。

另外，如以上那样受理用户的废弃执行操作而执行了背面的废弃之后，使用表面图像的字符识别结果进行费用信息提取处理，输出报告。在本实施方式中，在输入了用户的报告输出指示操作的情况下，将提取到的费用信息按照每个收据进行显示，从而进行报告输出。

图8是示意地表示报告输出画面的一个例子的示意图。如图8所示，报告输出画面w2具备选择收据表面图像显示部w21和费用信息显示部w23。在选择收据表面图像显示部w21显示报告的输出对象的收据的表面图像，在费用信息显示部w23显示关于该收据提取的费用信息。具体而言，例如，如图8所示，费用信息包含表示支付目标的“vendor”、表示税额的“tax”、表示总金额的“total”、表示是现金还是刷卡等支付方法的“method”等费用项目的信息，在费用信息显示部w23中，也能够进行基于这些选择、数值输入等的编辑。

[功能构成]图9是表示收据处理装置10的功能构成例的框图。收据处理装置10例如是用户使用的个人计算机等的计算机，与用于进行收据的双面扫描而取得第一图像与第二图像的扫描仪部100连接地构成。该收据处理装置10如图9所示，具备操作输入部110、作为输出部的显示部130、通信部150、运算处理部170、以及存储部200。另外，虽然设为收据处理装置10具备扫描仪部100而进行说明，但也当然可以将扫描仪部100考虑为外设的另一装置并使扫描仪部100以外的构成为收据处理装置10。

操作输入部110受理用户的各种操作输入，将与操作输入相应的操作输入信号向运算处理部170输出。能够由按钮开关、杠杆开关、拨盘开关、触控板、鼠标等实现。

显示部130由lcd(liquidcrystaldisplay)等显示装置实现，基于来自运算处理部170的显示信号进行各种显示。

通信部150是用于基于运算处理部170的控制与外部之间收发数据的通信装置。作为该通信部150的通信方式，能够应用遵循预定的通信标准的经由线缆的有线连接的形式、经由兼作的中间装置与被称作托座等的充电器连接的形式、利用无线通信而无线连接的形式等各种方式。

运算处理部170例如由cpu(centralprocessingunit)、gpu(graphicsprocessingunit)、asic(applicationspecificintegratedcircuit)、fpga(fieldprogrammablegatearray)以及基于它们的配合等的处理器、ic存储器等电子部件实现。而且，运算处理部170在与各功能部之间进行数据的输入输出控制，基于预定的程序、数据、来自操作输入部110的操作输入信号、从扫描仪部100输入的图像数据等执行各种的运算处理。另外，构成运算处理部170的各部也可以由专用的模块电路等硬件构成。

该运算处理部170包含扫描控制部171、作为分析部的ocr处理部173、表背判定部180、废弃部190、以及报告输出控制部195。

扫描控制部171使扫描仪部100进行收据的双面扫描而生成第一面的第一图像与第二面的第二图像，并按照读取对象的收据的每一个取得第一图像与第二图像。

ocr处理部173针对第一图像以及第二图像的各图像或者其中的表面图像，进行ocr处理作为图像分析处理，识别图像内的字符，更详细地说是识别图像所含的图案内的字符，生成文本数据。

表背判定部180依次判断上述的白纸项目、使用颜色项目、数字项目、字符串方向项目、重复项目以及特定字符串项目这六个项目，进行第一图像与第二图像中的哪一个是背面、或者哪一个是表面的表背判定。更详细地说，白纸项目以及使用颜色项目这两个项目的表背判定在ocr处理之前依次进行。另一方面，数字项目、字符串方向项目、重复项目以及特定字符串项目这四个项目的表背判定在于之前的两个项目中未判定出表背的情况下，在ocr处理之后依次进行。该表背判定部180具备作为判断白纸项目的第三判断部的白纸判断部181、作为判断使用颜色项目的第四判断部的使用颜色判断部182、判断数字项目的数字判断部183、作为判断字符串方向项目的第二判断部的字符串方向判断部184、作为判断重复项目的第一判断部的重复判断部185、以及判断特定字符串项目的特定字符串判断部186。

废弃部190废弃第一图像与第二图像中的背面图像。该废弃部190具备图像显示控制部191与识别变更部193。

图像显示控制部191基于表背判定部180的表背判定结果，进行识别第一图像以及第二图像分别是表面图像还是背面图像而显示的控制。

识别变更部193受理用户的识别变更操作而变更图像显示控制部191对第一图像以及第二图像是表面图像还是背面图像的识别。

报告输出控制部195基于表面图像的字符识别结果进行将印刷于该收据的费用信息提取的费用信息提取处理，并进行将报告输出的控制。在本实施方式中，进行将记载了费用信息的报告显示于显示部130的控制。

存储部200由ic存储器、硬盘、光盘等存储介质实现。在该存储部200中预先存储有用于使收据处理装置10动作、并实现收据处理装置10所具备的各种功能的程序、在该程序的执行中使用的数据等，或在每次处理时暂时地存储。另外，运算处理部170与存储部200的连接并不局限于基于装置内的内部总线电路的连接，也可以由lan(localareanetwork)、网络等通信线路实现。在该情况下，存储部200也可以由区别于收据处理装置10的另一外部存储装置实现。

另外，在存储部200中保存收据处理程序210、收据图像数据220、字符识别结果数据230、表背识别数据240、以及报告数据250。

运算处理部170读出收据处理程序210并执行，从而实现扫描控制部171、ocr处理部173、废弃部190、报告输出控制部195等的功能。另外，在由电路等硬件实现这些功能部的情况下，也能够省略用于实现该功能的程序的一部分。

收据图像数据220按照放置于扫描仪部100的作为读取对象的收据每一个存储第一图像以及第二图像的图像数据。例如，一个收据图像数据220包含读取编号221、第一图像数据223、以及第二图像数据225。读取编号221作为收据所固有的编号在该收据的读取时被分配。

字符识别结果数据230与读取编号建立对应地存储对符合的收据获得了ocr处理的结果的第一图像以及第二图像的各图像或者其中的表面图像的文本数据。

表背识别数据240例如如图10所示，与读取编号建立对应地设定其第一图像以及第二图像是表面图像还是背面图像的识别标志。

该表背识别数据240由图像显示控制部191制作，由识别变更部193适当地改写。即，在图像显示控制部191的制作阶段的表背识别数据240中，未由表背判定部180判定出表背的收据的识别标志例如如记录r3那样被设为空白。而且，被设为空白的识别标志、基于表背判定部180的错误的表背判定结果的识别标志可根据用户的识别变更操作变更。

在报告数据250中，按照读取对象的收据的每一个，存储其费用信息提取处理的结果提取到的费用信息。例如，一个报告数据250包含读取编号和作为费用信息而提取到的“tax”、“total”“method”这类各种费用项目的信息。

[处理的流程]图11是表示本实施方式的收据处理装置10所进行的报告输出处理的流程的流程图。这里说明的处理例如在由用户将读取对象的收据放置于扫描仪部100并进行了预定的读取开始操作后开始。另外，本处理能够通过运算处理部170从存储部200读出收据处理程序210而执行，并使收据处理装置10的各部动作来实现。

如图11所示，在报告输出处理中，首先，扫描控制部171使扫描仪部100进行收据的双面扫描，按照读取对象的收据的每一个取得第一图像与第二图像(步骤s1)。此时，扫描控制部171对读取到的收据分配读取编号。然后，对于相当于分配到的读取编号的收据，与取得第一图像以及第二图像的图像数据建立对应地作为收据图像数据220保存于存储部200。

对于全部的读取对象的收据，如果取得了第一图像与第二图像，则进行一次表背判定处理(步骤s2)。图12是表示一次表背判定处理的流程的流程图。如图12所示，在一次表背判定处理中，首先，将读取对象的收据作为依次对象收据，执行循环a的处理(步骤s201～步骤s215)。

在循环a中，表背判定部180首先针对白纸项目进行表背判定。具体而言，白纸判断部181判断是否第一图像与第二图像中的一方为白纸的图像(步骤s203)。然后，在第一图像与第二图像的一方是白纸的图像的情况下(步骤s205：是)，将该一方的图像判定为背面图像(步骤s207)。

另外，在步骤s205为否定的情况下，表背判定部180于使用颜色项目进行表背判定。具体而言，使用颜色判断部182判断第一图像与第二图像所使用的颜色(步骤s209)。然后，在仅第一图像与第二图像中的一方是满足预定的低彩度条件的颜色的情况下(步骤s211：是)，将该一方的图像判定为表面图像(步骤s213)。

然后，如果结束了循环a的处理，则对于图像显示控制部191在步骤s207中判定了背面图像、或者在步骤s213中判定了表面图像的收据，设定第一图像以及第二图像是表面图像还是背面图像的识别标志，保存于表背识别数据240(步骤s217)。

返回图11。如果进行了一次表背判定处理，则将全部的读取对象的收据作为依次对象收据而进行循环b的处理(步骤s3～步骤s8)。在循环b中，首先，辨别在前段的一次表背判定处理中对于对象收据是否判定了表背。然后，在判定了表背的情况下(步骤s4：是)，ocr处理部173对表面图像进行ocr处理(步骤s5)，生成表面图像的文本数据而设为对象收据的字符识别结果数据230，保存于存储部200。另一方面，如果对于对象收据未判定出表背(步骤s4：否)，则ocr处理部173依次进行第一图像的ocr处理(步骤s6)和第二图像的ocr处理(步骤s7)，生成第一图像以及第二图像的文本数据而设为对象收据的字符识别结果数据230，并保存于存储部200。

然后，如果结束了循环b的处理，则进行二次表背判定处理(步骤s9)。

图13是表示二次表背判定处理的流程的流程图。如图13所示，在二次表背判定处理中，首先，将读取对象的收据中的、在一次表背判定处理中未判定出表背的收据作为依次对象收据，执行循环c的处理(步骤s901～步骤s927)。

在循环c中，表背判定部180首先对于数字项目进行表背判定。具体而言，数字判断部183根据第一图像以及第二图像的字符识别结果判断各图像是否包含数字(步骤s903)。然后，在仅第一图像与第二图像中的某一方是不包含数字的图像的情况下(步骤s905：是)，将该一方的图像判定为背面图像(步骤s907)。

另外，在步骤s905为否定的情况下，表背判定部180对于字符串方向项目进行表背判定。具体而言，字符串方向判断部184根据第一图像以及第二图像的字符识别结果，判断各图像的各个所含的字符的朝向(步骤ss909)。然后，在仅第一图像与第二图像中的一方中的全部字符的朝向满足预定的不适当方向条件的情况下(步骤s911：是)，将该一方的图像判定为背面图像(步骤s913)。

另外，在步骤s911为否定的情况下，表背判定部180对于重复项目进行表背判定。具体而言，重复判断部185根据第一图像以及第二图像的字符识别结果，判断各图像中是否重复有作为10个字符以上的字符串的重复印刷体(步骤s915)。然后，在仅第一图像与第二图像中的某一方中重复有重复印刷体的情况下(步骤s917：是)，将该一方的图像判定为背面图像(步骤s919)。

另外，在步骤s917为否定的情况下，表背判定部180对于特定字符串项目进行表背判定。具体而言，特定字符串判断部186根据第一图像以及第二图像的字符识别结果判断各图像是否包含特定字符串(步骤s921)。

然后，在仅第一图像与第二图像中的某一方是包含特定字符串的图像的情况下(步骤s923：是)，将该一方的图像判定为表面图像(步骤s925)。

然后，如果结束了循环c的处理，则对于图像显示控制部191在步骤s907、步骤s913、步骤s919中判定了背面图像、或者在步骤s925中判定了表面图像的收据，设定第一图像以及第二图像是表面图像还是背面图像的识别标志，并保存于表背识别数据240(步骤s929)。

返回图11。如果进行了二次表背判定处理，则接着，识别图像显示控制部191使用表背识别数据240进行将图7所例示的背面废弃执行画面w1显示于显示部130的控制，按照读取对象的收据的每一个识别显示第一图像与第二图像分别是表面图像还是背面图像(步骤s10)。在该背面废弃执行画面w1中输入了用户的识别变更操作的情况下(步骤s11：是)，识别变更部193变更是表面图像还是背面图像的识别而更新表背识别数据240(步骤s12)。然后，废弃部190在背面废弃执行画面w1中输入了用户的废弃执行操作的情况下(步骤s13：是)，根据表背识别数据240废弃背面图像(步骤s14)。

之后，报告输出控制部195进行费用信息提取处理，按照读取对象的收据的每一个，根据其表面图像的字符识别结果提取费用信息(步骤s15)。另外，在本实施方式中，在ocr处理之前进行白纸项目以及使用颜色项目的判断，对于在该两个项目中判定了表背的收据，在步骤s5中仅对表面图像进行ocr处理。因此，对于该收据，在步骤s12中变更了识别时，需要先于步骤s15的处理地进行表面图像的ocr处理。另一方面，如果在白纸项目以及使用颜色项目的判断中未判定出表背，为了进行表背判定而进行了ocr处理，则从因此得到的字符识别结果中的、最终判定为表侧的字符识别结果提取费用信息。其中，在该情况下，也可以重新执行ocr处理。

然后，报告输出控制部195例如接受用户的报告输出指示操作而进行将图8例示的报告输出画面w2显示于显示部130的控制，显示每个收据的费用信息而进行报告的输出(步骤s16)。

如以上说明那样，根据本实施方式，通过按顺序判断六个判断项目，能够自动地判定收据的背面，能够大幅度减少废弃在双面扫描中读取到的收据的背面图像时的用户的工时。另外，在进行表背判定时，对于白纸项目以及使用颜色项目这两个项目能够在ocr处理之前判断。而且，在其结果是判定了表背的情况下，能够仅对表面图像进行ocr处理，实现了处理负载的减少。

[变形例]另外，能够应用本发明的形态并不限定于上述实施方式，也能够实施适当构成要素的追加、省略、变更、统一、分离。例如，也可以使上述收据处理装置中的扫描仪部、显示部为另一装置。

例如，在上述实施方式中，说明了如下例子：对于字符串方向项目判断了图像内的字符的朝向的结果，在仅第一图像与第二图像中的一方中的全部字符的朝向满足预定的不适当方向条件的情况下，将该一方的图像判定为背面图像。与此相对，也可以是，在仅第一图像与第二图像中的一方中一部分的字符的朝向满足预定的不适当方向条件的情况下，将该一方的图像判定为背面图像。

另外，也可以是，对于第一图像以及第二图像的各图像计算其朝向满足不适当方向条件的字符的比例，在仅计算出的第一图像以及第二图像的比例的一方满足预定的高比例条件的情况下，将该一方的图像判定为背面图像。

例如，在收据中，除了如在图14中示出表面的收据那样销售店铺的店铺名等相对于收据的短边方向倾斜地记载的设计的收据之外，也可能存在销售店铺的店铺名等通过以收据的长度方向为上下的垂直书写记载的收据、表面记载有包含垂直书写的字符的广告的收据等，表面的一部分的字符满足不适当方向条件的收据。另外，例如如在图15中示出背面的收据那样，也可能存在混合存在有作为不满足不适当方向条件的字符的以收据的长度方向为上下的水平书写的字符、以及作为满足不适当方向条件的字符的以收据的短边方向为上下的水平书写的字符的收据等，背面的一部分的字符不满足不适当方向条件的收据。

在这样的情况下，根据本变形例，在表面上的满足不适当方向条件的字符的比例低到不满足高比例条件的程度、且背面上的满足不适当方向条件的字符的比例满足高比例条件的情况下，能够将满足该高比例条件的面自动地判定为收据的背面。

具体而言，对于第一图像以及第二图像的各个，计算满足不适当方向条件的字符数相对于该图像所含的字符总数的比例。然后，在其中的仅一方满足高比例条件的情况下，将满足该高比例条件的面的图像判定为背面图像。高比例条件例如设为“计算出的比例为70％以上”等，适当地设定即可。

另外，在上述实施方式中，说明了如下例子：对于重复项目判断图像内是否重复有作为10个字符以上的字符串的重复印刷体，在仅第一图像与第二图像中的某一方重复有重复印刷体的情况下，将该一方的图像判定为背面图像。与此相对，并不限定于字符数，也可以判断是否以一行单位重复有相同的字符串。例如，在图2的例子中，如图2中虚线p41、p43包围所示那样，作为店铺名的字符串“abcdefg”所构成的行含有多行(两行)。在该情况下，也可以将“abcdefg”作为重复印刷体，并判断为该重复印刷体重复。

另外，也可以判断一行之中是否重复有相同的字符串。例如，若着眼于图4中由虚线p5包围的一行，则该行包含多个(两个)字符串“keepthis”。在该情况下，也可以将“keepthis”作为重复印刷体，并判断为该重复印刷体重复。

另外，重复印刷体并不局限于字符串，也可以是图像、字符串图像的混合体。作为印刷于收据的背面图像的例子，可列举销售店铺的标记等。

另一方面，作为印刷于收据的背面的混合体的例子，考虑对销售店铺的店铺信息赋予该销售店铺的标记的方式。例如，在于图16中示出背面的收据中，包含多个由虚线包围示出的相同的字符串与图像的混合体。在图16的例子中含有两个。

在本变形例中，如果是作为重复印刷体判断图像的重复的情况下，例如对于第一图像以及第二图像的各个，作为图像分析处理进行以ocr处理的结果是不能进行字符识别的区域为对象的图案匹配处理。然后，图案匹配处理的结果，在于该不能进行字符识别的区域内检测出n个以上一致的部分图像的情况下，判断为作为该部分图像的重复印刷体重复。n例如可以设为2，也可以设为3以上。另外，在作为重复印刷体判断混合体的重复的情况下，作为图像分析处理，进行ocr处理和上述图案匹配处理。而且，也能够通过组合它们的处理结果来判断混合体的重复。另外，也可以不进行ocr处理，而仅通过图案匹配处理判断重复的有无。

另外，用于表背判定处理的处理并不限定于上述，可以加入另一处理，也可以省略而不进行上述处理的一部分。另外，顺序也是在上述情况下较为高效，但也能够改变多个处理的顺序，也可以一次同时进行多个处理而综合它们的处理结果来判定表背。

另外，也可以使用通过机械学习制作出的学习完毕模型，分析读取收据而得的图像，将根据包含图像中的字符的图案进行表背判定的处理加入或者替换上述图像分析处理以及表背判定处理。机械学习的方法能够采用公知的各种方法，但例如可以预先以人类表背识别而得的大量的收据的表背的图像作为教师数据而使收据处理装置的设计者学习，除此之外、或者代替其地也可以将用户在收据处理装置中使用的收据的表背的图像与用户经过表背的识别变更而得的表背识别最终结果作为教师数据而学习。而且，在将用户在收据处理装置中使用的收据的表背的图像与用户经过表背的识别变更而得的表背识别最终结果作为教师数据而学习的情况下，可以由收据处理装置自身进行学习而制作学习完毕模型，也可以由收据处理装置将收据的表背的图像与表背识别最终结果向服务器等的外部装置发送，由外部装置进行学习而制作学习完毕模型，并由收据处理装置从外部装置取得学习完毕模型。另外，在如此使用于学习的情况下，也可以不将判定为背面图像删除，而是以用户不能容易地确认的方式残留。

另外，关于判定为背面图像，也能够不让用户确认而是自动地删除。特别是，也可以在作为背面的可能性相对较高的情况下，将判定为背面图像不让用户确认而是自动地删除，在作为背面的可能性相对较低的情况下，将判定为背面图像让用户确认而接受用户的删除指示来删除。

另外，记载了费用信息的报告的输出并不局限于在上述实施方式中说明的显示于显示部130的方式，例如包含从作为输出部的印刷装置印刷的方式、向作为输出部的存储部200保存报告数据250的方式、使外部的装置收取报告数据250的方式。