图像处理装置及其控制方法
【技术领域】
[0001]本发明涉及图像处理装置、该图像处理装置的控制方法以及针对该控制方法的程序。
【背景技术】
[0002]当利用具有平板扫描器的传统多功能机扫描多个原稿时，需要逐一读取原稿，然后开始扫描所读取的原稿。即，需要进行如下的复杂过程:将原稿逐一放置在平板稿台玻璃上、在放置原稿前后打开和关闭稿台玻璃的盖、并且按下用于扫描的读取开始按钮。
[0003]当利用具有ADF(自动原稿给送器)的多功能机扫描多个原稿时，仅必须将原稿一次性地放置到ADF，然后按下读取开始按钮。因此，能够跳过上述复杂过程。
[0004]然而，利用具有ADF的多功能机的这种操作无法处理对多个原稿的各个进行不同处理的情况。例如，上述操作无法处理彩色扫描包括字符和图像的原稿A并且黑白扫描仅包括字符的下一原稿B的情况。此外，当利用平板多功能机对多个原稿进行上述处理时，需要对各原稿进行上述复杂过程并且还需要在扫描各原稿前进行设置。
[0005]另外，当用户确认扫描图像的内容时，用户存在在进行扫描后打开预览画面、然后选择用于预览的扫描数据的麻烦。
[0006]为了减少当进行扫描时的这类必要的麻烦，存在如下技术，在对放置在原稿台上的原稿进行拍摄的照相机扫描器中，检测出原稿搁置在原稿台上，然后对搁置的原稿进行拍摄(例如，日本专利特开第2007-208821号公报)。
[0007]根据上述技术，由于能够仅通过将原稿摆放在原稿台上来进行扫描，因此能够大大减少在包括原稿台的盖的打开/关闭、按钮的按下等的扫描中的麻烦。
[0008]另外，为了减少对原稿的内容确认的麻烦，存在在原稿台上显示由照相机读取的原稿的技术(例如，日本专利特愿第2005-252737号公报，或者日本专利特开第2012-053545 号公报)。
[0009]在日本专利特愿第2005-252737号公报公开的技术中，照相机扫描器的原稿台用作显示器，并且拍摄的原稿的图像在显示器上被显示预定时间以使得用户能够容易确认所拍摄的原稿的内容，由此改善可操作性。
[0010]在日本专利特开第2012-053545号公报公开的技术中，通过投影仪投影的电子介质与纸质原稿交叠并被拍摄以生成该电子介质与该纸质原稿的数据已被组合的数据，并且所生成的数据被投影在与电子介质被投影到的位置相同的位置。
[0011]这里，假设在如日本专利特开第2007-208821号公报中的通过利用搁置检测的照相机扫描来连续读取原稿的系统中，在确认原稿的各内容的同时，针对确认了的原稿，在每次扫描时，进行诸如彩色设置等的不同处理。
[0012]在这种情况下，如果如日本专利特愿第2005-252737号公报中公开的技术仅进行预定时间的显示，则存在所显示的原稿在针对该原稿的操作完成前消失的可能性。
[0013]另外，在如日本专利特愿第2005-252737号公报中公开的技术在显示器上显示扫描数据的同时或者如日本专利特开第2012-053545号公报中公开的技术通过投影仪投影扫描数据的同时期望读取下一原稿的情况下，期望读取的原稿与被显示或投影的图像彼此交叠。这样，原稿的识别率劣化。
[0014]另一方面，存在通过在由照相机的手动拍摄的定时、隐藏(即，成为非显示状态)投影图像而不读取与期望读取的图像以外的图像对应的投影图像的技术(例如，日本专利特开第2006-184333号公报)。然而，在日本专利特开第2006-184333号公报公开的技术中，由于在由照相机的手动拍摄的定时不显示投影图像，所以在连续拍摄原稿时必须逐页进行操作。
【发明内容】
[0015]因此，本发明的目的在于提供如下的图像处理装置、该图像处理装置的控制方法以及要用于进行该控制方法的程序，该图像处理装置改善了使用拍摄原稿并显示拍摄的原稿的图像处理装置的用户的可操作性。
[0016]为了实现以上目的，在本发明中，提供一种图像处理装置，其配备有对能够摆放原稿的摄像区域进行拍摄的摄像设备以及能够显示图像的显示设备，该图像处理装置包括:提取单元，其被构造为从通过利用所述摄像设备对摆放有所述原稿的所述摄像区域进行拍摄而获得的图像中，提取表示所述原稿的图像的原稿图像数据；残留图像显示单元，其被构造为使所述显示设备在所述原稿被摆放的位置，显示由通过所述提取单元提取的所述原稿图像数据生成的并且对应于所述原稿的图像的残留图像；检测单元，其被构造为检测所述原稿进入用于检测所述原稿的检测区域；以及缩略图像显示单元，其被构造为响应于通过所述检测单元检测到所述原稿进入所述检测区域，使所述显示设备以使得所述残留图像的缩略图像不与进入所述检测区域的所述原稿交叠的方式显示所述缩略图像。
[0017]根据本发明，与表示原稿的图像对应的残留图像被显示在所述原稿被摆放的位置，并且如果检测到所述原稿进入到检测区域，则以使得所述残留图像的缩略图像不与进入所述检测区域的所述原稿交叠的方式显示所述缩略图像。这样，由于用作用于确认的残留图像的缩略图像每次被自动显示，因此能够提高使用对原稿进行拍摄并显示表示所拍摄的原稿的图像的图像处理装置的用户的可操作性。
[0018]根据以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。
【附图说明】
[0019]图1是例示根据本发明的实施例的包括照相机扫描器的扫描器系统的示意图。
[0020]图2是例示图1的照相机扫描器的外观的图。
[0021]图3是例示图2的控制器单元的示意框图。
[0022]图4是例示用于控制图1的照相机扫描器的程序的框图。
[0023]图5A、图5B和图5C是例示图3的HDD(硬盘驱动器)中的、通过对图2中的读取区域进行拍摄获得的读取区域背景图像被存储到的记录区域的构造的图。
[0024]图6A、图6B和图6C是例示图3的HDD中的、原稿图像数据被存储到的记录区域的构造的图。
[0025]图7A、图7B和图7C是例示要被存储在图3的RAM (随机存取存储器)中的文档属性信息以及图像属性信息的图。
[0026]图8A、图8B、图8C、图8D、图8E以及图8F是用于描述原稿操作以及显示图像的示例的图。
[0027]图9是例示通过利用照相机进行拍摄获得的图像以及投影变换后的图像的图。
[0028]图10是表示要通过图4的摄像处理部进行的初始化设置处理的过程的流程图。
[0029]图11是表示主要通过图4的摄像处理部以及定时检测部进行的残留图像投影处理的过程的流程图。
[0030]图12A、图12B、图12C、图12D、图12E、图12F、图12G和图12H是用于描述检测入镜(frame-1n)或出镜(frame-out)的方法的图。
[0031]图13是表示图11的S621中的原稿图像数据提取处理的过程的流程图。
[0032]图14是表示图11的S620中的输出文件生成处理的过程的流程图。
[0033]图15是表示图11的S623中的残留图像处理的过程的流程图。
[0034]图16A、图16B、图16C、图16D、图16E和图16F是用于描述原稿操作以及显示图像的示例的图。
[0035]图17是表示主要由图4的摄像处理部和定时检测部进行的残留图像投影处理的过程的流程图。
[0036]图18A是例示了原稿图像数据的坐标的图，图18B是例示了显示图像的示例的图，以及图18C是例示了从读取区域205中的残留图像区域2101提取的残留图像2102的图。
[0037]图19是表示图17的S625中的移动识别处理的过程的流程图。
[0038]图20A和图20B是用于描述当发生阴影时要进行的处理的图。
[0039]图21是表示图17的S625中的移动识别处理的过程的流程图。
[0040]图22A、图22B、图22C以及图22D是用于描述根据原稿对残留图像区域的进入、残留图像逐渐消失的状态的图。
[0041]图23是表示图17的S625中的移动识别处理的过程的流程图。
[0042]图24A、图24B、图24C、图24D、图24E、图24F、图24G以及图24H是用于描述通过原稿对残留图像区域的进入、残留图像逐渐被切除的状态的图。
[0043]图25是表示图17的S625中的移动识别处理的过程的流程图。
[0044]图26A、图26B以及图26C是用于描述原稿操作以及显示图像的示例的图。
[0045]图27是例示当生成要存储在图3的RAM中的缩略图像时生成的文档属性信息以及图像属性信息的图。
[0046]图28A、图28B、图28C、图28D、图28E以及图28F是例示缩略图像的坐标以及显示图像的图。
[0047]图29是表示图11的S623中的残留图像处理的过程的流程图。
[0048]图30A、图30B以及图30C是用于描述原稿操作以及显示图像的示例的图。
[0049]图31是表示图17的S625中的移动识别处理的过程的流程图。
[0050]图32A是例示了在读取区域205中显示缩略图像的预定区域的图，图32B是例示了原稿与该区域中显示的缩略图像交叠的情形的图，图32C是例示了要布置缩略图像的位置被改变的情形的图。
[0051]图33A、图33B以及图33C是例示原稿与被缩略图像填满的预定区域交叠的情形的图。
[0052]图34A、图34B、图34C以及图34D是例示缩略图像被重新布置的情形的图。
[0053]图35A、图35B以及图35C是例示缩略图像被归结显示的情形的图。
[0054]图36A、图36B、图36C以及图36D是例示缩略图像被缩小并显示的情形的图。
[0055]图37A、图37B、图37C、图37D以及图37E是例示在缩小处理中缩略图像的大小被缩小过多的情形的图。
[0056]图38是表示图17的S625中的移动识别处理的过程的流程图。
[0057]图39是表示图17的S625中的移动识别处理的过程的流程图。
[0058]图40是表示图38的S2807中的缩略图像偏移处理的过程的流程图。
[0059]图41是表示要通过摄像处理部和定时检测部进行的残留图像投影处理的过程的流程图。
[0060]图42是表示图41的S625中的移动识别处理的过程的流程图。
[0061]图43是表示图41的S627中的缩略图像处理的过程的流程图。
[0062]图44A、图44B、图44C、图44D、图44E、图44F以及图44G是例示搜索缩略图像可以被布置的区域的情形的图。
[0063]图45是表示图42的S2807中的缩略图像偏移处理的过程的流程图。
【具体实施方式】
[0064]以下将根据附图来详细描述本发明的优选实施例。
[0065][第一实施例]
[0066]图1是例示根据本发明的实施例的包括照相机扫描器101的扫描器系统100的示意图。
[0067]在图1中，通过网络104连接到主计算机102和打印机103的照相机扫描器101可以响应于来自主计算机102的指令，进行用于从照相机扫描器101读取图像的扫描功能以及用于向打印机103输出扫描数据的打印功能。
[0068]另外，无需使用主计算机102而能够直接指示照相机扫描器101进行扫描功能和打印功能。
[0069]图2是例示图1的照相机扫描器101的外观的图。
[0070]在图2中，照相机扫描器101大体由控制器单元201、照相机202、臂单元203以及投影仪207构成。
[0071]图2示出了照相机扫描器101被放置在原稿板204上的情形。这里，用作摄像设备的照相机202的镜头朝向原稿板204，由此可以对读取区域205中的图像进行读取和拍摄，该读取区域205被虚线围绕并用作可以摆放原稿的摄像区域。在图2所示的示例中，原稿206被摆放在读取区域205中。
[0072]用作照相机扫描器101的主体的控制器单元201和照相机202通过臂单元203彼此连接。臂单元203通过利用关节(joint)而可以自由弯曲和拉伸。用作显示设备的投影仪207向原稿板204等投影用于协助操作的图像来显示图像。另外，可以替代投影仪207而使用LCD (液晶显示器)触摸屏。
[0073]图3是例示图2的控制器单元201的示意性框图。
[0074]在图3中，控制器单元201主要由分别连接到系统总线301的CPU(中央处理单元)302、存储设备、各种控制器以及各种接口构成。
[0075]CPU 302对控制器单元201的整体操作进行控制。RAM 303是易失性存储器，ROM(只读存储器)304是非易失性存储器。针对CPU 302的引导程序(代码)等被存储在ROM 304 中。
[0076]HDD (硬盘驱动器)305与RAM 303相比具有大存储容量。要由控制器单元201执行的用于照相机扫描器101的控制以及其他各种程序被存储在HDD 305中。
[0077]CPU 302在通过通电等启动控制器单元时执行存储在ROM 304中的引导程序代码。这里，引导程序代码是要用于读取存储在HDD 305中的控制程序代码并将所读取的代码提取到RAM 303中的代码。
[0078]如果引导程序代码被执行，则CPU 302通过执行提取到RAM 303中的控制程序代码来进行各种控制。顺便提及，在CPU 302执行被存储在HDD 305中然后被提取到RAM 303中的程序代码的条件下，进行稍后描述的流程图的处理。
[0079]另外，CPU 302将要用于通过控制程序的操作的数据存储在RAM 303中，并且从RAM 303中读取该数据。另外，诸如通过控制程序的操作所必须的各种设置、由照相机输入而生成的图像数据等的各种数据可以被存储在HDD 305中，并且所存储的各种数据被CPU302读取和写入。
[0080]CPU 302通过网络I/F (接口)306进行与网络104上的其他设备的通信。
[0081]图像处理器307读取存储在RAM 303中的图像数据，处理所读取的数据，将处理后的数据写回到RAM 303中。这里，要由图像处理器307进行的图像处理包括旋转处理、倍率改变处理、色彩转换处理等。
[0082]连接到照相机202的照相机I/F 308响应于来自CPU 302的指令，从照相机202获得图像数据并且将获得的数据写入到RAM 303中。另外，照相机I/F将来自CPU 302的控制命令发送到照相机202以设置和控制照相机202。
[0083]投影仪207和IXD触摸屏330连接至的显示控制器309响应于来自CPU 302的指令，使投影仪和LCD触摸屏中的各个显示图像。
[0084]输入和输出串行信号的串行I/F 310连接到IXD触摸屏330。这样，当IXD触摸屏330被按下时，CPU 302通过串行I/F 310获得对应于所按下位置的坐标。
[0085]连接到扬声器340的音频控制器311响应于CPU 302的指令，将音频数据转换成模拟音频信号并且进一步通过扬声器340输出声音。
[0086]USB (通用串行总线)控制器312响应于CPU 302的指令来控制外部USB设备。这里，诸如USB存储器、SD (安全数字)卡等的外部存储器350连接到USB控制器312，从而从外部存储器读取数据以及向外部存储器写入数据。
[0087]图4是例示用于控制图1的照相机扫描器101的控制程序401的框图。
[0088]在图4中，如上所述，在启动照相机扫描器的操作时，CPU 302将已被存储在HDD305中的照相机扫描器101的控制程序提取到RAM 303中并且执行该控制程序。
[0089]用于照相机扫描器101的控制程序401包括主控制部402、操作显示部403、网络通信部404、数据管理部405、摄像处理部406、图像识别部407、显示处理部408以及输出文件生成部409。
[0090]作为程序主体的主控制部402通过控制程序中的各个模块来执行照相机扫描器控制程序。操作显示部403响应于来自主控制部402的描绘请求，通过显示控制器309进行对投影仪207或LCD触摸屏330的描绘操作。
[0091]另外，在IXD触摸屏330被按下时，操作显示部403通过串行I/F 310接收与按下位置对应的坐标，将描绘操作中的操作画面的内容与接收的坐标相关联，决定所按下按钮的操作内容等，然后将决定的操作内容通知给主控制部402。上述的操作显示部403使显示设备将基于从原稿提取的原稿图像数据生成的并且对应于表示原稿的图像的残留图像显示在原稿被摆放的位置。另外，如稍后所描述的，如果检测到原稿进入检测区域，则操作显示部403使显示设备将残留图像的缩略图像显示为，使得该缩略图像不与进入检测区域的原稿交叠。
[0092]网络通信部404经由网络I/F 306，通过TCP/IP (发送控制协议/互联网协议)进行与网络104上的其他设备的通信。
[0093]数据管理部405将执行控制程序401所需的设置数据等存储在HDD305的预定区域中，并管理存储的数据。
[0094]摄像处理部406通过照相机I/F 308控制照相机202，并且将在通过定时检测部410检测到的定时拍摄的照相机图像发送到图像识别部407。
[0095]由移动识别部412生成并且对应于照相机图像的命令被发送到显示处理部408。
[0096]定时检测部410检测原稿的入镜定时、搁置定时以及出镜定时。可以基于从照相机202接收的照相机图像来检测上述定时。
[0097]这里，出镜定时可以被设置为就在原稿从读取区域205出镜之前的定时，当原稿开始出镜时的定时，或者上述两个定时之间的任意定时。
[0098]移动识别部412通过针对从照相机202接收的各帧计算照相机图像的帧间差，来识别手或原稿在原稿台上的移动，并且将检测到的移动转换成预先关联的命令。
[0099]这样，能够通过在原稿台上朝着照相机进行诸如挥手操作等的手势操作来对照相机扫描器101给出指令。上述的摄像处理部406检测到原稿进入用于检测原稿的检测区域。
[0100]图像识别部407从照相机202接收照相机图像，并且识别接收的照相机图像的内容。
[0101]图像识别部407中包括的原稿图像数据提取部411从在通过定时检测部410检测到的搁置定时拍摄的并且从照相机发送的照相机图像中，提取原稿图像数据。提取的原