上置型扫描仪装置和图像获取方法
【专利摘要】本发明目的在于提供一种能够防止误检测并且精度良好地检测读取开始的上置型扫描仪装置和图像获取方法。根据本实施方式，控制区域传感器，连续获取多个图像，并基于获取的多个图像，通过图像差分提取来计算动作模式，基于动作模式，检测翻页动作，在检测出翻页动作的情况下，判定读取开始。
【专利说明】上置型扫描仪装置和图像获取方法
【技术领域】
[0001]本发明涉及上置型扫描仪装置和图像获取方法。
【背景技术】
[0002]以往，开发出了使操作性提升的上置型扫描仪。
[0003]这里，已知有一种上置型扫描仪(参照专利文献1)，其为了使读取原稿的操作性优异且获取高精细的图像，基于特征点提取的速度矢量判定读取开始。
[0004]此外，还已知有一种扫描仪装置(参照专利文献2)，在对用高速区域传感器拍摄的视频的帧进行修正而形成扫描图像时，通过连续监视由物体反射出的投射图案，提取差分来检测区域范围内的变化，并通过比较该检测结果来探测物体的变化。
[0005]现有技术文献 [0006]专利文献1:日本特开2011-254366号公报
[0007]专利文献2:日本特开2003-244531号公报
【发明内容】
[0008]然而，在现有的扫描仪中存在以下问题:容易产生检测出规定动作以外的动作的误检测，而正确检测规定动作的检测精度较低。
[0009]本发明是鉴于上述问题而完成的，其目的在于提供一种能够防止误检测并且能够精度良好地检测读取开始的上置型扫描仪装置和图像获取方法。
[0010]为了实现上述目的，本发明涉及的上置型扫描仪装置具有区域传感器和控制部，上述控制部包括:区域图像获取单元，其控制上述区域传感器，连续获取多个图像；动作模式计算单元，其基于由上述区域图像获取单元获取的上述多个图像，通过图像差分提取来计算动作模式；动作检测单元，其基于由上述动作模式计算单元计算出的上述动作模式，检测翻页动作；以及读取开始判定单元，其在由上述动作检测单元检测出上述翻页动作的情况下，判定读取开始。
[0011]此外，本发明涉及的图像获取方法由具有区域传感器和控制部的上置型扫描仪装置的上述控制部执行，该图像获取方法包括:控制上述区域传感器，连续获取多个图像的区域图像获取步骤；基于在上述区域图像获取步骤中获取的上述多个图像，通过提取图像差分来计算动作模式的动作模式计算步骤；基于在上述动作模式计算步骤中计算出的上述动作模式，检测翻页动作的动作检测步骤；以及在上述动作检测步骤中检测出上述翻页动作的情况下，判定读取开始的读取开始判定步骤。
[0012]根据本发明，能够防止误检测，并且能够精度良好地检测读取开始。
【专利附图】
【附图说明】
[0013]图1是表示上置型扫描仪装置100的一个示例的硬件结构图。
[0014]图2是表示上置型扫描仪装置100的存储部106的一个示例的框图。[0015]图3表示将线性拍摄部110和区域拍摄部120 —体化而成的装置的外观的一个示例，是表不主扫描方向、副扫描方向和基于电动机12产生的旋转方向的关系的图。
[0016]图4是表示上置型扫描仪装置100的控制部102的一个示例的功能框图。
[0017]图5表现从侧面观察线性拍摄部110的状态，是表示受光源控制部102f控制的线光源140进行光照射的一个示例的图。
[0018]图6是表示本实施方式的上置型扫描仪装置100的基本处理的一个示例的流程图。
[0019]图7是表示本实施方式的上置型扫描仪装置100的具体化处理的一个示例的流程图。
[0020]图8是表示动作模式监视处理的子流程的流程图。
[0021]图9是示意性表示在当前帧(N)的图像与前一帧(N-1)的图像之间比较各像素的灰阶的方法的图。
[0022]图10是示意性表示关于横向进行18分割、纵向进行6分割而成的区域块(18X6)的变化区域块的图。
[0023]图11是表示在进行了翻页动作的情况下检测出的变化区域块的一个示例的图。
[0024]图12是示意性表示关于横向进行3分割、纵向进行I分割而成的区域块(3X1)的变化区域块的图。
[0025]图13是示意性表示关于横向进行20分割、纵向进行20分割而成的区域块(20X20)的变化区域块的图。
[0026]图14是表示将两端分割地较细、中央部分分割地较粗的区域块分割示例。
[0027]图15是表示以容易在特定点进行动作监视的方式进行区域块分割的分割示例的图。
[0028]图16是表示当前帧(N)的差分图像的变化区域块判定结果的图。
[0029]图17是表示后一帧(N+1)的差分图像的变化区域块判定结果的图。
[0030]图18是表示后两帧(N+2)的差分图像的变化区域块判定结果的图。
[0031]图19是表示误检测排除处理子流程的流程图。
[0032]图20是表示(I)在全部区域检测出动作的情况下的变化区域块的检测示例的图。
[0033]图21是表示(2)在特定的区域没有动作的情况下的变化区域块的检测示例的图。
[0034]图22是表示(3)在翻页中不应动作的点检测出动作的情况下的变化区域块的检测示例的图。
[0035]图23是表示监视手移开处理子流程的流程图。
[0036]图24是示意性表示当手停留时的提取图像的示例的图。
[0037]符号说明
[0038]100 上置型扫描仪装置
[0039]102 控制部
[0040]102a区域图像获取部
[0041]102b动作模式计算部
[0042]102c动作检测部
[0043]102d读取开始判定部[0044]102e线性图像获取部
[0045]102f光源控制部
[0046]106存储部
[0047]106a图像数据临时文件
[0048]106b加工图像数据文件
[0049]106c标识物文件
[0050]108输入输出接口部
[0051]110线性拍摄部
[0052]11控制器
[0053]12电动机
[0054]13线性传感器
[0055]14A/D 转换器
[0056]120区域拍摄部
[0057]21控制器
[0058]22区域传感器
[0059]23A/D 转换器
[0060]130红外线光源
[0061]140线光源
【具体实施方式】
[0062]下面，基于附图，对本发明涉及的上置型扫描仪装置和图像获取方法的实施方式进行详细说明。此外，本发明并非由该实施方式限定。特别是，在本实施方式中，虽然以书等原稿作为读取对象进行说明，但是并不限定于此，也可以以用U型钉装订的介质、将单张重叠而成的纸捆等作为读取对象。
[0063]1.本实施方式的结构
[0064]参照图1，对本实施方式涉及的上置型扫描仪装置100的结构进行说明。图1是表示上置型扫描仪装置100的一个示例的硬件结构图。
[0065]如图1所示，上置型扫描仪装置100至少具有线性拍摄部110、区域拍摄部120和控制部102，在本实施方式中，还具有存储部106、输入输出接口部108、红外线光源130和线光源140。此外，上述各部通过任意通信线路以能够通信的方式连接。
[0066]存储部106存储各种数据库、表格和文件等。存储部106是存储单元，例如能够使用RAM -ROM等存储装置、如硬盘那样的固定磁盘装置、软磁盘、光盘等。在存储部106中记录有用于向CPU (Central Processing Unit,中央处理单元)提供指令来进行各种处理的计算机程序。这里，图2是表示上置型扫描仪装置100的存储部106的一个示例的框图。
[0067]如图2所示，存储部106如图示那样具有图像数据临时文件106a、加工图像数据文件106b和标识物文件106c。
[0068]其中，图像数据临时文件106a临时存储由线性拍摄部110或区域拍摄部120读取的图像数据。
[0069]此外，加工图像数据文件106b存储基于由线性拍摄部110读取的图像数据进行加工或编辑后的图像数据。
[0070]此外，标识物文件106c是存储由使用者进行提示的手或手指等标识物的颜色、形状等的标识物存储单元。这里，标识物文件106c也可以按使用者存储使用者的手、手指的颜色(肤色)、形状等。
[0071]输入输出接口部108将线性拍摄部110或区域拍摄部120、红外线光源130、线光源140与控制部102连接。这里，红外线光源130能够使用卤素光源。线光源140能够使用LED光源或激光光源等，从该光源向读取范围射出光。 [0072]此外，线性拍摄部110使用线性传感器13从上方扫描朝上设置的原稿，读取原稿的图像。这里，在本实施方式中，线性拍摄部110如图1所示，具有控制器11、电动机12、线性传感器(线传感器)13和A/D转换器14。控制器11根据来自控制部102的通过输入输出接口部108发来的指令，控制电动机12、线性传感器13和A/D转换器14。线性传感器13将来自原稿的主扫描方向的线上的光按线上的每个像素进行光电转换成为模拟电荷量。然后，A/D转换器14将从线性传感器13输出的模拟电荷量转换为数字信号，输出一维图像数据。如果电动机12进行旋转驱动，则线性传感器13的读取对象的原稿线沿着副扫描方向移动。由此，一维图像数据按每条线从A/D转换器14输出，控制部102将其合成来生成二维图像数据。这里，图3是表示将线性拍摄部110和区域拍摄部120 —体化而成的装置的外观的一个不例，并且表不主扫描方向、副扫描方向和基于电动机12产生的旋转方向的关系的图。
[0073]如图3所示，在将原稿朝上设置并通过线性拍摄部110从上方拍摄原稿的情况下，图示的主扫描方向的线的一维图像数据由线性传感器13读取。然后，如果线性传感器13受到电动机12的驱动而以图示的旋转方向旋转，伴随该旋转，线性传感器13的读取线沿着图示的副扫描方向移动。由此，能够通过线性拍摄部110读取二维原稿的图像数据。
[0074]再次返回图1，区域拍摄部120使用区域传感器22从上方扫描朝上设置的原稿，读取原稿的图像。这里，在本实施方式中，区域拍摄部120如图1所示，具有控制器21、区域传感器22和A/D转换器23。控制器21根据来自控制部102的通过输入输出接口部108发来的指令，控制区域传感器22和A/D转换器23。区域传感器22将来自原稿平面(图3所示的主扫描方向和副扫描方向的二维平面)的光按每个像素进行光电转换成为模拟电荷量。然后，A/D转换器23将从区域传感器22输出的模拟电荷量转换为数字信号，输出二维图像数据。由此，从A/D转换器23输出二维图像数据。此外，在本实施方式中，由于与区域传感器22相比，线性传感器13在每条线上能够读取较多的像素数，所以相比区域拍摄部120读取的图像，由线性拍摄部110读取的图像更精细(高画质)。此外，下面为了区分两者，存在将由区域拍摄部120读取的图像称为“区域图像”，将由线性拍摄部110读取的图像称为“线性图像”的情况。
[0075]控制部102由统括控制上置型扫描仪装置100的CPU等构成。控制部102具有内部存储器，其用于存储控制程序、规定各种处理步骤等的程序和所需要的数据，基于上述程序进行用于执行各种处理的信息处理。这里，图4是表示上置型扫描仪装置100的控制部102的一个示例的功能框图。
[0076]如图4所示，控制部102如图示那样，大致具有区域图像获取部102a、动作模式计算部102b、动作检测部102c、读取开始判定部102d、线性图像获取部102e和光源控制部102fo
[0077]区域图像获取部102a控制区域拍摄部120，连续获取多个区域图像。例如，区域图像获取部102a如上所述，反复进行如下处理:控制区域拍摄部120的控制器21，获取由区域传感器22进行光电转换并由A/D转换器23进行模拟数字转换所得到的图像数据，将其存储在图像数据临时文件(缓冲)106a中。即，区域图像获取部102a具有如下功能:通过用区域传感器22进行运动拍摄来获取连续图像(动态图像),监视(monitoring)原稿的翻页、使用者的手的动作等。此外，在本实施方式中，区域图像获取部102a能够通过红外线光源130的红外线照射，来获取红外线图像。
[0078]动作模式计算部102b基于由区域图像获取部102a获取的多个图像，通过图像差分提取来计算动作模式。具体而言，动作模式计算部102b基于由区域图像获取部102a存储在图像数据临时文件106a中的多个区域图像的图像数据，进行图像差分提取。例如，动作模式计算部102b在由区域图像获取部102a获取并存储在图像数据临时文件106a中的前一次(时刻t-Ι)的区域图像与新获取的本次(时刻t)的区域图像之间，提取有差异的区域。这里，动作模式计算部102b也可以通过公知的图像差分提取法来计算动作模式。这里，动作模式计算部102b也可以将图像区域分割成规定的区域块，计算动作模式。此外，动作模式计算部102b也可以将图像区域分割成任意个数的区域块，在每个区域块中，若变化像素数为规定以上，就将该区域块评价为变化的区域块。此外，动作模式计算部102b将图像区域分割成任意个数的区域块时，例如可以将越是与翻页动作的初始动作部分对应的图像区域分割成越小的区域块。此外，关于本实施方式的图像差分提取方法，将利用附图在后文详述。 [0079]动作检测部102c基于由动作模式计算部102b计算出的动作模式，检测翻页动作。这里，动作检测部102c也可以分检出翻页动作以外的误检测模式进行检测排除。作为一个示例，动作检测部102c可以在下述(I)~(3)中的至少任一种情况下，将该情况作为误检测模式而排除:(I)在全部区域检测出动作的情况；(2)特定的区域没有动作的情况；和(3)在翻页中不应动作的点检测出动作的情况。
[0080]此外，动作检测部102c也可以将越是与翻页动作的初始动作部分对应的图像区域分割成越小的区域块，在与该翻页动作的初始动作部分对应的区域块发生变化的情况下，判定翻页动作。
[0081]读取开始判定部102d在由动作检测部102c检测出翻页动作的情况下，判定读取开始。这里，读取开始判定部102d也可以以基于通过动作模式计算部102b的图像差分提取计算出的动作模式的动作停止为必要条件，判定读取开始。这里，读取开始判定部102d也可以为了节电而对线性传感器13进行电源管理，例如可以在判定由线性传感器13进行的读取开始的情况下，使线性传感器13的电路启动，在没有判定为读取开始的情况下，使线性传感器13的电路停止。
[0082]在由读取开始判定部102d判定为读取开始的情况下，线性图像获取部102e控制线性拍摄部110，获取由线性传感器13读取的线性图像。例如线性图像获取部102e如上所述，控制线性拍摄部110的控制器11，使电动机12进行旋转驱动，通过将由线性传感器13进行光电转换并由A/D转换器14进行模拟数字转换所得到的每条直线的一维图像数据合成，生成二维图像数据(线性图像的图像数据)，存储在图像数据临时文件106a中。[0083]光源控制部102f控制红外线光源130，使其发出表示线性传感器13的可控制状态的光，或者控制线光源140，使其发出表示线性传感器13的读取范围的光。这里，图5是表现从侧面观察线性拍摄部110的状态，表示受到光源控制部102f控制的线光源140进行光照射的一个示例的图。如图5所示，光源控制部102f可以通过使电动机12进行驱动，使得线光源140沿旋转方向旋转，从而使来自线光源140的主扫描方向的线光以读取范围为限度沿副扫描方向移动，由此通知使用者读取范围。
[0084]2.本实施方式的处理
[0085]参照图6~图24，对由上述结构的上置型扫描仪装置100执行的处理的一个示例进行说明。
[0086]2-1.基本处理
[0087]参照图6，对本实施方式的上置型扫描仪装置100的基本处理的一个示例进行说明。图6是表示本实施方式的上置型扫描仪装置100的基本处理的一个示例的流程图。
[0088]如图6所示，首先，区域图像获取部102a控制区域拍摄部120，连续获取多个区域图像(步骤SA-1)。例如区域图像获取部102a连续地进行如下动作:控制区域拍摄部120的控制器21，获取由区域传感器22进行光电转换并由A/D转换器23进行模拟数字转换所得到的区域图像的图像数据，将其存储在图像数据临时文件106a中。此外，区域图像获取部102a也可以获取通过红外线照射产生的红外线图像。由此，能够精确地监视原稿的翻页动作、使用者的手的动作等。
[0089]然后，动作模式计算部102b基于由区域图像获取部102a获取的多个图像，通过图像差分提取来计算动作模式(步骤SA-2)。具体而言，动作模式计算部102b基于由区域图像获取部102a存储在图像数据临时文件106a中的多个区域图像的图像数据，进行图像差分提取。例如，动作模式计算部102b在由区域图像获取部102a获取并存储在图像数据临时文件106a中的前一次(时刻t-Ι)的区域图像与新获取的本次(时刻t)的区域图像之间，提取各像素的灰阶差分。这里，动作模式计算部102b也可以通过求取将图像区域分割成规定的区域块而成的块单位的灰阶差分而不是像素单位的灰阶差分，来计算动作模式。此外，动作模式计算部102b可以将一个区域块内的变化像素数为规定以上的区域块评价为变化的区域块，也可以在将一个区域块内的差分灰阶值为规定以上的区域块评价为变化的区域块。此外，动作模式计算部102b在将图像区域分割成任意个数或任意形状的区域块时，例如可以将越是与翻页动作的初始动作部分对应的图像区域分割成越小的区域块。此外，求取差分的两个图像的获取时间间隔能够任意设定。
[0090]然后，动作检测部102c基于由动作模式计算部102b计算出的动作模式，检测翻页动作(步骤SA-3)。例如，动作检测部102c也可以在变化区域块从左向右转移的情况下，检测为翻页动作。此外，动作检测部102c也可以在与翻页动作的初始动作部分对应的区域块变化的情况下，判定翻页动作。这里，动作检测部102c也可以分检出翻页动作以外的误检测模式，进行检测排除。作为一个示例，动作检测部102c可以在下述(I)~(3)中的至少任一种情况下，将该情况作为误检测模式排除:(I)在全部区域检测出动作的情况；(2)特定的区域没有动作的情况；以及(3)在翻页中不应动作的点检测出动作的情况。
[0091] 然后，在由动作检测部102c未检测出翻页动作的情况(步骤SA-4，否)下，读取开始判定部102d使处理返回步骤SA-1，继续监视原稿的翻页动作、使用者的手的动作等。[0092]另一方面，在由动作检测部102c检测出翻页动作的情况(步骤SA-4，是)下，读取开始判定部102d判定由线性传感器13进行的读取开始，线性图像获取部102e控制线性拍摄部110，获取由线性传感器13读取的线性图像(步骤SA-5)。这里，读取开始判定部102d也可以以基于通过动作模式计算部102b的图像差分提取计算出的动作模式的动作停止为必要条件，判定读取开始。即，读取开始判定部102d即使判定有翻页动作，也可以使读取开始待命，直到翻页动作结束或者使用者的手的动作停止。此外，如果判定读取开始，则线性图像获取部102e控制线性拍摄部110，由线性传感器13读取的线性图像。例如，线性图像获取部102e控制线性拍摄部110的控制器11，使电动机12进行旋转驱动，通过将由线性传感器13进行光电转换并由A/D转换器14进行模拟数字转换所得到的每条直线的一维图像数据合成，生成二维图像数据，存储在图像数据临时文件106a中。此外，在以上处理结束的情况下，为了应对新的翻页动作，控制部102也可以使处理返回步骤SA-1，反复进行上述步骤SA-1~步骤SA-4的处理，持续监视原稿的翻页动作、使用者的手的动作等。
[0093]以上是本实施方式的上置型扫描仪装置100的基本处理的一个示例。
[0094]2-2.具体化处理
[0095]接着，参照图7~图24，对在上述基本处理中还包含误检测排除处理、监视手拿开处理、图像修正处理等具体化处理的一个示例进行说明。图7是表示本实施方式的上置型扫描仪装置100的具体化处理的一个示例的流程图。
[0096]如图7所示，首先，上置型扫描仪装置100的控制部102控制区域拍摄部120，进行动作模式监视处理(步骤SB-1)。这里，图8是表示动作模式监视处理的子流程的流程图。 [0097]如图8所示，区域图像获取部102a控制区域拍摄部120，获取红外线图像的图像数据(步骤SC-1 )。
[0098]然后，动作模式计算部102b比较所获取的区域图像(N)与前一帧的图像(N-1)，提取各像素的灰阶差分(步骤SC-2)。这里，图9是示意性表示在当前帧(N)的图像与前一帧(N-1)的图像之间比较各像素的灰阶的方法的图。
[0099]如图9所示，动作模式计算部102b在当前帧(N)的图像与前一帧(N_l)的图像之间，比较位于同一坐标的像素(例如图示的虚线矩形A和A’)的灰阶值。进而，动作模式计算部102b对于关注像素A与前一帧的关注像素A’进行灰阶比较，如果灰阶差分I A-A’ I为一定以上，则判定为像素发生变化，对像素A标注标记。动作模式计算部102b对于像素B以后的像素也同样反复进行该处理，最终，标注了标记的部分成为被提取的差分。
[0100]再次返回图8，动作模式计算部102b对所提取的差分图像进行区域块分割，提取发生了变化的区域块即变化区域块图像(N’)(步骤SC-3)。例如动作模式计算部102b可以对区域图像的纵横分别进行I~20分割，评价每个区域块内存在多少变化像素数。这里，图10是示意性表示关于横向进行18分割、纵向进行6分割而成的区域块(18X6)的变化区域块的图。
[0101]如图10所示，动作模式计算部102b对于分割后的每个区域块，若通过步骤SC-2求出的变化像素数(带标记的像素的个数)为一定数量以上，则将其标记为变化区域块。在图示的例子中，在左上方的三个区域块中，由于存在一定数量以上的变化像素数，所以作为变化区域块给予标记(黑色矩形)。这里，图11是表示在进行了翻页动作的情况下被检测出的变化区域块的一个示例的图。此外，在图11中，用阴影图示了变化区域块的标记。[0102]如图11所示，在进行了翻页动作的情况下，由于在区域图像上变动的页面的边缘、页面内的文字等表现为灰阶值的变化，所以动作模式计算部102b能够将变化像素数为一定数量以上的区域块作为变化区域块进行检测。由此，能够将页面的端部的变动或文字等的内容的变动作为图像差分进行捕捉。此外，分割的区域块的个数或形状，如以下所示那样能够任意设定。这里，图12是示意性表示关于横向进行3分割、纵向进行I分割而成的区域块(3X1)的变化区域块的图。
[0103]如图12所示，动作模式计算部102b在分割后的一个区域块内有一定以上的通过步骤SC-2求出的变化像素数的情况下，将其标记为变化区域块。在图示的例子中，由于在左侧的一个区域块中有一定以上的变化像素数，所以作为变化区域块给予标记(黑色矩形)。作为一个示例，后述的动作检测部102c也可以在该变化区域块按右侧区域块一中央区域块一左侧区域块进行转移的情况下，判定为以从右向左的方向进行了翻页动作。同样，动作检测部102c也可以在该变化区域块按左侧区域块一中央区域块一右侧区域块进行转移的情况下，判定为以从左向右的方向进行了翻页动作。这样，只要有三个区域块，就能够检测出最低限度的翻书的动作的模式。这里，作为分割的区域块数的另一个示例，图13是示意性表示关于横向进行20分割、纵向进行20分割而成的区域块(20X20)的变化区域块的图。
[0104]如图13所示，动作模式计算部102b在分割后的一个区域块内有一定以上的通过步骤SC-2求出的变化像素数的情况下，将其标记为变化区域块。在图示的例子中，在从中央往左侧靠的区域块组和左上方的区域块组中，由于区域块内的变化像素数为一定以上，所以被标记为变化区域块。这样，通过细致地进行区域块分割，能够更细致地评价区域图像整体范围的变化。即，能够捕捉书等的内容的较小的灰阶变化，能够提高通过匹配进行的误检测排除的精度。另一方面，虽然如图12所示那样分割地越粗则处理越简单，但是由于只能捕捉大致的变化，所以误检测的可能性较高。因此，能够通过取处理速度与检测精度之间的平衡来决定区域块分割方法(区域块分割的密度等)。此外，由于使分割的区域块数量最大化时就与区域图像的像素数一致，所以在本实施方式中，进行区域块分割的情况下的处理的说明也能够适用于不进行区域块分割的情况下的处理。
[0105]接着，下面示出有关分割的区域块的数量分布、形状的其他实施方式。这里，图14是表示将两端分割地较细、中央部分分割地较粗的区域块分割示例。
[0106]如图14所示，在区域图像范围内，通过将两端的区域块分割数量设定得较多，以能够较多地检测如抓住页面的手的动作或者页面的端部的变动等这样容易显现翻页动作特征的初始动作部分的变化信息的方式，增加两端的区域块数。另一方面，如图14的中央附近那样，通过使仅检测页通过的动作即可(即变化信息可以较少)的中央部分的区域块分割数量减少，能够同时兼顾处理速度和检测精度。这里，图15是表示以容易进行在特定点的动作监视的方式进行区域块分割的分割示例的图。
[0107]如图15所示，也可以设定图中的〈1>~〈5>所示的监视点，基于动作模式计算部102b检测变化区域块，动作检测部102c若按照〈1> —— <2> — <3> — <4> — <5>的顺序检知出变化区域块的转移，则检测为翻页动作。这样通过设定监视点，能够在区域图像范围内有特定的手的动作(手势)、手的移动时，使扫描开始执行。
[0108]再次返回图8，动作检测部102c基于通过上述步骤SC-3检测出的变化区域块，判定是否是翻页动作(步骤SC-4)。更具体而言，动作检测部102c在连续的帧之间评价变化区域块的转移，判定是否与特定的动作移动模式匹配。这里，参照图16~图18，对作为翻页动作的检测对象的动作模式的变化的示例(转移例)进行说明。图16是表示当前帧(N)的差分图像的变化区域块判定结果的图，图17是表示后一帧(N+1)的差分图像的变化区域块判定结果的图，图18是表示后两帧(N+2)的差分图像的变化区域块判定结果的图。在图中，由黑色矩形标记的部位是变化区域块。
[0109]如图示的例子那样，对于进行了区域块分割的图像，在设定有左区域(左侧区域)、中心区域(中央区域)、右区域(右侧区域)的情况下，动作检测部102c判定连续的区域块图像的动作移动模式(即变化区域块的转移模式)是否是符合翻页动作的特定的动作模式。例如如图16~图18所示，动作检测部102c也可以在变化区域块按左区域(左侧区域)一中心区域(中央区域)一右区域(右侧区域)的顺序转移的情况下，判定为进行了从左到右的方向的翻页动作。虽然未图示，但是同样地，动作检测部102c也可以在变化区域块按右区域(右侧区域)一中心区域(中央区域)一左区域(左侧区域)的顺序转移的情况下，判定为进行了从右到左的方向的翻页动作。通过进行该动作检测处理，能够检测作为翻页动作的最大特征的如下所述的一连串动作的流程:(I)抓住页面(检测端部的变动)；(2)翻页(检测越过图像中央的动作)；(3)松开页面(检测相反端的变动)。
[0110]再次返回图8，动作检测部102c在未判定为翻页动作的情况(步骤SC-4，否)下，使处理返回步骤SC-1，反复进行上述的步骤SC-1~步骤SC-4的处理。
[0111]另一方面，在由动作检测部102c检测出翻页动作的情况(步骤SC-4，是)下，只要停止读取开始的条件不成立，读取开始判定部102d就判定为读取开始，线性图像获取部102e获取线性图像(步骤SC-5)。 [0112]这里，即使动作检测部102c判定为是符合翻页动作这样的特定的动作模式，也有可能是其它动作偶然被判定为翻页动作。因此，动作检测部102c为了进行分检出翻页动作以外的误检测模式的检测排除，可以追加地进行与误检测模式匹配的处理(图7的步骤SB-2)。
[0113]即，动作检测部102c评价在翻页动作的模式检测的前后是否检测出作为特定的排除对象的误检测模式，在判定为误检测模式的情况下，以不发出读取开始触发的方式进行检测排除。这里，图19是表示误检测排除处理子流程的流程图。
[0114]如图19所示，检测出翻页动作(步骤SD-1)后，动作检测部102c对于被检测出翻页动作的当前帧(N)和后一帧(N+1)的前后m帧(N-m~N+m)，判定是否没有作为误检测模式的特定模式(步骤SD-2)。然后，如果判定为有误检测模式(步骤SD-2，否)，则动作检测部102c使处理返回步骤SD-1，监视新的翻页动作。另一方面，在动作检测部102c判定为没有误检测模式的情况(步骤SD-2，是)下，读取开始判定部102d发出读取开始触发(步骤SD-3)，线性图像获取部102e获取扫描图像(步骤SD-4)。
[0115]这里，作为误检测的示例，动作检测部102c可以在下述(I)~(3)中的至少任一种情况下，将该情况作为误检测模式进行检测排除:(I)在全部区域检测出动作的情况；(2)特定的区域没有动作的情况；和(3)在翻页中不应动作的点检测出动作的情况。这里，图20是表示(I)在全部区域检测出动作的情况下的变化区域块的检测示例的图。
[0116]如图20所示，在全部区域中同时检测出动作的情况下，认为是整个书在区域传感器的检测范围内移动，因此如果在左区域(左侧区域)、中心区域(中央区域)、右区域(右侧区域)等全部区域中检测出变化区域块，则动作检测部102c将其检测为误检测模式，以不进行读取开始的方式进行检测排除。这里，图21是表示(2)在特定的区域未动作的情况下的变化区域块的检测示例的图。
[0117]在翻书的情况下，由于页面通过书的中心区域，所以书的中心区域必然应当动作，但是在因翻页动作而应当动作的特定区域没有动作的情况下，认为并非是页面而是手等的动作。因此，如图21所示，在仅中心区域(中央区域)的一部分动作而特定区域MA-1没有动作的情况下，动作检测部102c判定为是误检测模式，进行检测排除。这里，图22是表示(3)在翻页中不应动作的点检测出动作的情况下的变化区域块的检测示例的图。
[0118]如图22所示 ，在仅翻了书的情况下，对于区域MA-2来说由于其离开书的设置区域，所以原本是不应当检知动作的。在这种情况下，就认为并非是页面而是手等的动作。因此，与目标内容的变动无关的区域发生动作的结果是，检测出来的是误检测的可能性较高。因此，不开始读取。在特定区域MA-2发生动作的情况下，动作检测部102c将其判定为误检测模式，进行检测排除。也可以通过设定这种特定的点，进行动作的分类。
[0119]再次返回图7，上置型扫描仪装置100也可以在进行翻页动作的检测处理SB-1和误检测排除处理SB-2之后、执行扫描图像的获取处理SB-4之前，进行监视手移开处理SB-3。即，读取开始判定部102d也可以以基于通过图像差分提取来计算的动作模式的动作停止为必要条件，判定读取开始。这里，图23是表示监视手拿开处理子流程的流程图。
[0120]如图23所示，如果上述翻页动作的检测未作为误检测被排除而发出了读取开始触发(步骤SE-1 )，则读取开始判定部102d在由动作模式计算部102b计算的当前帧(N)的图像与前一帧(N-1)的图像中，判定差分图像是否没有变化(步骤SE-2)。在差分图像有变化的情况(步骤SE-2，否)下，使处理返回步骤SE-1，停止读取开始。另一方面，在差分图像没有变化的情况(步骤SE-2，是)下，读取开始判定部102d判定读取开始，线性图像获取部102e获取扫描图像(步骤SE-3)。这里，图24是示意性表示当手残留时的提取图像的示例的图。
[0121]优选的是，翻书后直到手拿开到区域外的动作结束为止或者按压书进行固定的动作结束为止都不进行读取开始。因此，如图24所示，在持续检测出变化区域块的期间，读取开始判定部102d使读取开始处理停止，等待读取开始。并且，也可以从因手拿开或书的固定引起的图像内变化消失起经过指定秒数后，读取开始判定部102d判定读取开始。
[0122]再次返回图7，线性图像获取部102e根据由读取开始判定部102d发出的读取开始的触发，控制线性拍摄部110，获取通过线性传感器13产生的线性图像的图像数据(步骤SB-4)。
[0123]然后，上置型扫描仪装置100的控制部102进行图像修正处理(步骤SB-5)。例如，控制部102可以将由线性图像获取部102e获取的线性图像沿着页面的边界进行分割来分割图像，并进行修正以使展开页面后的纸的弯曲变形消失。此外，控制部102也可以基于存储在标识物文件106c中的使用者的手的颜色(肤色)，通过公知的模式识别算法等从图像中检测出肤色的部分区域，将其修正成白色等。
[0124]然后，上置型扫描仪装置100的控制部102将修正后的图像的图像数据保存在加工图像数据文件106b中(步骤SB-6)，结束处理。[0125]以上是本实施方式的上置型扫描仪装置100的具体化处理的一个示例。在上述的具体化处理中，仅在获取左右开页的两页纸的图像的情况下的一次处理的流程进行了说明，不过通过反复进行上述的步骤SB-1~步骤SB-5的处理，能够自动地继续读取其余的展开的页面。
[0126]3.本实施方式的总结及其它实施方式
[0127]以上，根据本实施方式，上置型扫描仪装置100控制区域拍摄部120，连续获取区域图像，从多个区域图像中通过图像差分提取来计算动作模式，并基于计算出的动作模式检测翻页动作，在检测出翻页动作的情况下，判定由线性传感器13开始进行的读取。由此，能够防止误检测，精度良好地检测读取开始。
[0128]更具体而言，在现有的用特征点的速度矢量判定翻页动作的方式中，只能在特征点的移动量较大的中央附近检测出矢量，不可能进行细致的分类处理。根据本实施方式，即使在不能将动作较慢的特征点移动识别为是有关联性的速度矢量的情况下，也能够通过图像差分提取来检测缓慢的动作。
[0129]此外，在区域传感器范围内放置了非常白的内容的情况下特征点会变弱，例如在设置有A6尺寸等的较小内容的情况下特征点的个数变少，现有技术难以基于特征点计算速度矢量，从而无法精确地进行检测。根据本实施方式，在白色的内容或较小的内容等特征点较弱或较少的内容中，也能够通过提取图像的差分，来检测现有技术无法检测出的阴影变动或细小的变动，能够不依赖于内容地检知动作体。
[0130]此外，如果不能明显地看到内容的边缘，则现有技术由于无法很好地检测特征点，所以区域传感器需要某种程度的分辨率，必须使用高价且精度高的传感器。根据本实施方式，即使降低区域传感器的分辨率，只要能够获取差分也就能够检测动作，所以能够由更廉价的传感器构成。
[0131] 此外，在现有例中，由于速度矢量被限定于较强的动作或位置，所以在动作检测判定条件的限定或误检测的改善方面存在受到限制。例如能够进行翻页检测的矢量多被限定于页面的位置为60°~120°时的较强的矢量。根据本实施方式，由于在翻页的初始动作和结束动作时一定会进行基于集中在画面端部的图像差分的动作检测，因此即使在页面的位置为60°~120°以外的情况下，也能够精确地检测翻页。
[0132]此外，虽然在投下投射图案的现有示例中，存在在平面以外的区域从初始起投射图案凹凸而无法顺利地动作的情况，但是在本实施方式中能够与检测区域的凹凸无关地进行动作。此外，能够辨别仅靠反射的投射图案的变动的推移无法辨别的区域内的手的动作、书介质的移动等特殊的图案。此外，在没有厚度的介质、平面以外的区域中的动作也能够通过检测页的动作的推移进行翻页动作的检测。
[0133]此外，根据本实施方式，上置型扫描仪装置100通过区域图像获取部102a获取通过红外线照射产生的红外线图像。与使用投射图案的现有例不同，在本实施方式中，由于对检测区域内照射红外线，所以能够鲜明地捕捉区域内的动作和物体移动的推移。
[0134] 此外，根据本实施方式，由于上置型扫描仪装置100通过动作检测部102c分检出翻页动作以外的误检测模式进行检测排除，所以即使在检测出偶然符合翻页动作的这样的动作模式的情况下，也能够通过排除作为误检测的动作模式，来改善精确的翻页动作的判定处理。[0135]此外，根据本实施方式，由于上置型扫描仪装置100通过读取开始判定部102d以基于通过图像差分提取计算出的动作模式的动作停止为必要条件，判定读取开始，所以在页面动作的情况、手动作的情况下使读取开始待命，从而能够获取静止的物体的鲜明的图像。
[0136]此外，根据本实施方式，由于上置型扫描仪装置100通过动作模式计算部102b将图像区域分割成规定的区域块来计算动作模式，所以通过按区域块单位判定变化，能够提高处理速度。
[0137]此外，根据本实施方式，由于上置型扫描仪装置100通过动作模式计算部102b将图像区域分割成任意个数的区域块，并且将一个区域块内的变化像素数为规定以上的区域块评价为变化的区域块，所以能够实现基于变化像素数的数量的处理的高速化。
[0138]此外，根据本实施方式，由于上置型扫描仪装置100通过动作模式计算部102b将越是与翻页动作的初始动作部分对应的图像区域分割成越小的区域块。由此，通过将页面两端的区域块分割数设定得较多，能够较多地检测如抓住页面的手的动作、页面的端部的变动等这样容易显现翻页动作特征的初始动作部分的变化信息。
[0139]此外，根据本实施方式，上置型扫描仪装置100通过动作检测部102c在下述(I)~
(3)中的至少任一种情况下，将该情况作为误检测模式排除:(1)在全部区域检测出动作的情况；(2)特定的区域没有动作的情况；和(3)在翻页中不应动作的点检测出动作的情况。由此，(I)在区域传感器的整个区域同时检测出动作的情况下，由于考虑到并非翻页的动作模式而是环境光的变化或移动了内容本身的可能性，所以能够排除误检测。此外，(2)原本在因翻页中应动作的 位置没看到变化的情况下，由于认为是不进行翻页的单纯的手等的动作，所以能够排除误检测。此外，(3)按按钮时，由于是在与翻书动作时不同的特定区域内出现动作，所以即使在其前后检测出与翻页相近的动作模式，也能够排除误检测。
[0140]而且，本发明在上述的实施方式以外，还可以在权利要求书记载的技术思想的范围内以各种不同的实施方式来实施。例如红外线光源130也可以输出红外区域以外的波长区域的光，区域传感器22也可以检测红外区域以外的波长区域的光。此外，虽然将上置型扫描仪装置100以独立的形态进行处理的情况作为一个示例进行了说明，但是也可以根据来自与上置型扫描仪装置100分离设置的客户终端的请求进行处理，并将其处理结果返回到该客户终端。此外，在实施方式中已说明的各处理中作为自动执行来说明的处理的全部或一部分也能够手动地执行，或者，作为手动执行来说明的处理的全部或一部分也能够以公知的方法自动地执行。除此之外，对于包含在上述文献中或附图中所示的处理步骤、控制步骤、具体名称、各处理的注册数据的信息、画面例、数据结构，除特别说明的情况以外，能够任意地变更。
[0141]此外，关于上置型扫描仪装置100，图示的各结构要素是功能概念的要素，实际中未必需要如图所示地那样构成。例如对于上置型扫描仪装置100的各装置所具有的处理功能、特别是由控制部102执行的各处理功能，其全部或任意一部分也可以用CPU (CentralProcessing Unit,中央处理单元)和由该CPU解释执行的程序来实现,或者也可以作为基于布线逻辑的硬件来实现。此外，程序被记录在后述的记录介质中，根据需要被上置型扫描仪装置100以机械方式读取。即，在ROM或HDD等的存储部106等中记录有用于执行各种处理的计算机程序。该计算机程序通过载入到RAM中来执行，与CPU —起工作构成控制部。此外，该计算机程序也可以存储在通过任意网络与上置型扫描仪装置100连接的应用程序服务器中，根据需要还能够下载其全部或一部分。
[0142]此外，也可以将本发明涉及的程序存储在计算机可读取的记录介质中，或者还能够作为程序产品构成。这里，该“记录介质”包含存储卡、USB存储器、SD卡、软磁盘、光盘、R0M、EPR0M、EEPR0M、CD-ROM、MO、DVD和蓝光光盘等任意的“可携带的物理介质”。此外，“程序”是指用任意语言或记述方法记述的数据处理方法，而无论是源代码还是二进制代码等形式。此外，“程序”不限定于单一构成的程序，还包含作为多个模块或程序库分散构成的程序、与以OS (Operating System,操作系统)为代表的其它程序一起工作实现其功能的程序。此外，对于在实施方式所示的各装置中用于读取记录介质的具体结构、读取步骤、或者读取后的安装步骤等，能够使用公知的结构或步骤。
[0143]存储在存储部106中的各种数据库等(图像数据临时文件106a、加工图像数据文件106b和标识物文件106c)是RAM、ROM等存储装置、硬盘等固定磁盘装置、软磁盘和光盘等存储单元，存储用于各种处理的各种程序、表格和数据库等。
[0144]此外，上置型扫描仪装置100也可以作为已知的个人计算机、工作站等信息处理装置而构成，此外，该信息处理装置也可以与任意的周边装置连接而构成。此外，上置型扫描仪装置100也可以通过在该信息处理装置中安装实现本发明的方法的软件(包含程序、数据等)来实现。进而，装置的分散、统合的具体方式不限于图中所示，其全部或一部分能够根据各种附 加等或者根据功能负载，在功能或物理上以任意的单位分散、统合地构成。即，可以通过任意组合上述实施方式来实施，也可以将实施方式选择性地实施。
[0145]如上所述，本发明涉及的上置型扫描仪装置和图像获取方法能够在产业上很多领域、特别是对用扫描仪读取的图像进行处理的图像处理领域中实施，是极其有用的。
【权利要求】
1.一种上置型扫描仪装置，其特征在于: 具有区域传感器和控制部， 所述控制部包括: 区域图像获取单元，其控制所述区域传感器，连续获取多个图像； 动作模式计算单元，其基于由所述区域图像获取单元获取的所述多个图像，通过图像差分提取来计算动作模式； 动作检测单元，其基于由所述动作模式计算单元计算出的所述动作模式，检测翻页动作；以及 读取开始判定单元，其在由所述动作检测单元检测出所述翻页动作的情况下，判定读取开始。
2.如权利要求1所述的上置型扫描仪装置，其特征在于: 所述区域图像获取单元获取通过红外线照射产生的红外线图像。
3.如权利要求1或2所述的上置型扫描仪装置，其特征在于: 所述动作检测单元分检出所述翻页动作以外的误检测模式，进行检测排除。
4.如权利要求1所述的上置型扫描仪装置，其特征在于: 所述读取开始判定单元以基于由所述图像差分提取而计算出的所述动作模式的动作已停止为必要条件，判定读取开始。
5.如权利要求1所述的上置型扫描仪装置，其特征在于: 所述动作模式计算单元将图像区域分割成规定的区域块，计算所述动作模式。
6.如权利要求5所述的上置型扫描仪装置，其特征在于: 所述动作模式计算单元将图像区域分割成任意个数的区域块，当任一区域块内的变化像素数为规定以上时，将该区域块评价为变化的区域块。
7.如权利要求5或6所述的上置型扫描仪装置，其特征在于: 所述动作模式计算单元将越是与所述翻页动作的初始动作部分对应的图像区域分割成越小的区域块。
8.如权利要求3所述的上置型扫描仪装置，其特征在于: 在全部区域检测出动作的情况、特定区域没有动作的情况、以及在翻页中不应动作的点检测出动作的情况中的至少任一种情况下，所述动作检测单元将该情况作为所述误检测模式而排除。
9.一种图像获取方法，其特征在于: 其由具有区域传感器和 控制部的上置型扫描仪装置的所述控制部执行， 该图像获取方法包括: 控制所述区域传感器，连续获取多个图像的区域图像获取步骤； 基于在所述区域图像获取步骤中获取的所述多个图像，通过图像差分提取来计算动作模式的动作模式计算步骤； 基于在所述动作模式计算步骤中计算出的所述动作模式，检测翻页动作的动作检测步骤；以及 在所述动作检测步骤中检测出所述翻页动作的情况下，判定读取开始的读取开始判定步骤。
【文档编号】H04N1/04GK104023160SQ201410069314
【公开日】2014年9月3日 申请日期:2014年2月27日 优先权日:2013年2月28日
【发明者】境井真幸 申请人:株式会社Pfu