图像读取装置和记录有图像读取程序的记录介质的制作方法

本发明涉及图像读取装置和记录有图像读取程序的记录介质。

背景技术：

公知有能够利用在具有通信功能和电子拍摄功能的各便携信息终端中拍摄的图像生成不失调的合成图像的便携信息终端。

可是，用相机拍摄报纸或海报等大的文本时，把所述文本整体收入拍摄范围拍摄时，在拍摄的图像数据中，所述文本内的文字的尺寸会变得过小。

在此，考虑使用多个所述便携信息终端，用各个便携信息终端拍摄所述文本的不同部分，并将在各个便携信息终端中拍摄的图像合成，生成表示所述文本整体的合成图像。可是，此时需要准备多个所述便携信息终端。此外，需要各个用户操作各个便携信息终端。

技术实现要素：

本发明的目的是提供能简单读取大的拍照对象的图像的图像读取装置和图像读取程序。

本发明的一个方式的图像读取装置具备相机、取得处理部、静止图像抽出处理部和合成处理部。所述取得处理部取得所述相机拍摄的动态图像数据。所述静止图像抽出处理部从所述动态图像数据抽出多个静止图像数据。所述合成处理部以所述多个静止图像数据中任意两个静止图像数据包含的拍照对象的共同部分的至少一部分彼此重合的状态将所述多个静止图像数据合成而生成合成图像数据。

本发明的一个方式的记录介质是记录有图像读取程序的非临时性的计算机可读取的记录介质，所述图像读取程序使具有相机的便携型信息处理装置的处理器执行取得步骤、抽出步骤、合成步骤。所述取得步骤取得所述相机拍摄的动态图像数据。所述抽出步骤从所述动态图像数据抽出多个静止图像数据。所述合成步骤以所述多个静止图像数据中任意两个静止图像数据包含的拍照对象的共同部分的至少一部分彼此重合的状态将所述多个静止图像数据合成而生成合成图像数据。

按照本发明，提供能简单读取大的拍照对象的图像的图像读取装置和记录有图像读取程序的记录介质。

本说明书适当地参照附图，通过使对以下详细说明中记载的概念进行总结的方式来进行介绍。本说明书的意图并不是限定权利要求中记载的主题的重要特征和本质特征，此外，意图也不是限定权利要求中记载的主题的范围。此外，在权利要求中记载的对象，并不限定于解决本发明中任意部分中记载的一部分或全部缺点的实施方式。

附图说明

图1是表示本发明实施方式的图像读取装置的系统构成的框图。

图2是本发明实施方式的图像读取装置的相机拍摄包含拍照对象的动态图像时的图像读取装置的动作方式的一个例示图。

图3是本发明实施方式的图像读取装置执行的图像读取处理的步骤的一例流程图。

图4是在本发明实施方式的图像读取装置中从动态图像数据抽出静止图像数据的方法的一个例示图。

图5是本发明实施方式的图像读取装置中的合成图像数据的生成方法的一个例示图。

图6是本发明实施方式的图像读取装置中的合成图像数据的生成方法的一个例示图。

图7是消除光源向相机拍摄的图像的映入的方法的一个例示图。

图8是从本发明实施方式的图像读取装置的相机拍摄的动态图像数据抽出的静止图像数据的一个例示图。

图9是在本发明实施方式的图像读取装置中最终生成的合成图像数据的一个例示图。

图10是从在本发明实施方式的图像读取装置中最终生成的合成图像数据抽出的文本图像数据的一个例示图。

具体实施方式

以下参照附图说明本发明的实施方式，以供理解本发明。另外，以下的实施方式是将本发明具体化的一例，并非用以限定本发明的技术范围。

(图像读取装置)

如图1所示，图像读取装置1具备控制部2、存储部3、操作显示部4、相机5、加速度传感器6等。图像读取装置1例如是智能手机、平板电脑终端等手持型的信息处理装置。

控制部2具有cpu、rom和ram等控制设备。所述cpu是执行各种计算处理的处理器。所述rom是预先存储有使所述cpu执行各种处理的bios和os等控制程序的非易失性的存储部。所述ram是存储各种信息的易失性或非易失性的存储部，作为所述cpu执行的各种处理的临时存储器(作业区域)使用。而后，控制部2通过由所述cpu执行所述rom或存储部3中预先存储的各种控制程序，控制图像读取装置1。

存储部3是存储各种信息的闪存器等非易失性的存储部。例如，存储部3中存储有图像读取程序等控制程序。所述图像读取程序是控制程序，所述图像读取程序使控制部2执行如下处理：根据从相机5输出的数字图像数据，读取拍照对象的图像。所述图像读取程序非临时性记录在cd或dvd等计算机能读取的记录介质中，从所述记录介质存储到存储部3中。

操作显示部4是用户接口，具备显示各种信息的液晶显示器或有机el显示器那样的显示部以及受理操作的接触面板或硬键等操作部。

相机5具有透镜和拍摄元件等，输出与入射拍摄元件的光对应的数字图像数据。从相机5输出的数字图像数据，根据拍摄模式，作为动态图像数据或静止图像数据存储在所述ram或存储部3中。

加速度传感器6是用于检测图像读取装置1的移动方向、静止时的姿势(倾斜)等的传感器。

另外，公知有能够利用在具有通信功能和电子拍摄功能的各便携信息终端中拍摄的图像生成不失调的合成图像的便携信息终端。可是，用相机5拍摄报纸或海报等大的文本时，把所述文本整体收入拍摄范围拍摄时，在拍摄的图像数据中，所述文本内的文字的尺寸会变得过小。在此，考虑使用多个所述便携信息终端，用各个便携信息终端拍摄所述文本的不同部分，并将在各个便携信息终端中拍摄的图像合成，生成表示所述文本整体的合成图像。可是，此时需要准备多个所述便携信息终端。此外，需要各个用户操作各个便携信息终端。对此，按照本实施方式的图像读取装置1，能简单读取大的拍照对象的图像。

本实施方式的图像读取装置1能根据相机5拍摄的动态图像数据，读取报纸或海报等大的文本的图像。为读取所述文本的图像，用户在使所述文本和图像读取装置1之间的距离保持从相机5的拍摄图像能准确读取所述文本中的文字的距离的状态下，通过将图像读取装置1在与所述文本大体平行的方向(例如，相对所述文本上下方向、左右方向、之字方向等)移动，拍摄将所述文本作为拍照对象的动态图像(参照图2)。图像读取装置1根据如此拍摄的动态图像数据，生成所述文本整体的图像。

具体地，控制部2包含取得处理部11、静止图像抽出处理部12、合成处理部13、判断处理部14、通知处理部15、移动方向检测处理部16、姿势检测处理部17、校正处理部18、轮廓抽出处理部19、文本抽出处理部20和文字识别处理部21。另外，控制部2通过根据所述图像读取程序执行各种处理，作为上述的各处理部发挥功能。此外，控制部2还可以具备实现上述各处理部的一部分或多个处理功能的电子电路。

取得处理部11取得相机5拍摄的动态图像数据。例如，取得处理部11将从相机5输出的一系列的数字图像数据作为动态图像数据取得。或者从所述存储部3取得从相机5输出后存储在存储部3中的动态图像数据。

静止图像抽出处理部12从由取得处理部11取得的动态图像数据抽出多个静止图像数据。例如，静止图像抽出处理部12从构成所述动态图像数据的一系列的帧图像(静止图像数据)，对每个预定的帧数(例如，10帧)抽出一个帧图像，由此抽出多个静止图像数据。

例如图4所示，静止图像抽出处理部12从由取得处理部11取得的动态图像数据，按照时间序列依次抽出多个静止图像数据p1、p2、p3、p4、···。在图4所示的例子中，从动态图像数据对每10帧抽出一个静止图像数据。

另外，静止图像抽出处理部12可以根据拍摄时的图像读取装置1的移动速度，变更每单位时间(拍摄时间)从所述动态图像数据抽出的帧图像的数量。例如，拍摄时的图像读取装置1的移动速度越快，从所述动态图像数据抽出拍摄时间中的每单位时间的帧图像的数量越多。另外，拍摄时的图像读取装置1的移动速度，例如可以根据拍摄时的加速度传感器6的输出信号计算。

合成处理部13生成合成图像数据g1(参照图5)，以由静止图像抽出处理部12抽出的多个静止图像数据中任意两个静止图像数据包含的拍照对象的共同部分(例如，图5所示的斜线部分)的至少一部分彼此重合的状态将所述多个静止图像数据合成为所述合成图像数据g1。另外，作为判断任意两个静止图像数据包含的拍照对象的共同部分的判断方法，可以采用公知的任意判断方法。例如，合成处理部13可以在一点点改变所述两个静止图像数据的相对位置和相对角度的情况下，计算所述两个静止图像数据重合的部分的图像类似度，再根据所述类似度判断所述共同部分。

可是，特别是用相机5拍摄有光泽的拍照对象时，如图7的左侧部分所示，来自光源的光被拍照对象反射，拍摄的图像中会映入光源。这种光源的映入，如图7的右侧部分所示，即使是相同的拍摄范围，也可以通过改变相对拍照对象的相机5的拍摄方向来消除。

判断处理部14判断由静止图像抽出处理部12抽出的静止图像数据中是否包含映入有光源的映入区域a1(参照图8)。例如，可以是判断处理部14在所述静止图像数据中具有预定阈值以上亮度的像素集中了预定个数以上时，判断为所述静止图像数据中包含映入区域a1。

所述静止图像数据中包含映入区域a1时，所述映入区域a1因来自光源的反射光变成纯白，从而成为不能判断所述映入区域a1包含的文字的状态。在此，当由判断处理部14判断所述静止图像数据中包含映入区域a1时，合成处理部13不采用包含映入区域a1的静止图像数据(例如，图8所示的静止图像数据px)，而采用包含与所述映入区域a1对应的所述拍照对象的部分的其他静止图像数据(例如，图8所示的静止图像数据py)，生成合成图像数据g1。这样，能生成不包含映入区域a1的合成图像数据g1。

例如，由静止图像抽出处理部12从所述动态图像数据按照时间序列依次抽出所述静止图像数据时，合成处理部13根据由静止图像抽出处理部12抽出的第1个和第2个静止图像数据(例如，图4所示的静止图像数据p1和静止图像数据p2)，生成合成图像数据g1(参照图5)。而且，合成处理部13将由所述静止图像抽出处理部依次抽出的第3个以后的静止图像数据(例如，图4所示的静止图像数据p3、p4、···)依次合成到合成图像数据g1上(参照图6)。此时，合成处理部13在所述静止图像数据中包含映入区域a1时，至少不把所述映入区域a1合成到合成图像数据g1。这样，能生成不包含映入区域a1的合成图像数据g1。

在相机5对所述拍照对象的拍摄中，当判断处理部14判断所述静止图像数据中包含映入区域a1时，通知处理部15通知预定的信息。例如，所述信息提示：改变相机5相对于所述拍照对象的拍摄方向后，重新拍摄所述拍照对象的同一部分(即，与所述映入区域a1对应的所述拍照对象的部分)。收到所述信息后，用户在改变相机5相对于所述拍照对象的拍摄方向的状态下，重新拍摄与所述映入区域a1对应的所述拍照对象的部分。其结果，得到包含与所述映入区域a1对应的所述拍照对象的部分的静止图像数据，能生成不包含映入区域a1的合成图像数据g1。

移动方向检测处理部16检测图像读取装置1的移动方向。具体移动方向检测处理部16根据加速度传感器6的输出信号，检测图像读取装置1的移动方向。另外，移动方向检测处理部16可以用其他方法检测图像读取装置1的移动方向。例如，可以根据相机5拍摄的动态图像数据的各帧图像中包含的拍照对象的位置的变化量，检测图像读取装置1的移动方向。

合成处理部13可以根据相机5拍摄所述拍照对象的过程中、由移动方向检测处理部16检测的图像读取装置1的移动方向，配置所述多个静止图像数据，生成合成图像数据g1。

姿势检测处理部17检测图像读取装置1的姿势(即，相机5的拍摄方向)。具体姿势检测处理部17根据加速度传感器6的输出信号，检测图像读取装置1的姿势。另外，姿势检测处理部17可以用其他方法检测图像读取装置1的姿势。例如，可以根据陀螺仪传感器的输出信号，检测图像读取装置1的姿势。

校正处理部18根据相机5拍摄所述拍照对象的过程中、由姿势检测处理部17检测的图像读取装置1的姿势，校正由静止图像抽出处理部12抽出的所述静止图像数据。例如，用相机5从斜向拍摄报纸等文本上显示的矩形区域时，在所述静止图像数据中所述矩形区域变形为梯形。不限于矩形区域，文字也同样变形。在此，校正处理部18可以根据相机5拍摄所述拍照对象的过程中、由姿势检测处理部17检测的图像读取装置1的姿势(或姿势的变化)，对静止图像抽出处理部12抽出的所述静止图像数据进行梯形校正处理(对变形为梯形的图像进行校正的处理)。这样，可以抑制合成图像数据g1中图像的变形。

轮廓抽出处理部19从合成处理部13最终生成的合成图像数据g1抽出文本的轮廓e1(参照图9)。例如，轮廓抽出处理部19可以对最终生成的合成图像数据g1进行边缘抽出处理，将所述合成图像数据g1包含的矩形的边缘作为文本的轮廓e1抽出。

文本抽出处理部20抽出合成处理部13最终生成的合成图像数据g1中，由轮廓抽出处理部19抽出的轮廓e1内的图像数据。具体文本抽出处理部20对最终生成的合成图像数据g1进行剪裁处理，将由轮廓抽出处理部19抽出的轮廓e1内的图像数据作为文本图像数据g2(参照图10)抽出。

文字识别处理部21对静止图像抽出处理部12抽出的多个静止图像数据进行文字识别处理。合成处理部13可以根据所述多个静止图像数据中包含的一个或多个文字生成合成图像数据g1。例如，合成处理部13可以根据文字识别处理部21的文字识别处理的结果，确定所述多个静止图像数据中的任意两个静止图像数据包含的拍照对象的共同部分。

(图像读取处理)

接下来，参照图3，说明控制部2执行的图像读取处理步骤的一例。这里，步骤s11、s12、···，表示控制部2执行的处理步骤(step)的编号。另外，所述图像读取处理例如根据进行了预定的图像读取开始操作(例如，操作显示部4上显示的图像读取开始按钮的操作)而开始。

(步骤s11)

首先，在步骤s11中，控制部2开始相机5的动画拍摄。这样，从相机5输出动态图像数据。图4表示在时刻t1由相机5开始动画拍摄时从相机5输出的动态图像数据(即，多帧图像)。所述步骤s11的处理由控制部2的取得处理部11进行。另外，在由相机5进行动画拍摄期间，控制部2可以在操作显示部4上实时显示由相机5拍摄的动画。

(步骤s12)

在步骤s12中，控制部2从由相机5输出的动态图像数据，抽出静止图像数据。例如，控制部2将所述动态图像数据中的第1个帧图像作为所述静止图像数据抽出(参照图4所示的静止图像数据p1)。所述步骤s12的处理，由控制部2的静止图像抽出处理部12进行。

(步骤s13)

在步骤s13中，控制部2判断从在所述步骤s12或后述步骤s14抽出静止图像数据后是否已经过一定时间(例如333ms)。而后，当判断已经过所述一定时间时(s13：是)，处理转移到步骤s14。另一方面，当判断未经过所述一定时间时(s13：否)，处理转移到步骤s18。

(步骤s14)

在步骤s14中，控制部2从由相机5输出的动态图像数据，抽出静止图像数据。例如，控制部2将所述动态图像数据中最新的帧图像作为所述静止图像数据抽出。所述步骤s13和所述步骤s14的处理的结果，从由相机5输出的动态图像数据以一定的时间间隔抽出静止图像数据(图4所示的静止图像数据p1、p2、p3、p4、···)。所述步骤s14的处理，由控制部2的静止图像抽出处理部12进行。

另外，控制部2(校正处理部18)可以根据需要对在所述步骤s14抽出的静止图像数据进行所述梯形校正。此外，控制部2可以根据需要对在所述步骤s14抽出的静止图像数据，进行放大缩小处理、清晰化处理等任意的图像处理。

(步骤s15)

在步骤s15中，控制部2判断在所述步骤s14抽出的静止图像数据中是否包含映入区域a1(参照图8)。而后，当判断所述静止图像数据中包含映入区域a1时(s15：是)，处理转移到步骤s17。另一方面，当判断所述静止图像数据中不包含映入区域a1时(s15：否)，处理转移到步骤s16。所述步骤s15的处理，由控制部2的判断处理部14进行。

(步骤s16)

在步骤s16中，控制部2将在所述步骤s14抽出的静止图像数据合成到合成图像数据g1中。另外，在尚未生成合成图像数据g1时，控制部2如图5所示，通过将在所述步骤s12抽出的静止图像数据p1与在所述步骤s14抽出的静止图像数据p2合成，生成合成图像数据g1。另一方面，已生成合成图像数据g1时，控制部2如图6所示，将在所述步骤s14抽出的静止图像数据(例如，静止图像数据p3)合成到合成图像数据g1中。这样，当每次将新的静止图像数据合成到合成图像数据g1时，合成图像数据g1随之变大。所述步骤s16的处理，由控制部2的合成处理部13进行。而后，处理转移到步骤s18。

另外，在所述步骤s16中，控制部2可以检测图像读取装置1的移动方向，根据所述移动方向将在所述步骤s14抽出的静止图像数据合成到合成图像数据g1中。

此外，控制部2(文字识别处理部21)可以对在所述步骤s14抽出的静止图像数据进行文字识别处理。而后，在所述步骤s16中，控制部2可以根据所述文字识别处理的结果，确定任意两个静止图像数据包含的拍照对象的共同部分。

(步骤s17)

另一方面，在步骤s17中，控制部2进行通知处理。例如，控制部2在操作显示部4上显示信息，提示改变相机5相对于拍照对象的拍摄方向后重新拍摄所述拍照对象的同一部分(即，与所述映入区域a1对应的所述拍照对象的部分)。例如，控制部2在操作显示部4上显示如下信息：“当前的拍摄范围映入了光源。请以不映入光源的方式从不同角度重新拍摄同一拍摄范围。”。看到所述信息的用户，在继续进行相机5的动画拍摄的情况下，例如通过将图像读取装置1从图7的左侧部分所示的位置移动至图7的右侧部分所示的位置，重新拍摄与所述映入区域a1对应的所述拍照对象的部分。这样，即使像图8所示的静止图像数据px那样，静止图像数据中包含映入区域a1时，随后，也能得到像图8所示的静止图像数据py那样将与所述映入区域a1对应的部分重新拍摄的静止图像数据，并将所述静止图像数据合成到合成图像数据g1中。所述步骤s17的处理，由控制部2的通知处理部15进行。

另外，在本实施方式中，当在所述步骤s15中判断所述静止图像数据中包含映入区域a1时，所述静止图像数据不合成到合成图像数据g1中。可是，按照其他实施方式，当在所述步骤s15中判断所述静止图像数据中包含映入区域a1时，也可以将所述静止图像数据中的所述映入区域a1以外的区域合成到合成图像数据g1中。

(步骤s18)

在步骤s18中，控制部2判断相机5的动画拍摄是否已结束。例如，在进行了预定的拍摄结束操作(例如，操作显示部4上显示的拍摄结束按钮的操作)时，控制部2判断动画的拍摄已结束。而后，当判断动画拍摄已结束时(s18：是)，处理转移到步骤s19。另一方面，当判断动画拍摄未结束时(s18：否)，处理返回所述步骤s13。

(步骤s19)

在步骤s19中，控制部2从最终生成的合成图像数据g1抽出文本的轮廓e1(参照图9)。所述步骤s19的处理，由控制部2的轮廓抽出处理部19进行。

(步骤s20)

在步骤s20中，控制部2沿在所述步骤s19抽出的轮廓e1修剪合成图像数据g1。其结果，从合成图像数据g1，抽出图10所示的文本图像数据g2。所述步骤s20的处理，由控制部2的文本抽出处理部20进行。而后，所述图像读取处理结束。

另外，控制部2可以对在所述步骤s20抽出的文本图像数据g2进行文字识别处理，并将表示通过所述文字识别处理从文本图像数据g2抽出的字符串的文本数据存储到存储部3。

另外，当读取报纸和书那样具有多页的拍照对象的图像时，每拍完1页的动态图像，可以由用户进行预定的换页操作(例如，操作显示部4上显示的换页按钮的操作)。而后，控制部2可以在每次进行所述换页操作时，在将所述时点的合成图像数据g1与页编号相关联地保存到存储部3后，开始与下一页对应的新的合成图像数据g1的生成。

如上所述，本实施方式的图像读取装置1，根据从相机5拍摄的动态图像数据抽出的多个静止图像数据生成合成图像数据g1。因此，按照本实施方式的图像读取装置1，即使是报纸或海报等大的拍照对象，也能通过仅仅用相机5拍摄包含所述拍照对象的动态图像，简单地读取所述拍照对象的图像。

此外，按照本实施方式的图像读取装置1，即使在从相机5拍摄的动态图像数据抽出的静止图像数据中包含映入区域a1，也能根据从其他方向拍摄与所述映入区域a1对应的拍照对象的部分的静止图像数据，生成合成图像数据g1。因此，按照本实施方式的图像读取装置1，能生成不包含映入区域a1的合成图像数据g1。

此外，按照本实施方式的图像读取装置1，能在使图像读取装置1向任意方向移动的状态下，通过用相机5拍摄包含拍照对象的动态图像，读取拍照对象的图像。因此，例如不限于放置在桌上的报纸那样平面状的拍照对象，即使是像粘贴在瓶子上的标签那样有凹凸的拍照对象的图像，也能简单地读取。

(变形例)

另外，本实施方式说明了读取报纸的图像的情况，但是本发明不限于报纸，能应用于任意文本的图像的读取。而且，本发明不限于应用于文本的读取，还能应用于绘画、海报等任意拍照对象的图像的读取。

此外，本实施方式说明了相机5的动态图像拍摄以及基于从所述动态图像抽出的静止图像数据生成合成图像数据g1同时并列进行的情况，但是本发明不限于此。可以按照其他实施方式，在相机5的动态图像拍摄结束后，从所述动态图像生成多个静止图像数据，并基于所述多个静止图像数据生成合成图像数据g1。

本发明的范围并不限于上述内容，而是由权利要求的记载来定义，所以本说明书记载的实施方式只是举例说明，而并非进行限定。因此，所有不脱离权利要求的范围、界限的更改，以及等同于权利要求的范围、界限的内容都包含在权利要求的范围内。