专利名称：书籍读取系统及书籍读取方法
技术领域：
本发明涉及书籍读取系统及书籍读取方法。尤其，本发明涉及适用于一边翻开装订的书籍一边自动读取书籍中所记载的信息的技术。
背景技术：
利用多张图像还原形状的技术从模型的建模到建筑物的还原持续产生大量具有魅力的应用。但是，该大量的技术一直以对象物体为刚体为前提来解决各种课题。在对象为非刚体的情况下，由于形状变形的大前提的不同，要求采用新的方法解决问题。作为对象为非刚体时的形状还原，近年来提出了一些方法，但尚未确立如刚体的情况那般标准的方法。因此，在计算机视觉的领域成为挑战的课题。认为非刚体的变形估计具有技术挑战性，并且即使在其应用中，从产业检查到娱乐领域均可以广泛地做出创新的贡献。在目前为止的相同的方法涉及的报告中未提议确定的应用开展，但提出了高适用性的途径。例如，进行用于估计纸、罐、T恤衫、游艇的帆等的变形的评价实验。特别是以材质的非伸缩性为限制条件进行利用且将焦点置于只变形的还原。在此，认为现有的变形模型所导入的对象的非伸缩性的意思是，只要对象本来是从平面变形的，就可以展开成平坦的状态。该展开的操作在还原问题上可能具有重要的意义。具体而言，可以利用对所有的观测图像展开的纹理图像只存在一种的条件。这样，利用观测到的图像一并实施对象表面的纹理的还原时，认为在应用和技术上的两个侧面具有大的优点。认为这种技术对于书籍电子化的领域有贡献。近年来，面向书籍电子化的需求在全世界变高。书籍电子化需要高速性和高精确，但兼备其两者的系统尚未实现。至此，通常将书籍按一页固定并依次对相对平坦的状态的纸面进行电子化的样式，存在需要时间的问题。为解决该问题，提倡不在书籍的页面翻开动作中停止动作而进行电子化的书籍翻开扫描(Book Flipping Scanning)(下述非专利文献I)。认为通过该新的方法，从业务用途到个人用途根据各种必要性产生几个系统结构。例如，提出了通过使用三维传感器，实时获取形状，使用该形状的信息校正通过照相机获取的失真的书籍图像的类型的系统(下述非专利文献I)。但是，该系统仅由I台照相机构成，并且每一页仅拍摄一次，因此，在书籍图像的分辨率低这一点及纸面重叠产生死角这一点上有改善的余地。现有技术文献非专利文献非专利文献1: [I] T. Nakashima, Y. ffatanabe, T. Komuro, and M.1shikawa. Bookflipping scanning. 22nd Symposium on User Interface Software and Technology(UIST2009) (Victoria, 2009. 10. 5) /Adjunct Proceedings, pp. 79 — 80，2009.
发明内容
发明要解决的课题但是，在执行将翻开动作中的书籍连续电子化的系统时，有时因翻开中的某页面的背后隐藏下一页面，或者没有预料的页面失真，因而不能获取适宜的书籍图像。于是，可能不能适当地还原书籍图像。另外，高速的照相机由于分辨率会降低，所以存在电子化的书籍图像的精确度低的问题。S卩，为了书籍电子化，在这一点上有改善的余地。本发明是鉴于所述的情况而创立的。本发明的目的在于，提供一种为了一边翻开页面一边获取正确的书籍图像而可利用的技术。用于解决课题的方案解决所述的课题的发明如以下项目所记载。(项目I)一种书籍读取系统，其特征在于，具备页面状态测定部、书籍图像获取部和数据处理部，
所述页面状态测定部的结构为测定已翻开的书籍的页面状态，所述书籍图像获取部具备多个第一照相机，所述多个第一照相机的结构为从彼此不同的方向分别获取有关所述书籍的页面的书籍图像，所述数据处理部的结构为使用由所述页面状态测定部测定的所述书籍的页面状态的信息校正由所述书籍图像获取部获取的所述书籍图像。(项目2)如项目I所述的书籍读取系统，其中，所述页面状态测定部具备用于朝向所述书籍的页面投影既定的图案的图案光源，所述多个第一照相机的结构为进一步获取投影了所述图案的页面的形状图像。(项目3)如项目2所述的书籍读取系统，其中，所述多个第一照相机的结构为在从所述图案光源投影所述图案的定时获取所述形状图像且在未从所述图案光源投影所述图案的定时获取所述书籍图像。(项目4)如项目I所述的书籍读取系统，其中，所述页面状态测定部具备形状图像用的第二照相机，所述第二照相机具备使从所述图案光源投影的波长的光透过且遮蔽其以外的环境光的滤波器，所述图案光源的结构为使用既定的波长的光朝向所述书籍的页面投影所述既定的图案，由此，所述第二照相机能够获取投影于所述书籍的页面的所述既定的图案。(项目5)如项目I 4中任一项所述的书籍读取系统，其中，
所述第一照相机的结构为在所述书籍的每一页面获取多张的书籍图像，所述数据处理部的结构为通过统一所述多张的书籍图像的信息从而提高校正了页面形状的失真的书籍图像的精确度。发明效果根据本发明，获取利用多个第一照相机拍摄印刷于书籍的纸面的字符或绘画的图像(书籍图像)，因此，与单一的照相机的情况相比，能够更高精度地校正书籍图像而将书籍的信息电子化。进而，本发明的其它目的在于，通过统一对变形中的纸面拍摄了多次的书籍图像，从而与仅根据对一个页面拍摄了一次的书籍图像进行校正的情况相比，进行高质量的书籍电子化。
图1是表示本发明的第一实施方式中的书籍读取系统的概略性结构的方框图。图2是用于说明本发明第一实施方式中的照相机及图案光源的配置的说明图。图3是用于说明本发明第一实施方式中的书籍读取系统的整体的动作的流程图。图4是用于说明获取页面初始形状的步骤的流程图。图5是用于说明可展面的说明图。图6是用于说明可展面的平面展开的说明图。图7是用于说明页面位置的估计的说明图。图8是用于说明可展面的估计的说明图。图9是用于说明还原展开的校正图像的步骤的说明图。图10是用于说明页面形状的还原的流程图。图11是用于说明还原页面的三维形状的步骤的说明图。图12是表示本发明第二实施方式的书籍读取系统的概略性结构的方框图。
具体实施例方式下面，参照
本发明第一实施方式的书籍读取系统。(第一实施方式的结构)本实施方式的书籍读取系统具备书籍图像获取部1、页面状态测定部2、数据处理部3、控制部4 (参照图1)。书籍图像获取部I具备多个第一照相机11和扩散光源12。多个第一照相机11为从彼此不同的方向分别获取有关书籍的页面的书籍图像的结构。第一照相机11在书籍的信息中被阵列状配置。另外，第一照相机11朝向书籍配置，可拍摄书籍的各页面。在第一照相机11为多台的情况下，优选以能够将书籍的页面分割拍摄的方式进行配置。另外，各照相机的拍摄区域优选为重复。第一照相机11为奇数台的情况下，在上述的偶数台照相机的配置的基础上，优选剩余的一台以能够拍摄页面整体的方式进行配置。另外，上述第一照相机优选在每次翻开一张页面时，可以以能够拍摄多张书籍图像的程度进行高速动作。扩散光源12通过控制部4与第一照相机11的动作时期同步进行动作。即，扩散光源12在第一照相机11获取书籍图像时接通，容易获取鲜明的书籍图像。扩散光源12照射第一照相机11应拍摄的书籍。但是，在环境光充足的情况下，可以省略扩散光源12。页面状态 测定部2为测定已翻开的书籍的页面状态的结构。更详细而言，本实施方式的页面状态测定部2具备图案光源22。图案光源22用于朝向书籍的页面投影既定的图案。在本实施方式中，由多个第一照相机11获取照射了来自图案光源22的图案的页面的图像(形状图像)。另外，作为图案光源22，在本实施方式中使用投影仪。更详细而言，多个第一照相机11为在从图案光源投影图案的定时(第f 帧)获取形状图像，在未从图案光源投影图案的定时(第f+1帧)获取书籍图像的结构。图案光源22可以设置多台。但是，在以下的说明中，假定图案光源22为一台。此外，关于形状图像，也如后述，优选以能够按每一页面拍摄多张的方式构成。图2表不第一照相机11和图案光源22的配置例。图2是从侧面观测系统和书籍的动作的图。假设书籍被一页一页地翻开。图中表示某瞬间的书籍的样态，但纸面总是变动。在此，将书籍的装订部中心设为原点0，将水平轴设为X轴，将垂直轴设为y轴。将到纸面的中心的距离设为r，根据翻开动作描绘同轴心的半径为r的半圆。此时，若将翻开的纸面的旋转角设为9，则期望将照相机11和图案光源设置在成为如下的位置。
(x,y) = (rcosfl + DsinD, y = rsinG 士 Dros_)在此，D是书籍的纸面的中心和至设置照相机/图案光源的距离，是由各器件(照相机至光源)的画角决定的参数。因此，在同模型描绘的曲线上任意并排照相机和光源。在此，假设所有的照相机和光源的位置关系和内部参数被预先获取。将该获取作业称作校准(calibration)。因此，在本实施方式中可以进行所有的照相机图像之间的坐标变换。数据处理部3为使用由页面状态测定部2测定的书籍的页面状态的信息校正由书籍图像获取部I获取的书籍图像的结构。更具体而言，该实施方式的数据处理部3具备页面初始形状获取部31、校正图像还原部32、形状还原部33。有关数据处理部3的具体的动作后述。数据处理部3例如可以由安装于计算机硬件的计算机程序构成。控制部4用于在既定的定时使书籍图像获取部I和页面状态测定部2动作。关于控制部4的书籍图像获取部I及页面状态测定部2的动作定时后述。另外，控制部4例如也可以由安装于计算机硬件的计算机程序构成。(第一实施方式的动作)下面，参照图3说明本实施方式的书籍读取系统的动作。(图3的步骤SA-1及2)首先，通过控制部4驱动页面状态测定部2和书籍图像获取部1，分别获取书籍的形状图像和书籍图像。更具体而言,例如,在t时刻 扩散光源发光，同时由多个第一照相机11获取书籍图像。接着，在t+1时刻图案光源发光，同时由多个第一照相机获取形状图像。通过重复该动作，能够获取多张书籍图像及形状图像。书籍图像和形状图像的拍摄周期可以根据页面翻开速度适宜决定，优选以在从各页面的页面翻开开始到页面翻开终点为止的期间能够获取多个书籍图像和形状图像的方式设定拍摄周期。
获取的书籍图像及形状图像依次被送入数据处理部3。(图3 的步骤 SA-3)下面，通过数据处理部3的页面初始形状获取部31获取有关形状图像的各拍摄时刻的页面初始形状。进一步参照图4说明该处理。(图4 的步骤 SB-1)(关于可展面)在此，说明在本实施方式的说明中提及的可展面。可展面是指在作为直线向量I移动时的包络面而描绘的曲面中曲面上的任意点的高斯曲率为0的曲面。在此，将描绘可展面的各直线称作母线。另外，将连接母线(rulings)的曲线向量、称作准线(directrix)(参照图5)。可展面的一般式以X (s, r) = y (s)+rl (s)记述。s是曲线、的曲线长，r表示单位向量I的方向和长度。作为可展面的记述例，有如下的式子。
权利要求
1.一种书籍读取系统，其特征在于， 具备页面状态测定部、书籍图像获取部和数据处理部， 所述页面状态测定部的结构为测定已翻开的书籍的页面状态， 所述书籍图像获取部具备多个第一照相机， 所述多个第一照相机的结构为从彼此不同的方向分别获取有关所述书籍的页面的书籍图像， 所述数据处理部的结构为使用由所述页面状态测定部测定的所述书籍的页面状态的信息校正由所述书籍图像获取部获取的所述书籍图像。
2.如权利要求1所述的书籍读取系统，其中， 所述页面状态测定部具备用于朝向所述书籍的页面投影既定的图案的图案光源， 所述多个第一照相机的结构为进一步获取投影了所述图案的页面的形状图像。
3.如权利要求2所述的书籍读取系统，其中， 所述多个第一照相机的结构为在从所述图案光源投影所述图案的定时获取所述形状图像且在未从所述图案光源投影所述图案的定时获取所述书籍图像。
4.如权利要求1所述的书籍读取系统，其中， 所述页面状态测定部具备形状图像用的第二照相机， 所述第二照相机具备使从所述图案光源投影的波长的光透过且遮蔽其以外的环境光的滤波器， 所述图案光源的结构为使用既定的波长的光朝向所述书籍的页面投影所述既定的图案， 由此，所述第二照相机能够获取投影于所述书籍的页面的所述既定的图案。
5.如权利要求1 4中任一项所述的书籍读取系统，其中， 所述第一照相机的结构为在所述书籍的每一页面获取多张的书籍图像， 所述数据处理部的结构为通过统一所述多张的书籍图像的信息从而提高校正了页面形状的失真的书籍图像的精确度。
全文摘要
提供一种一边翻开装订的书籍一边高速读取记载于书籍的信息的技术。页面状态测定部(2)测定已翻开的书籍的页面状态。书籍图像获取部(1)的多个第一照相机(11)从彼此不同的方向多次分别获取有关书籍的页面的书籍图像。数据处理部(3)使用由页面状态测定部(2)测定的书籍的页面状态的信息修正由书籍图像获取部(1)获取的书籍图像。
文档编号G06T1/00GK103069452SQ20118004010
公开日2013年4月24日 申请日期2011年8月19日 优先权日2010年8月20日
发明者渡边义浩, 石川正俊, 柴山裕树 申请人:国立大学法人东京大学