一种书籍摘抄内容自动处理方法与流程

本发明涉及教育领域，特别是涉及一种能够对书籍上的标注内容通过拍摄获取相应内容后进行自动整理归纳的书籍摘抄内容自动处理方法。

背景技术：

在日常学习或是读书过程中，很多读书者会对所读书籍中自己感兴趣的内容进行标注，以备后期复读，特别是学生，需要经常写读书体会或是对试卷中的错题进行抄写和总结。

如果一本书籍中标注的内容较多且分布较广，那么不仔细翻阅可能会有遗漏，而每一页的去查找标注又失去了标注的意义。如果想对标注后的内容进行摘抄或是总结，则需要大量的抄写工作或是不断的翻阅，这个过程会耽误大量时间。此外，如果书籍是借阅的，则可能连抄写的时间都没有。

而对学生来说，指定阅读的书籍有大量需要抄写的内容和总结，而日常的试卷或是习题集，更是需要对各错题进行反复研究；在上述过程中，多段落的抄写或是查找原题都会花费大量的时间，以至于让学生忽视了最初的想法或是没有精力再去关注抄录内容所蕴含的意义。

技术实现要素：

本发明的目的是要提供一种能够对书籍上的标注内容通过拍摄获取相应内容后进行自动整理归纳的书籍摘抄内容自动处理方法。

特别地，本发明提供一种书籍摘抄内容自动处理方法，包括如下步骤：

步骤100，由读书者对所读书籍中的兴趣点进行标注；

步骤200，启动拍摄装置，登陆服务端，服务端对读书者的身份信息进行验证后建立与身份信息对应的存储目录；

步骤300，将待拍摄的书籍放置在拍摄装置处，对书籍的信息页及相应的标注页依次拍摄并传送至服务端；

步骤400，服务端对接收的图片进行存储，对信息页进行识别并建立包括该书籍信息内容的摘抄文本，同时对标注页图片中的标注部分进行裁剪后识别，按预定的顺序对裁剪后内容进行排序并插入至摘抄文本中；

步骤500，读书者在当前书籍拍摄完成后，利用身份信息进入服务端，对该摘抄文本进行在线阅读、修改或下载使用。

在本发明的一个实施方式中，所述服务端为远程服务器、手机、与所述拍摄装置连接的电脑或与所述拍摄装置一体的电脑。

在本发明的一个实施方式中，所述标注是通过采用与书籍上文字及页面颜色不一致的颜色笔书写出的内容部分；或

用颜色笔在摘抄部分的首尾端进行书写，以限定标注的起始和结尾；或

用颜色笔把摘抄部分内容完全圈出来。

在本发明的一个实施方式中，所述标注是通过带有粘性且不破坏页面结构的粘纸贴在页面相应内容的首尾端围出的内部部分。

在本发明的一个实施方式中，所述信息页至少包括该书籍带有条码的封底。

在本发明的一个实施方式中，所述同时对标注页图片中的标注部分进行裁剪后识别的过程如下：

1)摘抄文本在建立时分为两个相互关联以分别存储书籍中图片的图片文档，和存储书籍中纯文字信息的文本文档；

2)所述服务端将页面上的颜色根据亮度值进行范围划分，再由预先设定的标注颜色的亮度值范围确定出当前图片中标注出的段落；

3)对确定后的段落进行裁剪，去掉非标注部分后将裁剪后图片按页码顺序加入图片文档中；同时

4)分别对裁剪后图片中的文字进行ocr识别，并按页码顺序加入至文本文档中。

5)图片文档和文本文档中设置有可相互引用具体内容的链接。

在本发明的一个实施方式中，所述登陆的方式包括：

1).通过拍照方式拍入读书者身份信息，由所述服务端进行识别；

2).通过所述拍摄装置或所述服务端的登陆界面进行登陆；

3).通过事先注册的手机登陆所述服务端。

在本发明的一个实施方式中，所述读书者身份信息是通过信息板表达的，所述信息板上设置有书写位置，读书者直接在书写位置的相应地方书写能够表达自身身份信息的内容，利用拍摄装置对书写后信息板进行拍摄并上传至服务端，服务端通过预先设定的识别方式对相应的书写内容进行识别并转换成具体的身份信息。

在本发明的一个实施方式中，所述信息板为磁性板，其通过磁笔进行记号书写，利用磁条对书写后记号进行擦除；所述磁条设置在所述磁性板的背面且可在磁性板的两个相对侧边之间往复移动；或所述信息板为可反复擦写的白板，所述白板的尺寸小于最小可拍摄书籍的尺寸。

在本发明的一个实施方式中，所述信息板上的书写位置处设置有规划书写区域且不可擦除的线条，在线条侧边设置有代表当前行列信息的标识码。

在本发明的一个实施方式中，所述拍摄装置包括带有相机的拍摄部，和将所述拍摄部支撑在待拍摄区域上方的拍摄支架，所述拍摄部设置有暂存相机拍摄内容的缓存区，和将缓存区内容传递至服务端的传送模块。

在本发明的一个实施方式中，在所述拍摄装置的待拍摄区域处设置有用于放置待拍摄书籍且尺寸大于最大可拍摄书籍的深色识别垫；在所述深色识别垫的侧边处设置有控制所述拍摄部工作的控制开关，和用于夹持书籍打开后相对两边的夹持结构。

在本发明的一个实施方式中，所述拍摄装置上设置有放置或夹持笔的固定结构，所述固定结构为直接插装笔的笔筒，或通过弹性夹持笔身的夹持卡子，或可直接连接笔的弹性线缆。

在本发明的一个实施方式中，在所述拍摄部上设置有为拍摄环境提供亮度的照明灯；在所述拍摄部上设置有拍摄完成后进行声光提醒的报警器。

在本发明的一个实施方式中，所述拍摄支架包括一个用于维持重心稳定的底座，和垂直安装在底座上的支撑杆，所述支撑杆为可调节高度的升降结构且相对所述底座可径向旋转，所述拍摄部通过一端安装在支撑杆立起的端头上。

本发明中，读书者只需要进行相应的拍摄操作即可轻松获取所有标注内容，服务端会自动根据编制的程序步骤对拍摄图片进行裁剪、识别、排序、组合等操作，直接形成一个包含当前书籍所有信息及标注内容的文档，而读书者可随时下载或网上打印该文档，大大简化读书者的摘抄过程，节省大量的时间，同时使读书者的精力完全放置在摘抄总结出来的内容上，增加读书和学习的乐趣。

附图说明

图1是本发明一个实施方式的书籍摘抄内容自动处理方法流程示意图；

图2是本发明一个实施方式的拍摄装置结构示意图；

图3是本发明一个实施方式的信息板结构示意图。

具体实施方式

如图1所示，本发明一个实施方式公开一种书籍摘抄内容自动处理方法，一般性地包括如下步骤：

步骤100，由读书者对所读书籍中的兴趣点进行标注；

这里的书籍包括但不限于文学著作、课外读物、习题集、试卷等内容。

标注的方式可以是利用满足一定条件的颜色笔(标注笔)对相应内容进行全书写，或用颜色笔在摘抄部分的首尾端进行书写，以限定标注的起始和结尾；或用颜色笔把摘抄部分内容完全圈出来。这里的满足一定条件是指标注笔的颜色需要与待标注书籍中已有颜色区别开，避免后期识别时混淆。

标注还可以通过带有粘性且不破坏页面结构的粘纸贴在页面相应内容的首尾端以围出待标注内容。粘纸可以采用常规的即时贴，同样其颜色需要与待标注书籍中已有颜色区别开。

标注还可以是由读书者直接写在页面上的内容。而且标注的内容可以有多段或多处。

步骤200，启动拍摄装置，登陆服务端，服务端对读书者的身份信息进行验证后建立与身份信息对应的存储目录；

这里的拍摄装置可以是手机、相机、扫描仪一类能够获取页面内容的装置，优选本身具备网络上传功能的装置。

其中登陆的方式包括：

1).通过拍照方式拍入读书者身份信息，由服务端进行识别；

即将表示读书者身份信息的物品通过图像的方式获取后，由服务端根据识别标准进行信息的识别(具体的识别方式在下面说明)。这里表示身份信息的物品可以是胸牌、专用卡片、身份证、学生证等一系统可以证明注册信息的标识版。还可以是表示其登陆账号的数字信息、字母信息或两者的混合信息。

2).通过拍摄装置或服务端的登陆界面进行登陆；

即直接利用输入账号和密码的方式由给出的登陆界面进行登陆。

3).通过事先注册的手机登陆服务端。

这里虽然用手机作为说明，但其它的智能设备也同样适用，如果平板电脑、个人电脑。其事先在服务端进行注册，在拍摄上传时可根据手机号或账号自动识别或验证后登陆。

这里用服务端代表一切可以完成本方法给出的处理过程的设备，如远程服务器、手机、平板电脑、个人电脑，或与拍摄装置一体的fpga、微处理器芯片等具备处理功能的设备都可以。

服务端通过常规的识别方式对身份信息图片进行解读，然后与已保存的账号信息进行对比来确认读书者的身份。这里的常规的识别方式可以是利用二值法去除图片背景和干扰后，将相应的字符抠出或直接通过ocr识别为文字的方式。

拍摄装置与服务端之间的传送方式可以通过有线线缆、有线网络或无线网络实现。

步骤300，将待拍摄的书籍放置在拍摄装置处，对书籍的信息页及相应的标注页依次拍摄并传送至服务端；

这里的拍摄过程是将所有标注页的内容分别进行拍摄。

信息页是指该书籍的封面、封二的出版信息内容和带有条码的封底；其中的条码是链接的说明信息的条形码，拍摄者可以根据需要选择相应的页面进行拍摄，如果该书籍还有其它的识别信息也可以自行选定后拍摄上传。信息页方便后期对摘抄内容的查询。

步骤400，服务端对接收的图片进行存储，对信息页进行识别并建立包括该书籍信息内容的摘抄文本，同时对标注页图片中的标注部分进行裁剪后识别，按预定的顺序对裁剪后内容进行排序并插入至摘抄文本中；

传送的单页图片中既包括标注内容，同时也包括非标注内容，同时上面还有页码信息，所以需要先对当前单页图片进行页码识别，再进行相应标注内容的裁切和文字识别。

信息页中的封面可以图片的形式保留，其它信息页的内容可识别成文字形成摘抄文本，以方便直接了解该书的大概内容。

对标注的裁剪和识别过程如下：

1)摘抄文本在建立时分为两个相互关联文档，一个为存储书籍中图片的图片文档，另一个为存储书籍中纯文字信息的文本文档；

2)服务端将页面上的颜色根据亮度值进行范围划分，由于标注或是手写的内容颜色与书籍原有的颜色不同，因此可根据色域的划分使不同的颜色进行归类，再由预先设定的标注颜色的亮度值范围确定出当前图片中标注出的段落。

以拍摄后图片为灰度图片为例：灰度范围在1～255，其中标注的颜色可采用浅色中的黄色，灰度值范围在1～50之间，而一般书籍中的字体都是黑色来显示，其灰度值范围在200～255之间，通过图像识别法，将灰度值范围在1～50内的选出，如果其是全文字书写，则可将与其灰度值重叠的文字内容作为标注段进行ocr识别；如果是首尾段书写，则根据依次配对识别的方式，将所有标注按成对的方式视为一个整体，然后将两个配对灰度标注之间的内容通过ocr进行识别后作为标注内容；采用粘纸进行标注的方式，采用同样的配对识别方式将两个配对灰度标注之间的内容通过ocr进行识别后作为标注内容。

如果是彩色图片，则可以通过rgb三者不同的色域进行识别，具体识别的方式与灰度识别的方式相同，只是原来的灰度，改成对应颜色的范围，如原来的字体采用黑色，那么标注的颜色可采用黄色、绿色，在识别时根据r、g、b三者的颜色范围进行选择即可将相应的标注段识别出。

3)对确定后的段落进行裁剪，去掉非标注部分后将裁剪后图片按页码顺序加入图片文档中；

识别出不同方式标注的内容后，即可将标注或是批注内容部分从原单页图片中原样裁剪下来，作为一个独立的图片保存，在保存时需要将其所在页码信息同时保存，以方便排序。

4)分别对裁剪后图片中的文字进行ocr识别，并按页码顺序加入至文本文档中。

在对标注内容部分进行裁剪的同时或之前或之后，可以对该标注或批注内容进行ocr识别，重新排版形成相应的可编辑文字段，此识别出的文字段内容同样与相应的页码信息同时保存。不同标注或批注识别出来后的文字内容分别独立作为一个段落存放，避免不同页不同段的文字内容之间相互混淆。

5)图片文档和文本文档中设置有可相互引用具体内容的链接。

同一书籍最终生成的图片文档和文本文档中各标注图片与相应的ocr文字之间需要能够相互调用，如在查看某个裁剪出的标注图片时，可以通过一侧的链接指引将文本文档中的对应ocr内容显示出来。相反，在看文本文档中的内容时，也可以链接相应的标注图片。

步骤500，读书者在当前书籍拍摄完成后，利用身份信息进入服务端，对该摘抄文本进行在线阅读、修改或下载使用。

保存在服务端上经过处理的内容，读书者可以登陆查看，以根据自己的需要对该生成的摘抄文本进行各种操作，如下载整个文档，或打印整个文档，或打印指定文档部分内容。

此外，服务端还可以提供相应的美化模板，以将选定的标注内容镶嵌在内，最后打印出来，作为座右铭一类使用。或是建立相应的索引关键字查找界面，以使读书者在输入相应的关键字后，可以直接将该书籍中所有含有该关键字的标注图片或标注文字显示出来。

另外，对最终的摘抄文本，读书者可直接进行编辑，如：修改原ocr识别中的错误字，或是添加新的批注内容，或删除一些批注内容等。

本实施方式中，读书者只需要进行相应的拍摄操作即可，服务端会自动根据编制的程序步骤对拍摄图片进行裁剪、识别、排序、组合等操作，直接形成一个包含当前书籍所有信息及标注内容的文档，而读书者可随时下载或网上打印该文档，大大简化读书者的摘抄过程，节省大量的时间，同时使读书者的精力完全放置在摘抄总结出来的内容上，增加读书和学习的乐趣。

本实施方式可应用于图书馆、学校或是书店，以供多个不同需要的人使用。服务端还可以是相应的云盘或安装有拍摄装置的单位服务器，以对不特定人或是特定人群进行服务，如学校对各班级课程、考试的管理。使用人可通过远程帐号登陆服务器，以对自己存储区域中的拍摄内容进行查看、下载、打印等处理。

如图2所示，在本发明的一个实施方式中，提供一种具体的拍摄装置10，该拍摄装置包括安装有相机21的拍摄部2，和调整拍摄部2拍摄高度的拍摄支架22，该拍摄部2通过拍摄支架22支撑在待拍摄区域的上方，拍摄方向朝下，在拍摄部2内设置有通过无线方式将拍摄后图像传递至远程服务器(服务端)的无线传送模块211。其中的无线传送模块211可以是wifi模块、手机模块或蓝牙模块中的一种。

拍摄支架22可以采用分体式结构，具体包括一个用于维持重心稳定的底座221，和垂直安装在底座221上的支撑杆222，该支撑杆222为可调节高度的升降结构且相对底座221可径向旋转，拍摄部2则通过一端安装在支撑杆222立起的端头上。升降结构可以是两个相互套接的套筒结构，套接位置确定后再利用一侧的固定螺栓对两者进行相对固定。拍摄部2可随支撑杆222进行水平和垂直方向上的位置调整，以适应不同厚度的书籍拍摄。拍摄部2的开关可设置在底座221上，而各种信号线缆则可由支撑杆222内通过。

将已经做好相应标记的书籍放置在拍摄部2的下方，打开做好标识的页面，由拍摄部2中的相机210进行拍照，然后通过无线传送模块直接传送至服务端。同一个书籍可以仅拍摄一页，也可以依次将做好标记的多页分别拍摄后上传。服务端会根据编制的程序步骤对图片进行裁剪、识别、排序等操作。当前书籍拍摄完成后，按下拍摄部2的停止开关后即完成该次拍摄过程，还可以是以特定图片来作为完成的信息，如书籍封底的条形码页，当服务端接到具有该图案的图片时，即可向拍摄装置发送停止拍摄的指令。为提高拍摄效果，可以在满足文字识别要求的前提下采用可自动调焦的相机210，使读书者只需要关注拍摄页面即可。

本实施方式将拍摄装置作为一个独立的设备，仅完成拍摄和上传功能，具体的处理过程由远程服务器进行。这样可降低拍摄装置的成本和复杂操作，使多人共用一台拍摄装置，尤其适合学校里的每个班独立使用。

在本发明的一个实施方式中，读书者的身份信息可以通过特定的信息板进行表达，该信息板1为一个可显示书写信息的平板，其上设置有供书写的位置，读书者利用相应的信号笔直接在信息板1的书写位置处进行书写，不同的书写点或书写信息代表不同的代码，如写明表示注册账号的数字组合，或是通过对相应位置的书写来表示特定的代码识别信息。利用拍摄装置10对书写后信息板进行拍摄并上传至服务端，服务端通过对该代码的识别即可转换成相应读书者的身份信息，服务端上的识别方式可以是预先设定的识别规则，其可以特定位置处的特定点对应相应的内容来进行转换，如某个特定识别点左侧书写后表示1，其右侧书写后表示2，上方书写后表示3等。

如图3所示，具体的信息板1可以为磁性板，磁性板11可选用常规的磁性书写产品，其原理是：当带有磁性的磁笔12靠近或接触磁性板11书写面时，其背面的铁屑即会被吸附到磁性板11背面，进而在书写面上显示出相应的痕迹。磁条13用于对当前磁性板11上已经书写的内容进行擦除，以方便下一位读书者使用，磁条设置在13磁性板11的背面且可在磁性板11的两个相对侧边之间往复移动，磁条13的长度至少与磁性板11书写面的高度相同，磁条13宽度以能够将吸附到磁性板11上的铁屑吸回为准；当磁性板11上已有书写内容又需要擦除时，可移动磁条13由磁性板11的一端至另一端，磁条13即可将磁性板11上所有表示记号的铁屑吸走，从而显示一个新的书写界面。

使用时，读书者利用磁笔12直接在磁性板11上写出相应的识别信息，如直接写上6054，然后放置在拍摄部的下方的拍摄区域内，由拍摄部2拍摄后上传进行身份识别，识别结束后，再进行相应的书籍内容拍摄。使用完毕的磁性板11可直接利用磁条13对书写的信息进行擦除。

为方便记号的规划和识别，磁性板11上可设置利用书写内容来表示相应信息的涂擦区域14，如，在不同位置标记相应的点，则代表相应的数字编号，从而根据不同的数字编号来识别不同的使用人。

在发明的另一个实施方式中，信息板1也可以采用已有的可反复擦写的白板(图中未示出)，其通过专用的白板笔进行书写，然后由相应的白板擦进行内容擦除。白板的使用方式同前述磁性板11的使用方式，这里不再重复。白板的尺寸同样需要小于最小可拍摄书籍的尺寸，避免因颜色影响拍摄图片的识别。此外，同样可在白板上设置利用书写内容来表示相应信息的涂擦区域14。

各实施方式中的涂擦区域14用于形成一个特定的形状，由读书者在不同的位置书写相应的记号后，服务端会根据对该处预先设定的意义来识别书写信息所代表的账号信息。本实施方式中的涂擦区域14是由不可擦除的线条构成的表格，在表格的侧边设置有代表当前行列信息的标识码。当在表格不同的栏中填入相应记号后，根据标识码即可自动识别出其代表的意义。如：表格为4*4格式，横向第一栏用x表示，纵向第一栏用y表示，剩下的3*3用于供使用人书写，其中，第二行的三栏分别表示7、8、9；第三行的三栏分别表示4、5、6；第四行的三栏分别表示1、2、3中。7对应的就是x1,y1，4对应的就是x1,y2，6对应的就是x3,y2，以些类推，即可将相应栏中的记号转换为相应的数字组合。

在本发明的一个实施方式中，为方便调整拍摄位置，可以在拍摄部2下方的待拍摄区域处放置用于摆放待拍摄书籍的深色识别垫3，在拍摄时，读书者只需要将待拍摄的书籍摊开放置在深色识别垫3上，即可使书籍处于标准的拍摄区域内。

采用深色识别垫3可以与常规白色的书籍产生视觉差异，方便后期对拍摄图片的识别。此外，为使获取的拍摄图片四周留有易识别的区域，该深色识别垫3的尺寸优选大于最大可拍摄书籍的尺寸。此外还可以在深色识别垫3上按a5、a4、a3等尺寸标出相应的书籍范围标识。

信息板1可以与深色识别垫3做成一体，也可以单独放置。只要不影响书籍的拍摄即可。

进一步地，在深色识别垫3相对翻开书籍两侧的侧边处，可以设置控制拍摄部2工作的控制开关。有些书籍打开后如果不用手按住则会自动合上，而在按住状态下又无法去按拍摄部2的控制开关，因此，将拍摄部2的控制开关设置在深色识别垫3上可使得读书者在按住书籍的同时去触碰控制开关，方便即时拍摄。

在其它的实施方式中，也可以在深色识别垫3的相应位置安装用于夹持书籍打开后相对两边的夹持结构(图中未示出)，如弹性条或弹性夹子等，弹性条可在不使用时贴在深色识别垫3上，在使用时，将打开的书籍侧边夹持在弹性条和深色识别垫3之间，即可对书页形成相应的固定。而弹性夹子则可分别对翻开的两侧页面进行夹持，使书籍保持在打开状态。

为方便读书者记录信息，可以在拍摄装置10上设置放置或夹持笔5的固定结构23，如直接插装笔5的笔筒，或通过弹性夹持笔身的夹持卡子，或可直接连接笔5的弹性线缆等。具体的固定结构23可以设置在拍摄支架22处。这里的笔5既可以是直接书写内容的书写笔，也可以是对书籍中相应内容进行标识的荧光笔。

为获取最优的拍摄效果，在拍摄部2上可以设置为拍摄环境提供亮度的照明灯212。该照明灯212可以根据环境亮度自动调整亮度，也可以仅输出固定亮度。此外，为提醒读书者拍摄是否完成，在拍摄装置10上可以设置拍摄完成后进行声光提醒的报警器4。如，每拍摄并上传完一页后，在自动进入下一页的拍摄状态时，报警器4即向外界通过灯光或声音进行提示，提醒读书者可以更换下一摘抄页或是进行下一步工作。

至此，本领域技术人员应认识到，虽然本文已详尽示出和描述了本发明的多个示例性实施例，但是，在不脱离本发明精神和范围的情况下，仍可根据本发明公开的内容直接确定或推导出符合本发明原理的许多其他变型或修改。因此，本发明的范围应被理解和认定为覆盖了所有这些其他变型或修改。