一种纸质印刷品与电子资源的关联方法及系统的制作方法
【专利摘要】本发明公开了一种纸质印刷品与电子资源的关联方法，包括以下步骤：(S1)拍摄或扫描纸质印刷品版面得到印刷品图像；(S2)从印刷品图像中提取版面指纹特征值；(S3)以版面指纹特征值为匹配依据，在关联数据库中搜索相似度尽可能高的电子版面；(S4)将搜索到的电子版面作为推荐电子版面，在关联数据库中查询并反馈推荐电子版面关联的资源列表。本发明还提供了实现上述关联方法的系统。本发明通过拍摄或扫描普通印刷品页面，根据版面指纹特征查找相似度尽可能高的电子页面，进而关联到其它资源，关联方式更简单，使用范围广，突破了填埋识别记号的限制。
【专利说明】
一种纸质印刷品与电子资源的关联方法及系统
技术领域
[0001]本发明属于计算机应用技术领域，更具体地，涉及一种纸质印刷品与电子资源的关联方法及系统。
【背景技术】
[0002]整个20世纪，不断创新的通讯媒介让许多专家学者预言数字革命将带来纸版书的末日，电子出版会全面取代纸质出版物。现实却并非如此，虽然电子资源形式灵活，种类丰富(文字，图像，动画，声音，视频)，但是越来越多人选择从电子书回归，钟爱纸质书;他们认为纸质书更适合专注深入的阅读，符合读者阅读习惯。因此，为了充分尊重读者阅读习惯，同时尽可能提供丰富的阅读体验，将纸质出版物和电子资源相关联的技术受到广泛的关注。
[0003]针对这一现状，当前国内外关注的重点主要是多媒体印刷技术，即在纸质出版物上印刷任意个识别记号，将记号对应存储器中预先存储关联资源。利用特制设备识别读取该记号后，可自动播放预先关联的资源，从而实现书籍和电子资源关联的效果。
[0004]早在90年代，日本率先将录制的音频储存在记号对应的半导体中，实现了识别出版物上的记号就可以播放声音的效果；随后，技术人员不断改进，如用微型二维条码、点阵模式，缩小记号占据空间，提高印刷画面质量。
[0005]上述提案虽然实现印刷品和电子资源的关联，但埋入识别记号成本较高，印刷画面受到了一定程度的影响；同时，用于识别记号的设备往往需要特别研发(如点读笔等)。受方法本身的制约，多媒体印刷技术存在缺陷。
【发明内容】
[0006]针对现有技术的以上缺陷或改进需求，本发明提供了一种印刷品与电子资源的关联方法及系统，通过拍摄或扫描普通印刷品页面，根据版面指纹特征查找相似度尽可能高的电子页面，进而关联到其它资源，关联方式更简单，使用范围广，突破了填埋识别记号的限制。
[0007]为了实现本发明技术目的，本发明采用以下技术方案:
[0008]—种纸质印刷品与电子资源的关联方法，包括以下步骤:
[0009](SI)拍摄或扫描纸质印刷品版面得到印刷品图像；
[0010](S2)从印刷品图像中提取版面指纹特征值；
[0011](S3)以版面指纹特征值为匹配依据，在关联数据库中搜索相似度尽可能高的电子版面;所述关联数据库存储的信息包含电子版面ID、版面指纹特征值和关联的电子资源网址；
[0012](S4)将步骤(S3)搜索到的电子版面作为推荐电子版面，在关联数据库中查询并反馈推荐电子版面关联的资源列表。
[0013]—种纸质印刷品与电子资源的关联方法，包括以下步骤:
[0014](Tl)拍摄或扫描纸质印刷品版面得到印刷品图像；
[0015](T2)从印刷品图像中提取版面指纹特征并计算指纹特征值；
[0016](T3)以步骤(T2)得到的版面指纹特征值为匹配依据，在关联数据库中搜索相似度尽可能高的电子版面;所述关联数据库存储的信息包含电子版面ID、版面指纹特征值、辅助特征码和关联的电子资源网址；
[0017](T4)从扫描得到的印刷品图像中提取关键字或资源描述信息，依据关键字或资源描述信息计算辅助特征码；
[0018](T5)以辅助特征码作为匹配依据，进一步在步骤(T3)搜索到的电子版面中搜索相似度尽可能高的电子版面；
[0019](T6)将步骤(T5)得到的电子版面作为推荐电子版面，在关联数据库中查询并反馈推荐电子版面关联的资源列表。
[0020]一种纸质印刷品与电子资源的关联系统，包括用户终端和服务器；
[0021]用户终端，用于拍摄或扫描纸质印刷品版面得到印刷品图像，将印刷品图像传送给服务器；
[0022]服务器，用于从印刷品图像中提取版面指纹特征值；以版面指纹特征值为匹配依据，在关联数据库中搜索相似度尽可能高的电子版面;所述关联数据库存储的信息包含电子版面ID、版面指纹特征值和关联的电子资源网址;将搜索到的电子版面作为推荐电子版面，在关联数据库中查询并反馈推荐电子版面关联的资源列表。
[0023]—种纸质印刷品与电子资源的关联系统，包括用户终端和服务器；
[0024]用户终端，用于拍摄或扫描纸质印刷品版面得到印刷品图像，将印刷品图像传送给服务器；
[0025]服务器，用于从印刷品图像中提取版面指纹特征值；以版面指纹特征值为匹配依据，在关联数据库中搜索相似度尽可能高的电子版面;所述关联数据库存储信息有电子版面ID、版面指纹特征值、辅助特征码和关联的电子资源网址;从扫描得到的印刷品图像中提取关键字或资源描述信息，依据关键字或资源描述信息计算辅助特征码；以辅助特征码作为匹配依据，进一步在搜索到的电子版面中搜索相似度尽可能高的电子版面;将最终搜索到的电子版面作为推荐电子版面，在关联数据库中查询推荐电子版面关联的资源列表，将资源列表反馈给用户终端。
[0026]进一步地，所述用户终端还用于为印刷品图像关联电子资源网址，将创建的关联关系上传于服务器。
[0027]进一步地，所述服务器优先反馈用户终端创建的关联电子资源网址。
[0028]进一步地，所述用户终端还用于对所述服务器反馈的电子资源列表进行评价。
[0029]—种纸质印刷品与电子资源的关联系统，包括出版商终端和服务器；
[0030]出版商终端，用于维护关联数据库，所述关联数据库存储的信息包含电子版面ID、版面指纹特征值和关联的电子资源网址；
[0031]服务器，用于存储关联数据库。
[0032]一种纸质印刷品与电子资源的关联系统，包括出版商终端和服务器；
[0033]出版商终端，用于维护关联数据库，所述关联数据库存储的信息包含电子版面ID、版面指纹特征值、辅助特征码和关联的电子资源网址；
[0034]服务器，用于存储关联数据库。
[0035]总体而言，通过本发明所构思的以上技术方案与现有技术相比，由于突破了对印刷品的限制，能够取得下列有益效果:
[0036]1、改善印刷物因多媒体印刷技术带来的高成本，低画质的现状；
[0037]2、关联资源更加丰富，不仅仅局限于由厂商设定的资源，还包含网上其他关联资源；
[0038]3、关联方式更简单，用户使用便捷，成本低。出版社等只需要注册系统，输入简单相关信息就可以实现关联呈现的效果，丰富内容;普通读者同样只需要利用常见的移动终端就可以很轻易获得优质的阅读体验；
[0039]4、使用范围、情景更为广泛。商家书籍、报纸、宣传手册等都可以利用这种方式提供更优质的服务；
【附图说明】
[0040]图1是关联系统数据流图；
[0041 ]图2是关系数据库建立流程图；
[0042]图3是关系数据库维护流程图；
[0043]图4是用户端资源呈现流程图。
【具体实施方式】
[0044]为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。
[0045]如图1所示，本发明纸质印刷品与电子资源的关联方法，包括如下步骤:
[0046](I)扫描纸质印刷品。
[0047]用户端可利用手机、PAD等智能移动终端拍摄或扫描纸质印刷品版面，获得印刷品图像。印刷品可以为报纸、书刊杂志、地图、海报、广告单页等。
[0048](2)从印刷品图像中提取版面指纹特征值。
[0049]版面指纹特征至少包括版面结构距离、纹理、颜色、形状、文档中是否配图等，利用已有的文档图像检索的方式获取版面特征值。
[0050](3)以版面指纹特征值作为匹配依据，在关联数据库中搜索相似度尽可能高的电子版面。
[0051]关联数据库包含了纸质印刷品和电子资源的关联关系，如图2所示，其按照如下方式建立:预先大量拍摄或扫描样品纸质印刷品得到电子版面，从样本电子版面中提取多个版面指纹特征，按照步骤(2)相同的方式计算指纹特征值，备以粗选;另外，还从样本图像中提取关键字(譬如摘要、结语)或资源描述信息，备以细选;再将电子版面与其相关的一个或多个电子资源的网址关联起来。具体来说，如学生用户扫描课本的某一页，则可以获得全部课本的电子资源(默认当前页为扫描页)，同时推送包涵与扫描页相关的辅助讲义、名师解读、视频教程、背景英语、PPt材料、测试题、重难点笔记等等。如此操作，针对每一个电子版面会生成一条关联记录，关联记录包含的信息有:电子版面、指纹特征值、关键字或资源描述信息、关联的电子资源网址。多条关联记录形成关联数据库。
[0052]优选地，服务器主要保存资源映射，并不直接管理资源(即不需要将资源上传至关联服务器上)。
[0053]根据版面指纹特征值，在关联数据库中搜索相似度尽可能高的电子页面。本发明优选依据指纹特征值搜索，预先确定一个阈值范围，如果提取的指纹特征值与数据库中的某些指纹特征值差值在阈值范围内，则将数据库中这些指纹特征值对应的电子版面作为候选电子版面，完成粗选。
[0054](4)从扫描得到的印刷品图像中提取关键字或资源描述信息，依据关键字或资源描述信息计算辅助特征码。
[0055]在某些情况下，譬如若两篇文档主题相同，描述信息也相似，或仅为同一作者不同的更新版本，系统需要借助更为精确的特征码辅助。本步骤在粗选的基础上，进一步利用关键字或资源描述信息细选，使得搜索结果更准确。
[0056]关键字主要是指利用文本关键字提取算法获得的反映印刷品主题的字或词。资源描述信息主要是指非正文部分(如页眉或页脚)的内容，由于印刷品极可能是多页，扫描得到的图像仅为其中一页，因此本发明通过所指资源描述信息一般包括出版版本信息、题目或章节信息、页码、特别备注等。
[0057]可利用文字识别技术(譬如OCR)按照一定的顺序识别部分文字，并利用消息摘要算法(如md5)生成辅助特征码。主要用以增强资源关联的准确性，避免指纹识别特征值相近带来的相关问题，也可用以降低指纹识别算法的精度要求，从而降低计算复杂度。
[0058]如同一本书籍的第一版和第二版，本身内容并无大变动，仅修饰了细节，版面信息及描述信息基本一致，若数据库里同时存在这两个版本的特征值，仅靠上述方法难以区分，就需要更为精确的特征码作为辅助。针对这一情况，本发明特别地选择部分文字利用消息摘要算法生成辅助码，提高检索的准确性同时避免大量文字识别导致系统性能消耗大的弊端。
[0059](5)以辅助特征码作为匹配依据，进一步在步骤(3)搜索到的电子版面中搜索相似度尽可能高的电子版面。
[0060]与精选相似，本发明优选依据辅助特征值搜索，预先确定一个阈值范围，如果辅助特征值与数据库中的某些辅助特征值差值在阈值范围内，则将数据库中这些辅助特征值对应的电子版面作为候选电子版面，完成精选。
[0061](6)将步骤(5)得到的电子版面作为推荐电子版面，在关联数据库中查询推荐电子版面关联的资源列表。
[0062]关联数据库在后台，根据页面描述、内容关键字等信息，利用网络爬虫或搜索引擎其他相关资源，根据搜索结果形成关联资源列表。用户收到推荐的资源列表，资源列表中含有电子资源网址，点击即可打开电子资源，用户可对电子资源进行评价并反馈信息，既通过“赞”、“踩”的方式对推荐资源进行评价。
[0063]除此之外，用户还可个性化创建其他关联，如图3所示，用户在收到推荐资源列表时除了可以打开相应资源，也可以创建自己的资源。若创建关联一个网络资源，则直接新建关联，输入网址即可;若创建关联本地资源，则将资源上传至系统云服务，创建关联。用户可设置自己创建的关联资源是否公开，被推送给其他用户。创建后，用户再次检索同一页面，由用户创建的资源会在资源列表的顶部被优先推送。服务器支持用户个性化资源关联需求，具体包括:保存用户基本信息;记录分析用户对资源反馈情况;支持普通用户创建自己的文档关联资源(如自制录音、视频等，或除系统推送外，用户更希望关联的其他网络资源等)O
[0064]本发明纸制印刷品与电子资源关联的方法主要涉及普通读者、出版商等角色。月艮务器通过关联系统及关系数据库提供服务支持。
[0065]普通读者:通过身份验证登陆系统；扫描印刷品页面图片；接收系统返回推送资源;还可对资源内容进行评价反馈;个性化创建其他关联。
[0066]出版商:身份验证;调用服务直接获取并上传电子文档页面、指纹特征码及辅助特征码;对电子文档进行关键词描述(非必须)；输入需要匹配关联的资源地址;接收读者反馈
?目息O
[0067]对于所述页面指纹特征码和辅助特征码，系统可以直接分析资源，也可以由出版商调用系统服务直接获得并提交系统。系统服务及系统提供给出版商可在本地直接安装使用的工具，通过工具，出版商可在本地获得页面特征值和辅助码。出版商根据自身需求，将资源提交给系统分析，或利用系统提供的相关工具自己分析，由系统分析操作更为简单，若自己分析则可以保障出版商本身资源。
[0068]对于关键字及资源描述等信息，可以系统分析得到，也可以用户创建关联时输入(非必须)。
[0069]对于电子网页关联的电子资源，可以系统根据关键词搜索获得(必须)，也可以用户创建关联时设定输入的(非必须)。
[0070]系统和出版商在接受用户评价及反馈后都可以对关联关系进行维护，系统关联资源由系统进行管理维护，出版商关联资源由出版商进行管理维护。此外，用户可以创建个性化的关联资源，这个资源关联查找的优先级因高于系统或出版商关联资源。即用户扫描印刷品时，因首先获得自己创建的关联资源，其次才是系统或出版商提供的。
[0071]按照本发明的一个方面，提供了一种纸质品扫描及呈现系统，如图4所示，具体使用步骤包括:
[0072](I)用户用摄像头扫描纸质印刷品页面；
[0073](2)将扫描图像在本地分析，或上传服务器远程处理，获得页面指纹特征码；
[0074](3)将特征码传到关联服务器，关联服务器判断是否需要进一步提取特征辅助码，以获取电子版资源；
[0075](4)将系统预存的电子版资源及其他关联资源列表返回给用户；
[0076](5)用户对返回结果进行评价反馈；
[0077](6)普通用户可以再扫描验证印刷品后选择创建、添加个性化的关联资源。
[0078]本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
【主权项】
1.一种纸质印刷品与电子资源的关联方法，其特征在于，包括以下步骤: (51)拍摄或扫描纸质印刷品版面得到印刷品图像； (52)从印刷品图像中提取版面指纹特征并值； (53)以版面指纹特征值为匹配依据，在关联数据库中搜索相似度尽可能高的电子版面;所述关联数据库存储的信息包含电子版面ID、版面指纹特征值和关联的电子资源网址； (54)将搜索到的电子版面作为推荐电子版面，在关联数据库中查询并反馈推荐电子版面关联的资源列表。2.—种纸质印刷品与电子资源的关联方法，其特征在于，包括以下步骤: (Tl)拍摄或扫描纸质印刷品版面得到印刷品图像； (T2)从印刷品图像中提取版面指纹特征值； (T3)以版面指纹特征值为匹配依据，在关联数据库中搜索相似度尽可能高的电子版面;所述关联数据库存储的信息包含电子版面ID、版面指纹特征值、辅助特征码和关联的电子资源网址； (T4)从扫描得到的印刷品图像中提取关键字或资源描述信息，依据关键字或资源描述信息计算辅助特征码； (T5)以辅助特征码作为匹配依据，进一步在步骤(T3)搜索到的电子版面中搜索相似度尽可能高的电子版面； (T6)将步骤(T5)得到的电子版面作为推荐电子版面，在关联数据库中查询并反馈推荐电子版面关联的资源列表。3.—种纸质印刷品与电子资源的关联系统，其特征在于，包括用户终端和服务器； 用户终端，用于拍摄或扫描纸质印刷品版面得到印刷品图像，将印刷品图像传送给服务器； 服务器，用于从印刷品图像中提取版面指纹特征值；以版面指纹特征值为匹配依据，在关联数据库中搜索相似度尽可能高的电子版面;所述关联数据库存储的信息包含电子版面ID、版面指纹特征值和关联的电子资源网址;将搜索到的电子版面作为推荐电子版面，在关联数据库中查询并反馈推荐电子版面关联的资源列表。4.一种纸质印刷品与电子资源的关联系统，其特征在于，包括用户终端和服务器； 用户终端，用于拍摄或扫描纸质印刷品版面得到印刷品图像，将印刷品图像传送给服务器； 服务器，用于从印刷品图像中提取版面指纹特征并综合计算指纹特征值；以的版面指纹特征值为匹配依据，在关联数据库中搜索相似度尽可能高的电子版面;所述关联数据库存储信息有电子版面ID、版面指纹特征值、辅助特征码和关联的电子资源网址;从扫描得到的印刷品图像中提取关键字或资源描述信息，依据关键字或资源描述信息计算辅助特征码；以辅助特征码作为匹配依据，进一步在搜索到的电子版面中搜索相似度尽可能高的电子版面;将最终搜索到的电子版面作为推荐电子版面，在关联数据库中查询推荐电子版面关联的资源列表，将资源列表反馈给用户终端。5.根据权利要求3或4所述的纸质印刷品与电子资源的关联系统，其特征在于，所述用户终端还用于为印刷品图像关联电子资源网址，将创建的关联关系上传于服务器。6.根据权利要求5所述的纸质印刷品与电子资源的关联系统，其特征在于，所述服务器优先反馈用户终端创建的关联电子资源网址。7.根据权利要求3或4所述的纸质印刷品与电子资源的关联系统，其特征在于，所述用户终端还用于对所述服务器反馈的电子资源列表进行评价。8.—种纸质印刷品与电子资源的关联系统，其特征在于，包括出版商终端和服务器； 出版商终端，用于维护关联数据库，所述关联数据库存储的信息包含电子版面ID、版面指纹特征值和关联的电子资源网址； 服务器，用于存储关联数据库。9.一种纸质印刷品与电子资源的关联系统，其特征在于，包括出版商终端和服务器； 出版商终端，用于维护关联数据库，所述关联数据库存储的信息包含电子版面ID、版面指纹特征值、辅助特征码和关联的电子资源网址； 服务器，用于存储关联数据库。
【文档编号】G06F17/30GK105956098SQ201610287440
【公开日】2016年9月21日
【申请日】2016年5月3日
【发明人】杜旭, 李 浩, 杨宗凯, 何珍珍
【申请人】华中师范大学