64]区域获取模块1210，用于通过红外笔在页面内容中触发的点击得到投影页面中包含了待查询单词的选定区域。
[0165]本实施例中，页面内容是对纸质书进行投影所得到的纸质书图像，随着红外笔触发的点击将得到这一纸质书图像中被选定的区域，即包含了待查询单据的选定区域，该选定区域为纸质书图像的一部分。
[0166]判断模块1230，用于判断是否存在与图书信息相符的电子书，若为是，则通知单词提取模块1250，若为否，则通知单词提炼模块1270。
[0167]本实施例中，由于已经对纸质书的封面图像进行了图像指纹分析得到了对应的图书信息，因此，判断模块1230将根据图书信息在计算机中进行搜索，以判断是否有相对应的电子书，如果有，则可直接通知单词提取模块1250获取得到选取区域中待查询单词的数字形式，如果没有，则只能通知单词提炼模块1270采用OCR技术得到待查询单词。
[0168]单词提取模块1250，用于由电子书提取得到选定区域所包含的待查询单词。
[0169]本实施例中，该电子书是与纸质书相一致的，例如，与纸质书拥有相同的出版物名称。单词提取模块1250对电子书中的内容进行查找，以获取得到电子书中与纸质书的选定区域相匹配的区域，并由获取得到的区域提取得到选取区域所包含的待查询单词。
[0170]单词提炼模块1270，用于对投影页面中的页面内容进行单词提炼，并红外笔在页面内容中的位置得到待查询单词。
[0171 ] 本实施例中，在无法获取得到与纸质书相一致的电子书时，后台的计算机中的单词提炼模块1270将采用OCR技术对以纸质书图像形式存在的页面内容进行单词提炼，进而根据红外笔在页面内容中的位置得到待查询单词。
[0172]第二单词搜索模块1290，用于根据待查询单词进行搜索得到相应的查询结果，并投影至投影页面。
[0173]本实施例中，第二单词搜索模块1290以待查询单词为关键字进行搜索即可得到相应的查询结果，并投影至投影页面中，以将查询结果附于投影页面的页面内容中。
[0174]通过如上所述的投影式阅读中实现交互的系统，将使得投影式阅读得以兼顾所有类型的书籍，且具备了丰富的交互功能，并且通过可见光捕获和红外定位的方式分别实现投影式阅读中的手势交互和红外交互，其中，手势交互将用于实现对投影页面触发的粗略操作，而红外交互则用于实现投影页面中的精细操作，二者相互结合，大大提高了交互的精确度。
[0175]本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述程序可存储于一计算机可读取存储介质中，如本发明实施例中，该程序可存储于计算机系统的存储介质中，并被该计算机系统中的至少一个处理器执行，以实现包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(Read-Only Memory, ROM)或随机存储记忆体(Random AccessMemory, RAM)等。
[0176]以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。
【主权项】
1.一种投影式阅读中实现交互的方法，包括如下步骤: 对电子书或纸质书进行投影以得到相应的投影页面； 红外定位所述投影页面中红外笔的移动，得到所述投影页面中红外笔在页面内容上的移动痕迹； 根据所述红外笔的移动痕迹进行重绘以生成所述页面内容对应的笔记，并将所述笔记保存至对应的目录中。2.根据权利要求1所述的方法，其特征在于，所述根据所述红外笔的移动痕迹进行重绘以生成所述页面内容对应的笔记，并将所述笔记保存至对应的目录中的步骤之后，所述方法还包括: 触发对所述投影页面进行翻页得到所述投影页面中当前显示的页面内容； 根据当前显示的页面内容从目录中提取得到保存的笔记； 融合所述笔记和页面内容，并将融合在一起的笔记和页面内容显示于投影页面中。3.根据权利要求2所述的方法，其特征在于，所述投影页面是由电子书投影得到的，所述触发对所述投影页面进行翻页得到所述投影页面中当前显示的页面内容的步骤包括: 捕获用户手势，以对所述用户手势进行跟踪得到当前对投影页面中的页面内容所触发的手势； 识别所述手势，以得到触发对页面内容进行翻页的手势； 随着所述触发页面内容进行翻页的手势在投影页面执行相应的翻页动作以得到翻页后的页面内容，并显示于投影页面中。4.根据权利要求1所述的方法，其特征在于，所述投影页面中的页面内容是对纸质书的封面投影得到的封面图像，所述方法还包括: 对所述封面图像进行图像指纹分析得到对应的图书信息； 根据所述图书信息进行搜索得到所述纸质书的相关信息，并投影至所述投影页面。5.根据权利要求1所述的方法，其特征在于，所述对电子书进行投影以得到相应的投影页面的步骤之后，所述方法还包括: 根据红外笔在页面内容中的位置得到所述投影页面中页面内容的待查询单词； 根据所述待查询单词进行搜索得到相应的查询结果，并投影至所述投影页面。6.根据权利要求4所述的方法，其特征在于，所述对所述封面图像进行图像指纹分析得到对应的图书信息的步骤之后，所述方法还包括: 通过所述红外笔在所述页面内容中触发的点击得到所述投影页面中包含了待查询单词的选定区域； 判断是否存在与所述图书信息相符的电子书，若为是，则由所述电子书提取得到所述选定区域所包含的待查询单词，若为否，则 对投影页面中的页面内容进行单词提炼，并根据红外笔在页面内容中的位置得到待查询单词； 根据所述待查询单词进行搜索得到相应的查询结果，并投影至所述投影页面。7.一种投影式阅读中实现交互的系统，其特征在于，包括: 投影模块，用于对电子书或纸质书进行投影以得到相应的投影页面； 移动定位模块，用于红外定位所述投影页面中红外笔的移动，得到所述投影页面中红外笔在页面内容上的移动痕迹； 重绘模块，用于根据所述红外笔的移动痕迹进行重绘以生成所述页面内容对应的笔记，并将所述笔记保存至对应的目录中。8.根据权利要求7所述的系统，其特征在于，所述系统还包括: 翻页处理模块，用于触发对所述投影页面进行翻页得到所述投影页面中当前显示的页面内容； 笔记提取模块，用于根据当前显示的页面内容从目录中提取得到保存的笔记； 融合模块，用于融合所述笔记和页面内容，并将融合在一起的笔记和页面内容显示于投影页面中。9.根据权利要求8所述的系统，其特征在于，所述投影页面是由电子书投影得到的，所述翻页处理模块包括: 手势捕获单元，用于捕获用户手势，以对所述用户手势进行跟踪得到当前对投影页面中的页面内容所触发的手势； 识别单元，用于识别所述手势，以得到触发对页面内容进行翻页的手势； 翻页执行单元，用于随着所述触发页面内容进行翻页的手势在投影页面执行相应的翻页动作以得到翻页后的页面内容，并显示于投影页面中。10.根据权利要求7所述的系统，其特征在于，所述投影页面中的页面内容是对纸质书的封面投影得到的封面图像，所述系统还包括: 图像指纹分析模块，用于对所述封面图像进行图像指纹分析得到对应的图书信息；图书搜索模块，用于根据所述图书信息进行搜索得到所述纸质书的相关信息，并投影至所述投影页面。11.根据权利要求7所述的系统，其特征在于，所述系统还包括: 单词定位模块，用于根据红外笔在页面内容中的位置得到所述投影页面中页面内容的待查询单词； 第一单词搜索模块，用于根据所述待查询单词进行搜索得到相应的查询结果，并投影至所述投影页面。12.根据权利要求10所述的系统，其特征在于，所述系统还包括: 区域获取模块，用于通过所述红外笔在所述页面内容中触发的点击得到所述投影页面中包含了待查询单词的选定区域； 判断模块，用于判断是否存在与所述图书信息相符的电子书，若为是，则通知单词提取模块，若为否，则通知单词提炼模块； 所述单词提取模块用于由所述电子书提取得到所述选定区域所包含的待查询单词；所述单词提炼模块用于对投影页面中的页面内容进行单词提炼，并根据红外笔在页面内容中的位置得到待查询单词； 第二单词搜索模块，用于根据所述待查询单词进行搜索得到相应的查询结果，并投影至所述投影页面。
【专利摘要】本发明提供了一种投影式阅读中实现交互的方法和系统。所述方法包括：对电子书或纸质书进行投影以得到相应的投影页面；红外定位所述投影页面中红外笔的移动，得到所述投影页面中红外笔在页面内容上的移动痕迹；根据所述红外笔的移动痕迹进行重绘以生成所述页面内容对应的笔记，并将所述笔记保存至对应的目录中。所述系统包括投影模块、移动定位模块和重绘模块。采用本发明能兼容纸质版本的投影和电子书的投影，以对纸质版本投影和电子书投影的内容进行后续操作。
【IPC分类】G06F3/042, G06F3/0488
【公开号】CN105204752
【申请号】CN201410244485
【发明人】朱跃生, 莫志威, 翁振宇, 徐之刚, 战立飞, 邢晓媚, 罗桂波
【申请人】北京大学深圳研究生院
【公开日】2015年12月30日
【申请日】2014年6月4日