一种基于机器视觉的座台式点读机及相关系统装置与方法_3

文档序号:9826791阅读:来源:国知局
,以及面向书本读物16呈垂直朝向的第一摄像头12,面向用户28及虚拟键盘25的呈水平朝向的第二摄像头24。由于第一摄像头呈垂直朝向,令其特别适合作水平方向的移动手势检测,从这个角度上来说,可以说本发明实施例包括有水平移动手势视觉检测单元50,可检测前述的各种水平移动的控制手势。同时由于第二摄像头呈水平朝向,令其特别适合作垂直方向的移动手势监测,例如检测用户手指点击虚拟键盘的情况,从而可以实现虚拟键盘的按键输入功能,从这个角度上来说,可以说本发明实施例包括有垂直移动手势视觉检测单元67,可检测各种垂直移动的控制手势。结合水平移动手势视觉检测单元50及垂直移动手势视觉检测单元67,令本发明实施例的点读机可对点读操作空间区域进行立体的视觉检测,可有效识别虚拟键盘的按键输入,从这个角度上来说,可以说本发明实施例包括有虚拟按键识别单元66。
[0064]与图4相比,图5中还包括有一个电子点读文件存储单元60,可存放类似传统点读机的电子点读文件(例如与课本相关的电子文档),在这些点读文件中,通常包括有文字及图像文件(课本内容),发音文件(为所述文字的标准发音或外文译音)、音乐文件(与课本内容相关的音乐、歌曲等)、视频文件(与课本内容相关的电影、视频等),以及有关这些文字、图像、音乐、视频在课本中所对应的经纬位置信息,这个经纬位置信息又称为互动位置信息文件,当用户指向所述的经纬位置时,点读机发出与所述位置内容相对应的声音、图像、音乐或视频信息,从而实现所述的点读功能。
[0065]在传统点读机中,点读笔笔尖位置是通过电磁感应来识别的,点读笔中包含有电磁线圈,其可发射特定频率的电磁信号,点读机内的线路板通过对所述点读笔信号的接收而得到笔尖的位置信息,从而令点读机可以在特定点读位置上通过声频及视频与使用者互动,从而实现“点哪里,读哪里”的操作功能。这种通过电磁方式获取点读位置的技术,其主要不足在于所述线路板感应到的点读笔位置与课本上的实际位置通常有一定差异,这个差异与课本的摆放位置、课本的厚度,以及使用者握笔姿势等都有关系,稍为不注意,就容易产生读音错误。另外这种点读机会发射电磁信号,具有一定的电磁辐射并较易受外界的电磁干扰。
[0066]本发明实施例采用了与传统点读机完全不同的基于机器视觉识别的点读位置检测,这种检测方式的主要优点是它不但可用点读笔进行操作,还可以用手指进行操作,在使用上无疑更为方便;另外它是完全基于点读笔/手指在读物中的实际位置来判别点读内容的,对课本的摆放、书本的厚度及拿笔的姿势无关,具有较大的容错能力;再者它不需要发射电磁信号,降低了电磁辐射并具有更高的抗电磁干扰能力;最后它还具有独特的手势操作及控制功能,可为用户提供一个全新及有益的操作体验。
[0067]与传统点读机相比,本发明实施例还可提供一个方便用户使用的新功能,就是可以自动检测及判别当前点读操作的课本读物的内容,而自动令预先存放在60内的电子点读文件与其同步,而无需像传统点读机那样需要人手输入当前正在使用的书本读物的信息及当前点读的页码信息,这将大大增加使用上的方便性。在本实施例中,上述自动同步功能是通过图中的图像处理单元61、图像比较单元62,以及光学字符识别单元48、文字比较单元63来实现的,即点读机自动将从摄像头12获取的当前书本读物的图像及文字信息与存储在60中的现有的电子点读文件相比较,如果两者相同或相关,就将现有的电子点读文件中的发音文件、音乐文件、视频文件及互动位置信息文件作为当前点读操作的依据。
[0068]在图5中还包括有专用点读笔17,所述专用点读笔包含有笔身按键171、笔尖按键172及信号发射单元173,当点读笔的笔尖在读物16上点击时,其笔尖按键172便会被触发,这个笔尖按键的状态触发信号可通过信号发射单元173发射出去,并被点读机中的信号接收单元65所接收。点读机将接收到状态触发信号时所述点读笔的笔尖位置作为点读位置,这可以加快点读操作的反应速度。在前述的手势式点读操作中,手势识别可能需要等待一定时间(例如I秒),而专用点读笔的使用省掉了这个等待时间,这对用户来说是一个非常有益的选择及操作体验。
[0069]为了降低信号发射造成电磁辐射,本发明实施例可采用无电磁辐射的红外线调制信号(或超声波信号)来实现状态触发信号的传输。由于点读笔上的信号发射单元与点读机上的无线接收单元之间没有物体阻隔,这令所述红外线或超声波信号传输可有效实现。
[0070]使用专用点读笔的另一个好处是令虚拟键盘25的使用更为方便,用户只要将点读笔在虚拟键盘相应按键位置上点一下便可实现按键输入,在这种情况下还可以省掉第二摄像头24的使用,因为无需检测用户手指点击虚拟键盘的垂直手势了。在这种情况下,点读笔17的笔尖按键触发可视为手指点击输入,而笔身按键则可以用于取消输入(例如删除一个字符),这为使用带来方便。
[0071]下面请再参照图6所示,这是本发明实施例基于机器视觉的座台式点读机的又一功能结构方框图。图中除了包括图像处理单元61、图像比较单元62、光学字符识别单元48、文字比较单元63及电子点读文件存储单元60之外,还包括有互联网接入单元68 (例如用W1-Fi接入),令点读机可接入到互联网69之中,可以在互联网中搜寻与下载与当前的课本读物16相关的现有的电子点读文件。在用户实际点读操作过程中,点读机会首先在所述的电子点读文件存储单元60中寻找与当前课本读物相关的点读文件,如果找不到,便通过互联网寻找可能存在的(或预先存放在云端的)现有的电子点读文件,然后将有关文件(包括发音文件、音乐文件、视频文件及互动位置信息文件)下载及存放在所述存储单元60之内,并作为当前点读机点读操作的依据,即是说本发明实施例的点读机具有电子点读文件自动同步功能。
[0072]在图6中,还包括面向读物的第一摄像头12,面向用户的第二摄影头24,以及麦克风22,扬声器26等装置,这些装置可通过电话拨号单元64或互联网69连接到远方的另一台点读机,这样在两台点读机之间便可建立起一个声/视频通信系统,即可实现视像会议功能。由于有两个摄像头存在,因此本点读机可实现双通道视像会议,其中一个通道用来传送课本读物视像,另一个通道用来传送用户的人像,这种电话会议方式更有利于两个用户之间进行学习交流。另外所述点读机还可通过电话拨号单元64直接连向远方的电话或手机,这样本发明实施例的点读机便可作为一台免提电话来使用。当然将所述点读机亦可作为传真机使用,在这种情况下第一摄像头可用于拍摄传真稿件,然后通过电话拨号单元64将传真发送出去。
[0073]至于显示屏20既可显示从摄像头12获取的书本读物视像信息,亦可以用来播放与读物16相关的视频。除此之外,本实施例还包括有一个阅读位置追踪放大单元59,令本发明实施例的点读机可以作为一个智能化电子放大镜来使用,其可在显示屏20上局部放大显示用户手指指尖位置所对应的读物图像,当指尖的位置发生移动时,其所显示的图像亦会跟着移动,从而实现所述的追踪放大阅读功能,这个功能对于视力不佳的人士(例如老年人)有来说犹有价值。至于照明单元13可为所述读物提供照明之用,令其具有更佳显示效果。
[0074]从前述的分析中可知道本发明实施例的点读机功能主要基于机器视觉(包括光学图像识别、光学字符识别、移动手势识别等)而实现的。由于现实世界中很多不同的书本读物,并且在某些读物之间还可能存在着相似性,这便有可能导致辨识错误的情况出现。为了解决这个问题,本发明实施例还可在其使用的卡片、课本、书本等读物上预先印刷上可识别及具唯一性的数字编码信息,例如条纹码、二维码等标识,这可大大提高读物的可辨识性,有效防止辨识错误情况的发生。
[0075]本发明实施例的点读机除了可以对卡片、课本、书本等读物进行电子化阅读及多媒体互动之外,还可以用于增强现实(Augmented Reality,简称AR)电子游戏的用途。图7是本发明实施例基于机器视觉的座台式点读机的增强现实游戏画面的示意图。图中70为于显示屏20上显示的一个游戏视频画面,72为游戏视频画面的背景(图中为花草、大自然),74为一个虚拟游戏的角色(图中为蝴蝶),而76则为使用者的手通过摄像头12生成的一个
当前第3页1 2 3 4 5 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1