专利名称：一种基于智能手机的远程答疑辅导系统的制作方法
技术领域：
本实用新型涉及智能手机的技术领域，具体地说是ー种基于智能手机的远程答疑辅导系统，可实现习题扫描成像，同步传输和同步白板教学的功能。
背景技术：
中小学生课外辅导是提高学生能力的其中ー个重要手段，具体有1、參加辅导小班课程，听老师讲解例题，其往往是单向辅导沟通；2、一対一家教，固定时间内老师和学生进行面对面讲解辅导，而学生在实际做习题和作业的时候，经常会遇到难题而无从下手，此时是最需要老师进行针对性的讲解，而且此时的辅导效果往往最佳的，印象最为深刻，但往往此时学生是无人可问的，现今网络通讯方式已经十分发达，通过有些网站进行在线辅导，可通过网络视频电话进行辅导，但是远程视频时，老师无法清楚的看清需要解答的习题，故效果不佳。另外系统不能随身携帯，也不方便。 Sift算法是David Lowe于1999年提出的局部特征描述子，并于2004年进行了更深入的发展和完善。Sift特征匹配算法可以处理两幅图像之间发生平移、旋转、仿射变换情况下的匹配问题，具有很强的匹配能力。总体来说，Sift算子具有以下特性(I)、Sift特征是图像的局部特征，对平移、旋转、尺度缩放、亮度变化、遮挡和噪声等具有良好的不变性，对视觉变化、仿射变换也保持一定程度的稳定性。(2)、独特性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配。(3)、多量性，即使少数的几个物体也可以产生大量Sift特征向量。(4)、速度相对较快，经优化的Sift匹配算法甚至可以达到实时的要求。
(5)、可扩展性强，可以很方便的与其他形式的特征向量进行联合。其Sift算法的三大工序为，(I)提取关键点；⑵对关键点附加详细的信息(局部特征)也就是所谓的描述器；(3)通过两方特征点(附帯上特征向量的关键点)的两两比较找出相互匹配的若干对特征点，也就建立了景物间的对应关系。提取关键点和对关键点附加详细的信息(局部特征)也就是所谓的描述器可以称做是Sift特征的生成，即从多幅图像中提取对尺度缩放、旋转、亮度变化无关的特征向量，VoIP (Voice over Internet Protocol)简而言之就是将模拟声音信号(Voice)数字化，经过数字压缩后，以数据封包(Data Packet)的形式在IP数据网络(IP Network)上做实时传递。从而实现语音双向通信。VoIP最大的优势是能广泛地采用Internet和全球IP互连的环境，提供比传统业务更便宜的服务。VoIP可以在IP网络上便宜的传送语音、传真、视频、和数据等业务，如统ー消息、虚拟电话、虚拟语音/传真邮箱、查号业务、Internet呼叫中心、Internet呼叫管理、电视会议、电子商务、传真存储转发和各种信息的存储转发
坐寸o目前常用的协议如H. 323,SIP,MEGACO和MGCP。H. 323是ー种ITU-T标准，最初用于局域网(LAN)上的多媒体会议，后来扩展至覆盖VoIP。该标准既包括了点对点通信也包括了多点会议。札323定义了四种逻辑组成部分終端、网关、关守及多点控制单元(MCU)。终端、网关和MCU均被视为终端点。会话发起协议(SIP)是建立VOIP连接的IETF标准。SIP是ー种应用层控制协议，用于和ー个或多个參与者创建、修改和終止会话。SIP的结构与HTTP (客户一服务器协议)相似。客户机发出请求，并发送给服务器，服务器处理这些请求后给客户机发送ー个响应。该请求与响应形成一次事务。媒体网关控制协议(MGCP)是由思科和Telcordia提议的VoIP协议，它定义了呼叫控制单元(呼叫代理或媒体网关)与电话网关之间的通信服务。MGCP属于控制协议，允许中心控制台监测IP电话和网关事件，并通知它们发送内容至指定地址。在MGCP结构中，智能呼叫控制置于网关外部并由呼叫控制单元(呼叫代理)来处理。同时呼叫控制单元互相保持同步，发送一致的命令给网关。媒体网关控制协议(Megaco)是IETF和ITU-T (ITU-TH. 248建议)共同努力的結果。Megaco/H. 248是ー种用于控制物理上分开的多媒体网关的协议单元的协议，从而可以从媒体转化中分离呼叫控制。Megaco/H. 248说明了用于转换电路交换语音到基于包的通信流量的媒体网关(MG)和用于规定这种流量的服务逻辑的媒介网关控制器之间的联系。Megaco/H. 248通知媒体网关将来自于数据包或単元数据网络之外的数据流连接到数据包或単元数据流上，如 实时传输协议(RTP)。从VoIP结构和网关控制的关系来看，Megaco/H. 248与MGCP在本质上相当相似，但是Megaco/H. 248支持更广泛的网络，如ATM。
实用新型内容本实用新型的目的在于提供一种基于智能手机的远程答疑辅导系统，其可实现习题扫描成像、图像传输、白板同步教学附语音通信的功能，可实现两地实时互动，克服了现有技术中存在的缺点和不足。为了实现上述目的，本实用新型的技术方案是一种基于智能手机的远程答疑辅导系统，其特征在于学生客户端设备和教师客户端设备，其特征在于所述学生客户端设备内设有摄像头，学生客户端设备的侧部或下部或上部设有扫描窗ロ，上述摄像头正对扫描窗ロ设置，摄像头可通过扫描窗ロ进行图形扫描，学生客户端设备和教师客户端设备通过无线网络实现数据交換。一种基于智能手机的远程答疑辅导系统的使用方法，其特征在干所述使用方法如下I、使用学生客户端设备I的摄像头3透过扫描窗ロ 4以10帧/秒-60帧/秒的速度对习题进行从左到右摄像扫描；II、图形处理模块使用SIFT图像拼接算法对相邻图像进行拼接，先找到两张图中内容一致的部分的像素点坐标，再把两张图像中重叠部分去除掉重复部分，最后将剰余部分拼接在一起，如此按摄像时间先后，将所有图片依次拼接，从而得到一次从左到右扫描出来的作业内容，如果所需扫描的习题的高度超过了扫描窗ロ的宽度，可以进行多次次上下扫描，具体第一次从题目开始的左沿，从左向右扫描完成题目上面部分整个内容宽度，接着，扫描窗ロ移动回到题目开始的左沿，从题目刚才被扫描的高度的三分之一高度位置开始从左向右扫描。这样这次扫描的上部区域三分之一高度的内容是前面被扫描过的内容。这两次扫描的图像有三分之一是ー样的。这样就可以同样采用SIFT算法做第二次的垂直方向的图像拼接。如果两次扫描还是不能涵盖整个题目，则同样方法继续扫描拼接，直到扫描完题目；III、学生客户端设备通过无线网络将习题内容以JPG图像压缩格式，先向后台服务器询问当值的教师用的设备在后台服务器上的注册ID，具体在WIFI的公共网络上是IP地址，如果是在运营商的网络上就是ー个局域网的地址。发送到教师客户端设备，教师客户端可以普通的智能机，安装了本专利实现的软件，该软件接收到题目图像后，解压缩后，显示在机器的显示屏上教师和学生可以在各自的显示屏幕上手写输入解题思路，或问题等，手写输入的内容通过已经建立起来的网络传送到对端，显示在双方的屏幕上。用不同的顔色区分。实现白板的功能。另外对方白板上面更新显示的接收到的内容和经过VOIP的收听到的语音是同歩。具体采用传输的时候白板信息和语音信息上面都加上时间戳。接收方回放根据时间戳同时放送和显示；IV、系统使学生客户端设备和教师客户端设备建立VOIP (Voice over Internet Protocol)，进行语言的沟通，并且双方的手机的手写触摸屏同时显示本扫描的习题内容，双方可以通过手机的手写触摸屏进行白板同步教学。进行有声的白板双向辅导教学。本实用新型公开了ー种基于智能手机的远程答疑辅导系统，其学生客户端设备设有一摄像头，可实现图像扫描功能，学生客户端设备系统中自带图像处理软件，能对扫描后的图像进行自动识别拼接，最終将需扫描的习题准确无误的生成一张完整的图片，并利用无线网络将图片传送到教师客户端设备，双方的客户端设备同时显示本扫描的习题，双方可通过手写触摸屏进行白板同步沟通，真正实现实时互动的辅导效果，第一时间解答学生的难题，且整个答疑过程可进行实时记录，方便学生进行复习，针对性強，印象深刻，相比传统的补习方式效果更加，而且时间和空间上更加灵活。
图I为本实用新型系统连接示意图。图2为本实用新型学生客户端设备ー实施例结构示意图。图3为本实用新型学生客户端设备ニ实施例结构示意图。图4为本实用新型白板同步流程图。图5为左右相邻图形拼接示意图。图6为上下两次扫描图像拼接示意图。
具体实施方式
以下结合附图和实施例对本实用新型作进ー步的描述。本实用新型公开了ー种基于智能手机的远程答疑辅导系统，它包括学生客户端设备I和教师客户端设备2，其区别于现有技术在于所述学生客户端设备I内设有摄像头3，学生客户端设备I的侧部或下部或上部设有扫描窗ロ 4，上述摄像头3正对扫描窗ロ 4设置，摄像头3可通过扫描窗ロ 4进行图形扫描，学生客户端设备I和教师客户端设备2通过无线网络实现数据交換。在具体实施时，为了增加手机内部电路结构和电池的空间，必须降低摄像头的设置位置，在手机内设置反射镜5，利用折射成像原理，降低摄像头的设置位置，摄像头设置于反射镜ー侧，该反射镜可为平面反射镜或弧面反射镜，弧面能有效增加反射面积，可以使得摄像头和反射镜头更低。一种基于智能手机的远程答疑辅导系统的使用方法，其区别于现有技术在于所述使用方法如下I、使用学生客户端设备I的摄像头3透过扫描窗ロ 4以10帧/秒-60帧/秒的速度对习题进行从左到右摄像扫描；II、学生客户端设备I的图形处理模块使用SIFT图像拼接算法对相邻图像进行拼接，先找到两张图中内容一致的部分的像素点坐标，再把两张图像中重叠部分去除掉，最后将剩余部分拼接在一起，如此按摄像时间先后，将所有图片依次拼接，从而得到一次从左到右扫描出来的作业内容，如果所需扫描的习题的高度超过了扫描窗ロ的宽度，可以进行多次上下扫描，具体第一次从题目开始的左沿，从左向右扫描完成题目上面部分整个内容宽度，接着，扫描窗ロ移动回到题目开始的左边，从题目刚才被扫描的高度的三分之一高度位置开始从左向右扫描。这样扫描的区域三分之一高度的内容是前面被扫描过的内容。这两次扫描的图像有三分之一是ー样的。这样就可以同样采用SIFT算法做第二次的垂直方向的图像拼接。如果两次扫描还是不能涵盖整个题目，则同样方法继续扫描拼接，直到扫描完题目； III、学生客户端设备通过无线网络将习题内容以JPG图像压缩格式，先向后台服务器询问当值的教师用的设备在后台服务器上的注册ID，具体在WIFI的公共网络上是IP地址，如果是在运营商的网络上就是ー个局域网的地址。发送到教师客户端设备，教师客户端可以普通的智能机，安装了本专利实现的软件，该软件接收到题目图像后，解压缩后，显示在机器的显示屏上。教师和学生可以在各自的显示屏幕上手写输入解题思路，或问题等，手写输入的内容通过已经建立起来的网络传送到对端，显示在屏幕上。实现白板的功能。另外对方白板上面更新显示的接收到的内容和经过VOIP的收听到的语音是同歩。具体采用传输的时候白板信息和语音信息上面都加上时间戳。接收方回放根据时间戳同时放送和显示；IV、系统使学生客户端设备I和教师客户端设备2建立VOIP (Voice overInternet Protocol)，并且双方的手机的手写触摸屏同时显示本扫描的习题内容，双方可以通过手机的手写触摸屏进行白板同步教学。在具体实施时，所述学生客户端设备I和教师客户端设备2的手写触摸屏的白板同步教学界面设有如下功能i绘制一条线条、 撤销一条已画线条、iii重置画板、iv发送文字消息、V翻页消息，单项操作在手写触摸屏幕完成后，在客户端后台进行数据封装，形成自定义数据包，这些数据包通过TCP/IP或UDP或RTP运输到达到对方客户端，对方客户端后台再进行解析封装的数据包内容，并在对方客户端的手写触摸屏逐项显示相应的线条绘制。在具体实施吋，绘制一条线条进行同步操作为将当前线条设置为insert类型，并赋予当前线条编号，记录当前画笔颜色，并封装该信息发送线条信息到另ー客户端，线条封装信息包含有起始点、移动点、结束点，D起始点获得该点的坐标轴和所属的线条编号，设置该点为start类型(表示起始点)，并封装发送该点信息到另ー客户端，2)移动点获得该点的坐标轴和所属的线条编号，设置该点为move类型(表示移动点)，并封装发送该点信息到另ー客户端，3)结束点获得该点的坐标轴和所属的线条编号，设置该点位stop类型(表示结束点)，并封装该信息发送到另ー个客户端，另ー客户端接收该线条信息并保存到HashMap将编号设置为ReceiveId (表示是接收过来的线条类型)，设置同步过来的画笔颜色，当接收到起始点时，开始绘制线条，当接收到结束点的则结束该线条的绘制，接受到移动点时，绘画该线条所进过的坐标轴。在具体实施时，撤销一条线条同步操作为将当前保存在HashMap的最后一条线条撤销，并将改线条信息的编号读取，设置该消息为delete类型，并发送到另一端客户端，如果同步一端接收到的编号类型为ReceiveId则在同步的一端撤销本地绘制的编号，如果同步一端接收到的编号类型为Id则在同步一端撤销接收到线条编号。在具体实施时，重画画板操作为将当前本页画板清空，并发送为redraw类型的消息和本页编号的信息到同步端，进行画板重置。在具体实施时，发送文字消息操作为将当前消息体设置为txt类型，并封装要发送的文字到同步客户端。在具体实施时，翻页同步操作为将当前消息体设置为feed，并封装要同步的页数。在具体实施时，所述学生客户端设备I和教师客户端设备2为带有手写触摸屏的智能手机，其下部设有扫描窗ロ 4，智能手机内的摄像头正对扫描窗ロ设置。在具体实施时，智能手机内设有摄像头，该摄像头ー侧的手机内设有反射透镜，实现图像投影。在具体实施时，扫描窗ロ的宽度在25mm左右，窗ロ的纵向宽度在8mm左右，(现在手机的厚度一般小于18mm),如果摄像头以姆秒30巾贞摄像,而且学生扫描的速度为100MM/秒(一般人的扫描速度在50mm/秒以内)。每2帧拍摄到的图象之间的位移有3. 3_，那也就是说相邻前后的两张图像中有(8-3. 3) /8*%=59%的内容是ー样的，对于相邻两张图像作SIFT图像拼接相关算法，找到两张图中内容一致的部分的像素点坐标，再把两张图像中重叠部分去除掉重复多余部分，把不同的部分拼接在一起，这样按摄像时间先后的图片依次拼接，从而得到一次从左到右扫描出来的作业内容，如果题目的高度超过了扫描窗ロ的宽度，可以进行多次上下扫描，每次扫描图像拼接出来的长条内容再进行二次图像拼接，从而得到整个较多行文字或比较大的图示的题目，手机再把这个题目图像通过手机的无线网络传送到辅导老师处，系统使双方建立VOIP语音通话，双方的手机同时显示本扫描的习题内容，双方可以通过手机的手写触摸屏进行白板沟通。对方白板上面更新显示的接收到的内容和经过VOIP的收听到的语音是同歩。具体采用传输的时候白板信息和语音信息上面都加上时间戳。接收方回放根据时间戳同时放送和显示。在图像拼接中，可能中途作业内容是留白的，前后两张图像重叠部分是空白内容或同一个颜色的内容，则采用速度计算图像进度预估的方法，具体算法是先找到最后两张有重叠部分的图像，通过sift算法计算拼接位置的位移差AL1，再计算扫描经过空白区后第一次两张有重叠部分的图像，通过sift算法计算这两张图像拼接位置的位移差AL2，(A LI+ A L2) + 2Xn=应该在拼接图中加入的空白区间的长度，n为从最后能计算出A L的图到最开始恢复能计算出AL的图中间扫描通过了多少张图。本专利技术不仅限于教学领域，还可扩展应用到其它技术领域，例如货品的条码扫描，英语翻译，教学笔记图形抓取等。以上内容是结合具体的优选实施方式对本实用新型所作的进ー步详细说明，不能认定本实用新型具体实施只局限于上述这些说明。对于本实用新型所属技术领域的普通技术人员来说，在不脱离本实用新型构思的前提下，还可以做出若干简单推演或替换，都应当视为属于本实用新型的保护范围 。
权利要求1.一种基于智能手机的远程答疑辅导系统，它包括学生客户端设备(I)和教师客户端设备(2)，其特征在干所述学生客户端设备(I)内设有摄像头(3)，学生客户端设备(I)的侧部或下部或上部设有扫描窗ロ(4)，上述摄像头(3)正对扫描窗ロ(4)设直，摄像头(3)可通过扫描窗ロ(4)进行图形扫描，学生客户端设备(I)和教师客户端设备(2)通过无线网络实现数据交換。
2.根据权利要求I所述的ー种基于智能手机的远程答疑辅导系统，其特征在于所述学生客户端设备(I)和教师客户端设备(2)为带有手写触摸屏的智能手机。
专利摘要本实用新型公开了一种基于智能手机的远程答疑辅导系统，学生客户端设备和教师客户端设备，其特征在于所述学生客户端设备内设有摄像头，学生客户端设备的侧部或下部或上部设有扫描窗口，上述摄像头正对扫描窗口设置，摄像头可通过扫描窗口进行图形扫描，学生客户端设备和教师客户端设备通过无线网络实现数据交换。其学生客户端设备设有一摄像头，可实现图像扫描功能，学生客户端设备系统中自带图像处理软件，能对扫描后的图像进行自动识别拼接，最终将需扫描的习题准确无误的生成一张完整的图片，并利用无线网络将图片传送到教师客户端设备，双方的客户端设备同时显示本扫描的习题，双方可通过手写触摸屏进行白板同步沟通，真正实现实时互动的辅导效果，第一时间解答学生的难题，且整个答疑过程可进行实时记录，方便学生进行复习，针对性强，印象深刻，相比传统的补习方式效果更加，而且时间和空间上更加灵活。
文档编号H04N1/00GK202650290SQ20122024196
公开日2013年1月2日 申请日期2012年5月28日 优先权日2012年5月28日
发明者卢斌 申请人:上海易酷信息技术服务有限公司, 卢斌