一种黑板信息再现分享系统的制作方法

本发明属于分享系统领域，涉及一种黑板信息再现装置，具体是一种黑板信息再现分享系统。

背景技术：

传统教学过程中，一般老师在黑板上进行板书教学。此种传统方式无法将板书信息进行储存分享，且老师在板书的过程中身体及手臂会对黑板上的内容遮挡，造成学生不能完整看清黑板上的内容，对学习效果造成了影响。而现有的多媒体教室均为设置一套投影仪对课件投影显示教学，不能在现有黑板的基础上进行改造，并不能体现板书教学效果及分享黑板教学内容，教学效果差。

为了解决上述缺陷，现提供一种解决方案。

技术实现要素：

本发明的目的在于提供一种黑板信息再现分享系统。

本发明的目的可以通过以下技术方案实现：

一种黑板信息再现分享系统,其特征在于，包括黑板、摄像头、多媒体电脑、显示屏、服务器；

所述黑板的上方布置有若干摄像头，若干所述摄像头通过支架固定在黑板上方，所述摄像头用于拍摄黑板上的内容，所述摄像头通过数据线与多媒体电脑通信连接；所述多媒体电脑上电连接有用于录音的麦克风，所述多媒体电脑通过3g/4g/wifi网络与服务器进行连接；

所述多媒体电脑通过数据线与显示屏通信连接，所述服务器存储有教学摄像信息及语音信息并通过网络进行分享；

其中，所述摄像头用于采集黑板区域的第一视频信息并将第一视频信息传输到多媒体电脑，所述多媒体电脑在接收到第一视频信息之后对第一视频信息按照下述步骤进行指定处理：

步骤一：获取到第一视频信息；

步骤二：对第一视频信息进行图像畸形矫正；

步骤三：对第一视频信息进行智能提取并获取到黑板区域第二视频信息；

步骤四：对第二视频信息进行投影变换得到投影视频信息；

所述多媒体电脑将处理后的投影视频信息传输到显示屏，所述显示屏接收所述多媒体电脑传输的投影视频信息并实时显示投影视频信息。

进一步地，所述麦克风还用于实时获取录音信息，所述麦克风用于将录音信息传输到多媒体电脑，所述多媒体电脑还用于对投影视频信息和录音信息进行匹配整合得到存储信息，所述多媒体电脑用于对存储信息进行压缩处理之后得到压缩视频信息，所述多媒体电脑用于将压缩视频信息传输到服务器进行存储供学员下载。

进一步地，所述指定处理步骤二中图像畸形矫正通过采用张氏标定来标定活的相机的参数，由参数进行计算获取真实场景图片；所述张氏标定的过程如下：

s1：打印一张棋盘格，把它贴在一个平面上，作为标定物；

s2：通过调整标定物或摄像机的方向，为标定物拍摄一些不同方向的照片；

s3：从照片中提取特征点；

s4：估算理想无畸变的情况下五个内参和所有外参；

s5：应用最小二乘法估算实际存在径向畸变下的畸变系数；

s6：极大似然法，优化估计，提升估计精度；

s7：将图像的像素坐标系通过内参矩阵转换到相机坐标系；在相机坐标系下进行去畸变操作；去畸变操作结束后，将相机坐标系重新转换到图像像素坐标系；并用源图像的像素值对新图像的像素点进行插值；对于图像信息进行畸形矫正之后，获取到有效的图像信息。

进一步地，所述指定处理步骤三中智能提取过程如下：

s1：根据公式计算出偏移均值，所述sh为以x为中心点，半径为h的高维球区域；所述k为包含在sh范围内点的个数；所述xi为包含在sh范围内的点；

s2：更新中心点，将中心点移动到偏移均值位置x^t+1＝m^t+x^t，所述mt为t状态下求得的偏移均值；xt为t状态下的中心；

s3：引入核函数的偏移均值，在均值漂移中引入核函数的概念，能够使计算中距离中心的点具有更大的权值，反映距离越短，权值越大的特性；

改进的偏移均值为：

s4：根据偏移均值能够得到初步处理的原始图片信息；

s5：对原始图片信息进行透视变换；

s6：提取出黑板区域，提取有效边缘。

本发明的有益效果：本发明通过摄像头将黑板上的板书信息进行摄像并将摄像信号传输至多媒体电脑，多媒体电脑对摄像进行矫正处理并连同语音信息进行匹配储存，然后将处理后的信息通过网络传送至服务器进行分享；且能通过显示屏对板书信息进行实时显示，方便学生现场观看教学；本发明能够实现黑板信息无遮挡再现，方便学生观看教学，提高教学效果；能够将黑板教学信息储存分享，实现网络教学，提高教学效率；多个摄像头进行摄像，摄像清晰。

附图说明

为了便于本领域技术人员理解，下面结合附图对本发明作进一步的说明。

图1为本发明黑板处整体结构布局示意图；

图2为本发明黑板处整体结构布局示意图；

图3为本发明黑板区域提取示意图；

图4为本发明黑板区域最小外接圆求取示意图；

图5为本发明在进行投影变换之前的投影视图；

图6为本发明在进行投影变换之后的投影视图。

具体实施方式

如图1-2所示，一种黑板信息再现分享系统,其特征在于，包括黑板1、摄像头2、多媒体电脑3、显示屏4、服务器6；

所述黑板1的上方布置有若干摄像头2，若干所述摄像头2通过支架固定在黑板1上方，所述摄像头2用于拍摄黑板1上的内容，所述摄像头2通过数据线与多媒体电脑3通信连接；所述多媒体电脑3上电连接有用于录音的麦克风，所述多媒体电脑3通过3g/4g/wifi网络与服务器6进行连接；

所述多媒体电脑3通过数据线与显示屏4通信连接，所述服务器6存储有教学摄像信息及语音信息并通过网络进行分享；

其中，所述摄像头2用于采集黑板区域的第一视频信息并将第一视频信息传输到多媒体电脑3，所述多媒体电脑3在接收到第一视频信息之后对第一视频信息按照下述步骤进行指定处理：

步骤一：获取到第一视频信息；

步骤二：对第一视频信息进行图像畸形矫正；

步骤三：对第一视频信息进行智能提取并获取到黑板区域第二视频信息；

步骤四：对第二视频信息进行投影变换得到投影视频信息；

所述多媒体电脑3将处理后的投影视频信息传输到显示屏4，所述显示屏4接收所述多媒体电脑3传输的投影视频信息并实时显示投影视频信息。

进一步地，所述麦克风还用于实时获取录音信息，所述麦克风用于将录音信息传输到多媒体电脑3，所述多媒体电脑3还用于对投影视频信息和录音信息进行匹配整合得到存储信息，所述多媒体电脑3用于对存储信息进行压缩处理之后得到压缩视频信息，所述多媒体电脑3用于将压缩视频信息传输到服务器6进行存储供学员下载。

进一步地，所述指定处理步骤二中图像畸形矫正通过采用张氏标定来标定活的相机的参数，由参数进行计算获取真实场景图片；所述张氏标定的过程如下：

s1：打印一张棋盘格，把它贴在一个平面上，作为标定物；

s2：通过调整标定物或摄像机的方向，为标定物拍摄一些不同方向的照片；

s3：从照片中提取特征点；

s4：估算理想无畸变的情况下五个内参和所有外参；

s5：应用最小二乘法估算实际存在径向畸变下的畸变系数；

s6：极大似然法，优化估计，提升估计精度；

通过上述步骤，我们就获得了具有高估计精度的五个内参，三个外参和两个畸变系数；利用这些信息，可以进行畸变矫正、图像校正。

矫正过程如下：摄像机内参矩阵a为：

畸变系数d＝[k1，k2，k3，p1，p2]；

fx＝a(1，1)；％fx和fy分别是f/dx，f/dy；

fy＝a(2，2)；％；

u0＝a(1，3)％；cx和cy光心位置，而光心位置cx，cy与分辨率有关；

v0＝a(2，3)；％；

k1＝d(1)；％1阶径向畸变系数；

k2＝d(2)；％2阶径向畸变系数；

k3＝d(3)；％3阶径向畸变系数；

p1＝d(4)；％1阶切向畸变系数；

p2＝d(5)；％2阶切向畸变系数；

去畸变的操作步骤如下：

s1：将图像的像素坐标系通过内参矩阵转换到相机坐标系：

y＝(u-u0)/fy；

x＝(v-v0)/fx；

s2：在相机坐标系下进行去畸变操作：

r＝x²+y²；

x＇＝x*(1+k1*r+k2*r²+k3*r³)+2*p1*x*y+p2*(r+2*x²)；

y＇＝y*(1+k1*r+k2*r²+k3*r³)+2*p2*x*y+p1*(r+2*y²)；；

s3：去畸变操作结束后，将相机坐标系重新转换到图像像素坐标系：

x″＝x′*fx+u0；

y″＝y′*fy+v0；；

s4：并用源图像的像素值对新图像的像素点进行插值：

h＝x"；

w＝y"；

其中[]是取整，i2是生成的新图，i1是源图像；

在经过上述过程的对于图像信息畸形矫正之后，获取到有效的图像信息，从而若干帧连续的图像信息构成连续的进行畸形矫正之后的第一视频信息。

进一步地，所述指定处理步骤三中智能提取过程如下：

s1：根据公式计算出偏移均值，所述sh为以x为中心点，半径为h的高维球区域；所述k为包含在sh范围内点的个数；所述xi为包含在sh范围内的点；

s2：更新中心点，将中心点移动到偏移均值位置x^t+1＝m^t+x^t，所述mt为t状态下求得的偏移均值；xt为t状态下的中心；

s3：引入核函数的偏移均值，核函数为用来计算映射到高维空间之后的内积的一种简便方法，目的为让低维的不可分数据变成高维可分；利用核函数，可以忽略映射关系，直接在低维空间中完成计算；

在均值漂移中引入核函数的概念，能够使计算中距离中心的点具有更大的权值，反映距离越短，权值越大的特性；

改进的偏移均值为：

其中，x为中心点；xi为带宽范围内的点；n为带宽范围内的点的数量；g(x)为对核函数的导数求负

s4：根据偏移均值能够得到初步处理的原始图片信息；

进一步地，所述指定处理步骤四中投影变换过程如下：

s1：对第二视频信息进行透视变换；提取出黑板区域，提取有效边缘；

首先进行黑边四个拐角提取，如图3所示，在上述过程中，对黑板区域进行了提取，进一步来提取有效边缘；之后再来求取黑板区域边缘的最小外接圆；根据几何模型如图4所示可知，至少有三个顶点是与外接圆相切，假定为点1、点2和点3，现在求取点4；

ss1：判断在类四边形对角线上的两个顶点；

ss2：以顶点2和3把图像分成两个面积较为均等的区域，所以2和3为直线上的点，求取直线l；

ss3：直线l把类四边形分成两个部分，假定a区和b区，且点1在a区，则我们寻求的点4在b区，在b区遍历所有的边缘点，离直线l最远的点为图像的第四个顶点点4；得到四个顶点(x0,y0),(x1,y1),(x2,y2),(x3,y3)。

s2：对黑板区域进行透视变换并求解出变换矩阵；

ss1：透视变换是将图片投影到一个新的视平面，也称作投影映射；

ss2：求取换算公式；

u,v是原始图片左边，对应得到变换后的图片坐标x,y,其中x＝x'/w',y＝y'/w'。

变换矩阵可以拆成4部分，表示线性变换，比如scaling，shearing和ratotion；[a31a32]用于平移，[a13a23]^t产生透视变换；所以可以理解成仿射等是透视变换的特殊形式；经过透视变换之后的图片通常不是平行四边形(除非映射视平面和原来平面平行的情况)；

重写之前的变换公式可以得到：

所以，已知变换对应的几个点就可以求取变换公式。反之，特定的变换公式也能求的变换后的图片。简单的看一个正方形到四边形的变换：

变换的4组对应点可以表示成：

(0，0)→(x0，y0)，(1，0)→(x1，y1)，(1，1)→(x2，y2)，(0，1)→(x3，y3)

根据变换公式得到：

a31＝x0

a11+a31-a13x1＝x1

a11+a21+a31-a13x2-a23x2＝x2

a21+a31-a23x3＝x3

a32＝y0

a12+a32-a13y1＝y1

a12+a22+a32-a23y2-a23y2＝y2

a22+a32-a23y3＝y3

定义几个辅助变量：

δx1＝x1-x2δx2＝x3-x2δx3＝x0-x1+x2-x3

δy1＝y1-y2δy2＝y3-y2δy3＝y0-y1+y2-y3

δx3，δy3都为0时变换平面与原来是平行的，可以得到：

a11＝x1-x0

a21＝x2-x1

a31＝x0

a12＝y1-y0

a22＝y2-y1

a32＝y0

a13＝0

a12＝0

δx3，δy3不为0时，得到：

a11＝x1-x0+a12x1

a21＝x3-x0+a12x2

a31＝x0

a12＝y1-y0+a13y1

a22＝y3-y0+a23y3

a32＝y0

s3：根据变换矩阵将原始图片信息进行变换得到黑板区域图片信息。

求解出的变换矩阵就可以将一个正方形变换到四边形。反之，四边形变换到正方形也是一样的。如图5-6所示，于是，我们通过两次变换：四边形变换到正方形+正方形变换到四边形就可以将任意一个四边形变换到另一个四边形。

进一步地，所述指定处理步骤四中无遮挡处理过程如下：

s1：背景建模，进行模型的初始化；

s2：对像素进行分类，确定每一帧的前景图像；

s3：遮板区域的剔除；

由于视频可以解释为连续的图像序列，教师在黑板写字的动作为一个渐进的过程，手部对黑板的遮挡也是一个渐渐的过程；所以在这个过程中，具体到视频的每一帧，依据之前手臂提取的技术，将手臂提取出来，划出遮挡区域，用前一帧未被遮挡时的信息补齐，形成新的一帧，作为当前帧，以此进行，直到动作结束。

本发明通过摄像头将黑板上的板书信息进行摄像并将摄像信号传输至多媒体电脑，多媒体电脑对摄像进行矫正处理并连同语音信息进行匹配储存，然后将处理后的信息通过网络传送至服务器进行分享；且能通过显示屏对板书信息进行实时显示，方便学生现场观看教学；本发明能够实现黑板信息无遮挡再现，方便学生观看教学，提高教学效果；能够将黑板教学信息储存分享，实现网络教学，提高教学效率；多个摄像头进行摄像，摄像清晰。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。