一种基于视觉物联网的图书馆座位管理系统的制作方法

本发明涉及视觉物联网技术领域，特别涉及一种基于图像处理与实时姿态检测的图书馆座位管理系统。

背景技术：

阅览室、自修室是图书馆供读者在馆内查阅文献、学习的专门场所。随着中国教育水平的提升，高等教育的受众越来越广，在图书馆查找资料、学习的人也与日俱增，阅览室座位成为紧缺的学习资源。在高校中，图书馆阅读座位配置问题一直是一个“痛点”。“恶意占座”时常发生，不但造成宝贵的学习资源浪费，还容易造成个人财务的丢失以及占座者之间的摩擦等恶性事件发生。

鉴于以上问题，结合多种技术来解决图书馆座位资源配置的优化问题具有非常重要的现实意义。

人脸识别技术，是通过摄像头实时提取人脸特征并与人脸数据库中的数据进行比对，进而确定身份的一种身份认证技术。由于其所需分布式终端较少、身份识别准确率高、识别效率高且成本低，因而十分适合公众场合等识别工作量大，绝对准确率要求不太高的场合。

实时姿态检测是通过摄像头采集被监控者的动作，通过算法分析该动作是否合理，该技术非常适合公众场合的特异性行为检测。

技术实现要素：

本发明的目的在于克服现有技术的缺点与不足，提供一种基于视觉物联网的图书馆座位管理系统，解决目前图书馆座位分配以及管理方式不合理，以及长时间“占座”的痛点问题。通过图书馆内的摄像头采集读者脸部图像进行人脸识别，实现非接触式的身份认证，获取读者身份，同时与该读者所在座位匹配，表明读者在座位回收之前具有对该座位的使用权。在读者阅读之时，系统通过摄像头对读者阅读状态进行实时检测，整个过程由系统算法自动完成，无需人工监视。系统能自动识别读者是否离开座位，检测到离开座位时自动开启计时，并按预设条件实现提醒读者回到座位或者通知工作人员回收座位的功能。系统与读者以及工作人员的通信在局域网以及移动网络下进行，以网页提醒及短信的形式进行通知。

本发明的目的通过以下的技术方案实现：

一种基于视觉物联网的图书馆座位管理系统，包括：

在图书馆阅览区配备有高清摄像头；通过摄像头采集读者人脸图像；将采集到的人脸图像进行预处理；提取读者人脸图像特征值；

将提取到的人脸图像特征数据与系统人脸数据库中模版进行比对，相似度超过某个阈值后输出读者身份信息，完成非接触式的读者身份认证。

系统对摄像头采集到的视频流进行实时计算分析，从而实现读者阅读状态的检测，包括暂时离开座位(离开时没有收拾物品的系列动作)。

系统对摄像头采集到的视频流进行实时计算分析，从而实现读者阅读状态的检测，包括回到座位。

系统对摄像头采集到的视频流进行实时计算分析，从而实现读者阅读状态的检测，包括读者间的打闹行为、或剧烈冲突行为。

系统对摄像头采集到的视频流进行实时计算分析，从而实现读者阅读状态的检测，包括违反图书馆阅读条例的其他行为。

系统对摄像头采集到的视频流进行实时计算分析，从而实现读者阅读状态的检测，包括结束座位使用(读者离开时是否收拾物品等系列动作)，断开读者与座位匹配，系统回收座位。

读者离开座位时，系统自动计时。

系统超时阈值可以自定义，系统可根据读者申请使用座位的时间期限，自动给每位读者合理分配使用时间。

读者长时间“占座”，系统将通过网页消息以及短信信息，提醒读者离开座位。

读者长时间“占座”，系统通过网页消息以及短信信息，提示座位回收警告。

读者长时间“占座”，系统通过网页消息以及短信信息，通知图书馆管理人员回收座位。

读者、系统、图书馆管理人员通过局域网以及移动网络进行实时通信。

工作人员回收座位时将原读者私人物品用特定收纳装置收纳，并保存在指定区域。

回收座位后以网页消息或短信形式通知原读者前来领取被回收的个人物品。

本发明与现有技术相比，具有如下优点和有益效果：

1、完成读者唯一身份认证，在读者阅读期间，读者与座位是一一对应匹配的，读者短时间离开，如上卫生间、书架取书、问题咨询等不会造成座位被他人“占用”。

2、可以实时检测读者阅读状态，读者入座、离位等都可被系统直观的检测到，可以大大提升图书馆座位资源的使用效率，提高读者阅读以及学习体验，解决“占位”的痛点。“占座”超时提醒及时，座位回收后原读者私人物品保管周全，大大降低读者物品丢失的风险。

3、使用额外设备较少，一百平米含几十个座位的阅读空间只需要四个摄像头就能完成，开发以及维护成本极低，便于全社会推广。

附图说明

图1为实施例图书馆管理系统结构示意图。

图2为实施例基于图像处理的身份认证流程图。

图3为实时姿态检测流程图。

图4为实施例单人姿态估计示意图。

图5为实施例多人姿态估计示意图。

图6为实施例管理系统消息提醒及处理流程图。

图7为摄像头分工示意图(仅说明一个摄像头监控一定半径内的n个座位，并非是一行学生)。

具体实施方式

下面结合实施例及附图对本发明作进一步详细的描述，但本发明的实施方式不限于此。

实施例1

一种基于图像处理与实时姿态检测的图书馆座位管理系统，包括：基于人脸识别的身份认证系统；基于无线局域网以及移动数据的无线通信模块；读者阅读状态实时姿态检测模块；超时提醒以及后台数据管理系统。其中一种应用场景描述如下：

在图书馆一间阅览室，阅览室顶上四角分布4个摄像头，阅览室中分布多个读者座位。读者座位可以是不规则分布或者是整齐按列排列等形式。根据图书馆座位位置对其进行编号，座位坐标及对应编号等相关信息提前录入图书馆座位管理系统。

阅览室对读者开放权限之前，读者需要通过采集人脸图像进行注册。

已注册的读者进入阅览室到达座位上，读者的手机、平板电脑、笔记本电脑等任一移动终端接入图书馆的局域网，打开移动终端上图书馆管理系统软件，读者输入座位编号，然后根据软件提示，读者目视相应的摄像头，停留1-2秒(以便摄像头采集到清晰的人脸图像)。摄像头采集的实时视频数据流上传到控制中心。

从摄像头采集的实时视频数据流中选取几帧人脸图像作为比对素材进行人脸识别，完成非接触式的读者身份认证，读者开始阅读或者学习。摄像头继续进行阅览室视频采集。

系统对摄像头采集到的视频流进行实时计算分析，从而实现读者阅读状态的检测，包括：

1、暂时离开座位(离开时没有收拾物品的系列动作)。

2、回到座位。

3、结束座位使用(读者离开时有收拾物品等系列动作)。

4、读者间的打闹行为、或剧烈冲突行为。

5、违反图书馆阅读条例的其他行为。

如果读者结束座位使用，断开读者与座位匹配，系统回收座位。

读者离开座位时，系统自动计时。

读者长时间“占座”(暂时离开座位时间过长)，系统将通过网页消息以及短信信息，提醒读者离开座位，提示座位回收警告，并通知图书馆管理人员回收座位。

工作人员回收座位时将原读者私人物品用特定收纳装置收纳，并保存在指定区域。回收座位后以网页消息或短信形式通知原读者前来领取被回收的个人物品。

系统超时阈值可以自定义，系统可根据读者申请使用座位的时间期限，自动给每位读者合理分配使用时间。本例中采用15分钟提醒、30分钟警告、1小时回收座位。

如果存在读者间的打闹行为、剧烈冲突行为或违反图书馆阅读条例的其他行为，系统将通过网页消息以及短信信息提醒工作人员到场进行处理。

基于图像处理与实时姿态检测的图书馆座位管理系统，如图1所示，具体包括：图书馆管理员客户端、读者交互终端、摄像头、无线通信系统和控制中心。

图书馆管理员客户端、读者交互终端、摄像头和控制中心通过无线通信系统进行实时通信。

无线通信系统包括无线局域网以及移动数据通信。本系统通过无线局域网以及移动数据通信进行读者与管理系统的通信。图书馆通常有自己的局域网，手机、平板电脑、笔记本电脑等可以作为联系终端，当读者的终端设备接入了图书馆的局域网时，读者和管理系统之间可以通过无线局域网通信，若读者未接入图书馆局域网，则两者通过移动网络进行通信。

如图2所示，通过人脸识别确认读者身份的过程包括：

人脸图像预处理：直接采集到的人脸图像由于受环境光照等因素以及随机事件的干扰，往往不能直接使用。通过灰度校正、噪声过滤等预处理可以获得更适合进行特征值提取的人脸图像。

人脸特征提取：人脸识别常用的特征有人脸图像变换系数特征、视觉特征、像素统计特征、人脸图像代数特征等。人脸特征提取实际上就是对人脸特征进行建模的过程。本实施例采用gabor特征算法来进行人脸特征值提取，它可为人脸图像提供多尺度、多方位的细致描述，具有优秀的视频聚集性以及强大的细节刻画和局部结构能力。当实时视频数据流中选取的人脸图像不能够获取到足够的所需特征点，则可能采集失败，在采集过程中获取成功以及失败都有相应提示，如提醒重新采集等，直到能够获取到足够的所需特征点。

特征匹配与身份认证：提取到的人脸图像特征数据需要和系统人脸数据库中的数据进行搜索匹配，当待认证的读者人脸图像与数据库中预先保存的人脸模板的相似度超过预设阈值时，即可得到匹配结果的输出，最终确定读者的身份。目前已有多种成熟人脸识别算法，如基于人脸特征点的识别算法、基于整幅人脸的识别算法、基于神经网络进行的识别算法等，本实例采用基于人脸特征点的识别算法进行读者身份认证。

通过摄像头能准确的知道读者所在的位置，对某摄像头所管辖的座位集合，摄像头“知道”这些位置，当读者坐在这些位置上注视摄像头进行识别时，系统自动建立读者与位置的绑定关系，并将相关绑定信息发送至读者。在采集过程中采用语音与灯光进行采集工作的提示，移动端和摄像头处都有提示，移动端的是消息提醒，摄像头处设置声光提醒(可根据具体环境要求做调整)。在图书馆环境中，仅用摄像头上等的常亮，单闪，双闪来分别提示进行人脸图像采集、采集成功、重新采集等，采集成功后另外有消息从后台发送至读者的移动终端。

在图书馆内管理系统希望获得读者在馆内的以下几个状态：是否离开座位；是否重新回到座位；读者之间是否有过激行为。获得读者状态的步骤包括：

s3-1从摄像头得到数字视频信息，进行图像预处理。

s3-2对获取的视频信息进行运动图像处理，获取各个运动目标区域，步骤如下：

将第k-1、k、k+1三帧连续的监控视频图像转换为灰度图像fk-1(x，y)、fk(x，y)、fk+1(x，y)，再根据运动对象和背景图像的相对变化，利用对称差分法检测出第k帧图像中的运动对象的二值图，以得到运动目标的轮廓，计算公式为：

d(k-1,k)(x,y)＝|fk(x,y)-fk-1(x,y)|

d(k,k+1)(x,y)＝|fk+1(x,y)-fk(x,y)|

bk(x,y)＝b(k-1,k)(x,y)∩b(k,k+1)(x,y)

其中，所述的d(k-1，k)(x，y)、d(k，k+1)(x，y)是相邻两帧图像的灰度差值图像，所述的b(k-1，k)(x，y)、b(k，k+1)(x，y)是相邻两帧灰度差值图像的二值图，所述的bk(x，y)第k帧运动目标的二值图。

s3-3再利用边缘检测算法对获得的二值图进行修正得到修正后的轮廓图像。根据多帧轮廓图像即可获得读者是否离开座位或者是否已经回到座位。根据多帧图像的某个特征集，如某位读者，从所在位置a到位置b期间有多少帧图像，可以计算出读者或者该特征集的移动速度，进而判断监控对象动作的剧烈程度。通过光流算法分析可以提取读者的运动特征，借此判断读者之间是否有过激行为。

以上步骤由控制中心的视频智能处理单元实现；该视频智能处理单元对送入的视频信息进行图像预处理、运动目标检测与修正，同时采用光流法分析各个运动目标的光流强度，并对各个运动目标的光流信息进行特征提取；姿态分析系统根据提取的特征量来构建行为模式判断模型，通过比对预定阈值(如光流强度、光流速度、光流方向等)进行读者阅读状态的判断。

读者阅读状态实时检测包括单人姿态估计和多人姿态估计。

单人姿态估计：

将姿态识别看作为一个结构化预测问题(structuredprediction)。假设为图片内所有关节点位置(u，v)集合，则表示关节点p的像素位置。人体姿态估计的目标是：标识出图片中p个人体关节点位置y＝(y1，...，yp)。这个估计机由multi-clas预测器序列组成，如图4：

其中gt(·)是待训练的分类器模型，用于预测每一个层中各人体关节点的位置。

对于所有的t∈{1，...，t}，分类器gt(·)输出的每一个关节点位置的置信值这些置信值都是基于图像某一个点中提取的特征xz∈r^d以及先前层中分类器输出的yp领域空间内容信息进行分类的。其中：

当staget＝1时

记在图片的每一个位置z＝(u，v)^t关节点位置p的所有置信分数为其中w为图片的宽，h为图片的高，那么：

当staget＞1时，分类器需要基于两种输入来预测置信值：

1.与上述一致的图片特征xz∈r^d

2.前一层中分类器输出的空间内容信息

由于姿态估计往往需要参考周围的图像信息，并且可能会受到遮挡物的影响，可以引入cnn卷积神经网络的特性，使得上层网络具有更大的接收域(receptivefield)，以此来同时考虑周围的资讯。

整个算法的流程可以归纳为：

1.对图像中所有出现的人进行识别，回归得到每个人的关节点

2.根据centermap去除其他人的影响

3.通过重复预测得到最终的结果。

多人姿态估计

多人姿态估计基于单人姿态估计，如图5。模型的整体处理过程如下：

1.读取一张图片为w×h的图片；

2.传进10层的vgg-19网络训练出一个同样为w×h的图像特征f；

3.传入两层不同卷积神经网络可以获得：

关键点置信度网络s＝(s1，s2，...，sj)其中j代表人体有j个部位

关键点亲和度向量场

4.关键点聚类，获得骨架。

s是置信度网络，l是亲和度向量场网络：

整个模型的损失函数为两个卷积网络的真实值(ground_truth)和预测值的平均平方和：

在前面的过程中，根据置信值网络得到一组离散的关键点侯选位置，因为图片中可能存在多个人体，或者存在不正确的关键点，每个关键点可能有很多个不同的侯选位置需要对这些侯选的关键点们计算一个分数。

假设模型得到所有的侯选关键点组成一个集合其中nj为侯选关键点的位置数量为关键点j的第m个候选像素的坐标。

目标是将属于同一个人的关键点练成躯干，为此定义一个变量来衡量这些点是否属于一个人：即：

for对于不同的两个关键点j1，j2他们对应的侯选关键点集应该是和通过线性方程组的方法便可以找到正确的关键点：

s.t.

其中ec为c躯干对应的权值，代表的是躯干c上涉及的两类关键点间连接总亲和度，为c躯干对应的的一个子集，最终问题就可以看为：

座位管理系统的控制中心，主要承担人脸图像以及视频流数据的计算以及分析，由于是实时监控，所以数据处理量较大，要求控制中心要具备较强的计算能力。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。