基于电梯场景的兴趣区域判断系统及方法与流程
本发明涉及计算机视觉技术领域，尤其涉及计算机视觉技术领域在电梯轿厢内设计方面的应用。
背景技术：
电梯中投放广告主要分为以下几种：1、轿厢内安装相框，2、电梯门上安装广告，轿厢内媒体广告有如下优势：高频性，高频次高到达率，每天平均四次以上的阅读频次；表现性，表现力强，较强的画面冲击力；强制性，干扰小，强迫性强，电梯空间封闭，免受其他众多广告干扰，强迫性阅读大；低成本：低广告成本，高性价比。
但是一个重要的问题，没人知道广告投放的效果怎么样，具体来说有多少人关注投放的广告，直接对应的话题是投放的广告能给品牌带来多大的价值，这里面涉及到两个问题：广告投放效果好坏一方面是与广告本身的质量有关，是不是吸引人，广告投放效果好坏另一方面与受众群体息息相关，例如高档小区需要稍微高档一些的品牌投放。如何有效地统计电梯轿厢内的广告投放效率、被关注程度，让电梯轿厢内的广告投放更加集中和高效，是电梯轿厢布置需要重点考虑的问题。
技术实现要素：
本发明首先要解决的技术问题是提供一种基于电梯场景的兴趣区域判断系统，利用该系统能够对电梯轿厢内广告牌的受关注程度进行统计。
本发明解决上述技术问题所采用的技术方案是：基于电梯场景的兴趣区域判断系统，包括影像采集单元、人体特征点检测单元、立体特征匹配单元、视线朝向分析单元以及关注时间获取单元，影像采集单元安装在电梯轿厢内并能够采集电梯轿厢内乘客的多角度的影像信息，影像采集单元与人体特征点检测单元建立数据连接并将所采集的影像信息发送至人体特征点检测单元，人体特征点检测单元根据对采集的影像信息进行视频分析得到对应的人体特征点，人体特征点采集单元与立体特征匹配单元建立数据连接并将分析所得人体特征点发送至立体特征匹配单元，立体特征匹配单元将人体特征点进行匹配得到每一点对应的三维坐标，立体特征匹配单元与视线朝向分析单元建立数据连接并将匹配得到的三维坐标发送至视线朝向分析单元，视线朝向分析单元根据三维坐标分析得到电梯轿厢内乘客的视线朝向，视线朝向分析单元与关注时间获取单元建立数据连接并将乘客的视线朝向信息发送至关注时间获取单元，关注时间获取单元根据视线朝向信息计算得到电梯轿厢内广告牌收到关注的时间占比。
进一步地，影像采集单元是双目相机。
本发明所要解决的另一个技术问题是提供一种基于电梯场景的兴趣区域判断方法，该方法利用上述的系统，并包括以下步骤：
(1)影像采集单元采集电梯轿厢内乘客的多角度影像信息并发送至人体特征点检测单元，
(2)人体特征点检测单元对采集的影像信息进行视频分析得到对应的人体特征点并将该人体特征点发送至立体特征匹配单元，
(3)立体特征匹配单元将人体特征点进行匹配得到每一点对应的三维坐标并将该三维坐标发送至视线朝向分析单元，
(4)视线朝向分析单元根据三维坐标分析得到电梯轿厢内乘客的视线朝向并将视线朝向信息发送至关注时间获取单元，
(5)关注时间获取单元根据视线朝向信息计算得到电梯轿厢内广告牌收到关注的时间占比。
进一步地，影像采集单元是双目相机，双目相机分别采集图像并各自保存。
进一步地，人体特征点检测单元利用姿势估计技术得到人体关节点在图像中的位置，并将这些位置定义为人体特征点，这些人体特征点包括头顶、双眼、双耳、双肩、双肘、双腕、双臀、双膝和双踝，共计17个人体特征点。
进一步地，立体特征匹配单元将人体特征点映射到三维空间，并利用立体匹配技术，得到每个人体特征点在双目相机分别采集的图像中的视差图，从而得到每一个人体特征点在图像中的三维坐标。
进一步地，视线朝向分析单元将两个对应双臀的人体特征点和两个对应双肩的人体特征点的四个三维坐标，利用奇异值分解得到最小特征值所对应的特征向量，该特征向量即表征人的视线朝向。
进一步地，关注时间获取单元计算视线朝向矢量与电梯轿厢前后左右四个面相交情况，得到每一个面被注意的时间，从而得到轿厢内广告牌受到关注的时间占比，关注时间占比的计算公式如下：
per＝人关注某个广告牌时间/人在轿厢内总时间×100％。
本发明的有益效果是：首先利用姿势估计技术，检测出人体特征点，然后利用立体匹配技术把这些特征点映射到三维空间，最后利用空间中特征点的拓扑分布信息估算出人的朝向，最终得到人在电梯时候某个广告牌所获得的关注时间占比，关注事件占比这个指标能够用来衡量某一个广告被关注的程度指标，从而判断该广告投放的效率，同时能够根据该指标统计某一个区域中，例如某个小区的电梯轿厢内，什么类型的广告牌比较容易受到关注，从而可以有目的性地投放广告，提高广告投放的有效性。
附图说明
图1是本发明的人体特征点分布图。
图2是本发明的结构图。
图3是本发明的流程图。
图4是本发明的相机成像的模型图。
图5是人站在电梯轿厢内的三维建模图。
具体实施方式
参照附图。
本发明的基于电梯场景的兴趣区域判断系统，其包括影像采集单元1、人体特征点检测单元2、立体特征匹配单元3、视线朝向分析单元4以及关注时间获取单元5，影像采集单元1安装在电梯轿厢内并能够采集电梯轿厢内乘客的多角度的影像信息，影像采集单元1与人体特征点检测单元2建立数据连接并将所采集的影像信息发送至人体特征点检测单元2，人体特征点检测单元2根据对采集的影像信息进行视频分析得到对应的人体特征点，人体特征点采集单元2与立体特征匹配单元3建立数据连接并将分析所得人体特征点发送至立体特征匹配单元3，立体特征匹配单元3将人体特征点进行匹配得到每一点对应的三维坐标，立体特征匹配单元3与视线朝向分析单元4建立连接并将匹配得到的三维坐标发送至视线朝向分析单元4，视线朝向分析单元4根据三维坐标分析得到电梯轿厢内乘客的视线朝向，视线朝向分析单元4与关注时间获取单元5建立数据连接并将乘客的视线朝向信息发送至关注时间获取单元5，关注时间获取单元5根据视线朝向信息计算得到电梯轿厢内广告牌收到关注的时间占比。在上述结构中，只有影像采集单元1需要安装在电梯轿厢内，其他的结构可以通过无线(例如wifi)等无线连接的方式与影像采集单元1建立数据连接，并不一定要求也要安装在电梯轿厢内。
利用本发明的系统进行判断的方法，具体包括以下步骤：
(1)影像采集单元采集电梯轿厢内乘客的多角度影像信息并发送至人体特征点检测单元，影像采集单元是双目相机，双目相机分别采集图像并各自保存。
(2)人体特征点检测单元对采集的影像信息进行视频分析得到对应的人体特征点并将该人体特征点发送至立体特征匹配单元，人体特征点检测单元利用姿势估计技术得到人体关节点在图像中的位置，并将这些位置定义为人体特征点，这些人体特征点包括头顶、双眼、双耳、双肩、双肘、双腕、双臀、双膝和双踝，共计17个人体特征点，如图1所示，目前利用cnn(卷积神经网络)等深度学习技术，人体特征点检测准确度已经达到一个相当的高度。
(3)立体特征匹配单元将人体特征点进行匹配得到每一点对应的三维坐标并将该三维坐标发送至视线朝向分析单元，立体特征匹配单元将人体特征点映射到三维空间，并利用立体匹配技术，得到每个人体特征点在双目相机分别采集的图像中的视差图，从而得到每一个人体特征点在图像中的三维坐标。
相机成像的模型如图4所示：
p为空间中的点，p1和p2是点p在左右像平面上的成像点，f是焦距，or和ot是左右相机的光心。由图可见左右两个相机的光轴是平行的。xr和xt是两个成像点在左右两个像面上距离图像左边缘的距离。z为空间中p点在相机坐标系下的z轴坐标，且视差d＝xr-xt。同时双目摄像机之间的距离为b。若两个相机已经校正完成即达到极线平行，两条光轴方向也平行。则视差和物体深度的关系式如下：
可推导出
同理根据相似三角形关系可知
(4)视线朝向分析单元根据三维坐标分析得到电梯轿厢内乘客的视线朝向并将视线朝向信息发送至关注时间获取单元，视线朝向分析单元将两个对应双臀的人体特征点和两个对应双肩的人体特征点的四个三维坐标，利用奇异值分解得到最小特征值所对应的特征向量，该特征向量即表征人的视线朝向。
如图5所示，人站在电梯轿厢中间，由上面推导可知，假设肩膀与臀部的四个人体特征点的三维坐标x1y1z1，x2y2z2，x3y3z3，x4y4z4，表示为p1,p2,p3,p4，得到人视线朝向步骤如下：
√得到四个点的均值：
√得到协方差矩阵：
√对m进行svd分解，因为m是对称矩阵，等同于正交分解，即m＝qλqt,其中q为正交阵，其中的每一个列向量为m的特征向量，λ为对角阵，每一个元素为m的特征值。这里只需要q的第三个列向量q3。
√现在已知均值点
所以假设轿厢中的人面对电梯门口，那么q3与向量[0,1,0]接近，如果背对电梯门口q3与向量[0,-1,0]接近，面向电梯左边q3与向量[-1,0,0]接近，面向电梯右边q3与向量[1,0,0]接近。
(5)关注时间获取单元根据视线朝向信息计算得到电梯轿厢内广告牌收到关注的时间占比。计算视线朝向矢量与电梯轿厢前后左右四个面相交情况，得到每一个面被注意的时间，从而得到轿厢内广告牌受到关注的时间占比，关注时间占比的计算公式如下：
per＝人关注某个广告牌时间/人在轿厢内总时间×100％。
如上所述，已经得到直线方程，那确定人看轿厢内那个平面只需要计算直线与四个面的相交情况，设电梯的长宽高分别为a，b，c四个面的方程分别为
√电梯开关门这个面：
y＝b(0<x<a,0<z<c)，
√电梯后面：
y＝0(0<x<a,0<z<c)，
√电梯左面：
x＝0(0<y<b,0<z<c)，
√电梯右面：
x＝a(0<y<b,0<z<c)，
所以正常来讲直线只可能与四个面中的一个面相交，及判断为该面被关注。
- 还没有人留言评论。精彩留言会获得点赞！