一种带云台的网络摄像机实现3D定位与隐私遮挡的算法的制作方法

文档序号：19150235发布日期：2019-11-16 00:00阅读：1424来源：国知局

本发明涉及监控技术领域，特别是一种带云台的网络摄像机实现3d定位与隐私遮挡的算法，在高速球与ptzbullet等带云台的机型中，实现3d定位与隐私遮挡。

背景技术：

目前，在监控技术领域，市场上带云台的产品中，普遍存在3d定位效果不佳和隐私遮挡效果不理想的问题，其结构简单，设计不科学，导致了短期内，无法通过单一的结构设计解决该技术难题；

例如：一种基于ptz监控摄像机的3d定位方法及装置，申请号：201410114204.8，该发明提供了一种基于ptz监控摄像机的3d定位方法，所述方法包括：采集ptz监控摄像机拍摄到的实景视频画面；设置标定所感兴趣区域大小以及缩放方式；获取图像传感器成像平面上的目标中心点的二维物理坐标以及所述ptz监控摄像机的光轴相对于目标中心点的水平和垂直方向夹角；根据所述水平和垂直方向夹角对应调整摄像机云台电机；根据设置的感兴趣区域大小以及缩放方式计算缩放比例，并相应控制摄像机镜头变倍缩放，得到感兴趣区域的高分辨率图像；该专利存在以下技术缺陷：

1.没有考虑到产品实际结构的差异和靶面差异；

2.硬件和结构的相关误差没有建模实验，匹配较差：

3.不具备隐私遮挡的具体实现方式，功能单一不全；

4.过于使用最基本的函数算法，不具有创造性先进计算；

技术实现要素：

本发明的目的是，提供一种带云台的网络摄像机实现3d定位与隐私遮挡的算法，该算法采用精确的建模设计，丰富的理论支撑，有效的克服了现有技术中，有关3d定位效果不佳的问题，还加入了隐私遮挡算法设计，大大提高了监控技术的质量飞跃，该算法设计简单，易于推广，工作安全可靠。

为解决上述技术问题，本发明提供一种带云台的网络摄像机实现3d定位与隐私遮挡的算法，考虑实际结构差异和靶面差异，基于几何光学理论建立一个符合实际的数学模型算法，以达到优化3d定位的效果，同时方便后续隐私遮挡功能的开发，具体的，包括如下技术步骤：

步骤一、3d建模；

首先，硬件与结构设计要求，包括如下3点设计；

1、保证镜头变焦时，中心点保持不变，即镜头光心处与靶面中心处在一条直线上；

2、硬件需能获取sensor靶面中心点与整个云台的转动中心点的水平偏差值与竖直偏差值；

3、结构与硬件需保持图像视野的水平面和转动的水平面一致；

其次，正式建模，如图1和图2所示：由于靶面中心并不位于中心点，需考虑实际结构的位置确定转动中心点a，故实际靶面中心点c的转动轨迹为球面，焦点的转动轨迹也为球面，内球面即为焦点的运动面；

最后，等效镜片的中心点的运动轨迹看做外球面，坐标系依据实际的情况建立，其中物距参数为根据实际情况波动；

作为一种举例说明，所述物距参数默认值为10m；

进一步的，q：实际物体所在的点；p:物体在等效镜面上的位置；d:靶面中心点线；gu：物距；面：olmn：等效镜片；g:等效镜片中心点；

作为一种举例说明，由于转动中心点并不一定处于焦点和光点的连线上，所以面olmn并不一定与圆相切；

步骤二、建立等效平面模型；

以俯视图再建立一个平面模型，靶面中心相对转动中心点转动的过程中，靶面中心的变化轨迹等效为一个内圆，即图3所示的内圆，再将等效镜片的转动轨迹画出，则可得出图3的外圆；

作为一种举例说明，设置所述靶面中心与转动中心点起始的角度偏差值∠α为0；

进一步的，镜头变焦后焦点的位置也同时变化中；

作为一种举例说明，所述3d建模的模型中需明确确定的参数包括：转动中心的角度偏差值么和长度，靶面中心点轨迹，焦距值。

进一步的，如图3所示：焦点的变化轨迹不一定为圆，根据当前环境物距的不同，为了得到清晰的像，实际需要调整等效镜片相对成像面的位置，即调整focus值，所以当所有视野的环境都处于同一物距时才可将焦点变化轨迹看为圆；

步骤三、测量镜屏距与物距，判断其对建模的实际影响；如图4所示：

进一步的，由于靶面ed宽度确定，在sensor不变的情况下，不同倍率的镜头的视场角固定，理论上即可通过测视场角的数值来计算镜屏距的值；

但实际情况中，由于测视场角的方式对数据精度要求较高，故该方式实现难度较大，本发明实际采用了调整镜屏距的计算值来确认实际3d定位的效果，以此测出一个合适的值；

进一步的，不同物距的物体如在当前画面中处于同一位置，转动后，会分散开，越远的物体越靠近旁边；

步骤四、3d定位，坐标转换计算过程；

进一步的，点击画面上任一物体，通过计算，产生一个新的ptz值来转动云台将该物体移动到视野的中心点；或者任意选取画面上某个区域，将该区域的中心点移到画面中心，再放大该区域填充整个画面或者缩小该区域使得原先视野大小等同于选取区域大小；

进一步的，如图5所示，所述坐标转换计算过程的基本参数设定为：转动中心点a(0,0,0)；当前焦距e,当前角度为(p0，t0)；点击的画面位置坐标256*256(a,b)，该处的物距为d，当前靶面宽高为(w0,h0)，转动中心偏差角为α，偏差值为g；e1d1为靶面示意图fg为等效镜面，∠α和线ɡ需根据实际结构值获取；

进一步的，所述坐标转换计算过程包括：

1、计算转动中心点a(x0,y0,z0)；

z0＝g*sin(t0+α)；

x0＝g*cos(t0+α)*cosp0；

y0＝g*cos(t0+α)*sinp0；

2、如图6所示，计算等效镜面的中心坐标b(x1,y1,z1),长宽(w1,h1)，由于镜屏距偏差很小，可视为定值，故后续通过调试获取镜屏距的值i(ca2)，针对不同的镜头进行制表保存，故此时认定i(ca2)为已知量，且由于成像要清晰，此时m与b2点理论为接近重合的状态；

进一步的，等效镜面中心点坐标:

z1＝z0+i*sin(t0-+)；

x1＝z0+i*cos(t0)*cosp0；

y1＝y0+i*cos(t0)*sinp0,

3、计算a2、b2的实际成像弥散圆处的坐标m；

进一步的，优先计算靶面上物体的实际坐标m(x6,y6,z6)，靶面上的位置(w3,h3)；

w3＝(a-128)/256*w0；

h3＝(b-128)/256*h0；

z6＝z0+h3*cos(t0)；

x6＝x0+h3*sin(t0)sin(p0)+w3*cos(p0)

y6＝y0+h3*sin(t0)cos(p0)+w3*sin(p0)

4、计算实际物体c(x3,y3,z3)的坐标：

z3＝z6+(z1-z6)/(i)*(d+i)

y3＝y6+(y1-y6)/(i)*(d+i)

x3＝x6+(x1-x6)/(i)*(d+i)

5、如图7所示，目标靶面中心点位于e(x5,y5,z5)目标位置水平角度p2,t2；ed为靶面示意图；∠α和线ɡ需根据实际结构值获取；

p2＝arctan(x3/y3)；

oh/sin(α+90°)＝g/sinβ

γ＝arctan(z3/sqrt(x3*x3+y3*y3+z3*z3))；

t2＝∠dax+(180°-∠α-∠dca-90)；

cda面垂直xoy面，故可以投影c点的坐标到xoy面来先获取水平角度p值，再已知∠adc,线ad,线ac的值，可以根据三角形中角与边的比例关系求出∠acd,从而再求出∠dac,再求出∠cox,得出当前竖直角度值为t2＝∠dax+∠cax＝∠dax+(180°-∠α-∠dca-90)。

步骤五、3d定位的画框变倍分析；

进一步的，如图8所示，采用3d定位的画框功能选取的阴影区域如下，根据步骤四中的的坐标转换计算方法，会将选取区域的中心点优化的移到视野中，如果画框方式为由左往右拉，则增大倍率，使得选取区域填满整个画面；如画框方式为从右往左拉，则降低倍率，使得当前画面变成画框区域一样大小的画面；

由之前的推论，得出：视场角θ＝arctan(靶面长度/2/镜屏距)*2＝arctan(实际视野宽度/2/物距)*2；

且物距和靶面长度为已知，可得：

靶面长度*物距＝实际视野宽度*镜屏距

所以得出新的结论：实际视野变化的倍率与镜屏距变化的倍率成反比；

而镜屏距已制表存储在内存中，由此即可实现较准确的将当前视野的大小进行变化。

步骤六、如图9所示：观察区域投射，设置隐私遮挡功能；

进一步的，设置遮挡区域，然后在ptz值变化的同时，遮挡块也能同时更新，挡住原先设置的区域；功能数学模型为，将设置区域的实际坐标换算出来并保存，根据当前转动角度，将该区域投射到sensor靶面所在的平面，截取该投射区域在靶面区域的平行四边形，更新遮挡区域，如投射区域已碰到边界，则将投射区域扩大为长方形；

在步骤四中的3d定位里，将选取区域的四个角作为目标点进行计算，保存其实际坐标以及当前靶平面的法向量，定义该值为区域法向量；

进一步的，所述更新遮挡区域包括如下具体措施：

1、求靶面中心坐标和光心坐标；

2、求当前靶面平面的法向量；

3、判断区域法向量的夹角与靶面平面法向量的夹角是否小于90°，可认定当前遮挡区域是否可能落在视野中；

4、求当前靶面左上角和右下角的空间坐标；

5、分别将遮挡区域四个角与光心交接起来，使其延长线与靶面平面相交，求出交点；

作为一种举例说明，求出交点即根据相似三角形的关系，求出该坐标，等效平面示意图如图10所示；

进一步的，ef等效为已设置的遮挡区域，ab为等效镜面，cd为靶面，由于点f,点o的坐标为已知的，且△mfo与△kpo相似，镜屏距po为已知的,fo值可算，mo的值为向量fo点乘当前靶面法向量再除以该法向量的模，所以可通过如下方式求出k的坐标，且可用同样方式求出其余三个边角点的空间坐标；

△mfo：△kpo＝mo:po＝μ

k(x,y,z)＝o(x,y,z)+向量fo/μ

转换为靶面上的平面坐标；

设定当前efgh为已投射的新的隐私遮挡块的区域，abcd为sensor靶面；前面已求出点d和点b的坐标，可通过如下方式求出边角的平面坐标；

作为一种举例说明，以点e为例，求出ed的长度；

如图11所示：ed点乘法向量ad除以ad的模，可求出平面上，点e与点d的横坐标差值，再通过勾股定理，求出纵坐标差值；

同理可求出点e与点b的横纵坐标差值，判断四个差值的关系，从而求出e点坐标，然后再用相同方式求出其余三个点的坐标；

步骤七、得出结论，编写代码；

进一步的，将3d定位和隐私遮挡的功能接口独立封装，功能函数单独放于lens_space.c中，预留的主要功能接口如下：

1、根据当前图像翻转方式对靶面坐标进行相应的处理：

staticvoidptz_check_rotate(ptz_3dpos_t*space,introtate)

2、将靶面坐标转换为空间坐标：

staticpos_3d_tptz_calculate_target_cdt

(ptz_space_info_t*info,ptz_pos_t*pstptz,pos_xy_timage)

3、将空间坐标转换为目标位置的ptz值：

intptz_calculate_target

(ptz_space_info_t*info,ptz_pos_t*pstptz,ptz_target_space_t*psttarget)

4、实际预留外部使用的接口，将靶面坐标处理后转成目标的pt值：

intptz_space_locate(ptz_pos_t*src,ptz_3dpos_tinfo,introtate)

5、设置隐私遮挡块坐标：

intptz_set_pm_cdt(intpm_idx,ptz_pos_tsrc,ptz_pm_info_tpm_src,ptz_pm_t*pm_dst)

6、更新隐私遮挡块区域：

intptz_pm_update(intpm_idx,ptz_pos_tpos_src,ptz_pm_info_t*dst)

7、avserver中保留隐私遮挡模块，针对ptz机型开辟一个线程，用来实时更新遮挡区域。

作为一种实际应用举例说明，原先考虑不开辟线程，在af线程中进行刷新，发现刷新的实时性不够，故单独为隐私遮挡开辟一个线程，详见图12所示；

本发明的积极效果：

1、市场上大多带云台的网络摄像机3d定位效果不理想，没有考虑到产品实际结构的差异和靶面差异，本发明基于光学设计中的几何光学理论和产品实际结构与靶面差异，来重新进行数学建模；

2、本发明通过设定建模需求，完美的解决了硬件和结构的相关误差问题：

a、镜头需保证变焦时，中心点保持不变，即需保证镜头光心处与靶面中心处成一条直线；

b、结构需能获取sensor靶面中心点与整个云台的转动中心点的水平偏差值与竖直偏差值；

c、结构与硬件需保持图像视野的水平面和转动的水平面一致；

附图说明

图1是本发明一种带云台的网络摄像机实现3d定位与隐私遮挡的算法之实施例3d建模的示意图；

图2是本发明一种带云台的网络摄像机实现3d定位与隐私遮挡的算法实施例3d建模后的效果图；

图3是本发明一种带云台的网络摄像机实现3d定位与隐私遮挡的算法实施例等效平面模型的示意图；

图4是本发明一种带云台的网络摄像机实现3d定位与隐私遮挡的算法实施例物距对建模的实际影响的效果图；

图5是本发明一种带云台的网络摄像机实现3d定位与隐私遮挡的算法实施例3d定位中等效平面示意图；

图6是本发明一种带云台的网络摄像机实现3d定位与隐私遮挡的算法实施例3d定位中等效镜面中心点坐标示意图；

图7是本发明一种带云台的网络摄像机实现3d定位与隐私遮挡的算法实施例3d定位中目标靶面中心点坐标示意图；

图8是本发明一种带云台的网络摄像机实现3d定位与隐私遮挡的算法实施例3d定位的画框变倍示意图；

图9是本发明一种带云台的网络摄像机实现3d定位与隐私遮挡的算法实施例设置区域投射效果示意图；

图10是本发明一种带云台的网络摄像机实现3d定位与隐私遮挡的算法实施例更新遮挡区域示意图；

图11是本发明一种带云台的网络摄像机实现3d定位与隐私遮挡的算法实施例中靶面上的平面示意图；

图12是本发明一种带云台的网络摄像机实现3d定位与隐私遮挡的算法实施例中隐私遮挡的代码框架示意图。

具体实施方式

下面结合附图对本发明的优选实施例进行详细说明。

一种带云台的网络摄像机实现3d定位与隐私遮挡的算法，考虑实际结构差异和靶面差异，基于几何光学理论建立一个符合实际的数学模型算法，以达到优化3d定位的效果，同时方便后续隐私遮挡功能的开发，包括如下技术步骤：