一种基于图像缩放及裁减的虚拟ptz系统及方法
【专利摘要】本发明公开了一种基于图像缩放及裁减的虚拟PTZ系统及方法，系统：由控制终端、摄像机构成，并通过网络互联；用户借助控制终端，对摄像机进行远程控制；摄像机是具有图像处理能力的高分辨率的图像采集、编码、网络传输设备；摄像机借助图像处理器对从图像传感器采集到的原始图像进行处理，特别是基于裁剪和缩放处理，实现虚拟PTZ系统；控制终端接受用户的操作，将用户操作转换为PTZ控制请求对摄像机的传回的图像范围进行远程控制；摄像机接收到PTZ控制请求后，根据PTZ控制类型进行对应的操作，如果类型为平移则进行平移操作，如果类型为缩放则依据缩放比例进行缩放操作。
【专利说明】一种基于图像缩放及裁减的虚拟PTZ系统及方法
【技术领域】:
[0001]本发明涉及视频监控领域，尤其涉及一种基于图像缩放及裁减的虚拟PTZ系统及方法。
【背景技术】:
[0002]随着传感器技术、图像压缩技术、计算机技术、通讯技术的发展，视频监控获得广泛的应用。视频监控系统经过二十多年的发展，从模拟监控到数字监控，发展到当前的IP (英特网协议)网络视频监控，发生了翻天覆地变化。
[0003]IP技术作为一种基础的通讯技术，融入了生产和生活的方方面面，越来越多的终端、平台、系统支持这一标准，成为设备互联领域最重要也是应用最广泛的标准。
[0004]从技术的角度来说，视频监控系统发展划分为三代:第一代，模拟视频监控系统(CCTV);第二代:基于“PC+多媒体卡”数字视频监控系统(DVR);第三代:基于IP网络视频监控系统(IPVS)、IP摄像机(IP Camera)。
[0005]图像传感器的图像感知能力持续增强，高分辨率及超高分辨率的传感器得到了广泛的应用，而越来越多的手持终端开始具备视频查看的功能，大幅面的原始图像和显示屏的小型化趋势之间的矛盾越发明显，第三代移动通讯(3G)及家庭、企业网络的带宽有限，难以通过有限的网络带宽来获得全副全分辨率的高清实时视频，客观上需要能对远程图像的局部区域进行更加清晰和真实再现。
【发明内容】
:
[0006]为了能对具有高分辨率及超高分辨率传感器的摄像机的镜头捕捉的全局场景、以及局部区域的清晰真实的再现，通过有限的网络带宽条件下在小型屏幕终端更清晰和真实的再现，本发明借助图像处理器的图像处理功能，特别是图像裁剪及缩放功能，来实现基于图像缩放及裁剪的虚拟PTZ系统及方法。
[0007]本发明是这样实现的:一种基于图像缩放及裁剪的虚拟PTZ系统及方法，包括以下主要过程和步骤:
[0008]所述系统:由控制终端、摄像机构成，并通过网络互联；
[0009]用户借助控制终端，对摄像机进行远程控制；摄像机是具有图像处理能力的高分辨率的图像采集、编码、网络传输设备；摄像机借助图像处理器对从图像传感器采集到的原始图像进行处理，特别是基于裁剪和缩放处理，实现虚拟PTZ系统；控制终端接受用户的操作，将用户操作转换为PTZ控制请求对摄像机的传回的图像范围进行远程控制；摄像机接收到PTZ控制请求后，根据PTZ控制类型进行对应的操作，如果类型为平移则进行平移操作，如果类型为缩放则依据缩放比例进行缩放操作。
[0010]控制终端:由终端硬件、终端操作系统、终端软件构成；
[0011]终端硬件:由带有屏幕、中央处理器、存储器、网络模块组成；
[0012]终端软件:由流媒体传输模块、视频解码模块、视频渲染模块、控制模块、用户操作模块构成；负责连接摄像机，并接收摄像机的媒体流数据，进行解码、渲染及输出，同时接受用户的操作，并将用户的转换为PTZ控制请求，将该控制请求通过网络发往摄像机，进行远程PTZ控制。
[0013]摄像机:由摄像机硬件、摄像机操作系统、摄像机软件构成；
[0014]摄像机硬件:由CPU主控芯片、RAM内存、网络接口、镜头、图像传感器、图像处理器、视频编码器构成；
[0015]摄像机操作系统:以嵌入式操作系统内核为核心的嵌入式操作系统；
[0016]摄像机软件:由主控模块、媒体流采集模块、流媒体通讯模块、虚拟PTZ模块构成。
[0017]基于图像缩放及裁剪的虚拟PTZ方法，步骤如下:
[0018]步骤1:控制终端捕捉到用户的操作后，将用户的操作转换为PTZ控制请求然后发往摄像机；
[0019]步骤2:摄像机接收到PTZ控制请求后，检测PTZ控制请求的类型，取出当前的虚拟PTZ的图像参数，主要是视野范围的数据，根据控制类型，计算新的目标视野范围；PTZ控制请求的类型:包括但不限于平移、缩放；
[0020]步骤3:根据新的视野范围，生成新的图像参数，将新的图像参数设置到图像处理器；
[0021]步骤4:图像处理器接到新的参数请求后，设置图像处理器的图像裁剪及缩放参数，并将生效的图像参数告知摄像机；
[0022]步骤5:摄像机更新.虚拟PTZ的状态数据，构造PTZ控制应答，将控制应答发回控
制终立而。
[0023]进一步的说，所述控制请求的类型为平移的PTZ控制请求的参数的X轴、y轴的平移量；所述平移量可以是相对于当前画面视角的X轴和y轴的视野范围相对距离比值；所述平移量可以为固定量化比值，也可以为依据用户操作行为幅度相关的比值。
[0024]进一步的说，所述控制请求的类型为缩放的PTZ控制请求的参数至少包含缩放比例；所述缩放比例可以为固定量化比值，也可以为依据用户操作行为幅度相关的比值。
[0025]进一步的说，所述控制请求的类型为平移的PTZ控制请求对应的视野范围计算方法为，当前的全副画面的取景范围X轴为w、y轴为h,当前视野范围的顶点坐标为(xl,yl),当前视野范围的X轴为wl、y轴为hi ;新的视野范围顶点坐标，X轴坐标:(xl+(x轴平移量Xwl)), y轴坐标:(yl+(y轴平移量Xhl)),检查如果x轴坐标小于0则修正为0,然后检测如果X轴坐标大于(w-wl)则修正为(w-wl)，检测如果y轴坐标小于0则修正为0，然后如果y轴坐标大于(h-hl)则修正为(h-hl)。
[0026]进一步的说，所述控制请求的类型为缩放的PTZ控制请求对应的视野范围计算方法为，当前的全副画面的取景范围X轴为w、y轴为h,当前视野范围的顶点坐标为(xl, yl),当前视野范围的X轴为wl、y轴为hi,请求参数中缩放比例值为r,首先对缩放比例值r进行修正；新的视野范围顶点，X轴坐标为:(xl+(wl / 2))-(?1\10，7轴坐标为:(71+0!1 /2))-(hi Xr), X轴视野范围为:(wlXr), y轴视野范围为:(hlXr)。
[0027]进一步的说，对所述缩放比例值r的修正方法为:检测如果(xl+(wl / 2))
<(rXwl)则将 r 修正为((xl+(wl / 2)) / wl),然后检测如果(w_(xl+(wl / 2)))
<(rXwl)则将 r 修正为(w-(xl+(wl / 2))) / wl,检测如果(yl+(hl / 2)) < (rXhl)则将 r 修正为((yl+(hl / 2)) / hi)，然后检测如果(h-(yl+(hl / 2))) < (rXhl)则将r修正为(h-(yl+(hl / 2))) / hi，然后检测如果r值大于最大允许放大比值，这将r修正为最大允许放大比例值。
【专利附图】
【附图说明】:
[0028]下面结合附图，对本发明做出详细描述。
[0029]图1为系统示意图
[0030]图2为摄像机硬件结构图
[0031]图3为基于图像缩放及裁剪的虚拟PTZ控制流程时序图
[0032]图4为平移操作示意图
[0033]图5为缩放操作示意图
【具体实施方式】:
[0034]本发明借助图像处理器的图像处理功能，特别是图像裁剪及缩放功能，来实现基于图像缩放及裁剪的虚拟PTZ系统及方法的例子，实现如下:
[0035]系统，如图1所示:由控制终端(120)、摄像机(110)构成，并通过网络(140)互联(141)；
[0036]用户借助控制终端，对摄像机进行远程控制；摄像机是具有图像处理能力的高分辨率的图像采集、编码、网络传输设备；摄像机借助图像处理器对从图像传感器采集到的原始图像(101)进行处理，特别是基于裁剪和缩放处理，实现虚拟PTZ系统；控制终端接受用户的操作，将用户操作转换为PTZ控制请求对摄像机的传回的图像范围(102，103，105)进行远程控制。
[0037]控制终端:由终端硬件、终端操作系统、终端软件构成；
[0038]终端硬件:由带有屏幕、中央处理器、存储器、网络模块组成；
[0039]终端软件:由流媒体传输模块、视频解码模块、视频渲染模块、控制模块、用户操作模块构成；负责连接摄像机，并接收摄像机的媒体流数据，进行解码、渲染及输出，同时接受用户的操作，并将用户的转换为PTZ控制请求，将该控制请求通过网络发往摄像机，进行远程PTZ控制。
[0040]摄像机:由摄像机硬件、摄像机操作系统、摄像机软件构成；
[0041]摄像机硬件，如图2所示:由CPU主控芯片(201)、RAM内存(202)、网络接口(203)、镜头(204)、图像传感器(205)、图像处理器(206)、视频编码器(207)构成；
[0042]摄像机操作系统:以嵌入式操作系统内核为核心的嵌入式操作系统；
[0043]摄像机软件:由主控模块、媒体流采集模块、流媒体通讯模块、虚拟PTZ模块构成。
[0044]基于图像缩放及裁剪的虚拟PTZ方法，如图3所示，步骤如下:
[0045]步骤1:控制终端捕捉到用户的操作后，将用户的操作转换为PTZ控制请求然后发往摄像机；
[0046]步骤2:摄像机接收到PTZ控制请求后，检测PTZ控制请求的类型，取出当前的虚拟PTZ的图像参数，主要是视野范围的数据，根据控制类型，计算新的目标视野范围；PTZ控制请求的类型:包括但不限于平移、缩放；[0047]步骤3:根据新的视野范围，生成新的图像参数，将新的图像参数设置到图像处理器；
[0048]步骤4:图像处理器接到新的参数请求后，设置图像处理器的图像裁剪及缩放参数，并将生效的图像参数告知摄像机；
[0049]步骤5:摄像机更新虚拟PTZ的状态数据，构造PTZ控制应答，将控制应答发回控
制终立而。
[0050]进一步的说，所述控制请求的类型为平移的PTZ控制请求的参数的X轴、y轴的平移量；所述平移量可以是相对于当前画面视角的X轴和y轴的视野范围相对距离比值；所述平移量可以为固定量化比值，也可以为依据用户操作行为幅度相关的比值。
[0051]进一步的说，所述控制请求的类型为缩放的PTZ控制请求的参数至少包含缩放比例；所述缩放比例可以为固定量化比值，也可以为依据用户操作行为幅度相关的比值。
[0052]进一步的说，所述控制请求的类型为平移的PTZ控制请求对应的视野范围计算方法为，如图4所示，当前的全副画面的取景范围X轴为w、y轴为h,当前视野范围的顶点坐标为(xl, yl),当前视野范围的X轴为wl、y轴为hi ;新的视野范围顶点坐标,x轴坐标:(xl+(x轴平移量Xwl))，y轴坐标:(yl+(y轴平移量Xhl))，检查如果x轴坐标小于0则修正为0，然后检测如果X轴坐标大于(w-wl)则修正为(w-wl)，检测如果y轴坐标小于0则修正为0，然后如果y轴坐标大于(h-hl)则修正为(h-hl)。
[0053]进一步的说，所述控制请求的类型为缩放的PTZ控制请求对应的视野范围计算方法为，如图5所示，当前的全副画面的取景范围X轴为w、y轴为h,当前视野范围的顶点坐标为(xl, yl),当前视野范围的X轴为wl、y轴为hi,请求参数中缩放比例值为r,首先对缩放比例值r进行修正；新的视野范围顶点，X轴坐标为:(xl+(wl / 2))-(wlXr), y轴坐标为:(yl+(hl / 2))-(hlXr), X轴视野范围为:(wlXr), y轴视野范围为:(hlXr)。
[0054]进一步的说，对所述缩放比例值r的修正方法为:如图5所示，检测如果(xl+(wl / 2)) < (rXwl)则将 r 修正为((xl+(wl / 2)) / wl),然后检测如果(w- (xl+(wl / 2))) < (rXwl)则将r 修正为(w- (xl+(wl / 2))) / wl,检测如果(yl+(hl / 2)) < (rXhl)则将r修正为((yl+(hl / 2)) / hi),然后检测如果(h-(yl+(hl / 2))) < (rXhl)则将 r 修正为(h-(yl+(hl / 2))) / hi,然后检测如果 r值大于最大允许放大比值,这将r修正为最大允许放大比例值。
【权利要求】
1.本发明是这样实现的:一种基于图像缩放及裁减的虚拟PTZ系统及方法， 其特征在于，该方法包括以下主要过程和步骤: 一种基于图像缩放及裁减的虚拟PTZ系统及方法:控制终端、摄像机构成，并通过网络互联； 用户借助控制终端，对摄像机进行远程控制；摄像机是具有图像处理能力的高分辨率的图像采集、编码、网络传输设备；摄像机借助图像处理器对从图像传感器采集到的原始图像进行处理，特别是基于裁剪和缩放处理，实现虚拟PTZ系统；控制终端接受用户的操作，将用户操作转换为PTZ控制请求对摄像机的传回的图像范围进行远程控制；摄像机接收到PTZ控制请求后，根据PTZ控制类型进行对应的操作，如果类型为平移则进行平移操作，如果类型为缩放则依据缩放比例进行缩放操作。
2.如权利要求1所述的控制终端:由终端硬件、终端操作系统、终端软件构成； 终端硬件:由带有屏幕、中央处理器、存储器、网络模块组成； 终端软件:由流媒体传输模块、视频解码模块、视频渲染模块、控制模块、用户操作模块构成；负责连接摄像机，并接收摄像机的媒体流数据，进行解码、渲染及输出，同时接受用户的操作，并将用户的转换为PTZ控制请求，将该控制请求通过网络发往摄像机，进行远程PTZ控制。
3.如权利要求1所述的摄像机:由摄像机硬件、摄像机操作系统、摄像机软件构成； 摄像机硬件:由CPU主控芯片、RAM内存、网络接口、镜头、图像传感器、图像处理器、视频编码器构成； 摄像机操作系统:以 嵌入式操作系统内核为核心的嵌入式操作系统； 摄像机软件:由主控模块、媒体流采集模块、流媒体通讯模块、虚拟PTZ模块构成。
4.如权利要求1所述的基于图像缩放及裁剪的虚拟PTZ方法，步骤如下: 步骤1:控制终端捕捉到用户的操作后，将用户的操作转换为PTZ控制请求然后发往摄像机； 步骤2:摄像机接收到PTZ控制请求后，检测PTZ控制请求的类型，取出当前的虚拟PTZ的图像参数，主要是视野范围的数据，根据控制类型，计算新的目标视野范围；PTZ控制请求的类型:包括但不限于平移、缩放； 步骤3:根据新的视野范围，生成新的图像参数，将新的图像参数设置到图像处理器；步骤4:图像处理器接到新的参数请求后，设置图像处理器的图像裁剪及缩放参数，并将生效的图像参数告知摄像机； 步骤5:摄像机更新虚拟PTZ的状态数据，构造PTZ控制应答，将控制应答发回控制终端。
5.如权利要求1所述的类型为平移的控制请求，进一步的说: 所述控制请求的类型为平移的PTZ控制请求的参数至少包含X轴、y轴的平移量； 所述平移量可以是相对于当前画面视角的X轴和y轴的视野范围相对距离比值； 所述平移量可以为固定量化比值，也可以为依据用户操作行为幅度相关的比值。
6.如权利要求1所述的类型为缩放的控制请求，进一步的说: 所述控制请求的类型为缩放的PTZ控制请求的参数至少包含缩放比例； 所述缩放比例可以为固定量化比值，也可以为依据用户操作行为幅度相关的比值。
7.如权利要求1所述的类型为平移的控制请求，进一步的说: 所述控制请求的类型为平移的PTZ控制请求对应的视野范围计算方法为，当前的全副画面的取景范围X轴为w、y轴为h,当前视野范围的顶点坐标为(xl, yl),当前视野范围的X轴为wl、y轴为hi ;新的视野范围顶点坐标，X轴坐标:(xl+(x轴平移量Xwl)), y轴坐标:(yl+ (y轴平移量Xhi))，检查如果X轴坐标小于O则修正为O，然后检测如果X轴坐标大于(w-wl)则修正为(w-wl)，检测如果y轴坐标小于O则修正为O，然后如果y轴坐标大于(h-hl)则修正为(h-hl)。
8.如权利要求1所述的控制请求，进一步的说: 所述控制请求的类型为缩放的PTZ控制请求对应的视野范围计算方法为，当前的全副画面的取景范围X轴为w、y轴为h,当前视野范围的顶点坐标为(xl, yl),当前视野范围的X轴为wl、y轴为hl，请求参数中缩放比例值为r，首先对缩放比例值r进行修正；新的视野范围顶点，X 坐标 为:(xl+(wl / 2))-(wlXr), y 坐标为:(yl+(hl / 2)) - (hi Xr), x 轴距离为:(wlXr), y轴距离为:(hi Xr)。
9.如权利要求1所述的控制请求的所述缩放比例，进一步的说: 对所述缩放比例值r的修正方法为:检测如果(xl+(wl / 2)) < (rXwl)则将r修正为((xl+(wl / 2)) / wl),然后检测如果(w-(xl+(wl / 2))) < (rXwl)则将 r 修正为(w-(xl+(wl / 2))) / wl,检测如果(yl+(hl / 2)) < (rXhl)则将 r 修正为((yl+(hl /2)) / hi)，然后检测如果(h-(yl+(hl / 2))) < (rXhl)则将 r 修正为(h-(yl+(hl /2))) / hl，然后检测如果r值大于最大允许放大比值，这将r修正为最大允许放大比例值。
【文档编号】G06T3/40GK103442221SQ201310399843
【公开日】2013年12月11日 申请日期:2013年8月30日 优先权日:2013年8月30日
【发明者】程治永 申请人:程治永