一种变倍系统及方法与流程

1.本发明涉及变倍领域，特别是涉及一种变倍系统及方法。


背景技术：

2.在实际应用中，有时需要对视频画面进行局部或全局的多方位观看，而现有的许多工业摄像设备无法满足变倍的需求，需要经过人工变倍，不仅耗时耗力，而且在应用场景广泛的情况下，固定的倍率往往会带来诸多不便。


技术实现要素：

3.基于此，本发明实施例提供一种变倍系统及方法，以实现自动变倍，提高变倍效率。
4.为实现上述目的，本发明提供了如下方案：
5.一种变倍系统，包括：
6.图像采集模块，用于获取目标场景的视频图像；
7.控制信息处理模块，用于获取控制指令，并解析所述控制指令得到操作命令；
8.目标追踪模块，分别与所述图像采集模块以及所述控制信息处理模块连接，用于当所述操作命令为目标追踪操作时，根据所述视频图像确定被跟踪目标的跟踪框和脱靶量；
9.变倍模块，分别与所述图像采集模块以及所述控制信息处理模块连接，用于当所述操作命令为变倍操作时，根据所述被跟踪目标的尺寸对所述视频图像进行变倍操作，得到变倍图像；
10.系统控制模块，分别与所述目标追踪模块以及所述变倍模块连接，用于获取所述跟踪框、所述脱靶量和所述变倍图像；
11.视频显示模块，与所述系统控制模块连接，用于计算所述变倍图像的视场角，将所述跟踪框、所述脱靶量和所述视场角叠加到所述变倍图像中得到叠加图像，并将所述叠加图像发送至地面站。
12.可选的，所述图像采集模块包括n个摄像头；一个所述摄像头采集一路视频图像；
13.所述系统控制模块还用于：
14.为各所述摄像头配置参数；
15.根据所述参数选择一路视频图像对应的变倍图像作为视频跟踪图像，剩余n
‑
1路视频图像对应的变倍图像作为视频播放图像；
16.所述视频显示模块还用于：
17.计算所述视频跟踪图像的视场角得到跟踪视场角，计算各所述视频播放图像的视场角得到播放视场角；
18.将所述跟踪框、所述脱靶量和所述跟踪视场角叠加到所述视频跟踪图像中得到跟踪叠加图像，将所述播放视场角叠加到相应的所述视频播放图像中得到播放叠加图像；
19.将所述跟踪叠加图像和所述播放叠加图像发送至所述地面站。
20.可选的，所述图像采集模块包括包括3个摄像头，分别为第一可见光摄像头、第二可见光摄像头和红外摄像头；所述第一可见光摄像头用于采集第一可见光视频图像；所述第二可见光摄像头用于采集第二可见光视频图像；所述红外摄像头用于采集红外机芯视频图像。
21.可选的，所述变倍系统，还包括：
22.帧同步模块，用于将n个所述摄像头采集的视频图像进行时间戳同步处理。
23.可选的，所述视频显示模块，具体包括：
24.视场角计算单元，用于计算所述变倍图像的视场角；
25.压缩编码单元，用于对所述变倍图像进行压缩编码得到编码视频流；
26.叠加处理单元，用于将所述跟踪框、所述脱靶量和所述视场角叠加到所述编码视频流中，得到叠加视频流；
27.数据传输单元，用于通过网口将所述叠加视频流传输至所述地面站并显示。
28.可选的，所述控制信息处理模块，具体包括：
29.指令输入单元，用于通过串口手动输入控制指令；
30.指令解析单元，用于根据指令协议解析所述控制指令，得到操作命令；所述操作命令包括目标追踪操作、变倍操作和摄像头切换操作。
31.可选的，所述变倍模块，具体包括：
32.摄像头切换判断单元，用于当接收到变倍操作时，判断所述图像采集模块中的摄像头是否需要切换，若需要切换摄像头，则将所述图像采集模块中的摄像头切换后，再执行变倍操作单元；若不需要切换摄像头，则直接执行变倍操作单元；
33.变倍操作单元，用于判断所述被跟踪目标的尺寸是否小于设定目标尺寸；若所述被跟踪目标的尺寸小于设定目标尺寸，则增加倍率；若所述被跟踪目标的尺寸大于设定目标尺寸，则减小倍率；若所述被跟踪目标的尺寸等于设定目标尺寸，则倍率不变。
34.可选的，所述变倍系统，还包括：
35.图像预处理模块，用于对所述视频图像进行白平衡处理、亮度处理、噪声滤波处理、分辨率和帧率适配处理以及电子防抖处理。
36.可选的，所述系统控制模块还用于控制所述红外摄像头的白热模式和黑热模式的切换。
37.本发明还提供了一种变倍方法，包括：
38.获取目标场景的视频图像；
39.获取控制指令，并解析所述控制指令得到操作命令；
40.当所述操作命令为目标追踪操作时，根据所述视频图像确定被跟踪目标的跟踪框和脱靶量；
41.当所述操作命令为变倍操作时，根据所述被跟踪目标的尺寸对所述视频图像进行变倍操作，得到变倍图像；
42.计算所述变倍图像的视场角，将所述跟踪框、所述脱靶量和所述视场角叠加到所述变倍图像中得到叠加图像，并将所述叠加图像发送至地面站。
43.与现有技术相比，本发明的有益效果是：
44.本发明实施例提出了一种变倍系统及方法，所述系统，包括：图像采集模块、控制信息处理模块、目标追踪模块、变倍模块、系统控制模块和视频显示模块，控制信息处理模块通过解析到的操作命令，控制目标追踪模块和变倍模块实现目标检测、追踪和变倍，变倍模块收到变倍操作时，根据被跟踪目标的尺寸对图像采集模块采集到的视频图像进行变倍操作，实现了自动变倍，提高了变倍效率，视频显示模块将跟踪框、脱靶量和视场角叠加到变倍图像中，并将叠加图像发送至地面站，实现了对视频画面的局部或全局的多方位观看。
附图说明
45.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
46.图1为本发明实施例提供的变倍系统的结构示意图；
47.图2为本发明实施例提供的脱靶量计算坐标示意图。
具体实施方式
48.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
49.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
50.实施例1
51.图1为本发明实施例提供的变倍系统的结构示意图。
52.参见图1，本实施例的变倍系统，包括：
53.图像采集模块，用于获取目标场景的视频图像。
54.控制信息处理模块，用于获取控制指令，并解析控制指令得到操作命令。
55.目标追踪模块，分别与图像采集模块以及控制信息处理模块连接，用于当操作命令为目标追踪操作时，根据视频图像确定被跟踪目标的跟踪框和脱靶量。
56.变倍模块，分别与图像采集模块以及控制信息处理模块连接，用于当操作命令为变倍操作时，根据被跟踪目标的尺寸对视频图像进行变倍操作，得到变倍图像。
57.系统控制模块，分别与目标追踪模块以及变倍模块连接，用于获取跟踪框、脱靶量和变倍图像。
58.视频显示模块，与系统控制模块连接，用于计算变倍图像的视场角，将跟踪框、脱靶量和视场角叠加到变倍图像中得到叠加图像，并将叠加图像发送至地面站。
59.其中，脱靶量为靶平面内被跟踪目标的当前行动轨迹与理论行动轨迹的偏差；视场角即被跟踪目标的物象可通过镜头的最大范围的两条边缘构成的夹角，视场角的大小决定了图像采集模块中摄像头的视野范围，视场角越大视野范围越大，电子倍率越小。
60.作为一种可选的实施方式，图像采集模块包括n个摄像头；一个摄像头采集一路视
频图像。多摄像头组合变倍的方式不仅省去了人工设置倍率的繁杂程序，提高了变倍效率，还满足了更复杂的观看需求。
61.系统控制模块还用于：
62.为各摄像头配置参数；
63.根据参数选择一路视频图像对应的变倍图像作为视频跟踪图像，剩余n
‑
1路视频图像对应的变倍图像作为视频播放图像。
64.视频显示模块还用于：
65.计算视频跟踪图像的视场角得到跟踪视场角，计算各视频播放图像的视场角得到播放视场角；
66.将跟踪框、脱靶量和跟踪视场角叠加到视频跟踪图像中得到跟踪叠加图像，将播放视场角叠加到相应的视频播放图像中得到播放叠加图像；
67.将跟踪叠加图像和播放叠加图像发送至地面站。
68.作为一种可选的实施方式，变倍系统，还包括：
69.帧同步模块，用于将n个摄像头采集的视频图像进行时间戳同步处理。时间戳同步处理具体过程为：为了确保多个摄像头采集的多路视频图像时间同步，需要进行帧同步，即在解码完成一帧后，需要获得当前时间以及当前帧的显示时间并计算两者的时间差，则当解码完成一帧后需要休眠的时长为计算出来的时间差，从而实现同步。
70.作为一种可选的实施方式，视频显示模块，具体包括：
71.视场角计算单元，用于计算变倍图像的视场角。
72.压缩编码单元，用于对变倍图像进行压缩编码得到编码视频流。
73.叠加处理单元，用于将跟踪框、脱靶量和视场角叠加到编码视频流中，得到叠加视频流。
74.数据传输单元，用于通过网口并采用rtsp方式将叠加视频流传输至地面站并显示。
75.作为一种可选的实施方式，控制信息处理模块，具体包括：
76.指令输入单元，用于通过串口手动输入控制指令。具体的：使用ch340将usb转换成ttl电平用于设备与电脑通信。将对应串口进行驱动，波特率设置为115200bps，使能串口的发送和接收用于发送和接收指令。串口配置完成后，通过计算机端的串口助手输入控制指令。
77.指令解析单元，用于根据指令协议解析控制指令，得到操作命令；操作命令包括目标追踪操作、变倍操作和摄像头切换操作。具体的：规定指令为16位，指令协议为：第一位bb与第二位66为帧头，帧头定义了指令的起始信号。以变倍操作为例：指令的第三位作为命令位，该位可根据需求进行自定义，此处变倍操作的命令位设置为24。第四位和第五位为设置目标在图像中的大小位(第四位为高位，第五位为低位)，第六位可通过设置为0/1来开启/关闭自动变倍功能，第七至十五位为备用位，用0填充即可。第16位为帧尾，此处填充与命令位相同的数字作为帧尾，用来定义指令的结束信号。目标追踪操作的命令位设置为15，第四位至第十五位均为备用位，用0填充即可。定义变倍操作的指令格式为bb 66 24 00 00 00 00 00 00 00 00 00 00 00 00 00 24，目标追踪操作的指令格式为bb 66 15 00 00 00 00 00 00 00 00 00 00 00 00 00 15。帧头输入正确且数据为16位时，若指令为自动跟踪操作
则将进入目标追踪模块进行目标追踪，若指令为变倍操作则将进入变倍模块进行变倍操作。
78.作为一种可选的实施方式，变倍模块，具体包括：
79.摄像头切换判断单元，用于当接收到变倍操作时，判断图像采集模块中的摄像头是否需要切换，若需要切换摄像头，则将图像采集模块中的摄像头切换后，再执行变倍操作单元；若不需要切换摄像头，则直接执行变倍操作单元。其中，是否需要切换，是根据视场角和设定的视场角中间值进行比较确定的，当视场角小于或大于设定的视场角中间值时，将切换至另一个摄像头。
80.变倍操作单元，用于判断被跟踪目标的尺寸是否小于设定目标尺寸；若被跟踪目标的尺寸小于设定目标尺寸，则增加倍率；若被跟踪目标的尺寸大于设定目标尺寸，则减小倍率；若被跟踪目标的尺寸等于设定目标尺寸，则倍率不变。
81.作为一种可选的实施方式，变倍系统，还包括：
82.图像预处理模块，用于对视频图像进行白平衡处理、亮度处理、噪声滤波处理、分辨率和帧率适配处理以及电子防抖处理。其中，可以采用自动阈值算法进行白平衡处理；采用中值滤波使图像的像素点接近真实值，从而达到图像降噪的目的。
83.作为一种可选的实施方式，视场角的计算公式为：
84.水平fov＝2 atan(0.5 width(sensor width)/focal)
85.垂直fov＝2 atan(0.5 height(sensor height)/focal)。
86.其中，width为成像靶面的宽度，height为成像靶面的高度，sensor width为视野范围的宽度，sensor height为视野范围的高度，focal为摄像头焦距。
87.脱靶量的计算过程为：
88.如图2所示，像面中心点为o，在像面建立xyz坐标系。被跟踪目标a经镜头成像在像面a'上，像点a'在水平方向(x轴)的投影点为ax，在竖直方向(y轴)的投影点为a
y
。n1表示a'点在水平方向所占像素个数，m1表示a'点在竖直方向所占像素个数，镜头中心o1与a
x
点的连线与z轴的夹角，即为找中心过程中水平方向应转过的角度ω
x
；镜头中心o1与a
y
点的连线与z轴的夹角，即为找中心过程中竖直方向应转过的角度ω
y
。根据探测器像元尺寸以及所占像素数，可以计算出oa
x
、oa
y
的数值，由于镜头焦距f已知，可以计算出旋转角度ω
x
、ω
y
的数值，即脱靶量。脱靶量的计算公式如下：
89.oa
x
＝0.0029
×
n1，oa
y
＝0.0029
×
m1[0090][0091]
ω
x
＝arctan(oa
x
/o1a
x
)，ω
y
＝arctan(oa
y
/o1a
y
)。
[0092]
实施例2
[0093]
本实施例以三个摄像头为例，对变倍系统进行详细的说明。
[0094]
图像采集模块包括包括3个摄像头，分别为第一可见光摄像头、第二可见光摄像头和红外摄像头；第一可见光摄像头用于采集第一可见光视频图像；第二可见光摄像头用于采集第二可见光视频图像；红外摄像头用于采集红外机芯视频图像。
[0095]
本实施例的变倍系统的整体实现思路如下：并行采集两路可见光摄像头和一路红外摄像头的视频图像，然后先对视频图像进行降噪等处理，将处理完成的图像经过编码后
通过实时流协议(real time streaming protocol，rtsp)推流到远程设备进行显示，再对系统选定的目标进行追踪，并通过控制信息处理模块对图像信息进行控制。下面对图像采集模块、图像预处理模块、控制信息处理模块、目标追踪模块、变倍模块、系统控制模块和视频显示模块进行具体的介绍。
[0096]
1、图像采集模块：并行采集第一可见光摄像头、第二可见光摄像头和红外摄像头的视频图像，为了确保红外机芯视频图像、第一可见光视频图像和第二可见光视频图像时间同步，需要进行帧同步，即在解码完成一帧后，需要获得当前时间以及当前帧的显示时间并计算两者的时间差，则当解码完成一帧后需要休眠的时长为计算出来的时间差，从而完成红外机芯视频图像、第一可见光视频图像和第二可见光视频图像同步。
[0097]
2、图像预处理模块：采集后的红外机芯视频图像、第一可见光视频图像和第二可见光视频图像，需要送入图像预处理模块，经图像处理后的三路图像，送入系统控制模块，由系统控制模块根据相关参数配置，选择一路用于目标跟踪处理，例如，选择宽视场的第一可见光摄像头进行跟踪处理，则窄视场的第二可见光摄像头和用来观察环境的红外摄像头进行视频播放。图像预处理模块主要完成图像预处理：
[0098]
(1)使用自动阈值算法处理白平衡：先将图像从rgb空间转换到yuv空间，再对白色参考点进行检测和调整。其中，rgb空间与yuv空间的转换公式为：
[0099][0100]
(2)亮度处理：亮度本质上是图像中每个像素的亮度，每个像素的亮度本质上是rgb值的大小，rgb值为0时像素点为黑色，rgb都为255时像素点最亮，为白色。亮度计算公式为：g(i,j)＝αf(i,j)+β，其中，(i,j)为像素点，f(i,j)为对(i,j)处理前的亮度，g(i,j)为对(i,j)处理后的亮度，α必须大于0，α能使图像像素成倍数的增长或降低(α<1)，β的取值范围是(0，255)，增加或减少一个值会使像素向白色或黑色靠近(0为黑，255为白)，即改变了图像的亮度。
[0101]
(3)噪声滤波处理：采用中值滤波使图像的像素点接近真实值，从而达到图像降噪的目的。
[0102]
(4)分辨率和帧率适配等处理。
[0103]
(5)根据是否开启防抖功能，完成电子防抖处理。
[0104]
3、系统控制模块：完成整个图像处理板的参数配置和控制，包括用于目标跟踪的摄像头视频流选择、摄像头参数配置、控制红外摄像头的白热模式和黑热模式的切换等处理，同时也包括系统启动参数初始化等处理。
[0105]
当红外摄像头为白热模式时，温度较高的物体显示为白色，当红外摄像头为黑热模式时，温度较高的物体显示为黑色，黑热和白热模式由改变像素点的值实现的，黑热模式下物体像素点靠近0，白热模式下像素点靠近255。
[0106]
4、视频显示模块：对于需要输出到地面站的视频流，需要先进行压缩编码。编码分别针对每一路视频流进行，可支持h.264或h.265编码，码率和帧率可根据实际需求进行配置。视频通过网口传输到地面站，由于存在多路摄像头，视频传输可支持将单路摄像头视频
打包传输，也支持将多路摄像头视频流打包传输。视频流采用rtsp方式进行传输。针对跟踪目标在图像中坐标位置变动，可实时将目标跟踪框叠加到视频流。同时，目标的脱靶量、视场角等文字信息，也可以通过信息叠加模块叠加到视频流上，通过网口传输到地面站进行实时显示。例如，在预处理后的第一可见光视频图像中叠加目标跟踪框、脱靶量和视场角，传输至地面站后实时显示；在预处理后的第二可见光视频图像和预处理后的红外机芯视频图像中分别叠加相应的视场角，输至地面站后实时显示。其中跟踪框的四个坐标点是搜索时根据特征点提取得到的，脱靶量由跟踪状态下根据当前目标距离中心点的距离计算得到的，视场角根据焦距与分辨率计算得到，脱靶量和视场角的计算方式参见实施例1即可，在此不再赘述。
[0107]
5、控制信息处理模块：控制信息处理模块完成控制信息的接收、解析和分发处理过程。该模块控制信息处理模块接收来自串口的控制命令(即接受控制指令的串口信号)，包括摄像头切换命令、跟踪目标的实时坐标值(脱靶量)和亮度调节信息等，同时对接收到的控制指令串口信号进行解析，最终根据解析结果将最终的控制动作指令分发给系统控制模块。系统控制模块根据相应的摄像头切换指令进行切换动作，同时目标跟踪模块根据指令进行跟踪过程。本实施例的三个摄像头，分别为宽视场的第一可见光摄像头、窄视场的第二可见光摄像头和红外摄像头，宽视场摄像头适用于较近距离拍摄及观察，窄视场摄像头适用于较远距离拍摄及观察，窄视场摄像头相较于宽视场视像头能够显示相同分辨率下更局部的信息。红外摄像头主要用来观察外界因素影响较多的环境。因此，根据不同的需要可以切换不同的摄像头。
[0108]
此外，该控制信息处理模块接收来自目标跟踪模块输出的被跟踪目标的实时坐标值，通过内部接口发送给视频显示模块进行信息叠加。控制信息处理模块处理的大致过程为：
[0109]
(1)通过串口手动输入指令：使用ch340将usb转换成ttl电平用于设备与电脑通信。将对应串口进行驱动，波特率设置为115200bps，使能串口的发送和接收用于发送和接收指令。串口配置完成后，通过计算机端的串口助手输入指令。
[0110]
(2)解析指令：规定指令为16位，指令协议为：第一位bb与第二位66为帧头，帧头定义了指令的起始信号。不同操作的指令格式的定义与实施例1相同，在此不再赘述。若指令为自动跟踪操作则将进入目标追踪模块进行目标追踪，若指令为变倍操作则将进入变倍模块进行变倍操作。
[0111]
6、目标追踪模块：根据系统选定的目标，基于实时接收的视频流，目标跟踪模块完成目标检测和追踪，并计算被跟踪目标的在图像中的实时坐标值，传输到视频显示模块中进行信息叠加。
[0112]
7、变倍模块：分辨率是画面显示的重要指标之一，分辨率越高则图像所能显示的像素点越多，在同一区域内所能显示的图像信息越多，以上述概念为基础，在同一显示区域内，低分辨率可用来显示更加局部的内容，高分辨率可用来显示更加全面的内容。根据需求为不同的倍率指定不同的分辨率：倍率越低显示的内容越全面，对应的分辨率越大；倍率越高显示的内容越局部，对应的分辨率越小。
[0113]
当接收到变倍操作指令时，若当前追踪的目标尺寸小于设定的目标尺寸时，自动增加倍率，从而增加了跟踪目标在图像中的占比，达到对局部内容进行观察的目的；反之若
当前追踪的目标尺寸大于设定的目标尺寸时，自动减小倍率，从而减小了跟踪目标在图像中的占比，达到对更全面内容进行观察的目的；若被跟踪目标的尺寸等于设定目标尺寸，倍率不变。
[0114]
本实施例的变倍系统，可根据需求自动增大或缩小视频画面分辨率，其优势在于：
[0115]
1)当接收到变倍操作指令后根据指令实现自动增加或减小倍率，提高了变倍效率。
[0116]
2)摄像头组合变倍能够根据需求改变倍率，便于整体与局部的多方位观察。
[0117]
3)将分辨率作为倍率，可实现精准变倍，可满足多种环境下工作的需求。
[0118]
4)多摄像头变倍。由于视场角随电子变倍的倍率而改变，则当视场角小于或大于设定的视场角中间值时，将切换至另一个摄像头后，再进行变倍操作，以便于更好的观察。
[0119]
实施例3
[0120]
本发明还提供了一种变倍方法，包括：
[0121]
获取目标场景的视频图像；获取控制指令，并解析所述控制指令得到操作命令；当所述操作命令为目标追踪操作时，根据所述视频图像确定被跟踪目标的跟踪框和脱靶量；当所述操作命令为变倍操作时，根据所述被跟踪目标的尺寸对所述视频图像进行变倍操作，得到变倍图像；计算所述变倍图像的视场角，将所述跟踪框、所述脱靶量和所述视场角叠加到所述变倍图像中得到叠加图像，并将所述叠加图像发送至地面站。
[0122]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
[0123]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。