智能终端触控方式控制云台摄像头的设备和方法

智能终端触控方式控制云台摄像头的设备和方法
【专利摘要】本发明公开了智能终端触控方式控制云台摄像头的设备和方法，涉及网络通信【技术领域】。所述设备和方法用于通过在智能终端触摸屏上的单击、滑动、多点触控和双击等触摸动作控制云台远程摄像头的拍摄角度及调焦状态。特别地，在智能终端显示单元的视频显示窗口上能够实时地以等比例的矩形线框的方式显示云台摄像头的姿态。与现有技术比，本发明提供的方法更易于在智能终端上使用，能够极大地提高用户的使用体验。
【专利说明】智能终端触控方式控制云台摄像头的设备和方法

【技术领域】
[0001] 本发明涉及网络通信【技术领域】，具体地，设计一种在智能终端上通过触控方式控 制云台摄像头的设备和方法。

【背景技术】
[0002] 近年来随着智能家居安防领域的视频监控需求快速增长，越来越多的用户将可能 通过智能终端远程控制家中云台摄像头及时了解家中可能出现的情况，但当前还只是简单 地查看已固定角度的云台摄像头获取的视频，而没有操纵云台摄像头进行多角度，大范围 旋转监控。在部分商业的视频安防系统中，多是通过独立于显示器之外的按钮、摇杆等操控 的云台摄像头。
[0003] 在已公开的专利"一种在监控终端的触摸屏上进行云台摄像机控制的方法"（申 请号；CN103336534A)中，该公开通过在触摸屏上虚拟实际形状的摇杆，对云台摄像机进行 控制，从技术和使用体验上，其都只是简单把原来的摇杆形式，在触摸屏上进行了重复实 现，所W在用户使用体验上完全不能适应智能终端用户的使用习惯和潜在需求。
[0004] 在有限尺寸的智能终端界面上，用户的期望应该是直接在尽可能大的触控区域内 (最好是在视频完整观看区内）进行直接的手指触摸、滑动和多点触控操作，对云台摄像头 进行角度调整和调焦操作，并在操作的同时可通过集中于一处的信息提示，及时了解云台 摄像头相对初始位置的偏移信息和调焦信息。
[0005] 用户触控区域大小的需求分析是基于W下基本诉求；即用户在触摸屏上的滑动距 离应该能对应被控制设备更细致的处理动作，而如果接受滑动操作的区域过小，则接受控 制的虚拟控件的行程范围也会相应缩小，此时被控制设备对同样行程的触控动作将做出跨 度更大的动作响应。与之对应的使用体验就是被控制设备动作不够细腻，相应对使用者提 出的要求和也理暗示就是"操作一定要小也，否则容易出错！"。该明显破坏了用户的使用 体验。
[0006] 在未来的远程遥控工程作业车辆、无人驾驶车辆，W及智能玩具等领域的远程监 控，，也存在着通过智能终端直观、便捷地控制云台摄像头的需求。而现有技术均不足W满 足上述的需求。


【发明内容】

[0007] 鉴于上述问题，本发明提供了一种在智能终端显示单元的视频显示窗口上通过手 指滑动和多点触控的方式调整云台摄像头的拍摄角度和镜头焦距，操控的同时可在视频显 示窗口及时了解到云台摄像头相对初始位置的偏移信息W及调焦信息的设备和方法。所述 设备包括： 触摸屏，适用于识别操控手势；显示单元，适于显示视频信息和云台摄像头操控过程及 结果；控制器，适于识别手势类型，通过相应的计算生成控制信息；存储单元，适于存储摄 像头状态信息；智能终端和云台摄像头各自的射频（RF)通信单元，负责控制信息和视频信 息的收发。
[0008] 云台摄像头控制器，适于将射频（RF)通信单元发来的控制信息转为控制云台舱机 和摄像头调焦电机的电信号；包含舱机的多自由度云台，适于调整云台摄像头的姿态；云 台摄像头，适于采集视频信息；云台摄像头调焦电机，适于调焦。
[0009] 相应智能终端触控方式控制云台摄像头的方法具体指： 建立和云台摄像头的通信连接，通过智能终端的控制器计算，显示模块在智能终端显 示单元的视频显示窗口显示通过网络获取的云台摄像头传来的视频信息；智能终端定期通 过云台摄像头的控制器获取云台摄像头的姿态信息和设备属性信息存储于智能终端的存 储模块；存储模块中还存储着各个规格摄像机的摄像角度对照表。
[0010] 检测触摸屏；当检测到触摸屏受到触摸动作时，由控制器计算并W适当的形式，女口 在显示单元的视频显示区域上绘制一个和视频显示区域长宽比例一致的矩形线框，W矩形 线框相对显示单元中也点的位置和矩形线框的大小显示当前云台摄像头的姿态，即相对初 始位置的偏移量和调焦状态；之后，开始接受用户的云台摄像头调整命令，即开始检测相对 于触摸屏的触摸手势和触摸点坐标。
[0011] 当检测到的手势为单指滑动，则控制云台摄像头旋转角度；当为缩小手势或放大 手势时，则控制云台摄像头调整焦距；当为双击动作时，则将控制云台摄像头旋转至镜头中 对应触控位置的视频信息点，并调焦至最大或归位云台摄像头的姿态。
[0012] 优选地，如果在用户操作过程中的设定时间内，如3砂钟，未检测到任何手势，贝U 控制器不再继续在显示单元视频显示窗口上显示云台摄像头姿态信息，避免影响用户的观 看体验。
[0013] 优选地，智能终端还包括音频处理单元、麦克风MIC和扬声器SPK和图像识别模 块。智能终端的音频处理单元可W接受来自麦克风MIC的用户语音控制信息，并根据语音 内容结合可能需要的图像识别模块进行识别判断，转化为相应能被控制器理解的控制信息 发送给智能终端控制器，并由其进一步解释和转发执行。
[0014] 优选地，上述各触发事件结束后，控制器都会根据从云台摄像头取回的更新后的 姿态信息W至少包含一个矩形线框的形式通过显示单元展现出来。用户能够很直观地通过 矩形线框与当前视频显示窗口大小比例W及矩形线框在窗口中所处位置理解到镜头调焦 及云台摄像头两个自由度的舱机角度信息。
[0015] 基于本公开所示的在触摸屏上根据显示内容，结合显示单元的大小尺寸，简单地 W不同手势即能够能够实现对云台摄像头进行所见即所得控制，该里我们举一个更易懂的 例子：假设你是一个负责监控社会治安的警务人员，正通过智能终端查看设置在火车站进 出站口的云台摄像头，此时视频显示窗口的右上角出现了一个形迹可疑人员，你希望云台 摄像头立刻对准其进一步观察，那么你只需要在触摸屏上，按住该个可疑人员并把它拖到 视频显示窗口的中央就可W了。如果还需要把镜头拉近，W便仔细观察他，双击一下他就可 W 了。应用本发明在对对相应的视频中的感兴趣点进行查验工作时，将会极大提高工作效 率和使用体验。

【专利附图】

【附图说明】
[0016] 图1是现有的云台摄像头控制端示意图； 图2是现有技术通过触摸屏控制云台摄像头的效果图； 图3是本发明的设备的模块结构示意图； 图4是本发明的手指在触摸屏上滑动时的轨迹和算法采纳数据源示意图； 图5是本发明的多点触控时触摸屏上的滑动轨迹和算法采纳数据源示意图； 图6是本发明的双击手势时触摸屏上触碰点和算法采纳数据源示意图； 图7是本发明的单指滑动触摸事件的处理流程； 图8是本发明的多点触控的缩小手势或放大手势的处理流程； 图9是本发明的双击手势的处理流程。

【具体实施方式】
[0017] 下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开 的示例性实施例，然而应当理解，可各种形式实现本公开而不应被该里阐述的实施例 所限制。相反，提供该些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围 完整的传达给本领域的技术人员。
[0018] 图3示出了根据本发明一个实施例的控制云台摄像头的设备的模块结构示意图， 如图 3所示；智能终端100包括；触摸屏101、显示单元102、存储器103、射频（R巧通信单 元104、音频处理单元105、麦克风MIC、扬声器SPK和控制器106 ;云台摄像头200包括摄 像头201、调焦电机202、水平旋转舱机203、垂直旋转舱机204、射频（RF)通信单元205和 控制器206。
[0019] 本公开W二自由度云台为例，介绍控制云台摄像头姿态的方法，并假定具体自由 度分别是水平方向和垂直方向。
[0020] 智能终端的触摸屏101被安装在显示单元102的前表面，或可选择地被包括在 显示单元102中，响应于相对于触摸屏101的用户的触摸手势而产生触摸事件并将所述触 摸事件传送到控制器106。
[0021] 因此，控制器106可从输入到触摸屏101的触摸事件感测用户的触摸手势，并响 应于检测到的触摸手势，结合存储器103中实时更新的云台摄像头200的姿态信息，通过射 频（RF)通信单元104和205向控制器206发送控制信息，控制包括云台摄像头200的水平 旋转舱机203、垂直旋转舱机204和调焦电机202,并根据云台摄像头200的最新姿态，计算 出该姿态对应在显示单元102的展现形式，将云台摄像头200的姿态信息展示于显示单元 102。
[0022] 控制器206在接收到智能终端100控制器106发来的控制信息后，会将控制信息 转换成控制相应电机动作的电信号并发给对应的电机。
[0023] 此处需说明的是，显示单元102所显示的视频信息，视云台摄像头200的控制器 206的处理能力选择相应的传输通道，可W经由控制器206和射频（RF)通信单元205传给 智能终端200,也可绕开控制器206,直接通过射频（RF)通信单元205传给智能终端200。
[0024] 显示单元102所显示的云台摄像头200姿态信息与视频信息是分层次实现的，具 体可W不同智能终端系统提供的具体方法而定。
[00巧]W智能终端中的安卓（Amlroid)系统为例，就可W将视频窗口空间和姿态控制与 信息显示控件分别在不同的框架布局化amelayout中实现，并将后者W-定的透明度显示 于前者之上。
[0026] 本公开所提及的触摸手势可分类为单击、滑动、多点触动、双击和拂动。
[0027] 智能终端100的控制器106除了能够接收来自触摸屏101的控制信息外，还可W 通过首频处理单兀105接收来自麦克风MIC的用户语首控制f旨息。
[0028] 随着语音控制智能终端的应用日益增多，用户将能够并会习惯利用语音指令完成 本公开所述通过智能终端控制云台摄像头的方法。而基于本公开的具体算法，并结合图像 识别模块107、音频处理单元105、麦克风MIC和扬声器SPK，对用户发出的语音命令进行识 别判断，并据此形成控制信息发送给智能终端控制器206,并由其进一步解释和转发执行。
[0029] 控制器106在发出控制信息后，根据云台摄像头200的具体执行部件的反馈，更新 存储器中103中保存的云台摄像头200的姿态信息。
[0030] 为提高用户观看视频信息的体验，可W通过在程序内内设一个Timer定时器设定 一个一定时间内（假定3砂钟）无触摸动作，即清空显示单元102所显示的云台摄像头200 姿态信息的指令动作，但此时控制器106仍继续通过触摸屏101检测用户可能发起的触摸 动作。一旦出现触摸动作，则控制器106将从存储器103中调取云台摄像头200的姿态信 息，显示于显示单元102,并开始接受用户控制。
[0031] 下面对本公开的控制云台摄像头的方法的执行流程结合相关算法进行阐述。
[0032] -、首先，建立和云台摄像头的通信连接。通过智能终端的控制器计算，显示模块 在智能终端显示单元的视频显示窗口显示通过网络获取的云台摄像头传来的视频信息。
[0033] 智能终端定期通过云台摄像头的控制器获取云台摄像头的姿态信息和设备属性 信息；并将云台摄像头的姿态信息和设备属性信息存储于智能终端的存储模块。
[0034] 存储模块中还存储着各个规格云台摄像头的摄像角度对照表。
[00巧]云台摄像头的设备属性信息包括；摄像头型号、摄像头类型（即普通、广角和长焦 距等)、焦距，CCD尺寸，及可能包括的拍摄角度、焦距调整范围范围，W及对应的拍摄角度计 算算法；如果部分数据不包括在云台摄像头芯片中的设备属性信息中，如拍摄角度，焦距调 整对应的拍摄角度对应算法，则此类数据可W内建在存储模块的拍摄角度对照表中，该表 W摄像头型号、摄像头类型、焦距和CCD尺寸等唯一性数据组为索引标识。
[0036] 二、其次，检测触摸屏。当检测到触摸屏受到触摸动作时，由控制器计算并W适当 的形式，如在显示单元的视频显示区域上绘制一个和视频显示区域长宽比例一致的矩形线 框，W矩形线框相对显示单元中也点的位置和矩形线框的大小显示当前云台摄像头的姿 态，即相对初始位置的偏移量和调焦状态；之后，开始接受用户的云台摄像头调整命令，即 开始检测相对于触摸屏的触摸手势和触摸点坐标。下面详细介绍矩形线框大小及位置的计 算方法： 首先，需要在智能终端显示单元等比例地显示摄像头当前所处的姿态，即摄像区域相 对于可二自由度旋转的云台的位置W及当前调焦状态。该就需要知道摄像头此时摄像区域 的大小，W及二自由度云台的两个自由度上的舱机的旋转范围和当前各自所处的角度值。 而摄像区域的大小取决于摄像头自身的W下H个因素；摄像头水平方向的所拍摄影像的拍 摄角度0 1 (通俗讲就是视线角度，视线范围)、垂直方向拍摄角度0 2和当前的焦距f。
[0037] 0 1，0 2和摄像头的类型、镜头焦距、芯片尺寸有关。摄像头的型号包括；标准镜 头、广角镜头和长焦距镜头等。镜头焦距包括2. 5mm，2. 8mm，3. 6mm，4mm，6mm等。芯片尺寸 包括1/3"，1/4"等。该里W广角镜头为例，列出摄像头拍摄角度的取值表： 镜头焦距（醒） |1/3"芯片-水平拍摄角度0 1 |1/3"芯片-垂直拍摄角度0 2 2. 5_96. 4°_86. 2°_ 2.8 -89.9° 79.8° 对于不可调焦的摄像头，其摄像范围即0 1，0 2是固定的；对于支持调焦的摄像头，其 任意时刻的0 1，0 2值还和当时的焦距f大小有关系，而相应的关系是可W由摄像头厂家 提供的算法计算出来的，本公开为简化算法描述，将不涉及0 1，0 2与f之间关系的计算说 明，而假定可调焦摄像头在未调焦状态的水平拍摄角度和垂直拍摄角度分别是0 1，0 2,调 整到焦距f2时水平拍摄角度和垂直拍摄角度分别是0 1'，0 2'。
[0038] 另外，基于在显示单元等比例显示云台摄像头姿态的需要，需要获取到显示单元 上视频内容显示窗口的大小，假定窗口水平宽度wl，垂直高度hi。
[003引特别的，假定在云台摄像头初始姿态下，两个自由度的舱机都处于中置状态，同时 水平旋转舱机的可旋转角度是目1，垂直旋转舱机的可旋转角度是目2。
[0040] 则触摸控制云台摄像头的方法(下简称控制程序）第一次被唤醒时，在显示单元的 视频窗口会绘制一个水平宽度w2,垂直高度h2的矩形线框，w2和h2算法如下： w2=(日 1/(目 1+ 0 1))* wl ; h2=( 0 2/(目化 0 2))曲1。
[0041] 算法依据是；摄像头在水平方向总的可视区域大小（区域大小即角度，下同） 是目1+0 1，则摄像头当前所拍摄区域的水平方向角度0 1与总可视区域水平方向角度 目1+0 1的比值，应等于矩形线宽的宽度w2与视频窗口的宽度wl的比值。垂直方向计算同 理。
[0042] H、控制器对检测到单指滑动手势的处理。图7示出了单指滑动触摸事件的处理 流程。参照图7,在步骤301，控制器判断检测到的手势为单指滑动，执行步骤302,读取智能 终端的存储模块中储存的云台摄像头设备属性信息，和据此调出的摄像角度值及当前视频 显示窗口尺寸等信息在步骤303中，结合发起触摸动作的手指在触摸屏上的滑动距离，计 算出云台摄像头在垂直和水平方向各需调整的角度的控制信息，并在步骤304中将该控制 信息通过智能终端和云台摄像头的通信模块，发送给云台摄像头控制器。步骤305中，云台 摄像头控制器将控制信息转化为控制云台摄像头水平和垂直姿态的舱机旋转的电信号，调 整云台摄像头的角度姿态。步骤306,从云台摄像头控制器返回执行成功的信息，及云台摄 像头当前姿态信息。步骤307,控制器将更新后的云台摄像头姿态信息存储于智能终端存储 模块，并经计算后显示于显示单元的视频显示窗口。
[0043] 该里考虑到网络通讯可能的延迟，为提高用户使用体验，智能终端控制器更新显 示窗口的信息该一操作，可W在执行完步骤303即可执行，因为此时已经能够预估到如果 云台摄像头姿态调整成功，对应的新的姿态信息。为保证智能终端和云台摄像头两端信息 的一致性，W及避免可能出现的云台摄像头端出现异常情况导致动作执行失败，而出现的 智能终端该一端信息的不当显示，可W在步骤306之后，接收到云台摄像头返回的执行成 功信息后予W核对。如果接收到执行失败的信息，则可根据接收到的实际姿态信息再次更 新显示单元的信息，或对显示单元显示信息执行数据回退等操作。
[0044] 下面详细阐述控制器单指滑动手势处理的相关算法： 为便于对本公开算法的理解，该里先阐述关于摄像头全部摄像区域的空间形态的认 知，为便于理解，我们假设云台的2个自由度的旋转轴的空间交汇点与摄像头的取景镜头 的中也点在空间上重合，即类似于人眼成像与活动。
[0045] 我们假设垂直旋转舱机角度向下调至最大值，水平旋转摄像头向左调至最大值， 从此处开始，水平旋转舱机逐个最小的单位旋转角度(如1度，下同）向右旋转，一直到右 侧所能旋转的最大值停止；然后垂直旋转舱机向上旋转一个最小的单位旋转角度停止，该 时水平旋转舱机开始逐个最小的单位旋转角度向左旋转，一直到左侧所能旋转的最大值停 止；W此类推，一直到垂直旋转舱机和水平旋转舱机均达到最大的旋转角度。
[0046] 完成上述旋转后，摄像头即完成了全部可视区域的拍摄，由此可得出一个结论，就 是二自由度云台上的摄像头，其有限取景距离内的全部可视区是一个受限于两个云台自由 度各自方向最大旋转角度值得球面区域。
[0047] 如果希望摄像头拍摄区域上W任何一点为中也的区域的影响，则取得改点相对二 自由度云台设定的初始角度所对应的拍摄点的位置，即获得相应的水平方向旋转和垂直方 向旋转的角度差值，并控制二自由度云台的水平旋转舱机和垂直旋转舱机完成相应角度插 值的旋转即可。
[0048] 下面我们继续阐述控制器对滑动手势的处理过程和算法： 参见图4,控制器获取到滑动该个触摸事件在屏幕所滑过的轨迹，起始点A坐标XI，yl， 终止点B坐标x2, y2。同时，假定水平旋转舱机相对初始值(该里假设为水平旋转舱机的中 立点，下同）向上旋转了 a 1度，垂直旋转舱机相对初始值向右旋转了 a2度。触摸事件及 起始点、终止点坐标及当前二自由度云台姿态信息均交由控制器计算，假定y2-yl结果为 正值，x2-xl结果为负值，则控制器判断用户要把视频窗口右上方的视频内容向左下方拖 动，即云台摄像头向右上方调整姿态。为便于理解，W触摸手势发生前的屏幕中也点H为中 也建立子坐标系X'曲'，对镜头取景中也点的变化进行阐述。云台摄像头具体的调整方向和 大小是：希望把摄像头取景的中也点H与A点(对应于整个摄像头取景空间中的位置)的关 系，即A点落于H点子坐标系的第一象限，并距离11且角度S，变换成的A点落于H点子坐 标系的第二象限，并距离12且角度e。而空间中A点假定是相对固定的，那么就要相应地 移动H点的位置，H点(镜头摄像中也点）在滑动手势前后移动的距离（即角度）是： 水平方向，yl=((x2-xl)/wl)* 01; 垂直方向，y2=((y2-yl)/hl)* 02; Y 1和Y 2即为两个自由度上舱机的旋转角度，具体方向是，水平旋转舱机向右，垂直 旋转舱机向上。
[0049] 上面对未调焦的摄像头调整姿态的算法进行了阐述，对于调焦至f2时，控制器进 行对应计算时，将摄像头拍摄角度对应替换成0 1'，0 2'即可。
[0050] 四、控制器对检测到多点触控的缩小手势或放大手势的处理。图8示出了多点触 控的缩小手势或放大手势的处理流程。参见图8,步骤401，检测到多点触控的缩小手势或 放大手势。在步骤402和403中，控制器获取发起触摸动作的多个手指在触摸屏上触碰的 起始点和终止点坐标，由控制器计算出多个手指在滑动开始时所涵盖的中也区域中也点的 位置信息和滑动结束时所涵盖的中也区域中也点的位置变化信息，W及所涵盖范围大小的 变化比例，结合从存储器中获得的云台摄像头的设备属性信息，计算出云台摄像头角度调 整大小及焦距调整大小。进入步骤404,该控制信息通过智能终端和云台摄像头的通信模块 发给云台摄像头控制器。步骤405中，云台摄像头控制器将该控制信息转换成控制云台摄 像头水平和垂直姿态的舱机旋转的电信号，和控制焦距的云台摄像头调焦马达转动的电信 号，发给舱机和调焦马达调整云台摄像头的角度姿态和焦距，并在步骤406中取回云台摄 像头姿态信息，返给智能终端的控制器。最后在步骤407,控制器将获得的执行结果计算后 显示于显示单元的视频显示窗口。
[0051] 需要说明的是，此处的姿态调整结果最后经控制器计算并显示于显示单元的操作 也可在执行部件(即舱机、调焦电机）执行动作时即预先执行。
[0052] 下面W两点触控为例简单阐述阐述多点触控的实现算法： W两指触控且两指间距由小变大为例。参见图5,两指触碰的起始点及坐标分别为 C3 (x3, y3)，D4 (x4, y4);两指触碰的终止点及坐标分别是C5 (x5,巧），D6 (x6, y6)。
[0053] 分别计算视频内容放大倍数和可能存在的云台摄像头姿态调整：首先根据两指在 触摸屏上的触碰点在两指间距有小变大过程中，两指连线线段长度的变化计算放大倍数。
[0054] 两指间距变化前，C3和D4间连线线段的长度L1和两指间距变化后，巧和D6间连 线线段的长度L2,则L2/L1的比值就是视频内容变大的倍数，可W根据摄像头的参数信息， 进一步计算出摄像头焦距所需调整的数值。
[00巧]之后，根据两指间距变化前后，C3和D4连线的中点E1在屏幕上的位置，与C4和 D6连线的中点E2在屏幕上的位置的变化，计算云台摄像头可能的姿态调整。该里需要特别 说明有两点；第一、算法的思路同滑动手势，即计算摄像头取景中也点H相对E1 (在摄像头 整个取景空间中的位置）的相对变化，得到H的新的位置；第二、E1和H相对位置在两指触 控手势发生前后的计算，分别在基于调焦前、调焦后的云台摄像头相应姿态下进行。
[0056] 对于多点触控中的，H指至四指、五指操作，中也点的选取可W是所有参与操控手 指在触摸屏上所触动点围成的区域中也，计算该中也点的位置变化，并参照前面介绍的中 也点变化相应的算法，可W得到云台摄像头两个自由度舱机所需旋转的角度。对于调焦的 计算方法，可W有多种，其中比较简化的算法有两个：一个是多点所围成区域面积的变化倍 数开平方根，该等效于正方形和圆形的面积增加倍数是正方形边长或圆形直径增加倍数的 平方，而我们所要的结果基于两点触控的也理习惯，就是多点之间距离的变化倍数就是我 们期望视频内容变化的倍数。第二个算法是基于计算出的手指滑动前、后的触动点区域中 也点，各个触动点距离区域中也点的距离的变化倍数，对手指滑动前、后的两组变化倍数进 行加权平均，并对手指滑动前、后两个加权平均值予W比较，所得到的比值也可作为视频内 容所需要变化的倍数。
[0057] 五、控制器双击手势的处理。图9示出了双击手势的处理流程。参见图9,在步骤 501，控制器判断检测到的手势为双击。进入步骤502,首先控制器从智能终端的存储模块中 读取当前云台摄像头姿态信息中的焦距调整信息，如果焦距已调至最大，则确认用户是希 望恢复云台摄像头的初始状态，即水平、垂直方向两个舱机的角度均归中，镜头调焦姿态也 复位，进入步骤503,发出舱机及调焦电机归中操作的控制信息。
[0058] 如果此时存储单元显示焦距尚没有调至最大，则判断用户是希望将云台摄像头对 准双击动作在触摸屏上触碰位置对应的视频内容处，即对应的期望操作是将其至于显示单 元的中也，并将此处影像放至最大。进入步骤504,控制器根据从触摸屏获取的双击动作点 的位置信息，和视频显示窗口的大小及中也点信息，W及本地存储模块中的云台摄像头设 备属性信息计算出云台摄像头水平和垂直舱机需要旋转的角度，W及云台摄像头调焦电机 须动作至焦距调至最大。
[005引对于步骤503和步骤504形成的控制信息，在步骤505中，智能终端控制器将此控 制信息通过通信模块发送给云台摄像头的控制器，并在步骤506中，对舱机和调焦马达进 行相应控制。在步骤507中，将云台摄像头姿态调整后的信息返给智能终端的控制器。步 骤508,控制器将执行结果，即执行后的云台摄像头的姿态信息计算后显示于显示单元的视 频显示窗口。此操作同样可W提前执行。
[0060] 拂动手势的处理流程，简化一些的表述就是；将视频内容沿手指拂动方向，按照拂 动手指的轨迹和速度，计算出视频内容需要移动的方位和距离，形成包含云台摄像头反向 旋转调整角度的控制信息，发给云台摄像头的控制器予W进一步执行。由于算法及处理流 程完全可W前述算法和流程为基础略加调整，所W本公开中不再详细说明。
[0061] 本公开针对语音识别的一个实施例是；野外生物资源观测者通过智能终端语音控 制云台摄像头对准当前摄像采集区内的老虎。下面介绍具体处理流程： 该野外生物资源观测者在实时观看云台摄像头，此时在智能终端视频显示窗口发现了 一只东北虎，同时该东北虎位于屏幕的左上角，该观测者希望将东北虎影像调至屏幕中央， 则可W对着智能终端发出语音命令"Look at the tiger",音频处理单元接收到来自麦克 风MIC的语音信息后进行识别，转换成控制需求信息"Move化e tiger to the center of video window "，并将其发给控制器。控制器将收到的控制需求信息转换并拆分成目标对 象位置识别信息"化eck the tiger's location"和云台摄像头姿态调整控制信息"Move 化e camera to the tiger",并将目标对象位置识别信息发给图像识别模块，图像识别模块 收到该信息，并从当前图像中获取到"tiger"图像块的中也点在视频窗口内的位置，该里 称为T点坐标，然后将T点的坐标值返回到控制器，控制器收到该信息并结合云台摄像头姿 态调整控制信息，结合前述算法巧日：手指滑动相关的处理算法)，最终形成能够发给云台摄 像头的控制信息，并完成后继操作。
【权利要求】
1.智能终端触控方式控制云台摄像头的设备和方法，涉及网络通信【技术领域】，所述设 备包括智能终端和云台摄像头，并各自包括以下主要组件： 触摸屏，适用于识别操控手势； 显示单元，适于显示视频信息和云台摄像头操控过程及结果； 控制器，适于识别手势类型，通过相应的计算生成控制信息； 存储单元，适于存储摄像头状态信息； 智能终端和云台摄像头各自的射频（RF)通信单元，负责控制信息和视频信息的收发； 云台摄像头控制器，适于将射频（RF)通信单元发来的控制信息转为控制云台舵机和摄 像头调焦电机的电信号； 包含舵机的多自由度云台，适于调整云台摄像头的姿态； 云台摄像头，适于采集视频信息； 云台摄像头调焦电机，适于调焦； 所述控制云台摄像头的方法包括： 建立和云台摄像头的通信连接，通过智能终端的控制器计算，显示模块在智能终端显 示单元的视频显示窗口显示通过网络获取的云台摄像头传来的视频信息；智能终端定期通 过云台摄像头的控制器获取云台摄像头的姿态信息和设备属性信息；将云台摄像头的姿态 信息和设备属性信息存储于智能终端的存储模块；存储模块中还存储着各个规格云台摄像 头的摄像角度对照表； 一、检测触摸屏；当检测到触摸屏受到触摸动作时，由控制器计算并以适当的形式，如 在显示单元的视频显示区域上绘制一个和视频显示区域长宽比例一致的矩形线框，以矩形 线框相对显示单元中心点的位置和矩形线框的大小显示当前云台摄像头的姿态，即相对初 始位置的偏移量和调焦状态；之后，开始接受用户的云台摄像头调整命令，即开始检测相对 于触摸屏的触摸手势和触摸点坐标；将云台摄像头姿态信息绘制显示单元上的算法是： 确认摄像区域的大小取决于摄像头自身的以下三个因素：摄像头水平方向的所拍摄影 像的拍摄角度9 1 (通俗讲就是视线角度或视线范围)、垂直方向拍摄角度9 2和当前的焦 距f; 对于不可调焦的摄像头，其摄像范围即0 1，0 2是固定的；对于支持调焦的摄像头，其 任意时刻的9 1，9 2值还和当时的焦距f大小有关系，而相应的关系是可以由摄像头厂家 提供的算法计算出来的，本公开为简化算法描述，将不涉及9 1，0 2与f?之间关系的计算说 明，而假定可调焦摄像头在未调焦状态的水平拍摄角度和垂直拍摄角度分别是9 1，9 2,调 整到焦距f2时水平拍摄角度和垂直拍摄角度分别是0 1'，0 2' ； 另外，基于在显示单元等比例显示云台摄像头姿态的需要，需要获取到显示单元上视 频内容显示窗口的大小，假定窗口水平宽度wl，垂直高度hi ; 特别的，假定在云台摄像头初始姿态下，两个自由度的舵机都处于中置状态，同时水平 旋转舵机的可旋转角度是3 1，垂直旋转舵机的可旋转角度是@ 2 ; 则触摸控制云台摄像头的方法(下简称控制程序）第一次被唤醒时，在显示单元的视频 窗口会绘制一个水平宽度《2,垂直高度h2的矩形线框，《2和h2算法如下： w2= (0 1/(^1+0 1))* wl h2=( 9 2/(^ 2+ 9 2))*hl 算法依据是：摄像头在水平方向总的可视区域大小（区域大小即角度，下同）是 3 1+01，则摄像头当前所拍摄区域的水平方向角度01与总可视区域水平方向角度 3 1+ 0 1的比值，应等于矩形线宽的宽度w2与视频窗口的宽度wl的比值；垂直方向计算同 理； 此外，这里默认触摸屏和显示单元的外形尺寸完全一致，并前后重叠布局，为触摸屏 水平宽度，hi为触摸屏垂直高度；坐标系原点为触摸屏左上角顶点；x轴方向为水平向右，y 轴方向为垂直向下；下文中计算触摸屏所采纳的数据源所在坐标系及触摸屏大小与这里一 致； 二、当检测到的手势为单指滑动时，根据智能终端的存储模块中储存的云台摄像头设 备属性信息，和据此调出的摄像角度值，及当前视频显示窗口尺寸，以及发起触摸动作的手 指在触摸屏上的滑动距离，计算出云台摄像头在垂直和水平方向各需调整的角度，将该控 制信息通过智能终端和云台摄像头的通信模块，发送给云台摄像头控制器，由云台摄像头 控制器将控制信息转化为控制云台摄像头水平和垂直姿态的舵机旋转的电信号，调整云台 摄像头的角度姿态；相应的算法如下： 为便于对本公开算法的理解，这里先阐述关于摄像头全部摄像区域的空间形态的认 知，为便于理解，我们假设云台的2个自由度的旋转轴的空间交汇点与摄像头的取景镜头 的中心点在空间上重合，即类似于人眼成像与活动； 我们假设垂直旋转舵机角度向下调至最大值，水平旋转摄像头向左调至最大值，从此 处开始，水平旋转舵机逐个最小的单位旋转角度(如1度，下同）向右旋转，一直到右侧所能 旋转的最大值停止；然后垂直旋转舵机向上旋转一个最小的单位旋转角度停止，这时水平 旋转舵机开始逐个最小的单位旋转角度向左旋转，一直到左侧所能旋转的最大值停止；以 此类推，一直到垂直旋转舵机和水平旋转舵机均达到最大的旋转角度； 完成上述旋转后，摄像头即完成了全部可视区域的拍摄，由此可得出一个结论，就是二 自由度云台上的摄像头，其有限取景距离内的全部可视区是一个受限于两个云台自由度各 自方向最大旋转角度值得球面区域； 如果希望摄像头拍摄区域上以任何一点为中心的区域的影响，则取得改点相对二自由 度云台设定的初始角度所对应的拍摄点的位置，即获得相应的水平方向旋转和垂直方向旋 转的角度差值，并控制二自由度云台的水平旋转舵机和垂直旋转舵机完成相应角度插值的 旋转即可； 下面我们继续阐述控制器对滑动手势的处理过程和算法： 控制器获取到滑动这个触摸事件在屏幕所滑过的轨迹，起始点A坐标xl，yl，终止点B 坐标x2, y2 ;同时，假定水平旋转舵机相对初始值(这里假设为水平旋转舵机的中立点，下 同)向上旋转了 a 1度，垂直旋转舵机相对初始值向右旋转了 a 2度；触摸事件及起始点、终 止点坐标及当前二自由度云台姿态信息均交由控制器计算，假定y2_yl结果为正值，x2_xl 结果为负值，则控制器判断用户要把视频窗口右上方的视频内容向左下方拖动，即云台摄 像头向右上方调整姿态；为便于理解，以触摸手势发生前的屏幕中心点H为中心建立子坐 标系x'Hy'，对镜头取景中心点的变化进行阐述；云台摄像头具体的调整方向和大小是：希 望把摄像头取景的中心点H与A点（对应于整个摄像头取景空间中的位置）的关系，即A点 落于H点子坐标系的第一象限，并距离11且角度S，变换成的A点落于H点子坐标系的第 二象限，并距离12且角度e ;而空间中A点假定是相对固定的，那么就要相应地移动H点 的位置，H点(镜头摄像中心点）在滑动手势前后移动的距离（即角度）是： 水平方向，Yl=((x2-xl)/wl)* 01; 垂直方向，Y2=((y2-yl)/hl)* 02; Y 1和Y2即为两个自由度上舵机的旋转角度，具体方向是，水平旋转舵机向右，垂直 旋转舵机向上； 上面对未调焦的摄像头调整姿态的算法进行了阐述，对于调焦至f2时，控制器进行对 应计算时，将摄像头拍摄角度对应替换成9 1'，9 2'即可； 三、当检测到的手势为缩小手势或放大手势时，获取发起触摸动作的多个手指在触摸 屏上触碰的起始点和终止点坐标，由控制器计算出多个手指在滑动开始时所涵盖的中心区 域中心点的位置信息和滑动结束时所涵盖的中心区域中心点的位置变化信息，以及所涵盖 范围大小的变化比例，并由此计算出云台摄像头角度调整大小及焦距调整大小，将该控制 信息通过智能终端和云台摄像头的通信模块发给云台摄像头控制器，云台摄像头控制器将 该控制信息转换成控制云台摄像头水平和垂直姿态的舵机旋转的电信号，和控制焦距的云 台摄像头调焦马达转动的电信号，发给舵机和调焦马达调整云台摄像头的角度姿态和焦 距； 下面先以两点触控为例简单阐述阐述多点触控的实现算法： 以两指触控且两指间距由小变大为例；两指触碰的起始点及坐标分别为C3(x3, y3)， D4 (x4, y4);两指触碰的终止点及坐标分别是C5 (x5, y5), D6 (x6, y6); 分别计算视频内容放大倍数和可能存在的云台摄像头姿态调整：首先根据两指在触摸 屏上的触碰点在两指间距有小变大过程中，两指连线线段长度的变化计算放大倍数； 两指间距变化前，C3和D4间连线线段的长度L1和两指间距变化后，C5和D6间连线线 段的长度L2, L2与L1的比值就是视频内容变大的倍数，可以根据摄像头的参数信息，进一 步计算出摄像头焦距所需调整的数值； 之后，根据两指间距变化前后，C3和D4连线的中点E1在屏幕上的位置，与C4和D6连 线的中点E2在屏幕上的位置的变化，计算云台摄像头可能的姿态调整；这里需要特别说明 有两点：第一、算法的思路同滑动手势，即计算摄像头取景中心点H相对E1 (在摄像头整个 取景空间中的位置）的相对变化，得到H的新的位置；第二、E1和H相对位置在两指触控手 势发生前后的计算，分别在基于调焦前、调焦后的云台摄像头相应姿态下进行； 对于多点触控中的，三指至四指、五指操作，中心点的选取可以是所有参与操控手指在 触摸屏上所触动点围成的区域中心，计算该中心点的位置变化，并参照前面介绍的中心点 变化相应的算法，可以得到云台摄像头两个自由度舵机所需旋转的角度；对于调焦的计算 方法，可以有多种，其中比较简化的算法有两个：一个是多点所围成区域面积的变化倍数 开平方根，这等效于正方形和圆形的面积增加倍数是正方形边长或圆形直径增加倍数的平 方，而我们所要的结果基于两点触控的心理习惯，就是多点之间距离的变化倍数就是我们 期望视频内容变化的倍数；第二个算法是基于计算出的手指滑动前、后的触动点区域中心 点，各个触动点距离区域中心点的距离的变化倍数，对手指滑动前、后的两组变化倍数进行 加权平均，并对手指滑动前、后两个加权平均值予以比较，所得到的比值也可作为视频内容 所需要变化的倍数； 四、 当检测到的手势为双击时，首先由控制器从智能终端的存储模块中读取当前云台 摄像头姿态信息中的焦距调整信息，如果焦距已调至最大，则确认用户是希望恢复云台摄 像头的初始状态，即水平、垂直方向两个舵机的角度均归中，镜头调焦姿态也复位，控制器 发出舵机及调焦电机归中操作的控制信息；如果此时存储单元显示焦距尚没有调至最大， 则判断用户是希望将云台摄像头对准双击动作在触摸屏上触碰位置对应的视频内容处，即 对应的期望操作是将其至于显示单元的中心，并将此处影像放至最大；控制器根据从触摸 屏获取的双击动作点的位置信息，和视频显示窗口的大小及中心点信息，以及本地存储模 块中的云台摄像头设备属性信息计算出云台摄像头水平和垂直舵机需要旋转的角度，以及 云台摄像头调焦电机须动作至焦距调至最长；智能终端的控制器将此控制信息通过通信模 块发送给云台摄像头的控制器，对舵机和调焦马达进行相应控制； 相应的算法是： 对于触发事件发生时，云台摄像头已经调焦至最大的情况，执行的操作时二自由度云 台舵机回归中位，镜头调焦电机回到初始位置；对于云台摄像头尚未调焦至最大，假定此时 调焦状态是焦距f2,对应的云台摄像头水平方向摄像机角度是9 1'，0 2'，具体计算控制 信息算法如下： 假定双击触碰点及坐标是H(x8, y8),屏幕中心点及坐标是J(wl/2, hl/2),即J点在 x轴，y轴坐标值分别为视频显示窗口水平和垂直尺寸的一半，则云台摄像头需要执行的 姿态调整是，水平旋转舵机旋转角度为：(x7-Wl/2)/wl*0 1' ；垂直旋转舵机旋转角度为： (y7-hl/2)/hl* 0 2' ； 同时，调焦电机对应的操作是调焦至最大； 五、 当检测到的手势为拂动时，控制器根据获取到的拂动手指的轨迹和速度，计算出视 频内容需要移动的方位和距离，形成包含云台摄像头旋转调整角度的控制信息，发给云台 摄像头的控制器予以进一步执行；由于算法及处理流程完全可以前述算法和流程为基础略 加调整，这里不再详细说明。
2. 根据权利要求1所述的设备和方法，其特征在于，所述的云台摄像头姿态信息包括 控制云台摄像头旋转的云台的信息以及当前调焦大小信息；云台摄像头属性信息包括云台 摄像头的参数表，参数表至少包含以下信息：云台摄像头类型，镜头焦距和芯片尺寸；云台 信息包括：云台的自由度数量(本公开以二自由度为例进行详细说明），两个自由度上的控 制舵机的最大允许旋转角度，两个舵机的初始位置，两个舵机各自已旋转的角度值等。
3. 根据权利要求1所述的设备和方法，其特征在于，所述各触发事件结束后，控制器都 会根据从云台摄像头取回的更新后的姿态信息以至少包含一个矩形线框的形式通过显示 单元展现出来；用户能够很直观地通过矩形线框与当前视频显示窗口大小比例以及矩形线 框在窗口中所处位置理解到镜头调焦及云台摄像头两个自由度的舵机角度信息。
4. 根据权利要求3所述的设备和方法，其特征在于，控制器对于云台摄像头姿态信息 在当前视频窗口显示位置和矩形线框比例的计算，与二自由度云台的水平旋转舵机和垂直 旋转舵机当前的旋转角度和对应于该云台摄像头设备属性信息的存储模块中摄像角度对 照表中对应摄像角度值有关。
5. 根据权利要求4所述的设备和方法，其特征在于，所述摄像角度对照表是一个至少 包含以下信息的索引表：云台摄像头类型，镜头焦距，芯片尺寸和对应的摄像角度值； 根据权利要求1所述的设备和方法，其特征在于，如果在用户操作过程中的设定时间 内，如3秒钟，未检测到任何手势，则控制器不再继续在显示单元视频显示窗口上显示云台 摄像头姿态信息，避免影响用户的观看体验。
6. 根据权利要求1所述的设备和方法，其特征在于，智能终端还包括音频处理单元、麦 克风MIC和扬声器SPK和图像识别模块。
7. 根据权利要求7所述的设备和方法，其特征在于，智能终端的音频处理单元可以接 受来自麦克风MIC的用户语音控制信息，并将用户语音控制信息转换成控制器能够理解的 控制需求信息发给控制器，控制器将收到的控制需求信息转换并拆分成目标对象位置识别 信息和云台摄像头姿态调整控制信息，其中目标对象识别信息发送给图像识别模块，图像 识别模块据此从当前图像中提取目标对象在图像中的位置（即坐标）并返回给控制器，控制 器根据该位置信息，结合云台摄像头姿态调整控制信息生成能被云台摄像头控制器理解的 控制信息发给云台摄像头，由其进一步解释和转发执行。
【文档编号】G05D3/12GK104486543SQ201410741877
【公开日】2015年4月1日 申请日期:2014年12月9日 优先权日:2014年12月9日
【发明者】杨挺 申请人:北京时代沃林科技发展有限公司