目标跟踪系统和远程跟踪系统的制作方法

本发明涉及信息通信技术领域，尤其是涉及一种目标跟踪系统和远程跟踪系统。

背景技术：

视频终端在使用过程中，经常需要根据使用者的坐姿及位置调整终端的水平方向和俯仰角度，以达到最佳的使用效果，尤其在视频通话时，一旦身体移动，就必须调整终端角度，以便使人脸对准摄像头。

相关技术中，一般通过视频分析和声源定位等手段实现摄像头自动跟踪使用者，然而，在使用视频分析进行自动跟踪的时候，当摄像头中存在多个使用者的情况下，不能实现对特定使用者的识别和跟踪。

技术实现要素：

有鉴于此，本发明的目的在于提供一种目标跟踪系统和远程跟踪系统，以对多个目标中的指定目标进行识别和跟踪。

第一方面，本发明实施例提供了一种目标跟踪系统，包括：包含云台的底座和设置于底座上的终端；终端包括主控板和摄像头；云台和摄像头均与主控板通信连接；摄像头，用于采集图像，并将采集到的图像发送到主控板；主控板，用于从摄像头采集的图像中选择指定目标，基于指定目标的位置向云台发送调控信号；云台，用于基于调控信号调节底座的位姿，以使摄像头对指定目标进行图像采集。

在本发明较佳的实施例中，上述终端还包括：显示屏；显示屏和主控板通信连接；显示屏，用于通过主控板接收并显示摄像头采集的图像；主控板，还用于确定指定目标在显示屏的位置，判断位置与显示屏的边缘的距离是否小于预设的阈值；如果小于阈值，则向云台发送调控信号。

在本发明较佳的实施例中，上述云台为二维云台；云台用于基于调控信号对底座进行水平角度调节和/或俯仰角度调节。

在本发明较佳的实施例中，还包括：麦克风，麦克风与主控板通信连接；麦克风用于接收语音信号，将语音信号发送至主控板；主控板还用于基于语音信号判断指定目标的方位，基于方位向云台发送调控信号。

在本发明较佳的实施例中，上述麦克风包括四麦线性阵列和六麦环形阵列；四麦线性阵列设置于终端的外壳表面；六麦环形阵列设置于底座的外壳表面。

在本发明较佳的实施例中，上述方位包括水平方位和俯仰方位；主控板还用于根据六麦环形阵列接收的语音信号确定水平方位；根据四麦线性阵列接收的语音信号确定俯仰方位。

在本发明较佳的实施例中，上述主控板还用于如果语音信号包括预先设定的唤醒词，基于语音信号生成调控信号。

在本发明较佳的实施例中，上述底座还包括：控制手柄；控制手柄与主控板通信连接；控制手柄，用于接收用户的触控操作，基于触控操作向主控板发送调控信号；主控板，还用于将控制手柄发送的调控信号发送到云台。

在本发明较佳的实施例中，上述底座还包括：扬声器；扬声器与主控板通信连接；主控板，还用于基于指定目标的位置向扬声器发送预存的提示信息；扬声器，用于播放提示信息，以使指定目标根据提示信息进行操作。

第二方面，本发明实施例还提供一种远程跟踪系统，远程跟踪系统包括上述目标跟踪系统，还包括显示终端；显示终端与目标跟踪系统通信连接；目标跟踪系统用于向显示终端发送摄像头采集的图像；显示终端用于接收目标跟踪系统发送的图像，并显示图像。

本发明实施例带来了以下有益效果：

本发明实施例提供的一种目标跟踪系统和远程跟踪系统，在摄像头采集图像之后，主控板从图像中选择指定目标，基于指定目标的位置向云台发送调控信号，并由云台基于调控信号调节底座的位姿，以使摄像头对指定目标进行图像采集，可以在摄像头采集的图像包括多个目标时，对多个目标中的指定目标进行识别和跟踪。

本公开的其他特征和优点将在随后的说明书中阐述，或者，部分特征和优点可以从说明书推知或毫无疑义地确定，或者通过实施本公开的上述技术即可得知。

为使本公开的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。

附图说明

为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的一种目标跟踪系统的结构图；

图2为本发明实施例提供的一种目标跟踪系统的结构示意图；

图3为本发明实施例提供的一种目标跟踪系统的连接关系示意图；

图4为本发明实施例提供的一种水平位置调节方式的示意图；

图5为本发明实施例提供的一种远程跟踪系统的结构示意图。

图标：1-底座；11-云台；2-终端；21-主控板；22-摄像头；23-显示屏；24-麦克风；241-四麦线性阵列；242-六麦环形阵列；25-控制手柄；26-扬声器；100-目标跟踪系统；101-显示终端。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

目前，桌面视频终端在使用过程中，经常需要根据使用者的坐姿及位置调整终端的水平方向和俯仰角度，以达到最佳的使用效果，尤其在视频通话时，一旦身体移动，就必须调整终端角度，以便使人脸对准摄像头。视频终端中，通过使用视频分析和声源定位等手段，实现摄像头自动跟踪使用者的方法已经比较多，但是仍然存在以下不足之处：(1)在使用视频分析进行跟踪的时候，当存在多个使用者的情况下，不能实现对特定使用者的识别和跟踪。(2)在使用声源定位进行跟踪的时候，不能实现二维空间(上下左右)的跟踪定位。(3)当不能自动定位使用者时，必须手工调节，操作比较繁琐。基于此，本发明实施例提供的一种目标跟踪系统和远程跟踪系统，属于信息通信的技术领域，特别涉及一种在桌面视频终端中，通过人脸识别、声源定位、唤醒词识别、语音指令等手段，实现终端对特定使用者的全方位自动跟踪或人工跟踪。

为便于对本实施例进行理解，首先对本发明实施例所公开的一种目标跟踪系统进行详细介绍。

实施例1

本发明实施例提供了一种目标跟踪系统，参见图1所示的一种目标跟踪系统的结构图，该目标跟踪系统包括：包含云台11的底座1和设置于底座1上的终端2；终端2包括主控板21和摄像头22；云台11和摄像头22均与主控板21通信连接。

摄像头22，用于采集图像，并将采集到的图像发送到主控板21。

摄像头设置在终端的正面外壳上，用于采集图像，并将采集的图像发送到终端内部的主控板上。摄像头和主控板通信连接，通信连接的方式可以为有线或者无线连接。

主控板21，用于从摄像头22采集的图像中选择指定目标，基于指定目标的位置向云台11发送调控信号。

摄像头自身并不具有目标追踪的功能，目标由用户预先设置，一般是人脸。目标追踪，即基于目标的位置移动终端，使得终端正对着目标。主控板在接收到摄像头采集的图像后，会从图像中选择指定目标，指定目标的类型和样貌由用户设定。举例来说，预先设置用户a的人脸为指定目标，那么，如果摄像头采集的图像包括用户a的人脸，主控板就会根据用户a的人脸的位置判断终端的正面是否对准指定目标(用户a的人脸)。如果没有对准，就会向云台发送调控信号。

这里需要说明的是，无论图像包括的目标种类是否相同，主控板都会从所有目标中确定指定目标。以如果用户a的人脸为执行目标为例，如果图像包括的目标种类不相同，图像包括了用户a的人脸和用户a手机，人脸与手机的种类并不相同，主控板会从用户a的人脸和用户a手机中选择指定目标(即用户a的人脸)；如果图像包括的目标种类相同，图像包括了用户a的人脸和用户b的人脸，这两个目标的种类均为人脸(即两个目标的种类相同)，主控板会也从用户a的人脸和用户b的人脸中选择指定目标(即用户a的人脸)。

摄像头在从图像中选择指定目标后，会基于指定目标在图像中的位置。向云台发送调控信号，以调整终端的位置。例如，指定目标在图像中靠左，会通过调控信号让云台向右转动，以使指定目标在图像中的中间位置，保证终端的正面对准指定目标。

除此以外，如果预先设定了终端与指定目标的期望位置，那么，主控板就会基于指定目标在图像中的位置和终端与指定目标的期望位置生成调整信息，以使云台按照上述调整信息调节底座的位姿，使终端与位于期望位置。

云台11，用于基于调控信号调节底座1的位姿，以使摄像头22对指定目标进行图像采集。

云台是支撑设备，用于支撑终端，通过调节云台的位置，可以调节底座的位姿，从而调节终端和摄像头的位置，以使终端和摄像头对准指定目标，使摄像头对指定目标进行图像采集。

本发明实施例提供的一种目标跟踪系统，在摄像头采集图像之后，主控板从图像中选择指定目标，基于指定目标的位置向云台发送调控信号，并由云台基于调控信号调节底座的位姿，以使摄像头对指定目标进行图像采集，可以在摄像头采集的图像包括多个目标时，对多个目标中的指定目标进行识别和跟踪。

实施例2

本发明实施例2提供另一种目标跟踪系统，参见图2所示的一种目标跟踪系统的结构示意图和图3所示的一种目标跟踪系统的连接关系示意图，如图2和图3所示，上述目标跟踪系统还包括显示屏23，显示屏23和主控板21通信连接；

显示屏23，用于通过主控板21接收并显示摄像头22采集的图像。

显示屏可以为oled(organiclight-emittingdiode，有机电激光显示)屏或lcd(liquidcrystaldisplay，液晶显示)屏，显示屏设置在终端的正前方，摄像头的下方，并与用户对应；主控板在接收摄像头采集的图像后，将该图像发送至显示屏，显示屏用于接收并显示主控板发送的图像。

主控板21，还用于确定指定目标在显示屏23的位置，判断位置与显示屏23的边缘的距离是否小于预设的阈值；如果小于阈值，则向云台11发送调控信号。

主控板如果能通过摄像头识别目标(这里以人脸为例)，首先通过人脸比对确定是否为事先设定的使用者(即指定目标，需要事先录入使用者的人脸图像)，如果是，则根据屏幕自动调节算法实现对使用者的跟踪。自动调节算法可以通过步骤a1-步骤a5执行：

步骤a1，首先确定人脸在显示屏中的宽度和高度，以及在显示屏中的位置。

步骤a2，当人脸边缘与显示屏的边缘的距离小于屏幕尺寸的一定预设的阈值时(该比例可以设置，优选为10％)，需要启动对云台的水平或俯仰调节，将人脸重新定位到中心位置。

本实施例中的云台可以为二维云台，二维云台可以在水平方向或垂直方向调节底座的位姿，即当主控板发现人脸边缘与显示屏的边缘的距离小于预设的阈值时，就会向云台发送调控信号，云台根据该调控信号对底座进行水平角度调节或俯仰角度调节。

步骤a3，水平调节的角度根据摄像头的最大水平视角、屏幕尺寸、人脸在屏幕中的水平位置，根据三角函数计算确定。

参见图4所示的一种水平位置调节方式的示意图，如图4所示，水平调节角度x计算方法如下：假定摄像头水平最大视角为a，屏幕水平尺寸h、人脸中心与屏幕边缘的距离为c，人脸与摄像头的距离a＝(h/2)/tan(a/2)，人脸水平中心与屏幕水平中心的距离b＝h/2–c，水平调节角度x＝arctan(b/a)。

步骤a4，俯仰调节角度的计算方法与水平调节算法类似，这里不再赘述。

步骤a5，当检测到多张人脸时，可以选择以事先设定的使用者脸部为准、临时指定的人脸为准、最大人脸为准(以这张人脸中心为基准进行调整)，或兼顾所有人脸(以所有人脸的几何中心为基准进行调整)。

当检测到多张人脸时，即主控板检测存在多个与指定目标相同类型的目标，需要从这些相同类型的目标中选择指定目标，指定目标的选定方法有：用户指定的一个目标作为指定目标(即临时指定的人脸)，占比最大的目标作为指定目标(即最大人脸)，或者兼顾所有相同类型的目标(即以所有人脸的几何中心为基准进行调整)。

如果终端如果无法检测到人脸，则需要使用声学方法定位使用者，即通过麦克风进行定位，如图2和图3所示，上述目标跟踪系统还包括：麦克风，麦克风24与主控板21通信连接；

麦克风24用于接收语音信号，将语音信号发送至主控板21；主控板21还用于基于语音信号判断指定目标的方位，基于方位向云台11发送调控信号。

麦克风主要用于通过语音信号对用户采用声学的方法定位，麦克风采集语音信号后发送至主控板，主控板基于语音信号对用户进行定位。具体来说，麦克风可以分为四麦线性阵列和六麦环形阵列，以采集语音信号。如图2和图3所示，麦克风24包括四麦线性阵列241和六麦环形阵列242；四麦线性阵列241设置于终端2的外壳表面；六麦环形阵列242设置于底座1的外壳表面。

上述方位包括水平方位和俯仰方位；主控板还用于根据六麦环形阵列接收的语音信号确定水平方位；根据四麦线性阵列接收的语音信号确定俯仰方位。

在底座设置水平方向的六麦环形阵列，六麦环形阵列由水平方向环形区域均匀分布的6颗全向麦克组成，其中一颗在正前方。6个麦克共同完成水平方向360度范围内声源方位角的检测，可定位到0度(正前方)、60度、120度、180度、240度、300度等顺时针方向的六个方位角之一。

在终端左侧设置纵向四麦线性阵列，纵向四麦线性阵列由4颗纵向均匀分布的全向麦克组成。4个麦克共同完成对纵向180度范围内声源方位角的检测，可定位到30度(斜下方)、90度(垂直于阵列方向)和150度(斜上方)三个方位角之一。

当麦克风检测得到语音信号包括预先设定的唤醒词时，主控板可以基于语音信号生成调控信号。例如，当麦克风检测到唤醒词(唤醒词需要事先设置)时，主控板对四麦线性阵列和六麦环形阵列的输出进行分析，据多个麦克的信号相关性和信号时延进行综合分析和计算，确定使用者在水平和俯仰的方位角。当六麦环形阵列检测到使用者所在的水平方位角时，调节云台水平旋转到使用者所在的方位角。当四麦线性阵列检测到使用者所在的俯仰方位角时，调节云台俯仰角到使用者所在的方位角。

终端还可以直接通过用户的语音调节底座的位姿，主控板还用于如果语音信号包括预先设定的唤醒词，基于语音信号生成调控信号。

当麦克阵列检测到使用者说出唤醒词(唤醒词需要事先设置，如“小佳小佳”)时激活语音指令，这时使用者可以通过直接说出语音指令，实现对云台的控制。通过“高一点”、“低一点”等模糊的语音信号，或“向上15度”、“向下15度”、“向上30度”、“向下30度”等精确的语音信号，实现对云台的俯仰调节。通过“向左”“向右”等模糊控制指令，或“向左15度”、“向右15度”、“向左60度”、“向右60度”等精确控制指令，实现对云台的水平调节。通过“结束”、“再见”等语音信号(指令可设置)，退出语音指令状态。主控板可以配置每次发出模糊控制指令时，云台水平和俯仰调整的角度。

除此以外，用户还可以通过控制手柄手动调节目标跟踪系统的底座的位姿，如图2和图3所示，底座1还包括：控制手柄25；控制手柄25与主控板21通信连接；控制手柄25，用于接收用户的触控操作，基于触控操作向主控板21发送调控信号；主控板21，还用于将控制手柄25发送的调控信号发送到云台11。

用户可以直接通过控制手柄对底座进行“上下左右”的手动调节，用户对控制手柄产生触控操作，控制手柄接收该控制操作并生成调控信号，即自动追踪系统检测到控制手柄向“上下左右”其中一个方向扳动的触控操作时，分别控制云台进行“顺时钟”、“逆时针”、“俯”、“仰”运动。

除此以外，如图2和图3所示，目标跟踪系统还包括：扬声器26；扬声器26与主控板21通信连接；主控板21，还用于基于指定目标的位置向扬声器26发送预存的提示信息；扬声器26，用于播放提示信息，以使指定目标根据提示信息进行操作。

目标跟踪系统通过摄像头或者麦克风完成对用户的定位后，可以通过扬声器语音提示用户挪动自身的位置，以使用户与终端的正面对应。

本发明实施例提供的上述方法，通过人脸识别，实现对一个或多个使用者的定位和跟踪；通过声源定位及唤醒词识别，实现对使用者的定位和跟踪；通过语音指令，实现对终端的语音控制；通过控制手柄，实现对终端的手动控制。

实施例3

本发明实施例提供了一种远程跟踪系统，参见图5所示的一种远程跟踪系统的结构示意图，该系统包括：上述目标跟踪系统100，还包括显示终端101；显示终端101与目标跟踪系统100通信连接；

目标跟踪系统100用于向显示终端101发送摄像头采集的图像；

显示终端101用于接收目标跟踪系统100发送的图像，并显示图像。

显示终端与目标跟踪系统通讯连接，当目标跟踪系统的摄像头采集到图像时，目标跟踪系统可以将该图像发送至显示终端进行显示。显示终端可以为手机、平板电脑、电脑、等具有显示功能的设备。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的远程跟踪系统的具体工作过程，可以参考前述实施例中的对应过程，在此不再赘述。

另外，在本发明实施例的描述中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。

在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。

最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。