目标追踪方法和电子设备与流程

本技术涉及电子，具体涉及一种目标追踪方法和电子设备。

背景技术：

1、目标追踪(visual object tracking)，也称为目标跟踪，是指在视频流的各帧图像中定位某一目标。目前，目标追踪被应用于各个领域和场景，例如，自动驾驶、体育赛事转播、安防监控、无人机追踪拍摄，以及手机等电子设备的拍摄预览场景和录像场景等。

2、以电子设备拍摄预览和录像场景下的目标追踪为例：界面中显示某一帧图像，用户点击图像中的目标，电子设备识别用户的点击位置，根据用户的点击位置识别待追踪的目标，在后续的帧图像中，对该目标进行搜索追踪。

3、然而，相关技术中的目标追踪方法对目标追踪的准确性较差，影响用户体验。

技术实现思路

1、本技术提供了一种目标追踪方法和电子设备，能够提高目标追踪的准确性，提高用户体验。

2、第一方面，本技术提供一种目标追踪方法，包括：显示第一拍摄界面，第一拍摄界面的第一区域用于显示摄像头拍摄的视频流；当第一区域显示视频流的第n帧图像时，接收用户在第n帧图像的第一位置输入的第一操作，n为正整数，第n帧图像中包含目标；响应于第一操作，根据第一位置，在第n帧图像中确定第一目标区域，第一目标区域中包含目标的第一部分；根据第一目标区域，在第n帧图像中确定第二目标区域，第二目标区域中包含的目标的第二部分，第二部分的面积大于第一部分的面积；基于第二目标区域，对视频流的第n+x帧图像中的目标进行追踪，x为正整数。

3、可选的，第一操作例如可以为点击操作，第一位置也即点击位置。

4、可选的，目标的第一部分和第二部分均可以为目标的部分，也可以为目标的全部。可选的，可以对第一目标区域的尺寸和/或位置进行调整，得到第二目标区域。

5、本技术第一方面提供的目标追踪方法，根据第一目标区域确定第二目标区域，使第二目标区域中包含的目标的第二部分的面积大于第一目标区域中包含的第一部分的面积。第二部分的面积大于第一部分的面积，则第二目标区域包含的目标特征(即目标的特征)比第一目标区域包含的目标特征多，因而基于第二目标区域进行目标追踪时，从第二目标区域提取得到的模板特征更多，能够提高追踪的准确性。而且，第二目标区域包含的目标特征多，则其包含显著特征的概率更大，因而从第二目标区域提取得到的模板特征更具有区分度，从而能够进一步提高目标追踪的准确性。

6、一种可能的实现方式中，根据第一目标区域，在第n帧图像中确定第二目标区域，包括：根据第一目标区域，在第n帧图像中确定感兴趣区域，感兴趣区域中包含第一目标区域；对感兴趣区域进行图像分割，得到多个子区域；分别确定多个子区域的最小外接矩形；分别确定多个候选区域与第一目标区域的重叠率，得到与多个候选区域一一对应的多个重叠率，候选区域为最小外接矩形在第n帧图像中限定出的区域；将多个重叠率中的最大重叠率对应的候选区域确定为第二目标区域。

7、图像分割得到多个子区域，每个子区域包含一种对象。最大重叠率对应的候选区域也即包含的对象为上述目标的区域，因而将该区域确定为第二目标区域。图像分割能够按照对象的特性，将同一对象的部分划分为一个子区域。基于子区域与初始目标区域的重叠情况，即确定出包含目标的子区域，从而确定出第二目标区域。通过该实现方式中的方法能够简单、准确的确定出第二目标区域。

8、一种可能的实现方式中，基于第二目标区域，对视频流的第n+x帧图像中的目标进行追踪，包括：若最大重叠率大于预设重叠阈值，则基于第二目标区域，对视频流的第n+x帧图像中的目标进行追踪。

9、一种可能的实现方式中，该方法还包括：若最大重叠率小于或等于预设重叠阈值，则基于第一目标区域，对视频流的第n+x帧图像中的目标进行追踪。

10、最大重叠率也即第二目标区域与第一目标区域的重叠率。该实现方式中，将最大重叠率与预设重叠阈值比较，在最大重叠率大于预设重叠阈值时，才将将第二目标区域作为最终目标追踪时的目标区域。这样，能够防止目标追踪时的目标区域过于偏离第一目标区域，即过于偏离用户的点击位置，防止影响用户原本的选择给用户带来不好的体验。

11、一种可能的实现方式中，对感兴趣区域进行图像分割，得到多个子区域，包括：对感兴趣区域进行高斯模糊处理，得到模糊图像；对模糊图像进行基于颜色的k均值聚类，得到多个聚类；以多个聚类分别作为掩模，对模糊图像进行二值化掩码处理，得到与多个聚类一一对应的多张二值化掩码图；基于多张二值化掩码图，执行取连通域操作，得到多个子区域。

12、该实现方式中，通过高斯模糊处理，能够滤除感兴趣区域中的非重点内容，保留重点内容，后续主要对重点内容进行处理，减小运算量，从而提高算法运行效率。

13、一种可能的实现方式中，基于多张二值化掩码图，执行取连通域操作，包括：对多张二值化掩码图分别进行中值滤波处理，得到多张滤波图像；基于多张滤波图像，执行取连通域操作，得到多个子区域。

14、该实现方式中，中值滤波处理能够滤除图像中较小的离散区域，减少图像处理噪声，提高图像处理效率，且能够提高图像处理的准确度。

15、一种可能的实现方式中，基于多张滤波图像，执行取连通域操作，得到多个子区域：分别对多张滤波图像执行取连通域操作，得到多个连通域；分别计算多个连通域的面积；滤除多个连通域中面积小于面积阈值的连通域，得到多个子区域。

16、该实现方式中，滤除面积较小的连通域，减小这些连通域对图像处理的影响，一方面减小算法运算量，提高算法运行效率，另一方面能够减小这些连通域对图像处理结果的干扰，提高处理结果的准确性。

17、一种可能的实现方式中，分别确定多个候选区域与第一目标区域的重叠率，得到与多个候选区域一一对应的多个重叠率，包括：分别计算多个候选区域与第一目标区域的交并比，得到多个重叠率。

18、该实现方式中，通过计算交并比能够简单快速的确定出重叠率。

19、一种可能的实现方式中，基于第二目标区域，对视频流的第n+x帧图像中的目标进行追踪，包括：对第二目标区域进行特征提取，得到模板特征；根据模板特征，确定视频流的第n+x帧图像中目标的位置和对应的置信度。

20、一种可能的实现方式中，基于第二目标区域，对视频流的第n+x帧图像中的目标进行追踪之前，该方法还包括：确定第二目标区域的追踪稳定性满足预设条件。

21、一种可能的实现方式中，确定第二目标区域的追踪稳定性满足预设条件，包括：基于第n帧图像，对第二目标区域进行数据增广，得到多个变换区域；对多个变换区域分别进行目标搜索，确定目标在各个变换区域中的位置和对应的置信度；若确定多个变换区域中的第一变换区域的个数大于预设数量，则确定第二目标区域的追踪稳定性满足预设条件，第一变换区域对应的置信度大于置信度阈值。

22、该实现方式能够提高追踪稳定性，具体的可以参见第二方面中的描述。

23、第二方面，本技术提供一种目标追踪方法，包括：显示第一拍摄界面，第一拍摄界面的第一区域用于显示摄像头拍摄的视频流；当第一区域显示视频流的第n帧图像时，接收用户在第n帧图像中的第一位置输入的第一操作，n为正整数；响应于第一操作，根据第一位置，在第n帧图像中确定第三目标区域，第三目标区域中包含目标的部分或全部；若第三目标区域的追踪稳定性满足预设条件，则基于第三目标区域，对视频流的第n+x帧图像中的目标进行追踪，x为正整数。

24、本技术第二方面提供的目标追踪方法，在获取第三目标区域后，对初始目标的追踪稳定性进行检测，若追踪稳定性满足预设条件，则对目标区域进行特征提取，开启目标追踪；否则不开启目标追踪。这样，开启目标追踪后，追踪丢失的可能性较小，提高了目标追踪的稳定性和持续性，提高用户体验。

25、一种可能的实现方式中，该方法还包括：基于第n帧图像，对第三目标区域进行数据增广，得到多个变换区域；对多个变换区域分别进行目标搜索，确定目标在各个变换区域中的位置和对应的置信度；若多个变换区域中的第一变换区域的个数大于预设数量，则确定第三目标区域的追踪稳定性满足预设条件；第一变换区域对应的置信度大于置信度阈值。

26、该实现方式中，通过对第三目标区域进行数据增广，得到多个变换区域，对变换区域进行目标追踪。这相当于用变换区域模拟视频流中后续追踪帧内的追踪区域，并模拟对第三目标区域中目标进行追踪的过程，判断追踪的稳定性。若稳定，说明后续实际追踪成功率较高，不容易追踪丢失，因而可以开启目标追踪。若不稳定，说明后续实际追踪成功率较低，容易追踪丢失，因而不开启目标追踪。如此，一方面若开启追踪，追踪稳定性较高，提高用户体验。另一方面，若不开启追踪，能够防止浪费资源。该方法能够简单、准确的判断追踪稳定性。

27、一种可能的实现方式中，基于第n帧图像，对第三目标区域进行数据增广，得到多个变换区域，包括：在第n帧图像中，对第三目标区域的边框进行尺度变换和平移变换中的至少一项处理，得到多个变换框；将各个变换框限定出的区域确定为变换区域。

28、该实现方式中，通过尺度变换和平移变换能够简单、有效地实现数据增广。

29、一种可能的实现方式中，平移变换的方向包括垂直向上、垂直向下、水平向左、水平向右、沿对角线向左上和沿对角线向右下中的至少一种。

30、一种可能的实现方式中，根据第一位置，在第n帧图像中确定第三目标区域，包括：根据第一位置，按照预设尺寸，在所述第n帧图像中确定第三目标区域。

31、也就是说，第三目标区域可以为上述第一方面提供的方法中的第一目标区域。该实现方式根据第一位置，按照预设尺寸能够快速地确定第三目标尺寸，能够提高算法运行效率。

32、一种可能的实现方式中，根据第一位置，在第n帧图像中确定第三目标区域，包括：根据第一位置，按照预设尺寸，在第n帧图像中确定第一目标区域，第一目标区域中包含目标的第一部分；根据第一目标区域，在第n帧图像中确定第三目标区域，第三目标区域中包含的目标的第二部分，第二部分的面积大于第一部分的面积。

33、一种可能的实现方式中，根据第一目标区域，在第n帧图像中确定第三目标区域，包括：根据第一目标区域，在第n帧图像中确定感兴趣区域，感兴趣区域中包含第一目标区域；对感兴趣区域进行图像分割，得到多个子区域；分别确定多个子区域的最小外接矩形；分别确定多个候选区域与第一目标区域的重叠率，得到与多个候选区域一一对应的多个重叠率，候选区域为最小外接矩形在第n帧图像中限定出的区域；将多个重叠率中的最大重叠率对应的候选区域确定为第三目标区域。

34、也就是说，第三目标区域可以为上述第一方面提供的方法中的第二目标区域。该实现方式能够提高追踪准确性，具体的参见第一方面的描述。

35、第三方面，本技术提供一种装置，该装置包含在电子设备中，该装置具有实现上述第一方面及上述第一方面的可能实现方式中电子设备行为的功能。功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块或单元。例如，接收模块或单元、处理模块或单元等。

36、第四方面，本技术提供一种电子设备，电子设备包括：处理器、存储器和接口；处理器、存储器和接口相互配合，使得电子设备执行第一方面或第二方面的技术方案中任意一种方法。

37、可选的，该处理器可以为中央处理器(central processing unit，cpu)。

38、第五方面，本技术提供一种芯片，包括处理器。处理器用于读取并执行存储器中存储的计算机程序，以执行第一方面及其任意可能的实现方式中的方法，或者执行第二方面及其任意可能的实现方式中的方法。

39、可选的，芯片还包括存储器，存储器与处理器通过电路或电线连接。

40、进一步可选的，芯片还包括通信接口。

41、第六方面，本技术提供一种计算机可读存储介质，计算机可读存储介质中存储了计算机程序，当计算机程序被处理器执行时，使得该处理器执行第一方面或第二方面的技术方案中任意一种方法。

42、第七方面，本技术提供一种计算机程序产品，计算机程序产品包括：计算机程序代码，当计算机程序代码在电子设备上运行时，使得该电子设备执行第一方面或第二方面的技术方案中任意一种方法。