基于目标特征的抓拍优选方法、装置、计算机设备及介质与流程

1.本发明涉及图像处理领域，更具体地说是一种基于目标特征的抓拍优选方法、装置、计算机设备及介质。


背景技术：

2.随着技术的发展以及对于图像技术处理要求的提高，在一个应用场景下，一个拍摄设备能够获取的图像数据量呈几何式增加。而目前大多数的拍摄设备只是单纯的采集的图像数据进行存储，导致在图像数据应用的过程中，才会发现由存在较多低质量的图像数据，导致采集的图像数据整体的数据完整性差、功能可用性较低。
3.目前虽然也穿在图像优选的手段，但目前图片优选仅仅通过目标检测的置信度来进行判断，去重效果不佳。


技术实现要素：

4.本发明的目的在于克服现有技术的不足，提供基于目标特征的抓拍优选方法、装置、计算机设备及介质。
5.为实现上述目的，本发明采用以下技术方案：
6.一方面，基于目标特征的抓拍优选方法，所述方法包括：
7.创建特征链表和图片链表；
8.根据检测到的目标，生成目标事件，所述目标事件包括类别、置信度、地址、目标在图像中所处的位置；
9.通过预先训练好的目标识别模型对目标图像进行目标特征提取，以得到目标图像的特征向量；
10.从特征链表中判断特征向量是否为新的目标特征；
11.若为新的目标特征，则将特征向量添加至特征链表进行缓存，并将特征向量与目标事件的地址相绑定；
12.根据目标在图像中所处的位置，从目标特征提取的同一时刻的全局图中裁剪出目标局部图片；
13.将目标局部图片添加至图片链表中进行缓存，并将目标局部图片与特征向量相绑定；
14.启动目标事件的优选定时器；
15.判断优选定时器是否超时；
16.若超时，则根据置信度从特征链表和图片链表中分别提取优选地特征向量和对应的目标局部图片。
17.其进一步技术方案为：所述的从特征链表中判断特征向量是否为新的目标特征之后，还包括:
18.若不是新的目标特征，则判断目标事件置信度是否更高；
19.若更高，则用特征向量替换特征链表中原特征信息；
20.删除图片链表中相同目标图片。
21.其进一步技术方案为：所述的判断目标事件置信度是否更高之后，还包括：
22.若不是更高，则删除目标事件。
23.其进一步技术方案为：所述的根据目标在图像中所处的位置，从目标特征提取的同一时刻的全局图中裁剪出目标局部图片之后，还包括：
24.对裁剪出的目标局部图片进行格式转换。
25.第二方面，基于目标特征的抓拍优选装置，所述装置包括创建单元、生成单元、提取单元、第一判断单元、第一添加绑定单元、裁剪单元、第二添加绑定单元、启动单元、第二判断单元以及优选单元；
26.所述创建单元，用于创建特征链表和图片链表；
27.所述生成单元，用于根据检测到的目标，生成目标事件，所述目标事件包括类别、置信度、地址、目标在图像中所处的位置；
28.所述提取单元，用于通过预先训练好的目标识别模型对目标图像进行目标特征提取，以得到目标图像的特征向量；
29.所述第一判断单元，用于从特征链表中判断特征向量是否为新的目标特征；
30.所述第一添加绑定单元，用于将特征向量添加至特征链表进行缓存，并将特征向量与目标事件的地址相绑定；
31.所述裁剪单元，用于根据目标在图像中所处的位置，从目标特征提取的同一时刻的全局图中裁剪出目标局部图片；
32.所述第二添加绑定单元，用于将目标局部图片添加至图片链表中进行缓存，并将目标局部图片与特征向量相绑定；
33.所述启动单元，用于启动目标事件的优选定时器；
34.所述第二判断单元，用于判断优选定时器是否超时；
35.所述优选单元，用于根据置信度从特征链表和图片链表中分别提取优选地特征向量和对应的目标局部图片。
36.其进一步技术方案为：所述装置还包括第三判断单元、替换单元以及第一删除单元；
37.所述第三判断单元，用于判断目标事件置信度是否更高；
38.所述替换单元，用于用特征向量替换特征链表中原特征信息；
39.所述第一删除单元，用于删除图片链表中相同目标图片。
40.其进一步技术方案为：所述装置还包括第二删除单元；
41.所述第二删除单元，用于删除目标事件。
42.其进一步技术方案为：所述装置还包括格式转换单元；
43.所述格式转换单元，用于对裁剪出的目标局部图片进行格式转换。
44.第三方面，一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述的方法步骤。
45.第四方面，一种存储介质，其特征在于，所述存储介质存储有计算机程序，所述计
算机程序包括程序指令，所述程序指令被处理器执行时，使得所述处理器执行如上述的方法步骤。
46.本发明与现有技术相比的有益效果是：本发明通过预先训练好的目标识别模型对目标图像进行目标特征提取，并针对目标特征和目标局部图片进行缓存和对比，进而提升了目标图片优选的效果。
47.上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明技术手段，可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征及优点能够更明显易懂，以下特举较佳实施例，详细说明如下。
附图说明
48.为了更清楚地说明本发明实施例技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
49.图1为本发明具体实施例提供的基于目标特征的抓拍优选方法的流程图；
50.图2为本发明具体实施例提供的基于目标特征的抓拍优选装置的示意性框图；
51.图3为本发明具体实施例提供的一种计算机设备的示意性框图。
具体实施方式
52.为了更充分理解本发明的技术内容，下面结合具体实施例对本发明的技术方案进一步介绍和说明，但不局限于此。
53.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.应当理解，当在本说明书和所附权利要求书中使用时，术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
55.还应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
56.还应当进一步理解，在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
57.本发明具体实施例提供了一种基于目标特征的抓拍优选方法，如图1所示，该方法包括以下步骤：
58.s10、创建特征链表和图片链表。
59.特征链表和图片链表是分别用来缓存目标的特征向量和目标局部图片。特征链表和图片链表中分别缓存有不止一个目标的特征向量和目标局部图片，但针对每个目标，特征链表和图片链表中均能找对应的特征向量和目标局部图片。
60.s20、根据检测到的目标，生成目标事件，目标事件包括唯一序列号、类别(包括人
脸、人体、机动车和非机动车等)、置信度(范围从0-100)、地址、目标在图像中所处的位置和时间戳。
61.s30、通过预先训练好的目标识别模型对目标图像进行目标特征提取，以得到目标图像的特征向量。
62.具体地，首先使用insightface方法，进行目标模型(举例人脸模型)训练，并生成objectmodeltvt，然后将此模型加载到系统，最后输入目标图片到objectmodeltvt，输出目标图像的特征向量。
63.s40、从特征链表中判断特征向量是否为新的目标特征，若是，则执行步骤s50，若否，则执行步骤s120。
64.s50、特征向量添加至特征链表进行缓存，并将特征向量与目标事件的地址相绑定，形成一一对应关系。
65.s60、根据目标在图像中所处的位置，从目标特征提取的同一时刻的全局图中裁剪出目标局部图片。
66.根据目标在图像中所处的位置，从同一时刻的yuv格式的全局图中裁剪出yuv格式目标局部图片。
67.s70、对裁剪出的目标局部图片进行格式转换。
68.通过jpg编码，将yuv格式目标局部图片编码成jpg格式的图片。
69.s80、将目标局部图片添加至图片链表中进行缓存，并将目标局部图片与特征向量相绑定。
70.将通过jpg编码的目标局部图片添加至图片链表中进行缓存，并将目标局部图片与特征向量相绑定，形成一一对应关系。
71.s90、启动目标事件的优选定时器。
72.为每一个目标事件的特征向量启动优选定时器。优选定时器的作用是：在指定的时间内输出优选结果。举例，定时器超时时间设为5秒钟，目标人脸在摄像机监控范围内停留了5分钟，系统将在5秒钟内输出最优的目标人脸图片，不会等到5分钟后才输出优选图片。
73.s100、判断优选定时器是否超时，若是，则执行步骤s110，若否，则进行继续等待直至优选定时器超时。
74.s110、根据置信度从特征链表和图片链表中分别提取优选地特征向量和对应的目标局部图片。
75.由于在特征链表中缓存的特征向量与目标事件的地址相绑定的，在图片链表中缓存的目标局部图片与特征向量相绑定的，因此，通过绑定关系，再根据置信度，可以找到针对同一目标在图片链表中缓存的目标局部图片效果最好的一张。
76.s120、判断目标事件置信度是否更高，若是，则执行步骤s130，若否，则执行步骤s150。
77.s130、用特征向量替换特征链表中原特征信息。
78.如果当前的目标事件置信度更高，那么则替换掉特征链表中原特征信息。
79.s140、删除图片链表中相同目标图片。
80.s150、删除目标事件，并跳转到步骤s60。
81.通过预先训练好的目标识别模型对目标图像进行目标特征提取，并针对目标特征和目标局部图片进行缓存和对比，进而提升了目标图片优选的效果。
82.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。
83.对应于上述的基于目标特征的抓拍优选方法，本发明具体实施例还提供了一种基于目标特征的抓拍优选装置。
84.如图2所示，基于目标特征的抓拍优选装置1，包括创建单元10、生成单元20、提取单元30、第一判断单元40、第一添加绑定单元50、裁剪单元60、第二添加绑定单元70、启动单元80、第二判断单元90以及优选单元100。
85.创建单元10，用于创建特征链表和图片链表。
86.特征链表和图片链表是分别用来缓存目标的特征向量和目标局部图片。特征链表和图片链表中分别缓存有不止一个目标的特征向量和目标局部图片，但针对每个目标，特征链表和图片链表中均能找对应的特征向量和目标局部图片。
87.生成单元20，用于根据检测到的目标，生成目标事件，目标事件包括类别、置信度、地址、目标在图像中所处的位置。
88.提取单元30，用于通过预先训练好的目标识别模型对目标图像进行目标特征提取，以得到目标图像的特征向量。
89.具体地，首先使用insightface方法，进行目标模型(举例人脸模型)训练，并生成objectmodeltvt，然后将此模型加载到系统，最后输入目标图片到objectmodeltvt，输出目标图像的特征向量。
90.第一判断单元40，用于从特征链表中判断特征向量是否为新的目标特征。
91.第一添加绑定单元50，用于将特征向量添加至特征链表进行缓存，并将特征向量与目标事件的地址相绑定。
92.裁剪单元60，用于根据目标在图像中所处的位置，从目标特征提取的同一时刻的全局图中裁剪出目标局部图片。
93.根据目标在图像中所处的位置，从同一时刻的yuv格式的全局图中裁剪出yuv格式目标局部图片。
94.第二添加绑定单元70，用于将目标局部图片添加至图片链表中进行缓存，并将目标局部图片与特征向量相绑定。
95.启动单元80，用于启动目标事件的优选定时器。
96.为每一个目标事件的特征向量启动优选定时器。优选定时器的作用是：在指定的时间内输出优选结果。举例，定时器超时时间设为5秒钟，目标人脸在摄像机监控范围内停留了5分钟，系统将在5秒钟内输出最优的目标人脸图片，不会等到5分钟后才输出优选图片。
97.第二判断单元90，用于判断优选定时器是否超时。
98.优选单元100，用于根据置信度从特征链表和图片链表中分别提取优选地特征向量和对应的目标局部图片。
99.由于在特征链表中缓存的特征向量与目标事件的地址相绑定的，在图片链表中缓
存的目标局部图片与特征向量相绑定的，因此，通过绑定关系，再根据置信度，可以找到针对同一目标在图片链表中缓存的目标局部图片效果最好的一张。
100.在一些实施例中，装置还包括第三判断单元110、替换单元120以及第一删除单元130。
101.第三判断单元110，用于判断目标事件置信度是否更高；
102.替换单元120，用于用特征向量替换特征链表中原特征信息；
103.如果当前的目标事件置信度更高，那么则替换掉特征链表中原特征信息。
104.第一删除单元130，用于删除图片链表中相同目标图片。
105.在一些实施例中，装置还包括第二删除单元140。
106.第二删除单元140，用于删除目标事件。
107.在一些实施例中，装置还包括格式转换单元150。
108.格式转换单元150，用于对裁剪出的目标局部图片进行格式转换。
109.通过jpg编码，将yuv格式目标局部图片编码成jpg格式的图片。
110.通过预先训练好的目标识别模型对目标图像进行目标特征提取，并针对目标特征和目标局部图片进行缓存和对比，进而提升了目标图片优选的效果。
111.如图3所示，本发明具体实施例还提供了一种计算机设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如上述的基于目标特征的抓拍优选方法步骤。
112.该计算机设备700可以是终端或服务器。该计算机设备700包括通过系统总线710连接的处理器720、存储器和网络接口750，其中，存储器可以包括非易失性存储介质730和内存储器740。
113.该非易失性存储介质730可存储操作系统731和计算机程序732。该计算机程序732被执行时，可使得处理器720执行任意一种基于目标特征的抓拍优选方法。
114.该处理器720用于提供计算和控制能力，支撑整个计算机设备700的运行。
115.该内存储器740为非易失性存储介质730中的计算机程序732的运行提供环境，该计算机程序732被处理器720执行时，可使得处理器720执行任意一种基于目标特征的抓拍优选方法。
116.该网络接口750用于进行网络通信，如发送分配的任务等。本领域技术人员可以理解，图3中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的计算机设备700的限定，具体的计算机设备700可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。其中，所述处理器720用于运行存储在存储器中的程序代码，以实现以下步骤：
117.创建特征链表和图片链表；
118.根据检测到的目标，生成目标事件，所述目标事件包括类别、置信度、地址、目标在图像中所处的位置；
119.通过预先训练好的目标识别模型对目标图像进行目标特征提取，以得到目标图像的特征向量；
120.从特征链表中判断特征向量是否为新的目标特征；
121.若为新的目标特征，则将特征向量添加至特征链表进行缓存，并将特征向量与目
标事件的地址相绑定；
122.根据目标在图像中所处的位置，从目标特征提取的同一时刻的全局图中裁剪出目标局部图片；
123.将目标局部图片添加至图片链表中进行缓存，并将目标局部图片与特征向量相绑定；
124.启动目标事件的优选定时器；
125.判断优选定时器是否超时；
126.若超时，则根据置信度从特征链表和图片链表中分别提取优选地特征向量和对应的目标局部图片。
127.其进一步技术方案为：所述的从特征链表中判断特征向量是否为新的目标特征之后，还包括:
128.若不是新的目标特征，则判断目标事件置信度是否更高；
129.若更高，则用特征向量替换特征链表中原特征信息；
130.删除图片链表中相同目标图片。
131.其进一步技术方案为：所述的判断目标事件置信度是否更高之后，还包括：
132.若不是更高，则删除目标事件。
133.其进一步技术方案为：所述的根据目标在图像中所处的位置，从目标特征提取的同一时刻的全局图中裁剪出目标局部图片之后，还包括：
134.对裁剪出的目标局部图片进行格式转换。
135.应当理解，在本技术实施例中，处理器720可以是中央处理单元(central processing unit，cpu)，该处理器720还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。其中，通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
136.本领域技术人员可以理解，图3中示出的计算机设备700结构并不构成对计算机设备700的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
137.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明中各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
138.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将所述装置的内部结构划分成不同的功能单元，以完成以上描述的全部或者
部分功能。实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述装置中单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
139.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
140.在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个装置，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
141.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
142.以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。