信息收集方法、装置、系统、设备及存储介质与流程

1.本公开涉及数据识别技术领域，尤其涉及一种信息收集方法、装置、系统、设备及存储介质。


背景技术：

2.相关技术中，勘察技能培训方法需要新员工学习相关指导手册并跟随专业人员多次到场学习。这种培训方式完全依赖于专业人员自主的经验积累。然而，专业人员在传授经验时，会无意间忽略某些习以为常的细节。此外，勘察对技能要求较高，即便是专业人员也很难用语言去准确、完整得描述他们在勘察中所运用的技能和经验，这就导致了新员工在接受技能培训时存在勘察经验收集效率低和勘察信息收集不完整等问题。


技术实现要素：

3.本公开提供一种信息收集方法、装置、系统、设备及存储介质，以至少解决相关技术中勘察经验收集效率低和勘察信息收集不完整的问题。本公开的技术方案如下：
4.根据本公开的第一方面，提供一种信息收集方法，包括：根据眼动仪获取眼动数据和多媒体信息；根据眼动数据和多媒体信息，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息；根据视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息，生成信息知识库。
5.在一种可能的实施方式中，根据眼动数据和多媒体信息，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息，包括：根据眼动数据和多媒体信息，获取每个采样场景的注视数据；注视数据包括注视时间和注视点坐标；根据注视时间对多媒体信息进行抽帧，得到每个采样场景的视频帧；根据每个采样场景的满足预设筛选条件的视频帧，得到目标视频帧序列；根据目标视频帧序列，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息。
6.另一种可能的实施方式中，根据每个采样场景的满足预设筛选条件的视频帧，得到目标视频帧序列，包括：获取每个采样场景的每个视频帧对应的图片；确定每两个相邻视频帧对应的图片的汉明距离；根据汉明距离小于预设汉明距离阈值的图片对应的视频帧，得到每个采样场景的视频帧序列；将连续时长大于预设连续时长阈值的视频帧序列，确定为目标视频帧序列。
7.另一种可能的实施方式中，根据目标视频帧序列，确定视觉焦点信息及视觉焦点移动轨迹信息，包括：获取每个目标视频帧序列的中间位置帧；根据中间位置帧和注视数据，得到标注有视觉焦点及视觉焦点移动轨迹的热力图；热力图用于表征视觉焦点信息及视觉焦点移动轨迹信息。
8.另一种可能的实施方式中，根据目标视频帧序列，确定目标设备信息，包括：根据目标视频帧序列和预先训练的设备目标检测模型，确定设备位置信息；根据设备位置信息和注视点坐标，确定目标设备信息。
9.另一种可能的实施方式中，根据目标视频帧序列，确定目标场景信息，包括：获取每个目标视频帧序列的视频级特征；根据聚类算法和视频级特征，确定相同类别的目标视频帧序列集合；在目标视频帧序列集合中目标视频帧序列的数量满足预设条件的情况下，根据目标视频帧序列集合对应的采样场景，确定目标场景信息。
10.另一种可能的实施方式中，根据目标视频帧序列，确定目标场景信息，包括：获取目标视频帧序列的视频级特征；根据余弦相似度算法和视频级特征，确定与每一个目标视频帧序列相似的目标视频帧序列集合；在目标视频帧序列集合中目标视频帧序列的数量满足预设条件的情况下，将每一个目标视频帧序列对应的采样场景确定为目标场景信息。
11.根据本公开的第二方面，提供一种信息收集装置，包括：获取模块，被配置为执行根据眼动仪获取眼动数据和多媒体信息；确定模块，被配置为执行根据眼动数据和多媒体信息，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息；生成模块，被配置为执行根据视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息，生成信息知识库。
12.在一种可能的实施方式中，确定模块，具体被配置为执行：根据眼动数据和多媒体信息，获取每个采样场景的注视数据；注视数据包括注视时间和注视点坐标；根据注视时间对多媒体信息进行抽帧，得到每个采样场景的视频帧；根据每个采样场景的满足预设筛选条件的视频帧，得到目标视频帧序列；根据目标视频帧序列，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息。
13.另一种可能的实施方式中，确定模块，具体被配置为执行：获取每个采样场景的每个视频帧对应的图片；确定每两个相邻视频帧对应的图片的汉明距离；根据汉明距离小于预设汉明距离阈值的图片对应的视频帧，得到每个采样场景的视频帧序列；将连续时长大于预设连续时长阈值的视频帧序列，确定为目标视频帧序列。
14.另一种可能的实施方式中，确定模块，具体被配置为执行：获取每个目标视频帧序列的中间位置帧；根据中间位置帧和注视数据，得到标注有视觉焦点及视觉焦点移动轨迹的热力图；热力图用于表征视觉焦点信息及视觉焦点移动轨迹信息。
15.另一种可能的实施方式中，确定模块，具体被配置为执行：根据目标视频帧序列和预先训练的设备目标检测模型，确定设备位置信息；根据设备位置信息和注视点坐标，确定目标设备信息。
16.另一种可能的实施方式中，确定模块，具体被配置为执行：获取每个目标视频帧序列的视频级特征；根据聚类算法和视频级特征，确定相同类别的目标视频帧序列集合；在目标视频帧序列集合中目标视频帧序列的数量满足预设条件的情况下，根据目标视频帧序列集合对应的采样场景，确定目标场景信息。
17.另一种可能的实施方式中，确定模块，具体被配置为执行：获取目标视频帧序列的视频级特征；根据余弦相似度算法和视频级特征，确定与每一个目标视频帧序列相似的目标视频帧序列集合；在目标视频帧序列集合中目标视频帧序列的数量满足预设条件的情况下，根据每一个目标视频帧序列集合对应的采样场景，确定目标场景信息。
18.根据本公开的第三方面，提供一种信息收集系统，包括：第二方面及其任一种可能的实施方式的信息收集装置；眼动仪，用于获取眼动数据和多媒体信息；存储器，存储眼动数据、多媒体信息以及信息收集装置生成的信息知识库。
19.根据本公开的第四方面，提供一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，处理器被配置为执行指令，以实现上述第一方面及其任一种可能的实施方式的信息收集方法。
20.根据本公开的第五方面，提供一种计算机可读存储介质，当计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述第一方面中及其任一种可能的实施方式的信息收集方法。
21.根据本公开的第六方面，提供一种计算机程序产品，计算机程序产品包括计算机指令，当计算机指令在电子设备上运行时，使得电子设备执行上述第一方面及其任一种可能的实施方式的信息收集方法。
22.本公开提供的技术方案至少带来以下有益效果：通过眼动仪采集眼动数据和多媒体信息，可以直接从专业勘察人员的第一视角获得完整的勘察过程，进而能够根据完整的勘察过程确定勘察过程中的视觉焦点及视觉焦点移动轨迹信息、目标场景信息和目标设备信息等重点信息，并根据视觉焦点及视觉焦点移动轨迹信息、目标场景信息和目标设备信息，生成勘察经验的信息知识库，从而得到更加完善的勘察经验信息，有效提高了勘察经验收集的效率、准确性以及完整性，
23.进一步地，基于本公开的信息知识库，新员工到现场进行勘察时戴ar眼镜，以实时获取当前视觉范围内的视频数据，进而根据获取到的视频数据确定信息知识库中与当前场景匹配的信息，从而获取预先存储的与当前场景匹配的视觉焦点及视觉焦点移动轨迹信息、目标场景信息和目标设备信息，并叠加标注在当前观测到的现实场景上，以提示新员工在勘察时需要关注的所有细节，提高学习效率。
24.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
25.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
26.图1是根据一示例性实施例示出的一种信息收集方法的流程图；
27.图2是根据一示例性实施例示出的另一种信息收集方法的流程图；
28.图3是根据一示例性实施例示出的另一种信息收集方法的流程图；
29.图4是根据一示例性实施例示出的另一种信息收集方法的流程图；
30.图5是根据一示例性实施例示出的另一种信息收集方法的流程图；
31.图6是根据一示例性实施例示出的另一种信息收集方法的流程图；
32.图7是根据一示例性实施例示出的另一种信息收集方法的流程图；
33.图8是根据一示例性实施例示出的一种信息收集装置的框图；
34.图9是根据一示例性实施例示出的一种电子设备的框图。
具体实施方式
35.为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
36.需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
37.在对本公开提供的信息收集方法进行详细介绍之前，先对本公开涉及实施环境(实施架构)进行简单介绍。
38.本公开实施例提供的信息收集方法可以应用于电子设备。电子设备可以是终端设备或服务器。其中，终端设备可以是智能手机、平板电脑、掌上电脑、车载终端、台式电脑以及笔记本电脑等。服务器可以是任意一个服务器或服务器集群，本公开对此不做限定。
39.为了便于理解，以下结合附图对本公开提供的任务处理方法进行具体介绍。
40.图1是根据一示例性实施例示出的一种信息收集方法的流程图，该方法用于电子设备中。如图1所示，包括s101-s103。
41.在s101中，根据眼动仪获取眼动数据和多媒体信息。
42.在一种实施方式中，专业勘察人员在进行勘察时，佩戴眼动仪，以采集其在整个勘察过程中的眼动数据和视野范围内的多媒体信息。通过眼动仪进行数据采集，可以直接获取到专业勘察人员视觉模式下完整的勘察过程，避免信息遗漏，进而进行更准确的分析。
43.在一个示例中，多媒体信息为视频录像。
44.在s102中，根据眼动数据和多媒体信息，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息。
45.可选地，目标场景用于表征满足第一预设条件和第二预设条件的场景。
46.在一种实施方式中，第一预设条件包括专业勘察人员在整个勘察过程中对场景的注视时长满足预设时长。其中，专业勘察人员在整个勘察过程中对场景的注视时长可以通过分析眼动数据得到。
47.在一种实施方式中，第二预设条件包括在专业勘察人员整个勘察过程中，场景出现的频率满足预设阈值。其中，场景出现的频率可以通过分析多媒体资源得到。
48.可选地，目标设备用于表征满足第一预设条件和第二预设条件的设备，
49.在一种实施方式中，第一预设条件包括专业勘察人员在整个勘察过程中对设备的注视时长满足预设时长。其中，专业勘察人员在整个勘察过程中对设备的注视时长可以通过分析眼动数据得到。
50.在一种实施方式中，第二预设条件包括在专业勘察人员整个勘察过程中，设备出现的频率满足预设阈值。其中，场景出现的频率可以通过分析多媒体资源得到。
51.可以理解的，目标场景为专业勘察人员整个勘察过程中的重点关注场景。目标设备为专业勘察人员整个勘察过程中重点关注设备。
52.可选地，视觉焦点移动轨迹信息用于表征视觉焦点出现的顺序。
53.在s103中，根据视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息，生成信息知识库。
54.在一种实施方式中，将视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和
目标设备信息存储在数据库中，生成信息知识库。
55.示例性的，获取到的视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息，先存储到数据库，进一步根据神经网络生成信息知识库。
56.上述实施例中，通过眼动仪采集眼动数据和多媒体信息，可以直接从专业勘察人员的第一视角获得完整的勘察过程，进而能够根据完整的勘察过程确定勘察过程中的视觉焦点及视觉焦点移动轨迹信息、目标场景信息和目标设备信息等重点信息，并根据视觉焦点及视觉焦点移动轨迹信息、目标场景信息和目标设备信息，生成勘察经验的信息知识库，从而得到更加完善的勘察经验信息，有效提高了勘察经验收集的效率、准确性以及完整性，
57.进一步地，基于本公开的信息知识库，新员工到现场进行勘察时戴ar眼镜，以实时获取当前视觉范围内的视频数据，进而根据获取到的视频数据确定信息知识库中与当前场景匹配的信息，从而获取预先存储的与当前场景匹配的视觉焦点及视觉焦点移动轨迹信息、目标场景信息和目标设备信息，并叠加标注在当前观测到的现实场景上，以提示新员工在勘察时需要关注的所有细节，提高学习效率。
58.在一种可能的实施方式中，结合图1，如图2所示，s102包括s102a-s102d。
59.在s102a中，根据眼动数据和多媒体信息，获取每个采样场景的注视数据。
60.其中，注视数据包括注视时间和注视点坐标。采样场景用于表征注视时间对应的时长满足预设时长的场景。
61.可选地，注视数据还包括瞳孔尺寸。通过瞳孔尺寸可以确定专业勘察人员对采样场景是整体关注还是关注采样场景中的某一个区域。
62.可选地，注视时间包括注视开始时间和注视结束时间。
63.可以理解的，采样场景是专业勘察人员在整个勘察过程中关注过的场景。具体地，确定一个场景是否为专业勘察人员关注过的场景，可以通过专业勘察人员注视该场景的时长进行确定。
64.需要说明的，注视时间是专业勘察人员对采样场景的注视时间。注视点坐标是专业勘察人员在关注采样场景时的注视点的坐标。
65.示例性的，注视时间和注视点坐标可以通过眼动数据进行确定。
66.示例性的，采样场景可以通过眼动数据结合多媒体信息进行确定。
67.在s102b中，根据注视时间对多媒体信息进行抽帧，得到每个采样场景的视频帧。
68.可选地，可以根据每个采样场景的注视时间，对多媒体信息中每个采样场景进行抽帧，得到每个采样场景的视频帧。进一步地，每个采样场景可以对应多个视频帧。
69.示例性，在对多媒体信息进行抽帧时，抽取的是单帧视频帧。
70.在s102c中，根据每个采样场景的满足预设筛选条件的视频帧，得到目标视频帧序列。
71.可选地，预设筛选条件用于对每个采样场景的两两相邻视频帧之间的相似度，以及相似度满足预设阈值的视频帧的连续时长进行筛选。
72.可选地，预设筛选条件包括预设相似度阈值和预设时长阈值。具体地，预设相似度阈值用于确定两两相邻视频帧之间的相似度是否满足条件，预设时长阈值确定相似度满足预设阈值的视频帧的连续时长是否满足条件。
73.需要说明的，每个目标视频帧序列即代表一个采样场景。
74.在s102d中，根据目标视频帧序列，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息。
75.上述实施例中，通过眼动数据和多媒体信息获取每个采样场景的注视数据，并通过注视数据中的注视时间对多媒体信息进行抽帧，将每个采样场景进行分解，从而根据对视频帧的筛选，得到满足重点关注条件的采样场景，也即满足预设筛选条件的采样场景，进而根据采样场景对应的目标视频帧序列，确定视觉焦点及视觉焦点移动轨迹信息、目标场景信息和目标设备信息。相对于确定每个采样场景的视觉焦点、目标场景以及目标设备，本公开通过对采样场景进行筛选，提高了确定视觉焦点及视觉焦点移动轨迹信息、目标场景信息和目标设备信息的准确性以及效率。
76.在一种可能的实施方式中，结合图2，如图3所示，s102c包括s102c1-s102c4。
77.在s102c1中，获取每个采样场景的每个视频帧对应的图片。
78.在一种实施方式中，通过将每个视频帧存储为图片，得到每个采样场景的每个视频帧对应的图片。
79.在s102c2中，确定每两个相邻视频帧对应的图片的汉明距离。
80.可选地，采用差值哈希算法计算每个视频帧对应的图片的指纹，根据指纹计算时间维度上相邻的两帧图片之间的汉明距离。
81.需要说明的，汉明距离表征两帧图片之间的相似度，汉明距离越小，表示两帧图片之间的相似度越高。
82.在s102c3中，根据汉明距离小于预设汉明距离阈值的图片对应的视频帧，得到每个采样场景的视频帧序列。
83.可选地，在两帧图片之间的汉明距离小于预设汉明距离阈值的情况下，说明两帧图片之间的相似度满足预设筛选条件的要求。
84.可选地，在得到满足预设筛选条件的视频帧后，按照时间顺序将满足预设筛选条件的视频帧，生成视频帧序列。具体地，时间顺序可以是指每个视频帧在多媒体资源中出现的先后顺序。
85.需要说明的，汉明距离越小，表征两帧图片之间的相似度越高。
86.在一个实施方式中，通过筛选汉明距离小于预设汉明距离阈值的图片对应的视频帧，能够得到专业勘察人员对每个采样场景的重点关注的视频帧片段。
87.在s102c4中，将连续时长大于预设连续时长阈值的视频帧序列，确定为目标视频帧序列。
88.可选地，在视频帧序列的连续时长大于预设连续时长阈值的情况下，说明该视频帧序列满足预设筛选条件的要求。
89.在一种实施方式中，通过筛选连续时长大于预设连续时长阈值的视频帧序列，能够得到专业勘察人员关注时长满足预设筛选条件的重点关注的视频帧片段，也即，筛选出重点关注区域中关注时长比较长的视频帧片段。
90.上述实施例中，通过预设汉明距离阈值得到专业勘察人员重点关注的视频帧片段，进一步通过预设连续时长阈值筛选出专业勘察人员关注时长满足预设筛选条件的目视频帧序列，进而实现对采样场景进行筛选，提高了确定视觉焦点及视觉焦点移动轨迹信息、目标场景信息和目标设备信息的准确性以及效率。
91.在一种可能的实施方式中，结合图2，如图4所示，s102d包括s102d1-s102d2。
92.在s102d1中，获取每个目标视频帧序列的中间位置帧。
93.在一种实施方式中，目标视频帧序列的中间位置帧是采样场景中专业勘察人员最关注的画面，从而通过从中间位置帧上确定视觉焦点，能够提高视觉焦点确定的准确性以及效率。
94.在s102d2中，根据中间位置帧和注视数据，得到标注有视觉焦点及视觉焦点移动轨迹的热力图。
95.其中，热力图用于表征视觉焦点信息及视觉焦点移动轨迹信息
96.在一种实施方式中，可以根据注视点坐标确定视觉焦点在热力图上的位置，并根据注视时间确定视觉焦点的颜色，视觉焦点的颜色用于表征每个视觉焦点的注视时间。
97.在另一种实施方式中，还可以先根据注视点坐标确定中间位置帧上的视觉焦点位置，之后，根据中间位置帧上的视觉焦点位置，确定视觉焦点在热力图上的位置。
98.在一个示例中，采用热力图中的不同颜色表征不同的注视时间。例如，红色表征的注视时间最长，橙色表征的注视时间较红色次之，绿色表征的注视时间最短。
99.可选地，注视数据还包括瞳孔尺寸。可以根据注视时间、注视点坐标和瞳孔尺寸确定视觉焦点在热力图上位置。
100.在一个示例中，可以根据瞳孔尺寸确定中间位置帧中的视觉焦点。进一步地，根据中间位置帧中的视觉焦点在热力图上标注该视觉焦点。
101.在一种实施方式中，根据每个视觉焦点对应的注视行为发生的时间顺序，绘制视觉焦点移动轨迹，进而使得可以根据视觉焦点移动轨迹确定专业勘察人员关注视觉焦点的顺序。
102.在一个示例中，完成标注的视觉焦点及视觉焦点移动轨迹可以以图片形式存储。
103.在一种实施例方式中，视觉焦点信息包括视觉焦点的坐标信息。进一步地，视觉焦点信息还可以包括视觉焦点对应的标识。
104.在另一种实施方式种，视觉焦点移动轨迹信息包括每个视觉焦点的排序。例如，视觉焦点移动轨迹上有5个焦点，可以为视觉焦点移动轨迹上的每个焦点确定排序，也即，确定哪个焦点是第一个关注的，哪个焦点是是第二关注，
……
,哪个焦点是第五个关注的。
105.上述实施例中，通过注视数据确定中间视频帧上的视觉焦点，提高了确定视角焦点的准确性和效率，进一步地通过将该视觉焦点及视觉焦点移动轨迹标注在热力图上，使得视觉焦点能够直观的显示一张图上，并且能够准确了解视觉焦点的出现顺序，从而提高信息收集的准确性和完整性。
106.在一种可能的实施方式中，结合图2，如图5所示，s102d包括s102d3-s102d4。
107.在s102d3中，根据目标视频帧序列和预先训练的设备目标检测模型，确定设备位置信息。
108.在一种实施方式中，可以根据历史勘察数据训练设备目标检测模型。
109.在一个示例中，历史勘察数据可以是历史勘察多媒体数据。例如，多媒体数据可以是视频数据。
110.在另一个实施方式中，可以通过对历史勘察多媒体数据按照预设时间间隔抽帧，得到单个视频帧。进一步地，通过对单个视频帧上出现的设备进行标注，以生成设备数据
集。最后，根据设备数据集训练设备目标检测模型。
111.在一个示例中，在训练设备目标检测模型时，通过对单个视频帧上出现的设备进行标注时，可以标注设备名称和设备坐标中的至少一个。
112.在一种实施方式中，预先训练的设备目标检测模型可以识别出目标视频帧序列中的设备位置信息。
113.在一种实施方式中，(x,y,w,h)表征设备位置信息。具体地，(x,y)指设备在帧中的起始位置坐标，(w,h)指设备的宽和高。
114.在一个示例中，(x,y,w,h)表征的是一个区域，也即，设备在目标视频帧序列中所占的区域。
115.在s102d4中，根据设备位置信息和注视点坐标，确定目标设备信息。
116.在一种实施方式中，预先训练的设备目标检测模型确定设备位置信息后，通过将位置信息与知识点坐标进行匹配，判断设备是否位于注视范围内，在设备位于注视范围内的情况下，将该设备确定为目标设备。进一步地，根据目标设备，确定目标设备信息。
117.在一个示例中，目标设备信息包括设备名称信息和设备坐标信息中的至少一个。
118.上述实施例中，通过根据目标视频帧序列和预先训练的设备目标检测模型确定设备位置信息，并根据设备的位置信息和注视点坐标确定在注视范围内的设备，从而存储在注视范围内的设备对应的目标设备信息，提高了目标设备信息确定的准确性。
119.在一种可能的实施方式中，结合图2，如图6所示，s102d包括s102d5-s102d7。
120.在s102d5中，获取每个目标视频帧序列的视频级特征。
121.在一种可能的实施方式中，可以采用深度学习方法获取每个采样场景的目标视频帧序列的视频级特征。
122.示例性的，通过idt或者c3d获取每个采样场景的目标视频帧序列的视频级特征。
123.在s102d6中，根据聚类算法和视频级特征，确定相同类别的目标视频帧序列集合。
124.在一种可能的实施方式中，采用聚类算法对s102d5中获取到所有视频级特征进行聚类。具体地，聚为一类的目标视频帧序列即为相似的视频片段。进一步地，将聚为一类的目标视频帧序列确定为相同类别的目标视频帧序列集合。
125.在一种可能的实施方式中，可以为不同的目标视频帧序列集合标注不同的类别标识。
126.示例性的，可以采用k-means算法对s102d5中获取到所有视频级特征进行聚类。
127.在s102d7中，在目标视频帧序列集合中目标视频帧序列的数量满足预设条件的情况下，根据目标视频帧序列集合对应的采样场景，确定目标场景信息。
128.在一种可能的实施方式中，可以根据目标视频帧序列集合的数量确定的所有目标视频帧序列集合的排序，判断目标视频帧序列集合的数量是否满足预设条件。
129.在一个示例中，有10个目标视频帧序列集合，根据每个目标视频帧序列集合中的目标视频帧序列的数量，对目标视频帧序列集合进行排序，可以将排序在第一、第二、第三的目标视频帧序列集合，确定为预设条件的目标视频帧序列集合。
130.需要说明的，每一个目标视频帧序列对应一个场景，也即，勘察场景。
131.可以理解的，单个目标视频帧序列集合中的成员数量越多，则说明该目标视频帧序列集合所代表的场景出现的频率越高。
132.上述实施例中，通过对每个采样场景的目标视频帧序列的视频级特征，采用聚类算法确定相同类别的目标视频帧序列集合，并根据目标视频帧序列集合中目标视频帧序列的数量，确定重复出现频率高的目标视频帧序列集合所代表的场景，将其确定为目标场景，也即，勘察人员的重点关注场景，从而提高的目标场景确定准确性、效率和完整性，进而提高信息收集的准确性、效率和完整性。
133.在一种可能的实施方式中，结合图2，如图7所示，s102d包括s102d8-s102d10。
134.在s102d8中，获取目标视频帧序列的视频级特征。
135.在一种可能的实施方式中，可以采用深度学习方法获取每个采样场景的目标视频帧序列的视频级特征。
136.示例性的，通过idt或者c3d获取每个采样场景的目标视频帧序列的视频级特征。
137.在s102d9中，根据余弦相似度算法和视频级特征，确定与每一个目标视频帧序列相似的目标视频帧序列集合。
138.在一种可能的实施方式中，针对单个目标视频帧序列，对该单个目标视频帧序列的视频级特征采用余弦相似度算法，从剩余所有目标视频帧序列中检索与该单个目标视频帧序列相似的目标视频帧序列。根据预先设置的相似度阈值，将检索到的相似的目标视频帧序列确定为目标视频帧序列集合。
139.在一种可能的实施方式中，可以为不同的目标视频帧序列集合标注不同的类别标识。
140.在s102d10中，在目标视频帧序列集合中目标视频帧序列的数量满足预设条件的情况下，根据目标视频帧序列集合对应的采样场景，确定目标场景信息。
141.在一种可能的实施方式中，可以根据目标视频帧序列集合的数量确定的所有目标视频帧序列集合的排序，判断目标视频帧序列集合的数量是否满足预设条件。
142.在一个示例中，有10个目标视频帧序列集合，根据每个目标视频帧序列集合中的目标视频帧序列的数量，对目标视频帧序列集合进行排序，可以将排序在第一、第二、第三的目标视频帧序列集合，确定为预设条件的目标视频帧序列集合。
143.需要说明的，每一个目标视频帧序列对应一个场景，也即，勘察场景。
144.可以理解的，单个目标视频帧序列集合中的成员数量越多，则说明该目标视频帧序列集合所代表的场景出现的频率越高。
145.上述实施例中，通过获取每个采样场景的目标视频帧序列的视频级特征，从而针对单个目标视频帧序列的视频级特征采用余弦相似度算法，统计每个目标视频帧序列具有的相似的目标视频帧序列集合，并根据目标视频帧序列集合中目标视频帧序列的数量，确定重复出现频率高的目标视频帧序列集合所代表的场景，将其确定为目标场景，也即，勘察人员的重点关注场景，从而提高的目标场景确定准确性、效率和完整性，进而提高信息收集的准确性、效率和完整性。
146.上述主要从方法的角度对本技术实施例提供的方案进行了介绍。为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，本技术能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的
应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
147.本公开实施例还提供一种信息收集装置。
148.图8是根据一示例性实施例示出的一种信息收集装置框图。参照图8，该信息收集装置800包括获取模块801，确定模块802和生成模块803。
149.该获取模块801被配置为执行根据眼动仪获取眼动数据和多媒体信息。例如，如图1所示，获取模块801用于执行s101。
150.该确定模块802被配置为执行根据眼动数据和多媒体信息，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息。例如，如图1所示，确定模块802用于执行s102。
151.该生成模块803被配置为执行根据视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息，生成信息知识库。例如，如图1所示，生成模块803用于执行s103。
152.在一种可能的实施方式中，确定模块802，具体被配置为执行：根据眼动数据和多媒体信息，获取每个采样场景的注视数据；注视数据包括注视时间和注视点坐标；根据注视时间对多媒体信息进行抽帧，得到每个采样场景的视频帧；根据每个采样场景的满足预设筛选条件的视频帧，得到目标视频帧序列；根据目标视频帧序列，确定视觉焦点信息及视觉焦点移动轨迹信息、目标场景信息和目标设备信息。例如，如图2所示，确定模块802用于执行s102a-s102d。
153.另一种可能的实施方式中，确定模块802，具体被配置为执行：获取每个采样场景的每个视频帧对应的图片；确定每两个相邻视频帧对应的图片的汉明距离；根据汉明距离小于预设汉明距离阈值的图片对应的视频帧，得到每个采样场景的视频帧序列；将连续时长大于预设连续时长阈值的视频帧序列，确定为目标视频帧序列。例如，如图3所示，确定模块802用于执行s102c1-s102c4。
154.另一种可能的实施方式中，确定模块，具体被配置为执行：获取每个目标视频帧序列的中间位置帧；根据中间位置帧和注视数据，得到标注有视觉焦点及视觉焦点移动轨迹的热力图；热力图用于表征视觉焦点信息及视觉焦点移动轨迹信息。例如，如图4所示，确定模块802用于执行s102d1-s102d2。
155.另一种可能的实施方式中，确定模块，具体被配置为执行：根据目标视频帧序列和预先训练的设备目标检测模型，确定设备位置信息；根据设备位置信息和注视点坐标，确定目标设备信息。例如，如图5所示，确定模块802用于执行s102d3-s102d4。
156.另一种可能的实施方式中，确定模块，具体被配置为执行：获取每个目标视频帧序列的视频级特征；根据聚类算法和视频级特征，确定相同类别的目标视频帧序列集合；在目标视频帧序列集合中目标视频帧序列的数量满足预设条件的情况下，根据目标视频帧序列集合对应的采样场景，确定目标场景信息。例如，如6所示，确定模块802用于执行s102d5-s102d7。
157.另一种可能的实施方式中，确定模块，具体被配置为执行：获取目标视频帧序列的视频级特征；根据余弦相似度算法和视频级特征，确定与每一个目标视频帧序列相似的目标视频帧序列集合；在目标视频帧序列集合中目标视频帧序列的数量满足预设条件的情况下，根据目标视频帧序列集合对应的采样场景，确定目标场景信息。例如，如7所示，确定模块802用于执行s102d8-s102d10。
158.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
159.在示例性实施例中，本公开实施例还提供了一种信息收集系统，包括：权利要求8-14中任一项的信息收集装置；眼动仪，用于获取眼动数据和多媒体信息；存储器，存储眼动数据、多媒体信息以及信息收集装置生成的信息知识库。
160.需要说明的，信息收集系统通过信息收集装置执行上述信息收集方法实施例的各个过程，且能达到与上述实施例的图1至图7中任一项所示的信息收集方法相同的技术效果，为避免重复，这里不再赘述。
161.图9是根据一示例性实施例示出的一种用于电子设备900的框图。如图9所示，电子设备900包括但不限于：处理器901和存储器902。
162.其中，上述的存储器902，用于存储上述处理器901的可执行指令。可以理解的是，上述处理器901被配置为执行指令，以实现上述实施例的图1至图7中任一项所示的信息收集方法。
163.需要说明的是，本领域技术人员可以理解，图9中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图9所示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
164.处理器901是电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器902内的软件程序和/或模块，以及调用存储在存储器902内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。处理器901可包括一个或多个处理单元；可选的，处理器901可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器901中。
165.存储器902可用于存储软件程序以及各种数据。存储器902可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能模块所需的应用程序(比如获取模块801、确定模块802和生成模块803等)等。此外，存储器902可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
166.在示例性实施例中，本公开实施例还提供了一种包括指令的计算机可读存储介质，例如包括指令的存储器902，上述指令可由电子设备900的处理器901执行以完成上述实施例的图1至图7中任一项所示的信息收集方法。
167.在实际实现时，获取模块801、确定模块802和生成模块803可以由图9所示的处理器901调用存储器902中的程序代码来实现。其具体的执行过程可参考图1至图7中任一项所示的信息收集方法部分的描述，这里不再赘述。
168.可选地，计算机可读存储介质可以是非临时性计算机可读存储介质，例如，该非临时性计算机可读存储介质可以是只读存储器(read-only memory，rom)、随机存储存储器(random access memory，ram)、cd-rom、磁带、软盘和光数据存储设备等。
169.在示例性实施例中，本公开实施例还提供了一种包括一条或多条指令的计算机程序产品，该一条或多条指令可以由电子设备900的处理器901执行以完成上述实施例的图1至图7中任一项所示的信息收集方法。
170.需要说明的是，上述计算机可读存储介质中的指令或计算机程序产品中的一条或多条指令被电子设备900的处理器901执行时实现上述信息收集方法实施例的各个过程，且能达到与上述实施例的图1至图7中任一项所示的信息收集方法相同的技术效果，为避免重复，这里不再赘述。
171.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
172.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。