在wifi存储设备中视频搜索方法与流程

本发明涉及视频搜索领域，具体而言，涉及一种在wifi存储设备中视频搜索方法。

背景技术：

目前，智能存储设备在进行存储时会进行识别进行分类，例如图片的分类和视频的分类，对于视频的分类仅是对视频图像的第一帧进行识别，获取电影名称之类的简单处理，没有对视频整体内容进行识别，造成搜索视频时不能找到用户想用的视频。

技术实现要素：

本发明为了解决现有视频分类和搜索中只提取第一帧识别结果，不能全面反映视频内容，从而使得搜索失效的问题，提供了一种在wifi存储设备中视频搜索方法，包括如下步骤：

s130、获取视频搜索信息；

s140、将所述搜索信息与视频帧标签信息进行匹配；

s150、判断匹配时，从视频数据库中返回对应的视频；

其中，所述视频帧标签信息包括通过对视频的每帧图像进行识别获取的第一标签信息。

进一步地，所述视频帧标签信息还包括对相同帧图像的不同第一标签信息进行组合形成的第二标签信息。

进一步地，还包括：

s110、对视频数据库中的视频进行拆分形成多个图像帧，对每个图像帧进行识别获取所述第一标签信息。

进一步地，所述步骤s110还包括：

判断被识别的图像帧中包括人物图像时，将所述人物图像与识别后包含有人物图像的图像帧进行相似度识别，获取相似度；

根据相似度划分图像帧集合，形成人物图像集合；

为所述人物图像集合分配所述第一标签信息。

进一步地，所述根据相似度划分图像帧集合的步骤包括：

判断相似度大于阈值时，划分为同一集合；

判断相似度小于阈值时，新建集合，将当前被识别的帧图像放入所述新建集合中。

进一步地，所述步骤s110还包括：

判断所述图像帧的日志为节假日时，识别图片地理位置，获取所述地理位置的标志图像，判断所述标志图像与所述图像帧的匹配度大于阈值时，为所述图像帧添加与所述节假日对应和\或与所述地理位置对应的第一标签。

进一步地，所述步骤s110还包括：接收用户标签设定信息，将所述第一标签信息替换为所述标签设定信息。

进一步地，所述步骤s110还包括：

判断所述视频为电影视频时，对所述图像帧中的字幕进行ocr识别，获取字幕数据；

利用所述字幕数据进行爬虫抓取，获取电影名称信息，并将所述电影名称信息设置为所述第一标签信息。

进一步地，所述步骤s110还包括：

判断判断被识别的图像帧中包括人物图像时，获取情绪信息，将所述情绪信息设置为所述第一标签信息。

进一步地，还包括：

s120、对每个图像帧的不同的所述第一标签信息进行组合，形成第二标签信息。

本发明实施例中的在wifi存储设备中视频搜索方法，利用对视频完整内容(每帧图像)进行识别所形成视频帧标签信息，进行搜索，能够保证搜索能够快速检索了完整的视频内容，更加满足用户搜索视频的要求。

附图说明

通过参考附图会更加清楚的理解本发明的特征和优点，附图是示意性的而不应理解为对本发明进行任何限制，在附图中：

图1为本发明一些实施例中的在wifi存储设备中视频搜索方法的方法流程示意图；

图2为本发明一些实施例中的在wifi存储设备中视频搜索装置的系统示意图。

具体实施方式

为了能够更清楚地理解本发明的上述目的、特征和优点，下面结合附图和具体实施方式对本发明进行进一步的详细描述。需要说明的是，在不冲突的情况下，本申请的实施例及实施例中的特征可以相互组合。

在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是，本发明还可以采用其他不同于在此描述的其他方式来实施，因此，本发明的保护范围并不受下面公开的具体实施例的限制。

在利用wifi存储设备进行文件存储、视频存储的场景中，可以对所存储的视频进行识别，实现视频分类，便于搜索获取目的视频，常常采用私有云的方式进行识别；现有的用于私有云对视频内容的视频帧进行拆解，仅对第一帧进行识别，如电影名称之类的简单处理，没有对视频内容所有的帧进行处理。使得视频分类和视频搜索所依据的标签不完整，造成搜索失效，不能找到目标视频。

本发明针对上述技术问题作出了改进，先按视频的每一帧进行图片人物、场景的识别，然后进行人物、场景分类，可以搜索任意一个人物所包含的视频。

个人拍摄的小视频越来越多，累积之后，大量的就是基本一个日期的标题的视频列表，没有任何内容的提示，如果把内容全部识别后并进行分类，在查找视频的时候就非常方便了。

任何视频在没有打开观看之前，都是没有标签化的，不知道内容，此发明就是将视频进行了每一帧的识别。

本发明提供的在wifi存储设备中视频搜索方法是基于私有云和wifi存储设备组合的方式进行的，在硬盘(wifi存储设备)中搜索图片的地点，场景，人物中某一类，按每一帧对视频的内容进行识别，识别视频中出现最多的人物，或者某一场景。如识别视频中出现生日蛋糕，宝宝，则标签为宝宝生日。如果宝宝和图片识别中已经识别的某个宝宝人脸一致，则搜索时会将此视频和此图片一起搜索出来。对每一帧图像和照片一样，进行人物、场景、标志性建筑、地点、物品、节日等识别，并进行标签化，如大宝、二宝、奶奶、天安门、生日蛋糕、重阳节、海边、山等，并进行多属性的智能组合的标签化分类，如快乐的五一、重阳节登山、团聚的春节、大宝的生日、欧洲之旅等等。如识别出来是电视剧或者电影，则搜索相关信息，将电影名称、类型、放映时间、主要演员等进行标签化。所有标签化的内容都可以进行模糊、匹配搜索。

识别视频的过程主要是对视频的每一秒进行图片化，然后对图片进行识别。视频的每一秒为一帧，也可以一秒多帧，也可以多秒为一帧，一帧则截取一张图片。可以使用java技术的ffmpeg(用来记录、转换数字音频、视频，并能将其转化为流的开源计算机程序)技术进行识别。

例如，使用ffmpeg-i"年会2018.mp4"-r1-q:v2-fimage2image-3％d.jpeg

上面-i选项用来获取输入文件，在这里是视频文件名年会2018.mp4，-r选项设置每秒提取图片的帧数，1则每秒一帧，2则每秒两帧。-q:v用来设置提取到的图片质量，值为2来从视频中获取高质量图片。

图片的识别则和其余所有图片一样，进行图片的人物、场景分别识别。

图片识别调用自己的云端平台进行识别，也可以现有的开放平台。

如图片的内容为人物，则进行人物之间的匹配度查询。

如识别的第一个人物标为a，识别的第二个人物和第一个人物进行相似度判断，如相似度大于90，则放入a集合，如小于90则标为b。识别的第三个人与第一个和第二个分别匹配，相似度大于90的放入对应的集合，小于的新建集合。后续类推。人越多，判断的越多，保证找到最相似的，如多个大于90的，选最高的一个。

识别后人物可重命名，a可修改为张三或任意其他名称。后续视频中或图片再匹配人物a，可直接标签张三，搜索张三时均显示出来。

还例如，判断图片的日期是否为节日，是则节日标签，识别图片地点，地点标签，识别图片内容的特殊标志，如天安门等，并结合地点进行标签化验证。

本发明实施例还能提供自定义人物标签的功能，给已经识别的人物组进行重命名，比如大宝、二宝，视频识别的图片的人物将和已识别的图片的人物进行匹配度分析，匹配的则直接标签为已命名的人物的标签。

本发明的实施例还能将识别出来的标签进行组合，形成组合标签。

第一种情况为：系统中预设一部分的标签信息，如劳动的五一、旅行的五一、快乐的五一等。识别出一个标签有节日、多场景、人物或地点时，进行多标签内容提取，如节日为五一，然后识别场景、人物。如人物的笑容指数都大，(识别人物的时候可以识别笑容指数)，则可以标签化为快乐的五一。如均是室外的场景，并且地点为一个或多个城市，可选择标签为旅行的五一。

第二种情况是进行自由组合。节日、地点、人物等为名词，根据场景识别动词或名词，然后组合。

视频搜索时，进行标签匹配，和其他搜索类似，如某个人物、某个地点、时间等，都是单个标签进行匹配，如匹配到了某一个集合(多属性标签内的)，集合也显示出来。

对于电影视频的识别形成标签的过程，解释如下：电影或电视剧中的名称、分类、首映时间、演员等信息，所有信息都是一个标签。如演员中有张三、李四、王五，就是三个标签。

通过爬虫技术进行主要网站电影、电视剧信息的抓取，并将信息存在云端。识别的过程是根据字幕，通过ocr文字识别技术，识别出主要的文字内容，然后进行云端的搜索，进行名称的识别，并进行标签化。

电影等非个人摄像的视频的识别或者通过现有平台提供的的api接口进行识别。返回整个视频的相关信息。

本发明所针对的视频主要分为个人录制的视频、短片等，主要是个人家庭的，进行人物集合的分类、场景、地点的分类等。其余为电视剧、电影、mv等，主要为公开放映的识别，识别名称、放映时间、主演等信息。

通过视频帧标签信息，本发明中的在wifi存储设备中视频搜索方法能够全方面对视频中的内容进行检索，保证了搜索全面。

如图1所示，本发明提供了一种在wifi存储设备中视频搜索方法，包括如下步骤：

s130、获取视频搜索信息；所述搜索信息包括用户想要搜索的人物信息或者场景信息。

s140、将所述搜索信息与视频帧标签信息进行匹配；将所述搜索信息中的词语与视频标签信息中词语计算相似度，即匹配度，判断匹配度大于阈值时，判断检索到相关视频；相似度的计算可以word2vector的方式将搜索信息转为还向量，采用余弦相似度的方法判断搜索信息的向量与标签信息的相似度的向量之间的相似度。

s150、判断匹配时，从视频数据库中返回对应的视频；

其中，所述视频帧标签信息包括通过对视频的每帧图像进行识别获取的第一标签信息。

通过将视频搜索信息与视频帧标签信息进行匹配，能够保证搜索能够针对图像的每帧图像进行，从而保证搜索的全面性。本发明实施例运用到wifi存储设备中时，效果更加明显，由于存储设备中存储的视频总是有限的，与网络视频搜索的场景不同，在存储设备中进行搜索更多考虑的是命中率，需要提供更多可能的返回结果。通过为每帧图像建立标签，能够保证搜索的全面性。上述的视频数据库为在所述wifi存储设备中的视频存储数据库。

为了能够满足更多的搜索请求，所述视频帧标签信息还包括对相同帧图像的不同第一标签信息进行组合形成的第二标签信息。使得搜索请求能够更高可能性的被匹配中。现实生活中，视频搜索请求较为模糊，单靠第一标签进行匹配较难匹配中，这时，通过组合后的第二标签进行匹配，增加了匹配的标签，从而增加了搜素命中的几率。

为了能够实现上述的搜索方法，本发明的实施例预先给视频中的每一帧进行识别，获取标签信息，具体地，还包括：

s110、对视频数据库中的视频进行拆分形成多个图像帧，对每个图像帧进行识别获取所述第一标签信息。

具体地，所述步骤s110还包括：

判断被识别的图像帧中包括人物图像时，将所述人物图像与识别后包含有人物图像的图像帧进行相似度识别，获取相似度；此处的相似度计算可以采用神经网络模型计算，也可以调用现有的网络平台上api接口进行计算。

根据相似度划分图像帧集合，形成人物图像集合；

为所述人物图像集合分配所述第一标签信息。

进一步地，所述根据相似度划分图像帧集合的步骤包括：

判断相似度大于阈值时，划分为同一集合；

判断相似度小于阈值时，新建集合，将当前被识别的帧图像放入所述新建集合中。

这样，能够将相似人物的图像归类，然后标上相同的标签信息，便于搜索。

进一步地，所述步骤s110还包括：

判断所述图像帧的日志为节假日时，识别图片地理位置，获取所述地理位置的标志图像，判断所述标志图像与所述图像帧的匹配度大于阈值时，为所述图像帧添加与所述节假日对应和\或与所述地理位置对应的第一标签。对于节假日产生的视频，能够进行校验搜索。

为了便于用户对标签信息进行修改，实现个性化标签，所述步骤s110还包括：接收用户标签设定信息，将所述第一标签信息替换为所述标签设定信息。

对于电影视频的标签信息建立，可以通过对字幕进行识别，具体地，所述步骤s110还包括：

判断所述视频为电影视频时，对所述图像帧中的字幕进行ocr识别，获取字幕数据；

利用所述字幕数据进行爬虫抓取，获取电影名称信息，并将所述电影名称信息设置为所述第一标签信息。

为了实现情绪检索，所述步骤s110还包括：

判断判断被识别的图像帧中包括人物图像时，获取情绪信息，将所述情绪信息设置为所述第一标签信息。

为了提升搜索的较高命中率，且能够满足多重属性标签的需要，本发明实施例还提供了组合标签，便于搜索，具体地，还包括：

s120、对每个图像帧的不同的所述第一标签信息进行组合，形成第二标签信息。

以上步骤中提到了第一标签、第二标签，替换标签的称呼，需要说明的是所有识别的标签都是平等的标签，一个视频会有多个标签，没有主次之分，只要能识别的信息就是一个标签。

另外需要说明的是，针对视频的时间信息，个人录制的视频是根据视频的属性获取，或者视频中有显示时间的，然后判断时间日期是否为节假日。如果是则打上节假日的标签，同时时间标签也会打上。如2019-01-01，是元旦，但也会有2019-01-01的标签，进行搜索元旦，或者01-01的时候都可以找到该视频。

另外需要说明的是电影、电视剧视频，时间标签为发行时间，是根据抓取的信息中发行时间打的时间标签，对于电影、电视剧视频，可以不用打上节假日标签信息。

本发明实施例中的方法能够针对视频每帧图像设定标签信息，在检索时，提升了命中率，保证搜索全面。通过对视频进行多标签化，实现对视频进行分类，增加了人工智能和机器学习功能。

如图2所示，本发明还提供了一种在wifi存储设备中视频搜索装置100，包括：

接收模块110，用于获取视频搜索信息；

匹配模块120，用于将所述搜索信息与视频帧标签信息进行匹配；

视频返回模块130，用于判断匹配度大于阈值时，从视频数据库中返回对应的视频；

其中，所述视频帧标签信息包括通过对视频的每帧图像进行识别获取的第一标签信息。

还包括，标签建立模块140，用于对视频数据库中的视频进行拆分形成多个图像帧，对每个图像帧进行识别获取所述第一标签信息。所述标签建立模块140，还用于对每个图像帧的不同的所述第一标签信息进行组合，形成第二标签信息。

本发明实施例中的装置能够针对视频每帧图像设定标签信息，在检索时，提升了命中率，保证搜索全面。

上述模块的具体配置和功能已在对应方法中的功能模块中进行详细说明，在此不做过多赘述。

在本发明中，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。术语“多个”指两个或两个以上，除非另有明确的限定。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。