视频处理方法及装置、计算机可读存储介质和电子设备与流程

文档序号:30951894发布日期:2022-07-30 07:59阅读:54来源:国知局
视频处理方法及装置、计算机可读存储介质和电子设备与流程

1.本公开涉及视频处理技术领域,具体而言,涉及一种视频处理方法、视频处理装置、计算机可读存储介质和电子设备。


背景技术:

2.视频作为传递信息的一种重要方式,已广泛应用于监控、教育、娱乐、医疗、智能驾驶等众多领域。
3.视频中往往存在一些用户不关注的内容,这些内容在视频中的比例可能较大,用户的观看体验差且存储压力大。目前,出现了一些对视频进行截取的方案。然而,这些截取视频的方案可能出现丢失用户关注的信息等截取效果不佳的问题。


技术实现要素:

4.本公开提供一种视频处理方法、视频处理装置、计算机可读存储介质和电子设备,进而至少在一定程度上克服视频截取效果不佳的问题。
5.根据本公开的第一方面,提供了一种视频处理方法,包括:在视频中出现第一事件时,启动视频截取任务;在第一事件结束后的预定时长内,确定视频是否出现第二事件;如果出现第二事件,则在第二事件结束后的预定时长内,确定视频是否出现第三事件;如果出现第三事件,则将第三事件作为第二事件;如果未出现第二事件或第三事件,则结束视频截取任务,以确定截取出的视频片段;其中,第一事件、第二事件和第三事件中至少两个互为关联事件。
6.根据本公开的第二方面,提供了一种视频处理方法,包括:在视频中出现第一事件时,启动视频截取任务;如果第一事件结束后的预定时长内未出现第一事件的关联事件,则结束视频截取任务,以确定截取出的视频片段;如果第一事件结束后的预定时长内出现与第一事件关联的第二事件,且在第二事件结束后经历预定时长内未出现第一事件的关联事件,则结束视频截取任务,以确定截取出的视频片段。
7.根据本公开的第三方面,提供了一种视频处理装置,包括:任务启动模块,用于在视频中出现第一事件时,启动视频截取任务;事件确定模块,用于在第一事件结束后的预定时长内,确定视频是否出现第二事件;如果出现第二事件,则在第二事件结束后的预定时长内,确定视频是否出现第三事件;如果出现第三事件,则将第三事件作为第二事件;第一视频截取模块,用于如果未出现第二事件或第三事件,则结束视频截取任务,以确定截取出的视频片段;其中,第一事件、第二事件和第三事件中至少两个互为关联事件。
8.根据本公开的第四方面,提供了一种视频处理装置,包括:任务启动模块,用于在视频中出现第一事件时,启动视频截取任务;第二视频截取模块,用于如果第一事件结束后的预定时长内未出现第一事件的关联事件,则结束视频截取任务,以确定截取出的视频片段;第三视频截取模块,用于如果第一事件结束后的预定时长内出现与第一事件关联的第二事件,且在第二事件结束后经历预定时长内未出现第一事件的关联事件,则结束视频截
取任务,以确定截取出的视频片段。
9.根据本公开的第五方面,提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述的视频处理方法。
10.根据本公开的第六方面,提供了一种电子设备,包括处理器;存储器,用于存储一个或多个程序,当一个或多个程序被处理器执行时,使得所述处理器实现上述的视频处理方法。
11.在本公开的一些实施例所提供的技术方案中,在视频中出现第一事件时,启动视频截取任务,在第一事件结束后的预定时长内,确定视频是否出现第二事件,如果出现第二事件,则基于第二事件结束的时间或视频之后出现的内容确定结束视频截取任务的时机,以确定截取出的视频片段。一方面,本公开方案可以从视频中截取多个关联事件的视频片段;另一方面,截取出的视频片段为连续的视频片段,确保用户观看到的视频片段连续且事件相对完整。
12.应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。
附图说明
13.此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。在附图中:
14.图1示出了一些技术中包含用户移动事件的视频示意图;
15.图2示出了对图1视频进行固定时长截取的截取方式的示意图;
16.图3示出了采用固定时长截取的另一个实例的示意图;
17.图4示出了另一些技术中包含用户移动事件的视频示意图;
18.图5示出了本公开实施例的视频处理方案的示例性系统架构的示意图;
19.图6示出了适于用来实现本公开实施例的电子设备的结构示意图;
20.图7示意性示出了根据本公开示例性实施方式的视频处理方法的流程图;
21.图8示意性示出了根据本公开实施例的视频处理方案的整个过程的流程图;
22.图9示意性示出了根据本公开另一实施例的由云端参与视频截取的方案的流程图;
23.图10示意性示出了根据本公开另一示例性实施方式的视频处理方法的流程图;
24.图11示意性示出了根据本公开示例性实施方式的视频处理装置的方框图;
25.图12示意性示出了根据本公开另一示例性实施方式的视频处理装置的方框图;
26.图13示意性示出了根据本公开又一示例性实施方式的视频处理装置的方框图;
27.图14示意性示出了根据本公开再一示例性实施方式的视频处理装置的方框图。
具体实施方式
28.现在将参考附图更全面地描述示例实施方式。然而,示例实施方式能够以多种形式实施,且不应被理解为限于在此阐述的范例;相反,提供这些实施方式使得本公开将更加
全面和完整,并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。在下面的描述中,提供许多具体细节从而给出对本公开的实施方式的充分理解。然而,本领域技术人员将意识到,可以实践本公开的技术方案而省略所述特定细节中的一个或更多,或者可以采用其它的方法、组元、装置、步骤等。在其它情况下,不详细示出或描述公知技术方案以避免喧宾夺主而使得本公开的各方面变得模糊。
29.此外,附图仅为本公开的示意性图解,并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分,因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体,不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体,或在一个或多个硬件模块或集成电路中实现这些功能实体,或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
30.附图中所示的流程图仅是示例性说明,不是必须包括所有的步骤。例如,有的步骤还可以分解,而有的步骤可以合并或部分合并,因此实际执行的顺序有可能根据实际情况改变。另外,下面所有的术语“第一”、“第二”、“第三”仅是为了区分的目的,不应作为本公开内容的限制;本技术的实施例、实施方式以及其中的具体技术特征在不冲突的情况下,可以相互组合。
31.图1示出了一些技术中包含用户移动事件的视频示意图。参考图1,在13:00:00至13:01:00这1分钟内,视频中出现了用户移动。
32.根据本公开一些技术的方案,可以采用固定时长截取的视频截取方式对图1所示的视频进行截取,以得到用户移动的视频画面。例如参考图2,固定时长为5分钟,在这种情况下,可以截取出13:00:00至13:05:00这5分钟的视频片段。
33.然而,13:01:00至13:05:00这4分钟及之后并不存在用户移动的事件,如果也截取这4分钟,会浪费存储空间,用户在观看时,也浪费了用户的时间,体验较差。
34.另外,固定截取时长与事件发生时长不匹配还会造成另一种结果。例如参考图3,在13:00:00至13:06:00共6分钟内,视频中均出现了用户移动的事件,而固定时长被配置为5分钟。在这种情况下,13:05:00至13:06:00这1分钟的视频片段无法被截取出,造成用户移动事件不完整,遗漏事件信息的问题。
35.图4示出了另一些技术中包含用户移动事件的视频示意图。参考图4,在13:00:00至13:00:50内,存在用户移动1和用户移动2两个事件,时间分别为13:00:00至13:00:10和13:00:30至13:00:50。
36.利用本公开的一些方案,可以对用户移动1和用户移动2对应的视频片段分别提取,然后进行合并,以得到截取出的视频片段。
37.然而,一方面,这种合并会造成最终得到的视频片段不连续,影响用户观看;另一方面,视频片段之间拼接的处理较为复杂,不易实施。
38.鉴于此,本公开提供了一种新的视频处理方案。
39.图5示出了本公开实施例的视频处理方案的示例性系统架构的示意图。
40.如图5所示,系统架构可以包括终端设备51和云端53。终端设备51与云端53可以通过网络进行连接,网络可以包括各种连接类型,例如有线、无线通信链路或者光纤电缆等等。
41.终端设备51可以通过网络与云端53交互,以接收或发送消息等。终端设备51可以是手机、平板电脑、智能可穿戴设备、个人计算机、各类视频监控设备(门铃、摄像头)等。在不同场景下,终端设备还可以被称为终端、移动终端、移动端、智能终端等。另外,云端53可以是单个服务器,也可以是由多个服务器组成的服务器集群,云端53还可以被称为云端服务器或服务器。
42.在由终端设备51执行本公开视频处理方案的一些实例中,终端设备51可以在视频中出现第一事件时,启动视频截取任务。在第一事件结束后的预定时长内,确定视频是否出现第二事件。如果出现第二事件,则在第二事件结束后的预定时长内,确定视频是否出现第三事件。如果出现第三事件,则将第三事件作为第二事件,继续在新的预定时长内确定是否存在第三事件,执行循环过程。如果终端设备51确定出未出现第二事件或第三事件,则结束视频截取任务,以确定截取出的视频片段。其中,第一事件、第二事件和第三事件中至少两个互为关联事件,更具体的,第一事件、第二事件和第三事件三者之间互为关联事件,或者,第一事件可以分别与第二事件和第三事件为关联事件。需要说明的是,关联事件可以是相同事件也可以是相关事件,相关事件可以用户自定义,也可以是系统预设,例如跌倒事件和哭泣事件设为关联事件。
43.在一个实施例中,终端设备51可以从截取出的视频片段中剔除最后预定时长的视频片段,以生成目标视频片段,进一步的,可以将目标视频片段上传至云端53进行存储。可以理解的,目标视频片段也可以存储在本地(可以理解为执行视频截取任务的设备上,例如摄像头、手机等)或者其他设备上(可以理解为与本地设备连接的其他设备),例如通过无线传输或有线传输的方式存储到电视、手机等其他设备的存储器上。
44.可以理解的,终端设备51可以将截取出的视频片段传输至指定设备,以供指定设备从截取出的视频片段中剔除最后预定时长的视频片段,生成目标视频片段。指定设备可以是终端设备51之外的其他设备,例如云端服务器、手机、电视等。
45.在另一个实施例中,终端设备51可以将截取出的视频片段上传至云端53。云端53可以响应于该视频片段对应的视频获取请求,从该视频片段中提取最后预定时长的视频片段,生成目标视频片段,并将目标视频片段发送给发起请求的请求端。该请求端可以是终端设备51,也可以是其他设备,本公开对此不做限制。
46.另外,云端53在接收到终端设备51发送的截取出的视频片段后,可以立即从该视频片段中剔除最后预定时长的视频片段,生成目标视频片段并存储,以便在云端53接收上述视频获取请求的情况下,将目标视频片段发送给请求端。
47.在由终端设备51执行本公开视频处理方案的另一些实例中,终端设备51可以在视频中出现第一事件时,启动视频截取任务。如果第一事件结束后的预定时长内未出现第一事件的关联事件,则结束视频截取任务,以确定截取出的视频片段。如果第一事件结束后的预定时长内出现与第一事件关联的第二事件,且在第二事件结束后经历预定时长内未出现第一事件的关联事件,则结束视频截取任务,以确定截取出的视频片段。
48.在由云端53执行本公开视频处理方案的一些实例中,云端53可以从终端设备51接收视频数据。随后,云端53可以对视频数据进行分析,在视频中出现第一事件时,启动视频截取任务。在第一事件结束后的预定时长内,确定视频是否出现第二事件。如果出现第二事件,则在第二事件结束后的预定时长内,确定视频是否出现第三事件。如果出现第三事件,
则将第三事件作为第二事件,执行循环过程。如果云端53确定出未出现第二事件或第三事件,则结束视频截取任务,以确定截取出的视频片段。其中,第一事件、第二事件和第三事件中至少两个互为关联事件,更具体的,第一事件、第二事件和第三事件三者之间互为关联事件。
49.云端53可以对截取出的视频片段进一步截取,以剔除最后预定时长的视频片段,生成目标视频片段进行存储。这个过程可以在确定出截取出的视频片段之后立即执行,也可以在接收到对应的视频获取请求后,再执行,本公开对此不做限制。
50.在由云端53执行本公开视频处理方案的另一些实例中,云端53可以在视频中出现第一事件时,启动视频截取任务。如果第一事件结束后的预定时长内未出现第一事件的关联事件,则结束视频截取任务,以确定截取出的视频片段。如果第一事件结束后的预定时长内出现与第一事件关联的第二事件,则在第二事件结束后经历预定时长后,结束视频截取任务,以确定截取出的视频片段。
51.此外,需要说明的是,一方面,本公开的视频处理方案可以应用于视频监控场景下,也就是说,视频是通过摄像头实时拍摄的视频,并进行实时分析,以截取满足用户需求的视频片段。另一方面,本公开的视频处理方案还可以用于对已有视频进行分析。
52.图6示出了适于用来实现本公开示例性实施方式的电子设备的示意图。本公开所述终端设备可以被配置为如图6所示电子设备的形式。需要说明的是,图6示出的电子设备仅是一个示例,不应对本公开实施例的功能和使用范围带来任何限制。
53.本公开的电子设备至少包括处理器和存储器,存储器用于存储一个或多个程序,当一个或多个程序被处理器执行时,使得处理器可以实现本公开示例性实施方式的视频处理方法。
54.具体的,如图6所示,电子设备600可以包括:处理器610、内部存储器621、外部存储器接口622、通用串行总线(universal serial bus,usb)接口630、充电管理模块640、电源管理模块641、电池642、天线1、天线2、移动通信模块650、无线通信模块660、音频模块670、扬声器671、受话器672、麦克风673、耳机接口674、传感器模块680、显示屏690、摄像模组691、指示器692、马达693、按键694以及用户标识模块(subscriber identification module,sim)卡接口695等。其中传感器模块680可以包括深度传感器、压力传感器、陀螺仪传感器、气压传感器、磁传感器、加速度传感器、距离传感器、接近光传感器、指纹传感器、温度传感器、触摸传感器、环境光传感器及骨传导传感器等。
55.可以理解的是,本公开实施例示意的结构并不构成对电子设备600的具体限定。在本公开另一些实施例中,电子设备600可以包括比图示更多或更少的部件,或者组合某些部件,或者拆分某些部件,或者不同的部件布置。图示的部件可以以硬件、软件或软件和硬件的组合实现。
56.处理器610可以包括一个或多个处理单元,例如:处理器610可以包括应用处理器(application processor,ap)、调制解调处理器、图形处理器(graphics processing unit,gpu)、图像信号处理器(image signal processor,isp)、控制器、视频编解码器、数字信号处理器(digital signal processor,dsp)、基带处理器和/或神经网络处理器(neural-etwork processing unit,npu)等。其中,不同的处理单元可以是独立的器件,也可以集成在一个或多个处理器中。另外,处理器610中还可以设置存储器,用于存储指令和
数据。
57.电子设备600可以通过isp、摄像模组691、视频编解码器、gpu、显示屏690及应用处理器等实现拍摄功能。在一些实施例中,电子设备600可以包括1个或n个摄像模组691,n为大于1的正整数,若电子设备600包括n个摄像头,n个摄像头中有一个是主摄像头。
58.内部存储器621可以用于存储计算机可执行程序代码,所述可执行程序代码包括指令。内部存储器621可以包括存储程序区和存储数据区。外部存储器接口622可以用于连接外部存储卡,例如micro sd卡,实现扩展电子设备600的存储能力。
59.本公开还提供了一种计算机可读存储介质,该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的;也可以是单独存在,而未装配入该电子设备中。
60.计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、光纤、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
61.计算机可读存储介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读存储介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、rf等等,或者上述的任意合适的组合。
62.计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被一个该电子设备执行时,使得该电子设备实现如下述实施例中所述的方法。
63.附图中的流程图和框图,图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分,上述模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个接连地表示的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图或流程图中的每个方框、以及框图或流程图中的方框的组合,可以用执行规定的功能或操作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。
64.描述于本公开实施例中所涉及到的单元可以通过软件的方式实现,也可以通过硬件的方式来实现,所描述的单元也可以设置在处理器中。其中,这些单元的名称在某种情况下并不构成对该单元本身的限定。
65.本公开的示例性实施方式的视频处理方法可以包括步骤1至步骤4,具体的:
66.在步骤1中,在视频中出现第一事件时,启动视频截取任务。
67.在步骤2中,在第一事件结束后的预定时长内,确定视频是否出现第二事件。如果未出现第二事件,则执行步骤3;如果出现第二事件,则执行步骤4。
68.在步骤3中,结束视频截取任务,以确定截取出的视频片段。
69.在步骤4中,在第二事件结束后的预定时长内,确定视频是否出现第三事件。如果
出现第三事件,则将第三事件作为第二事件,以循环执行步骤4;如果未出现第三事件,则执行步骤3。
70.其中,第一事件、第二事件和第三事件中至少两个互为关联事件。
71.图7示意性示出了本公开的示例性实施方式的视频处理方法的流程图。下面将以终端设备执行图7所示步骤为例对本公开的视频处理方法的各步骤进行说明。参考图7,视频处理方法可以包括以下步骤:
72.s70.在视频中出现第一事件时,启动视频截取任务。
73.本公开方案针对的视频可以是摄像头实时拍摄的视频,本公开对视频的内容(即摄像头拍摄的对象)不做限制。其中,摄像头可以是固定式摄像头,例如停车场、制造车间的监控摄像头。另外,摄像头还可以是移动摄像头,例如手机上的摄像头,用户可以通过该摄像头进行移动拍摄,获取周围场景信息。
74.本公开方案针对的视频还可以是已经拍摄完成的视频,需要对该视频进行分析时,再从存储器中获取的视频。类似地,本公开对已拍摄完成的视频的视频类型不做限制。
75.在本公开的示例性实施方式中,第一事件可以是预设事件,而预设事件可以包括用户预设事件或系统预设事件。其中,用户预设事件可以是用户预先进行演示的事件,终端设备可以对用户演示的事件进行拍摄并保存。例如,以预设事件为出现人脸的事件为例,终端设备可以拍摄包含人脸的图像和未包含人脸的图像,然后,用户可以在一预设事件配置界面上选择包含人脸的图像作为包含预设事件的图像。另外,预设事件还可以是终端设备出厂时系统预设的事件,本公开对预设事件的类型不做限制。
76.又例如,第一事件可以是用户感兴趣的事件,或者系统预先设定的预定类型的事件。例如,第一事件可以为拍摄场景中存在人脸、有对象(例如人、动物等)移动、场景中设备发出提示信号、哭泣、尖叫、摔倒等任一种或多种情况,本公开对第一事件的类型不做限制。
77.根据本公开的一些实施例,首先,终端设备可以每隔预定时间间隔,从视频中提取视频帧图像。其中,预定时间间隔与场景类型相关,可以基于场景来设定,本公开对其取值不做限制。
78.由于不是每一帧均进行处理,而是每隔预定时间间隔提取视频帧图像,由此,大大减轻了终端设备的处理压力,节省了资源。
79.容易理解的是,在一些图像内容变化剧烈的场景或其他需要缜密分析的场景下,可以提取视频中每一帧图像进行处理。
80.接下来,可以对视频帧图像进行特征提取。具体的,可以采用基于深度学习的机器学习模型对视频帧图像进行处理,以提取出视频帧图像的特征。其中,本公开对机器学习模型的结构和训练过程不做限制。另外,还可以采用例如直方图的方法提取出视频帧图像的特征,本公开对此也不做限制。
81.然后,可以根据提取到的特征,确定出视频帧图像是否出现上述预设事件。可以理解的是,机器学习模型的输出可以是是否出现预设事件的结果。另外,还可以根据机器学习模型提取到的特征,再进行进一步分析,得到是否出现预设事件的结果。
82.例如,在第一事件为判断场景中存在猫的情况下,可以将视频帧图像输入训练后的卷积神经网络,由该卷积神经网络进行特征提取,以分类出视频帧图像中是否存在猫。
83.此外,鉴于单帧的判断可能出现错误,根据本公开的另一些实施例,还提供了一种
基于多帧判断是否出现第一事件(或称为预设事件)的方案。
84.具体的,首先,可以根据提取到的特征,从视频中确定首次出现预设对象的目标视频帧图像。其中,预设对象是确定一个事件是预设事件的对象,可以理解的是,预设对象可以作为预设事件的标识。接下来,如果目标视频帧图像之后的一帧或多帧视频帧图像中均存在预设对象,则确定视频中出现预设事件,并将目标视频帧图像作为预设事件开始的起点。
85.例如,在连续的100帧图像中,如果第5帧图像出现人脸,则判断第6帧是否也出现人脸,或者判断之后的预定数量视频帧图像是否出现人脸(如第6帧至第10帧)。如果判断出这些帧均存在人脸,则可以确定视频中出现人脸,并将第5帧作为人脸出现的起点。
86.在视频中出现第一事件时,终端设备可以启动视频截取任务。
87.如上所述,在这种情况下,可以自目标视频帧图像起,启动视频截取任务。仍以上例进行说明,可以自第5帧图像起,启动视频截取任务。
88.根据本公开的一些实施例,启动视频截取任务的操作包括开始对视频进行截取操作。具体的,在视频为摄像头实时拍摄的视频的情况下,启动视频截取任务的操作包括开始对视频进行录制。
89.根据本公开另一些实施例,启动视频截取任务的操作包括记录视频中开始出现第一事件的时间,作为视频截取开始时间。可以理解的是,开始出现第一事件的时间是视频中第一事件从无到有的时间点,即,由未出现第一事件到出现第一事件的瞬时时间点。另外,视频截取开始时间可以是视频中的时间,也就是说,其表示的是相对时间。然而,视频截取开始时间也可以表示现实中的绝对时间,本公开对此不做限制。
90.s72.在第一事件结束后的预定时长内,确定视频是否出现第二事件。
91.下面以第二事件与第一事件相关联为例进行说明。
92.在本公开一些实施例中,第二事件与第一事件相关联指的是:第二事件与第一事件的事件类型相同。例如,均出现人脸、均存在用户移动、均存在其他指定对象(如,猫、指定设备等)等。
93.在本公开另一些实施例中,第二事件与第一事件相关联还可以指:第二事件与第一事件相同。例如,第二事件与第一事件均为出现用户a的人脸。另外,可以理解的是,这里的相同指的是事件对应的图像相同,不一定图像出现的位置与尺寸完全相同。
94.在本公开又一些实施例中,第二事件与第一事件相关联指的是:第二事件可以是第一事件的后续事件。例如,组装一物品包括过程a、过程b两个步骤,需要先执行过程a再执行过程b,在这种情况下,过程a对应的事件为第一事件,过程b对应的事件为第二事件。
95.在由步骤s70检测出的第一事件结束时,可以开始计时,在预定时长内确定视频是否出现第二事件。其中,预定时长与本公开方案的应用场景相关,例如可以是10秒、30秒等,本公开对此不做限制。
96.也就是说,在由步骤s70检测出的事件结束后,在预定时长内判断有没有与之对应的下一事件发生。例如,在检测出人脸的情况下,当人脸从视频中消失时,开始计时,在预定时长内,检测是否又有人脸出现。
97.另外,确定是否存在第二事件的方式可以与步骤s70中确定第二事件的方式相同,即均可以通过对视频帧图像的分析而确定是否出现事件。
98.在确定出视频中出现第二事件的情况下,终端设备执行步骤s74;在确定出视频中未出现第二事件的情况下,终端设备执行步骤s78。
99.此外,针对检测第一事件结束的过程,类似于上述检测第一事件出现的情况,可以再结合一帧或多帧来检测第一事件是否结束。
100.例如,在第20帧图像中发现第一事件结束,在这种情况下,可以在进行之后一帧或多帧的判断过程,如果均未出现第一事件,则将第20帧作为第一事件结束的图像。
101.另外,仍可以理解的,在使用多帧图像确定是否出现第二事件时,可以设置成当具有第二事件对应的对象的多帧图像(例如,3帧图像、5帧图像等)均出现在预定时长内,则可以确定出视频出现第二事件,也可以设置成只要具有第二事件对应的对象的图像出现在预定时长内,即可确定出视频出现第二事件。
102.s74.在第二事件结束后的预定时长内,确定视频是否出现第三事件。
103.在本公开的一些实施例中,第三事件可以与第一事件或第二事件相关联,此处所说的相关联的含义与步骤s72中描述的相关联相同,不再赘述。应当注意的是,第一事件、第二事件和第三事件中至少两个互为关联事件,更具体的,第一事件、第二事件和第三事件互为关联事件。
104.如果在步骤s72中确定出视频中出现第二事件,则终端设备可以在第二事件结束后的预定时长内,确定该视频是否出现第三事件。
105.具体的,也可以通过提取视频帧图像的特征并进行分析的方式,确定视频中是否出现第三事件的方式。
106.在确定出视频中出现第三事件的情况下,终端设备执行步骤s76;在确定出视频中未出现第三事件的情况下,终端设备执行步骤s78。
107.另外,仍可以理解的,在使用多帧图像确定是否出现第三事件时,可以设置成当具有第三事件对应的对象的多帧图像(例如,3帧图像、5帧图像等)均出现在预定时长内,则可以确定出视频出现第三事件,也可以设置成只要具有第三事件对应的对象的图像出现在预定时长内,即可确定出视频出现第三事件。
108.s76.将第三事件作为第二事件。
109.如果步骤s74确定出视频出现第三事件,则将第三事件作为第二事件,并返回步骤s74,执行在第二事件结束后的预定时长内确定视频是否出现第三事件的操作。由此,如图7所示,形成了步骤s74与步骤s76的循环过程。
110.可以看出,只要在一事件结束后预定时长内出现了关联的另一事件,则循环过程一直执行,直至事件结束后预定时长内不出现关联的事件为止,过程再从步骤s74跳转至步骤s78。
111.例如,预定时长为10秒。如果事件a结束后,10秒内出现了与事件a关联的事件b,则继续判断事件b结束后10秒内是否出现与事件a(或事件b)关联的事件,如果出现关联的事件c,则继续判断事件c结束后10秒内是否出现与前面事件关联的事件,
……
等等。
112.s78.如果未出现第二事件或第三事件,则结束视频截取任务,以确定截取出的视频片段。
113.在启动视频截取任务的操作包括开始对视频进行截取操作的实施例中,终端设备结束视频截取任务的操作包括:结束对视频的截取操作。具体的,在视频为摄像头实时拍摄
的视频的情况下,结束视频截取任务包括停止对视频进行录制。
114.在启动视频截取任务的操作包括记录视频截取开始时间的实施例中,在步骤s72确定出未出现第二事件的情况下,终端设备结束视频截取任务的操作包括:记录确定出第一事件结束后经历预定时长的时间,作为视频截取结束时间。在这种情况下,可以基于视频截取开始时间与视频截取结束时间,确定视频截取的时间段,并针对该时间段进行截取操作,以确定截取出的视频片段。
115.在步骤s74确定出未出现第三事件的情况下,终端设备结束视频截取任务的操作包括:记录确定出第二事件结束后经历预定时长的时间,作为视频截取结束时间。在这种情况下,可以基于视频截取开始时间与视频截取结束时间,确定视频截取的时间段,并针对该时间段进行截取操作,以确定截取出的视频片段。
116.例如,视频中,视频截取开始时间为01:30,视频截取结束时间为03:00,在这种情况下,终端设备可以从视频中截取01:30到03:00对应的视频片段,即确定出截取出的视频片段。
117.在确定出截取的视频片段后,鉴于视频片段最后预定时长内不存在对应的事件,在这种情况下,终端设备可以从截取出的视频片段中剔除最后预定时长的视频片段,生成目标视频片段。另外,终端设备可以将目标视频片段上传至云端进行保存。
118.由此,云端可以响应终端设备或其他设备发送的与该目标视频片段对应的视频获取请求,将目标视频片段发送给发送请求的设备。
119.另外,考虑到终端设备的处理资源有限,终端设备可以将截取出的视频片段直接上传至云端。
120.在这种情况下,在一些实施例中,云端可以响应于截取出的视频片段对应的视频获取请求,从截取出的视频片段中剔除最后预定时长的视频片段,以生成目标视频片段,并将目标视频片段发送给发起该视频获取请求的请求端,以便用户观看。
121.在另一些实施例中,云端可以从截取出的视频片段中剔除最后预定时长的视频片段,生成目标视频片段并存储,以便云端响应于截取出的视频片段对应的视频获取请求,将目标视频片段发送给发起视频获取请求的请求端,以便用户观看。可以理解的,本技术的一些实施例,能够将间隔预设时间内的至少两个连续关联事件(包括相同事件)从视频中截取,并且各个关联事件之间不中断(上述任意两个连续的关联事件之间的视频也被截取出),从而提升用户观看效果,由于设置了预设时间,因此可以避免间隔过长的两个连续关联事件被纳入同一个截取的视频片段中,一定程度上降低了存储量,从而可以方便在存储量和观看效果上寻求平衡。
122.下面将参考图8,以出现相同的预设事件为例,对本公开实施例的视频处理方案的整个过程进行说明。
123.在步骤s802中,终端设备对摄像头拍摄的视频进行实时监测。其中,摄像头可以集成在终端设备上,另外,摄像头还可以通过有线或无线的方式与终端设备建立连接,以便终端设备可以获取到视频。
124.在步骤s804中,终端设备判断视频中是否出现预设事件。如果出现,则执行步骤s806;如果未出现,则返回步骤s802。
125.在步骤s806中,预设事件结束后,延长录制n秒视频,其中,n秒即对应上述预定时
长,例如,10秒、30秒等。
126.在步骤s808中,终端设备判断n秒内是否又出现预设事件。如果出现,则返回步骤s806;如果未出现,则执行步骤s810。
127.在步骤s810中,终端设备确定截取出的视频片段,该截取出的视频片段包含最后一个预设事件结束后的n秒视频片段。
128.在步骤s812中,终端设备从步骤s810确定的视频片段中截断最后n秒的视频片段,并上传云端进行保存。
129.图9示意性示出了根据本公开另一实施例的由云端参与视频截取的方案的流程图。
130.在步骤s902中,云端获取由终端设备截取出的视频片段并存储。终端设备确定截取出的视频片段的过程可以如上述步骤s802至步骤s810所示。
131.在步骤s904中,云端接收与该视频片段对应的视频获取请求。
132.在步骤s906中,云端可以截断视频片段的最后n秒,并发送给视频获取请求的请求端。
133.此外,针对仅需要输出包含两个关联事件的视频的场景,本公开还提供了另一种视频处理方法。参考图10,该视频处理方法可以包括以下步骤:
134.s102.在视频中出现第一事件时,启动视频截取任务。
135.步骤s102与上述步骤s70相同,不再赘述。
136.s104.如果第一事件结束后的预定时长内未出现第一事件的关联事件,则结束视频截取任务,以确定截取出的视频片段。
137.关于确定两个事件是否关联,与步骤s72中第一事件与第二事件相关联的情况类似。就出现第一事件后,终端设备可以确定第一事件结束后预定时长内是否出现第一事件的关联事件,如果出现,则结束视频截取任务,以确定截取出的视频片段。
138.其中,结束视频截取任务以确定截取出的视频片段过程与步骤s78的过程类似,不再赘述。
139.s106.如果第一事件结束后的预定时长内出现与第一事件关联的第二事件,且在第二事件结束后经历预定时长内未出现第一事件的关联事件,则结束视频截取任务,以确定截取出的视频片段。
140.如果第一事件结束后的预定时长内出现与第一事件关联的事件,记为第二事件,则在第二事件结束后经历预定时长内未出现第一事件(或第二事件)的关联事件,终端设备可以结束视频截取任务,以确定截取出的视频片段。
141.在本示例性方案中,考虑到一些场景中事件往往具有较强的连续性,第二事件结束后,再经历预定时长后结束视频截取任务,避免了预定时长内视频可能存在的一些相关信息被遗漏或丢弃的问题。
142.另外,针对另一些场景,本公开方案还可以剔除最后预定时长的视频,并生成目标视频片段进行存储。
143.在本公开的一些实施例中,终端设备可以从截取出的视频片段中剔除最后预定时长的视频片段,生成目标视频片段。另外,终端设备可以将目标视频片段上传至云端进行保存。
144.由此,云端可以响应终端设备或其他设备发送的与该目标视频片段对应的视频获取请求,将目标视频片段发送给发送请求的设备。
145.另外,考虑到终端设备的处理资源有限,终端设备可以将截取出的视频片段直接上传至云端。
146.在这种情况下,在一些实施例中,云端可以响应于截取出的视频片段对应的视频获取请求,从截取出的视频片段中剔除最后预定时长的视频片段,以生成目标视频片段,并将目标视频片段发送给发起该视频获取请求的请求端,以便用户观看。
147.在另一些实施例中,云端可以从截取出的视频片段中剔除最后预定时长的视频片段,生成目标视频片段并存储,以便云端响应于截取出的视频片段对应的视频获取请求,将目标视频片段发送给发起视频获取请求的请求端,以便用户观看。
148.基于本公开上述的视频处理方法,一方面,本公开方案可以从视频中截取多个关联事件的视频片段;另一方面,截取出的视频片段为连续的视频片段,确保用户观看到的视频片段连续且事件完整;再一方面,基于截取出的视频片段进行存储,可以大大节约存储空间。
149.应当注意,尽管在附图中以特定顺序描述了本公开中方法的各个步骤,但是,这并非要求或者暗示必须按照该特定顺序来执行这些步骤,或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的,可以省略某些步骤,将多个步骤合并为一个步骤执行,以及/或者将一个步骤分解为多个步骤执行等。
150.进一步的,本示例实施方式中还提供了一种视频处理装置。
151.图11示意性示出了本公开的示例性实施方式的视频处理装置的方框图。参考图11,根据本公开的示例性实施方式的视频处理装置11可以包括任务启动模块111、事件检测模块113和第一视频截取模块115。
152.具体的,任务启动模块111可以用于用于在视频中出现第一事件时,启动视频截取任务;事件检测模块113可以用于在第一事件结束后的预定时长内,确定视频是否出现第二事件;如果出现第二事件,则在第二事件结束后的预定时长内,确定视频是否出现第三事件;如果出现第三事件,则将第三事件作为第二事件;第一视频截取模块115可以用于如果未出现第二事件或第三事件,则结束视频截取任务,以确定截取出的视频片段;其中,第一事件、第二事件和第三事件中至少两个互为关联事件。
153.根据本公开的示例性实施例,第一视频截取模块115还可以被配置为执行:从截取出的视频片段中剔除最后预定时长的视频片段,生成目标视频片段。
154.根据本公开的示例性实施例,第一视频截取模块115还可以被配置为执行:将截取出的视频片段传输至指定设备,以供指定设备从截取出的视频片段中剔除最后预定时长的视频片段,生成目标视频片段。
155.根据本公开的示例性实施例,参考图12,相比于视频处理装置11,视频处理装置12还可以包括视频片段上传模块121。
156.具体的,视频片段上传模块121可以被配置为执行:将截取出的视频片段上传至云端。在这种情况下,云端响应于截取出的视频片段对应的视频获取请求,从截取出的视频片段中剔除最后预定时长的视频片段,生成目标视频片段,并将目标视频片段发送给发起视频获取请求的请求端;或者,云端从截取出的视频片段中剔除最后预定时长的视频片段,生
成目标视频片段并存储,以便云端响应于截取出的视频片段对应的视频获取请求,将目标视频片段发送给发起视频获取请求的请求端。
157.根据本公开的示例性实施例,任务启动模块111启动视频截取任务的过程可以被配置为执行:在视频中出现第一事件时,开始对视频进行截取操作。在这种情况下,第一视频截取模块115结束视频截取任务的过程可以被配置为执行:结束对视频的截取操作。
158.根据本公开的示例性实施例,任务启动模块111启动视频截取任务的过程可以被配置为执行:记录视频中开始出现第一事件的时间,作为视频截取开始时间。在这种情况下,第一视频截取模块115结束视频截取任务以确定截取出的视频片段的过程可以被配置为执行:在未出现第二事件的情况下,记录确定出第一事件结束后经历预定时长的时间,作为视频截取结束时间,基于视频截取开始时间与视频截取结束时间,对视频进行截取操作,以确定截取出的视频片段;在未出现第三事件的情况下,记录确定出第二事件结束后经历预定时长的时间,作为视频截取结束时间,基于视频截取开始时间与视频截取结束时间,对视频进行截取操作,以确定截取出的视频片段。
159.根据本公开的示例性实施例,第一事件为预设事件,预设事件包括用户预设事件或系统预设事件。在这种情况下,参考图13,相比于视频处理装置11,视频处理装置13还可以包括图像分析模块131。
160.具体的,图像分析模块131可以被配置为执行:对视频中的视频帧图像进行特征提取;根据提取到的特征,确定视频中是否出现预设事件。
161.根据本公开的示例性实施例,图像分析模块131根据提取到的特征确定视频中是否出现预设事件的过程可以被配置为执行:根据提取到的特征,从视频中确定首次出现预设对象的目标视频帧图像,预设对象是确定一事件为预设事件的对象;如果目标视频帧图像之后的一帧或多帧视频帧图像中均存在预设对象,则确定视频中出现预设事件;其中,自目标视频帧图像起,启动视频截取任务。
162.根据本公开的示例性实施例,上述视频为摄像头实时拍摄的视频。
163.进一步的,本示例实施方式中还提供了另一种视频处理装置。
164.图14示意性示出了本公开另一示例性实施方式的视频处理装置的方框图。参考图14,根据本公开的示例性实施方式的视频处理装置14可以包括任务启动模块111、第二视频截取模块141和第三视频截取模块143。
165.具体的,任务启动模块111可以用于在视频中出现第一事件时,启动视频截取任务;第二视频截取模块141可以用于如果第一事件结束后的预定时长内未出现第一事件的关联事件,则结束视频截取任务,以确定截取出的视频片段;第三视频截取模块143可以用于如果第一事件结束后的预定时长内出现与第一事件关联的第二事件,且在第二事件结束后经历预定时长内未出现第一事件的关联事件,则结束视频截取任务,以确定截取出的视频片段。
166.根据本公开的示例性实施例,第三视频截取模块143还可以被配置为执行:从截取出的视频片段中剔除最后预定时长的视频片段,生成目标视频片段。
167.根据本公开的示例性实施例,第三视频截取模块143还可以被配置为执行:将截取出的视频片段传输至指定设备,以供指定设备从截取出的视频片段中剔除最后预定时长的视频片段,生成目标视频片段。
168.根据本公开的示例性实施例,视频处理装置14还可以包括上述视频片段上传模块121。
169.由于本公开实施方式的视频处理装置的各个功能模块与上述方法实施方式中相同,因此在此不再赘述。
170.通过以上的实施方式的描述,本领域的技术人员易于理解,这里描述的示例实施方式可以通过软件实现,也可以通过软件结合必要的硬件的方式来实现。因此,根据本公开实施方式的技术方案可以以软件产品的形式体现出来,该软件产品可以存储在一个非易失性存储介质(可以是cd-rom,u盘,移动硬盘等)中或网络上,包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施方式的方法。
171.此外,上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明,而不是限制目的。易于理解,上述附图所示的处理并不表明或限制这些处理的时间顺序。另外,也易于理解,这些处理可以是例如在多个模块中同步或异步执行的。
172.应当注意,尽管在上文详细描述中提及了用于动作执行的设备的若干模块或者单元,但是这种划分并非强制性的。实际上,根据本公开的实施方式,上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之,上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。
173.本领域技术人员在考虑说明书及实践这里公开的内容后,将容易想到本公开的其他实施例。本技术旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由权利要求指出。
174.应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。
当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1