本发明涉及计算机领域，特别涉及一种基于内容预测的深度学习视频解码方法和装置。
背景技术：
目前，视频流数据在播放时，都是由视频解码芯片解码后直接送往显示器进行播放，对于视频内容的检测并没有一种很好的检测机制，这就导致当视频内容存在着一些不堪入目(如色情或暴力)的画面时，现有方法无法很好地进行及时预警，尤其是在观众中有未成年人时，这些画面一旦播放，将会影响到他们的身心健康，给他们幼小的心灵留下童年阴影。
技术实现要素：
为此，需要提供一种基于内容预测的深度学习视频解码的技术方案，导解决现有方法由于无法对视频内容进行提前检测预判，导致无法避免未成年人接触视频中的色情或暴力等内容的问题。
为实现上述目的，发明人提供了一种基于内容预测的深度学习视频解码装置，所述装置包括视频控制单元、视频解码单元、帧缓存单元、卷积神经网络电路、预设内容判定单元、提示信息添加单元、跳帧存储单元、显示控制单元和显示单元；所述帧缓存单元包括当前帧缓存单元和预判帧缓存单元；所述视频控制单元和视频解码单元连接，所述视频解码单元分别与当前帧缓存单元、预判帧缓存单元连接，所述当前帧缓存单元与显示控制单元连接，所述显示控制单元和显示单元连接；所述预判帧缓存单元与卷积神经网络电路连接，所述卷积神经网络电路与预设内容判定单元连接，所述预设内容判定单元分别与视频控制单元、提示信息添加单元、跳帧存储单元连接，所述提示信息添加单元与当前帧缓存单元连接；
所述视频控制单元用于接收视频流信息，所述视频流信息包括多帧图像信息，所述多帧图像信息包括当前帧信息和第一预判帧信息，所述第一预判帧信息为当前帧信息对应的下一关键帧信息；
所述视频解码单元用于对当前帧信息进行解析，将解析后的当前帧信息存储至当前帧缓存单元中，以及对第一预判帧信息进行解析，将解析后的第一预判帧信息存储至预判帧缓存单元中；
所述卷积神经网络电路用于获取预判帧缓存单元中的第一预判帧信息，判断第一预判帧信息与预设内容是否匹配，若匹配则预设内容判定单元用于发送第一控制信号至提示信息添加单元，以及用于发送第二控制信号至视频控制单元；
所述视频控制单元用于接收第二控制信号，将第二预判帧信息发送至视频解码单元进行解析，视频解码单元用于将解析后的第二预判帧信息存储至预判帧缓存单元中；所述第二预判帧信息为第一预判帧信息对应的下一关键帧信息；
所述卷积神经网络电路用于获取预判帧缓存单元中的第二预判帧信息，判断第二预判帧信息与预设内容是否匹配，若匹配则预设内容判定单元用于发送第一控制信号至提示信息添加单元，以及用于再次发送第二控制信号至视频控制单元；重复上述步骤，直至卷积神经网络电路判定预判帧缓存单元中的预判帧信息与预设内容不匹配，记录此时预判帧缓存单元中的预判帧信息对应的时间戳；所述预设内容判定单元用于将当前预判帧缓存单元中的预判帧信息对应的时间戳信息、以及该时间戳与首次被判定为与预设内容匹配的预判帧信息的时间戳之间的所有帧信息存储至跳帧存储单元中；
所述提示信息添加单元用于在接收到第一控制信号，获取当前帧缓存单元中的当前帧信息，对当前帧信息添加提示信息，得到当前帧调整信息，并将当前帧调整信息回写至当前帧缓存单元中；
所述显示控制单元用于获取当前帧调整信息并将其传输至显示单元进行显示，所述显示单元用于显示当前帧调整信息。
进一步地，所述卷积神经网络电路包括参数初始化单元、初始值存储单元、取数单元、参数存储单元、可重构网络矩阵单元、误差计算单元和反向传播回写单元；所述参数存储单元中存储有参数元素，所述参数元素包括卷积核、权值和卷积偏置值，所述取数单元包括权值取数单元、卷积核取数单元和卷积偏置取数单元；
卷积神经网络电路在获取预判帧缓存单元中的第一预判帧信息之前，还用于对预设内容进行神经网络训练；具体包括：
所述参数初始化单元用于从初始值存储单元中获取网络结构的各个参数初始值，根据各个参数的初始值控制取数单元从参数存储单元中获取相应数量的各个参数元素，对可重构网络矩阵单元进行配置；
所述可重构网络矩阵单元用于根据配置的各个参数元素的初始值进行神经网络计算，所述误差计算单元用于判断本次计算结果与真实信息的匹配度是否大于预设匹配度，若是则判定为训练完成，反向传播回写单元用于将各个参数元素的参数值更新为当前的各个参数值，并将更新后的各个参数值写入参数存储单元中；否则可重构网络矩阵单元用于根据本次训练结果的匹配度与上一次训练结果的匹配度的差异，调整各个参数元素的配置参数值，并通过反向传播回写单元将调整后的参数值写入参数存储单元中，以及控制取数单元根据调整后的参数值从获取相应数量的各个参数元素，并再次进行神经网络计算，直至训练完成。
进一步地，所述视频解码单元还用于对第一预判帧信息对应的下一编码帧进行解析，得到第一预判帧信息对应的运动矢量信息，并将运动矢量信息传输至卷积神经网络电路；
卷积神经网络电路用于判断第一预判帧信息与预设内容是否匹配还包括：卷积神经网络电路用于对第一预判帧信息对应的运动矢量信息进行神经网络识别计算，计算其与预设运动矢量信息的匹配度，并根据第一预判帧信息以及第一预判帧信息对应的运动矢量信息的匹配度计算结果，判断第一预判帧信息与预设内容是否匹配。
进一步地，当预设内容判定单元判定当前预判帧缓存单元中的预判帧信息与预设内容匹配时，所述视频控制单元还用于接收跳帧指令，不将跳帧存储单元中的所有帧信息发送至视频解码单元进行解析。
进一步地，所述提示信息为预警字幕信息，所述装置还包括字幕存储单元；提示信息添加单元用于在接收到第一控制信号，获取当前帧缓存单元中的当前帧信息，对当前帧信息添加提示信息，得到当前帧调整信息包括：
提示信息添加单元用于获取字幕存储单元中的字幕信息，对所述字幕信息叠加预警字幕信息，得到字幕调整信息，以及将字幕调整信息添加至当前帧信息的相应位置，得到当前帧调整信息。
发明人还提供了一种基于内容预测的深度学习视频解码方法，所述方法应用于基于内容预测的深度学习视频解码装置，所述装置包括视频控制单元、视频解码单元、帧缓存单元、卷积神经网络电路、预设内容判定单元、提示信息添加单元、跳帧存储单元、显示控制单元和显示单元；所述帧缓存单元包括当前帧缓存单元和预判帧缓存单元；所述视频控制单元和视频解码单元连接，所述视频解码单元分别与当前帧缓存单元、预判帧缓存单元连接，所述当前帧缓存单元与显示控制单元连接，所述显示控制单元和显示单元连接；所述预判帧缓存单元与卷积神经网络电路连接，所述卷积神经网络电路与预设内容判定单元连接，所述预设内容判定单元分别与视频控制单元、提示信息添加单元、跳帧存储单元连接，所述提示信息添加单元与当前帧缓存单元连接；所述方法包括以下步骤：
视频控制单元接收视频流信息，所述视频流信息包括多帧图像信息，所述多帧图像信息包括当前帧信息和第一预判帧信息，所述第一预判帧信息为当前帧信息对应的下一关键帧信息；
视频解码单元对当前帧信息进行解析，将解析后的当前帧信息存储至当前帧缓存单元中，以及对第一预判帧信息进行解析，将解析后的第一预判帧信息存储至预判帧缓存单元中；
卷积神经网络电路获取预判帧缓存单元中的第一预判帧信息，判断第一预判帧信息与预设内容是否匹配，若匹配则预设内容判定单元发送第一控制信号至提示信息添加单元，以及发送第二控制信号至视频控制单元；
视频控制单元接收第二控制信号，将第二预判帧信息发送至视频解码单元进行解析，视频解码单元将解析后的第二预判帧信息存储至预判帧缓存单元中；所述第二预判帧信息为第一预判帧信息对应的下一关键帧信息；
卷积神经网络电路获取预判帧缓存单元中的第二预判帧信息，判断第二预判帧信息与预设内容是否匹配，若匹配则预设内容判定单元发送第一控制信号至提示信息添加单元，以及再次发送第二控制信号至视频控制单元；重复上述步骤，直至卷积神经网络电路判定预判帧缓存单元中的预判帧信息与预设内容不匹配，记录此时预判帧缓存单元中的预判帧信息对应的时间戳；预设内容判定单元将当前预判帧缓存单元中的预判帧信息对应的时间戳信息、以及该时间戳与首次被判定为与预设内容匹配的预判帧信息的时间戳之间的所有帧信息存储至跳帧存储单元中；
提示信息添加单元在接收到第一控制信号，获取当前帧缓存单元中的当前帧信息，对当前帧信息添加提示信息，得到当前帧调整信息，并将当前帧调整信息回写至当前帧缓存单元中；
显示控制单元获取当前帧调整信息并将其传输至显示单元进行显示，显示单元显示当前帧调整信息。
进一步地，所述卷积神经网络电路包括参数初始化单元、初始值存储单元、取数单元、参数存储单元、可重构网络矩阵单元、误差计算单元和反向传播回写单元；所述参数存储单元中存储有参数元素，所述参数元素包括卷积核、权值和卷积偏置值，所述取数单元包括权值取数单元、卷积核取数单元和卷积偏置取数单元；卷积神经网络电路在获取预判帧缓存单元中的第一预判帧信息之前，对预设内容进行神经网络训练；具体包括：
参数初始化单元从初始值存储单元中获取网络结构的各个参数初始值，根据各个参数的初始值控制取数单元从参数存储单元中获取相应数量的各个参数元素，对可重构网络矩阵单元进行配置；
可重构网络矩阵单元根据配置的各个参数元素的初始值进行神经网络计算，误差计算单元判断本次计算结果与真实信息的匹配度是否大于预设匹配度，若是则判定为训练完成，反向传播回写单元将各个参数元素的参数值更新为当前的各个参数值，并将更新后的各个参数值写入参数存储单元中；否则可重构网络矩阵单元根据本次训练结果的匹配度与上一次训练结果的匹配度的差异，调整各个参数元素的配置参数值，并通过反向传播回写单元将调整后的参数值写入参数存储单元中，以及控制取数单元根据调整后的参数值从获取相应数量的各个参数元素，并再次进行神经网络计算，直至训练完成。
进一步地，所述方法还包括：
视频解码单元对第一预判帧信息对应的下一编码帧进行解析，得到第一预判帧信息对应的运动矢量信息，并将运动矢量信息传输至卷积神经网络电路；
卷积神经网络电路判断第一预判帧信息与预设内容是否匹配还包括：卷积神经网络电路对第一预判帧信息对应的运动矢量信息进行神经网络识别计算，计算其与预设运动矢量信息的匹配度，并根据第一预判帧信息以及第一预判帧信息对应的运动矢量信息的匹配度计算结果，判断第一预判帧信息与预设内容是否匹配。
进一步地，当预设内容判定单元判定当前预判帧缓存单元中的预判帧信息与预设内容匹配时，所述方法还包括：视频控制单元接收跳帧指令，不将跳帧存储单元中的所有帧信息发送至视频解码单元进行解析。
进一步地，所述提示信息为预警字幕信息，所述装置还包括字幕存储单元；提示信息添加单元在接收到第一控制信号，获取当前帧缓存单元中的当前帧信息，对当前帧信息添加提示信息，得到当前帧调整信息包括：
提示信息添加单元获取字幕存储单元中的字幕信息，对所述字幕信息叠加预警字幕信息，得到字幕调整信息，以及将字幕调整信息添加至当前帧信息的相应位置，得到当前帧调整信息。
上述技术方案所述的基于内容预测的深度学习视频解码方法和装置，所述方法在接收到视频流信息后，一边将解析出的当前帧信息发送至显示屏进行显示，另一边解析当前帧信息对应的下一关键帧信息作为第一预判帧信息，并将第一预判帧信息送往卷积神经网络电路进行识别判断，当检测到第一预判帧信息与预设内容匹配时，一方面对当前帧信息添加提示信息，以便对接下来即将需要播放的内容进行充分预警，让用户知悉，另一边继续提取出下一预判帧信息并将其与预设内容进行匹配，如此循环，直至送往送往卷积神经网络电路进行识别判断的预判帧信息不再与预设内容匹配，此时就可以根据当前预判帧的时间戳和其与当前帧时间戳的差值，确定需要跳帧的片段，并将该片段存储于跳帧存储单元中。上述方案可以实现对视频内容进行提前检测预判，避免未成年人接触视频中的色情或暴力等内容，具有广阔的市场前景。
附图说明
图1为本发明一实施例涉及的基于内容预测的深度学习视频解码装置的示意图；
图2为本发明一实施例涉及的卷积神经网络电路的示意图；
图3为本发明一实施例涉及的误差计算单元的电路结构图；
图4为本发明一实施例涉及的升级单元的电路结构图；
图5为本发明一实施例涉及的乘加器单元的电路结构图；
图6为本发明一实施例涉及的可重构神经网络矩阵的电路结构图；
图7为本发明一实施例涉及的基于内容预测的深度学习视频解码方法的示意图；
附图标记说明：
101、视频控制单元；102、视频解码单元；103、当前帧缓存单元；104、预判帧缓存单元；105、卷积神经网络电路；106、预设内容判定单元；107、提示信息添加单元；108、跳帧存储单元；109、显示控制单元；110、显示单元；111、字幕存储单元；112、运动矢量计算单元；
201、参数初始化单元；
202、参数存储单元；2021、权值和偏置值存储单元；2022、第一卷积核存储单元；2023、第二卷积核存储单元；
203、权值取数单元；204、卷积核取数单元；205、卷积偏置取数单元；206、误差计算单元；207、反向传播回写单元；
208、可重构网络矩阵单元；2081、升级单元；2082、激活函数单元；2083、乘加器单元；2084、计算缓存单元；2085、互联矩阵单元。
具体实施方式
为详细说明技术方案的技术内容、构造特征、所实现目的及效果，以下结合具体实施例并配合附图详予说明。
请参阅图1，为本发明一实施例涉及的基于内容预测的深度学习视频解码装置的示意图。所述装置包括视频控制单元101、视频解码单元103、帧缓存单元、卷积神经网络电路105、预设内容判定单元106、提示信息添加单元107、跳帧存储单元108、显示控制单元109和显示单元110；所述帧缓存单元包括当前帧缓存单元103和预判帧缓存单元104；所述视频控制单元101和视频解码单元102连接，所述视频解码单元102分别与当前帧缓存单元103、预判帧缓存单元104连接，所述当前帧缓存单元103与显示控制单元101连接，所述显示控制单元109和显示单元110连接；所述预判帧缓存单元104与卷积神经网络电路105连接，所述卷积神经网络电路105与预设内容判定单元106连接，所述预设内容判定单元106分别与视频控制单元101、提示信息添加单元107、跳帧存储单元108连接，所述提示信息添加单元107与当前帧缓存单元103连接；
所述视频控制单元101用于接收视频流信息，所述视频流信息包括多帧图像信息，所述多帧图像信息包括当前帧信息和第一预判帧信息，所述第一预判帧信息为当前帧信息对应的下一关键帧信息。视频在解码过程中，是以帧为单位进行解码的，视频压缩中，每帧代表一幅静止的图像。而在实际压缩时，会采取各种算法减少数据的容量，其中ipb就是最常见的。简单地说，i帧是关键帧，属于帧内压缩，压缩方式和avi的压缩是一样的；p是向前搜索的意思，b是双向搜索的意思，p帧和b帧都是基于i帧来压缩数据，即存储的是相较于i帧的差量(运动矢量)。视频压缩过程中ipb帧参考链接如下：http://blog.csdn.net/tanyhuan/article/details/48346571。在具体应用过程中，某一i帧与下一i帧之间一般穿插着上百甚至上千个p帧或b帧，由于i帧是关键帧信息，包含着某一帧图像的完整信息，因而可以将i帧作为预判帧，进而对预判帧的内容进行预测，识别判断i帧所包含的内容。
所述视频解码单元102用于对当前帧信息进行解析，将解析后的当前帧信息存储至当前帧缓存单元103中，以及对第一预判帧信息进行解析，将解析后的第一预判帧信息存储至预判帧缓存单元104中。在视频解码过程中，解码芯片解码的速度一般要高于视频传输显示的速度，从而保证视频在播放过程中不会发生卡顿现象。因而视频解码单元在解析当前帧之后，可以乘着解码间歇获取第一预判帧信息，并将其存储至预判帧缓存单元中。在本实施方式中，当前帧信息可以包括i帧、b帧或p帧，预判帧信息为当前帧信息对应的下一i帧信息。假设某一视频流的第1000帧为i帧，第2000帧为下一i帧，第1000帧至第2000帧之间穿插着1000个b帧或p帧，当视频解码单元解码到1000帧至2000帧之间的任一帧(即当前帧为第1000帧至第2000帧之间的某一帧)时，视频解码单元将获取第2000帧作为第一预判帧，并将其存储于预判帧缓存单元中，以便后续处理。
所述卷积神经网络电路105用于获取预判帧缓存单元104中的第一预判帧信息，判断第一预判帧信息与预设内容是否匹配，若匹配则预设内容判定单元106用于发送第一控制信号至提示信息添加单元，以及用于发送第二控制信号至视频控制单元101。在本实施方式中，所述预设内容为设定的需要进行跳帧的图像信息，如暴力、色情画面等。
如图2所示，所述卷积神经网络电路包括参数初始化单元201、初始值存储单元、取数单元、参数存储单元202、可重构网络矩阵单元208、误差计算单元206和反向传播回写单元207；所述参数存储单元202中存储有参数元素。在本实施方式中，参数元素包括神经网络层数、各层神经网络的神经元数量、各层神经网络的卷积核值、卷积配置值以及权值。相对应地，所述取数单元包括权值取数单元203、卷积核取数单元204和卷积偏置取数单元205；卷积神经网络电路在获取预判帧缓存单元中的第一预判帧信息之前，还用于对预设内容进行神经网络训练；具体包括：
所述参数初始化单元201用于从初始值存储单元中获取网络结构的各个参数初始值，根据各个参数的初始值控制取数单元从参数存储单元202中获取相应数量的各个参数元素，对可重构网络矩阵单元进行配置。
在某些实施例中，所述装置包括wifi通信单元和初始值配置查询单元，所述初始值配置查询单元还通过wifi通信单元与互联网连接，所述初始值配置查询单元用于在未从初始值存储单元中获取到任务请求对应的神经网络结构配置参数初始值时，通过wifi通信单元从互联网中搜索任务请求所需的神经网络结构配置参数初始值，并在搜索到需要的神经网络结构配置参数初始值后，将其存储于初始值存储单元中。简言之，初始值存储单元会存储一些网络结构的配置参数，以便可重构网络矩阵单元进行神经网络训练时及时调取，同时，参数初始化单元也可以通过互联网将本地没有的一些神经网络结构的配置参数下载存储至初始值存储单元，从而提高本装置的适用范围。
所述可重构网络矩阵单元208用于根据配置的各个参数元素的初始值进行神经网络计算，所述误差计算单元206用于判断本次计算结果与真实信息的匹配度是否大于预设匹配度，若是则判定为训练完成，反向传播回写单元207用于将各个参数元素的参数值更新为当前的各个参数值，并将更新后的各个参数值写入参数存储单元202中；否则可重构网络矩阵单元208用于根据本次训练结果的匹配度与上一次训练结果的匹配度的差异，调整各个参数元素的配置参数值，并通过反向传播回写单元将调整后的参数值写入参数存储单元中，以及控制取数单元根据调整后的参数值从获取相应数量的各个参数元素，并再次进行神经网络计算，直至训练完成。误差计算单元的电路结构如图3所示。
所述真实信息是指输入至可重构网络矩阵单元的特征信息，即预设内容信息，可以为包含有色情、暴力元素的图像等。例如可重构神经网络矩阵进行的是基于对色情图像识别的训练，则输入的特征信息为色情图像信息，误差计算单元所比较的对象是本次计算结果得到的识别结果与输入的色情图像信息之间的差异，如果两者匹配度越高说明误差越小，当误差小于预设误差时，则判定为训练完成。神经网络训练计算过程，现有多种算法已有公开，此处不再赘述。
如图6所示，所述可重构神经网络矩阵208包括互联矩阵单元2085、乘加器单元2083、升级单元2081、激活函数单元2082、乘加器配置单元；所述乘加器单元、升级单元、激活函数单元分别与互联矩阵单元连接，所述乘加器单元与乘加器配置单元连接；所述乘加器单元包括多个不同精度的乘加器单元。参数初始化单元除了配置可重构神经网络矩阵进行训练的各个参数之外，同时也会配置各个参数元素之间的参数连接信息，以使得可重构神经网络矩阵可以根据各个配置参数和参数连接信息重构出相应功能的神经网络结构。参数连接信息与其对应的配置参数初始值事先存储于初始值配置存储单元中，当初始值配置存储单元未查询到任务请求对应的神经网络结构配置参数初始值时，通过wifi通信单元111从互联网中搜索任务请求所需的神经网络结构配置参数初始值时可以一并下载该参数初始值对应的参数连接关系，并存储于初始值配置存储单元中。
所述乘加器配置单元用于配置乘加器精度，所述可重构神经网络矩阵在进行神经网络训练时，根据配置的乘加器精度采用相对应精度的乘加器单元进行计算；所述互联矩阵单元用于根据参数连接信息对乘加器单元、升级单元、激活函数单元进行互联，从而形成对应的神经网络结构。升级单元的电路结构如图4所示、乘加器单元的电路结构如图5所示。
乘加器单元包括不同精度的乘加器单元，如8bit整数、16bit浮点数、32bit浮点数等。乘加器配置单元可以通过发送不同的控制信号，使得神经网络结构选用不同精度的乘加器进行搭建，以便提供多种选择。同理，激活函数单元也可以包括有多种激活函数(比如sigmoid、relu等),可以通过不同的控制信号进行选定，选定后则记录于参数配置信息中，而后通过互联矩阵单元根据参数连接信息对选定的乘加器单元、升级单元、激活函数单元进行互联。
所述视频控制单元101用于接收第二控制信号，将第二预判帧信息发送至视频解码单元进行解析，视频解码单元用于将解析后的第二预判帧信息存储至预判帧缓存单元中；所述第二预判帧信息为第一预判帧信息对应的下一关键帧信息。
所述卷积神经网络电路105用于获取预判帧缓存单元中的第二预判帧信息，判断第二预判帧信息与预设内容是否匹配，若匹配则预设内容判定单元用于发送第一控制信号至提示信息添加单元，以及用于再次发送第二控制信号至视频控制单元101；重复上述步骤，直至卷积神经网络电路105判定预判帧缓存单元中的预判帧信息与预设内容不匹配，记录此时预判帧缓存单元104中的预判帧信息对应的时间戳；所述预设内容判定单元106用于将当前预判帧缓存单元104中的预判帧信息对应的时间戳信息、以及该时间戳与首次被判定为与预设内容匹配的预判帧信息的时间戳之间的所有帧信息存储至跳帧存储单元108中。
当预设内容判定单元判定第一预判帧信息符合预设内容后，这说明从第一预判帧信息开始，向下若干帧很可能均包含有符合预设内容的信息，即很可能都是色情、暴力等图像画面，因此需要继续向下判断。例如第1000帧、第2000帧…第10000帧均为i帧，当预设内容判定第1000帧符合预设内容时，则视频控制单元会继续提取出第2000帧传输给解码器进行解析，进而判断第2000帧是否与预设内容匹配；当预设内容判定第1000帧符合预设内容时，则视频控制单元会继续提取出第2000帧传输给解码器进行解析，进而通过卷积神经网络训练电路判断第2000帧是否与预设内容匹配；若第2000帧还是与预设内容相匹配，则会继续提取出第3000帧传输给解码器进行解析，进而判断第3000帧是否与预设内容匹配，以此类推，直到某一次提取出的i帧不与预设内容匹配。假设当判断到第8000帧时，发现8000帧不与预设内容匹配，则说明第1000帧至第8000帧很可能为符合预设内容的信息，需要对这一部分视频流另行处理，因而会记录第8000帧对应的时间戳信息，并计算第1000帧的时间戳与第8000帧的时间戳两者之间的差值，以便当视频流播放至第1000帧时，可以根据用户选择，跳过第1000帧至第8000帧之间的片段。
所述提示信息添加单元107用于在接收到第一控制信号，获取当前帧缓存单元中的当前帧信息，对当前帧信息添加提示信息，得到当前帧调整信息，并将当前帧调整信息回写至当前帧缓存单元中。所述显示控制单元109用于获取当前帧调整信息并将其传输至显示单元110进行显示，所述显示单元110用于显示当前帧调整信息。
在某些实施例中，所述提示信息为预警字幕信息，所述装置还包括字幕存储单元；提示信息添加单元用于在接收到第一控制信号，获取当前帧缓存单元中的当前帧信息，对当前帧信息添加提示信息，得到当前帧调整信息包括：提示信息添加单元用于获取字幕存储单元中的字幕信息，对所述字幕信息叠加预警字幕信息，得到字幕调整信息，以及将字幕调整信息添加至当前帧信息的相应位置，得到当前帧调整信息。当前帧信息的相应位置是指当前帧信息中字幕所在的位置，一般位于当前帧信息(图像)的底部。通过添加预警字幕，用户就可以及时获知即将要播放的视频流信息中存在有符合预设内容的画面(即当前帧信息之后的预判帧信息符合内容)，若观众中有未成年时，用户可以及时进行跳帧操作，避免因为观看色情、暴力等画面对他们身心健康产生影响。
优选的，为了提高用户选择的自主性，当预设内容判定单元判定当前预判帧缓存单元中的预判帧信息与预设内容匹配时，所述视频控制单元还用于接收跳帧指令，不将跳帧存储单元中的所有帧信息发送至视频解码单元进行解析。即用户可以根据实际需要选择，决定是否需要与跳帧存储单元中存储的帧信息进行跳帧处理，跳帧处理是指不将跳帧存储单元中的所有帧信息发送至视频解码单元进行解析，这样显示单元也就自然不对对这一部分帧信息进行显示。
为了提高预设内容匹配判断的准确度，在某些实施例中，所述视频解码单元还用于对第一预判帧信息对应的下一编码帧进行解析，得到第一预判帧信息对应的运动矢量信息，并将运动矢量信息传输至卷积神经网络电路；卷积神经网络电路用于判断第一预判帧信息与预设内容是否匹配还包括：卷积神经网络电路用于对第一预判帧信息对应的运动矢量信息进行神经网络识别计算，计算其与预设运动矢量信息的匹配度，并根据第一预判帧信息以及第一预判帧信息对应的运动矢量信息的匹配度计算结果，判断第一预判帧信息与预设内容是否匹配。
所述参数存储单元202包括权值与偏置存储单元2021、第一卷积核存储单元2022和第二卷积核存储单元2023，第一卷积核存储单元存储的卷积核用于对预判帧信息(i帧)进行训练识别，第二卷积核存储单元中存储的卷积核用于对预判帧信息的下一帧信息(即i帧的之后的若干帧，即包含运动矢量信息的p帧)进行训练识别。简言之，对于一幅图像而言，如果其是静止的图像，在判断这张图像是否属于色情、暴力类型时，往往不够准确，如果能够结合这一图像的运动变化趋势进行判断，则可以大大提高判断准确性。因而在将i帧与预设内容进行比较判断，还会将i帧之后的1至2个p帧与预设运动矢量信息进行比较，p帧中包含的运动矢量信息即为表征p帧运动变化趋势的参数，针对预判帧信息以及运动矢量信息使用不同的卷积核,有利于提高判断准确度。
如图7所示，发明人还提供了一种基于内容预测的深度学习视频解码方法，所述方法应用于基于内容预测的深度学习视频解码装置，所述装置包括视频控制单元、视频解码单元、帧缓存单元、卷积神经网络电路、预设内容判定单元、提示信息添加单元、跳帧存储单元、显示控制单元和显示单元；所述帧缓存单元包括当前帧缓存单元和预判帧缓存单元；所述视频控制单元和视频解码单元连接，所述视频解码单元分别与当前帧缓存单元、预判帧缓存单元连接，所述当前帧缓存单元与显示控制单元连接，所述显示控制单元和显示单元连接；所述预判帧缓存单元与卷积神经网络电路连接，所述卷积神经网络电路与预设内容判定单元连接，所述预设内容判定单元分别与视频控制单元、提示信息添加单元、跳帧存储单元连接，所述提示信息添加单元与当前帧缓存单元连接；所述方法包括以下步骤：
首先进入步骤s701视频控制单元接收视频流信息。所述视频流信息包括多帧图像信息，所述多帧图像信息包括当前帧信息和第一预判帧信息，所述第一预判帧信息为当前帧信息对应的下一关键帧信息。
而后进入步骤s702视频解码单元对当前帧信息进行解析，将解析后的当前帧信息存储至当前帧缓存单元中，以及对第一预判帧信息进行解析，将解析后的第一预判帧信息存储至预判帧缓存单元中。
而后进入步骤s703卷积神经网络电路获取预判帧缓存单元中的第一预判帧信息，判断第一预判帧信息与预设内容是否匹配，若匹配则进入步骤s704预设内容判定单元发送第一控制信号至提示信息添加单元，以及发送第二控制信号至视频控制单元；否则进入步骤s710。
而后进入步骤s705视频控制单元接收第二控制信号，将第二预判帧信息发送至视频解码单元进行解析，视频解码单元将解析后的第二预判帧信息存储至预判帧缓存单元中；所述第二预判帧信息为第一预判帧信息对应的下一关键帧信息。
而后进入步骤s706卷积神经网络电路获取预判帧缓存单元中的下一预判帧信息，判断下一预判帧信息与预设内容是否匹配，若匹配则进入步骤s707预设内容判定单元发送第一控制信号至提示信息添加单元，以及再次发送第二控制信号至视频控制单元；而后再次进入步骤s706。若不匹配则进入步骤s710记录此时预判帧缓存单元中的预判帧信息对应的时间戳；预设内容判定单元将当前预判帧缓存单元中的预判帧信息对应的时间戳信息、以及该时间戳与首次被判定为与预设内容匹配的预判帧信息的时间戳之间的所有帧信息存储至跳帧存储单元中。
当某一预判帧信息被判定为符合预设内容时，则装置会对该预判帧信息对应的下一预判帧信息进行进一步判断，即步骤s706判断结果为“是”时，在进入步骤s707后会继续进入步骤s705，并行地，进入步骤s707后还会进入步骤s708提示信息添加单元在接收到第一控制信号，获取当前帧缓存单元中的当前帧信息，对当前帧信息添加提示信息，得到当前帧调整信息，并将当前帧调整信息回写至当前帧缓存单元中；而后进入步骤s709显示控制单元获取当前帧调整信息并将其传输至显示单元进行显示，显示单元显示当前帧调整信息。这样，通过提前预警，可以及时告知用户接下来播放的视频流中存在有暴力或色情画面，提醒用户采取相应措施进行处理。
在某些实施例中，所述卷积神经网络电路包括参数初始化单元、初始值存储单元、取数单元、参数存储单元、可重构网络矩阵单元、误差计算单元和反向传播回写单元；所述参数存储单元中存储有参数元素，所述参数元素包括卷积核、权值和卷积偏置值，所述取数单元包括权值取数单元、卷积核取数单元和卷积偏置取数单元；卷积神经网络电路在获取预判帧缓存单元中的第一预判帧信息之前，对预设内容进行神经网络训练；具体包括：
参数初始化单元从初始值存储单元中获取网络结构的各个参数初始值，根据各个参数的初始值控制取数单元从参数存储单元中获取相应数量的各个参数元素，对可重构网络矩阵单元进行配置；
可重构网络矩阵单元根据配置的各个参数元素的初始值进行神经网络计算，误差计算单元判断本次计算结果与真实信息的匹配度是否大于预设匹配度，若是则判定为训练完成，反向传播回写单元将各个参数元素的参数值更新为当前的各个参数值，并将更新后的各个参数值写入参数存储单元中；否则可重构网络矩阵单元根据本次训练结果的匹配度与上一次训练结果的匹配度的差异，调整各个参数元素的配置参数值，并通过反向传播回写单元将调整后的参数值写入参数存储单元中，以及控制取数单元根据调整后的参数值从获取相应数量的各个参数元素，并再次进行神经网络计算，直至训练完成。
在某些实施例中，所述方法还包括：视频解码单元对第一预判帧信息对应的下一编码帧进行解析，得到第一预判帧信息对应的运动矢量信息，并将运动矢量信息传输至卷积神经网络电路；卷积神经网络电路判断第一预判帧信息与预设内容是否匹配还包括：卷积神经网络电路对第一预判帧信息对应的运动矢量信息进行神经网络识别计算，计算其与预设运动矢量信息的匹配度，并根据第一预判帧信息以及第一预判帧信息对应的运动矢量信息的匹配度计算结果，判断第一预判帧信息与预设内容是否匹配。
在某些实施例中，当预设内容判定单元判定当前预判帧缓存单元中的预判帧信息与预设内容匹配时，所述方法还包括：视频控制单元接收跳帧指令，不将跳帧存储单元中的所有帧信息发送至视频解码单元进行解析。
在某些实施例中，所述提示信息为预警字幕信息，所述装置还包括字幕存储单元；提示信息添加单元在接收到第一控制信号，获取当前帧缓存单元中的当前帧信息，对当前帧信息添加提示信息，得到当前帧调整信息包括：提示信息添加单元获取字幕存储单元中的字幕信息，对所述字幕信息叠加预警字幕信息，得到字幕调整信息，以及将字幕调整信息添加至当前帧信息的相应位置，得到当前帧调整信息。
上述技术方案所述的基于内容预测的深度学习视频解码方法和装置，所述方法在接收到视频流信息后，一边将解析出的当前帧信息发送至显示屏进行显示，另一边解析当前帧信息对应的下一关键帧信息作为第一预判帧信息，并将第一预判帧信息送往卷积神经网络电路进行识别判断，当检测到第一预判帧信息与预设内容匹配时，一方面对当前帧信息添加提示信息，以便对接下来即将需要播放的内容进行充分预警，让用户知悉，另一边继续提取出下一预判帧信息并将其与预设内容进行匹配，如此循环，直至送往送往卷积神经网络电路进行识别判断的预判帧信息不再与预设内容匹配，此时就可以根据当前预判帧的时间戳和其与当前帧时间戳的差值，确定需要跳帧的片段，并将该片段存储于跳帧存储单元中。上述方案可以实现对视频内容进行提前检测预判，避免未成年人接触视频中的色情或暴力等内容，具有广阔的市场前景。
需要说明的是，尽管在本文中已经对上述各实施例进行了描述，但并非因此限制本发明的专利保护范围。因此，基于本发明的创新理念，对本文所述实施例进行的变更和修改，或利用本发明说明书及附图内容所作的等效结构或等效流程变换，直接或间接地将以上技术方案运用在其他相关的技术领域，均包括在本发明的专利保护范围之内。