使用机器学习从视频帧中识别控制器动作的制作方法

本申请涉及必须植根于计算机技术并且产生具体技术改进的技术上创新的非常规解决方案。

背景技术：

1、如本文所理解的，之前玩的计算机游戏的视频可以在计算机网络上共享以指导观看者如何在游戏中取得成功，例如通过在游戏中通关。如本文进一步理解，此类游戏视频可能不包括关于在玩游戏期间的哪些时候按下哪些控制器按钮的信息，因为记录游戏视频的时候可能并未捕获玩游戏时的控制器动作。

技术实现思路

1、还如本文所理解的，关于在什么时候按下哪些控制器按钮的此类信息对于学习玩计算机游戏的玩家可能是有价值的，使玩游戏对于许多类型的玩家(从新手到速通达人)来说更有趣。本文中提供了机器学习技术来在没有额外控制器数据的情况下通过分析一系列视频帧来生成控制器动作信息。

2、因此，一种装置包括至少一个计算机存储器，所述至少一个计算机存储器不是瞬时信号并且继而包括可由至少一个处理器执行以进行以下操作的指令：接收包括视频帧序列的所记录的计算机模拟。所述指令可执行以在机器学习(ml)模型中处理所述视频帧序列，并且从所述ml模型接收与生成所记录的计算机模拟相关联的计算机模拟控制器(csc)操作的识别。另外，所述指令可执行以将所记录的计算机模拟与从所述ml模型接收到的csc操作中的至少一项的至少一个指示一起呈现在至少一个音频视频(av)显示器上。

3、在示例实施方案中，所述ml模型包括至少一个循环神经网络(rnn)，诸如至少一个长短期记忆(lstm)网络。还可以使用卷积神经网络(cnn)。

4、所述装置可包括所述处理器，并且所述处理器可在av显示器中体现，或在计算机模拟的源(诸如计算机模拟控制台和/或通过广域计算机网络与av显示器通信的服务器)中体现。

5、在另一个方面中，一种设备包括至少一个显示器，所述至少一个显示器被配置为呈现在至少一个计算机模拟控制器的控制下生成的至少一个所记录的计算机模拟的视频。然而，所记录的计算机模拟不包括关于在生成所述至少一个所记录的计算机模拟的视频期间所述计算机模拟控制器的操作的信息。所述设备因此包括至少一个处理器，所述至少一个处理器用指令进行配置以从视频中识别关于在生成所述至少一个所记录的计算机模拟的视频期间所述计算机模拟控制器的操作的信息。所述指令可执行以向所述至少一个显示器提供关于在生成所述至少一个所记录的计算机模拟的视频期间所述计算机模拟控制器的操作的信息，以便在呈现所述至少一个所记录的计算机模拟的视频的同时一起呈现所述信息。

6、在示例实现方式中，所述指令可以是可执行的，以使用至少一个机器学习(ml)模型从所述视频中识别关于在生成所述至少一个所记录的计算机模拟的视频期间所述计算机模拟控制器的操作的信息。

7、在另一个方面中，一种方法包括向至少一个机器学习(ml)模型输入至少训练集。所述训练集包括来自多个所记录的计算机模拟的视频帧的序列以及与所述视频帧序列相关联的关于在生成所述视频帧序列期间执行的计算机模拟控制器(csc)操作的信息。所述方法接着包括向所述ml模型输入至少第一所记录的计算机模拟，所述第一所记录的计算机模拟不包括关于在生成所述第一所记录的计算机模拟期间执行的csc操作的信息。所述方法包括将所述第一所记录的计算机模拟与从所述ml模型接收到的关于在生成所述第一所记录的计算机模拟期间执行的csc操作的可听和/或可视信息一起呈现。

8、本申请的关于其结构和操作两者的细节可参考附图得到最好的理解，在附图中相同的附图标记指代相同的部分，并且在附图中：

技术特征：

1.一种装置，所述装置包括：

2.如权利要求1所述的装置，其中所述ml模型包括至少一个循环神经网络(rnn)。

3.如权利要求2所述的装置，其中所述rnn包括至少一个长短期记忆(lstm)网络。

4.如权利要求1所述的装置，其中所述ml模型包括至少一个卷积神经网络(cnn)。

5.如权利要求1所述的装置，所述装置包括所述至少一个处理器，其中所述至少一个处理器在所述av显示器中体现。

6.如权利要求1所述的装置，所述装置包括所述至少一个处理器，其中所述至少一个处理器在所述计算机模拟的源中体现。

7.如权利要求6所述的装置，其中所述源包括至少一个计算机模拟控制台。

8.如权利要求6所述的装置，其中所述源包括通过广域计算机网络与所述av显示器通信的至少一个服务器。

9.一种设备，所述设备包括：

10.如权利要求9所述的设备，其中所述处理器在所述显示器体现。

11.如权利要求9所述的设备，其中所述处理器在计算机模拟控制台中体现。

12.如权利要求9所述的设备，其中所述处理器在通过广域网络与所述显示器通信的服务器中体现。

13.如权利要求9所述的设备，其中所述指令可执行以：

14.如权利要求13所述的设备，其中所述ml模型包括至少一个循环神经网络(rnn)。

15.如权利要求14所述的设备，其中所述rnn包括至少一个长短期记忆(lstm)网络。

16.一种方法，所述方法包括：

17.如权利要求16所述的方法，所述方法包括可听地呈现从所述ml模型接收到的关于在生成所述第一所记录的计算机模拟期间执行的csc操作的所述信息，同时可视地呈现所述第一所记录的计算机模拟。

18.如权利要求16所述的方法，所述方法包括可视地呈现从所述ml模型接收到的关于在生成所述第一所记录的计算机模拟期间执行的csc操作的所述信息，同时可视地呈现所述第一所记录的计算机模拟。

19.如权利要求16所述的方法，所述方法包括在服务器处将所述第一所记录的计算机模拟与关于在生成所述第一所记录的计算机模拟期间执行的csc操作的信息相关联，所述服务器将所述第一所记录的计算机模拟提供到呈现所述第一所记录的计算机模拟的显示器。

20.如权利要求16所述的方法，所述方法包括在本地源处将所述第一所记录的计算机模拟与关于在生成所述第一所记录的计算机模拟期间执行的csc操作的信息相关联，所述本地源将所述第一所记录的计算机模拟提供到呈现所述第一所记录的计算机模拟的显示器。

技术总结
使用机器学习模型(306)来接收(700)所记录的视频游戏以便在观众计算机上呈现，以及导出(702)产生所记录的视频游戏的在玩游戏期间的控制器操作的视频识别。可将所识别的控制器操作的指示与所记录的视频游戏一起呈现(704)以帮助观看者学习如何玩游戏。

技术研发人员：R·克里希南,M·沙
受保护的技术使用者：索尼互动娱乐股份有限公司
技术研发日：
技术公布日：2024/1/15