基于人工智能的跟踪拍摄方法、装置和电子设备与流程
本发明涉及人工智能技术领域，特别涉及一种基于人工智能的跟踪拍摄方法、装置和电子设备。
背景技术：
人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
跟踪拍摄是飞行器或陆地机器人的导航、跟拍、控制、避障等功能的基本功能，也是人工智能研究领域的一个关键问题。目前，传统的跟拍主要是由控制平台基于经典控制理论和定位系统、图像处理和计算等技术制定一套完整的跟拍规则，以使跟拍设备根据这套规则实现跟拍。但是，这种方式需要通过复杂的计算过程确定跟拍规则，编码技术过程复杂，且存在平台深度定制、跟拍稳定性低的问题。
技术实现要素：
本发明旨在至少在一定程度上解决上述技术问题。
为此，本发明的第一个目的在于提出一种基于人工智能的跟踪拍摄方法，该方法可使得跟拍设备在不同平台上能够自主学习跟拍，从而根据跟拍的实际情况采取不同的跟拍策略，以改善跟踪拍摄的自由度，提高跟踪拍摄的质量。
本发明的第二个目的在于提出一种基于人工智能的跟踪拍摄装置。
本发明的第三个目的在于提出一种电子设备。
为达上述目的，根据本发明第一方面实施例提出了一种基于人工智能的跟踪拍摄方法，该方法包括以下步骤：a、根据预设的跟拍策略模型确定当前状态对应的控制信号，并根据所述控制信号控制跟拍设备进入第二状态，并根据所述第二状态的状态信息确定所述控制信号对应的评估值；b、将所述第二状态作为当前状态，并重复步骤a直至获取预设数量的评估值；c、根据所述预设数量的评估值更新所述跟拍策略模型的模型参数，以更新所述跟拍策略模型；d、将更新后的跟拍策略模型作为预设的跟拍策略模型，并重复步骤a-c，直至所述跟拍策略模型的模型参数收敛；e、使用收敛时的跟拍策略模型进行跟踪拍摄。
本发明实施例的基于人工智能的跟踪拍摄方法，通过分析跟拍设备在跟拍过程中的不同参数，以确定出最适合当前跟拍环境的跟拍策略模型，进而根据该跟拍策略模型进行跟踪拍摄操作，从而实现了跟拍设备在不同的跟拍环境下都能够采取最适合的跟拍策略进行跟踪拍摄，以改善跟踪拍摄的自由度，提高跟踪拍摄的质量。
本发明第二方面实施例提出了一种基于人工智能的跟踪拍摄装置，该装置包括：确定模块，用于根据预设的跟拍策略模型确定当前状态对应的控制信号，并根据所述控制信号控制跟拍设备进入第二状态，并根据所述第二状态的状态信息确定所述控制信号对应的评估值；第一控制模块，用于将所述第二状态作为当前状态，并控制所述确定模块重复执行，直至获取预设数量的评估值；更新模块，用于根据所述预设数量的评估值更新所述跟拍策略模型的模型参数，以更新所述跟拍策略模型；第二控制模块，用于将更新后的跟拍策略模型作为预设的跟拍策略模型，并控制所述确定模块、第一控制模块和所述更新模块重复执行，直至所述跟拍策略模型的模型参数收敛；跟踪拍摄模块，用于使用收敛时的跟拍策略模型进行跟踪拍摄。
本发明实施例的基于人工智能的跟踪拍摄装置，通过分析跟拍设备在跟拍过程中的不同参数，以确定出最适合当前跟拍环境的跟拍策略模型，进而根据该跟拍策略模型进行跟踪拍摄操作，从而实现了跟拍设备在不同的跟拍环境下都能够采取最适合的跟拍策略进行跟踪拍摄，以改善跟踪拍摄的自由度，提高跟踪拍摄的质量。
本发明第三方面实施例提出了一种电子设备，包括：用于存储处理器可执行指令的存储器；
其中，所述处理器被配置为：执行上述基于人工智能的跟踪拍摄方法。
本发明实施例的电子设备，通过分析跟拍设备在跟拍过程中的不同参数，以确定出最适合当前跟拍环境的跟拍策略模型，进而根据该跟拍策略模型进行跟踪拍摄操作，从而实现了跟拍设备在不同的跟拍环境下都能够采取最适合的跟拍策略进行跟踪拍摄，以改善跟踪拍摄的自由度，提高跟踪拍摄的质量。
本发明第四方面实施例提出了一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器被执行时，使得电子设备能够执行一种基于人工智能的跟踪拍摄方法。
本发明第五方面实施例提出了一种计算机程序产品，当所述计算机程序产品中的指令处理器执行时，执行一种基于人工智能的跟踪拍摄方法。
本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
本发明的上述和/或附加的方面和优点从结合下面附图对实施例的描述中将变得明显和容易理解，其中：
图1为本发明的一个实施例的基于人工智能的跟踪拍摄方法的流程图；
图2为本发明的另一个实施例的基于人工智能的跟踪拍摄方法的流程图；
图3为本发明的一个具体地跟拍策略模型的示意图；
图4为本发明的一个实施例的基于人工智能的跟踪拍摄装置的结构示意图；
图5为本发明的一个实施例的确定模块的结构示意图；
图6为本发明另一个实施例的基于人工智能的跟踪拍摄装置的结构示意图。
具体实施方式
下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
在本发明的描述中，需要理解的是，术语“多个”指两个或两个以上；术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性。
为了改善传统跟拍系统在跟拍时所存在的编码计算复杂、平台深度定制以及跟拍稳定性低等技术问题，本发明提出了基于人工智能的跟踪拍摄方法、装置和电子设备，下面参考附图描述根据本发明实施例的基于人工智能的跟踪拍摄方法、装置和电子设备。
根据本发明一个实施例的基于人工智能的跟踪拍摄方法，包括以下步骤：a、根据预设的跟拍策略模型确定当前状态对应的控制信号，并根据所述控制信号控制跟拍设备进入第二状态，并根据所述第二状态的状态信息确定所述控制信号对应的评估值；b、将所述第二状态作为当前状态，并重复步骤a直至获取预设数量的评估值；c、根据所述预设数量的评估值更新所述跟拍策略模型的模型参数，以更新所述跟拍策略模型；d、将更新后的跟拍策略模型作为预设的跟拍策略模型，并重复步骤a-c，直至所述跟拍策略模型的模型参数收敛；e、使用收敛时的跟拍策略模型进行跟踪拍摄。
图1为根据本发明一个实施例的基于人工智能的跟踪拍摄方法的流程图。
如图1所示，根据本发明实施例的基于人工智能的跟踪拍摄方法，包括以下步骤S101-S105。
S101，根据预设的跟拍策略模型确定当前状态对应的控制信号，并根据控制信号控制跟拍设备进入第二状态，并根据第二状态的状态信息确定控制信号对应的评估值。
其中，跟拍策略模型是用于学习跟拍设备在跟拍过程中的状态信息-控制信号对的映射函数，即策略模型，可用带参数的函数π(s,a,θ)表示，其中，s为拍摄设备的状态信息，a为控制信号，θ为模型参数。
具体地，当跟拍设备进行跟踪拍摄时，在当前状态，可根据跟拍策略模型和当前状态的状态信息确定对应的控制信号，然后根据控制信号控制跟拍设备进入第二状态，并根据第二状态的状态信息确定控制信号对应的评估值。
其中，评估值是指跟拍设备从第一状态(即当前状态)到第二状态的一个反馈值，即对当前使用的跟拍策略模型的反馈评估，可用r表示。
进一步地，在本发明的实施例中，根据第二状态确定控制信号对应的评估值包括：根据第二状态对应的状态信息基于预设的评估函数确定控制信号对应的评估值。
其中，状态信息可包括跟拍设备的姿态信息、跟拍设备的能量消耗信息、跟拍设备是否撞上障碍物、跟踪窗口的位置信息、跟踪窗口的大小中的至少一个。在本发明的一个实施例中，评估函数可以为对上述状态信息进行加权求和的函数。
举例来说，在本发明实施例中，跟拍设备的状态信息可以是跟拍设备的姿态信息，具体体现在稳定性和动作平顺性(例如，如果出现抖动，大幅度摇摆等情况，则在计算评估值时采取减分惩罚)、能量的耗费信息(例如电机的能量消耗)、跟踪窗口是否位于拍摄窗口中央(如按窗口中央离跟踪物的距离给予惩罚)、窗口大小是否满足一定标准(如根据窗口大小离一个标准设定值的偏离给予惩罚)、跟拍设备是否撞上障碍物(如果撞上，给予非常大的惩罚)等。
S102，将第二状态作为当前状态，并重复步骤S101直至获取预设数量的评估值。
在本发明实施例中，在获取到跟拍设备的第二状态后，可将第二状态作为跟拍设备的当前状态，然后获取对应的控制信号，并根据控制信号控制跟拍设备进入下一状态，即新的当前状态对应的第二状态，并根据此时的第二状态的状态信息确定对应的评估值，一直重复直至达到预设次数为止，从而得到预设数量的评估值，并根据得到的评估值进行进一步操作。
其中，预设数量可以是预先设定好的数量，当然也可以根据实际情况进行具体的设定。例如10次、20次或者是其他的次数，在此不对其进行具体限制。
举例来说，当跟拍设备进行跟踪拍摄时，首先，执行步骤1，在当前状态st,根据预设的跟拍策略模型π(st,at,θ)选择一个控制信号at；
然后，在步骤2中，执行控制信号at查看下一步状态st+1,并且计算评估值rt；
在步骤3中，重复执行步骤2中的逻辑，直到执行预设步数为止，并记录下执行过程中所有步数对应的样本{st,at,st+1,rt}，t∈{0，n}，n为预设步数，并得到对应的n个评估值。
S103，根据预设数量的评估值更新跟拍策略模型的模型参数，以更新跟拍策略模型。
具体地，在本发明实施例中，当获取到预设数量的评估值后，拍摄设备可根据获取的预设数量的评估值执行更新操作，即更新跟拍策略模型的模型参数。更具体地，根据预设数量的评估值更新跟拍策略模型的模型参数时，可基于以下公式进行更新跟拍策略模型的模型参数：
其中，θk为更新前的模型参数，θk+1为更新后的模型参数，n为所述预设数量，rt为第t个评估值，π(st,at,θ)为预设跟拍策略模型，at为与所述第t个评估值对应的控制信号，st为与所述控制信号at对应的状态信号。
在更新跟拍策略模型的模型参数之后，跟拍策略模型也根据跟拍策略模型的参数模型的更新进行更新操作，得到更新的跟拍策略模型。
S104，将更新后的跟拍策略模型作为预设的跟拍策略模型，并重复步骤S101-S103，直至跟拍策略模型的模型参数收敛。
S105，使用收敛时的跟拍策略模型进行跟踪拍摄。
通过重复执行步骤S101-S103以获取到适合当前跟拍环境的跟拍策略模型，从而根据获取适合的跟拍策略模型进行跟踪拍摄。
在本发明的实施例中，可以不对跟拍策略模型π(st,at,θ)做任何假设，跟拍策略模型π(st,at,θ)可为线性模型，也可为神经网络模型、贝叶斯模型等非线性模型，或者线性+非线性模型组合成的混合模型。
举例来说，如图3所示，本发明所述的跟拍策略模型可基于图3所示的神经网络模型训练得到。
此外，根据本发明实施例，在跟拍摄设备进行跟踪拍摄时，如果遇到障碍物，跟拍设备可根据收敛时的跟拍策略模型自主的采取避障策略以规避跟拍轨迹中的障碍物，即绕行障碍物，从而能够减少甚至避免因跟拍设备无法规避障碍物而导致跟踪拍摄受影响的问题出现，提高了使用满意度。
进一步地，在跟拍设备进行跟踪拍摄时，跟拍设备可对跟拍物体进行追踪操作，即跟拍设备可根据跟拍窗口来圈定物体，并且能够通过图像算法一直追踪窗口内的主要物体，从而实现了跟拍设备追踪目标物体的目的。
其中，跟拍的摄像头可采用单目/双目摄像头，以及深度摄像头配合普通RGB摄像头等多种硬件。具体而言，追踪算法可以是包括卷积神经网络模型，以及其他图像特征抽取的追踪方法，以及其他图像匹配方法。
本发明实施例的基于人工智能的跟踪拍摄方法，通过分析跟拍设备在跟拍过程中的不同参数，以确定出最适合当前跟拍环境的跟拍策略模型，进而根据该跟拍策略模型进行跟踪拍摄操作，从而实现了跟拍设备在不同的跟拍环境下都能够采取最适合的跟拍策略进行跟踪拍摄，以改善跟踪拍摄的自由度，提高跟踪拍摄的质量。
此外，本发明的实施例，通过将平滑性，避障，追踪等多个目标合入到一个统一学习框架中，而不需调参操作，且在不同平台上都能够自主学习追踪，对于平台的自由度，摄像头等自由度都没有具体地限制，能够将所有自由度全部加入控制变量，参考因素更加全面，能够提高跟拍过程中的避障的准确性，且提高跟拍的稳定性和动作平顺性。
需要说明的是，跟拍设备的输出即可以是轨迹(或者是轨迹的间接控制变量)，也可以是直接的底层控制信号输出。
上述步骤S101中所使用的预设的跟拍策略模型可以是预先根据模拟数据训练得到的跟拍策略模型。具体的训练过程为，基于随机初始模型，参照与本发明实施例中跟拍过程中的自主学习追踪逻辑(即步骤S101-S105的自学习过程)，使用模拟数据对该初始模型进行自学习，训练得到该预设的训练模型。
或者，上述预设的跟拍策略模型也可以是传统跟拍方法中使用的跟拍模型。本发明实施例中，对自主学习过程中使用的初始的跟拍策略模型不做具体限定。
图2为本发明的另一个实施例的基于人工智能的跟踪拍摄方法。如图2所示，本发明实施例的基于人工智能的跟踪拍摄方法，包括：
S201，根据跟拍策略模型确定当前状态对应的控制信号的概率分布数据。
具体地，在本发明实施例中，由于跟拍策略模型包括跟拍设备的状态、控制信号以及模型参数，所以在跟拍策略模型中就可直接确定出跟拍设备的当前状态，而每一个状态都对应着控制信号的概率分布情况，因此可以很便捷地确定出跟拍设备当前状态对应的控制信号的概率分布数据。
S202，根据控制信号的概率分布数据选择当前状态对应的控制信号。
具体地，在获取到控制信号的概率分布数据后，可通过不同的方式获取出当前状态对应的控制信号。例如，第一种方式，按照概率分布进行随机抽样，具体地，在获取的控制信号的概率分布数据后，先将概率分布数据中小于预定概率的数据进行剔除，然后在剩余的概率分布数据中进行随机抽样操作，即可获得对应的控制信号。第二种方式，可以用贪婪的方式直接在获取的控制信号的概率分布数据中选择出概率最大的数据作为控制信号。除此之外还有其他获取控制信号的方式，在此对其不作具体的赘述。
S203，根据控制信号控制跟拍设备进入第二状态，并根据第二状态的状态信息确定控制信号对应的评估值。
在获取到控制信号后，根据获取的控制信号控制跟拍设备进入第二状态，以根据第二状态的状态信息确定控制信号对应的评估值。
其中，评估值是指跟拍设备从第一状态(即当前状态)到第二状态的一个反馈值，即对当前使用的跟拍策略模型的反馈评估，可用r表示。
进一步地，在本发明的实施例中，根据第二状态确定控制信号对应的评估值包括：根据第二状态对应的状态信息基于预设的评估函数确定控制信号对应的评估值。
其中，状态信息可包括跟拍设备的姿态信息、跟拍设备的能量消耗信息、跟拍设备是否撞上障碍物、跟踪窗口的位置信息、跟踪窗口的大小中的至少一个。在本发明的一个实施例中，评估函数可以为对上述状态信息进行加权求和的函数。
举例来说，在本发明实施例中，跟拍设备的状态信息可以是跟拍设备的姿态信息，具体体现在稳定性和动作平顺性(例如，如果出现抖动，大幅度摇摆等情况，则在计算评估值时采取减分惩罚)、能量的耗费信息(例如电机的能量消耗)、跟踪窗口是否位于拍摄窗口中央(如按窗口中央离跟踪物的距离给予惩罚)、窗口大小是否满足一定标准(如根据窗口大小离一个标准设定值的偏离给予惩罚)、跟拍设备是否撞上障碍物(如果撞上，给予非常大的惩罚)等。
S204，将第二状态作为当前状态，并重复执行步骤S201-S203直至获取预设数量的评估值。
在本发明实施例中，在获取到跟拍设备的第二状态后，可将第二状态作为跟拍设备的当前状态，然后获取对应的控制信号，并根据控制信号控制跟拍设备进入下一状态，即新的当前状态对应的第二状态，并根据此时的第二状态的状态信息确定对应的评估值，一直重复直至达到预设次数为止，从而得到预设数量的评估值，并根据得到的评估值进行进一步操作。
其中，预设数量可以是预先设定好的数量，当然也可以根据实际情况进行具体的设定。例如10次、20次或者是其他的次数，在此不对其进行具体限制。
举例来说，当跟拍设备进行跟踪拍摄时，首先，执行步骤1，在当前状态st,根据预设的跟拍策略模型π(st,at,θ)选择一个控制信号at；
然后，在步骤2中，执行控制信号at查看下一步状态st+1,并且计算评估值rt；
在步骤3中，重复执行步骤2中的逻辑，直到执行预设步数为止，并记录下执行过程中所有步数对应的样本{st,at,st+1,rt}，t∈{0，n}，n为预设步数，并得到对应的n个评估值。
S205，根据预设数量的评估值更新跟拍策略模型的模型参数，以更新跟拍策略模型。
具体地，在本发明实施例中，当获取到预设数量的评估值后，拍摄设备可根据获取的预设数量的评估值执行更新操作，即更新跟拍策略模型的模型参数。更具体地，根据预设数量的评估值更新跟拍策略模型的模型参数时，可基于以下公式进行更新跟拍策略模型的模型参数：
其中，θk为更新前的模型参数，θk+1为更新后的模型参数，n为所述预设数量，rt为第t个评估值，π(st,at,θ)为预设跟拍策略模型，at为与所述第t个评估值对应的控制信号，st为与所述控制信号at对应的状态信号。
在更新跟拍策略模型的模型参数之后，跟拍策略模型也根据跟拍策略模型的参数模型的更新进行更新操作，得到更新的跟拍策略模型。
S206，将更新后的跟拍策略模型作为预设的跟拍策略模型，并重复步骤S201-S205，直至跟拍策略模型的模型参数收敛。
S207，使用收敛时的跟拍策略模型进行跟踪拍摄。
在本发明的实施例中，可以不对跟拍策略模型π(st,at,θ)做任何假设，跟拍策略模型π(st,at,θ)可为线性模型，也可为神经网络模型、贝叶斯模型等非线性模型，或者线性+非线性模型组合成的混合模型。
举例来说，如图3所示，本发明所述的跟拍策略模型可基于图3所示的神经网络模型训练得到。
此外，根据本发明的一个实施例中，在跟拍摄设备进行跟踪拍摄时，如果遇到障碍物，跟拍设备可根据收敛时的跟拍策略模型自主的采取避障策略以规避跟拍轨迹中的障碍物，即绕行策略，从而能够减少甚至避免因跟拍设备无法规避障碍物而导致跟踪拍摄受影响的问题出现，提高了使用满意度。
进一步地，在跟拍设备进行跟踪拍摄时，跟拍设备可对于跟拍物体进行追踪操作，即跟拍设备可根据跟拍窗口来圈定物体，并且能够通过图像算法一直追踪窗口内的主要物体，从而实现了跟拍设备追踪目标物体的目的。
其中，跟拍的摄像头可采用单目/双目摄像头，以及深度摄像头配合普通RGB摄像头等多种硬件。具体而言，追踪算法可以是包括卷积神经网络模型，以及其他图像特征抽取的追踪方法，以及其他图像匹配方法。
本发明实施例的基于人工智能的跟踪拍摄方法，通过分析跟拍设备在跟拍过程中的不同参数，以确定出最适合当前跟拍环境的跟拍策略模型，进而根据该跟拍策略模型进行跟踪拍摄操作，从而实现了跟拍设备在不同的跟拍环境下都能够采取最适合的跟拍策略进行跟踪拍摄，以改善跟踪拍摄的自由度，提高跟踪拍摄的质量。
此外，本发明的实施例，通过将平滑性，避障，追踪等多个目标合入到一个统一学习框架中，而不需调参操作，且在不同平台上都能够自主学习追踪，对于平台的自由度，摄像头等自由度都没有具体地限制，能够将所有自由度全部加入控制变量，参考因素更加全面，能够提高跟拍过程中的避障的准确性，且提高跟拍的稳定性和动作平顺性。
需要说明的是，跟拍设备的输出即可以是轨迹(或者是轨迹的间接控制变量)，也可以是直接的底层控制信号输出。
上述步骤S201中所使用的预设的跟拍策略模型可以是预先根据模拟数据训练得到的跟拍策略模型。具体的训练过程为，基于随机初始模型，参照与本发明实施例中跟拍过程中的自主学习追踪逻辑(即步骤S201-S207的自学习过程)，使用模拟数据对该初始模型进行自学习，训练得到该预设的训练模型。
或者，上述预设的跟拍策略模型也可以是传统跟拍方法中使用的跟拍模型。本发明实施例中，对自主学习过程中使用的初始的跟拍策略模型不做具体限定。
为了实现上述实施例，本发明还提出一种基于人工智能的跟踪拍摄装置。
图4为根据本发明一个实施例的基于人工智能的跟踪拍摄装置的结构示意图。
如图4所示，根据本发明实施例的基于人工智能的跟踪拍摄装置100，包括：确定模块10、第一控制模块20、更新模块30、第二控制模块40、以及跟踪拍摄模块50。
具体地，确定模块10用于根据预设的跟拍策略模型确定当前状态对应的控制信号，并根据控制信号控制跟拍设备进入第二状态，并根据第二状态的状态信息确定控制信号对应的评估值。
其中，跟拍策略模型是用于学习跟拍设备在跟拍过程中的状态信息-控制信号对的映射函数，即策略模型，可用带参数的函数π(s,a,θ)表示，其中，s为拍摄设备的状态信息，a为控制信号，θ为模型参数。
具体地，当跟拍设备进行跟踪拍摄时，在当前状态，可根据跟拍策略模型和当前状态的状态信息确定对应的控制信号，然后根据控制信号控制跟拍设备进入第二状态，并根据第二状态的状态信息确定控制信号对应的评估值。
其中，评估值是指跟拍设备从第一状态(即当前状态)到第二状态的一个反馈值，即对当前使用的跟拍策略模型的反馈评估，可用r表示。
进一步地，在本发明的一个实施例中，如图5所示，确定模块10包括：评估值确定单元11。其中，评估值确定单元11用于根据第二状态对应的状态信息基于预设的评估函数确定控制信号对应的评估值。
其中，状态信息可包括跟拍设备的姿态信息、跟拍设备的能量消耗信息、跟拍设备是否撞上障碍物、跟踪窗口的位置信息、跟踪窗口的大小中的至少一个。在本发明的一个实施例中，评估函数可以为对上述状态信息进行加权求和的函数。
举例来说，在本发明实施例中，跟拍设备的状态信息可以是跟拍设备的姿态信息，具体体现在稳定性和动作平顺性(例如，如果出现抖动，大幅度摇摆等情况，则在计算评估值时采取减分惩罚)、能量的耗费信息(例如电机的能量消耗)、跟踪窗口是否位于拍摄窗口中央(如按窗口中央离跟踪物的距离给予惩罚)、窗口大小是否满足一定标准(如根据窗口大小离一个标准设定值的偏离给予惩罚)、跟拍设备是否撞上障碍物(如果撞上，给予非常大的惩罚)等。
第一控制模块20用于将第二状态作为当前状态，并控制确定模块重复执行，直至获取预设数量的评估值。
在本发明实施例中，在获取到跟拍设备的第二状态后，可将第二状态作为跟拍设备的当前状态，然后获取对应的控制信号，并根据控制信号控制跟拍设备进入下一状态，即新的当前状态对应的第二状态，并根据此时的第二状态的状态信息确定对应的评估值，一直重复直至达到预设次数为止，从而得到预设数量的评估值，并根据得到的评估值进行进一步操作。
其中，预设数量可以是预先设定好的数量，当然也可以根据实际情况进行具体的设定。例如10次、20次或者是其他的次数，在此不对其进行具体限制。
举例来说，当跟拍设备进行跟踪拍摄时，首先，执行步骤1，在当前状态st,根据预设的跟拍策略模型π(st,at,θ)选择一个控制信号at；
然后，在步骤2中，执行控制信号at查看下一步状态st+1,并且计算评估值rt；
在步骤3中，重复执行步骤2中的逻辑，直到执行预设步数为止，并记录下执行过程中所有步数对应的样本{st,at,st+1,rt}，t∈{0，n}，n为预设步数，并得到对应的n个评估值。
更新模块30用于根据预设数量的评估值更新跟拍策略模型的模型参数，以更新跟拍策略模型。
具体地，在本发明实施例中，当获取到预设数量的评估值后，拍摄设备可根据获取的预设数量的评估值执行更新操作，即更新跟拍策略模型的模型参数。更具体地，更新模块30用于根据预设数量的评估值更新跟拍策略模型的模型参数时，可基于以下公式进行更新跟拍策略模型的模型参数：
其中，θk为更新前的模型参数，θk+1为更新后的模型参数，n为所述预设数量，rt为第t个评估值，π(st,at,θ)为预设跟拍策略模型，at为与所述第t个评估值对应的控制信号，st为与所述控制信号at对应的状态信号。
在更新跟拍策略模型的模型参数之后，跟拍策略模型也根据跟拍策略模型的参数模型的更新进行更新操作，得到更新的跟拍策略模型。
第二控制模块40用于将更新后的跟拍策略模型作为预设的跟拍策略模型，并控制确定模块10、第一控制模块20和更新模块30重复执行，直至跟拍策略模型的模型参数收敛。跟踪拍摄模块50用于使用收敛时的跟拍策略模型进行跟踪拍摄。
通过重复执行确定模块10、第一控制模块20和更新模块30以获取到适合当前跟拍环境的跟拍策略模型，从而根据获取适合的跟拍策略模型进行跟踪拍摄。
在本发明的实施例中，可以不对跟拍策略模型π(st,at,θ)做任何假设，跟拍策略模型π(st,at,θ)可为线性模型，也可为神经网络模型、贝叶斯模型等非线性模型，或者线性+非线性模型组合成的混合模型。
举例来说，如图3所示，本发明所述的跟拍策略模型可基于图3所示的神经网络模型训练得到。
此外，根据本发明实施例，在跟拍摄设备进行跟踪拍摄时，如果遇到障碍物，跟拍设备可根据收敛时的跟拍策略模型自主的采取避障策略以规避跟拍轨迹中的障碍物，即绕行障碍物，从而能够减少甚至避免因跟拍设备无法规避障碍物而导致跟踪拍摄受影响的问题出现，提高了使用满意度。
进一步地，在跟拍设备进行跟踪拍摄时，跟拍设备可对跟拍物体进行追踪操作，即跟拍设备可根据跟拍窗口来圈定物体，并且能够通过图像算法一直追踪窗口内的主要物体，从而实现了跟拍设备追踪目标物体的目的。
其中，跟拍的摄像头可采用单目/双目摄像头，以及深度摄像头配合普通RGB摄像头等多种硬件。具体而言，追踪算法可以是包括卷积神经网络模型，以及其他图像特征抽取的追踪方法，以及其他图像匹配方法。
本发明实施例的基于人工智能的跟踪拍摄装置，通过分析跟拍设备在跟拍过程中的不同参数，以确定出最适合当前跟拍环境的跟拍策略模型，进而根据该跟拍策略模型进行跟踪拍摄操作，从而实现了跟拍设备在不同的跟拍环境下都能够采取最适合的跟拍策略进行跟踪拍摄，以改善跟踪拍摄的自由度，提高跟踪拍摄的质量。
此外，本发明的实施例，通过将平滑性，避障，追踪等多个目标合入到一个统一学习框架中，而不需调参操作，且在不同平台上都能够自主学习追踪，对于平台的自由度，摄像头等自由度都没有具体地限制，能够将所有自由度全部加入控制变量，参考因素更加全面，能够提高跟拍过程中的避障的准确性，且提高跟拍的稳定性和动作平顺性。
需要说明的是，跟拍设备的输出即可以是轨迹(或者是轨迹的间接控制变量)，也可以是直接的底层控制信号输出。
为了使得本领域的技术人员能够清楚地了解本发明的特点，下面将结合图6进行进一步描述。
图6为本发明另一个实施例的基于人工智能的跟踪拍摄装置的结构示意图。
如图6所示，根据本发明另一个实施例的基于人工智能的跟踪拍摄装置100，包括：确定模块10、第一控制模块20、更新模块30、第二控制模块40、以及跟踪拍摄模块50。
具体地，确定模块10用于根据预设的跟拍策略模型确定当前状态对应的控制信号，并根据控制信号控制跟拍设备进入第二状态，并根据第二状态的状态信息确定控制信号对应的评估值。
更具体地，在本发明的一个实施例中，如图6所示，确定模块10包括：控制信号确定单元12。其中，控制信号确定单元12用于根据跟拍策略模型确定当前状态对应的控制信号的概率分布数据；根据控制信号的概率分布数据选择当前状态对应的控制信号。
在本发明实施例中，由于跟拍策略模型包括跟拍设备的状态、控制信号以及模型参数，所以在跟拍策略模型中就可直接确定出跟拍设备的当前状态，而每一个状态都对应着控制信号的概率分布情况，因此可以很便捷地确定出跟拍设备当前状态对应的控制信号的概率分布数据。
在获取到控制信号的概率分布数据后，可通过不同的方式获取出当前状态对应的控制信号。例如，第一种方式，按照概率分布进行随机抽样，具体地，在获取的控制信号的概率分布数据后，先将概率分布数据中小于预定概率的数据进行剔除，然后在剩余的概率分布数据中进行随机抽样操作，即可获得对应的控制信号。第二种方式，可以用贪婪的方式直接在获取的控制信号的概率分布数据中选择出概率最大的数据作为控制信号。除此之外还有其他获取控制信号的方式，在此对其不作具体的赘述。
第一控制模块20用于将第二状态作为当前状态，并控制确定模块重复执行，直至获取预设数量的评估值。
在本发明实施例中，在获取到跟拍设备的第二状态后，可将第二状态作为跟拍设备的当前状态，然后获取对应的控制信号，并根据控制信号控制跟拍设备进入下一状态，即新的当前状态对应的第二状态，并根据此时的第二状态的状态信息确定对应的评估值，一直重复直至达到预设次数为止，从而得到预设数量的评估值，并根据得到的评估值进行进一步操作。
其中，预设数量可以是预先设定好的数量，当然也可以根据实际情况进行具体的设定。例如10次、20次或者是其他的次数，在此不对其进行具体限制。
举例来说，当跟拍设备进行跟踪拍摄时，首先，执行步骤1，在当前状态st,根据预设的跟拍策略模型π(st,at,θ)选择一个控制信号at；
然后，在步骤2中，执行控制信号at查看下一步状态st+1,并且计算评估值rt；
在步骤3中，重复执行步骤2中的逻辑，直到执行预设步数为止，并记录下执行过程中所有步数对应的样本{st,at,st+1,rt}，t∈{0，n}，n为预设步数，并得到对应的n个评估值。
更新模块30用于根据预设数量的评估值更新跟拍策略模型的模型参数，以更新跟拍策略模型。
具体地，在本发明实施例中，当获取到预设数量的评估值后，拍摄设备可根据获取的预设数量的评估值执行更新操作，即更新跟拍策略模型的模型参数。更具体地，更新模块30用于根据预设数量的评估值更新跟拍策略模型的模型参数时，可基于以下公式进行更新跟拍策略模型的模型参数：
其中，θk为更新前的模型参数，θk+1为更新后的模型参数，n为所述预设数量，rt为第t个评估值，π(st,at,θ)为预设跟拍策略模型，at为与所述第t个评估值对应的控制信号，st为与所述控制信号at对应的状态信号。
在更新跟拍策略模型的模型参数之后，跟拍策略模型也根据跟拍策略模型的参数模型的更新进行更新操作，得到更新的跟拍策略模型。
第二控制模块40用于将更新后的跟拍策略模型作为预设的跟拍策略模型，并控制确定模块10、第一控制模块20和更新模块30重复执行，直至跟拍策略模型的模型参数收敛。跟踪拍摄模块50用于使用收敛时的跟拍策略模型进行跟踪拍摄。
通过重复执行确定模块10、第一控制模块20和更新模块30以获取到适合当前跟拍环境的跟拍策略模型，从而根据获取适合的跟拍策略模型进行跟踪拍摄。
在本发明的实施例中，可以不对跟拍策略模型π(st,at,θ)做任何假设，跟拍策略模型π(st,at,θ)可为线性模型，也可为神经网络模型、贝叶斯模型等非线性模型，或者线性+非线性模型组合成的混合模型。
举例来说，如图3所示，本发明所述的跟拍策略模型可基于图3所示的神经网络模型训练得到。
此外，根据本发明实施例，在跟拍摄设备进行跟踪拍摄时，如果遇到障碍物，跟拍设备可根据收敛时的跟拍策略模型自主的采取避障策略以规避跟拍轨迹中的障碍物，即绕行障碍物，从而能够减少甚至避免因跟拍设备无法规避障碍物而导致跟踪拍摄受影响的问题出现，提高了使用满意度。
进一步地，在跟拍设备进行跟踪拍摄时，跟拍设备可对跟拍物体进行追踪操作，即跟拍设备可根据跟拍窗口来圈定物体，并且能够通过图像算法一直追踪窗口内的主要物体，从而实现了跟拍设备追踪目标物体的目的。
其中，跟拍的摄像头可采用单目/双目摄像头，以及深度摄像头配合普通RGB摄像头等多种硬件。具体而言，追踪算法可以是包括卷积神经网络模型，以及其他图像特征抽取的追踪方法，以及其他图像匹配方法。
本发明实施例的基于人工智能的跟踪拍摄装置，通过分析跟拍设备在跟拍过程中的不同参数，以确定出最适合当前跟拍环境的跟拍策略模型，进而根据该跟拍策略模型进行跟踪拍摄操作，从而实现了跟拍设备在不同的跟拍环境下都能够采取最适合的跟拍策略进行跟踪拍摄，以改善跟踪拍摄的自由度，提高跟踪拍摄的质量。
此外，本发明的实施例，通过将平滑性，避障，追踪等多个目标合入到一个统一学习框架中，而不需调参操作，且在不同平台上都能够自主学习追踪，对于平台的自由度，摄像头等自由度都没有具体地限制，能够将所有自由度全部加入控制变量，参考因素更加全面，能够提高跟拍过程中的避障的准确性，且提高跟拍的稳定性和动作平顺性。
需要说明的是，跟拍设备的输出即可以是轨迹(或者是轨迹的间接控制变量)，也可以是直接的底层控制信号输出。
为了实现上述实施例，本发明还提出一种电子设备，包括：用于存储处理器可执行指令的存储器；其中，所述处理器被配置为：执行上述基于人工智能的跟踪拍摄方法。
本发明实施例的电子设备，通过分析跟拍设备在跟拍过程中的不同参数，以确定出最适合当前跟拍环境的跟拍策略模型，进而根据该跟拍策略模型进行跟踪拍摄操作，从而实现了跟拍设备在不同的跟拍环境下都能够采取最适合的跟拍策略进行跟踪拍摄，以改善跟踪拍摄的自由度，提高跟踪拍摄的质量。
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(PGA)，现场可编程门阵列(FPGA)等。
本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。
- 还没有人留言评论。精彩留言会获得点赞！