用于智能宠物警报的设备和方法及其存储介质与流程

本申请总体上涉及用于宠物的交互式装置，更具体地，涉及用于使用图像处理技术和/或声音处理技术的智能宠物警报的设备和方法。

背景技术：

随着近年来发生的生活方式的快速变化，宠物已经成为很多人不可或缺的。然而，宠物主人面临着以下持久性问题：当宠物主人不在家时，照顾他们的宠物、喂养宠物以及保持宠物愉快。虽然一些宠物主人可能会选择在家中安装基本的宠物摄像头(cam)，以在他们将宠物单独留在家中时监视他们的宠物，但是在使用基本的宠物摄像头时他们的宠物可能无法互动。据观察认为，家庭宠物即狗、猫和其他小动物，由于无聊而感到沮丧，特别是在没有主人的情况下。

结果，可能会发生宠物不当行为，例如咀嚼家具或鞋子，并且在主人返回家中时宠物也倾向于过度活跃。在某些情况下，由于没有主人，因此宠物可能不想吃东西，并希望它们的主人亲自喂养它们。

因此，希望有用于在宠物主人不在家时保持宠物与其主人交流的解决方案。

技术实现要素：

为了解决上述问题，本申请提出了用于智能宠物警报的设备和方法及其存储介质，该设备和方法及存储介质使得：即使在宠物主人不在家时，能够向宠物主人通知与宠物相关的重要活动，并且使得宠物主人能够看到宠物、与宠物交谈和向宠物投掷零食。

在本申请的一个方面，提供了一种包括网络通信装置和控制器的电子设备。网络通信装置被配置成向用户装置提供网络连接。控制器被配置成通过处理从情景采集的情景的多个图像或音频数据来确定情景中是否发生与宠物相关的活动，以及响应于确定情景中发生与宠物相关的活动，经由网络通信装置向用户装置发送关于与宠物相关的活动的通知。

在本申请的另一方面，提供了一种宠物警报方法，其由电子设备执行，该电子设备包括向用户装置提供网络连接的网络通信装置。该宠物警报方法包括以下步骤：通过处理从情景采集的情景的多个图像或音频数据来确定情景中是否发生与宠物相关的活动；以及响应于确定情景中发生与宠物相关的活动，经由网络通信装置向用户装置发送关于与宠物相关的活动的通知。

在本申请的又一方面，提供了一种非暂态计算机可读存储介质，其包括计算机程序，该计算机程序在被执行时使连接至用户装置的电子设备执行宠物警报方法。该宠物警报方法包括以下步骤：通过处理从情景采集的情景的多个图像或音频数据来确定情景中是否发生与宠物相关的活动；以及响应于确定情景中发生与宠物相关的活动，经由网络通信装置向用户装置发送关于与宠物相关的活动的通知。

对于本领域普通技术人员而言，在查阅了对用于智能宠物警报的设备和方法及其存储介质的具体实施方式的以下描述之后，本申请的其他方面和特征将变得明显。

附图说明

通过阅读随后的参考附图进行的详细描述和示例，可以更全面地理解本申请，在附图中：

图1是示出根据本申请的实施方式的用于智能宠物警报的示例性环境的框图；

图2是示出根据本申请的实施方式的交互设备110的框图；

图3是示出根据本申请的实施方式的云服务器150的框图；

图4是示出根据本申请的实施方式的宠物警报方法的消息序列图；

图5a示出了根据本申请的实施方式的宠物正在活动的示例性通知；

图5b示出了根据本申请的实施方式的宠物面向摄像机的示例性通知；

图5c示出了根据本申请的实施方式的宠物面向摄像机的示例性通知；

图5d示出了根据本申请的实施方式的宠物在叫的示例性通知；

图5e示出了根据本申请的实施方式的宠物生病的示例性通知；以及

图5f示出了根据本申请的实施方式的人出现的示例性通知。

具体实施方式

以下描述是出于说明本申请的一般原理的目的而进行的，并且不应被视为具有限制意义。应当理解，术语“包括(comprise)”、“包含(comprising)”、“包括(include)”和/或“包含(including)”，当在本文中使用时，指定所陈述的特征、整数、步骤、操作、元件和/或部件的存在，但是不排除存在或添加一个或更多个其他特征、整数、步骤、操作、元件、部件和/或其组。

图1是示出根据本申请的实施方式的用于智能宠物警报的示例性环境的框图。环境100包括交互设备110、宠物120、接入点(ap)130、因特网140、云服务器150、电信网络160和用户装置170。

交互设备110、宠物120和ap130被布置在同一个室内空间例如宠物主人的家中，其中，交互设备110连接至ap130用于获得对因特网140的访问。即，交互设备110可以经由ap130连接至因特网140，并且然后经由因特网140进一步连接至云服务器150和/或用户装置170。

交互设备110可以是任何电子设备，其至少能够捕获场景(例如，室内空间)的图像，经由ap130和因特网140与云服务器150和/或用户装置170通信，以及通过内置扬声器或投掷装置与宠物120交互。在一个实施方式中，交互设备110还能够处理图像数据和/或音频数据以识别在室内空间中发生的与宠物相关的活动。

宠物120可以是狗、猫或其他动物。

ap130可以是使用诸如无线保真(wi-fi)技术的短程无线(srw)技术提供无线接入的网络硬件装置。具体地，ap130可以通过以太网电缆连接至局域网，并且然后通过局域网连接至互联网140。ap130通常接收，缓冲和发送用于交互设备110的数据。

云服务器150可以是布置在因特网140上的电子设备，其负责与交互设备110和用户装置170通信，包括从交互设备110接收图像数据和/或音频数据，向用户装置170发送通知，从用户装置170接收交互命令，以及将交互命令转发至交互设备110。在一个实施方式中，云服务器150还能够处理图像数据和/或音频数据以识别在室内空间中发生的与宠物相关的活动。

电信网络160可以是全球移动通信系统(gsm)网络、通用分组无线电服务(gprs)网络、全球演进增强数据速率(edge)网络、宽带码分多址(wcdma)网络、码分多址2000(cdma-2000)网络、时分同步码分多址(td-scdma)网络、全球微波接入互操作性(wimax)网络、长期演进(lte)网络、时分lte(td-lte)网络或高级lte(lte-a)网络，这取决于使用的电信技术。

具体地，电信网络160包括接入网161和核心网162，其中，接入网161负责处理无线电信号，终止无线电协议，以及将用户装置170与核心网162连接，而核心网162负责执行移动性管理、网络侧认证以及与公共/外部网络(例如，因特网140)对接。

例如，如果电信网络160是gsm/gprs/edge网络，则接入网161可以是至少包括基站收发信台(bts)和基站控制器(bsc)的基站子系统(bss)，以及核心网162可以是至少包括归属位置寄存器(hlr)、服务gprs支持节点(sgsn)和网关gprs支持节点(ggsn)的gprs核心网。如果电信网络160是wcdma网络，则接入网161可以是至少包括node-b(nb)的通用地面无线电接入网(utran)，以及核心网162可以是至少包括hlr、sgsn和ggsn的gprs核心网。可替代地，如果电信网络160是lte/lte-a/td-lte网络，则接入网161可以是至少包括演进nb(enb)的演进utran(e-utran)，以及核心网162可以是包括归属用户服务器(hss)、移动性管理实体(mme)、服务网关(s-gw)、分组数据网络网关(pdn-gw或p-gw)的演进分组核心网(epc)。

用户装置170可以是支持由电信网络160使用的电信技术和/或由ap130使用的srw技术的智能电话、个人计算机(pc)、膝上型计算机、平板pc或宠物所有者的任何计算装置。用户装置170可以经由电信网络160连接至因特网140，并且然后经由因特网140连接至云服务器150，以接收在宠物所有者的住所中发生的与宠物相关的活动的通知并且将交互命令发送到交互设备110。

图2是示出根据本申请的实施方式的交互设备110的框图。交互设备110包括网络通信装置10、图像采集装置20、音频输入/输出(i/o)装置30、投掷装置40、控制器50和存储装置60，其中网络通信装置10、图像采集装置20、音频i/o装置30、投掷装置40和存储装置60耦接至控制器50。

网络通信装置10负责提供使用诸如wi-fi技术的srw技术与ap130无线通信的功能。通过ap130，网络通信装置10可以获得与因特网140上的其他装置例如云服务器150和用户装置170的网络连接。

图像采集装置20具有视场(fov)并且负责捕捉fov中的场景的图像。例如，fov可以大于180度，使得捕获的图像可以覆盖更宽的场景部分。替选地，fov可以在60度与75度之间，并且捕捉的图像可以覆盖较窄的场景部分。具体地，图像采集装置20可以包括一个或更多个光学器件，例如透视透镜和/或图像传感器。

在另一个实施方式中，考虑到宠物120可能四处跑动，图像采集装置20面向的方向可以是动态可调的。

音频i/o装置30可以包括用于接收来自宠物120的音频的麦克风以及用于输出来自宠物所有者的音频的扬声器。

投掷装置40负责将零食或玩具投掷给宠物120。在一个实施方式中，交互设备110还可以包括用于存放宠物120的零食或玩具的凹部，并且投掷装置40可以连接至凹部以接受要投掷的零食或玩具。

控制器50可以是通用处理器、微控制单元(mcu)、数字信号处理器(dsp)、应用处理器、图形处理单元(gpu)、全息处理单元(hpu)或神经处理单元(npu)或者其任意组合，其包括用于提供数据(例如，图像数据和/或音频数据)处理/计算功能、控制网络通信装置10以获得网络连接、向图像采集装置20发送控制信号、从图像采集装置20接收图像数据、从音频i/o装置30发送/接收音频数据、控制投掷装置40以投掷零食或玩具以及向存储装置60存储数据并从存储装置60检索数据的各种电路。

具体地，控制器50可以协调网络通信装置10、图像采集装置20、音频i/o装置30和存储装置60，以执行本申请的宠物警报方法。

如本领域技术人员将理解的，控制器50中的电路通常将包括晶体管，晶体管被配置成使得根据本文描述的功能和操作来控制电路的操作。如将进一步理解的，晶体管的特定结构或互连通常将由编译器例如寄存器传输语言(rtl)编译器确定。可以由处理器根据与汇编语言代码非常相似的脚本操作rtl编译器，以将脚本编译成用于最终电路的布局或制造的形式。实际上，rtl以其在促进电子和数字系统的设计过程中的作用和用途而闻名。

存储装置60是包括存储器例如闪存或非易失性随机存取存储器(nvram)或者磁存储装置例如硬盘或磁带或者光盘或其任何组合的非暂态机器可读存储介质，其用于存储帧/图像数据和指令或者通信协议、应用和/或本申请的宠物警报方法的程序代码。

应该理解的是，图2的实施方式中描述的部件仅用于说明的目的，并非旨在限制本申请的范围。例如，交互设备110可以包括附加部件，例如电源、环境光传感器、红外(ir)传感器和/或全球定位系统(gps)装置。电源可以是向交互设备110的所有其他部件提供电力的移动/可更换电池。环境光传感器可以用于检测周围环境的照明状况。ir传感器可以用于物体接近检测。gps装置可以提供交互设备110的位置信息以用于一些基于位置的服务或应用。

图3是示出根据本申请的实施方式的云服务器150的框图。云服务器150包括网络通信装置70、控制器80和存储装置90，其中网络通信装置70和存储装置90耦接至控制器80。

网络通信装置70负责提供有线通信的功能，以通过以太网、有线网络、光网络或非对称数字用户线路(adsl)网络连接至因特网140，并且然后经由因特网140连接至其他装置例如交互设备110和用户装置170。

控制器80可以是通用处理器、mcu、dsp、应用处理器、gpu、hpu或npu，或者是它们的任何组合，控制器包括用于提供数据(例如，图像数据和/或音频数据)处理/计算功能、控制网络通信装置70以获得网络连接以及向存储装置90存储数据和从存储装置90取回数据的各种电路。

具体地，控制器80可以协调网络通信装置70和存储装置90以执行本申请中的宠物警报方法。

如本领域技术人员将理解的，控制器80中的电路通常将包括晶体管，这些晶体管以使得根据文本中描述的功能和操作来控制电路的操作的方式配置。如将进一步理解的，晶体管的特定结构或互连通常将由编译器(例如rtl编译器)确定。rtl编译器可以由处理器在与汇编语言代码非常相似的脚本上操作，从而将脚本编译成用于布局或制造最终电路的形式。实际上，rtl因其在促进电子和数字系统设计过程中的作用和用途而闻名。

存储装置90是非暂态机器可读存储介质，包括存储器(例如闪速(flash)存储器或nvram)或磁存储装置(例如硬盘或磁带)或光盘或者用于存储通信协议、应用和/或本申请中的宠物警报方法的帧/图像数据和指令或程序代码的存储介质的任何组合。

应该理解，图3的实施方式中描述的部件仅是出于说明性目的而并不旨在限制本申请的范围。例如，云服务器150可以包括附加部件，如i/o装置和/或显示装置。i/o装置可以包括用作接收用户输入和/或输出提示/反馈信号的人机接口(mmi)的一个或更多个按钮、键盘、鼠标、触摸板、麦克风、扬声器和/或照明装置等。显示装置可以是用于显示视觉内容和/或文本的液晶显示器(lcd)、发光二极管(led)显示器、有机led(oled)显示器、电子纸显示器(epd)或阴极射线管(crt)显示器等。

图4是示出根据本申请的实施方式的宠物警报方法的消息序列图。首先，交互设备110经由图像采集装置20捕捉情景的图像并且经由音频i/o装置30采集情景中的音频数据(步骤s410)。接下来，交互设备110将图像数据和音频数据发送至云服务器150(步骤s420)。

当接收到图像数据和音频数据时，云服务器150处理图像数据和/或音频数据以确定在该情景中是否发生与宠物相关的活动(步骤s430)。

具体地，图像/音频数据处理可以包括两个处理阶段。第一处理阶段可以包括通过根据图像数据计算帧差异来进行运动检测。第二处理阶段可以包括用于识别检测到的运动的主体以及识别该主体当前所涉及的活动的类型的图像和语音识别。特别地，第二处理阶段可以由人工智能(ai)技术助力。例如，在图像识别和语音识别的应用中可以利用像深度神经网络(dnn)这样的机器学习模型。

响应于确定情景中正在发生与宠物相关的活动，云服务器150向用户装置170发送对该活动的通知(步骤s440)。

如果检测到的运动的主体是宠物，则云服务器150可以在活动与下述事件之一相关联的情况下发送通知：1)宠物正在活动；2)宠物正面向摄像机；3)宠物正坐下；4)宠物正在叫；或者5)宠物生病了(例如正在呕吐)。应当理解，关于宠物的5个预定事件仅是出于说明性目的而并不旨在限制本申请的范围。例如，可以预先确定另外的事件以识别与宠物相关的其他重要活动。

如果检测到的运动的主体是人，则云服务器150可以在活动与下述事件之一相关联的情况下发送通知：1)有人已进入该情景；或者2)有人正在和宠物玩耍。应当理解，关于人的2个预定事件仅是出于说明性目的而并不旨在限制本申请的范围。例如，可以预先确定另外的事件以识别与人相关的其他重要活动。

在另一实施方式中，可以执行步骤s430的第二处理阶段中的语音识别以识别宠物的情绪状态，并且步骤s440中的通知还可以向宠物主人指示宠物的情绪状态。例如，情绪状态可以包括“孤独”、“沮丧”、“有攻击性”、“自信”、“幸福”和“渴望”等，并且每种情绪状态的音频数据可以包括相应的参考语音图案。

在另一实施方式中，在发送通知之前，云服务器150可以确定用户装置170与交互设备110是否非常接近，并且如果是，则可以建议：宠物主人已经回家因而可以停用通知功能。也就是说，仅在用户装置170与交互设备110不是非常接近的情况下(即，当确定宠物主人已经离开家时)才发送通知。

具体地，云服务器150可以使用用户装置170和交互设备110的gps位置来确定它们是否非常接近。替选地，如果用户装置170和交互设备110连接至同一局域网(例如，同一wi-fi网络)，则可以确定它们非常接近。否则，如果用户装置170和交互设备110连接至不同的局域网，则可以确定它们不是非常接近。

当接收到与宠物相关的活动的通知时，用户装置170向宠物主人显示通知(步骤s450)，并且从宠物主人接收交互命令(步骤s460)。

之后，用户装置170将交互命令发送至云服务器150(步骤s470)，并且云服务器150将交互命令转发到交互设备110(步骤s480)。

当接收到交互命令时，交互设备110打开情景的实时视图并且与用户装置170共享该实时视图(步骤s490-a)，或者激活投掷装置40以将零食或玩具投掷给宠物(步骤s490-b)。

应该理解的是，图4的实施方式中描述的步骤仅用于说明的目的，而不旨在限制本申请的范围。例如，如果交互设备110具有足够的计算能力，则可以由交互设备110而不是由云服务器150来执行步骤s430和s440。

图5a示出了根据本申请的实施方式的宠物正在活动的示例性通知。如图5a所示，通知可以包括文本消息：“您的狗正在活动。您想要查看吗？”、活动的快照和确认按钮。如果宠物主人按下确认按钮，则用户装置170将按下确认按钮作为用于打开宠物所在情景的实时视图(即，实时摄像机流)的交互命令的输入。

图5b示出了根据本申请的实施方式的宠物面向摄像机的示例性通知。如图5b所示，通知可以包括文本消息：“您的狗十分想念您。您想要投掷零食吗？”、活动的快照和确认按钮。如果宠物主人按下确认按钮，则用户装置170将按下确认按钮作为用于激活投掷装置40以投掷零食或玩具的交互命令的输入。

图5c示出了根据本申请的实施方式的宠物面向摄像机的示例性通知。如图5c所示，通知可以包括文本消息：“您的狗正坐下。您想要投掷零食吗？”、活动的快照和确认按钮。如果宠物主人按下确认按钮，则用户装置170将按下确认按钮作为用于激活投掷装置40以投掷零食或玩具的交互命令的输入。

图5d示出了根据本申请的实施方式的宠物正在叫的示例性通知。如图5d所示，通知可以包括文本消息：“您的狗正在叫。你想要查看它吗？”和确认按钮。如果宠物主人按下确认按钮，则用户装置170将按下确认按钮作为用于打开宠物所在情景的实时视图的交互命令的输入。

图5e示出了根据本申请的实施方式的宠物生病的示例性通知。如图5e所示，通知可以包括文本消息：“您的狗正在呕吐。您想要查看它吗？”和确认按钮。如果宠物主人按下确认按钮，则用户装置170将按下确认按钮作为用于打开宠物所在情景的实时视图的交互命令的输入。

图5f示出了根据本申请的实施方式的出现的人的示例性通知。如图5f所示，通知可以包括文本消息：“发现了一个人。您想要看他是谁吗？”、活动的快照和确认按钮。如果宠物主人按下确认按钮，则用户装置170将按下确认按钮作为用于打开宠物所在情景的实时视图的交互命令的输入。

鉴于前述实施方式，应当理解，本申请通过允许宠物主人被告知重要的与宠物相关的活动并且专心地与其宠物进行交互来增加宠物主人与其宠物之间的交互。有利地，宠物将较少地经历因为主人不在场而导致的情绪压力，因此可以减少宠物的不良行为。

虽然通过示例并且根据优选实施方式描述了本申请，但是应该理解，本申请不限于此。在不脱离本申请的范围和精神的情况下，本技术领域的技术人员仍然可以进行各种改变和修改。因此，本申请的范围应该由所附权利要求书及其等同方案来限定和保护。