基于图像识别的健身辅助方法及装置的制造方法
【专利摘要】本发明提供了一种基于图像识别的健身辅助方法及装置，所述健身辅助方法包括：获取用户的肌肉图像；对获取的用户的肌肉图像进行识别，以判断所述用户的肌肉状态；以及基于所述用户的肌肉状态和所述用户的基本信息确定适于所述用户的健身内容，并将所述健身内容反馈给所述用户。根据本发明实施例的基于图像识别的健身辅助方法及装置通过对用户肌肉图像的识别判断用户的肌肉状态，基于用户的肌肉状态确定适于用户的个性化健身内容，不仅经济、便利、高效，而且可以有针对性地辅助用户健身，使用户实现更好的健身效果。
【专利说明】
基于图像识别的健身辅助方法及装置
技术领域
[0001]本发明涉及图像识别技术领域，更具体地涉及一种基于图像识别的健身辅助方法及装置。
【背景技术】
[0002]健身在现代社会中扮演着愈发重要的作用，对大多数人而言，现代生活中，健身不可或缺。一个好的健身辅助系统具有极大的社会价值与市场价值。
[0003]然而，现有的健身辅助系统通常仅根据健身爱好者的兴趣或性别提供不同的健身内容供用户选择，而不能针对每个用户的身体各部分的具体情况(例如肌肉状态)提供有针对性的个性化健身内容，用户只能通过有经验的健身教练对其个人情况做出判断并提出意见以得知适合自己的健身内容，这样不仅需要增加开销，而且非常不便利。现有的健身辅助系统不能够记录用户的饮食状况，无法对用户进行饮食热量提示，使得用户不能结合饮食调节达到很好的健身效果。此外，现有的健身辅助系统还不能够对用户的健身成果进行激励反馈，从而不能提高用户的健身积极性。
【发明内容】
[0004]考虑到上述问题而提出了本发明。本发明提供了一种基于图像识别的健身辅助方法及装置，其通过对用户肌肉图像的识别判断用户的肌肉状态，并基于用户的肌肉状态确定适于用户的健身内容，使用户能够进行有针对性的个性化健身。
[0005]根据本发明一方面，提供了一种基于图像识别的健身辅助方法，所述健身辅助方法包括:获取用户的肌肉图像;对获取的所述用户的肌肉图像进行识别，以判断所述用户的肌肉状态；以及基于所述用户的肌肉状态和所述用户的基本信息确定适于所述用户的健身内容，并将所述健身内容反馈给所述用户。
[0006]在本发明的一个实施例中，所述健身辅助方法进一步包括:获取所述用户的饮食图像;对获取的所述用户的饮食图像进行识别;对所识别的所述用户的饮食进行热量评估和记录；以及基于在预定时间内所述用户的饮食热量记录，在特定时间向所述用户提供热量提醒和/或饮食推荐。
[0007]在本发明的一个实施例中，所述基于在预定时间内所述用户的饮食热量记录，在特定时间向所述用户提供热量提醒和/或饮食推荐包括:基于在预定时间内所述用户的饮食热量记录和所述用户在所述预定时间内已运动消耗的热量向所述用户提供热量提醒和/或饮食推荐。
[0008]在本发明的一个实施例中，还基于已记录的所述用户的日常饮食情况向所述用户提供饮食推荐。
[0009]在本发明的一个实施例中，对所述用户的饮食图像进行识别，包括:将所述用户的饮食图像输入至神经网络，以识别所述用户的饮食。
[0010]在本发明的一个实施例中，对所识别的所述用户的饮食进行热量评估包括:根据所述识别的所述用户的饮食，检索数据库以得到所述饮食的热量数据，从而对所述识别的饮食进行热量评估。
[0011]在本发明的一个实施例中，对所述用户的饮食的进行热量评估，包括:对获取的所述饮食的包装上的热量信息图像进行文字识别，以获得所述包装上的热量信息，从而对所述用户的饮食进行热量评估。
[0012]在本发明的一个实施例中，所述健身辅助方法进一步包括:基于所述用户的饮食热量记录和/或所述用户的肌肉状态的记录，并结合所述用户的基本信息，对所述用户的健身效果进行评分，并将所述评分反馈给所述用户。
[0013]在本发明的一个实施例中，所述用户基本信息包括所述用户的身高、体重、性别、年龄信息中的至少一种。
[0014]在本发明的一个实施例中，对所述用户的肌肉图像进行识别，以判断所述用户的肌肉状态，包括:使用神经网络对所述肌肉图像进行识别，以获得所述用户的肌肉状态。
[0015]在本发明的一个实施例中，所述确定的适于所述用户的健身内容包括针对性的健身器材和/或健身动作。
[0016]根据本发明另一方面，提供了一种基于图像识别的健身辅助装置，所述健身辅助装置包括:肌肉图像识别模块，用于对所获取的用户的肌肉图像进行识别，以判断所述用户的肌肉状态；用户基本信息模块，用于提供所述用户的基本信息；以及健身内容确定模块，用于基于所述用户的肌肉状态以及所述用户的基本信息确定适于所述用户的健身内容，并将所述健身内容反馈给所述用户。
[0017]在本发明的一个实施例中，所述健身辅助装置进一步包括:饮食图像识别模块，用于对获取的所述用户的饮食图像进行识别；热量评估记录模块，用于对所述饮食图像识别模块所识别的所述用户的饮食进行热量评估和记录；以及热量应用模块，用于基于在预定时间内所述用户的饮食热量记录，在特定时间向所述用户提供热量提醒和/或饮食推荐。
[0018]在本发明的一个实施例中，所述热量应用模块用于基于在预定时间内所述用户的饮用食物热量记录和所述用户在所述预定时间内已运动消耗的热量向所述用户提供热量提醒和/或饮食推荐。
[0019]在本发明的一个实施例中，所述热量应用模块还基于已记录的所述用户的日常饮食情况习惯向所述用户提供饮食推荐。
[0020]在本发明的一个实施例中，所述热量评估记录模块将获取到的所述用户的饮食图像输入至神经网络，以识别所述用户的饮食。
[0021]在本发明的一个实施例中，所述热量评估记录模块根据所述识别的所述用户的饮食，检索数据库以得到所述饮食的热量数据，从而对所述识别的饮食进行热量评估。
[0022]在本发明的一个实施例中，所述热量评估记录模块对获取的所述饮食的包装上的热量信息图像进行文字识别，以获得所述包装上的热量信息，从而对所述用户的饮食进行热量评估。
[0023]在本发明的一个实施例中，所述健身辅助装置进一步包括:评分反馈模块，用于基于所述用户的饮食热量记录和/或所述用户的肌肉状态的记录，并结合所述用户的基本信息，对所述用户的健身效果进行评分，并将所述评分反馈给所述用户。
[0024]在本发明的一个实施例中，所述用户的基本信息包括所述用户的身高、体重、性别、年龄信息中的至少一种。
[0025]在本发明的一个实施例中，所述肌肉图像识别模块使用神经网络对所述肌肉图像进行识别，以获得所述用户的肌肉状态。
[0026]在本发明的一个实施例中，所述健身内容确定模块所确定的适于所述用户的健身内容包括针对性的健身器材和/或健身动作。
[0027]根据本发明实施例的基于图像识别的健身辅助方法及装置通过对用户肌肉图像的识别判断用户的肌肉状态，基于用户的肌肉状态确定适于用户的个性化健身内容，不仅经济、便利、高效，而且可以有针对性地辅助用户健身，使用户实现更好的健身效果。
【附图说明】
[0028]通过结合附图对本发明实施例进行更详细的描述，本发明的上述以及其它目的、特征和优势将变得更加明显。附图用来提供对本发明实施例的进一步理解，并且构成说明书的一部分，与本发明实施例一起用于解释本发明，并不构成对本发明的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0029]图1是用于实现根据本发明实施例的基于图像识别的健身辅助方法和装置的示例电子设备的示意性框图；
[0030]图2是根据本发明实施例的基于图像识别的健身辅助方法的示意性流程图；
[0031]图2A示出根据本发明实施例的一个基于神经网络的肌肉状态检测器。
[0032]图3是根据本发明另一实施例的基于图像识别的健身辅助方法中的饮食辅助方法的示意性流程图；
[0033]图4是根据本发明实施例的基于图像识别的健身辅助装置的示意性框图；
[0034]图5是根据本发明另一实施例的基于图像识别的健身辅助装置中的饮食辅助装置的示意性框图；
[0035]图6是根据本发明又一实施例的基于图像识别的健身辅助装置的示意性框图；以及
[0036]图7是根据本发明实施例的基于图像识别的健身辅助系统的示意性框图。
【具体实施方式】
[0037]为了使得本发明的目的、技术方案和优点更为明显，下面将参照附图详细描述根据本发明的示例实施例。显然，所描述的实施例仅仅是本发明的一部分实施例，而不是本发明的全部实施例，应理解，本发明不受这里描述的示例实施例的限制。基于本发明中描述的本发明实施例，本领域技术人员在没有付出创造性劳动的情况下所得到的所有其它实施例都应落入本发明的保护范围之内。
[0038]首先，参照图1来描述用于实现本发明实施例的基于图像识别的健身辅助方法和装置的示例电子设备100。
[0039]如图1所示，电子设备100包括一个或多个处理器102、一个或多个存储装置104、输入装置106、输出装置108以及图像传感器110，这些组件通过总线系统112和/或其它形式的连接机构(未示出)互连。应当注意，图1所示的电子设备100的组件和结构只是示例性的，而非限制性的，根据需要，所述电子设备也可以具有其他组件和结构。
[0040]所述处理器102可以是中央处理单元(CPU)或者具有数据处理能力和/或指令执行能力的其它形式的处理单元，并且可以控制所述电子设备100中的其它组件以执行期望的功能。
[0041]所述存储装置104可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器(RAM)和/或高速缓冲存储器(cache)等。所述非易失性存储器例如可以包括只读存储器(R0M)、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器102可以运行所述程序指令，以实现下文所述的本发明实施例中(由处理器实现)的客户端功能以及/或者其它期望的功能。在所述计算机可读存储介质中还可以存储各种应用程序和各种数据，例如所述应用程序使用和/或产生的各种数据等。
[0042]所述输入装置106可以是用户用来输入指令的装置，并且可以包括键盘、鼠标、麦克风和触摸屏等中的一个或多个。
[0043]所述输出装置108可以向外部(例如用户)输出各种信息(例如图像或声音)，并且可以包括显示器、扬声器等中的一个或多个。
[0044]所述图像传感器110可以拍摄用户期望的图像(例如照片、视频等)，并且将所拍摄的图像存储在所述存储装置104中以供其它组件使用。
[0045]示例性地，用于实现根据本发明实施例的基于图像识别的健身辅助方法和装置的示例电子设备可以被实现为诸如智能手机、平板电脑等。
[0046]下面，将参考图2描述根据本发明实施例的基于图像识别的健身辅助方法200。
[0047]在步骤S210中，获取用户的肌肉图像。在一个实施例中，可以使用图像采集装置采集用户的肌肉图像。例如，该图像采集装置可以包括手机、IPAD等智能设备上的图像采集装置。
[0048]在步骤S220，对所获取的所述用户的肌肉图像进行识别，以判断用户的肌肉状态。
[0049]可以利用预先训练好的肌肉状态检测器来获得肌肉状态。例如，可以预先利用深度卷积神经网络在大量的肌肉图片的基础上训练出肌肉状态检测器。例如，可以预先获得多种预先规定的肌肉状态的肌肉图片，通过机器学习方法预先建立基于神经网络的肌肉状态检测器。
[0050]图2A所示为根据本发明实施例的一个基于神经网络的肌肉状态检测器。使用该神经网络260对所获取的用户的肌肉图像进行识别，以获得所述用户的肌肉状态。如图2A所示，该神经网络包括大小为32 X 32、卷积核为5 X 5的第一采样层S1，大小为28 X 28、卷积核为2 X 2的第一卷积层C2，大小为14 X 14、卷积核为5 X 5的第二采样层S3，大小为10 X 10、卷积核为1X 10的第二卷积层C4，以及全连接层F5。将获取到的用户肌肉图像输入至如图2A所示的神经网络260，经过所述第一采样层S1、第一卷积层C2、第二采样层&、第二卷积层C4以及全连接层^，可以得到用户的肌肉状态，例如，使用0-1之间的分数表示的肌肉状态。例如，O表示用户的肌肉状态最不丰满，需要加强锻炼;I表示用户的肌肉状态最好。
[0051]应该理解，图2A所示的神经网络260仅是示例性的。根据实际需要，还可以使用具有其它结构的神经网络进行用户肌肉状态的判断。
[0052]还应该理解，本发明不受具体采用的肌肉检测方法的限制，无论是现有的肌肉检测方法还是将来开发的肌肉检测方法，都可以应用于根据本发明实施例的健身辅助方法中，并且也应包括在本发明的保护范围内。
[0053]在步骤S230，基于用户的肌肉状态和用户的基本信息确定适于用户的健身内容，并将该健身内容反馈给用户。
[0054]肌肉状态可以包括用户肌肉的丰满程度，根据这一状况，可以得到用户的锻炼程度。对于用户身体某部位的肌肉状态，并结合用户的基本信息，可以确定与该状态相适应的健身内容。例如，可以根据用户身体某部位的肌肉状态，并结合用户的基本信息，确定锻炼该部位所需的健身动作、强度、和/或健身器材等。示例性地，用户的基本信息可以包括用户的身高、体重、性别、年龄信息中的至少一种。
[0055]进一步地，肌肉状态可以包括用户全身各部位的肌肉状态，并且基于用户全身各部位的肌肉状态，可以确定用户需要或者重点需要锻炼的部位所需的健身内容。示例性地，健身内容可以包括健身动作、强度、时间安排和/或所需的健身器材等。
[0056]应该理解，步骤S210至S230可以周期性地进行，针对用户不同时期的肌肉状态(例如锻炼了一段时间以后的肌肉状态)不断更新实时状态下最适合的健身内容，使得用户的健身效果能够阶段性地有效率地提高。
[0057]基于上面的描述，根据本发明实施例的基于图像识别的健身辅助方法通过对用户肌肉图像的识别判断用户的肌肉状态，基于用户的肌肉状态并结合用户的基本信息，确定适于用户的个性化健身内容，不仅经济、便利、高效，而且可以有针对性地辅助用户健身，使用户实现更好的健身效果。
[0058]示例性地，根据本发明实施例的基于图像识别的健身辅助方法可以在具有存储器和处理器的设备、装置或者系统中实现。
[0059]根据本发明实施例的基于图像识别的健身辅助方法可以部署在个人终端处，诸如智能电话、平板电脑、个人计算机等。个人终端处的图像采集装置采集用户的肌肉图像，所述个人终端上的其它元件对肌肉图像进行处理，从而判断用户的肌肉状态、基于用户的肌肉状态并结合用户的基本信息确定适于用户的健身内容，并将确定的健身内容通过个人终端的输出装置(显示器、语音输出等)反馈给用户。
[0060]替代地，根据本发明实施例的基于图像识别的健身辅助方法还可以分布地部署在服务器端(或云端)和个人终端处。例如，可以在个人终端处采集用户的肌肉图像，由个人终端将所采集的肌肉图像传递到服务器端(或云端)；在服务器端(或云端)对肌肉图像进行识别以判断用户的肌肉状态、基于用户的肌肉状态和用户的基本信息确定适于用户的健身内容、并将所确定的健身内容传递给个人终端，由个人终端将健身内容反馈给用户。再例如，可以在个人终端处采集用户的肌肉图像并对所采集的用户的肌肉图像进行识别以判断用户的肌肉状态，由个人终端将所判断的肌肉状态传递到服务器端(或云端)；在服务器端(或云端)基于用户的肌肉状态和用户的基本信息确定适于用户的健身内容、并将所确定的健身内容传递给个人终端，由个人终端将健身内容反馈给用户，例如，通过个人终端的输出装置输出给用户。
[0061]上述实施例描述了根据本发明实施例的基于图像识别的健身辅助方法的健身内容部分。除此以外，根据本发明的实施例的基于图像识别的健身辅助方法还可以包括饮食内容辅助方法部分。
[0062]下面，将参考图3描述根据本发明另一实施例的基于图像识别的健身辅助方法中的饮食辅助方法300。
[0063 ]在步骤S310中，获取用户的饮食图像。例如，可以在用户饮食前，使用图像采集装置采集用户的饮食图像。该图像采集装置可以包括手机、IPAD等智能设备上的图像采集装置。
[0064]在步骤S320，对所获取的用户的饮食图像进行识别。
[0065]可以利用神经网络，将获取到的饮食图像输入至神经网络，以识别用户的饮用食物。可以通过训练深度卷积神经网络获得所述神经网络以识别用户饮食。例如，可以使用大量的包含食物的图像训练卷积神经网络，通过计算训练过程中的损失函数从而调整神经网络的参数，以得到训练后的神经网络，从而使得训练后的神经网络能够识别出用户的饮食。
[0066]在步骤S330，对所识别的用户饮食进行热量评估和记录。
[0067]在一个实施例中，可以根据识别出来的用户的饮食，检索数据库(例如，包含食物热量数据的数据库)，从而得到该食物的热量数据，从而对识别出来的饮食进行热量评估。
[0068]对于具有包装信息的食物，可以对获取的所述饮食的包装上的热量信息图像进行文字识别，以得到包装上的热量信息。例如，可以采用光学字符识别(OCR)对食物包装上的热量信息图像进行文字识别来获取食物的热量信息，从而对所述用户的饮食进行热量评估。
[0069]在步骤S340，基于在预定时间内所述用户的饮用食物热量记录，在特定时间向用户提供热量提醒和/或饮食推荐。
[0070]可以基于用户在预定时间内，例如，当日，已摄入的饮食热量记录在特定时间(例如早、中、晚惯用的用餐时间)向用户提供热量提醒，告知用户已摄入的热量，提醒用户需要在接下来的用餐中尽可能减少热量摄入，或可适当增加热量摄入等。
[0071 ] 步骤S340还包括基于在预定时间内(例如，当日内)所述用户的饮用食物热量记录和用户在预定时间内(例如，当日内)已运动消耗的热量在特定时间(例如早、中、晚惯用的用餐时间)向用户提供热量提醒和/或饮食推荐。
[0072]可以记录用户当日的运动过程及所消耗的热量，并基于已记录的用户当日已摄入的热量和已记录的用户当日已运动消耗的热量向用户提供饮食推荐，这样可以平衡地规划用户每日应摄取的热量。此外，还可以基于在预定时间内所述用户的饮用食物热量记录、所述用户在所述预定时间内已运动消耗的热量，以及用户的饮食习惯向用户提供饮食推荐，从而实现在平衡地规划用户每日应摄取的热量之外，还可以尽可能满足用户自身的喜好。
[0073]图3所示的实施例描述了基于图像识别的健身辅助方法的饮食辅助方法部分，该部分可以与图2所示实施例的基于图像识别的健身辅助方法的健身内容部分相结合，为用户提供更好的健身效果。应该理解，图2所示的健身内容部分与图3所示的饮食辅助方法部分均包括在根据本发明实施例的基于图像识别的健身辅助方法的范围内，它们二者可以单独应用，或可以反复结合应用，并且不分先后顺序。
[0074]根据本发明的实施例，基于图像识别的健身辅助方法还可以包括健身效果的反馈评分部分，该部分可以基于图2和图3所示实施例中的至少一者。例如，可以基于用户的肌肉状态的记录(历史数据)和/或用户的饮食热量记录(历史数据)，并结合用户的基本信息，对用户的健身效果进行评分，并将评分反馈给用户。用户的用户基本信息包括用户的身高、体重、性别、年龄等信息中的至少一种。通过对用户的健身效果进行评分，用户能够及时得到准确的激励性质的反馈，可以很大程度地提高用户健身的积极性。而且，由于在评分的时候，结合了用户的基本信息，使评分更加准确有效。
[0075]总之，基于上述实施例的基于图像识别的健身辅助方法通过对用户肌肉图像的识别判断用户的肌肉状态，基于用户的肌肉状态和用户的基本信息，确定适于用户的个性化健身内容，不仅经济、便利、高效，而且可以有针对性地辅助用户健身，使用户实现更好的健身效果。此外，基于上述实施例的基于图像识别的健身辅助方法还结合饮食监控调节进一步提高健身效果。进一步地，基于上述实施例的基于图像识别的健身辅助方法还提供健身效果的反馈评分，给予用户正面激励，提高用户健身的积极性。
[0076]图4示出了根据本发明实施例的基于图像识别的健身辅助装置400的示意性框图。
[0077]如图4所示，根据本发明实施例的基于图像识别的健身辅助装置400包括肌肉图像识别模块410、用户基本信息模块420和健身内容确定模块430。
[0078]肌肉图像识别模块410用于对图像采集装置所采集的用户的肌肉图像进行识别，以判断所述用户的肌肉状态。用户基本信息模块420用于提供用户的基本信息，包括所述用户的身高、体重、性别、年龄信息中的至少一种。健身内容确定模块430用于基于用户的肌肉状态和用户的基本信息，确定适于用户的健身内容，并将健身内容反馈给用户。肌肉图像识别模块410、用户基本信息模块420和健身内容确定模块430均可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
[0079]根据本发明实施例，肌肉图像识别模块410可以通过使用神经网络对肌肉图像进行识别从而判断用户的肌肉状态。
[0080]示例性地，可以使用如图2A中所述的神经网络260对所获取的用户的肌肉图像进行识别，以获得所述用户的肌肉状态。肌肉图像识别模块410可以将获取到的用户肌肉图像输入至如图2A所示的神经网络260，经过所述第一采样层S1、第一卷积层C2、第二采样层&、第二卷积层C4以及全连接层F5，可以得到用户的肌肉状态，例如，使用0-1之间的分数表示的肌肉状态。例如，O表示用户的肌肉状态最不丰满，需要加强锻炼；I表示用户的肌肉状态最好。
[0081]根据本发明实施例，肌肉状态可以包括用户肌肉的锻炼程度。对于用户身体某部位的肌肉状态并结合用户的基本信息，例如用户的年龄、身高、性别、体重等信息，健身内容确定模块430可以确定与该状态相适应的健身内容。例如，健身内容确定模块430可以根据用户身体某部位的肌肉状态，确定锻炼该部位所需的健身动作、强度、和/或健身器材等。
[0082]进一步地，肌肉状态可以包括用户全身各部位的肌肉状态，并且基于用户全身各部位的肌肉状态和用户的基本信息，健身内容确定模块430可以确定用户需要或者重点需要锻炼的部位所需的健身内容。示例性地，健身内容可以包括健身动作、强度、时间安排和/或所需的健身器材等。基于上面的描述，根据本发明实施例的基于图像识别的健身辅助装置通过对用户肌肉图像的识别判断用户的肌肉状态，基于用户的肌肉状态和用户的基本信息，确定适于用户的个性化健身内容，不仅经济、便利、高效，而且可以有针对性地辅助用户健身，使用户实现更好的健身效果。
[0083]上述实施例描述了根据本发明实施例的基于图像识别的健身辅助装置的健身内容部分。除此以外，根据本发明的实施例的基于图像识别的健身辅助装置还可以包括饮食辅助装置。
[0084]下面，将参考图5描述根据本发明另一实施例的基于图像识别的健身辅助装置中的饮食辅助装置500。
[0085]如图5所示，根据本发明实施例的基于图像识别的饮食辅助装置500包括饮食图像识别模块510、热量评估记录模块520以及热量应用模块530。
[0086]饮食图像识别模块510用于对图像采集装置所采集的用户的饮食图像进行识别。可以在用户饮食前，使用图像采集装置采集用户待饮食图像。饮食图像识别模块510可以将采集到的用户的饮食图像输入至神经网络，以识别用户的饮食。
[0087]热量评估记录模块520用于对饮食图像识别模块所识别的用户的饮食进行热量评估和记录。在一个实施例中，热量评估记录模块520可以根据识别出来的用户的饮食，检索数据库(例如，包含食物热量数据的数据库)，得到该食物的热量数据，从而对识别出来的饮食进行热量评估。对于具有包装信息的食物，饮食图像识别模块510可以对获取的所述饮食的包装上的热量信息图像进行文字识别，以得到包装上的热量信息。例如，饮食图像识别模块510可以采用光学字符识别(OCR)对食物包装上的热量信息图像进行文字识别来获取食物的热量信息，并发送至热量评估记录模块520。热量评估记录模块520记录获取的用户的饮食热量信息，从而，在热量评估记录模块520中，记录了用户在一定时间内(例如，当日或者连续几天内)的饮食热量。
[0088]热量应用模块530用于基于在预定时间内所述用户的饮食热量记录在特定时间向用户提供热量提醒和/或饮食推荐。热量应用模块530可以基于用户在预定时间内，例如，当日，已摄入的饮食热量记录在特定时间(例如早、中、晚惯用的用餐时间)向用户提供热量提醒，告知用户已摄入的热量，提醒用户需要在接下来的用餐中尽可能减少热量摄入，或可适当增加热量摄入等。
[0089]热量应用模块530还可以基于在预定时间内(例如，当日内)所述用户的饮食热量记录和用户在预定时间内(例如，当日内)已运动消耗的热量在特定时间(例如早、中、晚惯用的用餐时间)向用户提供热量提醒和/或饮食推荐，从而可以平衡地规划用户每日应摄取的热量。
[0090]此外，热量应用模块530还可以基于在预定时间内所述用户的饮食热量记录、所述用户在所述预定时间内已运动消耗的热量，以及用户的饮食习惯向用户提供饮食推荐，从而在平衡地规划用户每日应摄取的热量之外，还可以尽可能满足用户自身的喜好。
[0091]饮食图像识别模块510、热量评估记录模块520以及热量应用模块530均可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
[0092]下面，将参考图6描述根据本发明又一实施例的基于图像识别的健身辅助装置600。
[0093]如图6所示，根据本发明实施例的基于图像识别的健身辅助装置600包括肌肉图像识别模块610、健身内容确定模块620、饮食图像识别模块630、热量评估记录模块640、热量应用模块650、肌肉状态存储模块670、用户基本信息模块680以及评分反馈模块690。
[0094]其中，肌肉图像识别模块610和健身内容确定模块620分别与图4中所示的肌肉图像识别模块410和健身内容确定模块430类似;饮食图像识别模块630、热量评估记录模块640和热量应用模块650分别与图5中所示的饮食图像识别模块510、热量评估记录模块520和热量应用模块530类似;因此，对于这些模块不再赘述，本领域普通技术人员可以结合图4和图5中所示实施例理解它们的具体结构和具体操作。
[0095]在图6中，肌肉状态存储模块670作为数据库存储基于肌肉图像识别模块610所判断的用户的肌肉状态。热量评估记录模块640作为数据库存储所记录的用户的饮食热量。用户基本信息记录模块680记录用户的基本信息，基本信息可以包括用户的身高、体重、性别、年龄信息中的至少一种信息。评分反馈模块690基于肌肉状态存储模块670存储的用户肌肉状态的历史数据和/或热量评估记录模块640存储的用户的饮食热量历史数据，并结合用户基本信息记录模块680记录的用户基本信息对用户的健身效果进行评分，并将评分反馈给用户。这样，用户能够及时得到准确的激励性质的反馈，可以很大程度地提高用户健身的积极性。肌肉状态存储模块670也可以由图1所示的电子设备中的存储装置104来实现。评分反馈模块690可以由图1所示的电子设备中的处理器102运行存储装置104中存储的程序指令来实现。
[0096]用户基本信息记录模块680还可以包括用户的饮食情况信息，并将所述饮食情况信息提供给热量应用模块650，使得所述热量应用模块650基于在预定时间内所述用户的饮用食物热量记录以及所述用户的饮食情况，向用户提供饮食推荐。
[0097]总之，基于上述实施例的基于图像识别的健身辅助装置通过对用户肌肉图像的识别判断用户的肌肉状态，基于用户的肌肉状态确定适于用户的个性化健身内容，不仅经济、便利、高效，而且可以有针对性地辅助用户健身，使用户实现更好的健身效果。此外，基于上述实施例的基于图像识别的健身辅助装置还结合饮食监控调节进一步提高健身效果。进一步地，基于上述实施例的基于图像识别的健身辅助装置还提供健身效果的反馈评分，给予用户正面激励，提高用户健身的积极性。
[0098]本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的模块及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0099]图7示出了根据本发明实施例的基于图像识别的健身辅助系统700的示意性框图。基于图像识别的健身辅助系统700包括图像采集装置710、存储装置720、以及处理器730。
[0100]其中，图像采集装置710用于采集用户的肌肉图像和饮用食物图像，或者用于采集食物包装上的热量信息图像。存储装置720存储用于实现根据本发明实施例的基于图像识别的健身辅助方法中的相应步骤的程序代码。处理器730用于运行存储装置720中存储的程序代码，以执行根据本发明实施例的基于图像识别的健身辅助方法的相应步骤，并且用于实现根据本发明实施例的基于图像识别的健身辅助装置中的相应模块。
[0101]在一个实施例中，在所述程序代码被处理器730运行时使得健身辅助系统700执行以下步骤:获取用户的肌肉图像;对获取的所述用户的肌肉图像进行识别，以判断所述用户的肌肉状态；以及基于所述用户的肌肉状态和所述用户的基本信息确定适于所述用户的健身内容，并将所述健身内容反馈给所述用户。
[0102]此外，在所述程序代码被所述处理器730运行时还使得健身辅助系统700执行以下步骤:获取所述用户的饮食图像;对获取的所述用户的饮食图像进行识别;对所识别的所述用户的饮食进行热量评估和记录；以及基于在预定时间内所述用户的饮食热量记录，在特定时间向所述用户提供热量提醒和/或饮食推荐。
[0103]其中，所述基于在预定时间内所述用户的饮食热量记录，在特定时间向所述用户提供热量提醒和/或饮食推荐包括:基于在预定时间内所述用户的饮食热量记录和所述用户在所述预定时间内已运动消耗的热量向所述用户提供饮热量提醒和/或饮食推荐。
[0104]此外，在所述程序代码被所述处理器730运行时还使得健身辅助系统700执行以下步骤:还基于已记录的所述用户的日常饮食情况向所述用户提供饮食推荐。
[0105]其中，对所述用户的饮食图像进行识别包括:将所述用户的饮食图像输入至神经网络，以识别所述用户的饮食。
[0106]示例性地，对所识别的所述用户的饮食进行热量评估包括:根据所述识别的所述用户的饮食，检索数据库以得到所述饮食的热量数据，从而对所述识别的饮食进行热量评估。
[0107]示例性地，对所述用户的饮食的进行热量评估，包括:对获取的所述饮食的包装上的热量信息图像进行文字识别，以获得所述包装上的热量信息，从而对所述用户的饮食进行热量评估。
[0108]此外，在所述程序代码被所述处理器730运行时还执行以下步骤:基于所述用户的饮食热量记录和/或所述用户的肌肉状态的记录，并结合所述用户的基本信息，对所述用户的健身效果进行评分，并将所述评分反馈给所述用户。
[0109]其中，所述用户基本信息包括所述用户的身高、体重、性别、年龄信息中的至少一种。
[0110]示例性地，对所述用户的肌肉图像进行识别，以判断所述用户的肌肉状态，包括:使用神经网络对所述肌肉图像进行识别，以获得所述用户的肌肉状态。
[0111]示例性地，所述确定的适于所述用户的健身内容包括针对性的健身器材和/或健身动作。
[0112]此外，根据本发明实施例，还提供了一种存储介质，在所述存储介质上存储了程序指令，在所述程序指令被计算机或处理器运行时用于执行本发明实施例的基于图像识别的健身辅助方法的相应步骤，并且用于实现根据本发明实施例的基于图像识别的健身辅助装置中的相应模块。所述存储介质例如可以包括智能电话的存储卡、平板电脑的存储部件、个人计算机的硬盘、只读存储器(R0M)、可擦除可编程只读存储器(EPROM)、便携式紧致盘只读存储器(CD-ROM)、USB存储器、或者上述存储介质的任意组合。所述计算机可读存储介质可以是一个或多个计算机可读存储介质的任意组合，例如一个计算机可读存储介质包含用于判断用户肌肉状态的计算机可读的程序代码，另一个计算机可读存储介质包含基于用户的肌肉状态确定适合于用户的健身内容的计算机可读的程序代码。
[0113]在一个实施例中，所述计算机程序指令在被计算机运行时可以实现根据本发明实施例的基于图像识别的健身辅助装置的各个功能模块，并且/或者可以执行根据本发明实施例的基于图像识别的健身辅助方法。
[0114]在一个实施例中，所述计算机程序指令在被计算机或处理器运行时使计算机或处理器执行以下步骤:获取用户的肌肉图像;对获取的所述用户的肌肉图像进行识别，以判断所述用户的肌肉状态；以及基于所述用户的肌肉状态和所述用户的基本信息确定适于所述用户的健身内容，并将所述健身内容反馈给所述用户。
[0115]此外，所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤:获取所述用户的饮食图像;对获取的所述用户的饮食图像进行识别;对所识别的所述用户的饮食进行热量评估和记录；以及基于在预定时间内所述用户的饮食热量记录，在特定时间向所述用户提供热量提醒和/或饮食推荐。
[0116]其中，所述基于在预定时间内所述用户的饮食热量记录，在特定时间向所述用户提供热量提醒和/或饮食推荐包括:基于在预定时间内所述用户的饮食热量记录和所述用户在所述预定时间内已运动消耗的热量向所述用户提供热量提醒和/或饮食推荐。
[0117]此外，所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤:还基于已记录的所述用户的日常饮食情况向所述用户提供饮食推荐。
[0118]其中，对所述用户的饮食图像进行识别包括:将所述用户的饮食图像输入至神经网络，以识别所述用户的饮食。
[0119]示例性地，对所识别的所述用户的饮食进行热量评估包括:根据所述识别的所述用户的饮食，检索数据库以得到所述饮食的热量数据，从而对所述识别的饮食进行热量评估。
[0120]示例性地，对所述用户的饮食的进行热量评估，包括:对获取的所述饮食的包装上的热量信息图像进行文字识别，以获得所述包装上的热量信息，从而对所述用户的饮食进行热量评估。
[0121 ]此外，所述计算机程序指令在被计算机或处理器运行时还使计算机或处理器执行以下步骤:基于所述用户的饮食热量记录和/或所述用户的肌肉状态的记录，并结合所述用户的基本信息，对所述用户的健身效果进行评分，并将所述评分反馈给所述用户。
[0122]其中，所述用户基本信息包括所述用户的身高、体重、性别、年龄信息中的至少一种。
[0123]示例性地，对所述用户的肌肉图像进行识别，以判断所述用户的肌肉状态，包括:使用神经网络对所述肌肉图像进行识别，以获得所述用户的肌肉状态。
[0124]示例性地，所述确定的适于所述用户的健身内容包括针对性的健身器材和/或健身动作。
[0125]根据本发明实施例的基于图像识别的健身辅助装置中的各模块可以通过根据本发明实施例的健身辅助的电子设备的处理器运行在存储器中存储的计算机程序指令来实现，或者可以在根据本发明实施例的计算机程序产品的计算机可读存储介质中存储的计算机指令被计算机运行时实现。
[0126]根据本发明实施例的基于图像识别的健身辅助方法、装置、系统以及存储介质通过对用户肌肉图像的识别判断用户的肌肉状态，基于用户的肌肉状态和基本信息确定适于用户的个性化健身内容，不仅经济、便利、高效，而且可以有针对性地辅助用户健身，使用户实现更好的健身效果。此外，根据本发明实施例的基于图像识别的健身辅助方法、装置、系统以及存储介质还结合饮食监控调节进一步提高健身效果。进一步地，根据本发明实施例的基于图像识别的健身辅助方法、装置、系统以及存储介质还提供健身效果的反馈评分，给予用户正面激励，提高用户健身的积极性。
[0127]尽管这里已经参考附图描述了示例实施例，应理解上述示例实施例仅仅是示例性的，并且不意图将本发明的范围限制于此。本领域普通技术人员可以在其中进行各种改变和修改，而不偏离本发明的范围和精神。所有这些改变和修改意在被包括在所附权利要求所要求的本发明的范围之内。
[0128]本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0129]在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。例如，以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个设备，或一些特征可以忽略，或不执行。
[0130]在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
[0131]类似地，应当理解，为了精简本发明并帮助理解各个发明方面中的一个或多个，在对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该本发明的方法解释成反映如下意图:即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如相应的权利要求书所反映的那样，其发明点在于可以用少于某个公开的单个实施例的所有特征的特征来解决相应的技术问题。因此，遵循【具体实施方式】的权利要求书由此明确地并入该【具体实施方式】，其中每个权利要求本身都作为本发明的单独实施例。
[0132]本领域的技术人员可以理解，除了特征之间相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
[0133]此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
[0134]本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的物品分析设备中的一些模块的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
[0135]应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
[0136]以上所述，仅为本发明的【具体实施方式】或对【具体实施方式】的说明，本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。本发明的保护范围应以权利要求的保护范围为准。
【主权项】
1.一种基于图像识别的健身辅助方法，其特征在于，所述健身辅助方法包括: 获取用户的肌肉图像； 对获取的所述用户的肌肉图像进行识别，以判断所述用户的肌肉状态；以及 基于所述用户的肌肉状态和所述用户的基本信息确定适于所述用户的健身内容，并将所述健身内容反馈给所述用户。2.根据权利要求1所述的健身辅助方法，其特征在于，所述健身辅助方法进一步包括: 获取所述用户的饮食图像； 对获取的所述用户的饮食图像进行识别； 对所识别的所述用户的饮食进行热量评估和记录；以及 基于在预定时间内所述用户的饮食热量记录，在特定时间向所述用户提供热量提醒和/或饮食推荐。3.根据权利要求2所述的健身辅助方法，其特征在于，所述基于在预定时间内所述用户的饮食热量记录，在特定时间向所述用户提供热量提醒和/或饮食推荐包括: 基于在预定时间内所述用户的饮食热量记录和所述用户在所述预定时间内已运动消耗的热量向所述用户提供热量提醒和/或饮食推荐。4.根据权利要求3所述的健身辅助方法，其特征在于，还基于已记录的所述用户的日常饮食情况向所述用户提供饮食推荐。5.根据权利要求2所述的健身辅助方法，其特征在于，对所述用户的饮食图像进行识别，包括: 将所述用户的饮食图像输入至神经网络，以识别所述用户的饮食。6.根据权利要求5所述的健身辅助方法，其特征在于，对所识别的所述用户的饮食进行热量评估包括: 根据所述识别的所述用户的饮食，检索数据库以得到所述饮食的热量数据，从而对所述识别的饮食进行热量评估。7.根据权利要求2所述的健身辅助方法，其特征在于，对所述用户的饮食的进行热量评估，包括:对获取的所述饮食的包装上的热量信息图像进行文字识别，以获得所述包装上的热量信息，从而对所述用户的饮食进行热量评估。8.根据权利要求2所述的健身辅助方法，其特征在于，所述健身辅助方法进一步包括: 基于所述用户的饮食热量记录和/或所述用户的肌肉状态的记录，并结合所述用户的基本信息，对所述用户的健身效果进行评分，并将所述评分反馈给所述用户。9.根据权利要求1所述的健身辅助方法，其特征在于，所述用户基本信息包括所述用户的身高、体重、性别、年龄信息中的至少一种。10.根据权利要求1所述的健身辅助方法，其特征在于，对所述用户的肌肉图像进行识另IJ，以判断所述用户的肌肉状态，包括: 使用神经网络对所述肌肉图像进行识别，以获得所述用户的肌肉状态。11.根据权利要求1所述的健身辅助方法，其特征在于，所述确定的适于所述用户的健身内容包括针对性的健身器材和/或健身动作。12.—种基于图像识别的健身辅助装置，其特征在于，所述健身辅助装置包括: 肌肉图像识别模块，用于对所获取的用户的肌肉图像进行识别，以判断所述用户的肌肉状态； 用户基本信息模块，用于提供所述用户的基本信息；以及 健身内容确定模块，用于基于所述用户的肌肉状态以及所述用户的基本信息确定适于所述用户的健身内容，并将所述健身内容反馈给所述用户。13.根据权利要求12所述的健身辅助装置，其特征在于，所述健身辅助装置进一步包括: 饮食图像识别模块，用于对获取的所述用户的饮食图像进行识别； 热量评估记录模块，用于对所述饮食图像识别模块所识别的所述用户的饮食进行热量评估和记录；以及 热量应用模块，用于基于在预定时间内所述用户的饮食热量记录，在特定时间向所述用户提供热量提醒和/或饮食推荐。14.根据权利要求13所述的健身辅助装置，其特征在于，所述热量应用模块用于基于在预定时间内所述用户的饮用食物热量记录和所述用户在所述预定时间内已运动消耗的热量向所述用户提供热量提醒和/或饮食推荐。15.根据权利要求14所述的健身辅助装置，其特征在于，所述热量应用模块还基于已记录的所述用户的日常饮食情况习惯向所述用户提供饮食推荐。16.根据权利要求13所述的健身辅助装置，其特征在于，所述热量评估记录模块将获取到的所述用户的饮食图像输入至神经网络，以识别所述用户的饮食。17.根据权利要求16所述的健身辅助装置，其特征在于，所述热量评估记录模块根据所述识别的所述用户的饮食，检索数据库以得到所述饮食的热量数据，从而对所述识别的饮食进行热量评估。18.根据权利要求13的所述的健身辅助装置，其特征在于，所述热量评估记录模块对获取的所述饮食的包装上的热量信息图像进行文字识别，以获得所述包装上的热量信息，从而对所述用户的饮食进行热量评估。19.根据权利要求13所述的健身辅助装置，其特征在于，所述健身辅助装置进一步包括: 评分反馈模块，用于基于所述用户的饮食热量记录和/或所述用户的肌肉状态的记录，并结合所述用户的基本信息，对所述用户的健身效果进行评分，并将所述评分反馈给所述用户。20.根据权利要求12所述的健身辅助装置，其特征在于，所述用户的基本信息包括所述用户的身高、体重、性别、年龄信息中的至少一种。21.根据权利要求12所述的健身辅助装置，其特征在于，所述肌肉图像识别模块使用神经网络对所述肌肉图像进行识别，以获得所述用户的肌肉状态。22.根据权利要求12所述的健身辅助装置，其特征在于，所述健身内容确定模块所确定的适于所述用户的健身内容包括针对性的健身器材和/或健身动作。
【文档编号】G06K9/00GK106055873SQ201610341997
【公开日】2016年10月26日
【申请日】2016年5月20日
【发明人】余家辉, 印奇
【申请人】北京旷视科技有限公司, 北京小孔科技有限公司