一种乐谱识别方法及装置的制造方法
【专利摘要】本发明实施例公开了一种乐谱识别方法及装置，该方法包括：在预显示的五线谱输入界面接收音符的输入轨迹图形；根据所述输入轨迹图形识别对应的音符的形状和所述音符在五线谱中的位置。本发明实施例提供的技术方案可以即时的直接在触摸屏上制作乐谱，提高音乐学习趣味与教学效率，使得教学更加灵活。
【专利说明】
一种乐谱识别方法及装置
技术领域
[0001 ]本发明实施例涉及人机交互技术，尤其涉及一种乐谱识别方法及装置。
【背景技术】
[0002]随着人们生活水平的不断提高，越来越多的人们投入到音乐的学习中。其中，五线谱是目前世界上通用的记谱法，其是在5根等距离的平行横线上，标以不同时值的音符及其他记号来记载音乐的一种方法。
[0003]目前，人们在使用触摸设备进行音乐教学时，一般需要提前制作并保存乐谱，然后将乐谱加载至播放设备或播放软件进行播放，从而根据制作的乐谱进行教学。
[0004]然而，在学习音乐的过程中，只能播放提前制作的乐谱，极大地降低了学习趣味与教学效率，不利于师生互动，使得教学缺乏灵活性。
【发明内容】
[0005]本发明提供一种乐谱识别方法及装置，以实现即时的直接在触摸屏上制作乐谱，提高音乐学习趣味与教学效率，使得教学更加灵活。
[0006]第一方面，本发明实施例提供了一种乐谱识别方法，包括:
[0007]在预显示的五线谱输入界面接收音符的输入轨迹图形；
[0008]根据所述输入轨迹图形识别对应的音符的形状和所述音符在五线谱中的位置。
[0009]在上述方案中，可选的是，根据所述输入轨迹图形识别对应的音符的形状和所述音符在五线谱中的位置，包括:
[0010]确认所述输入轨迹图形的边界矩形；
[0011]若以所述边界矩形的中心为中心的预设区域内所有像素点均为所述输入轨迹图形中的像素点，则判断所述音符的形状为实心;否则判断所述音符的形状为空心；
[0012]若所述边界矩形的中心与距离所述边界矩形的中心最近的一条线的距离小于预设的阈值，则判断所述音符的位置在所述距离所述边界矩形的中心最近的一条线上，否则判断所述音符的位置在线间。
[0013]在上述方案中，可选的是，所述根据所述输入轨迹图形识别对应的音符的形状和所述音符在五线谱中的位置之后，还包括:
[0014]在所述音符的位置显示标准的音符。
[0015]在上述方案中，可选的是，在预显示的五线谱输入界面接收音符的输入轨迹图形之前，还包括:
[0016]在预显示的五线谱输入界面接收乐谱速度的输入。
[0017]在上述方案中，可选的是，根据所述输入轨迹图形识别对应的音符的形状和所述音符在五线谱中的位置之后，还包括:
[0018]确认乐谱识别结束后，播放识别出的所述乐谱。
[0019]第二方面，本发明实施例还提供了一种乐谱识别装置，该装置包括:
[0020]轨迹图形接收模块，用于在预显示的五线谱输入界面接收音符的输入轨迹图形；
[0021]轨迹图形识别模块，用于根据所述轨迹图形接收模块输入轨迹图形识别对应的音符的形状和所述音符在五线谱中的位置。
[0022]上述方案中，可选的是，轨迹图形识别模块，包括:
[0023]边界矩形确认单元，用于确认所述轨迹图形接收模块输入轨迹图形的边界矩形；
[0024]音符形状判断单元，用于若以边界矩形确认单元得到的边界矩形的中心为中心的预设区域内所有像素点均为所述输入轨迹图形中的像素点，则判断所述音符的形状为实心;否则判断所述音符的形状为空心；
[0025]音符位置判断单元，若所述边界矩形确认单元得到的边界矩形的中心与距离所述边界矩形的中心最近的一条线的距离小于预设的阈值，则判断所述音符的位置在所述距离所述边界矩形的中心最近的一条线上，否则判断所述音符的位置在线间。
[0026]上述方案中，可选的是，还包括:
[0027]标准音符显示模块，用于在所述轨迹图形识别模块识别出的音符的位置显示标准的音符。
[0028]上述方案中，可选的是，还包括:
[0029]乐谱速度接收模块，用于在预显示的五线谱输入界面接收乐谱速度的输入。
[0030]上述方案中，可选的是，还包括:
[0031]乐谱播放模块，用于确认乐谱识别结束后，播放识别出的所述乐谱。
[0032]本发明通过在预显示的五线谱输入界面接收音符的输入轨迹图形，根据输入轨迹图形识别对应的音符的形状和所述音符在五线谱中的位置，从而实现可直接在触摸屏上即时制作乐谱，提高音乐学习趣味与教学效率，使得教学更加灵活。
【附图说明】
[0033]图1为本发明实施例一中的一种乐谱识别方法的流程示意图；
[0034]图2是本发明实施例一中的预显示的五线谱示意图；
[0035]图3是本发明实施例一中的区域局部放大的五线谱示意图；
[0036]图4是本发明实施例二中的一种乐谱识别方法的流程示意图；
[0037]图5是本发明实施例二中的歌曲《小星星》的音符的输入轨迹图形示意图；
[0038]图6是本发明实施例二中的根据输入轨迹图形得到的边界矩形示意图；
[0039]图7为本发明实施例三中的一种乐谱识别方法的流程示意图；
[0040]图8为本发明实施例三中的歌曲《小星星》在识别的音符位置显示对应的标准音符示意图；
[0041]图9为本发明实施例四中的一种乐谱识别方法的流程示意图；
[0042]图10为本发明实施例五中的一种乐谱识别装置的结构示意图。
【具体实施方式】
[0043]下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
[0044]实施例一
[0045]图1为本发明实施例一提供的一种乐谱识别方法的流程示意图，本实施例可适用于任何需要在触摸屏上制作乐谱情况，该方法可以由乐谱识别装置来执行，其中该装置可由软件和/或硬件实现，并一般可集成于具有触摸功能的设备中。具体包括如下步骤:
[0046]S110、在预显示的五线谱输入界面接收音符的输入轨迹图形。
[0047]其中，五线谱是目前世界上通用的记谱法。其是通过在5根等距离的平行横线上，标以不同时值的音符及其他记号来记载音乐。五线谱中从下至上的5条线依次为第一线、第二线、第三线、第四线和第五线。线与线之间的地方叫做间，从下往上依次为第一间、第二间、第三间和第四间。若线和间不够用可在五线谱上方或下方增加线和间，加线及加间分别称为上加第I线、上加第I间等。
[0048]示例性的，在预显示的五线谱输入界面还可接收在五线谱上方和下方线和间增加的数目。
[0049]谱号位于五线谱最左端，是用以确定五线谱中各线间的具体音高位置的符号。一般有高音谱号，低音谱号，中音谱号等。其中，高音谱号最常见。
[0050]示例性的，预显示的五线谱如图2所示，具体为具有高音谱号的五线谱。
[0051]音符是用来记录不同长短的音的进行符号，音符一般包括三个组成部分，即符头、符干和符尾。不同的音符表示不同的时值。常用的音符有全音符、二分音符、四分音符、八分音符、十六分音符、三十二分音符和六十四分音符。其中，全音符和二分音符的符头均为空心椭圆，全音符没有符干和符尾，二分音符有符干，无符尾。四分音符、八分音符、十六分音符、三十二分音符和六十四分音符的符头均为实心椭圆，且均有符干，四分音符无符尾，八分音符、十六分音符、三十二分音符和六十四分音符分别是在四分音符的基础上增加一、二、三和四条符尾。
[0052]示例性的，若预显示的五线谱的线间距离较小，用户在操作界面输入音符时，指肚触摸产生的输入轨迹图形较大，则最终可能造成五线谱的格子与音符的输入轨迹图形之间的大小不匹配，进而也对音符的识别产生较大误差。有鉴于此，在五线谱输入界面中，将当前正在输入的区域局部放大，缩小五线谱的格子与输入轨迹图形之间的比例差异，便于后续识别。在当前输入的区域局部放大的同时，其他区域可以同比例进行放大，也可以保持原有大小。保持原有大小的情况下，五线谱输入界面如图3所示。
[0053]S120、根据输入轨迹图形识别对应的音符的形状和音符在五线谱中的位置。
[0054]其中，音符的形状表示音符的种类，即全音符、二分音符和四分音符等。音符在五线谱中的位置则表示音的高低，在五线谱上音符的位置愈高，音也愈高，反之音符的位置愈低，音也愈低。且五线谱上音的高低，必须用谱号来标明，谱号记在五线谱的某一条线上，则这条线具有了固定的音级名称和高度，同时也确定了其他各线上或间内的音级名称和高度。
[0055]本实施例的技术方案，通过在预显示的五线谱输入界面接收音符的输入轨迹图形，根据输入轨迹图形识别对应的音符的形状和音符在五线谱中的位置，解决了不能直接在触摸设备上即时制作乐谱的问题，提高了音乐学习趣味与教学效率，使得教学更加灵活。
[0056]实施例二
[0057]图4为本发明实施例二提供的一种乐谱识别方法的流程示意图。本实施例为对实施例一的进一步说明，在本实施例中，根据输入轨迹图形识别对应的音符的形状和音符在五线谱中的位置，包括:确认输入轨迹图形的边界矩形;若以边界矩形的中心为中心的预设区域内所有像素点均为输入轨迹图形中的像素点，则判断音符的形状为实心；否则判断音符的形状为空心;若边界矩形的中心与距离边界矩形的中心最近的一条线的距离小于预设的阈值，则判断音符的位置在距离边界矩形的中心最近的一条线上，否则判断音符的位置在线间。
[0058]相应的，本实施例的方法具体包括:
[0059]S210、在预显示的五线谱输入界面接收音符的输入轨迹图形。
[0060]用户在通过本方案输入乐谱时，在预显示的五线谱输入界面，通过触摸输入设备输入乐谱中各个音符的符头，也就是说在本方案中，用户无需输入每个音符的完整形状，音符的输入轨迹图形实际上简化为音符的符头的输入轨迹图形，根据符头的形状特征，最终识别的输入轨迹图形为实心或空心的近似椭圆的形状。图5为歌曲《小星星》的音符的输入轨迹图形示意图。如图5所示，在预显示的五线谱输入界面识别出的输入轨迹图形有实心结构和空心结构，其中实心结构可以为四分音符、八分音符、十六分音符、三十二分音符或六十四分音符的符头，空心椭圆可以为全音符或二分音符的符头。
[0061 ] S220、确认输入轨迹图形的边界矩形。
[0062]示例性的，通过触摸设备可获得输入轨迹图形中的像素点坐标。对于触摸设备，左上角的像素点坐标可定义为(0，0)，水平方向为横轴，竖直方向为纵轴，则通过轨迹图形中的像素点坐标可得输入轨迹图形中像素点的坐标在横轴的最小值Xmin，最大值Xmax，纵轴的最小值Ymin，最大值Ymax，则可确定输入轨迹图形的边界矩形，即边界矩形的四个顶点坐标分别为(Xmin，Ymin)，(Xmax,Ymin)，(Xmax，Ymax)和(Xmin，Ymax)。图6为根据输入轨迹图形得到的边界矩形示意图。如图6所示，虚线所表示的图形即为虚线中输入轨迹图形的边界矩形。
[0063]S230、若以边界矩形的中心为中心的预设区域内所有像素点均为输入轨迹图形中的像素点，则判断音符的形状为实心;否则判断音符的形状为空心。
[0064]优选的，边界矩形的中心为边界矩形的对角线交点，即中心坐标为((Xmin+Xmax)/2，(Ymin+Ymax)/2)。
[0065]示例性的，预设区域可为边界矩形的中心点，也可为任意形状的图形，如边长为a的正方形，长为b，宽为c的长方形，或半径为d的圆形等。
[0066]示例性的，若确定音符的形状为实心，则弹出窗口或切换输入界面供乐谱制作者选择该音符为四分音符、八分音符、十六分音符、三十二分音符或六十四分音符。若确定音符的形状为空心，则弹出窗口或切换输入界面供乐谱制作者选择该音符为全音符或二分音符，从而可具体确认输入轨迹图形对应的音符。
[0067]S240、若边界矩形的中心与距离边界矩形的中心最近的一条线的距离小于预设的阈值，则判断音符的位置在距离边界矩形的中心最近的一条线上，否则判断音符的位置在线间。
[0068]预显示的五线谱输入界面中的预显示的五线谱图形的像素坐标为已知，则预显示的五线谱的五条线的纵坐标为已知，根据已获得的边界矩形的中心坐标可得到距离边界矩形的中心最近的一条线，同时可获得边界矩形中心与该线的距离，若该距离小于预设阈值，则音符的位置在该线上，否则音符的位置在线间。
[0069]示例性的，边界矩形的中心坐标为(XI，Y1)，距离边界矩形的中心最近的一条线的纵坐标为Υ2，五线谱中两条线的距离为20，若I Υ1-Υ2 I〈D，则音符的位置在距离边界矩形的中心最近的一条线上，且坐标为(Χ1，Υ2)，若|Y1-Y2|>D且Υ1>Υ2时，则音符的位置在距离边界矩形的中心最近的一条线的下面，且坐标为(Χ1，Υ2+10)，若|Y1-Y2|>D且Υ1〈Υ2时，则音符的位置在距离边界矩形的中心最近的一条线的上面，且坐标为(XI，Υ2-10)。
[0070]需要说明的是，基于边界矩形进行实心或空心的判断以及位置的判断只是一种可选的实施方式，另外可有其它可以实施的方式。例如，对整个输入轨迹图形对应的封闭图形中所有的像素进行识别，以确认该符头为实心或空心；也可对输入轨迹图形的几何中心进行像素判断，以确认该符头为实心或空心。同理，亦可基于输入轨迹图形进行位置判断。
[0071]本实施例的技术方案，通过输入轨迹图形确认输入轨迹图形的边界矩形，从而根据边界矩形的中心来识别音符的形状和音符的位置，使得识别音符简单与精确，解决了不能直接在触摸设备上即时制作乐谱的问题，提高了音乐学习趣味与教学效率，使得教学更加灵活。
[0072]实施例三
[0073]图7为本发明实施例三提供的一种乐谱识别方法的流程示意图。本实施例为对上述实施例的进一步说明，在本实施例中，根据输入轨迹图形识别对应的音符的形状和音符在五线谱中的位置之后，还包括:在音符的位置显示标准的音符。
[0074]相应的，本实施例的方法具体包括:
[0075]S310、在预显示的五线谱输入界面接收音符的输入轨迹图形；
[0076]S320、根据输入轨迹图形识别对应的音符的形状和音符在五线谱中的位置；
[0077]S330、在音符的位置显示标准的音符。
[0078]标准音符格式为符头呈椭圆形，且左低右高，若符头的位置位于五线谱的第三线以上，则符头在上，符干朝下，若符头的位置位于五线谱的第三线以下，则符干朝上，符头在下，若符头的位置位于五线谱的第三线上，则符干是自由的，朝上朝下均可。优选的，在本发明中若符头的位置位于五线谱的第三线上，则符干朝上，符头在下。且符干朝上时，符干位于符头的右边，符干朝下时，符干位于符头的左边。图8为根据《小星星》的输入轨迹图形识别音符的形状和音符在五线谱中的位置后在识别的音符位置显示对应的标准音符示意图。
[0079]优选的，若乐谱制作人认为显示的标准音符与输入轨迹图形不对应，可选择删除输入轨迹图形，重新输入轨迹图形或切换输入界面选择在该位置的对应的正确的音符，并在该位置显示乐谱制作者所选择的音符对应的标准音符。
[0080]本实施例的技术方案，通过在识别出的音符的位置上显示对应的标准音符，使得制作的乐谱的音符更加标准且可使制作的乐谱保存后易于在其他可播放乐谱的设备上使用，解决了不能直接在触摸设备上即时制作乐谱的问题，提高了音乐学习趣味与教学效率，使得教学更加灵活。
[0081 ]实施例四
[0082]图9为本发明实施例四提供的一种乐谱识别方法的流程示意图。本实施例为对上述实施例的进一步说明，在本实施例中，在预显示的五线谱输入界面接收音符的输入轨迹图形之前，还包括:在预显示的五线谱输入界面接收乐谱速度的输入。
[0083]根据输入轨迹图形识别对应的音符的形状和音符在五线谱中的位置之后，还包括:
[0084]确认乐谱识别结束后，播放识别出的乐谱。
[0085]相应的，本实施例的方法具体包括:
[0086]S410、在预显示的五线谱输入界面接收乐谱速度的输入；
[0087]不同的音符代表不同的时值，时值在乐谱中用来表达各音符之间的相对演奏时长，而具体每个音符的演奏时长是由乐谱速度决定的，即每分钟拍数，一般以一个四分音符为一拍，则若乐谱速度为每分钟60拍，一个四分音符的演奏时长为Is，对应的，一个八分音符的演奏时长为0.5s，一个全音符的演奏时长为4s。
[0088]示例性的，在预显示的五线谱输入界面接收乐谱速度的输入可在制作乐谱的每小节开始之前，即乐谱的每小节的演奏速度均可不同，若在乐谱的制作过程中，仅输入一次乐谱速度，则整个乐谱的速度均为该输入的乐谱速度。
[0089]S420、在预显示的五线谱输入界面接收音符的输入轨迹图形；
[0090]S430、根据输入轨迹图形识别对应的音符的形状和音符在五线谱中的位置；
[0091 ] S440、确认乐谱识别结束后，播放识别出的乐谱。
[0092]示例性的，根据在预显示的五线谱输入界面接收乐谱速度的输入可确认每个音符的演奏时长，根据无线谱中的谱号及每个音符在五线谱中的位置可具体确认每个音符的音高，则可将制作乐谱进行播放。
[0093]优选的，乐谱的播放可以在识别任意音符的形状和音符在五线谱中的位置之后，例如可在识别几个音符之后，也可在识别全部音符之后，还可按照小节来播放，可根据乐谱制作者的操作来决定。
[0094]本实施例的技术方案，通过在预显示的五线谱输入界面接收乐谱速度的输入，可控制乐谱中每个音符的演奏时长，以及通过确认乐谱识别结束后，播放识别出的乐谱，可使乐谱制作者即时试听制作的乐谱，便于乐谱的制作，解决了不能直接在触摸设备上即时制作乐谱的问题，提高了音乐学习趣味与教学效率，使得教学更加灵活。
[0095]实施例五
[0096]图10为本发明实施例五提供的一种乐谱识别装置的结构示意图。该装置可位于任意具有触摸功能的设备中。参见图10，该装置包括:轨迹图形接收模块Il0和轨迹图形识别模块120，其中，
[0097]轨迹图形接收模块110，用于在预显示的五线谱输入界面接收音符的输入轨迹图形；
[0098]轨迹图形识别模块120，用于根据轨迹图形接收模块输入轨迹图形识别对应的音符的形状和音符在五线谱中的位置。
[0099]进一步的，轨迹图形识别模块，包括:
[0100]边界矩形确认单元，用于确认轨迹图形接收模块输入轨迹图形的边界矩形；
[0101]音符形状判断单元，用于若以边界矩形确认单元得到的边界矩形的中心为中心的预设区域内所有像素点均为输入轨迹图形中的像素点，则判断音符的形状为实心；否则判断首符的形状为空心；
[0102]音符位置判断单元，若边界矩形确认单元得到的边界矩形的中心与距离边界矩形的中心最近的一条线的距离小于预设的阈值，则判断音符的位置在距离边界矩形的中心最近的一条线上，否则判断音符的位置在线间。
[0103]进一步的，还包括:
[0104]标准音符显示模块，用于在轨迹图形识别模块识别出的音符的位置显示标准的音符。
[0105]进一步的，还包括:
[0106]乐谱速度接收模块，用于在预显示的五线谱输入界面接收乐谱速度的输入。
[0107]进一步的，还包括:
[0108]乐谱播放模块，用于确认乐谱识别结束后，播放识别出的乐谱。
[0109]本实施例的技术方案，通过在预显示的五线谱输入界面接收音符的输入轨迹图形，根据输入轨迹图形识别对应的音符的形状和音符在五线谱中的位置，解决了不能直接在触摸设备上即时制作乐谱的问题，提高了音乐学习趣味与教学效率，使得教学更加灵活。
[0110]上述装置可执行本发明任意实施例所提供的方法，具备执行上述方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例一至四所提供的任意方法。
[0111]注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。
【主权项】
1.一种乐谱识别方法，其特征在于，包括: 在预显示的五线谱输入界面接收音符的输入轨迹图形； 根据所述输入轨迹图形识别对应的音符的形状和所述音符在五线谱中的位置。2.根据权利要求1所述的乐谱识别方法，其特征在于，所述根据所述输入轨迹图形识别对应的音符的形状和所述音符在五线谱中的位置，包括: 确认所述输入轨迹图形的边界矩形； 若以所述边界矩形的中心为中心的预设区域内所有像素点均为所述输入轨迹图形中的像素点，则判断所述音符的形状为实心;否则判断所述音符的形状为空心； 若所述边界矩形的中心与距离所述边界矩形的中心最近的一条线的距离小于预设的阈值，则判断所述音符的位置在所述距离所述边界矩形的中心最近的一条线上，否则判断所述音符的位置在线间。3.根据权利要求1所述的乐谱识别方法，其特征在于，所述根据所述输入轨迹图形识别对应的音符的形状和所述音符在五线谱中的位置之后，还包括: 在所述音符的位置显示标准的音符。4.根据权利要求1所述的乐谱识别方法，其特征在于，所述在预显示的五线谱输入界面接收音符的输入轨迹图形之前，还包括: 在预显示的五线谱输入界面接收乐谱速度的输入。5.根据权利要求4所述的乐谱识别方法，其特征在于，所述根据所述输入轨迹图形识别对应的音符的形状和所述音符在五线谱中的位置之后，还包括: 确认乐谱识别结束后，播放识别出的所述乐谱。6.一种乐谱识别装置，其特征在于，包括: 轨迹图形接收模块，用于在预显示的五线谱输入界面接收音符的输入轨迹图形； 轨迹图形识别模块，用于根据所述轨迹图形接收模块输入轨迹图形识别对应的音符的形状和所述音符在五线谱中的位置。7.根据权利要求6所述的乐谱识别装置，其特征在于，所述轨迹图形识别模块，包括: 边界矩形确认单元，用于确认所述轨迹图形接收模块输入轨迹图形的边界矩形； 音符形状判断单元，用于若以边界矩形确认单元得到的边界矩形的中心为中心的预设区域内所有像素点均为所述输入轨迹图形中的像素点，则判断所述音符的形状为实心；否则判断所述音符的形状为空心； 音符位置判断单元，若所述边界矩形确认单元得到的边界矩形的中心与距离所述边界矩形的中心最近的一条线的距离小于预设的阈值，则判断所述音符的位置在所述距离所述边界矩形的中心最近的一条线上，否则判断所述音符的位置在线间。8.根据权利要求6所述的乐谱识别装置，其特征在于，还包括: 标准音符显示模块，用于在所述轨迹图形识别模块识别出的音符的位置显示标准的音符。9.根据权利要求6所述的乐谱识别装置，其特征在于，还包括: 乐谱速度接收模块，用于在预显示的五线谱输入界面接收乐谱速度的输入。10.根据权利要求9所述的乐谱识别装置，其特征在于，还包括:乐谱播放模块，用于确认乐谱识别结束后，播放识别出的所述乐谱。
【文档编号】G06T11/80GK106097830SQ201610680429
【公开日】2016年11月9日
【申请日】2016年8月17日 公开号201610680429.9, CN 106097830 A, CN 106097830A, CN 201610680429, CN-A-106097830, CN106097830 A, CN106097830A, CN201610680429, CN201610680429.9
【发明人】古意昌
【申请人】广州视睿电子科技有限公司, 广州视源电子科技股份有限公司