手写文档处理设备以及方法
【专利说明】手写文档处理设备以及方法
[0001]相关申请的交叉引用
[0002]这个申请基于并且要求2012年9月25日提交的第2012-210874号日本专利申请的优先权的权益，其全部内容通过引用被结合于此。
技术领域
[0003]此处描述的实施例大体上涉及手写文档处理设备以及方法。
【背景技术】
[0004]已经提出一种技术，该技术用于在诸如包括笔输入接口的平板计算机的手写文档处理设备中，允许用户在手写输入的同时记录语音，以生成具有语音数据的笔记、会议记录等等。
【附图说明】
[0005]图1是显示根据第一实施例的手写文档处理设备的框图；
[0006]图2是显示根据第一实施例的手写文档处理设备的处理顺序的流程图；
[0007]图3是用于解释笔划的结构化的视图；
[0008]图4是用于解释笔划的结构化的视图；
[0009]图5是用于解释笔划的结构化的视图；
[0010]图6是显示语音回放开始的点击位置的视图；
[0011]图7是显示语音回放开始的点击位置的视图；
[0012]图8是显示根据第二实施例的手写文档处理设备的框图；
[0013]图9是显示根据第二实施例的手写文档处理设备的处理顺序的流程图；
[0014]图10是显示通过语音间隔检测的语音数据的结构化的实例的视图；
[0015]图11是显示根据第三实施例的手写文档处理设备的框图；
[0016]图12是显示根据第三实施例的手写文档处理设备的处理顺序的流程图；
[0017]图13是显示笔划的结构化的实例的视图；
[0018]图14是显示笔划的结构化的另一个实例的视图；
[0019]图15是显示语音回放的进度的视图；
[0020]图16是显示提示回放位置的间隔尺寸(granularity)变化的视图；
[0021]图17是显示提示回放位置的层次化(hierarchizat1n)的视图；
[0022]图18是说明根据实施例的手写文档处理设备的硬件布置的实例的框图；以及
[0023]图19是显示使用网络实现手写文档处理设备的配置实例的视图。
【具体实施方式】
[0024]一般而言，根据一个实施例，手写文档处理设备包含笔划输入单元、语音记录单元、笔划结构化单元、提示时刻计算单元、和回放控制单元。笔划输入单元输入笔划信息，笔划信息指示笔划和笔划的时刻。语音记录单元记录语音信息，其的回放操作被配置成从指定时刻开始。笔划结构化单元通过在行方向上组合多个笔划来将笔划信息结构化成行结构。回放控制单元根据对于行结构的指令来控制从提示时刻开始回放语音信息。
[0025]在下文中将参考附图描述实施例。
[0026]根据这个实施例的手写文档处理设备例如被应用于包含笔输入界面和语音输入界面的平板电脑的笔记本应用程序。这个应用程序允许用户通过手写来输入笔记内容，以及经由麦克风收集和记录讲话者和用户自身的语音。这个申请通过读取与手写输入笔划和记录的语音数据关联的笔记数据能够显示手写文档，并且能够回放记录的语音。这个实施例针对与手写文档关联的语音数据的提示回放操作的可操作性的改进。
[0027](第一实施例)
[0028]图1是显示根据第一实施例的手写文档处理设备的框图。这个设备包括笔划输入单元1、语音记录单元2、笔划结构化单元3、提示时刻计算单元4、显示单元5以及语音回放单元6ο
[0029]笔划输入单元I经由笔输入接口输入笔划信息。“笔划”是手写输入的笔划图像。更具体地，“笔划”代表从笔等等开始与输入表面接触时到其被释放的轨迹。例如，笔划信息与从笔开始与触摸面板接触时到其被释放的每一个笔划图像关联。笔划信息包括识别笔划所需的识别信息、作为笔与触摸面板接触的初始点的时刻的开始时刻Τ、以及限定接触触摸面板的笔被移动时形成轨迹的多个点的坐标的时序。
[0030]语音记录单元2经由语音输入界面记录语音信息。语音信息可以具有任意的格式，例如允许其回放操作的控制，并且需要允许回放操作的至少开始、暂停和结束以及允许从指定回放开始时刻(以下称为“提示回放”)开始回放操作的格式。同样，语音信息可以通过语音间隔检测、讲话者识别以及关键字提取来被结构化。将在第二实施例中说明语音信息的结构化。
[0031]笔划结构化单元3通过在行方向上组合多个笔划来使笔划信息结构化成行结构。为了使这个行结构作为单位，提示回放开始时刻(以下称为“提示时刻”)与行结构关联。
[0032]提示时刻计算单元4计算要与笔划信息的行结构关联的语音信息的提示时刻。显示单元5在触摸面板上显示手写输入的笔划。语音回放单元6被控制成响应于对于在触摸面板上显示的笔划的行结构的指令操作，从由提示时刻计算单元4计算出的提示时刻回放语音信息。
[0033]图2是显示根据第一实施例的手写文档处理设备的处理顺序的流程图。
[0034](步骤Sl-1 和步骤 S1-2)
[0035]在用户启动笔记本应用程序之后，他或者她开始创建和记录具有语音数据的新的笔记。因此，用户能够通过在触摸面板上操作笔来进行手写输入。当用户启动记录按钮时，语音记录开始。与记录并行地，用户进行手写输入到笔记。当用户结束记录时，他或者她随后能够进行手写输入，但是在记录的结束之后不能够将语音数据的提示位置与笔划数据关联。
[0036]笔划输入单元I经由笔输入接口将笔划信息输入到根据这个实施例的手写文档处理设备，以及语音记录单元2获取经由语音输入界面记录的语音信息。
[0037](步骤S2)
[0038]笔划结构化单元3通过在行方向上组合多个已经输入的笔划，来将笔划信息结构化成行结构。
[0039]图3显示笔划信息的实例。由用户输入的每一个单独的笔划手写具有开始时亥|J。第一笔划的开始时刻是Tl、下一个笔划的开始时刻是T2、第三笔划的开始时刻是
T3，......，第η笔划的开始时刻是Τη。这些开始时刻中的每一个对应于在每一个笔划中笔与触摸面板接触的初始点的时刻。
[0040]如图4所示，在组10中分别具有开始时刻Tl到Τ7的笔划在行方向上被组合以获得行结构1，在组11中分别具有开始时刻Τ8到Τ15的笔划在行方向上被组合以获得行结构2，以及在组12中分别具有开始时刻Τ16到Tn的笔划在行方向上被组合以获得行结构3。例如，通过组合满足条件的多个笔划可以实现结构化，该条件为多个笔划与就在前面的笔划的距离落在阈值范围内。并且，如同在这个实例中，在单行上能够生成多个行结构。
[0041](步骤S3)
[0042]提示时刻计算单元4对于行结构I到3中的每一个计算与笔划信息同时记录的语音信息的提示时刻。例如，具有包括在行结构中的多个笔划的最早的输入时刻的笔划，即，第一笔划的开始时刻被设置为提示时刻。如图5所示，第一笔划的开始时刻Tl被设置为用于行结构I的语音信息的提示时刻，第一笔划的开始时刻Τ8被设置为用于行结构2的语音信息的提示时刻，以及第一笔划的开始时刻Τ16被设置为用于行结构3的语音信息的提示时刻。因此，在这个实例中，第一提示时间是Tl、下一个提示时间是Τ8以及随后的提示时间是 Τ16。
[0043]注意，各个行结构的提示时刻可以被调整。例如，在基于笔划信息的提示时刻之前的α时段的时刻被设置为提示时刻(Τ1-α、Τ8-α以及Τ16_α被分别设置)。因此，当用户听到特定语音并响应于该语音开始手写输入的延迟可以被吸收。换句话说，从调整的提示时刻的回放操作可以防止语音内容的开首语被部分遗漏。
[0044](步骤S4 到 S6)
[0045]在对于各个行结构计算提示时间之后，如上所述，当用户通过笔点击期望的行结构来给予指令时，记录的语音内容的回放操作能够从对应的提示位置开始。
[0046]例如，当用户点击位置PI或者Ρ2时，如图6所示，相同的行结构的时刻TI被选择，语音信息的回放操作从时刻Tl开始。当用户点击位置Ρ3或者Ρ4时，相同的行结构2的时刻Τ8被