CueFlip 如何“听”谱
一次图文并茂的巡礼,讲述从演奏到翻页之间发生的一切:CueFlip 如何听见音乐,如何在乐谱中找到自己的位置,以及迷失位置时会怎么做。
译自英文。 阅读原文
CueFlip 是一款适用于 iPad 和 iPhone 的自动翻谱应用。它背后的技术叫乐谱跟随:聆听现场演奏,并时刻掌握演奏进行到乐谱的哪个位置。这篇文章用几幅图,一步一步讲讲它是如何做到的。
会听的机器
1774年,瑞士钟表匠皮埃尔·雅凯-德罗（Pierre Jaquet-Droz）、其子亨利-路易（Henri-Louis）与让-弗雷德里克·勒肖（Jean-Frédéric Leschot）推出了《音乐家》（The Musician）,一台能用手指弹奏真管风琴的自动机。它会演奏,却听不见。CueFlip 恰恰相反。它不演奏任何东西,只是倾听。
它并不识读页面上的记谱。它学习的是某一首曲子在你演奏时的声音,然后在你演出时再次认出这种声音。
把曲子教给它一次
在“学习”(Learn)中,你把曲子完整演奏一遍,或者导入一段录音,并标出翻页的位置。这段录音就是参照。之后的一切,都是把你此刻演奏的内容与当时演奏的内容做比较。
它听到什么
一段录音包含的信息,远多于在曲中定位所需要的。CueFlip 只从中留下两样东西。第一样是每一刻正在发声的是哪些音名。一个音无论在哪个八度演奏,都归在同一个音名之下,所以高八度或低八度演奏,影响应该会小一些。换一个房间或换一件乐器,仍可能影响 CueFlip 跟随的效果。
图中的每一条轨迹,是一个音名在半分钟音乐中的变化:字母代表白键,圆点代表黑键。色带在和声变化的地方扭转,最强的音用粗体画出。这是引擎眼中一首曲子的样子,不是乐谱的图像。
不只是“什么”,还有“何时”
音名说明正在发出什么声音,却不说明某个声音是何时开始的。为此,CueFlip 把声音分成若干频段,从最低的音一直到最明亮的泛音,并在每个频段里留意有什么在此刻起音:一次运弓、一次拨弦、一次琴槌击弦。
两者合在一起,就为演奏的每一瞬间给出一段简短的描述,可以拿去与参照对照。
找到位置
你不会按参照录音的速度演奏。你会加快,会停留,会换气。所以引擎并不是一刻对一刻地比较两者,而是在两者所有可能的对齐方式中寻找最佳路径,并让这条路径随你的速度弯曲。
这条路径不能随意游走。图中橙色线是路径,虚线标出它离开中线最多能偏多远。一条跳来跳去的路径,更可能是出了错,而不是一位音乐家。
迷失位置时
音乐会反复。一个段落第二次出现时,听起来一模一样,引擎有那么一瞬间会有两个同样可信的答案:在这里,还是在那里。你知道哪一个才对,引擎却得自己判断。
有时它会选错,于是它报告的位置会逐渐偏离你真正所在之处。为了防范这一点,CueFlip 同时保留两个对你位置的读数:一个紧跟演奏,另一个把整首曲子放在眼里,走得慢一些。图中把它们画成一条双螺旋的两股。两者一致时,两股靠得很近;两者不一致时,螺旋就张开。
在这个例子里,演奏回到了一个已经弹过的段落。有那么一阵,两个读数都若无其事地继续往前。紧跟的那个先发现问题,重新定位;盯着整首的那个稍晚一些归队,两股又重新缠在一起。
这是整件工作中最难的部分,CueFlip 也并非每次都能做对。当它拿不准时,会按兵不动,而不是凭猜测翻页,你也始终可以自己翻页。
翻页
一次演奏,绝不会与你学习时的那一遍时长完全相同。在最后一幅图中,左边的竖线就是演奏本身,这里弹得比学习的那一遍更慢,从上到下依次展开。右边的螺旋是乐谱,卷成了一卷。每一根细线,把演奏中的某一刻,连到引擎当时认为自己所在的乐谱位置。
五条橙色线就是翻页。每一条都从演奏中 CueFlip 翻页的那一刻出发,到学习录音里翻页的那个乐谱位置为止。CueFlip 会在你到达自己在“学习”中标出的位置之前稍早一点翻页,这样在你的目光需要之前,下一页已经就位。
这一切发生在哪里
这一切都在你的 iPad 或 iPhone 上运行。声音在你演奏时就地分析,不会发送给 CueFlip。没有账号,也没有追踪。如果你开启 iCloud 同步,用的是你自己的 iCloud。
整个思路就是这样:把曲子教一次,聆听,找到位置,翻页。其余的是细心,以及与真实演奏者所做的大量测试,因为他们很少会完全照谱演奏。