CueFlipはどのように聴いているのか
演奏から譜めくりまでのあいだに何が起きているのかを、図とともにたどります。CueFlipが音楽をどう聴き取り、楽譜上の現在地をどう見つけ、それを見失ったときにどうするのか。
英語からの翻訳です。 原文を読む
CueFlipは、iPadとiPhoneで使える自動譜めくりアプリです。その土台にある技術が楽譜追従です。生の演奏を聴きながら、いま楽譜のどこを弾いているのかを追い続ける技術のことです。この記事では、その仕組みを一枚ずつ図を見ながらご説明します。
聴く機械
1774年、スイスの時計職人ピエール・ジャケ＝ドロー、その息子アンリ＝ルイ、ジャン＝フレデリック・レショは、「ミュージシャン（The Musician）」を発表しました。本物のオルガンを指で演奏する自動人形です。演奏はできましたが、聴くことはできませんでした。CueFlipはその反対です。何も演奏しません。聴くのです。
CueFlipは、譜面に書かれた記譜を読むわけではありません。ある一曲があなたの演奏でどう響くかを覚え、本番ではその響きをもう一度聴き分けます。
曲を一度だけ覚えさせる
Learnでは、曲を一度通して弾くか、録音を取り込み、譜をめくる位置を印として付けます。この録音が基準になります。その後に起きることはすべて、いま弾いている演奏と、そのとき弾いた演奏との比較です。
何を聴いているのか
録音には、曲の中の現在地を見つけるのに必要な量をはるかに超える情報が入っています。CueFlipがそこから取り出すのは、ふたつです。ひとつ目は、どの音名がその瞬間に鳴っているか。音はどのオクターブで弾かれても同じ音名として数えます。そのため、1オクターブ高く、あるいは低く弾いても、影響は小さくなるはずです。ただし、部屋や楽器が違えば、CueFlipがどれだけうまく追えるかに響くことはあります。
図の一本一本の筋は、ひとつの音名を30秒ほどの音楽のあいだたどったものです。白鍵は文字、黒鍵は点で表しています。和声が変わるところでリボンはねじれ、強い音は太く描かれます。これはエンジンから見た曲の姿を描いたもので、楽譜の絵ではありません。
何だけでなく、いつ
音名が教えてくれるのは、何が鳴っているかです。いつ始まったのかは分かりません。そこでCueFlipは、音を最も低い音から最も明るい倍音まで複数の帯域に分け、それぞれの帯域で何かが始まる瞬間を見張ります。弓、弦、ハンマーが音を起こす瞬間です。
この二つを合わせると、演奏の一瞬一瞬についての短い記述ができあがります。これを基準の録音と突き合わせます。
現在地を見つける
人は基準の録音と同じ速さでは弾きません。速くなり、たゆたい、息をつきます。ですからエンジンは、二つの演奏を瞬間ごとに比べることはしません。二つが重なりうるあらゆる組み合わせの中から最良の道筋を探し、その道筋があなたのテンポに合わせて曲がることを許します。
道筋は、好き勝手にさまようことはできません。図では、橙色の線が道筋で、破線は中心からどこまで離れてよいかを示しています。あちこちに飛ぶ道筋は、音楽家というより間違いである可能性が高いのです。
現在地を見失うとき
音楽は繰り返します。ある部分が二度目に回ってくると、同じ響きになり、エンジンには一瞬、どちらも正しそうな答えがふたつ生まれます。ここか、あそこか。あなたにはどちらが正しいかが分かります。エンジンは、それを自分で割り出さなければなりません。
間違ったほうを選んでしまい、報告される位置が実際の位置からずれていくことがあります。その備えとして、CueFlipは現在地について二つの読みを保っています。ひとつは演奏に密着して追う読み、もうひとつは曲全体を視野に入れ、ゆっくり動く読みです。図では、この二つをらせんの二本の鎖として描いています。二つが一致しているあいだ、鎖は寄り添って走ります。食い違うと、らせんは開きます。
この例では、演奏がすでに弾いた箇所に戻ります。しばらくは、二つの読みとも何事もなかったかのように進みます。最初に気づくのは、密着して追うほうで、位置を取り直します。曲全体を見ているほうは少し遅れて合流し、鎖はふたたび巻き合わさります。
これは仕事の中でいちばん難しい部分で、CueFlipも常に正しく判断できるわけではありません。確信が持てないときは、当て推量で譜をめくらず、待ちます。そして、譜めくりはいつでも自分の手でできます。
譜をめくる
演奏は、覚えさせたときの録音とまったく同じ長さにはなりません。最後の図では、左の線が演奏そのものです。覚えさせた録音よりゆっくり弾いた演奏で、上から下へ進みます。右の渦巻きは楽譜で、巻物のように巻かれています。細い線の一本一本は、演奏のある瞬間と、その瞬間にエンジンが楽譜のここにいると考えていた場所とを結んでいます。
5本の橙色の線が譜めくりです。どの線も、CueFlipが譜をめくった演奏中の瞬間から始まり、覚えさせた録音の中で、あなたが譜をめくる印を付けた位置で終わります。CueFlipは、Learnで印を付けた位置に着く少し前に譜をめくります。目が必要とするときには、次のページがすでにそこにあるようにするためです。
どこで行われているか
これらはすべて、お使いのiPhoneまたはiPadの中で動いています。音は演奏中にその場で解析され、CueFlipに送られることはありません。アカウントはなく、トラッキングもありません。iCloud同期をオンにした場合は、あなた自身のiCloudが使われます。
考え方はそれがすべてです。曲を一度覚えさせ、聴き、現在地を見つけ、譜をめくる。あとは丁寧な作り込みと、多くのテストです。相手は実際の奏者たちで、楽譜どおりに弾くことはめったにありません。