Wie CueFlip zuhört
Eine bebilderte Reise durch alles, was zwischen dem Spiel einer Musikerin oder eines Musikers und dem Umblättern geschieht: wie CueFlip die Musik hört, seinen Platz in den Noten findet und was es tut, wenn es ihn verliert.
Aus dem Englischen übersetzt. Original lesen
CueFlip ist ein automatischer Notenwender für iPad und iPhone. Die Technik dahinter heißt Partiturverfolgung: Man hört einer Live-Aufführung zu und behält im Blick, wo sie sich in den Noten gerade befindet. Dieser Beitrag zeigt Bild für Bild, wie das funktioniert.
Eine Maschine, die zuhört
Im Jahr 1774 stellten die Schweizer Uhrmacher Pierre Jaquet-Droz, sein Sohn Henri-Louis und Jean-Frédéric Leschot „Die Musikerin“ vor, einen Automaten, der mit seinen Fingern auf einer echten Orgel spielte. Er konnte spielen, aber nicht hören. Bei CueFlip ist es umgekehrt. Es spielt nichts. Es hört zu.
CueFlip liest nicht die Notenschrift auf der Seite. Es lernt, wie ein bestimmtes Stück klingt, wenn du es spielst, und erkennt diesen Klang beim Auftritt wieder.
Das Stück einmal lernen
In Learn spielst du das Stück einmal durch oder importierst eine Aufnahme davon und markierst, wo umgeblättert wird. Diese Aufnahme ist die Referenz. Alles Weitere ist ein Vergleich zwischen dem, was du jetzt spielst, und dem, was du damals gespielt hast.
Was es hört
Eine Aufnahme enthält weit mehr, als man braucht, um eine Stelle in einem Stück zu finden. CueFlip behält daraus zwei Dinge. Das erste ist, welche Tonnamen gerade erklingen, Augenblick für Augenblick. Ein Ton zählt unter seinem Namen, in welcher Oktave er auch gespielt wird. Eine Oktave höher oder tiefer zu spielen sollte daher weniger ausmachen. Ein anderer Raum oder ein anderes Instrument kann trotzdem beeinflussen, wie gut CueFlip folgt.
Jede Spur im Bild ist ein Tonname, verfolgt über eine halbe Minute Musik: Buchstaben für die weißen Tasten, Punkte für die schwarzen. Das Band verdreht sich dort, wo die Harmonie wechselt, und die stärksten Töne sind fett gezeichnet. Es ist eine Zeichnung davon, wie ein Stück für die Engine aussieht, kein Bild einer Partitur.
Wann, nicht nur was
Tonnamen sagen, was erklingt. Sie sagen nicht, wann etwas begonnen hat. Dafür teilt CueFlip den Klang in Bänder auf, von den tiefsten Tönen bis zu den hellsten Obertönen, und beobachtet jedes Band auf den Moment, in dem etwas einsetzt: ein Bogenstrich, eine Saite, ein Hammer.
Zusammen ergeben beide eine kurze Beschreibung jedes Augenblicks der Aufführung, die sich neben die Referenz halten lässt.
Den Platz finden
Du wirst nicht im Tempo deiner Referenz spielen. Du ziehst an, du verweilst, du atmest. Deshalb vergleicht die Engine beide nicht Augenblick für Augenblick. Sie sucht den besten Weg durch alle Möglichkeiten, wie die beiden übereinanderliegen könnten, und lässt diesen Weg sich biegen, damit er deinem Tempo folgt.
Der Weg darf nicht frei umherirren. Im Bild ist die orangefarbene Linie der Weg, und die gestrichelten Linien zeigen, wie weit er von der Mitte abweichen darf. Ein Weg, der herumspringt, ist eher ein Fehler als ein Musiker.
Wenn es den Platz verliert
Musik wiederholt sich. Kommt ein Abschnitt zum zweiten Mal, klingt er gleich, und für einen Moment hat die Engine zwei ehrliche Antworten: hier oder dort. Du weißt, welche stimmt. Die Engine muss es herausfinden.
Manchmal wählt sie die falsche, und die gemeldete Position entfernt sich von dem Ort, an dem du wirklich bist. Zur Absicherung führt CueFlip zwei Lesarten deines Platzes: eine, die der Aufführung eng folgt, und eine, die das ganze Stück im Blick behält und sich langsamer bewegt. Das Bild zeichnet sie als die zwei Stränge einer Helix. Stimmen sie überein, laufen die Stränge dicht beieinander. Stimmen sie nicht überein, öffnet sich die Helix.
In diesem Beispiel springt die Aufführung zu einer Stelle zurück, die sie schon gespielt hat. Eine Weile laufen beide Lesarten weiter, als wäre nichts geschehen. Der enge Verfolger bemerkt es zuerst und ordnet sich neu. Die Lesart, die das ganze Stück beobachtet, schließt etwas später wieder auf, und die Stränge winden sich erneut ineinander.
Das ist der schwierigste Teil der Aufgabe, und CueFlip macht es nicht immer richtig. Ist es sich nicht sicher, hält es sich zurück, statt auf Verdacht umzublättern, und du kannst jederzeit selbst umblättern.
Umblättern
Eine Aufführung ist nie genau so lang wie die Aufnahme, von der du gelernt hast. Im letzten Bild ist die Linie links die Aufführung selbst, hier langsamer gespielt als die gelernte Aufnahme, von oben nach unten verlaufend. Die Spirale rechts ist die Partitur, zu einer Schriftrolle aufgewickelt. Jede dünne Linie verbindet einen Augenblick der Aufführung mit der Stelle in der Partitur, an der die Engine sich in diesem Augenblick wähnte.
Die fünf orangefarbenen Linien sind die Umblätter-Momente. Jede beginnt in dem Moment der Aufführung, in dem CueFlip umgeblättert hat, und endet an der Stelle der gelernten Aufnahme, an der du dieses Umblättern markiert hast. CueFlip blättert ein wenig um, bevor du die in Learn markierte Stelle erreichst, damit die nächste Seite schon da ist, ehe deine Augen sie brauchen.
Wo das geschieht
All das läuft auf deinem iPad oder iPhone. Der Klang wird beim Spielen analysiert und nicht an CueFlip gesendet. Es gibt keine Konten und kein Tracking. Wenn du die iCloud-Synchronisierung einschaltest, nutzt sie deine eigene iCloud.
Das ist die ganze Idee: das Stück einmal lernen, zuhören, den Platz finden, umblättern. Der Rest ist Sorgfalt und sehr viel Testen mit echten Spielern, die selten genau so spielen, wie es geschrieben steht.