Cómo escucha CueFlip

CueFlip es un pasapáginas automático para iPad y iPhone. La técnica en la que se basa se llama seguimiento de partitura: escuchar una interpretación en directo y saber en todo momento por dónde va dentro de las partituras. Esta entrada explica cómo funciona, imagen a imagen.

Una máquina que escucha

En 1774, los relojeros suizos Pierre Jaquet-Droz, su hijo Henri-Louis y Jean-Frédéric Leschot presentaron El músico, un autómata que tocaba un órgano de verdad con sus dedos. Podía tocar, pero no podía oír. CueFlip es lo contrario. No toca nada. Escucha.

No lee la notación de la página. Aprende cómo suena una pieza concreta cuando la tocas y después reconoce ese sonido mientras actúas.

Aprender la pieza una sola vez

En Learn, tocas la pieza completa una vez, o importas una grabación, y marcas dónde se pasan las páginas. Esa grabación es la referencia. Todo lo que sigue es una comparación entre lo que tocas ahora y lo que tocaste entonces.

Qué oye

Una grabación contiene mucho más de lo necesario para encontrar un lugar en una pieza. CueFlip se queda con dos cosas. La primera es qué nombres de nota suenan, instante a instante. Una nota cuenta con su nombre sea cual sea la octava en que se toque, de modo que tocar una octava más arriba o más abajo debería importar menos. Una sala o un instrumento distintos pueden influir, aun así, en lo bien que CueFlip te sigue.

Cada trazo de la imagen es un nombre de nota seguido durante medio minuto de música: letras para las teclas blancas, puntos para las negras. La cinta se retuerce donde cambia la armonía, y las notas más fuertes se dibujan en negrita. Es un dibujo de cómo ve una pieza el motor, no la imagen de una partitura.

Cuándo, además de qué

Los nombres de nota dicen qué suena. No dicen cuándo empezó algo. Para eso, CueFlip divide el sonido en bandas, desde las notas más graves hasta los armónicos más brillantes, y vigila en cada banda el instante en que algo comienza: un arco, una cuerda, un martillo.

Juntas, las dos informaciones le dan una breve descripción de cada instante de la interpretación, que puede contrastar con la referencia.

Encontrar el sitio

No tocarás a la velocidad de tu referencia. Aceleras, te detienes, respiras. Por eso el motor no compara los dos momentos uno a uno. Busca el mejor camino entre todas las maneras en que ambos podrían encajar, y deja que ese camino se curve para seguir tu tempo.

El camino no puede vagar libremente. En la imagen, la línea naranja es el camino y las discontinuas marcan hasta dónde puede alejarse del centro. Un camino que salta de un lado a otro es más probable que sea un error que una decisión del músico.

Cuando pierde el sitio

La música se repite. Cuando una sección vuelve por segunda vez suena igual, y durante un instante el motor tiene dos respuestas honestas: aquí, o allí. Tú sabes cuál es la correcta. El motor tiene que deducirlo.

A veces elige la equivocada, y la posición que indica se aleja de donde estás realmente. Como salvaguarda, CueFlip mantiene dos lecturas de tu posición: una que sigue la interpretación muy de cerca y otra que tiene toda la pieza a la vista y se mueve más despacio. La imagen las dibuja como las dos hebras de una hélice. Cuando coinciden, las hebras van juntas. Cuando discrepan, la hélice se abre.

En este ejemplo, la interpretación vuelve a un pasaje que ya ha tocado. Durante un rato, ambas lecturas continúan como si nada hubiera pasado. La que sigue de cerca lo advierte primero y se recoloca. La que vigila toda la pieza se corrige un poco después, y las hebras vuelven a enrollarse juntas.

Esta es la parte más difícil del trabajo, y CueFlip no siempre acierta. Cuando no está seguro, se contiene en lugar de pasar la página por una conjetura, y tú siempre puedes pasarla por tu cuenta.

Pasar la página

Una interpretación nunca dura exactamente lo mismo que la toma de la que se aprendió. En la última imagen, la línea de la izquierda es la propia interpretación, tocada aquí más despacio que la toma aprendida, de arriba abajo. La espiral de la derecha es la partitura, enrollada como un pergamino. Cada línea fina une un instante de la interpretación con el lugar de la partitura en el que el motor creía estar en ese instante.

Las cinco líneas naranjas son los pasos de página. Cada una empieza en el momento de la interpretación en que CueFlip pasó la página y termina en el punto de la toma aprendida donde marcaste ese paso. CueFlip pasa la página un poco antes de que llegues al punto que marcaste en Learn, para que la página siguiente ya esté ahí cuando tus ojos la necesiten.

Dónde ocurre todo esto

Todo esto se ejecuta en tu iPad o tu iPhone. El sonido se analiza mientras tocas y no se envía a CueFlip. No hay cuentas ni seguimiento. Si activas la sincronización de iCloud, usa tu propio iCloud.

Esa es toda la idea: aprender la pieza una vez, escuchar, encontrar el sitio, pasar la página. El resto es cuidado, y muchísimas pruebas con músicos de verdad, que rara vez tocan exactamente como está escrito.