Digitales Orgelkonzert

Herr Neuls, welche Idee steckte hinter der Web-App „Illuminated Sounds“, mit der kürzlich ein einzigartiges Konzert im Kölner Dom gestaltet wurde?
Christian Neuls: Hinter der Anwendung steckt die Idee, bei einem interaktiven Konzert alle Teilnehmer einzubinden und dabei Technik mit außergewöhnlicher Kunst zu verbinden. Wir haben den Kölner Dom, das Orgelspiel und ein Meisterwerk von Gerhard Richter – das Richter-Fenster – interaktiv verknüpft. Jeder Zuhörer war über sein eigenes Smartphone Teil der Gesamtkomposition aus Licht und Orgelkonzert.

Was hat die Web-App denn mit dem von Gerhard Richter gestalteten Mosaik-
fenster zu tun?
Neuls: Mit „Illuminated Sounds“ wurden die Smartphones zu Einzelteilen des Mosaiks. Auf den einzelnen Screens der Zuhörer erschienen passend zur Musik die Farben des Richter-Fensters. Aus 360 leuchtend bunten Rechtecken ergab sich ein Gesamtkunstwerk – das Richter-Fenster auf die vielen Mobiltelefone erweitert.

Während des Konzerts wurden die Smartphones der Teilnehmer ferngesteuert. Wie hat das technisch funktioniert?
Neuls: Die App entstand aus einer Kombination von HTML5/Websockets im Smartphone-Browser und einem Java-basierten Websocket-Server im Backend. Beim Konzert verbanden die Zuhörer ihre Smartphones mit einem internen WLAN, gelangten über eine URL auf die Web-App und gaben ihre Platznummer zur Lokalisierung der Mobilgeräte ein. Die HTML-Seite öffnete im Browser eine Websocket-Verbindung.
Unser Server war per MIDI-Kabel mit der Domorgel verbunden, so dass die Musiksignale verarbeitet und in Farbwechsel übersetzt werden konnten. Der Server konnte dann die Screens der Smartphones ansteuern und visuelle Effekte abspielen. Über die Lokalisierung der einzelnen Geräte konnten Farbeffekte im Gesamtbild erzeugt werden.

Wie haben Sie die Orgeltöne mit den Smartphones beeinflusst?
Neuls: Im zweiten Programmpunkt drehte sich die Steuerung um: Die IP-Adressen der eingewählten Smartphones wurden gesammelt, mittels einer Musiksoftware in MIDI-Signale übersetzt und an die Orgel weitergegeben.
Das Instrument wandelte die Nummern mehrerer IP-Adressen in definierte Tonfolgen um, die als einzigartiges Orgelstück zu hören waren.

Was waren die technischen Herausforderungen und wie haben Sie diese gelöst?
Neuls: Die stabile, zeitgleiche Ansteuerung von 360 Geräten stellte für die technische Architektur eine große Herausforderung dar. Daher haben wir den Ablauf schon früh prototypisch durchgespielt. Wir simulierten die erwartete Anzahl von 400 Teilnehmern durch „Fake Clients“ per HTML/JS. Dazu wurden auf mehreren HTML-Seiten parallel dutzende Websocket-Verbindungen geöffnet und wie kleine Smartphones eingefärbt. So testeten wir die Performance des Backends und die Visualisierung der Farben bzw. Effekte.

Was wären andere Anwendungsfälle für ein ähnliches technisches System?
Neuls: Die bidirektionale Websocket-Technologie eignet sich für Projekte, bei denen verteilte Systeme in Echtzeit miteinander kommunizieren sollen. Es lassen sich sehr schnell simple, aber skalierbare Systeme ohne komplizierte proprietäre Protokolle aufsetzen. Die Technologie kann z.B. auch in einer nativen App zum Einsatz kommen oder als Liveticker innerhalb einer Webseite.

Durch die Einfachheit und geringe Latenz eignet sie sich z.B. auch für schnelles Prototyping von neuen Ideen oder einen Livechat. Die Kombination verschiedener Technologien (Websockets, HTTP, MIDI Parsing, Threading, NIO) ermöglicht eine flexible Kopplung von Komponenten (wie in diesem Fall Orgel –  Server – Smartphones). Auch scheinbar analoge Teile lassen sich durch eine digitale Schnittstelle so in ein Gesamtsystem integrieren.