Apfeltalk Editor's Podcast

Nachdem ich letzte Woche leider krank war, habe ich am Donnerstag eine voraufgezeichnete Folge im Apfeltalk Editor’s Podcast veröffentlicht. Ich dachte, das Thema sei zeitlos – doch ich habe mich geirrt. Apple hat im Zuge des Bildungsevents das Thema Gesichtssteuerung direkt aufgegriffen und in eigene Software integriert. 

Zugegeben, es war kein Thema während der Keynote. Alle, die Releasenotes lesen, haben es jedoch in einem Software Update im Zuge des Abends gefunden. Garageband unter iOS kann seit dem letzten Update auch mit Hilfe des Gesichts gesteuert werden. Dabei wird zwar nicht die komplette Steuerung durch das Gesicht übernommen, es können aber gewisse Modifizierungen mit Hilfe des Munds vorgenommen werden. Eine Idee, die das Konzept deutlich erweitert – und nicht nur für Personen mit Einschränkungen interessant macht.

Die neue Funktion ist sehr gut in den Einstellungen versteckt, auch Apple selbst gibt wenig Informationen dazu in den Releasenotes.

• Neues Soundpaket „Spielzeug“ mit kostenlosen pädagogischen Soundeffekten, wie Tiere, Fahrzeuge und Zählen bis zehn in verschiedenen Sprachen, kann geladen werden
• Verwende Gesichtsausdrücke und die TrueDepth-Kamera für Freihandsteuerung von Musikeffekten wie Gitarren-Wah und Synth-Parameter*
• Fügt den Stompbox-Effekt „Modern Wah“ für Gitarren hinzu
• Enthält Stabilitätsverbesserungen und Fehlerbehebungen

* iPhone X erforderlich. GarageBand verwendet ARKit-Funktionen zur Gesichtserfassung, um deine Gesichtsausdrücke zur Steuerung von Instrumenteneffekten zu „übersetzen“.

Der Einsatz der Kamera ist insofern interessant, als das er eine zusätzliche, gleichzeitige, Form der Steuerung ermöglicht. Im Vordergrund steht nicht der Ersatz der Steuerung mit der Hand, vielmehr kommt eine weitere Bedienebene hinzu. Am ehesten lässt sich dieser Gewinn einer neuen Ebene vielleicht mit 3D Touch vergleichen. Während ihr ein Instrument spielt, und die Hände damit beschäftigt sind, könnt ihr so über euer Gesicht die Tonhöhe anpassen.

Nun bin ich leider kein Musiker, aber dieses YouTube Video hat mich wirklich beeindruckt.

Da ich letzte Woche leider auch mit nur einem Arm auskommen musste, reizt mich das Konzept aktuell sehr. Lassen wir uns auf ein kleines Gedankenexperiment ein und denken die Idee etwas weiter. Wie wäre es, die aktuelle Eingabe über das Gesicht als Modifier zu verändern? Oder gewisse Funktionen direkt mit dem Gesicht steuern zu können?

Ein Beispiel: Als Podcaster stehe ich oft vor der Herausforderung, Kapitelmarken direkt während der Aufnahme setzen zu wollen. So liefern wir auch den Apfeltalk Editor’s Podcast SE aus. Oder ich benötige eine Möglichkeit, schnell eine/meine Spur stumm zu schalten. Die Eingabe via Tastatur / Shortcuts ist meistens nicht möglich – da dazu meine DAW im Vordergrund sein müsste. Bleiben andere Lösungen wie Bluetooth Fernbedienungen (die Wii Mote funktioniert hier super) oder spezielle Midi Pads – alles nicht ganz ideal und vor allem teuer. Hier fände ich die Steuerung per Gesicht sehr interessant.

Natürlich – die Idee muss deutlich weiter gedacht werden und zudem muss sich die Face ID Kamera weiter verbreiten. Was am iPhone nur eine Spielerei ist, könnte auf dem Mac deutlich interessanter werden. Dort blickt uns die FaceTime Kamera ohnedies dauernd an.

Ob wir in Zukunft Musiker oder DJs sehen werden, die nicht nur wild fuchteln, aus Show, sondern auch Grimassen ziehen, um ihre Software zu bedienen? So absurd es klingen mag, doch ich denke: Ja. Zumindest wenn sich die Idee, die einst mit Spielen begann und jetzt mit Garageband fortgesetzt wurde, weiter gedacht wird.

Der Beitrag ATEP240 Noch mehr Gesichtssteuerung erschien zuerst auf Apfeltalk Magazin.