Innovative Benutzerschnittstellen

Dies ist der erste der angekündigten vier Artikel, die ich an der BHT im Rahmen meines Studiums geschrieben habe.

Beispiele für innovative Benutzerschnittstellen

Miron Schmidt, Mai 2023

Ursprünglich ein Vortrag im Studiengang Medieninformatik online an der Berliner Hochschule für Technik. Zu dieser Ausarbeitung gehörte auch ein Foliensatz, in dem die ersten beiden vorgestellten Schnittstellen für einen Vortrag grafisch aufbereitet wurden. Die verwendeten Grafiken dürfen jedoch nicht weiterverbreitet werden, daher muss diese Version ohne sie auskommen, ist aber ohnehin ausführlicher.

Ich habe für diese Aufgabe speziell nach Beispielen aus dem Computerspielebereich gesucht. Die Definition nach DIN EN ISO 9241-110:2006 der Benutzungsschnittstelle als System zur Erledigung einer „Arbeitsaufgabe“ ist für Spiele offenkundig unzureichend, obwohl selbstverständlich auch dort vollwertige Benutzungsschnittstellen mit Ein- und Ausgaben vorliegen. Die Steuerung oder Interpretation von Aspekten des Spiels zum Erreichen des Spielziels kann daher in diesem Kontext als Arbeitsaufgabe gedeutet werden.

1. Olfaktorische oder Geruchsschnittstellen

Als olfaktorische Schnittstelle wird in erster Linie die Ausgabe von synthetisch erzeugten Gerüchen bezeichnet, wobei die Erkennung von Gerüchen im Allgemeinen als komplementär für eine „vollständige“ Schnittstelle verstanden wird (siehe etwa das Glossar von Gartner¹).

Es gibt mehrere Prototypen von olfaktorischen Schnittstellen, zumeist auf die Ausgabe beschränkt und häufig als „Wearables“ ausgelegt, also direkt im Gesicht applizierte Miniaturgeräte. Im Journal Nature Communications erschien am 9. Mai dieses Jahres die Beschreibung eines Prototyps einer optimierten Geruchsausgabe für VR-Anwendungen², den ich hier vorstellen möchte.

In der kleineren Version stehen zwei Geruchsgeneratoren oder „Odor Generators“ (OGs) zur Verfügung, in denen ein auf Paraffin basierender Duftstoff sehr schnell (<1 s) und präzise durch Temperaturanpassungen aktiviert und deaktiviert werden kann. In der größeren Version, die als tragbare Maske ausgelegt ist, sind es neun OGs. Welche OGs wie lange aktiviert werden, kann fein abgestimmt gesteuert werden, sodass auch verschiedene Mischdüfte möglich sind.

In dem vorgestellten Modell lag die Erkennungsrate durch Testpersonen je nach Duft zwischen 22% und 89%, durch Trainingssitzungen (z.B. mit Filmsequenzen) konnte dieser Wert aber vom Durchschnittswert 43% auf bis zu 88% gesteigert werden.

Gerüche können somit nun insbesondere im VR- und Multimediabereich als sinnvolle Ergänzung einer Gesamtwahrnehmung angesehen werden.

2. Nintendo Labo

Unter der Markenbezeichnung „Nintendo Labo“³ werden mehrere Bastelsätze für Nintendos Spielekonsole Switch zusammengefasst, die jeweils aus einer Software und einem Kit aus Pappbögen und anderen Teilen zusammengesetzt sind. Aus diesen Bauteilen können verschiedene Werke (sogenannte „Toy-Con“) hergestellt werden, die zur Steuerung der Konsole sowie zur Veränderung der Wahrnehmung ihrer Ausgaben verwendet werden. Das Switch-Display kann etwa so in eine Pappform gesteckt werden, dass zwei durch eine Wand getrennte Bildschirmhälften eine dreidimensionale (VR-)Darstellung ermöglichen.

Auf diese Weise wird der Toy-Con zu einer eigenen Schnittstelle, die neue Formen der Ein- und Ausgabe ermöglicht.

Weiterhin können über das mitgelieferte Feature „Toy-Con Garage“ eigene Varianten erstellt werden, für die sowohl die Teile des Kits als auch selbst geschaffene Bastelarbeiten zum Einsatz kommen können.

Es war geplant, Toy-Con auch in anderen Spielen zu unterstützen, dies ist bislang aber nur bei Mario Kart 8 Deluxe und The Legend of Zelda: Breath of the Wild geschehen.

Der besondere Reiz des Labo (und ein Faktor, der es von den meisten anderen Schnittstellen abhebt) besteht letztlich darin, dass die Spielenden ihre eigenen Ein- und Ausgabegeräte schaffen können, auch wenn der Anwendungsrahmen eng gesteckt ist.

3. MIDI-Controller als universelle Eingabegeräte

MIDI-Controller sind im Allgemeinen Musikinstrumente, die speziell für die Steuerung einer digitalen Audio-Workstation (DAW) ausgelegt sind. Bekannt sind vor allem Master-Keyboards, meist vollwertige Synthesizer, deren Tasten und Steuerelemente als MIDI-Codes ausgegeben werden, aber auch Pad-Matrizen wie das Akai MPC (MIDI Production Center).

Es gibt mehrere Projekte, die APIs für die Integration von MIDI-Codes in Betriebssysteme bereitstellen, exemplarisch möchte ich hier MIDIMonster⁴ vorstellen.

MIDIMonster (in der Dokumentation auch „The“ MIDIMonster genannt) hat sich mittlerweile zu einem weitgehend universellen Steuerungssystem für verschiedene Protokolle entwickelt⁵, aber ist im Kern ein System, das (MIDI-)Signale empfängt und Steuersignale ausgibt. Die ursprüngliche Aufgabe bestand darin, MIDI-Signale in Aktionen auf einem Betriebssystem umzuwandeln, und diese Aufgabe erfüllt es auch weiterhin.

Im Spielebereich wird es gerne eingesetzt, um etwa die präzisen Dreh- und Schieberegler von MIDI-Controllern für die Steuerung von Spielelementen zu nutzen, da früher gängige Spielgeräte wie Paddles oder Trackballs heute nicht mehr verbreitet sind.

1. https://www.gartner.com/en/information-technology/glossary/olfactory-interfaces, abgerufen am 26.5.2023 ↩︎
2. Yiu, Liming et al.: Soft, miniaturized, wireless olfactory interface for virtual reality, in: Nature Communications, Vol 14, 2023, Nr. 1, Artikelnr. 2297 ↩︎
3. z. B. https://www.nintendo.com/sg/switch/adfu/index.html, abgerufen am 26.5.2023 ↩︎
4. https://midimonster.net/ ↩︎
5. https://github.com/cbdevnet/midimonster, abgerufen am 26.5.2023 ↩︎