Vom „Touch-Pad“ zum „Eye-Pad“: Wie blickgesteuertes Lesen E-Books interaktiver macht

Wer liest hier eigentlich wen? „Eye Tracking“ könnte in Zukunft völlig neue Formen der Interaktion zwischen E-Book und Leser möglich machen. Voraussetzung für das „blickaktive Lesen“ sind Kameras, die Augenbewegungen des Nutzers erkennen. Entwickelt wird diese „Text 2.0“-Technologie etwa am Deutschen Forschungszentrum für Künstliche Intelligenz (DFKI) in Kaiserslautern. Ein Team um Ralf Biedert, Georg Bucher und Andreas Dengel kann dort bereits mit konkreten Anwendungsbeispielen aufwarten. Die spektakulärste davon: eine interaktive Storytelling-Umgebung namens „EyePad“. Neben Augenbewegungen spielt dabei ähnlich wie beim magischen Tagebuch von Tom Riddle in „Harry Potter und die Kammer des Schreckens“ die Handschrift des Lesers eine wichtige Rolle.

Wenn der Leser als Überflieger ertappt wird

Die „Text 2.0“-Experimente basieren auf einem Eye-Tracker-System, das mit einer spezielllen Kamera die Augenbewegungen auf dem Bildschirm verfolgen kann. Zu den messbaren Größen gehört dabei auch die Lesegeschwindigkeit: „Anhand der Messwerte können wir bestimmen, ob der Benutzer im Text liest, ihn überfliegt, oder ob er möglicherweise Verständnissschwierigkeiten hat“, so die Macher in einer aktuellen Projektbeschreibung. Vor allem lässt sich aber die Augenposition gezielt zur Interaktion nutzen. So werden bestimmte Marker im Text aktiviert, wenn das Auge sie anvisiert – vergleichbar dem „Mouseover“ oder der Berührung eines Wortes mit dem Finger auf dem Touchpad. Auf diese Weise wird dann etwa ein Link verfolgt oder eine Audio-Datei abgespielt. Das koordinierte Eyetracking ermöglicht im nächsten Schritt eine Technik wie das „Augmented Reading“ -- bei Bedarf werden etwa Lesehilfen eingeblendet, etwa eine Übersetzung-to-go, intelligente Fußnoten oder automatische Lesezeichen. In Verbindung mit Spracherkennung und Text-to-Speech kann der Leser den Text sogar auffordern, ihm ein bestimmtes Wort vorzulesen, falls etwa die Aussprache unbekannt ist. Interessant ist auch die „QuickSkim“-Funktion: erkennt das System, dass der Leser den Text nur überfliegt, werden automatisch alle potentiell unwichtigen Wörter ausgeblendet.

Blicksteuerung als Browsererweiterung

Prototyp eines augengesteuerten Leseerlebnisses ist das „eyeBook“ -- eine „eigenständige Plattform zur Demonstration von multimedialem Text, welcher implizit durch den Akt des Lesens selbst gesteuert wird.“ Mit anderen Worten: hier findet jegliche Interaktion wie Buchauswahl oder Blättern mit den Augen statt. Darüberhinaus werden an passenden Stellen Effekte eingesetzt, etwa Bilder, Musik oder Farbthemen. Ausprobiert haben die Macher das an zwei Werken: St. Exupérys“Der kleine Prinz“ und Bram Stokers „Dracula“ (siehe Youtube-Video). Den Forschern zufolge befinden sich „de Stärken des eyeBooks insbesondere im Unterhaltungsbereich, wo es auch als neue Kunstform verstanden und eingesetzt werden kann“. Eine Weiterentwicklung ist die sogenannte „augmented text engine“ -- als Browsererweiterung erlaubt sie den Einsatz blickgesteuerter Applikationen auf HTML-Basis. Das Anwendungsspektrum reicht dabei von Assistenzsystemen, die beim Lesen unterstützen bis zur detaillierten Erforschung des Leseverhaltens. Zeitungsverlage etwa könnten mit Hilfe solcher Anwendungen herausbekommen, welche Artikel besonders aufmerksam gelesen werden oder wie ein bestimmtes Layout auf die Lektüre auswirkt -- nicht nur in einer Testumgebung, sondern im normalen Alltag. Genauso wird sich wohl die Werbewirtschaft brennend dafür interessieren, wie lange die Augen des Betrachters auf ihren Anzeigen ruhen.

“Tom Riddle in the 21st Century“

Eine besonders aufwändig gestaltete Fallstudie stellten die drei DFKI-Forscher zusammen mit ihrem Kollegen Mostafa El Hosseiny vor: das eyePad, eine multimediale Storytelling-Maschine.
Das experimentelle Super-Tablet umfasste nicht nur einen Eye Tracker, sondern auch Handschriftenerkennung sowie Sprachein- und ausgabe. Die Forscher nennen ihr Konzept „Tom Riddle in the 21 century“. Eine Anspielung an das magische Tagebuch im zweiten Harry Potter-Roman („Harry Potter und die Kammer des Schreckens“). Denn um Tom Riddles Erinnerungen anzuzapfen, muss man auf die leeren Seiten des Tagebuches schreiben. Allerdings ist die Handschriftenerkennung in der Fallstudie nur eine Form der Interaktion. Die eigentliche Story der EyePad-Plattform bestand ähnlich wie bei Hypertext-Erzählungen aus zahlreichen Modulen, deren Reihenfolge nicht fest vorgeben ist. Durch ständige Interaktion via Stimme, Augen und Handbewegungen bewegt man sich ähnlich wie in einem Computerspiel durch die Handlung. Viel fehlt eigentlich nicht mehr, um aktuelle Multimedia-Tablets wie das iPad zu solchen Storytelling-Umgebungen zu machen – eigentlich nur noch die Eyetracking-Funktion.

Löst der Eyetracker bald schon die Webcam ab?

Doch Eyetracking-Technik könnte tatsächlich schon bald serienmäßiger Bestandteil von Lesegeräten, Smartphones oder Tablets sein. Hersteller von Eye-Tracking-Geräten produzieren mittlerweile schon die ersten eingebetteten Systeme. „Wir denken, dass es nur eine Frage der Zeit ist, bis diese einen Verbreitungsgrad erreichen etwa so wie Webcams heute“, schätzen auch die DFKI-Forscher. Außerdem ließen sich auf existierenden Plattformen wie iPhone oder iPad bestimmte Elemente des „Augmented Reading“ bereits jetzt umsetzen. Denn die ungefähre Augenposition kann man auch abschätzen, während der Leser durch den Text scrollt – meistens wird schließlich eher die Mitte des Bildschirms bevorzugt. Zur Aktivierung „regionaler Effekte“ im Umfeld bestimmter Textstellen reicht das offenbar völlig aus. Die ersten E-Books mit „Text 2.0“-Techniken könnten also schon recht bald in den App-Stores auftauchen.

Veröffentlicht von

Ansgar Warner

Ansgar Warner arbeitet als freier Autor im Medienbüro Mitte (Berlin). Neben diversen Brotarbeiten für Presse & Rundfunk bloggt er hier rund um's Thema Elektronisches Lesen. Die spannende (Vor-)Geschichte der elektronischen Bücher erzählt Ansgar in "Vom Buch zum Byte". Praktische Infos für Autoren, Verleger & alle E-Reading-Interessierten vermittelt das "e-book & e-reader abc".