Schau mir in die Augen, Rechner
Es hat schon etwas Magisches: Vor meinen Augen schwebt die Erde im leeren Raum. Sie beschreibt eine perfekte Kreisbahn, dicht gefolgt von einer Hupe. Mein Blick verweilt einen Moment auf der Hupe, sie kommt daraufhin meinem Auge ein Stück entgegen. Vorsichtig versuche ich, mit dem Finger darauf zu tippen. Es trötet, dann verwandelt sich die Hupe in eine Klaviatur. »Probieren sie’s ruhig!« ermuntert mich Siegmund Pastoor. Na gut. »Für Elise« erklingt – etwas holprig – aus den Computerboxen. Mein Klavierlehrer würde jetzt strafend schauen.
Der allerdings war auch noch nie in der Verlegenheit, auf einem nichtexistenten Klavier zu spielen. Von der Seite muss das recht albern aussehen: Da sitzt jemand in einem Labor des Heinrich-Hertz-Instituts für Nachrichtentechnik in Berlin vor einem Flachbildschirm und spielt mit seinen Fingern in der Luft Beethoven. Dr. Siegmund Pastoor, Projektleiter von »mUltimo 3D«, kennt den faszinierten Gesichtsausdruck seiner Besucher bereits. »Vor allem bei Männern schlägt der Spieltrieb voll durch«, erklärt er mit einem Lächeln.
»mUltimo« ist ein Kunstwort. Es steht für Multimodalität, also einen Computer, der sich auf verschiedene Arten – Modalitäten – bedienen lässt. Mindestens drei dieser »Modalitäten« sind eigene Entwicklungen: Blickverfolgung, Kopfbeobachtung und Handsteuerung, oder im besten Computerdeutsch: gaze-, head- und handtracking. Das »Ultimo« ist auch nicht ganz zufällig im Projekttitel versteckt, versuchen die Berliner Forscher doch, ganz bescheiden, ein perfekt und intuitiv bedienbares Gerät zu entwickeln.
Das Herzstück aber sind die dreidimensionalen Bilder. Hier griffen die Ingenieure teilweise auf bestehende Technik zurück, etwa den Linsenraster. »Der funktioniert wie die gute alte Wackelkarte«, erläutert der Projektleiter. Etwa eintausend senkrecht angeordnete Linsenstäbe über dem Monitor sorgen dafür, dass jedes Auge ein leicht verschobenes Bild erhält. Das Gehirn verbindet beide zu einem dreidimensionalen Objekt. Damit es das kann, sind der richtige Blickwinkel und der korrekte Abstand zum Monitor wichtig. Hier setzten Dr. Pastoor und sein Team an: Eine kleine, im Bildschirm integrierte Kamera verfolgt jede Kopfbewegung des Nutzers. Dreht er sich nach links, folgt ihm Monitor, senkt er den Kopf – etwa um zu nicken – dann nickt der motorbewegte Bildschirm ebenfalls.
Klavierspielen ist öde. Mit einem Fingerschnipps gegen die Tasten verschwindet das Instrument in den Tiefen des Raums. Die Erde war doch faszinierender. Das merkt der Computer an meinem Blick und bringt sie ein Stück nach vorn. »Hat ihn!« rief Software-Entwickler Oliver Stachel, als ich vorhin vor dem Monitor Platz nahm. Soll heißen: Das Betriebssystem hat meine Augen erkannt. Was für den Menschen eine Kleinigkeit ist, verlangt dem Computer einiges ab: Ein Gesicht als solches zu identifizieren und schließlich die Augen zu finden. »Im Zweifelsfall hilft kräftiges Zwinkern«, erklärt er. »Am Anfang konnte das Programm kaum zwischen einem Gesicht und einer Melone unterscheiden«, sagt Oliver Stachel trocken. Mittlerweile erkennt die Software Augen sogar unter verschiedenen Lichtbedingungen. Auch schnelle Kopfbewegungen bringen den Rechner nicht mehr aus dem Takt. Und hat er seinen Nutzer doch mal aus den Augen verloren, so findet er ihn in Sekundenbruchteilen wieder.
Dem System entgeht nichts. Wohin ich blicke, da passiert etwas. Suche ich Europa, so dreht sich der Globus vor mir freundlicherweise in die richtige Position. Vier Infrarotleuchten im Monitorgehäuse projizieren harmlose Punkte auf mein Auge. Anhand der Position der Pupille zu den Punkten weiß das Programm jederzeit, welchem Objekt auf dem Schirm meine Aufmerksamkeit gilt. Und es reagiert darauf, mit erstaunlicher Präzision: Höchstens um ein Grad weicht der vom Computer berechnete Blickpunkt vom tatsächlichen ab – für fast alle Anwendungsbereiche eine vernachlässigenswerte Ungenauigkeit.
Auf die andere Seite des Globus’ gelange ich nicht allein mit Blicken – die Hand muss erneut helfen. Ein leichter Fingertipp bringt die Erde zum Drehen, ein erneuter hält sie an der richtigen Stelle an. Ich bin beeindruckt, Siegmund Pastoor ist stolz: »Die Fingerverfolgung war eine der härtesten Nüsse, die wir knacken mussten.« Das Prinzip ist der Blickverfolgung ähnlich, aber wesentlich komplexer. »Die Pupille ist für den Rechner nur eine Scheibe, die sich auf wenigen Zentimetern bewegt«, so Pastoor. Die Hand aber ist stets dreidimensional und durch ihre Drehbarkeit und vielen Fingerstellungen unglaublich vielgestaltig. Harte Arbeit also für die Software-Ingenieure des elfköpfigen Teams.
Zwei Infrarotkameras – technisches Gegenstück des menschlichen Augenpaars – im oberen Teil der Tastatur ermitteln die Position der Hand im Raum. Das Betriebssystem muss nun aus den zwei Bildern die Gesten lesen. Für grobe Merkmale – geöffnete oder geschlossene Hand, Richtung der Finger – funktioniert das bereits. Es genügt, um Objekte zu aktivieren, sie zu verschieben oder ihre Größe zu ändern. Es genügt auch, unbeholfen Beethoven zu spielen oder den Globus anzuhalten. Einen virtuellen Knoten binden kann man damit aber noch nicht.
Das ist ein kleiner Nachteil der Berühungslosigkeit des Systems. Dafür muss sich niemand mehr unter Datenhelme oder in Datenhandschuhe zwängen. Virtuelle Realität findet im Heinrich-Hertz-Institut ohne Schweißperlen oder aufwändige Anpassungen an den Körper des Nutzers statt. Andererseits erzeugen die vier Kameras mit je 25 Bildern pro Sekunde auch einen gewaltigen Datenstrom, der möglichst verzögerungsfrei ausgewertet werden soll. Eigens dafür verrichtet im Technikraum ein Supercomputer seinen Dienst: Die Graphikstation Onyx 2 von Silicon Graphics ist mit rund 13 Millionen berechneter Flächen (Polygone) pro Sekunde der Wunschtraum jedes Computerfreaks.
Heißt das, der mUltimo 3D wird auf absehbare Zeit nur in den Studios professioneller Architekten und Konstrukteure zu finden sein? »Keineswegs! Einzelne Elemente wie die Kopf- und Augensteuerung lassen sich problemlos an heutigen PCs einsetzen«, weiß Siegmund Pastoor. Und da die Computer jährlich um ein Vielfaches schneller werden, könnte schon in wenigen Jahren auf den meisten Schreibtischen ein 3D-System Marke mUltimo stehen.
Bis dahin wären aber noch einige Hürden zu überwinden. Das Betriebssysteme müsste dreidimensional ausgerichtet werden, ein finanzkräftiger Hersteller in die Serienproduktion einsteigen. »Wegen der Krise in der New Economy sind die großen Firmen derzeit vorsichtig mit neuen Projekten«, musste Siegmund Pastoor erfahren. Also ergriff er selbst die Initiative und beteiligte sich an einer Ausgründung namens »PerspectiveTechnologies«. »Allerdings wird das langsam ganz schön viel«, stöhnt der rojektleiter. Koordination, Entwicklung und dann noch Vermarktung machen ihm zu schaffen. Schwer zu glauben bei einem Mann, der dafür sorgt, dass man im leeren Raum Klavier spielen und die Welt mit einem Fingerschnipps zum Stehen bringen kann.