Auf einen?

Expertise

  • kognitive Modellierung
  • visuelle Aufmerksamkeit
  • data science

Interessant für

  • Kognitionswissenschaftler*innen
  • Philosoph*innen, die sich mit der Beziehung von Sprache und Welt
    auseinandersetzen
  • Roboterentwickler*innen, die ein Modul für "räumliche Sprache"
    entwickeln wollen

Interview mit Dr. Thomas Terstiege (geb. Kluth)

Thomas Terstiege geb. Kluth hat in Münster und Bremen Informatik mit dem Schwerpunkt künstliche Intelligenz, Kognition, Robotik studiert. Seine Masterarbeit hat ihn dazu motiviert, auf dem Gebiet der kognitiven Modellierung zu promovieren. Im Mai 2019 hat er seine Promotion in Linguistik am "Cognitive Interaction Technology Excellence Cluster" (CITEC) der Universität Bielefeld erfolgreich abgeschlossen. Seitdem widmet er seine Arbeitskraft dem Aufbau einer nachhaltigen Gesellschaft, um die Klimakrise möglichst effektiv zu bekämpfen.

Expertise

  • kognitive Modellierung
  • visuelle Aufmerksamkeit
  • data science

Interessant für

  • Kognitionswissenschaftler*innen
  • Philosoph*innen, die sich mit der Beziehung von Sprache und Welt
    auseinandersetzen
  • Roboterentwickler*innen, die ein Modul für "räumliche Sprache"
    entwickeln wollen
Arthur Höring
Redakteur

Was kann man unter visueller Aufmerksamkeit verstehen und welche Bedeutung haben dabei zu-lokalisierendes-Objekt und Referenzobjekt?

Thomas Terstiege (geb. Kluth)
Doktorand

Aus der psycholinguistischen Forschung wissen wir, dass das Sprachverständnis von Menschen und deren visuelle Aufmerksamkeit eng miteinander verknüpft sind. Visuelle Aufmerksamkeit ist dabei ein Begriff aus der Wahrnehmungspsychologie. Er beschreibt verschiedene Prozesse, die es dem visuellen System erlauben aus dem ständigen Strom von bildlichen Informationen, die auf die Netzhaut einprasseln, die momentan relevanten Informationen herauszufiltern, sodass der Rest des kognitiven Systems entsprechend agieren kann.
Die beiden Begriffe zu-lokalisierendes-Objekt und Referenzobjekt sind hingegen zunächst linguistische Begriffe. Sie dienen als Rollenbeschreibungen z. B. für die Wörter „Rechteck“ und „Punkt“ im Satz „Der Punkt ist über dem Rechteck“. Hier ist das „Rechteck“ das Referenzobjekt, da die Position des zu-lokalisierenden-Objekts, nämlich dem „Punkt“, in Bezug zu diesem Rechteck beschrieben wird.
Psycholinguistische Studien zum Zusammenhang von Sprache und visueller Aufmerksamkeit haben gezeigt, dass Zuhörer in einem Satz beschriebene Objekte, die sich gleichzeitig im sichtbaren Umfeld befinden, meist in der Reihenfolge ihres Auftretens im Satz anschauen. In diesem Fall also vom Punkt zum Rechteck. Interessanterweise nimmt ein einflussreiches Modell aus der Forschung über räumliche Sprache eine genau entgegengesetzte Verschiebung von Aufmerksamkeit an: Vom Rechteck zum Punkt. Die Bedeutung dieser Verschiebung für die Verarbeitung von räumlicher Sprache war der Fokus meiner Arbeit.

Arthur Höring
Redakteur

Du bedienst dich in deiner Arbeit auch computergestützten Modellen zur Verifizierung räumlicher Sprache. Wie funktionieren diese Modelle?

Thomas Terstiege (geb. Kluth)
Doktorand

Alle Modelle haben als Input einen Satz, wie z. B. „Der Punkt ist über dem Rechteck“ und ein entsprechendes Bild, welches in diesem Fall einen Punkt und ein Rechteck zeigen würde. Bei allen Modellen ist der Output eine Akzeptanzbewertung: Wie gut beschreibt der Satz das Bild auf einer Skala von eins bis neun?
Das Grundmodell Attentional Vector Sum, kurz AVS, nimmt eine Verteilung von visueller Aufmerksamkeit auf dem gesamten Referenzobjekt an. Diese Verteilung dient der Gewichtung von Vektoren, die vom Referenzobjekt zum zu-lokalisierenden-Objekt zeigen und somit eine Verschiebung der Aufmerksamkeit nahelegen. Alle gewichteten Vektoren werden zusammenaddiert. Die Größe der Abweichung zwischen dieser Summe und einer Referenzrichtung, in diesem Beispiel also nach oben gerichtet, bestimmt dann die Höhe der Akzeptanzbewertung – also wie gut der Satz das Bild beschreibt.
Die Richtung der Vektorsumme im Grundmodell legt dabei nahe, dass visuelle Aufmerksamkeit vom Referenzobjekt zum zu-lokalisierenden-Objekt verschoben wird. Diese Annahme ist problematisch. Deshalb habe ich verschiedene weitere Modelle entwickelt, die im Gegenzug dazu eine Aufmerksamkeitsverschiebung vom zu-lokalisierenden-Objekt zum Referenzobjekt einbeziehen.

Arthur Höring
Redakteur

Bei der Befragung von Probanden hast du deren Augenbewegung gemessen. Wie hast du das gemacht und zu welchen Ergebnissen hat das geführt?

Thomas Terstiege (geb. Kluth)
Doktorand

In unserem Labor haben wir einen sogenannten Eye-Tracker. Ein solches Gerät misst die Augenbewegungen der Probanden auf einem Computerbildschirm, indem die Infrarotreflektionen der Augen von einer Kamera aufgenommen werden. So lässt sich relativ genau feststellen, an welche Stellen eines Bildes ein Proband schaut. Für meine Stimuli konnte ich die angenommene Aufmerksamkeitsverteilung aller komputationalen Modelle im Großen und Ganzen bestätigen. Außerdem habe ich einige überraschende Befunde zur Verarbeitung von asymmetrischen Referenzobjekten finden können. Statt des Schwerpunkts „center-of-mass“ scheint der geometrische Mittelpunkt „center-of-object“ dieser Objekte eine wichtigere Rolle zu spielen als bisher angenommen, wobei die genaue Rolle noch unklar geblieben ist.

Kontakt aufnehmen

Thomas Terstiege (geb. Kluth)
Auf einen?
du

Na klar, sehr gerne.