1 Simulation natürlicher SpracheEinsatz von Agentensystemen und neuronalen Netzen in der Computerlinguistik von Martin Pyka

2 Inhalt Einführung in die Problematik Agentensysteme: Talking HeadsNeuronale Netze Sentence Processing Sequentielle Netze Agentensimulationen mit neuronalen Netzen

3 Ansätze der LinguistikDie Problematik Ansätze der Linguistik

4 Anfänge der maschinellen SprachverarbeitungAbbildung möglichst vieler und genauer Regeln der Sprache Grundlage sind grosse Korpora, die von Menschen und/oder von Maschinen untersucht werden Finden eines endlichen Regelsystems, mit denen sich alle Facetten der Sprache nachbilden lassen oftmals reine Symbolverarbeitung nur bedingt lernfähig

5 Nachteile bisher nur sehr spezialisierte oder sehr grobe Simulation möglich keine Abbildung des menschlichen Lernverhaltens kaum oder nur spärliche Weltwissen-Repräsentation Frage nach dem richtigen Weg

6 Aufgaben „A more robust technology can only come from understandinghow language users construct and reconstruct their language as they adapt to the language spoken in their environment and try to keep up with the ever changing communicative challenges arising in their community.“ Luc Steel Aufgaben Betrachtung der historischen Evolution der Sprache Wechselwirkung zwischen Sprecher und Sprache untersuchen

7 Evolutionary LinguisticsSprache als emergente Erscheinung von Kommunikationsprozessen verschiedene Sprecher haben verschiedene Grammatiken die Performanz des Sprechers hängt von seiner Grammatik und von seiner sozialen, geographischen, historischen und interaktiven Rolle in der Kommunikation mit anderen ab es gibt eine Wechselwirkung zwischen Sprache und Sprecher das individuelle Sprachverhalten bestimmt „die“ Sprache die Sprache beeinflusst das Verhalten des Individuums Parallelen in der Natur Evolutionary Linguistics

8 Evolutionary Linguisticsdie Lehre von der Geschichte und den Ursprüngen von Sprache und ihrer Entwicklung Simulationen und künstliche Systeme sind ein wissenschaftliches Instrument zur Analyse sprachlicher Phänomene Erhofft sich Antworten auf die Frage nach dem Ursprung von Sprache, wie sich Sprache verändert, wie Kinder Sprache lernen

9 Die Talking Heads von Luc Steel

10 Was ist eine Population?Was ist ein Agent? Einheit mit internen Zuständen, die die Interaktion mit der Umgebung bestimmen Autonom Distributed (kein Einfluss auf die internen Zustände anderer Agenten) Was ist eine Population? Anzahl von Agenten (fest oder flexibel) Regeln für Nachkommenschaft eine vordefinierte Umgebung, die optional Interaktivität zulässt (also veränderbar ist)

11 Simulation von SpracheEntstehung von Konventionen bezügl. des Lexikons, der Grammatik, der Aussprache und der Bedeutung kann untersucht werden bislang ist es nur möglich einzelne Aspekte der Sprache zu untersuchen könnte zu einer neuen Sprachtheorie führen, die die Population, die Adaption und die Evolution als Teil der Linguistik sieht

12 Bestandteile der Talking Heads SimulationAgenten, die Rollen annehmen (Speaker, Hearer) Magnetsteine auf einem Whiteboard bilden den Kontext Agent kann segmentieren Speaker nennt ein Objekt, Hearer muss darauf zeigen

13 Bestandteile der Talking Heads SimulationAgenten, die Rollen annehmen (Speaker, Hearer) Magnetsteine auf einem Whiteboard bilden den Kontext Agent kann segmentieren Speaker nennt ein Objekt, Hearer muss darauf zeigen

14 Ergebnisse des ExperimentesSynonymie tritt auf die Population kennt zunächst mehrere Begriffe für den selben Gegenstand, schafft es aber, sich auf einen zu einigen

15 Ergebnisse des ExperimentesPolysemie (ein Wort hat mehrere Bedeutungen) tritt auf nach mehreren Naming-Games setzt sich eine weitgehend einheitliche Bedeutung durch

16 Ergebnisse des ExperimentesEine Evolution der Wortformen kann auftreten, wenn der Speaker das Wort nicht genau reproduziert und der Hearer das Wort nicht genau versteht

17 Schlussfolgerunge n mit den Talking Heads lassen sich Phänomene der natürlichen Sprache als emergente Erscheinungen erklären Agentensysteme können helfen, die Grundmechanismen der natürlichen Sprachverarbeitung zu erklären bisher können allerdings nur kleinere Aspekte mit Agentensystemen simuliert werden

18 Neuronale Netze Sentence Processing und sequentielle Netze

19 Ansätze zur Sprachverarbeitung mit neuronalen NetzenSentence Processing im Mittelpunkt steht die Zuordnung von Konstituenten eines Satzes zu thematischen Rollen diese Zuordnung unterliegt verschiedenen Kriterien bzw. Beschränkungen (constraints) das Netz soll die Rollen der Wörter anhand der kontextuellen Informationen bestimmen und Verbrahmen mit semantisch spezifizierten Argumentmustern ausfüllen bei unbekannten Wörtern soll durch die Generalisierungsfähigkeit des Netzes eine entsprechend wahrscheinliche Zuordnung stattfinden

20 Beispielsatz The boy broke the window. The stone broke the window. The boy hat die Rolle des Agens  The rock hat die Rolle des Instrument

21 Arbeitsweise dem Netz können folgende Oberflächenstrukturen übergeben werden: Subjekt Prädikat Subjekt Prädikat Objekt Subjekt Prädikat Objekt Präpositionalphrase Jedes Wort wird durch einen binären Merkmalsvektor codiert (sogenannte Microfeatures) für Nomen: HUMAN, SOFTNESS, GENDER etc. für Verben: DOER, CAUSE, TOUCH Ein Microfeature kann die Werte 1, ? oder 0 haben

22 Arbeitsweise das Netz soll als Ausgabe die Kasusstruktur des Satzes wiedergeben Beispiel: The boy broke the window with the hammer. Oberflächenstruktur: Subjekt Prädikat Objekt Präpositionalphrase Kasusstruktur: Broke Agent Boy Broke Patient Window Broke Instrument Hammer

23 Arbeitsweise Innerhalb der Trainingsphase wird ein Korpus an Sätzen generiert Das Netz wird durch überwachtes Lernen mittels der Delta-Regel trainiert Es wird eine probabilistische Aktivierungsfunktion und ein modifizierbarere Schwellenwert benutzt Nach 50 Trainingszyklen hatte das Netz eine Entscheidungssicherheit von 98,5% The dog broke the plate. dog ist Agens, plate ist Patiens The hammer broke the vase. hammer ist Instrument The plate broke. plate ist Patient. → Semantik geht vor Satzstellung

24 Sind beide Argumente eines Verbrahmens semantisch gleichwertig, bestimmt die Satzstellung die Zuweisung der jeweiligen Rolle The boy hit the girl The girl hit the boy Die erste NP wird als Agens interpretiert Bei unvollständigen Eingabesätzen zeigte das Modell die Tendenz, fehlende Rollen zu ergänzen The boy broke. Die ausgebenene Kasusstruktur zeigte ein Objekt mit den Microfeatures NONHUMAN, NEUTER, FRAGILE The man moved. man kann sowohl Agens als auch Patiens sein

25 Arbeitsweise The chicken ate the carrot.The man ate the chicken with the fork. Das Netz erkennt im ersten Satz chicken als lebendes Objekt und im zweiten Satz als gekochtes Objekt an. Schwächen im System The lion ate the chicken. 1) The wolf ate the chicken. 2) In 1) wird chicken als living-chicken in 2) jedoch als cooked- chicken gesehen (Generalisierung, da ate öfter mit cooked- chicken in Verbindung gebracht wird)

26 Auflösung von AmbiguitätenThe bat broke the window. The bat wird als Agens und als Instrument gesehen was mit der semantischen Mehrdeutigkeit, dem Fehlen an Kontextwissen und den vorhandenen Trainingsdaten zusammenhängt The ball broke the vase Ball wird durch das Microfeature hard codiert, obwohl es eigentlich durch soft beschrieben wurde. Grund: Alle Instrumente im Kontext „brechen“ besitzen das Merkmal hard

27 Auflösung von Ambiguitäten (Creative Errors)The doll moved. Es wurden die Rollen Agens und Patiens aktiviert. Grund: Das Auftreten von moved setzte im Trainingskorpus immer ein belebtes Agens vorraus. Unbelebte Objekte (wie doll) hatten immer die Rolle des Patiens.

28 Sequentielle Netze Aufbau des Netzes Ausgabeschicht ZwischenschichtVon der KS zur ZS gibt es vollverbindungen Eingabeschicht Kontextschicht begrenztes zeitliches Gedächtnis Daten werden aus der ZS in die KS über 1:1 Verbindungen kopiert Elman (1990)

29 Beschreibun g es werden dem Netz Buchstaben als Sequenzen von 5-Bit- Vektoren ohne trennende Elemente eingegeben 5 Elemente in der Eingabe- und Ausgabeschicht sowie 20 Elemente in der Zwischen- und Kontextschicht Das Netz wurde aus einem mit 15 Wörtern bestehenden Lexikon mit 200 Sätzen unterschiedlicher Länge trainiert (keine Trennzeichen) das Netz wurde darauf trainiert, den nächsten Buchstaben vorherzusagen

30 Ergebni s Unsicherheit des Systems bei der Vorhersage des nächsten Buchstaben nimmt mit jedem weiteren Buchstaben eines Wortes ab y m a n y y e a r s a g o x Das Ergebnis drückt keine kategorialen Zustände aus, sondern reflektiert das graduelle Auftreten der einzelnen Buchstaben in einer Folge Informationen lassen sich aus einer Eingabekette also auch ohne Zuhilfenahme von Kategorien extrahieren

31 Weiteres Experiment Annahme: die Satzoberfläche ist der einzige für den Hörer zugängliche Input. Die Struktur der Eingabekette ist implizit in dieser Oberfläche enthalten. (generative Grammatik setzt eine zweite Struktureben vorraus) es wird ein Korpus von Trainingssätzen aus 29 lexikalischen Einheiten generiert ( z.B.: man, woman, cat, see, eat, etc.), die unter Kategorien, wie NOUN-HUMAN, NOUN-ANIM, VERB- INTRAN oder VERB-EAT eingeordnet sind. Satzgenerator erzeugt aus vorgegebenen Mustern Zwei- und Drei-Wort-Sätze Beispiel-Muster: NOUN-HUM VERB-EAT NOUN-FOOD man eat cookie

32 Weiteres Experiment jedes Wort wird durch einen einzelnen 31-Bit-Vektor repräsentiert alle Sätze werden zu einer Kette mit Bit-Vektoren zusammengesetzt Eingabe- und Ausgabeschicht: 31 Einheiten Zwischen- und Kontextschicht: 150 Einheiten das Netz wird darauf trainiert, das nächste Wort vorher zu sagen (über die verallgemeinerte Delta-Regel)

33 Ergebni s Das System war in der Lage interne Repräsentationen über die einzelnen Wortklassen und deren Abfolge zu entwickeln die kategoriale Struktur ist dabei nur implizit in der Struktur der Zwischenschicht enthalten und musste über eine Clusteranalyse nachgewiesen werden es wurde eine Gruppierung der Neuronen sichtbar, bei der z.B. alle Nomen, Verben oder Elemente, die als ANIMATE zu klassifizieren sind, beieinander liegen. die kategorialen Informationen waren nicht expliziter Bestandteil des Trainingskorpus, sondern implizit durch die automatische Generierung des Korpus vorgegeben.

34 Agentensimulation mit neuronalen Netzen

35 Agentensimulation mit neuronalen NetzenAnnahmen Sprache entsteht durch bestimmte Basisfähigkeiten, ein lokalisierbarer Sprachapparatus ist uns nicht in die Wiege gelegt Wortarten, Morphemarten sind emergente Erscheinungen, die aus der Notwendigkeit zur komplexen Kommunikation entstehen Die Anwendung von Sprache setzt Weltwissen vorraus bzw. Konzepte über Objekte und deren Eigenschaften in der Welt  Fähigkeit zur Mustererkennung Das Entstehen von Sprache setzt die Fähigkeit vorraus, die Umwelt wahrzunehmen UND in ihr komplexe Interaktionen durchführen zu können Die Sprachfähigkeit kann nur erlernt, aber nicht durch endliche Dateneinträge eingegeben werden zum zweiten Punkt: darauf anspielen, dass wir mustererkennende Wesen sind und uns genau diese Fähigkeit hinderlich ist, wenn es darum geht, Strukturen hinter diesen scheinbaren Mustern zu erkennen umgekehrt hingegen brauchen die Agenten die Fähigkeit zur Mustererkennung, um Strukturen im gehörten erkennen zu können zum vierten Punkt: es gibt Forscher, die zu der Überzeugung gelangt sind, dass die Hand einen ganz entscheidenden Einfluss auf die Entwicklung der Sprache hatte.

36 Die entscheidenden FragenWie weit lässt sich die Komplexität der Welt und des Menschen reduzieren, so dass Sprache immer noch entstehen kann? In wie weit hängt die Entstehung von Sprache von den interaktiven Möglichkeiten eines Agenten ab? Welche Form der Basisintelligenz muss ein Agent besitzen? Was motiviert Sprache? Welchen Antrieb hat ein Agent mit anderen Kommunizieren zu wollen? Wie entsteht ein Bewusstsein dafür, dass ein Symbol für ein Konzept steht? 2. Frage: frage, ob wir Agenten brauchen, die Dinge in die Hand nehmen können, komplex sehen können? 4. Frage: Frage nach der Gesellschafts- und Kulturbildung von Agenten

37 Herausforderungen von der oberflächlichen Komplexität ausgehend nach Basisfähigkeiten suchen, die sich im kleinen Rahmen simulieren lassen Sprachspiele bzw. Aufgaben konstruieren, die auf die erfolgreiche Simulation von sprachlichen Phänomenen abzielen Erkenntnisse der Sprachentstehung aus vielen unterschiedlichen Disziplinen mit einbeziehen (Biologie, Psychologie, Linguistik, Neuroinformatik, Soziologie, etc.) sich nicht zu viel vornehmen!!!

38 Grobe Idee Agenten, die jeweils mit einem neuronalen Netz ausgestattet sind, interagieren miteinander Es soll gezeigt werden, dass die Entstehung von Grammatik, die Syntaxbildung auf emergente Weise geschieht Ein Agent besitzt dabei Sensoren (kognitive Fähigkeiten) und Nerven (körperliche Fähigkeiten), mit denen er seine Umwelt wahrnehmen kann und sich in ihr bewegen kann Zu den Sensoren und Nerven zählen auch sowas wie Ohren und Sprechorgan, durch die eine Form der Kommunikation stattfinden kann

39 Grobe Idee Agenten müssen erst heraus finden, dass die Signale, die sie über dieses Sprechorgan raus senden, die Umwelt beeinflusst und sich damit gezielt Reaktionen hervorrufen lassen das Beispiel mit dem sequentiellen Netz zeigte, dass neuronale Netze in der Lage sind, Muster zu erkennen und automatisch zu gruppieren. Wie kann dieses System in einer Agentensimulation eingesetzt werden?

40 Hauptziel Agenten entwicklen die Fähigkeit, Symbole mit Konzepten zu verbinden und auf Basis von Symbolverarbeitung zu handeln Teilziele: Agenten können in der Masse an Eingabesignale bestimmte Muster erkennen und wieder erkennen. Diese Muster werden in irgendeiner Form mit selbst erstellten Signalen in Verbindung gebracht. Die Frage ist, wie können die Agenten in der Lage sein, selbst Signale zu entwickeln, die dann die von ihnen erkannten Muster reizen und damit aktiv werden lassen!?

41 Wie muss das neuronale Netz aussehen?Vorraussetzung dafür ist eine Agentensimulation, in der die Agenten bestimmte Ziele verfolgen (Überleben?) und ebenfalls auf emergente Weise erkennen, dass sie dafür andere Agenten brauchen. Wie muss das neuronale Netz aussehen? was ist mit der Plastizität des Gehirns? Darauf kommen, dass das Denken mit Symbolen, im Prinzip dem entspricht, was wir gemein hin als Bewusstsein bezeichnen....

42 Theorie Bewußtsein ist die Fähigkeit, selbst produzierte Sprachakte wahrnehmen und auswerten zu können, als wenn sie jemand anders gesagt hätte. Diese selbst produzierten Sprachakte müssen nicht hörbar artikuliert werden, sondern können „simuliert“ werden. Sie werden trotzdem als Eingabe weiter verwendet. wie