Distributionelle Semantik
Kursbeschreibung
| Dozenten/-innen | Matthias Hartung |
| Veranstaltungsart | Hauptseminar |
| Zeit und Ort | Mo, 16:15 - 17:45, INF 325 / SR 24 (SR) |
| Studiengang | Magister, ABA, MA, NBA |
| Modul-Kürzel | ABA: V01; MA: SS-CL, SS-TAL; NBA: AS-CL |
| Leistungsbewertung | ABA: 6 LP MA: 8 LP NBA: 8 LP |
Teilnahmevoraussetzungen
- Formale Grundlagen
- Formale Semantik
- Statistik
Elementare Kenntnisse in linearer Algebra sind von Vorteil, aber nicht zwingend erforderlich. Zur Auffrischung derartiger Vorkenntnisse wird der Besuch des Mathematischen Vorkurses empfohlen.
Leistungsnachweis
Referat, Hausarbeit, Erwerb von "Activity Points" im Laufe des Semesters
Inhalt
Distributionelle Semantik ist eine aktuelle Forschungsrichtung innerhalb der Computerlinguistik und ihrer Nachbardisziplinen (Kognitionswissenschaft, Psychologie), die auf der "distributionellen Hypothese" (Harris 1951) als Grundannahme basiert. Demnach besteht eine Korrelation zwischen der Bedeutungsähnlichkeit linguistischer Einheiten (Wörter, Phrasen) und der Ähnlichkeit ihrer Verteilung über bestimmte sprachliche Kontexte, die aus empirischen Korpora gewonnen werden.
Im Unterschied zu symbolischen Bedeutungsrepräsentationen, wie sie aus der formalen Semantik bekannt sind, wird Wortbedeutung aus dem Blickwinkel der distributionellen Semantik mittels sog. Kontextvektoren repräsentiert, die die statistische Verteilung des Wortes über relevante sprachliche Kontexte erfassen. Mittels gängiger Verfahren aus der linearen Algebra können aus derartigen Kontextvektoren z.B. die semantische Ähnlichkeit zwischen einzelnen Wörtern oder die Bedeutung komplexer Phrasen berechnet werden.
Verfahren der distributionellen Semantik kommen beispielsweise in Suchmaschinen zum Einsatz, da sie im Umgang mit großen Datenmengen sehr effizient sind. Die Frage, wie viel und welche Art von linguistischem Wissen sich in derartigen Modellen erfassen lässt, ist Gegenstand einer Vielzahl von aktuellen Forschungsarbeiten, mit denen wir uns im Seminar auseinander setzen werden.
Kursübersicht
Seminarplan
| Datum | Sitzung | Referent/in | Literatur, Materialien |
| 19.04. | Einführung | MHa | |
| 26.04. | Organisatorisches: Themenvergabe | MHa | |
| 03.05. | Distributionelle Hypothese, Strukturalismus | Eva | Sahlgren (2008) |
| 10.05. | Grundbegriffe, mathematische Grundlagen | Benjamin, Tetyana (kurz) | Turney & Pantel (2010), Widdows (2003) |
| 17.05. | fällt aus (Konferenzreise) | ||
| 24.05. | fällt aus (Feiertag) | ||
| 31.05. | Wort-basierte Vektorraummodelle | Tetyana, Eva (kurz) | Sahlgren (2006) |
| 07.06. | Pattern-basierte Vektorraummodelle | Katharina (kurz) | Turney (2008) |
| 14.06. | Dependenz-basierte Vektorraummodelle | Svetlana, Britta (Disk.) | Pado & Lapata (2007) |
| 21.06. | Kompositionelle Semantik in Vektorraummodellen | Samuel, Britta (kurz) | Mitchell & Lapata (2008, 2009), Widdows (2008) |
| 28.06. | Topic Models | Katharina (+Demo) | Steyvers & Griffiths (2007) |
| 05.07. | Prädikation | Britta, Johannes (Disk.), Samuel (Demo) | Kintsch (2001) |
| 12.07. | Tensoren | Johannes | van de Cruys (2009) |
| 19.07. | Modellierung von Typen und Merkmalen | Rebecca | Baroni et al. (2010) |
Aufgaben
Activity Points
- Kurzvortrag zu Pustejovsky (2000): Tetyana Keyvan
- Kurzvortrag zu Lin (1998): Eva Mujdricza-Maydt
- Kurzvortrag zu Turney (2008): Katharina Wäschle
- Kurzvortrag zu Lin & Pantel (2001): Britta Zeller
Literatur
- Baroni, Marco, B. Murphy, E. Barbu & M. Poesio (2010): Strudel. A Corpus-based Semantic Model based on Properties and Types, in: Cognitive Science 34 (2): 222-254
- Baroni, Marco & Alessandro Lenci (2009): One Distributional Memory, Many Semantic Spaces, in: Proc. of the EACL Workshop on Geometrical Models of Natural Language Semantics. Athens, Greece: 1-8.Italian Journal of Linguistics 20 (1): 55-88. (auf Anfrage beim Kursleiter erhältlich).
- Blei, David M., Andrew Y. Ng & Michael I. Jordan (2003): Latent Dirichlet Allocation, in: Journal of Machine Learning Research 3: 993-1022.
- Clark, Stephen & Stephen Pulman (2007): Combining Symbolic and Distributional Models of Meaning, in: Proc. of AAAI.
- Clarke, Daoud (2009): Context-theoretic Semantics for Natural Language. An Overview, in: Proc. of the EACL Workshop on Geometrical Models of Natural Language Semantics. Athens, Greece: 112-119.
- Cohen, Trevor & Dominic Widdows (2009): Empirical Distributional Semantics. Methods and Biomedical Applications, in: Journal of Biomedical Informatics 42: 390-405.
- Erk, Katrin (2007): A Simple, Similarity-based Model for Selectional Preferences, in: Proc. of the 45th Annual Meeting of the ACL. Prague, Czech Republic: 216-223.
- Erk, Katrin (2008): Supporting Inferences in Semantic Space. Representing Words as Regions, in: Proc. of IWCS.
- Erk, Katrin & Sebastian Pado (2008): A Structured Vector Space Model for Word Meaning in Context, in: Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP).
- Erk, Katrin & Sebastian Pado (2009): Paraphrase Assessment in Structured Vector Space. Exploring Parameters and Datasets, in: Proceedings of the EACL Workshop on Geometrical Methods for Natural Language Semantics (GEMS).
- Kintsch, Walter (2001): Predication, in: Cognitive Science 25: 173-202.
- Lenci, Alessandro, Simonetta Montemagni & Vito Pirrelli (2006): Acquiring and Representing Meaning. Theoretical and Computational Perspectives, in: dies. (Hrsg.): Acquisition and Representation of Word Meaning. Theoretical and Computational Perspectives. Istituti Editoriali e Poligrafici Internazionali. Pisa: 19-66.
- Lenci, Alessandro (2008): Distributional Semantics in Linguistic and Cognitive Research, in: Italian Journal of Linguistics 20 (1): 1-31. (auf Anfrage beim Kursleiter erhältlich).
- Lin, Dekang (1998): Automatic Retrieval and Clustering of Similar Words, in: Proceedings of the 36th Annual Meeting of the Association for Computational Linguistics and the 17th International Conference on Computational Linguistics (COLING-ACL 98): 768-774.
- Lin, Dekang & Patrick Pantel (2001): DIRT. Discovery of Inference Rules from Text, in: Proc. of ACM SIGKDD Conference on Knowledge Discovery and Data Mining: 323-328.
- Manning, Christopher D., Prabhakar Raghavan & Hinrich Schütze (2008): Introduction to Information Retrieval. Cambridge University Press. (online verfügbar)
- Martin, Dian I. & Michael W. Berry (2007): Mathematical Foundations Behind Latent Semantic Analysis, in: Landauer, Thomas et al. (eds.): Handbook of Latent Semantic Analysis. London: 35-55.
- Mirkin, Shachar, Ido Dagan & Maayan Geffet (2006): Integrating Pattern-based and Distributional Similarity Methods for Lexical Entailment Acquisition, in: Proc. of COLING/ACL 2006.
- Mitchell, Jeff & Mirella Lapata (2008): Vector-based Models of Semantic Composition, in: Proc. of ACL-08: 236-244.
- Mitchell, Jeff & Mirella Lapata (2009): Language Models Based on Semantic Composition, in: Proc. of EMNLP: 430-439.
- Pado, Sebastian & Mirella Lapata (2007): Dependency-based Construction of Semantic Space Models. Computational Linguistics 33(2), 161-199.
- Pustejovsky, James (2000): Syntagmatic Processes, in: D.A. Cruse et al. (eds.): Handbook of Lexicology and Lexicography. Berlin, Mouton de Gruyter: 498–506.
- Rothenhäusler, Klaus & Hinrich Schütze (2007): Part of Speech Filtered Word Spaces, in: Baroni, Marco et al. (eds.): Proc. of the Workshop on Contextual Information in Semantic Space Models. Beyond Words and Documents. Computer Science Research Report 116, Roskilde University: 25-32.
- Rothenhäusler, Klaus & Hinrich Schütze (2009): Unsupervised Classification with Dependency Based Word Spaces, in: Proceedings of the EACL Workshop on Geometrical Models of Natural Language Semantics. Athens, Greece: 17-24.
- Sahlgren, Magnus (2006): The Word-Space Model. Using Distributional Analysis to Represent Syntagmatic and Paradigmatic Relations Between Words in High-Dimensional Vector Spaces. Ph.D. Dissertation. Department of Linguistics, Stockholm University.
- Sahlgren, Magnus (2008): The Distributional Hypothesis, in: Italian Journal of Linguistics 20 (1): 33-54.
- Schütze, Hinrich (1992): Dimensions of Meaning, in: Proceedings of Supercomputing.
- Steyvers, Mark & Tom Griffiths (2007): Probabilistic Topic Models, in: Landauer, Thomas et al. (eds.): Handbook of Latent Semantic Analysis. London.
- Turney, Peter D. (2006): Similarity of Semantic Relations, in: Computational Linguistics 32 (3): 379-416.
- Turney, Peter D. (2007): Empirical Evaluation of Four Tensor Decomposition Algorithms. Technical Report ERB-1152. Institute for Information Technology, National Research Council of Canada.
- Turney, Peter D. (2008): The Latent Relation Mapping Engine. Algorithm and Experiments, in: J. of Artificial Intelligence Research 33: 615-655.
- Turney, Peter D. & Patrick Pantel (2010): From Frequency to Meaning. Vector Space Models for Semantics, in: Journal of Artificial Intelligence Research 37: 141-188.
- van de Cruys, Tim (2009): A Non-negative Tensor Factorization Model for Selectional Preference Induction, in: Proc. of GEMS-09: 83-90.
- Widdows, Dominic (2003): Geometry and Meaning. CSLI Publications, Stanford.
- Widdows, Dominic (2008): Semantic Vector Products. Some Initial Investigations, in: Proceedings of the Second AAAI Symposium on Quantum Interaction. College Publications, London.
- Widdows, Dominic & Stanley Peters (2003): Word Vectors and Quantum Logic. Experiments with Negation and Disjunction, in: Proc. of Mathematics of Language 8.
- Zhitomirsky-Geffet, Maayan & Ido Dagan (2009): Bootstrapping Distributional Feature Vector Quality, in: Computational Linguistics 35 (3): 435-461.
Die Literaturliste wird während des Seminars laufend erweitert.
