Distributionelle Semantik
Kursbeschreibung
| Studiengang | Modulkürzel | Leistungs- bewertung |
|---|---|---|
| BA-2010 | AS-CL | 8 LP |
| NBA | AS-CL | 8 LP |
| Master | SS-CL, SS-TAC | 8 LP |
| Magister | - | - |
| Dozenten/-innen | Matthias Hartung |
| Veranstaltungsart | Hauptseminar |
| Erster Termin | 03.05.2012 |
| Zeit und Ort | Do, 11:15–12:45, INF 325 / SR 24 (SR) |
Teilnahmevoraussetzungen
- Formale Grundlagen
- Formale Semantik
- Statistik
Leistungsnachweis
- Referat
- Hausarbeit
- Erwerb von "Activity Points" im Laufe des Semesters
Inhalt
Distributionelle Semantik ist eine aktuelle Forschungsrichtung innerhalb der Computerlinguistik und ihrer Nachbardisziplinen (Kognitionswissenschaft, Psychologie), die auf der "distributionellen Hypothese" (Harris 1951) als Grundannahme basiert. Demnach besteht eine Korrelation zwischen der Bedeutungsähnlichkeit linguistischer Einheiten (Wörter, Phrasen) und der Ähnlichkeit ihrer Verteilung über bestimmte sprachliche Kontexte, die aus empirischen Korpora gewonnen werden.
Im Unterschied zu symbolischen Bedeutungsrepräsentationen, wie sie aus der formalen Semantik bekannt sind, wird Wortbedeutung aus dem Blickwinkel der distributionellen Semantik mittels sog. Kontextvektoren repräsentiert, die die statistische Verteilung des Wortes über relevante sprachliche Kontexte erfassen. Mittels gängiger Verfahren aus der linearen Algebra können aus derartigen Kontextvektoren z.B. die semantische Ähnlichkeit zwischen einzelnen Wörtern oder die Bedeutung komplexer Phrasen berechnet werden.
Verfahren der distributionellen Semantik kommen beispielsweise in Suchmaschinen zum Einsatz, da sie im Umgang mit großen Datenmengen sehr effizient sind. Die Frage, wie viel und welche Art von linguistischem Wissen sich in derartigen Modellen erfassen lässt, ist Gegenstand einer Vielzahl von aktuellen Forschungsarbeiten, mit denen wir uns im Seminar auseinander setzen werden.
Kursübersicht
Seminarplan
| Datum | Sitzung | Referent/in | Literatur | Materialien |
| 03.05. | Einführung | MHa | Folien | |
| 10.05. | Mathematische Grundlagen, Konstituierung | MHa | Folien | |
| 24.05. | Word Spaces | Hans-Martin Ramsl | Lund & Burgess (1996) | Folien |
| 31.05. | Pattern Spaces Dependency Spaces |
Frank Marczewski (kurz) MHa |
Turney (2008) Pado & Lapata (2007) |
Folien Folien |
| 14.06. | Tensoren, Distributional Memory | Frank Marczewski | Baroni & Lenci (2010) | Folien |
| 21.06. | Word Meaning in Context (I) | Benjamin Heinzerling | Erk & Pado (2008, 2009) | Folien |
| 28.06. | Word Meaning in Context (II) Latent Dirichlet Allocation |
Julian Bastow Hans-Martin Ramsl (kurz) |
Thater et al. (2011) Blei et al. (2003) |
Folien |
| 05.07. | Kompositionalität | Mareike Hartmann Ulzhan Kadirbayeva (kurz) |
Mitchell & Lapata (2010) Baroni & Zamparelli (2010) Grefenstette & Sadrzadeh (2011) |
Folien |
| 12.07. | Strudel Semantic Vectors Package |
Isabelle Augenstein Hans-Martin Ramsl (kurz) |
Baroni et al. (2010) Widdows & Cohen (2010) |
Folien |
| 19.07. | Sprache und visuelle Perzeption | Ulzhan Kadirbayeva | Feng & Lapata (2010), Bruni et al. (2011) | Folien |
| 26.07. | Multi Word Expressions | Maria Semenchuk | Katz & Giesbrecht (2006) | Folien |
Aufgaben
Tools
Literatur
- M. Baroni, B. Murphy, E. Barbu & M. Poesio (2010): Strudel. A Corpus-based Semantic Model based on Properties and Types, in: Cognitive Science 34 (2): 222-254.
- M. Baroni and A. Lenci (2010): Distributional Memory. A General Framework for Corpus-based Semantics. Computational Linguistics 36 (4): 673-721.
- M. Baroni and R. Zamparelli (2010): Nouns are Vectors, Adjectives are Matrices: Representing Adjective-Noun Constructions in Semantic Space, in: Proceedings of EMNLP: 1183-1193.
- M. Baroni, R. Bernardi, N. Do and C. Shan (2012): Entailment Above the Word Level in Distributional Semantics, in: Proceedings of EACL: 23-32.
- D. Blei, A. Ng & M. Jordan (2003): Latent Dirichlet Allocation, in: Journal of Machine Learning Research 3: 993-1022.
- E. Bruni, G.B. Tran and M. Baroni (2011): Distributional Semantics from Text and Images, in: Proceedings of the GEMS Workshop: 22-32.
- A. Copestake and A. Herbelot (ms.): Lexicalised compositionality. Unpublished draft. 2012.
- K. Erk & S. Pado (2008): A Structured Vector Space Model for Word Meaning in Context, in: Proceedings of EMNLP.
- K. Erk & S. Pado (2009): Paraphrase Assessment in Structured Vector Space. Exploring Parameters and Datasets, in: Proceedings of the GEMS Workshop.
- Y. Feng & M. Lapata (2010): Visual Information in Semantic Representation, in: Proceedings of NAACL: 91-99.
- E. Grefenstette & Mehrnoosh Sadrzadeh (2011): Experimental Support for a Categorical Compositional Distributional Model of Meaning, in: Proceedings of EMNLP.
- M. Hartung & A. Frank (2010): A Structured Vector Space Model for Hidden Attribute Meaning in Adjective-Noun Phrases, in: Proceedings of COLING.
- M. Hartung & A. Frank (2011a): Exploring Supervised LDA Models for Assigning Attributes to Adjective-Noun Phrases, in: Proceedings of EMNLP.
- M. Hartung & A. Frank, A. (2011b): Assessing Interpretable Attribute-related Meaning Representations for Adjective-Noun Phrases in a Similarity Prediction Task, in: Proceedings of the GEMS Workshop.
- G. Katz & E. Giesbrecht (2006): Automatic Identification of Non-Compositional Multi-Word Expressions Using Latent Semantic Analysis, in: Proceedings of the Workshop on Multiword Expressions. Identifying and Exploiting Underlying Properties: 12-19.
- A. Lenci, S. Montemagni & V. Pirrelli (2006): Acquiring and Representing Meaning. Theoretical and Computational Perspectives, in: dies. (Hrsg.): Acquisition and Representation of Word Meaning. Theoretical and Computational Perspectives. Istituti Editoriali e Poligrafici Internazionali. Pisa: 19-66.
- A. Lenci (2008): Distributional Semantics in Linguistic and Cognitive Research, in: Italian Journal of Linguistics 20 (1): 1-31.
- D. Lin & P. Pantel (2001): DIRT. Discovery of Inference Rules from Text, in: Proceedings of the ACM SIGKDD Conference on Knowledge Discovery and Data Mining: 323-328.
- K. Lund & C. Burgess (1996). Producing High-dimensional Semantic Spaces from Lexical Co-occurrence, in: Behavior Research Methods, Instrumentation, and Computers 28: 203-208.
- C. Manning, P. Raghavan & H. Schütze (2008): Introduction to Information Retrieval. Cambridge University Press. (online verfügbar)
- D. Martin & M. Berry (2007): Mathematical Foundations Behind Latent Semantic Analysis, in: T. Landauer et al. (eds.): Handbook of Latent Semantic Analysis. London: 35-55.
- J. Mitchell & M. Lapata (2009): Language Models Based on Semantic Composition, in: Proceedings of EMNLP: 430-439.
- J. Mitchell & M. Lapata (2010): Composition in Distributional Models of Semantics, in: Cognitive Science 34: 1388-1429.
- S. Pado & M. Lapata (2007): Dependency-based Construction of Semantic Space Models, in: Computational Linguistics 33(2), 161-199.
- M. Sahlgren (2008): The Distributional Hypothesis, in: Italian Journal of Linguistics 20 (1): 33-54.
- M. Steyvers & T. Griffiths (2007): Probabilistic Topic Models, in: T. Landauer et al. (eds.): Handbook of Latent Semantic Analysis. London.
- P. Turney (2006): Similarity of Semantic Relations, in: Computational Linguistics 32 (3): 379-416.
- P. Turney (2007): Empirical Evaluation of Four Tensor Decomposition Algorithms. Technical Report ERB-1152. Institute for Information Technology, National Research Council of Canada.
- P. Turney (2008): The Latent Relation Mapping Engine. Algorithm and Experiments, in: Journal of Artificial Intelligence Research 33: 615-655.
- S. Thater, H. Fürstenau & M. Pinkal (2011): Word Meaning in Context. A Simple and Effective Vector Model, in: Proceedings of IJCNLP.
- P. Turney & P. Pantel (2010): From Frequency to Meaning. Vector Space Models for Semantics, in: Journal of Artificial Intelligence Research 37: 141-188.
- T. van de Cruys (2010): A Non-negative Tensor Factorization Model for Selectional Preferences, in: Natural Language Engineering 16 (4): 417-438.
- J. Washtell & K. Markert (2009): A Comparison of Windowless and
- Window-Based Computational Association Measures as Predictors of Syntagmatic Human Associations, in: Proceedings of EMNLP: 28-637.
- J. Washtell (2009): Co-dispersion: A Windowless Approach to Lexical Association, in: Proceedings EACL: 861-869.
- J. Weeds, D. Weir & D. McCarthy (2004): Characterising Measures Of Lexical Distributional Similarity, in: Proceedings of COLING.
- D. Widdows (2003): Geometry and Meaning. CSLI Publications, Stanford.
- D. Widdows (2008): Semantic Vector Products. Some Initial Investigations, in: Proceedings of the Second AAAI Symposium on Quantum Interaction. College Publications, London.
- D. Widdows & T. Cohen (2010): The Semantic Vectors Package. New Algorithms and Public Tools for Distributional Semantics, in: Proceedings of the Fourth IEEE International Conference on Semantic Computing.
- S. Wu & W. Schuler (2011): Structured Composition of Semantic Vectors, in: Proceedings of the International Conference on Computational Semantics, Oxford, UK, 2011.
Weitere Literatur wird zu Beginn des Seminars bekannt gegeben.
