Bilder vom Neuenheimer Feld, Heidelberg und der Universität Heidelberg

Lehrveranstaltungen
heiCO
Ressourcen	Fachschaft
Studien-FAQ	Technik-FAQ

Evaluation von NLP-Systemen

Kursbeschreibung

Studiengang	Modulkürzel	Leistungs- bewertung
BA-2010[100%\|75%]	CS-CL	6 LP
BA-2010[50%]	BS-CL	6 LP
BA-2010[25%]	BS-AC, BS-FL	4 LP

Dozenten/-innen	Jakob Schuster
Veranstaltungsart	Proseminar
Sprache	Deutsch
Erster Termin	16.10.2024
Zeit und Ort	Mittwochs, 13:15-14:45, INF 329 / SR 26
Commitment-Frist	tbd.

Teilnahmevoraussetzungen

Programmieren I und Einführung in die Computerlinguistik oder ähnliche Einführungsveranstaltungen
Hilfreich: Mathematische Grundlagen der Computerlinguistik

Leistungsnachweis

Aktive Teilnahme
Seminarvortrag
Ein zweiter Vortrag oder Implementationsprojekt

Inhalt

Die rapiden Fortschritte der letzten Jahre im Bereich NLP sind zu einem großen Teil auf die Verfügbarkeit groß angelegter Evaluationsdaten und den dazugehörigen Metriken zurückzuführen. Diese ermöglichen idealerweise einen objektiven Vergleich verschiedener Systeme, helfen bei der Quantifizierung von Fortschritt und bieten Orientierung für zukünftige Forschung. Da diese Benchmarks jedoch in immer kürzeren Zeiträumen übertroffen werden, liegt es nahe, dass diese Bewertungspraktiken mit der Entwicklung von NLP-Systemen nicht mehr mithalten können.
In diesem Seminar werden wir das Problem der Evaluierung in NLP aus einer breiten Perspektive untersuchen.

Themen des Seminars sind u.a.

Automatische Evaluationsmetriken
Protokolle für manuelle Bewertungen von Outputqualität
Erhebung geeigneter Evaluationsdaten
Fallstricke und bewährte Praktiken in der Evaluation von Ergebnissen
LLM-basierte Evaluation
LLM Benchmarking

Literatur