Um die Kriterien, die bei der Evaluation berücksichtigt werden sollen, zunächst einmal abzustecken, laden wir die an einem solchen Workshop Interessierten zu einem Planungstreffen ein. Dieses Treffen findet am

                                Freitag, den 30. Januar 1998
                                von 10.00 Uhr bis 16.00 Uhr
                                am IAI in Saarbrücken,
                                Martin-Luther-Str. 14

statt.

Wir bitten alle, die an dem Planungstreffen sowie an dem Evaluationsworkshop interessiert sind, für den bisher noch kein Termin festgelegt wurde, um umgehende Rückmeldung, ob Sie am 30.01.1998 an der Veranstaltung teilnehmen werden. Auch Anregungen zur inhaltlichen Gestaltung des Planungstreffens sind sehr willkommen.

Für das Treffen ist folgendes Programm vorgesehen:
 

10.00 Uhr	Hans Haller/Uta Seewald:  Begrüßung der Teilnehmer der Veranstaltung am IAI,  Martin-Luther-Str. 14,  66111 Saarbrücken,  Tel. (0681) 389510
Präsentation durchgeführter Evaluationen von MÜ-Systemen oder einzelner Aspekte solcher Systemevaluationen
10.00 - 10.15 Uhr	Uta Seewald (Universität des Saarlandes/Universität Hannover):  Kurze thematische Einleitung mit Bezug auf den Vergleich kommerzieller Systeme aus dem Jahr 1995 und der Konzeption eines parametrisierten Evaluationsverfahrens
10.15 - 10.30 Uhr	Martin Volk (Universität Zürich):  Ergebnisse der Züricher Projekte zur Evaluation kommerzieller MÜ-Systeme
10.35 - 10.50 Uhr	Rita Nübel (IAI, Saarbrücken):  Evaluation von LOGOS und Verbmobil
10.55 - 11.10 Uhr	Rüdiger Klem (Universität Münster):  Vorarbeiten zur Evaluation von LOGOS und T1
11.15 - 11.30 Uhr	Simone Wagner (Universität Gießen):  Linguistic Evaluation Criteria for the Performance of Machine Translation Systems
11.35 - 11.50 Uhr	Judith Klein und Sabine Lehmann (DFKI, Saarbrücken):  Evaluation im Rahmen des Projekts DiET
11.55 - 12.10 Uhr	Ursula Bernhard (GMD):  Bemerkungen zur Evaluation maschineller Übersetzungssysteme aus Anwendersicht
12.15 -12.30 Uhr	Resümee und gedankliche Vorbereitung auf die Diskussion am Nachmittag zur  Erarbeitung eines Kriterienkatalogs zur Durchführung der Evaluation kommerziell vertriebener sowie in der Forschung entwickelter und eingesetzter MÜ-Systeme
12.30 - 13.30 Uhr	Mittagessen  (im Restaurant "Blue Moon")
13.30 - 16.00 Uhr	Fortsetzung der Arbeit am Kriterienkatalog zur Durchführung der Evaluation und Verabschiedung des erarbeiteten Katalogs.
16.00 Uhr	Abreise

 

Da es sich bei den auf dem Markt verfügbaren MÜ-Systemen sowie den MÜ-Forschungssystemen um in ihrem
Leistungsspektrum sehr unterschiedliche Systeme handelt, die bereits von Entwicklerseite verschiedenen Ansprüchen
genügen, gehen wir davon aus, daß ein Kriterienkatalog zur Durchführung der Evaluation ein parametrisiertes
Evaluationsverfahren zum Ziel haben sollte, bei dem einzelne Testparameter gegebenenfalls in unterschiedlicher
Gewichtung eingehen werden.

Diskussionsgegenstände für die Erarbeitung des Kriterienkatalogs:

•      Existieren relevante Kriterien, die sowohl auf kommerzielle als auch auf Forschungssysteme angewendet werden
•      können?
•      Inwieweit spielt die Verarbeitungsgeschwindigkeit eine Rolle?
•      Wie soll Übersetzungsqualität spezifiziert werden?
•      Wie wird die Ausgabequalität bemessen und der damit verbundene Posteditionsaufwand?
•      Beurteilung der Erweiterbarket von MÜ-Systemen. Erörterung von Tests mit terminologisch und phraseologisch
•      nicht aufbereiteten ("leeren") Systemen im Vergleich zu Tests mit denselben Systemen nach Durchlauf einer
•      Preprocessing-Phase.

•     Festlegung auf bestimmte Fachtexte oder Textsorten?
•     Ist die Einbeziehung konstruierter Testtexte sinnvoll oder nicht?
•     Müssen textlinguistische bzw. textsortenspezifische syntaktische Besonderheiten einzeln berücksichtigt werden?
•     Falls ja, müssen diese Phänomene bezogen auf einen Einzeltext vorab quantifiziert werden, um sie mit entsprechender
•     Gewichtung beim Evaluationsergebnis zu berücksichtigen?

•      Soll die eigentliche Evaluation der MÜ-Systeme im Rahmen des geplanten, aber zeitlich bislang nicht determinierten
•      Evaluations-Workshops durchgeführt werden (vergleichbar mit der MORPHOLYMPICS, der Evaluation der
•      morphologischen Parser für das Deutsche), oder soll der Evaluationsworkshop lediglich die Darstellung der
•      Ergebnisse zum Gegenstand haben?
•      Welche vorbereitenden Maßnahmen zur Durchführung der Evaluation können auf dem Wege der elektronischen
•      Diskussion erfolgen (Email und Web-Seiten)?
•      Festlegung eines Termins für den Evaluationsworkshop.

Uta Seewald-Heeg

http://www.heeg.de/~uta
e-mail: seewald@heeg.de
 

Stand: 29. Januar 1998