Die vorgegebene Domäne zeichnet sich abgesehen von unerwarteten Wortkreationen und -kompositionen auch durch elliptische Syntax und hier besonders den Verzicht auf Verben aus.
Das Evaluationsverfahren sollte den Gegebenheiten der Textsorte wie auch der Komplexität des zu untersuchenden Phänomens durch ein differenziertes Bewertungsschema gerecht zu werden.
Über die im Evaluations-Workshop vereinbarten syntagmabezogenen Kriterien hinaus, wurden die 300 Komposita nach morphologischen und syntaktischen Gesichtspunkten klassifiziert und deren Übersetzung unter besonderer Berücksichtigung von Komposition, Wortart, Semantik und Morphologie bewertet. Dies geschah sowohl im natürlichen Kontext von 189 Sätzen als auch durch Einfügen der Komposita in eine simple SPO-Satzstruktur.
Die sechs getesteten Systeme ließen sich nach der Evaluation in drei Gruppen teilen. Vier Systeme (Personal Translator Plus '98 von IBM, SYSTRAN PROfessional für Windows, T1 Professional von Langenscheidt und Logos) erreichen immerhin zwischen 57,9 und 63,6 % der möglichen Punkte, der Power Translator Pro von Globalink erreicht 42,3 %, während Transcend von HEI-Soft nur 26,3 % verbuchen kann.
Diese große Diskrepanz in der Punktwertung liegt in erster Linie daran, daß Transcend so gut wie gar nicht erst versucht, Komposita in der Zielsprache zu bilden. Die einzelnen Teile werden zwar oft richtig übersetzt (in immerhin 30 % aller Fälle ), aber 85 % der Komposita werden nicht als solche erkannt.
Power Translator Pro hingegen nimmt Entscheidungen über die Zugehörigkeit von Worten zu Komposita vor, verbindet aber fast immer ohne Rücksicht auf die Morphologie mit einem Bindestrich. Dies ahndet das Bewertungsschema zwar nicht so scharf wie die einfache Nebenordnung bei Transcend, welche fast immer zur falschen Identifikation des Head-Wortes führt, es kommt dadurch aber trotzdem zu einer deutlichen Verschlechterung gegenüber den anderen Systemen.
Die Spitzengruppe wird von PT Plus angeführt, welcher mit 120 korrekten Übersetzungen deutlich heraussticht. Das vergleichsweise gute Ergebnis (immerhin auch 25 richtig übersetzte Sätze) wird auch dadurch nicht relativiert, daß die anderen drei Systeme über ergänzbare Wörterbücher verfügen, denn PT Plus läßt nur 3 Wörter unübersetzt und schneidet auch bei der Einzelwortübersetzung gut ab.