Der Beitrag stellt das Evaluierungskonzept im Projekt MIROSLAV (Machine Translation Initiative for Russian and other Slavic Languages) vor, dessen Ziel u.a. in der Bewertung des maschinellen Übersetzungssystems T1 Russisch-Deutsch besteht. Maßgeblich ist hierbei die streng benutzerorientierte Sichtweise, die das Gesamtkonzept prägt und keine generelle, globale Bewertung von T1 versucht, sondern konkrete Aussagen über dessen Nutzbarkeit für einen spezifischen Benutzer in einer spezifischen Anwendungssituation zur Bewältigung einer spezifischen Aufgabe anstrebt. So werden bspw. bei der linguistischen Fehleranalyse nur diejenigen Fehler berücksichtigt, die starke Auswirkungen auf das Textverständnis haben, da nur solche Faktoren den Benutzer der Anwendungsdomäne (d.i. die Berliner Außenstelle der Gesellschaft Sozialwissenschaftlicher Infrastruktureinrichtungen, kurz: GESIS) des Projekts interessieren. Die strikte Benutzerorientierung spiegelt sich auch in der Tatsache wider, daß sowohl Übersetzungsqualität als auch -produktivität untersucht werden, da beide Faktoren von entscheidender Bedeutung für die Brauchbarkeit eines solchen Systems sind und je nach Einsatzgebiet unterschiedlich gewichtet werden müssen.

Das Evaluierungskonzept ist hierarchisch aufgebaut und wird schrittweise von der Analyse des Benutzerbedürfnisses und der zu bewältigenden Arbeitsaufgabe bis hin zum konkreten Testdesign verfeinert. Der Methodenkatalog ist breit gefächert (indirekte Evaluierung, Rating-Verfahren, Benutzertests etc.) und schöpft damit die im Bereich der MÜ-Evaluierung und der Softwareergonomie wichtigsten Verfahren aus.