Berlin (OTS) – – Forschungs- und Innovationsprojekt des
KI-Kompetenzcenters der
Bundesdruckerei für Vergleich und Bewertung von mehr als 50
Sprachmodellen nach Leistung, Sicherheit und demokratischen Werten
– Kooperation mit BSI und Fraunhofer-Institut AISEC zur
Erarbeitung von Sicherheitsevaluierungen für KI-Sprachmodelle für
öffentlichen Sektor
– Vergleichsplattform für öffentliche Verwaltung im Einklang mit
europäischen Vorgaben
Die Bundesdruckerei GmbH veröffentlicht das Forschungsprojekt
MÖVE: Der Bewertungsrahmen „Modelle für die öffentliche Verwaltung
evaluieren“ ermöglicht es Behörden, KI-Sprachmodelle systematisch zu
vergleichen. Gängige Modellvergleiche messen vor allem englisches
Textverständnis, mathematische Fähigkeiten oder allgemeines
Weltwissen. Allerdings werden dabei im Behördenalltag entscheidende
Kriterien wie der Zugang zu nachvollziehbaren Modellinformationen
sowie Sicherheits- und Nachhaltigkeitsaspekte nicht berücksichtigt.
Das seit Januar 2025 laufende, bundesdruckereieigene Forschungs- und
Innovationsprojekt MÖVE ist der erste ganzheitliche KI-
Modellvergleich, der speziell für die Anforderungen der öffentlichen
Verwaltung entwickelt wurde. Behörden und öffentliche Einrichtungen
können zukünftig einsehen, wie über 50 Sprachmodelle (Large Language
Models, kurz LLMs) im Hinblick auf Leistungsfähigkeit, Sicherheit,
Nachhaltigkeit, Transparenz und die Vereinbarkeit mit demokratischen
Werten abschneiden. „Internationale Rankings allein reichen für die
Modellauswahl nicht. Ob Open Source oder proprietär – entscheidend
ist, wie ein Modell im konkreten Einsatzfall reagiert: im deutschen
Rechts- und Sprachkontext, verlässlich, sicher und wertekonform. MÖVE
macht genau das messbar“, sagt Frederik Blachetta, Chief Technology,
Data & Innovation Officer (CTO) und Geschäftsführer der
Bundesdruckerei-Gruppe.
MÖVE verbindet dafür erstmals technische Leistungsmessung und
Governance-Anforderungen in einem einheitlichen Framework. Grundlage
sind neun eigens entwickelte, deutschsprachige Testdatensätze aus dem
realen Verwaltungskontext. Dazu gehören juristische Texte,
Verwaltungsdokumente und Publikationen von Bundesministerien. Auf
dieser Basis wurden zunächst sieben Kriterien für die Bewertung von
Sprachmodellen entwickelt. Dazu gehören neben Leistungsaspekten wie
die Fähigkeit zum Zusammenfassen von Texten, dem Beantworten von
Fragen oder die Analyse von Themen in verschiedenen Dokumenten auch
die Einbeziehung von Zielen und Werten der Europäischen Union.
Dafür analysiert MÖVE die Anzahl von Halluzinationen in KI-
generierten Texten, die Vereinbarkeit der Antworten mit
demokratischen Grundwerten, eine effiziente und ressourcenschonende
Arbeitsweise und die Informations-Transparenz, die GPAI-
Modellanbieter gemäß der KI-Verordnung gewährleisten müssen.
Jedes Modell durchläuft auf Basis dieser Kriterien eine
automatisierte Bewertung. Die Ergebnisse fließen in einen
interaktiven Online-Vergleich ein, bei dem sich einzelne Kriterien
gezielt ein- oder ausblenden lassen, sodass jede Behörde individuell
erkennen kann, welches Modell zu den eigenen Anforderungen passt.
Weitere Bewertungskriterien im Rahmen der Cybersicherheit befinden
sich bereits in der Entwicklung.
Mit dem Bundesamt für Sicherheit in der Informationstechnik (BSI)
entwickelt die Bundesdruckerei Verfahren zur Beurteilung in den
Bereichen Cybersicherheit, Robustheit und Faktentreue von
Sprachmodellen weiter. Das Fraunhofer-Institut für Angewandte und
Integrierte Sicherheit (AISEC) bringt seine wissenschaftlich-
methodische Expertise in die kontinuierliche Weiterentwicklung der
Sicherheitskriterien ein. LLMs können zwar maßgeblich Maßnahmen zur
Cybersicherheit unterstützen, bergen jedoch gleichzeitig das Risiko,
auch für Cyberangriffe genutzt zu werden. Insbesondere Fortschritte
von Frontier-KI-Modellen beschleunigen dieses Risiko. Damit aus einem
theoretischen Szenario keine akute Bedrohung wird, ist eine
frühzeitige Einordnung von Entwicklungen unerlässlich.
Ein kontinuierliches Benchmarking ist dafür essenziell.
„Sicherheit, die man nicht messen kann, bleibt ein Bauchgefühl, auch
im Bereich KI. Deswegen entwickeln wir entsprechende Benchmarks als
Grundlage für informierte Entscheidungen“, sagt Luise Kranich,
Abteilungsleiterin Technologiestrategie und Informationstechnik beim
BSI.
Die Bewertungsmethodik hinter MÖVE ist als Open-Source-Repository
frei verfügbar, sodass die Vorgehensweise von Dritten nachvollzogen
werden kann. Zudem wird die Vorgehensweise in einem Forschungspaper
detailliert erörtert. Weitere Informationen zu MÖVE und der
zugrundeliegenden Forschung finden Sie unter moeve.bundesdruckerei.de
.