Effiziente KI-Optimierung mit dem mgm AI Evaluation Framework

Die Qualität und Leistungsfähigkeit von KI-Assistenten entscheidet maßgeblich über ihren Erfolg im praktischen Einsatz. Doch wie bewertet man präzise, wie gut ein Large Language Model (LLM) spezifische Unternehmensanforderungen erfüllt? mgm technology partners hat hierfür das AI Evaluation Framework entwickelt – eine systematische Lösung zur objektiven Bewertung und Optimierung von KI-Ergebnissen.

Warum ein AI Evaluation Framework?

Unternehmen setzen KI-Assistenten ein, um Geschäftsprozesse effizienter zu gestalten. Doch unterschiedliche Anwendungsfälle erfordern eine individuelle Anpassung der Modelle. Das mgm AI Evaluation Framework ermöglicht Unternehmen, LLMs gezielt zu testen, deren Leistungsfähigkeit zu bewerten und kontinuierlich zu verbessern. Es schafft eine Grundlage für datenbasierte Entscheidungen, ob sich beispielsweise der Einsatz eines leistungsstärkeren, aber teureren Modells lohnt.

Der Evaluierungsprozess in vier Schritten

1. Use Case definieren: Zunächst wird festgelegt, welche Informationen die KI aus unstrukturierten Daten extrahieren soll. Beispiel: Die KI analysiert im Angebotsprozess einer D&O-Versicherung die E-Mails, um alle Informationen zu identifizieren und extrahieren, die relevant für die Prämienberechnung sind (Deckungssumme, Selbstbehalt, …).
2. Beispieldaten sammeln: Unternehmen liefern Testdaten, etwa eine Sammlung von 50 Beispiel-E-Mails mit gewünschten Zielwerten. Optional werden diese Daten anonymisiert.
3. Qualitätsmetriken justieren: Fehlerbewertung und Vollständigkeit werden individuell gewichtet. Ein Umsatzfehler kann gravierender sein als ein falsch erkannter Straßenname.
4. Evaluation durchführen: Automatisierte Tests vergleichen verschiedene KI-Modelle und Prompt-Varianten. Ein detaillierter Bericht zeigt Optimierungspotenziale.

Automatisierte Tests und strukturierte Ergebnisse

Die Testumgebung läuft vollständig automatisiert:

• Dateninput: Unternehmen definieren ihre Anforderungen in einer Excel-Datei, die Modelle, Prompts und erwartete Ergebnisse enthält.
• Hochladen: Die Testdaten werden per API hochgeladen.
• Verarbeitung: Das Framework analysiert verschiedene Modellvarianten und bewertet ihre Ergebnisse.
• Ausgabe: Eine detaillierte Excel-Datei mit qualitativen Metriken zeigt Stärken und Schwächen der getesteten Kombinationen auf, die zur besseren Übersicht in Diagrammen dargestellt sind (s.Grafik weiter unten: „KI-Bewertung mit Schulnoten“)

Integration in den mgm AI Assistant

Das AI Evaluation Framework ist direkt mit dem mgm AI Assistant verknüpft, der als Outlook-Add-in oder API genutzt wird. Dieser Assistent verarbeitet eingehende E-Mails, extrahiert relevante Informationen und stellt sie strukturiert bereit. Zusätzlich ermöglicht eine Chat-Funktion eine interaktive Nutzung der extrahierten Daten. So lassen sich Angebotsprozesse automatisieren und Geschäftsvorfälle effizienter abwickeln. Mehr Infos zum mgm AI Assistant…

Transparenz durch Schulnoten

Ein zentrales Element des AI Evaluation Frameworks ist die Schulnotensystematik. Hierbei werden Ergebnisse nicht nur auf syntaktische oder semantische Korrektheit geprüft, sondern auch nach ihrer Relevanz für den Geschäftsprozess gewichtet. Eine Deckungssumme in einer Versicherungsanfrage wiegt schwerer als eine falsch erkannte Anrede. Dies schafft eine transparente Entscheidungsbasis für Modelloptimierungen.

KI-Bewertung mit Schulnoten: Relevanz für den Geschäftsprozess zählt mehr als reine Korrektheit.

Zukunftsausblick: Noch mehr Automatisierung

Aktuell arbeitet das mgm-Team daran, den Prozess noch weiter zu automatisieren.Kunden stellen ihre Testdaten bereit, mgm übernimmt die Analyse und liefert eine präzise Auswertung – effizient und mit minimalem Aufwand für den Kunden. . Perspektivisch könnten Unternehmen damit in wenigen Tagen eine fundierte Entscheidung treffen, ob eine KI-Lösung in ihren Prozessen den gewünschten Mehrwert bringt.

Fazit

Das mgm AI Evaluation Framework bietet Unternehmen eine strukturierte Möglichkeit, KI-Anwendungen zu bewerten und zu verbessern. Die Kombination aus automatisierten Tests, Schulnoten-Bewertung und Integration in bestehende Systeme macht den AI Assistant zu einem leistungsstarken Werkzeug für datengetriebene Geschäftsprozesse. Unternehmen profitieren von präziserer Datenverarbeitung, optimierten Abläufen und einer transparenten Entscheidungsgrundlage für den Einsatz von KI.