Die Auswahl eines geeigneten Large Language Model (LLM) ist für viele Unternehmen und Behörden eine Herausforderung. IntraFind gibt fünf praxisnahe Empfehlungen, wie Organisationen das für sie passende Modell finden – unter Berücksichtigung von Leistungsfähigkeit, Datenschutz und Kosten.

Foto: IntraFind Franz Kögl, Vorstand bei IntraFind Generative KI gewinnt rasant an Bedeutung und verändert zunehmend Arbeitsabläufe in Verwaltung und Wirtschaft. Immer mehr Organisationen beschäftigen sich deshalb mit der Integration von Large Language Models (LLMs) in ihre Systeme. Doch die Auswahl eines geeigneten Modells gestaltet sich komplex: Die Palette reicht von Open-Source-Modellen bis hin zu proprietären Cloud-Lösungen, von kompakten Systemen bis zu hochkomplexen multimodalen Architekturen. Der Münchner Anbieter IntraFind, spezialisiert auf KI-gestützte Suche und Wissensmanagement, gibt praktische Hinweise für die Entscheidungsfindung.

Kleinere Modelle nicht unterschätzen

Die populärsten Modelle wie GPT-4.5/o3, Gemini 2.0 oder Claude 3 beeindrucken mit vielseitigen Fähigkeiten. Dennoch können kleinere Modelle – gerade in Kombination mit leistungsfähiger Suchsoftware – völlig ausreichen. In vielen Anwendungen muss das Sprachmodell nicht auf einen eigenen Wissensbestand zurückgreifen, sondern lediglich bereitgestellte Informationen verarbeiten.

„Je nach Use Case können somit auch kleinere LLMs vergleichbare qualitativ hochwertige Ergebnisse wie die großen liefern – sind dabei aber oft kosteneffizienter und schneller“, so Franz Kögl, Vorstand bei IntraFind. Für den Einsatz in Chatbots oder unternehmensinternen Assistenten empfiehlt es sich daher, genau zu prüfen, ob ein leistungsstarkes, aber ressourcenintensives Modell überhaupt notwendig ist.

Sprachunterstützung kritisch bewerten

Viele Modelle wurden primär mit englischsprachigen Daten trainiert. Für Unternehmen und Behörden im deutschsprachigen Raum ist das ein entscheidender Faktor. Modelle, die deutsche Sprache nur rudimentär verstehen oder grammatikalisch fehleranfällig sind, können für bestimmte Anwendungen ungeeignet sein.

Kögl betont: „Hiesige Unternehmen und Behörden sollten die Sprachfähigkeiten des Wunsch-LLMs genau prüfen – beispielsweise, ob das Modell Umlaute erkennt und auch deutsche Grammatik gut verarbeitet.“ Gerade in der Kundenkommunikation oder im Umgang mit rechtlich relevanten Inhalten sei Präzision unerlässlich.

Kontextverständnis und Token-Limit beachten

Ein weiteres Auswahlkriterium ist die Kontextlänge – also die Menge an Text, die ein Modell in einem Verarbeitungsschritt berücksichtigen kann. Für die Zusammenfassung langer Berichte oder die Analyse umfangreicher Dokumente sind LLMs mit hoher Kontextkapazität sinnvoll. Für klassische Informationsabfragen dagegen können auch kleinere Modelle ausreichen.

„Bei klassischen Suchanfragen können auch kleinere Modelle genügen, für die die Suchsoftware relevante Inhalte vorab gezielt extrahiert und bereitstellt“, erklärt Kögl. Das senkt nicht nur die Rechenleistung, sondern auch die laufenden Kosten erheblich.

Datenkontrolle spielt bei Entscheidung zwischen OpenSource und proprietär eine wesentliche Rolle

Offene Modelle wie Llama 3, Mistral Small oder OpenEuroLLM bieten laut IntraFind nicht nur Transparenz und Anpassungsfähigkeit, sondern lassen sich auch datenschutzkonform auf eigener Hardware betreiben. Damit entfallen Risiken, die sich aus dem Betrieb in der Cloud ergeben könnten – etwa durch Zugriffsmöglichkeiten ausländischer Behörden.

„Unternehmen sollten zudem an den US Cloud Act denken, der der US-Regierung jederzeit ermöglicht, auch auf die Daten zuzugreifen, die auf deutschen Servern der Hyperscaler liegen“, warnt Kögl. Gerade im Hinblick auf sensible Daten sei eine On-premises-Lösung oft die sicherere Option. Zudem lasse sich so ein Vendor-Lock-in vermeiden.

Betriebskosten und Sicherheit realistisch einschätzen

Die Entscheidung für ein Cloud-Modell oder eine lokale Lösung hängt nicht nur von Datenschutzaspekten, sondern auch vom wirtschaftlichen Rahmen ab. Zwar punkten Cloud-LLMs mit hoher Verfügbarkeit und einfacher Skalierbarkeit – bei umfangreicher Nutzung steigen jedoch die Kosten schnell an.

„Das liegt daran, dass jede Abfrage eine bestimmte Anzahl an sogenannten Tokens verbraucht – also den Einheiten, in die ein Text für die Verarbeitung durch ein Sprachmodell zerlegt wird“, erläutert Kögl. Unternehmen, die langfristig planen und Wert auf Unabhängigkeit legen, sollten daher in eine eigene IT-Infrastruktur investieren, die auf den Betrieb eines LLM ausgelegt ist.