Small Language Model (SLM): Was ist ein Small Language Model?

Ein Small Language Model (SLM) ist ein Sprachmodell mit vergleichsweise wenigen Parametern, das auf einem normalen Rechner, einem Smartphone oder einem kleinen Server laufen kann und für eng umrissene Aufgaben oft ausreicht.

Die bekannten KI-Assistenten laufen auf sehr großen Modellen in riesigen Rechenzentren. Für viele Aufgaben im Unternehmen ist das gar nicht nötig. Eine E-Mail einer Abteilung zuordnen, Daten aus einem Formular lesen oder einen kurzen Text zusammenfassen schafft oft auch ein kleines Modell, schneller und günstiger.

Woher der Begriff stammt

Der Begriff entstand als Gegenstück zu „Large Language Model“. Je größer die Modelle wurden, desto mehr Interesse gab es an Modellen, die mit wenig Rechenleistung auskommen.

Ein viel beachtetes Beispiel ist die Phi-Reihe von Microsoft. Im April 2024 stellte Microsoft Phi-3-mini vor, ein Modell mit 3,8 Milliarden Parametern. Laut dem technischen Bericht erreicht es in Prüfaufgaben Werte, die mit deutlich größeren Modellen vergleichbar sind, und ist klein genug für ein Smartphone. Auch Google bietet mit Gemini Nano ein Modell an, das direkt auf Android-Geräten läuft.

Was ein Small Language Model genau ist

Parameter sind die Zahlenwerte, in denen ein Modell sein Wissen speichert. Mehr Parameter bedeuten meist mehr Wissen und bessere Fähigkeiten, aber auch mehr Speicher und Rechenzeit.

Kleine Modelle gleichen ihre geringere Größe auf mehreren Wegen aus:

Bessere Trainingsdaten: Statt möglichst vieler Texte werden sorgfältig ausgewählte Texte verwendet.
Spezialisierung: Ein kleines Modell wird auf bestimmte Aufgaben trainiert, statt alles zu können.
Ergänzung durch Dokumente: Fehlendes Wissen kommt über Retrieval Augmented Generation aus Ihren Unterlagen.

Abgrenzung zu ähnlichen Begriffen

Large Language Model: Große Modelle haben hunderte Milliarden Parameter und laufen meist in der Cloud. Sie sind vielseitiger und besser bei schwierigen Aufgaben, aber teurer im Betrieb.

Quantisierung: Quantisierung macht ein vorhandenes Modell kleiner, indem sie seine Zahlen gröber speichert. Ein SLM ist von vornherein klein. Beides lässt sich kombinieren.

Edge AI: Edge AI beschreibt, wo ein Modell läuft, nämlich direkt auf dem Gerät. Kleine Modelle sind oft die Voraussetzung dafür.

Was das für Ihr Unternehmen bedeutet

Kleine Modelle sind interessant, wenn mindestens einer dieser Punkte zutrifft:

Die Aufgabe ist klar umrissen, etwa Sortieren, Auslesen oder kurze Zusammenfassungen.
Es fallen sehr viele Anfragen an, und die Kosten pro Anfrage zählen.
Die Daten sollen im Haus bleiben, und die Hardware soll bezahlbar sein.
Die Antwort muss sehr schnell kommen.

Oft ist eine Mischung sinnvoll: Ein kleines Modell erledigt die Masse der einfachen Anfragen, ein großes übernimmt die schwierigen Fälle. Wie wir das auf eigenen Servern umsetzen, zeigen wir auf der Seite zu KI-Servern und lokaler KI.

Grenzen dessen, was man sicher weiß

Die Werte aus technischen Berichten stammen meist aus englischen Prüfaufgaben. Wie gut ein kleines Modell mit deutschen Texten, Fachbegriffen oder langen Dokumenten zurechtkommt, zeigt sich erst im Test.

Auch die Grenze zwischen klein und groß verschiebt sich. Was heute als kleines Modell gilt, hätte vor wenigen Jahren als groß gegolten. Die Leistung kleiner Modelle steigt mit jeder Generation, die Rangfolge ändert sich dadurch häufig.

Häufig gestellte Fragen

Ab wann gilt ein Modell als klein?

Eine feste Grenze gibt es nicht. Meist spricht man von Modellen mit einigen Milliarden Parametern, im Gegensatz zu großen Modellen mit hunderten Milliarden. Microsoft nannte sein Modell Phi-3-mini mit 3,8 Milliarden Parametern klein genug für ein Smartphone.

Kann ein kleines Modell einen Chatbot für Kunden betreiben?

Für klar begrenzte Themen oft ja, besonders wenn es seine Antworten aus Ihren Dokumenten bezieht. Bei offenen, schwierigen Fragen oder langen Gesprächen stoßen kleine Modelle schneller an Grenzen als große.

Sind kleine Modelle immer günstiger?

Pro Anfrage meist ja, weil sie weniger Rechenleistung brauchen. Wenn sie aber häufiger Fehler machen, die ein Mensch korrigieren muss, kann der Gesamtaufwand höher sein. Rechnen Sie deshalb mit den tatsächlichen Ergebnissen, nicht nur mit dem Preis.

Small Language Model (SLM)