Quantisierung: Was ist Quantisierung bei KI-Modellen?

Quantisierung verkleinert ein KI-Modell, indem seine Zahlenwerte mit weniger Stellen gespeichert werden. Das Modell braucht dann deutlich weniger Speicher und läuft auch auf günstigerer Hardware, meist mit nur geringem Qualitätsverlust.

Wer ein Sprachmodell auf einem eigenen Server betreiben will, stößt schnell auf die Frage nach dem Grafikspeicher. Große Modelle brauchen viel davon. Quantisierung ist der wichtigste Grund, warum leistungsfähige Modelle heute überhaupt auf bezahlbarer Hardware im eigenen Haus laufen.

Woher der Begriff stammt

Der Begriff kommt aus der Signalverarbeitung. Dort bezeichnet er das Runden fein abgestufter Werte auf wenige feste Stufen, etwa beim Digitalisieren von Musik. Bei KI-Modellen ist es ähnlich: Die Milliarden Zahlenwerte eines Modells werden gröber gespeichert.

Wichtige Arbeiten dazu stammen von Tim Dettmers und Kollegen. 2022 zeigten sie mit LLM.int8(), dass sich der Speicherbedarf großer Modelle bei der Anwendung halbieren lässt, ohne messbar an Leistung zu verlieren. 2023 folgte QLoRA. Damit ließ sich ein Modell mit 65 Milliarden Parametern auf einer einzigen Grafikkarte mit 48 Gigabyte Speicher weiter trainieren.

Was Quantisierung genau tut

Ein Sprachmodell besteht aus Milliarden Zahlen, den sogenannten Gewichten. Im Training werden sie meist mit 16 oder 32 Bit gespeichert. Bei der Quantisierung werden sie auf 8, 4 oder noch weniger Bit gerundet.

Die Rechnung ist einfach: Ein Modell mit 16 Bit je Gewicht braucht doppelt so viel Speicher wie mit 8 Bit und viermal so viel wie mit 4 Bit. Ein Modell, das in voller Genauigkeit zwei teure Grafikkarten füllt, passt quantisiert oft auf eine.

Damit die Qualität nicht leidet, sind die Verfahren raffinierter als einfaches Runden. Sie behandeln besonders wichtige Werte genauer oder gleichen Rundungsfehler aus.

Abgrenzung zu ähnlichen Begriffen

Small Language Model: Ein kleines Modell hat von vornherein weniger Gewichte. Quantisierung verkleinert ein vorhandenes Modell, ohne die Zahl der Gewichte zu ändern. Beides lässt sich kombinieren.

Destillation: Hier lernt ein kleines Modell von einem großen, indem es dessen Antworten nachahmt. Das Ergebnis ist ein neues, kleineres Modell. Quantisierung verändert dagegen nur die Speicherform.

Fine-Tuning: Fine-Tuning trainiert ein Modell auf eigene Daten weiter. Quantisierung verändert das Wissen des Modells nicht. Mit Verfahren wie QLoRA lässt sich beides verbinden.

Was das für Ihr Unternehmen bedeutet

Quantisierung ist der Schlüssel, wenn Sie KI im eigenen Haus betreiben wollen, etwa weil sensible Daten den Betrieb nicht verlassen sollen. Sie entscheidet mit darüber, welche Hardware Sie brauchen und wie viel sie kostet.

In der Praxis heißt das:

Viele frei verfügbare Modelle gibt es bereits in quantisierten Fassungen zum Herunterladen.
Die Wahl der Bit-Zahl ist eine Abwägung zwischen Kosten, Tempo und Qualität.
Für die meisten Büroaufgaben reicht eine maßvolle Quantisierung. Für heikle Aufgaben lohnt sich ein Vergleich.

Wie wir eigene KI-Server planen und einrichten, beschreiben wir auf der Seite zu KI-Servern und lokaler KI.

Grenzen dessen, was man sicher weiß

Die Ergebnisse aus der Forschung beziehen sich auf bestimmte Modelle und Prüfaufgaben, meist auf Englisch. Wie stark ein quantisiertes Modell bei deutschen Texten oder bei Ihren Aufgaben nachlässt, ist nicht allgemein bekannt.

Auch die Verfahren entwickeln sich schnell weiter. Was heute als zu starker Qualitätsverlust gilt, kann mit neuen Methoden morgen gut funktionieren. Eine Messung mit eigenen Beispielen bleibt deshalb unverzichtbar.

Häufig gestellte Fragen

Merke ich den Qualitätsverlust bei einem quantisierten Modell?

Bei maßvoller Quantisierung, etwa auf 8 Bit, oft kaum. Bei starker Verkleinerung, etwa auf 4 Bit oder weniger, können Fehler zunehmen, vor allem bei schwierigen Aufgaben und bei Sprachen, die im Training seltener vorkamen. Testen Sie mit echten Aufgaben, bevor Sie sich festlegen.

Welche Bit-Zahl soll ich für einen eigenen KI-Server wählen?

Das hängt vom Modell und vom Speicher Ihrer Grafikkarte ab. Häufig ist die beste Wahl ein größeres Modell mit stärkerer Quantisierung statt eines kleinen Modells ohne. Das lässt sich nur im Vergleich mit Ihren Aufgaben sicher sagen.

Quantisierung