Chunking: Was ist Chunking?

Chunking ist das Zerlegen von Dokumenten in kleinere Textabschnitte, damit eine KI bei einer Frage gezielt die passenden Stellen finden kann, statt ganze Dateien lesen zu müssen.

Wer einen Chatbot auf Handbücher, Preislisten oder Verträge loslässt, steht schnell vor dieser Frage: Wie wird aus hundert Seiten die eine Stelle, die zur Frage passt? Die Antwort beginnt mit dem Chunking. Es ist einer der unscheinbarsten Schritte und einer der wichtigsten für gute Antworten.

Woher der Begriff stammt

„Chunk“ heißt auf Englisch Stück oder Brocken. Der Begriff ist mit Retrieval Augmented Generation bekannt geworden. Bei diesem Verfahren sucht ein System zuerst passende Textstellen und gibt sie dann einem Sprachmodell mit, das daraus eine Antwort formuliert. Damit die Suche funktioniert, müssen die Dokumente vorher in durchsuchbare Stücke zerlegt werden.

Was beim Chunking genau passiert

Ein Programm teilt jedes Dokument in Abschnitte auf. Jeder Abschnitt wird in ein Embedding umgewandelt, also in eine Zahlenreihe, die seine Bedeutung beschreibt. Diese Zahlenreihen landen in einer Vektordatenbank. Stellt jemand eine Frage, sucht das System die Abschnitte mit der ähnlichsten Bedeutung heraus.

Für das Zerlegen gibt es mehrere Wege:

Feste Länge: Der Text wird alle paar hundert Wörter geteilt, oft mit etwas Überlappung. Das ist einfach, schneidet aber manchmal mitten durch einen Gedanken.
Nach Struktur: Der Text wird an Überschriften, Absätzen oder Tabellen geteilt. Das hält zusammen, was zusammengehört.
Nach Bedeutung: Ein Verfahren erkennt, wo ein neues Thema beginnt, und teilt dort.

Abgrenzung zu ähnlichen Begriffen

Tokenisierung: Hier wird Text in Tokens zerlegt, die kleinsten Einheiten, mit denen ein Modell rechnet. Chunking arbeitet eine Ebene darüber und teilt Dokumente in Abschnitte von einigen hundert Tokens.

Zusammenfassen: Beim Zusammenfassen geht Inhalt verloren. Beim Chunking bleibt der vollständige Text erhalten, er wird nur aufgeteilt.

Reranking: Reranking sortiert gefundene Abschnitte nachträglich nach ihrer Passung. Es setzt voraus, dass es überhaupt sinnvolle Abschnitte gibt. Gutes Chunking kommt also zuerst.

Was das für Ihr Unternehmen bedeutet

Das größte Problem beim Chunking ist verlorener Zusammenhang. Anthropic beschreibt das an einem Beispiel: Ein Abschnitt sagt „Der Umsatz stieg um 3 Prozent gegenüber dem Vorquartal“. Welche Firma und welches Quartal gemeint sind, steht aber nur weiter oben im Dokument. Der Abschnitt allein ist kaum zu finden und kaum zu verstehen.

Anthropic hat deshalb vorgeschlagen, jedem Abschnitt vor dem Speichern einen kurzen Hinweis auf seinen Zusammenhang voranzustellen. In ihren Tests sank damit der Anteil der Fälle, in denen die richtige Stelle nicht gefunden wurde, um 35 Prozent. Zusammen mit weiteren Schritten wie Hybrider Suche und Reranking waren es 67 Prozent.

Für Ihre Dokumente heißt das: Die Qualität eines Wissens-Chatbots hängt stark davon ab, wie sauber die Unterlagen zerlegt werden. Wie wir das bei Chatbots angehen, zeigen wir auf der Seite zu KI-Chatbots.

Grenzen dessen, was man sicher weiß

Es gibt kein Verfahren, das für alle Dokumente am besten ist. Verträge, Produktdaten und Protokolle brauchen jeweils eine andere Aufteilung. Die Zahlen von Anthropic stammen aus eigenen Tests mit bestimmten Daten und lassen sich nicht einfach übertragen.

Auch größere Kontextfenster machen Chunking nicht überflüssig. Eine Studie unter Leitung von Forschenden der Universität Stanford zeigte 2023, dass Modelle Informationen in der Mitte langer Texte schlechter nutzen als am Anfang oder Ende. Gezielt ausgewählte Abschnitte bleiben deshalb oft die bessere Wahl.

Häufig gestellte Fragen

Wie groß sollte ein Abschnitt sein?

Eine feste Zahl gibt es nicht. Anthropic rechnet in einem Beispiel mit Abschnitten von 800 Tokens, also grob einer Seite Text. Kürzere Abschnitte treffen genauer, verlieren aber leichter den Zusammenhang. Die passende Größe findet man durch Tests mit echten Fragen.

Muss ich meine Dokumente vorher aufräumen?

Es hilft sehr. Klare Überschriften, eine saubere Gliederung und lesbarer Text statt eingescannter Bilder machen das Zerlegen leichter und die Antworten besser. Veraltete Versionen sollten vorher raus, sonst findet die KI sie auch.

Chunking