Prompt Caching: Was ist Prompt Caching?

Prompt Caching bedeutet, dass ein KI-Anbieter gleichbleibende Teile einer Anfrage zwischenspeichert. Bei der nächsten Anfrage mit demselben Anfang muss das Modell diesen Teil nicht neu verarbeiten, was Kosten und Wartezeit senkt.

Viele KI-Anwendungen schicken bei jeder Anfrage denselben langen Vorspann mit: feste Anweisungen, eine Produktliste, ein Handbuch. Ohne Zwischenspeicher bezahlen Sie diesen Vorspann jedes Mal voll. Mit Prompt Caching nur einmal voll und danach zu einem Bruchteil.

Woher der Begriff stammt

„Cache“ ist in der Informatik ein Zwischenspeicher für Daten, die man bald wieder braucht. Der Prompt ist die Eingabe an ein Sprachmodell. Prompt Caching heißt also: Zwischenspeichern der Eingabe.

Die großen Anbieter haben die Funktion 2024 eingeführt. Anthropic beschreibt sie so, dass eine Anfrage an einer bestimmten Stelle des Prompts fortgesetzt werden kann. Das verringere Rechenzeit und Kosten bei wiederkehrenden Aufgaben deutlich. OpenAI gibt an, dass zwischengespeicherte Eingaben um bis zu 95 Prozent günstiger sind.

Was Prompt Caching genau tut

Ein Sprachmodell verarbeitet jede Eingabe von vorn nach hinten. Dabei entstehen Zwischenergebnisse. Beim Prompt Caching speichert der Anbieter diese Zwischenergebnisse für den Anfang der Eingabe. Kommt kurz darauf eine Anfrage mit genau demselben Anfang, greift er auf den Speicher zurück und verarbeitet nur den neuen Teil.

Dafür gelten Regeln:

Der gespeicherte Teil muss am Anfang stehen und Zeichen für Zeichen gleich sein. Ändert sich ein Wort im Vorspann, beginnt alles neu.
Der Teil muss eine Mindestlänge haben, je nach Modell einige hundert bis einige tausend Tokens.
Der Speicher lebt nur kurz. Bei Anthropic sind es standardmäßig fünf Minuten, verlängert bei jeder Nutzung. Eine Stunde ist gegen Aufpreis möglich.

Abgrenzung zu ähnlichen Begriffen

Antwort-Cache: Manche Anwendungen speichern ganze Antworten und geben sie bei gleicher Frage erneut aus. Das spart noch mehr, passt aber nur, wenn Fragen wirklich identisch sind. Prompt Caching speichert nur die Verarbeitung der Eingabe, die Antwort wird immer neu erzeugt.

Kontextfenster: Zwischengespeicherte Teile zählen weiter zum Kontextfenster. Anthropic stellt klar, dass Caching nur ändert, was Sie für diese Tokens bezahlen, nicht ob sie mitzählen.

Retrieval Augmented Generation: RAG wählt bei jeder Frage andere Textstellen aus. Diese wechselnden Teile lassen sich kaum zwischenspeichern. Gut eignen sich dagegen die festen Anweisungen davor.

Was das für Ihr Unternehmen bedeutet

Prompt Caching lohnt sich, wenn Ihre Anwendung oft mit demselben langen Vorspann arbeitet. Typische Fälle:

ein Chatbot mit ausführlichen Anweisungen und einer festen Wissensbasis
die Auswertung vieler Dokumente nach derselben Vorgabe
ein Agent, der mit vielen Werkzeugbeschreibungen arbeitet

Bei Anthropic kostet das Lesen aus dem Zwischenspeicher höchstens ein Zehntel des normalen Eingabepreises, das erstmalige Schreiben das 1,25-Fache. Schon nach wenigen Wiederholungen rechnet sich das.

Der Aufbau der Anfrage entscheidet über den Erfolg: Alles Feste gehört nach vorn, alles Wechselnde nach hinten. Wie wir KI-Anwendungen kostensparend aufbauen, zeigen wir auf der Seite zur KI-Integration.

Grenzen dessen, was man sicher weiß

Preise, Mindestlängen und Speicherzeiten unterscheiden sich je Anbieter und Modell und ändern sich häufig. Die Zahlen in diesem Eintrag stammen aus den Dokumentationen von Anthropic und OpenAI im Oktober 2026.

Wie viel Sie tatsächlich sparen, zeigt nur die Abrechnung. Die Anbieter geben in jeder Antwort an, wie viele Tokens aus dem Zwischenspeicher kamen. Schauen Sie dort nach, ob der Speicher auch wirklich getroffen wird.

Häufig gestellte Fragen

Muss ich Prompt Caching selbst einschalten?

Das hängt vom Anbieter ab. Bei OpenAI ist es für unterstützte Modelle laut Dokumentation standardmäßig aktiv. Bei Anthropic markiert man in der Anfrage, welche Teile zwischengespeichert werden sollen. Ihr Entwickler oder Dienstleister sollte das beim Aufbau der Anwendung berücksichtigen.

Wie viel spart Prompt Caching wirklich?

Das hängt davon ab, wie groß der gleichbleibende Teil ist und wie oft er wiederverwendet wird. Bei Anthropic kosten gelesene Zwischenspeicher-Tokens höchstens ein Zehntel des normalen Preises, bei manchen neueren Modellen noch weniger, das erstmalige Speichern kostet etwas mehr. Wer selten fragt, spart wenig.

Werden meine Daten dadurch länger gespeichert?

Kurzzeitig ja. Bei Anthropic lebt der Zwischenspeicher standardmäßig fünf Minuten, gegen Aufpreis eine Stunde. Wer strenge Vorgaben zur Datenspeicherung hat, sollte prüfen, wie der jeweilige Anbieter mit zwischengespeicherten Inhalten umgeht.

Prompt Caching