8K, 32K oder 128K Kontext: Bei Sprachmodellen wirken diese Zahlen wie einfache Größenangaben. Tatsächlich beschreiben sie, wie viele Tokens ein Modell in einer Sitzung gleichzeitig berücksichtigen kann. Mehr Kontext kann nützlich sein, kostet aber Speicher, Rechenzeit und manchmal sogar Antwortqualität.
Was ist ein Token?
Ein Token ist kein festes Wort. Modelle zerlegen Text in kleine Einheiten. Ein kurzes deutsches Wort kann ein Token sein, ein längeres Wort mehrere. Deshalb lässt sich eine Kontextangabe nicht exakt in Seiten oder Wörter umrechnen.
Was bedeutet 8K Kontext?
Ein Modell mit 8K Kontext kann ungefähr 8.000 Tokens gleichzeitig berücksichtigen. Darin enthalten sind nicht nur dein Dokument, sondern auch Systemanweisungen, vorherige Nachrichten und die Antwort, die das Modell noch erzeugen soll.
32K gibt deutlich mehr Spielraum
32K kann längere Dokumente, umfangreichere Gespräche oder mehrere Quellen gleichzeitig aufnehmen. Für viele typische Dokumentenaufgaben ist diese Größenordnung bereits großzügig, sofern der Inhalt sinnvoll ausgewählt wird.
128K ist nicht automatisch besser
Sehr große Kontextfenster ermöglichen umfangreiche Eingaben, aber ein Modell nutzt lange Kontexte nicht immer gleich zuverlässig. Relevante Informationen können in sehr großen Eingaben leichter untergehen. Zusätzlich steigt der Speicher- und Rechenbedarf.
Kontextfenster und Antwort teilen denselben Raum
Wenn ein Modell beispielsweise 32K Tokens maximal verarbeiten kann, bedeutet das nicht, dass du immer 32K Tokens Eingabe verwenden kannst und danach noch eine lange Antwort erhältst. Die erzeugte Antwort muss ebenfalls in das Gesamtkontextbudget passen.
Warum lange PDFs problematisch werden können
Ein hundertseitiges PDF kann je nach Inhalt deutlich mehr Text enthalten als in ein kleines Kontextfenster passt. Gute Systeme zerlegen deshalb Dokumente, wählen relevante Ausschnitte aus oder fassen Zwischenstufen zusammen, statt alles blind in einen Prompt zu kopieren.
Längerer Kontext kostet Speicher
Bei lokalen Modellen wächst mit dem aktiven Kontext typischerweise auch der Speicherbedarf für den KV-Cache. Deshalb kann dasselbe Modell bei 8K stabil laufen und bei sehr hohen Kontextwerten deutlich mehr RAM oder VRAM benötigen.
Nicht die maximale Zahl als Standard wählen
Wenn du für eine Aufgabe nur zwei Seiten Text brauchst, bringt ein 128K-Kontext keinen praktischen Vorteil. Ein kleinerer aktiver Kontext kann schneller, sparsamer und übersichtlicher sein.
Welche Größe passt zu welcher Aufgabe?
- 8K: kurze Gespräche, E-Mails, einzelne Textabschnitte, kleine Dokumente
- 16K–32K: längere Dokumente, umfangreiche Zusammenfassungen, mehrere Textquellen
- 64K–128K: sehr lange Dokumente oder größere Quellensammlungen, sofern Modell und Hardware das sinnvoll unterstützen
Priviot und Dokumentkontext
Bei AI-Funktionen für Dokumente sollte nicht automatisch der gesamte Dateibestand an ein Modell gegeben werden. Relevant sind eine bewusste Modellauswahl, nachvollziehbarer Kontext und eine zum Gerät passende Kontextlänge. Weitere Grundlagen findest du unter Lokale AI.
Fazit
Ein größeres Kontextfenster bedeutet mehr möglichen Eingabetext, aber nicht automatisch bessere Antworten. Wähle den Kontext nach Aufgabe, Dokumentlänge und Hardware. Für viele reale Workflows ist ein gut ausgewählter kleinerer Kontext effizienter als das maximale Limit.