Bei lokalen KI-Modellen wird Geschwindigkeit häufig in Tokens pro Sekunde angegeben. Die Zahl ist nützlich, aber leicht misszuverstehen. Gemeint ist meist, wie schnell ein Modell nach Beginn der Antwort neue Tokens erzeugt – nicht, wie schnell der gesamte Vorgang vom Klick bis zur fertigen Antwort dauert.
Was Tokens pro Sekunde messen
Wenn ein Modell 20 Tokens pro Sekunde erzeugt, bedeutet das grob, dass pro Sekunde 20 Ausgabeeinheiten entstehen. Wie viele Wörter das sind, hängt von Sprache und Text ab. Ein Token ist nicht identisch mit einem Wort.
Prompt-Verarbeitung kommt vorher
Bevor das Modell die erste Antwort erzeugt, muss es den vorhandenen Kontext verarbeiten. Bei einem langen PDF oder einer großen Unterhaltung kann diese sogenannte Prefill-Phase spürbar dauern. Eine hohe Tokenrate danach beseitigt diese Wartezeit nicht.
Time to First Token ist ebenfalls wichtig
Für die gefühlte Geschwindigkeit zählt, wie lange bis zum ersten sichtbaren Antwortteil vergeht. Ein System mit etwas niedrigerer Tokenrate, aber sehr kurzer Startverzögerung kann interaktiver wirken als ein theoretisch schnelleres Modell mit langem Prefill.
Was beeinflusst die Tokenrate?
- Modellgröße
- Quantisierung
- CPU- und GPU-Leistung
- Speicherbandbreite
- VRAM oder Unified Memory
- Anzahl ausgelagerter Modellteile
- Runtime und deren Optimierung
Kleine Modelle sind oft deutlich schneller
Ein 3B- oder 7B-Modell kann auf demselben Rechner erheblich schneller antworten als ein 14B- oder 32B-Modell. Wenn die kleinere Variante die Aufgabe zuverlässig erfüllt, kann sie im Alltag produktiver sein.
Mehr Tokens pro Sekunde sind nicht immer besser
Bei einer kurzen Zusammenfassung fällt der Unterschied zwischen 30 und 60 Tokens pro Sekunde vielleicht kaum auf. Bei längeren Texten oder Codeausgaben wird er deutlich spürbarer. Die richtige Geschwindigkeit hängt also vom Nutzungsmuster ab.
Vergleiche nur unter ähnlichen Bedingungen
Benchmarkwerte sind nur eingeschränkt vergleichbar, wenn Modell, Quantisierung, Kontextlänge, Hardware oder Runtime unterschiedlich sind. Ein Wert ohne diese Angaben ist eher Werbung als belastbare Messung.
Beispielrechnung
Erzeugt ein Modell 600 Tokens Antwort mit 20 Tokens pro Sekunde, dauert allein die Generierung ungefähr 30 Sekunden. Prefill, Dateiverarbeitung und sonstige Laufzeit kommen noch hinzu.
Lokale AI sinnvoll bewerten
Bei lokaler AI solltest du deshalb drei Dinge getrennt betrachten: Passt das Modell in den Speicher? Ist die Antwortqualität ausreichend? Und ist die Geschwindigkeit für deinen tatsächlichen Workflow akzeptabel? Mehr Grundlagen findest du unter Lokale AI.
Fazit
Tokens pro Sekunde sind eine brauchbare Kennzahl für die Generierungsgeschwindigkeit, aber kein vollständiger Performancewert. Kontextverarbeitung, Startverzögerung, Modellqualität und Speicherbedarf gehören genauso zur realen Nutzererfahrung.