Wer lokale Sprachmodelle herunterlädt, stößt schnell auf Dateien mit der Endung .gguf. GGUF ist kein eigenes KI-Modell, sondern ein Dateiformat, in dem Modellgewichte und zusätzliche Informationen so gespeichert werden, dass lokale Laufzeiten sie effizient laden können.
Was GGUF eigentlich ist
GGUF steht für ein Dateiformat aus dem Umfeld von llama.cpp. Es bündelt Modellgewichte mit Metadaten wie Architektur, Tokenizer-Informationen und Quantisierungsdetails. Dadurch kann eine passende Runtime erkennen, wie das Modell geladen und ausgeführt werden muss.
Warum GGUF bei lokaler KI so verbreitet ist
Viele lokale AI-Tools unterstützen GGUF, weil das Format kompakte quantisierte Modelle gut abbilden kann und sich für CPU- und GPU-basierte Inferenz eignet. Ein Modell kann dadurch in mehreren Varianten angeboten werden, zum Beispiel als Q4-, Q5- oder Q8-Datei.
GGUF ist nicht gleich GGUF
Zwei Dateien mit derselben Endung können sich deutlich unterscheiden. Wichtig sind unter anderem:
- Modellarchitektur
- Parameterzahl
- Quantisierung
- Kontextlänge
- Tokenizer
- zusätzliche Metadaten
- Kompatibilität mit deiner Runtime
Die Dateigröße sagt nicht alles
Eine größere GGUF-Datei kann eine höhere Präzision oder ein größeres Modell enthalten. Möglich ist aber auch nur eine andere Quantisierungsstufe. Deshalb solltest du nicht allein nach Gigabyte auswählen.
Typische Dateinamen lesen
Ein Name wie Model-7B-Q4_K_M.gguf enthält meist mehrere Hinweise: 7B beschreibt grob die Parameterzahl, Q4_K_M die konkrete Quantisierungsvariante und .gguf das Dateiformat.
Warum Quantisierung im Dateinamen wichtig ist
Die Quantisierung beeinflusst Speicherbedarf und teilweise auch Qualität und Geschwindigkeit. Zwei GGUF-Dateien desselben Modells können deshalb auf demselben Rechner sehr unterschiedlich gut passen.
Kompatibilität prüfen
Nicht jede Anwendung unterstützt jede Modellarchitektur sofort. Eine aktuelle Runtime kann ein neues GGUF-Modell eventuell laden, während eine ältere Version die Architektur noch nicht kennt. Prüfe deshalb nicht nur das Format, sondern auch die konkret unterstützte Modellfamilie.
Modellquelle beachten
Lade Modelle möglichst aus nachvollziehbaren Quellen. Prüfe Modellname, Herausgeber, Lizenz, Quantisierung und Beschreibung. Eine Datei im GGUF-Format sagt nichts darüber aus, ob die zugrunde liegende Lizenz zu deinem Einsatzzweck passt.
GGUF in Priviot
Priviot unterstützt im Local-AI-Kontext benutzerdefinierte lokale Modelle. Wenn du ein eigenes GGUF-Modell auswählst, solltest du Modellgröße, Quantisierung und Gerätespeicher gemeinsam betrachten. Mehr Grundlagen findest du unter Lokale AI.
Fazit
GGUF ist vor allem ein praktisches Verpackungsformat für lokale Modelle. Entscheidend bleiben Modellfamilie, Größe, Quantisierung und Runtime-Kompatibilität. Die Endung .gguf allein sagt noch nicht, ob ein Modell auf deinem Rechner sinnvoll läuft.