Die Frage „Wie viel RAM braucht lokale KI?“ hat keine einzelne richtige Zahl. Der Speicherbedarf hängt von Modellgröße, Präzision beziehungsweise Quantisierung, Kontextlänge, Laufzeit und Betriebssystem ab. Trotzdem lässt sich der Bedarf sinnvoll abschätzen.
Die Modelldatei ist nur der Ausgangspunkt
Wenn eine quantisierte Modelldatei beispielsweise mehrere Gigabyte groß ist, bedeutet das nicht, dass exakt dieselbe Menge RAM genügt. Die Laufzeit benötigt zusätzlichen Speicher für Kontext, Zwischenergebnisse, Cache und eigene Datenstrukturen. Außerdem brauchen Betriebssystem und andere Programme Reserve.
Parameterzahl und Quantisierung gemeinsam betrachten
Ein 7B-Modell in einer kompakten Q4-Quantisierung benötigt deutlich weniger Speicher als dasselbe Modell in höherer Präzision. Ein 14B-Modell kann trotz Quantisierung wiederum mehr Speicher verlangen als ein kleineres Modell mit höherer Präzision.
Kontextlänge kann den Bedarf stark erhöhen
Je mehr Text gleichzeitig im aktiven Kontext liegt, desto mehr Laufzeitspeicher kann erforderlich sein. Besonders lange Kontexte von vielen tausend Tokens sind daher nicht nur eine Modellfunktion, sondern auch eine Hardwarefrage.
Faustregeln für die Praxis
Statt eine harte Mindestzahl zu verwenden, ist eine abgestufte Betrachtung hilfreicher:
- 8 GB RAM: kleine quantisierte Modelle und kurze Kontexte sind möglich, aber die Reserve ist gering.
- 16 GB RAM: praktikabler Einstieg für viele kompakte lokale Modelle und normale Desktop-Nutzung.
- 24–32 GB RAM: deutlich mehr Spielraum für mittelgroße Modelle, längere Kontexte und parallele Anwendungen.
- 64 GB oder mehr: interessant für größere Modelle, umfangreichere Kontexte oder anspruchsvollere lokale Workflows.
Diese Bereiche sind keine Garantie. Ein bestimmtes Modell kann je nach Runtime und Hardware darüber oder darunter liegen.
Auf Macs zählt Unified Memory
Bei Apple Silicon teilen sich CPU und GPU denselben Speicherpool. Die Angabe 16 GB beschreibt deshalb nicht dieselbe Architektur wie 16 GB System-RAM plus 8 GB separater VRAM auf einem Windows-PC. Beide Systeme müssen unterschiedlich betrachtet werden.
Unter Windows zählen RAM und VRAM getrennt
Bei einer dedizierten GPU kann ein großer Teil des Modells im VRAM liegen, während Windows und andere Komponenten System-RAM verwenden. Wenn nicht alles auf die GPU passt, kann die Runtime Modellteile in den RAM auslagern. Das funktioniert, kann aber langsamer sein.
Genug Speicher ist nicht gleich gute Geschwindigkeit
Ein Modell kann vollständig in den Arbeitsspeicher passen und trotzdem langsam antworten. Speicher beantwortet vor allem die Frage passt es?; Rechenleistung und Speicherbandbreite beeinflussen stärker die Frage wie schnell läuft es?
Plane Reserve ein
Wenn dein Rechner beim Laden des Modells bereits fast den gesamten Speicher belegt, reichen wenige Browser-Tabs oder ein großes Dokument, um Swap oder starke Verlangsamungen auszulösen. Eine komfortable Konfiguration sollte deshalb nicht nur knapp unter dem theoretischen Maximum liegen.
Priviot und Modellwahl
Beim Einsatz lokaler Modelle sollte Priviot nicht nur eine abstrakte Modellgröße anzeigen, sondern den verfügbaren Gerätespeicher und die gewählte Quantisierung berücksichtigen. Der Bereich Lokale AI ist deshalb auf verständliche Hardwareeinordnung ausgerichtet.
Fazit
Für lokale KI brauchst du mehr als die reine Größe der Modelldatei. Rechne Modell, Kontext, Runtime, Betriebssystem und Reserve zusammen. 16 GB sind für viele kompakte Einstiegsmodelle ein sinnvoller Ausgangspunkt, während größere Modelle und längere Kontexte von 24, 32 oder mehr Gigabyte deutlich profitieren können.