Lokale KI auf dem Mac ist heute deutlich zugänglicher als noch vor wenigen Jahren. Vor allem Macs mit Apple Silicon eignen sich gut für kompakte und mittlere Sprachmodelle, weil CPU, GPU und ein gemeinsamer Speicherpool eng zusammenarbeiten. Trotzdem entscheidet nicht allein der Chipname darüber, welches Modell sinnvoll läuft.
Unified Memory ist der wichtigste Ausgangspunkt
Bei Apple Silicon teilen sich CPU und GPU den sogenannten Unified Memory. Ein Modell, das für die GPU-Beschleunigung verwendet wird, braucht deshalb nicht zwingend einen separaten VRAM-Pool wie bei vielen Windows-Systemen. Das vereinfacht die Planung, bedeutet aber auch: Betriebssystem, andere Apps, Modellgewichte und der laufende Kontext konkurrieren um denselben Speicher.
8 GB: möglich, aber stark begrenzt
Mit 8 GB können kleine quantisierte Modelle grundsätzlich funktionieren. Gleichzeitig bleibt wenig Reserve für macOS, Browser, Dokumente und längere Kontexte. Für gelegentliche Experimente ist das machbar; für komfortable lokale AI-Arbeit ist es schnell eng.
16 GB: praktikabler Einstieg
16 GB Unified Memory sind für viele kleinere und mittelgroße quantisierte Modelle ein deutlich angenehmerer Ausgangspunkt. Modelle im Bereich einiger Milliarden Parameter können damit sinnvoll nutzbar sein, solange Quantisierung und Kontextlänge realistisch gewählt werden.
24 oder 32 GB: mehr Spielraum
Mehr Speicher erlaubt größere Modelle, längere Kontexte oder zusätzliche Anwendungen parallel. Dabei gilt aber nicht automatisch „doppelt so viel RAM = doppelt so gutes Modell“. Geschwindigkeit, Modellarchitektur, Quantisierung und gewünschte Kontextlänge spielen ebenfalls eine Rolle.
Der Chip beeinflusst vor allem die Geschwindigkeit
M1, M2, M3, M4 und ihre Pro-/Max-Varianten unterscheiden sich in Speicherbandbreite, GPU-Leistung und weiteren Details. Ein Modell kann auf zwei Macs in den Speicher passen und trotzdem sehr unterschiedlich schnell antworten.
Modellgröße ist nicht gleich Dateigröße
Bezeichnungen wie 3B, 7B oder 14B beziehen sich grob auf die Zahl der Modellparameter. Durch Quantisierung kann die Datei wesentlich kleiner sein als eine Speicherung mit hoher Präzision. Zusätzlich braucht die Laufzeit Speicher für Kontext, Cache und weitere Strukturen.
Kontextlänge kostet ebenfalls Speicher
Ein Modell kann beim Start problemlos laden und bei sehr langen Dokumenten trotzdem an Grenzen stoßen. Je größer der aktive Kontext, desto mehr Arbeitsspeicher benötigt die laufende Sitzung. Deshalb ist eine beworbene maximale Kontextlänge nicht automatisch die sinnvollste Einstellung für dein Gerät.
Was Apple Silicon besonders praktisch macht
- gemeinsamer Speicher für CPU und GPU
- vergleichsweise energieeffiziente lokale Inferenz
- keine separate Grafikkartenkonfiguration notwendig
- gute Eignung für kompakte quantisierte Modelle
- leiser Betrieb bei vielen Alltagsworkflows
Was du vor dem Download eines Modells prüfen solltest
- Wie viel Unified Memory hat dein Mac?
- Wie groß ist die quantisierte Modelldatei?
- Welche Kontextlänge willst du tatsächlich nutzen?
- Wie viel Speicher brauchen deine anderen Anwendungen gleichzeitig?
- Ist die gewünschte Laufzeit auf Apple Silicon optimiert?
Priviot und lokale AI
Der Local-AI-Bereich von Priviot ist für die bewusste Nutzung lokaler Modelle gedacht. Die Auswahl eines Modells sollte immer zu deinem Gerät passen. Ein größeres Modell ist nicht automatisch die bessere Wahl, wenn es deinen Mac dauerhaft an die Speichergrenze bringt.
Mehr Grundlagen findest du im Bereich Lokale AI.
Fazit
Für lokale KI auf dem Mac ist Unified Memory meist wichtiger als eine einzelne Modellbezeichnung. 16 GB sind für viele praktische Einstiegsworkflows deutlich flexibler als 8 GB; 24 oder 32 GB schaffen zusätzliche Reserve. Entscheidend ist das Zusammenspiel aus Modellgröße, Quantisierung, Kontext und gewünschter Geschwindigkeit.