Bei lokalen Sprachmodellen tauchen häufig Bezeichnungen wie 3B, 7B, 14B oder 32B auf. Das B steht für „billion“, also Milliarden Parameter. Die Zahl beschreibt grob die Größe des neuronalen Netzes – aber nicht direkt seine Qualität, Dateigröße oder Geschwindigkeit.
Was ist ein Parameter?
Vereinfacht gesagt sind Parameter gelernte Zahlenwerte innerhalb des Modells. Beim Training werden sie so angepasst, dass das Modell Muster in Sprache und anderen Daten abbilden kann. Mehr Parameter bedeuten mehr Kapazität, aber nicht automatisch bessere Ergebnisse bei jeder Aufgabe.
3B: klein und schnell
Modelle mit ungefähr drei Milliarden Parametern sind oft interessant für Geräte mit wenig Speicher oder für Aufgaben, bei denen Geschwindigkeit wichtiger ist als maximale Tiefe. Solche Modelle können Zusammenfassungen, einfache Umformulierungen, Klassifikation oder kurze Assistenzaufgaben gut erledigen, sind bei komplexem Schlussfolgern aber stärker begrenzt.
7B bis 8B: verbreiteter Alltagsbereich
Diese Größenklasse bietet häufig einen guten Kompromiss aus Qualität, Speicherbedarf und Geschwindigkeit. Quantisierte Varianten laufen auf vielen modernen Rechnern lokal und können für Schreiben, Zusammenfassen, Extraktion und allgemeine Assistenz ausreichend sein.
14B: mehr Kapazität, höhere Anforderungen
Modelle um 14 Milliarden Parameter können bei komplexeren Aufgaben, Instruktionsbefolgung oder Sprachqualität Vorteile haben. Diese Größenklasse benötigt aber deutlich mehr Speicher und Rechenleistung. Auf einem Gerät mit knappen Ressourcen kann ein gut passendes 7B-Modell in der Praxis angenehmer sein.
32B und größer
Größere Modelle können zusätzliche Fähigkeiten bieten, bewegen sich lokal aber schnell in einen Hardwarebereich, der deutlich mehr RAM oder VRAM verlangt. Auch Startzeit, Energiebedarf und Tokenrate werden relevanter. Für viele Alltagsaufgaben ist diese Klasse nicht zwingend erforderlich.
Warum ein kleineres Modell besser sein kann
- es startet schneller
- es verbraucht weniger RAM oder VRAM
- es erzeugt Antworten oft schneller
- es belastet den Rechner weniger
- es kann für eine eng definierte Aufgabe ausreichend spezialisiert sein
Parameterzahl ist nicht Modellqualität
Trainingsdaten, Architektur, Feinabstimmung und Ausrichtung haben enormen Einfluss. Ein modernes gut trainiertes 7B-Modell kann bei bestimmten Aufgaben ein älteres oder schlechter abgestimmtes größeres Modell übertreffen. Deshalb solltest du nicht nur nach der höchsten Zahl auswählen.
Quantisierung verändert den Hardwarebedarf
Ein 14B-Modell in Q4 kann deutlich weniger Speicher beanspruchen als dieselbe Modellgröße in höherer Präzision. Die Parameterzahl bleibt 14B, aber die einzelnen Gewichte werden kompakter gespeichert. Dafür kann je nach Quantisierung etwas Qualität verloren gehen.
Kontextgröße ist ein weiterer Faktor
Zwei Modelle mit identischer Parameterzahl können unterschiedliche maximale Kontextlängen besitzen. Ein langer Kontext erhöht zusätzlich den Laufzeitspeicher. 7B allein sagt deshalb nicht, wie viel RAM eine konkrete Sitzung benötigt.
Welche Größe solltest du wählen?
Beginne mit der Aufgabe, nicht mit der Zahl. Für kurze lokale Assistenz kann 3B oder 7B reichen. Wenn komplexere Analyse, bessere Sprachqualität oder robustere Anweisungsbefolgung wichtig sind und dein Gerät genug Reserve hat, kann 14B sinnvoll sein.
Mehr Grundlagen zur lokalen Modellauswahl findest du unter Lokale AI.
Fazit
3B, 7B oder 14B beschreiben die Größenordnung eines Modells, nicht seine Güteklasse. Wähle die kleinste Modellgröße, die deine Aufgabe zuverlässig erfüllt und auf deinem Gerät komfortabel läuft. Das liefert im Alltag oft die bessere Erfahrung als das größtmögliche Modell.