VRAM-Ratgeber
Wer große Sprachmodelle lokal betreibt, stößt zuerst an eine Grenze: den Videospeicher (VRAM). Die Modellgewichte müssen vollständig in den VRAM der GPU passen – plus ein kleiner Overhead –, sonst ruckelt die Inferenz, wird in den System-RAM ausgelagert oder bricht ab. Quantisierung verkleinert den Bedarf erheblich: Ein 4-Bit-Modell (int4) braucht rund ein Viertel der fp16-Größe, 8-Bit (int8) etwa die Hälfte. Diese Seite übersetzt den VRAM-Bedarf beliebter Open-Source-LLMs in konkrete GPU-Empfehlungen – mit aktuellen Shop-Preisen aus Europa und den günstigsten Stundensätzen für GPU-Hosting direkt daneben, damit Sie Einmalkauf und Miete derselben Karte fair abwägen können. Die Fit-Werte nutzen dieselbe Heuristik wie unsere GPU-Detailseiten: geschätzter VRAM-Bedarf = Parameter × Faktor + 1,5 GB, mit Faktoren 2,0 (fp16), 1,0 (int8) und 0,5 (int4). Planen Sie für lange Kontexte und den KV-Cache zusätzlich Luft ein – die Zahlen sind ein solider Startpunkt, keine harte Grenze.
Die Modellgewichte müssen vollständig in den VRAM passen, plus ein kleiner Overhead. Quantisierung verkleinert den Bedarf: int4 braucht rund ein Viertel der fp16-Größe, int8 etwa die Hälfte. Die Tabelle zeigt die größten Modelle (in Milliarden Parametern), die in jedes VRAM-Budget passen.
| VRAM-Budget | fp16 (16-Bit) | int8 (8-Bit) | int4 (4-Bit) |
|---|---|---|---|
| 8 GB | ≈3,2 B | ≈6,5 B | ≈13,0 B |
| 16 GB | ≈7,2 B | ≈14,5 B | ≈29,0 B |
| 24 GB | ≈11,2 B | ≈22,5 B | ≈45,0 B |
| 48 GB | ≈23,2 B | ≈46,5 B | ≈93,0 B |
| 96 GB | ≈47,2 B | ≈94,5 B | ≈189,0 B |
Geschätzter VRAM-Bedarf = Parameter × Faktor + 1,5 GB, mit Faktoren 2,0 (fp16), 1,0 (int8) und 0,5 (int4) – dieselbe Heuristik wie in der Fit-Tabelle jeder GPU-Detailseite.
Grafikkarten mit aktuellen Shop-Angeboten, gruppiert nach VRAM – je Klasse die Open-Source-LLMs, die hineinpassen (int4).
Open-Source-LLMs, die in 288 GB passen (int4): Qwen3-Coder-Next (0 B)Gemma 3 1B PT (1 B)Qwen3.5-2B (2 B)
flagship
Open-Source-LLMs, die in 192 GB passen (int4): Qwen3-Coder-Next (0 B)Gemma 3 1B PT (1 B)Qwen3.5-2B (2 B)
flagship
Open-Source-LLMs, die in 141 GB passen (int4): Qwen3-Coder-Next (0 B)Gemma 3 1B PT (1 B)Qwen3.5-2B (2 B)
flagship
flagship
Open-Source-LLMs, die in 96 GB passen (int4): Qwen3-Coder-Next (0 B)Gemma 3 1B PT (1 B)Qwen3.5-2B (2 B)
Open-Source-LLMs, die in 80 GB passen (int4): Qwen3-Coder-Next (0 B)Gemma 3 1B PT (1 B)Qwen3.5-2B (2 B)
high
flagship
flagship
Open-Source-LLMs, die in 48 GB passen (int4): Qwen3-Coder-Next (0 B)Gemma 3 1B PT (1 B)Qwen3.5-2B (2 B)
mid
high
high
high
Nein – in keiner gängigen Genauigkeit. Ein 70B-Modell braucht grob 141 GB bei fp16 und selbst bei int4 noch etwa 36,5 GB; 24 GB reichen nicht. Für 70B-Modelle in 4-Bit brauchen Sie eine Karte mit 48 GB (oder ein Dual-GPU-Setup).
Das hängt vom Anwendungsfall ab. Bei Chat, Zusammenfassungen und Coding liegt eine gute 4-Bit-Quantisierung meist nah an fp16; subtile Einbußen zeigen sich vor allem in langen Denkketten, Mathe und wenig verbreiteten Sprachen. Der schnellste Check: beide Genauigkeiten mit den eigenen Prompts testen.
Etwa 17,5 GB bei fp16, 9,5 GB bei int8 und 5,5 GB bei int4 (Gewichte plus kleiner Overhead). Eine 8-GB-Karte betreibt 8B-Modelle komfortabel in 4-Bit; für int8 sollten Sie 12 GB oder mehr einplanen.
Nur einen kleinen festen Overhead von 1,5 GB. Lange Kontexte, große Batches und Vision-Adapter kommen mit mehreren weiteren Gigabytes dazu – bei Kontexten ab 32k sollten Sie zusätzlich rund 10–25 % VRAM über der Modellgröße einplanen.
Für den Einstieg deckt eine 12–16-GB-Karte Modelle von 7B bis 14B in int4 und 8B-Modelle sogar in int8 ab. Wer nur gelegentlich experimentiert, fährt mit dem Stundentarif oft günstiger als mit dem Kauf – vergleichen Sie auf dieser Seite aktuelle Shop-Preise und Hosting-Sätze.