Ein 70B-Modell, 4 GB Grafikkarte.
Laut README läuft ein 70B-Modell auf einer einzigen 4-GB-Grafikkarte, und zwar ohne Quantisierung.
GITHUB REPO
Riesen-KI auf 4 GB Grafikkarte.
AirLLM ist ein kostenloses Open-Source-Repo (Apache-2.0). Laut README läuft damit ein 70B-Modell auf einer einzigen 4-GB-Grafikkarte, ohne Quantisierung: Die Schichten bleiben auf der Festplatte und werden einzeln geladen. Der Preis ist Geschwindigkeit.
- AirLLM
- GitHub
- Fortgeschritten
FEATURES
Was es kann.
Schicht für Schicht statt alles auf einmal.
Das Modell wird in Schichten zerlegt und bleibt auf der Festplatte. Deine Karte lädt eine Schicht, rechnet, und holt die nächste.
Ein 70B-Modell wiegt rund 140 GB.
Das ist eine Rechnung, keine Angabe aus dem README: 70 Milliarden Parameter mal 2 Byte (fp16). Genau deshalb passt es nie auf einmal in 4 GB.
Alles auf deinem Rechner.
Kein Satz muss in die Cloud. Das ist der Grund, warum das Repo für Verträge und andere Dokumente interessant ist, die nicht hochgeladen werden dürfen.
Kostenlos und offen.
Apache-2.0-Lizenz, auf GitHub mit 39.639 Sternen (Stand 20.10.2026).
USE CASES
Wofür du es einsetzt.
Der Vertrag, der nicht in die Cloud darf
Abends reingeben, morgens die Antwort holen. Und nichts verlässt dein Büro.
Ein großes Modell zum Ausprobieren
Du willst wissen, wie sich ein richtig großes Modell lokal anfühlt, ohne dir eine teure Grafikkarte zu kaufen. Als Chat-Ersatz taugt es nicht, dafür ist es zu langsam.
INSTALLATION
Dein Setup zum Kopieren.
pip install airllm
MEINE EINSCHÄTZUNG
Wofür es sich lohnt.
Gut geeignet für
- Alle, die ein großes Modell lokal testen wollen und nichts in die Cloud schicken dürfen
- Wer Zeit hat: abends rein, morgens Antwort
Weniger geeignet für
- Langsam: Nutzer berichten in den Issues von 28,6 Sekunden pro Token (3B-Modell, #364), 40 Minuten pro Satz (#186) und 30 Minuten pro Anfrage (#374)
- Kein Chat-Ersatz, und du brauchst viel Plattenplatz
- Auf dem Mac laufen laut README nur Llama-artige Modelle
Große KI, winzige Grafikkarte.
Kostenloses Repo, Schicht für Schicht geladen, komplett auf deinem Rechner.
FAQ
Häufige Fragen.
Was ist AirLLM?
Ein kostenloses Open-Source-Repo (Apache-2.0), mit dem laut README ein 70B-Modell auf einer 4-GB-Grafikkarte läuft, indem es Schicht für Schicht geladen wird.
Wie schnell ist das?
Langsam. Der Engpass ist das Laden der Schichten von der Platte. Issues im Repo berichten von rund 30 Minuten pro Anfrage. Plane es als Nachtlauf, nicht als Chat.
Läuft das auf meinem Mac?
Laut README ja, aber nur mit Llama-artigen Modellen.
