LM Studio — lokale KI ohne Terminal
Ein Sprachmodell auf dem eigenen Rechner: kein Konto, keine Zeile Terminal, keine Anfrage, die das Haus verlässt. Diese Schulung zeigt zuerst, was LM Studio kann, und macht danach den lokalen Server auf, über den andere Programme dasselbe Modell benutzen. Jede Stufe hat einen kurzen Film, darunter denselben Inhalt zum Nachlesen.
▶ Das ganze Video
Gut zehn Minuten am Stück, oder unten Stufe für Stufe mit Text daneben.
Sprecherstimme synthetisch erzeugt (Text-to-Speech).
Worum geht's?
Die bekannten KI-Dienste laufen in fremden Rechenzentren. Jede Frage und jedes hochgeladene Dokument reist dorthin. LM Studio dreht das um: Das Modell ist eine Datei auf Deiner Platte, gerechnet wird auf Deiner Grafikkarte, und die Anfrage bleibt, wo sie ist.
Der Unterschied zur Schwester-Schulung Lokale KI: die arbeitet mit Ollama und dem Terminal und geht tiefer in Embeddings und RAG. Hier geht es um das Programm mit der Oberfläche: den Weg ohne Terminal, und damit den ersten Schritt für die meisten.
Selbstlern-Kurs zum Durchklicken. Dein Fortschritt wird lokal gespeichert.
? Für wen ist das interessant?
Für alle, die einmal sehen wollen, was auf dem eigenen Rechner wirklich geht.
🗺️ Die 9 Stufen
Die Oberfläche
Vier Symbole in der schmalen Leiste links. Wer die kennt, findet alles Weitere.
Sprecherstimme synthetisch erzeugt (Text-to-Speech).
Was im Video gesagt wird
Das ist LM Studio nach dem Start. Ganz links eine schmale Leiste mit vier Symbolen, in der Mitte der Arbeitsbereich, oben die Auswahl des Modells. Die Oberfläche ist englisch. Eine deutsche Fassung lässt sich einstellen, sie ist aber erst halb übersetzt, und gemischte Beschriftungen verwirren mehr, als sie helfen.
Das erste Symbol führt in den Chat, und dort verbringst Du die meiste Zeit. Es sieht aus wie jedes andere Chatfenster, mit einem Unterschied: die Antwort entsteht auf Deiner Grafikkarte.
Das zweite ist die Modellsuche. Von hier lädst Du Modelle herunter, direkt von Hugging Face, dem Ort, an dem offene Modelle veröffentlicht werden.
Das dritte zeigt, was schon auf der Platte liegt: welche Modelle, wie groß, in welchem Ordner.
Und das vierte macht aus dem Programm einen Server, den andere Anwendungen ansprechen können.
1 Die vier Bereiche
Unterhaltungen mit dem geladenen Modell. Links die Liste der bisherigen Chats, rechts die Einstellungen des Modells. Alles bleibt lokal.
Suchen und Herunterladen. LM Studio holt die Dateien von Hugging Face, dem öffentlichen Ablageort für offene Modelle.
Was auf der Platte liegt: Name, Größe, Ordner. Hier siehst Du auch, wie viel Platz die Sammlung inzwischen belegt.
Der lokale Server samt Protokoll. Aus dem Chatprogramm wird damit eine Schnittstelle für andere Anwendungen. Dahin geht es in Stufe 7 und 8.
✓ Kurz geprüft
Ein Modell aussuchen
Warum dieselbe KI in sechs Größen kommt, und welche Zahl wirklich über Deine Hardware entscheidet.
Sprecherstimme synthetisch erzeugt (Text-to-Speech).
Was im Video gesagt wird
In der Modellsuche suche ich nach einem Modell. Der Name sagt Dir zwei Dinge: wer es gebaut hat, und wie viele Parameter es hat.
Parameter sind die einstellbaren Gewichte im Modell. Mehr Parameter heißt in der Regel bessere Antworten, und immer: mehr Speicherbedarf.
Zu jedem Modell gibt es mehrere Dateien. Das sind keine verschiedenen Modelle, sondern dasselbe Modell in verschiedener Genauigkeit. Man nennt das Quantisierung.
Die Zahl hinter dem Q sagt, mit wie vielen Bit ein Gewicht gespeichert wird. Q4 belegt rund ein Viertel des Platzes von voller Genauigkeit und verliert erstaunlich wenig. Deshalb ist Q4 für den Anfang fast immer die richtige Wahl.
Die entscheidende Zahl ist die Dateigröße. Sie muss in den Speicher Deiner Grafikkarte passen, und zwar mit Platz darüber.
1 Den Namen lesen
Ein Modellname wie qwen/qwen3.8-27b zerfällt in drei Teile.
- Wer ist
qwen: die Gruppe, die es gebaut hat. Bekannte Namen sind Qwen, Google (Gemma), Meta (Llama), Mistral, NVIDIA (Nemotron), OpenAI (gpt-oss). - Welche Fassung ist
qwen3.8: die Generation. Eine höhere Zahl ist meist neuer, nicht zwingend größer. - Wie groß steht in
27b: 27 Milliarden Parameter. Das ist die Zahl, an der Dein Speicherbedarf hängt.
2 Quantisierung: dasselbe Modell, gröber gespeichert
Ein Parameter ist eine Zahl. In voller Genauigkeit belegt sie 16 Bit. Quantisierung speichert sie gröber, bei Q4 mit rund vier bis fünf Bit. Das Modell behält alle Parameter, jeder einzelne ist nur ungenauer abgelegt.
| Stufe | Bit je Gewicht | Größe eines 27-B-Modells | Wofür |
|---|---|---|---|
| FP16 | 16 | rund 54 GB | Forschung, Weitertrainieren |
| Q8 | 8 | rund 28 GB | wenn reichlich Speicher da ist |
| Q4_K_M | rund 4,8 | rund 16,5 GB | der Alltagsfall |
_K_M steht für eine Variante, die wichtige Teile des Modells feiner speichert als unwichtige. Wenn Du die Wahl hast, nimm Q4_K_M.3 Die Zahl, auf die es ankommt
Nicht die Parameterzahl entscheidet, ob ein Modell auf Deine Karte passt, sondern die Dateigröße, und die steht in der Trefferliste rechts. Im Betrieb kommt noch das Arbeitsgedächtnis dazu, LM Studio rechnet das vor dem Laden aus.
Das Modell laden
LM Studio fragt beim Laden nach einigen Einstellungen. Zwei davon solltest Du verstehen, der Rest kann so bleiben.
Sprecherstimme synthetisch erzeugt (Text-to-Speech).
Was im Video gesagt wird
Geladen wird oben in der Leiste. LM Studio fragt dabei nach ein paar Einstellungen. Zwei davon solltest Du verstehen, der Rest kann so bleiben.
Die erste ist die Kontextlänge. Sie bestimmt, wie viel Text das Modell gleichzeitig im Blick hat: Deine Frage, die bisherige Unterhaltung und alles, was Du angehängt hast.
Ein größerer Kontext kostet zusätzlichen Speicher, und zwar neben dem Modell selbst. Wer ihn zu hoch stellt, bekommt keinen höflichen Hinweis, sondern einen Absturz beim Laden.
Die zweite Einstellung ist die Auslagerung auf die Grafikkarte. Alles, was dort liegt, rechnet schnell. Was nicht mehr hineinpasst, rutscht in den Arbeitsspeicher und wird um ein Vielfaches langsamer.
Jetzt wird geladen. Gut sechzehn Gigabyte wandern von der Platte in den Grafikspeicher. Danach bleibt das Modell dort liegen, bis Du es entlädst.
1 Den Ladedialog öffnen
- Oben in der Leiste auf die Modellauswahl klicken, oder
Strg+Ldrücken. - Unten im Dialog den Schalter „Modellladeparameter manuell auswählen" einschalten. Ohne den lädt ein Klick auf die Zeile sofort mit den Vorgabewerten.
- Erst dann das Modell anklicken. Jetzt erscheinen Kontextlänge, GPU-Offload und die geschätzte Speicherbelegung.
Alt-Taste gedrückt halten.2 Kontextlänge: das Arbeitsgedächtnis
Die Kontextlänge sagt in Token, wie viel Text das Modell gleichzeitig im Blick hat: Deine Frage, die bisherige Unterhaltung, angehängte Dateien und die entstehende Antwort. Ein Token ist grob ein halbes Wort.
| Kontext | entspricht etwa | Kosten |
|---|---|---|
| 8 192 | 12 Seiten | Vorgabe, sparsam |
| 49 152 | 70 Seiten | spürbar mehr Grafikspeicher |
| 262 144 | ein dickes Buch | auf 24 GB nicht machbar |
65536 reproduzierbar kurz vor dem Ende des Ladevorgangs, bei 49152 lädt dasselbe Modell sauber. Wenn LM Studio beim Laden ohne Meldung abbricht, ist die Kontextlänge der erste Verdacht.3 GPU-Offload: was auf der Karte rechnet
Ein Modell besteht aus Schichten. Der Regler sagt, wie viele davon im Grafikspeicher liegen. Was dort liegt, rechnet schnell; der Rest rutscht in den Arbeitsspeicher und wird um ein Vielfaches langsamer.
Die erste Antwort
Fragen wie in jedem anderen Chat, und zwei Zahlen darunter, die Du lesen können solltest.
Sprecherstimme synthetisch erzeugt (Text-to-Speech).
Was im Video gesagt wird
Eine Frage auf Deutsch, so wie Du sie jedem anderen Chatprogramm stellen würdest.
Das Modell denkt zuerst sichtbar nach. Diesen Block kannst Du aufklappen und mitlesen, was es sich zurechtlegt, bevor es antwortet. Bei Cloud-Diensten bekommst Du das meist nicht zu sehen.
Dann läuft die Antwort durch. Wie schnell das geht, hängt an der Grafikkarte und an der Größe des Modells.
Unter der Antwort stehen zwei Zahlen, die Du im Blick behalten solltest. Token pro Sekunde ist das Tempo. Ein Token ist ungefähr ein halbes Wort. Alles über zwanzig liest sich flüssig mit.
Die zweite Zahl ist die Zeit bis zum ersten Token. Sie sagt, wie lange der Rechner braucht, bis er anfängt zu schreiben.
1 Die Denkschritte
Modelle mit Reasoning schreiben ihre Überlegung vor die Antwort. LM Studio klappt diesen Teil zusammen und zeigt nur, wie lange er gedauert hat. Ein Klick öffnet ihn.
Das ist mehr als Spielerei: Wenn eine Antwort falsch ist, steht im Denkteil oft, an welcher Stelle das Modell abgebogen ist. Bei den meisten Cloud-Diensten bekommst Du diesen Teil nicht zu sehen.
2 Die zwei Zahlen unter der Antwort
Das Tempo beim Schreiben. Unter 10 wirkt zäh, ab 20 liest man flüssig mit, über 100 ist schneller als lesbar. Hängt an Modellgröße und Grafikkarte.
Wie lange es dauert, bis überhaupt etwas erscheint. Wächst mit der Länge dessen, was das Modell vorher lesen muss, bei langen Unterhaltungen also spürbar.
✓ Kurz geprüft
Ein Bild mitgeben
Manche lokalen Modelle lesen nicht nur, sie sehen auch. Und das Bild verlässt den Rechner nicht.
Sprecherstimme synthetisch erzeugt (Text-to-Speech).
Was im Video gesagt wird
Manche Modelle können nicht nur lesen, sondern auch sehen. Bei diesem steht ein Augensymbol am Namen, und dann nimmt das Eingabefeld auch Bilder an.
Ich hänge einen Screenshot an und stelle eine Frage dazu.
Das Bild wird auf dem Rechner ausgewertet. Es wird nicht hochgeladen, es verlässt den Rechner nicht, und es liegt danach in keinem fremden Zwischenspeicher.
Für Bildschirmfotos, Formulare oder Fotos von einem Typenschild ist das praktisch. Für feine Details solltest Du die Antworten trotzdem nachprüfen.
1 Woran Du es erkennst
In der Modellliste tragen Modelle mit Bildverständnis ein Augensymbol neben dem Namen. Ist keines da, nimmt das Eingabefeld auch kein Bild an.
2 Zwei Wege, ein Bild anzuhängen
- Einfügen: Bild in die Zwischenablage kopieren und im Eingabefeld
Strg+Vdrücken. Der schnellste Weg bei Bildschirmfotos. - Anhängen: das Büroklammer-Symbol unter dem Eingabefeld, dann die Datei auswählen.
3 Wofür sich das lohnt
Überall dort, wo Text in einem Bild steckt und das Bild sensibel ist.
Klein gegen groß
Dasselbe Gerät, dieselbe Frage, zwei Modelle. Der Unterschied ist keine Feinheit.
Sprecherstimme synthetisch erzeugt (Text-to-Speech).
Was im Video gesagt wird
Jetzt das Gegenstück. Ich entlade das große Modell und lade ein kleines: gut zweieinhalb Gigabyte statt sechzehn.
Dieselbe Frage wie eben. Der Unterschied im Tempo ist nicht klein, er ist eine andere Größenordnung.
Ein Modell dieser Größe läuft auf fast jedem Rechner mit einer halbwegs aktuellen Grafikkarte, und für einfache Aufgaben reicht es: umformulieren, zusammenfassen, sortieren.
Bei allem, was mehrere Schritte oder Fachwissen braucht, merkst Du den Unterschied deutlich. Die ehrliche Regel lautet: nimm das größte Modell, das noch vollständig auf Deine Karte passt.
1 Was ein kleines Modell gut kann
Umformulieren, kürzen, zusammenfassen, übersetzen, Stichpunkte sortieren, Texte in eine feste Form bringen. Alles, wo der Inhalt schon vorliegt und nur umgeformt wird.
Mehrschrittiges Überlegen, Fachwissen, Rechnen, Programmieren, längere Zusammenhänge halten. Hier ist der Abstand zu einem großen Modell deutlich.
2 Die Faustregel
| Grafikspeicher | realistisch in Q4 |
|---|---|
| 8 GB | Modelle bis rund 8 Milliarden Parameter |
| 16 GB | bis rund 14 Milliarden, oder 27 Milliarden mit knappem Kontext |
| 24 GB | 27 Milliarden mit brauchbarem Kontext |
| 48 GB und mehr | 70 Milliarden aufwärts |
Richtwerte für Q4-Quantisierung, ohne besonders langen Kontext. Die verlässliche Zahl steht immer in LM Studios eigener Schätzung im Ladedialog.
Der lokale Server
Ein Schalter, und aus dem Chatprogramm wird eine Schnittstelle, die andere Anwendungen benutzen können.
Sprecherstimme synthetisch erzeugt (Text-to-Speech).
Was im Video gesagt wird
Bis hierher war LM Studio ein Chatprogramm. Der Entwickler-Bereich macht etwas anderes daraus.
Ein Schalter, und das Modell hängt als Schnittstelle im Netz des eigenen Rechners. Zu erreichen ist sie dort auf Port 1234.
Diese Schnittstelle spricht dieselbe Sprache wie die Programmierschnittstelle von OpenAI. Das ist der eigentliche Punkt: fast jedes Programm, das mit einem Sprachmodell reden kann, kann auch mit diesem hier reden.
Darunter läuft ein Protokoll mit. Jede Anfrage, die hereinkommt, steht hier mit Zeitstempel. Das ist beim Anbinden fremder Programme die halbe Fehlersuche.
1 Was da eigentlich passiert
/v1/chat/completions.Der Schalter startet einen kleinen Webserver auf Deinem Rechner. Er lauscht auf http://127.0.0.1:1234 und nimmt Anfragen im Format der OpenAI-Schnittstelle entgegen. Das Modell dahinter ist das, was Du in Stufe 3 geladen hast.
Chat-Oberfläche, Skript, Editor
127.0.0.1:1234/v1geladen in Stufe 3
127.0.0.1 und localhost bezeichnen denselben Rechner, auf dem der Server läuft. Solange Du nichts anderes einstellst, ist die Schnittstelle von außen nicht erreichbar.2 Warum OpenAI-kompatibel so viel wert ist
Fast jedes Werkzeug, das mit einem Sprachmodell arbeitet, kann mit der OpenAI-Schnittstelle sprechen, sie ist zum De-facto-Format geworden. In den meisten Programmen genügt es deshalb, zwei Felder zu ändern:
Basis-URL: http://127.0.0.1:1234/v1 API-Key: beliebig (wird lokal nicht geprüft, z. B. "lm-studio")
Damit laufen Chat-Oberflächen, Editor-Erweiterungen und Automatisierungen gegen Dein lokales Modell statt gegen einen Anbieter.
3 Zwei Fallen
Eine echte Anfrage
Zwei Befehle im Terminal, und aus „OpenAI-kompatibel" wird etwas Anfassbares.
Sprecherstimme synthetisch erzeugt (Text-to-Speech).
Was im Video gesagt wird
Ein Terminal daneben, und wir fragen den Server, welche Modelle er anbietet. Das ist derselbe Aufruf, den ein Programm machen würde.
Zurück kommt eine Liste im JSON-Format, und darin steht der Name, unter dem das Modell ansprechbar ist. Diesen Namen brauchst Du gleich.
Jetzt eine richtige Frage. Der Aufbau ist genau der, den Du aus der OpenAI-Dokumentation kennst: ein Modellname und eine Liste von Nachrichten.
Und zurück kommt die Antwort, im selben Format wie bei einem Cloud-Anbieter. In den meisten Programmen genügt es, die Adresse zu tauschen, und schon läuft es lokal.
1 Welche Modelle bietet der Server an?
curl.exe http://127.0.0.1:1234/v1/models
Zurück kommt eine Liste im JSON-Format. Wichtig daran ist das Feld id: genau dieser Name muss in der nächsten Anfrage stehen, sonst antwortet der Server mit einem Fehler.
curl.exe schreiben, nicht curl — curl allein ist dort ein anderer Befehl mit anderer Bedienung. Unter macOS und Linux genügt curl.2 Eine Frage stellen
Den Anfragetext legst Du am besten in eine Datei, dann musst Du Dich nicht mit Anführungszeichen in der Kommandozeile herumschlagen. anfrage.json:
{
"model": "qwen/qwen3.8-27b",
"messages": [
{ "role": "user",
"content": "Nenne drei Vorteile davon, ein Sprachmodell lokal zu betreiben. Je ein kurzer Satz." }
],
"temperature": 0.7,
"max_tokens": 200
}
Und abschicken:
curl.exe http://127.0.0.1:1234/v1/chat/completions ^ -H "Content-Type: application/json" ^ --data-binary "@anfrage.json"
choices[0].message.content steht der deutsche Text („Keine Datenübertragung schützt die Nutzerdaten …“), darunter die Denkschritte in reasoning_content.choices[0].message.content steht der Text. Genau deshalb reicht es in den meisten Programmen, die Basis-URL zu tauschen.3 Was Du damit bauen kannst
Wo es aufhört
Drei Grenzen, damit Du weißt, worauf Du Dich einlässt.
Sprecherstimme synthetisch erzeugt (Text-to-Speech).
1 Der Grafikspeicher entscheidet
Auf 24 GB läuft ein Modell mit 27 Milliarden Parametern in Q4 gut. Ein Modell mit 120 Milliarden Parametern läuft nicht mehr auf der Karte: es startet zwar, rechnet dann aber zum Teil im Arbeitsspeicher. Auf dem Rechner im Video kostete das den Faktor fünf bis zehn beim Tempo.
2 Ein 27-B-Modell ersetzt die Cloud nicht
Für Fragen, Texte, Übersetzungen und Auswertungen reicht ein gutes lokales Modell gut aus. Bei langen Aufgaben über viele Schritte (programmieren, recherchieren, planen) ist der Abstand zu den großen Cloud-Modellen deutlich, und er verschwindet nicht durch Geduld.
Das ist kein Argument gegen lokal. Es ist ein Argument dafür, den passenden Weg je Aufgabe zu wählen.
3 Lokal heißt nicht automatisch datenschutzkonform
Lokal heißt: die Anfrage verlässt diesen Rechner nicht. Das ist die Voraussetzung dafür, personenbezogene Daten mit KI zu verarbeiten. Die Antwort auf die rechtliche Frage ist es nicht. Zweck, Rechtsgrundlage, Löschfristen, Zugriff auf den Rechner, Protokolle: das gehört weiterhin bewertet.
✓ Kurz geprüft
Befehle zum Kopieren
LM Studio bringt ein Kommandozeilenwerkzeug mit. Für die Oberfläche brauchst Du es nicht, für Skripte ist es praktisch.
1 Das Werkzeug lms
Es wird mit LM Studio installiert und liegt unter ~/.lmstudio/bin/lms (Windows: %USERPROFILE%\.lmstudio\bin\lms.exe).
# Welche Modelle liegen auf der Platte? lms ls # Was ist gerade geladen? lms ps # Ein Modell laden, mit Kontextlänge und voller Auslagerung auf die Karte lms load qwen/qwen3.8-27b --identifier qwen3.8-27b --context-length 49152 --gpu max # Wieder entladen lms unload --all # Server starten und stoppen lms server start lms server stop
--gpu auto gibt es nicht. Wer nur einen Teil auslagern will, gibt einen Anteil an.2 Die Schnittstelle prüfen
# Antwortet der Server? curl http://127.0.0.1:1234/v1/models # Eine Anfrage aus einer Datei schicken curl http://127.0.0.1:1234/v1/chat/completions \ -H "Content-Type: application/json" \ --data-binary "@anfrage.json"
Unter Windows in PowerShell jeweils curl.exe schreiben und statt \ ein ^ zum Umbrechen benutzen.
3 Weiterlesen
Die Schwester-Schulung Lokale KI — LLMs & Embeddings selbst betreiben geht denselben Weg mit Ollama und dem Terminal und behandelt zusätzlich Embeddings und RAG: wie Du Deine eigenen Dokumente durchsuchbar machst.
Quiz
10 Situationen aus dem Umgang mit LM Studio, mit echten Werten aus den Videos. Ab 8 richtigen Antworten schaltest Du Dein Zertifikat frei. Die Antworten erscheinen bei jedem Durchgang in neuer Reihenfolge.
Dein Zertifikat
Glückwunsch! Trage deinen Namen ein und drucke das Zertifikat (oder speichere als PDF).