1 Drei Ebenen

Fast jede Verwirrung rund um lokale KI kommt daher, dass drei Dinge in einen Topf geworfen werden. Sie gehören getrennt:

LibreChat ist ausschließlich die dritte Ebene. Es besitzt kein Modell, lädt keines herunter und rechnet keine Antwort aus. Es fragt den Motor und stellt dar, was zurückkommt.

2 Die Regel, die Zeit spart

Diese Unterscheidung klingt banal und ist im Alltag Gold wert. Die meisten verlorenen Stunden entstehen, weil jemand in den Einstellungen der Oberfläche sucht, während das Problem eine Ebene tiefer liegt — oder umgekehrt.

3 Was LibreChat mitbringt

1. Konten und Verlauf. Jede Person hat ihre eigenen Unterhaltungen, auf jedem Gerät.
2. Voreinstellungen. Modell, Temperatur und Systemprompt unter einem Namen gespeichert — Stufe 6.
3. Eine Prompt-Bibliothek. Wiederverwendbare Texte, über / ins Eingabefeld geholt.
4. Agenten. Eine Auskunftsstelle mit festen Anweisungen und eigenen Dokumenten — Stufe 8.
5. Mehrere Anbieter nebeneinander. Lokal und Cloud in einer Oberfläche, in einer Datei konfiguriert.

4 Und Open WebUI?

Das ist die häufigste Frage, deshalb gleich hier eine kurze Antwort — die ausführliche steht in Stufe 12, nach allem, was Du gesehen hast.

Beide sind selbst gehostete Oberflächen vor demselben Modell. Open WebUI ist ein Container, schnell eingerichtet, mit Wissenssammlungen und einem Knopf zum Neu-Indizieren. LibreChat sind vier Dienste, eine Konfigurationsdatei, dafür Agenten, Voreinstellungen und Prompt-Bibliothek.

Das ist keine Entscheidung gegen Open WebUI. Wer dort eingerichtet ist und zufrieden, verliert nichts. Diese Schulung zeigt den anderen Weg, damit Du beide kennst.

✓ Kurz geprüft

1 Warum vier Dienste?

Open WebUI kommt mit einem Container aus, weil es alles selbst mitbringt. LibreChat trennt die Aufgaben:

Die letzten beiden braucht man erst ab Stufe 8. Sie laufen trotzdem von Anfang an mit, weil api ohne die Adresse von rag_api gar nicht startet.

2 Die Compose-Datei

Gekürzt auf das, was man verstehen muss:

services:
  api:
    image: ghcr.io/danny-avila/librechat:latest
    ports:
      - "3080:3080"          # außen : innen
    env_file: .env
    environment:
      MONGO_URI: mongodb://mongodb:27017/LibreChat
      CONFIG_PATH: /app/librechat.yaml
      RAG_API_URL: http://rag_api:8000    # Pflicht, sonst startet api nicht
    volumes:
      - ./librechat.yaml:/app/librechat.yaml
      - ./data/uploads:/app/uploads

  mongodb:
    image: mongo:8
    volumes:
      - ./data/mongo:/data/db

  vectordb:
    image: pgvector/pgvector:0.8.0-pg15-trixie
    volumes:
      - pgdata:/var/lib/postgresql/data

  rag_api:
    image: ghcr.io/danny-avila/librechat-rag-api-dev-lite:v0.9.0

volumes:
  pgdata:

Links außen, rechts innen: Innen lauscht LibreChat auf 3080, die linke Zahl darfst Du frei wählen, wenn der Port schon belegt ist.

3 Wo die Daten liegen

Alles, was Du anlegst, liegt neben der Compose-Datei im Ordner data/ — als normale Dateien, die Du sichern und mitnehmen kannst. Mit einer Ausnahme:

4 Das erste Konto

Nach docker compose up -d steht die Oberfläche unter http://localhost:3080. Es gibt noch kein Konto, also unten auf Registrieren.

Wichtiger ist etwas anderes, und es kommt in Stufe 11 wieder: Der erste registrierte Nutzer bekommt automatisch die Rolle Administrator. Das ist bequem, solange Du allein bist. Es ist der Grund, warum die Person, die den Dienst betreibt, sich als Erste registrieren sollte.

✓ Kurz geprüft

1 librechat.yaml

Open WebUI trägt man die Verbindung in der Oberfläche ein. LibreChat liest sie aus einer Datei. Das ist der Unterschied zwischen „schnell mal ausprobieren" und „bei der nächsten Installation genauso".

# Muss zur installierten Abbild-Version passen
version: 1.3.13
cache: true

endpoints:
  custom:
    - name: "LM Studio"
      baseURL: "http://host.docker.internal:1234/v1"
      apiKey: "lm-studio"
      models:
        default: ["qwen3.8-27b"]
        fetch: true
      titleConvo: true
      modelDisplayLabel: "LM Studio (lokal)"

2 Die wichtigste Zeile

http://host.docker.internal:1234/v1 — das ist die Adresse, an der sich die meisten Einrichtungen aufhängen.

Der apiKey ist Pflichtfeld, aber egal — LM Studio prüft ihn nicht. Irgendein Wort genügt, es darf nur nicht leer sein.

Wenn die Modellliste leer bleibt, hilft eine Gegenprobe aus dem Container heraus. Sie beantwortet in einem Schritt, ob es an der Adresse oder an LM Studio liegt:

docker compose exec rag_api python -c "import urllib.request;print(urllib.request.urlopen('http://host.docker.internal:1234/v1/models').status)"

3 fetch: true

Damit holt LibreChat die Modellliste selbst von /v1/models ab. Du musst also nicht jedes Modell einzeln eintragen: Was in LM Studio geladen ist, steht im Chat zur Auswahl. Der Eintrag unter default ist nur die Vorauswahl.

4 Beide Modelle laden — ausdrücklich

Damit in der Liste etwas steht, muss in LM Studio etwas geladen sein. Für diese Schulung sind es zwei Modelle: das Chat-Modell und der Einbetter für die Dokumentensuche ab Stufe 8.

lms load qwen/qwen3.8-27b --identifier qwen3.8-27b --context-length 32768
lms load text-embedding-bge-m3 --context-length 8192

Beim Grafikspeicher wird es eng, und das sollte man vorher wissen. Gemessen auf einer RTX 3090 mit 24 GB: Das Chat-Modell belegt rund 17,7 GB. Der Einbetter kostet trotz 634 MB Dateigröße etwa 2,8 GB, weil für 8192 Kontext Puffer angelegt werden. Mit Kontext 32 768 beim Chat-Modell bleiben knapp 1,4 GB frei — mit 65 536 wären es nur noch rund 370 MB, und das ist zu wenig.

✓ Kurz geprüft

1 Fragen

Oben sitzt die Modellauswahl (Ein KI-Modell auswählen). Sie zeigt alles, was über den Endpunkt aus Stufe 3 erreichbar ist. Auswählen, Frage ins Feld, abschicken — die Antwort entsteht auf der Grafikkarte dieses Rechners.

Das Modell lässt sich mitten im Gespräch wechseln. Der bisherige Verlauf bleibt erhalten und wird dem neuen Modell als Vorgeschichte mitgegeben.

2 Der Gedanken-Block

Direkt in der Antwort steht ein aufklappbarer Abschnitt namens Gedanken. Moderne Modelle überlegen vor dem Antworten; LibreChat wirft diesen Zwischenschritt nicht weg, sondern zeigt ihn.

Nebenbei: Der Block ist auch die ehrlichste Antwort auf die Frage, warum eine lokale Antwort länger dauert als erwartet. Ein gutes Stück der Zeit geht fürs Nachdenken drauf, nicht fürs Schreiben.

3 Verlauf und Projekte

Daneben gibt es den privaten Chat: ein Gespräch, das gar nicht erst im Verlauf landet. Für die schnelle Zwischenfrage, die niemanden etwas angeht.

4 Was hier fehlt

Das ist eine Entscheidung, keine Eigenschaft. Wer viele Gespräche führt und darin suchen will, nimmt den Dienst dazu; in der .env steht dafür SEARCH. Für diese Schulung ist es vor allem ein gutes Beispiel dafür, dass ein selbst gehosteter Dienst genau so viel kann, wie man ihm mitgibt.

5 Was gleich bleibt

Die Antwortqualität. Das Tempo. Der Speicherbedarf. Die Grenzen aus der LM-Studio-Schulung gelten unverändert.

✓ Kurz geprüft

1 Ein zweites Modell dazunehmen

Neben der Modellauswahl sitzt Mehrere Chats hinzufügen. Der Name führt ein wenig in die Irre: Das Fenster wird nicht geteilt. Stattdessen hängt LibreChat ein zweites Modell an dieselbe Frage — über dem Eingabefeld erscheint eine Zeile pro Modell, das mitantwortet.

Für diese Schulung antwortet einmal das große Modell (27 Milliarden Parameter) und einmal ein kleines (gut 4 Milliarden). Beide liegen auf demselben Rechner und sind gleichzeitig geladen. Was Du tippst, geht an beide; die Antworten stehen untereinander.

2 Was man dabei sieht

3 Warum das besser ist als jede Rangliste

Ranglisten sagen, wie ein Modell bei fremden Aufgaben abschneidet. Für Deine Frage ist das eine Vermutung. Zwei Modelle nebeneinander mit Deinen Fragen sind eine Messung.

Ein brauchbares Vorgehen für die Auswahl:

1. Fünf echte Fragen sammeln — aus dem Alltag, nicht ausgedacht. Darunter eine, die Du selbst schwer findest.
2. Beide Modelle nebeneinander dieselben fünf Fragen beantworten lassen.
3. Antworten vergleichen, nicht Gefühle. Wo ist die kleine Antwort falsch, wo nur kürzer? Kürzer ist oft besser.
4. Das kleinste Modell nehmen, das durchkommt. Es lässt Platz im Grafikspeicher — den brauchst Du ab Stufe 8 für den Einbetter.

4 Was der Vergleich nicht zeigt

Beide Antworten sind Momentaufnahmen. Sprachmodelle antworten nicht jedes Mal gleich, und ein einzelner Durchgang kann täuschen — in beide Richtungen. Wer sich festlegen will, fragt jede Frage zweimal.

✓ Kurz geprüft

1 Der Systemprompt

Oben links steht Voreinstellungen. Dahinter liegen die Stellschrauben eines Gesprächs — Modell, Temperatur und vor allem der Systemprompt.

Der Systemprompt ist die Anweisung, die vor jeder Frage mitläuft, ohne dass man sie sieht. Er beantwortet nicht was gefragt wird, sondern wie geantwortet werden soll. Ein brauchbarer für den Anfang:

Antworte auf Deutsch, knapp und ohne Einleitungsfloskeln.
Wenn etwas nicht in den bereitgestellten Unterlagen steht, sage das
ausdrücklich und erfinde nichts.
Bei widersprüchlichen Angaben nenne beide und sage, woher jede stammt.

2 Temperatur

Die Temperatur bestimmt, wie stark das Modell vom naheliegendsten Wort abweicht. Niedrig heißt vorhersagbar und langweilig, hoch heißt einfallsreich und unzuverlässig.

3 Als Voreinstellung speichern

Modell, Temperatur und Systemprompt lassen sich unter einem Namen sichern. Ab dann ist es ein Klick statt einer Tipperei.

Der eigentliche Gewinn ist aber nicht die Bequemlichkeit, sondern die Wiederholbarkeit: Eine gespeicherte Voreinstellung ist jedes Mal wortgleich. Wer Antworten über Wochen vergleichen oder einem Kollegen zeigen will, wie er zu einem Ergebnis kam, braucht genau das. Ein von Hand getippter Systemprompt ist beim zweiten Mal nie derselbe.

4 Die Prompt-Bibliothek

Daneben gibt es Prompts. Der Unterschied ist wichtig und wird oft verwechselt:

Gute Kandidaten für die Bibliothek sind die Sachen, die man ohnehin dauernd tippt: „Fasse das in drei Sätzen zusammen, für jemanden ohne Vorwissen." „Schreib daraus eine höfliche Absage." „Prüf diesen Text auf Zahlen, die nicht zusammenpassen."

✓ Kurz geprüft

1 Die Büroklammer fragt nach

In den meisten Oberflächen öffnet die Büroklammer einen Dateidialog. In LibreChat fragt sie vorher, wohin die Datei gehen soll. Das Menü heißt (noch englisch) Attach File Options und hat drei Einträge:

2 Was passiert, wenn man nicht wählt

Wer die Datei einfach ins Fenster zieht, einfügt oder ohne Menü anhängt, bekommt den ersten Weg. Gegen ein lokales Modell endet das so:

Das ist LM Studio, das ein Dokument-Teil bekommt und damit nichts anfangen kann. Die Meldung erscheint im Chat und sieht nach einem Problem mit dem Modell aus. Sie hat mit dem Modell nichts zu tun.

So prüfst Du es in einem Befehl:

docker compose exec vectordb psql -U librechat -d librechat_vectors -c "select count(*) from langchain_pg_embedding;"

3 Warum es überhaupt drei Wege gibt

Der Grund ist nicht Schikane, sondern dass die drei Wege wirklich verschiedene Dinge sind — und man je nach Lage einen anderen will:

Bei einer einseitigen Notiz ist „als Text" sogar die bessere Wahl als die Suche: Das Modell sieht dann garantiert alles, statt nur die ähnlichsten Schnipsel. Die Suche lohnt erst, wenn der Text nicht mehr in den Kontext passt.

4 Die Konfigurationsschraube dazu

Welchen Weg eine Datei nimmt, wenn niemand wählt, lässt sich pro Dateityp festlegen — in librechat.yaml:

fileConfig:
  endpoints:
    "LM Studio":              # EXAKT der Endpunktname aus Stufe 3
      fileLimit: 10
      fileSizeLimit: 100
      defaultLLMDeliveryPath:
        overrides:
          application/pdf: none
          text/markdown: none
          text/plain: none

5 Der Unterschied zu Open WebUI

✓ Kurz geprüft

1 Was ein Agent ist

Ein Agent ist eine gespeicherte Arbeitsweise mit eigenem Namen: feste Anweisungen, ein Modell, Fähigkeiten — und eigene Dokumente. Man wählt ihn wie ein Modell aus und stellt dann Fragen.

Der Unterschied zur Voreinstellung aus Stufe 6: Eine Voreinstellung ist eine Einstellung. Ein Agent ist ein Gegenüber. Er hat Unterlagen, er kann geteilt werden, und in der Modellauswahl steht sein Name statt eines Modellnamens.

2 Anlegen — in dieser Reihenfolge

1. Agenten erstellen in der linken Leiste öffnen.
2. Name und Beschreibung eintragen. Beides ist später sichtbar, also sprechende Namen wählen.
3. Anweisungen — das ist der Systemprompt aus Stufe 6, nur dauerhaft. Hier gehört hinein, worauf er sich stützen soll und was er tun soll, wenn etwas nicht in den Unterlagen steht.
4. Modell wählen, mit dem der Agent arbeitet.
5. Speichern.
6. Erst jetzt: Dateisuche aktivieren und die Dokumente hochladen.

3 Die Übungsdokumente

Für diese Schulung liegen drei Dokumente einer erfundenen Firma bereit, der Nordwerk GmbH — dieselben wie in der Open-WebUI-Schulung, damit der Vergleich zwischen beiden Oberflächen etwas wert ist. Sie liegen in demo/.

Dazu eine Frage, die in keinem der drei beantwortet wird: die Zahl der Urlaubstage. Genau so sehen echte Ablagen aus — verschiedene Stände nebeneinander, niemand räumt auf, und die wichtigste Angabe fehlt.

4 Was beim Einbetten passiert

Nach dem Hochladen dauert es ein paar Sekunden. In dieser Zeit schneidet rag_api die Dokumente in Stücke, schickt jedes davon an das Einbettungsmodell in LM Studio und legt das Ergebnis in vectordb ab.

Aus den drei Dokumenten werden dabei fünf Schnipsel. Die Werkseinstellung schneidet bei 1500 Zeichen mit 100 Zeichen Überlappung.

Nachzählen lässt sich das jederzeit:

docker compose exec vectordb psql -U librechat -d librechat_vectors -c "select count(*) from langchain_pg_embedding;"

✓ Kurz geprüft

1 Die erste Frage

„Wie viele Mitarbeitende hat die Nordwerk GmbH?" — eine Frage, die in zwei Dokumenten beantwortet wird, mit zwei verschiedenen Zahlen.

LibreChat meldet zuerst Deine Dateien wurden durchsucht und klappt dann eine Liste auf. Diese Liste ist der eigentliche Gewinn dieser Stufe.

2 Was in der Trefferliste steht

Jede Fundstelle nennt ihre Datei, eine Prozentzahl und den gefundenen Textausschnitt zum Aufklappen. Im gemessenen Durchlauf sah das so aus:

Trotzdem ist die Zahl nützlich, und zwar an den Rändern: Sind alle Treffer niedrig, hat die Suche nichts Passendes gefunden — dann ist die Antwort mit hoher Wahrscheinlichkeit aus dem Allgemeinwissen zusammengesetzt, egal wie sicher sie klingt.

3 Die Antwort

Das Modell antwortet 42 — und begründet es: Das Handbuch ist von Januar 2026 und sagt selbst, dass es ältere Fassungen ersetzt. Die 28 aus der Hausordnung nennt es ausdrücklich als überholt.

Das ist eine gute Antwort. In Stufe 10 sehen wir uns an, warum sie gut ist — denn das Verdienst liegt nicht bei der Oberfläche.

4 Die Gewohnheit, auf die es ankommt

Klapp eine Fundstelle auf und lies den Text. Nicht jedes Mal, aber immer dann, wenn eine Antwort eine Entscheidung trägt.

Eine Quellenangabe ist kein Beleg, solange niemand hineingesehen hat. Sie sagt nur: Dieses Textstück lag dem Modell vor. Ob das Modell es richtig gelesen, zusammengefasst oder stillschweigend um eigenes Wissen ergänzt hat, steht dort nicht.

5 Der Gedanken-Block als zweite Spur

Über der Antwort steht der Gedanken-Block aus Stufe 4, und bei Dokumentenfragen wird er zum Werkzeug. Dort steht im Klartext, welche Fundstelle das Modell für maßgeblich hielt und warum es sich entschieden hat.

Wenn eine Antwort falsch ist, findest Du dort meistens den Grund — und der ist fast nie „das Modell hat sich das ausgedacht", sondern „es hat einer Quelle geglaubt, der es nicht hätte glauben sollen".

✓ Kurz geprüft

1 Der Widerspruch

„Unter welcher Durchwahl erreiche ich die IT?" Das Handbuch von Januar nennt eine Nummer, das IT-Blatt von Juni eine andere. Keines der beiden ist als veraltet erkennbar — beide sind aktuelle Dokumente einer echten Ablage.

Die gemessene Antwort nennt beide Zahlen, prüft die Vorrangklausel des Handbuchs — und stellt fest, dass sie nur gegenüber älteren Unterlagen gilt. Das IT-Blatt ist neuer. Ergebnis: die Nummer aus dem IT-Blatt, mit dem Rat, sie einmal bestätigen zu lassen.

2 Die Frage ohne Antwort

„Wie viele Urlaubstage habe ich im Jahr?" steht in keinem der drei Dokumente. Das Handbuch regelt nur, wie man Urlaub beantragt.

Die gemessene Antwort sagt genau das, nennt die Abschnitte, die es gibt, und verweist auf die Personalabteilung. Sie hängt kein Gesetzeswissen an.

3 Warum es hier klappt — und das ist der wichtige Teil

Gleiche Dokumente, gleiches Modell, gleicher Einbetter, besseres Ergebnis. Die Versuchung ist groß, daraus „LibreChat ist besser" zu machen. Das wäre falsch.

Der Unterschied liegt in der Schnipselgröße. LibreChat schneidet bei 1500 Zeichen, Open WebUI in Token. Dadurch bleibt hier die Zeile „Stand: Januar 2026" im selben Stück wie die Mitarbeiterzahl — und erst dadurch kann das Modell überhaupt nach Aktualität urteilen. Landet das Datum in einem anderen Schnipsel, sieht das Modell die beiden Angaben nie zusammen.

Das ist kein Verdienst der Oberfläche, sondern eine Einstellung, die zufällig zu diesen Dokumenten passt. Bei anderen Dokumenten kann dieselbe Einstellung genau falsch sein.

4 Die Regel, die daraus folgt

Wenn die Nähe von Datum und Angabe darüber entscheidet, ob eine Antwort stimmt, dann ist das eine Anweisung an das Schreiben von Dokumenten, nicht an die Software:

Zwei weitere Gewohnheiten, die mehr bringen als jede Einstellung:

1. Alte Fassungen aus der Ablage nehmen. Der beste Umgang mit einem veralteten Dokument ist, es nicht zu durchsuchen. Die Hausordnung von 2024 gehört ins Archiv, nicht in den Agenten.
2. Im Systemprompt Widersprüche verlangen. Der Satz aus Stufe 6 — beide Angaben nennen statt sich zu entscheiden — verwandelt eine falsche Sicherheit in eine brauchbare Rückfrage.

5 Wo es wirklich schiefgeht

Die echten Stolperstellen dieser Installation liegen nicht beim Modell, sondern im Betrieb. Vier, die beim Aufbau dieser Schulung aufgetreten sind:

Alle vier haben gemeinsam, dass die Meldung in die falsche Richtung zeigt. Wer das einmal weiß, spart sich die Suche an der falschen Stelle — das war schon die Regel aus Stufe 1.

✓ Kurz geprüft

1 Was ein Konto ändert

In LM Studio gehören die Unterhaltungen dem Rechner. Hier gehören sie einer Person. Damit wandern Verlauf, Voreinstellungen, Prompts und Agenten mit — auf ein anderes Gerät, in ein anderes Büro, ins Homeoffice.

Das ist der eigentliche Grund, eine Oberfläche vor ein lokales Modell zu setzen. Ein Rechner mit Grafikkarte im Haus, fünf Leute, die ihn benutzen, und niemand muss etwas installieren.

2 Zwei Rollen

LibreChat kennt USER und ADMIN. Mehr nicht — keine Gruppen, keine feingliedrigen Rechte pro Modell, wie Open WebUI sie hat.

3 Der Schalter, der wirklich zählt

Ab Werk darf sich jeder registrieren. Solange die Oberfläche nur auf Deinem Rechner läuft, ist das bequem und harmlos. In dem Moment, in dem sie aus dem Netz erreichbar ist, ist es eine offene Tür.

ALLOW_REGISTRATION=false
ALLOW_EMAIL_LOGIN=true

Das ist die übliche Reihenfolge für ein kleines Team: Dienst starten, sich selbst registrieren, die Kolleginnen und Kollegen der Reihe nach registrieren lassen, dann den Schalter umlegen.

4 Was sich zu teilen lohnt

Der eigentliche Gewinn im Team sind nicht die Konten, sondern die Agenten. Ein Agent, der die aktuellen Unterlagen kennt und eine vernünftige Anweisung hat, ist eine Auskunftsstelle — einmal gebaut, für alle da.

Damit das trägt, braucht es eine Zuständigkeit: Wer tauscht die Dokumente aus, wenn sich etwas ändert? Ohne diese Antwort veraltet der Agent, und nach einem halben Jahr ist er schlechter als keiner — weil ihm noch alle glauben.

5 Was LibreChat hier nicht kann

1. Keine Gruppen. Zwei Rollen, das war's. Wer feiner steuern will, wer welches Modell sieht, ist mit Open WebUI besser bedient.
2. Keine Volltextsuche über die Unterhaltungen — siehe Stufe 4, dafür fehlt hier der Suchdienst.
3. Kein Mailversand in dieser Einrichtung. Passwort vergessen heißt: Administrator greift in die Datenbank.

✓ Kurz geprüft

1 Was gesichert gehört

docker compose stop api
tar czf librechat-sicherung-$(date +%F).tgz data/ librechat.yaml .env
docker compose start api

2 Aktualisieren

docker compose pull
docker compose up -d

Nach einem Update lohnt ein Blick ins Protokoll — dort steht, ob die version in librechat.yaml noch zum neuen Abbild passt:

docker compose logs api | grep -i "config\|version"

3 Die eine endgültige Entscheidung

Das Einbettungsmodell lässt sich nicht folgenlos wechseln. Es bestimmt die Länge der Zahlenreihen, mit denen Textstücke abgelegt werden — bei bge-m3 sind das 1024 Werte, bei anderen Modellen 1536 oder mehr.

Deshalb: Vor dem ersten Dokument entscheiden, nicht danach. Für deutsche Texte ein mehrsprachiges Modell — warum, steht in Lokale KI.

4 Mehrere Anbieter — wofür LibreChat eigentlich gebaut ist

Unter endpoints.custom in librechat.yaml dürfen beliebig viele Einträge stehen. Lokales Modell und Cloud-Dienst nebeneinander, in einer Oberfläche, mit einem Verlauf — und das Modell mitten im Gespräch wechselbar.

Wer das tut, sollte eines wissen: Selbst gehostete Oberfläche heißt nicht lokale Verarbeitung. Sobald ein Cloud-Endpunkt eingetragen ist, gehen die Fragen dorthin, die Du an ihn stellst. Die Oberfläche im eigenen Haus ändert daran nichts.

5 Die Tafel: wann welches Werkzeug

Drei Wege, dieselbe lokale KI. Keiner ist der Sieger; sie passen zu verschiedenen Lagen.

6 Vor- und Nachteile auf einen Blick

✓ Kurz geprüft

1 Der ganze Stapel

services:
  api:
    image: ghcr.io/danny-avila/librechat:latest
    container_name: librechat
    restart: unless-stopped
    ports:
      - "3080:3080"
    depends_on: [mongodb, rag_api]
    env_file: .env
    environment:
      MONGO_URI: mongodb://mongodb:27017/LibreChat
      CONFIG_PATH: /app/librechat.yaml
      HOST: 0.0.0.0
      RAG_API_URL: http://rag_api:8000
    volumes:
      - ./librechat.yaml:/app/librechat.yaml
      - ./data/images:/app/client/public/images
      - ./data/uploads:/app/uploads
      - ./data/logs:/app/api/logs

  mongodb:
    image: mongo:8
    container_name: librechat-mongodb
    restart: unless-stopped
    command: --quiet
    volumes:
      - ./data/mongo:/data/db

  vectordb:
    image: pgvector/pgvector:0.8.0-pg15-trixie
    container_name: librechat-vectordb
    restart: unless-stopped
    environment:
      POSTGRES_DB: librechat_vectors
      POSTGRES_USER: librechat
      POSTGRES_PASSWORD: librechat_local
    volumes:
      - pgdata:/var/lib/postgresql/data
    healthcheck:
      test: ["CMD-SHELL", "pg_isready -U librechat -d librechat_vectors"]
      interval: 5s
      retries: 20

  rag_api:
    image: ghcr.io/danny-avila/librechat-rag-api-dev-lite:v0.9.0
    container_name: librechat-rag-api
    restart: unless-stopped
    depends_on:
      vectordb: { condition: service_healthy }
    env_file: .env
    environment:
      DB_HOST: vectordb
      DB_PORT: "5432"
      POSTGRES_DB: librechat_vectors
      POSTGRES_USER: librechat
      POSTGRES_PASSWORD: librechat_local
      RAG_PORT: "8000"

volumes:
  pgdata:

2 Die Konfigurationsdatei

version: 1.3.13          # muss zum Abbild passen
cache: true

interface:
  fileSearch: true
  defaultPinnedTools:
    - file_search

fileConfig:
  serverFileSizeLimit: 100
  endpoints:
    "LM Studio":
      fileLimit: 10
      fileSizeLimit: 100
      totalSizeLimit: 200
      defaultLLMDeliveryPath:
        overrides:
          application/pdf: none
          text/markdown: none
          text/plain: none

endpoints:
  custom:
    - name: "LM Studio"
      baseURL: "http://host.docker.internal:1234/v1"
      apiKey: "lm-studio"
      models:
        default: ["qwen3.8-27b"]
        fetch: true
      titleConvo: true
      modelDisplayLabel: "LM Studio (lokal)"

3 Starten, anhalten, nachsehen

docker compose up -d          # starten
docker compose ps             # vier Dienste, alle laufend?
docker compose logs -f api    # mitlesen, Strg+C beendet nur das Mitlesen
docker compose down           # anhalten (Daten bleiben)

4 Modelle laden

lms load qwen/qwen3.8-27b --identifier qwen3.8-27b --context-length 32768
lms load text-embedding-bge-m3 --context-length 8192
lms ps                      # was ist geladen?

5 Wenn etwas nicht geht

docker compose exec rag_api python -c "import urllib.request;print(urllib.request.urlopen('http://host.docker.internal:1234/v1/models').status)"

docker compose exec vectordb psql -U librechat -d librechat_vectors -c "select count(*) from langchain_pg_embedding;"

docker compose exec vectordb psql -U librechat -d librechat_vectors \
  -c "truncate langchain_pg_embedding; truncate langchain_pg_collection cascade;"

6 Sichern

docker compose stop api
tar czf librechat-sicherung-$(date +%F).tgz data/ librechat.yaml .env
docker compose start api

7 Weiterlesen

1. LibreChat-Dokumentation — Einrichtung, alle Konfigurationsschlüssel
2. Agenten — Fähigkeiten, Werkzeuge, Freigabe
3. LM Studio — der Motor darunter
4. Open WebUI — die Schwester-Oberfläche
5. Lokale KI — warum Einbettungsmodelle eine eigene Sache sind
6. Docker — falls Container noch neu sind