Zugriff
Start › 6 · Zugriff & Routing
Zugriff & Routing – wie man mit Modellen spricht
Ein laufendes Modell muss angesprochen werden: programmatisch (API, CLI), über Verteiler, die viele Anbieter bündeln (OpenRouter, LiteLLM), oder über eine Chat-Oberfläche (Open WebUI). Der Clou: Fast alle sprechen dasselbe API-Format – dadurch sind Modelle austauschbar wie Glühbirnen.
API Application Programming Interface Programmierschnittstelle
Die standardisierte „Steckdose“, über die Programme mit dem Modell reden: Anfrage hin (Prompt + Einstellungen), Antwort zurück. Der Klebstoff zwischen allen Schichten der Landkarte.
API — Programmierschnittstelle — Die Steckdose, an der die ganze KI-Welt hängt
1Begriff
API = Application Programming Interface, deutsch Programmierschnittstelle. KI-Kontext: die HTTP-Schnittstelle, über die Programme Modelle aufrufen. Vokabeln: API-Key, Endpoint, Rate Limit, Streaming.
2Bedeutung
Die API trennt „Modell benutzen“ von „Modell verstehen müssen“ – und ist der Grund, warum jede App plötzlich KI-Funktionen hat. Für Firmen ist die API (nicht die Chat-App) der Weg, KI in eigene Prozesse einzubauen.
3Funktionsweise
Anfrage als JSON: Modellname + Nachrichtenliste + Optionen (Temperatur, Max-Tokens, Werkzeuge) → Antwort als JSON bzw. tokenweise gestreamt. Authentifizierung per API-Key im Header. Das OpenAI-Chat-Format ist zum Quasi-Standard geworden – Ollama, vLLM, LiteLLM, OpenRouter, Mistral & Co. sprechen es alle: Modellwechsel = Adresswechsel.
4Hintergrund
Wichtige Zusatzkonzepte: Function/Tool Calling (Modell fordert strukturiert Werkzeug-Aufrufe an – Grundlage der Agenten), Structured Output (JSON-Schema erzwingen), Prompt Caching (wiederholte Kontexte rabattiert), Batch-APIs (unzeitkritisches um ~50 % billiger). Doku: OpenAI · Anthropic · Google.
5Alternativen
- Chat-Apps: für Menschen statt Programme.
- SDKs/Frameworks: (LangChain, Vercel AI SDK) – Komfortschicht über der API.
- Lokale API: dieselbe Schnittstelle, selbst gehostet (Ollama/vLLM).
6Vor- & Nachteile (API vs. Abo)
- + Bezahlung nach Verbrauch, Automatisierung, volle Parameter-Kontrolle, Geschäftsdaten-Regelungen (kein Training, Std. bei Business-APIs).
- − Kostenkontrolle nötig (Limits setzen!), Key-Sicherheit, für Wenignutzer teurer als Flatrate-Abo.
7Kosten
Nur Verbrauch, pro Mio. Tokens: Mini-Modelle ~0,1–0,6 €, Mittelklasse ~1–5 €, Spitzenmodelle ~5–20 €+ (Output > Input). Praxis-Beispiel: Ein durchschnittlicher Chat-Austausch am Spitzenmodell kostet meist unter 5 Cent.
8Empfehlung
Sofort zwei Gewohnheiten: Budget-Limits im Anbieter-Dashboard setzen und Keys wie Passwörter behandeln (nie in Code committen → .gitignore). Apps von Anfang an gegen das OpenAI-Format bauen – dann bleibt jeder Anbieter erreichbar.
CLI Command-Line Interface Kommandozeile
Steuerung per getippten Textbefehlen statt Klicks. Viele KI-Werkzeuge leben primär hier – auch die Coding-Agenten wie Claude Code. Ungewohnt für Einsteiger, unschlagbar für Automatisierung.
CLI — Kommandozeile — Textbefehle statt Klicks: das Cockpit der Entwickler (und Agenten)
1Begriff
CLI = Command-Line Interface, deutsch Kommandozeile/Terminal. Gegenstück: GUI (grafische Oberfläche).
2Bedeutung
In der KI-Welt allgegenwärtig: Ollama, Git, Python-Tools und die großen Coding-Agenten (Claude Code, Codex CLI, Gemini CLI) leben im Terminal. Wer KI ernsthaft betreiben will, kommt an Grundkenntnissen kaum vorbei.
3Funktionsweise
Muster: programm unterbefehl --option wert, z.B. ollama run qwen3. Befehle lassen sich verketten, in Skripte gießen und automatisieren – genau deshalb ist die CLI auch die natürliche Heimat von KI-Agenten: Textbefehl rein, Textergebnis raus passt perfekt zu LLMs.
4Hintergrund
Interessante Umkehr: Jahrzehnte galt die CLI als Experten-Hürde – jetzt macht KI sie zugänglich, weil der Agent die Befehle schreibt und erklärt. Terminal öffnen: macOS „Terminal“, Windows „PowerShell/Windows Terminal“ (+ WSL für Linux-Umgebung).
5Alternativen
- GUIs: LM Studio, Open WebUI, Desktop-Apps – für alle Alltagsaufgaben legitim.
- IDE-Integrationen: KI im Editor (VS Code) statt Terminal.
- Automatisierungsplattformen: n8n, Zapier – „CLI für Nicht-Programmierer“.
6Vor- & Nachteile
- + Skriptbar, präzise, remote-fähig, ressourcenschonend, universell dokumentierbar.
- − Lernkurve, kryptische Fehlermeldungen, Tippfehler-Risiken bei mächtigen Befehlen.
7Kosten
Kostenlos – nur Lernzeit. Tipp: Die Lernzeit sinkt drastisch, wenn man einen KI-Chat parallel als „Terminal-Erklärer“ nutzt.
8Empfehlung
Keine Angst, aber Respekt: Befehle, die ein Agent oder Forum vorschlägt, kurz erklären lassen, bevor man sie ausführt (besonders mit sudo/rm). 10 Grundbefehle reichen für 90 % des KI-Alltags.
OpenRouter Gehosteter Modell-Marktplatz
Ein Konto, ein API-Key, Zugriff auf hunderte Modelle aller Anbieter – zentral abgerechnet. Perfekt zum Vergleichen und schnellen Ausprobieren ohne eigenen Betrieb.
Vorteile
- Ein Zugang für alles, sofort startklar
- Preis-/Leistungsvergleich eingebaut
- Automatischer Ausfall-Fallback
Nachteile
- Daten laufen über einen Dritten
- Kleine Preis-Marge obendrauf
- Abhängigkeit vom Dienst
OpenRouter — Ein Konto, hunderte Modelle — der gehostete Modell-Marktplatz
1Begriff
OpenRouter – kommerzieller Cloud-Dienst (openrouter.ai), der eine einheitliche API vor 400+ Modelle von ~60 Anbietern schaltet.
2Bedeutung
Löst das „viele Konten, viele Rechnungen, viele Formate“-Problem: ein Key, ein Guthaben, freie Modellwahl – inklusive vieler offener Modelle, die dort gehostet günstiger sind als Eigenbetrieb bei kleiner Last.
3Funktionsweise
Du sprichst OpenRouter im OpenAI-Format an und gibst das Zielmodell als String an („anthropic/claude-…“, „qwen/qwen3-…“). OpenRouter leitet an den Anbieter (oder einen von mehreren Hosts) weiter, rechnet zentral ab und kann bei Ausfall automatisch fallbacken. Dashboard zeigt Preise, Latenz und Rankings aller Modelle – nebenbei eines der besten „Markt-Barometer“.
4Hintergrund
2023 gegründet; beliebt bei Entwicklern und als Backend vieler KI-Apps. Datenschutz konfigurierbar (z.B. nur Anbieter ohne Trainingsnutzung zulassen), bleibt aber ein US-Zwischenhändler im Datenpfad – für strenge Compliance relevant.
5Alternativen
| Alternative | Profil |
|---|---|
| LiteLLM (selbst hosten) | gleiche Idee, volle Kontrolle, eigener Betrieb |
| Direkt-APIs der Hersteller | keine Marge, aber je Anbieter eigenes Konto |
| Together AI / Groq / Fireworks | Hoster offener Modelle, teils extrem schnell |
| Hyperscaler (Bedrock, Vertex, Azure) | Modellvielfalt im Enterprise-Cloud-Vertrag |
6Vor- & Nachteile
- + Sofort startklar, riesige Auswahl, Preistransparenz, Fallback, ein Abrechnungsort.
- − ~5 % Aufschlag, Dritter im Datenpfad, Abhängigkeit vom Dienst, feinste Anbieter-Features manchmal verzögert.
7Kosten
Keine Grundgebühr; Guthaben-Modell mit ~5 % Gebühr beim Aufladen, Modellpreise = Anbieterpreise. Einige Gratis-Modelle zum Testen.
8Empfehlung
Perfekt für: Modelle vergleichen, Prototypen, Privatentwickler, „Exoten“-Modelle testen. Für Firmen mit Datenschutz-Pflichten oder Dauerlast: lieber LiteLLM selbst betreiben und direkt zu den Anbietern routen.
LiteLLM Selbstbetriebener Universal-Proxy
Gleiche Idee wie OpenRouter, aber als Software, die du selbst betreibst: dein Code spricht ein Format, LiteLLM übersetzt zu 100+ Anbietern. Dazu Kosten-Tracking, Budgets, Schlüsselverwaltung fürs Team.
Vorteile
- Volle Kontrolle, Daten bleiben bei dir
- Team-Budgets & Kostenlimits
- Lokal + Cloud frei mischbar
Nachteile
- Selbst einrichten & warten
- Braucht technisches Know-how
LiteLLM — Der selbstbetriebene Universal-Proxy für Teams
1Begriff
LiteLLM – Open-Source-Software (Python), die 100+ Modell-Anbieter hinter einer OpenAI-kompatiblen Schnittstelle vereinheitlicht. Als Bibliothek oder Proxy-Server („LLM-Gateway“). docs.litellm.ai
2Bedeutung
Das Kontroll-Zentrum für KI im Unternehmen: ein internes Gateway, dahinter beliebige Anbieter (Cloud und lokal) – mit zentralen Keys, Budgets und Protokollen. Anbieterwechsel wird zur Konfigurationszeile.
3Funktionsweise
Apps sprechen das Gateway im OpenAI-Format an; LiteLLM übersetzt je Ziel (Anthropic, Google, Azure, Ollama, vLLM …), verwaltet virtuelle Keys pro Team/Nutzer, setzt Budgets & Rate-Limits durch, loggt Kosten, macht Load Balancing und Fallbacks (z.B. „erst lokal, bei Überlast Cloud“).
4Hintergrund
Kategorie „LLM-Gateway“ ist Standard-Baustein moderner KI-Architekturen geworden (siehe Schaubild 7). LiteLLM ist dort das verbreitetste OSS-Werkzeug; Betrieb typisch als Docker-Container mit Postgres.
5Alternativen
- OpenRouter: gleiche Funktion als gehosteter Dienst.
- Portkey, Kong AI Gateway, Cloudflare AI Gateway: weitere Gateways (teils managed).
- Direktanbindung: ohne Gateway – einfach, aber Lock-in und kein zentrales Controlling.
6Vor- & Nachteile
- + Datenpfad bleibt bei dir, zentrale Kosten-/Zugriffskontrolle, lokal+Cloud mischbar, kein Vendor-Lock-in, gratis.
- − Eigener Betrieb (Updates, Monitoring), Einrichtung braucht DevOps-Grundwissen, zusätzliche Infrastruktur-Komponente die ausfallen kann.
7Kosten
Software frei (MIT); Betriebskosten ein kleiner Server/Container. Enterprise-Version (SSO, Audit, Support) kostenpflichtig. Modellkosten unverändert die der Anbieter – aber endlich zentral sichtbar.
8Empfehlung
Ab dem Moment, wo mehrere Personen/Apps KI nutzen, ist ein Gateway die richtige Architektur – und LiteLLM die Standardwahl. Ein Nachmittag Setup kauft dauerhafte Anbieter-Freiheit und Kostenüberblick.
Open WebUI Selbstgehostete Chat-Oberfläche
Eine ChatGPT-ähnliche Weboberfläche für deine Modelle – meist mit Ollama kombiniert: Chats, Nutzerverwaltung, Dokumenten-Upload (RAG eingebaut), Modellwechsel per Klick.
Open WebUI — Die selbstgehostete Chat-Oberfläche — dein privates „ChatGPT“
1Begriff
Open WebUI – Open-Source-Weboberfläche für KI-Modelle (ehem. „Ollama WebUI“). openwebui.com · GitHub
2Bedeutung
Gibt lokaler KI ein Gesicht, das jeder bedienen kann: ChatGPT-artige Oberfläche, aber im eigenen Netz – der häufigste Weg, ein Team ohne Schulung an interne Modelle zu bringen.
3Funktionsweise
Läuft als Docker-Container im (Heim-)Netz; verbindet sich mit jeder OpenAI-kompatiblen API – Ollama, vLLM, via LiteLLM auch Cloud. Bringt mit: Nutzer-/Rollenverwaltung, Modell-Umschalter, Dokumenten-Upload mit eingebautem RAG, Websuche-Anbindung, Prompt-Vorlagen, Sprach-Ein-/Ausgabe, eigene „Tools“.
4Hintergrund
Eines der aktivsten OSS-Projekte der Lokal-Szene (>100k GitHub-Sterne). Lizenzhinweis: seit v0.6 Open-Source mit Branding-Klausel; für großes internes Deployment kurz prüfen.
5Alternativen
| Alternative | Profil |
|---|---|
| LibreChat | sehr ChatGPT-nah, multi-Anbieter, MIT-Lizenz |
| AnythingLLM | RAG-/Workspace-fokussiert, Desktop & Server |
| LM Studio / Jan / Chatbox | Desktop-Apps statt Server – für Einzelnutzer |
| Chat-Apps der Anbieter | wenn Cloud ok ist, null Aufwand |
6Vor- & Nachteile
- + Vertraute Bedienung, Mehrbenutzer, RAG eingebaut, Daten im Haus, sehr aktiv entwickelt.
- − Selbst betreiben (Docker, Updates, Backups); eingebautes RAG ok, aber kein High-End; Feature-Fülle kann erschlagen.
7Kosten
Kostenlos; läuft ab Mini-PC/NAS-Klasse. Gesamtkosten eines Team-Setups = im Wesentlichen die GPU-Maschine dahinter.
8Empfehlung
Die Standard-Empfehlung für „privates ChatGPT“: Ollama + Open WebUI in Docker, eine Stunde Arbeit. Teams: dahinter LiteLLM klemmen, dann können Nutzer je Chat zwischen „lokal (vertraulich)“ und „Cloud (maximal schlau)“ wählen.
Vergleich auf einen Blick
| Werkzeug | Art | Am besten für |
|---|---|---|
| Direkte API | 1 Anbieter | Einfachheit, ein fester Anbieter |
| OpenRouter | Cloud-Dienst | Viele Modelle testen, kein Betrieb |
| LiteLLM | Eigene Software | Teams, Kontrolle, Unabhängigkeit |
| Open WebUI | Oberfläche | Menschen statt Programme |