Betrieb & Hardware
Start › 4 · Betrieb & Hardware
Betrieb & Hardware – wo das Modell tatsächlich läuft
Ein Modell ist nur eine Datei. Damit es antwortet, braucht es eine Runtime (Betriebs-Software) und Hardware mit genug Rechenleistung. Die Grundsatzfrage: lokal (bei dir) oder Cloud (beim Anbieter)?
| Kriterium | Lokal | Cloud |
|---|---|---|
| Datenschutz | Sehr hoch – nichts verlässt das Haus | Vom Anbieter abhängig |
| Kosten | Hardware vorab, dann ~kostenlos | Kein Invest, dann pro Token |
| Qualität | Gut (offene Modelle holen auf) | Spitze (GPT, Claude, Gemini) |
| Wartung | Du selbst | Anbieter |
| Offline / Skalierung | Offline ja / Hardware-Grenze | Internet nötig / unbegrenzt |
Die Runtimes & Plattformen
Ollama Lokaler Modell-Starter
Das einfachste Werkzeug für lokale Modelle: ollama run llama3 lädt und startet – fertig. Ideal für Einzelpersonen, Experimente, Laptop/PC/Mac.
Ollama — Der einfachste Weg zu lokaler KI
1Begriff
Ollama – Open-Source-Werkzeug (macOS/Windows/Linux) zum Herunterladen und Betreiben offener Modelle. ollama.com
2Bedeutung
Der De-facto-Standard für den persönlichen lokalen Betrieb: ollama run gpt-oss:20b – Modell wird geladen, läuft, fertig. Senkt die Einstiegshürde von „Wochenendprojekt“ auf „5 Minuten“.
3Funktionsweise
Baut auf llama.cpp auf; verwaltet Modell-Downloads (eigene Bibliothek + Hugging-Face-Import, GGUF-quantisiert), verteilt Rechenlast auf GPU/CPU und stellt lokal eine OpenAI-kompatible API bereit (Port 11434) – dadurch koppeln Open WebUI, IDEs und Skripte ohne Anpassung an.
4Hintergrund
Gestartet 2023, inzwischen mit Desktop-App samt eigener Chat-Oberfläche. Zielkonflikt bewusst: Einfachheit vor maximaler Performance – für einen Nutzer top, für viele parallele Nutzer ineffizient (dafür vLLM).
5Alternativen
6Vor- & Nachteile
- + Extrem einfach, aktiv gepflegt, riesige Modellbibliothek, API-Standard, läuft auch ohne dedizierte GPU (langsamer).
- − Kein Mehrbenutzer-Durchsatz; Standard-Kontextfenster oft klein voreingestellt (manuell erhöhen!); GUI-Funktionen begrenzt.
7Kosten
Kostenlos (Open Source). Realkosten = Hardware: brauchbar ab ~8 GB VRAM/16 GB RAM; komfortabel ab 16–24 GB. Optional bietet Ollama gehostete Cloud-Modelle als Bezahldienst – das ist dann aber wieder Cloud.
8Empfehlung
Der Startpunkt für lokale KI – installieren, gpt-oss:20b oder qwen3 ziehen, mit Open WebUI koppeln. Erst wenn mehrere Nutzer/Apps dauerhaft darauf zugreifen, auf vLLM aufrüsten.
vLLM Hochleistungs-Serving
Runtime für den Profi-Betrieb: maximaler Durchsatz, viele parallele Anfragen, effiziente GPU-Auslastung. Standard, wenn ein Modell für Team oder Produkt laufen soll.
vLLM — Die Profi-Runtime für hohen Durchsatz
1Begriff
vLLM („virtual LLM“) – Open-Source-Inferenz-Server aus UC Berkeley, heute Community-Standard fürs produktive LLM-Serving. docs.vllm.ai
2Bedeutung
Wenn ein offenes Modell nicht nur dir, sondern einem Team, einer App oder Kunden dienen soll, ist vLLM die Referenz: maximale Anfragen pro Sekunde aus teurer GPU-Hardware herausholen.
3Funktionsweise
Zwei Kernideen: PagedAttention – der GPU-Speicher für Zwischenzustände (KV-Cache) wird wie Betriebssystem-Speicherseiten verwaltet, kaum Verschnitt; Continuous Batching – neue Anfragen springen laufend in den Rechen-Batch, statt auf Gruppenbildung zu warten. Ergebnis: oft 5–20× mehr Durchsatz als naive Server. Nach außen: OpenAI-kompatible API.
4Hintergrund
Aus dem SOSP-2023-Paper entstanden; unterstützt Multi-GPU (Tensor-Parallelismus), Quantisierungen (AWQ/GPTQ/FP8), LoRA-Adapter zur Laufzeit und die meisten offenen Architekturen ab Tag 1. Von großen Anbietern und NIM intern genutzt.
5Alternativen
| Runtime | Profil |
|---|---|
| SGLang | ähnlich schnell, stark bei strukturierten Ausgaben/Agenten – der schärfste Rivale |
| TGI (Hugging Face) | solide, gut ins HF-Ökosystem integriert |
| TensorRT-LLM (Nvidia) | maximale Nvidia-Performance, mehr Einrichtungsaufwand |
| llama.cpp-Server | klein & überall lauffähig, für kleine Lasten |
| NIM | fertig verpackt & supportet (kommerziell) |
6Vor- & Nachteile
- + Spitzendurchsatz, produktionsreif, riesige Community, kostenlos, schnelle Modell-Unterstützung.
- − Linux/GPU-Server nötig, Konfigurationswissen (Parallelismus, Speicher), für Einzelnutzer Overkill.
7Kosten
Software frei (Apache 2.0). Kosten = GPUs: eigene Karte(n) (RTX 4090 ~1.800 €, gebrauchte 3090 ~700 €) oder Cloud-GPU-Miete (~1–4 €/h für A100/H100-Klasse). Faustregel: Ab konstanter Team-Last ist Selbst-Serving günstiger als Token-APIs.
8Empfehlung
Die richtige Wahl ab „mehrere Nutzer, täglich“: ein Server, vLLM + ein starkes offenes Modell, davor LiteLLM und Open WebUI. Vorher mit Ollama prototypen, bei Agent-Workloads auch SGLang benchmarken.
Nvidia NIM NVIDIA Inference Microservices Fertige Modell-Container
Schlüsselfertige Pakete von Nvidia: Modell + optimierte Runtime + API in einem Container. Starten, läuft – ohne selbst an der Runtime zu schrauben.
Nvidia NIM — Fertige Modell-Container — Enterprise-Komfort mit Nvidia-Bindung
1Begriff
NIM = Nvidia Inference Microservices: vorgefertigte Docker-Container, die je ein Modell samt optimierter Runtime und Standard-API enthalten. developer.nvidia.com/nim
2Bedeutung
Nvidias Antwort auf „Wir wollen KI im eigenen Haus, aber keine Bastelei“: Container starten → optimierte, supportete Modell-API läuft. Zielgruppe: Unternehmen mit Compliance-/Support-Anforderungen.
3Funktionsweise
Jeder NIM bündelt: Modellgewichte + für die jeweilige GPU vorgetunte Engine (TensorRT-LLM oder vLLM) + OpenAI-kompatible API + Health/Monitoring. Deployment per Docker/Kubernetes im eigenen Rechenzentrum, in der Cloud oder auf DGX-Geräten (dort vorinstalliert).
4Hintergrund
Teil der Suite Nvidia AI Enterprise; Katalog auf build.nvidia.com (dort auch kostenlos testbar). Strategie: Nvidia verkauft nicht nur Chips, sondern den kompletten Software-Stack darüber – bequem, aber bindend.
5Alternativen
| Alternative | Art | Abwägung ggü. NIM |
|---|---|---|
| vLLM / SGLang selbst | Open Source DIY | gratis & flexibel, aber eigenes Tuning + kein Support |
| Hugging Face TGI / Inference Endpoints | OSS bzw. Managed | HF-Ökosystem, gehostet auch ohne eigene GPUs |
| Cloud-Managed (AWS Bedrock, Azure AI Foundry, Google Vertex) | Modell-APIs der Hyperscaler | null Betrieb, aber Cloud- statt Nvidia-Bindung |
| OpenLLM / KServe / Ray Serve | OSS-Plattformen | Kubernetes-native, mehr Eigenleistung |
6Vor- & Nachteile
- + Minuten statt Wochen bis zur laufenden API; auf Nvidia-Hardware durchoptimiert; Enterprise-Support, Sicherheits-Patches, Zertifizierungen.
- − Lizenzkosten; nur Nvidia-GPUs; weniger Modell-/Versionsfreiheit als DIY; Vendor-Lock-in wächst.
7Kosten
Über Nvidia AI Enterprise: Listenpreis-Größenordnung ~4.500 US-$ pro GPU und Jahr (Verhandlungssache, in DGX-/OEM-Paketen oft enthalten); für Entwickler/Forschung teils kostenfrei testbar. Dazu wie immer: GPU-Hardware selbst.
8Empfehlung
Sinnvoll, wenn (a) ohnehin Nvidia-Hardware gesetzt ist, (b) Support/Compliance Pflicht sind und (c) DevOps-Kapazität knapp ist. Technikstarke Teams fahren mit vLLM/SGLang gleich gut und sparen die Lizenz – erst DIY testen, dann über NIM verhandeln.
Hugging Face „GitHub der KI-Modelle“
Die zentrale Tauschbörse der offenen KI-Welt: Fast jedes offene Modell, Feintuning und Dataset wird hier veröffentlicht und von dort in Ollama/vLLM geladen.
→ Der komplette Arbeitsablauf (Suchen, Filtern, Laden, Prüfen) steht auf der Seite Modellwahl & Bezug.
Hugging Face — Die Tauschbörse und Infrastruktur der offenen KI-Welt
1Begriff
Hugging Face – Plattform + Firma (NY/Paris) rund um offene KI: Model Hub, Datasets, Bibliotheken, Hosting. huggingface.co
2Bedeutung
„GitHub der KI-Modelle“: >1 Mio. Modelle, Hunderttausende Datensätze. Praktisch jedes offene Modell erscheint hier zuerst – wer offene KI nutzt, nutzt (direkt oder indirekt) Hugging Face.
3Funktionsweise
Git-basierte Repositories für Modelle/Daten mit Modellkarten (Beschreibung, Lizenz, Benchmarks). Ökosystem-Bausteine: Transformers (Standard-Bibliothek zum Laden fast jedes Modells), Datasets, PEFT (LoRA), Spaces (gehostete Demo-Apps), TGI (Serving) und bezahlbare Inference Endpoints.
4Hintergrund
2016 als Chatbot gestartet, zur Infrastruktur der Open-AI-Bewegung gewachsen. Leaderboards und Trending-Listen dort sind der beste Puls, „was gerade gut ist“. Auch Ollama kann GGUF-Modelle direkt von HF ziehen.
5Alternativen
- Ollama-Bibliothek: kuratierte Teilmenge, noch einfacher.
- ModelScope (Alibaba): chinesisches Pendant.
- Kaggle: Datensätze/Wettbewerbe.
- GitHub: für Code – Modelle liegen wegen Größe besser auf HF.
6Vor- & Nachteile
- + Alles an einem Ort, Standard-Tooling, starke Community, Lizenz je Modell transparent.
- − Unübersichtliche Masse (Qualität streuen), Namens-Duplikate; zentraler Single Point der offenen Szene.
7Kosten
Nutzung/Downloads kostenlos; Pro-Konto ~9 $/Monat (mehr Speicher/Features); Inference Endpoints & Enterprise nach Verbrauch/Vertrag.
8Empfehlung
Konto anlegen und als „Modell-Kompass“ nutzen: Trending-Seite + Modellkarten lesen (Lizenz! Größe! Quantisierungen!) bevor du lädst. Für Firmen: interne Modell-Spiegel/Registry überlegen, um nicht von der Plattform-Verfügbarkeit abzuhängen. Sicherheit: nur safetensors oder GGUF laden – .bin-Dateien (Pickle) können beim Laden beliebigen Code ausführen.
Ausführlicher Ablauf in sieben Schritten inkl. Alternativen und DSGVO-Einordnung: Modellwahl & Bezug.
GPU & CUDA Grafikprozessor & Nvidias Software-Brücke
Die GPU (Grafikprozessor) kann tausende Rechnungen gleichzeitig – perfekt für Tensor-Mathematik. CUDA ist Nvidias Programmierschicht, über die Software auf die GPU zugreift – und der Hauptgrund für Nvidias Dominanz: fast alle KI-Software ist auf CUDA gebaut.
GPU & CUDA — Der Muskel der KI — und Nvidias Burggraben
1Begriff
GPU = Graphics Processing Unit (Grafikprozessor). CUDA = Nvidias Programmierplattform für GPUs. VRAM = GPU-eigener Speicher. Tensor Cores = Spezialeinheiten für Matrixrechnung.
2Bedeutung
Ohne GPU keine moderne KI: Tensor-Mathematik braucht massive Parallelität. Und ohne CUDA läuft die meiste KI-Software nicht – das erklärt Nvidias Dominanz (>80 % Markt) besser als die Chips allein.
3Funktionsweise
CPU: wenige komplexe Kerne, nacheinander stark. GPU: tausende simple Kerne, gleichzeitig stark – ideal für „multipliziere Milliarden Zahlenpaare“. CUDA ist die Software-Brücke: PyTorch & Co. rufen CUDA-Bibliotheken (cuDNN, cuBLAS), die die Kerne orchestrieren. Engpass ist meist VRAM: Modell + Kontext müssen hineinpassen.
4Hintergrund
VRAM-Faustregeln (4-Bit-quantisiert): 8B-Modell ≈ 6 GB · 20B ≈ 14 GB · 70B ≈ 40 GB. Alternativ-Ökosysteme: AMD ROCm (aufholend, günstiger), Apple Silicon (Unified Memory – Mac mit 64–192 GB ist ein Geheimtipp für große Modelle), Google TPU (nur Cloud), diverse KI-Beschleuniger (Groq, Cerebras: extrem schnelle Inferenz-Clouds).
5Alternativen zur eigenen GPU
- Cloud-GPU mieten: ~0,5–4 €/h (RunPod, Lambda, Hyperscaler) – gut für Experimente/Fine-Tuning.
- Token-APIs: GPU-Problem komplett auslagern.
- Unified-Memory-Geräte: Mac Studio, DGX Spark, AMD Strix Halo.
6Vor- & Nachteile eigener GPU
- + Einmalkauf, unbegrenzte lokale Nutzung, auch für Gaming/3D.
- − VRAM limitiert Modellgröße hart; Strom (300–450 W unter Last); Technologie altert schnell.
7Kosten
Einstieg gebraucht (RTX 3090, 24 GB) ~700 € · Neu: RTX 4090/5090 ~1.800–2.500 € · Profi (H100, 80 GB) ~25.000+ € bzw. Miete. Strom: ~0,1–0,5 kWh pro Volllast-Stunde.
8Empfehlung
Regel: Kaufe VRAM, nicht FLOPS – 24 GB gebraucht schlägt 16 GB neu für LLM-Zwecke. Erst per Cloud-Miete testen, welche Modellgröße du wirklich brauchst; Mac-Nutzer: vorhandenes Unified Memory nicht unterschätzen.
GB10 · DGX Spark · DGX OS Nvidias Desktop-KI-Paket
Drei Begriffe, ein Produkt: Der GB10 (Grace-Blackwell-Superchip, CPU+GPU vereint, ~1 PetaFLOP) steckt im DGX Spark – einem brotdosengroßen „Desktop-KI-Supercomputer“ mit 128 GB gemeinsamem Speicher. Darauf vorinstalliert: DGX OS, Nvidias Linux mit komplettem KI-Software-Stack.
GB10 · DGX Spark · DGX OS — Nvidias Desktop-KI-Paket: Chip, Gerät, Betriebssystem
1Begriff
GB10 = Grace-Blackwell-Superchip (ARM-CPU + Blackwell-GPU auf einem Modul). DGX Spark = das Desktop-Gerät damit. DGX OS = vorinstalliertes Ubuntu-basiertes Nvidia-Linux mit komplettem KI-Stack. nvidia.com/dgx-spark
2Bedeutung
„KI-Supercomputer für den Schreibtisch“: Workstation-Klasse-KI (Modelle bis ~200B Parameter Inferenz, ~70B Fine-Tuning) im Brotdosen-Format – lokale KI ohne Rechenzentrum.
3Funktionsweise
Der Trick ist Unified Memory: CPU und GPU teilen sich 128 GB LPDDR5x – große Modelle passen, ohne dass eine (viel teurere) 128-GB-VRAM-GPU nötig wäre. Leistung: ~1 PetaFLOP (FP4), 20 ARM-Kerne, 4 TB NVMe, nur ~140 W. Zwei Sparks lassen sich für ~400B-Modelle koppeln. DGX OS bringt Treiber, CUDA, Docker, NIM-Container fertig mit.
4Hintergrund
2025 gestartet (Founders Edition 3.999 $); OEM-Varianten von Dell, HP, Lenovo, Asus u.a. Einordnung ehrlich: Bandbreite (~273 GB/s) < große Grafikkarten – Stärke ist Kapazität (große Modelle passen überhaupt), nicht Rekord-Tokens/s. Großer Bruder: DGX Station (~784 GB).
5Alternativen
| Option | Speicher | ca. Preis | Profil |
|---|---|---|---|
| DGX Spark | 128 GB unified | ~4.000 € | CUDA-Ökosystem, KI-Fokus pur |
| Mac Studio | 64–512 GB unified | 2.500–12.000 € | Alltagsrechner + große Modelle, kein CUDA |
| PC + RTX 4090/5090 | 24–32 GB VRAM | 2.500–4.000 € | schnellste kleine/mittlere Modelle, Gaming |
| AMD Strix-Halo-Mini-PC | bis 128 GB unified | ~2.000–2.500 € | günstig, ROCm statt CUDA |
| Cloud-GPU-Miete | beliebig | ~1–4 €/h | ohne Invest, Daten extern |
6Vor- & Nachteile
- + 128 GB fürs Geld konkurrenzlos im CUDA-Lager; komplett vorkonfiguriert; leise, sparsam, winzig.
- − Bandbreiten-limitiert (große Modelle laufen, aber gemächlich); ARM-Linux statt Windows; junges Produkt.
7Kosten
~4.000 € einmalig (+ Strom ~140 W). Vergleich: dieselbe Kapazität als Profi-GPU (H100 80 GB) kostet ~25.000 €+; als Cloud-Dauerlast wären 4.000 € nach wenigen Monaten verbraucht.
8Empfehlung
Kaufen, wenn du regelmäßig große Modelle (70B+) lokal betreiben/feinabstimmen willst und im CUDA-Ökosystem bleibst. Fürs Ausprobieren reicht Gaming-PC/Mac; für reine Geschwindigkeit bei ≤32B ist eine RTX-Karte schneller und billiger.
Quantisierung Quantization Modell-Kompression
Das „Schrumpfen“ eines Modells, indem jeder Parameter mit weniger Bits gespeichert wird (16-Bit → 4-Bit): ~75 % weniger Speicher bei geringem Qualitätsverlust. Der Schlüssel, warum große Modelle auf normalen PCs laufen. Welche Stufe wann: Modellwahl.
Quantisierung — Modelle schrumpfen, damit sie auf echte Hardware passen
1Begriff
Quantisierung (quantization): Speichern der Modell-Gewichte mit weniger Bits – z.B. 4 statt 16 Bit pro Wert. Formate: GGUF (Q4_K_M …), AWQ/GPTQ, FP8/MXFP4.
2Bedeutung
Der Schlüssel zur lokalen KI: erst Quantisierung bringt 20B-Modelle auf Laptops und 120B auf Workstations. Ohne sie wäre „local LLaMA“ ein Nischenhobby.
3Funktionsweise
Die feinen Kommazahlen werden auf ein gröberes Raster gerundet; clevere Verfahren quantisieren wichtige Gewichte feiner als unwichtige. 16→4 Bit = ~75 % weniger Speicher und schnellere Speicherzugriffe – bei meist nur wenigen Prozent Qualitätsverlust.
4Hintergrund
Trend: Modelle werden zunehmend nativ in niedriger Präzision trainiert (gpt-oss: MXFP4; FP8-Training Standard) – Quantisierung wandert vom Nachbearbeitungsschritt in die Architektur. Auf Hugging Face stehen zu fast jedem Modell fertige GGUF-Quantisierungen.
5Alternativen
- Kleineres Modell nehmen: manchmal besser als extrem quantisiertes großes.
- Pruning/Distillation: Netz beschneiden bzw. Wissen in kleineres Modell „destillieren“ (so entstehen viele Mini-Modelle).
- Offloading: Teile ins RAM auslagern – funktioniert, aber langsam.
6Vor- & Nachteile
- + −50…−75 % Speicher, schnellere Inferenz, kaum Qualitätsverlust bis ~4 Bit.
- − Unter ~3 Bit deutliche Verschlechterung (Nuancen, Mathe); Qualität variiert je Verfahren/Modell.
7Kosten
Kostenlos – spart im Gegenteil Hardware-Kosten: 70B@Q4 ≈ 40 GB statt 140 GB entscheidet zwischen „ein Gerät“ und „GPU-Cluster“.
8Empfehlung
Sweet-Spot: Q4_K_M (bzw. 4-Bit-Äquivalent) – Standardwahl für lokal. Q8, wenn Speicher übrig ist und maximale Treue zählt; unter Q3 nur im Notfall. Im Zweifel: gleiche Frage an Q4 und Q8 stellen und selbst vergleichen.
Edge AI KI am Rand des Netzes
KI, die direkt auf dem Endgerät läuft – Smartphone, Auto, Kamera, Industriesensor – statt in Cloud oder Rechenzentrum. „Edge“ = der Rand des Netzwerks, nah an dem Ort, wo Daten entstehen.
Edge AI — KI direkt auf dem Endgerät — ohne Cloud, ohne Server
1Begriff
Edge AI / Edge Computing: Datenverarbeitung am „Rand“ des Netzes – auf Smartphone, Auto, Kamera, Maschine – statt in zentralen Rechenzentren. Hardware-Stichwort: NPU (Neural Processing Unit).
2Bedeutung
Die konsequenteste Form von „lokal“: Daten verlassen nicht einmal das Gerät. Relevant überall, wo Latenz, Offline-Betrieb oder Datenschutz zwingend sind – von der Diktierfunktion bis zur Fertigungsstraße.
3Funktionsweise
Stark komprimierte Modelle (SLMs 1–8B, quantisiert, oft destilliert) laufen auf Spezialchips: Smartphone-NPUs, Nvidia Jetson (Robotik), Auto-SoCs. Häufiges Muster hybrid: Gerät erledigt Schnelles/Privates, komplexe Anfragen gehen (mit Einwilligung) an die Cloud.
4Hintergrund
Alltag längst da: Apple Intelligence, Google Gemini Nano, Diktat/Übersetzung offline, Fahrassistenz. Industriell: vorausschauende Wartung, Qualitätskontrolle per Kamera – Auswertung an der Maschine statt Video-Streams in die Cloud.
5Alternativen
- Lokaler Server: ein Haus-/Firmenserver statt jedes Gerät einzeln (→ Ollama/vLLM).
- Cloud: wenn Latenz/Offline egal sind.
- Hybrid-Routing: das Beste beider Welten, heute Standard-Architektur der Gerätehersteller.
6Vor- & Nachteile
- + Minimal-Latenz, offline-fähig, Privatsphäre per Bauart, keine Verbindungs-/Token-Kosten.
- − Kleine Modelle = begrenzte Fähigkeiten; Geräte-Flotten-Updates aufwendig; Energie-/Speicherbudget eng.
7Kosten
Für Nutzer: im Gerätepreis enthalten. Für Entwickler: Jetson-Boards ~250–2.500 €; Optimierungsaufwand (Distillation/Quantisierung) ist der Hauptposten.
8Empfehlung
Als Konzept kennen, um Geräte-Werbung („on-device AI“) einordnen zu können. Für eigene Projekte gilt: erst prüfen, ob ein SLM die Aufgabe schafft – wenn ja, ist Edge die eleganteste (und datenschutzfreundlichste) Lösung.