Grundlagen
Start › 1 · Grundlagen
Grundlagen – womit KI rechnet und „spricht“
Bevor Werkzeuge und Produkte Sinn ergeben, muss klar sein, was innerhalb eines Sprachmodells passiert. Die gute Nachricht: Das Grundprinzip ist überraschend einfach.
Token Wortbaustein
Die kleinste Verarbeitungseinheit: grob ein kurzes Wort oder Wortteil. Faustregel: 1 Token ≈ 4 Zeichen ≈ ¾ Wort. In Tokens wird bezahlt (Cloud-Preise pro Million Tokens) und begrenzt (Kontextfenster).
Token — Wortbaustein — Grundeinheit für Verarbeitung, Länge und Abrechnung
1Begriff
Token (engl. „Marke/Einheit“), deutsch am ehesten Wortbaustein. Verwandt: Tokenizer (der Zerleger), Tokenisierung (der Vorgang).
2Bedeutung
Die kleinste Einheit, in der ein Sprachmodell Text verarbeitet – grob ein kurzes Wort oder Wortteil. Faustregeln: 1 Token ≈ 4 Zeichen ≈ ¾ englisches Wort; deutscher Text braucht meist ~10–20 % mehr Tokens als englischer.
3Funktionsweise
Der Tokenizer zerlegt Text nach einem beim Training gelernten Vokabular (typisch 32.000–200.000 Einträge): Häufige Wörter = 1 Token, seltene Wörter = mehrere Teilstücke. Jedes Token bekommt eine Nummer, aus der Nummer wird ein Vektor – erst damit rechnet das Modell. Die Antwort entsteht Token für Token (siehe Schaubild 4 auf der Grundlagen-Seite).
4Hintergrund
Warum nicht einfach Buchstaben oder ganze Wörter? Buchstaben machen Sequenzen extrem lang (teuer), ganze Wörter sprengen das Vokabular (jede Beugung ein Eintrag). Tokens (Verfahren wie Byte-Pair-Encoding) sind der bewährte Mittelweg. Praktisch zum Ausprobieren: der OpenAI-Tokenizer.
5Alternativen / Verwandtes
- Zeichen/Byte-Modelle: Forschungsansätze ohne Tokenizer – bisher Nische.
- Patches/Frames: das Token-Pendant bei Bild- und Audio-Modellen.
- Wörter/Zeichen zählen: die Alltagsmaße – für KI-Kosten aber ungeeignet, gezählt wird immer in Tokens.
6Vor- & Nachteile des Konzepts
- + Effizienter Kompromiss aus Vokabulargröße und Sequenzlänge.
- − Zählen/Rechnen auf Buchstabenebene fällt Modellen dadurch schwer (das berühmte „Wie viele r hat strawberry?“-Problem).
- − Nicht-englische Sprachen sind oft „token-teurer“.
7Kosten
Tokens sind die Abrechnungseinheit der Cloud-KI: Preise gelten pro 1 Mio. Tokens, Eingabe (Input) ist deutlich günstiger als Ausgabe (Output). Größenordnung 2026: kleine Modelle unter 1 €/Mio., Spitzenmodelle je nach Anbieter ca. 2–20 €/Mio. Output. Zum Gefühl: 1 Mio. Tokens ≈ 3–4 Romane.
8Empfehlung
Bei jedem Preisvergleich in „€ pro Mio. Tokens, Input vs. Output getrennt“ denken. Bei langen Dokumenten vorab grob schätzen (Zeichen ÷ 4) – das bewahrt vor Kosten- und Kontextfenster-Überraschungen.
Kontextfenster Context Window Arbeitsgedächtnis
Die maximale Token-Menge, die ein Modell gleichzeitig „im Kopf“ behalten kann – Eingabe und Ausgabe zusammen. Typisch heute: 128k bis über 1 Mio. Tokens (128k ≈ ein dickes Buch).
Kontextfenster (Context Window) — Das Arbeitsgedächtnis eines Modells
1Begriff
Context Window, deutsch Kontextfenster – die maximale Menge an Tokens, die ein Modell in einer Anfrage gleichzeitig verarbeiten kann (Eingabe + Ausgabe zusammen).
2Bedeutung
Es ist das „Arbeitsgedächtnis“: alles, was das Modell gerade berücksichtigen soll – Systemanweisung, Gesprächsverlauf, Dokumente, Werkzeug-Ergebnisse – muss hineinpassen. Was rausfällt, existiert für das Modell nicht.
3Funktionsweise
Technisch begrenzt durch die Attention: Jedes Token „schaut“ auf alle anderen – der Aufwand wächst quadratisch. Läuft das Fenster voll, greifen Strategien wie Compaction (alten Verlauf zusammenfassen) oder gezieltes Nachladen per RAG.
4Hintergrund
Die Entwicklung war rasant: 2020 ≈ 2k Tokens, 2023 ≈ 32k, heute sind 128k–200k Standard und bis zu 1–2 Mio. verfügbar (z.B. Gemini). Aber: „passt rein“ heißt nicht „wird perfekt genutzt“ – Inhalte in der Fenster-Mitte werden nachweislich schlechter beachtet (lost in the middle).
5Alternativen / Verwandtes
- RAG: nur die relevanten Ausschnitte einlegen statt alles.
- Memory-Funktionen: Wichtiges dauerhaft außerhalb des Fensters notieren (z.B. CLAUDE.md, Auto-Memory).
- Zusammenfassen/Compaction: Verlauf komprimieren, Kern behalten.
6Vor- & Nachteile großer Fenster
- + Ganze Verträge, Codebasen, Bücher in einer Anfrage.
- − Teuer: jedes Token wird bei jeder Anfrage erneut verarbeitet und bezahlt.
- − Träger (längere Antwortzeiten) und Aufmerksamkeits-Verdünnung.
7Kosten
Direkt spürbar: Ein voll gefülltes 128k-Fenster kostet bei jedem Turn den vollen Input-Preis. Anbieter mildern das mit Prompt Caching (wiederholte Anfangsteile stark rabattiert, oft −50 bis −90 %).
8Empfehlung
Nicht das größte Fenster kaufen, sondern das Fenster klug füllen: Relevantes per RAG, Dauerwissen in Memory-Dateien, lange Sitzungen regelmäßig zusammenfassen. Große Fenster sind ein Werkzeug, kein Ersatz für Struktur.
Tensor Mehrdimensionaler Zahlenblock
Die Datenform, in der KI alles darstellt: Wörter, Bilder, Gewichte – am Ende sind es Zahlenblöcke, die miteinander multipliziert werden. Die gesamte „Denkarbeit“ ist Tensor-Rechnen in gigantischem Maßstab.
Tensor — Der mehrdimensionale Zahlenblock, mit dem KI rechnet
1Begriff
Tensor (aus der Mathematik): Verallgemeinerung von Skalar (0D) → Vektor (1D) → Matrix (2D) → Tensor (beliebig viele Dimensionen).
2Bedeutung
Die universelle Datenform der KI: Texte, Bilder, Audio und die Modell-Gewichte selbst – alles wird als Zahlenblock dargestellt und miteinander verrechnet.
3Funktionsweise
KI-„Denken“ = Milliarden Multiplikationen und Additionen zwischen Tensoren (Matrixmultiplikation). Diese Operationen sind perfekt parallelisierbar – genau das können GPUs mit ihren tausenden Kernen und speziellen Tensor Cores.
4Hintergrund
Der Begriff prägt das gesamte Ökosystem: PyTorch (Meta) und TensorFlow (Google) heißen nach ihm, Googles KI-Chips heißen TPU (Tensor Processing Unit). Ein „Tensor“ mit Form [32, 4096, 128] ist z.B. ein Stapel von 32 Sätzen à 4096 Tokens à 128 Merkmalen.
5Alternativen / Verwandtes
6Vor- & Nachteile des Konzepts
- + Eine einzige Datenform für alles → einfache, massiv parallele Hardware-Beschleunigung.
- − Alles muss erst „in Zahlen gepresst“ werden – Symbolisches/Logisches ist nicht die Muttersprache neuronaler Netze.
7Kosten
Indirekt der größte Kostenfaktor der Branche: Tensor-Rechenleistung (gemessen in FLOPS) bestimmt Trainings- und Inferenzkosten – daher die GPU-Knappheit und Nvidias Börsenwert.
8Empfehlung
Als Anwender musst du nie selbst mit Tensoren rechnen – aber der Begriff erklärt, warum GPUs, VRAM und Nvidia ständig Thema sind. Merksatz: „KI = Tensor-Mathematik in Industrie-Maßstab“.
Parameter / Gewichte Parameters / Weights Stellschrauben des Wissens
Die Milliarden Zahlenwerte, in denen das „Gelernte“ eines Modells steckt. Beim Training werden sie justiert; danach sind sie das Modell. „7B“ oder „70B“ = 7 bzw. 70 Milliarden Parameter (B = billions).
Parameter / Gewichte (Weights) — Die Milliarden Stellschrauben, in denen das Gelernte steckt
1Begriff
Parameter = einzelner erlernbarer Zahlenwert im Netz; Gewichte/Weights = Gesamtheit dieser Werte. Größenangabe in B = billions (Milliarden): „ein 70B-Modell“.
2Bedeutung
Die Parameter sind das Modell: Wer die Gewichte-Datei hat, hat das Modell („Open Weight“). Alles Gelernte – Sprache, Wissen, Stil – ist in diesen Zahlen kodiert, nicht als lesbarer Text.
3Funktionsweise
Beim Training werden die Werte millionenfach minimal justiert (Gradient Descent + Backpropagation), bis die Vorhersagen stimmen. Bei der Nutzung (Inferenz) bleiben sie fix – jede Antwort ist „nur“ eine Rechnung durch dieselben Gewichte.
4Hintergrund
Speicherbedarf grob: Parameterzahl × Bytes pro Wert. 7B in 16-Bit ≈ 14 GB, in 4-Bit (quantisiert) ≈ 4 GB. MoE-Modelle (Mixture of Experts) trennen „Gesamtgröße“ und „aktive Größe“: gpt-oss-120b hat 117B Parameter, nutzt aber nur ~5B pro Token → Wissen eines Großen, Tempo eines Kleinen.
5Alternativen / Verwandtes
- Hyperparameter: Einstellwerte des Trainings (Lernrate etc.) – werden nicht gelernt.
- LoRA-Adapter: kleine Zusatz-Gewichte statt Änderung aller Parameter.
- Kontext/RAG: Wissen außerhalb der Parameter mitgeben.
6Vor- & Nachteile vieler Parameter
- + Mehr Kapazität für Wissen, Nuancen, schwierige Aufgaben.
- − Mehr VRAM, langsamere/teurere Inferenz.
- − Seit ~2024 gilt: Datenqualität + Training schlagen reine Größe – kleine neue Modelle schlagen große alte.
7Kosten
Parameterzahl ↔ Hardware-Kosten: 7B–20B laufen quantisiert auf gutem Consumer-PC (16–24 GB), 70B braucht Workstation-Klasse (~48 GB+), 100B+ Multi-GPU oder DGX-Klasse. In der Cloud kosten größere Modelle entsprechend mehr pro Token.
8Empfehlung
Nicht auf die B-Zahl starren: Ein aktuelles 20B-MoE schlägt oft ein altes 70B. Auswahlreihenfolge: (1) aktuelle Benchmarks/Tests für deinen Anwendungsfall, (2) passt es in deinen Speicher (quantisiert)?, (3) erst dann Größe.
Training vs. Inferenz Training / Inference Lernen vs. Anwenden
Zwei völlig verschiedene Phasen: Training = das Modell lernt aus riesigen Datenmengen (Monate, Millionenkosten, Rechenzentren). Inferenz = das fertige Modell beantwortet Anfragen (Sekunden, günstig). Als Nutzer erlebst du immer nur Inferenz.
Training vs. Inferenz — Lernen (einmalig, teuer) vs. Anwenden (täglich, günstig)
1Begriff
Training = die Lernphase, in der Gewichte entstehen. Inferenz (inference, „Schlussfolgern“) = das Anwenden des fertigen Modells auf neue Eingaben.
2Bedeutung
Die wichtigste Zwei-Phasen-Unterscheidung der KI: Als Nutzer erlebst du immer nur Inferenz. Ein Modell lernt im Gespräch nichts dazu – „Gedächtnis“ entsteht nur über Kontext, Memory-Dateien oder erneutes Training.
3Funktionsweise
Training in Stufen: Pre-Training (Billionen Tokens Rohtext, Aufgabe „nächstes Token raten“; Fehler werden per Backpropagation zurückgerechnet, Gradient Descent justiert die Gewichte) → Instruction-Tuning (Anweisungen befolgen lernen) → RLHF (Menschen bewerten Antworten; das Modell wird auf hilfreich/harmlos optimiert). Inferenz: ein einziger Vorwärts-Durchlauf pro Token.
4Hintergrund
Größenordnungen: Frontier-Training = Monate auf zehntausenden GPUs, geschätzt 100 Mio.–1 Mrd. $+ pro Spitzenmodell. Typische Trainings-Probleme: Overfitting (auswendig statt verallgemeinern), Bias (Verzerrungen der Daten landen im Modell), Datenqualität als größter Hebel.
5Alternativen / Verwandtes
- Fine-Tuning/LoRA: kleines Nachtraining statt Neutraining.
- RAG/Kontext: Wissen ohne jedes Training hinzufügen.
- Reinforcement Learning: Lernen durch Belohnung – heute auch für „Reasoning“-Training zentral.
6Vor- & Nachteile der Trennung
- + Inferenz ist billig und schnell – einmal trainiert, millionenfach nutzbar.
- − Wissensstand friert ein (Cutoff-Datum) → Websuche/RAG nötig.
- − Fehler im Training sind nachträglich schwer zu entfernen.
7Kosten
Training: für Konzerne Millionen–Milliarden; eigenes LoRA-Fine-Tuning dagegen ab wenigen €/Stunden GPU-Miete. Inferenz: Cent-Bruchteile pro Anfrage (Cloud) bzw. Strom (lokal, ~0,1–0,5 kWh/h GPU-Volllast).
8Empfehlung
Als Anwender/Firma praktisch nie selbst vortrainieren. Die Leiter lautet: erst Prompting ausreizen → dann RAG → dann LoRA-Fine-Tuning → Voll-Training nur für Spezialfälle mit viel Budget.
Prompt & Prompt Engineering Anweisung & Anweisungs-Handwerk
Der Prompt ist deine Eingabe; Prompt Engineering die Kunst, sie so zu formulieren, dass Bestmögliches herauskommt. Gleiche Frage, anderer Prompt – dramatisch andere Qualität.
Prompt & Prompt Engineering — Die Anweisung an die KI — und das Handwerk dahinter
1Begriff
Prompt („Aufforderung“) = deine Eingabe. Prompt Engineering = systematisches Gestalten dieser Eingaben. System-Prompt = die unsichtbare Grundanweisung des Betreibers.
2Bedeutung
Der Prompt ist die einzige Steuerung, die du zur Laufzeit hast. Gleiche Frage, besserer Prompt → oft dramatisch besseres Ergebnis. Kostenloser Qualitätshebel Nr. 1.
3Funktionsweise
Das Modell vervollständigt Wahrscheinlichkeiten – der Prompt „stellt die Weichen“, in welchem Teil des gelernten Raums es antwortet. Bewährte Bausteine: Rolle („Du bist erfahrener Steuerberater“) · Kontext (Hintergrund mitgeben) · Aufgabe präzise · Format vorgeben (Tabelle, JSON, Länge) · Beispiele (Few-Shot) · Denkweg anstoßen (Chain-of-Thought).
4Hintergrund
Weiterentwicklung Context Engineering: Nicht mehr nur die Frage formulieren, sondern den gesamten Kontext kuratieren (Dokumente, Werkzeuge, Verlauf, Memory) – die Kerndisziplin hinter Agenten. Sicherheitsthema Prompt Injection: fremde Texte (Webseiten, Mails) können versteckte Anweisungen enthalten, die einen Agenten kapern wollen. Gute Anleitungen: Anthropic Prompting Guide, OpenAI Guide.
5Alternativen / Verwandtes
- Few-Shot vs. Zero-Shot: mit/ohne Beispiele.
- Fine-Tuning: wenn derselbe Stil immer gelten soll – statt ihn jedes Mal zu prompten.
- Prompt-Bibliotheken/Vorlagen: team-weit geteilte, getestete Prompts.
6Vor- & Nachteile
- + Sofort wirksam, kostenlos, kein technisches Setup.
- − Wirkung modellabhängig – Prompts „verhalten“ sich je Modell anders.
- − Grenzen: Kein Prompt ersetzt fehlendes Wissen (→ RAG) oder Können des Modells.
7Kosten
Nur Lernzeit. Indirekt: Präzise Prompts sparen Iterationen und damit Tokens; aufgeblähte Prompt-Vorlagen kosten bei jeder Anfrage mit.
8Empfehlung
Die 20-%-Techniken mit 80-%-Wirkung: Rolle + Kontext + gewünschtes Format + 1–2 Beispiele. Erfolgreiche Prompts als Team-Vorlagen sichern. Und bei wiederkehrenden Aufgaben: in Skills oder Steuer-Dateien gießen statt jedes Mal neu tippen.
Neuronales Netz & Transformer Die Architektur dahinter
Ein neuronales Netz ist ein Rechengeflecht aus Schichten künstlicher „Neuronen“ (siehe Schaubild 4, Mitte). Der Transformer (2017, Google-Paper „Attention is all you need“) ist die spezielle Bauform, auf der praktisch alle heutigen LLMs beruhen.
Neuronales Netz & Transformer — Die Architektur, auf der praktisch alle heutigen LLMs beruhen
1Begriff
Neuronales Netz = Rechengeflecht aus Schichten künstlicher „Neuronen“. Deep Learning = viele Schichten. Transformer = die 2017 vorgestellte Spezialarchitektur (Google-Paper „Attention Is All You Need“).
2Bedeutung
Der Transformer ist der Konstruktionsplan hinter GPT, Claude, Gemini, Llama & Co. – das „T“ in GPT steht für Transformer. Wer ihn grob versteht, versteht, warum LLMs Zusammenhänge über lange Texte erfassen.
3Funktionsweise
Kernidee Attention (Aufmerksamkeit): Jedes Token berechnet, welche anderen Tokens für seine Bedeutung wichtig sind, und gewichtet sie („sie“ → bezieht sich auf wen?). Das passiert parallel in vielen „Köpfen“ (Multi-Head) und gestapelt über Dutzende Schichten – jede Schicht verfeinert das Verständnis.
4Hintergrund
Vorgänger (RNN/LSTM) lasen Text sequenziell und „vergaßen“ Weites; Attention erfasst alles gleichzeitig und ist perfekt parallelisierbar → erst dadurch wurden Milliarden-Parameter-Trainings möglich. Varianten heute: Decoder-only (GPT-Stil), MoE-Transformer, effizientere Attention-Formen für lange Kontexte.
5Alternativen
- Mamba / State-Space-Modelle: vielversprechende Herausforderer mit linearer Skalierung – bisher Nische/Hybrid.
- Diffusionsmodelle: dominieren Bild/Video (Stable Diffusion, Midjourney) – anderes Prinzip (Entrauschen).
- CNNs: Klassiker der Bilderkennung, vor der Transformer-Ära.
6Vor- & Nachteile
- + Skaliert hervorragend mit Daten und Rechenleistung; universell (Text, Bild, Audio).
- − Attention-Aufwand wächst quadratisch mit der Länge → lange Kontexte teuer.
- − Hungrig nach Daten und Energie.
7Kosten
Kein Produkt, aber der Kostentreiber: Die Architektur bestimmt den Rechenbedarf und damit alle GPU-/Token-Preise weiter oben im Stapel.
8Empfehlung
Fürs Einordnen reicht: „Transformer = Netz, das per Attention alle Wortbezüge gleichzeitig gewichtet“. Wer tiefer will: das visuelle Erklärstück „The Illustrated Transformer“ ist der Klassiker.
Halluzination Hallucination Überzeugtes Erfinden
Wenn ein Modell falsche Fakten flüssig und selbstsicher präsentiert – erfundene Quellen, Zahlen, Gerichtsurteile. Kein „Bug“, sondern Folge des Prinzips: Das Modell erzeugt die wahrscheinlichste Fortsetzung, nicht die verifizierte.
Halluzination — Wenn die KI überzeugend Falsches erzählt
1Begriff
Halluzination (auch Konfabulation): eine flüssig und selbstsicher formulierte, aber faktisch falsche oder erfundene KI-Aussage – Quellen, Zahlen, Urteile, Paragraphen, die es nicht gibt.
2Bedeutung
Das zentrale Vertrauensproblem generativer KI – und der Grund, warum ungeprüfte KI-Ausgaben in Recht, Medizin, Finanzen oder Journalismus riskant sind.
3Funktionsweise
Kein Bug, sondern Systemfolge: Das Modell erzeugt die wahrscheinlichste Fortsetzung, nicht die verifizierte. Wo Wissen fehlt, entsteht plausibel Klingendes – die Form einer Quellenangabe ist gelernt, ihr Inhalt nicht garantiert. Einstellungen wie die Temperatur (Zufalls-Regler: 0 = nüchtern, hoch = kreativ) beeinflussen das Risiko nur teilweise.
4Hintergrund
Reasoning-Modelle und Werkzeug-Nutzung (Websuche, Rechner) haben die Raten deutlich gesenkt, auf null geht es prinzipbedingt nicht. Merkwürdig, aber wichtig: Modelle klingen bei Falschem genauso überzeugt wie bei Richtigem – „Selbstsicherheit“ ist kein Wahrheitssignal.
5Gegenmittel (die „Alternativen“)
- RAG / Grounding: im echten Dokument nachschlagen, Quelle zitieren.
- Werkzeuge: Websuche, Taschenrechner, Code-Ausführung statt Kopfrechnen.
- Verifikation: zweites Modell prüfen lassen; kritische Fakten menschlich gegenchecken.
- Ehrlichkeit fördern: im Prompt erlauben „Sage ‚weiß ich nicht‘, wenn unsicher“.
6Risiko-Einordnung
- Gering: Brainstorming, Entwürfe, Umformulieren, Code mit Tests.
- Mittel: Zusammenfassungen (Auslassungen!), Übersetzungen.
- Hoch: konkrete Fakten, Zahlen, Zitate, Rechts-/Medizinfragen ohne Quellen.
7Kosten
Die Kosten entstehen beim Nicht-Beachten: Reputations- und Haftungsrisiken (bekannte Gerichtsfälle mit erfundenen Urteilen). Gegenmittel wie RAG kosten etwas Aufwand/Tokens – ein Bruchteil des Schadensrisikos.
8Empfehlung
Grundregel: KI liefert Entwürfe, Menschen verantworten Fakten. Für alles Faktische Quellenpflicht einführen (RAG/Websuche mit Zitat) – und Ausgaben mit Zahlen, Namen und Paragraphen grundsätzlich stichprobenartig prüfen.