Modelle auf eigener Hardware betreiben

Ein Modell im eigenen Haus laufen zu lassen, war lange eine Frage teurer Grafikkarten. Durch Quantisierung — das Rechnen mit gröber aufgelösten Gewichten — passen brauchbare Modelle heute in den Speicher gewöhnlicher Arbeitsrechner.

Was den Ausschlag gibt

• Speicher vor Rechenleistung. Passt das Modell nicht in den Grafikspeicher, bricht die Geschwindigkeit deutlich ein.
• Quantisierungsgrad. Stärker verkleinert heißt schneller und kleiner, aber auch spürbar ungenauer.
• Kontextlänge kostet zusätzlich Speicher — und zwar während der Nutzung, nicht nur beim Laden.

Unsere Einordnung

Lokal ist stark, wenn Daten das Haus nicht verlassen dürfen oder Kosten planbar sein müssen. Für die anspruchsvollsten Aufgaben bleibt die Qualität der großen gehosteten Modelle vorerst der Maßstab — ein gemischter Betrieb ist deshalb meist die ehrlichste Antwort.