Sie haben ein Large Language Model (LLM) für Ihr Unternehmen evaluiert und wollen es an Ihre spezifischen Anforderungen anpassen. Jetzt stehen Sie vor einer grundlegenden Entscheidung: Trainieren Sie das Modell mit eigenen Daten nach (Fine-Tuning)? Oder steuern Sie es durch geschickte Prompts und Kontextinformationen (In-Context Learning)?
Diese Entscheidung hat direkte Auswirkungen auf Kosten, Flexibilität und Qualität Ihrer KI-Anwendungen. Dieser Artikel erklärt beide Ansätze, vergleicht sie systematisch und hilft Ihnen, die richtige Wahl für Ihren Use Case zu treffen.
Was ist Fine-Tuning?
Fine-Tuning bedeutet, ein vortrainiertes LLM mit eigenen, aufgabenspezifischen Daten nachzutrainieren. Das Modell lernt dabei dauerhaft neue Muster, Stile oder Fachterminologie. Nach dem Fine-Tuning ist das Wissen fest im Modell verankert — Sie müssen es nicht bei jedem Prompt erneut bereitstellen.
Wie funktioniert Fine-Tuning technisch?
- Datenvorbereitung: Sie erstellen einen Trainingsdatensatz mit Beispiel-Paaren (Input → gewünschter Output)
- Trainingsprocess: Das vortrainierte Modell wird mit Ihren Daten weitertrainiert (typisch: einige hundert bis tausende Beispiele)
- Evaluation: Das fine-getunte Modell wird gegen einen Testdatensatz geprüft
- Deployment: Das angepasste Modell wird für die produktive Nutzung bereitgestellt
Varianten des Fine-Tuning
- Full Fine-Tuning: Alle Modellparameter werden angepasst (teuer, aufwändig, selten nötig)
- LoRA (Low-Rank Adaptation): Nur ein kleiner Teil der Parameter wird angepasst (effizienter, günstiger)
- RLHF (Reinforcement Learning from Human Feedback): Menschliches Feedback steuert die Optimierung (aufwändig, aber sehr effektiv)
Typische Kosten
| Aspekt | Kostenbereich |
|---|---|
| Datenvorbereitung | CHF 2'000 - CHF 15'000 |
| Training (API-basiert, z.B. OpenAI) | CHF 500 - CHF 5'000 |
| Training (eigene Infrastruktur) | CHF 10'000 - CHF 50'000+ |
| Laufender Betrieb | CHF 200 - CHF 2'000/Monat |
Für die meisten Schweizer KMU ist API-basiertes Fine-Tuning der kosteneffizienteste Weg, weil die Infrastrukturkosten entfallen.
Was ist In-Context Learning (ICL)?
In-Context Learning ist die Fähigkeit eines LLMs, aus Beispielen und Anweisungen innerhalb des Prompts zu lernen — ohne dass die Modellgewichte verändert werden. Das Modell bleibt unverändert; nur die Eingabe wird optimiert.
Formen des In-Context Learning
Zero-Shot: Sie geben nur eine Anweisung, keine Beispiele.
Analysiere diese Kundenbewertung und klassifiziere die Stimmung als positiv, neutral oder negativ.Few-Shot: Sie geben einige Beispiele vor.
Beispiel 1: "Schnelle Lieferung, Top-Qualität" → Positiv
Beispiel 2: "Lieferung verzögert, Produkt OK" → Neutral
Beispiel 3: "Defekt geliefert, kein Support" → Negativ
Jetzt analysiere: "Gutes Produkt, aber Verpackung beschädigt"Chain-of-Thought: Sie fordern schrittweises Denken an.
Analysiere diese Bewertung Schritt für Schritt:
1. Identifiziere positive Aspekte
2. Identifiziere negative Aspekte
3. Wäge ab und gib eine GesamtbewertungTypische Kosten
| Aspekt | Kostenbereich |
|---|---|
| Prompt-Entwicklung | CHF 0 - CHF 500 (eigene Zeit) |
| API-Kosten pro Anfrage | CHF 0.001 - CHF 0.05 |
| Laufende API-Kosten | CHF 50 - CHF 1'000/Monat |
Der grosse Vorteil: Kein Upfront-Investment. Sie können sofort starten und iterieren.
Systematischer Vergleich
| Kriterium | Fine-Tuning | In-Context Learning |
|---|---|---|
| Setup-Kosten | Hoch (CHF 5'000+) | Niedrig (CHF 0-500) |
| Laufende Kosten | Mittel (eigenes Modell) | Variabel (API-Nutzung) |
| Qualität bei spezialisierten Aufgaben | Sehr hoch | Gut bis sehr gut |
| Flexibilität | Niedrig (neues Training nötig) | Sehr hoch (Prompt ändern) |
| Latenz | Niedriger (kürzere Prompts) | Höher (längere Prompts), sofern kein Prompt Caching greift |
| Datenschutz | Kritisch (Trainingsdaten) | Einfacher (Daten nur im Prompt) |
| Time-to-Market | Wochen bis Monate | Stunden bis Tage |
| Benötigte Daten | 500-10'000+ Beispiele | 3-10 Beispiele im Prompt |
| Technisches Know-how | Hoch (ML-Expertise) | Mittel (Prompt Engineering) |
| Modell-Updates | Neues Training nötig | Sofort nutzbar |
RAG als dritte Alternative
Retrieval-Augmented Generation (RAG) ist oft die beste Lösung — besonders wenn keiner der beiden Ansätze allein ausreicht.
Wie RAG funktioniert
- Ihre Unternehmensdokumente werden in eine Vektordatenbank indexiert
- Bei einer Anfrage werden relevante Dokumente automatisch abgerufen
- Diese Dokumente werden als Kontext dem LLM übergeben
- Das LLM generiert eine Antwort basierend auf Ihrem spezifischen Wissen
Vorteile von RAG gegenüber Fine-Tuning und ICL
- Aktualität: Neue Dokumente sind sofort verfügbar (kein Nachtrainieren)
- Nachvollziehbarkeit: Quellen können zitiert werden
- Datenschutz: Dokumente bleiben in Ihrer Infrastruktur
- Kosteneffizienz: Günstiger als Fine-Tuning, präziser als reines ICL
- Skalierbarkeit: Funktioniert mit tausenden Dokumenten
Wann RAG die bessere Wahl ist
RAG eignet sich besonders, wenn Ihr Wissen sich häufig ändert (z.B. Produktkataloge, Richtlinien, Gesetzestexte), wenn Quellenangaben wichtig sind (Compliance, Beratung) oder wenn Sie grosse Wissensbasen durchsuchen müssen.
Prompt Caching: warum die Rechnung von gestern nicht mehr stimmt
Das klassische Argument für Fine-Tuning lautete: In-Context Learning braucht bei jeder einzelnen Anfrage denselben langen Prompt — dieselben Beispiele, dieselben Regeln, dieselbe Rollenbeschreibung. Das kostet Geld und Zeit, Anfrage für Anfrage. Ein fine-getuntes Modell trägt dieses Wissen in sich und kommt mit einem kurzen Prompt aus.
Dieses Argument gilt weiterhin, aber es wiegt weniger schwer als noch vor zwei Jahren. Der Grund heisst Prompt Caching: Der gleichbleibende Anfang eines Prompts wird beim Anbieter zwischengespeichert und bei der nächsten Anfrage wiederverwendet, statt erneut verarbeitet zu werden.
Die Preislogik am Beispiel Anthropic
Anthropic rechnet Caching über Multiplikatoren auf den normalen Eingabepreis ab:
| Vorgang | Multiplikator auf den Eingabepreis |
|---|---|
| Cache schreiben, 5 Minuten Haltbarkeit | 1,25× |
| Cache schreiben, 1 Stunde Haltbarkeit | 2× |
| Cache lesen | 0,1× |
Die Rechnung dahinter ist unspektakulär und genau deshalb wichtig: Ein Prompt-Anfang, der einmal geschrieben und danach neunmal gelesen wird, kostet insgesamt 1,25 + 9 × 0,1 = 2,15 statt 10 Einheiten. Wer denselben System-Prompt hundertmal am Tag verwendet, verschiebt damit die Kostenrechnung deutlich — ganz ohne Training.
Quelle: Anthropic — Prompt caching — abgerufen am 24. August 2026. Vergleichbare Mechanismen bieten auch andere Anbieter; die Multiplikatoren und Mindestlängen unterscheiden sich und sind je Anbieter nachzuschlagen.
Was das für Ihre Entscheidung heisst
Caching hilft, wenn der Prompt-Anfang stabil ist und sich nur der letzte Teil ändert — also bei genau dem Muster, das Few-Shot-Prompting erzeugt. Ordnen Sie deshalb konsequent von statisch nach variabel: Rollenbeschreibung, Regeln und Beispiele nach vorn, die konkrete Anfrage ans Ende.
Caching hilft nicht, wenn jede Anfrage einen anderen Kontext mitbringt. Ein RAG-System, das je Anfrage andere Dokumente einspielt, cached den variablen Teil nicht — wohl aber die davor stehenden Anweisungen.
Für die Fine-Tuning-Frage folgt daraus: Wenn Sie Fine-Tuning bisher vor allem mit Token-Kosten oder Latenz begründet haben, rechnen Sie zuerst mit Caching neu. Bleiben Qualität bei einer hochspezialisierten Aufgabe oder ein sehr eigener Ausgabestil die Begründung, ändert Caching nichts daran — das sind die Fälle, in denen Fine-Tuning seine Berechtigung behält.
Entscheidungshilfe: Wann was einsetzen?
Fine-Tuning wählen, wenn:
- Sie einen sehr spezifischen Output-Stil benötigen (z.B. Markensprache, Fachterminologie)
- Die Aufgabe hochspezialisiert ist und Standard-Modelle versagen
- Sie hohe Volumen verarbeiten (kürzere Prompts = niedrigere API-Kosten) — prüfen Sie hier zuerst Prompt Caching, das denselben Effekt ohne Training erzielen kann
- Latenz kritisch ist (keine langen Kontext-Prompts) — auch dieser Punkt relativiert sich mit Caching
- Sie genügend Trainingsdaten haben (mindestens 500 Beispiele)
- Das Budget vorhanden ist (mindestens CHF 5'000 für ein erstes Projekt)
- Medizinische Fachsprache korrekt anwenden
- Firmenspezifische Klassifikation (z.B. interne Ticketkategorien)
- Spezialisierte Code-Generierung für eigene Frameworks
- Konsistente Markenkommunikation über alle Kanäle
In-Context Learning wählen, wenn:
- Sie schnell starten wollen (Proof of Concept in Stunden)
- Die Anforderungen sich häufig ändern
- Das Budget begrenzt ist
- Die Aufgabe mit guten Prompts lösbar ist
- Sie verschiedene LLMs flexibel nutzen wollen
- Das technische Team kein ML-Know-how hat
Vertiefen Sie Ihr Wissen:Typische Use Cases für ICL:
- Allgemeine Textgenerierung und -zusammenfassung
- Standard-Klassifikation (Sentiment, Kategorie)
- Datenextraktion aus Dokumenten
- Übersetzungen und Anpassungen
- Brainstorming und Ideengenerierung
RAG wählen, wenn:
- Sie unternehmensspezifisches Wissen einbinden wollen
- Quellenangaben wichtig sind
- Das Wissen sich regelmässig ändert
- Datenschutz prioritär ist (nDSG-Konformität)
- Sie grosse Dokumentensammlungen durchsuchbar machen wollen
Kombinationsansätze
In der Praxis werden Ansätze oft kombiniert:
- RAG + ICL: Dokumente als Kontext abrufen, Few-Shot-Beispiele im Prompt für konsistentes Format
- Fine-Tuning + RAG: Modell auf Fachdomäne trainieren, RAG für aktuelle Informationen
- ICL als Prototyp, Fine-Tuning für Produktion: Mit Prompt Engineering starten, bei Erfolg auf Fine-Tuning umsteigen
Datenschutz und nDSG: Was beachten?
Für Schweizer Unternehmen ist der Datenschutz bei beiden Ansätzen relevant:
Fine-Tuning Datenschutz
- Trainingsdaten werden an den Anbieter übermittelt (bei API-basiertem Training)
- Personenbezogene Daten in Trainingsdaten erfordern Rechtsgrundlage und Information der Betroffenen
- On-Premise Fine-Tuning umgeht dieses Problem, ist aber deutlich teurer
In-Context Learning Datenschutz
- Daten werden nur zur Laufzeit übermittelt
- OpenAI und Anthropic nutzen die Daten ihrer kommerziellen API standardmässig nicht zum Modelltraining. Anthropic formuliert das so: «By default, we will not use your inputs or outputs from our commercial products (e.g. Claude for Work, Anthropic API, Claude Gov, etc.) to train our models.» OpenAI hält für die API-Plattform dasselbe fest. Beide behalten Ein- und Ausgaben allerdings befristet zur Missbrauchserkennung
- Trotzdem: Sensible Daten sollten anonymisiert oder pseudonymisiert werden. «Nicht fürs Training verwendet» heisst nicht «nicht übermittelt» — die Bearbeitung durch einen Auftragsbearbeiter im Ausland bleibt eine Bekanntgabe im Sinne des DSG und gehört ins Bearbeitungsverzeichnis
Quellen: Anthropic Privacy Center — Is my data used for model training? und OpenAI — Enterprise privacy — abgerufen am 24. August 2026.
RAG Datenschutz
- Dokumente können vollständig on-premise gespeichert werden
- Nur relevante Textauszüge werden an das LLM gesendet
- Am besten kontrollierbar von allen drei Ansätzen
Praktische Empfehlung für Schweizer KMU
Für die meisten Schweizer Unternehmen empfehlen wir folgenden stufenweisen Ansatz:
Stufe 1 — In-Context Learning (Monat 1-3)
Starten Sie mit Prompt Engineering. Entwickeln Sie System-Prompts für Ihre wichtigsten Use Cases. Testen Sie verschiedene LLMs. Kosten: CHF 100-500/Monat.
Stufe 1b — Prompt Caching (parallel zu Stufe 1)
Sobald ein System-Prompt stabil steht und regelmässig verwendet wird, strukturieren Sie ihn cache-freundlich: statischer Teil nach vorn, variabler Teil ans Ende. Das kostet einen Nachmittag Umbauarbeit und kein zusätzliches Budget. Es ist die einzige Massnahme in diesem Stufenplan, die Kosten senkt, ohne dass etwas Neues dazukommt.
Stufe 2 — RAG (Monat 3-6)
Wenn ICL an Grenzen stösst (z.B. zu wenig Fachkontext), implementieren Sie RAG. Indexieren Sie Ihre wichtigsten Dokumente. Kosten: CHF 500-3'000 Setup plus CHF 200-800/Monat.
Stufe 3 — Fine-Tuning (ab Monat 6+)
Nur wenn RAG + ICL nachweislich nicht ausreichen und Sie genug Trainingsdaten haben, investieren Sie in Fine-Tuning. Kosten: CHF 5'000-20'000 plus laufende Kosten.
Dieser stufenweise Ansatz minimiert Risiko und Kosten und stellt sicher, dass Sie nur dann in aufwändigere Methoden investieren, wenn der Bedarf nachweisbar ist.
Häufig gestellte Fragen
- Ist Fine-Tuning für KMU mit kleinem Budget realistisch?
Ja, dank LoRA und API-basiertem Fine-Tuning (z.B. über OpenAI) sind die Einstiegskosten deutlich gesunken. Ein erstes Fine-Tuning-Projekt ist ab CHF 3'000 bis CHF 5'000 realisierbar. Allerdings sollten Sie vorher prüfen, ob In-Context Learning oder RAG Ihren Bedarf nicht bereits abdecken — das ist für die meisten KMU-Use-Cases der Fall.
- Wie viele Trainingsdaten brauche ich für effektives Fine-Tuning?
Die Mindestmenge hängt vom Use Case ab. Für einfache Stilanpassungen genügen oft 200 bis 500 Beispiele. Für komplexe Fachdomänen (z.B. Medizin, Recht) benötigen Sie 2'000 bis 10'000 Beispiele für gute Ergebnisse. Entscheidend ist die Qualität: 500 hochwertige Beispiele schlagen 5'000 mittelmässige.
- Kann ich Fine-Tuning rückgängig machen, wenn die Ergebnisse nicht stimmen?
Technisch ja — Sie können immer zum Basis-Modell zurückkehren. Finanziell ist das Trainingsbudget allerdings verloren. Deshalb empfehlen wir, mit kleinen Fine-Tuning-Experimenten zu starten und die Ergebnisse gründlich zu evaluieren, bevor Sie skalieren.
- Macht Prompt Caching Fine-Tuning überflüssig?
Nein, aber es entzieht dem häufigsten Argument dafür einen Teil der Grundlage. Wer Fine-Tuning mit Token-Kosten oder Latenz begründet, sollte zuerst prüfen, wie viel davon sich durch einen cache-freundlich strukturierten Prompt einsparen lässt — das kostet einen Nachmittag statt eines Projektbudgets. Bleiben die Gründe qualitativer Natur — eine hochspezialisierte Aufgabe, an der Standardmodelle auch mit guten Beispielen scheitern, oder ein Ausgabestil, der sich nicht beschreiben, sondern nur zeigen lässt — dann bleibt Fine-Tuning die richtige Wahl.
- Bleiben meine Prompts beim Anbieter, wenn ich Caching nutze?
Der zwischengespeicherte Prompt-Anfang liegt für die Dauer der Cache-Haltbarkeit beim Anbieter — standardmässig fünf Minuten, optional eine Stunde. Datenschutzrechtlich ändert das an der Ausgangslage nichts: Die Daten waren ohnehin übermittelt. Relevant wird es dort, wo Sie ohnehin keine Personendaten in den Prompt geben sollten — und das gilt mit Caching genauso wie ohne.
- Welche Methode ist am besten für den Datenschutz nach nDSG geeignet?
RAG bietet die beste Kontrolle über Datenschutz, da Dokumente on-premise bleiben können und nur kleine Textauszüge an das LLM gesendet werden. In-Context Learning ist ebenfalls gut handhabbar, da Daten nur zur Laufzeit übermittelt werden. Fine-Tuning ist am heikelsten, da Trainingsdaten dauerhaft verarbeitet werden. Bei allen drei Ansätzen gilt: Personendaten sollten anonymisiert werden, und die Rechtsgrundlage muss geklärt sein.
Weiterführende Themen
Quellen
- Anthropic — Prompt caching — abgerufen am 24. August 2026. Vergleichbare Mechanismen bieten auch andere Anbieter; die Multiplikatoren und Mindestlängen unterscheiden sich und sind je Anbieter nachzuschlagen.
- Anthropic Privacy Center — Is my data used for model training? und OpenAI — Enterprise privacy — abgerufen am 24. August 2026.
