Fine-Tuning vs. In-Context Learning: Wann was einsetzen?
Sie haben ein Large Language Model (LLM) für Ihr Unternehmen evaluiert und wollen es an Ihre spezifischen Anforderungen anpassen. Jetzt stehen Sie vor einer grundlegenden Entscheidung: Trainieren Sie das Modell mit eigenen Daten nach (Fine-Tuning)? Oder steuern Sie es durch geschickte Prompts und Kontextinformationen (In-Context Learning)?
Diese Entscheidung hat direkte Auswirkungen auf Kosten, Flexibilität und Qualität Ihrer KI-Anwendungen. Dieser Artikel erklärt beide Ansätze, vergleicht sie systematisch und hilft Ihnen, die richtige Wahl für Ihren Use Case zu treffen.
Was ist Fine-Tuning?
Fine-Tuning bedeutet, ein vortrainiertes LLM mit eigenen, aufgabenspezifischen Daten nachzutrainieren. Das Modell lernt dabei dauerhaft neue Muster, Stile oder Fachterminologie. Nach dem Fine-Tuning ist das Wissen fest im Modell verankert — Sie müssen es nicht bei jedem Prompt erneut bereitstellen.
Wie funktioniert Fine-Tuning technisch?
- Datenvorbereitung: Sie erstellen einen Trainingsdatensatz mit Beispiel-Paaren (Input → gewünschter Output)
- Trainingsprocess: Das vortrainierte Modell wird mit Ihren Daten weitertrainiert (typisch: einige hundert bis tausende Beispiele)
- Evaluation: Das fine-getunte Modell wird gegen einen Testdatensatz geprüft
- Deployment: Das angepasste Modell wird für die produktive Nutzung bereitgestellt
Varianten des Fine-Tuning
- Full Fine-Tuning: Alle Modellparameter werden angepasst (teuer, aufwändig, selten nötig)
- LoRA (Low-Rank Adaptation): Nur ein kleiner Teil der Parameter wird angepasst (effizienter, guenstiger)
- RLHF (Reinforcement Learning from Human Feedback): Menschliches Feedback steuert die Optimierung (aufwändig, aber sehr effektiv)
Typische Kosten
| Aspekt | Kostenbereich |
|---|---|
| Datenvorbereitung | CHF 2'000 - CHF 15'000 |
| Training (API-basiert, z.B. OpenAI) | CHF 500 - CHF 5'000 |
| Training (eigene Infrastruktur) | CHF 10'000 - CHF 50'000+ |
| Laufender Betrieb | CHF 200 - CHF 2'000/Monat |
Was ist In-Context Learning (ICL)?
In-Context Learning ist die Fähigkeit eines LLMs, aus Beispielen und Anweisungen innerhalb des Prompts zu lernen — ohne dass die Modellgewichte verändert werden. Das Modell bleibt unverändert; nur die Eingabe wird optimiert.
Formen des In-Context Learning
Zero-Shot: Sie geben nur eine Anweisung, keine Beispiele.
Analysiere diese Kundenbewertung und klassifiziere die Stimmung als positiv, neutral oder negativ.Few-Shot: Sie geben einige Beispiele vor.
Beispiel 1: "Schnelle Lieferung, Top-Qualität" → Positiv
Beispiel 2: "Lieferung verzögert, Produkt OK" → Neutral
Beispiel 3: "Defekt geliefert, kein Support" → Negativ
Jetzt analysiere: "Gutes Produkt, aber Verpackung beschädigt"
Chain-of-Thought: Sie fordern schrittweises Denken an.
Analysiere diese Bewertung Schritt für Schritt:
- Identifiziere positive Aspekte
- Identifiziere negative Aspekte
- Wäge ab und gib eine Gesamtbewertung
Typische Kosten
| Aspekt | Kostenbereich |
|---|---|
| Prompt-Entwicklung | CHF 0 - CHF 500 (eigene Zeit) |
| API-Kosten pro Anfrage | CHF 0.001 - CHF 0.05 |
| Laufende API-Kosten | CHF 50 - CHF 1'000/Monat |
Systematischer Vergleich
| Kriterium | Fine-Tuning | In-Context Learning |
|---|---|---|
| Setup-Kosten | Hoch (CHF 5'000+) | Niedrig (CHF 0-500) |
| Laufende Kosten | Mittel (eigenes Modell) | Variabel (API-Nutzung) |
| Qualität bei spezialisierten Aufgaben | Sehr hoch | Gut bis sehr gut |
| Flexibilität | Niedrig (neues Training nötig) | Sehr hoch (Prompt ändern) |
| Latenz | Niedriger (kürzere Prompts) | Höher (laengere Prompts) |
| Datenschutz | Kritisch (Trainingsdaten) | Einfacher (Daten nur im Prompt) |
| Time-to-Market | Wochen bis Monate | Stunden bis Tage |
| Benötigte Daten | 500-10'000+ Beispiele | 3-10 Beispiele im Prompt |
| Technisches Know-how | Hoch (ML-Expertise) | Mittel (Prompt Engineering) |
| Modell-Updates | Neues Training nötig | Sofort nutzbar |
RAG als dritte Alternative
Retrieval-Augmented Generation (RAG) ist oft die beste Lösung — besonders wenn keiner der beiden Ansätze allein ausreicht.
Wie RAG funktioniert
- Ihre Unternehmensdokumente werden in eine Vektordatenbank indexiert
- Bei einer Anfrage werden relevante Dokumente automatisch abgerufen
- Diese Dokumente werden als Kontext dem LLM übergeben
- Das LLM generiert eine Antwort basierend auf Ihrem spezifischen Wissen
Vorteile von RAG gegenüber Fine-Tuning und ICL
- Aktualität: Neue Dokumente sind sofort verfügbar (kein Nachtrainieren)
- Nachvollziehbarkeit: Quellen können zitiert werden
- Datenschutz: Dokumente bleiben in Ihrer Infrastruktur
- Kosteneffizienz: Guenstiger als Fine-Tuning, präziser als reines ICL
- Skalierbarkeit: Funktioniert mit tausenden Dokumenten
Wann RAG die bessere Wahl ist
RAG eignet sich besonders, wenn Ihr Wissen sich häufig ändert (z.B. Produktkataloge, Richtlinien, Gesetzestexte), wenn Quellenangaben wichtig sind (Compliance, Beratung) oder wenn Sie grosse Wissensbasen durchsuchen müssen.
Entscheidungshilfe: Wann was einsetzen?
Fine-Tuning wählen, wenn:
- Sie einen sehr spezifischen Output-Stil benötigen (z.B. Markensprache, Fachterminologie)
- Die Aufgabe hochspezialisiert ist und Standard-Modelle versagen
- Sie hohe Volumen verarbeiten (kürzere Prompts = niedrigere API-Kosten)
- Latenz kritisch ist (keine langen Kontext-Prompts)
- Sie genügend Trainingsdaten haben (mindestens 500 Beispiele)
- Das Budget vorhanden ist (mindestens CHF 5'000 für ein erstes Projekt)
- Medizinische Fachsprache korrekt anwenden
- Firmenspezifische Klassifikation (z.B. interne Ticketkategorien)
- Spezialisierte Code-Generierung für eigene Frameworks
- Konsistente Markenkommunikation über alle Kanäle
In-Context Learning wählen, wenn:
- Sie schnell starten wollen (Proof of Concept in Stunden)
- Die Anforderungen sich häufig ändern
- Das Budget begrenzt ist
- Die Aufgabe mit guten Prompts loesbar ist
- Sie verschiedene LLMs flexibel nutzen wollen
- Das technische Team kein ML-Know-how hat
- Allgemeine Textgenerierung und -zusammenfassung
- Standard-Klassifikation (Sentiment, Kategorie)
- Datenextraktion aus Dokumenten
- Übersetzungen und Anpassungen
- Brainstorming und Ideengenerierung
Vertiefen Sie Ihr Wissen:>
- AI Automation Grundlagen
RAG wählen, wenn:
- Sie unternehmensspezifisches Wissen einbinden wollen
- Quellenangaben wichtig sind
- Das Wissen sich regelmaessig ändert
- Datenschutz prioritaer ist (nDSG-Konformität)
- Sie grosse Dokumentensammlungen durchsuchbar machen wollen
Kombinationsansätze
In der Praxis werden Ansätze oft kombiniert:
- RAG + ICL: Dokumente als Kontext abrufen, Few-Shot-Beispiele im Prompt für konsistentes Format
- Fine-Tuning + RAG: Modell auf Fachdomaene trainieren, RAG für aktuelle Informationen
- ICL als Prototyp, Fine-Tuning für Produktion: Mit Prompt Engineering starten, bei Erfolg auf Fine-Tuning umsteigen
Datenschutz und nDSG: Was beachten?
Für Schweizer Unternehmen ist der Datenschutz bei beiden Ansätzen relevant:
Fine-Tuning Datenschutz
- Trainingsdaten werden an den Anbieter übermittelt (bei API-basiertem Training)
- Personenbezogene Daten in Trainingsdaten erfordern Rechtsgrundlage und Information der Betroffenen
- On-Premise Fine-Tuning umgeht dieses Problem, ist aber deutlich teurer
In-Context Learning Datenschutz
- Daten werden nur zur Laufzeit übermittelt
- Serioeser Anbieter (OpenAI, Anthropic) nutzen API-Daten nicht für Training
- Trotzdem: Sensible Daten sollten anonymisiert oder pseudonymisiert werden
RAG Datenschutz
- Dokumente können vollständig on-premise gespeichert werden
- Nur relevante Textauszuege werden an das LLM gesendet
- Am besten kontrollierbar von allen drei Ansätzen
Praktische Empfehlung für Schweizer KMU
Für die meisten Schweizer Unternehmen empfehlen wir folgenden stufenweisen Ansatz:
Stufe 1 — In-Context Learning (Monat 1-3)
Starten Sie mit Prompt Engineering. Entwickeln Sie System-Prompts für Ihre wichtigsten Use Cases. Testen Sie verschiedene LLMs. Kosten: CHF 100-500/Monat.
Stufe 2 — RAG (Monat 3-6)
Wenn ICL an Grenzen stoesst (z.B. zu wenig Fachkontext), implementieren Sie RAG. Indexieren Sie Ihre wichtigsten Dokumente. Kosten: CHF 500-3'000 Setup plus CHF 200-800/Monat.
Stufe 3 — Fine-Tuning (ab Monat 6+)
Nur wenn RAG + ICL nachweislich nicht ausreichen und Sie genug Trainingsdaten haben, investieren Sie in Fine-Tuning. Kosten: CHF 5'000-20'000 plus laufende Kosten.
Dieser stufenweise Ansatz minimiert Risiko und Kosten und stellt sicher, dass Sie nur dann in aufwändigere Methoden investieren, wenn der Bedarf nachweisbar ist.
Häufig gestellte Fragen
Ist Fine-Tuning für KMU mit kleinem Budget realistisch?
Ja, dank LoRA und API-basiertem Fine-Tuning (z.B. über OpenAI) sind die Einstiegskosten deutlich gesunken. Ein erstes Fine-Tuning-Projekt ist ab CHF 3'000 bis CHF 5'000 realisierbar. Allerdings sollten Sie vorher prüfen, ob In-Context Learning oder RAG Ihren Bedarf nicht bereits abdecken — das ist für die meisten KMU-Use-Cases der Fall.
Wie viele Trainingsdaten brauche ich für effektives Fine-Tuning?
Die Mindestmenge haengt vom Use Case ab. Für einfache Stilanpassungen genügen oft 200 bis 500 Beispiele. Für komplexe Fachdomaenen (z.B. Medizin, Recht) benötigen Sie 2'000 bis 10'000 Beispiele für gute Ergebnisse. Entscheidend ist die Qualität: 500 hochwertige Beispiele schlagen 5'000 mittlemaessige.
Kann ich Fine-Tuning rückgängig machen, wenn die Ergebnisse nicht stimmen?
Technisch ja — Sie können immer zum Basis-Modell zurückkehren. Finanziell ist das Trainingsbudget allerdings verloren. Deshalb empfehlen wir, mit kleinen Fine-Tuning-Experimenten zu starten und die Ergebnisse gründlich zu evaluieren, bevor Sie skalieren.
Welche Methode ist am besten für den Datenschutz nach nDSG geeignet?
RAG bietet die beste Kontrolle über Datenschutz, da Dokumente on-premise bleiben können und nur kleine Textauszuege an das LLM gesendet werden. In-Context Learning ist ebenfalls gut handhabbar, da Daten nur zur Laufzeit übermittelt werden. Fine-Tuning ist am heikelsten, da Trainingsdaten dauerhaft verarbeitet werden. Bei allen drei Ansätzen gilt: Personendaten sollten anonymisiert werden, und die Rechtsgrundlage muss geklaert sein.