Fine-Tuning vs. In-Context Learning: Wann was einsetzen?
Sie haben ein Large Language Model (LLM) fuer Ihr Unternehmen evaluiert und wollen es an Ihre spezifischen Anforderungen anpassen. Jetzt stehen Sie vor einer grundlegenden Entscheidung: Trainieren Sie das Modell mit eigenen Daten nach (Fine-Tuning)? Oder steuern Sie es durch geschickte Prompts und Kontextinformationen (In-Context Learning)?
Diese Entscheidung hat direkte Auswirkungen auf Kosten, Flexibilitaet und Qualitaet Ihrer KI-Anwendungen. Dieser Artikel erklaert beide Ansaetze, vergleicht sie systematisch und hilft Ihnen, die richtige Wahl fuer Ihren Use Case zu treffen.
Was ist Fine-Tuning?
Fine-Tuning bedeutet, ein vortrainiertes LLM mit eigenen, aufgabenspezifischen Daten nachzutrainieren. Das Modell lernt dabei dauerhaft neue Muster, Stile oder Fachterminologie. Nach dem Fine-Tuning ist das Wissen fest im Modell verankert — Sie muessen es nicht bei jedem Prompt erneut bereitstellen.
Wie funktioniert Fine-Tuning technisch?
- Datenvorbereitung: Sie erstellen einen Trainingsdatensatz mit Beispiel-Paaren (Input → gewuenschter Output)
- Trainingsprocess: Das vortrainierte Modell wird mit Ihren Daten weitertrainiert (typisch: einige hundert bis tausende Beispiele)
- Evaluation: Das fine-getunte Modell wird gegen einen Testdatensatz geprueft
- Deployment: Das angepasste Modell wird fuer die produktive Nutzung bereitgestellt
Varianten des Fine-Tuning
- Full Fine-Tuning: Alle Modellparameter werden angepasst (teuer, aufwaendig, selten noetig)
- LoRA (Low-Rank Adaptation): Nur ein kleiner Teil der Parameter wird angepasst (effizienter, guenstiger)
- RLHF (Reinforcement Learning from Human Feedback): Menschliches Feedback steuert die Optimierung (aufwaendig, aber sehr effektiv)
Typische Kosten
| Aspekt | Kostenbereich |
|---|---|
| Datenvorbereitung | CHF 2'000 - CHF 15'000 |
| Training (API-basiert, z.B. OpenAI) | CHF 500 - CHF 5'000 |
| Training (eigene Infrastruktur) | CHF 10'000 - CHF 50'000+ |
| Laufender Betrieb | CHF 200 - CHF 2'000/Monat |
Was ist In-Context Learning (ICL)?
In-Context Learning ist die Faehigkeit eines LLMs, aus Beispielen und Anweisungen innerhalb des Prompts zu lernen — ohne dass die Modellgewichte veraendert werden. Das Modell bleibt unveraendert; nur die Eingabe wird optimiert.
Formen des In-Context Learning
Zero-Shot: Sie geben nur eine Anweisung, keine Beispiele.
Analysiere diese Kundenbewertung und klassifiziere die Stimmung als positiv, neutral oder negativ.Few-Shot: Sie geben einige Beispiele vor.
Beispiel 1: "Schnelle Lieferung, Top-Qualitaet" → Positiv
Beispiel 2: "Lieferung verzoegert, Produkt OK" → Neutral
Beispiel 3: "Defekt geliefert, kein Support" → Negativ
Jetzt analysiere: "Gutes Produkt, aber Verpackung beschaedigt"
Chain-of-Thought: Sie fordern schrittweises Denken an.
Analysiere diese Bewertung Schritt fuer Schritt:
- Identifiziere positive Aspekte
- Identifiziere negative Aspekte
- Waege ab und gib eine Gesamtbewertung
Typische Kosten
| Aspekt | Kostenbereich |
|---|---|
| Prompt-Entwicklung | CHF 0 - CHF 500 (eigene Zeit) |
| API-Kosten pro Anfrage | CHF 0.001 - CHF 0.05 |
| Laufende API-Kosten | CHF 50 - CHF 1'000/Monat |
Systematischer Vergleich
| Kriterium | Fine-Tuning | In-Context Learning |
|---|---|---|
| Setup-Kosten | Hoch (CHF 5'000+) | Niedrig (CHF 0-500) |
| Laufende Kosten | Mittel (eigenes Modell) | Variabel (API-Nutzung) |
| Qualitaet bei spezialisierten Aufgaben | Sehr hoch | Gut bis sehr gut |
| Flexibilitaet | Niedrig (neues Training noetig) | Sehr hoch (Prompt aendern) |
| Latenz | Niedriger (kuerzere Prompts) | Hoeher (laengere Prompts) |
| Datenschutz | Kritisch (Trainingsdaten) | Einfacher (Daten nur im Prompt) |
| Time-to-Market | Wochen bis Monate | Stunden bis Tage |
| Benoetigte Daten | 500-10'000+ Beispiele | 3-10 Beispiele im Prompt |
| Technisches Know-how | Hoch (ML-Expertise) | Mittel (Prompt Engineering) |
| Modell-Updates | Neues Training noetig | Sofort nutzbar |
RAG als dritte Alternative
Retrieval-Augmented Generation (RAG) ist oft die beste Loesung — besonders wenn keiner der beiden Ansaetze allein ausreicht.
Wie RAG funktioniert
- Ihre Unternehmensdokumente werden in eine Vektordatenbank indexiert
- Bei einer Anfrage werden relevante Dokumente automatisch abgerufen
- Diese Dokumente werden als Kontext dem LLM uebergeben
- Das LLM generiert eine Antwort basierend auf Ihrem spezifischen Wissen
Vorteile von RAG gegenueber Fine-Tuning und ICL
- Aktualitaet: Neue Dokumente sind sofort verfuegbar (kein Nachtrainieren)
- Nachvollziehbarkeit: Quellen koennen zitiert werden
- Datenschutz: Dokumente bleiben in Ihrer Infrastruktur
- Kosteneffizienz: Guenstiger als Fine-Tuning, praeziser als reines ICL
- Skalierbarkeit: Funktioniert mit tausenden Dokumenten
Wann RAG die bessere Wahl ist
RAG eignet sich besonders, wenn Ihr Wissen sich haeufig aendert (z.B. Produktkataloge, Richtlinien, Gesetzestexte), wenn Quellenangaben wichtig sind (Compliance, Beratung) oder wenn Sie grosse Wissensbasen durchsuchen muessen.
Entscheidungshilfe: Wann was einsetzen?
Fine-Tuning waehlen, wenn:
- Sie einen sehr spezifischen Output-Stil benoetigen (z.B. Markensprache, Fachterminologie)
- Die Aufgabe hochspezialisiert ist und Standard-Modelle versagen
- Sie hohe Volumen verarbeiten (kuerzere Prompts = niedrigere API-Kosten)
- Latenz kritisch ist (keine langen Kontext-Prompts)
- Sie genuegend Trainingsdaten haben (mindestens 500 Beispiele)
- Das Budget vorhanden ist (mindestens CHF 5'000 fuer ein erstes Projekt)
- Medizinische Fachsprache korrekt anwenden
- Firmenspezifische Klassifikation (z.B. interne Ticketkategorien)
- Spezialisierte Code-Generierung fuer eigene Frameworks
- Konsistente Markenkommunikation ueber alle Kanaele
In-Context Learning waehlen, wenn:
- Sie schnell starten wollen (Proof of Concept in Stunden)
- Die Anforderungen sich haeufig aendern
- Das Budget begrenzt ist
- Die Aufgabe mit guten Prompts loesbar ist
- Sie verschiedene LLMs flexibel nutzen wollen
- Das technische Team kein ML-Know-how hat
- Allgemeine Textgenerierung und -zusammenfassung
- Standard-Klassifikation (Sentiment, Kategorie)
- Datenextraktion aus Dokumenten
- Uebersetzungen und Anpassungen
- Brainstorming und Ideengenerierung
Vertiefen Sie Ihr Wissen:>
- AI Automation Grundlagen
RAG waehlen, wenn:
- Sie unternehmensspezifisches Wissen einbinden wollen
- Quellenangaben wichtig sind
- Das Wissen sich regelmaessig aendert
- Datenschutz prioritaer ist (nDSG-Konformitaet)
- Sie grosse Dokumentensammlungen durchsuchbar machen wollen
Kombinationsansaetze
In der Praxis werden Ansaetze oft kombiniert:
- RAG + ICL: Dokumente als Kontext abrufen, Few-Shot-Beispiele im Prompt fuer konsistentes Format
- Fine-Tuning + RAG: Modell auf Fachdomaene trainieren, RAG fuer aktuelle Informationen
- ICL als Prototyp, Fine-Tuning fuer Produktion: Mit Prompt Engineering starten, bei Erfolg auf Fine-Tuning umsteigen
Datenschutz und nDSG: Was beachten?
Fuer Schweizer Unternehmen ist der Datenschutz bei beiden Ansaetzen relevant:
Fine-Tuning Datenschutz
- Trainingsdaten werden an den Anbieter uebermittelt (bei API-basiertem Training)
- Personenbezogene Daten in Trainingsdaten erfordern Rechtsgrundlage und Information der Betroffenen
- On-Premise Fine-Tuning umgeht dieses Problem, ist aber deutlich teurer
In-Context Learning Datenschutz
- Daten werden nur zur Laufzeit uebermittelt
- Serioeser Anbieter (OpenAI, Anthropic) nutzen API-Daten nicht fuer Training
- Trotzdem: Sensible Daten sollten anonymisiert oder pseudonymisiert werden
RAG Datenschutz
- Dokumente koennen vollstaendig on-premise gespeichert werden
- Nur relevante Textauszuege werden an das LLM gesendet
- Am besten kontrollierbar von allen drei Ansaetzen
Praktische Empfehlung fuer Schweizer KMU
Fuer die meisten Schweizer Unternehmen empfehlen wir folgenden stufenweisen Ansatz:
Stufe 1 — In-Context Learning (Monat 1-3)
Starten Sie mit Prompt Engineering. Entwickeln Sie System-Prompts fuer Ihre wichtigsten Use Cases. Testen Sie verschiedene LLMs. Kosten: CHF 100-500/Monat.
Stufe 2 — RAG (Monat 3-6)
Wenn ICL an Grenzen stoesst (z.B. zu wenig Fachkontext), implementieren Sie RAG. Indexieren Sie Ihre wichtigsten Dokumente. Kosten: CHF 500-3'000 Setup plus CHF 200-800/Monat.
Stufe 3 — Fine-Tuning (ab Monat 6+)
Nur wenn RAG + ICL nachweislich nicht ausreichen und Sie genug Trainingsdaten haben, investieren Sie in Fine-Tuning. Kosten: CHF 5'000-20'000 plus laufende Kosten.
Dieser stufenweise Ansatz minimiert Risiko und Kosten und stellt sicher, dass Sie nur dann in aufwaendigere Methoden investieren, wenn der Bedarf nachweisbar ist.
Haeufig gestellte Fragen
Ist Fine-Tuning fuer KMU mit kleinem Budget realistisch?
Ja, dank LoRA und API-basiertem Fine-Tuning (z.B. ueber OpenAI) sind die Einstiegskosten deutlich gesunken. Ein erstes Fine-Tuning-Projekt ist ab CHF 3'000 bis CHF 5'000 realisierbar. Allerdings sollten Sie vorher pruefen, ob In-Context Learning oder RAG Ihren Bedarf nicht bereits abdecken — das ist fuer die meisten KMU-Use-Cases der Fall.
Wie viele Trainingsdaten brauche ich fuer effektives Fine-Tuning?
Die Mindestmenge haengt vom Use Case ab. Fuer einfache Stilanpassungen genuegen oft 200 bis 500 Beispiele. Fuer komplexe Fachdomaenen (z.B. Medizin, Recht) benoetigen Sie 2'000 bis 10'000 Beispiele fuer gute Ergebnisse. Entscheidend ist die Qualitaet: 500 hochwertige Beispiele schlagen 5'000 mittlemaessige.
Kann ich Fine-Tuning rueckgaengig machen, wenn die Ergebnisse nicht stimmen?
Technisch ja — Sie koennen immer zum Basis-Modell zurueckkehren. Finanziell ist das Trainingsbudget allerdings verloren. Deshalb empfehlen wir, mit kleinen Fine-Tuning-Experimenten zu starten und die Ergebnisse gruendlich zu evaluieren, bevor Sie skalieren.
Welche Methode ist am besten fuer den Datenschutz nach nDSG geeignet?
RAG bietet die beste Kontrolle ueber Datenschutz, da Dokumente on-premise bleiben koennen und nur kleine Textauszuege an das LLM gesendet werden. In-Context Learning ist ebenfalls gut handhabbar, da Daten nur zur Laufzeit uebermittelt werden. Fine-Tuning ist am heikelsten, da Trainingsdaten dauerhaft verarbeitet werden. Bei allen drei Ansaetzen gilt: Personendaten sollten anonymisiert werden, und die Rechtsgrundlage muss geklaert sein.