Die meisten KI-Projekte im Marketing scheitern nicht an der Technik — sie scheitern daran, dass niemand den ROI sauber misst. Die externen Zahlen dazu sind deutlich: Laut MIT NANDA („The GenAI Divide: State of AI in Business 2025", via Fortune) liefern 95 Prozent der Enterprise-GenAI-Piloten keinen messbaren P&L-Effekt — Kernproblem ist die Workflow-Integration, nicht die Modellqualität. Und Gartner prognostizierte bereits im Juli 2024, dass mindestens 30 Prozent der GenAI-Projekte nach dem Proof of Concept abgebrochen werden — wegen schlechter Datenqualität, unklarem Business Value und eskalierenden Kosten.
Aus dem Podcast klingt das noch direkter — Ales Zeman nach 25 Jahren Datenprodukt-Praxis: „Bei über 90 Prozent dieser Projekte, was die Firmen bei KI aufsetzen, die scheitern, die kommen nicht zum Ergebnis" (zur Folge). Und die Diagnose von Damian R. (Telefónica O2): Von 300 befragten Entscheidern glauben fast alle an die fundamentale Veränderung durch KI — „Wie viel Prozent haben davon eine Datenstrategie? 33 Prozent." (zur Folge)
Wer zu den 5 Prozent gehören will, braucht keine besseren Modelle, sondern ehrliche Messung: Baseline, Holdout, Incrementality. Genau das liefert dieser Artikel — plus drei Rechenbeispiele und die Wins und Fails aus den Podcast-Folgen.
Der Unterschied zwischen Attribution und Incrementality
Attribution: Welchem System/Modell wird eine Conversion zugerechnet? Antwort: „15 Prozent unserer Conversions gingen über die Recommendation-Engine."
Incrementality: Welche Conversions gäbe es ohne das System nicht? Antwort: „Ohne Recommendation-Engine hätten wir 8 Prozent weniger Conversions gehabt."
Die beiden Zahlen können stark abweichen. Eine Engine kann 15 Prozent Attribution haben, aber nur 3 Prozent Incrementality — weil die meisten Kunden die Produkte auch ohne Engine gefunden hätten.
Für ROI-Entscheidungen zählt nur Incrementality. Wer Attribution misst und als ROI verkauft, macht Selbstbetrug.
Das 3-Stufen-ROI-Framework
Stufe 1 — Zeiteinsparung. Die einfachste, direkt messbare ROI-Quelle. Wenn ein Tool einen Task von 2 Stunden auf 20 Minuten kürzt, ist das messbar:
- Anzahl Tasks pro Monat × eingesparte Zeit × interner Stundensatz = Monats-Einsparung
- Minus Lizenz- und Setup-Kosten
- Ergibt Netto-Zeitwert
Typische Gen-AI-Einsparungen liegen bei 30–80 Prozent je nach Task. Realistisch: Ein Marketing-Mitarbeiter gewinnt 4–10 Stunden pro Woche durch Gen-AI-Tools.
Stufe 2 — Conversion-Uplift. Messbar durch A/B-Tests oder Holdout-Gruppen. Beispiel:
- Holdout-Gruppe (10 Prozent der Nutzer) ohne Personalisierung
- Rest mit Personalisierung
- Conversion-Delta = Incrementality der Personalisierung
Stufe 3 — Strategischer Wert. Schwer messbar, oft missbraucht. „KI-Kompetenz aufbauen" ist selten ausreichend als ROI-Argument. Konkreter: Welche strategische Entscheidung fällt mit KI leichter?
Das Holdout-Test-Design
Die robusteste Incrementality-Messung.
Setup:
- Zufallsstichprobe von z. B. 10 Prozent der Nutzer → Holdout-Gruppe
- Rest (90 Prozent) → Treatment-Gruppe mit KI-Anwendung
- Laufzeit: mindestens ein Business-Zyklus
- Vergleichsmetrik: Conversion-Rate / Umsatz / Retention
Statistische Signifikanz: Je kleiner der erwartete Effekt, desto größer die nötige Stichprobe. Bei 1-Prozent-Uplift brauchst du deutlich mehr Daten als bei 10 Prozent.
Fallen:
- Netzwerk-Effekte zwischen Gruppen (z. B. Word-of-Mouth)
- Saisonalität nicht berücksichtigen
- Holdout-Gruppe zu klein (Konfidenz-Intervall unbrauchbar)
Geo-Experimente als Alternative
Wenn Holdouts nicht möglich sind (z. B. bei großflächigen Kampagnen), funktionieren Geo-Experimente:
- Zwei vergleichbare Regionen identifizieren
- Eine bekommt das KI-System, eine nicht
- Over-time Vergleich der Business-KPIs
Nachteil: Regionen sind nie perfekt vergleichbar. Matched-Market-Tests mit statistischer Gewichtung helfen.
Marketing Mix Modeling als Reinforcement
Für strategische Fragen (Budget-Verteilung über Kanäle inkl. KI-Kanäle) ist MMM (Marketing Mix Modeling) wertvoll. Es ist independent von Cookies, arbeitet auf aggregierten Daten und isoliert die Beiträge einzelner Kanäle.
MMM plus Incrementality-Tests gibt ein robustes Bild:
- MMM: relative Beiträge über langen Zeithorizont
- Incrementality: Validierung der MMM-Schätzungen
Drei Rechenbeispiele: Personalisierung, Content, Churn
Die Logik ist immer dieselbe — inkrementeller Wertbeitrag gegen Vollkosten — aber die Zahlen unterscheiden sich je Use Case. Drei durchgerechnete Beispiele mit konservativen Annahmen aus den Benchmark-Bändern weiter unten:
Beispiel 1 — KI-Personalisierung (E-Commerce, 20 Mio. € Online-Umsatz). Holdout-gemessener Conversion-Uplift: 4 % auf die personalisierten Strecken, die 50 % des Umsatzes berühren → 400.000 € inkrementeller Umsatz, bei 35 % Marge 140.000 € Wertbeitrag. Vollkosten: 60.000 € Lizenz + 40.000 € Implementierung/Betrieb = 100.000 €. ROI Jahr 1: +40 % — ab Jahr 2 (ohne Implementierungskosten) deutlich höher. Zum Vergleich die Vendor-Seite: Movable Ink zitiert eine eigene Forrester-TEI-Studie mit „373 Prozent ROI nach 90 Tagen" (zur Folge) — solche Zahlen sind Vendor-Angaben, dein Holdout ist die Wahrheit.
Beispiel 2 — Content-Automatisierung (Rechercheprozess). Der Statista-Fall aus dem Podcast: Was „früher 800 Werkstudenten gemacht haben, die das nachgegoogelt haben, macht jetzt die Perplexity API" (zur Folge). Die Rechnung läuft über Stufe 1 (Zeiteinsparung): eingesparte Arbeitsstunden × Vollkostensatz, dagegen API- und Verifikations-Kosten — wichtig ist die Verifikationsschleife, denn ungeprüfte KI-Recherche ist kein Wertbeitrag, sondern Risiko. Kleinerer Maßstab, gleiche Logik bei BASF: Reporting-Kommentare, für die Controlling-Kollegen nur 16 Stunden Zeit hatten und Überstunden schoben, schreibt GenAI vor (zur Folge).
Beispiel 3 — Churn-Prediction (Subscription, 100.000 Kunden). Modell identifiziert Top-10 %-Churn-Risiko; Retention-Maßnahme rettet davon (Holdout-gemessen) 1,5 Prozentpunkte → 150 Kunden/Monat × 240 € Jahres-CLV-Beitrag ≈ 430.000 € p. a. Kosten: Data-Science-Kapazität + Kampagnenkosten ≈ 150.000 €. ROI ≈ 2,9:1 — im unteren Bereich des Benchmark-Bands (5:1–20:1), weil konservativ gerechnet. Wie du den CLV dafür sauber ansetzt, steht im CLV-Leitfaden.
Wins & Fails aus dem Podcast
Die Wins — immer mit Preisschild:
- Siemens Energy, Procurement Cockpit: ein manueller Prozess von „20 Stunden pro Woche" läuft „innerhalb von zwei Minuten" — „mit diesen Kennzahlen können wir ein gewisses Preisschild an unsere Use Cases bringen" (zur Folge). Das ist Stufe-1-ROI in Reinform: Zeiteinsparung, sauber beziffert.
- Tealium, Media Exclusion: Bestandskunden aus Paid-Kampagnen ausschließen — „der Invest einer CDP rentiert sich oft allein an dieser Kategorie an Use Cases" (zur Folge).
- KI.NRW-Praxisbeleg: ein produktives Multi-Agenten-System in der Kfz-Schadensbearbeitung — komplette Prozessabwicklung im operativen Betrieb, nicht im Labor (zur Folge).
Die Fails — immer ohne Messplan:
- Der Placebo-Copilot: „Wir haben jetzt allen einen Copilot gegeben, aber keiner weiß, wofür er den braucht" — gefühlte statt gemessener Mehrwerte (Dr. Christian Temath, KI.NRW).
- Kein Geschäftszweck: „Wenn man den Geschäftszweck nicht vorher bestimmt hat, scheitern die Projekte. Die kriegen keine Unterstützung, keine Ergebnisse, keinen ROI." (Ales Zeman)
- ROI-Druck ist real: „Ich muss auch einen entsprechenden ROI liefern, da kannst du dir ganz sicher sein" — Florian J. von freenet über den Erwartungsdruck auf Data-Science-Teams (zur Folge).
Der vergessene Business Case: Warum Jahr 2 entscheidet
Ein Muster, das ich im Podcast-Gespräch mit Tealium beschrieben habe und das in keinem ROI-Lehrbuch steht: „Du investierst 100.000, 200.000 Euro jährlich an CDP-Kosten. Du sparst im ersten Jahr 20 Prozent deiner Marketingkosten ein — und der Case ist ab Jahr zwei vergessen im Management." (zur Folge)
Der Effekt: Die Einsparung wird zur neuen Baseline, die Kosten bleiben sichtbar — und in der nächsten Budgetrunde steht das KI-Investment wieder zur Diskussion, obwohl es sich längst rechnet. Die Gegenmaßnahme gehört in dein Report-Template (unten): den einmal gemessenen inkrementellen Effekt jährlich fortschreiben und dem Management als kumulierten Wertbeitrag zeigen — nicht nur den Delta des laufenden Jahres.
Typische KI-Investment-Buckets
Setup-Kosten:
- Tool-Lizenzen (einmalig oder laufend)
- Implementierungs-Aufwand (interne Zeit + ggf. externe Agentur)
- Daten-Aufbereitung (oft unterschätzt)
Laufende Kosten:
- Lizenzen / API-Calls
- Rechenzeit (bei Self-Hosted)
- Pflege und Retraining (typisch 20 Prozent einer FTE für relevante Modelle)
- Monitoring und Debugging
Versteckte Kosten:
- Lernkurve der Nutzer (erste 3 Monate oft -30 Prozent Produktivität)
- Compliance-Aufwand (EU AI Act)
- Legal-Reviews
Realistische Benchmarks
Content-Produktion (Gen-AI):
- ROI oft 3:1 bis 10:1 bei hohem Volumen
- Breakeven typisch nach 3–6 Monaten
Personalisierung:
- Incrementality 3–12 Prozent Conversion-Uplift
- ROI 2:1 bis 5:1 in E-Commerce
Predictive Analytics (Churn):
- ROI 5:1 bis 20:1 bei Subscription-Geschäften mit hohem CAC
- Breakeven nach 6–12 Monaten
Chatbots/Agents:
- ROI oft negativ in ersten 12 Monaten
- Nach Skalierung 2:1 bis 4:1
Die Zahlen sind Indikatoren, keine Garantien. Jedes Unternehmen muss für sich messen.
Häufige ROI-Fehler
Fehler 1 — Attribution als ROI. Siehe oben. Der häufigste Fehler.
Fehler 2 — Keine Baseline. Wenn du nicht weißt, was ohne KI passiert wäre, kannst du keinen Uplift messen.
Fehler 3 — Zu kurze Beobachtungszeit. 2 Wochen sind zu kurz, 3 Monate meist genug.
Fehler 4 — Versteckte Kosten ignorieren. Lizenz + Setup gerechnet, laufende Pflege vergessen.
Fehler 5 — Lernkurve nicht einkalkulieren. Die ersten Monate sind weniger produktiv. Das gehört ins ROI-Modell.
Fehler 6 — Zu globale Betrachtung. „KI-Einsatz insgesamt" ist schwer zu messen. Pro Use-Case und Tool messen.
Das ROI-Report-Template
Ein seriöser KI-ROI-Report enthält:
- Use-Case-Definition. Was genau wurde eingesetzt?
- Baseline. Was war vorher? Welche Metrik, welche Zahlen?
- Intervention. Was wurde geändert? Über welchen Zeitraum?
- Messmethode. Holdout? Attribution? MMM? Mit welcher Stichprobengröße?
- Ergebnisse. Konkrete Zahlen, nicht Marketing-Claims.
- Kosten. Einmalig + laufend.
- ROI. Ergebnis-Delta durch Kosten, über welchen Zeitraum.
- Annahmen und Limitationen. Was ist unsicher, was nicht robust?
Reports, die diese Punkte nicht haben, sind keine seriösen ROI-Reports.
Verbindungen: Alle Use-Case-Cluster in diesem Pillar — Gen-AI, Predictive, Personalisierung, Agenten — produzieren die Daten, die hier gemessen werden.
Die große Einordnung — wer in der KI-Ära gewinnt und wer verliert, mit den NANDA- und Gartner-Zahlen auf der Bühne statt im Report — ist übrigens der Kern meiner Keynote „Beyond the AI Hype". Für die Methodik daneben: Generative-AI-Use-Cases und Predictive Analytics.