Was ein KI-Agent darf, bevor er allein läuft — Tim x Jonas

Worum es in dieser Folge geht

Tim und ich haben unser Duo-Format weiterentwickelt. Neu ist der Einstieg mit der Frage, was uns zuletzt überrascht hat, danach kommen drei News, eine Zahl der Folge und eine Leitfrage. Die Leitfrage diesmal: Was muss im Unternehmen stehen, und zwar in jeglicher Hinsicht, bevor ein KI-Agent eigenständig arbeiten darf?

Tim hat sich in den letzten Tagen den Hals tätowieren lassen und war überrascht, wie wenig weh das tut. Mich hat überrascht, dass jemand mit KI Anwendungen von Adobe und Microsoft nachgebaut haben soll. Seitdem frage ich mich, ob ich das Anmelde-Setup für meine Events mit Backend und Bestätigungsmails nicht auch selbst per Vibe Coding bauen kann. Tims Antwort passt zur ganzen Folge: Das Toolset wird unwichtiger, das Verständnis wichtiger. Die Anekdote, die gerade auf LinkedIn kursiert, kennt man: Jemand ist stolz auf seine mit Claude gebaute Webseite und verschickt einen Link auf localhost:3000.

Drei News

Google gibt Agenten eine Identität

Gemini-Agenten im Workspace-Umfeld bekommen eine eigene Identität mit E-Mail-Adresse, Kalender, Drive und Speicher, dazu ein Gateway mit projektbezogenen Ausgabenlimits. Für mich kommt damit Governance in die Agentenwelt. Tim sieht das nüchterner.

Aber das ist ja so ein bisschen, als ob du einen Service-Account hast. Das ist ja der nächste Schritt.

Einem Service-Account gibt man genau die Rechte, die man auch einer Person geben würde, etwa damit ein Tool Daten in BigQuery schieben darf. Neu ist, dass dieser Account jetzt selbst handelt. Wozu ein Agent einen Kalender braucht, haben wir nicht abschließend geklärt. Als Audit-Trail, in dem man sieht, was er wann ausgeführt hat, könnte er Sinn ergeben. Wie es aussieht, wenn Agenten zu viel Freiraum haben, kennt man aus dem Kundenservice: Eine Rücksendeanfrage per KI-Mail bekommt in zehn Sekunden ein automatisches Nein, und es dauert drei Mails, bis ein Mensch antwortet.

Rossmann geht mit einer KI-Abfrageplattform live

Rossmann hat auf Databricks eine KI-gestützte Abfrageplattform live gestellt, mit der Mitarbeitende Geschäftszahlen abfragen können. Der erste produktive Einsatz ist die Logistik mit Tourenplanung, Warenbewegung und Filialversorgung. Einkauf, Marketing, Finanzen und Kategoriemanagement sollen folgen. Für mich zeigt das, wie ein Fundament, das über Jahre gebaut wurde, jetzt Früchte trägt.

Tim stellt dabei eine gewohnte Architektur infrage. Die Schichtung in Bronze, Silber und Gold braucht es aus seiner Sicht in vielen Fällen nicht mehr, weil sie im Kern nur die Daten richtig verknüpft. Das könnte künftig auch eine dünne Schicht mit Kontext über den Rohdaten leisten, in der ein Agent Aggregate selbst baut und nächtlich aktualisiert. Bei Datenmengen wie bei Rossmann und bei Fragen wie Row-Level-Security, also welche Außenstelle was sehen darf, bleibt er aber vorsichtig.

Die letzten 20 Jahre, die du in der Richtung arbeitest, wann waren Data-Teams gerade nicht Land unter?

Meinen Einwand, dass die Data-Teams für diesen Schritt zurück gerade keine Zeit haben, lässt er deshalb nicht gelten. Wer in diese Richtung will, muss einen harten Schnitt machen.

Zero Data Retention wird Enterprise-Thema

Die großen Modellanbieter bauen Optionen für Zero Data Retention und datenschutzkonforme Verarbeitung für Enterprise-Kunden aus. Die Nachfrage kommt stark aus Europa, aber mit dem California Act auch aus den USA. Ich glaube, dass als Nächstes Datenklassen und Datenrouting kommen: unterschiedliche Modelle für unterschiedliche Datenklassen. Tim wundert sich, warum es bei den großen Cloud- und KI-Anbietern keine europäischen Einheiten mit derselben Technik gibt. Bei unserem AI-Hub mit Microsoft Foundry im Hintergrund werden die Daten zwar in Europa verarbeitet. Sobald aber ein Modell eines US-Anbieters aufgerufen wird, geht die Anfrage wieder in die USA.

Die Zahl der Folge: 17 Prozent

Wir halten die Zahl beide für deutlich zu niedrig. In meinem Umfeld kam die erste CEO-Fraud-Attacke zwei Tage nach dem Start eines neuen Mitarbeiters. Dazu kamen in den letzten Wochen mehrere angebliche Headhunter-Mails an meine private und meine FALKE-Adresse, so gut gemacht, dass der Köder schmeckt. Verdächtig war vor allem, wie viel Kontext schon in der ersten Mail steckte.

Aus Gesprächen mit CDOs und CIOs im Mittelstand weiß ich, dass rund 40 Prozent der Angriffe über automatisierte Skripte laufen, während automatisierte Abwehr und Schwachstellenchecks vielerorts noch fehlen. Tim erinnert daran, dass viele alte Methoden weiter funktionieren. Bei FREE NOW hat er mit Data-Team, DevOps und IT-Security Angriffe über IP-Screening und das Blocken ganzer IP-Ranges abgewehrt, mit dem bekannten Nebeneffekt, dass dann auch jemand mit exotischem VPN kein Taxi mehr bestellen kann.

Die Leitfrage: Was muss stehen, bevor ein Agent allein arbeitet?

Erst die Berechtigung, dann der Agent

Meine These zum Einstieg: Agenten scheitern am Ende nicht am Modell, sondern an den Berechtigungen. Tim hat sie präzisiert.

Ich glaube, das Wichtigste ist wirklich, sich vorher Gedanken zu machen. Was sind denn die Berechtigungen? Was darf denn der Agent eigentlich? Wo ist denn die Spielwiese von dem Agenten?

Dazu gehört die Entscheidung, wo ein Human in the Loop freigeben muss und wo es reicht, wenn einmal am Tag jemand draufschaut.

Ein Agent ist ein Mitarbeiter mit Service-Account

Wenn ein Agent im Kern ein Service-Account ist, gehört er dann nicht ins Identitätsmanagement der IT statt in die KI-Abteilung? Tim sagt klar ja.

Ich meine, eigentlich musst du es genauso behandeln wie ein Mensch, der im Unternehmen arbeitet.

Sein Beispiel: Als VP Data durfte er alle Gehälter sehen, weil er zugleich die Personal-Analysen verantwortet hat. Sonst durfte das niemand. Genauso stellt sich bei Agenten die Frage nach System- und Datenzugriff. Darf der Agent in Confluence und Jira schreiben? Gerne. Soll er in Personio Urlaube freigeben? Vielleicht nicht. Am Ende braucht es eine Art Organigramm und ein Berechtigungsmodell für Agenten. Und weil KI inzwischen alle Abteilungen betrifft, reicht es nicht, ein KI-Team zu haben, das sich um alles kümmert.

Braucht es ein Fundament?

Ich habe nachgehakt: Rossmann hat über Jahre ein Fundament gebaut. Heißt das, ohne Fundament keine eigenständigen Agenten?

Nee, aber du brauchst ein Berechtigungskonzept. Du brauchst aber kein technisches Fundament.

Einig sind wir uns darin, dass das Datenmodell, das die Anforderungen der Fachbereiche abbildet, Menschen braucht, die zuhören und übersetzen. Die Grundlage, die ein Agent braucht, also Rechte und Spielwiese, kann man sich laut Tim aber mit anderen Agenten schnell aufbauen. Er kann sich kaum vorstellen, dass heute noch jemand ein Berechtigungskonzept schreibt, ohne es einmal mit Claude oder ChatGPT auf blinde Flecken prüfen zu lassen. Was eine eigene Frage aufwirft: Wie gut ist es, wenn wir Dinge freigeben, die uns die KI selbst vorschlägt?

Technisch, organisatorisch, kulturell

Ich habe versucht, die Anforderungen in drei Ebenen zu sortieren. Technisch braucht es nicht zwangsläufig eine bestimmte Infrastruktur, weil unterschiedliche Agenten unterschiedliche Probleme lösen. Was es braucht, ist ein Berechtigungsmodell und eine Logik, wie man Agenten einkauft und wo man sie organisatorisch aufhängt. Organisatorisch braucht es ein Verständnis davon, was man bauen will, mit wem und mit welcher Anforderung, also ein Organigramm und eine Strategie. Kulturell geht es darum, was ein Agent überhaupt tun darf, ob er jemandem Arbeit wegnimmt und wie Agenten und Menschen zusammenarbeiten. Quer über allem liegt das Budget.

Tim hat vorgeschlagen, das als Framework aufzuschreiben. Es erfordert eine Vogelperspektive, die vielen fehlt, nicht weil die Leute zu blöd wären, sondern weil das KI-Team irgendwo unter einem Head-of hängt, mit drei Ebenen darüber und 20 Abteilungen drumherum.

Jemand mit Mandat

Damit waren wir wieder bei unserer Rollendebatte um den Chief AI Officer. Laufen Agenten ohne jemanden, der das Thema durchdenkt? Sie werden wahrscheinlich funktionieren, sagt Tim, aber irgendwann läuft etwas schief, das niemand bedacht hat. Ob diese Person intern oder extern ist, ist zweitrangig. Sie braucht strategischen Weitblick, das Mandat und die Möglichkeit, es auszufüllen, sonst wird sie zum zahnlosen Tiger. Und sie braucht, da waren wir uns einig, wenig Ego, um nach zwei Wochen Projekt sagen zu können: schöne Idee, funktioniert so nicht, wir machen es anders.

Meine zugespitzte These: Wer in den nächsten zwei Jahren nicht die Rolle etabliert, in der Data und AI so weit oben wie möglich hängen und jemand strategischen Weitblick hat, wird nicht mehr erfolgreich sein. Tim sieht das genauso.

Die Wette

Zum Schluss haben wir auf die Zahl der Folge gewettet. Ich glaube nicht, dass 17 Prozent stimmen, und tippe auf über 80 Prozent. Tim geht mit und vermutet noch mehr, weil viele Angriffe schlicht nicht bemerkt werden. Spätestens wenn der Enkeltrick mit einer KI-Stimme funktioniert, wird KI-Kompetenz zur Grundbedingung. Sonst wächst die Schere zwischen denen, die KI verstehen und nutzen, und denen, die damit ausgenutzt werden.

Warum mich das besonders umtreibt

Beim Rollout unseres AI-Hubs merke ich jeden Tag, dass die spannenden Fragen nicht beim Modell liegen. Sie liegen bei Kosten, Zugriff und Verantwortung. Wer legt einen Agenten an, welche Rechte bekommt er, wie rahmt man ihn ein? Genau diese Fragen machen das Thema am Ende positiv, weil sie Vertrauen schaffen.

Unsere Empfehlung für den Moment ist deshalb eine organisatorische: Findet intern oder extern die Person, die das Thema strategisch verantwortet, und gebt ihr Mandat und Mittel. Und schreibt das Berechtigungskonzept, bevor der erste Agent allein läuft, nicht danach. Wie ist das bei euch: Liegen eure Agenten in der IT oder im KI-Team? Schreibt mir.