Zwischenfazit und Vision: neun Monate später

Montagabend, ein Telefonat, das zehn Minuten dauern sollte und anderthalb Stunden wurde. Ein früherer Kollege, Backend-Entwickler, wollte wissen, ob „dieses KI-Zeug“ bei mir wirklich trägt oder ob ich nur höflich begeistert bin. Er stellte genau die Fragen, die ich selbst im Oktober gestellt hätte: Was ist dran, jenseits der Demos? Lohnt sich der Einstieg, oder wartet man besser noch eine Modellgeneration ab? Und irgendwann, mitten in einer Antwort, habe ich mich selbst gehört – keine Superlative, keine „das verändert alles“-Rhetorik, sondern die nüchterne Art, in der man einem Kollegen von einem Werkzeug berichtet, das sich im Alltag bewährt hat. Es war die Tonlage, mit der diese Serie begann – nur saß ich diesmal auf der anderen Seite des Gesprächs.

Teil 13 der Serie „Von der Session zum System“ – hier geht es zum Auftakt.

Neun Monate liegen zwischen diesen beiden Gesprächen. Der Auftakt endete mit einem Vorsatz: der eigenen Begeisterung erst einmal misstrauen, genau hinschauen und jedes Ergebnis an über dreißig Jahren Handwerk messen. Die letzte Folge hat angekündigt, diesen Vorsatz jetzt beim Wort zu nehmen. Also: Was von den Erwartungen ist eingetreten, was nicht, was bleibt offen – und wohin führt das alles?

Die Begeisterung hat die Prüfung überstanden – knapp

Das Wichtigste zuerst, weil alles andere darauf aufbaut: Aus den paar Tagen Probe im Oktober ist Alltag geworden, und zwar der unspektakulärste Beleg, den ich anbieten kann. Ich denke über diese Werkzeuge nicht mehr nach, so wenig wie über den Editor oder die Versionsverwaltung. Sie sind Infrastruktur. Ein Strohfeuer sieht anders aus – Strohfeuer erkennt man daran, dass man nach drei Monaten wieder davon erzählt statt damit zu arbeiten.

Trotzdem wäre es zu billig, die eigene Wahrnehmung einfach zur Bilanz zu erklären. Im Juli 2025 hat das amerikanische Forschungsinstitut METR – eine gemeinnützige Organisation, die die Fähigkeiten von KI-Systemen mit kontrollierten Experimenten vermisst – eine Studie veröffentlicht, die mich mehr beschäftigt hat als jede Benchmark: Erfahrene Open-Source-Entwickler waren mit KI-Unterstützung in randomisierten Aufgaben messbar langsamer – um rund ein Fünftel – und schätzten hinterher trotzdem, deutlich schneller gewesen zu sein. Genau die Wahrnehmung, auf die ich mich neun Monate verlassen habe, kann also systematisch täuschen. Das nehme ich ernst, denn es ist dieselbe Warnung, die ich mir im Auftakt selbst gegeben habe: Frische Begeisterung ist ein schlechter Zeuge.

Ich habe deshalb versucht, an Dingen zu messen, die sich nicht schönreden lassen. Was ist abends tatsächlich fertig? Welche der liegen gebliebenen Vorhaben sind heute in Betrieb? Wie oft habe ich in Reviews Fehler gefunden, die ohne die Verschiebung zum Prüfen durchgerutscht wären? Nach diesem Maßstab fällt die Bilanz positiv aus – deutlich positiv sogar. Aber die Studie bleibt als Stachel stecken, und das soll sie auch: Sie misst Aufgaben, die den Entwicklern vertraut waren, in Code, den sie gut kannten. Mein größter Gewinn liegt woanders – bei den Vorhaben, die ohne diese Werkzeuge gar nicht erst angefangen worden wären. Das ist keine Widerlegung der Studie, es ist eine andere Rechnung. Beide können gleichzeitig stimmen.

Was eingetreten ist

Der Auftakt hielt drei Beobachtungen fest. Alle drei haben die neun Monate überlebt, aber keine ist geblieben, wie sie war.

Die erste – Erzeugen wird billig, Prüfen wird der Engpass – hat sich als die tragende Beobachtung der ganzen Serie erwiesen. Rückblickend ist fast jede Folge eine Antwort auf diese eine Verschiebung: der Harness organisiert das Prüfen um das Modell herum, die Hausregeln verteidigen es gegen die eigene Bequemlichkeit, Grounding verankert es in echten Quellen, und Regeln im Pfad machen es unabhängig von der Tagesform des Prüfenden. Was ich im November noch nicht sah: Der Engpass wandert weiter. Erst war das Prüfen knapp, dann das saubere Aufschreiben dessen, was gelten soll – inzwischen ist es das Entscheiden, was überhaupt gebaut wird. Die Stunde Gestaltung, um die sich früher zwanzig Stunden Fleißarbeit drängten, ist jetzt der Flaschenhals eines ganzen Tages Maschinenarbeit.

Die zweite Beobachtung – die Schubladen gehen wieder auf – ist eingetreten, mit einer Einschränkung, die ich damals nicht kommen sah. Einiges von dem, was jahrelang liegen geblieben war, ist heute in Betrieb: kleiner als die ursprüngliche Idee, und das ist keine Niederlage, sondern ein Befund. Denn was die Werkzeuge nicht liefern, ist ein Urteil darüber, welche der alten Ideen es wert waren. Zwei Vorhaben habe ich nach wenigen Wochen wieder eingestellt – schneller gescheitert, als es früher möglich gewesen wäre, und genau das ist der unterschätzte Gewinn: Billige Umsetzung macht auch das Verwerfen billig. Die Müdigkeit, von der der Auftakt sprach, ist übrigens nicht zurückgekommen. Das ist, neun Monate später, der Teil der Bilanz, der mir persönlich am meisten bedeutet.

Die dritte Beobachtung – der Ton stimmt immer, auch wenn der Inhalt nicht stimmt – war im November ein Bauchgefühl mit einem augenzwinkernden Kürzel. Daraus ist eine strukturelle Erklärung geworden und dann ein Verfahren. Das Misstrauen ist geblieben, aber es ist umgezogen: von meiner privaten Wachsamkeit in Prüfschritte, die nicht davon abhängen, ob ich einen guten Tag habe. Das ist vielleicht die kompakteste Zusammenfassung dessen, was diese neun Monate mit meiner Arbeitsweise gemacht haben – Sorgfalt wurde von einer Tugend zu einer Eigenschaft des Aufbaus.

Was ich falsch erwartet hatte

Eine Bilanz, die nur Treffer aufzählt, ist Werbung. Zwei Erwartungen haben sich nicht gehalten.

Die teuerste Fehleinschätzung: dass Aufschreiben reicht. Ich habe Monate in immer bessere Instruktionsdateien gesteckt, ehe ich die Chronik dieser Versuche ehrlich gezogen habe – aufgeschriebene Regeln bleiben Empfehlungen, egal wie gut sie formuliert sind. Aus dieser Ernüchterung ist die wichtigste Erkenntnis der Serie geworden: Regeln, die gelten sollen, brauchen einen Pfad, der sie durchsetzt – Prüfung vor Wirkung, Freigaben, Nachweise. Wenn ich einen einzigen Satz aus neun Monaten mitnehmen dürfte, wäre es dieser.

Die zweite Fehleinschätzung ist angenehmer: Ich hatte erwartet, dass die Modellwahl mit der Zeit wichtiger wird – dass sich irgendwann ein Modell absetzt und die Frage „welches?“ doch noch zur Strategiefrage wird. Das Gegenteil ist passiert. Die Modelle sind in diesen neun Monaten mehrfach besser geworden, und mit jedem Sprung wurde die Wahl unwichtiger, nicht wichtiger. Ich habe mehrfach gewechselt; die Arbeitsweise hat es kaum bemerkt. Was sich dagegen jedes Mal bemerkbar macht: eine schlecht geschnittene Aufgabe, ein fehlendes Stück Kontext, eine Regel, die nur in Prosa existiert. Der eigene Anteil dominiert das Ergebnis – das war als These früh da und ist inzwischen gelebter Alltag.

Was offen bleibt

Drei Fragen trage ich unbeantwortet über die Ziellinie dieses Zwischenfazits.

Die Junior-Frage. Im Auftakt stand ein Verdacht: Der Hebel wirkt, weil drei Jahrzehnte Urteilsfähigkeit dahinterstehen – und ob er für jemanden ohne dieses Fundament genauso wirkt, wisse ich nicht. Neun Monate später weiß ich es immer noch nicht, und die kritische Folge hat den Verdacht eher geschärft als entkräftet: Wer funktionierenden Code bekommt, bevor der Schmerz einsetzt, aus dem Verständnis entsteht, baut womöglich nie die Substanz auf, von der das Prüfen zehrt. Verdacht ist weiterhin kein Wissen. Aber er ist inzwischen die Frage, die ich für die wichtigste der Branche halte – wichtiger als jede Modellfrage.

Die Homogenisierung. Dass Teams, die dasselbe Modell fragen, ähnlichere Lösungen bauen, habe ich seit der einen Beobachtung vom Februar mehrfach wiedererkannt, aber nie gemessen. Es bleibt eine Sorge ohne Beleg, und ich lasse sie bewusst so stehen, statt sie zur These aufzublasen.

Das Verlernen des eigenen Handwerks. Die Hausregeln aus dem Februar halten ungefähr so gut wie Neujahrsvorsätze: besser als nichts, schlechter als behauptet. Der bewusste Lauf ohne KI findet statt, aber seltener, als ich ihn eingeplant hatte. Der Sog der bequemen Variante ist real, jeden Tag, und wer etwas anderes erzählt, hat es entweder nicht probiert oder beschönigt. Genau diese Erfahrung hat mich für die zweite Serienhälfte skeptisch gegenüber allem gemacht, was auf Disziplin baut – und empfänglich für alles, was Sorgfalt in den Aufbau verlegt.

Der Bogen, im Rückblick

Der Dreiklang Ich, Wir, System stand als Absicht schon im Auftakt. Was ich nicht geplant hatte, ist die Mechanik, die sich beim Schreiben zeigte: Jede Ebene erbt das ungelöste Problem der vorherigen. Die Disziplin des Einzelnen skaliert nicht aufs Team, also schreibt das Team seine Regeln auf; aufgeschriebene Regeln binden niemanden, also braucht es Wissen mit Besitzern und einen Ort, der die Session überlebt; kuratiertes Wissen beantwortet noch keine Verbindlichkeitsfrage, also wandern die harten Regeln in den Pfad eines eigenen Agenten; und damit das kein Reißbrett-Entwurf bleibt, braucht es Konzepte, Methoden und Prozesse, die den Anfang klein halten.

flowchart LR
    subgraph AKT1["Akt 1 · Ich"]
        S["Session<br/>Erzeugen wird billig"] --> P["Arbeitsweise<br/>Prüfen wird der Engpass"]
    end
    subgraph AKT2["Akt 2 · Wir"]
        P --> V["Team-Varianz<br/>Disziplin skaliert nicht"] --> D["Instruktionsdateien<br/>Empfehlung statt Regel"]
    end
    subgraph AKT3["Akt 3 · System"]
        D --> W["Kuratiertes Wissen<br/>mit Besitzern"] --> R["Regeln im Pfad<br/>Agent pro Fachdomäne"]
    end

Der Satz, der diesen Bogen zusammenhält, fiel in der Folge über kuratiertes Wissen, und er trägt auch die Vision: Nicht das Modell wird schlauer – die Organisation kuratiert ihr Wissen.

Vision, vorsichtig formuliert

Visionen sind in dieser Branche billig zu haben, deshalb formuliere ich lieber Erwartungen, an denen man mich in einem Jahr messen kann:

• Die Modelle werden weiter besser und dabei austauschbarer. Der knappe Faktor ist keines von beiden, sondern das, was Organisationen selbst beisteuern müssen: kuratiertes Wissen, durchsetzbare Regeln, sauber geschnittene Fachdomänen. Der Vorsprung verschiebt sich von „wir setzen KI ein“ – das sagt bald niemand mehr, so wie niemand mehr sagt „wir setzen Datenbanken ein“ – zu „unsere Fachdomäne ist maschinenverwendbar, und unsere Regeln gelten auch dann, wenn niemand hinschaut“.
• Kleine Besetzungen bauen Produkte, für die früher mittlere Teams nötig waren. Das erlebe ich selbst und halte es für den Anfang, nicht den Ausnahmefall. Der Hebel wirkt aber weiter über Erfahrung – und damit wird die offene Junior-Frage zur Personalfrage: Woher kommt die Urteilsfähigkeit der nächsten Generation, wenn die Fleißarbeit wegfällt, an der die heutige sie erworben hat? Wer darauf eine belastbare Antwort findet, hat etwas Wertvolleres gefunden als jedes Modell.
• Und für meinen eigenen Tisch: Der erste Fachdomänen-Agent, der lange genug im Betrieb ist, dass seine Ablehnungsprotokolle Geschichten erzählen – richtige Neins, zu enge Neins, Sonderfälle, die ein eigenes Verb verdienen. Erst dann zeigt sich, ob der Kreislauf aus der letzten Folge trägt oder nur gut klingt.

Was in dieser Liste fehlt, fehlt mit Absicht: keine Prognose über Modellfähigkeiten, keine Jahreszahl für irgendeine Superlative. Über beides habe ich keine Urteilsgrundlage, und neun Monate haben mir vor allem beigebracht, wie schnell solche Prognosen altern.

Zwischenfazit, kein Schlusswort

Diese Serie pausiert hier, und zwar aus einem einfachen Grund: Der Vorrat an ehrlichen Beobachtungen ist aufgebraucht. Was jetzt käme, wäre Extrapolation, und davon gibt es genug. Ein Zwischenfazit ist genau das – ein Stand, kein Urteil. Wenn wieder genug Neues beisammen ist, wenn der erste Agent lange genug gelaufen ist und seine Neins etwas erzählen, schreibe ich weiter.

Dem Kollegen vom Montagabend habe ich übrigens nicht geraten, sofort einzusteigen. Ich habe ihm geraten, was mir selbst geholfen hat: ein paar Tage an echten Aufgaben probieren, der eigenen Begeisterung misstrauen, jedes Ergebnis am eigenen Handwerk messen. Mehr braucht es am Anfang nicht – der Rest ergibt sich aus dem, was man dabei beobachtet. Genau so hat diese Serie angefangen. Neun Monate später kann ich ergänzen: Das Hinschauen lohnt sich, und es hört nicht auf.

Weiterführende Quellen

• Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity (METR, Juli 2025) – die Studie, die gemessene Verlangsamung und gefühlte Beschleunigung nebeneinanderlegt
• The Anthropic Economic Index – laufende Datenerhebung dazu, wofür KI in der Wirtschaft tatsächlich eingesetzt wird
• Things we learned about LLMs in 2024 (Simon Willison) – nüchterner Jahresrückblick als Gegenmittel zu Prognosen-Prosa

Wie fandest du diesen Beitrag?

Kommentare