Zum Inhalt springen
Bernhard GötzendorferAutomatisierung mit KI, die allein läuft · Wien
GemessenHinter den Kulissen

Tiefer statt größer: ein Prompt im Planungs-Skill, gemessen

Felix Riesebergs Depth-Prompt steckt seit 19.10. im Planungs-Skill. 43 alte Überraschungen: alter Ablauf 0 Treffer, Panel 11. Und was er nicht kann.

TL;DR

Felix Rieseberg arbeitet bei Anthropic an Claude. Mitte Oktober hat er einen Prompt veröffentlicht: vier Fragen, danach soll das Modell die Aufgabe tiefer statt größer neu fassen. Ich hab ihn nicht als Slash-Command eingebaut, sondern in den Planungsschritt meines Session Orchestrators. Vorher hab ich gemessen: drei alte Pläne, 43 Dinge, die erst später aufgetaucht sind. Der alte Ablauf sah davon 0 kommen, der neue Brief 7. Zusammen mit einem Brief, der den Plan widerlegen soll, waren es 11. Was der Prompt nicht kann, steht weiter unten. Und ehrlich gesagt: Eine Woche lang lief der eingebaute Schritt gar nicht, und den ersten echten Lauf hab ich von Hand angestoßen.

Der Prompt, und was auf Hacker News dazu kam

Am 13. Oktober erschien Felix Riesebergs Text How to be more ambitious: A tutorial for humans with models. Er unterscheidet vier Arten von Ehrgeiz. Speed ist die offensichtliche: schneller fertig. Altitude ist das Ziel hinter dem Ziel. Depth heißt, so zu arbeiten wie jemand, der in seinem Feld vorne ist, mit einem Richter von außen. Range holt Methoden aus anderen Fächern.

Für Depth gibt er einen Prompt mit. Ich zitiere ihn im Original:

"I want a deeper version of this task, not a bigger one. Before rewriting it: (1) say what a top professional in this field would do here that I'm not asking for; (2) name the rawest material they would start from instead of what has already been digested for me; (3) name the specific methods and tools they would use; (4) say what, other than you or me, would show the result is right. Then rewrite my prompt to ask for exactly that."

Der Kern steckt in der vierten Frage. Dazu gleich mehr.

Auf Hacker News kam der Text auf 30 Punkte und 6 Kommentare (Stand 26. Oktober). Die Einwände nehme ich als faire Fragen. Liest sich das nicht wie Werbung für Claude? Wo ist der Beleg, dass ehrgeizigere Prompts besser arbeiten? Und einer schrieb sinngemäß: Je ehrgeiziger er wird, desto weniger hält sich Claude an den Plan. Den letzten Einwand halte ich für den wichtigsten. Darum gibt es weiter unten einen Bypass.

Warum ich ihn nicht als Slash-Command eingebaut habe

Auf GitHub hab ich sieben andere Skills gefunden, die denselben Prompt verpacken. Fünf davon legen ihn einfach hinter einen Befehl: sharpen in pstack, deeper von sammcj, be-ambitious von DannyMac180, better in openagents und better-prompt von davidondrej. Zwei gehen weiter und bauen eine Ausnahme für kleine Aufgaben und eine Prüfung dazu: ambitious-model-use von sammcj und ambition-calibrator, der vom Autor eines Reddit-Posts stammt. Das funktioniert alles. Gemessen wird dabei nichts.

Bei mir sitzt der Prompt dort, wo eine Aufgabe entsteht. Der Session Orchestrator ist mein Open-Source-Plugin für Claude Code. Sein Planungsschritt /plan schickt seit dem 19. Oktober in Phase 4.5 zwei Briefs über einen fertigen Plan. Brief A heißt „Refute“ und versucht, den Plan zu brechen. Brief B heißt „Deepen“ und ist Felix' Prompt, angewendet auf den Plan.

Zwei Briefs statt einem, weil sie verschiedene Fehler finden. Refute traf vor allem Sicherheit und Struktur. Deepen traf fehlende Orakel, also Stellen ohne Prüfung von außen: ein „Messung fehlgeschlagen“, das als „behoben“ durchgegangen wäre, oder ein Lebenszyklus, der nie gelaufen ist.

Die Messung: drei alte Pläne gegen ihre eigene Zukunft

Bevor ich etwas in den Planungsschritt merge, will ich wissen, ob es dort etwas taugt. Das Rezept lässt sich nachbauen. Ich nehme drei alte PRDs, also Produktpläne, und klone ihre Repos mit abgeschnittener Historie. Im Klon gibt es keinen Commit nach dem PRD. Dann wird bewertet: der PRD so, wie er damals ausgeliefert wurde, und derselbe PRD mit jedem Brief.

Die richtige Antwort liefert die Zukunft der Pläne. Aus der späteren Git-Historie und den Issues hab ich 43 Überraschungen gesammelt, also Dinge, die erst nach dem Plan aufgetaucht sind. Ein blinder Bewerter, selbst ein Claude-Modell, hat jede Planfassung dagegen gelesen, und welche Fassung X und welche Y hieß, wurde zufällig zugeteilt.

FassungTreffer von 43
Originaler PRD-Ablauf0
Refute8
Deepen7
Refute und Deepen zusammen11

11 von 43 ist kein Durchmarsch. Aber der Ausgangspunkt war 0, und die 11 sind Dinge, die der alte Ablauf nicht kommen sah. Halb getroffen hatte er immerhin 15.

Zwei Befunde fielen nebenbei an. In 3 von 3 PRDs hatte die echte Abnahme nie stattgefunden. Und 0 von 9 PRDs im ganzen Korpus hatten einen Abschnitt zu Erfolg oder Kennzahlen.

Drei Pläne sind wenig. Wer an drei Plänen feilt, passt sich leicht genau an diese drei an. Darum hab ich einen vierten Plan zurückgehalten und erst am Schluss geprüft. Dort gab es 15 Überraschungen: Refute traf 7, Deepen 3, beide zusammen 9.

Eine Sache traf keiner der Briefs. Der vierte Plan hat seine Zeitbox um mehr als das Vierfache gerissen. Das vorherzusagen ist schwer, also hab ich es nicht als Vorhersage gelöst, sondern als Struktur. Die Planvorlage hat jetzt eine Zeile „First Real Use / Kill“: wann der erste echte Einsatz ist und ab wann ich aufhöre.

Der Satz, der alles trägt: was außer dir und mir zeigt, dass es stimmt

Die vierte Frage ist die billigste Zeile im ganzen Prompt. Seit dem 19. Oktober verlangt der Planungsschritt für jedes Akzeptanzkriterium eine Zeile Oracle:. Dort steht, was außer dem Autor zeigt, dass es stimmt. Der eigene Unit-Test gegen ein Fake zählt nicht, weil er nur prüft, was der Autor ohnehin glaubt.

Dazu kommen zwei getrennte Zustände, „implementiert“ und „abgenommen“. Die drei PRDs aus dem Back-Test waren implementiert und nie abgenommen. Lässt sich eine Abnahme nicht in der Session selbst durchführen, wird sie ein eigenes Issue, statt still liegen zu bleiben.

Ein Beispiel aus dem zurückgehaltenen Plan: Die Prozessnummer in einer Registry gehörte einem Hook-Prozess, der zu dem Zeitpunkt schon tot war. Ein Test gegen ein Fake hätte das nie gezeigt. Gesehen hat es nur der Deepen-Brief, weil er gefragt hat, woran man von außen erkennt, dass der Eintrag stimmt.

Wer meinen Text über Loop Engineering kennt, findet hier dieselbe Frage, nur am Anfang statt am Ende. Und Mein Orchestrator zählt nur noch, was wirklich lief zeigt, was passiert, wenn ein Test nie startet und trotzdem grün meldet.

Was der Prompt nicht kann

Er weitet Aufgaben, wenn man ihn lässt. Der Einwand von Hacker News trifft genau das. Darum gilt bei mir: Tiefer heißt gleicher Umfang. Für einzelne Aufgaben gibt es seit dem 26. Oktober zusätzlich /deepen, die Kurzform des Deepen-Briefs. Steht im Auftrag ein Deckelwort wie „nur“ oder „schnell“, oder geht es um eine Änderung in einem Schritt, schreibt /deepen nichts um. Die Idee hab ich mir beim ambition-calibrator angeschaut. Der lässt kleine Aufgaben durch und fragt nach, wenn das Umschreiben Umfang oder Kosten ändert.

Er ist auch kein Richter. Frage 4 verlangt einen Richter von außen, sie ersetzt ihn nicht. Wo es keinen gibt, steht am Ergebnis „ungeprüft“ und nicht „sieht gut aus“.

Gemessen ist außerdem nur ein Teil. Der Back-Test zeigt, dass der Planungsschritt mehr spätere Überraschungen vorhersieht. Ob tiefere Aufgaben am Ende bessere Software ergeben, hab ich nicht gemessen. Das wäre die Antwort auf die zweite Frage von Hacker News, und die bleibe ich schuldig.

Und das Unangenehme: Am 26. Oktober hab ich im Protokoll der Skill-Aufrufe nachgesehen. Seit dem Merge gab es 0 Aufrufe von /plan. Der Schritt war gebaut, aber nicht eingeschaltet, also genau das Muster aus Gebaut, aber nicht eingeschaltet.

Noch am selben Tag lief er zum ersten Mal echt. Geprüft hat er den Plan für ein neues Feature des Orchestrators, bevor eine Zeile davon gebaut war. Beide Briefs brachten je 20 Vorhersagen. Übernommen wurde nur, was sich im Code nachprüfen ließ: von Refute 11, von Deepen 10, zusammen 14 verschiedene. Drei Annahmen aus dem Issue selbst hielten nicht. Einen Fehler fand nur Deepen: Nach einer Pause hätte eine neue Session das Ziel der alten als ihr eigenes übernommen.

Mit dem Back-Test vergleichen lassen sich diese Zahlen nicht. Dort gab es eine Zukunft, gegen die gewertet wurde, hier nur die Nachprüfung im Code. Und angestoßen war der Lauf von Hand, nicht über /plan. Am 29. Oktober stehen im Protokoll weiter 0 Aufrufe. Eingeschaltet ist der Schritt erst, wenn er ohne mich läuft.

Was ich daraus mitnehme

  1. Ein Prompt ist ein Werkzeug, kein Mantra. Erst der Back-Test, dann der Einbau.
  2. Zwei verschiedene Fragestellungen schlagen eine doppelt so lange. Refute und Deepen finden andere Dinge.
  3. Die Frage nach dem Richter von außen kostet eine Zeile im Plan und trennt „implementiert“ von „abgenommen“.
  4. Tiefer heißt gleicher Umfang. Was die Aufgabe größer macht, wird ein eigenes Issue.

Wo der Session Orchestrator in meiner Arbeit sitzt, steht beim Werkzeug. Wenn du den Back-Test an deinen eigenen Plänen ausprobierst, schreib mir, was dabei herausgekommen ist.

Danke

Danke an Felix Rieseberg, der bei Anthropic an Claude arbeitet, für den Text und den Prompt. Und an Paul Krügel, KI-Berater in Wien, der seine eigene Software mit Agenten baut. Er arbeitet ebenfalls mit dem Prompt.

session-orchestrator

Aus deiner Aufgabe wird geprüfte Arbeit, und die nächste Session macht dort weiter.

Kein Sprachmodell
im Werkzeug. Den Code schreibt dein Coding-Agent.
Der Code
gibt dem Agenten den Ablauf vor: planen, in geprüften Runden arbeiten, abschließen. Der Stand liegt als Text in deinem Repository.

session-orchestrator.com (öffnet eine andere Website)Steckbrief zu session-orchestratorWas ich für dich baue