Zum Inhalt springen
Bernhard GötzendorferAutomatisierung mit KI, die allein läuft · Wien
UnterbauKI Deep Dives

Mein Orchestrator zählt nur noch, was wirklich lief

session-orchestrator zählte Platzhalter als Sessions, und ein nie gestarteter Test ließ Prüfungen grün. Wie das Tool lernte, seine Zahlen zu prüfen.

TL;DR

Mein session-orchestrator zählt mit, wie ich mit Agents arbeite. Am 24. Oktober habe ich nachgezählt, was er da eigentlich zählt. Mehr als die Hälfte der Einträge waren Platzhalter ohne jede Arbeit. Und ein Test, der nie startete, konnte eine Session grün durchlassen. Seit Version 5.13.0 zählt nur noch, was wirklich lief.

6.052 Zeilen und eine einfache Frage

Samstag, 24. Oktober. Ich lasse ein kleines Skript über meine Repos laufen. Es sammelt jedes Session-Ledger ein, das session-orchestrator angelegt hat. In so eine Datei schreibt das Tool pro Session eine Zeile. Am Ende zeigt das Terminal 6.052 Zeilen.

In der Faktendatei hinter meiner Website standen bis dahin 1.800+ orchestrierte Sessions. Die Lücke dazwischen ist größer als diese ganze Zahl. Ich will wissen, wo diese Zeilen bleiben. Und ob ich der kleineren Zahl trauen kann.

Zuerst führt das Skript doppelte Einträge zusammen. Dann wendet es den Filter an, den session-orchestrator selbst mitbringt. Da fällt mehr als die Hälfte weg. 3.326 Einträge sind Platzhalter: keine Welle, kein Agent, keine geänderte Datei.

Zum Schluss zählt jedes Git-Repository nur einmal, auch wenn es über einen Worktree mehrere Ledger hat. Übrig bleiben 1.986 Sessions. Auf der Website wird daraus die Untergrenze 1.900+.

Sessions, die es nie gab

Woher kommen 3.326 Platzhalter? Geschrieben hat sie das Tool selbst. Ein Hook am Ende jeder Session prüft, ob ein Eintrag fehlt. Fehlt einer, baut er aus dem Ereignisprotokoll eine abgebrochene Session nach.

Gedacht war das für Abstürze. Gelaufen ist es bei jedem Session-Ende. Auch bei /clear und /resume, wo die Arbeit einfach weitergeht. Jeder frische Kontext hinterließ so eine Session, die es nie gab.

Das war mehr als ein Schönheitsfehler. Die Modus-Auswahl schlägt vor, welche Art Session als Nächstes passt. Sie hat die Platzhalter mitgezählt. Ihre Vorschläge standen also auf Sessions, in denen nichts passiert war.

Seit 5.13.0 überspringt der Hook /clear und /resume. Bei allen anderen Gründen schreibt er weiter einen Nachtrag. Der zählt aber nicht mehr als Session.

Auf der Projektseite von session-orchestrator ist die Session-Zahl mit diesem Release gesunken. Laut Changelog von 481 auf 253, weil die alte Zahl die Platzhalter mitzählte. Mir ist die kleinere Zahl lieber, weil ich sie erklären kann.

Eine Regel für „lief wirklich“

Die Korrektur ist eine einzige Funktion namens isMeasuredSession. Sie entscheidet, ob ein Eintrag eine Session ist, die tatsächlich lief. Platzhalter aus Nachträgen zählen nicht. Als synthetisch markierte Einträge auch nicht. Zählen darf ein Eintrag mit Session-Typ, also housekeeping, feature oder deep. Oder einer, der Arbeit zeigt: mindestens eine Welle oder einen Agent.

Wichtiger als die Regel selbst ist, dass es nur eine gibt. Die ältere Prüfung war schwächer und ließ einen Teil der Platzhalter durch. Jetzt hängen vier Stellen an derselben Funktion. Dazu gehören die Modus-Auswahl und die Empfehlung, welches Repo als Nächstes dran ist. Außerdem die Zahlen der Projektseite und die Erkennung eines Kaltstarts.

Auch mein Messskript vom 24. Oktober importiert genau diese Funktion. Meine Website rechnet also mit derselben Regel wie das Tool.

Eine verwandte Änderung kam schon mit 5.12.0. Ein erster /session in einem Repo ohne echte Session startet nicht mehr still als deep. Er fragt zuerst nach Aufgabe und Modus.

Grün, weil nichts lief

Die zweite Hälfte des Problems betraf Prüfungen. In der Session-Konfiguration steht, welcher Befehl die Tests startet. Fehlt dieser Befehl auf dem Rechner, meldet die Shell den Exit-Code 127. Das heißt: Befehl nicht gefunden.

Bis 5.13.0 hat session-orchestrator das als übersprungen gewertet. Das volle Quality-Gate ließ so eine Session durch, obwohl ihre Tests nie gestartet waren. Grün hieß in diesem Fall nur, dass kein Fehler zurückkam.

Den Anstoß gab eine Meldung auf GitHub zum Betrieb unter Windows. Jetzt ist Exit 127 ein Fehlschlag, unter Windows auch der Code 9009 einer Batch-Datei. Die Meldung sagt dazu, was zu tun ist. Entweder den Befehl reparieren oder den Check ausdrücklich auf skip setzen. Ein bewusstes skip bleibt erlaubt, und es bleibt sichtbar.

Dieselbe Linie zog sich schon durch 5.11.0. Seither schreiben die berichtenden Gate-Varianten ein Ergebnis nur, wenn ein Urteil gemessen wurde. Ein Standardwert kann einen übersprungenen Check also nicht grün aussehen lassen.

Die Schwester dieses Fehlers habe ich in Gebaut, aber nicht eingeschaltet beschrieben. Dort ging es um Features, die grün sind und nie auslösen. Hier ging es um Prüfungen, die grün sind und nie liefen.

Was die Zahlen heute sagen

Gemessen am 24. Oktober mit dem neuen Filter: 20.000+ gestartete Agents in 34 Repos. Bis dahin standen in der Faktendatei 8.000+, gemessen im August über 27 Repos. Die neue Zählung umfasst also mehr Repos und die Zeit seit August. Eine Deep-Session startet im Median 13 Agents. An 60 von 60 Tagen im rollenden Fenster lief mindestens eine Session.

Was die Zahlen nicht sagen: ob die Arbeit gut war. Sie zählen, was lief. Ob das Ergebnis taugt, entscheiden weiterhin Review, Pipeline und meine Freigabe.

Über sich selbst führt das Tool übrigens auch Buch. Alles, was jede Session immer liest, hat ein Budget von 65.000 Bytes. Mit 5.13.0 fiel der Wert von 65.202 auf 64.907 Bytes. Gestrichen wurde dafür keine Regel, nur umständliche Formulierung.

Was öffentlich ist und was bei mir bleibt

Stand 24. Oktober ist session-orchestrator 5.13.0 auf npm aktuell, veröffentlicht am 23. Oktober, unter MIT-Lizenz. Der Code ist auf GitHub offen, auch die Funktion für „lief wirklich“. Wer die eigenen Zahlen nachzählen will, kann sie direkt verwenden.

Der GitHub-Stand ist seit 5.13.0 kuratiert. Jedes Release kommt dort als ein zusammengefasster Commit an, mit Verweis auf den Quell-Commit. Audit-Berichte, interne Pläne und Übergabenotizen bleiben draußen. Der Export bricht ab, wenn ein ausgeschlossener Pfad durchrutscht oder der Leck-Scan anschlägt.

Wer das Tool allein nutzt, merkt von meiner Flotte nichts. Ohne Flotten-Anbindung schreibt der Check-in seit 5.12.0 nichts und legt kein Verzeichnis an. Das Start-Banner lässt die Zeile dazu einfach weg.

Wie ich mehrere Sessions koordiniere, steht in Vom iPhone zur Coding-Session. Den Grundablauf mit Plan, Wellen und Prüfung beschreibt Vom Plan zum geprüften Code.

Zuerst die eigenen Zahlen

Ein Werkzeug, das Prüfungen erzwingt, muss zuerst seine eigenen Zahlen prüfen. Bei mir hat das ein Skript mit ein paar Zeilen erledigt, an einem Samstag. Es nutzt dieselbe Regel wie das Tool und lässt sich jederzeit wiederholen.

Was nicht lief, zählt jetzt weder als Session noch als grüner Check. Dass meine Zahlen dadurch ehrlicher geworden sind, taugt mir. Wer ihnen glauben soll, braucht eine Regel, die er selbst nachprüfen kann.

session-orchestrator

Aus deiner Aufgabe wird geprüfte Arbeit, und die nächste Session macht dort weiter.

Kein Sprachmodell
im Werkzeug. Den Code schreibt dein Coding-Agent.
Der Code
gibt dem Agenten den Ablauf vor: planen, in geprüften Runden arbeiten, abschließen. Der Stand liegt als Text in deinem Repository.

session-orchestrator.com (öffnet eine andere Website)Steckbrief zu session-orchestratorWas ich für dich baue